WO2017099092A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2017099092A1
WO2017099092A1 PCT/JP2016/086280 JP2016086280W WO2017099092A1 WO 2017099092 A1 WO2017099092 A1 WO 2017099092A1 JP 2016086280 W JP2016086280 W JP 2016086280W WO 2017099092 A1 WO2017099092 A1 WO 2017099092A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
information
stream
unit
data
Prior art date
Application number
PCT/JP2016/086280
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BR112018011019-1A priority Critical patent/BR112018011019B1/pt
Priority to CA3003686A priority patent/CA3003686C/en
Priority to EP16872990.3A priority patent/EP3389046B1/en
Priority to EP21179631.3A priority patent/EP3913625B1/en
Priority to US15/775,154 priority patent/US10614823B2/en
Priority to JP2017555084A priority patent/JP6876924B2/ja
Publication of WO2017099092A1 publication Critical patent/WO2017099092A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and particularly to a transmission device that transmits an audio stream in a delivery service with audio.
  • Patent Document 1 describes that predetermined information is inserted into an audio compressed data stream from a broadcasting station, a distribution server, and the like and transmitted, and processing using the predetermined information is performed on the receiving side.
  • Patent Document 2 describes a 3D audio rendering technique in which audio data of an object sound source is mapped to a speaker located at an arbitrary position based on position information as a stereoscopic (3D) sound technique. .
  • the purpose of this technology is to facilitate the processing of audio streams on the receiving side.
  • a stream generation unit that encodes audio data and generates an audio stream in which audio frames including audio compression data are continuously arranged;
  • the transmission apparatus includes a transmission unit that transmits a container stream of a predetermined format including the audio stream in which the tag information is inserted.
  • the stream generation unit performs encoding processing on the audio data, and generates an audio stream in which audio frames including audio compression data are continuously arranged.
  • the information insertion unit inserts tag information indicating that the audio compression data of the predetermined sound unit is included in the audio frame including the audio compression data of the predetermined sound unit.
  • the sound unit means a group of sounds such as a human voice (voice), an animal call, and an environmental sound for an arbitrary time.
  • the transmission unit transmits a container stream of a predetermined format including the audio stream in which the tag information is inserted.
  • the tag information may include type information indicating that the audio compression data of the predetermined sound unit includes the start position, the end position, or neither of the start position and the end position. Good.
  • the tag information indicates that the type information includes the start position
  • the tag information indicates an offset in sample units from the start of the frame to the start position
  • the type information indicates the end position
  • It may be configured to have offset information indicating an offset in sample units to the end position.
  • the tag information may include frame count information indicating the frame position from the service head of the audio frame in which the tag information is inserted.
  • the tag information may include sound unit identification information for identifying the corresponding sound unit.
  • the tag information is a source identification for identifying the source of the corresponding sound unit. It may be made to have information.
  • the sound is a human voice (speech), “Mr. A”, “Mr. B”, “Men”, “Woman”, “Adult”, “Child”, etc.
  • the sound is an animal call, it means the type of animal such as ⁇ dog '' or ⁇ cat '', and if the sound is an environmental sound, for example, ⁇ construction site '', ⁇ It means environmental sound generation places such as “concert venue” and “soccer field”, and environmental sounds such as “wave sound”, “typhoon sound” and “thunder sound”.
  • the stream generation unit performs an encoding process on a plurality of groups of audio data, generates an audio stream in which audio frames including the plurality of groups of audio compression data are continuously arranged, and the tag information includes predetermined information.
  • Group identification information for identifying which group the audio compression data of the sound unit belongs to.
  • the tag information includes the switch group identification information for identifying the predetermined switch group. Also good.
  • tag information indicating that the audio compressed data of the predetermined sound unit is included is inserted into the audio frame including the audio compressed data of the predetermined sound unit. Therefore, the receiving side can easily cut out audio data corresponding to a predetermined sound unit based on the tag information and use it for sound output, caption display, and the like.
  • the information insertion unit may further insert table information having information on a predetermined sound unit in the audio stream into the container stream layer and / or the audio stream layer.
  • the information on the predetermined sound unit may include frame count information indicating the frame position from the service head of the audio frame including the audio compression data of the predetermined sound unit.
  • the information of the plurality of sound units may include sound unit identification information for identifying the corresponding sound unit.
  • the information of the plurality of sound units respectively identifies the source of the corresponding sound unit. It may be made to have origin identification information for doing.
  • the predetermined sound unit included in the table information is stored. It becomes possible to perform processing based on the information. For example, it is possible to easily read from the storage where the container stream is written from the position where the audio compression data of the predetermined sound unit is included.
  • a receiving unit that receives a container stream of a predetermined format including an audio stream in which audio frames including audio compression data are continuously arranged; Tag information indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit is included,
  • the receiving apparatus further includes a processing unit that processes the audio stream using the tag information.
  • the reception unit receives a container stream having a predetermined format including an audio stream in which audio frames including audio compression data are continuously arranged.
  • Tag information indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit is included.
  • the processing unit processes the audio stream using the tag information.
  • the processing unit includes a decoding unit that obtains audio data by performing decoding processing on audio compression data included in each audio frame of the audio stream, and a predetermined sound unit from the audio data obtained by the decoding unit based on tag information
  • a data cut-out holding unit that cuts out audio data corresponding to the data and holds it in a buffer.
  • the processing unit may further include a data output unit that reads out and outputs audio data corresponding to a predetermined sound unit from the buffer based on user operation information.
  • the processing unit performs decoding processing on audio compression data included in each audio frame of the audio stream to obtain audio data, and predetermined audio data obtained by the decoding unit based on the tag information.
  • the audio data corresponding to each sound unit may be cut out and converted into text so as to generate subtitle data to generate subtitle data.
  • audio stream processing is performed using tag information inserted into an audio frame including audio compression data of a predetermined sound unit and indicating that the audio compression data of the predetermined sound unit is included. Is done. Therefore, audio data corresponding to a predetermined sound unit can be easily cut out and used for sound output, caption display, and the like.
  • a receiving unit that receives a container stream of a predetermined format including an audio stream in which audio frames including audio compression data are continuously arranged;
  • Tag information indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit is included,
  • the container stream layer and / or the audio stream layer includes table information having information on the predetermined sound unit in the audio stream,
  • the control unit further includes a control unit that controls writing of the received container stream to the storage, reading of the container stream from the storage, and processing of an audio stream included in the read container stream.
  • the receiving apparatus controls reading of the container stream from the storage based on information on the predetermined sound unit included in the table information.
  • the reception unit receives a container stream having a predetermined format including an audio stream in which audio frames including audio compression data are continuously arranged.
  • Tag information indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit is included.
  • table information having information on a predetermined sound unit in the audio stream is included in the container stream layer and / or the audio stream layer.
  • the control unit controls the writing of the received container stream to the storage.
  • the storage is, for example, local storage or online storage (storage on the net).
  • reading of the container stream from the storage is controlled by the control unit. In this case, control is performed based on information on a predetermined sound unit included in the table information.
  • the reading of the container stream from the storage is controlled based on the information of the predetermined sound unit included in the table information. Therefore, for example, the container stream can be easily read from the storage from the position where the audio compression data of the predetermined sound unit is included.
  • FIG. 4 is a diagram illustrating an example of contents of table information “Tag Table 1” inserted into an audio stream. It is a figure which shows the structural example of tag information "Speech_tag_information ()”. It is a figure which shows the structural example of table information "Tag ⁇ table () ". It is a figure which shows the content of the main information in the structural example of tag information "Speech_tag_information ()", and the structural example of table information "Tag table ()”. It is a figure which shows the structural example of a tag table descriptor (Tag_table_descriptor ()).
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a service transmitter 100 and a service receiver 200.
  • the service transmitter 100 transmits an MPEG-2 transport stream (hereinafter simply referred to as “transport stream TS”) as a container stream (multiplexed stream) on a broadcast wave or a net packet.
  • transport stream TS MPEG-2 transport stream
  • the transport stream TS has an audio stream or a video stream and an audio stream.
  • the transport stream TS has a video stream and an audio stream.
  • the audio stream is obtained by continuously arranging audio frames including audio compression data obtained by performing encoding processing on audio data.
  • the encoding method of the audio stream is MPEG-H 3D Audio.
  • the service transmitter 100 inserts tag information indicating that the audio compressed data of the predetermined sound unit is included in the audio frame including the audio compressed data of the predetermined sound unit.
  • the sound unit means a unit of an arbitrary amount of time such as a human voice (voice), an animal call, an environmental sound, or the like. In this embodiment, it is assumed that the sound unit is a group of arbitrary time of sound.
  • the tag information has type information. This type information indicates that it includes the start position, the end position, or neither the start position nor the end position of the audio compression data of the predetermined sound unit. In addition, when the tag information indicates that the type information includes the start position, the tag information indicates an offset in sample units from the head of the frame to the start position, and when the type information indicates the end position, samples from the head of the frame to the end position It is assumed that offset information indicating a unit offset is included.
  • the tag information includes frame count information indicating the frame position from the service head of the audio frame in which the tag information is inserted.
  • the tag information has sound unit identification information for identifying the corresponding sound unit.
  • the tag information includes the source identification information for identifying the source of the corresponding sound unit. It is supposed to have.
  • the sound unit is a group of arbitrary time of voice, and the origin is “Mr. A”, “Mr. B”, “Man of man”, “Woman”, “Adult”, A speaker who utters a voice such as “child”.
  • the tag information has group identification information for identifying which group the audio compression data of a predetermined sound unit belongs to when the audio compression data of a plurality of groups is handled as the audio compression data.
  • the tag information includes switch group identification information for identifying the predetermined switch group.
  • the service transmitter 100 inserts table information having information on a predetermined sound unit in the audio stream into the transport stream TS layer and / or the audio stream layer as the container stream.
  • the information on the predetermined sound unit includes frame count information indicating the frame position from the service head of the audio frame including the audio compression data of the predetermined sound unit.
  • the information of the plurality of sound units has sound unit identification information for identifying the corresponding sound unit.
  • the plurality of sound units include a plurality of sound source sound units
  • the information of the plurality of sound units respectively identifies the sound source of the corresponding sound unit. It is assumed that the source identification information is included.
  • FIG. 2 shows an example of the structure of an audio frame in MPEG-H 3D Audio transmission data.
  • This audio frame is composed of a plurality of MPEG audio stream packets (mpeg
  • Each MPEG audio stream packet is composed of a header and a payload.
  • the header has information such as packet type (Packet type), packet label (Packet type Label), and packet length (Packet type Length).
  • Information defined by the packet type of the header is arranged in the payload.
  • the payload information includes “SYNC” corresponding to the synchronization start code, “Frame” that is actual data of 3D audio transmission data, and “Config” indicating the configuration of this “Frame”.
  • “Frame” includes channel encoded data and object encoded data constituting 3D audio transmission data.
  • the channel encoded data is composed of encoded sample data such as SCE (Single Channel Element), CPE (Channel Pair Element), and LFE (Low Frequency Element).
  • the object encoded data is composed of SCE (Single Channel Element) encoded sample data and metadata for rendering it by mapping it to a speaker located at an arbitrary position. This metadata is included as an extension element (Ext_element).
  • payload information includes “Tag table” and “Speech tag information” that are newly defined in this embodiment.
  • “Speech tag information” includes the tag information “Speech_tag_information ()” described above
  • “Tag table” includes the table information “Tag_table ()” described above.
  • FIG. 3 shows that “SpeechTagInformation” for including tag information “Speech_tag_information ()” and “TagTable” for including table information “Tag_table ()” are newly defined as packet types.
  • FIG. 4 shows an example of the structure of MPEG-H 3D Audio transmission data.
  • This configuration example is composed of one channel encoded data and six object encoded data.
  • One channel coded data is 5.1 channel channel coded data (CD), and is composed of coded sample data of SCE1, CPE1.1, CPE1.2, and LFE1.
  • the first three object encoded data belong to the encoded data (DOD) of the content group of the dialog object.
  • the three object encoded data are encoded data of the dialog object corresponding to each of the first, second, and third languages.
  • the encoded data of the dialog object corresponding to the first, second, and third languages is rendered by mapping the encoded sample data SCE2, SCE3, SCE4 and the speaker existing at an arbitrary position, respectively. It consists of metadata (Object metadata).
  • the remaining three object encoded data belong to the encoded data (SEO) of the content group of the sound effect object.
  • SEO encoded data
  • These three object encoded data are encoded data of sound effect objects (Object for sound effect) corresponding to the first, second, and third sound effects, respectively.
  • the encoded data of the sound effect object corresponding to the first, second, and third sound effects are respectively mapped to the encoded sample data SCE5, SCE6, SCE7 and the speaker existing at an arbitrary position.
  • metadata for rendering Object metadata
  • Encoded data is distinguished by the concept of group by type.
  • the 5.1 channel encoded data is group 1 (Group 1).
  • the encoded data of the dialog objects corresponding to the first, second, and third languages are group 2 (Group (2), group 3 (Group 3), and group 4 (Group 4), respectively.
  • the encoded data of the sound effect object corresponding to the first, second and third sound effects are group 5 (Group 5), group 6 (Group 6), and group 7 (Group 7), respectively. Is done.
  • SW switch group
  • group 2 group 3
  • group 4 belonging to the content group of the dialog object
  • group 5 group 6, and group 7 belonging to the content group of the sound effect object are set as switch group 2 (SW Group 2).
  • the service transmitter 100 transmits 3D audio transmission data including encoded data of a plurality of groups as one stream (Single stream) or a plurality of streams (Multiple stream), for example, two streams. Send with.
  • FIG. 5A schematically shows a configuration example of an audio frame in the case of transmitting in one stream in the configuration example of the 3D audio transmission data in FIG.
  • CD channel encoded data
  • DOD encoded data of dialog object
  • SEO encoded data of sound effect object
  • tag information “Speech tag information ()” and table information “Tag table ()”.
  • tag information “Speech tag information ()” and table information “Tag table ()” are not limited to being included in all audio frames.
  • the tag information “Speech tag information ()” is included in an audio frame including audio compression data of a predetermined sound unit.
  • the table information “Tag ⁇ table () ” is inserted into an arbitrary audio frame. The same applies to the case of transmission using the following plural streams.
  • FIG. 5B shows an example of the structure of the transmission data of the 3D audio shown in FIG. 4.
  • audio is transmitted in a plurality of streams (each stream will be referred to as a “substream” as appropriate).
  • 2 schematically shows an example of a frame configuration.
  • the substream 1 includes channel encoded data (CD) together with “SYNC” information and “Config” information, and further includes tag information “Speech tag information ()” and table information “Tag table ()”. included.
  • the substream 2 includes the dialog object encoded data (DOD) and the sound effect object encoded data (SEO) together with the “SYNC” information and the “Config” information, and the tag information “Speech”.
  • both substream 1 and substream 2 include tag information “Speech ⁇ tag information ()” and table information “Tag table ()”.
  • the tag information “Speech tag information ()” and table information “Tag table ()” are included in any one or more of the substreams, thereby simplifying control management.
  • FIG. 6 shows an example of a correspondence relationship between an audio stream in which audio frames including audio compression data are continuously arranged and sound units.
  • Sound unit 1 has a start position in audio frame f1 and an end position in audio frame f2.
  • the offset of the sample unit from the beginning of the audio frame f1 to the start position is “xs1”, and the offset of the sample unit from the beginning of the audio frame f2 to the end position is “xe1”.
  • the sound unit 2 has a start position in the audio frame f3 and an end position in the audio frame f4.
  • the offset of the sample unit from the beginning of the audio frame f3 to the start position is “xs2”
  • the offset of the sample unit from the beginning of the audio frame f4 to the end position is “xe2”.
  • FIG. 7 simply shows an example of the contents of tag information “Speech_tag_information ()” included in an audio frame (Audio Frame).
  • frame count information, group identification information, switch group identification information, and the like are omitted.
  • FIG. 7A shows an example of an audio frame (see audio frames f1 and f3 in FIG. 6) including the start position of the sound unit.
  • information such as sound unit identification information “speech_id”, source identification information “speaker_id”, type information “sted_type”, and offset information “sample_offset” exists.
  • FIG. 7B shows an audio frame that does not include both the start position and the end position of the sound unit (the audio frame located after the audio frame f1 and before the audio frame f2 in FIG. This is an example in the case of an audio frame positioned before the audio frame f4).
  • information such as sound unit identification information “speech_id”, source identification information “speaker_id”, and type information “sted_type” exists.
  • FIG. 7C shows an example of an audio frame including the end position of the sound unit (see audio frames f2 and f4 in FIG. 6).
  • information such as sound unit identification information “speech_id”, source identification information “speaker_id”, type information “sted_type”, and offset information “sample_offset” exists.
  • FIG. 8 shows an example of insertion of tag information “Speech_tag_information ()” and insertion of table information “Tag_table ()” into the audio stream.
  • a speaker 3 is present.
  • the tag information “Speech_tag_information ()” of four sound units is inserted into the audio stream at the frame positions of C1, C2, C3, and C4.
  • the tag information of each sound unit is usually inserted over a plurality of frames.
  • C1, C2, C3, and C4 respectively indicate frame counts that indicate the frame positions from the beginning of the service of the audio frame that includes the start position.
  • Table information “Tag” having information of four sound units inserted at the frame positions of C1, C2, C3, and C4 at the frame positions before the frame positions of C1, C2, C3, and C4 with respect to the audio stream. “Table1” is inserted.
  • FIG. 9A shows an example of the contents of the table information “Tag Table 1”.
  • sound unit information “Speech_id”, source identification information “Speaker_id”, and frame count information “Audio_frame_count” are set for each sound unit. Exists.
  • tag information “Speech_tag_information ()” of five sound units is inserted into the audio stream at the frame positions of C5, C6, C7, C8, and C9.
  • the tag information of each sound unit is usually inserted over a plurality of frames.
  • C5, C6, C7, C8, and C9 indicate frame count values that indicate the frame positions from the beginning of the service of the audio frame that includes the start position.
  • the audio stream has information on five sound units inserted at the frame positions of C5, C6, C7, C8, and C9 at the frame positions before the frame positions of C5, C6, C7, C8, and C9.
  • the table information “Tag Table 2” is inserted.
  • FIG. 9B shows an example of the contents of the table information “Tag Table 2”.
  • sound unit information “Speech_id”, source identification information “Speaker_id”, and frame count information “Audio_frame_count” are set for each sound unit. Exists.
  • FIG. 10 shows a structure example (syntax) of tag information “Speech_tag_information ()”.
  • FIG. 11 shows a structure example (syntax) of the table information “Tag table ()”.
  • FIG. 12 shows the contents (semantics) of main information in these structural examples.
  • tag information “Speech_tag_information ()” will be described.
  • the 16-bit field of “audio_frame_count” indicates the frame position from the beginning of the service of the audio frame in which the tag information is inserted as a frame count value.
  • “Num_of_speeches” indicates the number of sound units. As many as the number of sound units, “speech_id” 8-bit field, “group_id” 8-bit field, “sw_group_id” 8-bit field, “speaker_id” 8-bit field, “sted_type” 2-bit field, “sample_offset” Each field of 14-bit field exists repeatedly.
  • Sound_id field indicates sound unit identification information.
  • the field “group_id” indicates group identification information.
  • the field “sw_group_id” indicates switch group identification information.
  • the field of “speaker_id” indicates source (speaker) identification information.
  • the field of “sted_type” indicates that the start position of the sound unit is included, the end position is included, or neither the start position nor the end position is included (continuation). For example, “01” indicates that the start position is included, “10” indicates that the end position is included, and “11” indicates that neither the start position nor the end position is included (continuation).
  • sample_offset indicates an offset in sample units from the beginning of the frame to the start / end position.
  • sted_type indicates an offset in sample units from the beginning of the frame to the start position
  • sted_type indicates an offset in sample units from the beginning of the frame to the end position.
  • An 8-bit field of “group_id” indicates group identification information.
  • the 8-bit field of “sw_group_id” indicates switch group identification information.
  • the 8-bit field “num_of_speeches” indicates the number of sound units. As many as the number of sound units, an 8-bit field of “speech_id”, an 8-bit field of “speaker_id”, and a 16-bit field of “audio_frame_count” exist repeatedly.
  • Sound_id field indicates sound unit identification information.
  • the field of “speaker_id” indicates source (speaker) identification information.
  • the frame position from the service head of the audio frame including the start position of the sound unit is indicated by a frame count value.
  • FIG. 13 shows a structure example (syntax) of a tag table descriptor (Tag_table_descriptor ()) for inserting information similar to the table information “Tag_table ()” described above into the container stream.
  • An 8-bit field of “descriptor_tag” indicates a descriptor type.
  • the tag table descriptor is indicated.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
  • the 8-bit field of“ num_of_groups ” indicates the number of groups. The following elements are repeated by this number.
  • the 8-bit field of “stream_id” is used for identifying an audio stream in the case of being composed of a plurality of streams.
  • the transmission stream can be specified by this information and the stream ID indicated by “MPEG-H 3D Audio Multi-Stream Descriptor”.
  • the field “group_id” indicates group identification information.
  • the field “sw_group_id” indicates switch group identification information.
  • the 8-bit field “num_of_speeches” indicates the number of sound units.
  • an 8-bit field of “speech_id”, an 8-bit field of “speaker_id”, and a 16-bit field of “audio_frame_count” exist repeatedly.
  • the contents of the information in each field are the same as described in the table information “Tag_table ()” (see FIG. 11).
  • the service receiver 200 receives the above-described transport stream TS transmitted from the service transmitter 100 on a broadcast wave or a network packet.
  • This transport stream TS includes an audio stream in addition to a video stream.
  • audio frames including audio compression data obtained by performing encoding processing on audio data are continuously arranged.
  • tag information (see FIG. 10) indicating that the audio compressed data of the predetermined sound unit is included is inserted into the audio frame including the audio compressed data of the predetermined sound unit.
  • table information (see FIGS. 11 and 13) having information on a predetermined sound unit in the audio stream is inserted into the transport stream TS layer and / or the audio stream layer.
  • the service receiver 200 processes the audio stream using the tag information. For example, the service receiver 200 obtains audio data by decoding audio compression data included in each audio frame of the audio stream, and based on the tag information, audio data corresponding to a predetermined sound unit is obtained from the audio data. Is cut and held in the buffer. Then, the service receiver 200 reads out audio data corresponding to a predetermined sound unit from the buffer based on user operation information, and outputs the audio data as sound, or performs text conversion and displays it as subtitles.
  • the service receiver 200 obtains audio data by decoding audio compression data included in each audio frame of the audio stream, and corresponds to a predetermined sound unit from the audio data based on the tag information. Audio data is cut out and converted into text to generate subtitle data and display subtitles.
  • the service receiver 200 writes the transport stream TS into the local storage or online storage, reads the transport stream TS from the storage, and processes the audio stream included in the transport stream TS.
  • the service receiver 200 can control reading of the transport stream TS from the storage based on information on a predetermined sound unit included in the table information. For example, the service receiver 200 can be controlled to read out the container stream from the frame position including the sound unit selected by the user.
  • FIG. 14 illustrates a configuration example of the stream generation unit 110 included in the service transmitter 100.
  • the stream generation unit 110 includes a control unit 111, a video encoder 112, an audio encoder 113, and a multiplexer 114.
  • the video encoder 112 receives the video data SV, encodes the video data SV, and generates a video stream (video elementary stream).
  • the audio encoder 113 inputs object data of a predetermined number of content groups together with channel data as audio data SA. Each content group includes one or more object content.
  • the audio encoder 113 encodes the audio data SA to obtain 3D audio transmission data, and generates an audio stream (audio elementary stream) including the 3D audio transmission data.
  • the 3D audio transmission data includes channel encoded data and object encoded data of a predetermined number of content groups.
  • channel encoded data CD
  • dialog object content group encoded data DOD
  • sound effect object content group encoded data SEO
  • the audio encoder 113 under the control of the control unit 111, includes tag information “Speech_tag_information ()” (indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit. (See FIG. 10). Also, the audio encoder 113 inserts table information “Tag_table ()” (see FIG. 11) having information on a predetermined sound unit in the audio stream into an arbitrary audio frame under the control of the control unit 111.
  • the multiplexer 114 converts each of the video stream output from the video encoder 112 and the predetermined number of audio streams output from the audio encoder 113 into PES packets, further into transport packets, and multiplexes them into a container stream (multiplexed stream). As a transport stream TS.
  • the multiplexer 114 is a table similar to the above-described table information “Tag_table ()” (see FIG. 11) having information on a predetermined sound unit in the audio stream in the transport stream TS under the control of the control unit 111. Insert information.
  • a tag table descriptor (Tag_table_descriptor ()) (see FIG. 13) is inserted into an audio elementary stream loop existing under PMT (Program Map Table).
  • the video data SV is supplied to the video encoder 112.
  • the video data SV is encoded, and a video stream including the encoded video data is generated.
  • This video stream is supplied to the multiplexer 114.
  • the audio data SA is supplied to the audio encoder 113.
  • the audio data SA includes channel data and object data of a predetermined number of content groups. Here, one or a plurality of object contents belong to each content group.
  • the audio data SA is encoded to obtain 3D audio transmission data.
  • the 3D audio transmission data includes channel encoded data and object encoded data of a predetermined number of content groups.
  • the audio encoder 113 generates an audio stream including the 3D audio transmission data.
  • the audio encoder 113 includes tag information “Speech_tag_information () indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit. ) "Is inserted. Also, the audio decoder 113 inserts table information “Tag_table ()” having information on a predetermined sound unit in the audio stream into an arbitrary audio frame under the control of the control unit 111.
  • the video stream generated by the video encoder 112 is supplied to the multiplexer 114.
  • the audio stream generated by the audio encoder 113 is supplied to the multiplexer 114.
  • the stream supplied from each encoder is converted into a PES packet, further converted into a transport packet, and multiplexed to obtain a transport stream TS.
  • the multiplexer 114 inserts table information having information on a predetermined sound unit in the audio stream into the transport stream TS under the control of the control unit 111.
  • a tag table descriptor (Tag_table_descriptor ()) is inserted into the audio elementary stream loop existing under the PMT.
  • FIG. 15 illustrates a configuration example of the transport stream TS when 3D audio transmission data is transmitted in one stream (see FIG. 5A).
  • the PES packet “video PES” of the video stream identified by PID1 exists, and the PES packet “audio PES” of the audio stream identified by PID2 exists.
  • the PES packet includes a PES header (PES_header) and a PES payload (PES_payload). DTS and PTS time stamps are inserted in the PES header.
  • the audio stream (Audio coded stream) is inserted into the PES payload of the PES packet of the audio stream.
  • Tag information “Speech_tag_information ()” and table information “Tag_table ()” are inserted into this audio stream.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI is information describing to which program each elementary stream included in the transport stream belongs.
  • the PMT has a program loop (Program ⁇ ⁇ ⁇ loop) that describes information related to the entire program.
  • an elementary stream loop having information related to each elementary stream exists in the PMT.
  • a video elementary stream loop (video (ES loop) corresponding to the video stream exists
  • an audio elementary stream loop (audio ES loop) corresponding to the audio stream exists.
  • video elementary stream loop information such as a stream type and PID (packet identifier) is arranged corresponding to the video stream, and a descriptor describing information related to the video stream is also arranged. Is done.
  • the value of “Stream_type” of this video stream is set to “0x24”, and the PID information indicates PID1 given to the PES packet “video PES” of the video stream as described above.
  • HEVCV descriptor is arranged.
  • the audio elementary stream loop (audio ES ⁇ ⁇ ⁇ loop)
  • information such as stream type and PID (packet identifier) is arranged corresponding to the audio stream, and a descriptor describing information related to the audio stream. Also arranged.
  • the value of “Stream_type” of this audio stream is set to “0x2C”, and the PID information indicates the PID2 assigned to the PES packet “audio PES” of the audio stream as described above.
  • a tag table descriptor (Tag_table_descriptor ()) is arranged.
  • FIG. 16 shows a configuration example of the transport stream TS in the case where 3D audio transmission data is transmitted in two streams (see FIG. 5B).
  • this configuration example there is a PES packet “video PES” of the video stream identified by PID1.
  • the PES packet includes a PES header (PES_header) and a PES payload (PES_payload). DTS and PTS time stamps are inserted in the PES header. By appropriately attaching the time stamps of PID2 and PID3 at the time of multiplexing, it is possible to ensure synchronization between the two systems as a whole.
  • An audio stream (Audio coded stream) is inserted into the PES payload of the PES packet of two audio streams (substream 1 and substream 2).
  • Tag information “Speech_tag_information ()” and table information “Tag_table ()” are inserted into this audio stream. Note that tag information “Speech_tag_information ()” and table information “Tag_table ()” may be inserted only on the main audio stream (substream 1) side.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI is information describing to which program each elementary stream included in the transport stream belongs.
  • the PMT has a program loop (Program ⁇ ⁇ ⁇ loop) that describes information related to the entire program.
  • an elementary stream loop having information related to each elementary stream exists in the PMT.
  • video ES loop video elementary stream loop
  • audio ES loop audio elementary stream loop
  • video elementary stream loop information such as a stream type and PID (packet identifier) is arranged corresponding to the video stream, and a descriptor describing information related to the video stream is also arranged. Is done.
  • the value of “Stream_type” of this video stream is set to “0x24”, and the PID information indicates PID1 given to the PES packet “video PES” of the video stream as described above.
  • HEVCV descriptor is arranged.
  • each audio elementary stream loop (audio ES loop) information such as a stream type and PID (packet identifier) is arranged corresponding to the audio stream, and a descriptor describing information related to the audio stream is also provided. Be placed.
  • PID2 is the main audio stream (substream 1), the value of “Stream_type” is set to “0x2C”, and the PID information indicates the PID assigned to the PES packet “audio PES” of the audio stream as described above. It is supposed to be.
  • PID3 is a sub audio stream (substream 2), the value of “Stream_type” is set to “0x2D”, and the PID information is the PID assigned to the PES packet “audio ⁇ PES ”of the audio stream as described above. It shall be shown.
  • a tag table descriptor (Tag_table_descriptor ()) is arranged as one of the descriptors. Note that the tag table descriptor (Tag_table_descriptor ()) may be arranged only in the audio elementary stream loop on the main audio stream (substream 1) side.
  • FIG. 17 shows a configuration example of the service receiver 200.
  • the service receiver 200 includes a receiving unit 201, a demultiplexer 202, a video decoding unit 203, a video processing circuit 204, a panel driving circuit 205, a display panel 206, and an OSD (On Screen Display) unit 207. is doing.
  • the service receiver 200 includes an audio decoding unit 214, an audio output circuit 215, and a speaker system 216.
  • the service receiver 200 includes a CPU 221, a flash ROM 222, a DRAM 223, an internal bus 224, a remote control receiver 225, a remote control transmitter 226, a local storage 231, and a communication interface 232.
  • An online storage 242 is connected to the communication interface 232 via a network 241 such as the Internet.
  • the CPU 221 controls the operation of each unit of service receiver 200.
  • the flash ROM 222 stores control software and data.
  • the DRAM 223 constitutes a work area for the CPU 221.
  • the CPU 221 develops software and data read from the flash ROM 222 on the DRAM 223 to activate the software, and controls each unit of the service receiver 200.
  • the remote control receiving unit 225 receives the remote control signal (remote control code) transmitted from the remote control transmitter 226 and supplies it to the CPU 221.
  • the CPU 221 controls each part of the service receiver 200 based on this remote control code.
  • the CPU 221, flash ROM 222, DRAM 223, local storage 231 and communication interface 232 are connected to the internal bus 224.
  • the receiving unit 201 receives the transport stream TS transmitted from the service transmitter 100 on broadcast waves or net packets.
  • This transport stream TS has an audio stream in addition to the video stream.
  • audio frames including audio compression data obtained by performing encoding processing on audio data are continuously arranged.
  • tag information indicating that the audio compressed data of the predetermined sound unit is included is inserted into the audio frame including the audio compressed data of the predetermined sound unit. Further, as described above, table information having information on a predetermined sound unit in the audio stream is inserted into the transport stream TS layer and / or the audio stream layer.
  • tag information “Speech_tag_information ()” is inserted into an audio frame including audio compression data of a predetermined sound unit (see FIGS. 5 and 10).
  • table information “Tag_table ()” is inserted into an audio frame of an arbitrary audio frame (see FIGS. 5 and 11).
  • a tag table descriptor (Tag_table_descriptor ()) is arranged in an audio elementary stream loop existing under the PMT.
  • the demultiplexer 202 extracts a video stream from the transport stream TS and sends it to the video decoding unit 203.
  • the video decoding unit 203 performs decoding processing on the video stream to obtain uncompressed video data.
  • the video processing circuit 204 performs scaling processing, image quality adjustment processing, and the like on the video data obtained by the video decoding unit 203 to obtain video data for display.
  • the OSD unit 207 generates a GUI display signal under the control of the CPU 221. This GUI display signal is sent to the video processing circuit 204 and superimposed on the video data.
  • the panel drive circuit 205 drives the display panel 206 based on the display image data obtained by the video processing circuit 204.
  • the display panel 206 includes, for example, an LCD (Liquid Crystal Display), an organic EL display (organic electroluminescence display), and the like.
  • the demultiplexer 202 extracts various information such as descriptor information from the transport stream TS and sends it to the CPU 221.
  • the various information includes the tag table descriptor described above.
  • the CPU 221 acquires table information having information on a predetermined sound unit in the audio stream, frame count information indicating the frame position from the service head of each sound unit, sound unit identification information of each sound unit, Recognize the source identification information of each sound unit.
  • the demultiplexer 202 extracts an audio stream from the transport stream TS and sends it to the audio decoding unit 214.
  • the audio decoding unit 214 performs decoding processing on the audio stream, and obtains audio data for driving each speaker constituting the speaker system 216.
  • the audio decoding unit 214 controls the encoded data of a plurality of object contents constituting the switch group among the encoded data of a predetermined number of object contents included in the audio stream under the control of the CPU 221. Only encoded data of any one object content related to selection is set as a decoding target.
  • the audio decoding unit 214 extracts various information inserted in the audio stream and transmits it to the CPU 221.
  • the various information includes the tag information “Speech_tag_information ()” and the table information “Tag_table ()” described above.
  • the CPU 221 determines whether each audio frame is an audio frame including audio compression data of a predetermined sound unit, or includes sound unit identification information of the included sound unit, source identification information of the sound unit, frame count Information, type information indicating whether the start position / end position is included, offset information from the start of the frame at the start position / end position, and the like can be recognized.
  • the CPU 221 uses this table information to determine information on a predetermined sound unit in the audio stream, that is, frame count information indicating the frame position from the service head of each sound unit, sound unit identification information for each sound unit, and each sound unit. Recognize the origin identification information.
  • the audio decoding unit 214 cuts out audio data corresponding to a predetermined sound unit from the audio data obtained by the decoding process under the control of the CPU 221 based on the tag information, writes it in the buffer, and temporarily holds it. For example, when there is a user's reproduction operation (instant repeat operation), the audio decoding unit 214 reads the audio data of the sound unit from the buffer under the control of the CPU 221, and outputs the audio data as it is as audio data or converts it to text Output as caption display data, or both. This caption display data is sent to the video processing circuit 204 and superimposed on the video data.
  • the audio data read from the buffer is output instead of the audio data obtained by the decoding process, or the audio data obtained by the decoding process. Are mixed and output.
  • output of audio data obtained by the decoding process is continued.
  • the audio decoding unit cuts out audio data of the sound unit such as the designated switch group, group, source (speaker) under the control of the CPU 221 based on the tag information, Text is converted and output as subtitle display data.
  • This caption display data is sent to the video processing circuit 204 and superimposed on the video data. Details of the audio decoding unit 214 will be described later.
  • the audio output processing circuit 215 performs necessary processing such as D / A conversion and amplification on the audio data for driving each speaker obtained by the audio decoding unit 214 and supplies the audio data to the speaker system 216.
  • the speaker system 216 includes a plurality of speakers such as a plurality of channels, for example, two channels, 5.1 channels, 7.1 channels, and 22.2 channels.
  • the local storage 231 writes and holds the transport stream TS sent from the receiving unit 201 through the demultiplexer 202 under the control of the CPU 221 in accordance with a user operation. Also, the local storage 231 reads the transport stream TS held under the control of the CPU 221 and sends it to the demultiplexer 202.
  • the communication interface 232 writes and holds the transport stream TS transmitted from the receiving unit 201 through the demultiplexer 202 in the online storage 242 through the network 241 under the control of the CPU 221 in accordance with a user operation. Also, the communication interface 232 reads the transport stream TS held in the online storage 242 through the net 241 under the control of the CPU 221 and sends it to the demultiplexer 202.
  • the CPU 221 can control reading of the transport stream TS from the storage based on information on a predetermined sound unit included in the table information. For example, the CPU 221 can perform control so that the container stream is read from the frame position including the sound unit selected by the user.
  • the user refers to the display of the information of each sound unit in the audio stream displayed on the display panel 206, and selects the sound unit as the reading position.
  • the CPU 221 sends a read command with tag information (“audio_frame_count”, “speech_id”, “speaker_id”, etc.) corresponding to the selected sound unit through the local storage 231 or the communication interface 232.
  • Tag_table a predetermined container stream or audio stream
  • audio_fame_count specifies the time position from the beginning of the service of the audio stream
  • group_id / sw_group_id specifies the target group in the audio stream
  • speech_id specifies the sound unit (audio) in chronological order.
  • FIG. 19 shows a configuration example of the audio decoding unit 214.
  • the audio decoding unit 214 includes a decoder 251, an object renderer 252, a mixer 253, an audio data cutout unit 254, an audio data & tag buffer 255, and a text conversion / caption display unit 256.
  • the decoder 251 performs a decoding process on the audio stream extracted by the demultiplexer 202, and obtains object data of a predetermined number of object contents together with channel data.
  • the decoder 251 performs almost the reverse process of the audio encoder 113 of the stream generation unit 110 in FIG. For a plurality of object contents constituting the switch group, only object data of any one object content related to user selection is obtained under the control of the CPU 221.
  • the decoder 251 extracts various information inserted in the audio stream and transmits it to the CPU 221.
  • the various information includes the tag information “Speech_tag_information ()” and the table information “Tag_table ()” described above.
  • the CPU 221 determines whether each audio frame is an audio frame including audio compression data of a predetermined sound unit, or includes sound unit identification information of the included sound unit, source identification information of the sound unit, frame count Information, type information indicating whether the start position / end position is included, offset information from the start of the frame at the start position / end position, and the like can be recognized. Further, the CPU 221 uses this table information to determine information on a predetermined sound unit in the audio stream, that is, frame count information indicating the frame position from the service head of each sound unit, sound unit identification information for each sound unit, and each sound unit. Recognize the origin identification information.
  • the object renderer 252 performs rendering processing on object data of a predetermined number of object contents, and obtains channel data of a predetermined number of object contents.
  • the object data is composed of audio data of the object sound source and position information of the object sound source.
  • the object renderer 252 obtains channel data by mapping the audio data of the object sound source to an arbitrary speaker position based on the position information of the object sound source.
  • the mixer 253 synthesizes the channel data of each object content obtained by the object renderer 252 with the channel data obtained by the decoder 251, and channel data (audio data) for driving each speaker constituting the speaker system 216. Get.
  • the audio data cutout unit 254 controls the tag from the audio data (channel data) obtained by the decoder 251 or the audio data (channel data) of each object content obtained by the object renderer 252 under the control of the CPU 221 based on the tag information.
  • the audio data of the sound unit indicated by the information is cut out sequentially.
  • the audio data related to the sound unit 1 of the audio content 1 is cut out from the audio frames f1 to f2.
  • offset information “xs1” and “xe1” are used in order to cut out the audio data related to the sound unit 1 correctly.
  • the audio data related to the sound unit 2 of the audio content 2 is cut out from the audio frames f3 to f4.
  • offset information “xs2” and “xe2” are used in order to cut out the audio data related to the sound unit 1 correctly.
  • the audio data of the sound unit cut by the audio data cutout unit 254 and the tag information of the sound unit are written and held in association with each other under the control of the CPU 221.
  • the audio data & tag buffer 255 only the latest predetermined number cut by the audio data cutting unit 254, for example, information of two sound units is held.
  • the audio data & tag buffer 255 may be configured to hold only information on sound units within a predetermined past time cut by the audio data cutout unit 254.
  • FIG. 20 shows an example of the contents held in the audio data & tag buffer 255.
  • information of two sound units that is, sound unit 1 (Unit 1) and sound unit 2 (Unit 2) is held.
  • the sound unit 1 (Unit 1) in addition to the frame count information “audio_frame_count”, the sound unit identification information “speech_id”, and the source (speaker) information “speaker_id”, the audio data of the sound unit (sound content 1) Data) exists.
  • the audio data of the sound unit ( Audio content 2 data) exists.
  • the frame count information “audio_frame_count” indicates, for example, a frame count value indicating the frame position from the service head of the audio frame including the start position. Note that a frame count value indicating the frame position from the beginning of the service of the audio frame including the end position may be further held. Further, the tag information held in the audio data & tag buffer 255 may further include other information included in the tag information “Speech_tag_information ()”.
  • the text conversion / caption display unit 256 converts the audio data of each sound unit cut out by the audio data cutout unit 254 or the audio data read from the audio data & tag buffer 255 into text data, and further bitmap data. To generate subtitle display data and supply it to the video processing circuit 204 as a superimposed signal to the video data.
  • FIG. 21 shows an example of the display example. This display example corresponds to the contents held in the audio data & tag buffer 255 shown in FIG.
  • a display that intuitively indicates the generation source (speaker) may be made.
  • the user can perform an operation of reading out and outputting one of the sound units of the audio data of each sound unit held in the audio data & tag buffer 255.
  • This user operation is performed by, for example, selecting a desired sound unit after displaying the information of each sound unit held in the audio data & tag buffer 255 as described above on the display panel 206.
  • the audio data of the selected sound unit is read from the audio data & tag buffer 255.
  • this user operation is executed by performing a reproduction operation without displaying information of each sound unit on the display panel 206 (instant repeat operation).
  • the audio data of the latest sound unit among the held audio data of each sound unit is read from the audio data & tag buffer 255.
  • the audio data read from the audio data & tag buffer 255 in this way can be output as audio data as it is, as subtitle display data, or both. How to output can be selected by user operation.
  • the audio data read from the audio data & tag buffer 255 is supplied to the mixer 253, mixed with the channel data supplied from the decoder 251 and the object renderer 252, or instead of it. Output from the mixer 253.
  • the audio data read from the audio data & tag buffer 255 is supplied to the text conversion / caption display unit 256, converted into text data, and further converted into bitmap data.
  • Subtitle display data is generated and supplied to the video processing circuit 204 as a superimposed signal to the video data.
  • the image is displayed as a caption on the image on the display panel 206.
  • FIG. 22 shows a subtitle display example on the display panel 206. In the illustrated example, a subtitle display “Wonderful scene. Come here!” Is displayed.
  • the user can set the subtitles corresponding to the audio data of each sound unit cut out by the audio data cutout unit 254 to be always displayed on the display panel 206 (subtitle conversion display operation).
  • the switch group, group, generation source (speaker), and the like of the sound unit cut out by the audio data cutout unit 254 can be designated.
  • the audio data of each sound unit cut out by the audio data cutout unit 254 is supplied to the text conversion / subtitle display unit 256, converted into text data, further converted into bitmap data, and subtitle display data is generated for video processing.
  • the signal is supplied to the circuit 204 as a superimposed signal to the video data. As a result, the image is displayed as a caption on the image on the display panel 206.
  • the receiving unit 201 receives the transport stream TS transmitted from the service transmitter 100 on broadcast waves or net packets.
  • This transport stream TS has an audio stream in addition to the video stream.
  • This audio stream is a series of audio frames including audio compression data obtained by encoding audio data.
  • Tag information (see FIG. 10) indicating that the audio compressed data of the predetermined sound unit is included is inserted into the audio frame including the audio compressed data of the predetermined sound unit.
  • table information (see FIGS. 11 and 13) having information on a predetermined sound unit in the audio stream is inserted into the transport stream TS layer and / or the audio stream layer.
  • the transport stream TS is supplied to the demultiplexer 202.
  • a video stream is extracted from the transport stream TS and supplied to the video decoding unit 203.
  • the video decoding unit 203 performs decoding processing on the video stream to obtain uncompressed video data. This video data is supplied to the video processing circuit 204.
  • video data for display is obtained by performing scaling processing, image quality adjustment processing, and the like on the video data.
  • This display video data is supplied to the panel drive circuit 205.
  • the panel drive circuit 205 drives the display panel 206 based on the display video data. As a result, an image corresponding to the video data for display is displayed on the display panel 206.
  • various information such as descriptor information is extracted from the transport stream TS and sent to the CPU 221.
  • the various information includes the tag table descriptor described above.
  • table information having information on a predetermined sound unit in the audio stream is acquired by this descriptor, frame count information indicating the frame position from the service head of each sound unit, sound unit identification information of each sound unit, The source identification information of each sound unit is recognized.
  • an audio stream is extracted from the transport stream TS and sent to the audio decoding unit 214.
  • the audio decoding unit 214 performs decoding processing on the audio stream, and obtains audio data for driving each speaker constituting the speaker system 216.
  • various information inserted in the audio stream is extracted and transmitted to the CPU 221.
  • the various information includes tag information “Speech_tag_information ()” and table information “Tag_table ()”.
  • the CPU 221 determines whether the audio frame includes audio compression data of a predetermined sound unit for each audio frame based on the tag information, or the sound unit identification information of the included sound unit, the source identification information of the sound unit, and the frame count information. Type information indicating whether the start position / end position is included, offset information from the start of the frame at the start position / end position, and the like are recognized.
  • the CPU 221 uses the table information to determine information on a predetermined sound unit in the audio stream, that is, frame count information indicating the frame position from the service head of each sound unit, sound unit identification information for each sound unit, and information on each sound unit. Source identification information and the like are recognized.
  • the audio data corresponding to a predetermined sound unit is cut out from the audio data obtained by the decoding process based on the tag information under the control of the CPU 221 based on the tag information and temporarily stored in the buffer. Retained.
  • the audio decoding unit 214 for example, when there is a reproduction operation (instantaneous repeat operation) by the user, the audio data of the sound unit is read from the buffer under the control of the CPU 221 and output as audio data as it is. The text is converted and output as caption display data, or both are performed. This caption display data is sent to the video processing circuit 204 and superimposed on the video data.
  • the audio data read from the buffer is output instead of the audio data obtained by the decoding process, or the audio data obtained by the decoding process. Are mixed and output.
  • output only as caption display data output of audio data obtained by the decoding process is continued.
  • the audio decoding unit when there is a subtitle conversion display operation by the user, under the control of the CPU 221, the audio of the sound unit such as the designated switch group, group, generation source (speaker) based on the tag information Data is cut out, converted into text, and output as subtitle display data.
  • This caption display data is sent to the video processing circuit 204 and superimposed on the video data.
  • Audio data for driving each speaker obtained by the audio decoding unit 214 is supplied to the audio output processing circuit 215.
  • the audio output processing circuit 215 performs necessary processing such as D / A conversion and amplification on the audio data.
  • the processed audio data is supplied to the speaker system 216. Thereby, the sound output corresponding to the display image of the display panel 206 is obtained from the speaker system 216.
  • a transport stream TS sent from the receiving unit 201 through the demultiplexer 202 is written under the control of the CPU 221 in accordance with a user operation. Also, the transport stream TS held is read from the local storage 231 and sent to the demultiplexer 202 under the control of the CPU 221 in accordance with a user operation.
  • the subsequent processing for the transport stream TS is the same as that for the transport stream TS supplied from the reception unit 201 described above.
  • the transport stream TS sent from the receiving unit 201 through the demultiplexer 202 is written to the online storage 242 through the network 241 under the control of the CPU 221 in accordance with a user operation.
  • the communication interface 232 reads the transport stream TS held in the online storage 242 through the net 241 and sends it to the demultiplexer 202 under the control of the CPU 221 in accordance with a user operation.
  • the subsequent processing for the transport stream TS is the same as that for the transport stream TS supplied from the reception unit 201 described above.
  • the CPU 221 controls reading of the transport stream TS from the storage (local storage 231 and online storage 242) based on information on a predetermined sound unit included in the table information. For example, the CPU 221 performs control so that the container stream is read from the frame position including the sound unit selected by the user.
  • the user selects a sound unit as a reading position by referring to the information display of a predetermined sound unit included in the table information displayed on the display panel 206.
  • the CPU 221 sends a read command with a frame count value indicating the frame position from the head of the service corresponding to the selected sound unit to the online storage 242 via the local storage 231 or the communication interface 232.
  • reading of the container stream is started from the frame position including the sound unit selected by the user based on the frame count value.
  • the service transmitter 100 includes tag information indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit. Insert. Therefore, the receiving side can easily cut out audio data corresponding to a predetermined sound unit based on the tag information and use it for sound output, caption display, and the like.
  • the service transmitter 100 inserts table information having information on a predetermined sound unit in the audio stream into the container stream layer and / or the audio stream layer. Therefore, on the receiving side, it is possible to perform processing based on information on a predetermined sound unit included in the table information. For example, it is possible to easily read from the storage where the container stream is written from the position where the audio compression data of the predetermined sound unit is included.
  • the container stream (multiplexed stream) is an MPEG-2 transport stream (transport stream TS) is shown.
  • transport stream TS transport stream
  • the present technology can be similarly applied to a system that is distributed in a container stream of MP4 or other formats.
  • an MPEG-DASH-based stream distribution system or a transmission / reception system that handles an MMT (MPEG Media Transport) structure transmission stream is shown.
  • FIG. 23 shows a configuration example of an MMT stream when media access information (container target data) is inserted into an audio stream and sent.
  • MMT packets of assets such as video and audio.
  • the MMT packet of the audio asset identified by ID2 exists together with the MMT packet of the video asset identified by ID1.
  • Tag information “Speech_tag_information ()” (see FIG. 10) is inserted into an audio asset (audio stream), and table information “Tag_table ()” (see FIG. 11) is inserted.
  • message packets such as PA (Packet Access) message packets exist in the MMT stream.
  • the PA message packet includes a table such as an MMT packet table (MMT Package Table).
  • MMT Package Table MMT packet table
  • the MP table includes information for each asset.
  • tag table descriptors are also included as audio asset information.
  • FIG. 24 shows a configuration example of an MP4 stream (file) including data of an audio track (track A).
  • the illustrated example is an example in the case of fragmented MP4 (Fragmented MP4).
  • a predetermined number of movie fragments (Movie Fragment) configured by a “moof” box containing control information and an “mdat” box containing media data itself are arranged. Since the “mdat” box contains a fragment obtained by fragmenting the track data, the control information entering the “moof” box is control information related to the fragment.
  • the MP4 stream “audio bitstream” corresponding to the audio track a predetermined number of audio frames (Audio frames) are arranged in the “mdat” box of each movie fragment.
  • a “traf” box exists in the “moof” box of each movie fragment, and a “tfdt” box exists in the box.
  • this “tfdt” box there is a description of the decoding time “baseMediaDecodeTime” of the first access unit after the “moof” box.
  • tfdt exists in the “moof” box
  • an “sgpd” box exists in the box
  • a “tscl” box exists in the box.
  • parameters of “Audiostreamtype” and “Attribute” are described.
  • FIG. 25 shows an MPD file description example.
  • FIG. 26 shows the contents of main information in the description example.
  • a media stream (MP4 stream) and an MPD file as a metafile are transmitted to a receiving side through a communication network transmission path.
  • the audio compression format is MPEG-H 3D Audio.
  • the present technology can be similarly applied when the audio compression format is another audio compression format such as AAC, AC3, or AC4.
  • FIG. 27A shows the structure of the AC4 simple transport layer.
  • a sync word field As shown in FIG. 27B, there is a TOC (Table Of Content) field at the head, and there are a predetermined number of substream fields thereafter.
  • TOC Table Of Content
  • a metadata area exists in the substream (ac4_substream_data ()), and a field “umd_payloads_substream ()” is provided therein.
  • Tag information “Speech_tag_information ()” (see FIG. 10) and table information “Tag_table ()” (see FIG. 11) are placed in the “umd_payload_byte” field in the “umd_payloads_substream ()” field.
  • the TOC (ac4_toc ()) includes a field "ac4_presentation_info ()", and further includes a field “umd_info ()". Indicates that tag information or the like is inserted in the field of “umd_payloads_substream ()” described above.
  • this technique can also take the following structures.
  • a stream generation unit that performs encoding processing on audio data and generates an audio stream in which audio frames including audio compression data are continuously arranged;
  • An information insertion unit for inserting tag information indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit;
  • a transmission apparatus comprising: a transmission unit configured to transmit a container stream having a predetermined format including an audio stream in which the tag information is inserted.
  • the tag information The transmission apparatus according to (1), including type information indicating whether the audio compression data of the predetermined sound unit includes a start position, an end position, or neither of the start position and the end position.
  • the tag information is When the type information indicates the start position, it indicates an offset in sample units from the beginning of the frame to the start position, and when the type information indicates the end position, samples from the frame start to the end position
  • the transmission apparatus according to (2) including offset information indicating a unit offset.
  • the tag information is The transmission apparatus according to any one of (1) to (3), further including frame count information indicating a frame position from a service head of an audio frame in which the tag information is inserted.
  • the above tag information The transmission device according to any one of (1) to (4), further including sound unit identification information for identifying a corresponding sound unit.
  • the transmission device When there are a plurality of the predetermined sound units, and the plurality of sound units include a plurality of sound source sources, The above tag information
  • the transmission device according to any one of (1) to (5), including generation source identification information for identifying a generation source of a corresponding sound unit.
  • the stream generation unit Encode multiple groups of audio data to generate an audio stream in which audio frames containing multiple groups of audio compression data are placed consecutively, The above tag information
  • the transmission device according to any one of (1) to (6), further including group identification information for identifying which group the audio compression data of the predetermined sound unit belongs to.
  • the transmission device When the group indicated by the group identification information is a group constituting a predetermined switch group, The above tag information The transmission device according to (7), including switch group identification information for identifying the predetermined switch group. (9) The information insertion unit The transmission apparatus according to any one of (1) to (8), wherein table information having information on the predetermined sound unit in the audio stream is further inserted into the container stream layer and / or the audio stream layer. . (10) When there are a plurality of the predetermined sound units, Information on multiple sound units The transmission device according to (9), including sound unit identification information for identifying a corresponding sound unit.
  • the transmission device When there are a plurality of the predetermined sound units, and the plurality of sound units include a plurality of sound source units, Information on multiple sound units
  • the transmission device according to (9) or (10), including generation source identification information for identifying a generation source of a corresponding sound unit.
  • the information on the predetermined sound unit is as follows: The transmission apparatus according to any one of (9) to (11), further including frame count information indicating a frame position from a service head of an audio frame including audio compression data of the predetermined sound unit.
  • a transmission method comprising: a transmission step of transmitting a container stream of a predetermined format including an audio stream in which the tag information is inserted by a transmission unit.
  • a receiving unit that receives a container stream of a predetermined format including an audio stream in which audio frames including audio compression data are continuously arranged; Tag information indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit is included,
  • a receiving apparatus further comprising: a processing unit that processes the audio stream using the tag information.
  • the processing unit A decoding unit that obtains audio data by performing decoding processing on the audio compression data included in each audio frame of the audio stream;
  • the receiving device according to (14), further including a data cutout holding unit that cuts audio data corresponding to the predetermined sound unit from the audio data obtained by the decoding unit based on the tag information and holds the audio data in a buffer.
  • the processing unit The receiving apparatus according to (15), further including a data output unit that reads out and outputs audio data corresponding to the predetermined sound unit from the buffer based on user operation information.
  • the processing unit A decoding unit that obtains audio data by performing decoding processing on the audio compression data included in each audio frame of the audio stream; Based on the tag information, the audio data obtained by the decoding unit is cut out from the audio data corresponding to the predetermined sound unit, the subtitle data generating unit generates text data by performing text conversion, and (14) To (16).
  • the reception unit includes a reception step of receiving a container stream of a prescribed format including an audio stream in which audio frames including audio compression data are continuously arranged, Tag information indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit is included, A receiving method further comprising a processing step of processing the audio stream using the tag information.
  • a receiving unit that receives a container stream of a predetermined format including an audio stream in which audio frames including audio compression data are continuously arranged, Tag information indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit is included,
  • the container stream layer and / or the audio stream layer includes table information having information on the predetermined sound unit in the audio stream,
  • the control unit further includes a control unit that controls writing of the received container stream to the storage, reading of the container stream from the storage, and processing of an audio stream included in the read container stream.
  • a receiving apparatus that controls reading of the container stream from the storage based on information on the predetermined sound unit included in the table information.
  • the reception unit includes a reception step of receiving a container stream of a predetermined format including an audio stream in which audio frames including audio compression data are continuously arranged, Tag information indicating that the audio frame including the audio compression data of the predetermined sound unit includes the audio compression data of the predetermined sound unit is included,
  • the container stream layer and / or the audio stream layer includes table information having information on the predetermined sound unit in the audio stream,
  • a write control step for controlling writing of the received container stream to the storage;
  • a read control step for controlling reading of the container stream from the storage;
  • the processing further includes a processing step for processing an audio stream included in the read container stream. In the reading control step, the container stream from the storage is based on information on the predetermined sound unit included in the table information. Receiving method that controls reading of.
  • the main feature of the present technology is that the receiving side inserts tag information indicating that the audio compressed data of the predetermined sound unit is included in the audio frame including the audio compressed data of the predetermined sound unit. It is easy to cut out audio data corresponding to a predetermined sound unit based on the tag information and use it for sound output, caption display, and the like (see FIGS. 5 and 7).

Abstract

受信側におけるオーディオストリームの処理の便宜を図る。　オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを生成する。所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報を挿入する。タグ情報が挿入されたオーディオストリームを含む所定フォーマットのコンテナストリームを送信する。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、音声付き配信サービスなどにおいてオーディオストリームを送信する送信装置等に関する。
　例えば、特許文献１には、放送局、配信サーバ等から所定の情報をオーディオ圧縮データストリームに挿入して送信し、受信側で当該所定の情報を利用した処理を行うことが記載されている。
　また、例えば、特許文献２には、立体（３Ｄ）音響技術として、オブジェクト音源のオーディオデータをその位置情報に基づいて任意の位置に存在するスピーカにマッピングする３Ｄオーディオレンダリングの技術が記載されている。
特開２０１２－０１０３１１号公報 特表２０１４－５２０４９１号公報
　本技術の目的は、受信側におけるオーディオストリームの処理の便宜を図ることにある。
　本技術の概念は、
　オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを生成するストリーム生成部と、
　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報を挿入する情報挿入部と、
　上記タグ情報が挿入されたオーディオストリームを含む所定フォーマットのコンテナストリームを送信する送信部を備える
　送信装置にある。
　本技術において、ストリーム生成部により、オーディオデータにエンコード処理が施され、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームが生成される。情報挿入部により、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が挿入される。ここで、音ユニットは、人の声（音声）、動物の鳴き声、環境音などの音の任意の時間分のまとまりを意味している。送信部により、タグ情報が挿入されたオーディオストリームを含む所定フォーマットのコンテナストリームが送信される。
　例えば、タグ情報は、所定の音ユニットのオーディオ圧縮データの開始位置を含むか、終了位置を含むか、開始位置および終了位置のいずれも含まないことを示すタイプ情報を有する、ようにされてもよい。そして、この場合、例えば、タグ情報は、タイプ情報が開始位置を含むことを示すとき、フレーム先頭から開始位置までのサンプル単位のオフセットを示すと共に、タイプ情報が終了位置を示すとき、フレーム先頭から終了位置までのサンプル単位のオフセットを示すオフセット情報を有する、ようにされてもよい。
　また、例えば、タグ情報は、このタグ情報が挿入されるオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント情報を有する、ようにされてもよい。また、例えば、所定の音ユニットが複数存在するとき、タグ情報は、対応する音ユニットを識別するための音ユニット識別情報を有する、ようにされてもよい。
　また、例えば、所定の音ユニットが複数存在し、この複数の音ユニットに複数の発生元の音ユニットが含まれるとき、タグ情報は、対応する音ユニットの発生元を識別するための発生元識別情報を有する、ようにされてもよい。ここで、発生元は、音が人の声（音声）である場合は「Ａさん」、「Ｂさん」、「男の人」、「女の人」、「大人」、「子供」等のような発話者を意味し、音が動物の鳴き声である場合は例えば「犬」、「猫」などの動物の種類などを意味し、音が環境音である場合は例えば「工事現場」、「コンサート会場」、「サッカー場」などの環境音発生場所や、「波の音」、「台風の音、「雷の音」などの環境音自体を意味する。
　また、例えば、ストリーム生成部は、複数のグループのオーディオデータにエンコード処理を施し、複数のグループのオーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを生成し、タグ情報は、所定の音ユニットのオーディオ圧縮データがどのグループのものであるかを識別するためのグループ識別情報を有する、ようにされてもよい。そして、この場合、例えば、グループ識別情報が示すグループが所定のスイッチグループを構成するグループであるとき、タグ情報は、所定のスイッチグループを識別するためのスイッチグループ識別情報を有する、ようにされてもよい。
　このように本技術においては、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が挿入される。そのため、受信側では、タグ情報に基づいて所定の音ユニットに対応したオーディオデータを切り取って音出力や字幕表示などに利用することが容易に可能となる。
　なお、本技術において、例えば、情報挿入部は、コンテナストリームのレイヤおよび/またはオーディオストリームのレイヤに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報さらに挿入する、ようにされてもよい。例えば、所定の音ユニットの情報は、この所定の音ユニットのオーディオ圧縮データを含むオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント情報を有する、ようにされてもよい。
　また、例えば、所定の音ユニットが複数存在するとき、複数の音ユニットの情報は、それぞれ、対応する音ユニットを識別するための音ユニット識別情報を有する、ようにされてもよい。また、例えば、所定の音ユニットが複数存在し、この複数の音ユニットに複数の発生元の音ユニットが含まれるとき、複数の音ユニットの情報は、それぞれ、対応する音ユニットの発生元を識別するための発生元識別情報を有する、ようにされてもよい。
　このようにコンテナストリームのレイヤおよび/またはオーディオストリームのレイヤに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報が挿入されることで、受信側では、このテーブル情報が持つ所定の音ユニットの情報に基づいた処理を行うことが可能となる。例えば、コンテナストリームが書き込まれたストレージより、その所定の音ユニットのオーディオ圧縮データが含まれる位置からの読み出しを行うことが容易に可能となる。
　また、本技術の他の概念は、
　オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む所定フォーマットのコンテナストリームを受信する受信部を備え、
　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれており、
　上記タグ情報を利用して上記オーディオストリームの処理を行う処理部をさらに備える
　受信装置にある。
　本技術において、受信部により、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む所定フォーマットのコンテナストリームが受信される。所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれている。処理部により、タグ情報を利用してオーディオストリームの処理が行われる。
　例えば、処理部は、オーディオストリームの各オーディオフレームに含まれるオーディオ圧縮データにデコード処理を施してオーディオデータを得るデコード部と、タグ情報に基づいてデコード部で得られたオーディオデータから所定の音ユニットに対応したオーディオデータを切り取ってバッファに保持するデータ切り取り保持部を有する、ようにされてもよい。そして、この場合、例えば、処理部は、ユーザの操作情報に基づいて、バッファから、所定の音ユニットに対応したオーディオデータを読み出して出力するデータ出力部をさらに有する、ようにされてもよい。
　また、例えば、処理部は、オーディオストリームの各オーディオフレームに含まれるオーディオ圧縮データにデコード処理を施してオーディオデータを得るデコード部と、タグ情報に基づいて、デコード部で得られたオーディオデータから所定の音ユニットに対応したオーディオデータを切り取ってテキスト変換を行って字幕データを生成する字幕データ生成部を有する、ようにされてもよい。
　このように本技術においては、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに挿入されている、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報を利用してオーディオストリームの処理が行われる。そのため、所定の音ユニットに対応したオーディオデータを切り取って音出力や字幕表示などに利用することが容易に可能となる。
　また、本技術の他の概念は、
　オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む所定フォーマットのコンテナストリームを受信する受信部を備え、
　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれており、
　上記コンテナストリームのレイヤおよび/または上記オーディオストリームのレイヤに、上記オーディオストリーム内における上記所定の音ユニットの情報を持つテーブル情報が含まれており、
　上記受信されたコンテナストリームのストレージへの書き込みと、上記ストレージからの上記コンテナストリームの読み出しと、上記読み出されたコンテナストリームに含まれるオーディオストリームの処理を制御する制御部をさらに備え
　上記制御部は、上記テーブル情報が持つ上記所定の音ユニットの情報に基づいて上記ストレージからの上記コンテナストリームの読み出しを制御する
　受信装置にある。
　本技術において、受信部により、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む所定フォーマットのコンテナストリームが受信される。所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれている。また、コンテナストリームのレイヤおよび/または上記オーディオストリームのレイヤに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報が含まれている。
　制御部により、受信されたコンテナストリームのストレージへの書き込みが制御される。例えば、ストレージは、例えば、ローカルストレージあるいはオンラインストレージ（ネット上のストレージ）である。また、制御部により、ストレージからのコンテナストリームの読み出しが制御される。この場合、テーブル情報が持つ所定の音ユニットの情報に基づいて制御される。
　このように本技術においては、ストレージからのコンテナストリームの読み出しが、テーブル情報が持つ所定の音ユニットの情報に基づいて制御される。そのため、例えば、ストレージから、その所定の音ユニットのオーディオ圧縮データが含まれる位置からのコンテナストリームの読み出しを行うことが容易に可能となる。
　本技術によれば、受信側におけるオーディオストリームの処理の便宜を図ることができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏの伝送データにおけるオーディオフレームの構造例を示す図である。 新規定義されるパケットタイプを説明するための図である。 ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏの伝送データの構成例を示す図である。 １ストリーム/マルチストリームで送信する場合におけるオーディオフレームの構成例を概略的に示す図である。 オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームと音ユニットの対応関係の一例を示す図である。 オーディオフレームに含まれるタグ情報「Speech_tag_information()」の内容の一例を簡略的に示す図である。 オーディオストリームに対するタグ情報「Speech_tag_information()」の挿入とテーブル情報「Tag_table()」の挿入の一例を示す図である。 オーディオストリームに挿入されるテーブル情報「Tag Table 1」の内容の一例を示す図である。 タグ情報「Speech_tag_information()」の構造例を示す図である。 テーブル情報「Tag table()」の構造例を示す図である。 タグ情報「Speech_tag_information()」の構造例およびテーブル情報「Tag table()」の構造例における主要な情報の内容を示す図である。 タグ・テーブル・デスクリプタ（Tag_table_descriptor()）の構造例を示す図である。 サービス送信機１００が備えるストリーム生成部の構成例を示すブロック図である。 ３Ｄオーディオの伝送データを１ストリームで送信する場合におけるトランスポートストリームＴＳの構成例を示す図である。 ３Ｄオーディオの伝送データを２ストリームで送信する場合におけるトランスポートストリームＴＳの構成例を示す図である。 サービス受信機の構成例を示すブロック図である。 ストレージからの読み出し（再生）の動作を説明するための図である。 オーディオデコード部の構成例を示すブロック図である。 オーディオデータ＆タグバッファの保持内容の一例を示す図である。 表示パネルに表示される音ユニットの情報の一例を示す図である。 表示パネルにおける字幕表示例を示す図である。 ＭＭＴストリームの構成例を示す図である。 オーディオ圧縮フォーマットがＡＣ４である場合におけるオーディオトラックのデータを含むＭＰ４ストリーム（ファイル）の構成例を示す図である。 ＭＰＤファイル記述例を示す図である。 ＭＰＤファイル記述例における主要な情報の内容を示す図である。 ＡＣ４のシンプルトランスポート（Simple Transport）のレイヤの構造を示す図である。 ＴＯＣ（ac4_toc()）およびサブストリーム（ac4_substream_data()）の概略構成を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［送受信システムの構成例］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、サービス送信機１００とサービス受信機２００により構成されている。サービス送信機１００は、コンテナストリーム（多重化ストリーム）としてのＭＰＥＧ－２　トランスポートストリーム（以下、単に、「トランスポートストリームＴＳ」と称する）を、放送波あるいはネットのパケットに載せて送信する。
　トランスポートストリームＴＳは、オーディオストリーム、あるいはビデオストリームとオーディオストリームを有している。この実施の形態においては、トランスポートストリームＴＳは、ビデオストリームとオーディオストリームを有するものとする。オーディオストリームは、オーディオデータにエンコード処理を施して得られたオーディオ圧縮データを含むオーディオフレームが連続して配置されたものである。この実施の形態において、オーディオストリームの符号化方式は、ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏとされる。
　サービス送信機１００は、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報を挿入する。ここで、音ユニットは、人の声（音声）、動物の鳴き声、環境音などの任意の時間分のまとまりを意味している。この実施の形態において、音ユニットは、音声の任意の時間分のまとまりであるとする。
　タグ情報は、タイプ情報を有するものとされる。このタイプ情報は、所定の音ユニットのオーディオ圧縮データの開始位置を含むか、終了位置を含むか、開始位置および終了位置のいずれも含まないことを示す。また、タグ情報は、タイプ情報が開始位置を含むことを示すとき、フレーム先頭から開始位置までのサンプル単位のオフセットを示すと共に、タイプ情報が終了位置を示すとき、フレーム先頭から終了位置までのサンプル単位のオフセットを示すオフセット情報を有するものとされる。
　また、タグ情報は、このタグ情報が挿入されるオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント情報を有するものとされる。また、所定の音ユニットが複数存在するとき、タグ情報は、対応する音ユニットを識別するための音ユニット識別情報を有するものとされる。
　また、所定の音ユニットが複数存在し、この複数の音ユニットに複数の発生元の音ユニットが含まれるとき、タグ情報は、対応する音ユニットの発生元を識別するための発生元識別情報を有するものとされる。この実施の形態において、音ユニットは音声の任意の時間分のまとまりであり、発生元は、「Ａさん」、「Ｂさん」、「男の人」、「女の人」、「大人」、「子供」等のような音声を発する発話者である。
　また、タグ情報は、オーディオ圧縮データとして複数のグループのオーディオ圧縮データを取り扱うとき、所定の音ユニットのオーディオ圧縮データがどのグループのものであるかを識別するためのグループ識別情報を有するものとされる。また、このグループ識別情報が所定のスイッチグループを構成するグループであるとき、タグ情報は、この所定のスイッチグループを識別するためのスイッチグループ識別情報を有するものとされる。
　サービス送信機１００は、コンテナストリームとしてのトランスポートストリームＴＳのレイヤおよび/またはオーディオストリームのレイヤに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報を挿入する。所定の音ユニットの情報は、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント情報を有するものとされる。
　また、所定のユニットが複数存在するとき、複数の音ユニットの情報は、それぞれ、対応する音ユニットを識別するための音ユニット識別情報を有するものとされる。また、所定の音ユニットが複数存在し、この複数の音ユニットに複数の発生元の音ユニットが含まれるとき、複数の音ユニットの情報は、それぞれ、対応する音ユニットの発生元を識別するための発生元識別情報を有するものとされる。
　図２は、ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏの伝送データにおけるオーディオフレームの構造例を示している。このオーディオフレームは、複数のＭＰＥＧオーディオストリームパケット（mpeg Audio Stream Packet）からなっている。各ＭＰＥＧオーディオストリームパケットは、ヘッダ（Header）とペイロード（Payload）により構成されている。
　ヘッダは、パケットタイプ（Packet Type）、パケットラベル（Packet Label）、パケットレングス（Packet Length）などの情報を持つ。ペイロードには、ヘッダのパケットタイプで定義された情報が配置される。ペイロード情報には、同期スタートコードに相当する“ＳＹＮＣ”と、３Ｄオーディオの伝送データの実際のデータである“Ｆｒａｍｅ”と、この“Ｆｒａｍｅ”の構成を示す“Ｃｏｎｆｉｇ”が存在する。
　“Ｆｒａｍｅ”には、３Ｄオーディオの伝送データを構成するチャネル符号化データとオブジェクト符号化データが含まれる。ここで、チャネル符号化データは、ＳＣＥ（Single Channel Element）、ＣＰＥ（Channel Pair Element）、ＬＦＥ（Low Frequency Element）などの符号化サンプルデータで構成される。また、オブジェクト符号化データは、ＳＣＥ（Single Channel Element）の符号化サンプルデータと、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータにより構成される。このメタデータは、エクステンションエレメント（Ext_element）として含まれる。
　また、ペイロード情報には、この実施の形態において新規定義する、“Ｔａｇ　ｔａｂｌｅ”と“Ｓｐｅｅｃｈ　ｔａｇ　ｉｎｆｏｒｍａｔｉｏｎ”が存在する。“Ｓｐｅｅｃｈ　ｔａｇ　ｉｎｆｏｒｍａｔｉｏｎ”には上述したタグ情報「Speech_tag_information()」が含まれ、“Ｔａｇ　ｔａｂｌｅ”には上述したテーブル情報「Tag_table()」が含まれる。図３は、パケットタイプとして、タグ情報「Speech_tag_information()」を含めるための「SpeechTagInformation」と、テーブル情報「Tag_table()」を含めるための「TagTable」が新規定義されることを示している。
　図４は、ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏの伝送データの構成例を示している。この構成例では、１つのチャネル符号化データと６つのオブジェクト符号化データとからなっている。１つのチャネル符号化データは、５．１チャネルのチャネル符号化データ（ＣＤ）であり、ＳＣＥ１、ＣＰＥ１．１、ＣＰＥ１．２、ＬＦＥ１の各符号化サンプルデータからなっている。
　６つのオブジェクト符号化データのうち、最初の３つのオブジェクト符号化データは、ダイアログ・オブジェクトのコンテントグループの符号化データ（ＤＯＤ）に属している。この３つのオブジェクト符号化データは、第１、第２、第３の言語のそれぞれに対応したダイアログ・オブジェクトの符号化データである。
　この第１、第２、第３の言語に対応したダイアログ・オブジェクトの符号化データは、それぞれ、符号化サンプルデータＳＣＥ２，ＳＣＥ３，ＳＣＥ４と、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータ（Object metadata）とからなっている。
　また、６つのオブジェクト符号化データのうち、残りの３つのオブジェクト符号化データは、サウンド・エフェクト・オブジェクトのコンテントグループの符号化データ（ＳＥＯ）に属している。この３つのオブジェクト符号化データは、第１、第２、第３の効果音のそれぞれに対応したサウンド・エフェクト・オブジェクト（Object for sound effect）の符号化データである。
　この第１、第２、第３の効果音に対応したサウンド・エフェクト・オブジェクトの符号化データは、それぞれ、符号化サンプルデータＳＣＥ５，ＳＣＥ６，ＳＣＥ７と、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータ（Object metadata）とからなっている。
　符号化データは、種類別にグループ（Group）という概念で区別される。この構成例では、５．１チャネルのチャネル符号化データはグループ１（Group 1）とされる。また、第１、第２、第３の言語に対応したダイアログ・オブジェクトの符号化データは、それぞれ、グループ２（Group 2）、グループ３（Group 3）、グループ４（Group 4）とされる。また、第１、第２、第３の効果音に対応したサウンド・エフェクト・オブジェクトの符号化データは、それぞれ、グループ５（Group 5）、グループ６（Group 6）、グループ７（Group 7）とされる。
　また、受信側においてグループ間で選択できるものはスイッチグループ（SW Group）に登録されて符号化される。この構成例では、ダイアログ・オブジェクトのコンテントグループに属するグループ２、グループ３、グループ４はスイッチグループ１（SW Group 1）とされる。また、サウンド・エフェクト・オブジェクトのコンテントグループに属するグループ５、グループ６、グループ７はスイッチグループ２（SW Group 2）とされる。
　図１に戻って、サービス送信機１００は、上述したように複数のグループの符号化データを含む３Ｄオーディオの伝送データを、１ストリーム（Single stream）、あるいは複数ストリーム（Multiple stream）、例えば２ストリームで送信する。
　図５（ａ）は、図４の３Ｄオーディオの伝送データの構成例において、１ストリームで送信する場合におけるオーディオフレームの構成例を概略的に示している。この場合、この１ストリームに、“ＳＹＮＣ”情報と“Ｃｏｎｆｉｇ”情報と共に、チャネル符号化データ（ＣＤ）、ダイアログ・オブジェクトの符号化データ（ＤＯＤ）、サウンド・エフェクト・オブジェクトの符号化データ（ＳＥＯ）が含まれ、さらにタグ情報「Speech tag information()」およびテーブル情報「Tag table()」が含まれる。
　なお、タグ情報「Speech tag information()」およびテーブル情報「Tag table()」は全てのオーディオフレームに含まれると限定するものではない。タグ情報「Speech tag information()」は、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、含まれる。また、テーブル情報「Tag table()」は、任意のオーディオフレームに、挿入される。このことは、以下の複数ストリームで送信する場合においても同様である。
　図５（ｂ）は、図４の３Ｄオーディオの伝送データの構成例において、複数ストリーム（各ストリームを、適宜、「サブストリーム」と呼ぶこととする）、ここでは２ストリームで送信する場合におけるオーディオフレームの構成例を概略的に示している。この場合、サブストリーム１に、“ＳＹＮＣ”情報と“Ｃｏｎｆｉｇ”情報と共に、チャネル符号化データ（ＣＤ）が含まれ、さらにタグ情報「Speech tag information()」およびテーブル情報「Tag table()」が含まれる。
　また、サブストリーム２に、“ＳＹＮＣ”情報と“Ｃｏｎｆｉｇ”情報と共に、ダイアログ・オブジェクトの符号化データ（ＤＯＤ）、サウンド・エフェクト・オブジェクトの符号化データ（ＳＥＯ）が含まれ、さらにタグ情報「Speech tag information()」およびテーブル情報「Tag table()」が含まれる。
　なお、図５（ｂ）の例では、サブストリーム１およびサブストリーム２の双方にタグ情報「Speech tag information()」およびテーブル情報「Tag table()」が含まれているが、マルチストリームの場合は、いずれか１つ以上のサブストリームにタグ情報「Speech tag information()」およびテーブル情報「Tag table()」が含まれるようにすることで簡素な制御管理とすることができる。
　図６は、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームと音ユニットの対応関係の一例を示している。この例では、音声内容１を持つ音ユニット１と音声内容２を持つ音ユニット２が存在している。
　音ユニット１はオーディオフレームｆ１に開始位置が存在し、オーディオフレームｆ２に終了位置が存在する。オーディオフレームｆ１のフレーム先頭から開始位置までのサンプル単位のオフセットは“xs1”であり、オーディオフレームｆ２のフレーム先頭から終了位置までのサンプル単位のオフセットは“xe1”である。また、音ユニット２はオーディオフレームｆ３に開始位置が存在し、オーディオフレームｆ４に終了位置が存在する。オーディオフレームｆ３のフレーム先頭から開始位置までのサンプル単位のオフセットは“xs2”であり、オーディオフレームｆ４のフレーム先頭から終了位置までのサンプル単位のオフセットは“xe2”である。
　図７は、オーディオフレーム（Audio Frame）に含まれるタグ情報「Speech_tag_information()」の内容の一例を簡略的に示している。なお、この例では、フレームカウント情報、グループ識別情報、スイッチグループ識別情報などは省略されている。
　図７（ａ）は、音ユニットの開始位置を含むオーディオフレーム（図６のオーディオフレームｆ１，ｆ３参照）における例である。この場合、音ユニット識別情報「speech_id」、発生元識別情報「speaker_id」、タイプ情報「sted_type」、オフセット情報「sample_offset」などの情報が存在する。
　“speech_id = 1”は、対応する音ユニットの識別情報が“１”であることを示している。“speaker_id = 1”は、対応する音ユニットの発生元（発話者）の識別情報が“１”であることを示している。“sted_type = 1”は、タイプ情報が“１”であること、つまり音ユニットの開始位置を含むことを示している。そして、“sample_offset = xs”は、フレーム先頭から開始位置までのサンプル単位のオフセットが“xs”であることを示している。
　図７（ｂ）は、音ユニットの開始位置および終了位置のいずれも含まないオーディオフレーム（図６のオーディオフレームｆ１の次からオーディオフレームｆ２の前までに位置するオーディオフレーム、オーディオフレームｆ３の次からオーディオフレームｆ４の前までに位置するオーディオフレーム参照）における例である。この場合、音ユニット識別情報「speech_id」、発生元識別情報「speaker_id」、タイプ情報「sted_type」などの情報が存在する。
　“speech_id = 1”は、対応する音ユニットの識別情報が“１”であることを示している。“speaker_id = 1”は、対応する音ユニットの発生元（発話者）の識別情報が“１”であることを示している。“sted_type = 3”は、タイプ情報が“３”であること、つまり音ユニットの開始位置および終了位置のいずれも含まない継続状態であることを示している。
　図７（ｃ）は、音ユニットの終了位置を含むオーディオフレーム（図６のオーディオフレームｆ２，ｆ４参照）における例である。この場合、音ユニット識別情報「speech_id」、発生元識別情報「speaker_id」、タイプ情報「sted_type」、オフセット情報「sample_offset」などの情報が存在する。
　“speech_id = 1”は、対応する音ユニットの識別情報が“１”であることを示している。“speaker_id = 1”は、対応する音ユニットの発生元（発話者）の識別情報が“１”であることを示している。“sted_type = 2”は、タイプ情報が“２”であること、つまり音ユニットの終了位置を含むことを示している。そして、“sample_offset = xe”は、フレーム先頭から終了位置までのサンプル単位のオフセットが“xe”であることを示している。
　図８は、オーディオストリームに対するタグ情報「Speech_tag_information()」の挿入とテーブル情報「Tag_table()」の挿入の一例を示している。この例は、スイッチグループ１（SW_group_id = 1）のグループ２（Group_id = 2）に着目し、音ユニットの発生元（発話者）として発話者１（speaker_id = 1）、発話者２（speaker_id = 2）、発話者３（speaker_id = 3）が存在する場合を示している。
　オーディオストリームに対して、Ｃ１，Ｃ２，Ｃ３，Ｃ４のフレーム位置で、４つの音ユニットのタグ情報「Speech_tag_information()」が挿入される。各音ユニットのタグ情報は通常複数フレームにわたって挿入される。Ｃ１，Ｃ２，Ｃ３，Ｃ４は、それぞれ、開始位置が含まれるオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウントを示している。
　Ｃ１のフレーム位置で挿入されるタグ情報は、発話者２（speaker_id = 2）の音声に係る音ユニット（speech_id= 1）に対応したものである。Ｃ２のフレーム位置で挿入されるタグ情報は、発話者２（speaker_id = 2）の音声に係る音ユニット（speech_id= 2）に対応したものである。Ｃ３のフレーム位置で挿入されるタグ情報は、発話者１（speaker_id = 1）の音声に係る音ユニット（speech_id= 3）に対応したものである。Ｃ４のフレーム位置で挿入されるタグ情報は、発話者３（speaker_id = 3）の音声に係る音ユニット（speech_id= 4）に対応したものである。
　オーディオストリームに対して、Ｃ１，Ｃ２，Ｃ３，Ｃ４のフレーム位置より前のフレーム位置で、これらＣ１，Ｃ２，Ｃ３，Ｃ４のフレーム位置で挿入される４つの音ユニットの情報を持つテーブル情報「Tag Table 1」が挿入される。図９（ａ）は、そのテーブル情報「Tag Table 1」の内容の一例を示している。各音ユニットに共通のスイッチグループ識別情報「SW_group_id 」、グループ識別情報「Group_id」の他に、音ユニット毎に音ユニット情報「Speech_id」、発生元識別情報「Speaker_id」、フレームカウント情報「Audio_frame_count」が存在する。
　また、オーディオストリームに対して、Ｃ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９のフレーム位置で、５つの音ユニットのタグ情報「Speech_tag_information()」が挿入される。各音ユニットのタグ情報は通常複数フレームにわたって挿入される。Ｃ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９は、それぞれ、開始位置が含まれるオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント値を示している。
　Ｃ５のフレーム位置で挿入されるタグ情報は、発話者１（speaker_id = 1）の音声に係る音ユニット（speech_id= 5）に対応したものである。Ｃ６のフレーム位置で挿入されるタグ情報は、発話者３（speaker_id = 3）の音声に係る音ユニット（speech_id= 6）に対応したものである。Ｃ７のフレーム位置で挿入されるタグ情報は、発話者１（speaker_id = 1）の音声に係る音ユニット（speech_id= 7）に対応したものである。Ｃ８のフレーム位置で挿入されるタグ情報は、発話者１（speaker_id = 1）の音声に係る音ユニット（speech_id= 8）に対応したものである。Ｃ９のフレーム位置で挿入されるタグ情報は、発話者２（speaker_id = 2）の音声に係る音ユニット（speech_id= 9）に対応したものである。
　オーディオストリームに対して、Ｃ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９のフレーム位置より前のフレーム位置で、これらＣ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９のフレーム位置で挿入される５つの音ユニットの情報を持つテーブル情報「Tag Table 2」が挿入される。図９（ｂ）は、そのテーブル情報「Tag Table 2」の内容の一例を示している。各音ユニットに共通のスイッチグループ識別情報「SW_group_id 」、グループ識別情報「Group_id」の他に、音ユニット毎に音ユニット情報「Speech_id」、発生元識別情報「Speaker_id」、フレームカウント情報「Audio_frame_count」が存在する。
　図１０は、タグ情報「Speech_tag_information()」の構造例（syntax）を示している。図１１は、テーブル情報「Tag table()」の構造例（syntax）を示している。図１２は、それらの構造例における主要な情報の内容（semantics）を示している。
　最初に、タグ情報「Speech_tag_information()」の構造例について説明する。「audio_frame_count」の１６ビットフィールドは、このタグ情報が挿入されるオーディオフレームの、サービス先頭からのフレーム位置をフレームカウント値で示す。「num_of_speeches
」の８ビットフィールドは、音ユニットの数を示す。音ユニットの数だけ、「speech_id」の８ビットフィールド、「group_id」の８ビットフィールド、「sw_group_id」の８ビットフィールド、「speaker_id」の８ビットフィールド、「sted_type」の２ビットフィールド、「sample_offset」の１４ビットフィールドの各フィールドが繰り返し存在する。
　「speech_id」のフィールドは、音ユニット識別情報を示す。「group_id」のフィールドは、グループ識別情報を示す。「sw_group_id」のフィールドは、スイッチグループ識別情報を示す。「speaker_id」のフィールドは、発生元（発話者）識別情報を示す。「sted_type」のフィールドは、音ユニットの開始位置を含むか、終了位置を含むか、開始位置および終了位置のいずれも含まないこと（継続）を示す。例えば、“０１”は開始位置を含むことを示し、“１０”は終了位置を含むことを示し、“１１”は開始位置および終了位置のいずれも含まないこと（継続）を示す。
　「sample_offset」のフィールドは、フレーム先頭から開始位置/終了位置までのサンプル単位のオフセットを示す。「sted_type」が“０１”であるときはフレーム先頭から開始位置までのサンプル単位のオフセットを示し、「sted_type」が“１０”であるときはフレーム先頭から終了位置までのサンプル単位のオフセットを示す。
　次に、テーブル情報「Tag_table()」の構造例について説明する。「group_id」の８ビットフィールドは、グループ識別情報を示す。「sw_group_id」の８ビットフィールドは、スイッチグループ識別情報を示す。「num_of_speeches」の８ビットフィールドは、音ユニットの数を示す。音ユニットの数だけ、「speech_id」の８ビットフィールド、「speaker_id」の８ビットフィールド、「audio_frame_count」の１６ビットフィールドの各フィールドが繰り返し存在する。
　「speech_id」のフィールドは、音ユニット識別情報を示す。「speaker_id」のフィールドは、発生元（発話者）識別情報を示す。音ユニットの開始位置が含まれるオーディオフレームの、サービス先頭からのフレーム位置をフレームカウント値で示す。
　図１３は、コンテナストリームに、上述のテーブル情報「Tag_table()」と同様の情報を挿入するためのタグ・テーブル・デスクリプタ（Tag_table_descriptor()）の構造例（syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、タグ・テーブル・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
　「num_of_groups」の８ビットフィールドは、グループの数を示す。この数だけ、以下の要素が繰り返される。「stream_id」の８ビットフィールドは複数ストリームで構成される場合のオーディオストリームの識別に用いる。この情報と“MPEG-H 3D Audio Multi-Stream Descriptor”で示される streamIDとで伝送ストリームの特定ができる。「group_id」のフィールドは、グループ識別情報を示す。「sw_group_id」のフィールドは、スイッチグループ識別情報を示す。「num_of_speeches」の８ビットフィールドは、音ユニットの数を示す。音ユニットの数だけ、「speech_id」の８ビットフィールド、「speaker_id」の８ビットフィールド、「audio_frame_count」の１６ビットフィールドの各フィールドが繰り返し存在する。なお、各フィールドの情報の内容については、上述のテーブル情報「Tag_table()」（図１１参照）で説明したと同様である。
　図１に戻って、サービス受信機２００は、サービス送信機１００から放送波あるいはネットのパケットに載せて送られてくる、上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、ビデオストリームの他に、オーディオストリームが含まれている。このオーディオストリームは、オーディオデータにエンコード処理を施して得られたオーディオ圧縮データを含むオーディオフレームが連続して配置されたものである。
　上述したように、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報（図１０参照）が挿入されている。また、上述したように、トランスポートストリームＴＳのレイヤおよび/またはオーディオストリームのレイヤに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報（図１１、図１３参照）が挿入されている。
　サービス受信機２００は、タグ情報を利用してオーディオストリームの処理を行う。例えば、サービス受信機２００は、オーディオストリームの各オーディオフレームに含まれるオーディオ圧縮データにデコード処理を施してオーディオデータを得、タグ情報に基づいて、そのオーディオデータから所定の音ユニットに対応したオーディオデータを切り取ってバッファに保持する。そして、サービス受信機２００は、ユーザの操作情報に基づいて、バッファから所定の音ユニットに対応したオーディオデータを読み出し、音として出力するか、あるいはテキスト変換を行って字幕として表示する。
　また、例えば、サービス受信機２００は、オーディオストリームの各オーディオフレームに含まれるオーディオ圧縮データにデコード処理を施してオーディオデータを得、タグ情報に基づいて、そのオーディオデータから所定の音ユニットに対応したオーディオデータを切り取ってテキスト変換を行って字幕データを生成し、字幕表示をする。
　また、サービス受信機２００は、トランスポートストリームＴＳをローカルストレージあるいはオンラインストレージに書き込こんだ後に、そのストレージからトランスポートストリームＴＳを読み出し、それに含まれるオーディオストリームの処理を行う。サービス受信機２００は、テーブル情報が持つ所定の音ユニットの情報に基づいて、ストレージからのトランスポートストリームＴＳの読み出しを制御できる。例えば、サービス受信機２００は、ユーザが選択した音ユニットが含まれるフレーム位置からコンテナストリームの読み出しを行うように制御できる。
　［サービス送信機のストリーム生成部］
　図１４は、サービス送信機１００が備えるストリーム生成部１１０の構成例を示している。このストリーム生成部１１０は、制御部１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、マルチプレクサ１１４を有している。
　ビデオエンコーダ１１２は、ビデオデータＳＶを入力し、このビデオデータＳＶに対して符号化を施し、ビデオストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１１３は、オーディオデータＳＡとして、チャネルデータと共に、所定数のコンテントグループのオブジェクトデータを入力する。各コンテントグループには、１つまたは複数のオブジェクトコンテントが属している。
　オーディオエンコーダ１１３は、オーディオデータＳＡに対して符号化を施して３Ｄオーディオの伝送データを得、この３Ｄオーディオの伝送データを含むオーディオストリーム（オーディオエレメンタリストリーム）を生成する。３Ｄオーディオの伝送データには、チャネル符号化データと共に、所定数のコンテントグループのオブジェクト符号化データが含まれる。
　例えば、図４の構成例に示すように、チャネル符号化データ（ＣＤ）と、ダイアログ・オブジェクトのコンテントグループの符号化データ（ＤＯＤ）と、サウンド・エフェクト・オブジェクトのコンテントグループの符号化データ（ＳＥＯ）が含まれる。
　オーディオエンコーダ１１３は、制御部１１１による制御のもと、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報「Speech_tag_information()」（図１０参照）を挿入する。また、オーディオエンコーダ１１３は、制御部１１１による制御のもと、任意のオーディオフレームに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報「Tag_table()」（図１１参照）を挿入する。
　マルチプレクサ１１４は、ビデオエンコーダ１１２から出力されるビデオストリームおよびオーディオエンコーダ１１３から出力される所定数のオーディオストリームを、それぞれ、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、コンテナストリーム（多重化ストリーム）としてのトランスポートストリームＴＳを得る。
　マルチプレクサ１１４は、制御部１１１の制御のもと、トランスポートストリームＴＳに、オーディオストリーム内における所定の音ユニットの情報を持つ、上述のテーブル情報「Tag_table()」（図１１参照）と同様のテーブル情報を挿入する。この実施の形態では、ＰＭＴ（Program Map Table）の配下に存在するオーディオエレメンタリストリームループ内に、タグ・テーブル・デスクリプタ（Tag_table_descriptor()）（図１３参照）を挿入する。
　図１４に示すストリーム生成部１１０の動作を簡単に説明する。ビデオデータＳＶは、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、ビデオデータＳＶに対して符号化が施され、符号化ビデオデータを含むビデオストリームが生成される。このビデオストリームは、マルチプレクサ１１４に供給される。
　オーディオデータＳＡは、オーディオエンコーダ１１３に供給される。このオーディオデータＳＡには、チャネルデータと共に、所定数のコンテントグループのオブジェクトデータが含まれる。ここで、各コンテントグループには、１つまたは複数のオブジェクトコンテントが属している。
　オーディオエンコーダ１１３では、オーディオデータＳＡに対して符号化が施されて３Ｄオーディオの伝送データが得られる。この３Ｄオーディオの伝送データには、チャネル符号化データと共に、所定数のコンテントグループのオブジェクト符号化データが含まれる。そして、オーディオエンコーダ１１３では、この３Ｄオーディオの伝送データを含むオーディオストリームが生成される。
　このとき、オーディオエンコーダ１１３では、制御部１１１による制御のもと、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報「Speech_tag_information()」が挿入される。また、オーディオデコーダ１１３では、制御部１１１による制御のもと、任意のオーディオフレームに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報「Tag_table()」が挿入される。
　ビデオエンコーダ１１２で生成されたビデオストリームは、マルチプレクサ１１４に供給される。また、オーディオエンコーダ１１３で生成されたオーディオストリームは、マルチプレクサ１１４に供給される。マルチプレクサ１１４では、各エンコーダから供給されるストリームがＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、トランスポートストリームＴＳが得られる。
　このとき、マルチプレクサ１１４では、制御部１１１の制御のもと、トランスポートストリームＴＳに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報が挿入される。この場合、ＰＭＴの配下に存在するオーディオエレメンタリストリームループ内に、タグ・テーブル・デスクリプタ（Tag_table_descriptor()）が挿入される。
　[トランスポートストリームＴＳの構成]
　図１５は、３Ｄオーディオの伝送データを１ストリームで送信する場合（図５（ａ）参照）におけるトランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES」が存在すると共に、ＰＩＤ２で識別されるオーディオストリームのＰＥＳパケット「audio PES」が存在する。ＰＥＳパケットは、ＰＥＳヘッダ（PES_header）とＰＥＳペイロード（PES_payload）からなっている。ＰＥＳヘッダには、ＤＴＳ，ＰＴＳのタイムスタンプが挿入されている。
　オーディオストリームのＰＥＳパケットのＰＥＳペイロードにはオーディオストリーム（Audio coded stream）が挿入される。このオーディオストリームに、タグ情報「Speech_tag_information()」が挿入されると共に、テーブル情報「Tag_table()」が挿入される。
　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。
　また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリームループ（video ES loop）が存在すると共に、オーディオストリームに対応したオーディオエレメンタリストリームループ（audio ES loop）が存在する。
　ビデオエレメンタリストリームループ（video ES loop）には、ビデオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は「０ｘ２４」に設定され、ＰＩＤ情報は、上述したようにビデオストリームのＰＥＳパケット「video PES」に付与されるＰＩＤ１を示すものとされる。デスクリプタの一つして、ＨＥＶＣ デスクリプタが配置される。
　また、オーディオエレメンタリストリームループ（audio ES loop）には、オーディオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのオーディオストリームに関連する情報を記述するデスクリプタも配置される。このオーディオストリームの「Stream_type」の値は「０ｘ２Ｃ」に設定され、ＰＩＤ情報は、上述したようにオーディオストリームのＰＥＳパケット「audio PES」に付与されるＰＩＤ２を示すものとされる。デスクリプタの一つして、タグ・テーブル・デスクリプタ（Tag_table_descriptor()）が配置される。
　図１６は、３Ｄオーディオの伝送データを２ストリームで送信する場合（図５（ｂ）参照）におけるトランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES」が存在する。また、この構成例では、ＰＩＤ２，ＰＩＤ３でそれぞれ識別される２つのオーディオストリーム（サブストリーム１、サブストリーム２）のＰＥＳパケット「audio PES」が存在する。
　ＰＥＳパケットは、ＰＥＳヘッダ（PES_header）とＰＥＳペイロード（PES_payload）からなっている。ＰＥＳヘッダには、ＤＴＳ，ＰＴＳのタイムスタンプが挿入されている。多重化の際にＰＩＤ２とＰＩＤ３のタイムスタンプを合致させるなど、的確に付すことで両者の間の同期をシステム全体で確保することが可能である。
　２つのオーディオストリーム（サブストリーム１、サブストリーム２）のＰＥＳパケットのＰＥＳペイロードにはオーディオストリーム（Audio coded stream）が挿入される。このオーディオストリームに、タグ情報「Speech_tag_information()」が挿入されると共に、テーブル情報「Tag_table()」が挿入される。なお、タグ情報「Speech_tag_information()」およびテーブル情報「Tag_table()」は、メインのオーディオストリーム（サブストリーム１）側のみに挿入されることもある。
　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。
　また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリームループ（video ES loop）が存在すると共に、２つのオーディオストリーム（サブストリーム１、サブストリーム２）に対応したオーディオエレメンタリストリームループ（audio ES loop）が存在する
　ビデオエレメンタリストリームループ（video ES loop）には、ビデオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は「０ｘ２４」に設定され、ＰＩＤ情報は、上述したようにビデオストリームのＰＥＳパケット「video PES」に付与されるＰＩＤ１を示すものとされる。デスクリプタの一つして、ＨＥＶＣ デスクリプタが配置される。
　各オーディオエレメンタリストリームループ（audio ES loop）には、オーディオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのオーディオストリームに関連する情報を記述するデスクリプタも配置される。
　ＰＩＤ２はメインのオーディオストリーム（サブストリーム１）で、「Stream_type」の値は「０ｘ２Ｃ」に設定され、ＰＩＤ情報は、上述したようにオーディオストリームのＰＥＳパケット「audio PES」に付与されるＰＩＤを示すものとされる。また、ＰＩＤ３はサブのオーディオストリーム（サブストリーム２）で、「Stream_type」の値は「０ｘ２Ｄ」に設定され、ＰＩＤ情報は、上述したようにオーディオストリームのＰＥＳパケット「audio PES」に付与されるＰＩＤを示すものとされる。
　また、各オーディオエレメンタリストリームループ（audio ES loop）には、デスクリプタの一つして、タグ・テーブル・デスクリプタ（Tag_table_descriptor()）が配置される。なお、タグ・テーブル・デスクリプタ（Tag_table_descriptor()）は、メインのオーディオストリーム（サブストリーム１）側のオーディオエレメンタリストリームループのみに配置されることもある。
　［サービス受信機の構成例］
　図１７は、サービス受信機２００の構成例を示している。このサービス受信機２００は、受信部２０１と、デマルチプレクサ２０２と、ビデオデコード部２０３と、映像処理回路２０４と、パネル駆動回路２０５と、表示パネル２０６と、ＯＳＤ（On Screen Display）部２０７を有している。また、このサービス受信機２００は、オーディオデコード部２１４と、音声出力回路２１５と、スピーカシステム２１６を有している。
　また、このサービス受信機２００は、ＣＰＵ２２１と、フラッシュＲＯＭ２２２と、ＤＲＡＭ２２３と、内部バス２２４と、リモコン受信部２２５と、リモコン送信機２２６と、ローカルストレージ２３１と、通信インタフェース２３２を有している。通信インタフェース２３２には、インターネットなどのネット２４１を介してオンラインストレージ２４２が接続されている。
　ＣＰＵ２２１は、サービス受信機２００の各部の動作を制御する。フラッシュＲＯＭ２２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２２３は、ＣＰＵ２２１のワークエリアを構成する。ＣＰＵ２２１は、フラッシュＲＯＭ２２２から読み出したソフトウェアやデータをＤＲＡＭ２２３上に展開してソフトウェアを起動させ、サービス受信機２００の各部を制御する。
　リモコン受信部２２５は、リモコン送信機２２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２２１に供給する。ＣＰＵ２２１は、このリモコンコードに基づいて、サービス受信機２００の各部を制御する。ＣＰＵ２２１、フラッシュＲＯＭ２２２、ＤＲＡＭ２２３、ローカルストレージ２３１および通信インタフェース２３２は、内部バス２２４に接続されている。
　受信部２０１は、サービス送信機１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、ビデオストリームの他に、オーディオストリームを有している。このオーディオストリームは、オーディオデータにエンコード処理を施して得られたオーディオ圧縮データを含むオーディオフレームが連続して配置されたものである。
　上述したように、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が挿入されている。また、上述したように、トランスポートストリームＴＳのレイヤおよび/またはオーディオストリームのレイヤに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報が挿入されている。
　ここで、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、タグ情報「Speech_tag_information()」が挿入されている（図５、図１０参照）。また、任意のオーディオフレームのオーディオフレームに、テーブル情報「Tag_table()」が挿入されている（図５、図１１参照）。また、ＰＭＴの配下に存在するオーディオエレメンタリストリームループ内に、タグ・テーブル・デスクリプタ（Tag_table_descriptor()）（図１３参照）が配置されている。
　デマルチプレクサ２０２は、トランスポートストリームＴＳからビデオストリームを抽出し、ビデオデコード部２０３に送る。ビデオデコード部２０３は、ビデオストリームに対してデコード処理を行って非圧縮のビデオデータを得る。映像処理回路２０４は、ビデオデコード部２０３で得られたビデオデータに対してスケーリング処理、画質調整処理などを行って、表示用のビデオデータを得る。
　ＯＳＤ部２０７は、ＣＰＵ２２１の制御のもと、ＧＵＩ表示信号を発生する。このＧＵＩ表示信号は、映像処理回路２０４に送られ、ビデオデータに重畳される。パネル駆動回路２０５は、映像処理回路２０４で得られる表示用の画像データに基づいて、表示パネル２０６を駆動する。表示パネル２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成されている。
　また、デマルチプレクサ２０２は、トランスポートストリームＴＳからデスクリプタ情報などの各種情報を抽出し、ＣＰＵ２２１に送る。この各種情報には、上述したタグ・テーブル・デスクリプタも含まれる。ＣＰＵ２２１は、このデスクリプタにより、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報を取得し、各音ユニットのサービス先頭からのフレーム位置を示すフレームカウント情報、各音ユニットの音ユニット識別情報、各音ユニットの発生元識別情報などを認識する。
　また、デマルチプレクサ２０２は、トランスポートストリームＴＳからオーディオストリームを抽出し、オーディオデコード部２１４に送る。オーディオデコード部２１４は、オーディオストリームに対してデコード処理を行って、スピーカシステム２１６を構成する各スピーカを駆動するためのオーディデータを得る。
　この場合、オーディオデコード部２１４は、オーディオストリームに含まれる所定数のオブジェクトコンテントの符号化データのうち、スイッチグループを構成する複数のオブジェクトコンテントの符号化データに関しては、ＣＰＵ２２１の制御のもと、ユーザ選択に係るいずれか１つのオブジェクトコンテントの符号化データのみをデコード対象とする。
　また、オーディオデコード部２１４は、オーディオストリームに挿入されている各種情報を抽出し、ＣＰＵ２２１に送信する。この各種情報には、上述したタグ情報「Speech_tag_information()」およびテーブル情報「Tag_table()」も含まれる。
　ＣＰＵ２２１は、このタグ情報により、オーディオフレーム毎に、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームであるか、含まれる音ユニットの音ユニット識別情報、その音ユニットの発生元識別情報、フレームカウント情報、開始位置/終了位置を含むかを示すタイプ情報、開始位置/終了位置のフレーム先頭からのオフセット情報などを認識できる。
　また、ＣＰＵ２２１は、このテーブル情報により、オーディオストリーム内における所定の音ユニットの情報、つまり各音ユニットのサービス先頭からのフレーム位置を示すフレームカウント情報、各音ユニットの音ユニット識別情報、各音ユニットの発生元識別情報などを認識する。
　また、オーディオデコード部２１４は、タグ情報に基づくＣＰＵ２２１の制御により、デコード処理で得られたオーディオデータから所定の音ユニットに対応したオーディオデータを切り取ってバッファに書き込み一時的に保持する。オーディオデコード部２１４は、例えば、ユーザの再生操作（瞬時リピート操作）があるとき、ＣＰＵ２２１の制御のもと、バッファから音ユニットのオーディオデータを読み出し、そのままオーディオデータとして出力するか、テキスト変換して字幕表示データとして出力するか、あるいはその双方を行う。この字幕表示データは、映像処理回路２０４に送られ、ビデオデータに重畳される。
　この場合、オーディオデータとして出力する場合には、このバッファから読み出されたオーディオデータは、デコード処理で得られたオーディオデータに代わって出力されるか、あるいいはデコード処理で得られたオーディオデータに混合して出力される。また、字幕表示データとしてのみ出力する場合には、デコード処理で得られたオーディオデータの出力は継続される。
　また、オーディオデコード部は、ユーザの字幕変換表示操作があるとき、タグ情報に基づくＣＰＵ２２１の制御により、指示されたスイッチグループ、グループ、発生元（発話者）などの音ユニットのオーディオデータを切り取り、テキスト変換して、字幕表示データとして出力する。この字幕表示データは、映像処理回路２０４に送られ、ビデオデータに重畳される。このオーディオデコード部２１４の詳細については、さらに後述する。
　音声出力処理回路２１５は、オーディオデコード部２１４で得られた各スピーカを駆動するためのオーディオデータに対して、Ｄ／Ａ変換や増幅等の必要な処理を行って、スピーカシステム２１６に供給する。スピーカシステム２１６は、複数チャネル、例えば２チャネル、５．１チャネル、７．１チャネル、２２．２チャネルなどの複数のスピーカを備える。
　ローカルストレージ２３１は、ユーザ操作に応じて、ＣＰＵ２２１の制御のもと、受信部２０１からデマルチプレクサ２０２を通じて送られてくるトランスポートストリームＴＳを書き込んで保持する。また、ローカルストレージ２３１は、ＣＰＵ２２１の制御のもと、保持しているトランスポートストリームＴＳを読み出し、デマルチプレクサ２０２に送る。
　通信インタフェース２３２は、ユーザ操作に応じて、ＣＰＵ２２１の制御のもと、受信部２０１からデマルチプレクサ２０２を通じて送られてくるトランスポートストリームＴＳをネット２４１を通じてオンラインストレージ２４２に書き込み保持する。また、通信インタフェース２３２は、ＣＰＵ２２１の制御のもと、オンラインストレージ２４２に保持されているトランスポートストリームＴＳをネット２４１を通じて読み出し、デマルチプレクサ２０２に送る。
　ＣＰＵ２２１は、テーブル情報が持つ所定の音ユニットの情報に基づいて、ストレージからのトランスポートストリームＴＳの読み出しを制御できる。例えば、ＣＰＵ２２１は、ユーザが選択した音ユニットが含まれるフレーム位置からコンテナストリームの読み出しを行うように制御できる。
　この場合、ユーザは、表示パネル２０６に表示されるオーディオストリーム内の各音ユニットの情報の表示を参照して、読み出し位置としての音ユニットを選択する。ＣＰＵ２２１は、図１８に示すように、選択された音ユニットに対応したタグ情報（「audio_frame_count」、「speech_id」、「speaker_id」など）を伴った読み出しコマンドを、ローカルストレージ２３１、あるいは通信インタフェース２３２を通じてオンラインストレージ２４２に送る。ストレージは、所定のコンテナストリーム、あるいはオーディオストリームに関連付けられているタグ情報「Speech_tag_information」や他テーブル情報「Tag_table」と比較し、一致する個所からコンテナストリームを読み出し、デマルチプレクサ２０２に送る。この場合、「audio_fame_count」でオーディオストリームのサービス先頭からの時間位置を指定し、「group_id/sw_group_id」でオーディオストリーム中の対象グループを指定し、「speech_id」で時系列順の音ユニット（音声）を指定し、さらに、「speaker_id」で、特定の話者の音ユニット（音声）を指定して、対象とする音声、あるいは音声だけでなく、そのタイミングのコンテナに含まれる映像など他のデータも一緒に再生することが可能となる。
　「オーディオデコード部の構成例」
　図１９は、オーディオデコード部２１４の構成例を示している。オーディオデコード部２１４は、デコーダ２５１と、オブジェクトレンダラ２５２と、ミキサ２５３と、オーディオデータ切り取り部２５４と、オーディオデータ＆タグバッファ２５５と、テキスト変換/字幕表示部２５６を有している。
　デコーダ２５１は、デマルチプレクサ２０２で抽出されたオーディオストリームに対してデコード処理を行って、チャネルデータと共に、所定数のオブジェクトコンテントのオブジェクトデータを得る。このデコーダ２５１は、図１４のストリーム生成部１１０のオーディオエンコーダ１１３とほぼ逆の処理をする。なお、スイッチグループを構成する複数のオブジェクトコンテントに関しては、ＣＰＵ２２１の制御のもと、ユーザ選択に係るいずれか１つのオブジェクトコンテントのオブジェクトデータのみを得る。
　また、デコーダ２５１は、オーディオストリームに挿入されている各種情報を抽出し、ＣＰＵ２２１に送信する。この各種情報には、上述したタグ情報「Speech_tag_information()」およびテーブル情報「Tag_table()」も含まれる。
　ＣＰＵ２２１は、このタグ情報により、オーディオフレーム毎に、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームであるか、含まれる音ユニットの音ユニット識別情報、その音ユニットの発生元識別情報、フレームカウント情報、開始位置/終了位置を含むかを示すタイプ情報、開始位置/終了位置のフレーム先頭からのオフセット情報などを認識できる。また、ＣＰＵ２２１は、このテーブル情報により、オーディオストリーム内における所定の音ユニットの情報、つまり各音ユニットのサービス先頭からのフレーム位置を示すフレームカウント情報、各音ユニットの音ユニット識別情報、各音ユニットの発生元識別情報などを認識する。
　オブジェクトレンダラ２５２は、所定数のオブジェクトコンテントのオブジェクトデータに対してレンダリング処理を施して、所定数のオブジェクトコンテントのチャネルデータを得る。ここで、オブジェクトデータは、オブジェクト音源のオーディオデータと、このオブジェクト音源の位置情報から構成されている。オブジェクトレンダラ２５２は、オブジェクト音源のオーディオデータをオブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングすることで、チャネルデータを得る。
　ミキサ２５３は、デコーダ２５１で得られたチャネルデータに、オブジェクトレンダラ２５２で得られた各オブジェクトコンテントのチャネルデータを合成し、スピーカシステム２１６を構成する各スピーカを駆動するためのチャネルデータ（オーディデータ）を得る。
　オーディオデータ切り取り部２５４は、タグ情報に基づくＣＰＵ２２１の制御により、デコーダ２５１で得られたオーディオデータ(チャネルデータ)、あるいはオブジェクトレンダラ２５２で得られた各オブジェクトコンテントのオーディオデータ（チャネルデータ）から、タグ情報で示される音ユニットのオーディオデータを順次切り取る。
　例えば、図６に示す例では、音声内容１の音ユニット１に係るオーディオデータが、オーディオフレームｆ１～ｆ２から切り取られる。この切り取りには、音ユニット１に係るオーディオデータを正しく切り取るためにオフセット情報“xs1”、“xe1”が用いられる。続いて、音声内容２の音ユニット２に係るオーディオデータが、オーディオフレームｆ３～ｆ４から切り取られる。この切り取りには、音ユニット１に係るオーディオデータを正しく切り取るためにオフセット情報“xs2”、“xe2”が用いられる。
　オーディオデータ＆タグバッファ２５５には、ＣＰＵ２２１の制御のもと、オーディデータ切り取り部２５４で切り取られた音ユニットのオーディオデータと、その音ユニットのタグ情報が、関連付けされて書き込み保持される。オーディオデータ＆タグバッファ２５５には、オーディデータ切り取り部２５４で切り取られた最新の所定数、例えば２つの音ユニットの情報だけが保持される。なお、オーディオデータ＆タグバッファ２５５には、オーディデータ切り取り部２５４で切り取られた過去一定時間内の音ユニットの情報だけが保持されるようにされてもよい。
　図２０は、オーディオデータ＆タグバッファ２５５の保持内容の一例を示している。図示の例では、音ユニット１（Unit 1）および音ユニット２（Unit 2）の２つの音ユニットの情報が保持されている。音ユニット１（Unit 1）の情報として、フレームカウント情報「audio_frame_count」、音ユニット識別情報「speech_id」、発生元（発話者）情報「speaker_id」の他に、その音ユニットのオーディオデータ（音声内容１データ）が存在する。また、音ユニット２（Unit 2）の情報として、フレームカウント情報「audio_frame_count」、音ユニット識別情報「speech_id」、発生元（発話者）識別情報「speaker_id」の他に、その音ユニットのオーディオデータ（音声内容２データ）が存在する。
　ここで、フレームカウント情報「audio_frame_count」は、例えば、開始位置が含まれるオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント値を示すものである。なお、終了位置が含まれるオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント値をさらに保持するようにしてもよい。また、オーディオデータ＆タグバッファ２５５に保持されるタグ情報として、タグ情報「Speech_tag_information()」に含まれるその他の情報をさらに含めてもよい。
　テキスト変換/字幕表示部２５６は、オーディオデータ切り取り部２５４で切り取られた各音ユニットのオーディオデータ、あるいはオーディオデータ＆タグバッファ２５５から読み出されたオーディオデータをテキストデータに変換し、さらにビットマップデータ化して字幕表示データを生成し、映像処理回路２０４にビデオデータへの重畳信号として供給する。
　オーディオデータ＆タグバッファ２５５に保持されている各音ユニットの情報は、ユーザの操作に基づき、ＣＰＵ２２１の制御のもと、表示パネル２０６に表示される。この場合、ＣＰＵ２２１の制御のもと、ＯＳＤ部２０７からＧＵＩ表示信号が発生されて映像処理回路２０４に送られ、ビデオデータに重畳される。図２１は、表示例の一例を示している。この表示例は、図２０に示すオーディオデータ＆タグバッファ２５５の保持内容に対応したものである。なお、発生元（発話者）識別情報「speaker_id」と共に、あるいはその代わりに、発生元（発話者）を直感的に示す表示がなされるようにされてもよい。
　ユーザは、オーディオデータ＆タグバッファ２５５に保持されている各音ユニットのオーディオデータのうちいずれかの音ユニットを読み出して出力する操作を行うことができる。このユーザ操作は、例えば、表示パネル２０６に上述したようにオーディオデータ＆タグバッファ２５５に保持されている各音ユニットの情報を表示した後に、所望の音ユニットを選択することで行われる。この場合には、オーディオデータ＆タグバッファ２５５から、選択された音ユニットのオーディオデータが読み出される。
　また、このユーザ操作は、表示パネル２０６に各音ユニットの情報を表示することなく、再生操作行うことで実行される（瞬時リピート操作）。この場合には、オーディオデータ＆タグバッファ２５５から、保持されている各音ユニットのオーディオデータのうち、最新の音ユニットのオーディオデータが読み出される。
　このようにオーディオデータ＆タグバッファ２５５から読み出されたオーディオデータは、そのままオーディオデータとして出力するか、字幕表示データとして出力するか、あるいは双方で出力をすることが可能とされる。どのように出力するかは、ユーザの操作で選択できるようにされている。
　オーディオデータとして出力する場合には、オーディオデータ＆タグバッファ２５５から読み出されたオーディオデータはミキサ２５３に供給され、デコーダ２５１やオブジェクトレンダラ２５２から供給されるチャネルデータに混合されて、あるいはそれに代わってミキサ２５３から出力される。
　また、字幕表示データとして出力する場合には、オーディオデータ＆タグバッファ２５５から読み出されたオーディオデータはテキスト変換/字幕表示部２５６に供給され、テキストデータに変換され、さらにビットマップデータ化されて字幕表示データが生成され、映像処理回路２０４にビデオデータへの重畳信号として供給される。これにより、表示パネル２０６において、画像上に字幕として表示される。図２２は、表示パネル２０６における字幕表示例を示している。図示の例においては、「Wonderful scene. Come here!」の字幕表示が表示されている。
　また、ユーザは、オーディオデータ切り出し部２５４で切り出された各音ユニットのオーディオデータに対応した字幕を表示パネル２０６に常に表示可能に設定できる（字幕変換表示操作）。この場合、オーディオデータ切り出し部２５４で切り出される音ユニットの、スイッチグループ、グループ、発生元（発話者）などを指示できる。
　オーディオデータ切り出し部２５４で切り出された各音ユニットのオーディオデータは、テキスト変換/字幕表示部２５６に供給され、テキストデータに変換され、さらにビットマップデータ化されて字幕表示データが生成され、映像処理回路２０４にビデオデータへの重畳信号として供給される。これにより、表示パネル２０６において、画像上に字幕として表示される。
　図１７に示すサービス受信機２００の動作を簡単に説明する。受信部２０１では、サービス送信機１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、ビデオストリームの他に、オーディオストリームを有している。
　このオーディオストリームは、オーディオデータにエンコード処理を施して得られたオーディオ圧縮データを含むオーディオフレームが連続して配置されたものである。所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報（図１０参照）が挿入されている。また、トランスポートストリームＴＳのレイヤおよび/またはオーディオストリームのレイヤに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報（図１１、図１３参照）が挿入されている。
　このトランスポートストリームＴＳは、デマルチプレクサ２０２に供給される。デマルチプレクサ２０２では、トランスポートストリームＴＳからビデオストリームが抽出され、ビデオデコード部２０３に供給される。ビデオデコード部２０３では、ビデオストリームに対してデコード処理が施されて、非圧縮のビデオデータが得られる。このビデオデータは、映像処理回路２０４に供給される。
　映像処理回路２０４では、ビデオデータに対してスケーリング処理、画質調整処理などが行われて、表示用のビデオデータが得られる。この表示用のビデオデータはパネル駆動回路２０５に供給される。パネル駆動回路２０５では、表示用のビデオデータに基づいて、表示パネル２０６を駆動することが行われる。これにより、表示パネル２０６には、表示用のビデオデータに対応した画像が表示される。
　また、デマルチプレクサ２０２では、トランスポートストリームＴＳからデスクリプタ情報などの各種情報が抽出され、ＣＰＵ２２１に送られる。この各種情報には、上述したタグ・テーブル・デスクリプタも含まれる。ＣＰＵ２２１では、このデスクリプタにより、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報が取得され、各音ユニットのサービス先頭からのフレーム位置を示すフレームカウント情報、各音ユニットの音ユニット識別情報、各音ユニットの発生元識別情報などが認識される。
　また、デマルチプレクサ２０２では、トランスポートストリームＴＳからオーディオストリームが抽出され、オーディオデコード部２１４に送られる。オーディオデコード部２１４では、オーディオストリームに対してデコード処理が施されて、スピーカシステム２１６を構成する各スピーカを駆動するためのオーディデータが得られる。
　また、オーディオデコード部２１４では、オーディオストリームに挿入されている各種情報が抽出され、ＣＰＵ２２１に送信される。この各種情報には、タグ情報「Speech_tag_information()」およびテーブル情報「Tag_table()」も含まれる。
　ＣＰＵ２２１では、タグ情報により、オーディオフレーム毎に、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームであるか、含まれる音ユニットの音ユニット識別情報、その音ユニットの発生元識別情報、フレームカウント情報、開始位置/終了位置を含むかを示すタイプ情報、開始位置/終了位置のフレーム先頭からのオフセット情報などが認識される。
　また、ＣＰＵ２２１では、テーブル情報により、オーディオストリーム内における所定の音ユニットの情報、つまり各音ユニットのサービス先頭からのフレーム位置を示すフレームカウント情報、各音ユニットの音ユニット識別情報、各音ユニットの発生元識別情報などが認識される。
　また、オーディオデコード部２１４では、タグ情報に基づくＣＰＵ２２１の制御により、タグ情報に基づいて、デコード処理で得られたオーディオデータから所定の音ユニットに対応したオーディオデータが切り取られてバッファに一時的に保持される。そして、オーディオデコード部２１４では、例えば、ユーザの再生操作（瞬時リピート操作）があるとき、ＣＰＵ２２１の制御のもと、バッファから音ユニットのオーディオデータが読み出され、そのままオーディオデータとして出力されるか、テキスト変換されて字幕表示データとして出力されるか、あるいは双方が行われる。この字幕表示データは、映像処理回路２０４に送られ、ビデオデータに重畳される。
　この場合、オーディオデータとして出力する場合には、このバッファから読み出されたオーディオデータは、デコード処理で得られたオーディオデータに代わって出力されるか、あるいいはデコード処理で得られたオーディオデータに混合して出力される。また、字幕表示データとしてのみ出力される場合には、デコード処理で得られたオーディオデータの出力は継続される。
　また、オーディオデコード部では、ユーザの字幕変換表示操作があるとき、ＣＰＵ２２１の制御のもと、タグ情報に基づいて、指示されたスイッチグループ、グループ、発生元（発話者）などの音ユニットのオーディオデータが切り取られ、テキスト変換されて、字幕表示データとして出力される。この字幕表示データは、映像処理回路２０４に送られ、ビデオデータに重畳される。
　オーディオデコード部２１４で得られた各スピーカを駆動するためのオーディオデータは、音声出力処理回路２１５に供給される。音声出力処理回路２１５では、このオーディオデータに対して、Ｄ／Ａ変換や増幅等の必要な処理が行われる。そして、処理後のオーディオデータはスピーカシステム２１６に供給される。これにより、スピーカシステム２１６からは表示パネル２０６の表示画像に対応した音響出力が得られる。
　ローカルストレージ２３１では、ユーザ操作に応じて、ＣＰＵ２２１の制御のもと、受信部２０１からデマルチプレクサ２０２を通じて送られてくるトランスポートストリームＴＳが書き込まれる。また、ユーザ操作に応じて、ＣＰＵ２２１の制御のもと、ローカルストレージ２３１から、保持されているトランスポートストリームＴＳが読み出され、デマルチプレクサ２０２に送られる。このトランスポートストリームＴＳに対する以降の処理は、上述した受信部２０１から供給されるトランスポートストリームＴＳに対するものと同様とされる。
　また、通信インタフェース２３２では、ユーザ操作に応じて、ＣＰＵ２２１の制御のもと、受信部２０１からデマルチプレクサ２０２を通じて送られてくるトランスポートストリームＴＳをネット２４１を通じてオンラインストレージ２４２に書き込みことが行われる。また、通信インタフェース２３２は、ユーザ操作に応じて、ＣＰＵ２２１の制御のもと、オンラインストレージ２４２に保持されているトランスポートストリームＴＳをネット２４１を通じて読み出し、デマルチプレクサ２０２に送ることが行われる。このトランスポートストリームＴＳに対する以降の処理は、上述した受信部２０１から供給されるトランスポートストリームＴＳに対するものと同様とされる。
　ユーザの操作に応じて、ＣＰＵ２２１では、テーブル情報が持つ所定の音ユニットの情報に基づいて、ストレージ（ローカルストレージ２３１、オンラインストレージ２４２）からのトランスポートストリームＴＳの読み出しを制御することが行われる。例えば、ＣＰＵ２２１では、ユーザが選択した音ユニットが含まれるフレーム位置からコンテナストリームの読み出しを行うように制御する。
　この場合、ユーザにより、表示パネル２０６に表示されるテーブル情報が持つ所定の音ユニットの情報表示を参照して、読み出し位置としての音ユニットが選択される。この選択に応じて、ＣＰＵ２２１では、選択された音ユニットに対応したサービス先頭からのフレーム位置を示すフレームカウント値を伴った読み出しコマンドがローカルストレージ２３１、あるいは通信インタフェース２３２を通じてオンラインストレージ２４２に送られる。各ストレージでは、フレームカウント値に基づき、ユーザが選択した音ユニットが含まれるフレーム位置からコンテナストリームの読み出しが開始される。
　上述したように、図１に示す送受信システム１０において、サービス送信機１００は、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報を挿入する。そのため、受信側では、タグ情報に基づいて所定の音ユニットに対応したオーディオデータを切り取って音出力や字幕表示などに利用することが容易に可能となる。
　また、図１に示す送受信システム１０において、サービス送信機１００は、コンテナストリームのレイヤおよび/またはオーディオストリームのレイヤに、オーディオストリーム内における所定の音ユニットの情報を持つテーブル情報を挿入する。そのため、受信側では、このテーブル情報が持つ所定の音ユニットの情報に基づいた処理を行うことが可能となる。例えば、コンテナストリームが書き込まれたストレージより、その所定の音ユニットのオーディオ圧縮データが含まれる位置からの読み出しを行うことが容易に可能となる。
　＜２．変形例＞
　なお、上述実施の形態においては、コンテナストリーム（多重化ストリーム）がＭＰＥＧ－２　トランスポートストリーム（トランスポートストリームＴＳ）である例を示した。しかし、本技術は、ＭＰ４やそれ以外のフォーマットのコンテナストリームで配信されるシステムにも同様に適用できる。例えば、ＭＰＥＧ－ＤＡＳＨベースのストリーム配信システム、あるいは、ＭＭＴ（MPEG Media Transport）構造伝送ストリームを扱う送受信システムなどである。
　図２３は、メディアアクセス情報（コンテナ対象データ）をオーディオストリームに挿入して送る場合におけるＭＭＴストリームの構成例を示している。ＭＭＴストリームには、ビデオ、オーディオ等の各アセットのＭＭＴパケットが存在する。この構成例では、ＩＤ１で識別されるビデオのアセットのＭＭＴパケットと共に、ＩＤ２で識別されるオーディオのアセットのＭＭＴパケットが存在する。オーディオのアセット（オーディオストリーム）にタグ情報「Speech_tag_information()」（図１０参照）が挿入されると共に、テーブル情報「Tag_table()」(図１１参照)が挿入される。
　また、ＭＭＴストリームには、ＰＡ（Packet Access）メッセージパケットなどのメッセージパケットが存在する。ＰＡメッセージパケットには、ＭＭＴ・パケット・テーブル（MMT Package Table）などのテーブルが含まれている。ＭＰテーブルには、アセット毎の情報が含まれている。この場合、オーディオのアセットの情報として、タグ・テーブル・デスクリプタ（図１３参照）も含まれる。
　図２４は、オーディオトラック（トラックＡ）のデータを含むＭＰ４ストリーム（ファイル）の構成例を示している。図示の例は、フラグメンテッドＭＰ４（Fragmented MP4）の場合の例である。ＭＰ４ストリームには、制御情報が入る“ｍｏｏｆ”ボックスとメディアデータ本体が入る“ｍｄａｔ”ボックスから構成されるムービーフラグメント（Movie Fragment）が所定個数配置される。“ｍｄａｔ”ボックスには、トラックデータが断片化されて得られた断片が入るので、“ｍｏｏｆ”ボックスに入る制御情報はその断片に関する制御情報となる。
　オーディオトラックに対応したＭＰ４ストリーム「audio bitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、所定個数のオーディオフレーム（Audio Frame）が配置される。また、このＭＰ４ストリーム「audio bitstream」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
　また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「Audiostreamtype」、「Attribute」のパラメータの記載がある。「Audiostreamtype = AudioCodec」は、オーディオ圧縮フォーマットを示す。「Attribute = speech tag」は、オーディオストリームにタグ情報「Speech_tag_information()」の挿入があることを示す。
　図２５は、ＭＰＤファイル記述例を示している。また、図２６は、その記述例における主要な情報の内容を示す。従来周知のように、ＭＰＥＧ－ＤＡＳＨベースのストリーム配信システムにおいては、メディアストリーム（ＭＰ４ストリーム）と、メタファイルとしてのＭＰＤファイルが、通信ネットワーク伝送路を通じて受信側に送信される。
　「<AdaptationSet mimeType=“audio/mp4” group=“1”>」の記述により、オーディオストリームに対するアダプテーションセット（AdaptationSet）が存在し、そのオーディストリームはＭＰ４ファイル構造で供給され、グループ１が割り当てられていることが示されている。また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:codecType” value= “Audio Codec”/>」の記述により、オーディオストリームのコーデックが示されている。コーデックとしては、ＭＰＥＧ－Ｈ、ＡＡＣ、ＡＣ３，ＡＣ４などがある。また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:speechtagContained” value=“true”/>」の記述により、タグ情報「Speech_tag_information()」が含まれることを示す。
　また、上述実施の形態においては、オーディオ圧縮フォーマットがＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏである例を示した。しかし、本技術は、オーディオ圧縮フォーマットが、ＡＡＣ、ＡＣ３、ＡＣ４などのその他のオーディオ圧縮フォーマットである場合にも、同様に適用できる。
　図２７（ａ）は、ＡＣ４のシンプルトランスポート（Simple Transport）のレイヤの構造を示している。シンクワード（syncWord）のフィールドと、フレームレングス（frame Length）のフィールドと、符号化データのフィールドとしての「RawAc4Frame」のフィールドと、ＣＲＣフィールドが存在する。「RawAc4Frame」のフィールドには、図２７（ｂ）に示すように、先頭にＴＯＣ（Table Of Content）のフィールドが存在し、その後の所定数のサブストリーム（Substream）のフィールドが存在する。
　図２８（ｂ）に示すように、サブストリーム（ac4_substream_data()）の中には、メタデータ領域（metadata）が存在し、その中に「umd_payloads_substream()」のフィールドが設けられる。この「umd_payloads_substream()」のフィールドの中の「umd_payload_byte」のフィールドに、タグ情報「Speech_tag_information()」（図１０参照）やテーブル情報「Tag_table()」(図１１参照)が置かれる。
　なお、図２８（ａ）に示すように、ＴＯＣ（ac4_toc()）の中には「ac4_presentation_info()」のフィールドが存在し、さらにその中に「umd_info()」のフィールドが存在し、その中に上述の「umd_payloads_substream()）」のフィールドにタグ情報などの挿入があることが示される。
　なお、本技術は、以下のような構成もとることができる。
　（１）オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを生成するストリーム生成部と、
　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報を挿入する情報挿入部と、
　上記タグ情報が挿入されたオーディオストリームを含む所定フォーマットのコンテナストリームを送信する送信部を備える
　送信装置。
　（２）上記タグ情報は、
　上記所定の音ユニットのオーディオ圧縮データの開始位置を含むか、終了位置を含むか、開始位置および終了位置のいずれも含まないことを示すタイプ情報を有する
　前記（１）に記載の送信装置。
　（３）上記タグ情報は、
　上記タイプ情報が上記開始位置を含むことを示すとき、フレーム先頭から上記開始位置までのサンプル単位のオフセットを示すと共に、上記タイプ情報が上記終了位置を示すとき、フレーム先頭から上記終了位置までのサンプル単位のオフセットを示すオフセット情報を有する
　前記（２）に記載の送信装置。
　（４）上記タグ情報は、
　該タグ情報が挿入されるオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント情報を有する
　前記（１）から（３）のいずれかに記載の送信装置。
　（５）上記所定の音ユニットが複数存在するとき、
　上記タグ情報は、
　対応する音ユニットを識別するための音ユニット識別情報を有する
　前記（１）から（４）のいずれかに記載の送信装置。
　（６）上記所定の音ユニットが複数存在し、該複数の音ユニットに複数の発生元の音ユニットが含まれるとき、
　上記タグ情報は、
　対応する音ユニットの発生元を識別するための発生元識別情報を有する
　前記（１）から（５）のいずれかに記載の送信装置。
　（７）上記ストリーム生成部は、
　複数のグループのオーディオデータにエンコード処理を施し、複数のグループのオーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを生成し、
　上記タグ情報は、
　上記所定の音ユニットのオーディオ圧縮データがどのグループのものであるかを識別するためのグループ識別情報を有する
　前記（１）から（６）のいずれかに記載の送信装置。
　（８）上記グループ識別情報が示すグループが所定のスイッチグループを構成するグループであるとき、
　上記タグ情報は、
　上記所定のスイッチグループを識別するためのスイッチグループ識別情報を有する
　前記（７）に記載の送信装置。
　（９）上記情報挿入部は、
　上記コンテナストリームのレイヤおよび/または上記オーディオストリームのレイヤに、上記オーディオストリーム内における上記所定の音ユニットの情報を持つテーブル情報さらに挿入する
　前記（１）から（８）のいずれかに記載の送信装置。
　（１０）上記所定の音ユニットが複数存在するとき、
　複数の音ユニットの情報は、それぞれ、
　対応する音ユニットを識別するための音ユニット識別情報を有する
　前記（９）に記載の送信装置。
　（１１）上記所定の音ユニットが複数存在し、該複数の音ユニットに複数の発生元の音ユニットが含まれるとき、
　複数の音ユニットの情報は、それぞれ、
　対応する音ユニットの発生元を識別するための発生元識別情報を有する
　前記（９）または（１０）に記載の送信装置。
　（１２）上記所定の音ユニットの情報は、
　上記所定の音ユニットのオーディオ圧縮データを含むオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント情報を有する
　前記（９）から（１１）のいずれかに記載の送信装置。
　（１３）オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを生成するストリーム生成ステップと、
　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報を挿入する情報挿入ステップと、
　送信部により、上記タグ情報が挿入されたオーディオストリームを含む所定フォーマットのコンテナストリームを送信する送信ステップを有する
　送信方法。
　（１４）オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む所定フォーマットのコンテナストリームを受信する受信部を備え、
　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれており、
　上記タグ情報を利用して上記オーディオストリームの処理を行う処理部をさらに備える
　受信装置。
　（１５）上記処理部は、
　上記オーディオストリームの各オーディオフレームに含まれるオーディオ圧縮データにデコード処理を施してオーディオデータを得るデコード部と、
　上記タグ情報に基づいて上記デコード部で得られたオーディオデータから上記所定の音ユニットに対応したオーディオデータを切り取ってバッファに保持するデータ切り取り保持部を有する
　前記（１４）に記載の受信装置。
　（１６）上記処理部は、
　ユーザの操作情報に基づいて、上記バッファから、上記所定の音ユニットに対応したオーディオデータを読み出して出力するデータ出力部をさらに有する
　前記（１５）に記載の受信装置。
　（１７）上記処理部は、
　上記オーディオストリームの各オーディオフレームに含まれるオーディオ圧縮データにデコード処理を施してオーディオデータを得るデコード部と、
　上記タグ情報に基づいて、上記デコード部で得られたオーディオデータから上記所定の音ユニットに対応したオーディオデータを切り取ってテキスト変換を行って字幕データを生成する字幕データ生成部を有する
　前記（１４）から（１６）のいずれかに記載の受信装置。
　（１８）受信部により、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む措定フォーマットのコンテナストリームを受信する受信ステップを備え、
　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれており、
　上記タグ情報を利用して上記オーディオストリームの処理を行う処理ステップをさらに有する
　受信方法。
　（１９）オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む所定フォーマットのコンテナストリームを受信する受信部を備え、
　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれており、
　上記コンテナストリームのレイヤおよび/または上記オーディオストリームのレイヤに、上記オーディオストリーム内における上記所定の音ユニットの情報を持つテーブル情報が含まれており、
　上記受信されたコンテナストリームのストレージへの書き込みと、上記ストレージからの上記コンテナストリームの読み出しと、上記読み出されたコンテナストリームに含まれるオーディオストリームの処理を制御する制御部をさらに備え
　上記制御部は、上記テーブル情報が持つ上記所定の音ユニットの情報に基づいて上記ストレージからの上記コンテナストリームの読み出しを制御する
　受信装置。
　（２０）受信部により、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む所定フォーマットのコンテナストリームを受信する受信ステップを有し、
　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれており、
　上記コンテナストリームのレイヤおよび/または上記オーディオストリームのレイヤに、上記オーディオストリーム内における上記所定の音ユニットの情報を持つテーブル情報が含まれており、
　上記受信されたコンテナストリームのストレージへの書き込みを制御する書き込み制御ステップと、
　上記ストレージからの上記コンテナストリームの読み出しを制御する読み出し制御ステップと、
　上記読み出されたコンテナストリームに含まれるオーディオストリームの処理を行う処理ステップをさらに有し
　上記読み出し制御ステップでは、上記テーブル情報が持つ上記所定の音ユニットの情報に基づいて上記ストレージからの上記コンテナストリームの読み出しを制御する
　受信方法。
　本技術の主な特徴は、所定の音ユニットのオーディオ圧縮データを含むオーディオフレームに、この所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報を挿入して送信することで、受信側においてタグ情報に基づいて所定の音ユニットに対応したオーディオデータを切り取って音出力や字幕表示などに利用することを容易としたことである（図５、図７参照）。
　１０・・・送受信システム
　１００・・・サービス送信機
　１１０・・・ストリーム生成部
　１１１・・・制御部
　１１１ａ・・・ＣＰＵ
　１１２・・・ビデオエンコーダ
　１１３・・・オーディオエンコーダ
　１１４・・・マルチプレクサ
　２００・・・サービス受信機
　２０１・・・受信部
　２０２・・・デマルチプレクサ
　２０３・・・ビデオデコード部
　２０４・・・映像処理回路
　２０５・・・パネル駆動回路
　２０６・・・表示パネル
　２０７・・・ＯＳＤ部
　２１４・・・オーディオデコード部
　２１５・・・音声出力処理回路
　２１６・・・スピーカシステム
　２２１・・・ＣＰＵ
　２２２・・・フラッシュＲＯＭ
　２２３・・・ＤＲＡＭ
　２２４・・・内部バス
　２２５・・・リモコン受信部
　２２６・・・リモコン送信機
　２３１・・・ローカルストレージ
　２３２・・・通信インタフェース
　２４１・・・ネット
　２４２・・・オンラインストレージ
　２５１・・・デコーダ
　２５２・・・オブジェクトレンダラ
　２５３・・・ミキサ
　２５４・・・オーディオデータ切り取り部
　２５５・・・オーディオ＆タグバッファ
　２５６・・・テキスト変換/字幕表示部

Claims (20)

  1. 　オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを生成するストリーム生成部と、
    　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報を挿入する情報挿入部と、
    　上記タグ情報が挿入されたオーディオストリームを含む所定フォーマットのコンテナストリームを送信する送信部を備える
    　送信装置。
  2. 　上記タグ情報は、
    　上記所定の音ユニットのオーディオ圧縮データの開始位置を含むか、終了位置を含むか、開始位置および終了位置のいずれも含まないことを示すタイプ情報を有する
    　請求項１に記載の送信装置。
  3. 　上記タグ情報は、
    　上記タイプ情報が上記開始位置を含むことを示すとき、フレーム先頭から上記開始位置までのサンプル単位のオフセットを示すと共に、上記タイプ情報が上記終了位置を示すとき、フレーム先頭から上記終了位置までのサンプル単位のオフセットを示すオフセット情報を有する
    　請求項２に記載の送信装置。
  4. 　上記タグ情報は、
    　該タグ情報が挿入されるオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント情報を有する
    　請求項１に記載の送信装置。
  5. 　上記所定の音ユニットが複数存在するとき、
    　上記タグ情報は、
    　対応する音ユニットを識別するための音ユニット識別情報を有する
    　請求項１に記載の送信装置。
  6. 　上記所定の音ユニットが複数存在し、該複数の音ユニットに複数の発生元の音ユニットが含まれるとき、
    　上記タグ情報は、
    　対応する音ユニットの発生元を識別するための発生元識別情報を有する
    　請求項１に記載の送信装置。
  7. 　上記ストリーム生成部は、
    　複数のグループのオーディオデータにエンコード処理を施し、複数のグループのオーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを生成し、
    　上記タグ情報は、
    　上記所定の音ユニットのオーディオ圧縮データがどのグループのものであるかを識別するためのグループ識別情報を有する
    　請求項１に記載の送信装置。
  8. 　上記グループ識別情報が示すグループが所定のスイッチグループを構成するグループであるとき、
    　上記タグ情報は、
    　上記所定のスイッチグループを識別するためのスイッチグループ識別情報を有する
    　請求項７に記載の送信装置。
  9. 　上記情報挿入部は、
    　上記コンテナストリームのレイヤおよび/または上記オーディオストリームのレイヤに、上記オーディオストリーム内における上記所定の音ユニットの情報を持つテーブル情報さらに挿入する
    　請求項１に記載の送信装置。
  10. 　上記所定の音ユニットが複数存在するとき、
    　複数の音ユニットの情報は、それぞれ、
    　対応する音ユニットを識別するための音ユニット識別情報を有する
    　請求項９に記載の送信装置。
  11. 　上記所定の音ユニットが複数存在し、該複数の音ユニットに複数の発生元の音ユニットが含まれるとき、
    　複数の音ユニットの情報は、それぞれ、
    　対応する音ユニットの発生元を識別するための発生元識別情報を有する
    　請求項９に記載の送信装置。
  12. 　上記所定の音ユニットの情報は、
    　上記所定の音ユニットのオーディオ圧縮データを含むオーディオフレームの、サービス先頭からのフレーム位置を示すフレームカウント情報を有する
    　請求項９に記載の送信装置。
  13. 　オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを生成するストリーム生成ステップと、
    　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報を挿入する情報挿入ステップと、
    　送信部により、上記タグ情報が挿入されたオーディオストリームを含む所定フォーマットのコンテナストリームを送信する送信ステップを有する
    　送信方法。
  14. 　オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む所定フォーマットのコンテナストリームを受信する受信部を備え、
    　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれており、
    　上記タグ情報を利用して上記オーディオストリームの処理を行う処理部をさらに備える
    　受信装置。
  15. 　上記処理部は、
    　上記オーディオストリームの各オーディオフレームに含まれるオーディオ圧縮データにデコード処理を施してオーディオデータを得るデコード部と、
    　上記タグ情報に基づいて上記デコード部で得られたオーディオデータから上記所定の音ユニットに対応したオーディオデータを切り取ってバッファに保持するデータ切り取り保持部を有する
    　請求項１４に記載の受信装置。
  16. 　上記処理部は、
    　ユーザの操作情報に基づいて、上記バッファから、上記所定の音ユニットに対応したオーディオデータを読み出して出力するデータ出力部をさらに有する
    　請求項１５に記載の受信装置。
  17. 　上記処理部は、
    　上記オーディオストリームの各オーディオフレームに含まれるオーディオ圧縮データにデコード処理を施してオーディオデータを得るデコード部と、
    　上記タグ情報に基づいて、上記デコード部で得られたオーディオデータから上記所定の音ユニットに対応したオーディオデータを切り取ってテキスト変換を行って字幕データを生成する字幕データ生成部を有する
    　請求項１４に記載の受信装置。
  18. 　受信部により、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む措定フォーマットのコンテナストリームを受信する受信ステップを備え、
    　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれており、
    　上記タグ情報を利用して上記オーディオストリームの処理を行う処理ステップをさらに有する
    　受信方法。
  19. 　オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む所定フォーマットのコンテナストリームを受信する受信部を備え、
    　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれており、
    　上記コンテナストリームのレイヤおよび/または上記オーディオストリームのレイヤに、上記オーディオストリーム内における上記所定の音ユニットの情報を持つテーブル情報が含まれており、
    　上記受信されたコンテナストリームのストレージへの書き込みと、上記ストレージからの上記コンテナストリームの読み出しと、上記読み出されたコンテナストリームに含まれるオーディオストリームの処理を制御する制御部をさらに備え
    　上記制御部は、上記テーブル情報が持つ上記所定の音ユニットの情報に基づいて上記ストレージからの上記コンテナストリームの読み出しを制御する
    　受信装置。
  20. 　受信部により、オーディオ圧縮データを含むオーディオフレームが連続して配置されたオーディオストリームを含む所定フォーマットのコンテナストリームを受信する受信ステップを有し、
    　所定の音ユニットのオーディオ圧縮データを含む上記オーディオフレームに、該所定の音ユニットのオーディオ圧縮データを含むことを示すタグ情報が含まれており、
    　上記コンテナストリームのレイヤおよび/または上記オーディオストリームのレイヤに、上記オーディオストリーム内における上記所定の音ユニットの情報を持つテーブル情報が含まれており、
    　上記受信されたコンテナストリームのストレージへの書き込みを制御する書き込み制御ステップと、
    　上記ストレージからの上記コンテナストリームの読み出しを制御する読み出し制御ステップと、
    　上記読み出されたコンテナストリームに含まれるオーディオストリームの処理を行う処理ステップをさらに有し
    　上記読み出し制御ステップでは、上記テーブル情報が持つ上記所定の音ユニットの情報に基づいて上記ストレージからの上記コンテナストリームの読み出しを制御する
    　受信方法。
PCT/JP2016/086280 2015-12-08 2016-12-06 送信装置、送信方法、受信装置および受信方法 WO2017099092A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
BR112018011019-1A BR112018011019B1 (pt) 2015-12-08 2016-12-06 Aparelho e método de transmissão, e, aparelho e método de recepção
CA3003686A CA3003686C (en) 2015-12-08 2016-12-06 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
EP16872990.3A EP3389046B1 (en) 2015-12-08 2016-12-06 Transmission device, transmission method, reception device, and reception method
EP21179631.3A EP3913625B1 (en) 2015-12-08 2016-12-06 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
US15/775,154 US10614823B2 (en) 2015-12-08 2016-12-06 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP2017555084A JP6876924B2 (ja) 2015-12-08 2016-12-06 送信装置、送信方法、受信装置および受信方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015239751 2015-12-08
JP2015-239751 2015-12-08

Publications (1)

Publication Number Publication Date
WO2017099092A1 true WO2017099092A1 (ja) 2017-06-15

Family

ID=59014182

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086280 WO2017099092A1 (ja) 2015-12-08 2016-12-06 送信装置、送信方法、受信装置および受信方法

Country Status (5)

Country Link
US (1) US10614823B2 (ja)
EP (2) EP3389046B1 (ja)
JP (2) JP6876924B2 (ja)
CA (1) CA3003686C (ja)
WO (1) WO2017099092A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021226507A1 (en) 2020-05-08 2021-11-11 Nuance Communications, Inc. System and method for data augmentation for multi-microphone signal processing
CN113595940B (zh) * 2021-09-28 2021-12-14 恒生电子股份有限公司 分片的发送方法、接收方法和对应装置
WO2023248678A1 (ja) * 2022-06-24 2023-12-28 ソニーグループ株式会社 情報処理装置、情報処理方法、及び情報処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009500976A (ja) * 2005-07-11 2009-01-08 ノキア コーポレイション 会議通話のための空間化機構
WO2009101703A1 (ja) * 2008-02-15 2009-08-20 Pioneer Corporation 楽曲データ分析装置及び楽器種類検出装置、楽曲データ分析方法及び楽器種類検出装置並びに楽曲データ分析用プログラム及び楽器種類検出用プログラム
JP2011203480A (ja) * 2010-03-25 2011-10-13 Toshiba Corp 音声認識装置、及びコンテンツ再生装置
JP2013509601A (ja) * 2009-10-19 2013-03-14 ドルビー インターナショナル アーベー 音声オブジェクトの区分を示すメタデータ時間標識情報

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282261A (ja) * 2000-03-30 2001-10-12 Canon Inc 音声データ設定装置及び方法、音声データ生成装置及び方法、記録媒体
US8582956B1 (en) * 2007-07-18 2013-11-12 Adobe Systems Incorporated System and method for previewing multimedia files
WO2009110738A2 (ko) * 2008-03-03 2009-09-11 엘지전자(주) 오디오 신호 처리 방법 및 장치
US8780978B2 (en) * 2009-11-04 2014-07-15 Qualcomm Incorporated Controlling video encoding using audio information
JP2012010311A (ja) 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
BR112013033835B1 (pt) 2011-07-01 2021-09-08 Dolby Laboratories Licensing Corporation Método, aparelho e meio não transitório para autoria e renderização aperfeiçoadas de áudio em 3d
BR112015017064B1 (pt) * 2013-01-21 2022-03-22 Dolby Laboratories Licensing Corporation Método, meio legível em computador e aparelho para otimizar o nível de intensidade do som e a faixa dinâmica através de dispositivos de reprodução diferentes
GB2524333A (en) * 2014-03-21 2015-09-23 Nokia Technologies Oy Audio signal payload
CN104240738B (zh) * 2014-08-28 2018-05-11 杰发科技（合肥）有限公司 一种音效设置方法及电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009500976A (ja) * 2005-07-11 2009-01-08 ノキア コーポレイション 会議通話のための空間化機構
WO2009101703A1 (ja) * 2008-02-15 2009-08-20 Pioneer Corporation 楽曲データ分析装置及び楽器種類検出装置、楽曲データ分析方法及び楽器種類検出装置並びに楽曲データ分析用プログラム及び楽器種類検出用プログラム
JP2013509601A (ja) * 2009-10-19 2013-03-14 ドルビー インターナショナル アーベー 音声オブジェクトの区分を示すメタデータ時間標識情報
JP2011203480A (ja) * 2010-03-25 2011-10-13 Toshiba Corp 音声認識装置、及びコンテンツ再生装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3389046A4 *

Also Published As

Publication number Publication date
CA3003686C (en) 2024-02-06
EP3389046B1 (en) 2021-06-16
EP3913625A1 (en) 2021-11-24
EP3389046A1 (en) 2018-10-17
CA3003686A1 (en) 2017-06-15
BR112018011019A2 (ja) 2018-11-21
JP7218772B2 (ja) 2023-02-07
JPWO2017099092A1 (ja) 2018-09-27
JP2021107943A (ja) 2021-07-29
JP6876924B2 (ja) 2021-05-26
EP3389046A4 (en) 2018-10-31
US20180322888A1 (en) 2018-11-08
EP3913625B1 (en) 2024-04-10
US10614823B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
CN106796797B (zh) 发送设备、发送方法、接收设备和接收方法
JP7218772B2 (ja) 受信装置および受信方法
JP7207447B2 (ja) 受信装置、受信方法、送信装置および送信方法
JP6908168B2 (ja) 受信装置、受信方法、送信装置および送信方法
JP6904463B2 (ja) 送信装置および送信方法
JP7310849B2 (ja) 受信装置および受信方法
JP6841230B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16872990

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017555084

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3003686

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 15775154

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112018011019

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: 2016872990

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 112018011019

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20180530