JP7424420B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP7424420B2
JP7424420B2 JP2022109532A JP2022109532A JP7424420B2 JP 7424420 B2 JP7424420 B2 JP 7424420B2 JP 2022109532 A JP2022109532 A JP 2022109532A JP 2022109532 A JP2022109532 A JP 2022109532A JP 7424420 B2 JP7424420 B2 JP 7424420B2
Authority
JP
Japan
Prior art keywords
audio
track
file
information
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022109532A
Other languages
English (en)
Other versions
JP2022133422A (ja
Inventor
光浩 平林
優樹 山本
徹 知念
潤宇 史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2022133422A publication Critical patent/JP2022133422A/ja
Priority to JP2024005069A priority Critical patent/JP2024038407A/ja
Application granted granted Critical
Publication of JP7424420B2 publication Critical patent/JP7424420B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65—Clustering; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change

Description

本開示は、情報処理装置および情報処理方法に関し、特に、複数の種類の音声データのうちの所定の種類の音声データを容易に再生することができるようにした情報処理装置および情報処理方法に関する。
近年、インターネット上のストリーミングサービスの主流がOTT－V（Over The Top Video）となっている。この基盤技術として普及し始めているのがMPEG－DASH（Moving Picture Experts Group phase － Dynamic Adaptive Streaming over HTTP）である（例えば、非特許文献１参照）。
MPEG－DASHでは、配信サーバが１本の動画コンテンツ用に画面サイズと符号化速度が異なる動画データ群を用意し、再生端末が伝送路の状況に応じて最適な画面サイズと符号化速度の動画データ群を要求することにより、適応型のストリーミング配信が実現される。
MPEG－DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg－dash/media－presentation－description－and－segment－formats/text－isoiec－23009－12012－dam－1）
しかしながら、複数のグループの音声データのうちの所定のグループの音声データを容易に再生することは考えられていない。
本開示は、このような状況に鑑みてなされたものであり、複数のグループの音声データのうちの所望のグループの音声データを容易に再生することができるようにするものである。
本開示の第１の側面の情報処理装置は、複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルを生成するファイル生成部を備え、前記複数の種類に関する情報は、所定のトラックのサンプルエントリに配置される情報処理装置である。
本開示の第１の側面の情報処理方法は、本開示の第１の側面の情報処理装置に対応する。
本開示の第１の側面においては、複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルが生成される。そして、前記複数の種類に関する情報は、所定のトラックのサンプルエントリに配置される。
本開示の第２の側面の情報処理装置は、複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルから、所定のトラックの前記音声データを再生する再生部を備え、前記複数の種類に関する情報は、所定のトラックのサンプルエントリに配置される情報処理装置である。
本開示の第２の側面の情報処理方法は、本開示の第２の側面の情報処理装置に対応する。
本開示の第２の側面においては、複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルから、所定のトラックの前記音声データが再生される。そして、前記複数の種類に関する情報は、所定のトラックのサンプルエントリに配置される。
なお、第１および第２の側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１および第２の側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の第１の側面によれば、ファイルを生成することができる。また、本開示の第１の側面によれば、複数の種類の音声データのうちの所定の種類の音声データを容易に再生することができるようにしたファイルを生成することができる。
本開示の第２の側面によれば、音声データを再生することができる。また、本開示の第２の側面によれば、複数の種類の音声データのうちの所定の種類の音声データを容易に再生することができる。
MPDファイルの構造を示す図である。 「Period」、「Representation」、および「Segment」の関係を示す図である。 MPDファイルの階層構造を示す図である。 MPDファイルの構造と時間軸との関係を示す図である。 ＭＰ４の３Ｄオーディオファイルフォーマットのトラックの概要を説明する図である。 moovボックスの構造を示す図である。 ３Ｄオーディオの階層構造を示す図である。 本開示を適用した第１実施の形態における情報処理システムの概要を説明する図である。 本開示を適用した第１実施の形態におけるトラックの第１の例の概要を説明する図である。 ベーストラックのサンプルエントリのシンタクスの例を示す図である。 switch Groupを形成するグループのトラックのサンプルエントリのシンタクスの例を示す図である。 セグメント構造の第１の例を示す図である。 セグメント構造の第２の例を示す図である。 level assignmentボックスの記述例を示す図である。 本開示を適用した第１実施の形態におけるMPDファイルの第１の記述例を示す図である。 図８のファイル生成装置の構成例を示すブロック図である。 図１６のファイル生成装置のファイル生成処理を説明するフローチャートである。 図８の動画再生端末により実現されるストリーミング再生部の構成例を示すブロック図である。 図１８のストリーミング再生部の再生処理を説明するフローチャートである。 本開示を適用した第１実施の形態におけるトラックの第２の例の概要を説明する図である。 switch Groupを形成するグループのトラックのサンプルグループエントリのシンタクスの例を示す図である。 各グループのトラックのサンプルエントリのシンタクスの例を示す図である。 音声ファイルのトラックの第３の例の概要を説明する図である。 MPDファイルの第２の記述例を示す図である。 MPDファイルの第２の記述例の他の例を示す図である。 音声ファイルのトラックの第４の例の概要を説明する図である。 MPDファイルの第３の記述例を示す図である。 音声ファイルのトラックの第５の例の概要を説明する図である。 4ccが「mha3」であるサンプルエントリのシンタクスの例を示す図である。 4ccが「mha3」であるサンプルエントリのシンタクスの他の例を示す図である。 MPDファイルの第４の記述例を示す図である。 音声ファイルのトラックの第３の例の他の例の概要を説明する図である。 音声ファイルのトラックの第４の例の他の例の概要を説明する図である。 音声ファイルのトラックの第５の例の他の例の概要を説明する図である。 音声ファイルのトラックの第６の例の概要を説明する図である。 図３５のベーストラックおよびグループトラックのサンプルエントリのシンタクスの例を示す図である。 4ccが「mha3」であるサンプルエントリのシンタクスのさらに他の例を示す図である。 本開示を適用した第２実施の形態におけるトラックの概要を説明する図である。 本開示を適用した第２実施の形態におけるMPDファイルの第１の記述例を示す図である。 本開示を適用した第２実施の形態における情報処理システムの概要を説明する図である。 図４０のファイル生成装置の構成例を示すブロック図である。 図４１のファイル生成装置のファイル生成処理を説明するフローチャートである。 図４０の動画再生端末により実現されるストリーミング再生部の構成例を示すブロック図である。 図４３のストリーミング再生部の再生処理の例を説明するフローチャートである。 本開示を適用した第２実施の形態におけるMPDファイルの第２の記述例を示す図である。 本開示を適用した第２実施の形態におけるMPDファイルの第３の記述例を示す図である。 本開示を適用した第２実施の形態におけるMPDファイルの第４の記述例を示す図である。 本開示を適用した第２実施の形態におけるMPDファイルの第５の記述例を示す図である。 本開示を適用した第２実施の形態におけるMPDファイルの第６の記述例を示す図である。 本開示を適用した第２実施の形態におけるMPDファイルの第７の記述例を示す図である。 複数のベーストラックを有する音声ファイルのトラック構造の例を示す図である。 複数のベーストラックを有する音声ファイルのトラック構造の他の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
０．本開示の前提（図１乃至図７）
１．第１実施の形態（図８乃至図３７）
２．第２実施の形態（図３８乃至図５０）
３．ベーストラックの他の例（図５１および図５２）
４．第３実施の形態（図５３）
＜本開示の前提＞
(MPDファイルの構造の説明）
図１は、MPEG-DASHのMPDファイル（Media Presentation Description）の構造を示す図である。
MPDファイルの解析（パース）においては、MPDファイル（図１のMedia Presentation）の「Period」に含まれる「Representation」の属性から最適なものが選択される。
そして、選択された「Representation」の先頭の「Initialization Segment」のURL（Uniform Resource Locator）等を参照してファイルが取得され、処理される。続いて、後続の「Media Segment」のURL等を参照してファイルが取得され、再生される。
なお、MPDファイルにおける、「Period」、「Representation」、および「Segment」の関係は、図２のようになる。つまり、１つの動画コンテンツは、「Period」により、セグメントより長い時間単位で管理することができ、各「Period」において、「Segment」によりセグメント単位で管理することができる。また、各「Period」において、「Representation」により、動画コンテンツをストリームの属性単位で管理することができる。
したがって、MPDファイルは、「Period」以下において、図３に示す階層構造を有する。また、このMPDファイルの構造を時間軸上に並べると図４の例のようになる。図４から明らかなように、同一のセグメントに対して複数の「Representation」が存在している。
これらのうちのいずれかを適応的に選択することにより、ユーザの所望の属性のストリームを取得し、再生することができる。
（３Ｄオーディオファイルフォーマットの概要）
図５は、ＭＰ４の３Ｄオーディオファイルフォーマットのトラックの概要を説明する図である。
ＭＰ４ファイルでは、トラックごとに、動画コンテンツのコーデック情報やファイル内の位置を示す位置情報を管理することができる。ＭＰ４の３Ｄオーディオファイルフォーマットでは、３Ｄオーディオ（Channel audio/Object audio/SAOC Object audio/HOA audio/metadata）のオーディオストリーム（ES（Elementary Stream））の全てが、１つのトラックとしてサンプル（フレーム）単位で記録される。また、３Ｄオーディオのコーデック情報（Profile/level/audio configuration）が、サンプルエントリ（sample entry）として格納される。
３Ｄオーディオを構成するChannel audioは、チャンネル単位の音声データであり、Object audioは、オブジェクト単位の音声データである。なお、オブジェクトとは、音源であり、オブジェクト単位の音声データは、そのオブジェクトに取り付けられたマイクロフォンなどにより取得される。オブジェクトは、固定されたマイクスタンドなどの物体であってもよいし、人物などの動体であってもよい。
また、SAOC Object audioは、SAOC（Spatial Audio Object Coding）の音声データであり、HOA audioは、HOA（Higher Order Ambisonics）の音声データであり、metadataは、Channel audio,Object audio,SAOC Object audio、およびHOA audioのメタデータである。
（moovボックスの構造）
図６は、ＭＰ４ファイルのmoovボックスの構造を示す図である。
図６に示すように、ＭＰ４ファイルでは、画像データと音声データが異なるトラックとして記録される。図６では、音声データのトラックの詳細は記述していないが、画像データのトラックと同様である。sample entryは、moovボックス内のstsdボックスに配置されるsample descriptionに含まれる。
ところで、ＭＰ４ファイルの放送やローカルストレージ再生では、一般的に、サーバ側が、全ての３Ｄオーディオのオーディオストリームを送出する。そして、クライアント側が、全ての３Ｄオーディオのオーディオストリームをパースしながら、必要な３Ｄオーディオのオーディオストリームのみを復号し、出力する。しかしながら、ビットレートが高い場合や、ローカルストレージの読み込みレートに制約がある場合、必要な３Ｄオーディオのオーディオストリームのみを取得することにより、デコード処理の負荷を軽減することが望ましい。
また、MPEG-DASHに準拠したＭＰ４ファイルのストリーム再生では、サーバ側は、複数の符号化速度のオーディオストリームを用意している。従って、クライアント側が、必要な３Ｄオーディオのオーディオストリームだけを取得することにより、再生環境に最適な符号化速度のオーディオストリームを選択し、取得することができる。
以上により、本開示では、３Ｄオーディオのオーディオストリームを種類に応じてトラックに分割し、音声ファイルに配置することにより、所定の種類の３Ｄオーディオのオーディオストリームのみを効率良く取得可能にする。これにより、放送やローカルストレージ再生では、デコード処理の負荷を軽減することができる。また、ストリーム再生では、帯域に応じて、必要な３Ｄオーディオのオーディオストリームのうちの最も品質の高いものを再生することができる。
（３Ｄオーディオの階層構造の説明）
図７は、３Ｄオーディオの階層構造を示す図である。
図７に示すように、３Ｄオーディオの音声データは、音声データごとに異なるオーディオエレメント（Element）とされる。オーディオエレメントのタイプとしては、SCE(Single Channel Element)とCPE(Channel Pair Element)がある。１チャンネル分の音声データのオーディオエレメントのタイプはSCEであり、２チャンネル分の音声データに対応するオーディオエレメントのタイプはCPEである。
オーディオエレメントは、同一の音声の種類（Channel/Object/SAOC Object/HOA）どうしでグループを形成する。従って、グループタイプ（GroupType）としては、Channels,Objects,SAOC Objects、およびHOAである。２以上のグループは、必要に応じて、switch Groupやgroup Presetを形成することができる。
switch Groupは、そこに含まれるグループのオーディオストリームが排他的に再生されるグループ（排他的再生グループ）である。即ち、図７に示すように、英語（ＥＮ）用のObject audioのグループと、フランス語（ＦＲ）用のObject audioのグループが存在する場合、いずれか一方のグループのみが再生されるべきである。従って、グループＩＤが２である英語用のObject audioのグループと、グループＩＤが３であるフランス語用のObject audioのグループとから、switch Groupが形成される。これにより、英語用のObject audioとフランス語用のObject audioが排他的に再生される。
一方、group Presetは、コンテンツ製作者が意図するグループの組み合わせを定義するものである。
また、３Ｄオーディオのメタデータは、メタデータごとに異なるExtエレメント（Ext Element）とされる。Extエレメントのタイプとしては、Object Metadata,SAOC 3D Metadata,HOA Metadata,DRC Metadata,SpatialFrame,SaocFrameなどがある。Object MetadataのExtエレメントは、全てのObject audioのメタデータであり、SAOC 3D MetadataのExtエレメントは、全てのSAOC audioのメタデータである。また、HOA MetadataのExtエレメントは、全てのHOA audioのメタデータであり、DRC(Dynamic Range Control) MetadataのExtエレメントは、Object audio, SAOC audio、およびHOA audioの全てのメタデータである。
以上のように、３Ｄオーディオのうちの音声データの分割単位としては、オーディオエレメント、グループタイプ、グループ、switch Group、およびgroup Presetがある。従って、３Ｄオーディオのうちの音声データのオーディオストリームは、オーディオエレメント、グループタイプ、グループ、switch Group、またはgroup Presetを種類として、種類ごとに異なるトラックに分割することができる。
また、３Ｄオーディオのうちのメタデータの分割単位としては、Extエレメントのタイプ、または、そのメタデータに対応するオーディオエレメントがある。従って、３Ｄオーディオのメタデータのオーディオストリームは、Extエレメントや、そのメタデータに対応するオーディオエレメントを種類として、種類ごとに異なるトラックに分割することができる。
以下の実施の形態では、音声データのオーディオストリームが１以上のグループごとにトラックに分割され、メタデータのオーディオストリームがExtエレメントのタイプごとにトラックに分割される。
＜第１実施の形態＞
（情報処理システムの概要）
図８は、本開示を適用した第１実施の形態における情報処理システムの概要を説明する図である。
図８の情報処理システム１４０は、ファイル生成装置１４１と接続されるWebサーバ１４２と動画再生端末１４４が、インターネット１３を介して接続されることにより構成される。
情報処理システム１４０では、MPEG－DASHに準ずる方式で、Webサーバ１４２が、再生対象のグループのトラックのオーディオストリームを、動画再生端末１４４に配信する。
具体的には、ファイル生成装置１４１は、動画コンテンツの３Ｄオーディオの各音声データとメタデータを、それぞれ、複数の符号化速度で符号化し、オーディオストリームを生成する。ファイル生成装置１４１は、符号化速度、および、セグメントと呼ばれる数秒から10秒程度の時間単位ごとに、全てのオーディオストリームをファイル化し、音声ファイルを生成する。このとき、ファイル生成装置１４１は、オーディオストリームをグループおよびExtエレメントのタイプごとに分割し、異なるトラックのオーディオストリームとして音声ファイルに配置する。ファイル生成装置１４１は、生成された音声ファイルをWebサーバ１４２にアップロードする。
また、ファイル生成装置１４１は、音声ファイル等を管理するMPDファイル（管理ファイル）を生成する。ファイル生成装置１４１は、MPDファイルをWebサーバ１４２にアップロードする。
Webサーバ１４２は、ファイル生成装置１４１からアップロードされた符号化速度およびセグメントごとの音声ファイルとMPDファイルを格納する。Webサーバ１４２は、動画再生端末１４４からの要求に応じて、格納している音声ファイル、MPDファイル等を動画再生端末１４４に送信する。
動画再生端末１４４は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアという）１６１、動画再生ソフトウエア１６２、HTTP（HyperText Transfer Protocol）アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)１６３などを実行する。
制御用ソフトウエア１６１は、Webサーバ１４２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア１６１は、動画再生端末１４４にWebサーバ１４２からMPDファイルを取得させる。
また、制御用ソフトウエア１６１は、MPDファイルに基づいて、動画再生ソフトウエア１６２により指定される再生対象のグループ、および、そのグループに対応するExtエレメントのタイプのトラックのオーディオストリームの送信要求を、アクセス用ソフトウエア１６３に指令する。
動画再生ソフトウエア１６２は、Webサーバ１４２から取得されたオーディオストリームを再生するソフトウエアである。具体的には、動画再生ソフトウエア１６２は、制御用ソフトウエア１６１は、再生対象のグループ、および、そのグループに対応するExtエレメントのタイプを制御用ソフトウエア１６１に指定する。また、動画再生ソフトウエア１６２は、アクセス用ソフトウエア１６３から受信開始の通知を受信したとき、動画再生端末１４４により受信されたオーディオストリームを復号する。動画再生ソフトウエア１６２は、復号の結果得られる音声データを必要に応じて合成し、出力する。
アクセス用ソフトウエア１６３は、HTTPを用いたインターネット１３を介したWebサーバ１４２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア１６３は、制御用ソフトウエア１６１の指令に応じて、音声ファイルに含まれる再生対象のトラックのオーディオストリームの送信要求を、動画再生端末１４４に送信させる。また、アクセス用ソフトウエア１６３は、その送信要求に応じて、Webサーバ１４２から送信されてくるオーディオストリームの受信を動画再生端末１４４に開始させ、受信開始の通知を動画再生ソフトウエア１６２に供給する。
なお、本明細書では、動画コンテンツの音声ファイルについてのみ説明するが、実際には、音声ファイルとともに、対応する画像ファイルが生成され、再生される。
（音声ファイルのトラックの第１の例の概要）
図９は、音声ファイルのトラックの第１の例の概要を説明する図である。
なお、図９では、説明の便宜上、３Ｄオーディオのうちの音声データのトラックのみ図示している。このことは、後述する図２０、図２３、図２６、図２８、図３０、図３２乃至図３５、および図３８においても同様である。
図９に示すように、全ての３Ｄオーディオのオーディオストリームは、１つの音声ファイル（3dauio.mp4）に格納される。音声ファイル（3dauio.mp4）には、３Ｄオーディオの各グループのオーディオストリームが、それぞれ、異なるトラックに分割されて配置される。また、３Ｄオーディオ全体に関する情報が、ベーストラック（Base Track）として配置される。
各トラックのtrackボックスには、Track Referenceが配置される。Track Referenceは、対応するトラックの他のトラックとの参照関係を表す。具体的には、Track Referenceは、参照関係にある他のトラックのトラックに固有のＩＤ（以下、トラックＩＤという）を表す。
図９の例では、ベーストラック、グループＩＤが１であるグループ＃１、グループＩＤが２であるグループ＃２、グループＩＤが３であるグループ＃３、グループＩＤが４であるグループ＃４のトラックのトラックＩＤが、1,2,3,4,5となっている。また、ベーストラックのTrack Referenceは2,3,4,5であり、グループ＃１乃至＃４のトラックのTrack Referenceは、ベーストラックのトラックＩＤである１である。従って、ベーストラックとグループ＃１乃至＃４のトラックとは、参照関係にある。即ち、ベーストラックは、グループ＃１乃至＃４のトラックの再生時に参照される。
また、ベーストラックのサンプルエントリの4cc（character code）は「mha2」であり、ベーストラックのサンプルエントリには、３Ｄオーディオの全てのグループのconfig情報またはベーストラックだけの復号に必要なconfig情報を含むmhaCボックスと、３Ｄオーディオの全てのグループおよびswitch Groupに関する情報を含むmhasボックスが配置される。グループに関する情報は、グループのＩＤ、グループに分類されるエレメントのデータの内容を表す情報等により構成される。switch Groupに関する情報は、switch GroupのＩＤ、switch Groupを形成するグループのＩＤ等により構成される。
各グループのトラックのサンプルエントリの4ccは「mhg1」であり、各グループのトラックのサンプルエントリには、そのグループに関する情報を含むmhgCボックスが配置されてもよい。グループがswitch Groupを形成する場合、そのグループのトラックのサンプルエントリには、そのswitch Groupに関する情報を含むmhsCボックスが配置される。
ベーストラックのサンプルには、各グループのトラックのサンプルへの参照情報、または、その参照情報の復号に必要なconfig情報が配置される。参照情報により参照される各グループのサンプルを参照情報の配置順に配置することにより、トラックに分割される前の３Ｄオーディオのオーディオストリームを生成することができる。参照情報は、各グループのトラックのサンプルの位置およびサイズ、グループタイプ等により構成される。
（ベーストラックのサンプルエントリのシンタクスの例）
図１０は、ベーストラックのサンプルエントリのシンタクスの例を示す図である。
図１０に示すように、ベーストラックのサンプルエントリには、mhaCボックス（MHAConfigration Box）、mhasボックス(MHAAudioSceneInfo Box)等が配置される。mhaCボックスには、３Ｄオーディオの全てのグループのconfig情報またはベーストラックだけの復号に必要なconfig情報が記述される。また、mhasボックスには、３Ｄオーディオの全てのグループおよびswitch Groupに関する情報を含むAudioScene情報が記述される。このAudioScene情報は、図７の階層構造を記述するものである。
（各グループのトラックのサンプルエントリのシンタクスの例）
図１１は、各グループのトラックのサンプルエントリのシンタクスの例を示す図である。
図１１に示すように、各グループのトラックのサンプルエントリには、mhaCボックス（MHAConfigration Box）、mhgCボックス(MHAGroupDefinitionBox)、mhsCボックス(MHASwitchGropuDefinition Box)等が配置される。
mhaCボックスには、対応するトラックの復号に必要なConfig情報が記述される。また、mhgCボックスには、対応するグループに関するAudioScene情報がGroupDefinitionとして記述される。mhsCボックスには、対応するグループがswitch Group を形成する場合、そのswitch Groupに関するAudioScene情報がSwitchGroupDefinitionとして記述される。
（音声ファイルのセグメント構造の第１の例）
図１２は、音声ファイルのセグメント構造の第１の例を示す図である。
図１２のセグメント構造では、Initial segmentが、ftypボックスとmoovボックスにより構成される。moovボックスには、音声ファイルに含まれるトラックごとにtrak boxが配置される。また、moovボックスには、各トラックのトラックＩＤと、media segment内のssixボックスで用いられるlevelとの対応関係を表す情報などを含むmvexボックスが配置される。
また、media segmentは、sidxボックス、ssixボックス、および、１以上のsubsegmentにより構成される。sidxボックスには、各subsegmentの音声ファイル内の位置を示す位置情報が配置される。ssixボックスには、mdatボックスに配置される各レベルのオーディオストリームの位置情報が含まれる。なお、レベルは、トラックに対応するものである。また、最初のトラックの位置情報は、moofボックスと最初のトラックのオーディオストリームからなるデータの位置情報である。
subsegmentは、任意の時間長ごとに設けられ、subsegmentには、全てのトラックに共通の１組のmoofボックスとmdatボックスのペアが設けられる。mdatボックスには、全てのtrackのオーディオストリームが、任意の時間長分だけまとめて配置され、moofボックスには、そのオーディオストリームの管理情報が配置される。mdatボックスに配置される各trackのオーディオストリームは、track毎に連続している。
図１２の例では、トラックＩＤが1であるTrack1はベーストラックであり、トラックＩＤが2乃至NであるTrack2乃至TrackNは、グループＩＤが１乃至Ｎ－１であるグループのトラックである。このことは、後述する図１３においても同様である。
（音声ファイルのセグメント構造の第２の例）
図１３は、音声ファイルのセグメント構造の第２の例を示す図である。
図１３のセグメント構造は、トラックごとにmoofボックスとmdatボックスが設けられる点が、図１２のセグメント構造と異なっている。
即ち、図１３のInitial segmentは、図１２のInitial segmentと同様である。また、図１３のmedia segmentは、図１２のmedia segmentと同様に、sidxボックス、ssixボックス、および、１以上のsubsegmentにより構成される。sidxボックスには、図１２のsidxボックスと同様に、各subsegmentの位置情報が配置される。ssixボックスには、moofボックスとmdatボックスからなる各レベルのデータの位置情報が含まれる。
subsegmentは、任意の時間長ごとに設けられ、subsegmentには、トラックごとにmoofボックスとmdatボックスのペアが設けられる。即ち、各トラックのmdatボックスには、そのトラックのオーディオストリームが、任意の時間長分だけまとめて配置（インターリーブ格納）され、moofボックスには、そのオーディオストリームの管理情報が配置される。
図１２および図１３に示すように、各トラックのオーディオストリームは、任意の時間長分まとめて配置されるため、サンプル単位でまとめて配置される場合に比べて、HTTP等を介したオーディオストリームの取得効率が改善する。
（mvexボックスの記述例）
図１４は、図１２および図１３のmvexボックスに配置されるlevel assignmentボックスの記述例を示す図である。
level assignmentボックスは、各トラックのトラックＩＤとssixボックスで用いられるレベル（level）を対応付けるボックスである。図１４の例では、トラックＩＤが１であるベーストラックがレベル０に対応付けられ、トラックＩＤが２であるチャネルオーディオトラックがレベル１に対応付けられている。また、トラックＩＤが３であるHOAオーディオトラックがレベル２に対応付けられ、トラックＩＤが４であるオブジェクトメタデータトラックがレベル３に対応付けられている。さらに、トラックＩＤが５であるオブジェクトオーディオトラックがレベル４に対応付けられている。
（MPDファイルの第１の記述例）
図１５は、MPDファイルの第１の記述例を示す図である。
図１５に示すように、MPDファイルには、３Ｄオーディオの音声ファイル(3daudio.mp4)のセグメントを管理する「Representation」、そのセグメントに含まれるトラックを管理する「SubRepresentation」等が記述される。
「Representation」と「SubRepresentation」には、対応するセグメント全体またはトラックのcodecの種類（profile,level）を、3D audio file formatで定義されるコードで表す「codecs」が含まれる。
「SubRepresentation」には、対応するトラックのレベルを表す値としてlevel assignmentボックスで設定されている値である「level」が含まれる。「SubRepresentation」には、参照関係を有する（依存する）他のトラック（以下、参照トラックという）に対応するレベルを表す値である「dependencyLevel」が含まれる。
さらに、「SubRepresentation」には、<EssentialProperty schemeIdUri＝“urn:mpeg:DASH:3daudio:2014” value＝“dataType,definition”>が含まれる。
「dataType」は、対応するトラックのサンプルエントリに記述されるAudio Scene情報の内容（definition）の種類を表す番号であり、definitionは、その内容である。例えば、トラックのサンプルエントリにGroupDefinitionが含まれる場合、そのトラックの「dataType」として１が記述され、「definition」としてGroupDefinitionが記述される。また、トラックのサンプルエントリにSwitchGroupDefinitionが含まれる場合、そのトラックの「dataType」として２が記述され、「definition」としてSwitchGroupDefinitionが記述される。即ち、「dataType」および「definition」は、対応するトラックのサンプルエントリにSwitchGroupDefinitionが存在するかを示す情報である。「definition」は、バイナリデータであり、base64方式で符号化される。
なお、図１５の例では、全てのグループがswitch Groupを形成するものとしたが、switch Groupを形成しないグループが存在する場合、そのグループに対応する「SubRepresentation」には、<EssentialProperty schemeIdUri＝“urn:mpeg:DASH:3daudio:2014” value＝“2,SwitchGroupDefinition”>は記述されない。このことは、後述する図２４、図２５、図３１、図３９、図４５、図４７、図４８、および図５０においても同様である。
（ファイル生成装置の構成例）
図１６は、図８のファイル生成装置１４１の構成例を示すブロック図である。
図１６のファイル生成装置１４１は、音声符号化処理部１７１、音声ファイル生成部１７２、MPD生成部１７３、およびサーバアップロード処理部１７４により構成される。
ファイル生成装置１４１の音声符号化処理部１７１は、動画コンテンツの３Ｄオーディオの各音声データとメタデータを、それぞれ、複数の符号化速度で符号化し、オーディオストリームを生成する。音声符号化処理部１７１は、符号化速度ごとのオーディオストリームを音声ファイル生成部１７２に供給する。
音声ファイル生成部１７２は、音声符号化処理部１７１から供給されるオーディオストリームに対して、グループおよびExtエレメントのタイプごとにトラックを割り当てる。
音声ファイル生成部１７２は、符号化速度およびセグメントごとに、各トラックのオーディオストリームがサブセグメント単位で配置される図１２または図１３のセグメント構造の音声ファイルを生成する。音声ファイル生成部１７２は、生成された音声ファイルをMPD生成部１７３に供給する。
MPD生成部１７３は、音声ファイル生成部１７２から供給される音声ファイルを格納するWebサーバ１４２のURL等を決定する。そして、MPD生成部１７３は、音声ファイルのURL等が、その音声ファイル用の「Representation」の「Segment」に配置されたMPDファイルを生成する。MPD生成部１７３は、生成されたMPDファイルと音声ファイルをサーバアップロード処理部１７４に供給する。
サーバアップロード処理部１７４は、MPD生成部１７３から供給される音声ファイルとMPDファイルを、Webサーバ１４２にアップロードする。
（ファイル生成装置の処理の説明）
図１７は、図１６のファイル生成装置１４１のファイル生成処理を説明するフローチャートである。
図１７のステップＳ１９１において、音声符号化処理部１７１は、動画コンテンツの３Ｄオーディオの各音声データとメタデータを、それぞれ、複数の符号化速度で符号化し、オーディオストリームを生成する。音声符号化処理部１７１は、符号化速度ごとのオーディオストリームを音声ファイル生成部１７２に供給する。
ステップＳ１９２において、音声ファイル生成部１７２は、音声符号化処理部１７１から供給されるオーディオストリームに対して、グループおよびExtエレメントのタイプごとにトラックを割り当てる。
ステップＳ１９３において、音声ファイル生成部１７２は、符号化速度およびセグメントごとに、各トラックのオーディオストリームがサブセグメント単位で配置される図１２または図１３のセグメント構造の音声ファイルを生成する。音声ファイル生成部１７２は、生成された音声ファイルをMPD生成部１７３に供給する。
ステップＳ１９４において、MPD生成部１７３は、音声ファイルのURL等を含むMPDファイルを生成する。MPD生成部１７３は、生成されたMPDファイルと音声ファイルをサーバアップロード処理部１７４に供給する。
ステップＳ１９５において、サーバアップロード処理部１７４は、MPD生成部１７３から供給される音声ファイルとMPDファイルを、Webサーバ１４２にアップロードする。そして、処理は終了する。
（動画再生端末の機能的構成例）
図１８は、図８の動画再生端末１４４が制御用ソフトウエア１６１、動画再生ソフトウエア１６２、およびアクセス用ソフトウエア１６３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
図１８のストリーミング再生部１９０は、MPD取得部９１、MPD処理部１９１、音声ファイル取得部１９２、音声復号処理部１９４、および音声合成処理部１９５により構成される。
ストリーミング再生部１９０のMPD取得部９１は、Webサーバ１４２からMPDファイルを取得し、MPD処理部１９１に供給する。
MPD処理部１９１は、MPD取得部９１から供給されるMPDファイルから音声ファイル用の「Segment」に記述される再生対象のセグメントの音声ファイルのURL等の情報を抽出し、音声ファイル取得部１９２に供給する。
音声ファイル取得部１９２は、MPD処理部１９１から供給されるURLで特定される音声ファイル内の再生対象のトラックのオーディオストリームを、Webサーバ１４２に要求し、取得する。音声ファイル取得部１９２は、取得されたオーディオストリームを音声復号処理部１９４に供給する。
音声復号処理部１９４は、音声ファイル取得部１９２から供給されるオーディオストリームを復号する。音声復号処理部１９４は、復号の結果得られる音声データを音声合成処理部１９５に供給する。音声合成処理部１９５は、音声復号処理部１９４から供給される音声データを必要に応じて合成し、出力する。
以上のように、音声ファイル取得部１９２、音声復号処理部１９４、および音声合成処理部１９５は、再生部として機能し、Webサーバ１４２に格納されている音声ファイルから、再生対象のトラックのオーディオストリームを取得し、再生する。
（動画再生端末の処理の説明）
図１９は、図１８のストリーミング再生部１９０の再生処理を説明するフローチャートである。
図１９のステップＳ２１１において、ストリーミング再生部１９０のMPD取得部９１は、Webサーバ１４２からMPDファイルを取得し、MPD処理部１９１に供給する。
ステップＳ２１２において、MPD処理部１９１は、MPD取得部９１から供給されるMPDファイルから音声ファイル用の「Segment」に記述される再生対象のセグメントの音声ファイルのURL等の情報を抽出し、音声ファイル取得部１９２に供給する。
ステップＳ２１３において、音声ファイル取得部１９２は、MPD処理部１９１から供給されるURLに基づいて、そのURLで特定される音声ファイル内の再生対象のトラックのオーディオストリームを、Webサーバ１４２に要求し、取得する。音声ファイル取得部１９２は、取得されたオーディオストリームを音声復号処理部１９４に供給する。
ステップＳ２１４において、音声復号処理部１９４は、音声ファイル取得部１９２から供給されるオーディオストリームを復号する。音声復号処理部１９４は、復号の結果得られる音声データを音声合成処理部１９５に供給する。ステップＳ２１５において、音声合成処理部１９５は、音声復号処理部１９４から供給される音声データを必要に応じて合成し、出力する。
（音声ファイルのトラックの第２の例の概要）
なお、上述した説明では、GroupDefinitionやSwitchGroupDefinitionが、サンプルエントリに配置されたが、図２０に示すように、トラック内のサブサンプルのグループごとのサンプルエントリであるサンプルグループエントリに配置されるようにしてもよい。
この場合、switch Groupを形成するグループのトラックのサンプルグループエントリは、図２１に示すように、GroupDefinitionとSwitchGroupDefinitionを含む。図示は省略するが、switch Groupを形成しないグループのトラックのサンプルグループエントリは、GroupDefinitionのみを含む。
また、各グループのトラックのサンプルエントリは、図２２に示すようになる。即ち、図２２に示すように、各グループのトラックのサンプルエントリには、対応するトラックのオーディオストリームのプロファイル（MPEGHAudioProfile）、レベル（MPEGHAudioLevel）などのConfig情報が記述されるMHAGroupAudioConfigrationBoxが配置される。
（音声ファイルのトラックの第３の例の概要）
図２３は、音声ファイルのトラックの第３の例の概要を説明する図である。
図２３の音声データのトラックの構成は、ベーストラックに３Ｄオーディオの１以上のグループのオーディオストリームが含まれる点、および、３Ｄオーディオ全体に関する情報を含まない各トラック（以下、グループトラックという）に分割されるオーディオストリームに対応するグループの数が１以上である点が、図９の構成と異なる。
即ち、図２３のベーストラックのサンプルエントリは、図９と同様に、３Ｄオーディオのうちの音声データのオーディオストリームが複数のトラックに分割されて配置されるときのベーストラック用のシンタクスを有する、4ccが「mha2」であるサンプルエントリ（図１０）である。
また、グループトラックのサンプルエントリは、図９と同様に、３Ｄオーディオのうちの音声データのオーディオストリームが複数のトラックに分割されて配置されるときのグループトラック用のシンタクスを有する、4ccが「mhg1」であるサンプルエントリ（図１１）である。従って、サンプルエントリの4ccにより、ベーストラックとグループトラックを識別し、トラック間の依存関係を認識することができる。
また、図９と同様に、各トラックのtrackボックスには、Track Referenceが配置される。従って、「mha2」と「mhg1」のいずれが、ベーストラックまたはグループトラックのサンプルエントリの4ccであるかがわからない場合であっても、Track Referenceにより、トラック間の依存関係を認識することができる。
なお、グループトラックのサンプルエントリには、mhgCボックス、およびmhsCボックスが記述されなくてもよい。また、ベーストラックのサンプルエントリに３Ｄオーディオの全てのグループのconfig情報を含むmhaCボックスが記述される場合には、グループトラックのサンプルエントリにmhaCボックスが記述されなくてもよい。しかしながら、ベーストラックのサンプルエントリにベーストラックを独立して再生可能なconfig情報を含むmhaCボックスが記述される場合には、グループトラックのサンプルエントリに、そのグループトラックを独立して再生可能なconfig情報を含むmhaCボックスが記述される。前者の状態であるか、後者の状態であるかは、サンプルエントリ内のconfig情報の有無で識別可能であるが、サンプルエントリにフラグを記述したり、サンプルエントリのタイプを変化させることにより、識別可能にすることもできる。なお、図示は省略するが、サンプルエントリのタイプを変化させることにより前者の状態と後者の状態を識別可能にする場合、ベーストラックのサンプルエントリの4ccは、例えば、前者の状態である場合「mha2」にされ、後者の状態である場合「mha4」にされる。
（MPDファイルの第２の記述例）
図２４は、音声ファイルのトラックの構成が図２３の構成である場合のMPDファイルの記述例を示す図である。
図２４のMPDファイルは、ベーストラックの「SubRepresentation」が記述される点が、図１５のMPDファイルと異なる。
ベーストラックの「SubRepresentation」には、グループトラックの「SubRepresentation」と同様に、ベーストラックの「codecs」、「level」、「dependencyLevel」、および<EssentialProperty schemeIdUri＝“urn:mpeg:DASH:3daudio:2014” value＝“dataType,definition”>が記述される。
図２４の例では、ベーストラックの「codecs」は「mha2.2.1」であり、「level」は、ベーストラックのレベルを表す値としての「０」である。「dependencyLevel」は、グループトラックのレベルを表す値としての「１」および「２」である。また、「dataType」は、ベーストラックのサンプルエントリのmhasボックスに記述されるAudioScene情報を種類として表す番号としての「３」であり、「definition」は、base64方式で符号化されたAudioScene情報のバイナリデータである。
なお、図２５に示すように、ベーストラックの「SubRepresentation」には、AudioScene情報が分割して記述されるようにしてもよい。
図２５の例では、ベーストラックのサンプルエントリのmhasボックスに記述されるAudioScene情報（図７）のうちのグループＩＤ「１」のグループの内容を表す「Atmo」を種類として表す番号として「１」が設定されている。
また、グループＩＤ「２」のグループの内容を表す「Dialog EN」、グループＩＤ「３」のグループの内容を表す「Dialog FR」、グループＩＤ「４」のグループの内容を表す「VoiceOver GE」、グループＩＤ「５」のグループの内容を表す「Effects」、グループＩＤ「６」のグループの内容を表す「Effect」、グループＩＤ「７」のグループの内容を表す「Effect」のそれぞれを種類として表す番号として「２」乃至「７」が設定されている。
従って、図２５のベーストラックの「SubRepresentation」には、「dataType」が「１」であり、「definition」が「Atmo」である<EssentialProperty schemeIdUri＝“urn:mpeg:DASH:3daudio:2014” value＝“dataType,definition”>が記述される。同様に、「dataType」がそれぞれ「２」、「３」、「４」、「５」、「６」、「７」であり、「definition」がそれぞれ「Dialog EN」、「Dialog FR」、「VoiceOver GE」、「Effects」、「Effect」、「Effect」である“urn:mpeg:DASH:3daudio:2014” value＝“dataType,definition”>が記述される。図２５の例では、ベーストラックのAudioScene情報が分割して記述される場合について説明したが、グループトラックのGroupDefinitionおよびSwitchGroupDefinitionも、AudioScene情報と同様に分割して記述されてもよい。
（音声ファイルのトラックの第４の例の概要）
図２６は、音声ファイルのトラックの第４の例の概要を説明する図である。
図２６の音声データのトラックの構成は、グループトラックのサンプルエントリが、4ccが「mha2」であるサンプルエントリである点が、図２３の構成と異なる。
図２６の場合、ベーストラックとグループトラックのサンプルエントリの4ccが両方とも「mha2」になる。従って、サンプルエントリの4ccにより、ベーストラックとグループトラックを識別し、トラック間の依存関係を認識することはできない。よって、各トラックのtrackボックスに配置されるTrack Referenceによって、トラック間の依存関係が認識される。
また、サンプルエントリの4ccが「mha2」であることにより、対応するトラックが、３Ｄオーディオのうちの音声データのオーディオストリームが複数のトラックに分割されて配置されるときのトラックであることは識別できる。
なお、ベーストラックのサンプルエントリのmhaCボックスには、図９や図２３の場合と同様に、３Ｄオーディオの全てのグループのconfig情報またはベーストラックを独立して再生可能なconfig情報が記述される。また、mhasボックスには、３Ｄオーディオの全てのグループおよびswitch Groupに関する情報を含むAudioScene情報が記述される。
一方、グループトラックのサンプルエントリには、mhasボックスが配置されない。また、ベーストラックのサンプルエントリに３Ｄオーディオの全てのグループのconfig情報を含むmhaCボックスが記述される場合には、グループトラックのサンプルエントリにmhaCボックスが記述されなくてもよい。しかしながら、ベーストラックのサンプルエントリにベーストラックを独立して再生可能なconfig情報を含むmhaCボックスが記述される場合には、グループトラックのサンプルエントリにグループトラックを独立して再生可能なconfig情報を含むmhaCボックスが記述される。前者の状態であるか、後者の状態であるかは、サンプルエントリ内のconfig情報の有無で識別可能であるが、サンプルエントリにフラグを記述したり、サンプルエントリのタイプを変化させることにより、識別可能にすることもできる。なお、図示は省略するが、サンプルエントリのタイプを変化させることにより、前者の状態と後者の状態を識別可能にする場合、ベーストラックおよびグループトラックのサンプルエントリの4ccは、例えば、前者の状態である場合「mha2」にされ、後者の状態である場合「mha4」にされる。
（MPDファイルの第３の記述例）
図２７は、音声ファイルのトラックの構成が図２６の構成である場合のMPDファイルの記述例を示す図である。
図２７のMPDファイルは、グループトラックの「SubRepresentation」の「codecs」が「mha2.2.1」である点、および、グループトラックの「SubRepresentation」に<EssentialProperty schemeIdUri＝“urn:mpeg:DASH:3daudio:2014” value＝“dataType,definition”>が記述されない点が、図２４のMPDファイルと異なる。
なお、図示は省略するが、図２５の場合と同様に、ベーストラックの「SubRepresentation」には、AudioScene情報が分割して記述されるようにしてもよい。
（音声ファイルのトラックの第５の例の概要）
図２８は、音声ファイルのトラックの第５の例の概要を説明する図である。
図２８の音声データのトラックの構成は、ベーストラックとグループトラックのサンプルエントリが、３Ｄオーディオのうちの音声データのオーディオストリームが複数のトラックに分割されているときのベーストラックとグループトラックの両方に適したシンタクスを有するサンプルエントリである点が、図２３の構成と異なる。
図２８の場合、ベーストラックとグループトラックのサンプルエントリの4ccが両方とも、ベーストラックとグループトラックの両方に適したシンタクスを有するサンプルエントリの4ccである「mha3」になる。
従って、図２６の場合と同様に、各トラックのtrackボックスに配置されるTrack Referenceによって、トラック間の依存関係が認識される。また、サンプルエントリの4ccが「mha3」であることにより、対応するトラックが、３Ｄオーディオのうちの音声データのオーディオストリームが複数のトラックに分割されて配置されるときのトラックであることは識別できる。
（4ccが「mha3」であるサンプルエントリのシンタクスの例）
図２９は、4ccが「mha3」であるサンプルエントリのシンタクスの例を示す図である。
図２９に示すように、4cc「mha3」のサンプルエントリのシンタクスは、図１０のシンタクスと図１１のシンタクスを合成したものである。
即ち、4ccが「mha3」であるサンプルエントリには、mhaCボックス（MHAConfigration Box）、mhasボックス(MHAAudioSceneInfo Box)、mhgCボックス(MHAGroupDefinitionBox)、mhsCボックス(MHASwitchGropuDefinition Box)等が配置される。
ベーストラックのサンプルエントリのmhaCボックスには、３Ｄオーディオの全てのグループのconfig情報またはベーストラックを独立して再生可能なconfig情報が記述される。
また、mhasボックスには、３Ｄオーディオの全てのグループおよびswitch Groupに関する情報を含むAudioScene情報が記述され、mhgCボックスとmhsCボックスは配置されない。
ベーストラックのサンプルエントリに３Ｄオーディオの全てのグループのconfig情報を含むmhaCボックスが記述される場合には、グループトラックのサンプルエントリにmhaCボックスが記述されなくてもよい。しかしながら、ベーストラックのサンプルエントリにベーストラックを独立して再生可能なconfig情報を含むmhaCボックスが記述される場合には、グループトラックのサンプルエントリにグループトラックを独立して再生可能なconfig情報を含むmhaCボックスが記述される。前者の状態であるか、後者の状態であるかは、サンプルエントリ内のconfig情報の有無で識別可能であるが、サンプルエントリにフラグを記述したり、サンプルエントリのタイプを変化させることにより、識別可能にすることもできる。なお、図示は省略するが、サンプルエントリのタイプを変化させることにより、前者の状態と後者の状態を識別可能にする場合、ベーストラックおよびグループトラックのサンプルエントリの4ccは、例えば、前者の状態である場合「mha3」にされ、後者の状態である場合「mha5」にされる。また、グループトラックのサンプルエントリには、mhasボックスは配置されない。mhgCボックスおよびmhsCボックスは配置されてもよいし、配置されなくてもよい。
なお、図３０に示すように、ベーストラックのサンプルエントリには、mhasボックス、mhgCボックス、およびmhsCボックスが配置されるとともに、ベーストラックだけを独立して再生可能にするconfig情報が記述されるmhaCボックスと３Ｄオーディオの全てのグループのconfig情報を含むmhaCボックスが両方配置されるようにしてもよい。この場合、３Ｄオーディオの全てのグループのconfig情報が記述されるmhaCボックスと、ベーストラックだけを独立して再生可能にするconfig情報が記述されるmhaCボックスとは、これらのmhaCボックスに含まれるフラグによって識別される。また、この場合、グループトラックのサンプルエントリには、mhaCボックスが記述されなくてもよい。グループトラックのサンプルエントリにmhaCボックスが記述されるかどうかは、グループトラックのサンプルエントリ内のmhaCボックスの有無で識別可能であるが、サンプルエントリにフラグを記述したり、サンプルエントリのタイプを変化させることにより、識別可能にすることもできる。なお、図示は省略するが、サンプルエントリのタイプを変化させることにより、グループトラックのサンプルエントリにmhaCボックスが記述されるかどうかを識別可能にする場合、ベーストラックおよびグループトラックのサンプルエントリの4ccは、例えば、グループトラックのサンプルエントリにmhaCボックスが記述される場合「mha3」にされ、グループトラックのサンプルエントリにmhaCボックスが記述されない場合「mha5」にされる。なお、図３０において、ベーストラックのサンプルエントリには、mhgCボックスとmhsCボックスが記述されなくてもよい。
（MPDファイルの第４の記述例）
図３１は、音声ファイルのトラックの構成が図２８または図３０の構成である場合のMPDファイルの記述例を示す図である。
図３１のMPDファイルは、「Representation」の「codecs」が「mha3.3.1」である点、および、「SubRepresentation」の「codecs」が「mha3.2.1」である点が、図２４のMPDファイルと異なる。
なお、図示は省略するが、図２５の場合と同様に、ベーストラックの「SubRepresentation」には、AudioScene情報が分割して記述されるようにしてもよい。
また、上述した説明では、各トラックのtrackボックスにTrack Referenceが配置されるようにしたが、Track Referenceは配置されなくてもよい。例えば、図３２乃至図３４は、それぞれ、図２３、図２６、図２８の音声ファイルのトラックのtrackボックスにTrack Referenceが配置されない場合を示す図である。図３２の場合、Track Referenceは配置されないが、ベーストラックとグループトラックのサンプルエントリの4ccが異なるため、トラック間の依存関係を認識することができる。図３３および図３４の場合、mhasボックスが配置されていることで、ベーストラックか否かを識別することができる。
音声ファイルのトラックの構成が、図３２乃至図３４の構成である場合のMPDファイルは、それぞれ、図２４、図２７、図３１のMPDファイルと同一である。なお、この場合も、ベーストラックの「SubRepresentation」には、図２５の場合と同様に、AudioScene情報が分割して記述されるようにしてもよい。
（音声ファイルのトラックの第６の例の概要）
図３５は、音声ファイルのトラックの第６の例の概要を説明する図である。
図３５の音声データのトラックの構成は、ベーストラックのサンプルに、各グループのトラックのサンプルへの参照情報や、その参照情報の復号に必要なconfig情報が配置されず、０以上のグループのオーディオストリームが含まれる点、および、ベーストラックのサンプルエントリに、各グループのトラックのサンプルへの参照情報が記述される点が、図３３の構成と異なっている。
具体的には、３Ｄオーディオのうちの音声データのオーディオストリームが複数のトラックに分割されているときのベーストラック用のシンタクスを有する、4ccが「mha2」であるサンプルエントリに、AudioScene情報に記述されている各グループがどのトラックに分割されているかを記述するmhmtボックスが新たに配置される。
（4ccが「mha2」であるサンプルエントリのシンタクスの他の例）
図３６は、4ccが「mha2」である図３５のベーストラックおよびグループトラックのサンプルエントリのシンタクスの例を示す図である。
図３６の4ccが「mha2」であるサンプルエントリの構成は、MHAMultiTrackDescriptionボックス（mhmtボックス）が配置される点が、図１０の構成と異なっている。
mhmtボックスには、参照情報として、グループＩＤ（group_ID）とトラックＩＤ(track_ID)の対応関係が記述される。なお、mhmtボックスでは、オーディオエレメントとトラックＩＤが対応付けて記述されるようにしてもよい。
参照情報がサンプルごとに変化しない場合、mhmtボックスをサンプルエントリに配置することにより、効率良く参照情報を記述することができる。
なお、図示は省略するが、図９、図２０、図２３、図２６、図２８、図３０、図３２、および図３４の場合においても、同様に、ベーストラックのサンプルに各グループのトラックのサンプルへの参照情報を記述する代わりに、ベーストラックのサンプルエントリにmhmtボックスを配置させるようにすることができる。
この場合、4ccが「mha3」であるサンプルエントリのシンタクスは、図３７に示すようになる。即ち、図３７の4ccが「mha3」であるサンプルエントリの構成は、MHAMultiTrackDescriptionボックス（mhmtボックス）が配置される点が、図２９の構成と異なっている。
また、図２３、図２６、図２８、図３０、図３２乃至図３４、および図３５において、図９と同様に、ベーストラックに３Ｄオーディオの１以上のグループのオーディオストリームが含まれないようにしてもよい。また、各グループトラックに分割されるオーディオストリームに対応するグループの数が１つであってもよい。
さらに、図２３、図２６、図２８、図３０、図３２乃至図３４、および図３５において、図２０の場合と同様に、GroupDefinitionやSwitchGroupDefinitionが、サンプルグループエントリに配置されるようにしてもよい。
＜第２実施の形態＞
（トラックの概要）
図３８は、本開示を適用した第２実施の形態におけるトラックの概要を説明する図である。
図３８に示すように、第２実施の形態では、各トラックが異なるファイル（3da_base.mp4/3da_group1.mp4/3da_group2.mp4/3da_group3.mp4/3da_group4.mp4）として記録される点が、第１実施の形態と異なっている。この場合、所望のトラックのファイルを、HTTPを介して取得することにより、所望のトラックのデータのみを取得することができる。従って、HTTPを介した所望のトラックのデータの取得を効率的に行うことができる。
（MPDファイルの記述例）
図３９は、本開示を適用した第２実施の形態におけるMPDファイルの記述例を示す図である。
図３９に示すように、MPDファイルには、３Ｄオーディオの各音声ファイル（3da_base.mp4/3da_group1.mp4/3da_group2.mp4/3da_group3.mp4/3da_group4.mp4）のセグメントを管理する「Representation」等が記述される。
「Representation」には、「codecs」、「id」、「associationId」、および「assciationType」が含まれる。「id」は、それを含む「Representation」のＩＤである。「associationId」は、対応するトラックと他のトラックとの参照関係を表す情報であり、参照トラックの「id」である。「assciationType」は、参照トラックとの参照関係（依存関係）の意味を表すコードであり、例えばMP4のtrack referenceの値と同じものが用いられる。
また、各グループのトラックの「Representation」には、<EssentialProperty schemeIdUri＝“urn:mpeg:DASH:3daudio:2014” value＝“dataType,definition”>も含まれる。
図３９の例では、１つの「AdaptationSet」の下に、各音声ファイルのセグメントを管理する「Representation」が設けられているが、各音声ファイルのセグメントごとに「AdaptationSet」が設けられ、その下に、そのセグメントを管理する「Representation」が設けられるようにしてもよい。この場合、各「AdaptationSet」には、「associationId」と、「assciationType」と同様に参照トラックとの参照関係の意味を表す<EssentialProperty schemeIdUri＝“urn:mpeg:DASH:3daudioAssociationData:2014” value＝“dataType,id”>が、記述されるようにしてもよい。また、ベーストラックとグループトラックの「Representation」に記述されているAudioScene情報、GroupDefinition、SwitchGroupDefinitionは、図２５の場合と同様に、分割して記述されるようにしてもよい。さらに、各「AdaptationSet」には、「Representation」に分割して記述されたAudioScene情報、GroupDefinition、SwitchGroupDefinitionが記述されてもよい。
（情報処理システムの概要）
図４０は、本開示を適用した第２実施の形態における情報処理システムの概要を説明する図である。
図４０に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図４０の情報処理システム２１０は、ファイル生成装置２１１と接続されるWebサーバ２１２と動画再生端末２１４が、インターネット１３を介して接続されることにより構成される。
情報処理システム２１０では、MPEG－DASHに準ずる方式で、Webサーバ１４２が、再生対象のグループの音声ファイルのオーディオストリームを、動画再生端末１４４に配信する。
具体的には、ファイル生成装置２１１は、動画コンテンツの３Ｄオーディオの各音声データとメタデータを、それぞれ、複数の符号化速度で符号化し、オーディオストリームを生成する。ファイル生成装置２１１は、オーディオストリームをグループおよびExtエレメントのタイプごとに分割し、異なるトラックのオーディオストリームとする。ファイル生成装置２１１は、符号化速度、セグメント、およびトラックごとに、オーディオストリームをファイル化し、音声ファイルを生成する。ファイル生成装置２１１は、その結果得られる音声ファイルをWebサーバ２１２にアップロードする。また、ファイル生成装置２１１は、MPDファイルを生成し、Webサーバ２１２にアップロードする。
Webサーバ２１２は、ファイル生成装置２１１からアップロードされた符号化速度、セグメント、およびトラックごとの音声ファイルとMPDファイルを格納する。Webサーバ２１２は、動画再生端末２１４からの要求に応じて、格納している音声ファイル、MPDファイル等を動画再生端末２１４に送信する。
動画再生端末２１４は、制御用ソフトウエア２２１、動画再生ソフトウエア１６２、アクセス用ソフトウエア２２３などを実行する。
制御用ソフトウエア２２１は、Webサーバ２１２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア２２１は、動画再生端末２１４にWebサーバ２１２からMPDファイルを取得させる。
また、制御用ソフトウエア２２１は、MPDファイルに基づいて、動画再生ソフトウエア１６２により指定される再生対象のグループ、および、そのグループに対応するExtエレメントのタイプの音声ファイルのオーディオストリームの送信要求を、アクセス用ソフトウエア２２３に指令する。
アクセス用ソフトウエア２２３は、HTTPを用いたインターネット１３を介したWebサーバ２１２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア２２３は、制御用ソフトウエア２２１の指令に応じて、再生対象の音声ファイルのオーディオストリームの送信要求を、動画再生端末１４４に送信させる。また、アクセス用ソフトウエア２２３は、その送信要求に応じて、Webサーバ２１２から送信されてくるオーディオストリームの受信を動画再生端末１４４に開始させ、受信開始の通知を動画再生ソフトウエア１６２に供給する。
（ファイル生成装置の構成例）
図４１は、図４０のファイル生成装置２１１の構成例を示すブロック図である。
図４１に示す構成のうち、図１６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図４１のファイル生成装置２１１の構成は、音声ファイル生成部１７２、MPD生成部１７３の代わりに、音声ファイル生成部２４１、MPD生成部２４２が設けられる点が、図１６のファイル生成装置１４１の構成と異なる。
具体的には、ファイル生成装置２１１の音声ファイル生成部２４１は、音声符号化処理部１７１から供給されるオーディオストリームに対して、グループおよびExtエレメントのタイプごとにトラックを割り当てる。音声ファイル生成部２４１は、符号化速度、セグメント、およびトラックごとに、オーディオストリームを配置した音声ファイルを生成する。音声ファイル生成部２４１は、生成された音声ファイルをMPD生成部２４２に供給する。
MPD生成部２４２は、音声ファイル生成部１７２から供給される音声ファイルを格納するWebサーバ１４２のURL等を決定する。MPD生成部２４２は、音声ファイルのURL等が、その音声ファイル用の「Representation」の「Segment」に配置されたMPDファイルを生成する。MPD生成部１７３は、生成されたMPDファイルと音声ファイルをサーバアップロード処理部１７４に供給する。
（ファイル生成装置の処理の説明）
図４２は、図４１のファイル生成装置２１１のファイル生成処理を説明するフローチャートである。
図４２のステップＳ３０１およびＳ３０２の処理は、図１７のステップＳ１９１およびＳ１９２の処理と同様であるので、説明は省略する。
ステップＳ３０３において、音声ファイル生成部２４１は、符号化速度、セグメント、およびトラックごとに、オーディオストリームが配置された音声ファイルを生成する。音声ファイル生成部２４１は、生成された音声ファイルをMPD生成部２４２に供給する。
ステップＳ３０４およびＳ３０５の処理は、図１７のステップＳ１９４およびＳ１９５の処理と同様であるので、説明は省略する。
（動画再生端末の機能的構成例）
図４３は、図４０の動画再生端末２１４が制御用ソフトウエア２２１、動画再生ソフトウエア１６２、およびアクセス用ソフトウエア２２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
図４３に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図４３のストリーミング再生部２６０の構成は、音声ファイル取得部１９２の代わりに、音声ファイル取得部２６４が設けられる点が、図１８のストリーミング再生部１９０の構成と異なる。
音声ファイル取得部２６４は、MPD処理部１９１から供給されるURLのうちの、再生対象のトラックの音声ファイルのURLに基づいて、その音声ファイルのオーディオストリームをWebサーバ１４２に要求し、取得する。音声ファイル取得部２６４は、取得されたオーディオストリームを音声復号処理部１９４に供給する。
即ち、音声ファイル取得部２６４、音声復号処理部１９４、および音声合成処理部１９５は、再生部として機能し、Webサーバ２１２に格納されている音声ファイルから、再生対象のトラックの音声ファイルのオーディオストリームを取得し、再生する。
（動画再生端末の処理の説明）
図４４は、図４３のストリーミング再生部２６０の再生処理を説明するフローチャートである。
図４４のステップＳ３２１およびＳ３２２の処理は、図１９のステップＳ２１１およびＳ２１２の処理と同様であるので、説明は省略する。
ステップＳ３２３において、音声ファイル取得部１９２は、MPD処理部１９１から供給されるURLのうちの、再生対象のトラックの音声ファイルのURLに基づいて、その音声ファイルのオーディオストリームをWebサーバ１４２に要求し、取得する。音声ファイル取得部２６４は、取得されたオーディオストリームを音声復号処理部１９４に供給する。
ステップＳ３２４およびＳ３２５の処理は、図１９のステップＳ２１４およびＳ２１５の処理と同様であるので、説明は省略する。
なお、第２実施の形態においても、第１実施の形態と同様に、GroupDefinitionやSwitchGroupDefinitionが、サンプルグループエントリに配置されるようにしてもよい。
また、第２実施の形態においても、第１実施の形態と同様に、音声データのトラックの構成を、図２３、図２６、図２８、図３０、図３２乃至図３４、および図３５に示した構成にすることができる。
図４５乃至図４７は、それぞれ、第２実施の形態において、音声データのトラックの構成が、図２３、図２６、図２８に示した構成である場合のMPDを示す図である。第２実施の形態において、音声データのトラックの構成が図３２、図３３または図３５、図３４に示した構成である場合のMPDは、それぞれ、図２３、図２６、図２８に示した構成である場合のMPDと同一である。
図４５のMPDは、ベーストラックの「codecs」および「associationId」、並びに、ベーストラックの「Representation」に<EssentialProperty schemeIdUri＝“urn:mpeg:DASH:3daudio:2014” value＝“dataType,definition”>が含まれる点が、図３９のMPDと異なっている。具体的には、図４５のMPDのベーストラックの「Representation」の「codecs」は、「mha2.2.1」であり、「associationId」は、グループトラックの「id」である「g1」と「g2」である。
また、図４６のMPDは、グループトラックの「codecs」、および、グループトラックの「Representation」に<EssentialProperty schemeIdUri＝“urn:mpeg:DASH:3daudio:2014” value＝“dataType,definition”>が含まれない点が、図４５のMPDと異なっている。
具体的には、図４６のMPDのグループトラックの「codecs」は、「mha2.2.1」である。
また、図４７のMPDは、ベーストラックとグループトラックとの「codecs」が、図４５のMPDと異なっている。具体的には、図４７のMPDのグループトラックの「codecs」は、「mha3.2.1」である。
なお、図４５乃至図４７のMPDにおいて、図４８乃至図５０に示すように、「Representation」ごとに「AdaptationSet」を分けることもできる。
＜ベーストラックの他の例＞
上述した説明では、ベーストラックは１つだけ設けられたが、複数設けられるようにしてもよい。この場合、ベーストラックは、例えば、３Ｄオーディオの視点（詳細は後述する）ごとに設けられ、ベーストラックには、各視点の３Ｄオーディオの全てのグループのconfig情報を含むmhaCボックスが配置される。なお、各ベーストラックには、各視点のAudioScene情報を含むmhasボックスが配置されるようにしてもよい。
３Ｄオーディオの視点とは、その３Ｄオーディオが聴こえる位置であり、３Ｄオーディオと同時に再生される画像の視点や予め設定された所定の位置などである。
以上のように、視点ごとにベーストラックが設けられる場合、各視点のconfig情報に含まれるオブジェクトの画面上の位置等に基づいて、同一の３Ｄオーディオのオーディオストリームから、視点ごとに異なる音声を再生することができる。その結果、３Ｄオーディオのオーディオストリームのデータ量を削減することができる。
即ち、３Ｄオーディオの視点が、その３Ｄオーディオと同時に再生可能な野球のスタジアムの画像の複数の視点である場合、基本の視点の画像であるメイン画像として、例えば、センターバックスクリーンを視点とする画像が用意される。また、バックネット裏、一塁内野席、三塁内野席、レフト応援席、ライト応援席などを視点とする画像が、基本の視点以外の視点の画像であるマルチ画像として用意される。
この場合、全ての視点の３Ｄオーディオを用意すると、３Ｄオーディオのデータ量が多くなる。従って、ベーストラックに各視点におけるオブジェクトの画面上の位置等を記述することにより、オブジェクトの画面上の位置に応じて変化するObject audioやSAOC Object audio等のオーディオストリームを視点間で共有可能にする。その結果、３Ｄオーディオのオーディオストリームのデータ量を削減することができる。
３Ｄオーディオの再生時には、例えば基本の視点のObject audioやSAOC Object audio等のオーディオストリームと、同時に再生されるメイン画像またはマルチ画像の視点に対応するベーストラックとを用いて、その視点に応じて異なる音声が再生される。
同様に、例えば、３Ｄオーディオの視点が、予め設定されたスタジアムの複数の座席の位置である場合、全ての視点の３Ｄオーディオを用意すると、３Ｄオーディオのデータ量が多くなる。従って、ベーストラックに各視点におけるオブジェクトの画面上の位置等を記述することにより、Object audioやSAOC Object audio等のオーディオストリームを視点間で共有可能にする。その結果、１つの視点のObject audioやSAOC Object audioを用いて、ユーザにより座席表などを用いて選択された座席に応じて異なる音声を再生することが可能になり、３Ｄオーディオのオーディオストリームのデータ量を削減することができる。
図２８のトラック構造において、ベーストラックが３Ｄオーディオの視点ごとに設けられる場合、トラック構造は、図５１に示すようになる。図５１の例では、３Ｄオーディオの視点の数が３つある。また、図５１の例では、Channel audioは、３Ｄオーディオの視点ごとに生成され、その他の音声データは、３Ｄオーディオの視点間で共有される。これらのことは、後述する図５２の例においても同様である。
この場合、ベーストラックは、図５１に示すように、３Ｄオーディオの視点ごとに３つ設けられる。各ベーストラックのtrackボックスには、Track Referenceが配置される。また、各ベーストラックのサンプルエントリのシンタクスは、4ccが「mha3」であるサンプルエントリのシンタクスと同一であるが、4ccは、３Ｄオーディオの視点ごとにベーストラックが設けられていることを表す「mhcf」である。
各ベーストラックのサンプルエントリには、各視点の３Ｄオーディオの全てのグループのconfig情報を含むmhaCボックスが配置される。各視点の３Ｄオーディオの全てのグループのconfig情報としては、その視点におけるオブジェクトの画面上の位置などがある。また、各ベーストラックには、各視点のAudioScene情報を含むmhasボックスが配置される。
各ベーストラックのサンプルには、各視点のChannel audioのグループのオーディオストリームが配置される。
なお、各視点におけるオブジェクトの画面上の位置をサンプル単位で記述するObject Metadataが存在する場合には、そのObject Metadataも、各ベーストラックのサンプルに配置される。
即ち、オブジェクトが動体（例えば、スポーツ選手）である場合、各視点におけるオブジェクトの画面上の位置は時間変化するため、その位置は、サンプル単位でObject Metadataとして記述される。この場合、このサンプル単位のObject Metadataは、視点ごとに、その視点に対応するベーストラックのサンプルに配置される。
図５１のグループトラックの構成は、Channel audioのグループのオーディオストリームが配置されない点を除いて、図２８の構成と同一であるので、説明は省略する。
なお、図５１のトラック構造において、各視点のChannel audioのグループのオーディオストリームは、ベーストラックに配置されず、それぞれ、異なるグループトラックに配置されるようにしてもよい。この場合、トラック構造は、図５２に示すようになる。
図５２の例では、トラックＩＤが「１」であるベーストラックに対応する視点のChannel audioのグループのオーディオストリームが、トラックＩＤが「４」であるグループトラックに配置されている。また、トラックＩＤが「２」であるベーストラックに対応する視点のChannel audioのグループのオーディオストリームが、トラックＩＤが「５」であるグループトラックに配置されている。
さらに、トラックＩＤが「３」であるベーストラックに対応する視点のChannel audioのグループのオーディオストリームが、トラックＩＤが「６」であるグループトラックに配置されている。
なお、図５１および図５２の例では、ベーストラックのサンプルエントリの4ccを「mhcf」にしたが、図２８の場合と同一の「mha3」であってもよい。
また、図示は省略するが、図２８のトラック構造以外の、上述した全てのトラック構造において、ベーストラックが３Ｄオーディオの視点ごとに設けられる場合も、図５１および図５２の場合と同様である。
＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述したWebサーバ１４２（２１２）の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図５３は、上述したWebサーバ１４２（２１２）の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、動画再生端末１４４（２１４）のハードウエア構成は、図５３のコンピュータと同様の構成にすることができる。この場合、例えば、CPU６０１が、制御用ソフトウエア１６１（２２１）、動画再生ソフトウエア１６２、およびアクセス用ソフトウエア１６３（２２３）を実行する。動画再生端末１４４（２１４）の処理は、ハードウエアにより実行することもできる。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
また、本開示は、ストリーミング再生ではなく、放送やローカルストレージ再生を行う情報処理システムにも適用することができる。
上述したMPDの実施例では、そのスキーマで記述された内容が理解できない場合は無視してもよいdescriptor定義であるEssentialPropertyにより情報が記述されたが、そのスキーマで記述された内容が理解できない場合であっても再生できるdescriptor定義であるSupplementalPropertyにより情報が記述されてもよい。この記述方法の選択は、コンテンツを作成する側の意図で行われる。
さらに、本開示は、以下のような構成もとることができる。
（１）
複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルを生成するファイル生成部
を備える情報処理装置。
（２）
前記複数の種類に関する情報は、所定のトラックのサンプルエントリに配置される
ように構成された
前記（１）に記載の情報処理装置。
（３）
前記所定のトラックは、前記複数の種類の音声データが分割されて配置される前記トラックのうちの１つである
ように構成された
前記（２）に記載の情報処理装置。
（４）
前記ファイルには、前記トラックごとに、そのトラックに対応する前記種類に関する情報が配置される
ように構成された
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記ファイルには、前記トラックごとに、そのトラックに対応する種類と、その種類の音声データと排他的に再生される音声データに対応する種類とからなる排他的再生種類に関する情報が配置される
ように構成された
前記（４）に記載の情報処理装置。
（６）
前記トラックに対応する種類に関する情報および前記排他的再生種類に関する情報は、対応するトラックのサンプルエントリに配置される
ように構成された
前記（５）に記載の情報処理装置。
（７）
前記ファイル生成部は、前記トラックごとに前記排他的再生種類に関する情報が存在するかを示す情報を含む、前記ファイルを管理する管理ファイルを生成する
ように構成された
前記（５）または（６）に記載の情報処理装置。
（８）
前記ファイルには、前記複数の種類に対応するトラックへの参照情報が配置される
ように構成された
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記参照情報は、所定のトラックのサンプルに配置される
ように構成された
前記（８）に記載の情報処理装置。
（１０）
前記所定のトラックは、前記複数の種類の音声データが分割されて配置される前記トラックの１つである
ように構成された
前記（９）に記載の情報処理装置。
（１１）
前記ファイルには、前記トラック間の参照関係を表す情報が配置される
ように構成された
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記ファイル生成部は、前記トラック間の参照関係を表す情報を含む、前記ファイルを管理する管理ファイルを生成する
ように構成された
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記ファイルは、１つのファイルである
ように構成された
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記ファイルは、前記トラックごとのファイルである
ように構成された
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１５）
情報処理装置が、
複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルを生成するファイル生成ステップ
を含む情報処理方法。
（１６）
複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルから、所定のトラックの前記音声データを再生する再生部
を備える情報処理装置。
（１７）
情報処理装置が、
複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルから、所定のトラックの前記音声データを再生する再生ステップ
を含む情報処理方法。
１１ ファイル生成装置， １９２ 音声ファイル取得部， １９４ 音声復号処理部， １９５ 音声合成処理部， ２１１ ファイル生成装置， ２６４ 音声ファイル取得部

Claims (16)

  1. 複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルを生成するファイル生成部
    を備え、
    前記複数の種類に関する情報は、所定のトラックのサンプルエントリに配置される
    情報処理装置。
  2. 前記所定のトラックは、前記複数の種類の音声データが分割されて配置される前記トラックのうちの１つである
    ように構成された
    請求項１に記載の情報処理装置。
  3. 前記ファイルには、前記トラックごとに、そのトラックに対応する前記種類に関する情報が配置される
    ように構成された
    請求項１に記載の情報処理装置。
  4. 前記ファイルには、前記トラックごとに、そのトラックに対応する種類と、その種類の音声データと排他的に再生される音声データに対応する種類とからなる排他的再生種類に関する情報が配置される
    ように構成された
    請求項３に記載の情報処理装置。
  5. 前記トラックに対応する種類に関する情報および前記排他的再生種類に関する情報は、対応するトラックのサンプルエントリに配置される
    ように構成された
    請求項４に記載の情報処理装置。
  6. 前記ファイル生成部は、前記トラックごとに前記排他的再生種類に関する情報が存在するかを示す情報を含む、前記ファイルを管理する管理ファイルを生成する
    ように構成された
    請求項４に記載の情報処理装置。
  7. 前記ファイルには、前記複数の種類に対応するトラックへの参照情報が配置される
    ように構成された
    請求項１に記載の情報処理装置。
  8. 前記参照情報は、所定のトラックのサンプルに配置される
    ように構成された
    請求項７に記載の情報処理装置。
  9. 前記所定のトラックは、前記複数の種類の音声データが分割されて配置される前記トラックの１つである
    ように構成された
    請求項８に記載の情報処理装置。
  10. 前記ファイルには、前記トラック間の参照関係を表す情報が配置される
    ように構成された
    請求項１に記載の情報処理装置。
  11. 前記ファイル生成部は、前記トラック間の参照関係を表す情報を含む、前記ファイルを管理する管理ファイルを生成する
    ように構成された
    請求項１に記載の情報処理装置。
  12. 前記ファイルは、１つのファイルである
    ように構成された
    請求項１に記載の情報処理装置。
  13. 前記ファイルは、前記トラックごとのファイルである
    ように構成された
    請求項１に記載の情報処理装置。
  14. 情報処理装置が、
    複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルを生成するファイル生成ステップ
    を含み、
    前記複数の種類に関する情報は、所定のトラックのサンプルエントリに配置される
    情報処理方法。
  15. 複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルから、所定のトラックの前記音声データを再生する再生部
    を備え、
    前記複数の種類に関する情報は、所定のトラックのサンプルエントリに配置される
    情報処理装置。
  16. 情報処理装置が、
    複数の種類の音声データが１以上の前記種類ごとにトラックに分割されて配置されるとともに、前記複数の種類に関する情報が配置されたファイルから、所定のトラックの前記音声データを再生する再生ステップ
    を含み、
    前記複数の種類に関する情報は、所定のトラックのサンプルエントリに配置される
    情報処理方法。
JP2022109532A 2014-06-30 2022-07-07 情報処理装置および情報処理方法 Active JP7424420B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024005069A JP2024038407A (ja) 2014-06-30 2024-01-17 情報処理装置および情報処理方法

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
JP2014134878 2014-06-30
JP2014134878 2014-06-30
JP2015107970 2015-05-27
JP2015107970 2015-05-27
JP2015109838 2015-05-29
JP2015109838 2015-05-29
JP2015119359 2015-06-12
JP2015119359 2015-06-12
JP2015121336 2015-06-16
JP2015121336 2015-06-16
JP2015124453 2015-06-22
JP2015124453 2015-06-22
JP2020214925A JP7103402B2 (ja) 2014-06-30 2020-12-24 情報処理装置および情報処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020214925A Division JP7103402B2 (ja) 2014-06-30 2020-12-24 情報処理装置および情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024005069A Division JP2024038407A (ja) 2014-06-30 2024-01-17 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JP2022133422A JP2022133422A (ja) 2022-09-13
JP7424420B2 true JP7424420B2 (ja) 2024-01-30

Family

ID=55019270

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016531369A Active JP7080007B2 (ja) 2014-06-30 2015-06-30 情報処理装置および情報処理方法
JP2020214925A Active JP7103402B2 (ja) 2014-06-30 2020-12-24 情報処理装置および情報処理方法
JP2022109532A Active JP7424420B2 (ja) 2014-06-30 2022-07-07 情報処理装置および情報処理方法
JP2024005069A Pending JP2024038407A (ja) 2014-06-30 2024-01-17 情報処理装置および情報処理方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016531369A Active JP7080007B2 (ja) 2014-06-30 2015-06-30 情報処理装置および情報処理方法
JP2020214925A Active JP7103402B2 (ja) 2014-06-30 2020-12-24 情報処理装置および情報処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024005069A Pending JP2024038407A (ja) 2014-06-30 2024-01-17 情報処理装置および情報処理方法

Country Status (11)

Country Link
US (2) US20180165358A1 (ja)
EP (1) EP3163570A4 (ja)
JP (4) JP7080007B2 (ja)
KR (2) KR102422493B1 (ja)
CN (3) CN106471574B (ja)
AU (3) AU2015285344A1 (ja)
CA (2) CA2953242C (ja)
MX (2) MX368088B (ja)
RU (1) RU2702233C2 (ja)
SG (1) SG11201610951UA (ja)
WO (1) WO2016002738A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101261212B1 (ko) 2004-10-26 2013-05-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 신호 처리 방법 및 장치
TWI447709B (zh) 2010-02-11 2014-08-01 Dolby Lab Licensing Corp 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
CN103325380B (zh) 2012-03-23 2017-09-12 杜比实验室特许公司 用于信号增强的增益后处理
US9401152B2 (en) 2012-05-18 2016-07-26 Dolby Laboratories Licensing Corporation System for maintaining reversible dynamic range control information associated with parametric audio coders
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
KR102056589B1 (ko) 2013-01-21 2019-12-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 상이한 재생 디바이스들에 걸친 라우드니스 및 동적 범위의 최적화
KR102251763B1 (ko) 2013-01-21 2021-05-14 돌비 레버러토리즈 라이쎈싱 코오포레이션 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩
CN116665683A (zh) 2013-02-21 2023-08-29 杜比国际公司 用于参数化多声道编码的方法
CN107093991B (zh) 2013-03-26 2020-10-09 杜比实验室特许公司 基于目标响度的响度归一化方法和设备
CN105190618B (zh) 2013-04-05 2019-01-25 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
CN110675883B (zh) 2013-09-12 2023-08-18 杜比实验室特许公司 用于下混合音频内容的响度调整
JP6476192B2 (ja) 2013-09-12 2019-02-27 ドルビー ラボラトリーズ ライセンシング コーポレイション 多様な再生環境のためのダイナミックレンジ制御
CN105142067B (zh) 2014-05-26 2020-01-07 杜比实验室特许公司 音频信号响度控制
US10453467B2 (en) 2014-10-10 2019-10-22 Dolby Laboratories Licensing Corporation Transmission-agnostic presentation-based program loudness
US10356545B2 (en) * 2016-09-23 2019-07-16 Gaudio Lab, Inc. Method and device for processing audio signal by using metadata
WO2018079293A1 (ja) * 2016-10-27 2018-05-03 ソニー株式会社 情報処理装置および方法
US11341976B2 (en) * 2018-02-07 2022-05-24 Sony Corporation Transmission apparatus, transmission method, processing apparatus, and processing method
JP7396267B2 (ja) * 2018-03-29 2023-12-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
CN111903136A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法和程序
WO2024029634A1 (ja) * 2022-08-03 2024-02-08 マクセル株式会社 放送受信装置、コンテンツ保護方法、残響音付加処理方法および放送受信装置の制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087103A (ja) 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
JP2011528868A (ja) 2008-07-16 2011-11-24 ノキア コーポレイション トラックおよびトラックサブセットグループ化の方法および装置
JP2012033243A (ja) 2010-08-02 2012-02-16 Sony Corp データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1116250A (ja) * 1997-06-20 1999-01-22 Pioneer Electron Corp 情報再生システム
ES2342357T3 (es) * 2000-12-15 2010-07-06 British Telecommunications Public Limited Company Transmision y recepcion de material de audio y/o video.
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
EP1435620A1 (en) * 2003-01-06 2004-07-07 Thomson Licensing S.A. Method for creating and accessing a menu for audio content without using a display
JP3937223B2 (ja) * 2003-01-21 2007-06-27 ソニー株式会社 記録装置、再生装置、記録方法及び再生方法
JP3918772B2 (ja) * 2003-05-09 2007-05-23 日本電気株式会社 映像編集装置、映像編集方法、および映像編集プログラム
JP2004355780A (ja) * 2003-05-30 2004-12-16 Matsushita Electric Ind Co Ltd オーディオシステム
WO2005015907A1 (ja) * 2003-08-08 2005-02-17 Matsushita Electric Industrial Co., Ltd. データ処理装置及びデータ処理方法
US7818077B2 (en) * 2004-05-06 2010-10-19 Valve Corporation Encoding spatial data in a multi-channel sound file for an object in a virtual environment
JP4236630B2 (ja) * 2004-11-30 2009-03-11 三洋電機株式会社 コンテンツデータ記録媒体
RU2393556C2 (ru) * 2005-01-28 2010-06-27 Панасоник Корпорейшн Носитель записи, устройство воспроизведения и способы записи и воспроизведения
JP4626376B2 (ja) * 2005-04-25 2011-02-09 ソニー株式会社 音楽コンテンツの再生装置および音楽コンテンツ再生方法
US8028004B2 (en) * 2005-08-26 2011-09-27 Panasonic Corporation Data recording system, data recording method and data recording program
CN101066720A (zh) * 2006-04-06 2007-11-07 迈克尔·波宁斯基 交互式包装系统
US8762843B2 (en) * 2006-06-16 2014-06-24 Creative Technology Ltd System and method for modifying media content playback based on limited input
WO2008023328A2 (en) * 2006-08-24 2008-02-28 Nokia Corporation System and method for indicating track relationships in media files
US7842876B2 (en) * 2007-01-05 2010-11-30 Harman International Industries, Incorporated Multimedia object grouping, selection, and playback system
JPWO2008102413A1 (ja) * 2007-02-22 2010-05-27 富士通株式会社 音楽再生装置および音楽再生方法
US20090157731A1 (en) * 2007-12-14 2009-06-18 Zigler Jeffrey D Dynamic audio file and method of use
US20090234886A1 (en) * 2008-03-11 2009-09-17 Gopalakrishna Raghavan Apparatus and Method for Arranging Metadata
CN101552905A (zh) * 2008-04-03 2009-10-07 中国联合网络通信集团有限公司 信息切换驱动装置、信息切换装置、遥控设备和机顶盒
JP2010026985A (ja) * 2008-07-24 2010-02-04 Sony Corp 情報処理装置及び情報処理方法
JP5542912B2 (ja) * 2009-04-09 2014-07-09 テレフオンアクチーボラゲット エル エム エリクソン（パブル） メディア・コンテナ・ファイル管理
US20110069934A1 (en) * 2009-09-24 2011-03-24 Electronics And Telecommunications Research Institute Apparatus and method for providing object based audio file, and apparatus and method for playing back object based audio file
JP2011188289A (ja) * 2010-03-09 2011-09-22 Olympus Imaging Corp 画像音声記録システム
CN101901595B (zh) * 2010-05-05 2014-10-29 北京中星微电子有限公司 一种根据音频音乐生成动画的方法和系统
US8918533B2 (en) * 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
CN102347042B (zh) * 2010-07-28 2014-05-07 Tcl集团股份有限公司 一种音轨切换方法、系统及音视频文件播放设备
US9456015B2 (en) * 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
WO2012046437A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 記録媒体、及びデータのコピー方法
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
CN103314602B (zh) * 2011-01-12 2017-02-08 夏普株式会社 再生装置以及再生装置的控制方法
KR101739272B1 (ko) * 2011-01-18 2017-05-24 삼성전자주식회사 멀티미디어 스트리밍 시스템에서 컨텐트의 저장 및 재생을 위한 장치 및 방법
AU2012268390A1 (en) * 2011-06-05 2014-01-16 Museami, Inc. Enhanced media recordings and playback
TW202339510A (zh) 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
US9390756B2 (en) * 2011-07-13 2016-07-12 William Littlejohn Dynamic audio file generation system and associated methods
WO2013190684A1 (ja) * 2012-06-21 2013-12-27 パイオニア株式会社 再生装置及び方法
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
JP2014096766A (ja) * 2012-11-12 2014-05-22 Canon Inc 記録装置及び記録方法
WO2014099285A1 (en) * 2012-12-21 2014-06-26 Dolby Laboratories Licensing Corporation Object clustering for rendering object-based audio content based on perceptual criteria
IES86526B2 (en) * 2013-04-09 2015-04-08 Score Music Interactive Ltd A system and method for generating an audio file
US9877116B2 (en) * 2013-12-30 2018-01-23 Gn Hearing A/S Hearing device with position data, audio system and related methods
EP4177886A1 (en) * 2014-05-30 2023-05-10 Sony Corporation Information processing apparatus and information processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011528868A (ja) 2008-07-16 2011-11-24 ノキア コーポレイション トラックおよびトラックサブセットグループ化の方法および装置
JP2011087103A (ja) 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
JP2012033243A (ja) 2010-08-02 2012-02-16 Sony Corp データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法

Also Published As

Publication number Publication date
AU2020289874A1 (en) 2021-01-28
RU2702233C2 (ru) 2019-10-07
US20180165358A1 (en) 2018-06-14
RU2016150994A (ru) 2018-06-25
WO2016002738A1 (ja) 2016-01-07
JP2022133422A (ja) 2022-09-13
JP2021061628A (ja) 2021-04-15
JP7103402B2 (ja) 2022-07-20
CN113851139A (zh) 2021-12-28
KR20170021778A (ko) 2017-02-28
JPWO2016002738A1 (ja) 2017-05-25
EP3163570A4 (en) 2018-02-14
RU2016150994A3 (ja) 2018-12-03
EP3163570A1 (en) 2017-05-03
MX2016016820A (es) 2017-04-27
KR102422493B1 (ko) 2022-07-20
CA2953242A1 (en) 2016-01-07
CN106471574A (zh) 2017-03-01
MX2019010556A (es) 2019-10-14
CN106471574B (zh) 2021-10-12
KR20220104290A (ko) 2022-07-26
CA2953242C (en) 2023-10-10
JP2024038407A (ja) 2024-03-19
US20210326378A1 (en) 2021-10-21
MX368088B (es) 2019-09-19
JP7080007B2 (ja) 2022-06-03
SG11201610951UA (en) 2017-02-27
CN113851138A (zh) 2021-12-28
AU2015285344A1 (en) 2016-12-22
CA3212162A1 (en) 2016-01-07
AU2023201334A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
JP7424420B2 (ja) 情報処理装置および情報処理方法
WO2015182491A1 (ja) 情報処理装置および情報処理方法
JP7072649B2 (ja) 高品質のエクスペリエンスのためのオーディオメッセージの効率的な配信および使用のための方法および装置
JP6908098B2 (ja) 情報処理装置および方法
JP6697695B2 (ja) 情報処理装置および情報処理方法
JP6384480B2 (ja) 情報処理装置および情報処理方法
JP7439762B2 (ja) 情報処理装置および情報処理方法、並びにプログラム
JPWO2016002513A1 (ja) 情報処理装置および方法
JP2022019932A (ja) 情報処理装置および情報処理方法
JP7287454B2 (ja) 情報処理装置、再生処理装置、情報処理方法及び再生処理方法
JPWO2018142946A1 (ja) 情報処理装置および方法
WO2021065605A1 (ja) 情報処理装置および情報処理方法
WO2021065277A1 (ja) 情報処理装置、再生処理装置及び情報処理方法
US11967153B2 (en) Information processing apparatus, reproduction processing apparatus, and information processing method
BR112016030349B1 (pt) Aparelho e método de processamento de informação

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R151 Written notification of patent or utility model registration

Ref document number: 7424420

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151