TWI736542B - 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體 - Google Patents

資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體 Download PDF

Info

Publication number
TWI736542B
TWI736542B TW105122226A TW105122226A TWI736542B TW I736542 B TWI736542 B TW I736542B TW 105122226 A TW105122226 A TW 105122226A TW 105122226 A TW105122226 A TW 105122226A TW I736542 B TWI736542 B TW I736542B
Authority
TW
Taiwan
Prior art keywords
sound
image
control
control information
following
Prior art date
Application number
TW105122226A
Other languages
English (en)
Other versions
TW201717664A (zh
Inventor
勝股充
知念徹
水野公嘉
Original Assignee
日商新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新力股份有限公司 filed Critical 日商新力股份有限公司
Publication of TW201717664A publication Critical patent/TW201717664A/zh
Application granted granted Critical
Publication of TWI736542B publication Critical patent/TWI736542B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals

Abstract

提供一種，可以個別聲音要素單位，來進行使音源方向追隨於顯示部之顯示影像之移動的影像追隨型聲音控制、或影像非追隨型聲音控制的裝置、方法。將不同方向之影像選擇性地顯示於顯示部，配合影像顯示來執行輸出聲音之控制。資料處理部，係以可個別控制的聲音要素單位，執行：配合顯示部之顯示影像之移動而使音源方向移動的影像追隨型聲音控制、和不配合影像移動而移動音源方向的影像非追隨型聲音控制。資料處理部，係從MP4檔案、或MPD檔案，取得聲音控制資訊，依照已取得之聲音控制資訊，以聲音要素單位，執行影像追隨型聲音控制、或影像非追隨型聲音控制之任一控制。

Description

資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
本揭露係有關於資訊處理裝置、及資訊處理方法、以及程式。更詳言之係有關於，可觀察全天球影像或全方位影像、或是全景影像等各種方向之影像的影像顯示構成中，進行顯示影像所相應之輸出聲音之控制的資訊處理裝置、及資訊處理方法、以及程式。
最近，可拍攝全天球影像或全方位影像、或是全景影像等各種方向之影像的攝像裝置已被開發，將使用此種攝像裝置所拍攝到的影像顯示在PC或平板終端、攜帶型終端、或是頭戴式顯示器(HMD)等之顯示部上，可觀察使用者所做的選擇畫面、或是隨著使用者的朝向而自動選擇之影像的系統，已被廣泛利用。
例如，於PC等中，可將周圍360度之全方位影像之映像(動態影像)資料從外部伺服器加以取得，或是從記錄媒體讀出而顯示在顯示裝置。使用者係可選擇任意方向之影像而顯示在顯示裝置，可自由改變視點而觀察動態影像或靜止影像等之影像。
PC或平板終端、或是攜帶型終端之顯示部上所顯示的影像，係使用者所做的滑鼠操作、或是藉由對觸控面板的滑動處理、或輕拂處理等而可使觀察方向移動而顯示，使用者係可容易地享受各種方向之影像。
在頭戴式顯示器(HMD)中顯示影像時，係隨應於HMD中所搭載的偵測頭部之運動或方向的感測器資訊，而可相應於使用者的頭部朝向而顯示影像，使用者係可感覺到彷彿自己存在於HMD之顯示部中所被顯示的影像之中。
如此的影像顯示裝置，通常具備配合影像而輸出聲音的機能。
輸出影像與聲音的先前型之裝置，作為聲音輸出之控制方式，大多採用以下(a)、(b)之任一類型的方式。
(a)配合觀察影像之移動而使可聽見聲音之方向也追隨而移動，進行如此控制的影像追隨型之聲音控制方式； (b)與觀察影像之移動無關地，進行可聽見聲音之方向係為固定之控制的影像非追隨型之聲音控制方式。
如此，先前裝置中的聲音控制方式，係大多採用(a)影像追隨型之聲音控制方式、或(b)影像非追隨型之聲音控制方式之任一種。
此外，作為揭露(a)影像追隨型之聲音控制方式的文獻，係有例如專利文獻1(日本特開2002-345097號公報)。
配合影像而輸出聲音中係包含有例如，從影 像內中所含之被攝體(物件)所產生的聲音以外，還包含有：影像的解說等之旁白或評論、BGM等，並非影像內之被攝體所發出之聲音的聲音等。
從影像內之被攝體所產生的聲音，係配合影像之移動而使可聽見聲音之方向跟著移動，這樣比較能夠增加臨場感。
另一方面，影像的解說等之旁白或評論、BGM等，針對並非影像內之被攝體所發出之聲音的聲音，係總是從一定方向聽見，這樣比較容易聽取。
可是，若像設樣區別成會追隨影像的聲音、和不追隨的聲音而進行控制，則處理會複雜化，控制的實現係很困難。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2002-345097號公報
本揭露係例如有鑑於上記問題點而研發，係提供一種，在全方位影像等、隨使用者操作或動作而輸出各種方向之影像的影像顯示裝置中，實現配合影像而輸出的聲音之音源方向控制的資訊處理裝置、及資訊處理方法、以及程式。
具體而言，提供一種例如，可個別控制的聲音串流、或聲道，甚至聲音輸出物件等，以可個別控制的聲音要素單位而能執行顯示影像追隨型之控制、或顯示影像非追隨型之控制的資訊處理裝置、及資訊處理方法、以及程式。
本揭露之第1側面，係在於一種資訊處理裝置，其係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行配合於對前記顯示部的影像顯示而輸出的聲音之控制；前記資料處理部，係以可個別控制的聲音要素單位，執行：使音源方向配合於前記顯示部之顯示影像之移動而移動的影像追隨型聲音控制；和使音源方向不配合於前記顯示部之顯示影像之移動而移動的影像非追隨型聲音控制。
再者，本揭露之第2側面，係在於一種資料配訊伺服器，其係具有：資料處理部，係生成檔案，其中儲存有：可選擇性顯示不同方向之影像的影像資料、和配合於從前記影像資料所被選擇顯示之顯示影像而輸 出的聲音資料、和聲音控制資訊，係以可個別控制的聲音要素單位，來指定是否應執行：使音源方向配合於前記顯示影像之移動而移動的影像追隨型聲音控制、和使音源方向不配合於前記顯示影像之移動而移動的影像非追隨型聲音控制之任一者；和通訊部，係將前記資料處理部所生成之檔案，予以發送。
再者，本揭露之第3側面，係在於一種資訊記錄媒體，其係儲存有：可選擇性顯示不同方向之影像的影像資料、和配合於從前記影像資料所被選擇顯示之顯示影像而輸出的聲音資料、和聲音控制資訊，係以可個別控制的聲音要素單位，來指定是否應執行：使音源方向配合於前記顯示影像之移動而移動的影像追隨型聲音控制、和使音源方向不配合於前記顯示影像之移動而移動的影像非追隨型聲音控制之任一者；該資訊記錄媒體係儲存成，在執行來自前記資訊記錄媒體之讀出資料之再生的再生裝置中，依照前記聲音控制資訊，以可個別控制的聲音要素單 位，執行影像追隨型聲音控制、或影像非追隨型聲音控制之任一者。
再者，本揭露之第4側面，係在於一種資訊處理方法，其係於資訊處理裝置中，執行輸出聲音之控制的資訊處理方法，其中，前記資訊處理裝置係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行配合於對前記顯示部的影像顯示而輸出的聲音之控制；前記資料處理部係以可個別控制的聲音要素單位，執行：使音源方向配合於前記顯示部之顯示影像之移動而移動的影像追隨型聲音控制；和使音源方向不配合於前記顯示部之顯示影像之移動而移動的影像非追隨型聲音控制。
再者，本揭露之第5側面，係在於一種程式，係於資訊處理裝置中，令其執行輸出聲音之控制的程式，其中，前記資訊處理裝置係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行配合於對前記顯示部的影像顯示而輸出的聲音之控制；前記程式，係令前記資料處理部， 以可個別控制的聲音要素單位，執行：使音源方向配合於前記顯示部之顯示影像之移動而移動的影像追隨型聲音控制；和使音源方向不配合於前記顯示部之顯示影像之移動而移動的影像非追隨型聲音控制。
此外，本揭露的程式，係對例如可執行各種程式碼的資訊處理裝置或電腦系統，藉由以電腦可讀取之形式而提供的記憶媒體、通訊媒體，來加以提供的程式。藉由將此種程式以電腦可讀取形式來提供，就可在資訊處理裝置或電腦系統上實現相應於程式的處理。
本揭露的更多其他目的、特徵或優點，係可基於後述本揭露之實施例或添附圖面所作的更詳細說明來理解。此外，於本說明書中，所謂的系統，係為複數裝置的邏輯集合構成，各構成之裝置係不限於位在同一框體內者。
若依據本揭露之一實施例之構成，則可實現一種，可以個別聲音要素單位，來進行使音源方向追隨於顯示部之顯示影像之移動的影像追隨型聲音控制、或影像非追隨型聲音控制的裝置、方法。
具體而言，將不同方向之影像選擇性地顯示於顯示部，配合影像顯示來執行輸出聲音之控制。資料處理部，係以可個別控制的聲音要素單位，執行：配合顯示部之顯 示影像之移動而使音源方向移動的影像追隨型聲音控制、和不配合影像移動而移動音源方向的影像非追隨型聲音控制。資料處理部，係從MP4檔案、或MPD檔案，取得聲音控制資訊，依照已取得之聲音控制資訊，以聲音要素單位，執行影像追隨型聲音控制、或影像非追隨型聲音控制之任一控制。
藉由本構成，可實現一種，可以個別聲音要素單位，來進行使音源方向追隨於顯示部之顯示影像之移動的影像追隨型聲音控制、或影像非追隨型聲音控制的裝置、方法。
此外，本說明書中所記載之效果僅為例示並非限定，亦可還有附加性的效果。
10‧‧‧影像資料
20‧‧‧攜帶型終端
25‧‧‧揚聲器
30‧‧‧頭戴式顯示器(HMD)
35‧‧‧揚聲器
50‧‧‧伺服器
51‧‧‧播送伺服器
52‧‧‧資料配訊伺服器
60‧‧‧媒體
70‧‧‧資訊處理裝置
71‧‧‧TV
72‧‧‧PC
73‧‧‧攜帶型終端
74‧‧‧頭戴式顯示器(HMD)
81‧‧‧MP4檔案
82‧‧‧MPD檔案
301‧‧‧CPU
302‧‧‧ROM
303‧‧‧RAM
304‧‧‧匯流排
305‧‧‧輸出入介面
306‧‧‧輸入部
307‧‧‧顯示部
308‧‧‧記憶部
309‧‧‧通訊部
310‧‧‧驅動機
311‧‧‧可移除式媒體
321‧‧‧聲音輸出部
[圖1]資訊處理裝置中的影像顯示處理、及聲音輸出處理之一例的說明圖。
[圖2]資訊處理裝置中的影像顯示處理、及聲音輸出處理之一例的說明圖。
[圖3]資訊處理裝置中的影像顯示處理、及聲音輸出處理之一例的說明圖。
[圖4]對資訊處理裝置的資料提供處理構成的說明圖。
[圖5]ISO基礎媒體檔案格式的說明圖。
[圖6]ISO基礎媒體檔案格式的說明圖。
[圖7]對MP4檔案的聲音控制資訊之記錄例的說明圖。
[圖8]全聲音對應控制資訊的說明圖。
[圖9]聲音控制資訊之記錄順序(序列)之設定例的說明圖。
[圖10]聲音要素對應控制資訊的說明圖。
[圖11]聲音控制之一例的說明圖。
[圖12]對MP4檔案的聲音控制資訊之記錄領域之一例的說明圖。
[圖13]對MP4檔案的聲音控制資訊之記錄領域之一例的說明圖。
[圖14]對MP4檔案所被記錄的聲音控制資訊的說明圖。
[圖15]從MP4檔案的聲音控制資訊之讀出、及聲音控制處理之執行程序的說明用流程圖的圖示。
[圖16]從MP4檔案的聲音控制資訊之讀出、及聲音控制處理之執行程序的說明用流程圖的圖示。
[圖17]對資訊處理裝置的資料提供處理構成的說明圖。
[圖18]MPD檔案的說明圖。
[圖19]MPD檔案的說明圖。
[圖20]對MPD檔案所被記錄的聲音控制資訊的說明圖。
[圖21]對MPD檔案所被記錄的聲音控制資訊之具體例的說明圖。
[圖22]對MPD檔案所被記錄的聲音控制資訊之具體例的說明圖。
[圖23]對MPD檔案所被記錄的聲音控制資訊之具體例的說明圖。
[圖24]從MPD檔案的聲音控制資訊之讀出、及聲音控制處理之執行程序的說明用流程圖的圖示。
[圖25]從MPD檔案的聲音控制資訊之讀出、及聲音控制處理之執行程序的說明用流程圖的圖示。
[圖26]資訊處理裝置之硬體構成例的說明圖。
以下，參照圖面，說明本揭露的資訊處理裝置、及資訊處理方法、以及程式的細節。此外，說明是按照以下項目來進行。
1.關於影像顯示控制及聲音輸出控制例
2.(實施例1)關於在MP4檔案中記錄了聲音控制資訊的實施例
2-1.(聲音控制資訊記錄例1)關於在MP4檔案中記錄聲道單位之聲音控制資訊的記錄例
2-2.(聲音控制資訊記錄例2)關於在MP4檔案中記錄串流單位之聲音控制資訊的例子
2-3.(聲音控制資訊記錄例3)關於在MP4檔案中記錄 表示聲音控制係為使用者可設定之資訊的例子
3.關於利用了MP4檔案中所被記錄之聲音控制資訊的聲音控制處理程序
4.(實施例2)關於在MPD中記錄了聲音控制資訊的實施例
4-1.(聲音控制資訊記錄例1)關於在MPD檔案中記錄聲道單位之聲音控制資訊的記錄例
4-2.(聲音控制資訊記錄例2)關於在MPD檔案中記錄串流單位之聲音控制資訊的例子
4-3.(聲音控制資訊記錄例3)關於在MPD檔案中記錄表示聲音控制係為使用者可設定之資訊的例子
5.關於利用了MPD檔案中所被記錄之聲音控制資訊的聲音控制處理程序
6.關於資訊處理裝置之硬體構成例
7.本揭露之構成的總結
[1.關於影像顯示控制及聲音輸出控制例]
首先，參照圖1以下，說明可將全天球影像或全方位影像、或是全景影像等各種方向之影像顯示在顯示部的裝置中的影像顯示控制及聲音輸出控制的具體例。
如前述，最近，可拍攝全天球影像或全方位影像、或是全景影像等各種方向之影像的攝像裝置已被開發，將使用此種攝像裝置所拍攝到的影像顯示在PC或平板終端、攜帶型終端、或是頭戴式顯示器(HMD)等之顯示 部上，可觀察使用者所選擇的任意方向之影像的系統，已被廣泛利用。
例如，可將周圍360度之全方位影像之映像(動態影像)資料從外部伺服器加以取得，或是從記錄媒體讀出而顯示在使用者的PC等之顯示裝置。使用者係從伺服器或記錄媒體取得的影像資料，選擇出任意方向之影像而令其被顯示在顯示裝置，可一面自由改變視點一面觀察映像(動態影像)或靜止影像。
圖1係在攜帶型終端的顯示部選擇各種方向之影像而予以顯示的例子的說明圖。
圖1所示的影像資料10，係為全景影像。水平方向360度之影像是被當成1張影像資料而設定。
若假設影像資料之中心部是使用者(觀察者)之正面方向(例如0度=北方向)之影像，則影像資料10之左端係為使用者(觀察者)之後方向(-180度=南方向)之影像，影像資料10之右端也是使用者(觀察者)之後方向(+180度=南方向)之影像。
影像資料10之左端與右端係為相同位置之影像。
此外，全天球影像或全方位影像，亦即360度全景影像的情況下，係在上下方向都是拍攝180度之影像，包含有上下左右全方向之影像。
在以下的實施例中，雖然針對利用水平方向360度之全景影像的例子來說明，但本揭露之構成，係也可適用於利用全天球影像或全方位影像的情況，在可選擇性顯示不 同方向之影像的裝置中，可以適用本揭露之構成。
在以下的說明中，全景影像係包含：水平方向360度之全景影像、全天球影像或全方位影像等之360度全景影像、其他還有，隨影像移動而可顯示不同方向之影像的影像之全部。
圖1下段係圖示，使用者之資訊處理裝置之一例的攜帶型終端20。
在攜帶型終端20的顯示部，係可將影像資料10的一部分之領域，例如使用者所任意選擇的領域之影像，加以顯示。
左側之攜帶型終端20的顯示影像A，係影像資料10內的部分領域之影像區間a1~a2的部分區間之領域影像。
右側之攜帶型終端20的顯示影像B，係影像資料10內的部分領域之影像區間b1~b2的部分區間之領域影像。
使用者係對被構成為觸控面板的顯示部，藉由手指的滑移處理等，就可使顯示影像移動，顯示任意領域之影像。
此外，攜帶型終端20上係具備有揚聲器25，可將連同顯示影像一起被記錄的聲音資料予以輸出。
圖2係利用頭戴式顯示器(HMD)30來顯示全景影像的例子。
在頭戴式顯示器(HMD)30中顯示影像時，係隨應於 HMD中所搭載的偵測頭部之運動或方向的感測器資訊，而可相應於使用者的頭部朝向而令影像被顯示。藉由此影像顯示控制，使用者係可感覺到自己彷彿存在於HMD的顯示部中所被顯示的影像之中。
裝著了HMD30的使用者朝向左方時的影像係為顯示影像P。
裝著了HMD30的使用者朝向右方時的影像係為顯示影像Q。
裝著了HMD30的使用者，係藉由改變身體(頭部)之朝向，就可觀察周圍360度之影像。
此外，頭戴式顯示器(HMD)30上係具備有揚聲器35，可將連同顯示影像一起被記錄的聲音資料予以輸出。
接著，參照圖3來說明，參照圖1、圖2所說明過的全景影像顯示處理之執行時所被輸出之聲音。
作為配合影像而輸出聲音中係包含有例如，從影像內中所含之被攝體(物件)所產生的聲音以外，也包含有：影像之解說等之旁白或評論、BGM等，並非影像內之被攝體所發出之聲音的聲音等。
圖3中係圖示了2種類之輸出聲音之例子。
(聲音例1)狗的鳴叫聲(汪)(=來自被攝體(物件)的發生聲音)； (聲音例2)BGM與旁白(=非來自被攝體(物件)的發生聲音)
圖3所示的狗的鳴叫聲(汪)，係為從影像內之 被攝體所產生的聲音，係配合影像之移動而使可聽見聲音之方向跟著移動，這樣比較能夠增加臨場感。
圖3所示的顯示影像A的情況下，係為可從「右前方」聽見狗的鳴叫聲(汪)之設定，顯示影像B的情況下，係為可從「左前方」聽見狗的鳴叫聲(汪)之設定，若進行如此的「影像追隨型」之聲音控制，則可更為增加臨場感。
可是，非來自被攝體(物件)的發生聲音的BGM或旁白等之聲音，係總是從一定方向聽見，比較容易聽取。
例如，無論顯示影像之位置為何，總是從正面方向聽見之設定，進行如此的「影像非追隨型」之聲音控制，較為理想。
以下說明用來實現如此聲音控制所需之具體的實施例。
[2.(實施例1)關於在MP4檔案中記錄了聲音控制資訊的實施例]
首先，作為實施例1，說明在MP4檔案中記錄了聲音控制資訊的實施例。
圖4係依照實施例1而對執行本揭露的聲音控制的資訊處理裝置70、及資訊處理裝置70提供包含影像及聲音資料之內容的伺服器50、和媒體60的圖示。
全天球影像或全方位影像、或是全景影像等 之影像資料與聲音資料，係從例如圖4所示的伺服器50被提供給資訊處理裝置70。或從圖4所示的媒體60被提供給資訊處理裝置70。
伺服器50係包含有例如：播送台等的播送伺服器51、其他資料提供伺服器52。
內容，係透過播送波或網際網路等之網路而被發送至資訊處理裝置70。
資訊處理裝置70，係將透過播送波或網際網路等之網路而從伺服器50所被發送的內容予以接收並再生。
又，媒體60係包含有：被裝著在資訊處理裝置中的碟片、快閃記憶體、硬碟等各式各樣的媒體。
資訊處理裝置70，係讀取這些媒體中所被記錄之內容並再生。
進行內容再生的資訊處理裝置，係為例如TV71、PC72、攜帶型終端73、頭戴式顯示器(HMD)74等，是具備影像顯示部、聲音輸出部(揚聲器)的裝置。
從伺服器50、或是媒體60而被提供給資訊處理裝置70的內容，係為全天球影像、或全方位影像、或是全景影像等，含有可選擇性顯示各種方向之影像的影像資料與聲音資料的內容。
該內容，係例如被儲存在MP4檔案81中而被提供。
MP4檔案81，係為依照ISO基礎媒體檔案格式而記錄資料的檔案。
ISO基礎媒體檔案格式，係為被ISO/IEC14496-12所 規定的資料格式，是適合於例如對快閃記憶體等的記錄資料、或是透過播送波或網路的作為送訊資料檔案之儲存資料而為合適的資料格式。
ISO基礎媒體檔案格式，係將例如：影像(Video)、聲音(Audio)、字幕(Subtitle)等、內容構成資料的編碼資料、或這些資料所相關之後設資料(屬性資訊)，記錄在記錄媒體(媒體)之際，會被利用。然後，也被當成透過播送波或網路而傳輸的資料之資料儲存格式而利用。
最近有許多攜帶型終端，係具有可再生依照ISO基礎媒體檔案格式而被記錄之MP4資料的再生應用程式，在對攜帶型終端之媒體中記錄內容時，經常會被要求以MP4形式來進行記錄。
參照圖5、圖6，說明ISO基礎媒體檔案格式之概要。
圖5中係圖示，被ISO/IEC14496-12所規定的ISO基礎媒體檔案格式之例子。
圖5所示的MP4檔案，係依照ISO基礎媒體檔案格式而被設定成為資料之記錄或再生處理時的1個處理單位的檔案。
MP4檔案，係被進行了箱盒(box)單位之領域設定，各箱盒中係儲存有，以箱盒單位而被定義的資料。
各箱盒係具有：箱盒大小(box-size)、箱盒類型(box-type)、箱盒資料(box-data)之各領域。
箱盒大小(box-size)中係記錄有，箱盒之資料長度(位 元組大小)。
箱盒類型(box-type)中係記錄有，箱盒中所儲存的資料之種類。
箱盒資料(box-data)中係記錄有，箱盒類型所表示之種類的資料。
圖5所示的MP4檔案中，係被設定有以下類型之箱盒。
moov箱盒；trak箱盒；mdat箱盒；上記之各箱盒係被設定。
影像、聲音、字幕等之再生對象資料也就是實際資料係被儲存在mdat箱盒。
又，mdat箱盒中所儲存的資料所相關之屬性資訊、再生控制資訊等之後設資料，係被儲存在moov箱盒內的trak箱盒。
moov箱盒，係為被設定來作為MP4檔案之mdat箱盒中所被儲存之資料的後設資料(再生控制資訊或屬性資訊)之儲存領域的箱盒。
在moov箱盒內，係被設定有1個以上之trak箱盒。trak箱盒，係可針對例如影像、聲音、字幕等之資料種類別來設定，儲存各資料的後設資料。
參照圖6，說明對MP4檔案的資料儲存構成例。MP4檔案中，係如前述而被設定有以下之各箱盒。
moov箱盒；trak箱盒；mdat箱盒；上記之各箱盒係被設定。
在mdat箱盒係儲存有例如：
(a)影像
(b)聲音
(c)字幕
這些資料。
ISO基礎媒體檔案格式的資料部也就是mdat箱盒的儲存資料，係係被區分成作為基本資料單位的樣本(sample)。
1個mdat箱盒中係會儲存有：只有影像樣本之集合、或是只有聲音樣本之集合、或只有字幕樣本之集合、任何同一種類之資料樣本之集合。
moov箱盒，係為MP4檔案之mdat箱盒中所被儲存之資料的後設資料(再生控制資訊或屬性資訊)之儲存領域。
在moov箱盒內，係被設定有1個以上之trak箱盒。trak箱盒，係可針對例如影像、聲音、字幕等之資料種類別來設定，儲存各資料的後設資料。
圖6所示的trak(Video)箱盒，係為儲存了影像資料所相關之屬性資訊或控制資訊的影像對應後設資料儲存箱盒。
trak(Audio)箱盒，係為儲存了聲音資料所相關之屬性資訊或控制資訊的影像對應後設資料儲存箱盒。
trak(Subtitle)箱盒，係為儲存了字幕資料所相關之屬性資訊或控制資訊的影像對應後設資料儲存箱盒。
此外，MP4檔案中所被儲存的再生資料中含有複數不同的影像資料，例如2K影像、4K影像等的情況下，則可將這些影像種類單位的控制資訊，記錄在trak(Video)箱盒。
又，MP4檔案中所儲存的聲音資料中含有複數不同的聲音資料，例如日本語聲音、英語聲音等的情況下，則可將這些隨應於聲音種類的聲道單位的個別之控制資訊，分別記錄在個別的trak(Audio)箱盒。
又，關於BGM、旁白、被攝體(物件)聲音等，也可將這些各聲道(亦包含聲音輸出物件)單位的個別之控制資訊，記錄在trak(Audio)箱盒。
甚至，例如，亦可隨著對各揚聲器輸出的揚聲器對應之聲道而設定個別的trak箱盒。
例如亦可將相當於雙聲道輸出的來自左右2個揚聲器之輸出聲音所對應的2個控制資訊，記錄在trak(Audio)箱盒。
又，5.1ch環繞聲音的情況下，係設定以下6個揚聲器。
中央前方(Center Front)揚聲器；左前方(Left Front)揚聲器； 右前方(Right Front)揚聲器；左環繞(Left Surround)揚聲器；右環繞(Right Surround)揚聲器；低頻效果(LFE：Low Frequency Enhancement)揚聲器；5.1ch環繞聲音的情況下，對這6個揚聲器的輸出聲音也就是6個聲道，係被記錄在MP4檔案中。
亦可將這6個聲道(聲音要素)所對應之6個控制資訊，記錄在trak(Audio)箱盒。
若進行如此的聲音要素單位之控制資訊之記錄，則可進行各揚聲器之輸出聲音的個別控制。
如此在trak箱盒中，係可記錄藉由聲音種類、或聲音輸出物件、或聲音輸出揚聲器等而被區別的聲道等，可個別控制的聲音要素之每一者的個別之控制資訊。
藉由trak箱盒中所被記錄之聲音要素單位之控制資訊，就可進行聲音要素單位的個別之聲音控制。
接著，參照圖7，說明trak(Audio)箱盒中所被記錄之聲音對應之具體的控制資訊記錄例。
trak(Audio)箱盒中所被記錄之控制資訊，係亦可被記錄成為如圖7所示的資料。
亦即，係為以下的資料。
aligned(8)class NoTrackingAudio exte nds FullBox(‘NTRK’){ unsigned int(8)no_tracking_flags；if(no_tracking_flag & Some_Channel) { unsigned int(8)count；//channel for(i=1；i<=count；i++){ unsigned int(1)NoTracking；} aligned(8)；} }
上記控制資料中的 「no_tracking_flags」
上記資料，係如圖7所示，係為「全聲音對應控制資訊91」。
此「全聲音對應控制資訊91」的設定值係為表示，該MP4檔案中所被儲存之全部聲道或聲音輸出物件等之對全聲音要素的整體性控制態樣的資訊。
此「全聲音對應控制資訊91」也就是「no_tracking_flags」中所被設定的設定值(旗標值)、與聲音之控制態樣的對應關係之一例，示於圖8。
如圖8所示，設定值(旗標值)、與聲音之控制態樣的對應，係如以下所述。
設定值=0：使全聲音追隨於顯示影像(All channels can be tracked)
設定值=1：使全聲音不追隨於顯示影像(All channels are not tracked)
設定值=2：顯示影像追隨聲音、和非追隨聲音是混合 存在(Some channels can be tracked)
設定值=4：顯示影像追隨聲音、和非追隨聲音，係為使用者可設定(User selected channels can be tracked)
「全聲音對應控制資訊91(no_tracking_flags)之設定值=0的情況下，則進行使該MP4檔案中所被儲存的所有可個別控制的聲音要素，追隨於顯示影像的控制。
亦即，當顯示影像移動時，進行使音源方向追隨於其移動而移動的處理。亦即，係為「顯示影像追隨型聲音控制」。
「顯示影像追隨型聲音控制」，係為之前參照圖3所說明過的例子中的狗的鳴叫聲(汪)的音源方向控制。亦即，在圖3的例子中係說明了，使狗的鳴叫聲(汪)之音源方向追隨於顯示影像而移動之處理。
在參照圖3所說明的具有複數聲音要素的構成中，在「全聲音對應控制資訊91(no_tracking_flags)之設定值=0的情況下，則是執行不只是狗的鳴叫聲(汪)之聲音，就連BGM或旁白等之聲音等，使全部的聲音都配合於顯示畫面之移動而移動的聲音控制。
「全聲音對應控制資訊91(no_tracking_flags)之設定值=1的情況下，則進行使該MP4檔案中所被儲存的所有可個別控制的聲音要素，不追隨於顯示影像的控制。
亦即，當顯示影像移動時，不進行使音源方向追隨於其移動而移動的處理。亦即，係為「顯示影像非追隨型聲 音控制」。
「顯示影像非追隨型聲音控制」，係為之前參照圖3所說明過的例子中的BGM或旁白等之聲音的音源方向控制。亦即，在圖3的例子中係說明了，使BGM或旁白等之聲音的音源方向不追隨於顯示影像而為固定方向，例如總是從正面聽見的設定之控制。
在參照圖3所說明的具有複數聲音要素的構成中，在「全聲音對應控制資訊91(no_tracking_flags)之設定值=1的情況下，則是執行不只是BGM或旁白等之聲音，就連狗的鳴叫聲(汪)之聲音等，使全部的聲音都不配合於顯示畫面之移動而移動的聲音控制。
「全聲音對應控制資訊91(no_tracking_flags)之設定值=2的情況下，則表示該MP4檔案中所被儲存的所有可個別控制的聲音要素中，係有顯示影像追隨聲音、和非追隨聲音是混合存在。
此情況下，從圖7所示之迴圈處理部92，參照聲音要素要素(i)對應之控制資訊、亦即圖7所示之「聲音要素(i)對應控制資訊(NoTracking)」，而針對各聲音要素要素，決定要執行「顯示影像追隨型聲音控制」、還是執行「顯示影像非追隨型聲音控制」。
有關基於迴圈處理部92之記錄資訊的聲音要素要素(i)對應之控制資訊的取得處理，係於後述。
「全聲音對應控制資訊91(no_tracking_flags)之設定值=4的情況下，則表示關於該MP4檔案中所被儲 存的所有可個別控制的聲音要素，係可藉由使用者進行顯示影像追隨聲音、和非追隨聲音之設定。
接著說明，在「全聲音對應控制資訊91(no_tracking_flags)之設定值=2的情況下，基於迴圈處理部92之記錄資訊而取得聲音要素要素(i)對應之控制資訊的處理。
「全聲音對應控制資訊91(no_tracking_flags)之設定值=2的情況下，則表示該MP4檔案中所被儲存的所有可個別控制的聲音要素中，係有顯示影像追隨聲音、和非追隨聲音是混合存在。
此情況下，從圖7所示之迴圈處理部92，參照聲音要素要素(i)對應之控制資訊、亦即圖7所示之「聲音要素(i)對應控制資訊(NoTracking)」，而針對各聲音要素要素，決定要執行「顯示影像追隨型聲音控制」、還是執行「顯示影像非追隨型聲音控制」。
迴圈處理部92中，關於該MP4檔案中所被儲存之所有可個別控制的聲音要素係記錄有，是否為「顯示影像追隨型聲音控制」之執行對象，還是「顯示影像非追隨型聲音控制」之執行對象。
全聲音要素數，係被記錄在聲道數(count)94。
在迴圈處理部92中係，從聲音要素識別元i=1~count，依序記錄有關於各要素(i)的控制資訊、亦即聲音要素(i)是否為「顯示影像追隨型聲音控制」之執行對象，還是「顯示影像非追隨型聲音控制」之執行對象。
此外，迴圈處理部92中的聲音要素對應控制資訊之記錄順序，係隨著所被儲存的聲音資料而不同。例如使用ISO/IEC 23001-8Channel Configuration所制定的順序。
此情況下，迴圈處理部92中，係依照ISO/IEC 23001-8的的規定序列，與各聲音輸出揚聲器之輸出聲道建立對應的聲音要素對應控制資訊，係被依序記錄。
關於依照ISO/IEC 23001-8中所被記錄之序列的聲音要素對應控制資訊之記錄順序之例子，參照圖9來加以說明。
在儲存了雙聲道聲音的MP4檔案的情況下，係為輸出聲道數=輸出揚聲器數=2，可個別控制的聲音要素數(聲道數)=2。此情況下，圖7所示的迴圈處理部92中的聲音要素對應控制資訊之記錄係為2個，count=2。
此情況下，圖7所示的迴圈處理部92中，係有第1聲音要素=前方左揚聲器之輸出聲道的控制資訊；第2聲音要素=前方右揚聲器之輸出聲道的控制資訊；按照該順序而記錄各控制資訊。
亦即，按照第1聲音要素、第2聲音要素之順序，表示各聲音要素是否為「顯示影像追隨型聲音控制」之執行對象、還是「顯示影像非追隨型聲音控制」之執行對象的「聲音要素(i)對應控制資訊(NoTracking)」， 係被記錄。
又，在儲存了5.1聲道環繞聲音的MP4檔案的情況下，係為輸出聲道數=輸出揚聲器數=6，可個別控制的聲音要素數(聲道數)=6。此情況下，圖7所示的迴圈處理部92中的聲音要素對應控制資訊之記錄係為6個，count=6。
此情況下，圖7所示的迴圈處理部92中，係有第1聲音要素=前方中央(Center Front)揚聲器之輸出聲道的控制資訊；第2聲音要素=前方左(Left Front)揚聲器之輸出聲道的控制資訊；第3聲音要素=前方右(Right Front)揚聲器之輸出聲道的控制資訊；第4聲音要素=左環繞(Left Surround)揚聲器之輸出聲道的控制資訊；第5聲音要素=右環繞(Right Surround)揚聲器之輸出聲道的控制資訊；第6聲音要素=低頻效果用(LFE)揚聲器之輸出聲道的控制資訊；按照該順序而記錄各控制資訊。
亦即，按照第1~第6聲音要素之順序，表示各聲音要素是否為「顯示影像追隨型聲音控制」之執行對象、還是「顯示影像非追隨型聲音控制」之執行對象的「聲音要素(i)對應控制資訊(NoTracking)」，係被記錄。
參照圖9所說明過的例子，係可控制的聲音要素是與各揚聲器之輸出聲道建立對應，依照ISO/IEC 23001-8中所被記錄之序列而記錄聲音要素對應控制資訊時的例子。
MP4檔案中所被儲存的可個別控制的聲音要素，係除了該例以外，還有其他各式各樣的設定，隨著其設定而規定有各式各樣的聲音要素對應之記錄順序序列。
迴圈處理部92中，係依照該規定順序，而記錄各聲音要素(i)對應之控制資訊、亦即圖7所示的「聲音要素(i)對應控制資訊(NoTracking)93」。亦即係被記錄了，各聲音要素要素是否為「顯示影像追隨型聲音控制」對象、還是「顯示影像非追隨型聲音控制」對象的資訊。
此外，關於記錄順序資訊，係另外提供給資訊處理裝置70的構成，較為理想。
關於迴圈處理部92中所被記錄的「聲音要素(i)對應控制資訊(NoTracking)93」之具體例，參照圖10來說明。
「聲音要素(i)對應控制資訊(NoTracking)93」中所被設定的設定值、與聲音之控制態樣的對應關係之一例，示於圖10。
如圖10所示，設定值、與聲音之控制態樣的對應，係如以下所述。
設定值=0：使聲音要素(i)追隨於顯示影像(The channel can be tracked)
設定值=1：使聲音要素(i)不追隨於顯示影像(The channel is not tracked)
「聲音要素(i)對應控制資訊(NoTracking)93」之設定值=0的情況下，則進行使該MP4檔案中所被儲存之聲音要素要素(i)，追隨於顯示影像的控制。
亦即，當顯示影像移動時，進行使音源方向追隨於其移動而移動的處理。亦即，係為「顯示影像追隨型聲音控制」。
「顯示影像追隨型聲音控制」，係和之前參照圖3所說明過的例子中的狗的鳴叫聲(汪)的音源方向控制地同樣，當顯示影像移動時，進行使音源方向追隨於其移動而移動的處理。
「聲音要素(i)對應控制資訊(NoTracking)93」之設定值=1的情況下，則進行使該MP4檔案中所被儲存之聲音要素要素(i)，不追隨於顯示影像的控制。
亦即，當顯示影像移動時，不進行使音源方向追隨於其移動而移動的處理。亦即，係為「顯示影像非追隨型聲音控制」。
「顯示影像非追隨型聲音控制」，係和之前參照圖3所說明過的例子中的BGM或旁白等之聲音的音源方向控制同樣地，即使顯示影像移動，仍進行不追隨於其移動的音源方向控制。
圖10所示的表所示之聲音要素(i)對應控制資訊(NoTracking)之值[0]、或[1]，係在圖7所示之迴圈處理 部92內，作為各聲音要素(i)對應控制資訊之設定值而被記錄。
有關基於圖7所示的迴圈處理部92內所被記錄之各聲音要素(i)對應控制資訊之設定值的控制之一例，參照圖11來加以說明。
圖11係為，之前參照圖9所說明過的儲存了5.1聲道環繞聲音的MP4檔案時的控制例的圖示。
在儲存了5.1聲道環繞聲音的MP4檔案的情況下，係為輸出聲道數=輸出揚聲器數=6，可個別控制的聲音要素數(聲道數)=6。此情況下，圖7所示的迴圈處理部92中的聲音要素對應控制資訊之記錄係為6個，count=6。
此情況下，圖7所示的迴圈處理部92中，係有第1聲音要素=前方中央揚聲器之輸出聲道的控制資訊；第2聲音要素=前方左揚聲器之輸出聲道的控制資訊；第3聲音要素=前方右揚聲器之輸出聲道的控制資訊；第4聲音要素=左環繞揚聲器之輸出聲道的控制資訊；第5聲音要素=右環繞揚聲器之輸出聲道的控制資訊；第6聲音要素=低頻效果用(LFE)揚聲器之輸出聲道的 控制資訊；按照該順序而記錄各控制資訊。
圖11所示的控制例，係為圖7所示的迴圈處理部92內所被記錄之「聲音要素(i)對應控制資訊(NoTracking)93」之設定值係為以下設定時的控制例。
第1聲音要素(前方中央揚聲器之輸出聲道)的控制資訊之設定值=1；第2聲音要素(前方左揚聲器之輸出聲道)的控制資訊之設定值=0；第3聲音要素(前方右揚聲器之輸出聲道)的控制資訊之設定值=0；第4聲音要素(左環繞揚聲器之輸出聲道)的控制資訊之設定值=0；第5聲音要素(右環繞揚聲器之輸出聲道)的控制資訊之設定值=0；第6聲音要素(低頻效果用(LFE)揚聲器之輸出聲道)的控制資訊之設定值=0；上記所示之設定值係為，只有第1聲音要素(前方中央揚聲器之輸出聲道)，是執行相對於顯示影像之移動而不追隨的聲音控制，亦即執行「顯示影像非追隨型聲音控制」，針對其他第2~第6聲音要素，係執行相對於顯示影像之移動而做追隨的聲音控制，亦即執行「顯示影像追隨型聲音控制」的設定值。
例如，具體而言，從第1聲音要素(前方中央 揚聲器之輸出聲道)，係輸出BGM或旁白，從其他揚聲器，係輸出顯示影像內的被攝體之輸出音。
是相當於如此的設定。
圖11所示的使用者(觀察者)101，係裝著頭戴式顯示器(HMD)而正在觀察全方向影像、或是全景影像。觀察影像係被控制成，隨著使用者的頭部的朝向而移動。
此外，圖11所示的6個揚聲器，係為虛擬的揚聲器，並非實際存在者。
揚聲器，係被具備在使用者101所裝著的HMD中，係為透過左耳與右耳的耳機而輸出擬似性5.1ch環繞音的構成。
但是，在MP4檔案中係被記錄有相當於5.1ch環繞對應之6個揚聲器輸出音的6個可個別控制的聲音要素，這些係依照上記之聲音要素對應控制資訊而被控制。
圖11所示的(A)使用者(觀察者)正面朝向之設定下係為，BGM或旁白是從位於正面的虛擬之前方中央揚聲器(Center front)被聽見的設定。
前方中央揚聲器(Center front)係為輸出BGM或旁白的第1聲音要素。
其他聲音，例如來自觀察影像內之被攝體的聲音，例如狗的鳴叫聲等，係為從其他揚聲器被聽見的設定。
其他揚聲器，係為輸出被攝體音等的第2~第6聲音要素。
在圖11(A)所示的例子中，狗的鳴叫聲，係從左前方(Left Front)揚聲器被聽見。
接著，一旦使用者在圖11所示的(B)使用者(觀察者)朝右之設定下使用者101旋轉了身體，則伴隨於此，HMD中所被顯示的影像也跟著移動。
可是，BGM或旁白，係第1聲音要素(前方中央揚聲器之輸出聲道)，係為不追隨於顯示影像的聲音要素。亦即，BGM或旁白所被聽見的方向，係相對於使用者而為同一位置，音源與使用者的相對位置關係係不被變更。
因此，(B)使用者(觀察者)朝右之設定下即使使用者101旋轉了身體，BGM或旁白係為，從使用者之正面、亦即圖之右側被聽見的設定。
此係為，和第1聲音要素(前方中央揚聲器)是伴隨著使用者之旋轉而旋轉相同的效果。
另一方面，例如狗的鳴叫聲等來自其他揚聲器之輸出所對應之第2~第6聲音要素，係為追隨於顯示影像的聲音要素。亦即，狗的鳴叫聲(汪)等之被攝體音所被聽見的方向，係會伴隨著使用者之觀察影像之移動而移動。此情況下，該音源方向與使用者的相對位置關係會被變更。
一旦(B)使用者(觀察者)朝右之設定下使用者101旋轉了身體，則狗的鳴叫聲係變成，從使用者之左後方之揚聲器，亦即虛擬的左前方(Left Front)揚聲器被聽見之設定。
如此，資訊處理裝置70，係基於圖7所示的迴圈處 理部中所被記錄之聲音要素對應控制資訊之記錄值，來執行各聲音要素之控制。
圖7所示的聲音控制資訊，係被記錄在之前參照圖5、圖6所說明過的MP4檔案之聲音(Audio)對應之控制資訊(後設資料)記錄領域的trak箱盒中。
屬於聲音控制資訊記錄領域的trak箱盒內，係可記錄各式各樣的控制資訊。
關於記錄圖7所示的聲音控制資訊的trak箱盒內所設定的記錄位置之2個例子，參照圖12、圖13來加以說明。
(控制資訊儲存例1)
說明圖12所示的控制資訊儲存例1。
圖12所示的例子係為，作為MP4檔案之聲音控制資訊儲存箱盒也就是trak箱盒內的儲存編解碼器資訊等的聲音樣本條目(AudioSampleEntry)內的下位箱盒，設定了聲音控制資訊(NoTrackingAudio)記錄箱盒的例子。
將圖7所示的控制資訊記錄在圖12所示的聲音控制資訊(NoTrackingAudio)記錄箱盒中。
(控制資訊儲存例2)
說明圖13所示的控制資訊儲存例2。
圖13所示的例子係為，作為MP4檔案之聲音控制資訊儲存箱盒也就是trak箱盒內的儲存使用者資料的使用者 資料(udta)箱盒內之下位箱盒，設定了聲音控制資訊(NoTrackingAudio)記錄箱盒的例子。
將圖7所示的控制資訊記錄在圖12所示的聲音控制資訊(NoTrackingAudio)記錄箱盒中。
在MP4檔案81中，例如在參照圖12、圖13所說明過的各後設資料記錄領域中，係可記錄聲音控制資訊。
以下，作為對MP4檔案的具體的控制資訊記錄例，依序說明以下3個記錄例。
(聲音控制資訊記錄例1)在MP4檔案中記錄聲道單位之聲音控制資訊。
(聲音控制資訊記錄例2)在MP4檔案中記錄串流單位之聲音控制資訊。
(聲音控制資訊記錄例3)在MP4檔案中記錄表示聲音控制係為使用者可設定之資訊。
以下，說明各記錄例。
[2-1.(聲音控制資訊記錄例1)關於在MP4檔案中記錄聲道單位之聲音控制資訊的記錄例]
之前說明過的5.1ch之環繞聲音，係由以下的各聲音要素所構成。
第1聲音要素=前方中央揚聲器之輸出聲道(Center Front)；第2聲音要素=前方左揚聲器之輸出聲道(Left Front)； 第3聲音要素=前方右揚聲器之輸出聲道(Right Front)；第4聲音要素=左環繞揚聲器之輸出聲道(Left Surround)；第5聲音要素=右環繞揚聲器之輸出聲道(Right Surround)；第6聲音要素=低頻效果用(LFE)揚聲器之輸出聲道(LFE)；現在的電影等之內容中，例如，在利用5.1ch的環繞聲音時，前方中央揚聲器之輸出聲道(Center Front)係經常被旁白等所利用。
全天球或全方位、或是全景影像所成的動畫中，將前方中央揚聲器之輸出聲道(Center Front)當作旁白輸出用而做利用時，經常會希望進行前方中央揚聲器之輸出聲道(Center Front)係固定為旁白，其他聲道係輸出追隨於顯示影像位置之聲音的控制。
對MP4檔案記錄聲音控制資訊時，在MP4檔案中可以記錄以下之各參數的構成。
(1)全聲音對應控制資訊(no_tracking_flags)
(2)聲音要素(i)對應控制資訊(NoTracking)
如參照圖8所說明，「(1)全聲音對應控制資訊(no_tracking_flags)」之設定值(旗標值)、與聲音之控制態樣的對應關係，係如以下所述。
設定值=0：使全聲音追隨於顯示影像(All channels can be tracked)
設定值=1：使全聲音不追隨於顯示影像(All channels are not tracked)
設定值=2：顯示影像追隨聲音、和非追隨聲音是混合存在(Some channels can be tracked)
設定值=4：顯示影像追隨聲音、和非追隨聲音，係為使用者可設定(User selected channels can be tracked)
又，如參照圖10所說明，「(2)聲音要素(i)對應控制資訊(NoTracking)」之設定值(旗標值)、與聲音之控制態樣的對應關係，係如以下所述。
設定值=0：使聲音要素(i)追隨於顯示影像(The channel can be tracked)
設定值=1：使聲音要素(i)不追隨於顯示影像(The channel is not tracked)
此外，將聲音要素(i)對應控制資訊(NoTracking)設定值加以記錄時的記錄順序，係如之前參照圖7所說明般地被預先規定。
[2-2.(聲音控制資訊記錄例2)關於在MP4檔案中記錄串流單位之聲音控制資訊的例子]
接著，作為對MP4的聲音控制資訊之第2記錄例，說明在MP4檔案中記錄串流單位之聲音控制資訊的例子。
作為1個具體例，說明在MP4檔案中有2個 聲音串流被記錄時的對MP4檔案之聲音控制資訊記錄例。
假設在MP4檔案中係有以下的2個聲音串流被記錄。
(1)5.1ch環繞聲音串流；(2)1ch單聲道聲音串流；在MP4檔案中記錄有上記2個聲音串流的情況下，在MP4檔案中，係將這些2個聲音串流所對應之聲音控制資訊，加以記錄。
作為一例，假設控制態樣係為以下之設定。
(1)5.1ch環繞聲音串流，係為由從影像內之被攝體所發生之聲音等所構成的聲音串流，進行影像追隨型控制。
(2)1ch單聲道聲音串流，係為由旁白等所構成的聲音串流，進行不隨顯示位置而從固定之位置輸出的影像非追隨型控制。
此外，在聲音輸出時，係5.1ch與1ch的2個串流被解碼合成而輸出。
資訊處理裝置的聲音輸出控制部，係在聲音輸出處理之際，5.1ch環繞聲音係在解碼後執行配合於顯示位置的輸出聲音之設定，其後執行與1ch單聲道聲音之解碼串流合成而輸出之處理。
[2-3.(聲音控制資訊記錄例3)關於在MP4檔案中記錄表示聲音控制係為使用者可設定之資訊的例子]
接著，作為對MP4檔案的聲音控制資訊記錄例3，說明在MP4檔案中記錄表示聲音控制係為使用者可設定之資訊的例子。
在MP4檔案中含有複數可控制之聲音要素的情況下，可以構成為，以各聲音要素單位，讓使用者可設定顯示影像追隨聲音、和非追隨聲音。
之前參照圖8所說明過的(1)全聲音對應控制資訊(no_tracking_flags)之設定值(旗標值)、與聲音之控制態樣的對應關係，係如以下所述。
設定值=0：使全聲音追隨於顯示影像(All channels can be tracked)
設定值=1：使全聲音不追隨於顯示影像(All channels are not tracked)
設定值=2：顯示影像追隨聲音、和非追隨聲音是混合存在(Some channels can be tracked)
設定值=4：顯示影像追隨聲音、和非追隨聲音，係為使用者可設定(User selected channels can be tracked)
在MP4檔案中，設定值=4被記錄時，則表示針對複數聲音要素每一者，使用者可以設定顯示影像追隨聲音、和非追隨聲音。
例如，和前述的(聲音控制資訊記錄例2)相同，假設在MP4檔案中記錄有以下的2個聲音串流。
(1)5.1ch環繞聲音串流；(2)1ch單聲道聲音串流； 在MP4檔案中記錄有上記2個聲音串流的情況下，在MP4檔案中，係將這些2個聲音串流所對應之聲音控制資訊，加以記錄。
作為具體的記錄處理構成係可為各式各樣的設定，但針對一例，參照圖14來加以說明。
例如，如圖14所示，首先，作為串流單位之聲音控制資訊，是記錄和之前參照圖8所說明過的「全聲音對應控制資訊(no_tracking_flags)之設定值(旗標值)相同的控制資訊。
設定值=0：使全聲音追隨於顯示影像(All channels can be tracked)
設定值=1：使全聲音不追隨於顯示影像(All channels are not tracked)
設定值=2：顯示影像追隨聲音、和非追隨聲音是混合存在(Some channels can be tracked)
設定值=4：顯示影像追隨聲音、和非追隨聲音，係為使用者可設定(User selected channels can be tracked)
作為一例，假設控制態樣係為以下之設定。
5.1ch環繞聲音串流、1ch單聲道聲音串流皆為使用者可設定。此情況下，無論哪一方，全聲音對應控制資訊(no_tracking_flags)之設定值(旗標值)都是設定為4」。
藉由進行如此記錄處理，針對串流單位之聲音要素，可記錄控制資訊。
此外，讓使用者進行設定時，資訊處理裝置的資料處理部係執行在顯示部提示用來讓使用者形控制態樣之決定所需之UI(使用者介面)的處理，隨應於使用者輸入，來決定各聲音要素之控制態樣。
[3.關於利用了MP4檔案中所被記錄之聲音控制資訊的聲音控制處理程序]
接著說明，於資訊處理裝置中所執行的聲音控制處理程序，亦即，利用了MP4檔案中所被記錄之聲音控制資訊的聲音控制處理程序。
圖15、圖16所示的流程圖，係使用者裝置也就是資訊處理裝置70中所執行的聲音控制處理程序的說明用流程圖。
資訊處理裝置70係具有：顯示部(顯示器)、聲音輸出部(揚聲器)。
資訊處理裝置70係為例如TV、PC、攜帶型終端、頭戴式顯示器(HMD)等。
資訊處理裝置70，係從例如圖4所示的伺服器50、或是媒體60取得MP4檔案，將MP4檔案中所被記錄之內容予以再生。
再生內容，係含有全天球影像、全方向影像、全景影像等，可觀察各種方向之影像的影像，且為還包含有連同影像一起被再生之聲音資訊的內容。
影像資料、聲音資料，係被儲存在MP4檔案 中，然後這些影像資料、聲音資料所對應之控制資訊也被儲存在MP4檔案中。
聲音控制資訊中，係含有之前參照圖7所說明過的控制資訊。
關於於資訊處理裝置70中所執行的處理程序，參照圖15、圖16所示的流程圖來說明。
此外，依照圖15、圖16所示的流程圖的處理，係於資訊處理裝置70中被執行。資訊處理裝置70係具有具備持有程式執行機能之CPU的資料處理部，在資料處理部的控制下執行各處理。此外，關於資訊處理裝置70的硬體構成例係在後段說明。
說明圖15、圖16所示的流程之各步驟之處理。
(步驟S101)
資訊處理裝置的資料處理部，係於步驟S101中，取得MP4檔案。
(步驟S102)
接著，資訊處理裝置的資料處理部，係於步驟S102中，從所取得的MP4檔案，取得全聲音對應控制資訊(no_tracking_flag)。
係為取得參照圖7所說明過的控制資訊中的全聲音對應控制資訊(no_tracking_flag)91的處理。
(步驟S103)
接著，資訊處理裝置的資料處理部，係於步驟S103中，判定步驟S102所取得的全聲音對應控制資訊之設定是否為(no_tracking_flag=0)、亦即是否為「顯示影像追隨型聲音控制」之設定。
全聲音對應控制資訊之設定係為(no_tracking_flag=0)、亦即是「顯示影像追隨型聲音控制」之設定的情況下，則前進至步驟S104。
另一方面，全聲音對應控制資訊之設定係為(no_tracking_flag≠0)、亦即不是「顯示影像追隨型聲音控制」之設定的情況下，則前進至步驟S105。
(步驟S104)
於步驟S103中，判定為全聲音對應控制資訊之設定是(no_tracking_flag=0)、亦即是「顯示影像追隨型聲音控制」之設定的情況下，則資訊處理裝置的資料處理部係執行步驟S104之處理。
資訊處理裝置的資料處理部，係於步驟S104中，決定成執行令所有的聲音要素追隨於顯示影像的「顯示影像追隨型聲音控制」。
亦即，進行將各揚聲器之輸出，隨著顯示影像位置而予以變更的聲音控制。
(步驟S105)
另一方面，於步驟S103中，判定為全聲音對應控制資訊之設定不是(no_tracking_flag≠0)、亦即不是「顯示影像追隨型聲音控制」之設定的情況下，則資訊處理裝置的資料處理部係執行步驟S105之處理。
資訊處理裝置的資料處理部，係於步驟S105中，判定步驟S102所取得的全聲音對應控制資訊之設定是否為(no_tracking_flag=1)、亦即是否為「顯示影像非追隨型聲音控制」之設定。
全聲音對應控制資訊之設定係為(no_tracking_flag=1)、亦即是「顯示影像非追隨型聲音控制」之設定的情況下，則前進至步驟S106。
另一方面，全聲音對應控制資訊之設定係為(no_tracking_flag≠1)、亦即不是「顯示影像非追隨型聲音控制」之設定的情況下，則前進至步驟S201。
(步驟S106)
於步驟S105中，判定為全聲音對應控制資訊之設定是(no_tracking_flag=1)、亦即是「顯示影像非追隨型聲音控制」之設定的情況下，則資訊處理裝置的資料處理部係執行步驟S106之處理。
資訊處理裝置的資料處理部，係於步驟S106中，決定成執行令所有的聲音要素不追隨於顯示影像的「顯示影像非追隨型聲音控制」。
亦即，進行將各揚聲器之輸出，不隨著顯示影像位置而予以變更的聲音輸出控制。
(步驟S201)
另一方面，於步驟S105中，判定為全聲音對應控制資訊之設定不是(no_tracking_flag≠1)、亦即不是「顯示影像非追隨型聲音控制」之設定的情況下，則資訊處理裝置的資料處理部係執行步驟S201之處理。
資訊處理裝置的資料處理部，係於步驟S201中，判定步驟S102所取得的全聲音對應控制資訊之設定是否為(no_tracking_flag=2)、亦即MP4檔案中所含之可個別控制的聲音要素中，是否含有「顯示影像追隨型聲音控制」對象之要素、和「顯示影像非追隨型聲音控制」對象之要素的任一要素。
全聲音對應控制資訊之設定係為(no_tracking_flag=2)、亦即表示「顯示影像追隨型聲音控制」對象之聲音要素、與「顯示影像非追隨型聲音控制」對象之聲音要素是混合存在的設定的情況下，則前進至步驟S202。
另一方面，全聲音對應控制資訊之設定係為(no_tracking_flag≠2)、亦即並非表示「顯示影像追隨型聲音控制」對象之聲音要素、與「顯示影像非追隨型聲音控制」對象之聲音要素是混合存在的設定的情況下，則前進至步驟S251。
此外，此情況下，係如圖8所能理解，是表示全聲音對應控制資訊之設定係為(no_tracking_flag=4)、亦即係為使用者可設定的設定。
(步驟S251)
於步驟S201中，若全聲音對應控制資訊之設定是(no_tracking_flag≠2)、亦即全聲音對應控制資訊之設定是(no_tracking_flag=4)，則前進至步驟S251。
於步驟S251中，資訊處理裝置的資料處理部，係執行相應於使用者設定的聲音控制。
此外，使用者設定處理的執行之際，資訊處理裝置的資料處理部係例如，在顯示部顯示出使用者可設定的操作畫面(UI)，讓使用者輸入針對各聲音要素的控制態樣。
資訊處理裝置的資料處理部，係隨應於該使用者輸入資訊而決定各聲音要素之控制態樣，執行聲音控制。
(步驟S202)
於步驟S201的判定處理中，判定為全聲音對應控制資訊之設定係為(no_tracking_flag=2)、亦即表示「顯示影像追隨型聲音控制」對象之聲音要素、與「顯示影像非追隨型聲音控制」對象之聲音要素是混合存在的設定的情況下，則前進至步驟S202。
步驟S202以下之處理，係為適用了圖7所示 的控制資訊中的迴圈處理部92的記錄資訊的處理。
亦即，讀取各聲音要素(i)所對應之聲音要素對應控制資訊，決定對各聲音要素的控制態樣。
首先，步驟S202之處理，係為聲音要素識別元(i)之初期設定，進行i=1之設定。
(步驟S203)
於步驟S203中，資訊處理裝置的資料處理部，係判定聲音要素識別元(i)之值，是否為處理對象之MP4檔案中所被記錄之可個別控制的聲音要素數(count)以下。
i>count
的情況下，係意味著對所有的聲音要素之處理都已經完成，前進至步驟S271。
i≦count
的情況下，係意味著有未處理之聲音要素，前進至步驟S204。
(步驟S204)
於步驟S203中，判定為聲音要素識別元=i≦count時，則執行步驟S204之處理。
資訊處理裝置的資料處理部，係於步驟S204中，從圖7所示的控制資訊之迴圈處理部92，取得聲音要素識別元(i)所對應之聲音要素(i)對應控制資訊(NoTracking)之設定值。
然後，判定已經取得的聲音要素(i)對應控制資訊(NoTracking)之設定值，是否為設定值=0、亦即「顯示影像追隨型聲音控制」之設定；還是設定值=1、亦即「顯示影像非追隨型聲音控制」之設定；之任一者。
設定值=0、亦即「顯示影像追隨型聲音控制」之設定的情況下，則前進至步驟S205。
另一方面，設定值=1、亦即「顯示影像非追隨型聲音控制」之設定的情況下，則前進至步驟S206。
(步驟S205)
於步驟S204中，若判定為聲音要素(i)所對應之聲音要素(i)對應控制資訊(NoTracking)之設定值係為 設定值=0、亦即「顯示影像追隨型聲音控制」之設定的情況下，則前進至步驟S205。
於步驟S205中，資訊處理裝置的資料處理部，係決定成，使處理對象之聲音要素要素(i)之控制，設成追隨於顯示影像的「顯示影像追隨型聲音控制」而執行。
亦即，進行將各揚聲器之輸出，隨著顯示影像位置而予以變更的聲音控制。
(步驟S206)
另一方面，於步驟S204中，若判定為聲音要素(i)所對應之聲音要素(i)對應控制資訊(NoTracking)之設定值係為 設定值=1、亦即「顯示影像非追隨型聲音控制」之設定的情況下，則前進至步驟S206。
於步驟S206中，資訊處理裝置的資料處理部，係決定成，使處理對象之聲音要素要素(i)之控制，設成不追隨於顯示影像的「顯示影像非追隨型聲音控制」而執行。
亦即，進行將各揚聲器之輸出，不隨著顯示影像位置而予以變更的聲音輸出控制。
(步驟S207)
於步驟S205、或步驟S206中若決定1個聲音要素(i)之處理態樣，則在之後的步驟S207中，執行聲音要素識別元(i)之更新處理。亦即，i=i+1
然後，前進至步驟S203。
一旦對MP4檔案中所被儲存之所有的聲音要素決定處理態樣，則於步驟S203之判定處理中，會變成No之判定，前進至步驟S271。
(步驟S271)
資訊處理裝置的資料處理部，係於步驟S271中，將MP4檔案中所被儲存之所有的聲音要素，依照所決定的控制態樣而予以輸出。
藉由這些處理，就會以各聲音要素單位，以「顯示影像追隨型控制」、或是「顯示影像非追隨型控制」；之任一態樣，來執行聲音輸出控制。
[4.(實施例2)關於在MPD中記錄了聲音控制資訊的實施例]
接著，作為實施例2，說明在MPD中記錄了聲音控制資訊的實施例。
圖17係依照實施例2而對執行本揭露的聲音控制的資訊處理裝置70、及資訊處理裝置70提供包含影像及聲音資料之內容的伺服器50、和媒體60的圖示。
全天球影像或全方位影像、或是全景影像等之影像資料與聲音資料，係從圖4所示的伺服器50被發送、或是從媒體60被讀取而被提供給資訊處理裝置70。
伺服器50係包含有例如：播送台等的播送伺服器51、其他資料提供伺服器52；透過播送波或網際網路等之網路，各式各樣的資料係被發送至資訊處理裝置70。
資訊處理裝置70，係將透過播送波或網際網路等之網路而從伺服器50來的送訊資料予以接收並再生。
媒體60係為：被裝著在資訊處理裝置中的碟 片、快閃記憶體、硬碟等各式各樣的媒體。
資訊處理裝置70，係將這些媒體的記錄資料予以讀出、再生。
進行內容再生的資訊處理裝置，係為例如TV71、PC72、攜帶型終端73、頭戴式顯示器(HMD)74等，是具備影像顯示部、聲音輸出部(揚聲器)的裝置。
從伺服器50、或是媒體60而被提供給資訊處理裝置70的內容，係為全天球影像、或全方位影像、或是全景影像等，含有可選擇性顯示各種方向之影像的影像資料與聲音資料的內容。
該內容，係和之前說明的實施例1同樣地，例如被儲存在MP4檔案81中而被提供。
在之前所說明的實施例1中，係在MP4檔案之後設資料儲存領域也就是trak箱盒中，記錄例如參照圖7所說明的聲音控制資訊的構成。
在本實施例2中，將圖17所示的MP4檔案81中所被儲存之聲音資料所相關之聲音控制資訊，儲存在有別於MP4檔案81的另一MPD檔案82中而提供給資訊處理裝置70。
MPD[媒體呈現描述(Media Presentation Description)]檔案82，係為串流化配訊內容所相關之規格也就是MPEG-DASH規格中所被規定的構成訊令資料(後設資料)的1個宣告檔案。
MPD檔案82，係為用來描述動畫或聲音檔案之管理 資訊也就是後設資料所需的宣告檔案。
本實施例2，係在此MPD檔案82中，記錄MP4檔案81中所被儲存之聲音資料所相關之聲音控制資訊之構成的實施例。
MPD檔案82，係可例如以將某內容之再生時間予以細分化的時間區間也就是時期(Period)單位，記錄各式各樣的控制資料。
參照圖18、圖19來說明MPD檔案之構成例。
圖18係MPD格式之一例的圖示。
如圖18所示，MPD，係可針對影像、或聲音的各個串流，用以下之各式各樣的規定範圍單位來描述屬性等之資訊或控制資訊。
(1)規定了時間軸上之區間的時期(Period)
(2)規定了影像、聲音等之資料種類等的適應集合(AdaptationSet)
(3)規定了影像、聲音等之更下位之細分化資料種類的表述(Representation)
(4)作為影像、聲音之區段(AV區段)單位之資訊記錄領域的區段資訊(SegmentInfo)
圖19係將MPD中所被記錄之AV區段對應之資訊(控制資訊或管理資訊、屬性資訊等)在時間序列上展開的圖示。
從左到右係表示時間的經過。此時間軸，係對應於例 如資訊處理裝置中的AV內容之再生時間。
AV區段所對應之各式各樣的資訊，係被記錄在MPD中。此外，例如從伺服器50向資訊處理裝置70提供MPD檔案82時，MPD係作為訊令資料，早於儲存了再生對象實際資料也就是AV區段的MP4檔案81而先被發送。
資訊處理裝置70，係可解析MPD，取得儲存了再生對象實際資料也就是AV區段的MP4檔案81之存取資訊或編解碼器資訊，而做好MP4檔案81中所被儲存之AV區段的再生準備。
MPD，係如參照圖18所說明。
(1)時期(Period)
(2)適應集合(AdaptationSet)
(3)表述(Representation)
(4)區段資訊(SegmentInfo)
在這些階層設定之下，記錄AV區段所相關之屬性資訊、控制資訊等之後設資料(訊令資料)的構成。
圖19係將這些後設資料記錄領域展開成時間軸、及資料種類別的圖示。
圖19中，作為一例係圖示時期1(Period(1))、時期2(Period(2)之2個時期，然後在時期1(Period(1))中還圖示以下3個適應集合(AdaptationSet)。
(V11)影像對應資訊記錄領域也就是適應集合V11(Adaptation(V11))
(A11)日本語聲音對應資訊記錄領域也就是適應集合A11(Adaptation(A11))
(A12)英語聲音對應資訊記錄領域也就是適應集合A12(Adaptation(A12))
(V11)影像對應資訊記錄領域也就是適應集合V11(Adaptation(V11))，係作為帶有不同屬性的串流單位之資訊記錄領域，而具有以下2個表述(Representation)。
(V111)低位元速率影像對應之資訊記錄領域也就是表述(V111)(Representation(V111))
(V112)高位元速率影像對應之資訊記錄領域也就是表述(V112)(Representation(V112))
同樣地，(A11)日本語聲音像對應資訊記錄領域也就是適應集合A11(Adaptation(A11))，係具有以下之表述(Representation)。
(A111)日本語聲音對應之資訊記錄領域也就是表述(A111)(Representation(A111))
同樣地，(A12)英語聲音像對應資訊記錄領域也就是適應集合A12(Adaptation(A12))，係具有以下之表述(Representation)。
(A121)英語聲音對應之資訊記錄領域也就是表述(A121)(Representation(A121))
甚至，各表述(Representation)，係為可以用區段單位來記錄資訊的構成。
例如，在時刻t1選擇高位元速率影像與日本 語聲音而進行再生的資訊處理裝置(客戶端)，係可將再生對象的高位元速率影像與日本語聲音所相關之資訊，從MPD加以選擇而取得。
該選擇對象的MPD之記錄資訊，係為圖示的區段領域201、202之資訊。
如此，收訊裝置，係從作為訊令資料而被從送訊裝置發送的MPD，只選擇出在收訊裝置上作為再生對象的資料(區段)所對應之資訊並加以參照。
如此，MPD中係可記錄資料種別、時間單位之區段對應資訊。
在以下說明的實施例2中，係在圖17所示的MP4檔案81中，儲存再生對象資料也就是影像或聲音資料(AV區段)，在MPD檔案82中儲存，MP4檔案81中所儲存之影像或聲音資料(AV區段)所相關之控制資訊的實施例。
在圖17所示的MPD檔案82中，記錄聲音控制資訊的情況下，可和之前說明的MP4檔案同樣地，記錄表示各式各樣之控制態樣的資訊。
MPD檔案82中所記錄的聲音控制資訊所示的控制態樣、和MP4檔案中所記錄的「(1)全聲音對應控制資訊(no_tracking_flags)」之設定值所示的控制態樣的對應關係，示於圖20。
在MPD中係在作用元素(Role Element)裡，設定用來記錄聲音控制資訊所需之新的描述元(Descriptor)。 例如圖20所示，URI=http：//foo.bar/scheme/AudioNoTracking
將其設成用來記錄聲音控制資訊所需之新的描述元。
該MPD之聲音控制資訊記錄領域中所能設定的聲音控制資訊，係如圖20所示，為以下3種類。
(a)NoTracking
(b)數值字串
(c)USER
此外，上記(a)~(c)之設定值，係如圖20所示，對應於之前說明過得在MP4檔案中所記錄的「(1)全聲音對應控制資訊(no_tracking_flags)」之設定值1、2、4。
亦即，如圖20所示，係為以下之對應關係。
(a)NoTracking，係相當於MP4檔案的「(1)全聲音對應控制資訊(no_tracking_flags)設定值=1，表示使全聲音不追隨於顯示影像(All channels are not tracked)的控制處理。
(b)數值字串，係相當於MP4檔案的「(1)全聲音對應控制資訊(no_tracking_flags)設定值=2，表示顯示影像追隨聲音、和非追隨聲音是混合存在(Some channels can be tracked)。
(c)USER，係相當於MP4檔案的「(1)全聲音對應控制資訊(no_tracking_flags)設定值=4，表示使用者可以設定顯示影像追隨聲音、和非追隨聲音(User selected channels can be tracked)。
以下，作為在圖17所示的MPD檔案82中記錄聲音控制資訊時的具體的控制資訊記錄例，依序說明以下3個記錄例。
(聲音控制資訊記錄例1)在MPD檔案中記錄聲道單位之聲音控制資訊。
(聲音控制資訊記錄例2)在MPD檔案中記錄串流單位之聲音控制資訊。
(聲音控制資訊記錄例3)在MPD檔案中記錄表示聲音控制係為使用者可設定之資訊。
以下，說明各記錄例。
[4-1.(聲音控制資訊記錄例1)關於在MPD檔案中記錄聲道單位之聲音控制資訊的記錄例]
之前說明過的5.1ch之環繞聲音，係由以下的各聲音要素所構成。
第1聲音要素=前方中央揚聲器之輸出聲道(Center Front)；第2聲音要素=前方左揚聲器之輸出聲道(Left Front)；第3聲音要素=前方右揚聲器之輸出聲道(Right Front)；第4聲音要素=左環繞揚聲器之輸出聲道(Left Surround)；第5聲音要素=右環繞揚聲器之輸出聲道(Right Surround)； 第6聲音要素=低頻效果用(LFE)揚聲器之輸出聲道(LFE)；現在的電影等之內容中，例如，在利用5.1ch的環繞聲音時，前方中央揚聲器之輸出聲道(Center Front)係經常被旁白等所利用。
全天球或全方位、或是全景影像所成的動畫中，將前方中央揚聲器之輸出聲道(Center Front)當作旁白輸出用而做利用時，經常會希望進行前方中央揚聲器之輸出聲道(Center Front)係固定為旁白，其他聲道係輸出追隨於顯示影像位置之聲音的控制。
在MPD檔案中記錄聲道單位之聲音控制資訊時的聲音控制資訊之例子，示於圖21、及以下。
<MPD> <Period> <AdaptationSet mime-type=”video/mp4”> <Representation> <BaseURL>http；//foo.bar/video.mp4</BaseURL> </Representation> </AdaptationSet> ‧‧‧ <！--只有5.1ch的Center Channel設成不Tracking的Audio--> <AdaptationSet mime-type=”audio/mp4”> <AudioChannelConfiguration schemeUri=”urn：mpeg：dash：23003：3：audio_channel_configuration：2011”value=”6”> <Role schemeIdUri=”http：//foo.bar/scheme/AudioNoTracking”value=”100000”> <Representation> <BaseURL>http；//foo.bar/audio.mp4</BaseURL> </Representation> </AdaptationSet> ‧‧‧ </Period> </MPD>
在上記的MPD描述中，係如圖21所示，含有控制資訊記錄領域251。
控制資訊記錄領域251，係將5.1ch串流的1聲音要素(Center Chanel)設成「顯示影像非追隨型控制」的控制資訊予以記錄的領域。
如前述，在MPD中係在作用元素(Role Element)裡，設定用來記錄聲音控制資訊所需之新的描 述元(Descriptor)。在上記的例子中，係設成URI=http：//foo.bar/scheme/AudioNoTracking。
在圖21所示的例子中，該作用元素中所被描述的值，係為「100000」。
該值係如之前參照圖20所說明，係相當於MP4檔案的「(1)全聲音對應控制資訊(no_tracking_flags)設定值=2，係為表示顯示影像追隨聲音、和非追隨聲音是混合存在(Some channels can be tracked)的控制資訊設定值。
亦即，控制資訊記錄領域251係記錄著，僅將5.1ch串流的1聲音要素(Center Chanel)設成「顯示影像非追隨型控制」，將其他聲音要素設成「顯示影像追隨型控制」的控制資訊設定值(100000)。
該數值字串，係意味著執行以下之聲音控制處理。
第1聲音要素[前方中央揚聲器(center front speaker)]=影像非追隨
第2聲音要素[前方左揚聲器(left front speaker)]=影像追隨
第3聲音要素[前方右揚聲器(right front speaker)]=影像追隨
第4聲音要素[左環繞揚聲器(left surround speaker)]=影像追隨
第5聲音要素[右環繞揚聲器(right surround speaker)]= 影像追隨
第6聲音要素[低頻效果用揚聲器(low frequency enhancement)]=影像追隨speaker)
[4-2.(聲音控制資訊記錄例2)關於在MPD檔案中記錄串流單位之聲音控制資訊的例子]
接著，作為對MPD的聲音控制資訊之第2記錄例，說明在MPD檔案中記錄串流單位之聲音控制資訊的例子。
作為1個具體例，在MP4檔案中，記錄了1ch之聲音串流被記錄時的串流單位之聲音控制資訊時的例子，示於圖22及以下。
<MPD> <Period> <AdaptationSet mime-type=”video/mp4”> <Representation> <BaseURL>http；//foo.bar/video.mp4 </BaseURL> </Representation> </AdaptationSet> ‧‧‧ <！--將1ch的串流設成不Tracking的Audio--> <AdaptationSet mime-type=”audio/mp4”> <AudioChannelConfiguration schemeUri=”urn：mpeg：dash：23003：3：audio_channel_configuration：2011”value=”1”> <Role schemeIdUri=”http：//foo.bar/scheme/AudioNoTracking”value=”NoTracking”> <Representation> <BaseURL>http；//foo.bar/audio1.mp4</BaseURL> </Representation> </AdaptationSet> ‧‧‧ </Period> </MPD>
在上記的MPD描述中，係如圖22所示，含有控制資訊記錄領域252。
控制資訊記錄領域252，係將1ch串流的1聲音要素設成「顯示影像非追隨型控制」的控制資訊的記錄領域。
如前述，在MPD中係在作用元素(Role Element)裡，設定用來記錄聲音控制資訊所需之新的描述元(Descriptor)。在上記的例子中，係設成URI=http：//foo.bar/scheme/AudioNoTracking。
在圖22所示的例子中，該作用元素中所被描述的值，係為「NoTracking」。
該值係如之前參照圖20所說明，係相當於MP4檔案的「(1)全聲音對應控制資訊(no_tracking_flags)設定值=1，係為用來令其執行使全聲音不追隨於顯示影像(All channels are not tracked)的處理所需之控制資訊設定值。
[4-3.(聲音控制資訊記錄例3)關於在MPD檔案中記錄表示聲音控制係為使用者可設定之資訊的例子]
接著，作為對MPD檔案的聲音控制資訊記錄例3，說明在MPD檔案中記錄表示聲音控制係為使用者可設定之資訊的例子。
和之前所說明的實施例1同樣地，在本實施例2中也是，含有複數可控制之聲音要素的情況下，可以構成為，以各聲音要素單位，讓使用者可設定顯示影像追隨聲音、和非追隨聲音。
在MPD檔案中，記錄表示可以用各聲音要素單位而讓使用者設定顯示影像追隨聲音、和非追隨聲音的聲音控制資訊時的聲音控制資訊之例子，示於圖23、及以下。
<MPD> <Period> <AdaptationSet mime-type=”video/mp4”> <Representation> <BaseURL>http；//foo.bar/video.mp4 </BaseURL> </Representation> </AdaptationSet> ‧‧‧ <！--只有將2ch的Center Channel設成不Tracking的Audio--> <AdaptationSet mime-type=”audio/mp4”> <AudioChannelConfiguration schemeUri=”urn：mpeg：dash：23003：3：audio_channel_configuration：2011”value=”2”> <Role schemeIdUri=”http：//foo.bar/scheme/AudioNoTracking”value=”USER”> <Representation> <BaseURL>http；//foo.bar/audio.mp4 </BaseURL> </Representation> </AdaptationSet> ‧‧‧ </Period> </MPD>
在上記的MPD描述中，係如圖23所示，含有控制資訊記錄領域253。
控制資訊記錄領域253，係記錄著表示可以用各聲音要素單位而讓使用者設定顯示影像追隨聲音、和非追隨聲音的聲音控制資訊。
如前述，在MPD中係在作用元素(Role Element)裡，設定用來記錄聲音控制資訊所需之新的描述 元(Descriptor)。在上記的例子中，係設成URI=http：//foo.bar/scheme/AudioNoTracking。
在圖23所示的例子中，該作用元素中所被描述的值，係為「USER」。
該值係如之前參照圖20所說明，係相當於MP4檔案的「(1)全聲音對應控制資訊(no_tracking_flags)設定值=4，係為表示可以用各聲音要素單位而讓使用者設定顯示影像追隨聲音、和非追隨聲音的聲音控制資訊設定值。
[5.關於利用了MPD檔案中所被記錄之聲音控制資訊的聲音控制處理程序]
接著說明，於資訊處理裝置中所執行的聲音控制處理程序，亦即，利用了MPD檔案中所被記錄之聲音控制資訊的聲音控制處理程序。
圖24、圖25所示的流程圖，係使用者裝置也就是資訊處理裝置70中所執行的聲音控制處理程序的說明用流程圖。
資訊處理裝置70係具有：顯示部(顯示器)、聲音輸出部(揚聲器)。
資訊處理裝置70係為例如TV、PC、攜帶型終端、頭戴式顯示器(HMD)等。
資訊處理裝置70，係從例如圖4所示的伺服器50、或是媒體60取得MPD檔案，將MPD檔案中所被 記錄之內容予以再生。
再生內容，係含有全天球影像、全方向影像、全景影像等，可觀察各種方向之影像的影像，且為還包含有連同影像一起被再生之聲音資訊的內容。
影像資料、聲音資料，係被儲存在MP4檔案中，然後這些影像資料、聲音資料所對應之控制資訊係被儲存在MPD檔案中。
關於於資訊處理裝置70中所執行的處理程序，參照圖24、圖25所示的流程圖來說明。
此外，依照圖24、圖25所示的流程圖的處理，係於資訊處理裝置70中被執行。資訊處理裝置70係具有具備持有程式執行機能之CPU的資料處理部，在資料處理部的控制下執行各處理。此外，關於資訊處理裝置70的硬體構成例係在後段說明。
說明圖24、圖25所示的流程之各步驟之處理。
(步驟S301)
資訊處理裝置的資料處理部，係於步驟S301中，取得MPD檔案。
(步驟S302)
接著，資訊處理裝置的資料處理部，係於步驟S302中，判定已取得之MPD檔案的適應集合中是否有以下的 作用元素，亦即<Role schemeIdUri=http：//foo.bar/scheme/AudioNoTracking>
判定是否有記錄了該聲音控制資訊的作用元素。
若有該聲音控制資訊記錄作用元素，則前進至步驟S304，若無，則前進至步驟S303。
(步驟S303)
資訊處理裝置的資料處理部，係在判定為MPD檔案之適應集合中沒有已記錄了聲音控制資訊的作用元素時，則執行步驟S303之處理。
資訊處理裝置的資料處理部，係於步驟S303中，決定成執行令所有的聲音要素追隨於顯示影像的「顯示影像追隨型聲音控制」。
亦即，進行將各揚聲器之輸出，隨著顯示影像位置而予以變更的聲音控制。
(步驟S304)
另一方面，於步驟S303中，判定為MPD檔案之適應集合中有已記錄了聲音控制資訊的作用元素時，則執行步驟S304之處理。
資訊處理裝置的資料處理部，係於步驟S304中，判定步驟S302所取得之MPD檔案之適應集合中所被記錄之聲音控制資訊之值，是否為「NoTracking」。
若「NoTracking」被記錄時，則前進至步驟S305。
其他情況下，則前進至步驟S401。
(步驟S305)
於步驟S304中，若判定為，MPD檔案之適應集合中所被記錄之聲音控制資訊之值，是「NoTracking」
的情況下，則資訊處理裝置的資料處理部，係執行步驟S305之處理。
資訊處理裝置的資料處理部，係於步驟S305中，決定成執行令所有的聲音要素不追隨於顯示影像的「顯示影像非追隨型聲音控制」。
亦即，進行將各揚聲器之輸出，不隨著顯示影像位置而予以變更的聲音輸出控制。
(步驟S401)
另一方面，於步驟S304中，若判定為，MPD檔案之適應集合中所被記錄之聲音控制資訊之值，並非「NoTracking」
之情況下，則資訊處理裝置的資料處理部，係執行步驟S401之處理。
資訊處理裝置的資料處理部，係於步驟S401中，判定步驟S302所取得之MPD檔案之適應集合中所被 記錄之聲音控制資訊之值，是否為「USER」
判定是否為上記值。
若MPD檔案之適應集合中所被記錄之聲音控制資訊之值，是「USER」
的情況下，則前進至步驟S451。
另一方面，非「USER」
之情況下，則前進至步驟S402。
(步驟S451)
於步驟S401中，若MPD檔案之適應集合中所被記錄之聲音控制資訊之值是(USER)，則前進至步驟S451。
於步驟S451中，資訊處理裝置的資料處理部，係執行相應於使用者設定的聲音控制。
此外，使用者設定處理的執行之際，資訊處理裝置的資料處理部係例如，在顯示部顯示出使用者可設定的操作畫面(UI)，讓使用者輸入針對各聲音要素的控制態樣。
資訊處理裝置的資料處理部，係隨應於該使用者輸入資訊而決定各聲音要素之控制態樣，執行聲音控制。
(步驟S402)
於步驟S401的判定處理中，若判定為，MPD檔案之 適應集合中所被記錄之聲音控制資訊之值並非(USER)、亦即表示「顯示影像追隨型聲音控制」對象之聲音要素、與「顯示影像非追隨型聲音控制」對象之聲音要素是混合存在的設定的情況下，則前進至步驟S402。
步驟S402以下之處理係為，讀取各聲音要素(i)所對應之聲音要素對應控制資訊，決定對各聲音要素的控制態樣的處理。
步驟S402之處理係為，將各聲音要素對應之控制資訊位元列，從開頭加以讀取的處理。
例如在具有構成5.1ch環繞聲音之6聲道之6個聲音要素的情況下，位元列係為像是例如[100000]的位元列。
(步驟S403)
於步驟S403中，判定是否有聲音控制資訊位元列的未處理資料，若有未處理資料，係則根據從開頭起依序讀取到的位元值來執行步驟S404以下之處理。
(步驟S404)
資訊處理裝置的資料處理部，係於步驟S404中，根據從各聲音要素對應之控制資訊位元列依序讀取到的位元值來執行處理。
然後，判定已取得之聲音要素(i)對應之設定值(位元值)，是否為 設定值=0、亦即「顯示影像追隨型聲音控制」之設 定；還是設定值=1、亦即「顯示影像非追隨型聲音控制」之設定；之任一者。
設定值=0、亦即「顯示影像追隨型聲音控制」之設定的情況下，則前進至步驟S405。
另一方面，設定值=1、亦即「顯示影像非追隨型聲音控制」之設定的情況下，則前進至步驟S406。
(步驟S405)
於步驟S404中，若判定為聲音要素(i)所對應之聲音要素(i)對應控制資訊(NoTracking)之設定值係為設定值=0、亦即「顯示影像追隨型聲音控制」之設定的情況下，則前進至步驟S405。
於步驟S405中，資訊處理裝置的資料處理部，係決定成，使處理對象之聲音要素要素(i)之控制，設成追隨於顯示影像的「顯示影像追隨型聲音控制」而執行。
亦即，進行將各揚聲器之輸出，隨著顯示影像位置而予以變更的聲音控制。
一旦步驟S405之處理結束，就回到步驟S403，根據下個聲音要素對應之設定值(位元值)來執行處理。
(步驟S406)
另一方面，於步驟S404中，若判定為聲音要素(i)所對應之聲音要素(i)對應控制資訊(NoTracking)之設定值係為設定值=1、亦即「顯示影像非追隨型聲音控制」之設定的情況下，則前進至步驟S406。
於步驟S406中，資訊處理裝置的資料處理部，係決定成，使處理對象之聲音要素要素(i)之控制，設成不追隨於顯示影像的「顯示影像非追隨型聲音控制」而執行。
亦即，進行將各揚聲器之輸出，不隨著顯示影像位置而予以變更的聲音輸出控制。
一旦步驟S406之處理結束，就回到步驟S403，根據下個聲音要素對應之設定值(位元值)來執行處理。
(步驟S471)
資訊處理裝置的資料處理部，係於步驟S403中，若判定為沒有未處理要素，則前進至步驟S471。
於步驟S471中，資訊處理裝置的資料處理部，係將MPD檔案中所被儲存之所有的聲音要素，依照所決定的控制態樣而予以輸出。
藉由這些處理，就會以各聲音要素單位，以「顯示影像追隨型控制」、或是「顯示影像非追隨型控制」；之任一態樣，來執行聲音輸出控制。
[6.關於資訊處理裝置之硬體構成例]
接著，針對執行依照上述實施例之處理的資訊處理裝置、及伺服器之硬體構成例，參照圖26來加以說明。
圖26所示的硬體，係為圖4、圖17所示的資訊處理裝置(使用者裝置)70，亦即執行影像再生、聲音輸出的資訊處理裝置(使用者裝置)70的硬體構成之一例。
又，圖26所示的硬體係亦為圖4、圖17所示的伺服器50，亦即執行生成儲存有影像資料、聲音資料、以及上述聲音控制資訊的檔案並發送給資訊處理裝置(使用者裝置)70之處理的伺服器50的硬體構成之一例。
CPU(Central Processing Unit)301，係成為依照ROM(Read Only Memory)302、或記憶部308中所記憶之程式，來執行各種處理的資料處理部而發揮機能。例如，依照上述的實施例中所說明的程序而執行處理。RAM(Random Access Memory)303中係記憶有讓CPU301執行的程式或資料等。這些CPU301、ROM302、及RAM303，係藉由匯流排304而被彼此連接。
CPU301係透過匯流排304而連接至輸出入介面305，在輸出入介面305上係連接有，由各種開關、鍵盤、滑鼠、麥克風等所成之輸入部306、由顯示器、揚聲器等所成之顯示部307、聲音輸出部321-1~n。CPU301係對應於從輸入部306所輸入之指定而執行各種處理，將處理結果輸出至例如顯示部307、聲音輸出部321-1~n。
輸出入介面305上所連接的記憶部308，係由例如硬碟等所成，記憶著CPU301所執行的程式或各種資料。通訊部309，係透過網際網路或區域網路等之網路而成為資料通訊之收送訊部、以及播送波之收送訊部而發揮機能，與外部裝置通訊。
被連接在輸出入介面305上的驅動機310，係驅動磁碟、光碟、光磁碟、或記憶卡等之半導體記憶體等之可移除式媒體311，執行資料記錄或讀取。
此外，資料之編碼或解碼，係可由作為資料處理部的CPU301之處理來執行可能，但亦可為具備用來執行編碼處理或解碼處理所需之專用硬體的編解碼器之構成。
[7.本揭露之構成的總結]
以上，一面參照特定實施例，一面詳解本揭露的實施例。可是在此同時，在不脫離本揭露之宗旨的範圍內，當業者可以對實施例進行修正或代用，此乃自明事項。亦即，這些僅為以例示形態來揭露本發明，不應做限定性解釋。要判斷本揭露之宗旨，應要參酌申請專利範圍欄。
此外，本說明書中所揭露的技術，係可採取如下之構成。
(1)一種資訊處理裝置，其係具有：顯示部，係可選擇性顯示不同方向之影像；和 資料處理部，係執行配合於對前記顯示部的影像顯示而輸出的聲音之控制；前記資料處理部，係以可個別控制的聲音要素單位，執行：使音源方向配合於前記顯示部之顯示影像之移動而移動的影像追隨型聲音控制；和使音源方向不配合於前記顯示部之顯示影像之移動而移動的影像非追隨型聲音控制。
(2)如(1)所記載之資訊處理裝置，其中，前記資料處理部，係取得輸出聲音資料所相關之聲音控制資訊，依照已取得之聲音控制資訊，以可個別控制的聲音要素單位，執行影像追隨型聲音控制、或影像非追隨型聲音控制之任一者。
(3)如(1)所記載之資訊處理裝置，其中，前記聲音控制資訊中係含有：輸出對象之全聲音所對應之控制資訊也就是全聲音對應控制資訊；前記資料處理部，係隨應於前記全聲音對應控制資訊之設定值，來執行輸出對象之全聲音的整體控制。
(4)如(3)所記載之資訊處理裝置，其中，前記資料處理部，係在前記全聲音對應控制資訊之設定值係為表示影像追隨型聲音控制之設定值的情況下， 針對輸出對象之全聲音之全部，執行使音源方向配合於前記顯示部之顯示影像之移動而移動的影像追隨型聲音控制。
(5)如(3)所記載之資訊處理裝置，其中，前記資料處理部，係在前記全聲音對應控制資訊之設定值係為表示影像非追隨型聲音控制之設定值的情況下，針對輸出對象之全聲音之全部，執行使音源方向不配合於前記顯示部之顯示影像之移動而移動的影像非追隨型聲音控制。
(6)如(3)~(5)之任一項所記載之資訊處理裝置，其中，前記聲音控制資訊中係含有：輸出對象之聲音要素所分別對應之控制資訊也就是聲音要素對應控制資訊；前記資料處理部，係在前記全聲音對應控制資訊之設定值係為表示，影像追隨型聲音控制對象之聲音要素、和影像非追隨型聲音控制對象之聲音要素是混合存在之設定值的情況下，更進一步取得前記聲音要素對應控制資訊；隨應於前記聲音要素對應控制資訊之設定值，來執行輸出對象之各聲音要素的控制。
(7)如(6)所記載之資訊處理裝置，其中，前記資料處理部，係針對前記聲音要素對應控制資訊之設定值係為表示影 像追隨型聲音控制之設定值的聲音要素，執行使音源方向配合於前記顯示部之顯示影像之移動而移動的影像追隨型聲音控制。
(8)如(6)所記載之資訊處理裝置，其中，前記資料處理部，係針對前記聲音要素對應控制資訊之設定值係為表示影像非追隨型聲音控制之設定值的聲音要素，執行使音源方向不配合於前記顯示部之顯示影像之移動而移動的影像非追隨型聲音控制。
(9)如(2)~(8)之任一項所記載之資訊處理裝置，其中，前記聲音控制資訊，係被儲存在MP4檔案中；前記資料處理部，係從MP4檔案，取得輸出聲音資料所相關之聲音控制資訊，依照已取得之聲音控制資訊，以可個別控制的聲音要素單位，執行影像追隨型聲音控制、或影像非追隨型聲音控制之任一者。
(10)如(9)所記載之資訊處理裝置，其中，前記聲音控制資訊，係被儲存在MP4檔案的trak箱盒中；前記資料處理部，係從MP4檔案的trak箱盒，取得輸出聲音資料所相關之聲音控制資訊，依照已取得之聲音控制資訊，以可個別控制的聲音要素單位，執行影像追隨型聲音控制、或影像 非追隨型聲音控制之任一者。
(11)如(2)~(8)之任一項所記載之資訊處理裝置，其中，前記聲音控制資訊，係被儲存在MPD(Media Presentation Description)檔案中；前記資料處理部，係從MPD檔案，取得輸出聲音資料所相關之聲音控制資訊，依照已取得之聲音控制資訊，以可個別控制的聲音要素單位，執行影像追隨型聲音控制、或影像非追隨型聲音控制之任一者。
(12)如(11)所記載之資訊處理裝置，其中，前記聲音控制資訊，係被儲存在MPD(Media Presentation Description)檔案的適應集合記錄領域中；前記資料處理部，係從MPD檔案的適應集合記錄領域，取得輸出聲音資料所相關之聲音控制資訊，依照已取得之聲音控制資訊，以可個別控制的聲音要素單位，執行影像追隨型聲音控制、或影像非追隨型聲音控制之任一者。
(13)一種資料配訊伺服器，係具有：資料處理部，係生成檔案，其中儲存有：可選擇性顯示不同方向之影像的影像資料、和配合於從前記影像資料所被選擇顯示之顯示影像而輸出的聲音資料、和聲音控制資訊，係以可個別控制的聲音要素單位，來 指定是否應執行：使音源方向配合於前記顯示影像之移動而移動的影像追隨型聲音控制、和使音源方向不配合於前記顯示影像之移動而移動的影像非追隨型聲音控制之任一者；和通訊部，係將前記資料處理部所生成之檔案，予以發送。
(14)一種資訊記錄媒體，係儲存有：可選擇性顯示不同方向之影像的影像資料、和配合於從前記影像資料所被選擇顯示之顯示影像而輸出的聲音資料、和聲音控制資訊，係以可個別控制的聲音要素單位，來指定是否應執行：使音源方向配合於前記顯示影像之移動而移動的影像追隨型聲音控制、和使音源方向不配合於前記顯示影像之移動而移動的影像非追隨型聲音控制之任一者；該資訊記錄媒體係儲存成，在執行來自前記資訊記錄媒體之讀出資料之再生的再生裝置中，依照前記聲音控制資訊，以可個別控制的聲音要素單位，執行影像追隨型聲音控制、或影像非追隨型聲音控制之任一者。
(15)一種資訊處理方法，係於資訊處理裝置 中，執行輸出聲音之控制的資訊處理方法，其中，前記資訊處理裝置係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行配合於對前記顯示部的影像顯示而輸出的聲音之控制；前記資料處理部係以可個別控制的聲音要素單位，執行：使音源方向配合於前記顯示部之顯示影像之移動而移動的影像追隨型聲音控制；和使音源方向不配合於前記顯示部之顯示影像之移動而移動的影像非追隨型聲音控制。
(16)一種程式，係在資訊處理裝置中令其執行輸出聲音之控制的程式，其中，前記資訊處理裝置係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行配合於對前記顯示部的影像顯示而輸出的聲音之控制；前記程式，係令前記資料處理部，以可個別控制的聲音要素單位，執行：使音源方向配合於前記顯示部之顯示影像之移動而移動的影像追隨型聲音控制；和使音源方向不配合於前記顯示部之顯示影像之移動而移動的影像非追隨型聲音控制。
又，於說明書中所說明之一連串處理係可藉 由硬體、或軟體、或兩者的複合構成來執行。在執行軟體所致之處理的情況下，雖然是將記錄有處理程序的程式，安裝至組裝有專用硬體的電腦內的記憶體而執行，但或者亦可在能夠執行各種處理的通用電腦中安裝程式來執行。例如，程式係可預先記錄在記錄媒體中。除了從記錄媒體安裝至電腦外，還可透過LAN(Local Area Network)、網際網路這類網路而接收程式，安裝至內建的硬碟等之記錄媒體裡。
此外，說明書中所記載的各種處理，係不只是依照記載的時間順序來進行，亦可隨著執行處理之裝置的處理能力或必要，而平行或個別地進行。又，於本說明書中，所謂的系統，係為複數裝置的邏輯集合構成，各構成之裝置係不限於位在同一框體內者。
[產業上利用之可能性]
如以上說明，若依據本揭露之一實施例之構成，則可實現一種，可以個別聲音要素單位，來進行使音源方向追隨於顯示部之顯示影像之移動的影像追隨型聲音控制、或影像非追隨型聲音控制的裝置、方法。
具體而言，將不同方向之影像選擇性地顯示於顯示部，配合影像顯示來執行輸出聲音之控制。資料處理部，係以可個別控制的聲音要素單位，執行：配合顯示部之顯示影像之移動而使音源方向移動的影像追隨型聲音控制、和不配合影像移動而移動音源方向的影像非追隨型聲音控 制。資料處理部，係從MP4檔案、或MPD檔案，取得聲音控制資訊，依照已取得之聲音控制資訊，以聲音要素單位，執行影像追隨型聲音控制、或影像非追隨型聲音控制之任一控制。
藉由本構成，可實現一種，可以個別聲音要素單位，來進行使音源方向追隨於顯示部之顯示影像之移動的影像追隨型聲音控制、或影像非追隨型聲音控制的裝置、方法。

Claims (17)

  1. 一種資訊處理裝置，係具有：顯示部，係可從複數不同方向之複數影像選擇性地輸出顯示影像；和資料處理部，係取得關於輸出聲音資料的聲音控制資訊；依照已取得之前記聲音控制資訊，而執行配合於前記顯示部之前記顯示影像而輸出的聲音之控制；前記資料處理部，係對前記顯示影像所關連之1或複數個可個別控制的聲音要素，執行：在前記複數不同方向之複數影像間使音源方向配合於前記顯示部之前記顯示影像之移動而移動的影像追隨型聲音控制、或使音源方向不隨著前記顯示部之前記顯示影像之移動而為固定的影像非追隨型聲音控制之至少一者；前記資料處理部，係依照已取得之前記聲音控制資訊，而決定是否執行影像追隨型聲音控制、或是否執行影像非追隨型聲音控制；前記聲音控制資訊中係含有：輸出對象之前記1或複數個可個別控制的聲音要素之全部所對應之表示聲音控制態樣的控制資訊也就是全聲音對應控制資訊；前記聲音控制態樣係決定是否對每一可個別控制的聲 音要素執行影像追隨型聲音控制或影像非追隨型聲音控制，或者是否對前記1或複數個可個別控制的聲音要素之全部整體地執行影像追隨型聲音控制或影像非追隨型聲音控制；前記顯示部、和前記資料處理部係藉由至少一個處理器而被實現。
  2. 如請求項1所記載之資訊處理裝置，其中，前記資料處理部，係隨應於前記全聲音對應控制資訊之設定值，來執行輸出對象之前記1或複數個可個別控制的聲音要素之全部的整體控制。
  3. 如請求項2所記載之資訊處理裝置，其中，前記資料處理部，係在前記全聲音對應控制資訊之設定值係為表示影像追隨型聲音控制的情況下，針對輸出對象之前記1或複數個可個別控制的聲音要素之全部，執行使音源方向配合於前記顯示部之前記顯示影像之移動而移動的影像追隨型聲音控制。
  4. 如請求項2所記載之資訊處理裝置，其中，前記資料處理部，係在前記全聲音對應控制資訊之設定值係為表示影像非追隨型聲音控制的情況下，針對輸出對象之前記1或複數個可個別控制的聲音要素之全部，執行使音源方向不隨著前記顯示部之前記顯示 影像之移動而為固定的影像非追隨型聲音控制。
  5. 如請求項2所記載之資訊處理裝置，其中，前記聲音控制資訊中係含有：輸出對象之每一可個別控制的聲音要素所分別對應之控制資訊也就是聲音要素對應控制資訊；前記資料處理部，係在前記全聲音對應控制資訊之設定值係為表示，影像追隨型聲音控制對象之可個別控制的聲音要素、和影像非追隨型聲音控制對象之可個別控制的聲音要素是混合存在的情況下，更進一步取得前記聲音要素對應控制資訊；隨應於前記聲音要素對應控制資訊之設定值，來執行輸出對象之每一可個別控制的聲音要素的控制。
  6. 如請求項5所記載之資訊處理裝置，其中，前記資料處理部，係針對前記聲音要素對應控制資訊之設定值係為表示影像追隨型聲音控制的每一可個別控制的聲音要素，執行使音源方向配合於前記顯示部之前記顯示影像之移動而移動的影像追隨型聲音控制。
  7. 如請求項5所記載之資訊處理裝置，其中，前記資料處理部，係針對前記聲音要素對應控制資訊之設定值係為表示影像非追隨型聲音控制的每一可個別控制的聲音要素，執行使音源方向不隨著前記顯示部之前記顯示影像之移動而為 固定的影像非追隨型聲音控制。
  8. 如請求項5所記載之資訊處理裝置，其中，前記資料處理部，係針對前記顯示影像中所含之1或複數個物件所對應之每一可個別控制的聲音要素，執行使音源方向配合於前記顯示部之前記顯示影像之移動而移動的影像追隨型聲音控制。
  9. 如請求項5所記載之資訊處理裝置，其中，前記資料處理部，係針對前記顯示影像中所含之任一物件均未對應之每一可個別控制的聲音要素，執行使音源方向不隨著前記顯示部之顯示影像之移動而為固定的影像非追隨型聲音控制。
  10. 如請求項1所記載之資訊處理裝置，其中，前記聲音控制資訊，係被儲存在MP4檔案中；前記資料處理部，係從MP4檔案，取得輸出聲音資料所相關之聲音控制資訊，依照已取得之聲音控制資訊，對前記1或複數個可個別控制的聲音要素之每一者，執行影像追隨型聲音控制、或影像非追隨型聲音控制之至少一者。
  11. 如請求項10所記載之資訊處理裝置，其中，前記聲音控制資訊，係被儲存在MP4檔案的trak箱盒中；前記資料處理部，係從MP4檔案的trak箱盒，取得輸出聲音資料所相關 之聲音控制資訊，依照已取得之聲音控制資訊，對前記1或複數個可個別控制的聲音要素之每一者，執行影像追隨型聲音控制、或影像非追隨型聲音控制之至少一者。
  12. 如請求項1所記載之資訊處理裝置，其中，前記聲音控制資訊，係被儲存在MPD(Media Presentation Description)檔案中；前記資料處理部，係從MPD檔案，取得輸出聲音資料所相關之聲音控制資訊，依照已取得之聲音控制資訊，對前記1或複數個可個別控制的聲音要素之每一者，執行影像追隨型聲音控制、或影像非追隨型聲音控制之至少一者。
  13. 如請求項12所記載之資訊處理裝置，其中，前記聲音控制資訊，係被儲存在MPD(Media Presentation Description)檔案的適應集合記錄領域中；前記資料處理部，係從MPD檔案的適應集合記錄領域，取得輸出聲音資料所相關之聲音控制資訊，依照已取得之聲音控制資訊，對前記1或複數個可個別控制的聲音要素之每一者，執行影像追隨型聲音控制、或影像非追隨型聲音控制之至少一者。
  14. 一種資料配訊伺服器，係具有：資料處理部，係生成檔案，其中儲存有：可將複數不同方向之複數影像做選擇性顯示的影像資料、和 配合於從前記影像資料所被選擇顯示之顯示影像而輸出的聲音資料、和聲音控制資訊，係對前記顯示影像所關連之1或複數個可個別控制的聲音要素，來指定是否應執行：在前記複數不同方向之前記複數影像間使音源方向配合於前記顯示影像之移動而移動的影像追隨型聲音控制、或使音源方向不隨著前記顯示影像之移動而為固定的影像非追隨型聲音控制之至少一者；和通訊部，係將前記資料處理部所生成之檔案，予以發送；前記聲音控制資訊中係含有：輸出對象之前記1或複數個可個別控制的聲音要素之全部所對應之表示聲音控制態樣的控制資訊也就是全聲音對應控制資訊；前記聲音控制態樣係決定是否對每一可個別控制的聲音要素執行影像追隨型聲音控制或影像非追隨型聲音控制，或者是否對前記1或複數個可個別控制的聲音要素之全部整體地執行影像追隨型聲音控制或影像非追隨型聲音控制；前記資料處理部、和前記通訊部係藉由至少一個處理器而被實現。
  15. 一種非暫時性電腦可讀取之記錄媒體，係儲存有：可將複數不同方向之複數影像做選擇性顯示的影像資 料、和配合於從前記影像資料所被選擇顯示之顯示影像而輸出的聲音資料、和聲音控制資訊，係對前記顯示影像所關連之1或複數個可個別控制的聲音要素單位，來指定是否應執行：在前記複數不同方向之前記複數影像間使音源方向配合於前記顯示影像之移動而移動的影像追隨型聲音控制、或使音源方向不隨著前記顯示影像之移動而為固定的影像非追隨型聲音控制之至少一者；該非暫時性電腦可讀取之記錄媒體係令從前記非暫時性電腦可讀取之記錄媒體讀出資料予以再生並執行的再生裝置，依照前記聲音控制資訊，對前記顯示影像所關連之1或複數個可個別控制的聲音要素，執行影像追隨型聲音控制、或影像非追隨型聲音控制之至少一者；前記聲音控制資訊中係含有：輸出對象之前記1或複數個可個別控制的聲音要素之全部所對應之表示聲音控制態樣的控制資訊也就是全聲音對應控制資訊；前記聲音控制態樣係決定是否對每一可個別控制的聲音要素執行影像追隨型聲音控制或影像非追隨型聲音控制，或者是否對前記1或複數個可個別控制的聲音要素之全部整體地執行影像追隨型聲音控制或影像非追隨型聲音控制。
  16. 一種資訊處理方法，係於資訊處理裝置中，執行輸出聲音之控制的資訊處理方法，其中，前記資訊處理裝置係具有：顯示部，係可從複數不同方向之複數影像選擇性地輸出顯示影像；和資料處理部，係執行配合於前記顯示部之前記顯示影像而輸出的聲音之控制；前記資料處理部係對前記顯示影像所關連之1或複數個可個別控制的聲音要素，執行：在前記複數不同方向之複數影像間使音源方向配合於前記顯示部之前記顯示影像之移動而移動的影像追隨型聲音控制、或使音源方向不隨著前記顯示部之前記顯示影像之移動而為固定的影像非追隨型聲音控制；前記聲音控制資訊中係含有：輸出對象之前記1或複數個可個別控制的聲音要素之全部所對應之表示聲音控制態樣的控制資訊也就是全聲音對應控制資訊；前記聲音控制態樣係決定是否對每一可個別控制的聲音要素執行影像追隨型聲音控制或影像非追隨型聲音控制，或者是否對前記1或複數個可個別控制的聲音要素之全部整體地執行影像追隨型聲音控制或影像非追隨型聲音控制。
  17. 一種儲存有程式的非暫時性電腦可讀取之記錄媒 體，該程式係在資訊處理裝置中執行資訊處理方法以令其執行輸出聲音之控制，其中，前記資訊處理方法係包含以下步驟：可從複數不同方向之複數影像選擇性地輸出顯示影像；和執行配合於前記顯示部之前記顯示影像而輸出的聲音之控制；前記程式，係令前記資訊處理裝置，對前記顯示影像所關連之1或複數個可個別控制的聲音要素，執行：在前記複數不同方向之複數影像間使音源方向配合於前記顯示部之前記顯示影像之移動而移動的影像追隨型聲音控制、或使音源方向不隨著前記顯示部之前記顯示影像之移動而為固定的影像非追隨型聲音控制；前記聲音控制資訊中係含有：輸出對象之前記1或複數個可個別控制的聲音要素之全部所對應之表示聲音控制態樣的控制資訊也就是全聲音對應控制資訊；前記聲音控制態樣係決定是否對每一可個別控制的聲音要素執行影像追隨型聲音控制或影像非追隨型聲音控制，或者是否對前記1或複數個可個別控制的聲音要素之全部整體地執行影像追隨型聲音控制或影像非追隨型聲音控制。
TW105122226A 2015-08-06 2016-07-14 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體 TWI736542B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-155740 2015-08-06
JP2015155740 2015-08-06

Publications (2)

Publication Number Publication Date
TW201717664A TW201717664A (zh) 2017-05-16
TWI736542B true TWI736542B (zh) 2021-08-21

Family

ID=57944056

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105122226A TWI736542B (zh) 2015-08-06 2016-07-14 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體

Country Status (6)

Country Link
US (1) US10656900B2 (zh)
EP (1) EP3334192A4 (zh)
JP (1) JP6809463B2 (zh)
CN (1) CN107925838B (zh)
TW (1) TWI736542B (zh)
WO (1) WO2017022467A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6878974B2 (ja) * 2017-03-16 2021-06-02 株式会社リコー 撮像装置、撮像システム
CN108810567B (zh) * 2017-04-27 2020-10-16 华为技术有限公司 一种音频与视频视角匹配的方法、客户端和服务器
CN109121031B (zh) * 2018-10-29 2020-11-17 歌尔科技有限公司 一种音频设备定向显示方法、装置和音频设备
KR20230037329A (ko) 2021-09-09 2023-03-16 네이버 주식회사 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079311A (zh) * 2006-05-26 2007-11-28 佛山市顺德区顺达电脑厂有限公司 声控操作的多媒体播放装置及其声控操作方法
JP2010074238A (ja) * 2008-09-16 2010-04-02 Canon Inc 受信装置及びその制御方法
US20100098258A1 (en) * 2008-10-22 2010-04-22 Karl Ola Thorn System and method for generating multichannel audio with a portable electronic device
US20140119581A1 (en) * 2011-07-01 2014-05-01 Dolby Laboratories Licensing Corporation System and Tools for Enhanced 3D Audio Authoring and Rendering
US20140233917A1 (en) * 2013-02-15 2014-08-21 Qualcomm Incorporated Video analysis assisted generation of multi-channel audio data

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796776B2 (ja) * 1995-09-28 2006-07-12 ソニー株式会社 映像音声再生装置
US7536705B1 (en) * 1999-02-22 2009-05-19 Tvworks, Llc System and method for interactive distribution of selectable presentations
US6757068B2 (en) * 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US6829017B2 (en) * 2001-02-01 2004-12-07 Avid Technology, Inc. Specifying a point of origin of a sound for audio effects using displayed visual information from a motion picture
WO2002078328A1 (fr) * 2001-03-26 2002-10-03 Fujitsu Limited Processeur d'informations multicanal
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
JP2002345097A (ja) 2001-05-15 2002-11-29 Sony Corp サラウンド音場再生システム
JP4436617B2 (ja) * 2002-04-26 2010-03-24 パナソニック株式会社 逆多重化装置
KR100754385B1 (ko) * 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
JP4581955B2 (ja) * 2005-10-04 2010-11-17 ソニー株式会社 コンテンツ伝送装置及びコンテンツ伝送方法、並びにコンピュータ・プログラム
JP4940671B2 (ja) 2006-01-26 2012-05-30 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
JP2011087103A (ja) * 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
JP5555068B2 (ja) * 2010-06-16 2014-07-23 キヤノン株式会社 再生装置及びその制御方法及びプログラム
US10326978B2 (en) * 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US9794312B2 (en) * 2010-09-01 2017-10-17 Electronics And Telecommunications Research Institute Method and device for providing streaming content
JP2012199786A (ja) * 2011-03-22 2012-10-18 Mitsubishi Electric Corp 音響再生装置
US9843844B2 (en) * 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US20140002581A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
KR20190026965A (ko) * 2012-07-10 2019-03-13 브이아이디 스케일, 인크. 품질 주도형 스트리밍
TWI517691B (zh) * 2012-07-24 2016-01-11 美商微晶片科技公司 一種以最小延遲無線傳輸優先權化遊戲影音之系統
EP3253079B1 (en) * 2012-08-31 2023-04-05 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
JP6143433B2 (ja) * 2012-10-31 2017-06-07 キヤノン株式会社 医用画像撮影装置、医用画像の表示方法
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
JP2015015553A (ja) * 2013-07-03 2015-01-22 キヤノン株式会社 記録装置及びその制御方法、プログラム並びに記憶媒体
RU2652099C2 (ru) * 2013-07-05 2018-04-25 Сони Корпорейшн Устройство передачи, способ передачи, устройство приема и способ приема
US9411882B2 (en) * 2013-07-22 2016-08-09 Dolby Laboratories Licensing Corporation Interactive audio content generation, delivery, playback and sharing
CN105814914B (zh) * 2013-12-12 2017-10-24 株式会社索思未来 音频再生装置以及游戏装置
US20170153866A1 (en) * 2014-07-03 2017-06-01 Imagine Mobile Augmented Reality Ltd. Audiovisual Surround Augmented Reality (ASAR)
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
US20180098150A1 (en) * 2016-10-03 2018-04-05 Blackfire Research Corporation Multichannel audio interception and redirection for multimedia devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079311A (zh) * 2006-05-26 2007-11-28 佛山市顺德区顺达电脑厂有限公司 声控操作的多媒体播放装置及其声控操作方法
JP2010074238A (ja) * 2008-09-16 2010-04-02 Canon Inc 受信装置及びその制御方法
US20100098258A1 (en) * 2008-10-22 2010-04-22 Karl Ola Thorn System and method for generating multichannel audio with a portable electronic device
US20140119581A1 (en) * 2011-07-01 2014-05-01 Dolby Laboratories Licensing Corporation System and Tools for Enhanced 3D Audio Authoring and Rendering
US20140233917A1 (en) * 2013-02-15 2014-08-21 Qualcomm Incorporated Video analysis assisted generation of multi-channel audio data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Timothy Roden等，＂Designing a narrative-based audio only 3D game engine"，Conference: Proceedings of the International Conference on Advances in Computer Entertainment Technology, ACE 2005, Valencia, Spain, June 15-15, 2005 （網址：https://www.researchgate.net/publication/220982549_Designing_a_narrative-based_audio_only_3D_game_engine ） *

Also Published As

Publication number Publication date
JP6809463B2 (ja) 2021-01-06
US10656900B2 (en) 2020-05-19
US20180196635A1 (en) 2018-07-12
EP3334192A4 (en) 2019-03-27
TW201717664A (zh) 2017-05-16
JPWO2017022467A1 (ja) 2018-05-24
EP3334192A1 (en) 2018-06-13
WO2017022467A1 (ja) 2017-02-09
CN107925838B (zh) 2021-03-09
CN107925838A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
JP7072649B2 (ja) 高品質のエクスペリエンスのためのオーディオメッセージの効率的な配信および使用のための方法および装置
KR100868475B1 (ko) 객체기반 오디오 서비스를 위한 다중객체 오디오 콘텐츠파일의 생성, 편집 및 재생 방법과, 오디오 프리셋 생성방법
TWI716418B (zh) 資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品
US11393483B2 (en) Method for transmitting and receiving audio data and apparatus therefor
TWI736542B (zh) 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
JP6565922B2 (ja) 符号化装置および方法、再生装置および方法、並びにプログラム
Kasuya et al. LiVRation: Remote VR live platform with interactive 3D audio-visual service
US20240129683A1 (en) Associated Spatial Audio Playback
EP4016994A1 (en) Information processing device and information processing method
Oldfield et al. An object-based audio system for interactive broadcasting
CN114339297B (zh) 音频处理方法、装置、电子设备和计算机可读存储介质
WO2021091769A1 (en) Signalling of audio effect metadata in a bitstream
KR101114431B1 (ko) 실시간 스트리밍을 위한 오디오 생성장치, 오디오 재생장치 및 그 방법
KR20190081163A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
US20230283977A1 (en) Audio Scene Description and Control
Geier et al. The Future of Audio Reproduction: Technology–Formats–Applications
KR20190082055A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션
KR20190081160A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션