TW201942821A - 資訊處理裝置、資訊處理方法、及程式 - Google Patents

資訊處理裝置、資訊處理方法、及程式 Download PDF

Info

Publication number
TW201942821A
TW201942821A TW108109216A TW108109216A TW201942821A TW 201942821 A TW201942821 A TW 201942821A TW 108109216 A TW108109216 A TW 108109216A TW 108109216 A TW108109216 A TW 108109216A TW 201942821 A TW201942821 A TW 201942821A
Authority
TW
Taiwan
Prior art keywords
information
file
audio data
processing device
angle
Prior art date
Application number
TW108109216A
Other languages
English (en)
Inventor
勝股充
浜田俊也
小代尚尊
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW201942821A publication Critical patent/TW201942821A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

[課題]提供一種資訊處理裝置、資訊處理方法、及程式。
[解決手段]一種資訊處理裝置，其係具備：生成部，係生成儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案；和送訊部，係發送前記管理檔案。

Description

資訊處理裝置、資訊處理方法、及程式
本發明係有關於資訊處理裝置、資訊處理方法、及程式。
近年來，作為網際網路上的串流化服務的基礎技術，MPEG-DASH(Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP)係漸漸普及(例如參照非專利文獻1)。
使用MPEG-DASH而被進行的音訊內容之傳遞中，傳遞伺服器是按照每一物件而準備了音訊資料(該當資料稱為「物件音訊資料」)，客戶端會隨應於傳輸路之狀況等而要求最佳的物件音訊資料，藉此以實現適應型的串流化傳遞。
又，作為超越先前的5.1聲道環繞再生的，更高臨場感的再生或用來傳輸複數物件音訊資料所需之編碼技術，MPEG-H 3D Audio係已為人知(例如參照非專利文獻2)。
[先前技術文獻]
[非專利文獻]
[非專利文獻1]ISO/IEC 23009-1：2014 Information technology - Dynamic adaptive streaming over HTTP (DASH)
[非專利文獻2]ISO/IEC 23008-3：2015 Information technology - High efficiency coding and media delivery in heterogeneous environments
[發明所欲解決之課題]
可是，如上記的非專利文獻1中所被揭露的MPEG-DASH的規格中，無法將所被再生之物件音訊資料，按照每種顯示狀態而加以選擇。
於是，在本揭露中係提出一種，可隨著顯示狀態而選擇物件音訊資料的，新穎且改良過得資訊處理裝置、資訊處理方法及程式。

[用以解決課題之手段]
若依據本揭露，則可提供一種資訊處理裝置，其係具備：生成部，係生成儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案；和送訊部，係發送前記管理檔案。
又，若依據本揭露，則可提供一種藉由資訊處理裝置而被執行的資訊處理方法，係含有：生成儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案之步驟；和發送前記管理檔案之步驟。
又，若依據本揭露，則可提供一種程式，係用來令電腦實現：生成儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案之機能；和發送前記管理檔案之機能。

[發明效果]
如以上說明，若依據本揭露，則可隨著顯示狀態而選擇物件音訊資料。
此外，上記效果並不一定是限定性的，亦可連同上記效果、或取代上記效果，而達成本說明書所揭露之效果、或根據本說明書所能掌握的其他效果。
以下，一邊參照添附圖式，一邊詳細說明本揭露的理想實施形態。此外，於本說明書及圖式中，關於實質上具有同一機能構成的構成要素，係標示同一符號而省略重複說明。
又，本說明書及圖式中，有時候係將實質上具有同一機能構成的複數構成要素，在同一符號之後標示不同的英文字母來做區別。但是，在沒有必要特別區別實質上具有同一機能構成的複數構成要素之每一者的時候，就僅表示同一符號。
此外，說明是按照以下順序進行。
＜＜1.導論＞＞
＜＜2.構成例＞＞
＜＜3.物件選擇資訊之例子(實施例1)＞＞
＜＜4.考慮到顯示狀態的檔案化之例子(實施例2)＞＞
＜＜5.不隨時間變化之情況的訊令例(實施例3)＞＞
＜＜6.會隨時間變化之情況的訊令例(實施例4)＞＞
＜＜7.應用例＞＞
＜＜8.硬體構成例＞＞
＜＜9.總結＞＞
＜＜1.導論＞＞
＜1-1.背景＞
首先說明本揭露的背景。
MPEG-H 3D Audio，係為可以處理按照每一物件而被生成的音訊資料也就是物件音訊資料的規格。音訊內容，係由音源的波形資料也就是複數物件音訊資料、與含有物件的位置、聲音的寬廣度、或者是各種特效等的相關之資訊的物件後設資料所構成。
圖1係用來說明本揭露之背景的說明圖。例如，如圖1所示，物件後設資料與複數物件音訊資料(圖1中係圖示了物件音訊資料1～物件音訊資料n)，是藉由伺服器等而被提供給客戶端。客戶端的物件渲染器，係一旦接收物件後設資料與物件音訊資料，就基於再生環境資訊(例如揚聲器的位置或數量等)而進行渲染，對揚聲器等之再生環境提供波形資料，以實現音訊內容之再生。
在音訊內容被提供的情況下，物件音訊資料是被儲存在音訊檔案中而被傳輸給客戶端。此處，參照圖2來說明具體例。圖2係用來說明本揭露之背景的說明圖。如圖2的D10所示，在有物件音訊資料1～物件音訊資料3，和對應於這些資料的物件後設資料存在的情況下，音訊檔案中儲存的態樣係如檔案化例F11～F13所示般地大致可考量有3種。
更具體而言，亦可如檔案化例F11所示，所有的資料是被儲存在1個音訊檔案中，亦可如檔案化例F12所示，1或2個以上之物件音訊資料與對應於它們之物件後設資料是分別被儲存在音訊檔案中。又，亦可如檔案化例F13所示，1個物件音訊資料與對應於其之物件後設資料是被儲存在1個音訊檔案中。
此處，針對影像之顯示狀態與物件音訊資料之關係，參照圖3而進行說明。圖3係用來說明影像之顯示狀態與物件音訊資料之關係的說明圖。
圖3中係圖示了，有2位歌手H2、H3正在唱歌的影像是以2個顯示狀態V11、及顯示狀態V12而被顯示的例子。顯示狀態V11與顯示狀態V12，係藉由拉近、拉遠而可相互遷移，於顯示狀態V11下若將中央部予以拉近則變成顯示狀態V12，於顯示狀態V12下若拉遠則變成顯示狀態V12。此外，拉近、拉遠係亦可藉由例如客戶端所致之影像之切出處理而被進行。
顯示狀態V11的情況下，由於2位歌手H2、H3是在中央被較小地一起顯示，因此無論哪個歌手正在唱歌，或是兩位歌手都正在唱歌，只要從中央的1方向聽得到聲音，就被認為即已足夠。另一方面，在顯示狀態V12的情況下，對使用者而言2位歌手看起來分得較開，可以明確地區別每位歌手的位置，因此左側的歌手H2正在唱歌時是從左方向聽見聲音，右側的歌手H3正在唱歌時是從右方向聽見聲音，較為理想。此種狀態稱為聲音定位為可知的狀態。
在進行串流化服務所需之規格的MPEG-DASH中，並未考慮如上述的顯示狀態所相應之物件音訊資料之傳輸，物件音訊資料是與顯示狀態無關地被傳輸。
例如，將含有如圖3所示的影像與音訊資料的內容以MPEG-DASH進行傳遞的情況下，可採用參照圖4所說明的如以下之2個手法(分別稱之為第1比較手法、及第2比較手法)。
圖4A係用來說明第1比較手法所致之音訊資料之傳遞的說明圖。第1比較手法，係為配合顯示狀態V11而將1個物件音訊資料AD1予以傳遞的手法。如圖4A所示，若依據第1比較手法，則不只在顯示狀態V11的情況下，就連在顯示狀態V12的情況下也是，由於聲音是只從中央的1方向被聽見，因此無法如參照圖3所說明，從各個歌手的位置所相應之方向聽見聲音。
圖4B係用來說明第2比較手法所致之音訊資料之傳遞的說明圖。第2既存手法，係為配合顯示狀態V12而將2個物件音訊資料AD2、AD3予以傳遞的手法。如圖4B所示，若依據第2比較手法，則在顯示狀態V12下，雖然可從各個歌手的位置所相應之方向聽見聲音，但在顯示狀態V11下，2個物件音訊資料係被渲染，結果而言可從1方向聽見聲音。亦即，在第2比較手法中，在顯示狀態V11的情況下，就算只從1方向能夠聽見即已足夠，仍會需要2個物件音訊資料，因此相較於第1比較手法，因此導致需要多餘的傳輸頻寬、及渲染處理。
＜1-2.概要＞
於是，在以下所說明的本揭露之一實施形態中，是採用一種隨著顯示狀態而將所利用之物件音訊資料加以選擇並取得的手法(以下稱為提案手法)。例如伺服器事前隨應於每一顯示狀態而將必要之物件音訊資料予以全部記憶，藉由客戶端來將顯示狀態所相應之物件音訊資料予以選擇並取得，就可實現所述之提案手法。
圖5係用來說明本揭露之一實施形態所述之提案手法之概要的說明圖。在提案手法中，在顯示狀態V11下係傳遞1個物件音訊資料AD1，在顯示狀態V12下係傳遞2個物件音訊資料AD2、AD3。若依據提案手法，則不會發生多餘的傳輸頻寬、及渲染處理，可從較適切之位置聽見聲音般地傳遞物件音訊資料。
可是，如上述，在既存的MPEG-DASH中，顯示狀態所相應之物件音訊資料之傳輸係未被考慮。於是，為了實現如上述的提案手法所致之物件音訊資料之傳遞，在本揭露中，係提供以下4個機制。
第1，用來選擇影像之顯示狀態所相應之物件音訊資料所需之資訊，和利用該資訊來選擇物件音訊資料的機制，係被提供。例如，在圖5所示的例子中，顯示狀態V11的情況下係需要新設置用來選擇物件音訊資料AD1、顯示狀態V12的情況下係需要新設置用來選擇物件音訊資料AD2、AD3所需之後設資訊(以下亦稱為物件選擇資訊)。關於所述之物件選擇資訊、及使用了物件選擇資訊的物件音訊資料選擇之例子，係於＜＜3.物件選擇資訊之例子(實施例1)＞＞中進行說明。
第2，考慮顯示狀態而將物件音訊資料予以檔案化的機制，係被提供。如參照圖2所說明，在既存的MPEG-DASH中，物件音訊資料係被儲存在音訊檔案，客戶端係選擇檔案而取得之。
例如，若按照每一顯示狀態而將所利用之物件音訊資料如圖2所示的檔案化例F11般地全部都儲存在1個音訊檔案中而進行檔案化，則具有總是只要隨著顯示狀態而選擇1個音訊檔案並加以取得即可的優點。可是，必須要準備與顯示狀態相同數量的檔案，又，利用共通之物件音訊資料的顯示狀態若為複數存在的情況下，伺服器就變成要記憶含有相同物件音訊資料的複數個音訊檔案，會發生記憶容量的浪費。
另一方面，若如圖2所示的檔案化例F13般地1個物件音訊資料是被儲存在1個音訊檔案中的方式進行檔案化，則會有伺服器係只需記憶必要的物件音訊資料量的音訊檔案即可的優點。可是，在客戶端取得檔案之際，顯示狀態所相應之物件音訊資料之數量有多少就必須要取得多少的音訊檔案，因此HTTP連線數會變多而恐怕會導致伺服器的處理負荷變大。
於是，可對應各式各樣的顯示狀態，並且可抑制伺服器所記憶之資料量、與客戶端所取得之檔案數之雙方的方式進行檔案化的機制，係被期望。關於此種考慮到顯示狀態的物件音訊資料的檔案化之機制的例子，係於＜＜4.考慮到顯示狀態的檔案化之例子(實施例2)＞＞中進行說明。
第3，在所利用之物件音訊資料之組合不隨時間變化的情況下，將物件選擇資訊予以訊令的機制，係被提供。所利用之物件音訊資料之組合不隨時間變化的情況下，可將同一物件選擇資訊在全部的時刻中做共通利用。可是，由於將所述之物件選擇資訊予以訊令的機制在既存的MPEG-DASH中並未被準備，因此需要進行訊令所需之新的機制。關於此種所利用之物件音訊資料之組合不隨時間變化的情況下，將物件選擇資訊予以訊令之機制的例子，係於＜＜5.不隨時間變化之情況的訊令例(實施例3)＞＞中進行說明。
第4，在所利用之物件音訊資料會隨時間變化的情況下，將物件選擇資訊予以訊令的機制，係被提供。考慮上述的物件選擇資訊會隨時間變化的情況。例如即使在同一顯示狀態下，有時候所利用之物件音訊資料仍會隨著時刻而變化。關於所述之情況，參照圖6而加以說明。
圖6係用來說明即使顯示狀態沒有變化，隨著時刻而所利用之物件音訊資料之組合會有所變化之例子的說明圖。在圖6所示的例子中，從時刻t1到時刻t2之間係不是縮放變化，時刻t1的顯示狀態V21、與時刻t2的顯示狀態V22係為相同的顯示狀態，但從時刻t1到時刻t2之間，2位歌手H1、H2是往鏡頭前靠近過來。此外，在本說明書中，例如視角等之可決定顯示狀態的要素沒有發生變化的情況，係表現為相同的顯示狀態。
在時刻t1上，2位歌手H1、H2是在較遠處一起被看見，因此利用1個物件音訊資料AD1較為理想。另一方面，在時刻t2上因為2位歌手H1、H2往前靠近，各個歌手的位置係可明確地區別，因此利用2個物件音訊資料AD2、AD3較為理想。如此，隨每一時刻地影像中所呈現的音源有移動的情況下，所利用之物件音訊資料之組合可能會隨時間變化。又，隨每一時刻地所呈現的音源會有變化的情況下也是，所利用之物件音訊資料之組合可能會隨時間變化。
如此所利用之物件音訊資料之組合會隨時間變化的情況下，將隨每一時刻而不同的物件選擇資訊予以訊令，較為理想。將隨每一時刻而不同的物件選擇資訊儲存至檔案的機制，及將其訊令所需之機制，在既存的MPEG-DASH中未被準備。關於此種所利用之物件音訊資料之組合會隨時間變化的情況下，每一時刻地將物件選擇資訊儲存至檔案，並予以訊令之機制的例子，係於＜＜6.會隨時間變化之情況的訊令例(實施例4)＞＞中進行說明。
以上說明了本揭露的背景，及本揭露之一實施形態的概要。以下，針對本揭露之一實施形態，更詳細地進行說明。
＜＜2.構成例＞＞
＜2-1.系統構成例＞
首先，參照圖7，說明本實施形態所述之資訊處理系統之系統構成例。圖7係本實施形態所述之資訊處理系統之系統構成例的區塊圖。
參照圖7，本實施形態所述之資訊處理系統，係具備伺服器100、和客戶端200。然後，伺服器100和客戶端200，係藉由通訊網300而被彼此連接。
伺服器100，係為基於MPEG-DASH，而將音訊內容中所被使用之物件音訊資料串流化傳遞(發送)至客戶端200的資訊處理裝置(送訊裝置)。更具體而言，伺服器100係將音訊內容中所被使用之音訊資料按照每一物件而加以取得，以物件單位將該當資料進行編碼以生成串流資料。然後，伺服器100係按照一種被稱為區段的數秒至10秒左右的每一時間單位，或是針對內容前體，將該當串流資料進行檔案化以生成音訊檔案。
此外，所謂物件，係為音源，各物件的音訊資料(物件音訊資料)，係例如藉由被安裝在各物件的麥克風等，而被取得。物件，係可為固定的麥克風架等之物體，也可以是人物等之動體。
又，於本實施形態中，可以是1個音源為1個物件，亦可複數音源為1個物件。又，對應於某個音源的物件亦可複數存在。例如，在圖5所示的例子中，音源的歌手H2所對應之物件，係隨著顯示狀態而不同，歌手H2的歌聲係可被包含在物件音訊資料AD1中也可被包含在物件音訊資料AD2中。
又，伺服器100，係將含有各物件之位置資訊等的物件後設資料，予以編碼。伺服器100，係將物件後設資料的編碼資料以區段單位進行檔案化，以生成後設資料檔案。
然後，伺服器100係生成用來管理音訊檔案的管理檔案。於本實施形態中，管理檔案係可為，ISO/IEC 23009-1中所被規格定義的MPD(Media Presentation Description)檔案。
然後，伺服器100係隨應於來自客戶端200之要求，而將上記之音訊檔案、後設資料檔案、或MPD檔案等，發送至客戶端200。
客戶端200，係為將音訊內容予以再生的資訊處理裝置(收訊裝置)。更具體而言，客戶端200，係從伺服器100取得MPD檔案，基於該當MPD檔案而從伺服器100取得後設資料檔案及音訊檔案。然後，客戶端200，係將已從伺服器100取得之音訊檔案予以解碼，並加以合成而輸出以實現音訊內容之再生。
以上說明了本實施形態所述之資訊處理系統之系統構成例。此外，參照圖7所說明的上記之構成係僅止於一例，本實施形態所述之資訊處理系統之構成係不限定於所述之例子。例如，伺服器100的機能之一部分，係亦可被客戶端200或其他外部裝置所具備。例如，提供伺服器100的機能之一部分的軟體(例如使用了所定之API(Application Programming Interface)的WEB應用程式等)，亦可在客戶端200上被執行。又，反之，客戶端200的機能之一部分，係亦可被伺服器100或其他外部裝置所具備。本實施形態所述之資訊處理系統之構成，係可隨著規格或運用而做彈性地變形。
＜2-2.伺服器的機能構成例＞
上記說明了，本實施形態所述之資訊處理系統之系統構成例。接下來，參照圖8，說明伺服器100之機能構成例。圖8係本實施形態所述之伺服器100的機能構成例的區塊圖。如圖8所示，伺服器100係具備：生成部110、控制部120、通訊部130、記憶部140。
生成部110，係為進行關於音訊內容之提供之處理的機能構成。如圖8所示，生成部110係具備：資料取得部111、編碼處理部112、區段檔案生成部113、MPD檔案生成部114。
資料取得部111，係為將影像及音訊資料按照每一物件而加以取得(換言之，係為取得物件音訊資料)。資料取得部111，係亦可從伺服器100內取得該當影像與該當物件音訊資料，亦可從連接至伺服器100的外部裝置取得該當影像與該當物件音訊資料。資料取得部111，係將已取得之影像與物件音訊資料，提供給編碼處理部112。
編碼處理部112，係將從資料取得部111所被提供的影像、及各物件之物件音訊資料進行編碼，以生成影像串流資料、及音訊串流資料。又，編碼處理部112，係將從外部所被輸入之含有各物件之物件位置資訊等的物件後設資料，予以編碼。編碼處理部112係將影像串流資料、各物件之音訊串流資料、及物件後設資料之編碼資料，提供給區段檔案生成部113。
區段檔案生成部113，係為將可作為內容而傳遞之單位的資料也就是區段檔案予以生成的機能構成。例如，區段檔案生成部113，係將從編碼處理部112所被提供的各物件之音訊串流資料，以區段單位進行檔案化，以生成音訊檔案。關於音訊檔案之生成(亦稱為檔案化)係存在有各式各樣的態樣。例如，區段檔案生成部113，係基於顯示狀態所相應之物件音訊資料之組合，以使得同一物件音訊資料不會被包含在複數音訊檔案中的方式，將1或2個以上之物件音訊資料儲存在1個音訊檔案中，以生成音訊檔案。基於顯示狀態所相應之物件音訊資料之組合的音訊檔案之生成之細節，將於後述。
又，區段檔案生成部113係亦可藉由，將從編碼處理部112所被提供的物件後設資料之編碼資料以區段單位進行檔案化，而生成只儲存有物件後設資料的後設資料檔案。所述之後設資料檔案會被生成之案例，將於後述。
又，區段檔案生成部，係將從編碼處理部112所被提供的影像串流資料以區段單位進行檔案化，以生成影像檔案。
MPD檔案生成部114，係為生成MPD檔案的機能構成。於本實施形態中，MPD檔案生成部114係生成MPD檔案，其係含有用來對含有物件選擇資訊之後設資料檔案進行存取所需之後設資料檔案存取資訊。被MPD檔案生成部114所被生成之MPD檔案之細節將於後述。
控制部120係為，將伺服器100所進行的全盤處理予以統籌控制的機能構成。例如，控制部120，係可基於透過通訊部130而被接收之來自客戶端200之要求資訊等，來控制各構成的啟動或停止。此外，控制部120的控制內容係無特別限定。例如，控制部120係亦可控制在通用電腦、PC、平板PC等中一般所被進行的處理。
通訊部130，係與客戶端200進行各種通訊。例如，通訊部130係將來自客戶端200的要求資訊，予以接收。又，通訊部130，係也作為送訊部而發揮機能，作為對該當要求資訊之回應而將MPD檔案、後設資料檔案、音訊檔案、或影像檔案等，發送至客戶端200。此外，通訊部130的通訊內容係不限定於這些。
記憶部140，係為記憶各種資訊的機能構成。例如，記憶部140係記憶音訊檔案、影像檔案、後設資料檔案、MPD檔案等，或記憶被伺服器100之各機能構成所使用的程式或參數等。此外，記憶部140所記憶的資訊係不限定於這些。
以上說明了伺服器100的機能構成例。此外，使用圖8所說明的上記之機能構成係僅止於一例，伺服器100之機能構成係不限定於所述之例子。例如，伺服器100並不一定要具備圖8所示之機能構成的全部。又，伺服器100之機能構成，係可隨著規格或運用而做彈性地變形。
＜2-3.客戶端的機能構成例＞
上記係說明了伺服器100的機能構成例。接下來，參照圖9，說明客戶端200的機能構成例。圖9係本實施形態所述之客戶端200的機能構成例的區塊圖。如圖9所示，客戶端200係具備：處理部210、控制部220、通訊部230、記憶部240、感測器部250、顯示部260、揚聲器270。
處理部210，係為進行內容之再生之相關處理的機能構成。如圖9所示，處理部210係具備：MPD檔案取得部211、MPD檔案處理部212、區段檔案選擇部213、區段檔案取得部214、解碼處理部215、合成處理部216。
MPD檔案取得部211，係為早於內容之再生之前從伺服器100取得MPD檔案的機能構成。更具體而言，MPD檔案取得部211，係基於使用者操作等而生成MPD檔案之要求資訊，透過通訊部230而將該當要求資訊提供給伺服器100，藉此以將MPD檔案從伺服器100加以取得。MPD檔案取得部211，係將已取得之MPD檔案，提供給MPD檔案處理部212。
MPD檔案處理部212，係為進行從MPD檔案取得部211所被提供之MPD檔案的相關之處理的機能構成。更具體而言，MPD檔案處理部212，係基於MPD檔案之解析，而辨識音訊檔案、後設資料檔案等之取得時所必須之資訊(例如URL等)。又，本實施形態所述之MPD檔案處理部212，係基於MPD檔案之解析，而取得物件選擇資訊。MPD檔案處理部212，係將這些資訊提供給區段檔案選擇部213。
區段檔案選擇部213，係為選擇取得對象之區段檔案的機能構成。更具體而言，區段檔案選擇部213，係基於從MPD檔案處理部212所被提供之上記各種資訊而選擇取得對象之音訊檔案或後設資料檔案。例如，本實施形態所述之區段檔案選擇部213，係基於物件選擇資訊而選擇所利用之物件音訊資料，並選擇含有已被選擇之物件音訊資料的音訊檔案。
區段檔案取得部214，係為進行區段檔案之取得的機能構成。更具體而言，區段檔案取得部214，係基於從區段檔案選擇部213所被提供的各種資訊，生成影像檔案、音訊檔案、或後設資料檔案之要求資訊，透過通訊部230而令該當要求資訊被發送往伺服器100，以從伺服器100取得這些檔案。區段檔案取得部214，係將已取得之這些檔案，提供給解碼處理部215。
解碼處理部215，係為將從區段檔案取得部214所被提供的影像檔案、音訊檔案、或後設資料檔案中所含之資料予以解碼的機能構成。解碼處理部215，係將藉由解碼處理而獲得的影像(以下亦稱為解碼影像)提供給控制部220。又，解碼處理部215，係將藉由解碼處理而獲得的物件音訊資料等，提供給合成處理部216。
合成處理部216，係為將從解碼處理部215所被提供之複數物件音訊資料加以合成、輸出的機能構成。合成處理部216，係將合成後的資料，提供給控制部220。
控制部220係為，將客戶端200所進行的全盤處理予以統籌控制的機能構成。例如，控制部220係控制顯示部260的顯示。控制部220，係亦可令從解碼處理部215所被提供的解碼影像直接被顯示部260所顯示，亦可對從解碼處理部215所被提供的解碼影像施加處理然後令其被顯示部260所顯示。例如，控制部220，係亦可基於從感測器部250所被提供的感測器資料，而實施從解碼處理部215所被提供的解碼影像中切出部分領域的切出之處理(切出處理)。然後，控制部220亦可令藉由切出處理而被切出的影像(以下亦稱為切出影像)，被顯示部260所顯示。此外，基於感測器資料的解碼影像之切出處理，係可和例如所謂360度影像之再生中所被進行的切出處理相同。又，控制部220，係控制揚聲器270，將從合成處理部216所被提供的合成後之資料予以輸出，以將音訊內容提供給使用者。又，控制部220，係亦可基於使用者使用滑鼠、鍵盤等之輸入部(未圖示)所進行的輸入而控制各種處理。此外，控制部220的控制內容係無特別限定。例如，控制部220係亦可控制在通用電腦、PC、平板PC等中一般所被進行的處理。
通訊部230，係與伺服器100進行各種通訊。例如，通訊部230係將從處理部210所被提供的要求資訊，發送至伺服器100。又，通訊部230，係也作為收訊部而發揮機能，作為對該當要求資訊之回應而將MPD檔案、後設資料檔案音訊檔案、影像檔案等，從伺服器100予以接收。此外，通訊部230的通訊內容係不限定於這些。
記憶部240，係為記憶各種資訊的機能構成。例如，記憶部240，係將從伺服器100所取得之影像檔案、音訊檔案、物件後設資料、後設資料檔案或MPD檔案等加以記憶，或將被客戶端200之各機能構成所使用的程式或參數等加以記憶等等。此外，記憶部240所記憶的資訊係不限定於這些。
感測器部250，係藉由感測而取得關於使用者的感測器資料。例如，感測器部250，係亦可包含有加速度感測器、角速度感測器等之感測器，亦可取得關於使用者之姿勢或位置的感測器資料。感測器部250，係將所取得之感測器資料，提供給控制部220。
顯示部260，係依照控制部220之控制，而將影像予以顯示。此外，如上述藉由顯示部260而被顯示的影像，係亦可為從解碼處理部215所被提供的解碼影像本身，也可為藉由控制部220之切出處理而被切出的切出影像。
揚聲器270，係依照控制部220之控制，進行音訊輸出。
以上說明了客戶端200之機能構成例。此外，使用圖9所說明的上記之機能構成係僅止於一例，客戶端200之機能構成係不限定於所述之例子。例如，客戶端200並不一定要具備圖9所示之機能構成的全部。又，客戶端200之機能構成，係可隨著規格或運用而做彈性地變形。例如，圖9所示的感測器部250、顯示部260、揚聲器270之機能構成，係亦可被具備於，被連接至客戶端200的其他裝置中。
＜＜3.物件選擇資訊之例子(實施例1)＞＞
以上說明了本實施形態之構成例。接下來，於本實施形態中，關於隨著顯示狀態而選擇所被利用之物件音訊資料所需之物件選擇資訊、及使用到該當物件選擇資訊的物件音訊資料選擇，說明2個實施例(實施例1-1、實施例1-2)。
＜3-1.使用視角的物件選擇資訊之例子(實施例1-1)＞
首先，作為實施例1-1，說明使用視角的物件選擇資訊之例子。如上述，客戶端200的控制部220，係亦可令從處理部210所被提供之解碼影像直接被顯示部260所顯示，亦可令藉由切出處理而被切出的切出影像被顯示部260所顯示。此處，解碼影像被直接顯示的情況、和已被切出之切出影像被顯示的情況間，顯示狀態係為不同，客戶端200所應取得之物件音訊資料可能會不同。關於如此的切出處理所致之，應取得的物件音訊資料之差異，參照圖10來做說明。此外，在以下的說明中，主要針對水平視角進行說明，但關於垂直視角也是同樣如此。
圖10A係用來說明令解碼影像直接被顯示於顯示部260時所利用的物件音訊資料的說明圖。圖10A所示的解碼影像D31，係為基於以視角θa 之攝影的影像，解碼影像D31中係呈現有2位歌手H1、H2。
將如此的解碼影像D31直接予以顯示，且用與攝像時之視角相同之視角θa 進行觀賞的情況下，如圖10A所示的顯示狀態V32般地，2位歌手H2、H3是在中央被較小地一起顯示。因此在顯示狀態V32下，被認為只要從1方向聽見聲音即已足夠，所述之情況下客戶端200係只要選擇並取得1個物件音訊資料即可。
此外，圖10A所示的例子係亦可解釋成，以與攝像時之視角相同之視角θa 將解碼影像之全體作為切出影像而予以切出並顯示的例子。
圖10B係用來說明令將解碼影像予以切出所得之切出影像被顯示於顯示部260時所利用的物件音訊資料的說明圖。圖10B所示的解碼影像D33，係與圖10A所示的解碼影像D31同樣地是基於以視角θa 之攝影的影像，在解碼影像D33中係呈現有2位歌手H1、H2。
此處，將從如此的解碼影像D33，以視角θb 所切出之切出影像D331予以顯示，且以視角θa 進行觀賞的情況下，如圖10B所示的顯示狀態V34般地使用者係看到2位歌手為分離，可明確地區別各個歌手的位置。因此在顯示狀態V34下，從2方向分別聽見聲音較為理想，所述之情況下客戶端200係必須將2個物件音訊資料加以選擇並取得。
如上述，解碼影像被直接顯示的情況、和已被切出之切出影像被顯示的情況間，顯示狀態係為不同，所利用之物件音訊資料可能會不同。又，切出影像被顯示的情況下也是，隨著切出影像所被切出的視角(例如在圖10B所示的例子中係為θb )或方向(位置)而顯示狀態係為不同，所利用之物件音訊資料可能會不同。
又，即使所被顯示的切出影像為相同，隨著觀賞時的視角(以下亦稱為觀賞視角)而顯示狀態係為不同，所利用之物件音訊資料可能會不同。關於此種觀賞時的視角所致之所利用之物件音訊資料之差異，參照圖11來進行說明。此外，在以下的說明中，主要針對水平視角進行說明，但關於垂直視角也是同樣如此。
圖11係用來說明觀賞時的視角之差異所致之，所利用之物件音訊資料之差異的說明圖。圖11所示的顯示狀態V34，係與圖10B所示的顯示狀態V34相同。亦即，於圖11所示的顯示狀態V34下所被顯示的影像係為圖10B所示的切出影像D331，使用者係以視角θa 之觀賞視角來做觀賞。在所述的顯示狀態V34下，如上述，從2方向分別聽見聲音較為理想，客戶端200係必須將2個物件音訊資料加以選擇並取得。
又，於圖11所示的顯示狀態V35下所被顯示的影像，係與於顯示狀態V34下所被顯示的影像相同，可為圖10B所示的切出影像D331。但是，在圖11所示的顯示狀態V35下，使用者係以比視角θa 還小的視角θc 之觀賞視角來做觀賞。如顯示狀態V35所示，以較小的觀賞視角進行觀賞的情況下，認為對使用者而言，只要2位歌手H2、H3一起被看見，從中央的1方向能夠聽見聲音，即已足夠。因此，所述情況下客戶端200係只要選擇並取得1個物件音訊資料即可。
若將以上做個整理，則根據已切出之影像的方向及視角、以及觀賞時的視角之組合，客戶端200所利用(所應取得)的物件音訊資料之組合可能會不同。此外，即使在解碼影像是所謂的360度影像的情況下也是，和上述的例子同樣地，隨著從360度影像切出之影像的方向及視角、以及觀賞時的視角之組合，所利用之物件音訊資料之組合可能會不同。在本實施例中，藉由使用這些資訊，可特定出顯示狀態，並可特定出所利用之物件音訊資料之組合。
於本實施例中，用來選擇物件物件音訊資料所需之物件選擇資訊，係亦可含有以下所示的資訊。
・關於已切出之影像之方向的方向資訊
・關於已切出之影像之視角的切出視角資訊
・關於對已被顯示之影像的觀賞時之視角的觀賞視角資訊
・關於所利用之物件音訊資料的利用資訊
此外，上記的資訊之中，有時候會將切出視角資訊、及觀賞視角資訊總稱為視角資訊。
方向資訊係亦可含有例如水平方向之角度的資訊與垂直方向之角度的資訊。或者，方向資訊，係除了水平方向之角度的資訊與垂直方向之角度的資訊以外，亦可還含有藉由所述之水平方向之角度與垂直方向之角度而被特定的從已切出之方向向量起算之角度範圍之資訊。或者，方向資訊係亦可含有水平方向之角度的範圍之資訊、和垂直方向之角度的範圍之資訊。
切出視角資訊，係亦可含有例如已切出之影像之水平視角的範圍之資訊、和垂直視角的範圍之資訊。或者，作為基準的顯示狀態下的已切出之影像之水平視角與垂直視角是預先被決定作為基準視角的情況下，切出視角資訊係亦可含有相對於基準視角之倍率的範圍之資訊。
觀賞視角資訊係亦可含有例如：相對於已被顯示之影像的觀賞時之水平視角的範圍之資訊、與垂直視角的範圍之資訊。或者，作為基準的顯示狀態下的相對於已被顯示之影像的觀賞時之水平視角與垂直視角是預先被決定作為基準視角的情況下，觀賞視角資訊係亦可含有相對於基準視角之倍率的範圍之資訊。
利用資訊係亦可含有：表示所利用之物件音訊資料之全部組合的資訊。或者，利用資訊係亦可含有：表示相對於預先決定之既定(default)之物件音訊資料之組合的，所利用之物件音訊資料之組合之差分的資訊。
此外，無論利用資訊是否含有既定之物件音訊資料之組合，既定之物件音訊資料之組合亦可被預先決定。例如，在符合的物件選擇資訊尚未被準備的顯示狀態下藉由利用既定之物件音訊資料，就可省去準備物件選擇資訊的麻煩而使得所有顯示狀態都能夠被表現。
基於上述的本實施例所述之物件選擇資訊而由客戶端200的處理部210來將所利用之物件音訊資料加以選擇並取得的方法，參照圖12來加以說明。圖12係本實施例所述之客戶端200基於物件選擇資訊而將所利用之物件音訊資料加以選擇並取得之方法的流程圖。此外，在圖12所示的例子中，假設既定之物件音訊資料之組合是已經被預先決定，且客戶端200是已經取得複數物件選擇資訊，而記憶在例如記憶部240中。
首先，如圖12所示，處理部210係取得客戶端200所顯示之切出影像的切出方向、切出視角、及目前的觀賞視角之資訊(S102)。此處，客戶端200所顯示之切出影像的切出方向、及切出視角之資訊，係亦可藉由例如進行切出處理的控制部220而被決定，從控制部220被提供給處理部210。又，目前的觀賞視角之資訊，係亦可基於已被感測器部250所取得之感測器資料，而被控制部220所特定，從控制部220被提供給處理部210。
接下來，處理部210，係基於步驟S102中所取得之資訊，而從記憶部240中所被記憶之複數物件選擇資訊之中，特定出符合目前之顯示狀態的物件選擇資訊。
例如，處理部210係亦可特定出，與步驟S102中所取得之資訊一致的，或包含在範圍內的1個物件選擇資訊。具體而言，將各物件選擇資訊中所含之方向資訊、與所被顯示的切出影像之切出方向進行比較，將具有一致，或包含所被顯示之切出影像之切出方向之範圍的方向資訊的物件選擇資訊，予以抽出。然後，處理部210係以已被抽出的物件選擇資訊為對象，將各物件選擇資訊中所含之視角資訊、與所被顯示之切出影像之切出視角及目前的觀賞視角之資訊進行比較。然後，亦可特定出，含有包含切出影像之切出視角及現在觀賞視角的視角資訊的1個物件選擇資訊。
此外，與步驟S102中所取得之資訊一致、或包含在範圍內的物件選擇資訊無法從記憶部240中所被記憶之中找到的情況下，於步驟S104中處理部210係亦可不特定出物件選擇資訊。
在符合目前之顯示狀態的物件選擇資訊已被特定的情況性(S106中YES)，處理部210，係基於已被特定之物件選擇資訊中所含之利用資訊，來選擇所要取得之物件音訊資料之組合(S108)。例如，作為利用資訊，表示所利用之物件音訊資料之全部組合的資訊是被包含在該當物件選擇資訊中的情況下，處理部210係只要直接選擇被利用資訊所表示的物件音訊資料即可。或者，作為利用資訊，表示相對於既定之物件音訊資料之組合的，所利用之物件音訊資料之組合之差分的資訊是被包含在該當物件選擇資訊中的情況下，處理部210係只要基於既定之物件音訊資料之組合，來選擇所要取得之物件音訊資料即可。
接下來，處理部210，係於步驟S108中從伺服器100取得已被選擇之物件音訊資料。此外，已被選擇之物件音訊資料的取得方法之細節將於後述。
另一方面，符合目前之顯示狀態的物件選擇資訊沒有被特定出來的情況下(S106中NO)，則處理部210係取得既定之物件音訊資料(S110)。
此外，上述的處理之中，步驟S104～S108之處理，係可藉由例如區段檔案選擇部213而被執行，步驟S110、S112之處理，係可藉由例如區段檔案取得部214而被執行。
＜3-2.使用了物件間之角度的物件選擇資訊之例子(實施例1-2)＞
以上，作為實施例1-1，說明了使用視角的物件選擇資訊的實施例。接下來，作為實施例1-2，說明使用了物件間之角度的物件選擇資訊的例子。以下所說明的實施例1-2中，是根據觀賞時的2個物件之位置與使用者的觀賞位置，算出該當2個物件間的角度，基於物件間的角度來選擇所利用之物件音訊資料。
圖13係用來說明物件間的角度的說明圖。如圖13所示，在顯示狀態V44下，物件音訊資料AD2中所涉及之物件(對應於歌手H2之物件)、物件音訊資料AD3中所涉及之物件(對應於歌手H3之物件)之間的角度係為角度θd 。如顯示狀態V44所示，在該角度θd 較小的情況下，2個物件之位置之差係不被使用者所認知，因此只要從中央的1方向聽見聲音即已足夠。因此，在顯示狀態V44下，物件音訊資料AD2、及物件音訊資料AD3所被混合而成的物件音訊資料AD1，會被利用。
另一方面，如圖13所示，在顯示狀態V45下，物件音訊資料AD2所涉及之物件、與物件音訊資料AD3所涉及之物件之間的角度，係為角度θe (θe ＞θd )。如顯示狀態V45所示，該角度θe 較大的情況下，2個物件之位置是各別地被使用者所認知，因此從2方向各別地聽見聲音，較為理想。因此，在顯示狀態V45下，物件音訊資料AD2、及物件音訊資料AD3會被利用。
如以上所述，隨著2個物件間的角度之大小，客戶端200所利用(應取得)之物件音訊資料之組合可能會不同。在本實施例中，藉由2個物件間的角度之大小，可特定出顯示狀態，並可特定出所利用之物件音訊資料之組合。
於本實施例中，用來選擇物件物件音訊資料所需之物件選擇資訊，係亦可含有以下所示的資訊。
・用來算出角度的2個物件的位置資訊
・關於2個物件間之角度的角度資訊
・關於所利用之物件音訊資料的利用資訊
用來算出角度的2個物件的位置資訊，係亦可為和上述的物件後設資料中所含之物件之位置資訊相同之資訊。但是，要算出角度的2個物件是按照每一物件選擇資訊地而決定，這些2個物件之位置資訊是被包含在物件選擇資訊中。
角度資訊，係亦可含有例如角度的範圍之資訊。如後述，角度資訊係亦可作為閾值來使用。
本實施例所述之利用資訊，係亦可和實施例1的利用資訊相同。亦即，利用資訊係亦可含有：表示所利用之物件音訊資料之全部組合的資訊。或者，利用資訊係亦可含有：表示相對於預先決定之既定之物件音訊資料之組合的，所利用之物件音訊資料之組合之差分的資訊。
基於上述的本實施例所述之物件選擇資訊而由客戶端200的處理部210來將所利用之物件音訊資料加以選擇並取得的方法，參照圖14來加以說明。圖14係本實施例所述之客戶端200基於物件選擇資訊而將所利用之物件音訊資料加以選擇並取得之方法的流程圖。此外，在圖14所示的例子中，假設既定之物件音訊資料之組合是已經被預先決定，且客戶端200是已經取得複數物件選擇資訊，而記憶在例如記憶部240中。
首先，如圖14所示，處理部210，係算出物件間的角度(S122)。於步驟S122中，處理部210係亦可基於記憶部240中所被記憶之物件選擇資訊中所含之用來算出角度的2個物件的位置資訊、與使用者的觀賞位置之資訊，而算出物件間的角度。此外，使用者的觀賞位置之資訊，係亦可基於例如已被感測器部250所取得之感測器資料，而被控制部220所特定，從控制部220被提供給處理部210。
接下來，處理部210係基於步驟S122中所被算出之物件間的角度，而從記憶部240中所被記憶之複數物件選擇資訊之中，特定出符合目前之顯示狀態的物件選擇資訊。
例如，處理部210係將含有包含步驟S122中所被算出之物件間的角度的角度範圍之角度資訊的此種物件選擇資訊，予以抽出。然後，只有1個物件選擇資訊被抽出的情況下，處理部210係亦可將已被抽出之1個物件選擇資訊，特定成為符合目前之顯示狀態的物件選擇資訊。若有複數個物件選擇資訊被抽出的情況下，則處理部210係亦可在已被抽出之複數物件選擇資訊之中，將要求出角度的2個物件之位置是最接近使用者之觀賞方向的物件選擇資訊，加以特定。
此外，含有包含步驟S122中所被算出之物件間的角度的角度範圍之角度資訊的此種物件選擇資訊是不存在的情況下，於步驟S124中，處理部210係亦可不特定出物件選擇資訊。
在符合目前之顯示狀態的物件選擇資訊已被特定的情況性(S126中YES)，處理部210，係基於已被特定之物件選擇資訊中所含之利用資訊，來選擇所要取得之物件音訊資料之組合(S128)。例如，作為利用資訊，表示所利用之物件音訊資料之全部組合的資訊是被包含在該當物件選擇資訊中的情況下，處理部210係只要直接選擇被利用資訊所表示的物件音訊資料即可。或者，作為利用資訊，表示相對於既定之物件音訊資料之組合的，所利用之物件音訊資料之組合之差分的資訊是被包含在該當物件選擇資訊中的情況下，處理部210係只要基於既定之物件音訊資料之組合，來選擇所要取得之物件音訊資料即可。
接下來，處理部210，係於步驟S128中從伺服器100取得已被選擇之物件音訊資料。
另一方面，符合目前之顯示狀態的物件選擇資訊沒有被特定出來的情況下(S126中NO)，則處理部210係取得既定之物件音訊資料(S120)。
此外，上述的處理之中，步驟S124～S128之處理，係可藉由例如區段檔案選擇部213而被執行，步驟S130、S132之處理，係可藉由例如區段檔案取得部214而被執行。
＜＜4.考慮到顯示狀態的檔案化之例子(實施例2)＞＞
以上，作為使用了物件選擇資訊、及物件選擇資訊的物件音訊資料選擇之例子，說明了2個實施例(實施例1-1、實施例1-2)。接下來，作為實施例2，針對考慮複數顯示狀態而將物件音訊資料予以檔案化的實施例，進行說明。此外，以下所說明的實施例2，係可和上述的實施例任意地組合，亦可和實施例1-1、實施例1-2之任一者做組合。
MPEG-DASH所致之串流化傳遞中，在取得物件音訊資料的情況下係可按照每一音訊檔案而進行取得。藉由以下所說明的本實施例所述之檔案化，不只可按照每一物件，還可按照每一音訊檔案地進行取得。又，若依據本實施例，則可使得伺服器100所記憶的資料量、與客戶端200所取得的檔案數之雙方都被抑制般地，將物件音訊資料進行檔案化。
以下，參照圖15，針對本實施例所述之檔案化之流程做了說明後，參照圖16～圖18來說明檔案化的具體例。此外，以下所說明的物件音訊資料之檔案化，係可藉由伺服器100的生成部110而被執行，例如可藉由生成部110的區段檔案生成部113而被執行。
圖15係本實施例所述之檔案化之流程的流程圖。首先，如圖15所示，區段檔案生成部113，係將某1個顯示狀態下的物件音訊資料之組合予以群組化(S202)。於步驟S202中，顯示狀態下的物件音訊資料之組合，係可基於例如顯示狀態所對應之物件選擇資訊而被特定。
接下來，區段檔案生成部113，係將步驟S202中已被群組化之群組、與其他顯示狀態(步驟S202中所被使用之1個顯示狀態以外之顯示狀態)下的物件音訊資料之組合的差分，予以群組化(S204)。於步驟S204中，區段檔案生成部113，係在從步驟S202中所被使用之1個顯示狀態遷移至各顯示狀態之際，將會被新利用的物件音訊資料之組合、與變成不會被利用的物件音訊資料之組合，分別予以群組化。
接下來，區段檔案生成部113，係在步驟S202、S204中已被群組化之群組之中，將所含之物件音訊資料之數量為最少的群組，加以選擇(S206)。此外，所含之物件音訊資料之數量為最少的群組若有複數的情況下，則只要在複數群組之中選擇出一者即可。又，如後述，步驟S206係亦可被重複執行複數次，在步驟S206被執行了第2次以後的情況下，區段檔案生成部113，係在尚未被選擇的群組之中，選擇所含之物件音訊資料之數量為最少的群組。
接下來，區段檔案生成部113，係從尚未被選擇的群組中所含之物件音訊資料，去除上一個被選擇之群組中所含之物件音訊資料(S208)。
若有尚未被選擇之群組存在的情況下(S210中YES)，則回到步驟S206，重複步驟S206～S210直到所有的群組都有被選擇。一旦重複直到沒有尚未被選擇之群組存在(S210中NO)，則區段檔案生成部113係將已被選擇之群組，每一群組地進行檔案化(S212)。於步驟S212中，區段檔案生成部113，係將各群組中所含之1或2個以上之物件音訊資料儲存至1個音訊檔案，生成音訊檔案。
此外，上述的步驟S202～S212之處理，係可藉由例如區段檔案生成部113而被執行。
以上說明了本實施例所述之檔案化之流程。接下來，說明上述的檔案化之具體例。圖16～圖18係用來說明本實施例所述之檔案化之具體例的說明圖。
以下說明，有圖16所示的3個顯示狀態V51、V52、V53的情況下，由生成部110來生成檔案的具體例。如圖16所示，顯示狀態V51、V52、V53之任一情況下，都是含有4位歌手H11～H14的影像被顯示。又，在顯示狀態V51下，3個物件音訊資料AD11、AD12、AD15會被利用。又，在顯示狀態V52下，4個物件音訊資料AD11、AD12、AD13、AD14會被利用。又，在顯示狀態V53下，1個物件音訊資料AD16會被利用。
關於將圖15的步驟S202～S204，針對圖16所示的顯示狀態V51～V53而執行時的動作，參照圖17而加以說明。一旦針對顯示狀態V51而執行步驟S202，則會如圖17的步驟S222所示般地獲得群組G11。接下來，一旦針對從顯示狀態V51往顯示狀態V52之遷移、及從顯示狀態V51往顯示狀態V53之遷移執行步驟S204，則會如圖17的步驟S224所示般地獲得群組G12～G15。
關於將圖15的步驟S206～S212，針對圖17所示的5個群組G11～G15而執行時的動作，參照圖18而加以說明。首先，在第1次執行步驟S206之前，如圖18的步驟S226所示，所有的群組G11～G15都是未選擇的狀態。一旦在步驟S226之狀態下執行步驟S206，則例如群組G12會被選擇。然後，一旦執行步驟S208，則如圖18的步驟S228所示，前一個被選擇之群組G12中所含之物件音訊資料AD15，係被從群組G11、G14中去除。在步驟S228的狀態下，由於有未選擇之群組存在，因此於步驟S210中判定為YES，再度執行步驟S206。
一旦在步驟S228之狀態下執行步驟S206，則例如群組G15會被選擇。此處，於步驟S228的狀態下，群組G15中所含之物件音訊資料AD16，係不被其他群組所包含。因此，即使執行步驟S208，如圖18的步驟S230所示，各群組中所含之物件音訊資料係仍不會變化。在步驟S230的狀態下，由於有未選擇之群組存在，因此於步驟S210中判定為YES，再度執行步驟S206。
一旦在步驟S230之狀態下執行步驟S206，則例如群組G11會被選擇。此處，在步驟S230的狀態下，群組G11中所含之物件音訊資料與群組G14中所含之物件音訊資料係為相同。因此，一旦執行步驟S208，則如圖18的步驟S232所示，前一個被選擇之群組G11中所含之物件音訊資料AD11、AD12係被從群組G14中去除，群組G14就會消滅。在步驟S232的狀態下，由於有未選擇之群組存在，因此於步驟S210中判定為YES，再度執行步驟S206。
一旦在步驟S232之狀態下執行步驟S206，則群組G13會被選擇。此處，在步驟S230的狀態下，一旦群組G13被選擇，則未選擇之群組就變成不存在。因此，即使執行步驟S208，如圖18的步驟S234所示，各群組中所含之物件音訊資料係仍不會變化。在步驟S234的狀態下，由於未選擇之群組係不存在，因此於步驟S210中判定為NO，執行步驟S212。
在步驟S234的狀態下一旦執行步驟S212，則如圖18的步驟S236所示，儲存了群組G12、G15、G11、G13之各者中所含之物件音訊資料的音訊檔案AF1～AF4，就被生成。
如圖18所示，物件音訊資料AD11～AD16之每一者，係被儲存在音訊檔案AF1～AF4之其中1者，因此伺服器100係不需要將同一物件音訊資料予以複數記憶。因此，伺服器100所記憶的物件音訊資料之資料量，可被抑制成最小限度。
又，藉由如圖18所示般地進行檔案化，圖16所示的顯示狀態V51～V53之各顯示狀態下客戶端200所取得的檔案數也可被抑制。例如，在圖16所示的顯示狀態V51下，只需取得音訊檔案AF1與音訊檔案AF3這2個音訊檔案即可。又，在圖16所示的顯示狀態V52下，只需取得音訊檔案AF3與音訊檔案AF4這2個音訊檔案即可。又，在圖16所示的顯示狀態V53下，只需取得音訊檔案AF2這1個音訊檔案即可。
另一方面，1個物件音訊資料是被儲存在1個檔案中的方式而被檔案化的情況下，在顯示狀態V51係需要取得3個，在顯示狀態V52下係需要取得4個，在顯示狀態V51下係需要取得1個音訊檔案。
因此，藉由如圖18所示般地進行檔案化，相較於1個物件音訊資料是被儲存在1個檔案中的方式而被檔案化的情況下，於顯示狀態V51、及顯示狀態V52下所取得的音訊檔案之數量，會被抑制。
如上述，若依據本實施例，則可使得伺服器100所記憶的資料量、與客戶端200所取得的檔案數之雙方都被抑制般地，生成音訊檔案。
＜＜5.不隨時間變化的物件選擇資訊之訊令例(實施例3)＞＞
以上，作為實施例2，說明了考慮複數顯示狀態而將物件音訊資料予以檔案化的實施例。接下來，說明所利用之物件音訊資料之組合不隨時間變化之情況下的物件選擇資訊之訊令例。
此外，所被訊令的資訊，係會隨著物件選擇資訊是否為實施例1-1中所說明之使用視角的資訊，或是否為實施例1-2中所說明之使用了物件間的角度的資訊，而會有所不同。於是，以下依序說明對應於實施例1-1的實施例3-1、和對應於實施例1-2的實施例3-2。
＜3-1.使用視角的物件選擇資訊之訊令例(實施例3-1)＞
首先，作為實施例3-1，說明將實施例1-1中所說明之使用視角的物件選擇資訊予以訊令的實施例。在本實施例中，實施例1-1中所說明之利用資訊是以檔案層級而被訊令，以MPEG-DASH加以實現的情況下，只要將利用資訊以AdaptationSet層級而加以訊令即可。
此外，以下係說明，物件選擇資訊是含有如以下所示之資訊的例子。
・含有水平方向之角度的資訊與垂直方向之角度的資訊的方向資訊
・含有已切出之影像之水平視角的範圍之資訊、與垂直視角的範圍之資訊的切出視角資訊
・含有相對於已被顯示之影像的觀賞時的水平視角的範圍之資訊、與垂直視角的範圍之資訊的觀賞視角資訊
・將含有所利用之物件音訊資料的AdaptationSet全部予以表示的利用資訊
在本實施例中，是在SupplementalProperty中把顯示狀態所需之資訊新予以訊令。schemeIdUri係指定“urn：mpeg：dash：objectAudio：objectSelection”，以value，且逗點分隔的方式，”direction_azimuth, direction_elevation, clipping_azimuth_range, clipping_elevation_range, viewing_azimuth_range, viewing_elevation_range, AdaptationSet_list”係被依序訊令。圖19係表示於本實施例中所被訊令之value與各value之詳細說明(description)的表。
在本實施例中，上述的物件選擇資訊係可被儲存在MPD檔案中。於本實施例中，關於伺服器100的MPD檔案生成部114所生成的MPD檔案之一例，參照圖20、圖21加以說明。圖20係於本實施例中MPD檔案生成部114所生成之MPD檔案之一例的圖示。又，圖21係表示圖20所示的MPD檔案中的各資訊的表。圖21的表中，方向資訊、切出視角資訊、觀賞視角資訊、利用資訊、及於圖20所示的MPD檔案中對應之SupplementalProperty，係被表示。
在圖20的MPD檔案中，如第3行所示般地Preselection的preselectionComponents中既定(default)之AdaptationSet之組合係為”o2 o3”。又，在圖20的MPD檔案中，與既定之組合會是不同之組合的4模態之SupplementalProperty係被表示在第4行～第7行。如此，藉由預先決定好既定之AdaptationSet之組合，只需要針對各顯示狀態下所利用之物件音訊資料會有所不同者準備SupplementalProperty即可。
於圖20所示的MPD檔案的例子中，關於由客戶端200的處理部210來選擇要取得之AdaptationSet的方法，參照圖22來加以說明。圖22係客戶端200所取得之AdaptationSet的選擇方法之一例的流程圖。
首先，如圖22所示，處理部210係取得客戶端200所顯示之切出影像的切出方向、切出視角、及目前的觀賞視角之資訊(S302)。
接下來，處理部210係將Preselection的SupplementalProperty中schemeIdUri為“urn：mpeg：dash：objectAudio：objectSelection”者，全部加以取得(S304)。
接下來，處理部210，係基於步驟S302中所取得之資訊，而從步驟S304中所取得之SupplementalProperty之中，特定出符合目前之顯示狀態的SupplementalProperty(S306)。例如，於步驟S306中所被特定之SupplementalProperty係亦可為，direction_azimuth、direction_elevation之值是接近於客戶端200所顯示之切出影像之切出方向的SupplementalProperty。又，於步驟S306中所被特定之SupplementalProperty係亦可為，客戶端200所顯示之切出影像之切出視角是被包含在clipping_azimuth_range、clipping_elevation_range中的SupplementalProperty。然後，步驟S306中所被特定之SupplementalProperty係亦可為，目前的觀賞視角是被包含在viewing_azimuth_range、viewing_elevation_range中的SupplementalProperty。此外，在沒有符合上記條件的SupplementalProperty存在的情況下，則於步驟S306中處理部210係亦可不特定出任何SupplementalProperty。
在符合目前之顯示狀態的SupplementalProperty是有被特定出來的情況下(S308中YES)，處理部210係將已被特定之SupplementalProperty的AdaptationSet_list中所被表示的AdaptationSet，予以選擇。(S310)。
另一方面，在符合目前之顯示狀態的SupplementalProperty沒有被特定出來的情況下(S308中NO)，處理部210係選擇Preselection@ preselectionComponents中所被表示的既定(default)之AdaptationSet(S312)。
此外，圖22所示的步驟S302～S312之處理，係可藉由例如區段檔案選擇部213而被執行。
以上說明了本實施例所述之MPD檔案之一例。但是，於本實施例中，所被生成之MPD檔案，係不限定於圖20所示的例子。
例如，作為使用Preselection時的MPD檔案的變形例，SupplementalProperty的value的AdaptationSet_list係亦可在preselectionComponents中被訊令。圖23係於所述之變形例中MPD檔案生成部114所生成之MPD檔案之一例的圖示。在圖23的MPD檔案中，如第3行、第7行、第8行所示般地Preselection是被分離，身為AdaptationSet_list的部分，係被表示作為preselectionComponents。關於圖23所示的MPD檔案的其以外之部分，係和圖20所示的MPD檔案相同。
作為另一變形例係亦可為，在MPD檔案中不含有(不設定)viewing_azimuth_range、viewing_elevation_range。所述的情況下，於圖22的步驟S306中，只使用direction_azimuth、direction_elevation、clipping_azimuth_range、clipping_elevation_range來選擇AdaptationSet即可。但是，所述的情況下由於並未考慮觀賞視角，因此可能不是最適切的AdaptationSet。
作為再另一變形例係亦可為，作為方向資訊是除了direction_azimuth、direction_elevation以外，還將direction_angle含入至MPD檔案中。此處，direction_angle，係表示實施例1-1中所說明之從已切出之方向向量起算之角度。
作為再另一變形例係亦可為，作為方向資訊，不是把direction_azimuth、direction_elevation，而是把direction_azimuth_range、direction_elevation_range，含入至MPD檔案中。此處，direction_azimuth_range係表示實施例1-1中所說明之水平方向之角度的範圍，direction_elevation_range係表示實施例1-1中所說明之垂直方向之角度的範圍。
作為再另一變形例係亦可為，作為切出視角資訊、及觀賞視角資訊，不是把clipping_azimuth_range、clipping_elevation_range、viewing_azimuth_range、viewing_elevation_range，而是把clipping_magnification_range、viewing_magnification_range予以含入。此處，clipping_magnification_range係表示實施例1-1中所說明之切出時之視角之倍率之範圍，viewing_magnification_range係表示實施例1-1中所說明之觀賞視角之倍率之範圍。
作為再另一變形例係亦可為，將AdaptationSet_list，改成與preselectionComponents之差分清單。例如，亦可將AdaptationSet_list，改成AdaptationSet_del_list與AdaptationSet_add_list。AdaptationSet_del_list係為從preselectionComponents進行刪除的AdaptationSet之清單，是將AdaptationSet@id以空白區隔方式而描述。AdaptationSet_add_list係為對preselectionComponents進行追加的AdaptationSet之清單，是將AdaptationSet@id以空白區隔方式而描述。此外，AdaptationSet_del_list與AdaptationSet_add_list係相當於，實施例1-1中所說明之，表示相對於既定之物件音訊資料之組合的，所利用之物件音訊資料之組合之差分的資訊。
作為再另一變形例係亦可為，SupplementalProperty是在AdaptationSet中被訊令。物件音訊資料之組合是被儲存在1個檔案中的情況下(物件音訊資料不是被儲存成複數檔案的情況下)，由於Preselection係不被利用，因此藉由將SupplementalProperty，在AdaptationSet予以訊令，就可選擇所利用之AdaptationSet。
＜5-2.使用了物件間之角度的物件選擇資訊之訊令例(實施例3-2)＞
以上，作為實施例3-1，說明了將使用視角的物件選擇資訊予以訊令的實施例。接下來，作為實施例3-2，說明將實施例1-2中所說明之使用了物件間之角度的物件選擇資訊予以訊令的實施例。在本實施例中，實施例1-2中所說明之利用資訊是以檔案層級而被訊令，以MPEG-DASH加以實現的情況下，只要將利用資訊以AdaptationSet層級而加以訊令即可。
此外，以下係說明，物件選擇資訊是含有如以下所示之資訊的例子。
・用來算出角度的2個物件的位置資訊
・含有作為閾值的物件間的角度的範圍之資訊的角度資訊
・將含有所利用之物件音訊資料的AdaptationSet全部予以表示的利用資訊
在本實施例中，是在SupplementalProperty中把顯示狀態所需之資訊新予以訊令。schemeIdUri係指定“urn：mpeg：dash：objectAudio：objectSelectionAngle”，以value，且逗點分隔的方式，“object1_azimuth, object1_elevation, object2_azimuth, object2_elevation, threshold_range, AdaptationSet_list”係被依序訊令。圖24係表示於本實施例中所被訊令之value與各value之詳細說明的表。
於本實施例中，關於伺服器100的MPD檔案生成部114所生成的MPD檔案之一例，參照圖25、圖26加以說明。圖25係於本實施例中MPD檔案生成部114所生成之MPD檔案之一例的圖示。又，圖26係表示圖25所示的MPD檔案中的各資訊的表。圖25的表中，第1個物件的位置資訊、及第2個物件的位置資訊、角度資訊、利用資訊、及於圖25所示的MPD檔案中對應之SupplementalProperty，係被表示。
在圖25的MPD檔案中，如第3行所示般地Preselection的preselectionComponents中既定(default)之AdaptationSet之組合係為”o2 o3”。又，在圖25的MPD檔案中，與既定之組合會是不同之組合的2模態之SupplementalProperty係被表示在第4行～第5行。如此，藉由預先決定好既定之AdaptationSet之組合，只需要針對各顯示狀態下所利用之物件音訊資料會有所不同者準備SupplementalProperty即可。
於圖25所示的MPD檔案的例子中，關於由客戶端200的處理部210來選擇要取得之AdaptationSet的方法，參照圖27來加以說明。圖27係客戶端200所取得之AdaptationSet的選擇方法之一例的流程圖。
首先，如圖27所示，處理部210係從Preselection@preselectionComponents取得AdaptationSet之清單(S322)。接下來，處理部210係將Preselection的SupplementalProperty中schemeIdUri為“urn：mpeg：dash：objectAudio：objectSelectionAngle”者，全部加以取得(S324)。
接下來，處理部210係針對步驟S324中所取得之全部的SupplementalProperty，算出觀賞時的物件間的角度(S326)。於步驟S326中，處理部210係基於各SupplementalProperty中的object1_azimuth、object1_elevation、object2_azimuth、object2_elevation而算出觀賞時的物件的位置，並算出觀賞時的物件間的角度。
接下來，處理部210，係基於步驟S326中所算出之物件間的角度，而從步驟S324中所取得之SupplementalProperty之中，特定出符合目前之顯示狀態的SupplementalProperty(S328)。例如，於步驟S328中，處理部210係亦可在步驟S324中所取得之SupplementalProperty之中，將步驟S326中所被算出之物件間的角度是被包含在threshold_range中的SupplementalProperty，予以特定。此外，在沒有符合上記條件的SupplementalProperty存在的情況下，則於步驟S328中處理部210係亦可不特定出任何SupplementalProperty。
在符合目前之顯示狀態的SupplementalProperty是有被特定出來的情況下(S330中YES)，處理部210係將已被特定之SupplementalProperty的AdaptationSet_list中所被表示的AdaptationSet，予以選擇。(S332)。
另一方面，在符合目前之顯示狀態的SupplementalProperty沒有被特定出來的情況下(S330中NO)，處理部210係選擇Preselection@ preselectionComponents中所被表示的既定(default)之AdaptationSet(S334)。
此外，圖27所示的步驟S322～S334之處理，係可藉由例如區段檔案選擇部213而被執行。
以上說明了本實施例所述之MPD檔案之一例。但是，於本實施例中，所被生成之MPD檔案，係不限定於圖25所示的例子。
例如，作為變形例，亦可將物件之位置資訊，從後設資料檔案加以取得。例如，只儲存含有全部物件之位置資訊的物件後設資料的後設資料檔案係為存在的情況下，亦可將對所述之後設資料檔案進行存取所需之連結(後設資料檔案存取資訊之一例)予以訊令。此外，所述之後設資料檔案係可被解釋成，含有物件選擇資訊(之一部分)的後設資料檔案。又，所述之後設資料檔案係亦可例如，被伺服器100的區段檔案生成部113所生成，而被記憶在伺服器100的記憶部140中。
圖28係於所述之變形例中MPD檔案生成部114所生成之MPD檔案之一例的圖示。在圖28的MPD檔案中係不含有object1_azimuth、object1_elevation、object2_azimuth、object2_elevation。取而代之的是，在圖28的MPD檔案中，如第4行、及第14行所示般地，AdaptationSet的SupplementalProperty中係被儲存有，指向後設資料檔案之連結(後設資料檔案存取資訊之一例)。又，在圖28的MPD檔案中，如第5行、及第6行所示般地，藉由後設資料檔案的AdaptationSet的id(object_metadata_AdaptationSet)、與其中的物件後設資料的2個號碼(object1_num、object2_num)，而表示要算出角度的2個物件。
客戶端200的區段檔案取得部214，係為了取得物件之位置資訊，基於指向所述之後設資料檔案之連結而生成後設資料檔案之要求資訊，將後設資料檔案從伺服器100加以取得。然後，區段檔案取得部214，係從後設資料檔案之中把符合之物件的azimuth資訊與elevation資訊，當作位置資訊而加以取得。
作為另一變形例係亦可為，不是AdaptationSet_list，在被threshold_range所包含的情況下將置換前的AdaptationSet之清單(before_AdaptationSet_list)與置換後的AdaptationSet之清單(after_AdaptationSet_list)，含入至MPD檔案中。例如，3個以上之物件音訊資料是被整合(混合)成1個物件音訊資料的此種情況下，也可利用此手法。
又，在上記中，雖然說明了從2個物件位置算出角度的例子，但亦可使用物件後設資料中所含之spread資訊，也可使用亦包含spread的角度資訊。在SupplementalProperty的value中進行訊令的情況下，則分別對object1、object2，追加spread資訊。具體而言，亦可將spread_width、spread_height、spread_radius，空白區隔方式而含入至MPD檔案中。若非空白區隔的情況下，則視為只有spread_width即可。
又，threshold_range，係亦可把水平方向(threshold_azimuth_range)、與垂直方向(threshold_elevation_range)分別含入至MPD檔案中。客戶端200的處理部210，係亦可只利用水平方向、只利用垂直方向、或雙方都利用。又，用來指定只利用水平方向、只利用垂直方向、或雙方都利用的資訊，亦可被包含在MPD檔案中。
＜＜6.會隨時間變化的物件選擇資訊之訊令例(實施例4)＞＞
以上說明了，所利用之物件音訊資料之組合不隨時間變化之情況下的物件選擇資訊之訊令例。接下來，說明所利用之物件音訊資料之組合會隨時間變化之情況下的物件選擇資訊之訊令例。此外，所利用之物件音訊資料之組合是否會隨時間變化，係可由例如內容之製作者做適宜地選擇。
MPEG-DASH所致之串流化傳遞中，可按照每一時刻地，把所利用之物件音訊資料之組合，或是必要之檔案之組合，儲存在內容檔案中而傳輸。此處，內容檔案係可為例如ISO/IEC 14496-12中所被規格定義的ISO base media file format(ISOBMFF)檔案(MP4檔案之一例)。
所利用之物件音訊資料之組合會隨時間變化的情況下，客戶端200係只要預先取得該ISOBMFF檔案，隨應於時刻而決定應取得之檔案即可。以下，關於會隨時間變化的物件選擇資訊之訊令，說明7個實施例(實施例4-1～實施例4-7)。以下所說明的實施例4-1～實施例4-7中係說明，物件選擇資訊是被儲存在，ISOBMFF檔案中所含之後設資料檔案中的例子。
＜6-1.已被擴充之後設資料檔案之實施例(實施例4-1)＞
首先，作為實施例4-1，說明已被擴充之後設資料檔案是被區段檔案生成部113所生成的例子。
首先，關於擴充前的後設資料檔案之結構之一例，參照圖29、圖30而加以說明。圖29、圖30係用來說明後設資料檔案之結構的說明圖。圖29所示的音訊檔案1(file1)，係如圖30所示，含有物件音訊資料1(obj1)和物件音訊資料2(obj2)。該音訊檔案1中，係在MHAMultiStreamBox(‘maeM’)中儲存有檔案之識別元streamID，是表示”1”。圖29所示的音訊檔案2(file2)，係如圖30所示般地含有物件音訊資料3(obj3)，streamID係表示”2”。
圖29所示的後設資料檔案(metadata file)，係含有音訊檔案1與音訊檔案2中所含之物件後設資料(metadata)。如圖30所示般地，後設資料檔案(metadata file)，係以sampleEntry(‘a3am’)的reference_streamID，來表示含有哪個檔案的物件後設資料。在此後設資料檔案中，根據sampleEntry(樣本條目)，表示含有2個檔案之物件後設資料(num_reference_streamID=2)，sample中所含之物件後設資料的第1個係為streamID=1之檔案的物件後設資料(reference_streamID=1)，第2個係為streamID=2之檔案的物件後設資料(reference_streamID=2)。圖31係為圖29、圖30所示的後設資料檔案之syntax的圖示。
此外，MHAMultiStreamBox之結構係示於圖61，3da_meta_data()之結構係示於圖62，DSE之結構係示於圖63。此外，圖63所示的，DSE中的data_stream_byte中所被儲存之3da_ancillary_data之結構，係示於圖64。但是，若相較於DSE的data_stream_byte的最大大小而3da_meta_data()之大小是比較大的情況下，則3da_meta_data()係被分割而儲存在複數DSE中。
在本實施例中，是將參照圖29～圖31所說明的後設資料檔案予以擴充。在本實施例中，區段檔案生成部113係生成，儲存用來選擇物件音訊資料所需之物件選擇資訊的，已被擴充之後設資料檔案。以下，參照圖32、圖33，說明本實施例中所被生成之已被擴充之後設資料檔案之一例。
圖32係本實施例所述之已被擴充之後設資料檔案之一例的圖示。又，圖33係本實施例所述之已被擴充之後設資料檔案之syntax的圖示。
如圖32、圖33所示，在已被擴充之後設資料檔案中，在moov箱盒的SampleEntry(‘a3am’)中係有objectSelectionMetadataConfigurationBox()，在mdat的sample中係有objectSelectionMetadata()被追加儲存。在所述之objectSelectionMetadataConfigurationBox()與objectSelectionMetadata()中，可以儲存物件選擇資訊。又，如圖33所示般地在已被擴充之後設資料檔案中，在objectSelectionMetadata()中係表示了各時刻的所利用之物件音訊資料或是檔案之組合。又，如圖33所示所示般地在已被擴充之後設資料檔案中，objectSelectionMetadataConfigurationBox()係儲存，被objectSelectionMetadata()所表示的物件音訊資料是被儲存在哪個檔案等之資訊。此外，objectSelectionMetadataConfigurationBox()與objectSelectionMetadata()之細節將於後述。
此外，參照圖32、圖33所說明的後設資料檔案之擴充，係於MPEG-H 3D Audio的後設資料檔案的情況下也可同樣為之。
＜6-2.物件選擇後設資料檔案之實施例(實施例4-2)＞
以上，作為實施例4-1，說明了已被擴充之後設資料檔案。接下來，作為實施例4-2，針對將物件選擇所需之專用的後設資料檔案(以下稱為物件選擇後設資料檔案)予以生成的例子，參照圖34、圖35而加以說明。於本實施例中，物件選擇後設資料檔案，係被區段檔案生成部113所生成，可以是只含物件選擇資訊的檔案。
圖34係本實施例所述之物件選擇後設資料檔案之一例的圖示。又，圖35係本實施例所述之物件選擇後設資料檔案之syntax的圖示。
如圖34、圖35所示，於物件選擇後設資料檔案中，在moov箱盒的SampleEntry中，係和上述的已被擴充之後設資料檔案同樣地，儲存有objectSelectionMetadataConfigurationBox()。又，如圖34、圖35所示，於物件選擇後設資料檔案中，在mdat的sample中係和上述的已被擴充之後設資料檔案同樣地，儲存有objectSelectionMetadata()。此外，objectSelectionMetadataConfigurationBox()與objectSelectionMetadata()之細節將於後述。
此外，參照圖34、圖35所說明的物件選擇後設資料檔案，係於MPEG-H 3D Audio的後設資料檔案的情況下也可同樣地生成。
＜6-3.使用視角的物件選擇資訊之儲存例(實施例4-3)＞
接下來，作為實施例4-3，說明將實施例1-1中所說明之使用視角的物件選擇資訊儲存在上述的後設資料檔案中的實施例。本實施例，係亦可和上述的實施例4-1、實施例4-2之任一者做組合。以下說明，本實施例所述之objectSelectionMetadataConfigurationBox與objectSelectionMetadata。
圖36係本實施例所述之objectSelectionMetadataConfigurationBox之一例的圖示。又，圖37係為表示圖36所示的objectSelectionMetadataConfigurationBox的value、與各value之詳細說明的表。如圖37所示，在圖36所示的objectSelectionMetadataConfigurationBox中，objectSelectionMetadata所示之object_id所被包含的音訊檔案是以stream_id而被表示，是其第幾個物件音訊資料則是以object_num_in_stream而被表示。於本實施例中，streamID(stream_id)，係為用來對物件音訊資料所被儲存之音訊檔案進行存取所需之資訊(以下亦稱為音訊檔案存取資訊)。又，既定(default)之所利用之物件音訊資料是以default_object_id而被表示。
圖38係本實施例所述之objectSelectionMetadata之一例的圖示。又，圖39係為表示圖38所示的objectSelectionMetadata的value、與各value之詳細說明的表。在圖38所示的objectSelectionMetadata中，將實施例3-1中的SupplementalProperty之數量，以mixed_object_list_num加以表示。又，其他參數係於實施例3-1中將表示AdaptationSet之清單的部分，以物件音訊資料之id(object_id)之清單(以下亦稱為物件清單)予以表示。藉由將本實施例與上述的實施例4-1、或是實施例4-2做組合，就可表示所取得之物件音訊資料之組合。
此外，本實施例所述之objectSelectionMetadata，係不限定於圖38、圖39所示的例子。例如，作為變形例，亦可取代圖38所示的objectSelectionMetadata的第14～17行，改為表示從objectSelectionMetadataConfigurationBox中所被表示之default object起算的差分。圖40係所述之objectSelectionMetadata之變形例的圖示。此外，圖40中係只圖示了，圖38所示的objectSelectionMetadata的第14～17行中被取代的部分。又，圖41係表示圖40所示的各value之詳細說明的表。
作為另一變形例，亦可為，作為方向資訊，是除了direction_azimuth、direction_elevation以外，還把direction_angle也含入至objectSelectionMetadata中。此處，direction_angle，係表示實施例1-1中所說明之從已切出之方向向量起算之角度。
作為再另一變形例係亦可為，作為方向資訊，不是把direction_azimuth、direction_elevation，而是把min_direction_azimuth_range、maz_direction_azimuth_range、min_direction_elevation_range、max_direction_elevation_range，含入至objectSelectionMetadata中。此處，
min_direction_azimuth_range、maz_direction_azimuth_range係表示實施例1-1中所說明之水平方向之角度的範圍，min_direction_elevation_range、max_direction_elevation_range係表示實施例1-1中所說明之垂直方向之角度的範圍。
作為再另一變形例係亦可為，作為切出視角資訊、及觀賞視角資訊，不是把min_clipping_azimuth_range、max_clipping_azimuth_range、min_clipping_elevation_range、max_clipping_elevation_range、max_viewing_azimuth_range、min_viewing_elevation_range、min_viewing_elevation_range，而是把min_clipping_magnification_range、max_clipping_magnification_range、min_viewing_magnification_range, max_viewing_magnification_range，含入至objectSelectionMetadata中。此處，min_clipping_magnification_range、max_clipping_magnification_range係表示實施例1-1中所說明之切出時之視角之倍率之範圍，min_viewing_magnification_range、max_viewing_magnification_range係表示實施例1-1中所說明之觀賞視角之倍率之範圍。
作為再另一變形例亦可為，在objectSelectionMetadataConfigurationBox與objectSelectionMetadata中，不是表示物件音訊資料之組合，而是表示檔案之組合。關於所述之變形例，參照圖42～圖45而加以說明。
圖42係本變形例所述之objectSelectionMetadataConfigurationBox之一例的圖示。又，圖43係為表示圖42所示的objectSelectionMetadataConfigurationBox的value、與各value之詳細說明的表。在圖42所示的objectSelectionMetadataConfigurationBox中，係不含有：物件音訊資料是被包含在哪個檔案中的資訊、和既定之所利用之物件音訊資料之資訊。然後，在圖42所示的objectSelectionMetadataConfigurationBox中，作為default_stream_id，是使用stream_id來表示既定(default)之狀態下所利用之音訊檔案之組合。圖44係本變形例所述之objectSelectionMetadata之一例的圖示。又，圖45係為表示圖44所示的objectSelectionMetadata的value、與各value之詳細說明的表。於圖44所示的objectSelectionMetadata中也是，不是物件音訊資料之組合，而是使用stream_id來表示音訊檔案之組合。於本變形例中也是，stream_id係為，用來對物件音訊資料所被儲存之音訊檔案進行存取所需之音訊檔案存取資訊。
若依據參照圖42～圖45所說明的本變形例，則具有即使客戶端200不進行所要取得之物件音訊資料所被包含之檔案之決定也無妨的優點。
＜6-4.使用了物件間之角度的物件選擇資訊之儲存例(實施例4-4)＞
以上，作為實施例4-3，說明了使用視角的物件選擇資訊的儲存例。接下來，作為實施例4-4，說明將實施例1-2中所說明之使用了物件間之角度的物件選擇資訊儲存在上述的後設資料檔案中的實施例。本實施例，係亦可和上述的實施例4-1、實施例4-2之任一者做組合。
於本實施例中，objectSelectionMetadataConfigurationBox，係亦可和上述的實施例4-3的objectSelectionMetadataConfigurationBox相同。以下說明，本實施例所述之objectSelectionMetadata。
圖46係本實施例所述之objectSelectionMetadata之一例的圖示。又，圖47係為表示圖46所示的objectSelectionMetadata的value、與各value之詳細說明的表。在圖46所示的objectSelectionMetadata中，將實施例3-2中的SupplementalProperty之數量，以mixed_object_list_num加以表示。又，其他參數係於實施例3-2中將表示AdaptationSet之清單的部分，以物件音訊資料之id(object_id)之清單予以表示。藉由將本實施例與上述的實施例4-1、或是實施例4-2做組合，就可表示所取得之物件音訊資料之組合。
此外，本實施例所述之objectSelectionMetadata，係不限定於圖46、圖47所示的例子。例如，作為變形例，亦可取代圖46所示的objectSelectionMetadata的第10～13行，改為含有將objectSelectionMetadataConfigurationBox中所被表示之default object予以置換前的物件之清單與置換後的物件之清單。圖48係所述之objectSelectionMetadata之變形例的圖示。此外，圖48中係只圖示了，圖46所示的objectSelectionMetadata的第10～13行中被取代的部分。又，圖49係表示圖48所示的各value之詳細說明的表。
作為另一變形例，亦可將物件之位置資訊，從物件後設資料加以取得。例如，本變形例所述之objectSelectionMetadata，係亦可取代object1_azimuth、object1_elevation、object2_azimuth、object2_elevation，而改為含有object1_id、object2_id。然後，亦可由客戶端200的處理部210，從物件後設資料取得azimuth、elevation。物件後設資料中不含objectSelectionMetadata的情況下，係只要將track reference予以擴充，並設定reference_type ’obmt’，指定物件後設資料之訊軌，以使得可以利用該訊軌之物件後設資料的方式予以訊令即可。
＜6-5.可選擇物件選擇資訊的訊令例(實施例4-5)＞
接下來，作為實施例4-5，說明於實施例4-3、實施例4-4中所說明的objectSelectionMetadataConfigurationBox中，藉由含入追加的資訊而可實現各式各樣之結構的例子。例如，在本實施例中，可將用來表示，是否如參照圖36所說明般地以物件音訊檔案之清單來表示，還是如參照圖42所說明般地以檔案(stream)之清單來表示的資訊，予以訊令。
圖50係本實施例所述之objectSelectionMetadataConfigurationBox之一例的圖示。又，圖51係為表示圖50所示的objectSelectionMetadataConfigurationBox的value、與各value之詳細說明的表。
圖50所示的objectSelectionMetadataConfigurationBox係含有用來表示這是圖36與圖42之哪種類型之objectSelectionMetadataConfigurationBox之訊令的旗標也就是list_is_object、與表示objectSelectionMetadata之結構的sample_type。藉由所述之構成，就可實現各式各樣的結構。
＜6-6.使用MPD檔案的訊令例(實施例4-6)＞
接下來，作為實施例4-6，說明將含有物件選擇資訊的ISOBMFF檔案以MPD檔案來做訊令的例子。本實施例中所說明的MPD檔案，係可由伺服器100的MPD檔案生成部114來生成。又，於本實施例中所被生成之MPD檔案中係儲存有，用來對含有物件選擇資訊的後設資料檔案進行存取所需之後設資料檔案存取資訊。
首先，作為實施例4-1而在上述的已被擴充之後設資料檔案中儲存物件選擇資訊的情況下，關於伺服器100的MPD檔案生成部114所生成之MPD檔案之例子，參照圖52而加以說明。圖52係於本實施例中所被生成之MPD檔案之一例的圖示。
在圖52的MPD檔案中，如第3行所示般地在Preselection的，SupplementalProperty中指定schemeIdUri為urn：mpeg：dash：objectAudio：objectMetadataFile，將後設資料檔案之AdaptationSet@id以value加以指定。又，在圖52的MPD檔案中如第12行所示般地，在含有後設資料檔案的AdaptationSet中，是在SupplementalProperty中指定schemeIdUri為urn：mpeg：dash：objectAudio：objectMetadataStreamID，可表示streamID與AdaptationSet之關連。
接下來，作為實施例4-2而在上述的物件選擇後設資料檔案中儲存物件選擇資訊的情況下關於伺服器100的MPD檔案生成部114所生成之MPD檔案之例子，參照圖53而加以說明。圖53係於本實施例中所被生成之MPD檔案之一例的圖示。
在圖53的MPD檔案中，是如第4行所示般地，在Preselection的SupplementalProperty中指定schemeIdUri為urn：mpeg：dash：objectAudio：objectSelectionMetadataFile，將物件選擇後設資料檔案之AdaptationSet@id以value加以指定。在圖53的MPD檔案中係表示，AdaptationSet@id=“m2”。又，在圖53的MPD檔案中，係如第19行所示般地，在物件選擇後設資料檔案的AdaptationSet(AdaptationSet@id=“m2”)中，是在SupplementalProperty中將schemeIdUri為urn：mpeg：dash：objectAudio：objectMetadataFile予以訊令。這是因為，在objectSelectionMetadata中，「儲存有使用了顯示時的2個物件間之角度的物件選擇資訊」的情況下，為了求出2個物件間的角度而必須參照後設資料檔案的情況時所必須。在SupplementalProperty中schemeIdUri為urn：mpeg：dash：objectAudio：objectMetadataStreamID之訊令係被利用來表示，在物件選擇後設資料檔案內所被訊令之stream_id是哪個AdaptationSet之檔案。
此外，在Preselection的SupplementalProperty中將schemeIdUri為urn：mpeg：dash：objectAudio：objectSelectionMetadataFile予以訊令的這件事情，係在參照圖52所說明之在已被擴充之後設資料檔案中儲存有物件選擇資訊的情況下，亦可適用。
又，在物件選擇後設資料檔案的AdaptationSet(AdaptationSet@id=“m2”)中，在SupplementalProperty中將schemeIdUri為urn：mpeg：dash：objectAudio：objectMetadataFile做訊令的部分，係亦可以Representation的associationId來表示。關於所述之例子，參照圖54而加以說明。圖54係於本實施例中所被生成之MPD檔案之另一例的圖示。
在圖54所示的MPD檔案中，取代圖53所示的MPD檔案之第21行的＜Representation id=“op2”＞，改為表示了＜Representation id=“op2” associationId=“op1”＞。在圖54所示的MPD檔案中，在物件選擇後設資料檔案的AdaptationSet(AdaptationSet@id=“m2”)的SupplementalProperty中，不將schemeIdUri為urn：mpeg：dash：objectAudio：objectMetadataFile利用於訊令。
＜6-7.客戶端所取得之檔案的選擇例(實施例4-7)＞
接下來，作為實施例4-7，說明客戶端200的處理部210所取得之檔案的選擇方法。圖55係客戶端所取得之檔案的選擇方法之一例的流程圖。此外，圖55中係圖示，在參照圖32～圖33所說明的已被擴充之後設資料檔案中，如參照圖36～圖39所說明般地儲存物件選擇資訊，以參照圖52所說明之MPD檔案做了訊令時的選擇方法之例子。又，圖55所示的
首先，如圖55所示，處理部210，係根據MPD檔案的Preselection的SupplementalProperty中schemeIdUri為”urn：mpeg：dash：objectAudio：objectMetadataFile”的value，特定出後設資料檔案的AdaptationSet，從伺服器100取得後設資料檔案(S402)。接下來，處理部210係取得客戶端200所顯示之切出影像的切出方向、切出視角、及目前的觀賞視角之資訊(S404)。接下來，處理部210係從步驟S402中所取得之後設資料檔案，取得目前的objectSelectionMetadata(S406)。
甚至，處理部210，係基於步驟S406中所取得之objectSelectionMetadata，而特定出符合目前之顯示狀態的物件清單(S408)。例如，於步驟S408中所被特定之物件清單係亦可為，direction_azimuth、direction_elevation之值是接近於客戶端200所顯示之切出影像之切出方向的物件清單。又，於步驟S408中所被特定之物件清單係亦可為，客戶端200所顯示之切出影像之切出視角是被包含在以min_clipping_azimuth_range、
man_clipping_azimuth_range、
min_clipping_elevation_range、
min_clipping_elevation_range而被表示之視角範圍內的物件清單。甚至，步驟S408中所被特定之物件清單係亦可為，目前的觀賞視角是被包含在以min_viewing_azimuth_range、
max_viewing_azimuth_range、
min_viewing_elevation_range、
max_viewing_elevation_range而被表示之視角範圍內的物件清單。此外，在沒有符合上記條件的物件清單存在的情況下，則於步驟S408中處理部210係亦可不特定出任何物件清單。
在符合目前之顯示狀態的物件清單是有被特定出來的情況下(S410中YES)，處理部210係將已被特定之物件清單的object_id，加以取得。(S412)。另一方面，符合目前之顯示狀態的物件清單沒有被特定出來的情況下(S410中NO)，則處理部210係取得sampleEntry的default_object_id。(S414)。
接下來，處理部210，係從sampleEntry的objectSelectionMetadataConfigurationBox，取得各object_id所屬之stream的stream_id(S416)。然後，處理部210係基於urn：mpeg：dash：objectAudio：objectMetadataStreamID的stream_id，選擇所要取得之AdaptationSet(檔案)(S418)。
此外，圖55所示的步驟S402～S418之處理，係可藉由例如區段檔案選擇部213而被執行。
＜＜7.應用例＞＞
以上說明了本揭露的一實施形態。於本揭露中，上述的技術(本技術)，係可對各式各樣的內容做應用，例如亦可對可在複數觀賞位置進行觀賞的Multi View內容做應用。以下說明，將本技術應用於Multi View內容時的應用例。
圖56～圖58係用來說明本應用例的說明圖。以下，如圖56所示，針對有3個物件音訊資料AD21～AD23存在，且有2處觀賞位置VP1、VP2存在的情況，加以說明。
如圖57所示，在觀賞位置VP1進行觀賞的情況下，物件音訊資料AD21與物件音訊資料AD22看起來會重疊。於是，準備了將物件音訊資料AD21與物件音訊資料AD22予以整合而成的物件音訊資料AD24。然後，配合顯示狀態而可能會有：利用3個物件音訊資料AD21～AD23的情況、與利用2個物件音訊資料AD23、AD24的情況。
另一方面，如圖58所示，在觀賞位置VP2進行觀賞的情況下，物件音訊資料AD22與物件音訊資料AD23看起來會重疊。於是，準備了將物件音訊資料AD22與物件音訊資料AD23予以整合而成的物件音訊資料AD25。然後，配合顯示狀態而可能會有：利用3個物件音訊資料AD21～AD23的情況、與利用2個物件音訊資料AD22、AD25的情況。
如參照圖56～圖58所說明，考慮隨著觀賞位置而所利用之物件音訊資料會有所不同的情況。如此的情況下，也是和上記實施形態同樣地，只要隨著每一觀賞位置來指定所利用之物件音訊資料即可。關於所述之情況下所被生成的MPD檔案之一例，參照圖59來說明。圖59係所利用之物件音訊資料會隨觀賞位置而不同的情況下所被生成之MPD檔案之一例的圖示。此外，圖59中係針對所利用之物件音訊資料不隨時間變化的情況下所被生成的MPD檔案之例子，加以圖示。
在圖59所示的例子中，係使用Viewpoint(Multi View內容中所被利用的既存之Element)來識別觀賞位置。Viewpoint之每一者，係表示每種顯示狀態的AdaptationSet之組合。對應於觀賞位置VP1的view1係以Preselection@id=“1”而被表示，既定之物件音訊資料之組合係以o1、o2、o3而被表示，作為其他組合則是以o3、o4在SupplementalProperty中被表示。對應於觀賞位置VP2的view2係以Preselection@id=“2”而被表示，既定之物件音訊資料之組合係以o1、o2、o3而被表示，作為其他組合則是以o2、o5在SupplementalProperty中被表示。
又，上述的手法，係亦可應用於自由視點內容。自由視點內容，係在某個空間內可在自由的位置上進行觀賞的內容。首先，準備Multi View內容，決定在複數觀賞位置上所利用之物件音訊資料之組合。此時，假設是以Viewpoint的value來將位置座標予以訊令等等，而表示了各視點位置。在再生時，係從欲觀賞的視點位置起，在Viewpoint中所含之視點位置之中，選擇最接近的Viewpoint的Preselection，根據其Preselection中的後設資訊而決定所要利用之物件即可。
＜＜8.硬體構成例＞＞
以上說明了本揭露的實施形態。最後，參照圖60，說明本揭露的實施形態所述之資訊處理裝置的硬體構成。圖60係本揭露之實施形態所述之資訊處理裝置的硬體構成之一例的區塊圖。此外，圖60所示的資訊處理裝置900，係可實現例如圖8、圖9中所分別圖示的伺服器100、客戶端200。本揭露的實施形態所述之伺服器100、客戶端200所致之資訊處理，係可藉由軟體、和以下所說明的硬體的合作，而被實現。
如圖60所示，資訊處理裝置900係具備：CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及主匯流排904a。又，資訊處理裝置900係具備：橋接器904、外部匯流排904b、介面905、輸入裝置906、輸出裝置907、儲存裝置908、驅動機909、連接埠911、通訊裝置913、及感測器915。資訊處理裝置900，係亦可不具CPU901，或是連同其而另外具有DSP或ASIC等之處理電路。
CPU901，係成為演算處理裝置及控制裝置而發揮機能，依照各種程式來控制資訊處理裝置900內的整體動作。又，CPU901係亦可為微處理器。ROM902係記憶著，CPU901所使用的程式或演算參數等。RAM903，係將CPU901之執行時所使用的程式、或其執行時會適宜變化的參數等，予以暫時記憶。CPU901係可形成例如：生成部110、控制部120、處理部210、控制部220。
CPU901、ROM902及RAM903，係藉由包含CPU匯流排等的主匯流排904a，而被相互連接。主匯流排904a，係透過橋接器904，而被連接至PCI(Peripheral Component Interconnect/Interface)匯流排等之外部匯流排904b。此外，主匯流排904a、橋接器904及外部匯流排904b並不一定要是分離構成，亦可在1個匯流排內實作這些機能。
輸入裝置906係藉由例如：滑鼠、鍵盤、觸控面板、按鈕、麥克風、開關及搖桿等，可藉由使用者而輸入資訊的裝置，而被實現。又，輸入裝置906，係例如，可為利用紅外線或其他電波的遙控裝置，也可為支援資訊處理裝置900之操作的行動電話或PDA等之外部連接機器。甚至，輸入裝置906係亦可含有例如：基於使用者使用上記輸入手段所輸入之資訊而生成輸入訊號，而對CPU901輸出的輸入控制電路等。資訊處理裝置900的使用者，係藉由操作該輸入裝置906，就可對資訊處理裝置900輸入各種資料、或指示處理動作等等。
輸出裝置907，係由可將所取得之資訊對使用者以視覺性或聽覺性來進行通知的裝置而被形成。作為如此的裝置係有：CRT顯示裝置、液晶顯示裝置、電漿顯示裝置、EL顯示裝置及燈泡等之顯示裝置、或揚聲器及耳機等之聲音輸出裝置、或印表機裝置等。輸出裝置907，係例如將資訊處理裝置900所進行之各種處理而取得的結果，加以輸出。具體而言，顯示裝置係將資訊處理裝置900所進行之各種處理而取得的結果，以文字、影像、表、圖形等，以各式各樣的形式，做視覺性地顯示。另一方面，聲音輸出裝置，係將已被再生之聲音資料或音響資料等所成的音訊訊號，轉換成類比訊號而做聽覺性地輸出。輸出裝置907係可形成例如顯示部260、揚聲器270。
儲存裝置908，係作為資訊處理裝置900的記憶部之一例而被形成的資料儲存用的裝置。儲存裝置908係藉由例如HDD等之磁性記憶部裝置、半導體記憶裝置、光記憶裝置、或光磁性記憶裝置等而被實現。儲存裝置908，係亦可含有：記憶媒體、對記憶媒體記錄資料的記錄裝置、從記憶媒體讀出資料的讀出裝置及將記憶媒體中所記憶之資料予以刪除的刪除裝置等。該儲存裝置908，係儲存著CPU901所執行的程式或各種資料、及從外部取得的各種資料等。上記儲存裝置908係可形成例如記憶部140、記憶部240。
驅動機909，係為記憶媒體用讀寫機，可內建於資訊處理裝置900，或是外接。驅動機909，係將所被裝著的磁碟、光碟、光磁碟、或半導體記憶體等之可移除式記憶媒體中所記錄的資訊予以讀出，並輸出至RAM903。又，驅動機909係亦可對可移除式記憶媒體寫入資訊。
連接埠911，係為與外部機器連接的介面，係為例如藉由USB(Universal Serial Bus)等而可進行資料傳輸的外部機器之連接口。
通訊裝置913係為例如是由用來連接至網路920所需之通訊裝置等所形成的通訊介面。通訊裝置913係為例如：有線或無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(註冊商標)或WUSB(Wireless USB)用之通訊卡等。又，通訊裝置913係亦可為光通訊用的路由器、ADSL(Asymmetric Digital Subscriber Line)用的路由器、或各種通訊用的數據機等。該通訊裝置913係例如，與網際網路或其他通訊機器之間，依照TCP/IP等所定之協定，而收送訊號等。通訊裝置913係可形成例如：通訊部130、通訊部230。
感測器915係為，例如：加速度感測器、陀螺儀感測器、地磁感測器、光感測器、聲音感測器、測距感測器、力感測器等之各種感測器。感測器915係取得資訊處理裝置900的姿勢、移動速度等，關於資訊處理裝置900自身之狀態的資訊、或資訊處理裝置900的週邊的明亮度或雜音等，關於資訊處理裝置900之週邊環境的資訊。又，感測器915係亦可含有，接收GPS訊號而測定裝置之緯度、經度及高度的GPS感測器。感測器915係可形成例如感測器部250。
此外，網路920係為，從被連接在網路920上之裝置所發送之資訊的有線、或無線的傳輸路。例如，網路920係亦可包含網際網路、電話線網路、衛星通訊網等之公眾線路網、或包含Ethernet(註冊商標)的各種LAN(Local Area Network)、WAN(Wide Area Network)等。又，網路920係亦可包含IP-VPN(Internet Protocol-Virtual Private Network)等之專用線路網。
以上揭露了，可實現本揭露之實施形態所述之資訊處理裝置900之機能的硬體構成之一例。上記的各構成要素，係可使用一般的構件來實現，也可由對各構成要素之機能做過特化的硬體來實現。因此，可隨著實施本揭露之實施形態的當時的技術水準，適宜地變更所利用的硬體構成。
此外，可製作用以實現如上述之本揭露之實施形態所述之資訊處理裝置900之各機能所需的電腦程式，安裝至PC等。又，也可提供儲存有此種電腦程式的電腦可讀取之記錄媒體。記錄媒體，係例如為磁碟、光碟、光磁碟、快閃記憶體等。又，上記的電腦程式，係不使用記錄媒體，亦可例如透過網路來傳遞。
＜＜9.總結＞＞
如以上說明，若依據本揭露的實施形態，則可隨著顯示狀態而選擇物件音訊資料。例如，將物件音訊資料以MPEG-DASH進行串流化傳遞之際，可使其從所處之觀賞環境的較適切之位置，聽見聲音。又，拉近或拉遠等，顯示狀態有所改變的情況下，可配合當時的映像，令人體驗到從適切的位置聽見聲音。甚至，可將物件音訊資料予以檔案化，使得伺服器所記憶之資料量、和客戶端所取得之檔案數之雙方都能受到抑制。因此，傳輸量會降低，例如亦可提升其他要取得之資料的位元速率。
以上雖然一面參照添附圖式一面詳細說明了本揭露的理想實施形態，但本揭露之技術範圍並非限定於所述例子。只要是本揭露之技術領域中具有通常知識者，自然可於申請專利範圍中所記載之技術思想的範疇內，想到各種變更例或修正例，而這些當然也都屬於本揭露的技術範圍。
又，本說明書中所記載之效果僅為說明或例示，並非限定。亦即，本揭露所述之技術，係亦可連同上記效果、或取代上記效果，而達成根據本說明書之記載而由當業者所自明的其他效果。
此外，如以下的構成也是屬於本揭露的技術範圍。
(1)
一種資訊處理裝置，係具備：
生成部，係生成儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案；和
送訊部，係發送前記管理檔案。
(2)
如前記(1)所記載之資訊處理裝置，其中，前記生成部係為，前記物件選擇資訊之相關資訊係含有前記物件選擇資訊。
(3)
如前記(1)或(2)所記載之資訊處理裝置，其中，
前記生成部係生成含有前記物件選擇資訊的後設資料檔案；
前記物件選擇資訊之相關資訊係含有：用來對已被生成之前記後設資料檔案進行存取所需之後設資料檔案存取資訊。
(4)
如前記(1)～(3)之任一項所記載之資訊處理裝置，其中，前記管理檔案係為MPD(Media Presentation Description)檔案。
(5)
如前記(3)所記載之資訊處理裝置，其中，
前記管理檔案係為MPD(Media Presentation Description)檔案；
前記後設資料檔案存取資訊係被儲存在前記MPD檔案的AdaptationSet中。
(6)
如前記(5)所記載之資訊處理裝置，其中，前記後設資料檔案存取資訊係被儲存在前記AdaptationSet的SupplementalProperty中。
(7)
如前記(1)～(6)之任一項所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：關於已切出之影像之方向的方向資訊。
(8)
如前記(7)所記載之資訊處理裝置，其中，前記方向資訊係含有：水平方向之角度的資訊和垂直方向之角度的資訊。
(9)
如前記(8)所記載之資訊處理裝置，其中，前記方向資訊係還含有：根據已切出之方向向量而來的角度範圍之資訊。
(10)
如前記(7)所記載之資訊處理裝置，其中，前記方向資訊係含有：水平方向之角度的範圍之資訊和垂直方向之角度的範圍之資訊。
(11)
如前記(1)～(10)之任一項所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：關於已切出之影像之視角、或對已被顯示之影像的觀賞時之視角的視角資訊。
(12)
如前記(11)所記載之資訊處理裝置，其中，前記視角資訊係含有：水平視角的範圍之資訊和垂直視角的範圍之資訊。
(13)
如前記(11)所記載之資訊處理裝置，其中，前記視角資訊係含有：相對於基準視角之倍率的範圍之資訊。
(14)
如前記(1)～(6)之任一項所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：用來算出角度的2個物件的位置資訊。
(15)
如前記(14)所記載之資訊處理裝置，其中，前記物件選擇資訊係還含有：關於前記2個物件間之角度的角度資訊。
(16)
如前記(1)～(15)之任一項所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：關於所利用之前記物件音訊資料的資訊。
(17)
如前記(1)～(16)之任一項所記載之資訊處理裝置，其中，前記生成部，係基於前記顯示狀態所相應之前記物件音訊資料之組合，而以使得同一物件音訊資料不會被包含在複數音訊檔案中的方式，生成前記音訊檔案。
(18)
一種藉由資訊處理裝置而被執行的資訊處理方法，係含有：
生成儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案之步驟；和
發送前記管理檔案之步驟。
(19)
一種程式，其係用來使電腦實現：
生成儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案之機能；和
發送前記管理檔案之機能。
(20)
一種資訊處理裝置，係具備：收訊部，係接收儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案。
(21)
如前記(20)所記載之資訊處理裝置，其中，前記物件選擇資訊之相關資訊係含有前記物件選擇資訊。
(22)
如前記(20)或(21)所記載之資訊處理裝置，其中，前記物件選擇資訊之相關資訊係含有：用來對含有前記物件選擇資訊的後設資料檔案進行存取所需之後設資料檔案存取資訊。
(23)
如前記(20)～(22)之任一項所記載之資訊處理裝置，其中，前記管理檔案係為MPD(Media Presentation Description)檔案。
(24)
如前記(22)所記載之資訊處理裝置，其中，
前記管理檔案係為MPD(Media Presentation Description)檔案；
前記後設資料檔案存取資訊係被儲存在前記MPD檔案的AdaptationSet中。
(25)
如前記(24)所記載之資訊處理裝置，其中，前記後設資料檔案存取資訊係被儲存在前記AdaptationSet的SupplementalProperty中。
(26)
如前記(20)～(25)之任一項所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：關於已切出之影像之方向的方向資訊。
(27)
如前記(26)所記載之資訊處理裝置，其中，前記方向資訊係含有：水平方向之角度的資訊和垂直方向之角度的資訊。
(28)
如前記(27)所記載之資訊處理裝置，其中，前記方向資訊係還含有：根據已切出之方向向量而來的角度範圍之資訊。
(29)
如前記(26)所記載之資訊處理裝置，其中，前記方向資訊係含有：水平方向之角度的範圍之資訊和垂直方向之角度的範圍之資訊。
(30)
如前記(20)～(29)之任一項所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：關於已切出之影像之視角、或對已被顯示之影像的觀賞時之視角的視角資訊。
(31)
如前記(30)所記載之資訊處理裝置，其中，前記視角資訊係含有：水平視角的範圍之資訊和垂直視角的範圍之資訊。
(32)
如前記(30)所記載之資訊處理裝置，其中，前記視角資訊係含有：相對於基準視角之倍率的範圍之資訊。
(33)
如前記(20)～(26)之任一項所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：用來算出角度的2個物件的位置資訊。
(34)
如前記(33)所記載之資訊處理裝置，其中，前記物件選擇資訊係還含有：關於前記2個物件間之角度的角度資訊。
(35)
如前記(20)～(34)之任一項所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：關於所利用之前記物件音訊資料的資訊。
(36)
一種藉由資訊處理裝置而被執行的資訊處理方法，係含有：接收儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案之步驟。
(37)
一種程式，其係用來使電腦實現：
接收儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案之機能。
100‧‧‧伺服器
110‧‧‧生成部
111‧‧‧資料取得部
112‧‧‧編碼處理部
113‧‧‧區段檔案生成部
114‧‧‧檔案生成部
120‧‧‧控制部
130‧‧‧通訊部
140‧‧‧記憶部
200‧‧‧客戶端
210‧‧‧處理部
211‧‧‧檔案取得部
212‧‧‧檔案處理部
213‧‧‧區段檔案選擇部
214‧‧‧區段檔案取得部
215‧‧‧解碼處理部
216‧‧‧合成處理部
220‧‧‧控制部
230‧‧‧通訊部
240‧‧‧記憶部
250‧‧‧感測器部
260‧‧‧顯示部
270‧‧‧揚聲器
300‧‧‧通訊網
900‧‧‧資訊處理裝置
901‧‧‧CPU
902‧‧‧ROM
903‧‧‧RAM
904‧‧‧橋接器
904a‧‧‧主匯流排
904b‧‧‧外部匯流排
905‧‧‧介面
906‧‧‧輸入裝置
907‧‧‧輸出裝置
908‧‧‧儲存裝置
909‧‧‧驅動機
911‧‧‧連接埠
913‧‧‧通訊裝置
915‧‧‧感測器
920‧‧‧網路
[圖1]用來說明本揭露之背景的說明圖。
[圖2]用來說明本揭露之背景的說明圖。
[圖3]用來說明影像之顯示狀態與物件音訊資料之關係的說明圖。
[圖4A]用來說明第1比較手法所致之音訊資料之傳遞的說明圖。
[圖4B]用來說明第2比較手法所致之音訊資料之傳遞的說明圖。
[圖5]用來說明本揭露之一實施形態所述之提案手法之概要的說明圖。
[圖6]用來說明即使顯示狀態沒有變化，隨著時刻而所利用之物件音訊資料之組合會有所變化之例子的說明圖。
[圖7]該實施形態所述之資訊處理系統之系統構成例的區塊圖。
[圖8]該實施形態所述之伺服器100的機能構成例的區塊圖。
[圖9]該實施形態所述之客戶端200的機能構成例的區塊圖。
[圖10A]用來說明令解碼影像直接被顯示於顯示部260時所利用的物件音訊資料的說明圖。
[圖10B]用來說明令將解碼影像予以切出所得之切出影像被顯示於顯示部260時所利用的物件音訊資料的說明圖。
[圖11]用來說明觀賞時的視角之差異所致之，所利用之物件音訊資料之差異的說明圖。
[圖12]客戶端200基於物件選擇資訊而將所利用之物件音訊資料加以選擇並取得之方法的流程圖。
[圖13]用來說明物件間之角度的說明圖。
[圖14]客戶端200基於物件選擇資訊而將所利用之物件音訊資料加以選擇並取得之方法的流程圖。
[圖15]檔案化之流程的流程圖。
[圖16]用來說明檔案化之具體例的說明圖。
[圖17]用來說明檔案化之具體例的說明圖。
[圖18]用來說明檔案化之具體例的說明圖。
[圖19]表示所被訊令之value與各value之詳細說明(description)的表。
[圖20]MPD檔案生成部114所生成的MPD檔案之一例的圖示。
[圖21]表示圖20所示的MPD檔案中的各資訊的表。
[圖22]客戶端200所取得之AdaptationSet的選擇方法之一例的流程圖。
[圖23]MPD檔案生成部114所生成的MPD檔案之一例的圖示。
[圖24]表示所被訊令之value與各value之詳細說明(description)的表。
[圖25]MPD檔案生成部114所生成的MPD檔案之一例的圖示。
[圖26]表示圖25所示的MPD檔案中的各資訊的表。
[圖27]客戶端200所取得之AdaptationSet的選擇方法之一例的流程圖。
[圖28]MPD檔案生成部114所生成的MPD檔案之一例的圖示。
[圖29]用來說明後設資料檔案之結構的說明圖。
[圖30]用來說明後設資料檔案之結構的說明圖。
[圖31]圖29、圖30所示的後設資料檔案之syntax的圖示。
[圖32]已被擴充之後設資料檔案之一例的圖示。
[圖33]已被擴充之後設資料檔案之syntax的圖示。
[圖34]物件選擇後設資料檔案之一例的圖示。
[圖35]物件選擇後設資料檔案之syntax的圖示。
[圖36]objectSelectionMetadataConfigurationBox之一例的圖示。
[圖37]表示圖36所示的objectSelectionMetadataConfigurationBox的value、與各value之詳細說明的表。
[圖38]objectSelectionMetadata之一例的圖示。
[圖39]表示圖38所示的objectSelectionMetadata的value、與各value之詳細說明的表。
[圖40]objectSelectionMetadata之變形例的圖示。
[圖41]表示圖40所示的各value之詳細說明的表。
[圖42]objectSelectionMetadataConfigurationBox之一例的圖示。
[圖43]表示圖42所示的objectSelectionMetadataConfigurationBox的value、與各value之詳細說明的表。
[圖44]objectSelectionMetadata之一例的圖示。
[圖45]表示圖44所示的objectSelectionMetadata的value、與各value之詳細說明的表。
[圖46]objectSelectionMetadata之一例的圖示。
[圖47]表示圖46所示的objectSelectionMetadata的value、與各value之詳細說明的表。
[圖48]objectSelectionMetadata之變形例的圖示。
[圖49]表示圖48所示的各value之詳細說明的表。
[圖50]objectSelectionMetadataConfigurationBox之一例的圖示。
[圖51]表示圖50所示的objectSelectionMetadataConfigurationBox的value、與各value之詳細說明的表。
[圖52]所被生成之MPD檔案之一例的圖示。
[圖53]所被生成之MPD檔案之一例的圖示。
[圖54]所被生成之MPD檔案之其他例的圖示。
[圖55]客戶端所取得之檔案的選擇方法之一例的流程圖。
[圖56]用來說明應用例的說明圖。
[圖57]用來說明應用例的說明圖。
[圖58]用來說明應用例的說明圖。
[圖59]所利用之物件音訊資料會隨觀賞位置而不同的情況下所被生成之MPD檔案之一例的圖示。
[圖60]硬體構成例的說明圖。
[圖61]MHAMultiStreamBox之結構的圖示。
[圖62]3da_meta_data()之結構的圖示。
[圖63]DSE之結構的圖示。
[圖64]DSE中的data_stream_byte中所被儲存之3da_ancillary_data之結構的圖示。

Claims (19)

  1. 一種資訊處理裝置，係具備： 生成部，係生成儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案；和 送訊部，係發送前記管理檔案。
  2. 如請求項1所記載之資訊處理裝置，其中，前記生成部係為，前記物件選擇資訊之相關資訊係含有前記物件選擇資訊。
  3. 如請求項1所記載之資訊處理裝置，其中， 前記生成部係生成含有前記物件選擇資訊的後設資料檔案； 前記物件選擇資訊之相關資訊係含有：用來對已被生成之前記後設資料檔案進行存取所需之後設資料檔案存取資訊。
  4. 如請求項1所記載之資訊處理裝置，其中，前記管理檔案係為MPD(Media Presentation Description)檔案。
  5. 如請求項3所記載之資訊處理裝置，其中， 前記管理檔案係為MPD(Media Presentation Description)檔案； 前記後設資料檔案存取資訊係被儲存在前記MPD檔案的AdaptationSet中。
  6. 如請求項5所記載之資訊處理裝置，其中，前記後設資料檔案存取資訊係被儲存在前記AdaptationSet的SupplementalProperty中。
  7. 如請求項1所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：關於已切出之影像之方向的方向資訊。
  8. 如請求項7所記載之資訊處理裝置，其中，前記方向資訊係含有：水平方向之角度的資訊和垂直方向之角度的資訊。
  9. 如請求項8所記載之資訊處理裝置，其中，前記方向資訊係還含有：根據已切出之方向向量而來的角度範圍之資訊。
  10. 如請求項7所記載之資訊處理裝置，其中，前記方向資訊係含有：水平方向之角度的範圍之資訊和垂直方向之角度的範圍之資訊。
  11. 如請求項1所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：關於已切出之影像之視角、或對已被顯示之影像的觀賞時之視角的視角資訊。
  12. 如請求項11所記載之資訊處理裝置，其中，前記視角資訊係含有：水平視角的範圍之資訊和垂直視角的範圍之資訊。
  13. 如請求項11所記載之資訊處理裝置，其中，前記視角資訊係含有：相對於基準視角之倍率的範圍之資訊。
  14. 如請求項1所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：用來算出角度的2個物件的位置資訊。
  15. 如請求項14所記載之資訊處理裝置，其中，前記物件選擇資訊係還含有：關於前記2個物件間之角度的角度資訊。
  16. 如請求項1所記載之資訊處理裝置，其中，前記物件選擇資訊係含有：關於所利用之前記物件音訊資料的資訊。
  17. 如請求項1所記載之資訊處理裝置，其中，前記生成部，係基於前記顯示狀態所相應之前記物件音訊資料之組合，而以使得同一物件音訊資料不會被包含在複數音訊檔案中的方式，生成前記音訊檔案。
  18. 一種藉由資訊處理裝置而被執行的資訊處理方法，係含有： 生成儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案之步驟；和 發送前記管理檔案之步驟。
  19. 一種程式，其係用來使電腦實現： 生成儲存有：用來選擇影像之顯示狀態所相應之物件音訊資料所需之物件選擇資訊之相關資訊的管理檔案之機能；和 發送前記管理檔案之機能。
TW108109216A 2018-03-29 2019-03-19 資訊處理裝置、資訊處理方法、及程式 TW201942821A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018065012 2018-03-29
JP2018-065012 2018-03-29

Publications (1)

Publication Number Publication Date
TW201942821A true TW201942821A (zh) 2019-11-01

Family

ID=68059782

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108109216A TW201942821A (zh) 2018-03-29 2019-03-19 資訊處理裝置、資訊處理方法、及程式

Country Status (7)

Country Link
US (2) US11323757B2 (zh)
EP (1) EP3780628A1 (zh)
JP (1) JP7396267B2 (zh)
KR (1) KR20200136393A (zh)
CN (1) CN111903135A (zh)
TW (1) TW201942821A (zh)
WO (1) WO2019187437A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11616822B2 (en) * 2019-09-30 2023-03-28 Tencent America LLC Session-based information for dynamic adaptive streaming over HTTP
CN114731459A (zh) * 2019-11-20 2022-07-08 杜比国际公司 用于个性化音频内容的方法和设备
US11451602B2 (en) * 2021-01-06 2022-09-20 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
US20050198193A1 (en) * 2004-02-12 2005-09-08 Jaakko Halme System, method, and apparatus for creating metadata enhanced media files from broadcast media
JP4304108B2 (ja) * 2004-03-31 2009-07-29 株式会社東芝 メタデータ配信装置、動画再生装置および動画再生システム
JP5230096B2 (ja) * 2006-12-27 2013-07-10 キヤノン株式会社 映像音声出力装置及び映像音声出力方法
US8625607B2 (en) * 2007-07-24 2014-01-07 Time Warner Cable Enterprises Llc Generation, distribution and use of content metadata in a network
KR101596504B1 (ko) * 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
US9007524B2 (en) * 2012-09-25 2015-04-14 Intel Corporation Techniques and apparatus for audio isolation in video processing
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
RU2630754C2 (ru) * 2013-05-24 2017-09-12 Долби Интернешнл Аб Эффективное кодирование звуковых сцен, содержащих звуковые объекты
EP3013064B1 (en) * 2013-07-19 2019-03-13 Sony Corporation Information processing device and method
EP2830049A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2830045A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
KR102327504B1 (ko) * 2013-07-31 2021-11-17 돌비 레버러토리즈 라이쎈싱 코오포레이션 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
KR20150068112A (ko) * 2013-12-11 2015-06-19 삼성전자주식회사 오디오를 추적하기 위한 방법 및 전자 장치
EP3151240B1 (en) 2014-05-30 2022-12-21 Sony Group Corporation Information processing device and information processing method
US20170127073A1 (en) * 2014-06-30 2017-05-04 Sony Corporation Information processing device and method
EP3163570A4 (en) * 2014-06-30 2018-02-14 Sony Corporation Information processor and information-processing method
CN106797499A (zh) * 2014-10-10 2017-05-31 索尼公司 编码装置和方法、再现装置和方法以及程序
KR102605480B1 (ko) 2014-11-28 2023-11-24 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR20160093404A (ko) * 2015-01-29 2016-08-08 한국전자통신연구원 캐릭터 선택적 오디오 줌인을 제공하는 멀티미디어 콘텐츠 서비스 방법 및 장치
WO2016182371A1 (ko) * 2015-05-12 2016-11-17 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP6673346B2 (ja) * 2015-05-18 2020-03-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10693936B2 (en) * 2015-08-25 2020-06-23 Qualcomm Incorporated Transporting coded audio data
CN114189793B (zh) * 2016-02-04 2024-03-19 奇跃公司 增强现实系统中定向音频的技术
WO2017140948A1 (en) * 2016-02-17 2017-08-24 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
KR101798321B1 (ko) 2016-02-19 2017-11-15 서울과학기술대학교 산학협력단 자유 시점 방송의 송수신 장치 및 방법
KR20170106063A (ko) * 2016-03-11 2017-09-20 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
EP3301951A1 (en) * 2016-09-30 2018-04-04 Koninklijke KPN N.V. Audio object processing based on spatial listener information
GB201800918D0 (en) * 2018-01-19 2018-03-07 Nokia Technologies Oy Associated spatial audio playback
CN112205005B (zh) * 2018-05-23 2022-06-24 皇家Kpn公司 使声学渲染适应基于图像的对象
GB2593117A (en) * 2018-07-24 2021-09-22 Nokia Technologies Oy Apparatus, methods and computer programs for controlling band limited audio objects
KR20220062621A (ko) * 2019-09-17 2022-05-17 노키아 테크놀로지스 오와이 공간적 오디오 파라미터 인코딩 및 관련 디코딩
DE112020005550T5 (de) * 2019-11-13 2022-09-01 Sony Group Corporation Signalverarbeitungsvorrichtung, verfahren und programm
US11570378B2 (en) * 2020-07-21 2023-01-31 Gopro, Inc. Methods and apparatus for metadata-based processing of media content
US11115625B1 (en) * 2020-12-14 2021-09-07 Cisco Technology, Inc. Positional audio metadata generation
GB2602148A (en) * 2020-12-21 2022-06-22 Nokia Technologies Oy Audio rendering with spatial metadata interpolation and source position information

Also Published As

Publication number Publication date
EP3780628A4 (en) 2021-02-17
US20210021880A1 (en) 2021-01-21
US11323757B2 (en) 2022-05-03
CN111903135A (zh) 2020-11-06
US20220232264A1 (en) 2022-07-21
US11743520B2 (en) 2023-08-29
KR20200136393A (ko) 2020-12-07
WO2019187437A1 (ja) 2019-10-03
EP3780628A1 (en) 2021-02-17
JPWO2019187437A1 (ja) 2021-04-01
JP7396267B2 (ja) 2023-12-12

Similar Documents

Publication Publication Date Title
US9936183B2 (en) Playback device
US11356648B2 (en) Information processing apparatus, information providing apparatus, control method, and storage medium in which virtual viewpoint video is generated based on background and object data
US11451838B2 (en) Method for adaptive streaming of media
US11539983B2 (en) Virtual reality video transmission method, client device and server
US10911809B2 (en) Communication apparatus, communication method, and program
JP6860485B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
TW201942821A (zh) 資訊處理裝置、資訊處理方法、及程式
CN108810567B (zh) 一种音频与视频视角匹配的方法、客户端和服务器
TW201943284A (zh) 資訊處理裝置、方法、及程式
CN107438203B (zh) 用于建立和接收清单的方法、网络设备及终端
TW201942713A (zh) 資訊處理裝置、資料處理方法、及程式
KR20220031560A (ko) 정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법
CN113574899A (zh) 信息处理装置、信息处理方法、再现处理装置和再现处理方法
JP7417373B2 (ja) 映像符号化装置、再生装置及びプログラム
US20230156257A1 (en) Information processing apparatus, information processing method, and storage medium
EP4391550A1 (en) Processing content for extended reality applications