TW201943284A - 資訊處理裝置、方法、及程式 - Google Patents

資訊處理裝置、方法、及程式 Download PDF

Info

Publication number
TW201943284A
TW201943284A TW108109217A TW108109217A TW201943284A TW 201943284 A TW201943284 A TW 201943284A TW 108109217 A TW108109217 A TW 108109217A TW 108109217 A TW108109217 A TW 108109217A TW 201943284 A TW201943284 A TW 201943284A
Authority
TW
Taiwan
Prior art keywords
information
viewpoint
switching
file
image
Prior art date
Application number
TW108109217A
Other languages
English (en)
Inventor
浜田俊也
金井健一
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW201943284A publication Critical patent/TW201943284A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

[課題]提供一種資訊處理裝置、資訊處理方法、及程式。
[解決手段]一種資訊處理裝置，其係具備：內容檔案生成部，係將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊，儲存在內容檔案的標頭中，而生成前記內容檔案。

Description

資訊處理裝置、方法、及程式
本揭露係有關於資訊處理裝置、方法、及程式。
以較高臨場感的音訊再生為目的，作為將針對每一音訊物件所被準備之音訊資料予以複數傳輸所需之編碼技術，例如MPEG-H 3D Audio係已為人知(參照非專利文獻1)。
已被編碼之複數音訊資料，係在例如像是下記非專利文獻2中所被規格定義之ISO base media file format(ISOBMFF)檔案這類內容檔案中，連同影像資料一起被包含，而被提供給使用者。
[先前技術文獻]
[非專利文獻]
[非專利文獻1]ISO/IEC 23008-3：2015 Information technology-High efficiency coding and media delivery in heterogeneous environments
[非專利文獻2]ISO/IEC 14496-12：2014 Information technology-Coding of audio-visual objects
[發明所欲解決之課題]
另一方面，近年來可一面切換複數視點一面顯示影像的多視點內容，正日益普及。於如此的多視點內容的音響再生中，有時候在視點切換的前後，音訊物件的位置不匹配，而會有例如對使用者造成異樣感的情況。
於是，在本揭露中係提出一種，藉由在複數視點間的視點切換時進行音訊物件之位置補正，而可降低使用者之異樣感的，新穎且改良過得資訊處理裝置、資訊處理方法、及程式。

[用以解決課題之手段]
若依據本揭露，則可提供一種資訊處理裝置，其係具備：內容檔案生成部，係將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊，儲存在內容檔案的標頭中，而生成前記內容檔案。
又，若依據本揭露，則可提供一種藉由資訊處理裝置而被執行的資訊處理方法，係含有：將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊，儲存在內容檔案的標頭中，而生成前記內容檔案之步驟。
又，若依據本揭露，則可提供一種程式，係用來令電腦實現：將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊，儲存在內容檔案的標頭中，而生成前記內容檔案之機能。

[發明效果]
如以上說明，若依據本揭露，則藉由在複數視點間的視點切換時進行音訊物件之位置補正，就可降低使用者的異樣感。
此外，上記效果並不一定是限定性的，亦可連同上記效果、或取代上記效果，而達成本說明書所揭露之效果、或根據本說明書所能掌握的其他效果。
以下，一邊參照添附圖式，一邊詳細說明本揭露的理想實施形態。此外，於本說明書及圖面中，關於實質上具有同一機能構成的構成要素，係標示同一符號而省略重複說明。
又，本說明書及圖式中，有時候係將實質上具有同一機能構成的複數構成要素，在同一符號之後標示不同的英文字母來做區別。但是，在沒有必要特別區別實質上具有同一機能構成的複數構成要素之每一者的時候，就僅表示同一符號。
此外，說明是按照以下順序進行。

＜＜1.背景＞＞
＜＜2.本技術的原理＞＞
＜＜3.第1實施形態＞＞
＜＜4.第2實施形態＞＞
＜＜5.硬體構成例＞＞
＜＜6.總結＞＞
＜＜1.背景＞＞
首先說明本揭露的背景。
近年來，來可一面切換視點一面顯示影像的多視點內容，正日益普及。在此種多視點內容中，作為對應於各視點的影像，不只2維的2D影像，有時候還會包含有以全天周相機等所拍攝到的360°全天周影像。在顯示360°全天周影像的時候，會進行例如：基於使用者所做的輸入或基於感測而被決定之使用者的觀賞位置與方向，從360°全天周影像將一部分之範圍予以切出，將已切出之顯示影像予以顯示。當然在顯示2D影像的時候也是，可將從2D影像切出一部分之範圍的顯示影像，加以顯示。
關於此種含有360°全天周影像與2D影像之雙方的多視點內容，使用者一面改變顯示影像之切出範圍而一面加以觀賞的使用案例，參照圖1來進行說明。圖1係用來說明本揭露之背景的說明圖。
在圖1所示的例子中，以正距圓筒圖法而被表現的360°全天周影像G10、與2D影像G20，是被包含在多視點內容中。360°全天周影像G10、與2D影像G20，係為在不同視點所被拍攝到的影像。
又，圖1中係圖示了，從360°全天周影像G10切出了一部分之範圍的顯示影像G12。在顯示影像G12被表示的狀態下，例如藉由更進一步加大縮放倍率(顯示倍率)，就還可顯示將顯示影像G12之一部分之範圍再予以切出的顯示影像G14。
話說回來，顯示影像之像素數小於顯示裝置之顯示像素數的情況下，就會變成進行放大處理而顯示。此處，顯示影像之像素數，係由切出來源之像素數與切出範圍之大小而決定，360°全天周影像G10之像素數較小的情況、或顯示影像G14之切出所涉及之範圍較小的情況下，則顯示影像G14之像素數也會變小。所述之情況，係可能如圖1所示般地在顯示影像G14中會發生模糊等之畫質劣化。又，若從顯示影像G14再將縮放倍率予以增大，可能會發生更進一步的畫質劣化。
此處，考慮在相當於顯示影像G14之範圍係被映在2D影像G20中，且2D影像G20之像素數較大的情況下，將視點進行切換。然後，將視點予以切換而顯示了2D影像G20後，再藉由將縮放倍率予以增大，就可顯示從2D影像G20，將2D影像G20中相當於顯示影像G14之範圍R1予以切出之顯示影像G22。顯示影像G22，係映出相當於顯示影像G14之範圍，同時可期待畫質劣化小於顯示影像G14，而可期待能夠承受更進一步的增大縮放倍率之觀賞。
此外，顯示360°全天周影像的情況下，畫質劣化係不只在縮放倍率增大時會發生，就連在縮放倍率減小時也可能發生。例如，縮放倍率減小的情況下，從360°全天周影像所切出之顯示影像中所含之失真有時候會變得非常明顯。此種情況下也是，往2D影像的視點切換係為有效。
可是，如上述，一旦從顯示影像G14被顯示之狀態，往2D影像G20切換顯示，則由於被攝體的大小會有所不同，因此恐怕會對使用者造成異樣感。因此，在視點切換之際，可從顯示影像G14，直接往顯示影像G22切換顯示，較為理想。例如，為了從顯示影像G14，直接往顯示影像G22切換顯示，必須要在2D影像G20中將相當於顯示影像G14之範圍R1之大小與中心C之位置，予以特定。
話說回來，在360°全天周影像之間進行視點之切換的情況下，於各視點的影像中，因為可以算出讓被攝體是與真實世界相同程度地被看見的顯示視角(縮放倍率1之視角)，所以在視點切換之前後，可將被攝體之大小對合成相同程度。
可是，在2D影像的情況下，雖然在攝影時可能是以已被縮放之狀態而被收錄，但不一定能夠取得攝影時的視角資訊。該情況下，雖然會變成將已被拍攝之影像於再生側中更進一步做鏡頭拉近、鏡頭拉遠而顯示，但目前顯示中的影像相對於真實世界的真正的縮放倍率(顯示視角)，係變成攝影時的縮放倍率，與再生時的縮放倍率相乘而成者。若攝影時的縮放倍率為不明，則目前顯示中之映像相對於真實世界的真正的縮放倍率也無從得知。因此，在進行視點切換的使用案例中，無法在切換前後對合被攝體之大小。此外，所述之事象，係在可縮放或旋轉的360°全天周影像與2D影像之間的視點切換，或複數2D影像之間的視點切換中，也可能會發生。
為了使視點切換前後被攝體之大小看起來是相同程度，必須要取得切換前的影像之顯示倍率之值，以相同於該值的方式來適切地設定切換後的影像之顯示倍率。
使用者所看見的影像之顯示倍率，係可由攝影時的視角、顯示影像的從原始影像起算之切出視角、及再生時的顯示裝置之顯示視角這三個參數，而被決定。又，使用者最終看見的影像相對於真實世界的真正的顯示倍率(顯示視角)，係可被算出如下。
真正的顯示視角=(攝影時的視角)×(顯示影像的從原始影像起算之切出視角)×(顯示裝置之顯示視角)
360°全天周影像的情況下，攝影時的視角係為360°。又，切出視角，係可根據切出範圍的像素數，算出是對應於幾度的視角。又，顯示裝置之顯示視角之資訊也是由再生環境而決定，因此可算出最終的顯示倍率。
另一方面，在2D映像中，一般無法獲得攝影時的視角之資訊，或者在製作階段就已遺失。又，切出視角雖然可以用相對於原始映像的相對位置的方式而求出，但無法得知作為真實世界中的絕對值是相當於幾度的視角。因此，難以求出最終的顯示倍率。
又，360°全天周影像與2D影像之間的視點切換時，必須要對合被攝體之方向。因此還需要2D映像被拍攝時的方向資訊。此外，若為符合OMAF(Omnidirectional Media Application Format)規格的360°全天周映像則方向資訊是以後設資料的方式而被記錄，但關於2D影像通常無法獲得方向資訊。
如以上所述，伴隨縮放的360°全天周影像與2D影像之間的視點切換時，為了實現對合被攝體之大小，需要2D影像被拍攝時的視角資訊與方向資訊。
話說回來，在多視點內容之再生時，隨應於影像之縮放或視點切換，聲音的音源(以下有時候稱之為音訊物件)之位置也要適切地變化，較為理想。此處，在上記非專利文獻1中所記載之MPEG-H 3D Audio中係被規定有，對應於映像之縮放而將音訊物件之位置予以補正的機制。以下說明所述之機制。
在MPEG-H 3D Audio中，係提供了以下的2個音訊物件之位置補正機能。
(第1補正機能)：進行過影音之位置對合的內容製作時的顯示視角、與再生時的顯示視角為不同的情況下，將音訊物件之位置予以補正。
(第2補正機能)：追隨於再生時的映像之縮放，而將音訊物件之位置予以補正。
首先，關於上記的第1補正機能，參照圖2而加以說明。圖2係用來說明內容的製作時與再生時顯示視角為不同之情況下的音訊物件之位置補正的說明圖。此外，球面上的映像之視角與平面顯示器上的視角嚴謹來說係為不同，但以下為了使說明便於理解而視為近似或相同。
在圖2所示的例子中係圖示了，內容製作時與再生時的顯示視角。在圖2所示的例子中，內容製作時的顯示視角係為60°，再生時的顯示視角係為120°。
如圖2所示，內容製作者係例如，將攝影視角60°之影像一面以顯示視角60°加以顯示，一面決定音訊物件之位置。此時，攝影視角與顯示視角係為相同，因此縮放倍率係為1。此外，若對象之影像是360°全天周影像，則由於是對合於顯示視角而決定影像之切出視角(攝影視角)，因此可容易地以縮放倍率1進行顯示。
將如此所被製作的內容，以顯示視角120°進行再生的例子，示於圖2。顯示影像之攝影視角為60°的情況下，使用者所看見之影像係為實質被放大的影像。用來對該放大影像對合音訊物件之位置並進行補正所需之資訊與API，係在MPEG-H 3D Audio中有被規定。
接下來，針對上記的第2補正機能，參照圖3、圖4而加以說明。圖3、圖4係用來說明追隨於再生時的映像之縮放的音訊物件之位置補正的說明圖。圖3、圖4所示的360°全天周影像G10之水平像素數係為3840像素，此係相當於視角360°。又，假設360°全天周影像G10之攝影時的縮放倍率係為1。又，假設是對應於360°全天周影像G10而設定音訊物件之位置。又，為了簡化，假設在圖3、圖4所示的例子中，內容製作時與再生時的顯示視角係為相同，且如參照圖2所說明的製作時的音訊物件之位置補正係為不需要，只進行起因於再生時之縮放顯示的補正。
圖3中係圖示了以縮放倍率1倍進行再生的例子。此處，若假設再生時的顯示視角為67.5°，則為了以縮放倍率1倍進行顯示，只需如圖3所示般地在360°全天周影像G10之中，將相當於攝影視角67.5°的720像素之範圍予以切出而顯示即可。如此，以縮放倍率1倍進行再生的情況下，音訊物件之位置補正係為不需要。
圖4中係圖示了以縮放倍率2倍進行再生的例子。此處，若假設再生時的顯示視角為67.5°，則為了以縮放倍率2倍進行顯示，只需如圖4所示般地在360°全天周影像G10之中，將相當於攝影視角33.75°的360像素之範圍予以切出而顯示即可。此處，對合於影像之縮放倍率而進行音訊物件之位置補正所需之資訊與API，係在MPEG-H 3D Audio中有被規定。
如以上說明的2個音訊物件之位置補正機能，係在MPEG-H 3D Audio中被提供。可是，就上述的MPEG-H 3D Audio中所被提供的音訊物件之位置補正機能而言，會有無法適切地進行伴隨縮放的視點切換時的音訊物件之位置補正的情況。
此處，關於想定了伴隨縮放之視點切換的使用案例中所必須的音訊物件之位置補正，參照圖5～圖7進行說明。
圖5係用來說明無視點切換時的音訊物件之位置補正的說明圖。如圖5所示般地，2D影像G20之攝影時的視角係為攝影視角θ。但是，假設在圖5所示的例子中，攝影視角θ之資訊係在內容製作時、及再生時都無法取得。
於圖5所示的例子中，假設在內容製作時係為顯示視角90°，將2D影像G20直接以縮放倍率1倍進行顯示。此處，由於在內容製作時無法獲得攝影視角θ，因此相對於真實世界的真正的顯示倍率係為不明。
於圖5所示的例子中，假設在再生時係為顯示視角60°，例如將圖5所示的範圍R2予以切出，以縮放倍率2倍將顯示影像G24予以顯示。此處，由於在再生時也無法獲得攝影視角θ，因此相對於真實世界的真正的顯示倍率係為不明。可是，在顯示著同一視點之影像的情況下，即使真正的顯示倍率為不明，仍可使用上述的MPEG-H 3D Audio中所被提供的音訊物件之位置補正機能來補正音訊物件之位置。因此，可維持影像與聲音的相對位置關係而進行再生。
圖6係說明有視點切換時的音訊物件之位置補正的說明圖。在圖6所示的例子中，在以不同視點所拍攝到的360°全天周影像與2D影像之間，會進行視點切換。
在圖6所示的例子中，假設在2D影像之再生時，係和圖5所示之例子同樣地，係為顯示視角60°，以縮放倍率2倍從2D影像切出所得之顯示影像G24係被顯示。又，和圖5所示之例子同樣地，如上述，假設無法獲得攝影視角θ，相對於真實世界的真正的顯示倍率係為不明。
又，於圖6所示的例子中，考慮對360°全天周影像進行視點切換。由於顯示視角係沒有變化，因此係為顯示視角60°。在360°全天周影像再生時，若試圖維持縮放倍率2倍而進行顯示，則例如從360°全天周影像G10以切出視角30°將範圍R3予以切出而成的顯示影像G14，會被顯示。此處，360°全天周影像再生時的縮放倍率係也是相對於真實世界的真正的顯示倍率，相對於真實世界的真正的顯示倍率係為2倍。
可是，如上述，2D影像再生時的相對於真實世界的真正的顯示倍率係為不明，在如上記的視點切換中，2D影像再生時的相對於真實世界的真正的顯示倍率與360°全天周影像再生時的相對於真實世界的真正的顯示倍率不一定會一致。因此，如上記的視點切換中，無法對合被攝體之大小。
又，關於音訊物件之位置在視點切換之前後也會發生不匹配，會對使用者造成異樣感。因此，在視點切換之前後，除了要能對合被攝體之大小，針對音訊物件之位置也進行補正，較為理想。
圖7係用來說明攝影視角與內容製作時之顯示視角不一致時的音訊物件之位置補正的說明圖。
於圖7所示的例子中，假設在內容製作時係為顯示視角80°，將2D影像G20直接以縮放倍率1倍進行顯示。此處，假設內容製作時，攝影視角係為不明。因此，攝影視角與內容製作時的顯示視角不一定會一致。由於攝影視角為不明，因此相對於真實世界的真正的顯示倍率係為不明，但恐怕會以相對於真實世界的真正的顯示倍率並非1倍的縮放倍率之影像為基準來決定音訊物件之位置。
又，於圖7所示的例子中，假設在再生時係為顯示視角60°，以縮放倍率2倍進行顯示。又假設於再生時也是攝影視角係為不明。因此，相對於真實世界的真正的顯示倍率係為不明。
又，圖7中係圖示了，在再生時維持縮放倍率2倍不變，而使切出範圍做移動的例子。圖7中係圖示了，將2D影像G20之範圍R2予以切出而成的顯示影像G24被顯示的例子，與將2D影像G20之範圍R4予以切出而成的顯示影像G26被顯示的例子。
話說回來，如上述，以相對於真實世界的真正的顯示倍率並非1倍的縮放倍率之影像為基準而音訊物件之位置被決定的情況下，再生時所被顯示之顯示影像G24、顯示影像G24相對於真實世界的旋轉角，係為不明。因此，對應於切出範圍之移動而移動的音訊物件相對於真實世界的移動角，也是不明。
可是，從顯示著顯示影像G24之狀態，往顯示著顯示影像G26之狀態做移動之際，如參照圖5所說明，可使用上述的MPEG-H 3D Audio中所被提供的音訊物件之位置補正機能來補正音訊物件之位置。如此，若為同一視點的影像，則即使相對於真實世界的移動角為不明，仍可進行音訊物件之位置補正。可是，切換成其他視點的情況下，若相對於真實世界的旋轉角為不明則難以進行音訊物件之位置補正。其結果為，在視點之切換前後，聲音的位置係不匹配，恐怕會對使用者造成異樣感。
＜＜2.本技術的原理＞＞
於是，著眼於上記事情，而創作了本揭露所述之各實施形態。若依據以下說明的各實施形態，則藉由在複數視點間的視點切換時進行音訊物件的位置補正，就可降低使用者的異樣感。以下針對本揭露之各實施形態中所共通的本揭露所涉及之技術(以下亦稱為本技術)的基本原理，進行說明。
＜＜2-1.本技術的概要＞＞
圖8係用來說明本技術之概要的說明圖。圖8中係圖示了顯示影像G12、2D影像G20、及2D影像G30。顯示影像G12，係如參照圖1所說明，可為從360°全天周影像所被切出的影像。此處，顯示影像G12的切出所涉及之360°全天周影像、2D影像G20、及2D影像G30，係分別是以不同的視點所被拍攝的影像。
此處，一旦從顯示影像G12正被顯示之狀態，變成顯示將顯示影像G12之範圍R5予以切出而成之顯示影像G16，則可能發生畫質劣化。於是，考慮往2D影像G20之視點進行視點切換。此時，在本技術中，在視點切換後，不必顯示2D影像G20之全體，就自動地特定出2D影像G20中的相當於顯示影像G16之範圍R6，藉此而顯示出被攝體之大小係被維持的顯示影像G24。再者，在本技術中，從2D影像G20之視點往2D影像G30之視點做切換之際也是，將被攝體之大小予以維持。在圖8所示的例子中，從顯示影像G24往2D影像G30之視點進行切換之際，不必顯示2D影像G30之全體，就將2D影像G30中的相當於顯示影像G24之範圍R7予以特定，藉此而顯示出被攝體之大小係被維持的顯示影像G32。藉由所述之構成，就可降低對使用者之視覺造成的異樣感。
再者，在本技術中，係於上記的視點切換中，進行音訊物件之位置補正，以相應於視點切換的音源之位置進行再生。藉由所述之構成，就可降低對使用者之聽覺造成的異樣感。
為了實現參照圖8所說明的效果，在本技術中，在內容製作時準備用來進行上述的視點切換所需之資訊，而在內容檔案生成時、及再生時都將該當資訊予以共享。此外，以下將用來進行所述之視點切換所需之資訊，稱作多視點縮放切換資訊，或是簡稱為視點切換資訊。多視點縮放切換資訊，係為用來維持在複數視點間的視點切換時被攝體之大小而進行顯示所需之資訊。又，多視點縮放切換資訊，係也是用來在複數視點間的視點切換時進行音訊物件之位置補正所需之資訊。以下，說明多視點縮放切換資訊。
＜＜2-2.多視點縮放切換資訊＞＞
參照圖9、圖10來說明多視點縮放切換資訊之一例。圖9係表示多視點縮放切換資訊之一例的表。又，圖10係為用來說明多視點縮放切換資訊的模式圖。
如圖9所示，多視點縮放切換資訊，係可含有：影像類型資訊、攝影關連資訊、內容製作時的視角資訊、切換目標視點資訊之數量、及切換目標視點資訊。圖9所示的多視點縮放切換資訊係可例如與多視點內容之視點中所含之各視點建立對應而被準備。在圖9中，與圖10所示的視點VP建立對應的多視點縮放切換資訊是以值的例子而被圖示。
影像類型資訊，係為表示與多視點縮放切換資訊建立對應之視點所涉及之影像之類型的資訊，可為例如：2D影像、360°全天周影像、或其他等。
攝影關連資訊，係為與多視點縮放切換資訊建立對應之視點所涉及之影像之攝影時的資訊。例如，攝影關連資訊係含有：關於拍攝影像之相機之位置的攝影位置資訊。又，攝影關連資訊係含有：關於拍攝影像之相機之方向的攝影方向資訊。又，攝影關連資訊係含有：關於拍攝影像之相機之視角(水平視角、垂直視角)的攝影視角資訊。
內容製作時的視角資訊，係為內容製作時的顯示視角(水平視角、及垂直視角)之資訊。此外，內容製作時的視角資訊係亦為，關於與視點切換資訊建立對應之視點所涉及之音訊物件的位置資訊的決定之際所被參照的螢幕之視角的參照視角資訊。又，內容製作時的視角資訊，係亦可為相當於MPEG-H 3D Audio中的mae_ProductionScreenSizeData()的資訊。
藉由使用上述的攝影關連資訊、及內容製作時的視角資訊，於視點切換時可維持被攝體之大小做顯示，同時可進行音訊物件之位置補正。
切換目標視點資訊，係為關於可從與多視點縮放切換資訊建立對應之視點做切換之切換目標視點的資訊。如圖9所示，多視點縮放切換資訊，係含有其後排列的切換目標視點資訊之數量，圖10所示的視點VP1，係可往視點VP2與視點VP3之2個視點做切換。
切換目標視點資訊係可為例如，用來往切換目標視點進行切換所需之資訊。在圖9所示的例子中，切換目標視點資訊，係含有：關於視點切換之對象之區域的資訊(左上之x座標、左上之y座標、水平寬度、垂直寬度)、關於切換之閾值的閾值資訊、和切換目標之視點識別資訊。
例如，在圖10所示的例子中，從視點VP1往視點VP2進行切換所需之區域係為區域R11。此外，視點VP1的區域R11，係對應於VP2的區域R21。又，在圖10所示的例子中，從視點VP1往視點VP2進行切換所需之區域係為區域R12。此外，視點VP1的區域R12，係對應於VP2的區域R32。
閾值資訊，係亦可為例如最大之顯示倍率之閾值的資訊。例如，於視點VP1的區域R11中，若顯示倍率為3倍以上，則往視點VP2進行視點切換。又，於視點VP1的區域R12中，若顯示倍率為2倍以上，則往視點VP3進行視點切換。
以上，參照圖9、圖10而說明了多視點縮放切換資訊之一例。但是，多視點縮放切換資訊中所含之資訊係不限定於上述的例子。以下說明，多視點縮放切換資訊的數個變形例。圖11、圖12係用來說明所述之變形例的說明圖。
例如，切換目標視點資訊，係亦可被多段地設定。又，切換目標視點資訊，係亦可被設定成，讓視點間可相互切換。例如，亦可被設定成，使得視點VP1與視點VP2可相互切換，視點VP1與視點VP3可相互切換。
又，切換目標視點資訊，係亦可被設定成，在視點間可以不同的路徑前往返回。例如，亦可為，可從視點VP1往視點VP2做切換，可從視點VP2往視點VP3做切換，然後可從視點VP3往視點VP1做切換。
又，切換目標視點資訊，係在視點間可做相互切換的情況下，亦可藉由隨著切換之方向而為不同的閾值資訊，而設置遲滯。例如，亦可像是從視點VP1往視點VP2之閾值為3倍，從視點VP2往視點VP1之閾值為2倍的方式，來設定閾值資訊。藉由所述之構成，就難以發生頻繁的視點切換，可較為減輕對使用者所造成的異樣感。
又，切換目標視點資訊中的區域係亦可重複。在圖11所示的例子中，可從視點VP4往視點VP5、或視點VP6做切換。此處，從視點VP4往視點VP6的區域R61做切換所需之視點VP4中的區域R41，係包含有從視點VP4往視點VP5的區域R52做切換所需之視點VP4中的區域R42，區域係有重複。
又，切換目標視點資訊中所含之閾值資訊，係亦可不只最大之顯示倍率，還可為最小之顯示倍率之資訊。例如，在圖11所示的例子中，由於相較於視點VP4而視點VP6是比較拉近的視點，從視點VP4的區域R41往視點VP6的區域R61之切換所涉及之閾值資訊係亦可為最小之顯示倍率之資訊。藉由所述之構成，於該視點下要以何種顯示倍率之範圍來被顯示，又在超過該顯示倍率的情況下希望進行視點切換，這類內容製作者的意圖，就可被傳達至再生側。
又，於沒有切換目標視點的區域中也是，亦可被設定最大之顯示倍率或最小之顯示倍率。在所述情況下，亦可在最大之顯示倍率或最小之顯示倍率時停止縮放變化。
又，若切換目標視點所涉及之影像為2D影像的情況下，亦可在切換目標視點資訊中，含入剛切換後所要顯示的預設之初期顯示範圍之資訊。如後述，雖然可以算出切換目標視點下的顯示倍率等，但亦可將內容製作者所意圖性預設的要做顯示的範圍，針對每一切換目標視點而加以設定。例如，在圖12所示的例子中，從視點VP7的區域R71切換至視點VP8的情況下，被攝體會是與切換前相同程度之大小的切出範圍係為區域R82，但初期顯示範圍的區域R81亦可被顯示。此外，切換目標視點資訊含有初期顯示範圍之資訊的情況下，切換目標視點資訊係亦可除了含有上述的區域之資訊、閾值資訊、視點識別資訊以外，還含有對應於初期顯示範圍的切出中心與顯示倍率之資訊。
圖13係內容製作時的多視點縮放切換資訊的生成流程之一例的流程圖。首先，圖13所示的多視點縮放切換資訊之生成，係例如在內容製作時，由內容製作者來操作本揭露之各實施形態中的內容製作用之裝置，針對多視點內容中所含之每一視點執行所得。
首先，影像類型係被設定而被賦予影像類型資訊(S102)。接下來，攝影時的相機之位置、方向、視角係被設定，攝影關連資訊係被賦予(S104)。此外，於步驟S104中，攝影關連資訊，係可參照攝影時的相機位置、方向、縮放值、或同時攝影的360°全天周影像等，而被設定。
接下來，內容製作時的視角係被設定，內容製作時的視角資訊係被賦予(S106)。如上述，內容製作時的視角資訊，係為音訊物件之位置的決定之際所參照過的螢幕尺寸(螢幕之顯示視角)。例如，為了消除縮放所致之位置偏移之影響，內容製作時係亦可不切出影像而被全螢幕顯示。
接下來，切換目標視點資訊係被設定(S108)。內容製作者，係在對應於各視點的影像內設定區域，設定發生視點切換的顯示倍率之閾值、或視點切換目標之識別資訊。
以上說明了，內容製作時的多視點縮放切換資訊之生成流程。已被生成之多視點縮放切換資訊，係如後述般地被包含在內容檔案、或是後設資料檔案中，於本揭露之各實施形態中被提供給進行再生的裝置。以下，參照圖14，說明利用了再生時的多視點縮放切換資訊的視點切換流程。圖14係利用了再生時的多視點縮放切換資訊的視點切換流程之一例的流程圖。
首先，再生時所被使用之觀賞螢幕之資訊係被取得(S202)。此外，觀賞螢幕之資訊，係可為從觀賞位置起算的顯示視角，也可為隨著再生環境而被唯一決定。
接下來，目前顯示中的影像之視點所涉及之多視點縮放切換資訊係被取得(S204)。多視點縮放切換資訊，係如後述般地被儲存在後設資料檔案、或是內容檔案中。關於本揭露的各實施形態中的多視點縮放切換資訊之取得方法，將於後述。
接下來，顯示影像之切出範圍、顯示影像之方向、及視角之資訊係被算出(S208)。此外，顯示影像之切出範圍之資訊，係亦可含有例如切出範圍之中心位置與尺寸之資訊。
接下來，判定步驟S208中所被算出之顯示影像之切出範圍，是否被包含在多視點縮放切換資訊中所含之切換目標視點資訊之任一區域中(S210)。在顯示影像之切出範圍不被任一區域所包含的情況下(S210中NO)，則不進行視點切換，結束流程。
接下來，顯示影像之顯示倍率係被算出(S210)。例如，基於切出前的影像之尺寸，與顯示影像之切出範圍之資訊，可以算出顯示影像之顯示倍率。接下來，顯示影像之顯示倍率會與切換目標視點資訊中所含之顯示倍率之閾值進行比較(S212)。在圖14所示的例子中係表示，閾值資訊為最大之顯示倍率。顯示影像之顯示倍率為閾值以下的情況下(S212中NO)，則不進行視點切換，結束流程。
另一方面，顯示影像之顯示倍率大於閾值的情況下(S212中YES)，則開始往切換目標視點資訊所示之切換目標視點的視點切換(S214)。基於切換前的顯示影像之方向與視角之資訊、及多視點縮放切換資訊中所含之攝影關連資訊、及內容製作時的視角資訊，切換目標視點下的顯示影像之切出位置與視角係被算出(S216)。
然後，基於步驟S216中所被算出之切出位置與視角之資訊，切換目標視點下的顯示影像係被切出而被顯示(S218)。又，基於步驟S216中所被算出之切出位置與視角之資訊，音訊物件之位置係被補正，音訊係被輸出(S220)。
以上說贏了本揭露之各實施形態所共通的，本技術的基本原理。接下來，以下針對本揭露的各實施形態，進行更具體的說明。
＜＜3.第1實施形態＞＞
＜3-1.構成例＞
(系統構成)
圖15係本揭露之第1實施形態所述之資訊處理系統之系統構成的圖示。圖15所示的本實施形態所述之資訊處理系統，係為將多視點內容進行串流化傳遞的系統，例如亦可藉由ISO/IEC 23009-1中所被規格定義之MPEG-DASH而進行串流化傳遞。如圖15所示，本實施形態所述之資訊處理系統係含有：生成裝置100、傳遞伺服器200、客戶端300、輸出裝置400。傳遞伺服器200和客戶端300係藉由通訊網500而被彼此連接。
生成裝置100，係為將適合於MPEG-DASH所致之串流化傳遞的內容檔案與後設資料檔案予以生成的資訊處理裝置。此外，本實施形態所述之生成裝置100係亦可被使用於內容製作(音訊物件之位置決定)，或是亦可從內容製作用的其他裝置收取影像訊號或音訊訊號、音訊物件之位置資訊。關於生成裝置100之構成係參照圖16而後述。
傳遞伺服器200，係作為HTTP伺服器而發揮機能，係為進行MPEG-DASH所致之串流化傳遞的資訊處理裝置。例如，傳遞伺服器200，係基於MPEG-DASH，進行已被生成裝置100所生成之內容檔案與後設資料檔案往客戶端300的串流化傳遞。關於傳遞伺服器200之構成係參照圖17而後述。
客戶端300，係為將已被生成裝置100所生成之內容檔案與後設資料檔案，從傳遞伺服器200予以接收並予以再生的資訊處理裝置。在圖15中，作為客戶端300之例子係圖示了：被連接至設置型之輸出裝置400A的客戶端300A、被連接至裝著於使用者之輸出裝置400B的客戶端300B、及也具有作為輸出裝置400C之機能的終端也就是客戶端300C。關於客戶端300之構成係參照圖18～圖20而後述。
輸出裝置400係為，藉由客戶端300的再生控制，而將顯示影像予以顯示，並進行音訊輸出的裝置。在圖15中，作為輸出裝置400之例子係圖示了，設置型之輸出裝置400A、被裝著於使用者的輸出裝置400B、及也具有作為客戶端300C之機能的終端也就是輸出裝置400C。
輸出裝置400A，係亦可為例如電視等。使用者，係透過被連接至輸出裝置400A的控制器等，而可進行縮放、旋轉等之操作，所述之操作之資訊係可從輸出裝置400A被發送至客戶端300A。
又，輸出裝置400B，係亦可為被裝著在使用者之頭部的HMD(Head Mounted Display)。輸出裝置400B，係具有用來取得所裝著之使用者之頭部的位置或方向(姿勢)等之資訊所需之感測器，所述之資訊係可從輸出裝置400B被發送至客戶端300B。
又，輸出裝置400C係亦可為智慧型手機或平板等之可動的顯示終端，具有例如使用者把輸出裝置400C拿在手中而運動時可取得位置或方向(姿勢)等之資訊所需之感測器。
以上說明了本實施形態所述之資訊處理系統之系統構成例。此外，參照圖15所說明的上記之構成係僅止於一例，本實施形態所述之資訊處理系統之構成係不限定於所述之例子。例如，生成裝置100的機能之一部分，係亦可被傳遞伺服器200或其他外部裝置所具備。本實施形態所述之資訊處理系統之構成，係可隨著規格或運用而做彈性地變形。
(生成裝置的機能構成)
圖16係本實施形態所述之生成裝置100的機能構成例的區塊圖。如圖16所示，本實施形態所述之生成裝置100係具備：生成部110、控制部120、通訊部130、及記憶部140。
生成部110，係進行關於影像、及音訊之處理，生成內容檔案與後設資料檔案。如圖16所示，生成部110係具有作為影像串流編碼部111、音訊串流編碼部112、內容檔案生成部113、及後設資料檔案生成部114之機能。
影像串流編碼部111，係透過通訊部130而從其他裝置、或是生成裝置100內的記憶部140取得複數視點之影像訊號(多視點影像訊號)、及攝影時的參數(例如攝影關連資訊)，並進行編碼處理。影像串流編碼部111，係將影像串流與攝影時的參數，輸出至內容檔案生成部113。
音訊串流編碼部112，係透過通訊部130而從其他裝置、或是生成裝置100內的記憶部140取得物件音訊訊號、及各物件音訊之位置資訊，並進行編碼處理。音訊串流編碼部112，係將音訊串流，輸出至內容檔案生成部113。
內容檔案生成部113，係基於從影像串流編碼部111與音訊串流編碼部112所被提供之資訊，而生成內容檔案。內容檔案生成部113所生成的內容檔案，係亦可為例如MP4檔案，以下主要是以內容檔案生成部113生成MP4檔案為例來做說明。此外，本說明書中，MP4檔案係可為ISO/IEC 14496-12中所被規格定義之ISO Base Media File Format(ISOBMFF)檔案。
此外，內容檔案生成部113所生成的MP4檔案係亦可為，可藉由MPEG-DASH而傳遞的單位之資料也就是區段檔案。
內容檔案生成部113，係將已生成的MP4檔案輸出至通訊部130、及後設資料檔案生成部114。
後設資料檔案生成部114，係基於已被內容檔案生成部113所生成之MP4檔案，而生成上述的含有多視點縮放切換資訊的後設資料檔案。又，後設資料檔案生成部114所生成的後設資料檔案，係亦可為ISO/IEC 23009-1中所被規格定義之MPD(Media Presentation Description)檔案。
又，本實施形態所述之後設資料檔案生成部114，係亦可在後設資料檔案中儲存多視點縮放切換資訊。本實施形態所述之後設資料檔案生成部114，係亦可將多視點縮放切換資訊與切換所得之複數視點(多視點內容之視點)中所含之各視點建立對應，而儲存在後設資料檔案中。此外，有關多視點縮放切換資訊往後設資料檔案的儲存例，將於後述。
後設資料檔案生成部114，係將已生成之MPD檔案，輸出至通訊部130。
控制部120係為，將生成裝置100所進行的全盤處理予以統籌控制的機能構成。例如，此外，控制部120的控制內容係無特別限定。例如，控制部120係亦可控制在通用電腦、PC、平板PC等中一般所被進行的處理。
又，生成裝置100是被使用於內容製作時的情況下，控制部120係亦可依照透過未圖示之操作部的使用者操作，來進行物件音訊資料之位置資訊之生成、或參照圖13所說明的多視點縮放切換資訊之生成所涉及之處理。
通訊部130，係與傳遞伺服器200進行各種通訊。例如，通訊部130係將已被生成部110所生成之MP4檔案與MPD檔案，發送至傳遞伺服器200。此外，通訊部130的通訊內容係不限定於這些。
記憶部140，係為記憶各種資訊的機能構成。例如，記憶部140，係將多視點縮放切換資訊、多視點影像訊號、音訊物件訊號、MP4檔案、MPD檔案等加以記憶，或將被生成裝置100之各機能構成所使用的程式或參數等加以記憶。此外，記憶部140所記憶的資訊係不限定於這些。
(傳遞伺服器的機能構成)
圖17係本實施形態所述之傳遞伺服器200的機能構成例的區塊圖。如圖17所示，本實施形態所述之傳遞伺服器200係具備：控制部220、通訊部230、及記憶部240。
控制部220，係為統籌控制傳遞伺服器200所進行之全盤處理的機能構成，進行MPEG-DASH所致之串流化傳遞所涉及之控制。例如，控制部220，係可基於透過通訊部230而被接收之來自客戶端300之要求資訊等，而令記憶部240中所被記憶之各種資訊，透過通訊部230而被發送至客戶端300。此外，控制部220的控制內容係無特別限定。例如，控制部120係亦可控制在通用電腦、PC、平板PC等中一般所被進行的處理。
通訊部230，係與傳遞伺服器200、及客戶端300進行各種通訊。例如，通訊部230係從傳遞伺服器200接收MP4檔案與MPD檔案。又，通訊部230，係依照控制部220之控制，而將從客戶端300所接收到的要求資訊所相應的MP4檔案或是MPD檔案，發送至客戶端300。此外，通訊部230的通訊內容係不限定於這些。
記憶部240，係為記憶各種資訊的機能構成。例如，記憶部240，係將從生成裝置100所接收到的MP4檔案、MPD檔案等加以記憶，或將被傳遞伺服器200之各機能構成所使用的程式或參數等加以記憶。此外，記憶部240所記憶的資訊係不限定於這些。
(客戶端的機能構成)
圖18係本實施形態所述之客戶端300的機能構成例的區塊圖。如圖18所示，本實施形態所述之客戶端300係具備：處理部310、控制部340、通訊部350、及記憶部360。
處理部310，係為進行內容之再生之相關處理的機能構成。處理部310，係亦可進行例如參照圖14所說明的視點切換所涉及之處理。如圖18所示，處理部310係具有作為後設資料檔案取得部311、後設資料檔案處理部312、區段檔案選擇控制部313、影像處理部320、音訊處理部330之機能。
後設資料檔案取得部311，係為早於內容之再生之前從傳遞伺服器200取得MPD檔案(後設資料檔案)的機能構成。更具體而言，後設資料檔案取得部311，係基於使用者操作等而生成MPD檔案之要求資訊，透過通訊部350而將該當要求資訊發送至傳遞伺服器200，藉此以將MPD檔案從傳遞伺服器200加以取得。後設資料檔案取得部311，係將已取得之MPD檔案，提供給後設資料檔案處理部312。
此外，如上述，本實施形態所述之後設資料檔案取得部311所取得的後設資料檔案，係含有多視點縮放切換資訊。
後設資料檔案處理部312，係為進行從後設資料檔案取得部311所被提供之MPD檔案的相關之處理的機能構成。更具體而言，後設資料檔案處理部312，係基於MPD檔案之解析，而辨識MP4檔案等之取得時所必須之資訊(例如URL等)。後設資料檔案處理部312，係將這些資訊，提供給區段檔案選擇控制部313。
區段檔案選擇控制部313，係為選擇取得對象之區段檔案(MP4檔案)的機能構成。更具體而言，區段檔案選擇控制部313，係基於從後設資料檔案處理部312所被提供之上記各種資訊而選擇取得對象之區段檔案。例如，本實施形態所述之區段檔案選擇控制部313，係在因為參照圖14所說明的視點切換處理而發生了視點切換的情況下，亦可選擇切換目標視點之區段檔案。
影像處理部320，係基於已被區段檔案選擇控制部313所選擇的資訊，而取得區段檔案，進行影像處理。圖19係影像處理部320的機能構成例的圖示。
如圖19所示，影像處理部320係具有作為區段檔案取得部321、檔案剖析部323、影像解碼部325、及渲染部327之機能。區段檔案取得部321，係基於已被區段檔案選擇控制部313所選擇之資訊而生成要求資訊，並發送至傳遞伺服器200，藉此而從傳遞伺服器200取得適切的區段檔案(MP4檔案)而提供給檔案剖析部323。檔案剖析部323係解析已被取得之區段檔案，分成系統層後設資料與影像串流並提供給影像解碼部325。影像解碼部325，係對系統層後設資料與影像串流進行解碼處理，將影像位置後設資料、與解碼影像訊號提供給渲染部327。渲染部327，係基於從輸出裝置400所被提供之資訊，而決定切出範圍，進行影像之切出而生成顯示影像。已被渲染部327所切出之顯示影像，係透過通訊部350而被發送至輸出裝置400，被顯示於輸出裝置400。
音訊處理部330，係基於已被區段檔案選擇控制部313所選擇之資訊，而取得區段檔案，進行音訊處理。圖20係音訊處理部330的機能構成例的圖示。
如圖20所示，音訊處理部330係具有作為區段檔案取得部331、檔案剖析部333、音訊解碼部335、物件位置補正部337、及物件渲染部339之機能。區段檔案取得部331，係基於已被區段檔案選擇控制部313所選擇之資訊而生成要求資訊，並發送至傳遞伺服器200，藉此而從傳遞伺服器200取得適切的區段檔案(MP4檔案)而提供給檔案剖析部333。檔案剖析部333係解析已被取得之區段檔案，分成系統層後設資料與音訊串流並提供給音訊解碼部335。音訊解碼部335，係對系統層後設資料與音訊串流進行解碼處理，將表示音訊物件之位置的音訊位置後設資料、與解碼音訊訊號，提供給物件位置補正部337。物件位置補正部337，係基於物件位置後設資料、與上述的多視點縮放切換資訊，進行音訊物件之位置的補正，將補正後的音訊物件之位置資訊與解碼音訊訊號，提供給物件渲染部329。物件渲染部339，係基於補正後的音訊物件之位置資訊與解碼音訊訊號，進行複數音訊物件的渲染處理。已被物件渲染部339所合成之音訊資料係透過通訊部350而被發送至輸出裝置400，從輸出裝置400會輸出音訊。
控制部340係為，將客戶端300所進行的全盤處理予以統籌控制的機能構成。例如，控制部340，係亦可基於使用者使用滑鼠、鍵盤等之輸入部(未圖示)所進行的輸入而控制各種處理。此外，控制部340的控制內容係無特別限定。例如，控制部340係亦可控制在通用電腦、PC、平板PC等中一般所被進行的處理。
通訊部350，係與傳遞伺服器200進行各種通訊。例如，通訊部350係將從處理部310所被提供的要求資訊，發送至傳遞伺服器200。又，通訊部350，係也作為收訊部而發揮機能，作為對該當要求資訊之回應而將MPD檔案、MP4檔案等，從傳遞伺服器200予以接收。此外，通訊部350的通訊內容係不限定於這些。
記憶部360，係為記憶各種資訊的機能構成。例如，記憶部360，係將從傳遞伺服器200所取得之MPD檔案、MP4檔案等加以記憶，或將被客戶端300之各機能構成所使用的程式或參數等加以記憶。此外，記憶部360所記憶的資訊係不限定於這些。
＜3-2.往後設資料檔案的多視點縮放切換資訊之儲存例＞
以上說明了本實施形態之構成例。接下來，於本實施形態中，說明多視點縮放切換資訊往被後設資料檔案生成部114所生成的後設資料檔案的儲存例。
首先，說明MPD檔案的層結構。圖21係ISO/IEC 23009-1中所被規格定義之MPD檔案之層結構的說明圖。如圖21所示，MPD檔案係由1個以上的Period所構成。Period中係儲存有，已取得同步的影像或音訊等之資料的後設資訊。例如，Period係將用來把串流之選擇範圍(Representation群)進行群組化的AdaptationSet予以複數儲存。
Representation中係儲存有影像或音訊的編碼速度、影像尺寸等之資訊。Representation中係儲存有複數SegmentInfo。SegmentInfo係含有將串流分割成複數檔案而成的區段關連之資訊。SegmentInfo中係含有：表示資料壓縮方式等之初期化資訊的Initialization segmentnt、和表示動畫或聲音之區段的Media segment。
以上說明了MPD檔案的層結構。本實施形態所述之後設資料檔案生成部114，係亦可在上述的MPD檔案中，儲存多視點縮放切換資訊。
(儲存至AdaptationSet中的實施例)
如上述，多視點縮放切換資訊，係隨每一視點而存在，因此與各視點建立對應而被儲存在MPD檔案中，較為理想。於多視點內容中，各視點係可與AdaptationSet做對應。於是，本實施形態所述之後設資料檔案生成部114，係亦可在例如上述的AdaptationSet檔案中，儲存多視點縮放切換資訊。藉由所述之構成，客戶端300係可在再生時取得對應於視點的多視點縮放切換資訊。
圖22係本實施形態所述之後設資料檔案生成部114所生成之MPD檔案之一例的圖示。此外，圖22中係圖示了由3視點所構成的多視點內容中的MPD檔案之例子。又，圖22所示的MPD檔案中，與本實施形態之特徵無關的element或attribute係被省略。
如圖22的第4行、第8行、第12行所示，作為AdaptationSet的擴充property而被定義的EssentialProperty係被當作多視點縮放切換資訊而被儲存在AdaptationSet中。此外，亦可取代EssentialProperty而改用SupplementalProperty，所述的情況下，藉由把EssentialProperty置換成SupplementalProperty就可同樣地描述。
又，如圖22的第4行、第8行、第12行所示，作為表示多視點縮放切換資訊的名稱而定義有EssentialProperty的schemeIdUri，在EssentialProperty的value中係被羅列有上述的多視點縮放切換資訊之值。於圖22所示的例子中schemeIdUri係為“urn：mpeg：dash：multi-view_zoom_switch_parameters：2018”。又，value係將上述的多視點縮放切換資訊，如“(影像類型資訊),(攝影關連資訊),(內容製作時的視角資訊),(切換目標視點資訊之數量),(切換目標視點資訊1),(切換目標視點資訊2),...”般地加以表示。此外，圖22的schemeIdUri中所示的字串係為一例，並非限定於所述之例子。
又，本實施形態所述之後設資料檔案生成部114所生成之MPD檔案，係不限定於圖22所示之例子。例如，本實施形態所述之後設資料檔案生成部114，係亦可在上述的Period檔案中，儲存多視點縮放切換資訊。所述的情況下，為了將多視點縮放切換資訊與各視點建立對應，多視點縮放切換資訊係亦可與該當Period中所含之各AdaptationSet建立關連而被儲存在Period中。藉由所述之構成，客戶端300係可在再生時取得對應於視點的多視點縮放切換資訊。
(與AdaptationSet建立關連而儲存在Period中的儲存實施例)
圖23係本實施形態所述之後設資料檔案生成部114所生成之MPD檔案之另一例的圖示。此外，圖23中係和圖22同樣地圖示了由3視點所構成的多視點內容中的MPD檔案之例子。又，圖23所示的MPD檔案中，與本實施形態之特徵無關的element或attribute係被省略。
如圖23的第3～5行所示，作為Period的擴充property而被定義的EssentialProperty係被當作多視點縮放切換資訊而以等同於AdaptationSet之數量被整批儲存在Period中。此外，亦可取代EssentialProperty而改用SupplementalProperty，所述的情況下，藉由把EssentialProperty置換成SupplementalProperty就可同樣地描述。
關於圖23所示的EssentialProperty的schemeIdUri，係和參照圖22所說明的schemeIdUri相同，因此省略說明。於圖23所示的例子中，EssentialProperty的value，係和參照圖22所說明的value同樣地含有上述的多視點縮放切換資訊。但是，圖23所示的value，係除了參照圖22所說明的value以外，在開頭還含有AdaptationSet_id之值，而與各AdaptationSet建立關連。
例如，於圖23中，第3行的多視點縮放切換資訊，係與第6～8行的AdaptationSet建立關連，第4行的多視點縮放切換資訊，係與第9～11行的AdaptationSet建立關連，第5行的多視點縮放切換資訊，係與第12～14行的AdaptationSet建立關連。
(變形例)
以上說明了，本實施形態所述之後設資料檔案生成部114所致之往MPD檔案的多視點縮放切換資訊之儲存例。但是，本實施形態並非限定於所述例子。
例如，作為變形例，亦可為，後設資料檔案生成部114，係除了MPD檔案以外，還生成與MPD檔案不同的其他後設資料檔案，在所述之後設資料檔案中儲存多視點縮放切換資訊。然後，後設資料檔案生成部114，係亦可將用來對儲存了多視點縮放切換資訊的後設資料檔案進行存取所需之存取資訊，儲存在MPD檔案中。關於所述之變形例中後設資料檔案生成部114所生成之MPD檔案，參照圖24來加以說明。
圖24係本變形例所述之後設資料檔案生成部114所生成之MPD檔案之一例的圖示。此外，圖24中係和圖22同樣地圖示了由3視點所構成的多視點內容中的MPD檔案之例子。又，圖24所示的MPD檔案中，與本實施形態之特徵無關的element或attribute係被省略。
如圖24的第4行、第8行、第12行所示，作為AdaptationSet的擴充property而被定義的EssentialProperty係被當作存取資訊而被儲存在AdaptationSet中。此外，亦可取代EssentialProperty而改用SupplementalProperty，所述的情況下，藉由把EssentialProperty置換成SupplementalProperty就可同樣地描述。
關於圖24所示的EssentialProperty的schemeIdUri，係和參照圖22所說明的schemeIdUri相同，因此省略說明。於圖24所示的例子中，EssentialProperty的value，係含有用來對儲存了多視點縮放切換資訊的後設資料檔案進行存取所需之存取資訊。
例如，亦可為，圖24的第4行的value中所示的POS-100.txt，係含有多視點縮放切換資訊，且為如下內容的後設資料檔案。
2D, 60, 40, (0,0,0), (10,20,30), 90, 60, 2, (0, 540 , 960, 540), 3, 2, (960, 0, 960, 540), 2, 3
又，亦可為，圖24的第8行的value中所示的POS-200.txt，係含有多視點縮放切換資訊，且為如下內容的後設資料檔案。
2D, 60, 40, (10, 10, 0), (10, 20, 30), 90, 60, 1, (0, 540, 960, 540), 4, 4
又，亦可為，圖24的第12行的value中所示的POS-300.txt，係含有多視點縮放切換資訊，且為如下內容的後設資料檔案。
2D, 60, 40, (-10, 20, 0),(20, 30, 40), 45, 30, 1, (960, 0, 960, 540), 2, 5
此外，在圖24中，雖然說明了存取資訊是被儲存在AdaptationSet中的例子，但亦可和參照圖23所說明的例子同樣地，存取資訊係與各AdaptationSet建立關連而被儲存在Period中。
＜3-3.動作例＞
以上說明了，於本實施形態中被後設資料檔案生成部114所生成的後設資料檔案。接下來，說明本實施形態所述之動作例。
圖25係本實施形態所述之生成裝置100之動作之一例的流程圖。此外，在圖25中係主要圖示了生成裝置100的後設資料檔案生成部114所致之後設資料檔案之生成的相關動作，生成裝置100係當然亦可進行圖25中所未圖示的動作。
如圖25所示，後設資料檔案生成部114，係首先會取得影像串流與音訊串流之參數(S302)，接下來，後設資料檔案生成部114係基於影像串流與音訊串流之參數，而將Pepresentation予以構成(S304)。接下來，後設資料檔案生成部114，係將Period予以構成(S308)。然後，後設資料檔案生成部114，係如上述般地將多視點縮放切換資訊予以儲存，而生成MPD檔案(S310)。
此外，在圖25所示的處理之前，或是至少在步驟S310之前，進行參照圖13所說明的多視點縮放切換資訊之生成所涉及之處理而生成多視點縮放切換資訊即可。
圖26係本實施形態所述之客戶端300之動作之一例的流程圖。此外，客戶端300係當然亦可進行圖26中所未圖示的動作。
如圖26所示，首先，處理部310係取得MPD檔案(S402)。接下來，處理部310係取得對應於已被指定之視點的AdaptationSet之資訊(S404)。此處，所謂已被指定之視點係亦可為例如初期設定之視點，亦可為已被使用者所選擇之視點，亦可為藉由參照圖14所說明的視點切換處理而被特定的切換目標視點。
接下來，處理部310係取得傳輸頻寬之資訊(S406)，選擇可以用傳輸路之位元速率之範圍來進行傳輸的Representation(S408)。然後，處理部310係將步驟S408中所被選擇之Representation予以構成的MP4檔案，從傳遞伺服器200加以取得(S410)。然後，處理部310係開始步驟S410中所取得之MP4檔案中所含之元素串流之解碼(S412)。
＜＜4.第2實施形態＞＞
以上說明了本揭露的第1實施形態。在上述的第1實施形態中，雖然說明了藉由MPEG-DASH而進行串流化傳遞的例子，但以下作為第2實施形態則是說明，取代串流化傳遞，改成透過記憶裝置來提供內容檔案的例子。又，在本實施形態中，是在內容檔案中儲存有上述的多視點縮放切換資訊。
＜4-1.構成例＞
(生成裝置的機能構成例)
圖27係本揭露的第2實施形態所述之生成裝置600之機能構成例的區塊圖。本實施形態所述之生成裝置600，係為將內容檔案予以生成的資訊處理裝置。又，生成裝置600，係可與記憶裝置700連接。記憶裝置700，係將已被生成裝置600所生成之內容檔案，加以記憶。此外，記憶裝置700係亦可為例如可攜行的儲存體。
如圖27所示，本實施形態所述之生成裝置600係具備：生成部610、控制部620、通訊部630、及記憶部640。
生成部610，係進行關於影像、及音訊之處理，生成內容檔案。如圖27所示，生成部610係具有作為影像串流編碼部611、音訊串流編碼部612、及內容檔案生成部613之機能。此外，影像串流編碼部611、音訊串流編碼部612之機能，係和參照圖16所說明的影像串流編碼部111、音訊串流編碼部112之機能相同即可。
內容檔案生成部613，係基於從影像串流編碼部611與音訊串流編碼部612所被提供之資訊，而生成內容檔案。本實施形態所述之內容檔案生成部613所生成的內容檔案，係與上述的第1實施形態同樣地為MP4檔案(ISOBMFF檔案)即可。
但是，本實施形態所述之內容檔案生成部613，係在內容檔案之標頭中，儲存多視點縮放切換資訊。又，本實施形態所述之內容檔案生成部613，係亦可將多視點縮放切換資訊與切換所得之複數視點(多視點內容之視點)中所含之各視點建立對應，在該當標頭中儲存多視點縮放切換資訊。此外，有關多視點縮放切換資訊往內容檔案的標頭的儲存例，將於後述。
已被內容檔案生成部613所生成之MP4檔案，係被輸出至圖27所示的記憶裝置700而被記憶。
控制部620係為，將生成裝置600所進行的全盤處理予以統籌控制的機能構成。例如，此外，控制部620的控制內容係無特別限定。例如，控制部620係亦可控制在通用電腦、PC、平板PC等中一般所被進行的處理。
通訊部630，係進行各種通訊。例如，通訊部630係將已被生成部110所生成之MP4檔案，發送至記憶裝置700。此外，通訊部630的通訊內容係不限定於這些。
記憶部640，係為記憶各種資訊的機能構成。例如，記憶部640，係將多視點縮放切換資訊、多視點影像訊號、音訊物件訊號、MP4檔案等加以記憶，或將被生成裝置600之各機能構成所使用的程式或參數等加以記憶。此外，記憶部640所記憶的資訊係不限定於這些。
(再生裝置的機能構成例)
圖28係本揭露的第2實施形態所述之再生裝置800之機能構成例的區塊圖。本實施形態所述之再生裝置800，係與記憶裝置700連接，係將記憶裝置700中所被記憶之MP4檔案加以取得並進行再生的資訊處理裝置。再生裝置800係與輸出裝置400連接，令顯示影像被顯示於輸出裝置400，並且令音訊被輸出。此外，再生裝置800，係亦可與圖15所示的客戶端300同樣地，而被連接至設置型之輸出裝置400、或被裝著於使用者的輸出裝置400，也可與輸出裝置400一體化。
又，如圖28所示，本實施形態所述之再生裝置800係具備：處理部810、控制部840、通訊部850、及記憶部860。
處理部810，係為進行內容之再生之相關處理的機能構成。處理部810，係亦可進行例如參照圖14所說明的視點切換所涉及之處理。如圖28所示，處理部810係具有作為影像處理部820、及音訊處理部830之機能。
影像處理部820，係取得記憶裝置700中所被記憶之MP4檔案，並進行影像處理。如圖28所示，影像處理部820係具有作為檔案取得部821、檔案剖析部823、影像解碼部825、及渲染部827之機能。檔案取得部821，係作為內容檔案取得部而發揮機能，從記憶裝置700取得MP4檔案然後提供給檔案剖析部823。此外，檔案取得部821所取得的MP4檔案，係如上述般地含有多視點縮放切換資訊，該當多視點縮放切換資訊係被儲存在標頭中。檔案剖析部823係解析已被取得之MP4檔案，分成系統層後設資料(標頭)與影像串流並提供給影像解碼部825。影像解碼部825、及渲染部827之機能，係和參照圖19所說明的影像解碼部325、及渲染部327之機能相同，因此省略說明。
音訊處理部830，係取得記憶裝置700中所被記憶之MP4檔案，並進行音訊處理。如圖28所示，音訊處理部830係具有作為檔案取得部831、音訊解碼部835、物件位置補正部837、及物件渲染部839之機能。檔案取得部831，係作為內容檔案取得部而發揮機能，從記憶裝置700取得MP4檔案然後提供給檔案剖析部833。此外，檔案取得部831所取得的MP4檔案，係如上述般地含有多視點縮放切換資訊，該當多視點縮放切換資訊係被儲存在標頭中。檔案剖析部833係解析已被取得之MP4檔案，分成系統層後設資料(標頭)與音訊串流並提供給音訊解碼部835。音訊解碼部835、物件位置補正部837、及物件渲染部839之機能，係和參照圖20所說明的音訊解碼部335、物件位置補正部337、及物件渲染部339之機能相同，因此省略說明。
控制部840係為，將再生裝置800所進行的全盤處理予以統籌控制的機能構成。例如，控制部840，係亦可基於使用者使用滑鼠、鍵盤等之輸入部(未圖示)所進行的輸入而控制各種處理。此外，控制部840的控制內容係無特別限定。例如，控制部340係亦可控制在通用電腦、PC、平板PC等中一般所被進行的處理。
通訊部850，係進行各種通訊。又，通訊部850係也作為收訊部而發揮機能，將MP4檔案等從記憶裝置700予以接收。此外，通訊部850的通訊內容係不限定於這些。
記憶部860，係為記憶各種資訊的機能構成。例如，記憶部860，係將從記憶裝置700所取得之MP4檔案等加以記憶，或將被再生裝置800之各機能構成所使用的程式或參數等加以記憶。此外，記憶部860所記憶的資訊係不限定於這些。
以上說明了，本實施形態所述之生成裝置600、及再生裝置800。此外，上記雖然說明了透過記憶裝置700而提供MP4檔案的例子，但並非限定於所述之例子。例如，生成裝置600、及再生裝置800，係亦可透過通訊網，或是可被直接地連接，使MP4檔案從生成裝置600被發送至再生裝置800，然後被記憶在再生裝置800的記憶部860中。
＜4-2.往內容檔案的多視點縮放切換資訊之儲存例＞
以上說明了本實施形態之構成例。接下來，於本實施形態中，說明多視點縮放切換資訊往被內容檔案生成部613所生成的內容檔案的標頭的儲存例。
如上述，於本實施形態中，被內容檔案生成部613所生成的內容檔案係可為MP4檔案。MP4檔案是ISO/IEC 14496-12中所被規格定義之ISOBMFF檔案的情況下，作為MP4檔案的標頭，moov箱盒(系統層後設資料)係被包含在MP4檔案中。
(儲存至udta箱盒中的實施例)
圖29係ISOBMFF檔案中的moov箱盒之箱盒結構的圖示。本實施形態所述之內容檔案生成部613，係亦可在例如圖29所示的moov箱盒之中在udta箱盒裡，儲存多視點縮放切換資訊。udta箱盒，係可儲存任意的使用者資料，且如圖29所示般地被包含在track箱盒中，對video track而言係為靜態的後設資料。此外，多視點縮放切換資訊所被儲存之領域，係不限定於圖29所示之階層位置的udta箱盒。例如亦可將既存之箱盒的版本予以變更而在內部設置擴充領域(關於該當擴充領域也是可以被定義作為例如一個箱盒)，在該當擴充領域中儲存多視點縮放切換資訊。
圖30係多視點縮放切換資訊是被儲存在udta箱盒中之情況下的udta箱盒之例子的圖示。圖30的第7行的video_type係對應於圖9所示的影像類型資訊。又，圖30所示的第8行～第15行的參數，係對應於圖9所示的攝影關連資訊。又，圖30所示的第16行～第17行的參數，係對應於圖9所示的內容製作時的視角資訊。又，圖30所示的第18行的number_of_destination_views，係對應於圖9所示的切換目標視點資訊之數量。又，圖30所示的第20行～第25行的參數，係對應於圖9所示的切換目標視點資訊，是每一視點地與視點建立對應而被儲存。
(作為metadata track而儲存的實施例)
上記雖然說明了，將多視點縮放切換資訊以對video track而言為靜態的後設資料的方式儲存在udta箱盒中的例子，但本實施形態係不限定於所述之例子。例如，多視點縮放切換資訊會隨再生時刻而變化的情況下，則難以儲存在udta箱盒中。
於是，多視點縮放切換資訊會隨再生時刻而變化的情況下，亦可利用具有時間軸之結構的track，而定義用來表示多視點縮放切換資訊的新的metadata track。ISOBMFF中的metadata track之定義方法，係被記載於ISO/IEC 14496-12，本實施例所述之metadata track，係亦可用符合ISO/IEC 14496-12的形式而被定義。關於所述之實施例，參照圖31～圖32而加以說明。
於本實施例中，內容檔案生成部613係將多視點縮放切換資訊當作timed metadata track而儲存在mdat箱盒中。此外，於本實施例中，內容檔案生成部613係也可在moov箱盒中儲存多視點縮放切換資訊。
圖31係用來說明metadata track的說明圖。在圖31所示的例子中，是將多視點縮放切換資訊不會改變的時間範圍定義成1個sample，令1個sample對應於1個multi-view_zoom_switch_parameters(多視點縮放切換資訊)。然後，1個multi-view_zoom_switch_parameters的有效時間，係可用sample_duration來表示。此外，sample之大小等，關於sample的其他資訊，係可直接使用圖29所示的stbl箱盒之資訊。
例如在圖31所示的例子中，作為對範圍VF1之視訊畫格所被適用的多視點縮放切換資訊，multi-view_zoom_switch_parametersMD1係被儲存在mdat箱盒中。又，作為對圖32所示的範圍VF2之視訊畫格所被適用的多視點縮放切換資訊，multi-view_zoom_switch_ parametersMD2係被儲存在mdat箱盒中。
又，於本實施例中，內容檔案生成部613係也可在moov箱盒中儲存多視點縮放切換資訊。圖32係於本實施例中內容檔案生成部613儲存在moov箱盒中的多視點縮放切換資訊的說明圖。
於本實施例中，內容檔案生成部613係亦可如圖32所示般地定義sample，而儲存在moov箱盒中。此外，圖32所示的各參數，係和參照圖30所說明的表示多視點縮放切換資訊的參數相同。
＜4-3.動作例＞
以上說明了，於本實施形態中被內容檔案生成部613所生成的內容檔案。接下來，說明本實施形態所述之動作例。
圖33係本實施形態所述之生成裝置600之動作之一例的流程圖。此外，在圖33中係主要圖示了生成裝置600的生成部610所致之MP4檔案之生成的相關動作，生成裝置600係當然亦可進行圖33中所未圖示的動作。
如圖33所示，生成部610，係首先會取得影像串流與音訊串流之參數(S502)，接下來，生成部610係進行影像串流與音訊串流的壓縮編碼(S504)。接下來，內容檔案生成部613係在mdat箱盒中，儲存步驟S504所得到的編碼串流(S506)。然後，內容檔案生成部613，係構成關於已被儲存在mdat箱盒中的編碼串流的moov箱盒(S508)。然後，內容檔案生成部613，係如上述般地將多視點縮放切換資訊儲存在moov箱盒、或mdat箱盒中，而生成MP4檔案(S510)。
此外，在圖33所示的處理之前，或是至少在步驟S510之前，進行參照圖13所說明的多視點縮放切換資訊之生成所涉及之處理而生成多視點縮放切換資訊即可。
圖34係本實施形態所述之再生裝置800之動作之一例的流程圖。此外，再生裝置800係當然亦可進行圖34中所未圖示的動作。
如圖34所示，首先，處理部810係取得對應於已被指定之視點的MP4檔案(S602)。此處，所謂已被指定之視點係亦可為例如初期設定之視點，亦可為已被使用者所選擇之視點，亦可為藉由參照圖14所說明的視點切換處理而被特定的切換目標視點。
然後，處理部810係開始步驟S602中所取得之MP4檔案中所含之元素串流之解碼。
＜＜5.硬體構成例＞＞
以上說明了本揭露的實施形態。最後，參照圖35，說明本揭露的實施形態所述之資訊處理裝置的硬體構成。圖35係本揭露之實施形態所述之資訊處理裝置的硬體構成之一例的區塊圖。此外，圖35所示的資訊處理裝置900係可實現例如：圖15～18、圖26、圖27所示的生成裝置100、傳遞伺服器200、客戶端300、生成裝置600、再生裝置800。本揭露之實施形態所述之生成裝置100、傳遞伺服器200、客戶端300、生成裝置600、再生裝置800所致之資訊處理，係可藉由軟體、和以下所說明的硬體的合作，而被實現。
如圖35所示，資訊處理裝置900係具備：CPU(Central Processing Unit)901、ROM(Read Only Memory) 902、RAM(Random Access Memory)903及主機匯流排904a。又，資訊處理裝置900係具備：橋接器904、外部匯流排904b、介面905、輸入裝置906、輸出裝置907、儲存裝置908、驅動機909、連接埠911、通訊裝置913、及感測器915。資訊處理裝置900，係亦可不具CPU901，或是連同其而另外具有DSP或ASIC等之處理電路。
CPU901，係成為演算裝置及控制裝置而發揮機能，依照各種程式來控制資訊處理裝置900內的整體動作。又，CPU901係亦可為微處理器。ROM902係記憶著，CPU901所使用的程式或演算參數等。RAM903，係將CPU901之執行時所使用的程式、或其執行時會適宜變化的參數等，予以暫時記憶。CPU901係可形成例如：生成部110、控制部120、控制部220、處理部310、控制部340、生成部610、控制部620、處理部810、控制部840。
CPU901、ROM902及RAM903，係藉由包含CPU匯流排等的主機匯流排904a，而被相互連接。主匯流排904a，係透過橋接器904，而被連接至PCI(Peripheral Component Interconnect/Interface)匯流排等之外部匯流排904b。此外，主匯流排904a、橋接器904及外部匯流排904b並不一定要是分離構成，亦可在1個匯流排內實作這些機能。
輸入裝置906係藉由例如：滑鼠、鍵盤、觸控面板、按鈕、麥克風、開關及搖桿等，可藉由使用者而輸入資訊的裝置，而被實現。又，輸入裝置906，係例如，可為利用紅外線或其他電波的遙控裝置，也可為支援資訊處理裝置900之操作的行動電話或PDA等之外部連接機器。甚至，輸入裝置906係亦可含有例如：基於使用者使用上記輸入手段所輸入之資訊而生成輸入訊號，而對CPU901輸出的輸入控制電路等。資訊處理裝置900的使用者，係藉由操作該輸入裝置906，就可對資訊處理裝置900輸入各種資料、或指示處理動作等等。
輸出裝置907，係可將所取得之資訊對使用者以視覺性或聽覺性來通知的裝置所形成。作為如此的裝置係有：CRT顯示裝置、液晶顯示裝置、電漿顯示裝置、EL顯示裝置及燈泡等之顯示裝置、或揚聲器及耳機等之聲音輸出裝置、或印表機裝置等。輸出裝置907，係例如將資訊處理裝置900所進行之各種處理而取得的結果，加以輸出。具體而言，顯示裝置係將資訊處理裝置900所進行之各種處理而取得的結果，以文字、影像、表、圖形等，以各式各樣的形式，做視覺性地顯示。另一方面，聲音輸出裝置，係將已被再生之聲音資料或音響資料等所成的音訊訊號，轉換成類比訊號而做聽覺性地輸出。
儲存裝置908，係作為資訊處理裝置900的記憶部之一例而被形成的資料儲存用的裝置。儲存裝置908係藉由例如HDD等之磁性記憶部裝置、半導體記憶裝置、光記憶裝置、或光磁性記憶裝置等而被實現。儲存裝置908，係亦可含有：記憶媒體、對記憶媒體記錄資料的記錄裝置、從記憶媒體讀出資料的讀出裝置及將記憶媒體中所記憶之資料予以刪除的刪除裝置等。該儲存裝置908，係儲存著CPU901所執行的程式或各種資料、及從外部取得的各種資料等。上記儲存裝置908係可形成例如記憶部140、記憶部240、記憶部360、記憶部640、記憶部860。
驅動機909，係為記憶媒體用讀寫機，可內建於資訊處理裝置900，或是外接。驅動機909，係將所被裝著的磁碟、光碟、光磁碟、或半導體記憶體等之可移除式記憶媒體中所記錄的資訊予以讀出，並輸出至RAM903。又，驅動機909係亦可對可移除式記憶媒體寫入資訊。
連接埠911，係為與外部機器連接的介面，係為例如藉由USB(Universal Serial Bus)等而可進行資料傳輸的外部機器之連接口。
通訊裝置913係為例如是由用來連接至網路920所需之通訊裝置等所形成的通訊介面。通訊裝置913係為例如：有線或無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(註冊商標)或WUSB(Wireless USB)用之通訊卡等。又，通訊裝置913係亦可為光通訊用的路由器、ADSL(Asymmetric Digital Subscriber Line)用的路由器、或各種通訊用的數據機等。該通訊裝置913係例如，與網際網路或其他通訊機器之間，依照TCP/IP等所定之協定，而收送訊號等。通訊裝置913係可形成例如：通訊部130、通訊部230、通訊部350、通訊部630、通訊部850。
感測器915係為，例如：加速度感測器、陀螺儀感測器、地磁感測器、光感測器、聲音感測器、測距感測器、力感測器等之各種感測器。感測器915係取得資訊處理裝置900的姿勢、移動速度等，關於資訊處理裝置900自身之狀態的資訊、或資訊處理裝置900的週邊的明亮度或雜音等，關於資訊處理裝置900之週邊環境的資訊。又，感測器915係亦可含有，接收GPS訊號而測定裝置之緯度、經度及高度的GPS感測器。
此外，網路920係為，從被連接在網路920上之裝置所發送之資訊的有線、或無線的傳輸路。例如，網路920係亦可包含網際網路、電話線網路、衛星通訊網等之公眾線路網、或包含Ethernet(註冊商標)的各種LAN(Local Area Network)、WAN(Wide Area Network)等。又，網路920係亦可包含IP-VPN(Internet Protocol-Virtual Private Network)等之專用線路網。
以上說明了可實現本揭露之實施形態所述之資訊處理裝置900之機能的硬體構成之一例。上記的各構成要素，係可使用一般的構件來實現，也可由對各構成要素之機能做過特化的硬體來實現。因此，可隨著實施本揭露之實施形態的當時的技術水準，適宜地變更所利用的硬體構成。
此外，可製作用以實現如上述之本揭露之實施形態所述之資訊處理裝置900之各機能所需的電腦程式，安裝至PC等。又，也可提供儲存有此種電腦程式的電腦可讀取之記錄媒體。記錄媒體，係例如為磁碟、光碟、光磁碟、快閃記憶體等。又，上記的電腦程式，係不使用記錄媒體，亦可例如透過網路來傳遞。
＜＜6.總結＞＞
如以上說明，若依據本揭露之各實施形態，則藉由將在複數視點間進行視點切換所需之多視點縮放視點切換資訊(視點切換資訊)使用於內容之再生，就可視覺上、聽覺上地降低使用者的異樣感。例如，如上述，基於多視點縮放視點切換資訊，可在視點切換之前後對合被攝體之方向或大小而將顯示影像予以顯示。又，如上述，藉由基於多視點縮放視點切換資訊，在複數視點間的視點切換時進行音訊物件的位置補正，就可降低使用者的異樣感。
以上雖然一面參照添附圖式一面詳細說明了本揭露的理想實施形態，但本揭露之技術範圍並非限定於所述例子。只要是本揭露之技術領域中具有通常知識者，自然可於申請專利範圍中所記載之技術思想的範疇內，想到各種變更例或修正例，而這些當然也都屬於本揭露的技術範圍。
例如，在上記第1實施形態中，雖然說明了在後設資料檔案中儲存多視點縮放切換資訊的例子，但本技術係不限定於所述之例子。例如，即使如上記的第1實施形態般地，藉由MPEG-DASH而進行串流化傳遞的情況下，仍亦可取代MPD檔案，或連同之，如第2實施形態所說明般地在MP4檔案的標頭中儲存多視點縮放切換資訊。尤其是，在多視點縮放切換資訊會隨再生時刻而變化的情況下，難以將多視點縮放切換資訊儲存在MPD檔案中。於是，即使在藉由MPEG-DASH而進行串流化傳遞的情況下，仍亦可如參照圖31～圖32所說明的實施例般地，將多視點縮放切換資訊，作為timed metadata track而儲存在mdat箱盒中。藉由所述之構成，即使藉由MPEG-DASH而進行串流化傳遞，且多視點縮放切換資訊會隨再生時刻而變化的情況下，仍可將多視點縮放切換資訊，提供給將內容予以再生的裝置。
此外，多視點縮放切換資訊是否會隨再生時刻而變化，係可藉由例如內容製作者來做判斷。於是，要將多視點縮放切換資訊儲存至哪裡，亦可基於內容製作者之操作、或內容製作者所給予的資訊，而被決定。
又，本說明書中所記載之效果僅為說明或例示，並非限定。亦即，本揭露所述之技術，係亦可連同上記效果、或取代上記效果，而達成根據本說明書之記載而由當業者所自明的其他效果。
此外，如以下的構成也是屬於本揭露的技術範圍。
(1)
一種資訊處理裝置，係具備：內容檔案生成部，係將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊，儲存在內容檔案的標頭中，而生成前記內容檔案。
(2)
如前記(1)所記載之資訊處理裝置，其中，
前記內容檔案係為ISO Base Media File Format檔案；
前記標頭係含有前記內容檔案中的moov箱盒；
前記視點切換資訊係被儲存在前記moov箱盒。
(3)
如前記(2)所記載之資訊處理裝置，其中，前記視點切換資訊係被儲存在前記moov箱盒的udta箱盒中。
(4)
如前記(2)所記載之資訊處理裝置，其中，前記內容檔案生成部，係將前記視點切換資訊儲存在前記moov箱盒，並且也將前記視點切換資訊儲存在前記內容檔案中的mdat箱盒。
(5)
如前記(1)～(4)之任一項所記載之資訊處理裝置，其中，前記視點切換資訊，係與前記複數視點中所含之各視點建立關連，而被儲存在前記內容檔案中。
(6)
如前記(5)所記載之資訊處理裝置，其中，前記視點切換資訊係含有：關於可從與前記視點切換資訊建立對應之視點做切換之切換目標視點的切換目標視點資訊。
(7)
如前記(6)所記載之資訊處理裝置，其中，前記切換目標視點資訊係含有：關於從與前記視點切換資訊建立對應之視點往前記切換目標視點之切換之閾值的閾值資訊。
(8)
如前記(5)～(7)之任一項所記載之資訊處理裝置，其中，前記視點切換資訊係含有：與前記視點切換資訊建立對應之視點所涉及之影像的攝影關連資訊。
(9)
如前記(8)所記載之資訊處理裝置，其中，前記攝影關連資訊係含有：關於拍攝前記影像之相機之位置的攝影位置資訊。
(10)
如前記(8)或(9)所記載之資訊處理裝置，其中，前記攝影關連資訊係含有：關於拍攝前記影像之相機之方向的攝影方向資訊。
(11)
如前記(8)～(10)之任一項所記載之資訊處理裝置，其中，前記攝影關連資訊係含有：關於拍攝前記影像之相機之視角的攝影視角資訊。
(12)
如前記(5)～(11)之任一項所記載之資訊處理裝置，其中，前記視點切換資訊係含有：關於與前記視點切換資訊建立對應之視點所涉及之音訊物件的位置資訊的決定之際所被參照的螢幕之視角的參照視角資訊。
(13)
一種藉由資訊處理裝置而被執行的資訊處理方法，係含有：將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊，儲存在內容檔案的標頭中，而生成前記內容檔案之步驟。
(14)
一種程式，其係用來使電腦實現：
將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊，儲存在內容檔案的標頭中，而生成前記內容檔案之機能。
(15)
一種資訊處理裝置，係具備：內容檔案取得部，係將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊是被儲存在標頭中的內容檔案，加以取得。
(16)
如前記(15)所記載之資訊處理裝置，其中，
前記內容檔案係為ISO Base Media File Format檔案；
前記標頭係含有前記內容檔案中的moov箱盒；
前記視點切換資訊係被儲存在前記moov箱盒。
(17)
如前記(16)所記載之資訊處理裝置，其中，前記視點切換資訊係被儲存在前記moov箱盒的udta箱盒中。
(18)
如前記(16)所記載之資訊處理裝置，其中，前記視點切換資訊，係被儲存在前記moov箱盒，並且也被儲存在前記內容檔案中的mdat箱盒。
(19)
如前記(15)～(18)之任一項所記載之資訊處理裝置，其中，前記視點切換資訊，係與前記複數視點中所含之各視點建立關連，而被儲存在前記內容檔案中。
(20)
如前記(19)所記載之資訊處理裝置，其中，前記視點切換資訊係含有：關於可從與前記視點切換資訊建立對應之視點做切換之切換目標視點的切換目標視點資訊。
(21)
如前記(20)所記載之資訊處理裝置，其中，前記切換目標視點資訊係含有：關於從與前記視點切換資訊建立對應之視點往前記切換目標視點之切換之閾值的閾值資訊。
(22)
如前記(19)～(21)之任一項所記載之資訊處理裝置，其中，前記視點切換資訊係含有：與前記視點切換資訊建立對應之視點所涉及之影像的攝影關連資訊。
(23)
如前記(22)所記載之資訊處理裝置，其中，前記攝影關連資訊係含有：關於拍攝前記影像之相機之位置的攝影位置資訊。
(24)
如前記(22)或(23)所記載之資訊處理裝置，其中，前記攝影關連資訊係含有：關於拍攝前記影像之相機之方向的攝影方向資訊。
(25)
如前記(22)～(24)之任一項所記載之資訊處理裝置，其中，前記攝影關連資訊係含有：關於拍攝前記影像之相機之視角的攝影視角資訊。
(26)
如前記(19)～(25)之任一項所記載之資訊處理裝置，其中，前記視點切換資訊係含有：關於與前記視點切換資訊建立對應之視點所涉及之音訊物件的位置資訊的決定之際所被參照的螢幕之視角的參照視角資訊。
(27)
一種藉由資訊處理裝置而被執行的資訊處理方法，係含有：將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊是被儲存在標頭中的內容檔案加以取得之步驟。
(28)
一種程式，其係用來使電腦實現：
將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊是被儲存在標頭中的內容檔案加以取得之機能。
100‧‧‧生成裝置
110‧‧‧生成部
111‧‧‧影像串流編碼部
112‧‧‧音訊串流編碼部
113‧‧‧內容檔案生成部
114‧‧‧後設資料檔案生成部
120‧‧‧控制部
130‧‧‧通訊部
140‧‧‧記憶部
200‧‧‧傳遞伺服器
220‧‧‧控制部
230‧‧‧通訊部
240‧‧‧記憶部
300‧‧‧客戶端
310‧‧‧處理部
311‧‧‧後設資料檔案取得部
312‧‧‧後設資料檔案處理部
313‧‧‧區段檔案選擇控制部
320‧‧‧影像處理部
321‧‧‧區段檔案取得部
323‧‧‧檔案剖析部
325‧‧‧影像解碼部
327‧‧‧渲染部
329‧‧‧物件渲染部
330‧‧‧音訊處理部
331‧‧‧區段檔案取得部
333‧‧‧檔案剖析部
335‧‧‧音訊解碼部
337‧‧‧物件位置補正部
339‧‧‧物件渲染部
340‧‧‧控制部
350‧‧‧通訊部
360‧‧‧記憶部
400‧‧‧輸出裝置
500‧‧‧通訊網
600‧‧‧生成裝置
610‧‧‧生成部
611‧‧‧影像串流編碼部
612‧‧‧音訊串流編碼部
613‧‧‧內容檔案生成部
620‧‧‧控制部
630‧‧‧通訊部
640‧‧‧記憶部
700‧‧‧記憶裝置
710‧‧‧生成部
713‧‧‧內容檔案生成部
800‧‧‧再生裝置
810‧‧‧處理部
820‧‧‧影像處理部
821‧‧‧檔案取得部
823‧‧‧檔案剖析部
825‧‧‧影像解碼部
827‧‧‧渲染部
830‧‧‧音訊處理部
831‧‧‧檔案取得部
833‧‧‧檔案剖析部
835‧‧‧音訊解碼部
837‧‧‧物件位置補正部
839‧‧‧物件渲染部
840‧‧‧控制部
850‧‧‧通訊部
860‧‧‧記憶部
900‧‧‧資訊處理裝置
901‧‧‧CPU
902‧‧‧ROM
903‧‧‧RAM
904‧‧‧橋接器
904a‧‧‧主匯流排
904b‧‧‧外部匯流排
905‧‧‧介面
906‧‧‧輸入裝置
907‧‧‧輸出裝置
908‧‧‧儲存裝置
909‧‧‧驅動機
911‧‧‧連接埠
913‧‧‧通訊裝置
915‧‧‧感測器
920‧‧‧網路
[圖1]用來說明本揭露之背景的說明圖。
[圖2]用來說明內容的製作時與再生時顯示視角為不同之情況下的音訊物件之位置補正的說明圖。
[圖3]用來說明追隨於再生時的映像之縮放的音訊物件之位置補正的說明圖。
[圖4]用來說明追隨於再生時的映像之縮放的音訊物件之位置補正的說明圖。
[圖5]用來說明無視點切換時的音訊物件之位置補正的說明圖。
[圖6]說明有視點切換時的音訊物件之位置補正的說明圖。
[圖7]用來說明攝影視角與內容製作時之顯示視角不一致時的音訊物件之位置補正的說明圖。
[圖8]用來說明本技術之概要的說明圖。
[圖9]表示多視點縮放切換資訊之一例的表。又，圖10係為用來說明多視點縮放切換資訊的模式圖。
[圖10]用來說明多視點縮放切換資訊的模式圖。
[圖11]用來說明多視點縮放切換資訊之變形例的說明圖。
[圖12]用來說明多視點縮放切換資訊之變形例的說明圖。
[圖13]內容製作時的多視點縮放切換資訊的生成流程之一例的流程圖。
[圖14]利用了再生時的多視點縮放切換資訊的視點切換流程之一例的流程圖。
[圖15]本揭露之第1實施形態所述之資訊處理系統之系統構成的圖示。
[圖16]該實施形態所述之生成裝置100之機能構成例的區塊圖。
[圖17]該實施形態所述之傳遞伺服器200之機能構成例的區塊圖。
[圖18]該實施形態所述之客戶端300的機能構成例的區塊圖。
[圖19]影像處理部320之機能構成例的圖示。
[圖20]音訊處理部330之機能構成例的圖示。
[圖21]ISO/IEC 23009-1中所被規格定義之MPD檔案之層結構的說明圖。
[圖22]該實施形態所述之後設資料檔案生成部114所生成之MPD檔案之一例的圖示。
[圖23]該實施形態所述之後設資料檔案生成部114所生成之MPD檔案之另一例的圖示。
[圖24]該實施形態的變形例所述之後設資料檔案生成部114所生成之MPD檔案之一例的圖示。
[圖25]該實施形態所述之生成裝置100之動作之一例的流程圖。
[圖26]本實施形態所述之客戶端300之動作之一例的流程圖。
[圖27]本揭露的第2實施形態所述之生成裝置600之機能構成例的區塊圖。
[圖28]該實施形態所述之再生裝置800之機能構成例的區塊圖。
[圖29]ISOBMFF檔案中的moov箱盒之箱盒結構的圖示。
[圖30]多視點縮放切換資訊是被儲存在udta箱盒中之情況下的udta箱盒之例子的圖示。
[圖31]用來說明metadata track的說明圖。
[圖32]內容檔案生成部613儲存在moov箱盒中的多視點縮放切換資訊的說明圖。
[圖33]該實施形態所述之生成裝置600之動作之一例的流程圖。
[圖34]該實施形態所述之再生裝置800之動作之一例的流程圖。
[圖35]硬體構成之一例的區塊圖。

Claims (14)

  1. 一種資訊處理裝置，係具備：內容檔案生成部，係將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊，儲存在內容檔案的標頭中，而生成前記內容檔案。
  2. 如請求項1所記載之資訊處理裝置，其中， 前記內容檔案係為ISO Base Media File Format檔案； 前記標頭係含有前記內容檔案中的moov箱盒； 前記視點切換資訊係被儲存在前記moov箱盒。
  3. . 如請求項2所記載之資訊處理裝置，其中，前記視點切換資訊係被儲存在前記moov箱盒的udta箱盒中。
  4. 如請求項2所記載之資訊處理裝置，其中，前記內容檔案生成部，係將前記視點切換資訊儲存在前記moov箱盒，並且也將前記視點切換資訊儲存在前記內容檔案中的mdat箱盒。
  5. 如請求項1所記載之資訊處理裝置，其中，前記視點切換資訊，係與前記複數視點中所含之各視點建立關連，而被儲存在前記內容檔案中。
  6. 如請求項5所記載之資訊處理裝置，其中，前記視點切換資訊係含有：關於可從與前記視點切換資訊建立對應之視點做切換之切換目標視點的切換目標視點資訊。
  7. 如請求項6所記載之資訊處理裝置，其中，前記切換目標視點資訊係含有：關於從與前記視點切換資訊建立對應之視點往前記切換目標視點之切換之閾值的閾值資訊。
  8. 如請求項5所記載之資訊處理裝置，其中，前記視點切換資訊係含有：與前記視點切換資訊建立對應之視點所涉及之影像的攝影關連資訊。
  9. 如請求項8所記載之資訊處理裝置，其中，前記攝影關連資訊係含有：關於拍攝前記影像之相機之位置的攝影位置資訊。
  10. 如請求項8所記載之資訊處理裝置，其中，前記攝影關連資訊係含有：關於拍攝前記影像之相機之方向的攝影方向資訊。
  11. 如請求項8所記載之資訊處理裝置，其中，前記攝影關連資訊係含有：關於拍攝前記影像之相機之視角的攝影視角資訊。
  12. 如請求項5所記載之資訊處理裝置，其中，前記視點切換資訊係含有：關於與前記視點切換資訊建立對應之視點所涉及之音訊物件的位置資訊的決定之際所被參照的螢幕之視角的參照視角資訊。
  13. 一種藉由資訊處理裝置而被執行的資訊處理方法，係含有：將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊，儲存在內容檔案的標頭中，而生成前記內容檔案之步驟。
  14. 一種程式，其係用來使電腦實現： 將用來在複數視點間的視點切換時進行音訊物件之位置補正所需之視點切換資訊，儲存在內容檔案的標頭中，而生成前記內容檔案之機能。
TW108109217A 2018-03-29 2019-03-19 資訊處理裝置、方法、及程式 TW201943284A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018065015 2018-03-29
JP2018-065015 2018-03-29

Publications (1)

Publication Number Publication Date
TW201943284A true TW201943284A (zh) 2019-11-01

Family

ID=68059712

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108109217A TW201943284A (zh) 2018-03-29 2019-03-19 資訊處理裝置、方法、及程式

Country Status (4)

Country Link
US (1) US11272224B2 (zh)
JP (1) JPWO2019187430A1 (zh)
TW (1) TW201943284A (zh)
WO (1) WO2019187430A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context
JP6833925B2 (ja) * 2019-07-29 2021-02-24 株式会社スクウェア・エニックス 画像処理プログラム、画像処理装置及び画像処理方法
JP2023001629A (ja) * 2021-06-21 2023-01-06 キヤノン株式会社 撮像装置、情報処理装置及びその制御方法並びにプログラム
CN113949829B (zh) * 2021-10-15 2022-09-20 腾讯科技（深圳）有限公司 媒体文件封装及解封装方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2492585C2 (ru) * 2008-07-16 2013-09-10 Нокиа Корпорейшн Способ и устройство для группирования треков и подмножеств треков
US8719309B2 (en) * 2009-04-14 2014-05-06 Apple Inc. Method and apparatus for media data transmission
RU2019122989A (ru) 2014-05-30 2019-09-16 Сони Корпорейшн Устройство обработки информации и способ обработки информации
WO2016084592A1 (ja) * 2014-11-28 2016-06-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
WO2019187430A1 (ja) 2019-10-03
US20210029386A1 (en) 2021-01-28
JPWO2019187430A1 (ja) 2021-04-08
US11272224B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
US11109013B2 (en) Method of transmitting 360-degree video, method of receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
US11037365B2 (en) Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
KR102307819B1 (ko) 레거시 및 몰입형 렌더링 디바이스를 위한 몰입형 비디오를 포맷팅하는 방법, 장치 및 스트림
CN110612723B (zh) 发送/接收包括鱼眼视频信息的360度视频的方法及其装置
CN112204993B (zh) 使用重叠的被分区的分段的自适应全景视频流式传输
TW201943284A (zh) 資訊處理裝置、方法、及程式
CN109362242B (zh) 一种视频数据的处理方法及装置
US20200112710A1 (en) Method and device for transmitting and receiving 360-degree video on basis of quality
US11539983B2 (en) Virtual reality video transmission method, client device and server
US20200329266A1 (en) Information processing apparatus, method for processing information, and storage medium
TWI703854B (zh) 用於在經由超文本傳輸協定（http）之動態自適應串流（dash）中之魚眼虛擬實境視訊之增強的高階發信號
KR20200047726A (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
CN110622516B (zh) 用于鱼眼视频数据的高级发信号
KR102308604B1 (ko) 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림
KR20200088485A (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
KR20200024831A (ko) 어안 가상 현실 비디오에 대한 향상된 고레벨 시그널링
WO2019187442A1 (ja) 情報処理装置、方法、及びプログラム
KR20190126424A (ko) 영역 기반 360도 비디오를 전송하는 방법, 영역 기반 360도 비디오를 수신하는 방법, 영역 기반 360도 비디오 전송 장치, 영역 기반 360도 비디오 수신 장치
WO2019155930A1 (ja) 送信装置、送信方法、処理装置および処理方法