TWI716418B - 資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品 - Google Patents

資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品 Download PDF

Info

Publication number
TWI716418B
TWI716418B TW105121563A TW105121563A TWI716418B TW I716418 B TWI716418 B TW I716418B TW 105121563 A TW105121563 A TW 105121563A TW 105121563 A TW105121563 A TW 105121563A TW I716418 B TWI716418 B TW I716418B
Authority
TW
Taiwan
Prior art keywords
image display
information
image
recorded
control information
Prior art date
Application number
TW105121563A
Other languages
English (en)
Other versions
TW201714163A (zh
Inventor
勝股充
篠原𨺓之
Original Assignee
日商新力股份有限公司
日商索尼互動娛樂股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新力股份有限公司, 日商索尼互動娛樂股份有限公司 filed Critical 日商新力股份有限公司
Publication of TW201714163A publication Critical patent/TW201714163A/zh
Application granted granted Critical
Publication of TWI716418B publication Critical patent/TWI716418B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

在具有可選擇性顯示不同方向之影像的顯示部、和執行影像顯示控制的資料處理部的資訊處理裝置中，資料處理部係適用影像顯示控制資訊中所被記錄之裝置對應的影像顯示方式，來執行影像顯示處理。影像顯示控制資訊，係針對執行影像顯示處理的資訊處理裝置之類型之每一者規定了最佳的類型別顯示方式，資料處理部係適用與自裝置之類型一致之類型所被建立對應的顯示方式，來執行影像顯示處理。

Description

資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品
本揭露係有關於資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、以及程式產品。更詳言之，係有關於，可觀察全天球影像或全方位影像、或是全景影像等各種方向之影像的影像顯示構成中，可使顯示部中所顯示之影像的顯示方式依照最佳的方式、例如內容製作者所推薦之顯示方式而加以顯示的資訊處理裝置、及資訊處理方法、以及程式。
最近，可拍攝全天球影像或全方位影像、或是全景影像等各種方向之影像的攝像裝置已被開發，將使用此種攝像裝置所拍攝到的影像顯示在PC或平板終端、攜帶型終端、或是頭戴式顯示器(HMD)等之顯示部上，可觀察使用者所做的選擇畫面、或是隨著使用者的朝向而自動選擇之影像的系統，已被廣泛利用。
例如，於PC等中，可將周圍360度之全方位影像之映像(動態影像)資料從外部伺服器加以取得，或是從記錄媒體讀出而顯示在顯示裝置。使用者係係可選擇任意方向之影像而顯示在顯示裝置，可自由改變視點而觀察 動態影像或靜止影像等之影像。
PC或平板終端、或是攜帶型終端之顯示部上所顯示的影像，係使用者所做的滑鼠操作、或是藉由對觸控面板的滑動處理、或輕拂處理等而可使觀察方向移動而顯示，使用者係可容易地享受各種方向之影像。
在頭戴式顯示器(HMD)中顯示影像時，係隨應於HMD中所搭載的偵測頭部之運動或方向的感測器資訊，而可相應於使用者的頭部朝向而顯示影像，使用者係可感覺到彷彿自己存在於HMD之顯示部中所被顯示的影像之中。
這些全天球影像或全方位影像、或是全景影像係被進行，從所被拍攝之各種方向之影像之中僅切出一部分之影像而顯示在顯示裝置之顯示部的處理。
該影像切出所伴隨的顯示處理之方式，係有複數種不同的方式。
例如有：透視投影(perspective)方式、或魚眼(廣角)顯示(fish eye)方式等。
此外，揭露了藉由影像處理來變更顯示範圍之處理的先前技術，係有專利文獻1(日本特開2014-127001號公報)。
一般來說，顯示裝置，例如PC、攜帶型終端、HMD等之顯示裝置中，係儲存有執行所定之顯示方式的應用程式(程式)，依照應用程式(程式)所被選擇之顯示方式，而執行顯示處理。
可是，該各應用程式所選擇的顯示方式，係不一定是內容製作者所意圖的，亦即並不一定和實現內容製作者所希望看見之影像的顯示方式一致。
若利用與內容製作者所想定之顯示方式不同的顯示方式來執行影像顯示，則會發生使用者(觀察者)無法看見內容製作者所意圖的「希望看見之影像」的問題。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2014-127001號公報
本揭露係例如有鑑於上記問題點而研發，係提供一種，在全方位影像等、隨使用者操作或動作而輸出各種方向之影像的影像顯示裝置中，可選擇最佳的顯示方式，例如顯示內容製作者所希望看見之影像的顯示方式並加以執行的資訊處理裝置、及資訊處理方法、以及程式。
本揭露之第1側面，係在於一種資訊處理裝置，其係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行輸出至前記顯示部之影像的影像 顯示控制；前記資料處理部，係取得輸出影像資料所相關之影像顯示控制資訊，適用該影像顯示控制資訊中所被記錄之影像顯示方式來執行影像顯示處理。
再者，本揭露之第2側面，係在於一種資料配訊伺服器，其係具有：資料處理部，係生成檔案，其中儲存有：可選擇性顯示不同方向之影像的影像資料；和前記影像資料所相關之影像顯示控制資訊，且為規定了執行影像顯示之裝置類型所相應之影像顯示方式的影像顯示控制資訊；和通訊部，係將前記資料處理部所生成之檔案，予以發送。
再者，本揭露之第3側面，係在於一種資訊記錄媒體，其係儲存有：可選擇性顯示不同方向之影像的影像資料；和前記影像資料所相關之影像顯示控制資訊，且為規定了執行影像顯示之裝置類型所相應之影像顯示方式的影像顯示控制資訊；在執行來自前記資訊記錄媒體之讀出資料之再生的再生裝置中，該資訊記錄媒體係可令其適用與前記影像顯示控制資訊中所被記錄之自裝置類型一致之裝置類型所對應之影像 顯示方式來執行影像顯示。
再者，本揭露之第4側面，係在於一種資訊處理方法，係於資訊處理裝置中，執行影像顯示控制的資訊處理方法，其中，前記資訊處理裝置係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行輸出至前記顯示部之影像的影像顯示控制；前記資料處理部係取得輸出影像資料所相關之影像顯示控制資訊，適用該影像顯示控制資訊中所被記錄之影像顯示方式來執行影像顯示處理。
再者，本揭露之第5側面，係在於一種程式，係於資訊處理裝置中，令其執行影像顯示控制的程式，其中，前記資訊處理裝置係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行輸出至前記顯示部之影像的影像顯示控制；前記程式，係令前記資料處理部，取得輸出影像資料所相關之影像顯示控制資訊，並令其適用該影像顯示控制資訊中所被記錄之影像顯示方式來執行影像顯示處理。
此外，本揭露的程式，係對例如可執行各種 程式碼的資訊處理裝置或電腦系統，藉由以電腦可讀取之形式而提供的記憶媒體、通訊媒體，來加以提供的程式。藉由將此種程式以電腦可讀取形式來提供，就可在資訊處理裝置或電腦系統上實現相應於程式的處理。
本揭露的更多其他目的、特徵或優點，係可基於後述本揭露之實施例或添附圖面所作的更詳細說明來理解。此外，於本說明書中，所謂的系統，係為複數裝置的邏輯集合構成，各構成之裝置係不限於位在同一框體內者。
若依據本揭露之一實施例之構成，則可實現在全景影像顯示處理之際，可適用顯示裝置所對應之最佳的顯示方式來執行顯示處理的裝置、方法。
具體而言，在具有可選擇性顯示不同方向之影像的顯示部、和執行影像顯示控制的資料處理部的資訊處理裝置中，資料處理部係適用影像顯示控制資訊中所被記錄之裝置對應的影像顯示方式，來執行影像顯示處理。影像顯示控制資訊，係針對執行影像顯示處理的資訊處理裝置之類型之每一者規定了最佳的類型別顯示方式，資料處理部係適用與自裝置之類型一致之類型所被建立對應的顯示方式，來執行影像顯示處理。
藉由本構成，可實現在全景影像顯示處理之際，可適用顯示裝置所對應之最佳的顯示方式來執行顯示處理的裝 置、方法。
此外，本說明書中所記載之效果僅為例示並非限定，亦可還有附加性的效果。
10‧‧‧影像資料
20‧‧‧攜帶型終端
25‧‧‧揚聲器
30‧‧‧頭戴式顯示器(HMD)
35‧‧‧揚聲器
50‧‧‧伺服器
51‧‧‧播送伺服器
52‧‧‧資料配訊伺服器
60‧‧‧媒體
70‧‧‧資訊處理裝置
71‧‧‧TV
72‧‧‧PC
73‧‧‧攜帶型終端
74‧‧‧頭戴式顯示器(HMD)
81‧‧‧MP4檔案
82‧‧‧MPD檔案
90‧‧‧裝置類型別指定資訊
91‧‧‧裝置區分數(迴圈數)
92‧‧‧成為顯示方式指定對象的裝置類型
93‧‧‧使用者選擇可否旗標
94‧‧‧指定顯示方式
95‧‧‧顯示領域對角角度
96‧‧‧使用者選擇容許資訊
97‧‧‧使用者選擇可能顯示方式
98‧‧‧使用者選擇可能顯示領域對角角度
251‧‧‧裝置類型
252‧‧‧指定顯示方式
253‧‧‧顯示領域對角角度
301‧‧‧CPU
302‧‧‧ROM
303‧‧‧RAM
304‧‧‧匯流排
305‧‧‧輸出入介面
306‧‧‧輸入部
307‧‧‧顯示部
308‧‧‧記憶部
309‧‧‧通訊部
310‧‧‧驅動機
311‧‧‧可移除式媒體
321‧‧‧聲音輸出部
[圖1]資訊處理裝置中的影像顯示處理、及聲音輸出處理之一例的說明圖。
[圖2]資訊處理裝置中的影像顯示處理、及聲音輸出處理之一例的說明圖。
[圖3]透視投影(perspective)方式、魚眼(廣角)顯示(fish eye)方式的說明圖。
[圖4]對資訊處理裝置的資料提供處理構成的說明圖。
[圖5]ISO基礎媒體檔案格式的說明圖。
[圖6]ISO基礎媒體檔案格式的說明圖。
[圖7]對MP4檔案的影像顯示控制資訊之記錄例的說明圖。
[圖8]裝置類型設定例的說明圖。
[圖9]顯示方式之設定例的說明圖。
[圖10]顯示領域對角角度之一例的說明圖。
[圖11]顯示領域對角角度之一例的說明圖。
[圖12]對MP4檔案的影像顯示控制資訊之記錄領域之一例的說明圖。
[圖13]從MP4檔案的影像顯示控制資訊之讀出、及影像顯示控制處理之執行程序的說明用流程圖的圖示。
[圖14]從MP4檔案的影像顯示控制資訊之讀出、及影像顯示控制處理之執行程序的說明用流程圖的圖示。
[圖15]對資訊處理裝置的資料提供處理構成的說明圖。
[圖16]MPD檔案的說明圖。
[圖17]MPD檔案的說明圖。
[圖18]MPD檔案中所被記錄之影像顯示控制資訊的說明圖。
[圖19]從MPD檔案的影像顯示控制資訊之讀出、及影像顯示控制處理之執行程序的說明用流程圖的圖示。
[圖20]從MPD檔案的影像顯示控制資訊之讀出、及影像顯示控制處理之執行程序的說明用流程圖的圖示。
[圖21]資訊處理裝置之硬體構成例的說明圖。
以下，參照圖面，說明本揭露的資訊處理裝置、及資訊處理方法、以及程式的細節。此外，說明是按照以下項目來進行。
1.關於影像顯示處理之概要
2.關於選擇指定之影像顯示方式而執行影像顯示處理之構成之概要
3.(實施例1)關於在MP4檔案中規定了裝置所應利用之影 像顯示方式的實施例
3-1.(影像顯示控制資訊記錄例1)關於在MP4檔案中記錄內容單位之顯示方式指定資訊的記錄例
3-2.(影像顯示控制資訊記錄例2)關於在MP4檔案中記錄顯示裝置單位之顯示方式指定資訊的記錄例
3-3.(影像顯示控制資訊記錄例3)關於在MP4檔案中記錄限制使用者所能選擇之方式之顯示方式指定資訊的記錄例
4.關於利用了MP4檔案中所被記錄之影像顯示控制資訊的影像顯示控制處理程序
5.(實施例2)關於在MPD中記錄了影像顯示控制資訊的實施例
6.關於利用了MPD檔案中所被記錄之影像顯示控制資訊的影像顯示控制處理程序
7.關於資訊處理裝置之硬體構成例
8.本揭露之構成的總結
[1.關於影像顯示處理之概要]
首先，參照圖1以下，說明可將全天球影像或全方位影像、或是全景影像等各種方向之影像顯示在顯示部的裝置中的影像顯示處理之概要。
如前述，最近，可拍攝全天球影像或全方位影像、或是全景影像等各種方向之影像的攝像裝置已被開發，將使用此種攝像裝置所拍攝到的影像顯示在PC或平 板終端、攜帶型終端、或是頭戴式顯示器(HMD)等之顯示部上，可觀察使用者所選擇的任意方向之影像的系統，已被廣泛利用。
例如，可將周圍360度之全方位影像之映像(動態影像)資料從外部伺服器加以取得，或是從記錄媒體讀出而顯示在使用者的PC等之顯示裝置。使用者係從伺服器或記錄媒體取得的影像資料，選擇出任意方向之影像而令其被顯示在顯示裝置，可一面自由改變視點一面觀察映像(動態影像)或靜止影像。
圖1係在攜帶型終端的顯示部選擇各種方向之影像而予以顯示的例子的說明圖。
圖1所示的影像資料10，係為全景影像。水平方向360度之影像是被當成1張影像資料而設定。
若假設影像資料之中心部是使用者(觀察者)之正面方向(例如0度=北方向)之影像，則影像資料10之左端係為使用者(觀察者)之後方向(-180度=南方向)之影像，影像資料10之右端也是使用者(觀察者)之後方向(+180度=南方向)之影像。
影像資料10之左端與右端係為相同位置之影像。
此外，全天球影像或全方位影像，亦即360度全景影像的情況下，係在上下方向都是拍攝180度之影像，包含有上下左右全方向之影像。
在以下的實施例中，雖然針對利用水平方向360度之全景影像的例子來說明，但本揭露之構成，係也可適用於 利用全天球影像或全方位影像的情況，在可選擇性顯示不同方向之影像的裝置中，可以適用本揭露之構成。
在以下的說明中，全景影像係包含：水平方向360度之全景影像、全天球影像或全方位影像等之360度全景影像、其他還有，隨影像移動而可顯示不同方向之影像的影像之全部。
圖1下段係圖示，使用者之資訊處理裝置之一例的攜帶型終端20。
在攜帶型終端20的顯示部，係可將影像資料10的一部分之領域，例如使用者所任意選擇的領域之影像，加以顯示。
左側之攜帶型終端20的顯示影像A，係影像資料10內的部分領域之影像區間a1~a2的部分區間之領域影像。
右側之攜帶型終端20的顯示影像B，係影像資料10內的部分領域之影像區間b1~b2的部分區間之領域影像。
使用者係對被構成為觸控面板的顯示部，藉由手指的滑移處理等，就可使顯示影像移動，顯示任意領域之影像。
此外，攜帶型終端20上係具備有揚聲器25，可將連同顯示影像一起被記錄的聲音資料予以輸出。
圖2係利用頭戴式顯示器(HMD)30來顯示全景影像的例子。
在頭戴式顯示器(HMD)30中顯示影像時，係隨應於HMD中所搭載的偵測頭部之運動或方向的感測器資訊，而可相應於使用者的頭部朝向而令影像被顯示。藉由此影像顯示控制，使用者係可感覺到自己彷彿存在於HMD的顯示部中所被顯示的影像之中。
裝著了HMD30的使用者朝向左方時的影像係為顯示影像P。
裝著了HMD30的使用者朝向右方時的影像係為顯示影像Q。
裝著了HMD30的使用者，係藉由改變身體(頭部)之朝向，就可觀察周圍360度之影像。
此外，頭戴式顯示器(HMD)30上係具備有揚聲器35，可將連同顯示影像一起被記錄的聲音資料予以輸出。
[2.關於選擇指定之影像顯示方式而執行影像顯示處理之構成之概要]
將參照圖1、圖2所說明的全景影像、或全天球影像或全方位影像等顯示於顯示部之際，會執行從所被拍攝之各種方向之影像之中僅切出一部分之影像而顯示的處理。
該影像切出所伴隨的顯示處理之方式，係有複數種不同的方式。
例如，若大致分類，係有：透視投影(perspective)方式、魚眼(廣角)顯示(fish eye)方式、 等等。
透視投影(perspective)方式，係如圖3(a)所示，係將以某個中心點O為基準點而被投影的攝影影像ABCD，轉換成顯示影像XYZW。魚眼(廣角)顯示(fish eye)方式，係為適用了魚眼鏡頭的影像投影轉換方式，如圖3(b)所示，將影像以假想球面之中心點O為基準點，投影在假想球面上，然後，將投影影像轉換成顯示用之平面影像的方式。
此外，適用了魚眼鏡頭的投影轉換方式中，係有：立體投影、等距離投影、等立體角投影、正投影等，各式各樣的方式。
一般來說，顯示裝置，例如PC、攜帶型終端、HMD等之顯示裝置中，係儲存有執行所定之顯示方式的應用程式(程式)，依照應用程式(程式)所被選擇之顯示方式，而執行顯示處理。
可是，該各應用程式所選擇的顯示方式，係不一定是內容製作者所意圖的，亦即並不一定和實現內容製作者所希望看見之影像的顯示方式一致。
若利用與內容製作者所想定之顯示方式不同的顯示方式來執行影像顯示，則會發生使用者(觀察者)無法看見內容製作者所意圖的「希望看見之影像」的問題。
以下，說明解決此問題點的本揭露之構成。
以下所說明的本揭露的資訊處理裝置，係在全方位影像等、隨使用者操作或動作而輸出各種方向之影像的影像 顯示處理之際，可選擇最佳的顯示方式，例如顯示內容製作者所希望看見之影像的顯示方式並加以執行。
首先，說明本揭露的資訊處理裝置所執行的處理之概要。
作為將參照圖1、圖2所說明的全景影像、或全天球影像或全方位影像等顯示於顯示部的資訊處理裝置，係有例如以下所示的種類(裝置類型)。
(a)藉由使用者操作(滑鼠、觸控面板操作、掃掠、遙控器)而將顯示影像予以移動、變更的裝置
(a1)PC
(a2)平板終端
(a3)攜帶型終端
(a4)TV
(b)隨應於使用者(觀察者)或裝置(顯示裝置)之運動、朝向等之來自偵測感測器的偵測資訊而將顯示影像予以移動、變更的裝置
(b1)外部完全無法看見之類型的沒入型HMD(頭戴式顯示器)
(b2)外部也能透視看見之類型的玻璃型HMD(頭戴式顯示器)
(b3)行動機器等之攜帶型終端(可藉由動作感測器進行畫面移動的機器)
在這些各式各樣的資訊處理裝置的顯示部中，顯示全景影像、全天球影像、全方位影像等之際，資 訊處理裝置的資料處理部，係讀取對應於影像而被設定的後設資料，適用被後設資料所指定的顯示方式而執行顯示處理。
作為後設資料中所被記錄之指定方式，係有例如以下之方式：(1)不轉換，全部加以顯示的無轉換全顯示方式；(2)透視投影(perspective)方式；(3)使用2個魚眼，將360度全部加以顯示的方式；(4)魚眼(廣角)顯示(立體投影：Stereograhic)方式；(5)魚眼(廣角)顯示(等距離投影：Equidistant)方式；(6)魚眼(廣角)顯示(等立體角投影：Wquisolid angle)方式；(7)魚眼(廣角)顯示(正投影：Orthographic)方式；(8)不限定顯示方式，容許資訊處理裝置、或使用者指定的設定；例如，將這些(1)~(8)之任一者的指定資訊當作影像對應之後設資料而記錄然後向資訊處理裝置連同影像一起加以提供。
資訊處理裝置，係在影像顯示之際，參照顯示影像所被建立對應的後設資料，依照後設資料中所被記錄之指定方式而執行顯示處理。
此外，後設資料係記錄在，例如，以下之任一者的檔案中。
(1)作為AV內容之儲存檔案而被規定的MP4檔案； (2)將MPEG-DASH規格中所被規定的訊令資料(後設資料)加以構成的1個宣告檔案也就是MPD[媒體呈現描述(Media Presentation Description)]檔案；係被儲存在上記MP4檔案、或MPD檔案中，而被提供給執行影像顯示的使用者裝置(資訊處理裝置)。
針對以下的2個實施例，依序說明。
(實施例1)在MP4檔案中規定了裝置所應利用之影像顯示方式的實施例
(實施例2)在MPD檔案中規定了裝置所應利用之影像顯示方式的實施例
[3.(實施例1)關於在MP4檔案中規定了裝置所應利用之影像顯示方式的實施例]
首先，作為實施例1，說明在MP4檔案中規定了裝置所應利用之影像顯示方式的實施例。
圖4係依照實施例1而對執行本揭露的影像顯示控制的資訊處理裝置70、及資訊處理裝置70提供包含影像及聲音資料之內容的伺服器50、和媒體60的圖示。
全天球影像或全方位影像、或是全景影像等之影像資料與聲音資料，係從例如圖4所示的伺服器50被提供給資訊處理裝置70。或從圖4所示的媒體60被提供給資訊處理裝置70。
伺服器50係包含有例如：播送台等的播送伺 服器51、其他資料配訊伺服器52。
內容，係透過播送波或網際網路等之網路而被發送至資訊處理裝置70。
資訊處理裝置70，係將透過播送波或網際網路等之網路而從伺服器50所被發送的內容予以接收並再生。
又，媒體60係包含有：被裝著在資訊處理裝置中的碟片、快閃記憶體、硬碟等各式各樣的媒體。
資訊處理裝置70，係讀取這些媒體中所被記錄之內容並再生。
進行內容再生的資訊處理裝置，係為例如TV71、PC72、攜帶型終端73、頭戴式顯示器(HMD)74等，是具備影像顯示部、聲音輸出部(揚聲器)的裝置。
從伺服器50、或是媒體60而被提供給資訊處理裝置70的內容，係為全天球影像、或全方位影像、或是全景影像等，含有可選擇性顯示各種方向之影像的影像資料與聲音資料的內容。
該內容，係例如被儲存在MP4檔案81中而被提供。
MP4檔案81，係為依照ISO基礎媒體檔案格式而記錄資料的檔案。
ISO基礎媒體檔案格式，係為被ISO/IEC14496-12所規定的資料格式，是適合於例如對快閃記憶體等的記錄資料、或是透過播送波或網路的作為送訊資料檔案之儲存資料而為合適的資料格式。
ISO基礎媒體檔案格式，係將例如：影像 (Video)、聲音(Audio)、字幕(Subtitle)等、內容構成資料的編碼資料、或這些資料所相關之後設資料(屬性資訊)，記錄在記錄媒體(媒體)之際，會被利用。然後，也被當成透過播送波或網路而傳輸的資料之資料儲存格式而利用。
最近有許多攜帶型終端，係具有可再生依照ISO基礎媒體檔案格式而被記錄之MP4資料的再生應用程式，在對攜帶型終端之媒體中記錄內容時，經常會被要求以MP4形式來進行記錄。
參照圖5、圖6，說明ISO基礎媒體檔案格式之概要。
圖5中係圖示，被ISO/IEC14496-12所規定的ISO基礎媒體檔案格式之例子。
圖5所示的MP4檔案，係依照ISO基礎媒體檔案格式而被設定成為資料之記錄或再生處理時的1個處理單位的檔案。
MP4檔案，係被進行了箱盒(box)單位之領域設定，各箱盒中係儲存有，以箱盒單位而被定義的資料。
各箱盒係具有：箱盒大小(box-size)、箱盒類型(box-type)、箱盒資料(box-data)之各領域。
箱盒大小(box-size)中係記錄有，箱盒之資料長度(位元組大小)。
箱盒類型(box-type)中係記錄有，箱盒中所儲存的資料之種類。
箱盒資料(box-data)中係記錄有，箱盒類型所表示之 種類的資料。
圖5所示的MP4檔案中，係被設定有以下類型之箱盒。
moov箱盒；trak箱盒；mdat箱盒；上記之各箱盒係被設定。
影像、聲音、字幕等之再生對象資料也就是實際資料係被儲存在mdat箱盒。
又，mdat箱盒中所儲存的資料所相關之屬性資訊、再生控制資訊等之後設資料，係被儲存在moov箱盒內的trak箱盒。
moov箱盒，係為被設定來作為MP4檔案之mdat箱盒中所被儲存之資料的後設資料(再生控制資訊或屬性資訊)之儲存領域的箱盒。
在moov箱盒內，係被設定有1個以上之trak箱盒。 trak箱盒，係可針對例如影像、聲音、字幕等之資料種類別來設定，儲存各資料的後設資料。
參照圖6，說明對MP4檔案的資料儲存構成例。MP4檔案中，係如前述而被設定有以下之各箱盒。
moov箱盒；trak箱盒；mdat箱盒；上記之各箱盒係被設定。
在mdat箱盒係儲存有例如：
(a)影像
(b)聲音
(c)字幕
這些資料。
ISO基礎媒體檔案格式的資料部也就是mdat箱盒的儲存資料，係係被區分成作為基本資料單位的樣本(sample)。
1個mdat箱盒中係會儲存有：只有影像樣本之集合、或是只有聲音樣本之集合、或只有字幕樣本之集合、任何同一種類之資料樣本之集合。
moov箱盒，係為MP4檔案之mdat箱盒中所被儲存之資料的後設資料(再生控制資訊或屬性資訊)之儲存領域。
在moov箱盒內，係被設定有1個以上之trak箱盒。trak箱盒，係可針對例如影像、聲音、字幕等之資料種類別來設定，儲存各資料的後設資料。
圖6所示的trak(Video)箱盒，係為儲存了影像資料所相關之屬性資訊或控制資訊的影像對應後設資料儲存箱盒。
trak(Audio)箱盒，係為儲存了聲音資料所相關之屬性資訊或控制資訊的影像對應後設資料儲存箱盒。
trak(Subtitle)箱盒，係為儲存了字幕資料所相關之屬性資訊或控制資訊的影像對應後設資料儲存箱盒。
此外，MP4檔案中所被儲存的再生資料中含有複數不同的影像資料，例如2K影像、4K影像等的情況下，則可將這些影像種類單位的控制資訊，記錄在trak(Video)箱盒。
又，MP4檔案中所儲存的聲音資料中含有複數不同的聲音資料，例如日本語聲音、英語聲音等的情況下，則可將這些隨應於聲音種類的聲道單位的個別之控制資訊，記錄在trak(Audio)箱盒。
又，關於BGM、旁白、被攝體(物件)聲音等，也可將這些各聲道(亦包含聲音輸出物件)單位的個別之控制資訊，記錄在trak(Audio)箱盒。
接著，參照圖7，說明trak(Video)箱盒中所被記錄之影像對應之具體的控制資訊記錄例。
圖7所示的影像顯示控制資訊，係為被提供給，將可選擇性顯示全景影像等、各種方向之影像的影像資料予以顯示在顯示部的資訊處理裝置70的影像顯示控制資訊。
具體而言，MP4檔案中所被儲存之影像資料(全景影像、全天球影像、全方向影像等)的影像顯示之際，係為用來決定執行以下哪一顯示方式而被利用的控制資訊。
(1)不轉換，全部加以顯示的無轉換全顯示方式；(2)透視投影(perspective)方式；(3)使用2個魚眼，將360度全部加以顯示的方式；(4)魚眼(廣角)顯示(立體投影：Stereograhic)方式；(5)魚眼(廣角)顯示(等距離投影：Equidistant)方式； (6)魚眼(廣角)顯示(等立體角投影：Wquisolid angle)方式；(7)魚眼(廣角)顯示(正投影：Orthographic)方式；(8)不限定顯示方式，容許資訊處理裝置、或使用者指定的設定；例如，係為用來決定要執行依照這些(1)~(8)之哪種方式的影像顯示所需之控制資訊。
trak(Video)箱盒中所被記錄之控制資訊，係亦可被記錄成為如圖7所示的資料。
亦即，例如，係為以下的資料。
Figure 105121563-A0202-12-0022-1
圖7及上記所示的指定影像顯示方式的控制 資訊中係含有：(a)裝置類型別指定資訊90；(b)使用者選擇容許資訊96；這些(a)、(b)之各資訊。
裝置類型別指定資訊90，係為記錄了，PC、頭戴式顯示器(HMD)等之裝置之種類(類型)所相應之顯示方式之指定資訊的領域。
裝置類型別指定資訊90中，係為1以上之裝置類型單位之顯示方式係被重複記錄的迴圈領域。
例如，將對PC、平板終端的指定顯示方式記錄在第1迴圈；將對HMD的指定顯示方式當作第2迴圈而記錄的如此設定下，各裝置類型所相應之顯示方式之指定資訊，係被記錄。
裝置類型別指定資訊90內的「成為顯示方式指定對象的裝置類型(device_type)92」中所被記錄之裝置類型識別元所對應之裝置，係被要求適用該裝置類型別指定資訊90之記錄領域中所被指定的顯示方式來執行影像顯示。
使用者選擇容許資訊96，係裝置類型別指定資訊90內的「使用者選擇可否旗標93(user_selection_flag)」之設定，是容許使用者選擇的設定值的時候會被利用，是記錄了可讓使用者自由選擇之顯 示方式的領域。
「使用者選擇可否旗標93(user_selection_flag)」之設定，是容許使用者選擇的設定值的情況下，從使用者選擇容許資訊96中所被記錄之選項之中，使用者可自由決定顯示方式。
以下，說明圖7所示的影像顯示方式控制資訊之各記錄資料的細節。
圖7所示的控制資料中的「device_count」
上記資料，係如圖7所示，係為「裝置區分數(迴圈數)91」。亦即，係為裝置類型別指定資訊90中所被記錄之「裝置區分數(迴圈數)91」。
所謂裝置類型，係為進行影像顯示的資訊處理裝置之種別，相當於PC、HMD等之種類。
例如，假設裝置類型別指定資訊90是由以下的2個迴圈所構成。
(第1迴圈)對PC、和平板終端的指定顯示方式；(第2迴圈)對HMD的指定顯示方式；如此，當有2個迴圈被記錄時，「裝置區分數(迴圈數)(device_count)91」係為2。
又，圖7所示的記控制資料中的「device_type」
上記資料，係如圖7所示，係為「成為顯示方式指定對象的裝置類型92」。
關於裝置類型之設定值與裝置類型之對應關係的具體例，參照圖8來說明。
如圖8所示，裝置類型設定值、與裝置之類型(種類)之對應，係如以下所述。
裝置類型設定值=0：無裝置指定：可在全裝置上做利用(若有其他0以外之值併記時，則可在所被併記之設定值所對應之裝置以外之裝置上做利用)
裝置類型設定值=1：沒入型頭戴式顯示器(HMD)[僅可觀察HMD顯示部之顯示影像的HMD]裝置類型設定值=2：玻璃型頭戴式顯示器(HMD)[配合HMD顯示部之顯示影像而可一併觀察到穿透過HMD的外部之景色的HMD]
裝置類型設定值=3：藉由使用者所做的畫面操作(滑鼠、觸控操作等)而可移動影像的使用者畫面操作型裝置[PC、平板終端、攜帶型終端等]
裝置類型設定值=4：藉由使用者所做的裝置移動操作(晃動裝置等之動作操作等)而可移動影像的使用者動作操作型裝置[平板終端、攜帶型終端等]
例如，若裝置類型別指定資訊90的第1迴圈，對HMD的指定顯示方式的情況下，該第1迴圈的「成為顯示方式指定對象的裝置類型(device_type)92」，係為裝置類型設定值=1、2。
裝置類型設定值=1、2所對應之HMD，係被要求適用以下所被記錄之顯示方式來執行顯示處理。
此外，圖8所示的對應關係之設定係為一例。亦可為和圖8所示的對應關係不同的設定，又亦可針對圖8所示的裝置種類以外之裝置來設定設定值的構成。
圖7所示的控制資料中的「user_selection_flag」
上記資料，係如圖7所示， 「使用者選擇可否旗標93」。
此係表示是否可讓使用者選擇顯示方式的旗標。例如，使用者選擇可否旗標=1，使用者選擇可否旗標=0，係為這些旗標設定。
使用者選擇可否旗標=1的情況下，圖7所示的「使用者指選擇可能顯示方式(user_projection_type)96」、「使用者選擇可能顯示領域對角角度(user_diagonal_angle)97」
從這些資料記錄領域中所被設定的顯示方式、及顯示領域對角角度，可以使用者所選擇的設定來執行顯示處理。
圖7所示的控制資料中的 「projection_type」
上記資料，係如圖7所示，係為「指定顯示方式94」。
指定顯示方式(projection_type)之設定值與顯示方式之對應關係的具體例，參照圖9來說明。
如圖9所示，指定顯示方式(projection_type)之設定值與顯示方式之對應關係，係如以下所述。
指定顯示方式設定值=0：未指定[可利用資訊處理裝置(顯示裝置)側所決定的顯示方式]
指定顯示方式設定值=1：將影像直接顯示(不進行影像轉換)
指定顯示方式設定值=2：透視投影方式
指定顯示方式設定值=3：利用2個魚眼的360度影像全顯示方式
指定顯示方式設定值=4：魚眼(廣角)顯示方式[=立體投影(Stereographic)顯示方式]
指定顯示方式設定值=5：魚眼(廣角)顯示方式[=等距離投影(Equidstant)顯示方式]
指定顯示方式設定值=6：魚眼(廣角)顯示方式[=等立體角投影(Equisolid angle)顯示方式]
指定顯示方式設定值=7：魚眼(廣角)顯示方式[=正投影(Orthographic)顯示方式]
此外，圖9所示的設定係為一例。亦可為和圖9所示的設定不同的設定。又亦可為，針對圖9所示的 顯示方式以外之顯示方式而設定設定值的構成。
圖7所示的控制資料中的「diagonal_angle」
上記資料，係如圖7所示，係為「顯示領域對角角度95」。
顯示領域對角角度(diagonal_angle)係為規定了，於圖8所示的顯示方式(c)2：透視投影方式~(h)7：魚眼(廣角)顯示方式中所被規定之顯示領域對角角度的領域。
圖8所示的顯示方式(c)2：透視投影方式~(h)7：魚眼(廣角)顯示方式的執行時，必須指定顯示領域對角角度，該指定角度資訊係被記錄。
圖10中圖示透視投影方式中的對角角度(角度BOD)，圖11中圖示魚眼(廣角)方式中的對角角度(角度BOD)之例子。
圖7所示的控制資料中的「user_projection_type」
上記資料，係如圖7所示，係為「使用者選擇可能顯示方式97」。
又，圖7所示的記控制資料中的「user_diagonal_angle」
上記資料，係如圖7所示，係為「使用者選擇可能顯示領域對角角度98」。
如前述，使用者選擇容許資訊96，係裝置類型別指定資訊90內的「使用者選擇可否旗標 93(user-selection_flag)」之設定，是表示容許使用者選擇的設定值的時候會被利用，是記錄了可讓使用者自由選擇之顯示方式的領域。
「使用者選擇可否旗標93(user_selection_flag)」之設定，是容許使用者選擇的設定值的情況下，使用者選擇容許資訊96的 「使用者選擇可能顯示方式97」中所被記錄之顯示方式選項之中，使用者可從其中自由決定顯示方式。
同樣地，從「使用者選擇可能顯示領域對角角度98」中所被記錄之顯示領域對角角度選項之中，使用者可自由決定顯示領域對角角度。
圖7所示的影像顯示控制資訊，係被記錄在之前參照圖5、圖6所說明過的MP4檔案之影像(Video)對應之控制資訊(後設資料)記錄領域也就是trak箱盒中。
在影像顯示控制資訊記錄領域也就是trak箱盒內，係可記錄各式各樣的控制資訊。
關於記錄圖7所示的影像顯示控制資訊的trak箱盒內所設定的記錄位置之1個例子，參照圖12來加以說明。
(控制資訊儲存例1)
說明圖12所示之控制資訊儲存例1。
圖12所示的例子係為，作為MP4檔案之影像顯示控制資訊儲存箱盒也就是trak箱盒內的儲存使用者資料的使 用者資料(udta)箱盒內之下位箱盒，設定了影像顯示控制資訊(Projection Type)記錄箱盒的例子。
將圖7所示的控制資訊，記錄在圖12所示的影像顯示控制資訊(Projection Type)記錄箱盒。
在MP4檔案81中，例如在參照圖12所說明過的後設資料記錄領域中，係可記錄影像顯示控制資訊。
以下，作為對MP4檔案的具體的控制資訊記錄例，依序說明以下3個記錄例。
(影像顯示控制資訊記錄例1)在MP4檔案中記錄內容單位之顯示方式指定資訊。
(影像顯示控制資訊記錄例2)在MP4檔案中記錄顯示裝置單位之顯示方式指定資訊。
(影像顯示控制資訊記錄例3)在MP4檔案中記錄限制使用者所能選擇之方式之顯示方式指定資訊。
以下，說明各影像顯示控制資訊記錄例。[3-1.(影像顯示控制資訊記錄例1)關於在MP4檔案中記錄內容單位之顯示方式指定資訊的記錄例]
首先，作為影像顯示控制資訊記錄例1，說明在MP4檔案中記錄內容單位之顯示方式指定資訊的記錄例。
在MP4檔案中記錄內容單位之顯示方式指定資訊的情況下，MP4檔案之記錄資料之設定，係為如下之設定。
裝置區分數(迴圈數)(device_count)=1
裝置類型(device_type)=0(未指定)； 係為這些設定。
然後，於圖7所示的影像顯示控制資訊之記錄資料中，在「裝置類型別指定資訊90」記錄領域中，係被設定1個迴圈，記錄有所有裝置共通的1個記錄方式。
圖7所示的控制資料中的「指定顯示方式(projection_type)94」中，係記錄圖9所示的任一設定值。
亦即，指定顯示方式設定值=0：未指定[可利用資訊處理裝置(顯示裝置)側所決定的顯示方式]
指定顯示方式設定值=1：將影像直接顯示(不進行影像轉換)
指定顯示方式設定值=2：透視投影方式
指定顯示方式設定值=3：利用2個魚眼的360度影像全顯示方式
指定顯示方式設定值=4：魚眼(廣角)顯示方式[=立體投影(Stereographic)顯示方式]
指定顯示方式設定值=5：魚眼(廣角)顯示方式[=等距離投影(Equidstant)顯示方式]
指定顯示方式設定值=6：魚眼(廣角)顯示方式[=等立體角投影(Equisolid angle)顯示方式]
指定顯示方式設定值=7：魚眼(廣角)顯示方式[=正投 影(Orthographic)顯示方式]
這些任一設定值，會被記錄。
再者，圖7所示的記控制資料中的 「顯示領域對角角度(diagonal_angle)95」中，係因應需要，而被記錄有指定之顯示領域對角角度資料。
執行影像顯示的PC、HMD等之顯示裝置(資訊處理裝置)，係解譯影像顯示控制資訊，執行所被指定之顯示方式而執行影像顯示處理。
[3-2.(影像顯示控制資訊記錄例2)關於在MP4檔案中記錄顯示裝置單位之顯示方式指定資訊的記錄例]
接著，作為影像顯示控制資訊記錄例2，說明在MP4檔案中記錄顯示裝置單位之顯示方式指定資訊的記錄例。
在MP4檔案中記錄顯示裝置單位之顯示方式指定資訊的情況下，MP4檔案之記錄資料之設定，係例如為如下之設定。
裝置區分數(迴圈數)(device_count)=2
在裝置類型別指定資訊中設定以下2個迴圈。
裝置類型(device_type)=1(HMD)； 裝置類型(device_type)=0(未指定)； 係為這些設定。
在裝置類型別指定資訊的第1迴圈中，係記錄裝置類型(device_type)=1(HMD)所對應之記錄方式指定資訊。
圖7所示的控制資料中的「指定顯示方式(projection_type)94」中，係記錄圖9所示的任一設定值。
再者，圖7所示的記控制資料中的「顯示領域對角角度(diagonal_angle)95」中，係因應需要，而記錄指定之顯示領域對角角度資料。
又，在裝置類型別指定資訊的第2迴圈中，係記錄裝置類型(device_type)=0(未指定)所對應之記錄方式指定資訊。
圖7所示的控制資料中的「指定顯示方式(projection_type)94」中，係記錄圖9所示的任一設定值。
再者，圖7所示的記控制資料中的「顯示領域對角角度(diagonal_angle)95」中，係因應需要，而記錄指定之顯示領域對角角度資料。
執行影像顯示的顯示裝置(資訊處理裝置)是HMD時，則裝置類型別指定資訊的第1迴圈中所被記錄之指定方式，亦即，「指定顯示方式(projection_type)94」；「顯示領域對角角度(diagonal_angle)95」；按照這些指定資料，執行影像顯示處理。
執行影像顯示的顯示裝置(資訊處理裝置)是HMD以外時，則裝置類型別指定資訊的第2迴圈中所被 記錄之指定方式，亦即，「指定顯示方式(projection_type)94」；「顯示領域對角角度(diagonal_angle)95」；按照這些指定資料，執行影像顯示處理。
[3-3.(影像顯示控制資訊記錄例3)關於在MP4檔案中記錄限制使用者所能選擇之方式之顯示方式指定資訊的記錄例]
接著，作為影像顯示控制資訊記錄例3，說明在MP4檔案中記錄限制使用者所能選擇之方式之顯示方式指定資訊的記錄例。
在MP4檔案中記錄有限制使用者所能選擇之方式的顯示方式指定資訊的情況下，MP4檔案之記錄資料之設定，係例如為如下之設定。
將裝置類型別指定資訊90內的「使用者選擇可否旗標93(user_selection_flag)」之設定，設成容許使用者選擇的設定值。
使用者選擇可否旗標=1， 甚至，在使用者選擇容許資訊96中，記錄使用者所能選擇之方式等。
「使用者選擇可能顯示方式(user_projection_type)97」；「使用者選擇可能顯示領域對角角度(user_diagonal_angle)98」；在這些各資料記錄領域中，記錄容許的顯示方式和顯 示領域對角角度等。
執行影像顯示的顯示裝置(資訊處理裝置)，係「使用者選擇可能顯示方式(user_projection_type)97」；「使用者選擇可能顯示領域對角角度(user_diagonal_angle)98」；從這些領域中所被記錄之方式、角度，適用使用者所選擇之方式和角度來執行影像顯示處理。
[4.關於利用了MP4檔案中所被記錄之影像顯示控制資訊的影像顯示控制處理程序]
接著說明，於資訊處理裝置中所執行的影像顯示控制處理程序，亦即，利用了MP4檔案中所被記錄之影像顯示控制資訊的影像顯示控制處理程序。
圖13、圖14所示的流程圖，係使用者裝置也就是資訊處理裝置70中所執行的影像顯示控制處理程序的說明用流程圖。
資訊處理裝置70係具有：顯示部(顯示器)、聲音輸出部(揚聲器)。
資訊處理裝置70係為例如TV、PC、攜帶型終端、頭戴式顯示器(HMD)等。
資訊處理裝置70，係從例如圖4所示的伺服器50、或是媒體60取得MP4檔案，將MP4檔案中所被記錄之內容予以再生。
再生內容，係含有全天球影像、全方向影像、全景影像等，可觀察各種方向之影像的影像，且為還包含有連同影像一起被再生之聲音資訊的內容。
影像資料、聲音資料，係被儲存在MP4檔案中，然後這些影像資料、聲音資料所對應之控制資訊也被儲存在MP4檔案中。
影像顯示控制資訊中，係含有之前參照圖7所說明過的控制資訊。
關於於資訊處理裝置70中所執行的處理程序，參照圖13、圖14所示的流程圖來說明。
此外，依照圖13、圖14所示的流程圖的處理，係於資訊處理裝置70中被執行。資訊處理裝置70係具有具備持有程式執行機能之CPU的資料處理部，在資料處理部的控制下執行各處理。此外，關於資訊處理裝置70的硬體構成例係在後段說明。
說明圖13、圖14所示的流程之各步驟之處理。
(步驟S101)
資訊處理裝置的資料處理部，係於步驟S101中，取得MP4檔案。
(步驟S102)
接著，資訊處理裝置的資料處理部，係於步驟S102中，從所取得的MP4檔案，取得影像顯示控制資訊。
例如，係為參照圖7所說明的影像顯示控制資訊。
(步驟S103)
接著，資訊處理裝置的資料處理部，係於步驟S103中，從步驟S102所取得的影像顯示控制資訊，取得裝置類型別指定資訊。
係為參照圖7所說明的裝置類型別指定資訊90。
如之前參照圖7所說明，裝置類型別指定資訊90，係為記錄了，PC、頭戴式顯示器(HMD)等之裝置之種類(類型)所相應之顯示方式之指定資訊的領域。
裝置類型別指定資訊90中，係為1以上之裝置類型單位之顯示方式係被重複記錄的迴圈領域。
例如，將對PC、平板終端的指定顯示方式記錄在第1迴圈；將對HMD的指定顯示方式當作第2迴圈而記錄的如此設定下，各裝置類型所相應之顯示方式之指定資訊，係被記錄。
(步驟S104)
接著，資訊處理裝置的資料處理部，係於步驟S104中，選擇裝置類型別指定資訊中所被記錄之裝置類型(device_type)之設定值是與自裝置之裝置類型一致的資料記錄領域(迴圈)。
(步驟S105)
接著，資訊處理裝置的資料處理部，係於步驟S105中，判定步驟S104所選擇的裝置類型別指定資訊內之迴圈中所被記錄之使用者選擇可否旗標(user_selection_flag)之設定值，是否表示使用者可選擇。
若為使用者可選擇之設定，則前進至步驟S201。
若為使用者不可選擇之設定，則前進至步驟S106。
(步驟S106)
步驟S104中所選擇的裝置類型別指定資訊內之迴圈中所被記錄之使用者選擇可否旗標(user_selection_flag)之設定值係為使用者不可選擇之設定時，則執行步驟S106之處理。
資訊處理裝置的資料處理部，係於步驟S106中，依照裝置類型別指定資訊內之選擇迴圈中所被記錄之(a)指定顯示方式(projection_type)；(b)顯示領域對角角度(diagonal_angle)
依照這些(a)、(b)之指定，來執行影像顯示處理。
(步驟S201)
另一方面，步驟S104中所選擇的裝置類型別指定資訊內之迴圈中所被記錄之使用者選擇可否旗標(user_selection_flag)之設定值係為使用者可選擇之設定 時，則執行步驟S201之處理。
資訊處理裝置的資料處理部，係於步驟S201中，將使用者選擇容許資訊領域中所被記錄之(a)使用者選擇可能顯示方式(user_projection_type)；(b)使用者選擇可能顯示領域對角角度(user_diagonal_angle)
將這些各資料加以取得，將這些容許方式與容許角度資訊，顯示於顯示部。
亦即，提示用來讓使用者選擇希望之方式與角度所需之UI。
(步驟S202)
接著，資訊處理裝置的資料處理部，係將使用者之輸入資訊，亦即使用者所希望之顯示方式與顯示領域角度資訊，予以輸入。
(步驟S203)
接著，資訊處理裝置的資料處理部，係依照使用者之輸入資訊，亦即使用者所希望之顯示方式與顯示領域角度資訊而適用已選擇之方式和角度，來執行影像顯示處理。
[5.(實施例2)關於在MPD中記錄了影像顯示控制資訊的實施例]
接著，作為實施例2，說明在MPD中記錄了影像顯 示控制資訊的實施例。
圖15係依照實施例2而對執行本揭露的影像顯示控制的資訊處理裝置70、及資訊處理裝置70提供包含影像及聲音資料之內容的伺服器50、和媒體60的圖示。
全天球影像或全方位影像、或是全景影像等之影像資料與聲音資料，係從圖4所示的伺服器50被發送、或是從媒體60被讀取而被提供給資訊處理裝置70。
伺服器50係包含有例如：播送台等的播送伺服器51、其他資料配訊伺服器52；透過播送波或網際網路等之網路，各式各樣的資料係被發送至資訊處理裝置70。
資訊處理裝置70，係將透過播送波或網際網路等之網路而從伺服器50來的送訊資料予以接收並再生。
媒體60係為：被裝著在資訊處理裝置中的碟片、快閃記憶體、硬碟等各式各樣的媒體。
資訊處理裝置70，係將這些媒體的記錄資料予以讀出、再生。
進行內容再生的資訊處理裝置，係為例如TV71、PC72、攜帶型終端73、頭戴式顯示器(HMD)74等，是具備影像顯示部、聲音輸出部(揚聲器)的裝置。
從伺服器50、或是媒體60而被提供給資訊處理裝置70的內容，係為全天球影像、或全方位影像、或是全景影像等，含有可選擇性顯示各種方向之影像的影像資料與聲音資料的內容。
該內容，係和之前說明的實施例1同樣地，例如被儲存在MP4檔案81中而被提供。
在之前所說明的實施例1中，係在MP4檔案之後設資料儲存領域也就是trak箱盒中，記錄例如參照圖7所說明的影像顯示控制資訊的構成。
在本實施例2中，將圖15所示的MP4檔案81中所被儲存之影像資料所相關之影像顯示控制資訊，儲存在有別於MP4檔案81的另一MPD檔案82中而提供給資訊處理裝置70。
MPD[媒體呈現描述(Media Presentation Description)]檔案82，係為串流化配訊內容所相關之規格也就是MPEG-DASH規格中所被規定的構成訊令資料(後設資料)的1個宣告檔案。
MPD檔案82，係為用來描述動畫或聲音檔案之管理資訊也就是後設資料所需的宣告檔案。
本實施例2，係在此MPD檔案82中，記錄MP4檔案81中所被儲存之影像資料所相關之影像顯示控制資訊之構成的實施例。
MPD檔案82，係可例如以將某內容之再生時間予以細分化的時間區間也就是時期(Period)單位，記錄各式各樣的控制資料。
參照圖16、圖17來說明MPD檔案之構成例。
圖16係MPD格式之一例的圖示。
如圖16所示，MPD，係可針對影像、或聲音的各個串流，用以下之各式各樣的規定範圍單位來描述屬性等之資訊或控制資訊。
(1)規定了時間軸上之區間的時期(Period)
(2)規定了影像、聲音等之資料種類等的適應集合(AdaptationSet)
(3)規定了影像、聲音等之更下位之細分化資料種類的表述(Representation)
(4)作為影像、聲音之區段(AV區段)單位之資訊記錄領域的區段資訊(SegmentInfo)
圖17係將MPD中所被記錄之AV區段對應之資訊(控制資訊或管理資訊、屬性資訊等)在時間序列上展開的圖示。
從左到右係表示時間的經過。此時間軸，係對應於例如資訊處理裝置中的AV內容之再生時間。
AV區段所對應之各式各樣的資訊，係被記錄在MPD中。此外，例如從伺服器50向資訊處理裝置70提供MPD檔案82時，MPD係作為訊令資料，早於儲存了再生對象實際資料也就是AV區段的MP4檔案81而先被發送。
資訊處理裝置70，係可解析MPD，取得儲存了再生對象實際資料也就是AV區段的MP4檔案81之存取資訊或編解碼器資訊，而做好MP4檔案81中所被儲存之AV區段的再生準備。
MPD，係如參照圖16所說明。
(1)時期(Period)
(2)適應集合(AdaptationSet)
(3)表述(Representation)
(4)區段資訊(SegmentInfo)
在這些階層設定之下，記錄AV區段所相關之屬性資訊、控制資訊等之後設資料(訊令資料)的構成。
圖17係將這些後設資料記錄領域展開成時間軸、及資料種類別的圖示。
圖17中，作為一例係圖示時期1(Period(1))、時期2(Period(2)之2個時期，然後在時期1(Period(1))中還圖示以下3個適應集合(AdaptationSet)。
(V11)影像對應資訊記錄領域也就是適應集合V11(AdaptationSet(V11))
(A11)日本語聲音對應資訊記錄領域也就是適應集合A11(AdaptationSet(A11))
(A12)英語聲音對應資訊記錄領域也就是適應集合A12(AdaptationSet(A12))
(V11)影像對應資訊記錄領域也就是適應集合V11(AdaptationSet(V11))，係作為帶有不同屬性的串流單位之資訊記錄領域，而具有以下2個表述(Representation)。
(V111)低位元速率影像對應之資訊記錄領域也就是表述(V111)(Representation(V111))
(V112)高位元速率影像對應之資訊記錄領域也就是表述(V112)(Representation(V112))
同樣地，(A11)日本語聲音像對應資訊記錄領域也就是適應集合A11(AdaptationSet(A11))，係具有以下之表述(Representation)。
(A111)日本語聲音對應之資訊記錄領域也就是表述(A111)(Representation(A111))
同樣地，(A12)英語聲音像對應資訊記錄領域也就是適應集合A12(AdaptationSet(A12))，係具有以下之表述(Representation)。
(A121)英語聲音對應之資訊記錄領域也就是表述(A121)(Representation(A121))
甚至，各表述(Representation)，係為可以用區段單位來記錄資訊的構成。
例如，在時刻t1選擇高位元速率影像與日本語聲音而進行再生的資訊處理裝置(客戶端)，係可將再生對象的高位元速率影像與日本語聲音所相關之資訊，從MPD加以選擇而取得。
該選擇對象的MPD之記錄資訊，係為圖示的區段領域201、202之資訊。
如此，收訊裝置，係從作為訊令資料而被從送訊裝置發送的MPD，只選擇出在自裝置上作為再生對象的資料(區段)所對應之資訊並加以參照。
如此，MPD中係可記錄資料種別、時間單位之區段 對應資訊。
在以下說明的實施例2中，係在圖15所示的MP4檔案81中，儲存再生對象資料也就是影像或聲音資料(AV區段)，在MPD檔案82中儲存，MP4檔案81中所儲存之影像或聲音資料(AV區段)所相關之控制資訊的實施例。
在MPD中記錄全景影像等之影像顯示控制資訊時，在MPD之構成要素也就是作用元素(Role Element)中，準備新的描述元(Descriptor)。影像控制資訊對應之URI，係為例如，"http：//foo.bar/scheme/DefaultProjectionType"和"http：//foo.bar/scheme/UserProjectionType"。
在MPD中，係於以下之2個區分(a)、(b)中，分別記錄下指定顯示態樣。
(a)作為預設顯示方式(DefaultProjectionType)，記錄在影像再生時自動選擇的顯示形式。
(b)作為使用者顯示方式(UserProjectionType)，記錄使用者可選擇的顯示形式。
在MPD中，係記錄這些2種區分所分別指定的記錄方式資訊。
於這些各區分中，所記錄的指定值(Value)，係為如下的逗點分隔之值。
設定值(value)=(x,y,z)
的情況下，係為 x=裝置類型(device_type)；y=指定顯示方式(projection_type)；z=顯示領域對角角度(diagonal_angle)。
(x,y,z)中所設定的值，係如以下所示。
x=裝置類型(device_type)中係設定，之前參照圖8所說明過的值。亦即，裝置類型設定值=0：無裝置指定：可在全裝置上做利用(若有其他0以外之值併記時，則可在所被併記之設定值所對應之裝置以外之裝置上做利用)
裝置類型設定值=1：沒入型頭戴式顯示器(HMD)[僅可觀察HMD顯示部之顯示影像的HMD]
裝置類型設定值=2：玻璃型頭戴式顯示器(HMD)[配合HMD顯示部之顯示影像而可一併觀察到穿透過HMD的外部之景色的HMD]
裝置類型設定值=3：藉由使用者所做的畫面操作(滑鼠、觸控操作等)而可移動影像的使用者畫面操作型裝置[PC、平板終端、攜帶型終端等]
裝置類型設定值=4：藉由使用者所做的裝置移動操作(晃動裝置等之動作操作等)而可移動影像的使用者動作操作型裝置[平板終端、攜帶型終端等]
x=裝置類型(device_type)中係設定，這些值(0~4)之任一值。
y=指定顯示方式(projection_type)中係設定，之前參照圖9所說明過的值。亦即， 指定顯示方式設定值=0：未指定[可利用資訊處理裝置(顯示裝置)側所決定的顯示方式]
指定顯示方式設定值=1：將影像直接顯示(不進行影像轉換)
指定顯示方式設定值=2：透視投影方式
指定顯示方式設定值=3：利用2個魚眼的360度影像全顯示方式
指定顯示方式設定值=4：魚眼(廣角)顯示方式[=立體投影(Stereographic)顯示方式]
指定顯示方式設定值=5：魚眼(廣角)顯示方式[=等距離投影(Equidstant)顯示方式]
指定顯示方式設定值=6：魚眼(廣角)顯示方式[=等立體角投影(Equisolid angle)顯示方式]
指定顯示方式設定值=7：魚眼(廣角)顯示方式[=正投影(Orthographic)顯示方式]
y=指定顯示方式(projection_type)中係設定，這些值(0~7)之任一值。
z=顯示領域對角角度(diagonal_angle)係記錄，於圖8所示的顯示方式(c)2：透視投影方式~(h)7：魚眼(廣角)顯示方式中所被規定之顯示領域對角角度。
例如，記錄180、120等之角度資訊。
MPD中記錄影像顯示控制資訊時的XML資料之例子，示於圖18、及以下。
Figure 105121563-A0202-12-0048-2
如圖18所示，在MPD中係記錄有，複數記錄要素也就是元素(作用元素)。各元素係為記錄有例如：對特定之裝置類型所被指定的顯示方式、顯示領域角度資 訊的元素。
在各元素中係記錄以下之設定值。
設定值(value)=(x,y,z)的情況下，係為x=裝置類型(device_type)251；y=指定顯示方式(projection_type)252；z=顯示領域對角角度(diagonal_angle)253；例如，第1個元素，係為設定值(value)=(x,y,z)=(1,2,120)上記設定。
此係記錄了以下的指定資訊。
x=裝置類型(device_type)=1；該x=1，係由如圖8所示的表而可理解，係為裝置類型設定值=1：沒入型頭戴式顯示器(HMD)[僅可觀察HMD顯示部之顯示影像的HMD]係為規定了對HMD之顯示方式的元素。
y=指定顯示方式(projection_type)=2；該y=2，係由如圖9所示的表而可理解，係為指定顯示方式設定值=2：透視投影方式係為該透視投影方式之指定資訊。
z=顯示領域對角角度(diagonal_angle)=120；此係為對透視投影方式做適用的顯示領域對角角度之指定資訊，是將顯示領域對角角度設成120度的指定資訊。
若顯示裝置之類型是沒入型頭戴式顯示器(HMD)時，HMD係依照此元素記錄資訊，適用透視投影方式，將顯示領域對角角度設定成180度而執行顯示處理。
此外，在圖18所示的例子中，裝置類型設定值=1：沒入型頭戴式顯示器(HMD)[僅可觀察HMD顯示部之顯示影像的HMD]所相關之元素係有3則，會被記錄。亦即，設定值(value)=(x,y,z)=(1,2,120)
設定值(value)=(x,y,z)=(1,4,180)
設定值(value)=(x,y,z)=(1,5,180)
這些3個設定值會被記錄。
這些設定值的具體利用態樣，係例如以下所示。
例如，若為預設顯示方式(DefaultProjectionType)則利用下述。
設定值(value)=(x,y,z)=(1,2,120)
又，若為使用者顯示方式(UserProjectionType)則利用下述。
設定值(value)=(x,y,z)=(1,4,180)
設定值(value)=(x,y,z)=(1,5,180)
如此意味著，對同一裝置類型而有設定值是被複數記錄的情況下，則可從這些設定自由選擇1個來做適用。
此例的情況下， 裝置類型設定值=1：沒入型頭戴式顯示器(HMD)[僅可觀察HMD顯示部之顯示影像的HMD]，係可從以下3個設定中選擇任一個來利用。
(設定1)
y=指定顯示方式(projection_type)=2：透視投影方式z=顯示領域對角角度(diagonal_angle)=120；
(設定2)
y=指定顯示方式(projection_type)=4：魚眼(廣角)顯示方式[=立體投影(Stereographic)顯示方式]
z=顯示領域對角角度(diagonal_angle)=180；
(設定3)
y=指定顯示方式(projection_type)=5：魚眼(廣角)顯示方式[=等距離投影(Equidstant)顯示方式]
z=顯示領域對角角度(diagonal_angle)=180；
裝置類型設定值=1：沒入型頭戴式顯示器(HMD)[僅可觀察HMD顯示部之顯示影像的HMD]，係可從上記3個設定中選擇任一個來利用。
[6.關於利用了MPD檔案中所被記錄之影像顯示控制資訊的影像顯示控制處理程序]
接著說明，於資訊處理裝置中所執行的影像顯示控制處理程序，亦即，利用了MPD檔案中所被記錄之影像顯示控制資訊的影像顯示控制處理程序。
圖19、圖20所示的流程圖，係使用者裝置也就是資訊處理裝置70中所執行的影像顯示控制處理程序的說明用流程圖。
資訊處理裝置70係具有：顯示部(顯示器)、聲音輸出部(揚聲器)。
資訊處理裝置70係為例如TV、PC、攜帶型終端、頭戴式顯示器(HMD)等。
資訊處理裝置70，係從例如圖4所示的伺服器50、或是媒體60取得MPD檔案，將MPD檔案中所被記錄之內容予以再生。
再生內容，係含有全天球影像、全方向影像、全景影像等，可觀察各種方向之影像的影像，且為還包含有連同影像一起被再生之聲音資訊的內容。
影像資料、聲音資料，係被儲存在MP4檔案中，然後這些影像資料、聲音資料所對應之控制資訊係被儲存在MPD檔案中。
關於於資訊處理裝置70中所執行的處理程序，參照圖19、圖20所示的流程圖來說明。
此外，依照圖19、圖20所示的流程圖的處理，係於資訊處理裝置70中被執行。資訊處理裝置70係具有具備持有程式執行機能之CPU的資料處理部，在資料處理部的控制下執行各處理。此外，關於資訊處理裝置70的硬體構成例係在後段說明。
說明圖19、圖20所示的流程之各步驟之處 理。
(步驟S301)
資訊處理裝置的資料處理部，係於步驟S301中，取得MPD檔案。
(步驟S302)
接著，資訊處理裝置的資料處理部，係於步驟S302中，從所取得的MPD檔案，取得影像顯示控制資訊。
例如，係為參照圖18所說明的影像顯示控制資訊。
(步驟S303)
接著，資訊處理裝置的資料處理部，係於步驟S303中，從步驟S302所取得的影像顯示控制資訊，取得影像顯示控制資訊記錄元素(作用元素)。
係為參照圖18所說明過的作用元素。
如之前參照圖18所說明，在MPD中，係被記錄有複數作用元素，且每一者係為記錄了例如對特定之裝置類型而被指定的顯示方式、顯示領域角度資訊的元素。
亦即，在各元素中係記錄以下之設定值。
設定值(value)=(x,y,z)
的情況下，係為x=裝置類型(device_type)251；y=指定顯示方式(projection_type)252； z=顯示領域對角角度(diagonal_angle)253；這些各設定值係被記錄。
x=裝置類型(device_type)251中係係被設定參照圖8所說明過的設定值，亦即， 裝置類型設定值=0：無裝置指定：可在全裝置上做利用(若有其他0以外之值併記時，則可在所被併記之設定值所對應之裝置以外之裝置上做利用)
裝置類型設定值=1：沒入型頭戴式顯示器(HMD)[僅可觀察HMD顯示部之顯示影像的HMD]
裝置類型設定值=2：玻璃型頭戴式顯示器(HMD)[配合HMD顯示部之顯示影像而可一併觀察到穿透過HMD的外部之景色的HMD]
裝置類型設定值=3：藉由使用者所做的畫面操作(滑鼠、觸控操作等)而可移動影像的使用者畫面操作型裝置[PC、平板終端、攜帶型終端等]
裝置類型設定值=4：藉由使用者所做的裝置移動操作(晃動裝置等之動作操作等)而可移動影像的使用者動作操作型裝置[平板終端、攜帶型終端等]
x=裝置類型(device_type)中係被設定，這些值(0~4)之任一值。
y=指定顯示方式(projection_type)中係設定，之前參照圖9所說明過的值，亦即 指定顯示方式設定值=0：未指定[可利用資訊處理裝置(顯示裝置)側所決定的顯示方式]
指定顯示方式設定值=1：將影像直接顯示(不進行影像轉換)
指定顯示方式設定值=2：透視投影方式
指定顯示方式設定值=3：利用2個魚眼的360度影像全顯示方式
指定顯示方式設定值=4：魚眼(廣角)顯示方式[=立體投影(Stereographic)顯示方式]
指定顯示方式設定值=5：魚眼(廣角)顯示方式[=等距離投影(Equidstant)顯示方式]
指定顯示方式設定值=6：魚眼(廣角)顯示方式[=等立體角投影(Equisolid angle)顯示方式]
指定顯示方式設定值=7：魚眼(廣角)顯示方式[=正投影(Orthographic)顯示方式]
y=指定顯示方式(projection_type)中係被設定，這些值(0~7)之任一值。
z=顯示領域對角角度(diagonal_angle)係被記錄，於圖8所示的顯示方式(c)2：透視投影方式~(h)7：魚眼(廣角)顯示方式中所被規定之顯示領域對角角度。例如，180，120等之角度資訊係被記錄。
在步驟S303中，係讀取該設定值(x,y,z)所被記錄的元素。
(步驟S304)
接著，資訊處理裝置的資料處理部，係於步驟S304 中，將各元素中所被記錄之設定值(x,y,z)中的，
裝置類型識別元(x)是與自裝置之裝置類型一致的元素，加以選擇。
(步驟S305)
接著，資訊處理裝置的資料處理部，係於步驟S305中，判定步驟S304所選擇的與自裝置之裝置類型一致的元素，是否有容許使用者選擇的使用者顯示方式(UserProjectionType)之指定。
若有容許使用者選擇的使用者顯示方式(UserProjectionType)之指定，則前進至步驟S401。
若無容許使用者選擇的使用者顯示方式(UserProjectionType)之指定，則前進至步驟S306。
(步驟S306)
步驟S304所選擇的與自裝置之裝置類型一致的元素中只有預設設定之預設顯示方式(DefaultProjectionType)之指定時，則執行步驟S306之處理。
資訊處理裝置的資料處理部，係於步驟S306中，取得預設顯示方式(DefaultProjectionType)之元素中所被記錄之設定值，亦即，
取得設定值(value)=(x,y,z)中的y,z之值，依照取得資料，執行影像顯示處理。亦即， (y)=指定顯示方式(projection_type)； (z)=顯示領域對角角度(diagonal_angle)
依照這些(y)、(z)之指定，來執行影像顯示處理。
(步驟S401)
另一方面，步驟S304所選擇的與自裝置之裝置類型一致的元素係有複數個時，則執行步驟S401之處理。
資訊處理裝置的資料處理部，係於步驟S401中，取得已被選擇之複數元素中所被記錄之設定值，亦即，取得設定值(value)=(x,y,z)中的y,z之值，而顯示於顯示部。亦即，(y)使用者選擇可能顯示方式(user_projection_type)；(z)使用者選擇可能顯示領域對角角度(user_diagonal_angle)
將這些各資料加以取得，將這些容許方式與容許角度資訊，顯示於顯示部。
亦即，提示用來讓使用者選擇希望之方式與角度所需之UI。
此外，於使用者選擇時，係為將預設顯示方式(DefaultProjectionType)、及使用者顯示方式(UserProjectionType)都予以顯示而讓使用者選擇的設定。
(步驟S402)
接著，資訊處理裝置的資料處理部，係將使用者之輸 入資訊，亦即使用者所希望之顯示方式與顯示領域角度資訊，予以輸入。
(步驟S403)
接著，資訊處理裝置的資料處理部，係依照使用者之輸入資訊，亦即使用者所希望之顯示方式與顯示領域角度資訊而適用已選擇之方式和角度，來執行影像顯示處理。
[7.關於資訊處理裝置之硬體構成例]
接著，針對執行依照上述實施例之處理的資訊處理裝置、及伺服器之硬體構成例，參照圖21來加以說明。
圖21所示的硬體，係為圖4、圖15所示的資訊處理裝置(使用者裝置)70，亦即執行影像再生、聲音輸出的資訊處理裝置(使用者裝置)70的硬體構成之一例。
又，圖21所示的硬體係亦為圖4、圖15所示的伺服器50，亦即執行生成儲存有影像資料、聲音資料、以及上述影像顯示控制資訊的檔案並發送給資訊處理裝置(使用者裝置)70之處理的伺服器50的硬體構成之一例。
CPU(Central Processing Unit)301，係成為依照ROM(Read Only Memory)302、或記憶部308中所記憶之程式，來執行各種處理的資料處理部而發揮機能。例如，依照上述的實施例中所說明的程序而執行處理。RAM(Random Access Memory)303中係記憶有讓CPU301執行的程式或資料等。這些CPU301、ROM302、及 RAM303，係藉由匯流排304而被彼此連接。
CPU301係透過匯流排304而連接至輸出入介面305，在輸出入介面305上係連接有，由各種開關、鍵盤、滑鼠、麥克風等所成之輸入部306、由顯示器、揚聲器等所成之顯示部307、聲音輸出部321。CPU301係對應於從輸入部306所輸入之指定而執行各種處理，將處理結果輸出至例如顯示部307、聲音輸出部321。
輸出入介面305上所連接的記憶部308，係由例如硬碟等所成，記憶著CPU301所執行的程式或各種資料。通訊部309，係透過網際網路或區域網路等之網路而而成為資料通訊之收送訊部、以及播送波之收送訊部而發揮機能，與外部裝置通訊。
被連接在輸出入介面305上的驅動機310，係驅動磁碟、光碟、光磁碟、或記憶卡等之半導體記憶體等之可移除式媒體311，執行資料記錄或讀取。
此外，資料之編碼或解碼，係可由作為資料處理部的CPU301之處理來執行可能，但亦可為具備用來執行編碼處理或解碼處理所需之專用硬體的編解碼器之構成。
[8.本揭露之構成的總結]
以上，一面參照特定實施例，一面詳解本揭露的實施例。可是在此同時，在不脫離本揭露之宗旨的範圍內，當業者可以對實施例進行修正或代用，此乃自明事項。亦 即，這些僅為以例示形態來揭露本發明，不應做限定性解釋。要判斷本揭露之宗旨，應要參酌申請專利範圍欄。
此外，本說明書中所揭露的技術，係可採取如下之構成。
(1)一種資訊處理裝置，其係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行輸出至前記顯示部之影像的影像顯示控制；前記資料處理部，係取得輸出影像資料所相關之影像顯示控制資訊，適用該影像顯示控制資訊中所被記錄之影像顯示方式來執行影像顯示處理。
(2)如(1)所記載之資訊處理裝置，其中，前記影像顯示控制資訊，係為規定了執行影像顯示處理的資訊處理裝置之類型所分別對應之類型別顯示方式的資訊；前記資料處理部，係適用與自裝置之類型一致之類型的類型別顯示方式來執行影像顯示處理。
(3)如(1)或(2)所記載之資訊處理裝置，其中，在前記影像顯示控制資訊中，作為影像顯示方式，係至少含有透視投影方式、或魚眼(廣角)顯示方式之哪一者的指定資訊； 前記資料處理部，係適用依照前記指定資訊之顯示方式來執行影像顯示處理。
(4)如(1)~(3)之任一項所記載之資訊處理裝置，其中，在前記影像顯示控制資訊中，作為影像顯示方式係含有：立體投影方式之魚眼(廣角)顯示方式；等距離投影方式之魚眼(廣角)顯示方式；等立體投影方式之魚眼(廣角)顯示方式；正投影方式之魚眼(廣角)顯示方式；上記各顯示方式之哪一者的指定資訊；前記資料處理部，係適用依照前記指定資訊之顯示方式來執行影像顯示處理。
(5)如(1)~(4)之任一項所記載之資訊處理裝置，其中，前記影像顯示控制資訊中係含有：影像顯示領域對角角度資訊；前記資料處理部，係依照前記影像顯示控制資訊中所被記錄之影像顯示領域對角角度資訊，來決定顯示領域對角角度而執行影像顯示處理。
(6)如(1)~(5)之任一項所記載之資訊處理裝 置，其中，前記影像顯示控制資訊中係含有：關於使用者所能選擇之影像顯示方式的記錄資訊；前記資料處理部，係將前記使用者所能選擇之影像顯示方式，顯示在顯示部；隨應於使用者選擇資訊之輸入，適用已被選擇之顯示方式來執行影像顯示處理。
(7)如(1)~(6)之任一項所記載之資訊處理裝置，其中，前記影像顯示控制資訊中係含有：關於使用者所能選擇之影像顯示領域對角角度資訊的記錄資訊；前記資料處理部，係將前記使用者所能選擇之影像顯示領域對角角度資訊，顯示在顯示部；隨應於使用者選擇資訊之輸入，適用已被選擇之影像顯示領域對角角度來執行影像顯示處理。
(8)如(1)~(7)之任一項所記載之資訊處理裝置，其中，前記影像顯示控制資訊，係被儲存在MP4檔案中；前記資料處理部，係從MP4檔案，取得輸出影像資料所相關之影像顯示控制資訊，依照從MP4檔案所取得之影像顯示控制資 訊，來執行影像顯示處理。
(9)如(8)所記載之資訊處理裝置，其中，前記影像顯示控制資訊，係被儲存在MP4檔案的trak箱盒中；前記資料處理部，係從MP4檔案的trak箱盒，取得輸出影像資料所相關之影像顯示控制資訊。
(10)如(1)~(7)之任一項所記載之資訊處理裝置，其中，前記影像顯示控制資訊，係被儲存在MPD(Media Presentation Description)檔案中；前記資料處理部，係從MPD檔案，取得輸出影像資料所相關之影像顯示控制資訊，依照從MPD檔案所取得之影像顯示控制資訊，來執行影像顯示處理。
(11)如(10)所記載之資訊處理裝置，其中，前記影像顯示控制資訊，係在MPD(Media Presentation Description)檔案中所被設定的影像顯示控制資訊記錄元素中，被當成各裝置類型別之資訊而記錄；前記資料處理部，係從MPD檔案的影像顯示控制資訊記錄元素，選擇出與自裝置之裝置類型一致的裝置類型資訊所被記錄的元素，適用選擇元素中所被記錄之影像顯示方式來執行影像顯示處理。
(12)一種資料配訊伺服器，係具有：資料處理部，係生成檔案，其中儲存有：可選擇性顯示不同方向之影像的影像資料；和前記影像資料所相關之影像顯示控制資訊，且為規定了執行影像顯示之裝置類型所相應之影像顯示方式的影像顯示控制資訊；和通訊部，係將前記資料處理部所生成之檔案，予以發送。
(13)一種資訊記錄媒體，係儲存有：可選擇性顯示不同方向之影像的影像資料；和前記影像資料所相關之影像顯示控制資訊，且為規定了執行影像顯示之裝置類型所相應之影像顯示方式的影像顯示控制資訊；在執行來自前記資訊記錄媒體之讀出資料之再生的再生裝置中，該資訊記錄媒體係可令其適用與前記影像顯示控制資訊中所被記錄之自裝置類型一致之裝置類型所對應之影像顯示方式來執行影像顯示。
(14)一種資訊處理方法，係於資訊處理裝置中，執行影像顯示控制的資訊處理方法，其中，前記資訊處理裝置係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行輸出至前記顯示部之影像的影像顯示控制； 前記資料處理部係取得輸出影像資料所相關之影像顯示控制資訊，適用該影像顯示控制資訊中所被記錄之影像顯示方式來執行影像顯示處理。
(15)一種程式，係屬於在資訊處理裝置中令其執行影像顯示控制的程式，其中，前記資訊處理裝置係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行輸出至前記顯示部之影像的影像顯示控制；前記程式，係令前記資料處理部，取得輸出影像資料所相關之影像顯示控制資訊，並令其適用該影像顯示控制資訊中所被記錄之影像顯示方式來執行影像顯示處理。
又，於說明書中所說明之一連串處理係可藉由硬體、或軟體、或兩者的複合構成來執行。在執行軟體所致之處理的情況下，雖然是將記錄有處理程序的程式，安裝至組裝有專用硬體的電腦內的記憶體而執行，但或者亦可在能夠執行各種處理的通用電腦中安裝程式來執行。例如，程式係可預先記錄在記錄媒體中。除了從記錄媒體安裝至電腦外，還可透過LAN(Local Area Network)、網際網路這類網路而接收程式，安裝至內建的硬碟等之記錄媒體裡。
此外，說明書中所記載的各種處理，係不只 是依照記載的時間順序來進行，亦可隨著執行處理之裝置的處理能力或必要，而平行或個別地進行。又，於本說明書中，所謂的系統，係為複數裝置的邏輯集合構成，各構成之裝置係不限於位在同一框體內者。
[產業上利用之可能性]
如以上說明，若依據本揭露之一實施例之構成，則可實現在全景影像顯示處理之際，可適用顯示裝置所對應之最佳的顯示方式來執行顯示處理的裝置、方法。
具體而言，在具有可選擇性顯示不同方向之影像的顯示部、和執行影像顯示控制的資料處理部的資訊處理裝置中，資料處理部係適用影像顯示控制資訊中所被記錄之裝置對應的影像顯示方式，來執行影像顯示處理。影像顯示控制資訊，係針對執行影像顯示處理的資訊處理裝置之類型之每一者規定了最佳的類型別顯示方式，資料處理部係適用與自裝置之類型一致之類型所被建立對應的顯示方式，來執行影像顯示處理。
藉由本構成，可實現在全景影像顯示處理之際，可適用顯示裝置所對應之最佳的顯示方式來執行顯示處理的裝置、方法。

Claims (15)

  1. 一種資訊處理裝置，係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行輸出至前記顯示部之影像的影像顯示控制；前記資料處理部，係取得輸出影像資料所相關之影像顯示控制資訊，適用該影像顯示控制資訊中所被記錄之影像顯示方式來執行影像顯示處理；前記影像顯示控制資訊係為，為了決定將攝影影像以假想球面之中心點為基準點而轉換成各種方向之影像的影像顯示方式而被利用的控制資訊。
  2. 如請求項1所記載之資訊處理裝置，其中，前記影像顯示控制資訊，係為規定了執行影像顯示處理的資訊處理裝置之類型所分別對應之類型別顯示方式的資訊；前記資料處理部，係適用與前記資訊處理裝置之類型一致之類型的類型別顯示方式來執行影像顯示處理。
  3. 如請求項1所記載之資訊處理裝置，其中，在前記影像顯示控制資訊中，作為影像顯示方式，係至少含有透視投影方式、或魚眼(廣角)顯示方式之哪一者的指定資訊；前記資料處理部，係 適用依照前記指定資訊之顯示方式來執行影像顯示處理。
  4. 如請求項1所記載之資訊處理裝置，其中，在前記影像顯示控制資訊中，作為影像顯示方式係含有：立體投影方式之魚眼(廣角)顯示方式；等距離投影方式之魚眼(廣角)顯示方式；等立體投影方式之魚眼(廣角)顯示方式；正投影方式之魚眼(廣角)顯示方式；上記各顯示方式之哪一者的指定資訊；前記資料處理部，係適用依照前記指定資訊之顯示方式來執行影像顯示處理。
  5. 如請求項1所記載之資訊處理裝置，其中，前記影像顯示控制資訊中係含有：影像顯示領域對角角度資訊；前記資料處理部，係依照前記影像顯示控制資訊中所被記錄之影像顯示領域對角角度資訊，來決定顯示領域對角角度而執行影像顯示處理。
  6. 如請求項1所記載之資訊處理裝置，其中，前記影像顯示控制資訊中係含有：關於使用者所能選擇之影像顯示方式的記錄資訊；前記資料處理部，係 將前記使用者所能選擇之影像顯示方式，顯示在顯示部；隨應於使用者選擇資訊之輸入，適用已被選擇之顯示方式來執行影像顯示處理。
  7. 如請求項1所記載之資訊處理裝置，其中，前記影像顯示控制資訊中係含有：關於使用者所能選擇之影像顯示領域對角角度資訊的記錄資訊；前記資料處理部，係將前記使用者所能選擇之影像顯示領域對角角度資訊，顯示在顯示部；隨應於使用者選擇資訊之輸入，適用已被選擇之影像顯示領域對角角度來執行影像顯示處理。
  8. 如請求項1所記載之資訊處理裝置，其中，前記影像顯示控制資訊，係被儲存在MP4檔案中；前記資料處理部，係從MP4檔案，取得輸出影像資料所相關之影像顯示控制資訊，依照從MP4檔案所取得之影像顯示控制資訊，來執行影像顯示處理。
  9. 如請求項8所記載之資訊處理裝置，其中，前記影像顯示控制資訊，係被儲存在MP4檔案的trak箱盒中；前記資料處理部，係從MP4檔案的trak箱盒，取得輸出影像資料所相關 之影像顯示控制資訊。
  10. 如請求項1所記載之資訊處理裝置，其中，前記影像顯示控制資訊，係被儲存在MPD(Media Presentation Description)檔案中；前記資料處理部，係從MPD檔案，取得輸出影像資料所相關之影像顯示控制資訊，依照從MPD檔案所取得之影像顯示控制資訊，來執行影像顯示處理。
  11. 如請求項10所記載之資訊處理裝置，其中，前記影像顯示控制資訊，係在MPD(Media Presentation Description)檔案中所被設定的影像顯示控制資訊記錄元素中，被當成各裝置類型別之資訊而記錄；前記資料處理部，係從MPD檔案的影像顯示控制資訊記錄元素，選擇出與前記資訊處理裝置之裝置類型一致的裝置類型資訊所被記錄的元素，適用選擇元素中所被記錄之影像顯示方式來執行影像顯示處理。
  12. 一種資料配訊伺服器，係具有：資料處理部，係生成檔案，其中儲存有：可選擇性顯示不同方向之影像的影像資料；和前記影像資料所相關之影像顯示控制資訊，其中，前記影像顯示控制資訊係為，為了決定將攝影影像以假想球面之中心點為基準點而轉換成各種方向之影像的影像顯示方式而被利用的控制資訊，且為 規定了執行影像顯示之裝置類型所相應之影像顯示方式的影像顯示控制資訊；和通訊部，係將前記資料處理部所生成之檔案，予以發送。
  13. 一種資訊記錄媒體，係儲存有：可選擇性顯示不同方向之影像的影像資料；和前記影像資料所相關之影像顯示控制資訊，其中，前記影像顯示控制資訊係為，為了決定將攝影影像以假想球面之中心點為基準點而轉換成各種方向之影像的影像顯示方式而被利用的控制資訊，且為規定了執行影像顯示之裝置類型所相應之影像顯示方式的影像顯示控制資訊；在執行來自前記資訊記錄媒體之讀出資料之再生的再生裝置中，該資訊記錄媒體係可令其適用與前記影像顯示控制資訊中所被記錄之前記資訊處理裝置類型一致之裝置類型所對應之影像顯示方式來執行影像顯示。
  14. 一種資訊處理方法，係於資訊處理裝置中，執行影像顯示控制的資訊處理方法，其中，前記資訊處理裝置係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行輸出至前記顯示部之影像的影像顯示控制；前記資料處理部係 取得輸出影像資料所相關之影像顯示控制資訊，適用該影像顯示控制資訊中所被記錄之影像顯示方式來執行影像顯示處理；前記影像顯示控制資訊係為，為了決定將攝影影像以假想球面之中心點為基準點而轉換成各種方向之影像的影像顯示方式而被利用的控制資訊。
  15. 一種程式產品，係在資訊處理裝置中令其執行影像顯示控制的程式，其中，前記資訊處理裝置係具有：顯示部，係可選擇性顯示不同方向之影像；和資料處理部，係執行輸出至前記顯示部之影像的影像顯示控制；前記程式，係令前記資料處理部，取得輸出影像資料所相關之影像顯示控制資訊，並令其適用該影像顯示控制資訊中所被記錄之影像顯示方式來執行影像顯示處理；前記影像顯示控制資訊係為，為了決定將攝影影像以假想球面之中心點為基準點而轉換成各種方向之影像的影像顯示方式而被利用的控制資訊。
TW105121563A 2015-08-05 2016-07-07 資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品 TWI716418B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-155239 2015-08-05
JP2015155239 2015-08-05

Publications (2)

Publication Number Publication Date
TW201714163A TW201714163A (zh) 2017-04-16
TWI716418B true TWI716418B (zh) 2021-01-21

Family

ID=57942861

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105121563A TWI716418B (zh) 2015-08-05 2016-07-07 資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品

Country Status (6)

Country Link
US (1) US10511767B2 (zh)
EP (1) EP3316247B1 (zh)
JP (1) JP6860485B2 (zh)
CN (1) CN107851425B (zh)
TW (1) TWI716418B (zh)
WO (1) WO2017022363A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574881B (zh) * 2017-03-07 2020-08-25 华为技术有限公司 一种投影类型推荐方法、服务器及客户端
CN110463211A (zh) * 2017-03-26 2019-11-15 夏普株式会社 用于针对虚拟现实应用程序发送信号通知信息的系统和方法
KR102330164B1 (ko) * 2017-06-08 2021-11-24 엘지전자 주식회사 디지털 사이니지 및 그 동작 방법
US10567734B2 (en) * 2017-08-29 2020-02-18 Qualcomm Incorporated Processing omnidirectional media with dynamic region-wise packing
CN108965859B (zh) * 2018-07-09 2020-05-22 歌尔科技有限公司 投影方式识别方法、视频播放方法、装置及电子设备
US11481961B2 (en) * 2018-10-02 2022-10-25 Sony Corporation Information processing apparatus and information processing method
WO2021227580A1 (zh) * 2020-05-15 2021-11-18 Oppo广东移动通信有限公司 信息处理方法及编码器、解码器、存储介质设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180022A (ja) * 2004-12-21 2006-07-06 Konica Minolta Holdings Inc 画像処理システム
US20100053306A1 (en) * 2008-09-02 2010-03-04 Yasutaka Hirasawa Image Processing Apparatus, Image Processing Method, and Program
JP2011091481A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20110293242A1 (en) * 2010-06-01 2011-12-01 Sony Corporation Recording apparatus, reproducing apparatus, recording/reproducing system, recording medium, and program
TW201342306A (zh) * 2011-12-19 2013-10-16 Dainippon Printing Co Ltd 影像處理裝置、影像處理方法、影像處理裝置用程式產品、記錄媒體、及影像顯示裝置
TW201404134A (zh) * 2012-07-09 2014-01-16 Abunno Technology Co Ltd 利用手持裝置操控鏡頭訊號拍攝方法及其裝置
CN104365083A (zh) * 2012-06-06 2015-02-18 索尼公司 图像处理装置、图像处理方法以及程序
TW201510933A (zh) * 2013-09-11 2015-03-16 Univ Nat Yunlin Sci & Tech 基於可變接縫線之全景影像拼接方法
CN104781873A (zh) * 2012-11-13 2015-07-15 索尼公司 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002097584A2 (en) * 2001-05-31 2002-12-05 Hyperspace Communications, Inc. Adaptive video server
KR20050000956A (ko) 2003-06-25 2005-01-06 엘지전자 주식회사 비디오 포맷 변환 장치
JP4756876B2 (ja) * 2004-06-09 2011-08-24 キヤノン株式会社 画像表示制御装置、画像表示制御方法、プログラム、及び記憶媒体
JP3968665B2 (ja) * 2005-03-22 2007-08-29 ソニー株式会社 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
CN101021669A (zh) * 2006-02-13 2007-08-22 耿忠 全视场成像与显示方法与系统
CN101136022A (zh) * 2006-09-01 2008-03-05 李筑 资源信息的全景制作和展示系统
JP5245963B2 (ja) * 2009-03-19 2013-07-24 大日本印刷株式会社 画像変換装置
JP2011142586A (ja) 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
US8667164B2 (en) * 2010-04-26 2014-03-04 Samsung Electronics Co., Ltd. Method and apparatus for playing live content
CN103688287B (zh) * 2011-07-12 2017-03-01 杜比实验室特许公司 使源图像内容适应于目标显示器的方法
CN102724386A (zh) * 2012-05-18 2012-10-10 浙江捷尚视觉科技有限公司 一种实时视频智能系统及其处理方法
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
CN104125478A (zh) 2013-04-28 2014-10-29 腾讯科技（深圳）有限公司 一种跨平台视频播放的方法、装置和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180022A (ja) * 2004-12-21 2006-07-06 Konica Minolta Holdings Inc 画像処理システム
US20100053306A1 (en) * 2008-09-02 2010-03-04 Yasutaka Hirasawa Image Processing Apparatus, Image Processing Method, and Program
JP2011091481A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20110293242A1 (en) * 2010-06-01 2011-12-01 Sony Corporation Recording apparatus, reproducing apparatus, recording/reproducing system, recording medium, and program
TW201342306A (zh) * 2011-12-19 2013-10-16 Dainippon Printing Co Ltd 影像處理裝置、影像處理方法、影像處理裝置用程式產品、記錄媒體、及影像顯示裝置
CN104365083A (zh) * 2012-06-06 2015-02-18 索尼公司 图像处理装置、图像处理方法以及程序
TW201404134A (zh) * 2012-07-09 2014-01-16 Abunno Technology Co Ltd 利用手持裝置操控鏡頭訊號拍攝方法及其裝置
CN104781873A (zh) * 2012-11-13 2015-07-15 索尼公司 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序
TW201510933A (zh) * 2013-09-11 2015-03-16 Univ Nat Yunlin Sci & Tech 基於可變接縫線之全景影像拼接方法

Also Published As

Publication number Publication date
JPWO2017022363A1 (ja) 2018-06-07
EP3316247A1 (en) 2018-05-02
WO2017022363A1 (ja) 2017-02-09
EP3316247A4 (en) 2018-12-26
TW201714163A (zh) 2017-04-16
US20180198979A1 (en) 2018-07-12
JP6860485B2 (ja) 2021-04-14
US10511767B2 (en) 2019-12-17
EP3316247B1 (en) 2022-03-30
CN107851425A (zh) 2018-03-27
CN107851425B (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
TWI716418B (zh) 資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品
CN112954510B (zh) 以计算机为中介的现实系统的高阶立体混响(hoa)音频数据
JP6979035B2 (ja) 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム
US11651752B2 (en) Method and apparatus for signaling user interactions on overlay and grouping overlays to background for omnidirectional content
JP7409362B2 (ja) 再生装置および方法、並びにプログラム
CN109257587B (zh) 一种编解码视频数据的方法及装置
US20210050028A1 (en) Method for transmitting and receiving audio data and apparatus therefor
JP2019062390A (ja) 情報処理装置、情報提供装置、制御方法、及びプログラム
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
TWI736542B (zh) 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
JP7035401B2 (ja) 画像処理装置およびファイル生成装置
JP7314929B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019155930A1 (ja) 送信装置、送信方法、処理装置および処理方法
WO2021140956A1 (ja) 情報処理装置および方法
JP2022044835A (ja) 画像処理装置およびファイル生成装置
VRT et al. First Version of Playout Clients