TW201820862A - 用於球體影像內容之定向影像拼接 - Google Patents

用於球體影像內容之定向影像拼接 Download PDF

Info

Publication number
TW201820862A
TW201820862A TW106135253A TW106135253A TW201820862A TW 201820862 A TW201820862 A TW 201820862A TW 106135253 A TW106135253 A TW 106135253A TW 106135253 A TW106135253 A TW 106135253A TW 201820862 A TW201820862 A TW 201820862A
Authority
TW
Taiwan
Prior art keywords
images
group
display
orientation
image
Prior art date
Application number
TW106135253A
Other languages
English (en)
Inventor
畢菅 佛魯坦普爾
菲 弘 勒 阮
寧 畢
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201820862A publication Critical patent/TW201820862A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明描述與產生影像內容相關之技術。一圖形處理單元(GPU)經組態以進行以下操作：接收自一第一位置中之一第一攝影機裝置產生之一第一組影像，該第一攝影機裝置具有一第一定向；顯現定向至一定向基準之該第一組影像以供顯示；接收自一第二不同位置中之一第二不同攝影機裝置產生之一第二不同組影像，該第二攝影機裝置具有一第二定向，該第二定向不同於該第一定向；及顯現定向至該定向基準之該第二組影像以供顯示。

Description

用於球體影像內容之定向影像拼接
本發明係關於球體影像顯現。
在諸如顯現用於360度視訊之影像的某些類型之影像顯現中，檢視者可感知影像內容之多個不同視圖。舉例而言，在檢視者正檢視顯示器上之影像內容時，檢視者可選擇供檢視該內容之不同視圖。
一般而言，本發明描述用於在一共同定向基準中呈現來自兩個不同攝影機裝置之影像內容之技術。兩個攝影機裝置各自可包括各別魚眼式攝影機(fisheye camera)，且每一攝影機裝置捕捉各別360度影像內容。一檢視者可檢視由該等攝影機裝置中之一者捕捉之該影像內容，且接著切換至由另一攝影機裝置捕捉之影像內容(例如，如由該檢視者或輸出該影像內容之一伺服器所選擇)。若來自該等不同攝影機裝置之該經呈現影像內容未定向至一共同定向基準，則自來自一個攝影機裝置之影像內容至另一攝影機之影像內容的轉變可能需要由該檢視者進行重新定向(例如，該檢視者正檢視之處的移位)。藉由呈現來自定向於一共同定向基準中之不同攝影機裝置之影像內容，自來自不同攝影機裝置之影像內容的轉變可能不需要由該檢視者進行重新定向。因此，與一檢視者重新定向之實例相比較，自一個攝影機捕捉之影像內容至由另一攝影機捕捉之影像內容的呈現轉變可相對平滑，從而提供更沈浸且改良之體驗。 在一個實例中，本發明描述一種用於產生影像內容之方法，該方法包含：接收自一第一位置中之一第一攝影機裝置產生之一第一組影像，該第一攝影機裝置具有一第一定向；顯現定向至一定向基準之該第一組影像以供顯示；接收自一第二不同位置中之一第二不同攝影機裝置產生之一第二不同組影像，該第二攝影機裝置具有一第二定向，該第二定向不同於該第一定向；及顯現定向至該定向基準之該第二組影像以供顯示。 在另一實例中，本發明描述一種用於產生影像內容之裝置，該裝置包含：一記憶體裝置，其經組態以進行以下操作：儲存自一第一位置中之一第一攝影機裝置產生之一第一組影像，該第一攝影機裝置具有一第一定向；及儲存自一第二不同位置中之一第二不同攝影機裝置產生之一第二不同組影像，該第二攝影機裝置具有一第二定向，該第二定向不同於該第一定向；及一圖形處理單元(GPU)，其包含固定功能或可程式化電路系統中之至少一者，該GPU經組態以進行以下操作：自該記憶體裝置接收該第一組影像；顯現定向至一定向基準之該第一組影像以供顯示；自該記憶體裝置接收該第二組影像；及顯現定向至該定向基準之該第二組影像以供顯示。 在另一實例中，本發明描述一種電腦可讀儲存媒體，其上儲存有指令，該等指令在執行時致使一或多個處理器進行以下操作：接收自一第一位置中之一第一攝影機裝置產生之一第一組影像，該第一攝影機裝置具有一第一定向；顯現定向至一定向基準之該第一組影像以供顯示；接收自一第二不同位置中之一第二不同攝影機裝置產生之一第二不同組影像，該第二攝影機裝置具有一第二定向，該第二定向不同於該第一定向；及顯現定向至該定向基準之該第二組影像以供顯示。 在另一實例中，本發明描述一種用於產生影像內容之裝置，該裝置包含：用於接收自一第一位置中之一第一攝影機裝置產生之一第一組影像的構件，該第一攝影機裝置具有一第一定向；用於顯現定向至一定向基準之該第一組影像以供顯示的構件；用於接收自一第二不同位置中之一第二不同攝影機裝置產生之一第二不同組影像的構件，該第二攝影機裝置具有一第二定向，該第二定向不同於該第一定向；及用於顯現定向至該定向基準之該第二組影像以供顯示的構件。 在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢將自描述、圖式及申請專利範圍顯而易見。
本發明中所描述之實例技術與呈現360度視訊或影像相關。在360度視訊或影像中，視訊/影像內容圍繞檢視者形成概念性球體。檢視者可自多個觀點(例如，在前方、在後方、在上方及在周圍)檢視影像內容，且此影像內容被稱為360度影像。 在本發明中，包括360度影像內容或可檢視內容之影像意謂該影像包括所有觀點之內容(例如，在上方、在下方、在後方、在前方及在每一側之內容)。舉例而言，習知影像捕捉稍微小於180度影像內容，且不捕捉在攝影機之側的內容。 一般而言，360度視訊係由一連串360度影像形成。因此，本發明中所描述之實例技術係關於產生360度影像予以描述。因而，對於360度視訊內容，可循序地顯示此等360度影像。在一些實例中，使用者可能需要僅拍攝360度影像(例如，作為使用者之整個360度周圍環境之快照)，且本發明中所描述之技術亦適用於此等實例狀況。 該等技術可適用於經捕捉視訊內容、虛擬實境，且通常適用於視訊及影像顯示。該等技術可用於行動裝置中，但該等技術不應被視為限於行動應用。一般而言，該等技術可用於虛擬實境應用、視訊遊戲應用，或需要360度球體視訊/影像環境之其他應用。 360度影像內容可運用包括複數個魚眼式透鏡(例如，經定位以捕捉影像內容球體之部分)之攝影機裝置予以捕捉。魚眼式透鏡捕捉360度視訊之完整球體之各別部分。由經捕捉部分產生之影像可為圓形影像(例如，一個影像圖框包括來自各別魚眼式透鏡之複數個圓形影像)。捕捉影像之攝影機裝置、將供顯示影像之處理裝置或某其他裝置將圓形影像轉換成更適合於圖形處理及/或傳輸之影像類型。更適合於圖形處理及/或傳輸之影像類型被稱作投影影像，其實例包括等矩形投影、立方體投影、圓柱形投影、球體投影、皮爾斯梅花形(peirce-quincunical)投影等等。 如上文所描述，攝影機裝置包括複數個魚眼式透鏡。一些實例攝影機裝置包括兩個魚眼式透鏡，但實例技術並不限於兩個魚眼式透鏡。一個實例攝影機裝置可包括16個透鏡(例如，用於攝影3D VR內容之16攝影機陣列)。另一實例攝影機裝置可包括八個透鏡，每一透鏡具有195度視角(例如，每一透鏡捕捉360度影像內容之195度影像內容)。其他實例攝影機裝置包括三個或四個透鏡。一些實例可包括捕捉360度影像內容之360度透鏡。 本發明中所描述之實例技術大體上係關於捕捉360度影像/視訊之兩個魚眼式透鏡予以描述。然而，實例技術並不受到如此限制。實例技術可適用於包括以下各者之實例攝影機裝置：單一360度透鏡；複數個透鏡(例如，兩個或多於兩個)，即使該等透鏡不為魚眼式透鏡亦如此；及複數個魚眼式透鏡。 舉例而言，如更詳細地所描述，實例技術描述用以在檢視由一個攝影機裝置捕捉之內容至由另一攝影機裝置捕捉之內容時產生無縫轉變的方式。此等技術可適用於各種各樣的不同攝影機類型，諸如上文所描述之類型。雖然實例技術係關於兩個魚眼式透鏡予以描述，但實例技術並不受到如此限制，且適用於用於捕捉360度影像/視訊之各種攝影機類型。 在多攝影機環境中，可存在位於不同位置中之複數個此等實例攝影機裝置，每一攝影機裝置捕捉各別影像內容。檢視者可檢視由該等攝影機裝置中之一者捕捉之影像內容，且接著切換以檢視來自該等攝影機裝置中之另一者之影像內容。在一些狀況下，影像內容自一個攝影機裝置至另一攝影機裝置之切換對於檢視者而言可能不和諧。 在產生投影影像時，產生投影影像之裝置(例如，攝影機裝置、伺服器或處理裝置)可將投影影像定向至任意定向，該定向對於該等攝影機裝置中之每一者可不同。舉例而言，在一些狀況下，來自第一攝影機裝置之第一組影像的定向及來自第二攝影機裝置之第二組影像的定向可不同(例如，用於產生第一組影像中之影像的攝影機裝置之透鏡可在第一方向或定向上，且用於產生第二組影像中之影像的攝影機裝置之透鏡可在第二方向或定向上)。因此，在自一個攝影機裝置捕捉之影像切換至自另一攝影機裝置捕捉之影像時，有可能的是，檢視者可變得亂向(例如，所關注區域不再在檢視者正前方，而是偏離達某其他角度)。在檢視者重新定向(例如，實體地移動頭部或身體，重新定向顯示器，或控制介面以重新定向所顯示之影像)之後，影像接著將顯得正確，但需要此重新定向對於檢視者而言可能係不良的。 在本發明中所描述之實例技術中，顯示來自不同攝影機裝置之影像的裝置可呈現影像，使得來自不同攝影機裝置之影像沿著不同基準具有相同定向。作為一實例，每一攝影機裝置可包括指示地理方向(例如，北、南、東或西)之方向的感測器(例如，磁力計感測器或羅盤)。在此實例中，地理方向為定向基準。在產生投影影像時，產生投影影像之裝置可利用地理方向資訊以定向投影影像，使得地理方向處於設定點。舉例而言，產生投影影像之裝置可定向影像，使得相對於攝影機裝置之北方向處於影像之頂部中心。若產生投影影像之裝置確保影像始終經定向使得相對於各別攝影機裝置之北方向處於影像之頂部中心，則將影像自一個攝影機切換至另一攝影機可能並非不和諧或可能不會要求檢視者重新定向。 若該等攝影機裝置中之每一者產生投影影像，則該等攝影機裝置中之每一者可經組態以將其自己的投影影像定向至共同定向基準。儘管可能，但攝影機裝置未必需要彼此通信以將影像定向至共同定向基準，而是各自可經組態以將投影影像定向至為每一攝影機裝置所共有之特定定向基準。 若呈現360度影像之伺服器或處理裝置產生投影影像，則伺服器或處理裝置可自用於各別組影像之各別攝影機裝置接收指示定向基準之資訊。舉例而言，伺服器或處理裝置可自第一攝影機裝置接收指示相對於來自第一攝影機裝置之第一組影像之北方向的資訊，自第二攝影機裝置接收指示相對於來自第二攝影機裝置之第二組影像之北方向的資訊，等等。伺服器或處理裝置接著可基於指示定向基準之資訊而調整(例如，移位、旋轉、剪切或扭曲)第一及第二組影像，使得該等影像定向至相同定向基準(例如，北在每一組圖像中之同一位置中)。 在以上實例技術中，伺服器或處理裝置可定向為一個平面(例如，北方向)所共有的來自不同攝影機裝置之影像。舉例而言，伺服器或處理裝置將來自不同攝影機裝置之影像定向至共同方位角。在一些實例中，伺服器或處理裝置可將來自不同攝影機裝置之影像定向至其他共同平面。舉例而言，伺服器或處理裝置可將來自不同攝影機裝置之影像定向至共同傾角(例如，共同高程基準)。 將影像定向至共同傾角可在轉變至不同攝影機裝置時允許檢視者不必向上或向下傾斜他的/她的眼睛。舉例而言，也許有可能自然地形成兩個投影影像，使得北在頂部方向上。然而，影像之傾角可能不同。作為一實例，在來自一個攝影機裝置之影像中，與來自另一攝影機裝置之影像相比較，影像之頂部看起來較接近且影像之底部看起來較遠離，或反之亦然。藉由定向至共同傾角(例如，高程)，檢視者在自一個攝影機裝置轉變至另一攝影機裝置期間可能不需要重新定向傾角。 在一些實例中，伺服器或處理裝置可將來自不同攝影機裝置之影像定向至沿著光軸之共同旋轉角度。舉例而言，針對每一攝影機裝置中之每一透鏡存在一光軸，其中光軸為自透鏡之中心向外延伸的假想軸線。由於攝影機裝置之不同定向，每一光學透鏡之光軸可能不定向至共同基準。 在來自一個攝影機裝置之影像中，與來自另一攝影機裝置之影像相比較，沿著光軸具有不同旋轉角度可引起影像之右端看起來較接近且影像之左端看起來較遠離，或反之亦然。藉由定向至共同旋轉角度，檢視者可能不會體驗到自來自一個攝影機裝置之經顯現影像至另一攝影機裝置之轉變的此等改變。 以此方式，伺服器或處理裝置可基於方位角(例如，方向)、高程(例如，傾角)及旋轉而將影像定向至共同基準。應理解，伺服器或處理裝置可基於方向、傾角及旋轉中之一或多者而定向影像。舉例而言，伺服器或處理裝置可基於第一定向基準(例如，方向、傾角或旋轉中之一者)、第一定向基準及第二定向基準(例如，方向、傾角或旋轉中之另一者)或第一定向基準、第二定向基準及第三定向基準(例如，方向、傾角及旋轉)而定向影像。 在以上實例中，實例定向基準已基於攝影機裝置之定向的全域位置。在一些實例中，除了以上定向基準以外或代替以上定向基準，伺服器或處理裝置基於場景內容及/或檢視者之凝視而定向來自不同攝影機之影像。舉例而言，定向基準可基於場景、檢視者之凝視(例如，眼睛位置)或檢視者之頭部位置予以選擇。作為一實例，共同基準可為由一個攝影機裝置捕捉之影像及由檢視者正轉變至的另一攝影機裝置捕捉之影像中的影像內容中之共同部分。作為另一實例，共同基準可為檢視者正觀看(例如，基於檢視者之凝視或頭部位置)的區域。在此等實例中，伺服器或處理裝置可定向來自不同攝影機之影像，使得檢視者可保持相同凝視或頭部位置。舉例而言，伺服器或處理裝置可基於檢視者之凝視或頭部位置而選擇定向基準。 圖1為說明根據本發明中所描述之一或多種實例技術之多攝影機影像捕捉系統的方塊圖。舉例而言，圖1說明包括複數個攝影機裝置12A至12N (被集體地稱作「攝影機裝置12」)之多攝影機影像捕捉系統10。圖1所說明之實例可適用於用於合作記錄之多個攝影機裝備係有用的狀況。 攝影機裝置12可為置放於環境背景(setting)中之不同位置中的單機攝影機裝置。舉例而言，在婚禮期間，攝影機裝置12可在整個婚禮中置放於三角架上之各種位置中。作為另一實例，為了捕捉用於房屋巡視之不同影像，攝影機裝置12可置放於整個房屋中之不同位置中。攝影機裝置12未必需要仍保持於環境背景中，且亦可為可移動的。 攝影機裝置12可經組態以記錄360度球體環境以增強檢視者體驗。不同於捕捉僅在攝影機透鏡前方區域之影像的標準攝影機，攝影機裝置12可經組態以捕捉大得多的區域，包括在所有方向上之影像內容。如所說明，攝影機裝置12中之每一者分別捕捉影像內容14A至14N (集體地為影像內容14)。儘管未繪示，但影像內容14之間可存在重疊。 攝影機裝置12中之每一者可將其各別經捕捉影像內容14傳輸至伺服器16。伺服器16可對應於可儲存由攝影機裝置12捕捉之影像內容14的檔案伺服器或另一中間儲存裝置。處理裝置18可經由串流或下載而自伺服器16存取所儲存之經捕捉影像內容14。伺服器16可為能夠儲存影像內容14且將其傳輸至處理裝置18的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)裝置，或本機磁碟機。 攝影機裝置12及處理裝置18可以各種方式將資料傳輸至伺服器16及自伺服器16接收資料。作為一個實例，攝影機裝置12各自可捕捉各別影像內容14且在本機儲存影像內容14。在事件結束時，技術員(例如，來自婚禮攝影公司之技術員或來自房屋出售代理之技術員)可經由有線連接而將影像內容14下載至本機計算裝置(未繪示)，且經由無線頻道(例如，Wi-Fi連接)或有線連接(例如，DSL、纜線數據機等等)或此兩者之組合而上傳影像內容14。作為另一實例，攝影機裝置12各自可以無線方式或經由有線連接而將影像內容14傳輸至伺服器16。處理裝置18可經由無線或有線連接而自伺服器16下載影像內容14。處理裝置18及攝影機裝置12可經由包括網際網路連接之任何資料連接而與伺服器16通信。 在一些實例中，伺服器16可即時接收經捕捉影像內容14，且處理裝置18可即時下載經捕捉影像內容14，諸如對於體育事件或音樂會。其他排列及組合係可能的，且本發明中所描述之技術不應被視為限於此等特定實例中之任一者。 伺服器16可接收呈各種格式之經捕捉影像內容14。作為一個實例，伺服器16可接收呈自己的經捕捉影像格式之經捕捉影像內容14。如下文更詳細地所描述，攝影機裝置12包括捕捉360度影像內容14之透鏡，用以捕捉360度影像內容14之透鏡之一個實例為魚眼式透鏡，但其他透鏡類型係可能的。出於描述簡易起見，關於魚眼式透鏡而描述實例。 經捕捉影像格式可為由魚眼式透鏡捕捉之影像內容14引起的圓形影像，對於不使用魚眼式透鏡之其他實例，影像格式可能不同於圓形影像。在一些實例中，伺服器16可接收呈經捕捉影像被進一步處理之格式的經捕捉影像內容14。舉例而言，攝影機裝置12可包括處理影像以產生投影影像之圖形處理單元(GPU)，其中投影影像為將影像調合成接著映射至二維或三維結構上之單一影像的某一形式。調合通常係指混合重疊影像之色彩值。攝影機裝置12可將各別投影影像傳輸至伺服器16，其中來自各別攝影機裝置12之每一投影影像包括各別影像內容14。 處理裝置18在伺服器16儲存自攝影機裝置12接收之影像的實例中自伺服器16接收影像，及/或在伺服器16儲存投影影像之實例中自伺服器16接收投影影像。處理裝置18可對經接收影像(例如，圓形影像及/或投影影像)執行額外處理，且呈現所得影像以供顯示給檢視者。 在一些實例中，處理裝置18可呈現來自攝影機裝置12中之一者(例如，攝影機裝置12A)的一組影像。舉例而言，假定攝影機裝置12A置放於房屋中之走廊。在此實例中，檢視者能夠檢視影像內容14A之全部。舉例而言，檢視者可與處理裝置18互動，使得檢視者可改變檢視角度且自任何檢視角度檢視影像內容14A。 檢視者接著可與處理裝置18互動，使得檢視者感知到檢視者正通過影像內容14A行進朝向影像內容14B至14N中之一者。舉例而言，若攝影機裝置12A在走廊，則攝影機裝置12B可在臥室之門口。在此實例中，檢視者可與處理裝置18互動，使得檢視者感知到步行通過走廊且朝向門口。隨著檢視者愈來愈接近於攝影機裝置12B，處理裝置18可自呈現影像內容14A切換至呈現影像內容14B。 舉例而言，伺服器16可基於檢視者在由攝影機裝置12捕捉之環境背景內之感知位置而將用於影像內容14A之影像或投影影像上傳至處理裝置18。舉例而言，處理裝置18可將指示檢視者之相對位置的資訊輸出至伺服器16。基於相對位置，伺服器16可將用於影像內容14中之一者的影像輸出至處理裝置18。作為另一實例，伺服器16可廣播複數個影像內容14 (包括可能全部影像內容14)且包括由各別影像內容14涵蓋之區域之資訊。在此等實例中，處理裝置18可判定將影像內容14中之哪一者呈現給檢視者。使伺服器16及/或處理裝置18判定將傳輸/呈現影像內容14中之哪一者的其他方式也許係可能的。 在一些狀況下，在遍及攝影機裝置12不存在共同定向基準之情況下，攝影機裝置12中之每一者可產生各別投影影像。舉例而言，攝影機裝置12中之每一者可基於其透鏡之角度而產生其投影影像。因為攝影機裝置12中之每一者之透鏡可處於不同角度，所以投影影像中不存在共同定向基準。舉例而言，攝影機裝置12之透鏡可面向不同方向或具有不同定向，且因此，攝影機裝置12中之每一者之透鏡可處於不同角度。 在攝影機裝置12傳輸影像且伺服器16產生投影影像的實例中，伺服器16可相似地基於透鏡之角度而產生投影影像，使得投影影像中不存在共同定向基準。相似地，在處理裝置18接收尚未轉換為投影影像(例如，用於魚眼式透鏡之圓形影像)之影像的實例中，處理裝置18可基於透鏡之角度(例如，相對於固定基準)而產生投影影像，使得投影影像中不存在共同定向基準。 不同投影影像中缺少共同定向基準的一個可能問題為，自來自攝影機裝置12中之一者的影像內容14中之一者切換至來自攝影機裝置12中之另一者的影像內容14中之另一者對於使用者而言可為不和諧體驗。舉例而言，不管哪一裝置產生投影影像，處理裝置18皆顯現來自影像內容14中之一者(例如，影像內容14A)的投影影像以供顯示。在呈現影像內容14A時，檢視者最初可在處理裝置18上定向影像內容14A，使得正確地呈現內容(例如，吾人將正常地感知內容的方式，其中集中於所關注區域)。接著，在處理裝置18自影像內容14A切換至影像內容14B時，影像內容14B可能不會顯得正確，而是亂向。此係因為：在處理裝置18自影像內容14中之一者切換至影像內容14中之另一者時，用於影像內容14A及影像內容14B之投影影像中不存在共同定向，從而引起定向移位。 舉例而言，攝影機裝置12水平地(且在一些狀況下垂直地)捕捉及記錄360度視野，且不存在「記錄方向」之意義。此引起檢視者使他自己或她自己在360度檢視球體中定向。 本發明描述用以呈現來自位於定向至相同定向基準之不同位置中之不同攝影機裝置12之影像的實例技術。在此共同定向之情況下，在處理裝置18自呈現影像內容14中之一者切換至呈現影像內容14中之另一者時，檢視者可能不需要重新定向。 用以定向投影影像之一個實例方式係使攝影機裝置12各自基於對於所有攝影機裝置12相同的定向基準而定向其投影影像。舉例而言，地理方向(例如，北、南、東、西)對於所有攝影機裝置12將相同，而不管其特定透鏡角度(例如，不管透鏡如何指向)。在一些實例中，攝影機裝置12可經組態以定向其各別投影影像，使得地理方向位於每一投影影像中之相同座標點處。舉例而言，攝影機裝置12中之每一者可產生其各別投影影像，使得真北(例如，北極)位於相同座標點中(例如，被定位為真北之內容位於投影影像之頂部中心處)。 應重申，攝影機裝置12中之每一者正捕捉360度影像內容14。因此，在每一圓形影像中，存在相對於攝影機裝置12被定位為正北之內容。換言之，正握持攝影機裝置12A之個別人員可拍攝快照。因為快照具有整個360度可檢視區域，所以保證捕捉來自真北之內容。因此，在至少一個圓形影像中，存在來自真北之內容。在基於圓形影像而產生投影影像時，攝影機裝置12中之每一者可產生投影影像，使得在投影影像中，真北之內容位於投影影像之頂部中心處。在此實例中，來自攝影機裝置12之投影影像各自定向至定向基準，此將投影影像定中心至真北。將投影影像定中心至諸如真北之方向為一個實例，且技術並不受到如此限制。 為了允許攝影機裝置12中之每一者產生具有此共同定向基準之投影影像，攝影機裝置12可包括用以產生定向基準之資訊的感測器。舉例而言，攝影機裝置12可包括可指示地理方向之磁力計感測器(亦被稱作羅盤)。攝影機裝置12可利用特定地理方向之方向以調整投影影像，使得特定地理方向在每一投影影像中之相同座標點處對準。接著，在處理裝置18顯現投影影像以供顯示時，可能不需要使檢視者在切換影像內容14時重新定向。 使用羅盤及特定地理方向為一個實例，且不應被視為限制性的。在一些實例中，攝影機裝置12可包括慣性量測單元(IMU)及/或陀螺儀作為用以提供共同定向基準之方式。在一些實例中，攝影機裝置12可使用羅盤、IMU及/或陀螺儀。舉例而言，攝影機裝置12可使用羅盤以定向至特定地理方向，且可使用IMU及/或陀螺儀以控制另一維度上之定向(例如，將傾角定向至共同定向基準，等等)。 將投影影像定向至特定方向(例如，其中北位於每一影像中之頂部中心處)為將來自不同攝影機裝置12之影像定向至共同方位角基準的實例。將投影影像定向至特定傾角為將來自不同攝影機裝置12之影像定向至共同高程基準的實例。可存在定向影像之其他實例。 作為一個實例，攝影機裝置12中之每一者與一光軸相關聯，光軸為自攝影機裝置12之透鏡之中心向外延伸的假想軸線。由於攝影機裝置12之定位，來自攝影機裝置12之影像可能不會沿著光軸定向至共同旋轉角度。在一些實例中，攝影機裝置12可包括一或多個IMU及/或陀螺儀。IMU及/或陀螺儀中之一者可用於判定傾角。IMU及/或陀螺儀中之另一者可用於判定旋轉角度(例如，各別攝影機裝置12相對於光軸移位的量)。 沿著方向基準、傾角基準或旋轉角度基準定向投影影像為定向基準之各種實例。本發明中所描述之技術可相對於此等實例定向基準中之一或多者(例如，一個定向基準、一些定向基準，或全部定向基準)來定向投影影像。 將來自不同攝影機裝置12之投影影像定向至基於攝影機裝置12之方向或定向的共同定向基準為將來自不同攝影機裝置12之投影影像定向至共同定向的一個實例。然而，本發明中所描述之實例可適用於其他類型之定向基準，諸如基於諸如場景內容以及檢視者之凝視及/或頭部位置的基於電腦視覺之途徑的定向基準。 作為一實例，檢視者可自來自攝影機裝置12中之第一者(例如，攝影機裝置12A)的影像檢視特定場景內容(例如，所關注區域)。來自攝影機裝置12中之另一者(例如，攝影機裝置12B)的影像中可存在場景內容之一些重疊。在此等實例中，處理裝置18可顯現來自攝影機裝置12B之影像，使得在實質上同一位置中顯示為來自攝影機裝置12A之影像及來自攝影機裝置12B之影像兩者所共有的場景內容。舉例而言，處理裝置18可顯現為來自攝影機裝置12A之影像及來自攝影機裝置12B之影像兩者所共有的場景內容，使得在與來自攝影機裝置12A之經顯現影像中的共同場景內容之位置為同一個的位置中在來自攝影機裝置12B之經呈現影像中顯示共同場景內容。 作為說明，在攝影機裝置12置放於住宅中以用於住宅巡視之實例中，攝影機裝置12A可置放於走廊且攝影機裝置12B可置放於臥室。隨著檢視者與處理裝置18互動，使得檢視者正步行通過走廊且面向通往臥室之門口，處理裝置18可顯示由攝影機裝置12A捕捉之影像內容。接著，在檢視者互動以進入臥室時，處理裝置18可顯示由攝影機裝置12B捕捉之影像內容。在此實例中，檢視者在面向門口時最初檢視的由攝影機裝置12A捕捉之影像內容可與由攝影機裝置12B捕捉之影像內容重疊(例如，攝影機裝置12B亦可捕捉臥室之門口處的影像內容)。在自由攝影機裝置12A捕捉之影像內容至由攝影機裝置12B捕捉之影像內容的轉變情況下，處理裝置18可將由攝影機裝置12B捕捉之影像內容顯現至與由攝影機裝置12A捕捉之影像內容之經顯現影像共同的定向，在此實例中，由攝影機裝置12A捕捉之影像內容之經顯現影像為共同場景內容。藉由定向至共同場景內容，檢視者可感知較平滑的轉變。 作為另一實例，檢視者可藉由在檢視由攝影機裝置12中之第一者(例如，攝影機裝置12A)捕捉的影像內容時使他的/她的凝視或頭部集中於特定角度而檢視特定場景內容(例如，所關注區域)。在將由攝影機裝置12A捕捉之影像內容轉變至攝影機裝置12中之第二者(例如，攝影機裝置12B)時，處理裝置18可在檢視者檢視由攝影機裝置12A捕捉之影像時基於檢視者凝視或頭部之位置而顯現由攝影機裝置12B捕捉之影像內容。舉例而言，處理裝置18可顯現由攝影機裝置12B捕捉之影像內容，使得檢視者不需要改變他的/她的凝視或頭部位置。舉例而言，如基於檢視者凝視或頭部位置，屬於檢視者之所關注區域的影像內容在自由攝影機裝置12中之第一者捕捉之影像內容轉變至攝影機裝置12中之第二者時保持於同一位置中。在此實例中，處理裝置18可基於檢視者之經判定凝視或頭部位置而選擇定向基準。 在以上實例中，攝影機裝置12產生投影影像。然而，技術並不受到如此限制。在伺服器16、處理裝置18或某其他裝置產生投影影像之實例中，攝影機裝置12可將指示特定維度及/或傾角及/或旋轉角度(在IMU或陀螺儀之實例中)之對準的資訊以及圓形影像傳輸至伺服器16、處理裝置18或此其他裝置。伺服器16、處理裝置18或可能此其他裝置可執行上文所描述之實例技術以將投影影像定向至共同定向基準。 圖2A及圖2B為說明圖1之多攝影機影像捕捉系統的概念圖。類似於圖1，圖2A及圖2B說明攝影機裝置12中之每一者捕捉各別影像內容14的實例。不同於圖1中，影像內容14被說明為重疊。作為一實例，影像內容14A、14C及14E重疊。 在圖2A中，在不同定向上說明攝影機裝置12A。因此，將自攝影機裝置12中之一者產生之檢視影像切換至攝影機裝置12中之另一者的檢視者可能需要重新定向至檢視者正切換至的攝影機裝置12中之一者所處的定向。 圖2B提供本發明中所描述之技術之有效結果的概念性說明。儘管圖2B說明攝影機裝置12各自具有相同定向，但應理解，攝影機裝置12不需要全部定向於相同方向上。更確切地，圖2B說明：在實施本發明中所描述之技術時，結果可為來自不同攝影機裝置12之經捕捉影像全部定向至共同基準。 舉例而言，在多攝影機環境中，由攝影機裝置12產生之影像可取決於攝影機裝置12之其實體定向。在轉變來自各別攝影機裝置12之影像內容14時，檢視者可體驗到亂向效應。本發明中所描述之技術可引起產生360度影像，使得在切換攝影機裝置12時存在舒適轉變。舉例而言，若攝影機裝置12全部定向至共同基準，則結果可相似，如圖2B中概念上所說明。 圖3為說明根據本發明中所描述之一或多種實例技術之用於捕捉360度視訊之實例攝影機裝置的方塊圖。如所說明，攝影機裝置12A為包括位於攝影機裝置12A之相對側上以捕捉完整360度視訊/影像之魚眼式透鏡20A及魚眼式透鏡20B的視訊捕捉裝置。魚眼式透鏡20A及20B之其他定向也許係可能的。舉例而言，攝影機裝置12A可包括多於兩個魚眼式透鏡，或單一360度透鏡。又，魚眼式透鏡係僅僅作為一個實例被提供，且其他透鏡類型係可能的。 攝影機裝置12A之一個實例可包括16個透鏡(例如，用於攝影3D VR內容之16攝影機陣列)。攝影機裝置12A之另一實例可包括八個透鏡，每一透鏡具有195度視角(例如，每一透鏡捕捉360度影像內容之195度影像內容)。攝影機裝置12A之其他實例包括四個或三個透鏡。一些實例可包括捕捉360度影像內容之360度透鏡。 本發明中所描述之實例技術大體上係關於攝影機裝置12A包括捕捉360度影像/視訊之兩個魚眼式透鏡予以描述。然而，實例技術並不受到如此限制。實例技術可適用於包括以下各者之攝影機裝置12A之實例：單一360度透鏡；複數個透鏡(例如，兩個或多於兩個)，即使該等透鏡不為魚眼式透鏡亦如此；及複數個魚眼式透鏡。 如上文所描述，360度視訊內容可被視為一連串360度影像(例如，視訊之圖框)。本發明中所描述之實例技術描述與影像相關之技術，其可用於靜態影像(例如，360度快照)之目的或用於形成視訊(例如，360度視訊)之影像。 使用者可與攝影機裝置12A互動以捕捉360度視訊/影像，其中魚眼式透鏡20A及20B中之每一者捕捉360度視訊/影像之部分，且來自魚眼式透鏡20A及20B之兩個視訊/影像串流調合在一起以產生360度視訊/影像。 可存在使用者與攝影機裝置12A互動的各種方式。作為一個實例，使用者可運用位於攝影機裝置12A上之按鈕而與攝影機裝置12A互動。作為另一實例，使用者可經由經顯示介面(例如，圖形使用者介面(GUI))而與攝影機裝置12A互動。 在一些實例中，攝影機裝置12A可能不提供顯示器。更確切地，攝影機裝置12A輸出接著由另一裝置(例如，處理裝置18)顯示之經捕捉影像。 如所說明，攝影機裝置12A包括攝影機處理器22、圖形處理單元(GPU)24、一或多個感測器26，及傳輸器28。儘管各種組件被說明為單獨組件，但在一些實例中，可組合該等組件以形成系統單晶片(SoC)。作為一實例，攝影機處理器22及GPU 24可形成於共同積體電路(IC)晶片上，或形成於單獨IC晶片中。各種其他排列及組合係可能的，且技術不應被視為限於圖3所說明之實例。攝影機處理器22及GPU 24可被形成為固定功能及/或可程式化電路系統，諸如在一或多個微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、數位信號處理器(DSP)或其他等效整合式或離散邏輯電路系統中。 儘管在圖3中說明攝影機裝置12A，但攝影機裝置12B至12N可包括相似組件。又，攝影機裝置12A未必需要在所有實例中包括GPU 24。舉例而言，在攝影機裝置12A傳輸由魚眼式透鏡20A及20B捕捉之圓形影像的實例中，攝影機裝置12A可能不包括GPU 24。然而，甚至在攝影機裝置12A傳輸圓形影像之實例中，仍也許有可能使攝影機裝置12A包括GPU 24。 傳輸器28可經組態以傳輸由攝影機裝置12A捕捉之影像資料。舉例而言，傳輸器28可包括以無線方式或經由有線連接而將圓形影像及/或投影影像傳輸至伺服器16、另一計算裝置或處理裝置18之電路系統。 攝影機處理器22經組態以自透鏡20A及20B之各別像素接收電流作為感測器信號，且處理電流以產生各別魚眼式影像(例如，諸如圖4A及圖4B所說明之影像的圓形影像)之像素資料，例如R、G、B資料、明度及色度資料或其類似者。儘管描述一個攝影機處理器22，但在一些實例中，可存在複數個攝影機處理器(例如，用於透鏡20A之一個攝影機處理器及用於透鏡20B之一個攝影機處理器)。 在一些實例中，攝影機處理器22可被組態為單輸入多資料(SIMD)架構。攝影機處理器22可對自透鏡20A及20B中之每一者上的像素中之每一者接收的電流執行相同操作。SIMD架構之每一通道可包括一影像管線。影像管線包括硬連線電路系統及/或可程式化電路系統以處理像素之輸出。 舉例而言，攝影機處理器22之每一影像管線可包括用以將電流轉換為電壓之各別跨阻抗放大器(TIA)及將類比電壓輸出轉換成數位值之各別類比至數位轉換器(ADC)。由每一像素輸出之電流指示紅色、綠色或藍色分量之強度。 除了將類比電流輸出轉換為數位值以外，攝影機處理器22亦可執行某一額外後處理以增加最終影像之品質。舉例而言，攝影機處理器22可評估相鄰影像像素之色彩及亮度資料且執行解馬賽克以更新影像像素之色彩及亮度。作為額外實例，攝影機處理器22亦可執行雜訊縮減及影像清晰。 攝影機處理器22輸出所得影像(例如，每一影像像素之像素值)以供GPU 24處理。舉例而言，GPU 24可調合像素值以產生投影影像。出於描述簡易起見，關於執行操作之GPU 24而描述實例。然而，攝影機處理器22或者處理裝置18、伺服器16或某其他裝置上之GPU可經組態以調合經捕捉影像。 圖4A及圖4B為說明自圖3之裝置捕捉之影像的圖像圖解。如所說明，由透鏡20A及20B捕捉之兩個影像之輸出為圓形影像(例如，圓影像)。舉例而言，圖4A表示由透鏡20A捕捉之影像，且圖4B表示由透鏡20B捕捉之影像。攝影機處理器22接收由透鏡20A及20B捕捉之影像內容且處理影像內容以產生圖4A及圖4B。在一些實例中，圖4A及圖4B可為共同影像圖框之部分。 如所說明，圖4A及圖4B為說明顯得泡狀之影像內容的圓形影像。若兩個圓形影像拼接在一起，則所得影像內容將用於影像內容之整個球體(例如，360度可檢視內容)。 返回參看圖3，GPU 24可經組態以自由攝影機處理器22產生之圓形影像產生投影影像。投影影像之實例包括等矩形、立方體、圓柱形、球體、皮爾斯梅花形等等。為了產生投影影像，GPU 24可將每一圓形影像(例如，圖4A及圖4B所說明之影像中之每一者)紋理映射至投影(例如，等矩形投影、立方體投影、圓柱形投影、球體投影或皮爾斯梅花形投影)上。 舉例而言，對於等矩形投影，存在二維矩形結構。GPU 24自圓形影像取得一個像素且將彼像素之像素值映射至矩形結構上之位置上。在被稱作紋理映射之處理程序中，GPU 24針對圓形影像中之每一像素重複此等步驟，且將彼像素映射至矩形結構。圓形影像被視為色彩紋理，且圓形影像之像素被稱作紋理映射中之材質(texel)。 第一圓形影像至第一矩形結構之紋理映射的結果為第一中間影像。GPU 24可重複此處理程序，但關於第二圓形影像，以產生第二中間影像(例如，將第二圓形影像紋理映射至矩形結構)。GPU 24接著可將兩個中間影像拼接在一起以產生投影影像。作為一實例，GPU 24之調合器電路可調合第一中間影像之底部邊界上的像素之像素值與第二中間影像之上部邊界上的像素，從而產生等矩形影像。 GPU 24可針對由透鏡20A及20B捕捉之複數個圓形影像重複此等操作以產生一組影像(例如，一組等矩形影像)。在此實例中，該組等矩形影像包括影像內容14A之內容。 對於皮爾斯梅花形，GPU 24可執行相似操作。舉例而言，對於皮爾斯梅花形，亦可存在GPU 24將圓形影像紋理映射至的二維矩形結構。然而，GPU 24將用於皮爾斯梅花形影像之圓形影像之像素映射至的二維結構上之位置不同於GPU 24將用於等矩形影像之圓形影像之像素映射至的二維結構之位置。對於立方體、圓柱形及球體投影，GPU 24可執行相似操作，但紋理映射至三維結構(例如，立方體、圓柱體或球體)。 如上文所描述，一個可能問題可為，來自不同攝影機裝置12之投影影像(例如，等矩形影像或皮爾斯梅花形影像)中之每一者可能不定向至相同定向基準(例如，相對於方位角、振幅或旋轉角度之位置，或場景或檢視者凝視/頭部之位置)。接著，在處理裝置18在影像內容14 (例如，影像內容14A至14B)之間切換時，檢視者可能需要重新定向，使得影像內容14B以與影像內容14A定向之方式相同的方式定向。 在本發明中所描述之實例中，攝影機裝置12A包括一或多個感測器26 (例如，磁力計感測器、慣性量測單元(IMU)或陀螺儀)以將投影影像定向至共同定向基準。其他攝影機裝置12可包括相似的一或多個感測器26。 作為一實例，在GPU 24產生投影影像之後，GPU 24可接收指示特定地理方向之對準的資訊。GPU 24接著可調整投影影像，使得地理方向對準至投影影像上之特定座標點。 一般而言，GPU 24可移位、旋轉、剪切或扭曲投影影像以將投影影像調整至與特定地理方向之對準。舉例而言，為了將投影影像旋轉90度，GPU 24可將投影影像上之像素的x座標值設定為經調整投影影像上之y座標，且將投影影像上之像素的y座標值設定為經調整投影影像上之x座標。 作為另一實例，GPU 24可執行另一紋理映射遍次。在此紋理映射遍次中，投影影像形成紋理，且GPU 24將來自投影影像之像素紋理映射至具有相似於投影影像之形狀的結構上，但在不同位置處紋理映射至此結構上(例如，將投影影像之每一像素移位45度而至此結構上以產生旋轉45度之經調整投影影像)。 用以調整投影影像之其他方式係可能的，且以上技術不應被視為限制性的。舉例而言，GPU 24可將圓形影像之像素紋理映射至其最終正確位置，使得投影影像定向至共同定向基準(例如，基於地理方向而對準)作為紋理映射之部分，而非產生投影影像且接著調整投影影像。 對於等矩形及圓柱形投影，GPU 24可以環繞方式執行像素之水平移位，以便對準至共同定向基準。球體變換及旋轉亦可由GPU 24執行。對於立方體投影，GPU 24可使用來自一或多個感測器26之資訊以顯現立方體之六個側。對於皮爾斯梅花形，GPU 24可將來自一或多個感測器26之資訊整合至由Puentes等人在「Elucidating Peirce Quincuncial Projection」中所描述之Peirce/Pierpont公式中，該文獻之內容的全文係以引用之方式併入。 圖5A為說明在未定向至定向基準之情況下產生之影像的圖像圖解。舉例而言，圖5A說明GPU 24基於透鏡20A及20B之角度而產生等矩形影像的實例。若攝影機裝置12中之每一者產生相似等矩形影像，則自影像內容14中之一者切換至影像內容14中之另一者可引起在所顯示之360度檢視體積內需要檢視者重新定向。 圖5B為說明在定向至定向基準之情況下產生之影像的圖像圖解。在圖5B中，GPU 24調整圖5A所說明之投影影像，使得經調整投影影像中之頂部中心座標被對準為北。基於來自一或多個感測器26之量測，GPU 24可判定北位於圖5A所說明之投影影像中的何處。GPU 24接著可調整圖5A之投影影像，使得北對準至頂部中心座標，如圖5B所說明。 在一些實例中，對準至地理方向可提供第一程度之調整(例如，在第一維度上)。GPU 24可對經調整投影影像執行第二程度之調整以產生另一經調整投影影像。一或多個感測器26可包括陀螺儀或IMU。GPU 24可使用自陀螺儀或IMU產生之資訊以將傾角進一步調整至共同定向基準。又，一或多個感測器26可用以將旋轉角度進一步調整至共同定向基準。 圖6A及圖6B為說明自圖1之裝置捕捉之影像的圖像圖解。舉例而言，圖6A及圖6B相似於圖4A及圖4B之圖解，但具有不同內容。圖6C為說明自圖6A及圖6B之影像產生之影像的圖像圖解，該影像係在定向至定向基準之情況下定向。舉例而言，圖6C說明皮爾斯梅花形投影影像之實例。在此實例中，GPU 24可將北對準至投影影像之右頂部拐角，而非將北對準至投影影像之頂部中心。 儘管以上實例係關於執行實例技術之攝影機裝置12A之GPU 24予以描述，但本發明之態樣並不受到如此限制。舉例而言，傳輸器28可將用於圓形影像(例如，諸如圖4A、圖4B、圖6A及圖6B之影像的影像)之影像資料傳輸至伺服器16、某其他計算裝置或處理裝置18。另外，傳輸器28可將方向資訊、傾角資訊及/或旋轉角度資訊輸出至此等其他裝置。作為一實例，此等其他裝置上之GPU接著可產生定向至定向基準之投影影像，諸如圖5B及圖6C所說明之影像，且接著將投影影像傳輸回至某其他裝置。 圖7為經組態以執行本發明中所描述之實例技術中之一或多者的圖1之處理裝置的方塊圖。圖7之處理裝置18之實例包括：個人電腦；桌上型電腦；膝上型電腦；平板電腦；電腦工作站；視訊遊戲平台或主控台；無線通信裝置(諸如行動電話、蜂巢式電話、衛星電話及/或行動電話手機)；固定電話；網際網路電話；手持型裝置，諸如攜帶型視訊遊戲裝置或個人數位助理(PDA)；個人音樂播放器；視訊播放器；顯示裝置、攝影機；電視；電視機上盒；伺服器；中間網路裝置；大型主機電腦；或處理及/或顯示圖形資料的任何其他類型之裝置。 如圖7之實例中所說明，處理裝置18包括收發器30、位置追蹤器31、中央處理單元(CPU) 32、圖形處理單元(GPU) 34及GPU 34之本機記憶體36、使用者介面38、提供對系統記憶體46之存取的記憶體控制器40，及輸出致使圖形資料顯示於顯示器44上之信號的顯示處理器42。 又，儘管各種組件被說明為單獨組件，但在一些實例中，可組合該等組件以形成系統單晶片(SoC)。作為一實例，CPU 32、GPU 34及顯示處理器42可形成於共同積體電路(IC)晶片上。在一些實例中，CPU 32、GPU 34及顯示處理器42中之一或多者可在單獨IC晶片中。各種其他排列及組合係可能的，且技術不應被視為限於圖7所說明之實例。 圖7所說明之各種組件(無論形成於一個裝置抑或不同裝置上)可被形成為固定功能及/或可程式化電路系統，或此電路系統之組合，諸如在一或多個微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、數位信號處理器(DSP)或其他等效整合式或離散邏輯電路系統中。本機記憶體36之實例包括一或多個揮發性或非揮發性記憶體或儲存裝置，諸如隨機存取記憶體(RAM)、靜態RAM (SRAM)、動態RAM (DRAM)、可抹除可程式化ROM (EPROM)、電可抹除可程式化ROM (EEPROM)、快閃記憶體、磁性資料媒體或光學儲存媒體。 圖7所說明之各種單元使用匯流排47而與彼此通信。匯流排47可為多種匯流排結構中之任一者，諸如第三代匯流排(例如，HyperTransport匯流排或InfiniBand匯流排)、第二代匯流排(例如，進階圖形埠匯流排、周邊組件互連(PCI)快速匯流排或進階可延伸介面(AXI)匯流排)或另一類型之匯流排或裝置互連。應注意，圖7所展示之不同組件之間的匯流排及通信介面之特定組態僅僅係例示性的，且計算裝置之其他組態及/或具有相同或不同組件之其他影像處理系統可用以實施本發明之技術。 CPU 32可包含控制處理裝置18之操作的一般用途或特殊用途處理器。使用者可將輸入提供至處理裝置18以致使CPU 32執行一或多個軟體應用程式。在CPU 32上執行之軟體應用程式可包括例如文書處理器應用程式、網頁瀏覽器應用程式、電子郵件應用程式、相片檢視應用程式、相片編輯應用程式、圖形編輯應用程式、總分析表應用程式、媒體播放器應用程式、視訊遊戲應用程式、圖形使用者介面應用程式或另一程式。使用者可經由諸如鍵盤、滑鼠、麥克風、觸控板或經由使用者輸入介面38而耦接至處理裝置18之另一輸入裝置的一或多個輸入裝置(未圖示)而將輸入提供至處理裝置18。 軟體應用程式之一個實例為檢視應用程式。CPU 32執行檢視應用程式以檢視由攝影機裝置12捕捉之影像內容14。舉例而言，回應於執行檢視應用程式，CPU 32可將命令輸出至收發器30以自伺服器16或攝影機裝置12擷取圓形影像、投影影像或此兩者。作為回應，收發器30可與伺服器16形成無線或有線連接，且自伺服器16下載用於影像內容14之圓形影像及/或投影影像。 在一些實例中，CPU 32可致使收發器30下載用於特定影像內容14之圓形影像及/或投影影像。在一些實例中，CPU 32可致使收發器30下載用於複數個或全部影像內容14之圓形影像及/或投影影像。作為回應，收發器30可自經指示影像內容14下載圓形影像及/或投影影像，且經由記憶體控制器40而將圓形影像及/或投影影像作為來自各別攝影機裝置12之多組影像而儲存於系統記憶體46中。 在CPU 32上執行之檢視應用程式可包括指示CPU 32致使將圖形資料顯現至顯示器44之一或多個圖形顯現指令。在一些實例中，檢視應用程式之指令可符合圖形應用程式設計介面(API)，諸如開放圖形程式館(OpenGL® ) API、開放圖形程式館嵌入式系統(OpenGL ES) API、OpenCL API、Direct3D API、X3D API、RenderMan API、WebGL API，或任何其他公用或專屬標準圖形API。技術不應被視為限於需要特定API。 作為一個實例，使用者可執行檢視應用程式以使收發器下載圓形影像及/或投影影像以供儲存於系統記憶體46中。在儲存之後，檢視應用程式可致使CPU 32指示GPU 34顯現圓形影像及/或投影影像以供顯示。檢視應用程式可使用符合諸如OpenGL API之實例API的軟體指令以指示GPU 34顯現影像(例如，圓形影像及/或投影影像)以供顯示。 回應於經接收指令，GPU 34可接收圓形影像及/或投影影像之影像內容且顯現影像以產生360度視訊。顯示器44顯示360度視訊。使用者可與使用者介面38互動以修改檢視觀點，使得檢視者可檢視完整360度視訊(例如，在上方、在後方、在前方及360球體之所有角度的檢視)。 檢視者亦可與使用者介面38互動以移動通過360度視訊之檢視體積。舉例而言，檢視者可與使用者介面38互動以在360度視訊之檢視體積中向前、向後、向左、向右、向上或向下移動。作為一實例，在房屋環境背景中，檢視者可感知好像他或她正移動通過房屋中之走廊。在婚禮環境背景中，檢視者可感知好像他或她正自接待處之一桌移動至另一桌。 記憶體控制器40促進對進入及離開系統記憶體46之資料的傳送。舉例而言，記憶體控制器40可接收記憶體讀取及寫入命令，且關於記憶體46而服務此等命令以便提供用於處理裝置18中之組件的記憶體服務。記憶體控制器40以通信方式耦接至系統記憶體46。儘管記憶體控制器40在圖7之處理裝置18之實例中被說明為與CPU 32及系統記憶體46兩者分離之處理電路，但在其他實例中，記憶體控制器40之功能性中之一些或全部可實施於CPU 32及系統記憶體46中之一者或兩者上。 系統記憶體46可儲存可由CPU 32及GPU 34存取之程式模組及/或指令及/或資料。舉例而言，系統記憶體46可儲存使用者應用程式(例如，用於檢視應用程式之指令)、來自攝影機裝置12之所得影像等等。系統記憶體46可另外儲存供處理裝置18之其他組件使用及/或由處理裝置18之其他組件產生的資訊。系統記憶體46可包括一或多個揮發性或非揮發性記憶體或儲存裝置，諸如隨機存取記憶體(RAM)、靜態RAM (SRAM)、動態RAM (DRAM)、唯讀記憶體(ROM)、可抹除可程式化ROM (EPROM)、電可抹除可程式化ROM (EEPROM)、快閃記憶體、磁性資料媒體或光學儲存媒體。 在一些態樣中，系統記憶體46可包括致使CPU 32及GPU 34以及顯示處理器42執行歸屬於本發明中之此等組件之功能的指令。因此，系統記憶體46可為電腦可讀儲存媒體，其上儲存有指令，指令在執行時致使一或多個處理器(例如，CPU 32、GPU 34及顯示處理器42)執行各種功能。 在一些實例中，系統記憶體46為非暫時性儲存媒體。術語「非暫時性」指示儲存媒體並不以載波或傳播信號予以體現。然而，術語「非暫時性」不應被解譯為意謂系統記憶體46為不可移動的或其內容為靜態的。作為一個實例，可自裝置18移除系統記憶體46，且將系統記憶體46移動至另一裝置。作為另一實例，可將實質上相似於系統記憶體46之記憶體插入至裝置18中。在某些實例中，非暫時性儲存媒體可儲存可隨著時間推移而改變之資料(例如，在RAM中)。 CPU 32及GPU 34可在系統記憶體46內分配之各別緩衝器中儲存影像資料及其類似者。顯示處理器42可自系統記憶體46擷取資料且組態顯示器44以顯示由經產生影像資料表示之影像。在一些實例中，顯示處理器42可包括經組態以將自系統記憶體46擷取之數位值轉換成可由顯示器44取用之類比信號的數位至類比轉換器(DAC)。在其他實例中，顯示處理器42可將數位值直接傳遞至顯示器44以供處理。 顯示器44可包括：監視器；電視；投影裝置；液晶顯示器(LCD)；電漿顯示面板；發光二極體(LED)陣列，諸如有機發光二極體(OLED)顯示器；陰極射線管(CRT)顯示器；電子紙；表面傳導電子發射顯示器(SED)；雷射電視顯示器；奈米晶體顯示器；或另一類型之顯示單元。顯示器44可整合於處理裝置18內。舉例而言，顯示器44可為行動電話手機或平板電腦之螢幕。替代地，顯示器44可為經由有線或無線通信鏈路而耦接至處理裝置18之單機裝置。舉例而言，顯示器44可為經由纜線或無線鏈路而連接至個人電腦之電腦監視器或平板顯示器。 在處理裝置18接收圓形影像之實例中，GPU 34可經組態以基於比如上文關於GPU 24所描述之操作的相似操作而產生投影影像。舉例而言，GPU 34可紋理映射圓形影像以產生等矩形投影影像或皮爾斯梅花形投影影像，且相似操作用於立方體、圓柱形或球體投影影像。 舉例而言，GPU 34可接收(例如，自系統記憶體46)自第一位置中之攝影機裝置12A產生之第一組影像。此等第一組影像可為圓形影像及/或投影影像。在第一組影像為圓形影像之實例中，GPU 34可執行相似於上文關於GPU 24所描述之操作的操作以產生投影影像，且在系統記憶體46中儲存投影影像。另外，GPU 34可接收自一或多個感測器26搜集之資訊。攝影機裝置12可將自各別一或多個感測器26搜集之資訊傳輸至供收發器30接收經搜集資訊的伺服器16以供儲存於系統記憶體46中，且GPU 34自系統記憶體46接收經搜集資訊。GPU 34可使用自一或多個感測器26搜集之資訊以調整投影影像之定向。 在一些實例中，位置追蹤器31可經組態以追蹤檢視者眼睛(例如，凝視)或頭部之位置，且將指示檢視者眼睛或頭部之位置的資訊輸出至CPU 32。又，在將指令提供至GPU 34以顯現影像內容14時，CPU 32可提供指示檢視者眼睛或頭部之位置的資訊。在顯現影像內容14B時，GPU 34可定位影像內容14B，使得檢視者不改變他或她的眼睛位置或頭部位置。舉例而言，在自來自由攝影機裝置12A捕捉之影像內容14A的經顯現之第一組影像轉變至來自由攝影機裝置12B捕捉之影像內容14B的第二組影像時，GPU 34可將第二組影像顯現至與經顯現之第一組影像共同的基準(例如，檢視者眼睛或頭部之位置)。 在一些實例中，CPU 32可判定影像內容14A與影像內容14B之間的共同性。CPU 32可指示GPU 34顯現影像內容14B，使得在顯示器44上之同一位置處顯示共同內容。舉例而言，為了顯現影像內容14B，CPU 32可指示GPU 34顯現為第一組影像中之影像內容14A及第二組影像中之影像內容14B兩者所共有的場景內容，使得在與用於影像內容14A之經顯現之第一組影像中之共同場景內容之位置相同的位置中在用於影像內容14B之經顯現之第二組影像中顯示共同場景內容。以此方式，在自來自由攝影機裝置12A捕捉之影像內容14A之經顯現之第一組影像至來自由攝影機裝置12B捕捉之影像內容14B之第二組影像的轉變中，GPU 34可將第二組影像顯現至與經顯現之第一組影像共同的基準(例如，共同場景)。 在第一組影像為投影影像之實例中，投影影像可能已定向至定向基準。在此等狀況下，GPU 34可能不需要進一步調整。然而，在一些實例中，第一組影像可為投影影像，但投影影像可能尚未定向至定向基準。在此等實例中，GPU 34可將投影影像之定向調整至共同定向基準。 相似地，GPU 34可接收(例如，自系統記憶體46)自第二不同位置中之攝影機裝置12B產生之第二不同組影像。此等第二組影像可為圓形影像及/或投影影像。GPU 34可執行如上文關於第一組影像所描述之相似操作以產生具有定向基準(例如，與用於經顯現之第一組影像之定向基準相同的定向)之投影影像。 GPU 34可能不同時調整用於第一組影像及第二組影像兩者之定向；但此並行定向調整係可能的。CPU 32可向GPU 34指示影像內容14中之哪一者將被顯現以供顯示。作為一實例，CPU 32可向GPU 34指示來自由攝影機裝置12A捕捉之影像內容14A之圓形影像及/或投影影像將被顯現以供顯示。在此實例中，GPU 34可將用於第一組影像之定向(在需要時)調整至定向基準。 接著，在CPU 32向GPU 34指示來自由攝影機裝置12B捕捉之影像內容14B之圓形影像及/或投影影像將被顯現以供顯示時，GPU 34可將用於第二組影像之定向(在需要時)調整至定向基準(例如，與經顯現之第一組影像相同的定向基準)。舉例而言，GPU 34可調整第一組影像之定向，使得經顯現之第一組影像具有定向基準，且GPU 34可調整第二組影像之定向，使得經顯現之第二組影像具有定向基準(例如，與經顯現之第一組影像相同的定向基準)。如上文所描述，諸如在用於影像內容14A及14B之經接收投影影像已經定向至共同定向基準(例如，由攝影機裝置12A及12B、伺服器16或某其他裝置)的狀況下，GPU 34可能不需要調整第一及第二組影像之定向。 在任何情況下，一旦系統記憶體46儲存用於第一組影像之投影影像，GPU 34就可顯現定向至定向基準之第一組影像以供顯示。接著，在GPU 34切換至第二組影像(例如，因為檢視者與使用者介面38互動以進入由影像內容14B涵蓋之區域)時，GPU 34可顯現定向至定向基準(例如，與用於經顯現之第一組影像之定向基準相同的定向基準)之第二組影像以供顯示。以此方式，檢視者在自影像內容14A至影像內容14B之切換中可能不會感知到不和諧體驗。舉例而言，顯現第二組影像以供顯示包括將經顯現之第一組影像之顯示切換至顯現第二組影像以供顯示。 在本發明中所描述之實例技術中，GPU 34包括圖形處理管線，其包括用於顯現來自不同攝影機裝置12之不同組影像以供顯示的處理電路系統(例如，可程式化電路系統及/或固定功能電路系統)。舉例而言，GPU 34可包括用於執行實例技術之操作的紋理硬體電路系統。GPU 34亦可包括用於執行實例技術之操作的用於調合之處理電路系統。 舉例而言，GPU 34可使用紋理映射以將投影影像映射至球體網格模型上。球體網格模型可包括複數個基元(例如，點、線、三角形、正方形或其他多邊形)，每一基元具有一或多個頂點。基元之互連形成球體之網格模型。GPU 34可使用紋理映射以將用於第一影像之投影影像映射至球體網格模型上，且顯現球體網格模型以產生可檢視的360度影像內容。 為了執行紋理映射，GPU 34可將來自投影影像之像素映射至球體網格模型之三維頂點(例如，每一頂點具有x、y及z座標)上。結果可為具有投影影像之內容的球體。作為說明，設想二維世界地圖映射至球體上以形成地球。GPU 34接著可顯現此球體以產生可檢視的360度影像。 GPU 34可將顯現之結果輸出至系統記憶體46。顯示處理器42可自系統記憶體46擷取影像內容且在顯示器44上顯示所得的360度影像。在一些實例中，顯示器44可顯示整個球體之部分，且檢視者可與裝置18介接(例如，經由顯示器44或使用者介面38)以選擇將檢視球體之哪一部分。 以此方式，GPU 34可顯現定向至定向基準之第一組影像以供顯示，且顯現定向至與用於經顯現之第一組影像之定向基準相同的定向基準之第二組影像以供顯示。如上文所描述，GPU 34不需要同時顯現第一組影像及第二組影像以供顯示，但可自經顯現之第一組影像之顯示切換至顯現第二組影像以供顯示。然而，可同時自不同攝影機裝置12產生第一組影像及第二組影像。 在一些實例中，定向基準為地理方向，其中地理方向係基於羅盤量測(例如，來自一或多個感測器26)。舉例而言，GPU 34可顯現第一組影像以供顯示，使得位於相對於攝影機裝置12A之第一地理方向上的影像內容位於第一組影像之經顯現影像內的第一座標處(例如，北對準至頂部中心座標)。GPU 34可顯現第二組影像以供顯示，使得位於相對於攝影機裝置12B之第二地理方向上的影像內容位於第二組影像之經顯現影像內的第二座標處。在此實例中，第一地理方向及第二地理方向為相同地理方向(例如，被對準為北)，且第一座標及第二座標為相同座標(例如，如圖5B所說明之頂部中心座標或如圖6C所說明之右頂部座標)。 GPU 34可接收已經定向至相同定向基準之第一組影像及第二組影像。在一些實例中，GPU 34可接收指示相對於第一組影像之定向基準的資訊，且接收指示相對於第二組影像之定向基準的資訊。GPU 34可基於指示相對於第一及第二組影像之定向基準的資訊而調整第一及第二組影像之定向。在此等實例中，GPU 34可顯現具有經調整定向之第一及第二組影像以供顯示。 另外，在一些實例中，GPU 34可將第一及第二組影像顯現至兩個不同定向基準(例如，地理方向對準及傾角對準)或三個不同定向基準(例如，地理方向對準(方位角)、傾角對準(高程)及旋轉角度)以供顯示。舉例而言，GPU 34可顯現定向至第一定向基準(例如，地理方向對準)及第二定向基準(例如，傾角對準)及/或第三定向(例如，旋轉角度)之第一組影像以供顯示。GPU 34亦可顯現定向至第一定向及與用於第一組影像之第二定向基準相同的第二定向基準以及與用於第一組影像之第三定向基準相同的第三定向基準之第二組影像以供顯示。 在一些實例中，GPU 34可顯現為在實質上同一位置中顯示之第一組影像及第二組影像兩者所共有的場景內容之第二組影像以供顯示。舉例而言，GPU 34可顯現為第一組影像及第二組影像兩者所共有之場景內容，使得在與經顯現之第一組影像中之共同場景內容之位置相同的位置中在經顯現之第二組影像中顯示共同場景內容。在一些實例中，GPU 34可在檢視者正檢視第一組影像時基於檢視者凝視或頭部之位置而顯現第二組影像以供顯示(例如，基於檢視者凝視或頭部位置而選擇定向基準)。 圖8為進一步詳細地說明圖6之處理裝置18之CPU 32、GPU 34及系統記憶體46的方塊圖。如圖8所展示，CPU 32以通信方式耦接至GPU 34及記憶體46，且GPU 34以通信方式耦接至CPU 32及記憶體46。在一些實例中，GPU 34可與CPU 32一起整合至主機板上。在額外實例中，GPU 34可實施於安裝於包括CPU 32之主機板之埠中的圖形卡上。在另外實例中，GPU 34可併入於經組態以與CPU 32相互操作之周邊裝置內。在額外實例中，GPU 34可與CPU 32位於同一處理電路系統上，從而形成系統單晶片(SoC)。 CPU 32經組態以執行應用程式48、圖形API 50、GPU驅動器52及作業系統54。GPU 34包括控制器56、著色器核心58及一或多個固定功能單元60。 檢視應用程式48可包括致使顯示圖形內容之一或多個指令或致使對GPU 34執行非圖形任務(例如，一般用途計算任務)之一或多個指令中的至少一些。作為一實例，檢視應用程式48可致使GPU 34致使CPU 32顯現360度視訊或影像以供顯示。檢視應用程式48可將指令發出至圖形API 50。圖形API 50可為將自軟體應用程式48接收之指令轉譯成可由GPU驅動器52取用之格式的執行階段服務。在一些實例中，圖形API 50及GPU驅動器52可為同一軟體服務之部分。 GPU驅動器52經由圖形API 50而自檢視應用程式48接收指令，且控制GPU 34之操作以服務指令。舉例而言，GPU驅動器52可制訂一或多個命令串流，將命令串流置放至記憶體46中，且指示GPU 34執行命令串流。GPU驅動器52可將命令串流置放至記憶體46中且經由作業系統54 (例如，經由一或多個系統呼叫)而與GPU 34通信。 GPU 34之控制器56經組態以擷取儲存於命令串流中之命令，且分派命令以供在著色器核心58及一或多個固定功能單元60上執行。控制器56可分派來自命令串流之命令以供在一或多個固定功能單元60或者著色器核心58及一或多個固定功能單元60之子集上執行。控制器56可為GPU 34之硬體固定功能電路系統，可為用於執行軟體或韌體的GPU 34之可程式化電路系統，或此兩者之組合。 著色器核心58包括可程式化電路系統(例如，供執行軟體之處理核心)。一或多個固定功能單元60包括經組態成以最小功能靈活性執行有限操作之固定功能電路系統。著色器核心58及一或多個固定功能單元60一起形成經組態以執行圖形處理之圖形管線。 著色器核心58可經組態以執行自CPU 32下載至GPU 34上之一或多個著色器程式。在一些實例中，著色器程式可為以高級著色語言(例如，OpenGL著色語言(GLSL)、高級著色語言(HLSL)、C for Graphics (Cg)著色語言等等)而撰寫之程式之經編譯版本。在一些實例中，著色器核心58可包括經組態以並行地操作之複數個處理單元(例如，SIMD管線)。著色器核心58可具有儲存著色器程式指令之程式記憶體，及指示程式記憶體中之當前指令正被執行或下一指令將被提取的執行狀態暫存器(例如，程式計數器暫存器)。在著色器核心58上執行之著色器程式之實例包括例如頂點著色器、像素著色器(亦被稱作片段著色器)、幾何形狀著色器、輪廓著色器、網域著色器、計算著色器，及/或統一著色器。 固定功能單元60可包括經硬連線以執行某些功能之硬體。儘管固定功能硬體可經由一或多個控制信號而可組態例如以執行不同功能，但固定功能硬體通常不包括能夠接收使用者編譯之程式的程式記憶體。在一些實例中，一或多個固定功能單元60可包括例如執行點陣操作(例如，深度測試、剪刀測試、α調合等等)之處理單元。 CPU 32之GPU驅動器52可經組態以將命令串流寫入至記憶體46，且GPU 34之控制器56可經組態以自記憶體46讀取命令串流之一或多個命令。在一些實例中，命令串流中之一者或兩者可作為環形緩衝器而儲存於記憶體46中。環形緩衝器可為具有圓形定址方案之緩衝器，其中CPU 32及GPU 34維持與資料至環形緩衝器之寫入及資料自環形緩衝器之讀取相關聯的同步狀態變數。舉例而言，若第一命令串流為環形緩衝器，則CPU 32及GPU 34中之每一者可將指示待寫入至的下一位址之寫入指標儲存於環形緩衝器中，且將指示待供讀取的下一位址之讀取指標儲存於環形緩衝器中。 在CPU 32將新命令寫入至環形緩衝器時，CPU 32可更新CPU 32中之寫入指標且指示GPU 34更新GPU 34中之寫入指標。相似地，在GPU 34自環形緩衝器讀取新命令時，GPU 34可更新GPU 34中之讀取指標且指示CPU 32更新CPU 32中之讀取指標。其他同步機制係可能的。在讀取及/或寫入指標到達經分配用於環形緩衝器之位址範圍內的最高位址時，讀取及/或寫入指標可環繞至最低位址以實施圓形定址方案。 現在關於圖8來描述實例GPU驅動器52及實例GPU控制器56之實例操作。GPU驅動器52自檢視應用程式48接收指定待由GPU 34執行之圖形操作及/或一般用途計算操作的一或多個指令。GPU驅動器52將輸出命令串流置放至可由GPU控制器56存取之記憶體46中。GPU驅動器52向GPU控制器56通知對應於檢視應用程式48之命令串流可用於處理。舉例而言，GPU驅動器52可將指示命令串流就緒以供執行之一或多個值寫入至GPU暫存器(例如，由GPU 34輪詢之GPU硬體暫存器及/或由GPU 34輪詢之GPU記憶體映射暫存器)。 在通知命令串流就緒以供執行後，GPU 34之控制器56可判定資源當前是否可用於GPU 34上以開始執行命令串流。若資源係可用的，則控制器56開始分派命令串流中之命令。 作為圖形處理之部分，CPU 32可將某些圖形處理任務分擔至GPU 34。舉例而言，應用程式48可產生球體網格模型之基元之頂點座標，且將彼等座標作為球體網格模型座標64而儲存於記憶體46中。另外，應用程式48可儲存處理裝置18自伺服器16接收之多組影像。舉例而言，應用程式48可儲存多組影像62A至62N，用於影像內容14之每一組影像係自各別攝影機裝置12而產生。在一些實例中，應用程式48不需要同時儲存多組影像62A至62N之全部；但此儲存係可能的。應用程式48可儲存GPU 34將顯現以供顯示的影像內容14之多組影像。 GPU驅動器52可指示控制器56擷取多組影像62A至62N中之一者進行顯現以供顯示。在GPU 34將產生投影影像或調整投影影像之定向的實例中，GPU驅動器52可指示控制器56擷取多組影像62A至62N中之一者以用於產生投影影像及/或將投影影像之定向調整至共同定向基準。 在需要時，GPU驅動器52可指示控制器56致使為固定功能單元60之實例的紋理映射硬體執行紋理映射以基於上文所描述之操作而自圓形影像產生投影影像。又，在需要時，GPU驅動器52可指示控制器56致使著色器核心58執行經開發用於將投影影像調整至共同定向基準之頂點著色器及/或像素著色器。 舉例而言，檢視應用程式48可將投影影像劃分成複數個基元。在著色器核心58上執行之頂點著色器可調整基元之頂點座標以將投影影像之定向調整至共同定向基準。舉例而言，頂點著色器可接收由檢視應用程式48定義之乘法矩陣，投影影像之每一頂點將乘以乘法矩陣之值以產生將投影影像對準至共同定向基準之新頂點。在投影影像已經適當地定向至共同定向基準之實例中，可能不需要由頂點著色器進行此操作。 GPU驅動器52可指示控制器56將命令分派至固定功能單元60之紋理映射硬體以執行紋理映射以將投影影像映射至球體網格模型。為了執行紋理映射，GPU驅動器52可向GPU 34指示投影影像之哪些座標對應於哪些球體網格模型座標64。用以指示此對應性之一個實例方式係經由將在著色器核心58之電路系統上執行的頂點著色器。頂點著色器之功能係對球體網格模型之頂點執行處理。為了執行此處理，應用程式48經由圖形API 50及GPU驅動器52而指示控制器56自記憶體46擷取多批頂點座標(例如，被儲存為球體網格模型座標64之球體網格模型之基元的頂點座標)。另外，應用程式48經由圖形API 50及GPU驅動器52而可指示控制器56擷取投影影像(例如，多組影像62A至62N中之一者)之座標。 控制器56可將球體網格模型之基元之頂點座標的x、y、z座標及對應基元之投影影像之座標的s、t座標作為輸入而提供至頂點著色器以供處理。另外，應用程式48經由圖形API 50及GPU驅動器52而指示為固定功能單元60之實例的紋理硬體電路擷取投影影像之基元且將該基元儲存於本機記憶體36中(圖7中說明本機記憶體36)。 應用程式48經由圖形API 50及GPU驅動器52而可將命令發出至紋理硬體電路，該等命令指示紋理硬體電路將投影影像之基元覆疊至球體網格模型基元上。紋理硬體電路可將投影影像之基元拉伸或以其他方式調整大小，如由應用程式48所指示，使得投影影像之基元擬合於球體網格模型之基元內(例如，經由內插、濾波及其他數學運算以按比例調整紋理基元)。紋理硬體電路可基於投影影像之基元的頂點屬性而向球體網格模型之頂點指派頂點屬性(例如，色彩及不透明度值)。 GPU 34之固定功能單元60可點陣化來自頂點著色器之輸出，且將經點陣化基元輸出至像素著色器。應用程式48經由圖形API 50及GPU驅動器52而可致使GPU 34之控制器56對著色器核心58之電路系統執行像素著色器(亦被稱為片段著色器)。像素著色器可向經點陣化基元中之對應像素指派來自投影影像之基元的像素值以顯現360度影像內容以供顯示。CPU 32及GPU 34可針對球體網格模型之基元及投影影像之基元的全部重複此等步驟。 來自顯現投影影像以供顯示的結果為由GPU 34儲存於記憶體46中之影像串流66。顯示處理器42擷取影像串流66且處理影像串流以供顯示器44取用。在檢視者與使用者介面38互動以在360度影像內容中移動時，CPU 32可致使GPU 34停止一組影像62A至62N之顯現且開始另一組影像62A至62N之顯現。CPU 32及GPU 34可對新組影像62A至62N重複以上實例操作。GPU 34接著可將來自新組影像62A至62N之所得的360度影像內容添加至影像串流66上以用於自影像內容14中之一者至影像內容14中之另一者的無縫轉變。 圖9為說明根據本發明中所描述之一或多種實例技術之實例操作方法的流程圖。GPU 34自位於第一位置中之攝影機裝置12中之第一者接收第一組影像(68)。第一組影像可為已經定向至共同定向基準之第一組投影影像，可為尚未定向至共同定向基準之第一組投影影像，或可為由透鏡20A及透鏡20B捕捉之第一組圓形影像。若投影影像尚未定向至共同定向基準，則GPU 34可將影像定向至共同定向基準。對於圓形影像，GPU 34可紋理映射圓形影像以產生投影影像，且接著將投影影像定向至共同定向基準。 GPU 34可顯現定向至定向基準之第一影像以供顯示(70)。舉例而言，GPU 34可將投影影像紋理映射至球體網格模型，且將球體網格模型顯現至影像內容球體以供顯示。GPU 34可將影像內容球體之影像內容儲存為影像串流66。 在CPU 32判定GPU 34將顯現由第二不同攝影機裝置12捕捉之顯示影像內容(例如，切換至顯現不同影像內容以供顯示)時，GPU 34自第二不同位置中之第二不同攝影機裝置12接收第二組影像(72)。如同第一組影像，GPU 34可產生投影影像且將投影影像定向至為與經顯現之第一組影像相同的定向基準的共同定向基準。 GPU 34可顯現定向至與經顯現之第一組影像相同的定向基準的第二組影像以供顯示(74)。舉例而言，GPU 34可將第二組影像之投影影像紋理映射至球體網格模型，且將球體網格模型顯現至影像內容球體以供顯示。GPU 34可將影像內容球體之影像內容儲存為影像串流66。 在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或在電腦可讀媒體上傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體。以此方式，電腦可讀媒體通常可對應於非暫時性的有形電腦可讀儲存媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存裝置、磁碟儲存裝置或其他磁性儲存裝置、快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。應理解，電腦可讀儲存媒體及資料儲存媒體並不包括載波、信號或其他暫時性媒體，而是有關於非暫時性的有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟運用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 指令可由諸如以下各者之一或多個處理器執行：一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效整合式或離散邏輯電路系統。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入組合式編解碼器中。又，該等技術可完全地實施於一或多個電路或邏輯元件中。 本發明之技術可實施於各種各樣的裝置或設備中，該等裝置或設備包括無線手機、積體電路(IC)或一組IC (例如，晶片組)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置之功能態樣，但未必要求由不同硬體單元來實現。更確切地，如上文所描述，各種單元可組合於編解碼器硬體單元中，或藉由相互操作性硬體單元之集合結合合適軟體及/或韌體而提供，該等硬體單元包括如上文所描述之一或多個處理器。 已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧多攝影機影像捕捉系統
12A‧‧‧攝影機裝置
12B‧‧‧攝影機裝置
12C‧‧‧攝影機裝置
12D‧‧‧攝影機裝置
12E‧‧‧攝影機裝置
12F‧‧‧攝影機裝置
12N‧‧‧攝影機裝置
14A‧‧‧影像內容
14B‧‧‧影像內容
14C‧‧‧影像內容
14D‧‧‧影像內容
14E‧‧‧影像內容
14F‧‧‧影像內容
14N‧‧‧影像內容
16‧‧‧伺服器
18‧‧‧處理裝置
20A‧‧‧魚眼式透鏡
20B‧‧‧魚眼式透鏡
22‧‧‧攝影機處理器
24‧‧‧圖形處理單元(GPU)
26‧‧‧感測器
28‧‧‧傳輸器
30‧‧‧收發器
31‧‧‧位置追蹤器
32‧‧‧中央處理單元(CPU)
34‧‧‧圖形處理單元(GPU)
36‧‧‧本機記憶體
38‧‧‧使用者介面
40‧‧‧記憶體控制器
42‧‧‧顯示處理器
44‧‧‧顯示器
46‧‧‧系統記憶體
47‧‧‧匯流排
48‧‧‧應用程式
50‧‧‧圖形應用程式設計介面(API)
52‧‧‧圖形處理單元(GPU)驅動器
54‧‧‧作業系統
56‧‧‧控制器
58‧‧‧著色器核心
60‧‧‧固定功能單元
62A‧‧‧影像
62N‧‧‧影像
64‧‧‧球體網格模型座標
66‧‧‧影像串流
68‧‧‧步驟
70‧‧‧步驟
72‧‧‧步驟
74‧‧‧步驟
圖1為說明根據本發明中所描述之一或多種實例技術之多攝影機影像捕捉系統的方塊圖。 圖2A及圖2B為說明圖1之多攝影機影像捕捉系統的概念圖。 圖3為說明根據本發明中所描述之一或多種實例技術之用於捕捉360度視訊或影像之實例攝影機裝置的方塊圖。 圖4A及圖4B為說明自圖3之裝置捕捉之影像的圖像圖解。 圖5A為說明在未定向至定向基準之情況下產生之影像的圖像圖解。 圖5B為說明在定向至定向基準之情況下產生之影像的圖像圖解。 圖6A及圖6B為說明自圖1之裝置捕捉之影像的圖像圖解。 圖6C為說明自圖6A及圖6B之影像產生之影像的圖像圖解，該影像係在定向至定向基準之情況下定向。 圖7為經組態以執行本發明中所描述之實例技術中之一或多者之裝置的方塊圖。 圖8為進一步詳細地說明圖7之裝置之CPU、GPU及記憶體的方塊圖。 圖9為說明根據本發明中所描述之一或多種實例技術之實例操作方法的流程圖。

Claims (28)

  1. 一種用於產生影像內容之方法，該方法包含： 接收自一第一位置中之一第一攝影機裝置產生之一第一組影像，該第一攝影機裝置具有一第一定向； 顯現定向至一定向基準之該第一組影像以供顯示； 接收自一第二不同位置中之一第二不同攝影機裝置產生之一第二不同組影像，該第二攝影機裝置具有一第二定向，該第二定向不同於該第一定向；及 顯現定向至該定向基準之該第二組影像以供顯示。
  2. 如請求項1之方法，其進一步包含： 在顯現該第一組影像以供顯示時判定一檢視者之一凝視或頭部位置， 其中該定向基準係基於該檢視者之該經判定凝視或頭部位置而選擇。
  3. 如請求項1之方法，其中該定向基準包含一地理方向。
  4. 如請求項1之方法，其中顯現該第一組影像以供顯示包含：顯現該第一組影像以供顯示，使得位於相對於該第一攝影機裝置之一第一地理方向上的影像內容位於該第一組影像之經顯現影像內的一第一座標處；其中顯現該第二組影像以供顯示包含：顯現該第二組影像以供顯示，使得位於相對於該第二攝影機裝置之一第二地理方向上的影像內容位於該第二組影像之經顯現影像內的一第二座標處；且其中該第一地理方向及該第二地理方向為相同地理方向，且該第一座標及該第二座標為相同座標。
  5. 如請求項1之方法，其中顯現該第二組影像以供顯示包含自該經顯現之第一組影像之顯示切換至顯現該第二組影像以供顯示。
  6. 如請求項1之方法，其進一步包含： 接收指示相對於該第一組影像之該定向基準的資訊； 接收指示相對於該第二組影像之該定向基準的資訊； 基於指示相對於該第一組影像之該定向基準的該資訊而調整該第一組影像之一定向；及 基於指示相對於該第二組影像之該定向基準的該資訊而調整該第二組影像之一定向， 其中顯現該第一組影像以供顯示包含顯現具有該經調整定向之該第一組影像以供顯示，且 其中顯現該第二組影像以供顯示包含顯現具有該經調整定向之該第二組影像以供顯示。
  7. 如請求項1之方法，其中接收該第一組影像包含接收定向至該定向基準之該第一組影像，且其中接收該第二組影像包含接收定向至該定向基準之該第二組影像。
  8. 如請求項1之方法，其中該定向基準包含一第一定向基準，其中顯現該第一組影像以供顯示包含顯現定向至該第一定向基準及一第二定向基準之該第一組影像以供顯示，且其中顯現該第二組影像以供顯示包含顯現定向至該第一定向及該第二定向基準之該第二組影像以供顯示。
  9. 如請求項8之方法，其中顯現該第一組影像以供顯示包含顯現定向至該第一定向基準、該第二定向基準及一第三定向基準之該第一組影像以供顯示，且其中顯現該第二組影像以供顯示包含顯現定向至該第一定向基準、該第二定向基準及該第三定向基準之該第二組影像以供顯示。
  10. 如請求項1之方法，其中該第一攝影機裝置包含複數個透鏡，且該第二攝影機裝置包含複數個透鏡，其中接收該第一組影像包含接收自由該第一攝影機裝置之該複數個透鏡中之至少兩個透鏡捕捉之影像內容產生的該第一組影像，且其中接收該第二組影像包含接收自由該第二攝影機裝置之該複數個透鏡中之至少兩個透鏡捕捉之影像內容產生的該第二組影像。
  11. 如請求項1之方法，其中接收該第一組影像包含接收由該第一攝影機裝置之魚眼式透鏡捕捉之複數個等矩形影像，且其中接收該第二組影像包含接收由該第二攝影機裝置之魚眼式透鏡捕捉之複數個等矩形影像。
  12. 如請求項1之方法，其中該第一組影像及該第二組影像係同時產生。
  13. 如請求項1之方法，其中顯現該第二組影像以供顯示包含顯現為該第一組影像及該第二組影像兩者所共有之場景內容，使得在與該經顯現之第一組影像中之該共同場景內容之一位置相同的一位置中在該經顯現之第二組影像中顯示該共同場景內容。
  14. 一種用於產生影像內容之裝置，該裝置包含： 一記憶體裝置，其經組態以進行以下操作： 儲存自一第一位置中之一第一攝影機裝置產生之一第一組影像，該第一攝影機裝置具有一第一定向；及 儲存自一第二不同位置中之一第二不同攝影機裝置產生之一第二不同組影像，該第二攝影機裝置具有一第二定向，該第二定向不同於該第一定向；及 一圖形處理單元(GPU)，其包含固定功能或可程式化電路系統中之至少一者，該GPU經組態以進行以下操作： 自該記憶體裝置接收該第一組影像； 顯現定向至一定向基準之該第一組影像以供顯示； 自該記憶體裝置接收該第二組影像；及 顯現定向至該定向基準之該第二組影像以供顯示。
  15. 如請求項14之裝置，其進一步包含： 一追蹤器電路，其經組態以在顯現該第一組影像以供顯示時判定一檢視者之一凝視或頭部位置， 其中該定向基準係基於該檢視者之該經判定凝視或頭部位置而選擇。
  16. 如請求項14之裝置，其中為了顯現該第一組影像以供顯示，該GPU經組態以進行以下操作：顯現該第一組影像以供顯示，使得位於相對於該第一攝影機裝置之一第一地理方向上的影像內容位於該第一組影像之經顯現影像內的一第一座標處；其中為了顯現該第二組影像以供顯示，該GPU經組態以進行以下操作：顯現該第二組影像以供顯示，使得位於相對於該第二攝影機裝置之一第二地理方向上的影像內容位於該第二組影像之經顯現影像內的一第二座標處；且其中該第一地理方向及該第二地理方向為相同地理方向，且該第一座標及該第二座標為相同座標。
  17. 如請求項14之裝置，其中為了顯現該第二組影像以供顯示，該GPU經組態以自顯現該第一組影像以供顯示切換至顯現該第二組影像以供顯示。
  18. 如請求項14之裝置，其中該GPU經組態以進行以下操作： 接收指示相對於該第一組影像之該定向基準的資訊； 接收指示相對於該第二組影像之該定向基準的資訊； 基於指示相對於該第一組影像之該定向基準的該資訊而調整該第一組影像之一定向；及 基於指示相對於該第二組影像之該定向基準的該資訊而調整該第二組影像之一定向， 其中為了顯現該第一組影像以供顯示，該GPU經組態以顯現具有該經調整定向之該第一組影像以供顯示，且 其中為了顯現該第二組影像以供顯示，該GPU經組態以顯現具有該經調整定向之該第二組影像以供顯示。
  19. 如請求項14之裝置，其中該GPU經組態以接收定向至該定向基準之該第一組影像，及接收定向至該定向基準之該第二組影像。
  20. 如請求項14之裝置，其中該定向基準包含一第一定向基準，其中為了顯現該第一組影像以供顯示，該GPU經組態以顯現定向至該第一定向基準及一第二定向基準之該第一組影像以供顯示，且其中為了顯現該第二組影像以供顯示，該GPU經組態以顯現定向至該第一定向及該第二定向基準之該第二組影像以供顯示。
  21. 如請求項20之裝置，其中為了顯現該第一組影像以供顯示，該GPU經組態以顯現定向至該第一定向基準、該第二定向基準及一第三定向基準之該第一組影像以供顯示，且其中為了顯現該第二組影像以供顯示，該GPU經組態以顯現定向至該第一定向基準、該第二定向基準及該第三定向基準之該第二組影像以供顯示。
  22. 如請求項14之裝置，其中該第一攝影機裝置包含複數個透鏡，且該第二攝影機裝置包含複數個透鏡，其中為了接收該第一組影像，該GPU經組態以接收自由該第一攝影機裝置之該複數個透鏡中之至少兩個透鏡捕捉之影像內容產生的該第一組影像，且其中為了接收該第二組影像，該GPU經組態以接收自由該第二攝影機裝置之該複數個透鏡中之至少兩個透鏡捕捉之影像內容產生的該第二組影像。
  23. 如請求項14之裝置，其中為了接收該第一組影像，該GPU經組態以接收由該第一攝影機裝置之魚眼式透鏡捕捉之複數個等矩形影像，且其中為了接收該第二組影像，該GPU經組態以接收由該第二攝影機裝置之魚眼式透鏡捕捉之複數個等矩形影像。
  24. 如請求項14之裝置，其中該第一組影像及該第二組影像係同時產生。
  25. 如請求項14之裝置，其中為了顯現該第二組影像以供顯示，該GPU經組態以顯現為該第一組影像及該第二組影像兩者所共有之場景內容，使得在與該經顯現之第一組影像中之該共同場景內容之一位置相同的一位置中在該經顯現之第二組影像中顯示該共同場景內容。
  26. 如請求項14之裝置，其中該裝置包含一微處理器、積體電路、一無線通信裝置或一手持型裝置中之一者。
  27. 一種電腦可讀儲存媒體，其上儲存有指令，該等指令在執行時致使一或多個處理器進行以下操作： 接收自一第一位置中之一第一攝影機裝置產生之一第一組影像，該第一攝影機裝置具有一第一定向； 顯現定向至一定向基準之該第一組影像以供顯示； 接收自一第二不同位置中之一第二不同攝影機裝置產生之一第二不同組影像，該第二攝影機裝置具有一第二定向，該第二定向不同於該第一定向；及 顯現定向至該定向基準之該第二組影像以供顯示。
  28. 一種用於產生影像內容之裝置，該裝置包含： 用於接收自一第一位置中之一第一攝影機裝置產生之一第一組影像的構件，該第一攝影機裝置具有一第一定向； 用於顯現定向至一定向基準之該第一組影像以供顯示的構件； 用於接收自一第二不同位置中之一第二不同攝影機裝置產生之一第二不同組影像的構件，該第二攝影機裝置具有一第二定向，該第二定向不同於該第一定向；及 用於顯現定向至該定向基準之該第二組影像以供顯示的構件。
TW106135253A 2016-11-21 2017-10-16 用於球體影像內容之定向影像拼接 TW201820862A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/357,486 2016-11-21
US15/357,486 US10325391B2 (en) 2016-11-21 2016-11-21 Oriented image stitching for spherical image content

Publications (1)

Publication Number Publication Date
TW201820862A true TW201820862A (zh) 2018-06-01

Family

ID=60245191

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106135253A TW201820862A (zh) 2016-11-21 2017-10-16 用於球體影像內容之定向影像拼接

Country Status (10)

Country Link
US (1) US10325391B2 (zh)
EP (1) EP3542345A1 (zh)
JP (1) JP2020502893A (zh)
KR (1) KR20190084987A (zh)
CN (1) CN109997167B (zh)
AU (1) AU2017360364A1 (zh)
BR (1) BR112019010099A2 (zh)
CA (1) CA3040874A1 (zh)
TW (1) TW201820862A (zh)
WO (1) WO2018093483A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US10687119B2 (en) * 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
US10725536B2 (en) * 2018-08-21 2020-07-28 Disney Enterprises, Inc. Virtual indicium display system for gaze direction in an image capture environment
US11323754B2 (en) * 2018-11-20 2022-05-03 At&T Intellectual Property I, L.P. Methods, devices, and systems for updating streaming panoramic video content due to a change in user viewpoint
US10917565B1 (en) * 2019-03-08 2021-02-09 Gopro, Inc. Image capture device with a spherical capture mode and a non-spherical capture mode
US10845943B1 (en) 2020-02-14 2020-11-24 Carmax Business Services, Llc Systems and methods for generating a 360-degree viewing experience
US10999527B1 (en) 2020-02-14 2021-05-04 Gopro, Inc. Generation of enhanced panoramic visual content
US11429112B2 (en) * 2020-12-31 2022-08-30 Ubtech North America Research And Development Center Corp Mobile robot control method, computer-implemented storage medium and mobile robot
US11671551B2 (en) * 2021-05-24 2023-06-06 Sony Group Corporation Synchronization of multi-device image data using multimodal sensor data

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11513483A (ja) 1995-09-21 1999-11-16 オムニプラナー，インコーポレーテッド 位置及び方位を決定する方法及び装置
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
JP3965560B2 (ja) 2002-03-26 2007-08-29 ソニー株式会社 画像処理装置および方法、撮像装置および方法、並びにプログラム
US20120092348A1 (en) 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
KR101732076B1 (ko) * 2010-12-22 2017-05-02 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9418475B2 (en) * 2012-04-25 2016-08-16 University Of Southern California 3D body modeling from one or more depth cameras in the presence of articulated motion
JP5828039B2 (ja) 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
KR102089432B1 (ko) 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20150036016A1 (en) * 2013-07-30 2015-02-05 Qualcomm Incorporated Methods and apparatus for determining the orientation of a mobile phone in an indoor environment
GB2525232A (en) 2014-04-17 2015-10-21 Nokia Technologies Oy A device orientation correction method for panorama images
US20150312468A1 (en) 2014-04-23 2015-10-29 Narvaro Inc. Multi-camera system controlled by head rotation
US9934122B2 (en) * 2014-07-09 2018-04-03 Microsoft Technology Licensing, Llc Extracting rich performance analysis from simple time measurements
US20160119551A1 (en) * 2014-10-22 2016-04-28 Sentry360 Optimized 360 Degree De-Warping with Virtual Cameras
US10091418B2 (en) 2014-10-24 2018-10-02 Bounce Imaging, Inc. Imaging systems and methods
US10038889B2 (en) * 2015-03-01 2018-07-31 Nextvr Inc. Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
TWM523004U (zh) * 2015-07-16 2016-06-01 鋐寶科技股份有限公司 風扇承載裝置
US9445081B1 (en) * 2015-09-25 2016-09-13 Intel Corporation Method and system of 3D image capture with dynamic cameras
US9573062B1 (en) * 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US20170200315A1 (en) * 2016-01-07 2017-07-13 Brendan Lockhart Live stereoscopic panoramic virtual reality streaming system
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US20180000542A1 (en) * 2016-07-02 2018-01-04 St. Jude Medical, Cardiology Division, Inc. Flexible electrode
GB2556910A (en) * 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
US10212406B2 (en) * 2016-12-15 2019-02-19 Nvidia Corporation Image generation of a three-dimensional scene using multiple focal lengths

Also Published As

Publication number Publication date
EP3542345A1 (en) 2019-09-25
CA3040874A1 (en) 2018-05-24
KR20190084987A (ko) 2019-07-17
WO2018093483A1 (en) 2018-05-24
CN109997167A (zh) 2019-07-09
CN109997167B (zh) 2023-08-22
BR112019010099A2 (pt) 2019-10-01
US20180144520A1 (en) 2018-05-24
AU2017360364A1 (en) 2019-05-02
US10325391B2 (en) 2019-06-18
JP2020502893A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
CN109997167B (zh) 用于球面图像内容的定向图像拼接
US10102610B2 (en) Dual fisheye images stitching for spherical video
US10621767B2 (en) Fisheye image stitching for movable cameras
US10217189B2 (en) General spherical capture methods
US10275928B2 (en) Dual fisheye image stitching for spherical image content
US10397481B2 (en) Stabilization and rolling shutter correction for omnidirectional image content
TWI637355B (zh) 紋理貼圖之壓縮方法及其相關圖像資料處理系統與產生３６０度全景視頻之方法
CN105137705B (zh) 一种虚拟球幕的创建方法和装置
US11317072B2 (en) Display apparatus and server, and control methods thereof
WO2019076348A1 (zh) 一种虚拟现实vr界面生成的方法和装置
US10699470B2 (en) Methods and systems for representing a scene using orthographic and perspective projections
Santos et al. Supporting outdoor mixed reality applications for architecture and cultural heritage
EP3322186A1 (en) Method and device for transmitting data representative of an image
Liao et al. Gpu parallel computing of spherical panorama video stitching
CN111970504A (zh) 利用虚拟投影反向模拟三维球体的展示方法、装置和系统
US20220321778A1 (en) Camera positioning to minimize artifacts
JP2022036773A (ja) 画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラム
JP2024131370A (ja) 情報処理装置、情報処理システム、方法およびプログラム