TW201734569A

TW201734569A - 移動主體上的影像捕獲裝置

Info

Publication number: TW201734569A
Application number: TW106100199A
Authority: TW
Inventors: 理查奧利爾; 阿諾德霍基尼都非耶
Original assignee: 新創股份有限公司
Priority date: 2016-01-05
Filing date: 2017-01-04
Publication date: 2017-10-01
Also published as: EP3190460A1; WO2017118668A1

Abstract

一種用於承載兩個光學裝置的一主體，主體具有大致平坦的形狀並具有一第一側和與第一側相對的一第二側，兩個光學裝置，即一第一光學裝置和一第二光學裝置，每個光學裝置具有至少一半球的視野並包含一頭部透鏡和一感測器，第一光學裝置安裝在主體上，第一光學裝置的頭部透鏡在主體的第一側上，觀看主體的第一側上的至少一半球，第二光學裝置安裝在主體上，第二光學主體的頭部透鏡在主體的第二側上，觀看主體的第二側上的至少一半球，相應的兩個光學裝置的頭部透鏡之間的距離不小於各個光學裝置的180度視野看不到主體的一最小距離。

Description

移動主體上的影像捕獲裝置

本發明係關於一種位於移動主體上的影像捕獲裝置，用於捕獲球形或三維（3D）觀看的影像或視訊。

當前，利用位於例如無人機的移動主體上的相機來捕獲影像和視訊已經變得流行。

圖1a表示這種捕獲的一示例性場景。具體地，一用戶利用一遙控裝置115控制攜帶照相機120的一無人機110。具有無人機110和照相機120的可移動系統100捕獲一場景101。用戶佩戴一頭戴式耳機180，以無線接收自照相機120捕獲的影像或視訊。

圖1b提供了可攜帶一照相機的市售無人機的一些實例。舉例而言，無人機100a具有一整合的照相機，而無人機100b則是可安裝的照相機。表示出了具有不同形狀的其他無人機100c、100d、以及100e，這些無人機可攜帶可安裝的照相機或嵌入的照相機。

在影像捕獲的領域中，透過利用圍繞一圓形或球形或其他擴展結構分佈的兩個或更多個透鏡獲得的若干影像的並置和數位拼接，可獲得一360度視野或球面視野。然而，如果一球形照相機由無人機攜帶，則不僅捕獲場景101而且捕獲了無人機的一部分。這種情況在圖2a和2b中表示出。

特別地，圖2a表示一移動組件200，包括具有四個螺旋槳211、212、213、以及214的一無人機210和由無人機210攜帶的一照相機220。照相機220能夠進行由圖中球體201所示的球形捕獲。

圖2b表示由移動組件200的照相機220捕獲的一視圖250。具體地，由於照相機220安裝在無人機210的底部，因此捕獲的視圖250還表示出無人機255的捕獲部分和無人機的四個螺旋槳251、252、253以及254。為了攜帶一照相機，無人機的螺旋槳通常相當寬，使得捕獲的視圖的相當一部分由無人機本體和螺旋槳阻擋。當捕獲其他類型的三維（3D）重建，例如立體重建的影像時，可能發生類似的問題。

因此，捕獲的球形影像或視訊的一部分與無人機的影像一起被浪費。無人機存在於捕獲的所有球形影像上。此外，無人機上方的環境無法捕獲，因此，捕獲的影像不能夠有效地提供整個周圍環境的一球形影像。

本發明的目的在於透過提出一種用於捕獲周圍環境的球形影像而不捕獲其自身（即組件的部分）的可移動組件，以克服上述缺點。

這一目透過獨立請求項的特徵來實現。

其他有利的實施例為從屬請求項的主題。

本發明的一個特定方法在於提供一種具有大致平坦主體的組件，球形照相機安裝或可安裝在大致平坦的主體上，使得位於平坦主體一側上的光學裝置觀看平坦主體的這一側上的至少一半球，並且位於平坦主體的另一側的另一光學裝置觀看平坦主體的這另一側上的至少一半球。

根據本發明的一方面，提供了一種捕獲用於球面或三維重建的影像的組件，組件包含：用於承載兩個光學裝置的一自推進的主體，主體具有大致平坦的一形狀，並且具有一第一側和與第一側相對的一第二側；兩個光學裝置，即一第一光學裝置和一第二光學裝置，這兩個光學裝置分別具有至少一半球的視野，並且包含一頭部透鏡和一感測器；其中第一光學裝置安裝在主體上，其中第一光學裝置的頭部透鏡在主體的第一側上，觀看主體的第一側上的至少一半球，並且第二光學裝置安裝在主體上，第二光學主體的頭部透鏡在主體的第二側上，觀看主體的第二側上的至少一半球；以及相應的這兩個光學裝置的頭部透鏡之間的距離不小於各個光學裝置的180度視野看不到主體的一最小距離。

特別地，相應的兩個光學裝置的頭部透鏡之間的距離相比較於主體的第一側和第二側的最大尺寸小複數倍。

有利地，組件還包含：一影像處理裝置，用於處理所捕獲的影像；一控制器，用於控制從兩個光學裝置的感測器並行讀出所捕獲的影像，並且按照一預定週期將所捕獲的影像提供給影像處理裝置，以獲得相應的兩個視訊影像序列；以及一通訊介面，用於將處理後的捕獲影像發送到一外部裝置。

舉例而言，影像處理裝置可配置為在小於捕獲一視訊序列的兩個連續影像之間的時間段，或此時間段倍數的時間內，將視訊序列的影像拼接成一球形影像，通訊介面配置為將視訊序列的拼接影像發送到外部裝置。

可替換或另外地，影像處理裝置可配置為在小於捕獲一視訊序列的兩個連續影像之間的時間的時間內，將影像合併為一個合併影像，以及通訊介面將視訊序列的拼接影像發送到外部裝置以進行包含拼接的進一步處理。

舉例而言，這兩個光學裝置中的每一個是具有至少一半球視野的一單個光學組；這兩個光學裝置的頭部透鏡的光軸是平行或相同的。

有利地，自推進的主體係為具有一無人機主體和複數個螺旋槳的一遙控的無人機。光學裝置可安裝在無人機主體上並可拆卸；以及無人機主體包含用於控制光學裝置的視訊影像捕獲、影像處理以及電源的電子裝置。

另一方面，光學裝置係為在無人機主體上可安裝和可拆卸的照相機，每一照相機包含用於控制視訊影像捕獲、影像處理的電子裝置，以及包含用於將捕獲的影像傳輸到一外部裝置的通訊介面。

影像處理裝置還配置為對所捕獲的視訊影像應用伽馬校正、白平衡或壓縮中的至少一個。

這種組件有利地更包含：一位置捕獲裝置，用於捕獲組件的當前位置，包含GPS坐標和偏航、俯仰、滾轉定向中的至少一個。

根據本發明的一實施例，用於捕獲球面或三維視訊序列的系統包含上述的組件，用於執行視訊影像捕獲並藉由一無線介面將捕獲的視訊影像提供至一電腦，電腦用於從組件接收捕獲的影像，拼接影像並將拼接的影像輸出至一顯示裝置。

此外，系統還包括顯示裝置，顯示裝置藉由無線介面與電腦相連接，並且能夠從電腦接收並顯示拼接的影像。

根據本發明的一方面，提供了一種無人機，包含：一無人機主體和複數個螺旋槳；以及一安裝裝置，用於在其上安裝用於捕獲球形影像的光學裝置，在無人機的一第一側上的一第一光學裝置以及在無人機的與第一側相對的一第二側上的一第二光學裝置，安裝裝置適合於按照以下方式安裝光學裝置，使得相應的兩個光學裝置的頭部透鏡之間的一距離不小於光學裝置的視野在不觀看無人機的情況下交叉的一最小距離。

根據本發明的另一實施例，一種用於捕獲球面重建影像的個人通訊裝置包含：用於承載兩個光學裝置的一主體，主體具有一大致平坦的形狀，具有一第一側和與第一側相對的一第二側；兩個光學裝置，即一第一光學裝置和一第二光學裝置，每個光學裝置具有至少一半球的視野，並且包含一頭部透鏡和一感測器；其中第一光學裝置安裝在主體上，第一光學裝置的頭部透鏡在主體的第一側上觀看主體的第一側上的至少一半球，並且第二光學裝置安裝在主體上，第二光學裝置的頭部透鏡在主體的第二側上觀看主體的第二側上的至少一半球；以及相應的這兩個光學裝置的頭部透鏡之間的距離不小於各個光學裝置的180度視野看不到主體的一最小距離。

根據說明書和附圖，所公開的實施例的另外的益處和優點將變得顯而易見。可透過說明書和附圖的各種實施例和特徵單獨地獲得這些益處與/或優點，不需要全部提供這些實施例和特徵以獲得一個或多個這樣的益處與/或優點。

本發明關於具有一平坦主體的可移動組件，平坦主體上具有一頂側和一底側，一球形影像捕獲裝置安裝或可安裝在平坦主體上，使得位於平坦主體之一側上的光學裝置至少觀看到在平坦主體的這一側上的半球形，以及位於平坦主體另一側上的另一光學裝置在平坦主體的另一側上看到至少一半球形。

光學裝置有利地為一單個光學組，包含一頭部透鏡以及一感測器，光線通過頭部透鏡進入光學組，感測器用以捕獲光線。光學組可在頭部透鏡和感測器之間的光路中包括另外的透鏡。為了覆蓋整個球形，這種光學組包含能夠覆蓋至少一半個球體，即180度的一魚眼透鏡。提供單個光學組的優點是具有相對低的重量的更緊湊結構。這還能夠實現無人機的一更小構造與/或可能還具有無人機更低的功耗。

然而，本發明不限於這種設置。通常，光學裝置可包括多於一個的光學組。提供複數個光學組的優點是它們可具有一更小的視圖。另一方面，由各個光學組拍攝的影像也需要拼接，以便提供一球面影像。這增加了處理的複雜性。

一全球面視圖需要拼接由兩個光學裝置拍攝的影像。為了實現一有效的拼接，形成影像捕獲裝置的各個光學組的頭部透鏡應當盡可能彼此接近。這是因為一重構的球形影像代表如同從中間的單個點所取得的視圖。因此，透過在光學組之間引入間隙可能導致拼接的不精確、盲點或未對準。

圖3示例表示出用於捕獲球形影像的一組件300。組件300包含用於承載兩個光學裝置（s1-h1）和（s2-h2）的一主體350。主體為一大致平坦的形狀，具有一第一側和與第一側相對的一第二側。組件300還包含兩個光學裝置，即一第一光學裝置s1-h1以及一第二光學裝置（s2-h2），這兩個光學裝置中的每一個具有至少一半球的視野，並且包括一頭部透鏡h1、h2以及一感測器s1、s2。為了避免組件300觀看自身，第一光學裝置（s1-h1）安裝在主體350上，在主體350的第一側上的第一光學裝置（s1-h1）的頭部透鏡h1，觀看主體350的第一側上的至少一半球形（由C1-h1-C2上方的空間說明性地表示），並且第二光學裝置（s2-h2）安裝在主體350上，主體350的第二側上的第二光學裝置（s2-h2）的頭部透鏡h2觀看主體的第二側上的至少半球形（由C1-h2-C2上方）。相應的兩個光學裝置的頭部透鏡h1、h2之間的距離不小於光學裝置的180度視野不能夠看到本體的一最小距離。

在圖3中，兩個光學裝置（s1-h1）和（s2-h2）具有平行的光軸a1和a2。它們的視野在點C1和C2交叉。這種設置僅僅是說明性的。

根據一實例，兩個光學裝置（s1-h1）、（s2-h2）中的每一個為具有至少一半球體視野的一單個光學組，並且這兩個光學裝置的頭部透鏡h1、h2的光軸a1和a2是平行或相同的。

這種設置表示於圖4A中。圖4A表示出組件的主體是無人機的一實例。無人機由一無人機主體450形成，並且包含複數個螺旋槳，在圖中表示出了其中兩個螺旋槳p1以及p2。相應兩個光學組的兩個頭部透鏡h1和h2覆蓋球體401。每個光學組具有至少180°的一視野。視野在點C1和C2交叉，並且不穿過組件的主體，因此，如下所述，可以在這些點之後執行拼接。拼接點C1和C2處在距離光學組的距離D中。通常，如果光學組不設置在無人機的中心，則距離D則對於點C1和C2可不相同。

圖4B示意性地表示圖4A的無人機，無人機包括螺旋槳p1、p2和頭部透鏡h1、h2。

一節點距離H表示兩個頭部透鏡h1和h2之間的節距，其中在每個透鏡上，節點表示180度的視野。理論上，當節點距離為零時，可執行完美的拼接。當H = 0時，所觀看的兩個半球體緊鄰，並且捕獲的球體似乎從空間中的同一點捕獲。因此，不需要視野的任何重疊或交叉，因為拼接等效於如圖4C中示意性所示的那樣將兩個捕獲的半球背對背地調整，半球461、462的邊界460是平行的。

然而，由圖3、圖4A以及圖4B可看出，如果節點距離H大於零，則可在相距360°捕獲系統之中間的一最小距離D處，使用影像的混合執行沒有顯示主體的拼接。可執行混合以便減少由點C1和C2之後的重疊視野引起的視差。

當節點距離H在感測器s1、s2上佔據一個畫素或更小的表面時，完美的拼接是可能的。用語「完美」拼接在這裡係指180°視野的拼接，這裡，如同在節點距離H為零的情況下，僅需要將180°視野合併在一起。在這種情況下，由於感測器分辨率，即其畫素尺寸的限制，這兩個平行線交叉/聯合。換句話而言，落入一個畫素中的平行線不再能夠識別為平行或交叉。然後可基於感測器畫素尺寸和節點距離H來計算其中發生這種情況的一距離P。

最小重疊角度表示由半球的一單個畫素覆蓋的角度的視野。這個角度是畫素尺寸的函數。通常，畫素尺寸表示分辨率，並因此表示採樣率。舉例而言，在圖4B中，線452和451表示出對應於由影像感測器中的一單個畫素可見的視野的角度。

畫素尺寸Px、距離P以及距離H之間的關係可如下計算：

P係為可執行完美拼接的距離，H係為兩個透鏡h1和h2之間的節點距離。α係為以度為單位的一個畫素的視角的視野。α可進一步計算如下：

其中F表示在90°視野處的一度的視野大小，並且Nq可計算如下：。這對應於斜節距。（每毫米的線數可計算為1/（2*斜節距），其中斜節距係為，然後Nq作為線的數量的兩倍的倒數，得到斜節距）。

特別地，F可根據透鏡特性如下計算：

其中b1和b2係為89和91度的角度，c1和c2係為在這些角度下影像感測器上光線的各自對應的高度（以畫素為單位）。

舉例而言，如果畫素尺寸Px = 1.4微米，H = 2釐米（cm），並且F = 18.1185微米，則距離P係為大約10，5米。當拼接來自如圖4A和4B所示的兩個感測器的影像時，通常使用混合。透過獲取來自一個半球的外部區域的資料並將它們與來自另一半球的內部的資料混合來進行混合。混合可能會導致一些偽影。

為了實現良好的拼接，重疊角度不應該包圍螺旋槳或無人機的其他部分。為了構造緊湊的組件，內部節點距離應盡可能小。由圖4A和圖4B可以看出，隨著節點距離的減小，線452將穿過無人機，這意味著無人機將包括在180度照相機的視野中。另一方面，當增大節點距離H時，拼接距離P將增大。

距離P取決於畫素尺寸和透鏡。舉例而言，具體地，P可通常相當大，使得可以在距離D之後使用混合。還應注意的是，影像感測器通常使用一拜耳陣列濾色器，因為不是每種顏色均在每個畫素上採樣，因此拜耳陣列濾色器實際上增加局部畫素尺寸。稍後再內插缺少的顏色值。

根據本發明的一實施例，相應的兩個光學裝置的頭部透鏡之間的距離H小於主體的第一側和第二側的最大尺寸的複數倍。換句話而言，整個組件300也是平坦的。

圖6表示具有攜帶至少兩個光學裝置610的一可移動主體的組件的功能結構。這個組件還包含用於一影像處理單元620以及一控制器630，影像處理單元620處理所捕獲的影像，控制器630控制兩個光學裝置的至少兩個感測器。這種控制包含控制來自兩個光學裝置610的感測器捕獲影像的並行且特別同時讀出，並且以一預定週期將捕獲的影像提供給影像處理裝置，以獲得相應的兩個視訊影像序列。這個組件還有利地包含一通訊介面690，通訊介面690用於將處理後的捕獲影像傳輸到一外部裝置。控制器630所執行的控制包含一時脈（同步），用於讀出感測器並將讀出的影像輸出到一緩衝器或直接輸出到影像處理單元620。

特別地，兩個光學裝置的控制包含控制兩個相應感測器的讀出。舉例而言，控制器630提供用於讀出感測器並且用於將讀出的視訊影像提供給影像處理裝置以進一步處理的定時。這一定時利用本領域技術人員已知的一時脈訊號來提供。有利地，控制器630使得來自兩個感測器的讀出同步，以使兩個感測器同時讀出。然而，可能存在一些未對準，使得一緩衝器可設置在影像捕獲裝置中，以緩衝讀出的影像。以這種方式，可在也由控制器630控制的定時，將用於後面處理階段的兩個捕獲的視訊影像一起提供。

然而，定時的其他實現（由兩個感測器捕獲的影像的同步）也是可能的。舉例而言，不需要同時執行從感測器的讀出，並且控制器630可對它們進行不同的定時。本發明不受任何特定感測器讀出同步定時的限制。

控制器630還可控制通訊介面690，以將捕獲的視訊影像以預定定時發送到外部裝置。

影像處理單元620可對捕獲的影像應用拼接或合併以及用於改善影像的任何作業，例如伽馬校正、白平衡、增益控制、任何濾波作業，如下將更詳細的討論。影像處理單元620可在一個或多個處理器上實現。影像處理單元620可透過將捕獲的影像變換成使得能夠合併它們的期望的投影來執行捕獲影像的拼接，使得它們形成場景的連續影像。具體地，捕獲的影像的魚眼投影可變換成平坦投影，使得能夠使用其他半球的邊界來拼接它的邊界。為了拼接的目的，通常還可應用混合，其中以預定比率（例如，對於兩個影像相等）混合兩個拼接影像的邊界畫素（以及可能接近邊界的另外的畫素）。

需要注意的是，節點距離也可以是可調節的。

使用 無人機裝配

根據本發明的組件的一示例性實施例是其上可安裝或安裝影像捕獲裝置的一無人機。因為不受任何附件的運動限制，因此無人機是一可自由移動的主體。

圖5表示一無人機550和由分別位於無人機的頂側和底側的相應光學裝置（圖未示）觀看到的兩個半球510和520的示意圖。

控制無人機

無人機有利地可透過一遙控器，例如圖1a中所示的專門用於控制無人機的遙控裝置115遠程控制。然而，本發明不限於這種控制器。相反，遙控器可以由例如一智慧手機（具有相應的應用程式）或一無線操縱桿的一多功能遙控裝置來實現。優選地，遙控器藉由一無線介面與無人機通訊，以便保持無人機的自由移動性。舉例而言，一專用遙控器、一智慧電話、一操縱桿或一移動電話可藉由紅外線連接或藉由具有標準化介面的無線電連接與無人機進行通訊，其中所述的標準化介面例如為Wi-AN（IEEE 802.11標準族）、BIueTooth（IEEE 802.15標準族）、或任何其他介面。然而，舉例而言，專用遙控器也可使用由無人機支持的一專有通訊介面。

除了控制無人機的運動之外，遙控器還可適於遠程控制無人機攜帶的影像捕獲裝置。可以在上面示例的相同無線介面下執行通訊。具體地，遙控器可在接收到用戶的一輸入時，指示由無人機攜帶的影像捕獲裝置開始視訊捕獲或終止視訊捕獲。可設置為指示影像捕獲裝置捕獲一靜止影像。另外，遙控器可接收關於一些其他捕獲設置的用戶輸入，並相應地控制影像捕獲裝置以執行影像或視訊捕獲。這樣的捕獲設置可例如是設置曝光、光圈、縮放、增益、空間或時間分辨率、壓縮設置或用於將捕獲的影像傳輸到外部裝置的設置。

除了圖6之外，圖7表示作為無人機的組件的集成或安裝的另外的功能組件，包含光學裝置610、影像處理單元620、通訊介面690、以及定時控制器630。圖7中的無人機進一步包含一輸入單元710、一電源單元、一飛行路徑儲存器750、以及一飛行路徑控制器760。輸入單元710通過通訊介面690，藉由關於飛行控制的遙控器接收來自用戶的命令。這些命令可以是包括無人機的期望運動的速度和方向的命令。然後這些命令提供給飛行路徑控制器760。此外，無人機的當前位置也可提供給影像處理單元與/或將輸出與處理的影像一起編碼到外部裝置。這個位置資訊可用於執行拼接。

可替代地，或者除了透過遙控器控制無人機之外，無人機可允許至少部分自主的控制。例如可透過無人機包含用於存儲預定飛行路徑的一飛行路徑儲存器750來實現。飛行路徑控制器760可從飛行路徑儲存器750檢索預定飛行路徑，並根據這個預定飛行路徑控制無人機的推進器。無人機的輸入單元710可適於從通訊介面690接收要存儲的預定路徑。飛行路徑儲存器750因此可以是可重寫的並能夠儲存的多個飛行路徑。輸入是一用戶介面或與外部裝置的一連接。舉例而言，用戶可使用一智慧電話或一電腦來編程預定路徑（例如透過在手動控制的飛行期間捕獲與無人機的路徑），並且智慧電話或電腦可藉由無線介面指示無人機來儲存預定路徑。

影像或視訊捕獲裝置在無人機上的設置

根據一變型的影像/視訊捕獲裝置是可移動組件的一組成部分，即，其安裝和固定在無人機主體上或直接嵌入在無人機主體中。這種變型實現了緊湊的實施方案，其中光學裝置由一共同控制器（定時控制器630）控制，並且可共享一共同的影像處理單元620以及一通訊介面690。

可移動組件的另一變型無人機具有一些安裝裝置，這些安裝裝置用於將影像/視訊捕獲裝置安裝到無人機上。舉例而言，光學裝置在無人機主體上可安裝且可拆下，並且無人機主體還攜帶用於控制固定安裝到無人機主體上之光學裝置的視訊影像捕獲（定時控制器630）、影像處理（影像處理單元620）以及電源的電子裝置。這種設置使得不同的光學裝置能夠共享無人機的處理基礎。

安裝裝置可以是例如透過螺紋連接或夾緊或以另一種方式結合，用於將光學裝置可拆卸地固定到無人機（兩個相應側）上的任何機械裝置。此外，提供感測器和無人機之間的一電連接。可能有利的是，在無人機的中心提供開口，並且例如透過在無人機主體上提供一些安裝裝置來在開口內定位一至少360°的照相機。

然而，本發明不限於這種佈置。可能比較有益的是，為無人機設置提供完整相機的光學裝置的安裝裝置，這種照相機也可在從無人機拆卸時，依靠自身用於捕獲影像或視訊使用。這種照相機可不僅包含具有一頭部透鏡、其他透鏡以及一感測器的光學組，而且還可包含影像管道輸送處理和定時控制以及用於接收和發送資料的輸入和輸出。特別地，無人機可攜帶藉由一無線介面從外部裝置直接控制和同步的照相機。舉例而言，用戶然後可藉由一遙控器控制無人機，並且同時控制兩個照相機的視訊捕獲的開始和停止。照相機可獨立地傳送一原始或壓縮的視訊流，這些視訊流在外部裝置解碼和解析並且拼接。

在這種情況下，照相機還可具有它們自己的電源與/或可連接到無人機的一電源。

其他變型也是可能的，例如可安裝在無人機的頂部或底部（兩側）並可由無人機控制的照相機，這種照相機收集所捕獲的影像並在將它們發送到外部裝置之前將它們拼接。照相機還可以是位於無人機中心的開口中的一個360°照相機裝置，以使得它的一部分光學器件觀看無人機上方的一第一半球，並且他的光學器件的剩餘部分觀看無人機上方的一第二半球。

因此，本發明的一實施例還提供了一種具有無人機本體和螺旋槳的無人機，並且還包含安裝裝置、一第一光學裝置以及一第二光學裝置，安裝裝置用於在其上安裝用於捕獲球形影像的光學裝置，第一光學裝置設置在無人機的第一側上，第二光學裝置設置在無人機的與第一側相對的第二側上，安裝裝置適合於以這樣的方式安裝光學裝置：相應的兩個光學裝置的頭部透鏡之間的一距離不小於光學裝置的180°的視野看不到無人機的一最小距離。

這種無人機可以將光學裝置容納在這樣的位置：要拼接成球形影像的捕獲影像在這個位置看不到無人機部分。

與一智慧手機的裝配

根據本發明的一實施例，組件是例如一智慧電話、一平板電腦、一筆記型電腦的個人電子裝置（PED），例如智慧手錶等的一可穿戴裝置。

特別有利的是，為現在已經包含兩個照相機的一個人電子裝置（PED）提供一球形照相機。這兩個當前實現的照相機不適合球形捕獲，這主要是因為它們的光學器件不提供一寬視角，並且因為照相機/處理裝置不能夠同時捕獲影像。根據本發明的一實施例，提供了可配置為捕獲用於球形重建之影像的一個人通訊裝置。這種裝置在圖13A和圖13B中表示出。

可以是個人電子裝置（PED）之一部分的一影像捕獲裝置10表示於圖13A中，並且可包含具有不同的相應視野的至少兩個光學裝置20、30，每個光學裝置覆蓋球形的一部分並且包含透鏡50和用於捕獲通過透鏡進入的光線的一感測器60，這至少兩個光學裝置大致覆蓋一球形視野。可以注意的是，一頭部透鏡也可由一透明保護蓋覆蓋。用語「大致」用於考慮球形視野中的一些次要盲點，這可能由透鏡等的一些未對準引起。此外，舉例而言，捕獲的場景的部分可包括影像捕獲裝置的支持而不是場景支持。

影像捕獲裝置可進一步包含：一處理單元，處理單元包括一控制單元70，用於控制至少兩個光學裝置20、30以並行地捕獲至少兩個影像序列；一合併單元80，用於在捕獲影像的相應的至少兩個視訊序列期間，拼接這至少兩個影像的視訊序列以形成球形影像的一單個視訊序列；以及一輸出單元90，用於將捕獲的影像輸出到個人電子裝置。

與本發明的上述實施例相對應，合併單元80透過將捕獲的影像變換成能夠合併它們的一期望的投影來執行捕獲影像的拼接，以使得它們形成場景的連續影像。具體地，所捕獲的影像的魚眼投影可變換成一平面投影，使得能夠使用其他半球的邊界來拼接其邊界。

為了拼接之目的，也可應用以下混合：其中兩個拼接影像的邊界畫素（以及可能接近邊界的另外的畫素）以一預定比率（例如對於兩個影像相等）混合。

特別地，兩個光學裝置20、30的控制包含控制兩個相應感測器60的讀出。舉例而言，控制單元70提供用於讀出感測器的定時，並且用於將讀出的視訊影像提供給合併單元以進一步處理。這種定時透過本領域技術人員已知的時脈訊號來提供。有利地，控制單元70將來自這兩個感測器的讀出同步，使得兩個感測器同時讀出。然而，可能存在一些未對準，使得可以在用於緩衝讀出影像的影像捕獲裝置中提供一緩衝器。以這種方式，可以在也由控制單元70控制的定時，將兩個捕獲的視訊影像一起提供用於下一個處理階段。然而，定時的其他實現（由兩個感測器捕獲的影像的同步）也是可能的。舉例而言，不需要同時執行從感測器的讀出，並且控制單元70可以對它們進行不同的計時。本發明不受任何特定感測器讀出同步定時的限制。

換句話而言，影像捕獲裝置10能夠透過各個不同的光學裝置20、30並行（特別是同時）捕獲影像，並且基於由控制單元提供的定時將它們輸出到下一處理階段。具體地，為了實現實時作業，處理單元還配置為執行這至少兩個影像的視訊序列的拼接，以在相比較於捕獲兩個連續影像之間的時間段更短的一時間內，形成一單個球形影像序列。

為了實現這一點，拼接影像的圖框速率可相對於捕獲影像的圖框速率降低。然而，這種方法僅對於預覽或在隨後使用剩餘影像用於改進的離線拼接的應用程序是有效的。

或者，影像處理裝置可執行並行化並且可配置為在複數個處理階段中將視訊序列的影像拼接成一球形影像，其中每個處理階段短於或等於捕獲一視訊序列的兩個連續影像之間的時間，其中，連續影像由這些處理階段並行處理。用語「並行」可意味著同時。然而，由於定時未對準和可能不同的任務持續時間，還可能意味著兩個或更多個階段中的不同影像的處理週期重疊。

需要注意的是，有利地，處理階段的並行化還可執行進一步的處理任務或執行不同的任務。舉例而言，處理可並行化，使得對於不同的影像並行地執行例如合併、翹曲恢復、白平衡或壓縮的不同任務的一個或多個處理階段。

可替代或另外地，當具有一預定的拼接處理以及一預定的輸出圖框速率（拼接的視訊的圖框速率）時，透過減少要從感測器讀出的畫素數量可進一步執行實時作業。這種減少需要一控制器和能夠選擇性地僅讀出感興趣的期望區域中之畫素的相應感測器。可替代或另外地，實時作業可透過減少從待拼接處理的感測器讀出的畫素數量來實現。換句話而言，拼接的影像具有相比較於捕獲的影像更小的分辨率。

需要注意的是，下一個處理階段可以是拼接，並且可以在如上所述的影像捕獲裝置執行。然而，本發明不限於此，處理單元可僅執行捕獲影像的合併，並將合併的影像輸出到外部裝置以進行進一步處理，外部裝置然後執行如上所述的拼接。

本發明的任何實施例中的光學裝置的視野可重疊。

在圖13B中，個人通訊裝置1200包含：用於承載兩個光學裝置1210及1220的一主體，主體具有大致平坦的形狀，具有第一側和與第一側相對的第二側；兩個光學裝置，即一第一光學裝置1210以及一第二光學裝置1220，這兩個光學裝置中的每一個具有至少一半球的視野，並且包含一頭部透鏡和一感測器；其中第一光學裝置安裝在主體上，第一光學裝置的頭部透鏡位於主體的第一側上以觀看主體的第一側上的至少一個半球，並且第二光學裝置安裝在主體上，第二光學裝置的頭部透鏡位於主體的第二側上以觀看主體的第二側上的至少一個半球；並且相應的兩個光學裝置的頭部透鏡之間的距離不小於各個光學裝置的180度視野時看不到主體的一最小距離。

為了將影像捕獲裝置整合在例如智慧電話的個人電子裝置（PED）內，個人電子裝置（PED）的硬體與/或軟體必須適合於並行（同時）捕獲來自兩個光學裝置的兩個影像，即，透過如上所述提供用於讀出感測器和用於合併它們各自的影像的定時，對捕獲同步化。

根據本發明之實施例，圖12中所示的個人電子裝置（PED）（即，個人通訊裝置）1200包含能夠同時拍攝影像的兩個光學裝置1210、1220，並且包含一些單元，以實現這些任務和進一步的任務以能夠提供拼接的球形影像或影像序列（視訊，特別是360°視訊）。在由頂部所示的個人電子裝置（PED）的部分1200a的詳細視圖中，表示了這些光學裝置。可採用光學裝置的其他設置。舉例而言，在本圖式中，光學裝置1210和1220，即第一光學裝置和第二光學裝置有利地彼此並排設置。此外，第一光學裝置的感測器位於第二光學裝置的頭部透鏡的後側，並且第二光學裝置的感測器位於第一光學裝置的頭部透鏡的後側。然而，這種佈置可不相同。在相對於個人電子裝置（PED）之頂邊緣的正交方向上彼此相鄰地設置兩個光學裝置可比較有益。任何其他設置也是可能的。如上所述，個人電子裝置（PED）還可實現不同的光學裝置，例如圖8b所示的那些光學裝置。

如在圖中可看出，個人電子裝置（PED）1200具有典型的個人電子裝置（PED）部件，例如也可用作一用戶介面（觸控式熒幕）的一顯示器1201，可以是例如一鍵/按鈕的附加用戶介面1202，一外殼1205，用於提供資料輸入/輸出連接和電源輸入的一些連接裝置1204。

在內部，個人電子裝置（PED）可包含具有例如處理器、控制器以及另外的單元的進一步組件的一印刷電路板。特別地，個人電子裝置（PED）可包含一輸入單元1208，輸入單元1208用於處理來自用戶介面的輸入並且向處理單元和其他單元提供相應訊號。個人電子裝置（PED）通常還包括一儲存器1270和一通訊單元1280，以及一處理單元1230。個人電子裝置（PED）還可嵌入有一陀螺儀1760。顯示器1201可以由一顯示控制器控制，顯示控制器可以是單獨的或是實現於處理單元中。

處理單元1230可在結構上包含一個或多個處理器，包括一通用處理器與/或一數位訊號處理器與/或可程式化或專用化硬體的其他元件。

本實施例中的個人電子裝置（PED）1200的處理單元1230包括一合併單元1240和用於對捕獲影像執行翹曲恢復（dewarping）的一翹曲恢復單元1250。這些單元可提供於一固件或一應用程式內，或者可以在處理器或更多處理器上運行的作業系統內核中實現。處理單元1230有利地包含用於執行例如白平衡或增益控制之影像處理的一影像處理單元1232，以及用於壓縮所捕獲的影像之資料的一壓縮單元1233。

陀螺儀1760（或GPS）可用於穩定拼接的視訊資料。舉例而言，個人電子裝置（PED）1200的位置可在捕獲視訊期間，例如由於用戶的操縱或攜帶個人電子裝置（PED）1200的一支撐件的移動而改變。為了補償產生兩個光學裝置1210、1220之視野波動的照相機運動，個人電子裝置（PED）1200的處理單元1230（例如影像處理單元1232或一單獨的單元）可根據來自陀螺儀1760的指定捕獲特定影像時光學裝置1210、1220之當前位置的輸入，來補償影像序列中的波動，使得這些影像看起來好像是從相同位置拍攝的，即，具有相同的相應視野。記錄的視訊資料可本地儲存在儲存器1270中或通過一網絡傳輸或直接藉由通訊單元1280傳輸到平台或虛擬現實（VR）頭戴式耳機。

然而，應注意的是，本發明不受具有照相機（一個或多個）或個人電子裝置（PED）（一個或多個）的無人機組件的實施例的限制。

影像捕獲 裝置

在本發明中，一平坦形狀的主體攜帶捕獲覆蓋球體的視訊影像的至少兩個光學裝置。因此，影像可拼接以形成球形影像，並且因此獲得一球形視訊序列。

上述本發明的實施例表示了具有兩個光學組的組件，每個光學組捕獲一半球。下面更詳細地描述這種光學組。然而，應注意的是，本發明不限於僅包含一個相應光學組的光學裝置。光學裝置還可包含更多的光學組，這些光學組設置為使得它們的節點之間的距離不小於光學裝置的180度視野時不觀看主體的一最小距離。

一示例性光學組在圖8中表示出。光學組800佈置在同一軸線840上。光線通過頭部透鏡820進入光學組800，並且通過一組透鏡830以由影像感測器810捕獲。這個示例性光學組提供180度，即一半球的視野。

然而，應當注意的是，本發明不限於這個示例性光學組。圖8B及圖8C表示可使用的光學組的兩個其他和更一般的實例。

具體地，圖8B表示出了與圖8B的光學組類似的光學組800b，光學組800b具有位於相同光軸（A、B）上的一頭部透鏡840b以及一感測器820b。同樣在相同的光軸上，可設置一個或多個另外的透鏡830b，光線810b在由感測器820b捕獲之前通過透鏡830b。

另一方面，圖8C表示出了一光學組800c，其中透鏡840c具有不同於感測器820c之光軸B的一光軸A。在本圖中，頭部透鏡的光軸A與感測器的光軸B正交。這是透過光學組300B進一步包括一反射元件850c來實現的，反射元件850c可為一棱鏡、一反射鏡或用於反射光線的任何其他裝置。特別地，進入頭部透鏡840c的光線穿過頭部透鏡810c，並在反射元件850c將兩個連續光線810c反射到感測器820c。其中感測器的光軸和頭部透鏡不同的一光學組可有益於實現複數個這樣的光學組在一共同殼體內的緊湊佈置，或者有益於匹配殼體的一些特定設計特徵。

圖8C表示出屬於光學組800c並位於與頭部透鏡相同的光軸A上可能的另外透鏡。然而，本實例不是限制性的，並且這些另外透鏡也可至少部分位於與感測器820c相同的光軸B上。或者，頭部透鏡的光軸A和感測器的光軸B之間的角度可大於或小於直角（90°）。換句話而言，本發明不受光學組的形式限制。

影像的捕獲和處理

根據本發明的一實施例，影像處理單元620可配置為在小於捕獲的視訊序列的兩個連續影像之間的時間的時間一內，將視訊序列的影像拼接成一球形影像，並且通訊介面960配置為將視訊序列的拼接影像傳送到外部裝置。

拼接任務還可進一步並行化。因此，影像處理裝置可配置為在複數個處理階段中將視訊序列的影像拼接成一球形影像，其中每個處理階段短於或等於捕獲一視訊序列的兩個連續影像之間的時間，其中連續影像由這些個級並行處理。

外部裝置可為一外部記憶體（儲存器）與/或一耳機/頭盔或例如電腦顯示器、投影儀等的另一種類型的顯示器。在無人機處執行拼接的優點是拼接的影像可直接傳輸到顯示或存儲裝置。

然而，根據本發明的另一實施例，影像處理裝置（影像處理單元620）可配置為在小於或等於捕獲視訊序列的兩個連續影像之間的時間段的時間內，將影像合併到一個合併影像，並且通訊介面配置為將視訊序列的拼接影像發送到外部裝置以執行包括拼接的進一步處理。合併也可如上面針對拼接所描述的那樣並行化。

值得注意的是，一些處理任務（例如，如上所述的拼接）也可採用捕獲兩個連續影像之間的時間段的倍數的時間。圖12示意性地表示根據本發明一實施例的處理的一通常定時。在持續時間1/f的相應時間段內連續地對所捕獲的影像執行處理階段Proc 1至Proc 7，其中f係為輸出經處理的視訊的圖框速率（有利地對應於影像捕獲的圖框速率）。因此，七個處理階段導致圖框週期1/f的7倍的一等待時間。根據一個實例，Proc 1可以是兩個影像的捕獲，Proc 2可以是它們合併成一個影像，Proc 3及4可均是不同的翹曲恢復任務階段。Proc 5可以是拼接（混合或僅合併翹曲恢復的影像），並且Proc6及7可以是壓縮拼接影像之任務的兩個階段。然而，這僅僅是一實例，並且通常可具有任何數量的處理任務和對應的階段。因此，任務的持續時間也可以不同。

對於影像處理裝置（可包括一個或多個處理器）中的不同影像，以這種方式有利地進行並行化任務。這意味著圖框N的一處理任務i與圖框N + 1的任務i-1以及圖框N + 2的一任務i-2同時執行。舉例而言，在上述實例中，圖框N的影像在處理階段Proc 6中壓縮，而圖框N + 1的影像在處理階段Proc 5中合併，以及圖框N + 2的影像在處理階段Pros 4中進行翹曲恢復。

圖9係為表示由影像處理單元620執行處理的示例性流程圖。所示的流程包含由組件的光學裝置的兩個感測器捕獲影像，這兩個感測器表示為感測器1以及感測器2，兩個影像的合併910，以及根據變型執行進一步處理，例如影像管道處理920，翹曲恢復和拼接930以及編碼940（壓縮）。影像管道處理920可包含例如白平衡、增益控制等的各種作業。

在這種情況下，增益為視訊訊號的電子放大。利用增益控制，影像訊號電子地增強，向從影像感測器（CCD或CMOS）讀取的畫素增加更多的電壓，使得它們放大強度並且因此使得影像變亮。

進一步的顏色平衡為顏色（通常是紅色、綠色以及藍色原色）的強度的一全局調整。目的是以感知愉悅的方式調整以呈現特定顏色，特別是中性顏色例如白色。因此白平衡改變一影像中顏色的整體混合，並且用於在捕獲期間校正不同的光線條件。

通常，用語「翹曲恢復」為用於抑製或減小一翹曲效應的處理，即變換捕獲影像的投影。在一有限距離處拍攝相同的影像引入各種失真，例如導致捕獲的水平和垂直線看起來彎曲的翹曲（也稱為「魚眼」效應）。這可以透過校準視差來校正，以確定隨後應用的以補償翹曲效應的一映射。在步驟930中，翹曲恢復是屬於這個步驟的步驟。兩個捕獲的影像從所捕獲的透鏡投影變換到更適合於拼接的不同投影。

特別地，圖9表示其中相應兩個光學裝置的兩個感測器的輸出在單元中合併910的一實例。在上下文中的合併僅是將兩個捕獲的影像附加到一單個影像中。本處理步驟具有優點在於，提供用於進一步處理或傳輸的一單個輸入。

在本發明的本實施例中每一感測器的輸出是原始格式的影像，即按照一預定方式，例如一逐列掃描的二進制化畫素值的一序列。影像可包括對應於本領域技術人員已知的感測器類型的一個或多個顏色分量。在單元中的合併910中，來自相應的兩個感測器（感測器1、感測器2）的兩個影像合併在一起以形成一單個影像。根據一預定方案執行合併。然後合併的影像可發送到外部裝置。這在圖9中由影像合併910之右邊的箭頭表示。在捕獲影像（視訊）的一序列的情況下，透過兩個感測器的捕獲和影像合併循環地和重複地執行。為了能夠實現實時作業並避免將一大緩衝器引入到影像捕獲裝置中，必須快速執行影像合併910。具體地，為了在捕獲和輸出捕獲和合併的影像之間保持一恆定的等待時間（並且因此為了實現實時作業），合併不應該花費相比較於捕獲兩個圖框之間，即在捕獲一個視訊序列中的兩個影像之間的時間更多的時間。然而，這個有利的實例不是為了限制本發明。每個處理任務還可細分為更多的階段，這些階段可以在捕獲兩個圖框之間的相應更多時間段內執行。

需要注意的是，執行合併步驟以便提供一個輸入以進一步處理。也可在一些實施方式中輸出兩個讀出影像而不合併。

根據圖9中的虛線所示的變型，組件中的影像捕獲裝置的處理單元可對合併的影像執行進一步的影像處理功能，並且此後僅將合併的影像輸出到外部裝置。舉例而言，可以執行影像管道處理920，包含增益控制、白平衡、任何種類的濾波等，以便提高合併的影像質量。

可替代或另外地，根據另一變型，處理單元可執行翹曲恢復和拼接構成拼接影像的兩個影像930。如果透過組件執行翹曲恢復和拼接930，則拼接的影像輸出到準備顯示的外部裝置。

在上下文中，用語「拼接」意味著兩個或更多個影像合併在一起以形成一個影像，然後可以由合適的觀看者觀看。通常，拼接將按照這樣的方式執行，即拼接邊界不可見，以便給予觀看者已經直接捕獲合併影像而不是合併在一起的印象。翹曲恢復可為拼接的一部分：舉例而言，為了正確地拼接影像以形成一球形影像，如果在拼接之前由捕獲鏡頭引起的變形得到補償是有益的。因此，舉例而言，魚眼投影變換成一平面，然後沿著捕獲的影像的邊界拼接或混合。

為了保持恆定的等待時間，一第N影像的每個影像的翹曲恢復和拼接階段在捕獲第（N + m）影像和第（N + m + 1）影像之間執行，其中m等於或大於零，並且表示相對於影像捕獲定時處理影像的等待時間。需要注意的是，m不一定必須是一整數。

一快速拼接可根據一預定映射來執行，其中此預定映射透過對光學組的一特定位置的映射的校準而獲得。

為了確保一處理任務（合併或影像管道或翹曲恢復/拼接處理）不超過兩個連續圖框或其倍數的捕獲之間的時間（即，處理步驟的時間保持恆定），假設處理方法已經盡可能地優化，圖框速率之間的關係和要處理的畫素數量必須調整。因此，舉例而言，需要25圖框/秒的一圖框速率，並且感測器傳送相比較於可在1/25秒內處理的拼接或翹曲恢復的每個步驟（階段）更多的畫素，然後處理的畫素數量，即空間分辨率降低。雖然合併910係為一簡單的作業，但是一些更複雜的影像管道作業和翹曲恢復/拼接可能需要空間分辨率的這種減小（根據由感測器傳送的分辨率）。換句話而言，對於一預定的圖框速率，要處理和輸出的畫素數量以這樣的方式減少：使得處理的每一單個步驟（階段）可以在圖框速率之倒數的時間段內執行。

根據一變型，影像捕獲裝置可包括一編碼940單元，用於壓縮對應於拼接的影像910的資料，或者如果可應用，用於壓縮在影像管道920與/或翹曲恢復/拼接930中壓縮進一步處理的資料。在這種變型中，影像捕獲裝置將拼接並壓縮的影像輸出到外部裝置。同樣，為了保持恆定的等待時間，壓縮的每個步驟也不應該超過圖框速率的倒數。

壓縮過程可以是一可變長度編碼、一遊程長度編碼或根據任何標準化或專有算法的一混合編碼。例如，可應用ITU H.264 / AVC（MPEG-4）或ITU H.265 / HEVC或H.263或任何其他視訊編碼標準。

如果捕獲靜止影像，則可應用任何靜止影像標準。在將合併影像輸出到外部裝置之前執行壓縮可提供傳送所需的傳輸容量減少的優點。另一方面，例如智慧電話、平板電腦、個人電腦等的一些外部裝置可包含用於執行壓縮的一軟體，使得可以在這樣的裝置執行壓縮。在這種情況下，影像捕獲裝置不需要執行壓縮，從而簡化了裝置。

在組件和外部裝置之間共享計算能力的級別可取決於可用的傳輸通道容量、可用的計算能力和實時要求。從外部裝置到組件也是可配置的。舉例而言，如果外部裝置為具有大於組件的計算能力的足夠計算能力的個人電腦，則可能有益的是，僅向外部裝置提供合併的影像並且剩餘的作業（影像管道、翹曲恢復/拼接、壓縮）在外部裝置中執行。另一方面，如果組件要將視訊流傳送到具有較小功率的智慧電話或頭戴式耳機，則在組件中的單元920-940中執行所有的處理步驟可能是有利的。

組件可儲存從兩個感測器獲取的影像與所得到的拼接影像之間的映射。此映射可以是預設的，例如透過影像捕獲裝置的初始校準獲得。然而，本發明不限於這種校準。可替代或者另外地，映射可以是可配置的。這樣的配置可例如由諸如一電腦的外部裝置執行，這個電腦也可以是具有相應軟體的平板電腦、智慧電話或其他個人電子設備。使用用於合併影像的預定方案提供了內部拼接的優點，而不需要透過例如邊界匹配的影像處理來執行調整捕獲的影像之間的影像位置的任何復雜作業。然而，也可透過影像處理裝置確定與/或檢查兩個影像的正確對準來執行合併，例如透過處理單元實現的邊界匹配來執行合併。

如以上已經提及，圖9中的單元920至940中的步驟由虛線表示，這意味著根據組件的變型，它們是設備的一部分或不是設備的一部分。舉例而言，單元910中的合併可在影像捕獲裝置中執行且合併影像輸出到外部裝置。在這種情況下，外部裝置然後實現隨後的步驟，例如進一步處理和壓縮。此外，一些或全部進一步的處理和壓縮也可在影像捕獲裝置和外部裝置的外部執行。

圖10表示由組件的影像處理單元執行的處理流程的另一個實施例。圖10的處理流程與圖9的處理流程的不同之處特別在於，在影像合併1020之前，從兩個相應感測器1和2讀取的兩個影像為獨立處理的影像，即位於單獨的影像管道處理1010中的影像。這種處理流程提供了並行的影像管道處理1010的可能性。此外，由於由不同光學裝置，即不同的透鏡和影像感測器捕獲的影像可能已在不同的光線條件下捕獲，因此可能需要獨立的調整來執行。在本實例中，在各個影像管道中的兩個影像的分離處理（影像管道處理1010）之後，如圖9的實施例那樣處理經處理的影像（影像合併1020），並且可以將其輸出到外部裝置。

外部裝置然後可執行翹曲恢復和拼接與/或進一步的影像處理與/或實現壓縮。或者，可在將經處理與/或經壓縮的合併影像輸出到外部裝置之前，在組件中執行翹曲恢復/拼接1030與/或壓縮1040（施加到合併影像）。

圖11表示可以由組件執行的處理流程的另一個實施例。圖11的處理流程與圖10的處理流程的不同之處在於，在影像合併1130之前執行翹曲恢復1120，並且對於要合併的兩個相應影像單獨地並優選地並行地執行翹曲恢復1120。對捕獲的影像而不是合併影像執行的翹曲恢復的優點在於，能夠使得待匹配的影像並行翹曲恢復。此外，翹曲效應是由各個光學裝置的廣角透鏡引起的失真的結果。因此，用於校正影像的翹曲恢復功能可獨立地適應於各個影像。在影像翹曲恢復之後，即在進行了拼接的投影中變形，可執行根據一預定變換（根據一初始校準）的拼接作為一影像的簡單合併。

由相應的兩個感測器捕獲並在單獨的影像管道處理1110中和透過單獨的翹曲恢復1120單元處理的兩個影像然後如以上圖9與或/合圖10的實施例所述，在影像合併1130的單元中合併。然後拼接的影像輸出到外部裝置。或者，在輸出拼接的影像之前，拼接的影像可如以上對於圖9與/或圖10的實施例所述，在單元1140中壓縮，然後輸出到外部裝置。

捕獲組件位置

根據本發明的一實施例，組件還包含一位置捕獲裝置，用於捕獲組件的當前位置，包含GPS坐標和偏航、俯仰（pitch）、滾轉定向中的至少一個。資料可進一步傳輸到外部裝置與/或用於拼接。特別地，組件可實現為作為位置捕獲裝置的一陀螺儀與/或GPS接收器。

特別地，在拼接期間，在捕獲期間組件的取向可用於穩定拼接的視訊。

此外，捕獲的GPS坐標與/或時間和日期也可與拼接的視訊一起保存為元資料，以向用戶提供資訊。

還應認識到，可以使用計算設備（處理器）來實現或執行各種實施例。計算設備或處理器可例如是通用處理器、數位訊號處理器（DSP）、專用積體電路（ASIC）、現場可程式閘陣列（FPGA）或其他可程式邏輯器件等。這些不同的實施例還可透過這些裝置的組合執行或實現。

此外，各種實施例還可利用由一處理器執行或直接在硬體中執行的軟體模塊來實現。而且，軟體模塊和硬體實現的組合也是可能的。軟體模塊可儲存在任何種類的電腦可讀存儲介質，例如RAM、EPROM、EEPROM、快閃記憶體、暫存器、硬碟、CD-ROM、DVD等之上。

本領域技術人員應當理解，可以對如在具體實施例中所示的本發明進行多種變化與/或修改。因此，本發明的這些實施例在所有方面都認為是說明性的而不是限制性的。

本發明涉及一種包括用於承載兩個光學裝置的一主體的組件，主體包含具有一第一側和與第一側相對的一第二側的平坦形狀；兩個光學裝置，即第一光學裝置和第二光學裝置，這兩個光學裝置中的每一個具有至少一半球的視野，並且包括一頭部透鏡和一感測器；其中第一光學裝置安裝在主體上，第一光學裝置的頭部透鏡在主體的第一側上觀看主體的第一側上的至少一個半球，並且第二光學裝置安裝在主體上，第二光學裝置的頭部透鏡位於主體的第二側上，在主體的第二側上觀看至少一個半球；並且相應的兩個光學裝置之間的節點距離不小於光學裝置的180度視野不觀看主體的一最小距離。

10‧‧‧影像捕獲裝置
20‧‧‧光學裝置
30‧‧‧光學裝置
50‧‧‧透鏡
60‧‧‧感測器
70‧‧‧控制單元
80‧‧‧合併單元
90‧‧‧輸出單元
100‧‧‧可移動系統
100a‧‧‧無人機
100b‧‧‧無人機
100c‧‧‧無人機
100d‧‧‧無人機
100e‧‧‧無人機
101‧‧‧場景
110‧‧‧無人機
115‧‧‧遙控裝置
120‧‧‧照相機
180‧‧‧頭戴式耳機
200‧‧‧移動組件
201‧‧‧球體
210‧‧‧無人機
211‧‧‧螺旋槳
212‧‧‧螺旋槳
213‧‧‧螺旋槳
214‧‧‧螺旋槳
220‧‧‧照相機
250‧‧‧視圖
251‧‧‧螺旋槳
252‧‧‧螺旋槳
253‧‧‧螺旋槳
254‧‧‧螺旋槳
255‧‧‧無人機
300‧‧‧組件
350‧‧‧主體
401‧‧‧球體
450‧‧‧無人機主體
451‧‧‧角度
451‧‧‧線
460‧‧‧邊界
461、462‧‧‧半球
510‧‧‧半球
520‧‧‧半球
550‧‧‧無人機
610‧‧‧光學裝置
620‧‧‧影像處理單元
630‧‧‧定時控制器
690‧‧‧通訊介面
710‧‧‧輸入單元
750‧‧‧飛行路徑儲存器
760‧‧‧飛行路徑控制器
800‧‧‧光學組
800b‧‧‧光學組
800c‧‧‧光學組
810‧‧‧影像感測器
810b‧‧‧光線
810c‧‧‧頭部透鏡
820‧‧‧頭部透鏡
820b‧‧‧感測器
820c‧‧‧感測器
830‧‧‧透鏡
830b‧‧‧透鏡
840‧‧‧軸線
840b‧‧‧頭部透鏡
840c‧‧‧感測器
850c‧‧‧反射元件
910‧‧‧兩個影像的合併
920‧‧‧影像管道處理
930‧‧‧翹曲恢復和拼接
940‧‧‧編碼
1010‧‧‧影像管道處理
1020‧‧‧影像合併
1030‧‧‧翹曲恢復/拼接
1040‧‧‧壓縮
1110‧‧‧影像管道處理
1120‧‧‧翹曲恢復
1130‧‧‧影像合併
1140‧‧‧壓縮
1200‧‧‧個人通訊裝置
1200a‧‧‧部分
1201‧‧‧顯示器
1202‧‧‧用戶介面
1204‧‧‧連接裝置
1205‧‧‧外殼
1208‧‧‧輸入單元
1210‧‧‧第一光學裝置
1220‧‧‧第二光學裝置
1230‧‧‧處理單元
1232‧‧‧影像處理單元
1233‧‧‧壓縮單元
1240‧‧‧合併單元
1250‧‧‧翹曲恢復單元
1270‧‧‧儲存器
1280‧‧‧通訊單元
1760‧‧‧陀螺儀
a1‧‧‧光軸
a2‧‧‧光軸
h1‧‧‧第一光學裝置的頭部透鏡
h2‧‧‧第二光學裝置的頭部透鏡
C1‧‧‧點
C2‧‧‧點
p1‧‧‧螺旋槳
p2‧‧‧螺旋槳
s1‧‧‧第一光學裝置的感測器
s2‧‧‧第二光學裝置的感測器
A‧‧‧光軸
B‧‧‧光軸
D‧‧‧距離
H‧‧‧節點距離
Proc 1至Proc 7‧‧‧處理階段
f‧‧‧圖框速率

圖1a係為表示由一遙控無人機攜帶的照相機捕獲的影像的示意圖；圖1b係為表示具有和不具有照相機的無人機的各種形式的示意圖；圖2a係為表示攜帶一照相機的一無人機的示意圖；圖2b係為表示由無人機攜帶的一球形照相機捕獲的等角度視圖的示意圖；圖3係為表示具有一主體的一組件的示意圖，其中主體承載用於捕獲影像的光學裝置；圖4A至圖4C係為表示光學裝置的節點距離之間的一距離影響的示意圖；圖5係為表示一無人機和從無人機觀看的半球的示意圖；圖6係為表示組件的功能結構的方框圖；圖7係為表示具有一無人機的組件的功能結構的方框圖；圖8A至8C係為表示一示例性光學組的示意圖；圖9係為表示捕獲影像的一處理實例的流程圖；圖10係為表示捕獲影像的一處理實例的流程圖；圖11係為表示捕獲影像的一處理實例的流程圖；圖12係為表示捕獲影像的一處理定時的示意圖；以及圖13A及圖13B係為表示一個人通訊裝置中的本發明的實施例的方框圖。

300‧‧‧組件

350‧‧‧主體

a1‧‧‧光軸

a2‧‧‧光軸

h1‧‧‧第一光學裝置的頭部透鏡

h2‧‧‧第二光學裝置的頭部透鏡

C1‧‧‧點

C2‧‧‧點

s1‧‧‧第一光學裝置的感測器

s2‧‧‧第二光學裝置的感測器

Claims

一種捕獲用於球面或三維重建的影像的組件，該組件包含：用於承載兩個光學裝置的一自推進的主體，該主體具有大致平坦的一形狀，並且具有一第一側和與該第一側相對的一第二側；該兩個光學裝置，即一第一光學裝置和一第二光學裝置，該兩個光學裝置分別具有至少一半球的視野，並且包含一頭部透鏡和一感測器；其中該第一光學裝置安裝在該主體上，其中該第一光學裝置的頭部透鏡在該主體的該第一側上，觀看該主體的該第一側上的至少一半球，並且該第二光學裝置安裝在該主體上，該第二光學主體的頭部透鏡在該主體的該第二側上，觀看該主體的該第二側上的至少一半球；以及相應的該兩個光學裝置的頭部透鏡之間的距離不小於各個光學裝置的180度視野看不到該主體的一最小距離。
如請求項1所述之捕獲用於球面或三維重建的影像的組件，其中相應的該兩個光學裝置的頭部透鏡之間的距離相比較於該主體的該第一側和該第二側的最大尺寸小複數倍。
如請求項1或2所述之捕獲用於球面或三維重建的影像的組件，其中該組件還包含：一影像處理裝置，用於處理所捕獲的影像；一控制器，用於控制從該兩個光學裝置的感測器並行讀出所捕獲的影像，並且按照一預定週期將所捕獲的影像提供給該影像處理裝置，以獲得相應的兩個視訊影像序列；以及一通訊介面，用於將處理後的捕獲影像發送到一外部裝置。
如請求項3所述之捕獲用於球面或三維重建的影像的組件，其中，該影像處理裝置可配置為在小於或等於捕獲一視訊序列的兩個連續影像之間的時間的時間內，將該視訊序列的影像拼接成球形影像，或者在複數個處理階段拼接該視訊序列的影像，其中每一該些處理階段短於或等於捕獲一視訊序列的兩個連續影像之間的時間，其中連續影像由該些處理階段並行處理，以及該通訊介面配置為將該視訊序列的拼接影像發送到該外部裝置。
如請求項3所述之捕獲用於球面或三維重建的影像的組件，其中，該影像處理裝置可配置為在小於捕獲一視訊序列的兩個連續影像之間的時間的時間內，將影像合併為一個合併影像，以及該通訊介面配置為將該視訊序列的拼接影像發送到該外部裝置以進行包含拼接的進一步處理。
如請求項1所述之捕獲用於球面或三維重建的影像的組件，其中，該兩個光學裝置中的每一個是具有至少一半球視野的一單個光學組；該兩個光學裝置的頭部透鏡的光軸是平行或相同的。
如請求項1所述之捕獲用於球面或三維重建的影像的組件，其中，自推進的該主體係為具有一無人機主體和複數個螺旋槳的一遙控的無人機。
如請求項7所述之捕獲用於球面或三維重建的影像的組件，其中，該兩個光學裝置可安裝在該無人機主體上並可拆卸；以及該無人機主體包含用於控制該兩個光學裝置的視訊影像捕獲、影像處理以及電源的電子裝置。
如請求項7所述之捕獲用於球面或三維重建的影像的組件，其中，該兩個光學裝置係為在該無人機主體上可安裝和可拆卸的照相機，每一該些照相機包含用於控制視訊影像捕獲、影像處理的電子裝置，以及包含用於將捕獲的影像傳輸到一外部裝置的通訊介面。
如請求項3所述之捕獲用於球面或三維重建的影像的組件，其中該影像處理裝置還配置為對所捕獲的視訊影像應用伽馬校正、白平衡或壓縮中的至少一個。
如請求項1所述之捕獲用於球面或三維重建的影像的組件，更包含：一位置捕獲裝置，用於捕獲該組件的當前位置，包含GPS坐標和偏航、俯仰、滾轉定向中的至少一個。
一種捕獲球形視訊序列的系統，包含：如請求項3所述之捕獲用於球面或三維重建的影像的組件，用於執行視訊影像捕獲並藉由一無線介面將捕獲的視訊影像提供至一電腦，該電腦用於從該組件接收捕獲的影像，拼接影像並將拼接的影像輸出至一顯示裝置。
如請求項12所述之捕獲球形視訊序列的系統，還包括該顯示裝置，該顯示裝置藉由無線介面與該電腦相連接，並且能夠從該電腦接收並顯示拼接的影像。
一種扁平形狀的無人機，包含：一無人機主體和複數個螺旋槳；以及一安裝裝置，用於在其上安裝用於捕獲球形影像的光學裝置，在該無人機的一第一側上的一第一光學裝置以及在該無人機的與該第一側相對的一第二側上的一第二光學裝置，該安裝裝置適合於按照以下方式安裝光學裝置，使得相應的兩個光學裝置的頭部透鏡之間的一距離不小於光學裝置的視野在不觀看無人機的情況下交叉的一最小距離。
一種用於捕獲球面重建影像的個人通訊裝置，包含：用於承載兩個光學裝置的一主體，該主體具有一大致平坦的形狀，具有一第一側和與該第一側相對的一第二側；該兩個光學裝置，即一第一光學裝置和一第二光學裝置，該兩個光學裝置中的每一個具有至少一半球的視野，並且包含一頭部透鏡和一感測器；其中該第一光學裝置安裝在該主體上，其中該第一光學裝置的頭部透鏡在該主體的該第一側上觀看該主體的該第一側上的至少一半球，並且該第二光學裝置安裝在該主體上，該第二光學裝置的頭部透鏡在該主體的該第二側上觀看該主體的該第二側上的至少一半球；以及相應的該兩個光學裝置的頭部透鏡之間的距離不小於各個光學裝置的180度視野看不到該主體的一最小距離。