TW201601531A - ３６０度多攝影機系統 - Google Patents

Abstract

本發明揭露一種360度攝影機系統，包括：一支撑結構；複數個影像捕捉裝置；複數個鏡片系統；以及一影像處理系統。該等影像捕捉裝置被定位以使得它們的高度大於它們的寬度。該影像處理系統包括一旋轉模組，該旋轉模組用於重映射影像資料的像素位址，以沿著它們的長邊連接所捕捉的影像。

Description

360度多攝影機系統

本發明係關於一種數位攝影機系統，並且尤其係關於多影像感測器之360度攝影機系統。

習知的是使用多個影像感測器來捕捉360度影像的攝影機系統。這樣的攝影機系統通常包括三個或四個面向外的影像感測器，每一個與各自的鏡片組件光學對準。每個影像感測器被定位來捕捉360度水平視野的預定部分。例如，在三攝影機系統中，第一個影像感測器捕捉第一個120度的影像，第二個影像感測器捕捉第二個120度的影像，以及第三個影像感測器捕捉最後的120度。

在習知的影像捕捉過程期間，每個影像感測器同時捕捉各自的影像。接著利用已知的影像處理技術將捕捉的影像拼接到一起來形成單個360度影像。

儘管現有技術的攝影機系統可以捕捉360度影像，它們具有許多缺點。例如，現有系統由於多個影像感測器的形狀因素(即：16：9；4：3等等)具有相對侷限的垂直的視野(Field Of View，FOV)範圍。在努力改善360度攝影機系統的垂直FOV中，一些廠商已經傾斜每個影像感測器，以稍微地朝上。儘管傾斜影像感測器改善了360度攝影機系統的垂直FOV，它們仍然具有相對侷限的垂直FOV。

因此，需要的是具有一種改善的FOV的360度攝影機系統。同樣需要的是一種具有縮減了線緩衝器、記憶體、以及存儲頻寬的要求的360度攝影機系統。

本發明通過提供一種具有改善的垂直FOV的360度攝影機 系統克服了與現有技術相關的問題。

一示例攝影機系統包括一支撑結構、一第一影像捕捉裝置、一第二影像捕捉裝置、一鏡片系統、以及一影像處理單元。該支撑結構使該第一影像捕捉裝置和該第二影像捕捉裝置的安裝和定位容易。該第一影像捕捉裝置包括一光感測器陣列，該光感測器陣列在沿著該光感測器陣列的長邊具有比沿著該光感測器陣列的短邊更多數量的光感測器。該第一影像捕捉裝置耦合至該支撑結構，以使該光感測器陣列的短邊實質上是水平的。該第二影像捕捉裝置包括一第二光感測器陣列，該第二光感測器陣列在沿著該第二光感測器陣列的長邊同樣具有比沿著該第二光感測器陣列的短邊更多數量的光感測器，並且該第二影像捕捉裝置耦合至該支撑結構，以使該第二光感測器陣列的短邊實質上是水平的。

耦合該鏡片系統，以在該第一影像捕捉裝置的該光感測器陣列上聚焦一第一影像，並且在該第二影像捕捉裝置的該第二光感測器陣列上聚焦一第二影像。電性耦合該影像處理系統，以從該第一影像捕捉裝置接收代表該第一影像的影像資料，並且從該第二影像捕捉裝置接收代表該第二影像的影像資料。該第一影像具有對應於該光感測器陣列的長邊的一長邊和對應於該光感測器陣列的短邊的一短邊。該第二影像同樣具有對應於該第二光感測器陣列的長邊的一長邊和對應於該第二光感測器陣列的短邊的一短邊。操作該影像處理系統，以藉由沿著該第一影像和該第二影像的長邊結合從該第一影像捕捉裝置接收的影像資料與從該第二影像捕捉裝置接收的影像資料，產生代表一單一影像的影像資料。

在一示例實施例中，該光感測器陣列的光感測器設置在複數個列和行中。該等光感測器的行與該光感測器陣列的短邊平行對準，該短邊水平的設置。藉由從相同行的複數個光感測器同時傳輸資料，該影像資料從該光感測器陣列傳輸出來。換言之，一次從陣列中傳輸出來一行(或一行的一部分)。

在另一個示例實施例中，該光感測器陣列的光感測器設置在複數個列和行中，並且該等光感測器的行與該光感測器陣列的長邊平行對準，該長邊沿著一傾斜、垂直的方向設置。藉由從相同行的複數個光感測器同時傳輸資料，該影像資料從該光感測器陣列傳輸出來(例如，一次一 行或一行中的一部分)。因為行沿著一傾斜、垂直的方向設置，該影像處理系統包括一影像旋轉模組。在一具體示例中，該影像處理系統包括一光學校正模組，並且該影像旋轉模組被包含在該光學校正模組中。在一更加具體示例中，該光學校正模組執行失真校正和透視校正中的至少一個。有利地，該光學校正模組在一單個記憶體存取周期期間可以執行光學校正和影像旋轉。

在另一個示例實施例中，該鏡片系統包括一第一鏡片組件，其與該第一影像捕捉裝置的該光感測器陣列光學對準、以及一第二鏡片組件，其與該第二影像捕捉裝置的該第二光感測器陣列光學對準。

仍然在另一個示例實施例中，該系統進一步包括一第三影像捕捉裝置，其包括一第三光感測器陣列，該第三光感測器陣列在沿著該第三光感測器陣列的長邊具有比沿著該第三光感測器陣列的短邊更多數量的光感測器。該第三影像捕捉裝置耦合至該支撑結構，以使該第三光感測器陣列的短邊實質上是水平的。在一特定實施例中(例如，一3影像捕捉裝置系統)，操作該第一影像捕捉裝置，以捕捉由該攝影機系統捕捉的360度全景影像的第一個120度，操作該第二影像捕捉裝置，以捕捉由該攝影機系統捕捉的360度全景影像的第二個120度，並且操作該第三影像捕捉裝置，以捕捉由該攝影機系統捕捉的360度全景影像的第三個120度。可選地，該第一影像捕捉裝置、該第二影像捕捉裝置、以及該第三影像捕捉裝置的頂邊傾斜朝向彼此，以使該第一影像捕捉裝置的光軸、該第二影像捕捉裝置的光軸、以及該第三影像捕捉裝置的光軸相對於彼此是非平面的。

在這個示例實施例中，電性耦合該影像處理系統，以從該第三影像捕捉裝置接收代表一第三影像的影像資料，該第三影像具有對應於該第三光感測器陣列的長邊的一長邊和對應於該第三光感測器陣列的短邊的一短邊。操作該影像處理系統，以藉由沿著該第二影像的第二長邊和該第三影像的長邊結合從該第二影像捕捉裝置接收的影像資料與從該第三影像捕捉裝置接收的影像資料、並且藉由沿著該第三影像的第二長邊和該第一影像的第二長邊結合從該第三影像捕捉裝置接收的影像資料與從該第一影像捕捉裝置接收的影像資料，產生代表一單一影像的影像資料。在一更加特別的示例實施例中，該攝影機系統具有至少一360度水平視野並且該 攝影機系統具有至少一200度垂直視野。

在另一個特別實施例中(例如，一四影像捕捉裝置系統)，該攝影機系統進一步包括一第四影像捕捉裝置，其包括一第四光感測器陣列，該第四光感測器陣列在沿著該第四光感測器陣列的長邊具有比沿著該第四光感測器陣列的短邊更多數量的光感測器。該第四影像捕捉裝置耦合至該支撑結構，以使該第四光感測器陣列的短邊實質上是水平的。在這個特定實施例中，操作該第一影像捕捉裝置，以捕捉由該攝影機系統捕捉的360度全景影像的第一個90度，操作該第二影像捕捉裝置，以捕捉由該攝影機系統捕捉的360度全景影像的第二個90度，操作該第三影像捕捉裝置，以捕捉由該攝影機系統捕捉的360度全景影像的第三個90度，並且操作該第四影像捕捉裝置，以捕捉由該攝影機系統捕捉的360度全景影像的第四個90度。

在該四影像捕捉裝置實施例中，電性耦合該影像處理系統，以從該第三影像捕捉裝置接收代表一第三影像的影像資料，並且從該第四影像捕捉裝置接收代表一第四影像的影像資料。該第三影像具有對應於該第三光感測器陣列的長邊的一長邊和對應於該第三光感測器陣列的短邊的一短邊。該第四影像同樣具有對應於該第四光感測器陣列的長邊的一長邊和對應於該第四光感測器陣列的短邊的一短邊。操作該影像處理系統，以藉由沿著該第二影像的第二長邊和該第三影像的長邊結合從該第二影像捕捉裝置接收的影像資料與從該第三影像捕捉裝置接收的影像資料、藉由沿著該第三影像的第二長邊和該第四影像的一長邊結合從該第三影像捕捉裝置接收的影像資料與從該第四影像捕捉裝置接收的影像資料、並且藉由沿著該第四影像的第二長邊和該第一影像的第二長邊結合從該第四影像捕捉裝置接收的影像資料與從該第一影像捕捉裝置接收的影像資料，產生代表一單一影像的影像資料。

可選擇地，本發明的實施例可以包括多於四個影像捕捉裝置。

同樣揭示了製造攝影機系統的方法。一個示例方法包括提供一支撑結構；提供一第一影像捕捉裝置；將該第一影像捕捉裝置耦合至該支撑結構；提供一第二影像捕捉裝置；將該第二影像捕捉裝置耦合至該支 撑結構；提供一鏡片系統；提供一影像處理系統；以及配置該影像處理系統以產生影像資料。該第一影像捕捉裝置包括一光感測器陣列，該光感測器陣列在沿著該光感測器陣列的長邊具有比沿著該光感測器陣列的短邊更多數量的光感測器。該第一影像捕捉裝置耦合至該支撑結構，以使光感測器陣列的短邊實質上是水平的。該第二影像捕捉裝置包括一第二光感測器陣列，該第二光感測器陣列在沿著該第二光感測器陣列的長邊具有比沿著該第二光感測器陣列的短邊更多數量的光感測器，該第二影像捕捉裝置耦合至該支撑結構，以使該第二光感測器陣列的短邊實質上是水平的。耦合該鏡片系統以在該第一影像捕捉裝置的該光感測器陣列上聚焦一第一影像並且在該第二影像捕捉裝置的該第二光感測器陣列上聚焦一第二影像。

電性耦合該影像處理系統，以從該第一影像捕捉裝置接收代表該第一影像的影像資料，並且從該第二影像捕捉裝置接收代表該第二影像的影像資料。該第一影像具有對應於該光感測器陣列的長邊的一長邊和對應於該光感測器陣列的短邊的一短邊。該第二影像同樣具有對應於第二光感測器陣列的長邊的一長邊和對應於該第二光感測器陣列的短邊的一短邊。配置該影像處理系統，以藉由沿著該第一影像和該第二影像的長邊結合從該第一影像捕捉裝置接收的影像資料與從該第二影像捕捉裝置接收的影像資料，產生代表單一影像的影像資料。

在一更加具體示例方法中，該光感測器陣列的光感測器設置在複數個列和行中。該等光感測器的行與該光感測器陣列的長邊平行對準。藉由從相同行的複數個光感測器同時傳輸資料，該影像資料從該光感測器陣列傳輸出來(例如，一次一行或一行的一部分)。在一更加具體示例中，該方法進一步包括配置該影像處理系統，以在結合來自該第一影像捕捉裝置的影像資料與來自該第二影像捕捉裝置的影像資料之前，旋轉從該第一影像捕捉裝置接收的影像資料與從該第二影像捕捉裝置接收的影像資料。

在另一個更加具體示例中，該方法進一步包括提供一第三影像捕捉裝置，其包括一第三光感測器陣列，該第三光感測器陣列在沿著該第三光感測器陣列的長邊具有比沿著該第三光感測器陣列的短邊更多數量的光感測器。該方法同樣包括將該第三影像捕捉裝置耦合至該支撑結構， 以使該第三光感測器陣列的短邊實質上是水平的。

在另一個更加具體實施例中，該方法進一步包括提供一第四影像捕捉裝置並且將其耦合至該支撑結構，該第四影像捕捉裝置包括一第四光感測器陣列，該第四光感測器陣列在沿著該第四光感測器陣列的長邊具有比沿著該第四光感測器陣列的短邊更多數量的光感測器。將該第四影像捕捉裝置耦合至該支撑結構的方法包括將該第四影像捕捉裝置耦合至該支撑結構，以使該第四光感測器陣列的短邊實質上是水平的。

可選擇地，將該第一影像捕捉裝置、該第二影像捕捉裝置、該第三影像捕捉裝置、和/或該第四影像捕捉裝置耦合至該支撑結構的步驟包括傾斜該第一影像捕捉裝置、該第二影像捕捉裝置、該第三影像捕捉裝置、和/或該第四影像捕捉裝置以朝向稍微向上方向。

同樣揭示了一種產生全景影像的方法。該方法包括從一第一影像捕捉裝置接收影像資料；從一第二影像捕捉裝置接收影像資料；從一第三影像捕捉裝置接收影像資料；以及將來自三個影像捕捉裝置的影像資料結合的步驟。來自該第一影像捕捉裝置的影像資料表示具有兩個長邊和兩個短邊的一第一影像。來自該第二影像捕捉裝置的影像資料表示具有兩個長邊和兩個短邊的一第二影像。來自該第三影像捕捉裝置的影像資料表示具有兩個長邊和兩個短邊的一第三影像。將來自三個影像捕捉裝置的影像資料結合的步驟包括將來自該第一影像捕捉裝置、該第二影像捕捉裝置、以及該第三影像捕捉裝置的影像資料結合以沿著它們的長邊連接該第一影像、該第二影像、以及該第三影像。

一更加特別的方法包括在將來自該第一影像捕捉裝置、該第二影像捕捉裝置、以及該第三影像捕捉裝置的影像資料結合的步驟之前，在來自該第一影像捕捉裝置的影像資料、來自該第二影像捕捉裝置的影像資料、以及來自該第三影像捕捉裝置的影像資料的每一個上執行一影像旋轉操作。在一個甚至更具體的方法中，該旋轉操作連同一光學校正操作執行。

100‧‧‧攝影機系統

102‧‧‧鏡片組件

104‧‧‧影像捕捉裝置

106‧‧‧控制/影像處理電路

108‧‧‧可撓性電路基板

110‧‧‧感測器陣列

112‧‧‧影像捕捉裝置介面

114‧‧‧影像處理模組

116‧‧‧印刷電路板

200‧‧‧支撑結構

202‧‧‧基底

204‧‧‧平臂

206‧‧‧螺孔

208‧‧‧螺釘

210‧‧‧壓鉚螺母柱

212‧‧‧底部表面

214‧‧‧通孔

400‧‧‧光軸

500‧‧‧行解碼器

502‧‧‧緩衝器

504‧‧‧像素

506(0-n)‧‧‧行

508(0-m)‧‧‧列

510(0-n)‧‧‧行致能線

512(0-m)‧‧‧列取樣線

514‧‧‧電荷累積電路

516‧‧‧傳輸閘

518‧‧‧光

520‧‧‧第一節點

522‧‧‧第二節電

600‧‧‧虛線

602‧‧‧分圖

604‧‧‧影像處理模組

606‧‧‧記憶體

700‧‧‧區塊

800‧‧‧方塊圖

802‧‧‧DCPC/旋轉模組

804‧‧‧DCPC查閱表

810‧‧‧輸入影像

812‧‧‧輸出影像

900‧‧‧感測器陣列

902‧‧‧緩衝器

904‧‧‧影像處理模組

906‧‧‧記憶體

1000‧‧‧方法

1002‧‧‧第一步驟

1004‧‧‧第二步驟

1006‧‧‧第三步驟

1008‧‧‧第四步驟

1010‧‧‧第五步驟

1012‧‧‧第六步驟

1014‧‧‧第七步驟

1016‧‧‧第八步驟

1100‧‧‧流程圖

1102‧‧‧第一步驟

1104‧‧‧第二步驟

1106‧‧‧第三步驟

1108‧‧‧第四步驟

參考以下附圖說明本發明，其中同樣的元件符號實質上表示同類元件：第1圖是360度攝影機系統的組件的透視圖；第2圖是第1圖的360度攝影機系統的支撑結構的透視圖；第3圖是第1圖的360度攝影機系統的俯視圖；第4圖是第1圖的360度攝影機系統的側面剖視圖；第5圖是第1圖的360度攝影機系統的感測器陣列的示意圖；第6圖是說明第1圖的360度攝影機系統的影像資料流的圖示；第7圖是說明來自第1圖的360度攝影機系統的影像感測器的影像資料流的圖示；第8圖是第1圖的360度攝影機系統的影像資料處理流水線的方塊圖；第9圖是說明擁有具有水平行的影像捕捉裝置的替換的360度攝影機系統的影像資料流的圖示；第10圖是總結製造攝影機系統的一示例方法的流程圖；以及第11圖是總結產生全景影像的一示例方法的流程圖。

本發明藉由提供一種具有短邊實質上水平排列的影像捕捉裝置的攝影機系統而克服了與現有技術相關的問題。在一個實施例中，具有比列更長的行的影像捕捉裝置係物理地旋轉以捕捉一影像，該影像相對於影像的自然方向被旋轉90度。在另一個實施例中，具有比列更短的行的影像捕捉裝置係使用在它們自然的直立方向中。在以下說明中，為了提供本發明的透徹的理解，陳述許多具體的細節(例如，鏡片組件、影像感測器的形狀因素等)。然而，本領域技術人員認可本發明可以脫離這些具體細節實現。在其他情況下，習知的影像處理實踐的細節(例如，影像拼接、色彩校正、失真校正、像素位址映射、記憶體映射、等等)和組件已經被省略，以使本發明不被不必要地難以理解。

根據本發明的一個實施例，第1圖顯示360度攝影機系統100的各種組件的透視圖。攝影機系統100包括複數個鏡片組件102、複數 個影像捕捉裝置104、以及一控制/影像處理電路106。儘管未顯示，攝影機系統100進一步包括一外殼結構，該外殼結構支撑並且覆蓋鏡片組件102、影像捕捉裝置104、以及控制電路106。該外殼結構可以是同時的覆蓋鏡片組件102、影像捕捉裝置104、以及控制電路106的一單個結構。每個影像捕捉裝置104經由一可撓性電路基板108電性耦合至控制電路106。

或者，每個單個的鏡片組件102和各自的影像捕捉裝置104可以被覆蓋在各自單獨的外殼中，使得與影像捕捉裝置104結合的每個鏡片組件102是單個攝影機模組的一部分。在此替換實施例中，四個單個攝影機模組耦合至控制電路106。

每個鏡片組件102光學地對準於影像捕捉裝置104中相對應的一個。在示例實施例中，鏡片組件102是廣角鏡片。然而，本領域技術人員認可鏡片組件102的具體細節(例如，鏡片數量、鏡片處方、鏡片尺寸、等等)對本發明沒有特別的密切關係。

每個影像捕捉裝置104包括一感測器陣列110，在該感測器陣列110上影像被聚焦並且轉換成代表影像的數位資料。本發明的一個重要方面是每個感測器陣列110具有大於它的寬度的高度(如攝影機系統100中的定向)。在這個示例實施例中，這通過將傳統16：9長寬比的影像感測器旋轉90度而獲得，所以每個影像感測器的高度成為寬度，並且反之亦然。參考第10圖，在進一步詳細討論的替換實施例中，在對控制電路106稍微修改後，特定地具有大於寬度的高度(例如，影像捕捉裝置具有9：16的長寬比)的影像感測器同樣可以被使用。

從影像感測器讀取影像資料的電路通常被設計以從影像感測器一次讀取一行(或一部分的行)的資料。當參考列和行時，本發明將沿用該慣例。亦即，影像感測器的一行(或或一部分的行)通常包括被同時讀取的一排感測器。當各個相繼的行被致能時，影像感測器的一列通常包括被依序讀取的一排感測器。

控制電路106被操作以執行捕捉360度全景影像所必要的各種功能。如圖所示，控制電路106包括複數個影像捕捉裝置介面112和一影像處理模組114，兩者安裝在一印刷電路板(Printed Circuit Board，PCB)116上。該等影像捕捉裝置介面112促進影像捕捉裝置104和控制電路106 之間的電性通信。影像處理模組114從影像捕捉裝置104接收影像資料並且執行例如，失真校正、影像拼接、像素重映射、色彩校正等等的各種影像處理程序。

第2圖顯示用於耦合影像捕捉裝置104和PCB 116的支撑結構200的透視圖。在這個示例中，支撑結構200是一金屬板框架，該金屬板框架具有一基底202和以23.7度的角度向上折叠的複數個平臂204。基底202包括複數個螺孔206，該等螺孔206適於分別接納複數個螺釘208。每一個螺釘208與複數個壓鉚螺母柱(standoff)210之相應的一個齒合，壓鉚螺母柱210使PCB 116容易從基底202的一底部表面212以一隔開的距離安裝。每一個壓鉚螺母柱210同樣包括一螺紋端，直接地或者經由另一個壓鉚螺母柱(未顯示)，以齒合一外殼(未顯示)，該螺紋端安置穿過PCB 116(第1圖)的複數個通孔214中對應的一個。

平臂204促進影像捕捉裝置104的安裝。該影像捕捉裝置104藉由包括但不侷限於：黏合劑、螺栓、或其他機械固定件的任何合適的方法直接安裝至平臂204。或者，每個影像捕捉裝置104可以被併入一單個攝影機模組(未顯示)，單個攝影機模組的每一個被安裝至平臂204的對應的一個。除了影像捕捉裝置104之外，鏡片組件102同樣包括在替換實施例的攝影機模組中。

第3圖是攝影機系統100的俯視圖。如圖所示，每個影像捕捉裝置104設置成面向一向外方向，該向外方向與每個影像捕捉裝置104所相鄰的兩個影像捕捉裝置104的向外方向形成90度的角度。這允許各個影像捕捉裝置104和相關的鏡片組件102來捕捉360度全景影像的不同部分，不需要攝影機系統100的旋轉。因為有四個影像捕捉裝置104，每個影像捕捉裝置(至少)捕捉所獲取視角的整個360度視角的不同的90度。如圖所示，各自的影像捕捉裝置104和鏡片組件102的視野稍微重叠。當影像處理模組114結合個別影像來形成單一360度影像時，捕捉影像中的任何多餘的部分被移除。

或者，攝影機系統100可以只有三個影像捕捉裝置104和三個各自的鏡片組件102。在此情況下，三個單個影像捕捉裝置104中的每一個和相關的鏡片組件102將負責捕捉整個360度全景影像中之不同的120 度影像。

確實地，有多種方法來捕捉360度影像。現有系統使用結合一個或兩個影像捕捉裝置之昂貴的光學器件(例如，球形透鏡、190度FOV鏡片)。這樣的系統同樣難以校準和大量生產。然而，利用三個、四個或更多影像捕捉裝置顯著緩和了鏡片系統的光學上的限制並且同樣增加了系統的辨識率。因此，可以使用比較便宜的鏡片，並且校準更加簡單。

第4圖是沿第3圖的A-A線的攝影機系統100的橫截面側視圖。如圖所示，每個影像捕捉裝置104向後傾斜，以相對於水平線大約23.7度稍微朝上。因此，影像捕捉裝置104的光軸400沒有位於單一平面中。影像捕捉裝置104的傾斜提高了(亦即，增强)攝影機系統100的垂直FOV。

具有四個影像捕捉裝置的系統的以下示例實施例說明了在由攝影機系統100提供之垂直FOV中的改善。在第一個示例中，影像捕捉裝置104具有4：3長寬比並且傾斜24.4度來實現229.4度的垂直FOV。在另一個示例中，影像捕捉裝置104具有16：9長寬比並且傾斜10度來實現340度的垂直FOV。

第5圖是一個影像捕捉裝置104的示意圖。該影像捕捉裝置104包括感測器陣列110、一行解碼器500、以及一緩衝器502。

感測器陣列110包括設置在複數個行506(0-n)和複數個列508(0-m)中的複數個像素504。每個像素504包括一光學感測器並且被電性耦合至n+1行致能線510(0-n)之對應的一條和m+1列取樣線512(0-m)之對應的一條。行解碼器500電性耦合至每條行致能線510(0-n)並且根據由控制電路(未顯示)提供的控制信號操作以依序使行致能線510(0-n)上的行致能信號生效。行致能信號引起致能行的每個像素504來使一表示在列取樣線512(0-m)之相關的一條上的光强度值的信號生效。該緩衝器502同樣電性耦合至列取樣線5120至512m並且被操作以儲存由致能的像素504在列取樣線512(0-m)上生效的光强度值。

同樣提供像素504(m，0)的近視圖來代表性地說明像素504的影像捕捉過程。然而，應理解真實像素感測器的電路更加複雜並且沒有必要密切聯繫到本發明。然而，簡化的像素504(m，0)有益於說明使 單行的幾個像素504在列取樣線512上生效之各自的累積的强度值，以響應一行致能信號。像素504(m，0)包括一電荷累積電路514和傳輸閘516。該電荷累積電路514是一感光元件，其累積具有與衝擊在其上的光518的强度等比例的值的電荷。傳輸閘516包括耦合至行致能線510(0)的一第一節點520和電性耦合至列取樣線512(m)的一第二節點522。

由影像捕捉裝置104執行的影像捕捉過程概括如下。首先，電荷累積電路514根據衝擊在其上的光518的强度累積電荷。在一預定時間之後，行解碼器500使在行致能線510(0)上的行致能信號生效，行致能信號被引導至傳輸閘516的第一節點520。在第一節點520上生效的行致能信號致使傳輸閘516位於導電狀態，因此在電荷累積電路514累積的電荷在列取樣線512(m)上生效。然後，電荷與在列取樣線512₀至512_m-a上生效的電荷一起轉化成數位值(例如，被緩衝器502內部的類比至數位轉換器)，並且接著被儲存在緩衝器502中。

第6圖從硬體定位的角度說明由感測器陣列110捕捉影像資料。利用虛線600顯示感測器陣列110(見第1圖)的物理定向，來表明它們的高度大於它們的寬度。然而，從硬體的角度，每個分圖602顯示具有大於高度的寬度。這是因為影像捕捉裝置104從形狀因素通常意圖所用的方向係實際上旋轉了90度。尤其，感測器陣列110在每列中比在每行中包括更多的像素，並且如上文所述，感測器資料基於行至行的基準而被讀取。因此，物理旋轉攝影機系統100中的感測器陣列110不會改變從硬體角度所看到的“行”。

以下摘要通過影像捕捉裝置104捕捉360度影像(山丘的簡單影像)。每個感測器陣列110將複數個行影像資料提供到各自的緩衝器502中。複數個行影像資料實際代表複數個列物理影像，因為影像陣列110被物理上旋轉了90度。然後，一影像處理模組604從緩衝器502接收資料，並且利用影像處理技術處理所接收的資料。影像處理技術包括但不侷限於：色彩校正、失真校正、透視校正、和/或色差校正。影像資料同樣在影像處理模組604中經歷一旋轉處理，藉此像素位址重新映射到重定向的影像資料。亦即，影像(在硬體的角度中是向側面的)旋轉90度來對應感測器陣列110的物理定向。一旦像素位址被重新映射，四張影像602拼接在 一起(利用傳統的影像拼接處理)以形成一360度全景影像並且被加載到一記憶體606中。

第7圖從硬體的角度說明由一個影像捕捉裝置104捕捉影像資料。如在特寫中所示，在感測器陣列110、緩衝器502、以及記憶體606中顯示的每個區塊700代表以8×8塊像素504儲存的多位元强度值。在區塊700中的字母代表對應於在那個特定塊中儲存的影像資料的影像。

為了解釋從感測器陣列110到記憶體606的資料流，將說明從感測器陣列110包含字母A的區塊700到記憶體606的資料流。第一個八個像素行506(0-7)加載到緩衝器502。此時，字母在硬體角度中仍然顯示為側向。然後，影像處理模組604處理並且“旋轉”影像資料。在這個特定示例中，像素的每個區塊700重映射到記憶體606的不同位置並且然後通過改變區塊內的像素/記憶體地址旋轉90度。例如，包含字母A的區塊700位於感測器陣列110中的區塊地址700(0，8)，但是重映射到記憶體606中的區塊地址700(8，15)。除了重映射的區塊700，組成區塊700的64個像素值在區塊中重改地址以將影像逆時針方向旋轉90度。總之，影像處理模組604對影像資料執行光學處理，將每個區塊700重改地址，以及同樣將區塊700內的像素值重改地址，以使它們逆時針方向旋轉90度顯示。結合影像處理操作和重定位/旋轉操作，縮減所需的記憶體存取周期，以使在單個記憶體存取周期期間可以執行兩個功能。

第8圖是更加詳細地顯示影像處理模組604的方塊圖800。影像處理模組604包括一失真校正/透視校正(Distortion Correction/Perspective Correction，DCPC)/旋轉模組802和一DCPC查閱表(Look Up Table，LUT)804。DCPC/旋轉模組802接收具有一16：9長寬比的輸入影像810(一次一塊)並且同時在輸入資料的每個區塊上執行DCPC處理和影像旋轉以產生具有9：16長寬比之校正的並且旋轉的輸出影像。尤其，DCPC/旋轉模組802使用每個像素的强度值和像素位址以在DCPC LUT 804中查找新强度值和新像素位址。新强度值和新像素位址是DCPC校正的、旋轉的影像資料，其一次輸出8×8個像素的一個區塊到記憶體606以產生輸出影像812。在單個模組802中之校正和旋轉功能的結合縮減了影像處理模組604的內部記憶體要求並且縮減了需要來完成影像資料的處理和旋轉的記 憶體存取周期的數量。

第9圖是說明根據本發明另一個實施例之通過複數個感測器陣列900捕捉並且處理影像資料。在這個特定實施例中，攝影機系統100中的感測器陣列110被替換為感測器陣列900。感測器陣列900類似於感測器陣列110，除了感測器陣列900的行比感測器陣列900的列具有較少的像素。例如，每個影像感測器陣列900被製造為具有原始的9：16長寬比。因此，感測器陣列900的物理定向與感測器陣列900的硬體方向相同，因此沒有必要重映射(即，旋轉)由感測器陣列900捕捉的影像資料。換言之，在感測器陣列900中的像素/光感測器的行定向成平行感測器陣列900的短邊緣，當安裝在攝影機系統100中時，其實質上是水平的。

感測器陣列900的影像捕捉過程概括如下。影像資料從感測器陣列900一次一整行或一行中的一部分依序傳輸到對應組的緩衝器902。每個影像處理模組904在緩衝的影像資料上執行DCPC處理並且然後將處理的影像資料加載到記憶體906的預定部分，因為感測器陣列900具有9：16的長寬比，必然沒有影像資料的重映射/旋轉。

第10圖是總結製造攝影機系統的示例方法1000的流程圖。在第一步驟1002中，提供一支撑結構。然後，在第二步驟1004中，提供具有光感測器陣列的一第一影像捕捉裝置。光感測器陣列沿著陣列的長邊具有比沿著陣列的短邊更多數量的光感測器。接下來，在第三步驟1006中，將該第一影像捕捉裝置耦合至支撑結構，陣列的短邊實質上是水平的。然後，在第四步驟1008中，提供具有光感測器陣列的一第二影像捕捉裝置。第二光感測器陣列沿著陣列的長邊同樣具有比沿著陣列的短邊更多數量的光感測器。接下來，在第五步驟1010中，將該第二影像捕捉裝置耦合至支撑結構，該第二影像捕捉裝置的陣列的短邊實質上是水平的。然後，在第六步驟1012中，耦合一鏡片系統以在該第一影像捕捉裝置的光感測器陣列上聚焦一第一影像並且在該第二影像捕捉裝置的光感測器陣列上聚焦一第二影像。接下來，在第七步驟1014中，耦合一影像處理系統以從該第一影像捕捉裝置和該第二影像捕捉裝置分別接收代表第一影像和第二影像的影像資料。在第八步驟1016中，配置該影像處理系統以與影像資料沿著第一影像和第二影像的長邊結合第一影像和第二影像來產生一單一影像。方法 1000的步驟可以以任何方便的順序執行。

第11圖是概括產生全景影像的示例方法的流程圖1100。在第一步驟1102中，從第一影像捕捉裝置接收代表具有兩個長邊和兩個短邊的一第一影像的影像資料。然後，在第二步驟1104中，從第二影像捕捉裝置接收代表具有兩個長邊和兩個短邊的一第二影像的影像資料。接下來，在第三步驟1106中，從第三影像捕捉裝置接收代表具有兩個長邊和兩個短邊的一第三影像的影像資料。然後，在第四步驟1108中，將來自第一影像捕捉裝置、第二影像捕捉裝置、以及第三影像捕捉裝置的影像資料結合以沿著它們的長邊連接第一影像、第二影像、以及第三影像。

在某些實施例中，方法1000另外包括影像資料旋轉處理，影像資料旋轉過程在影像資料結合之前在代表第一、第二和第三影像的每一個的影像資料上執行。旋轉處理和/或DCPC處理可以平行執行(例如，一單獨處理器用於每個影像捕捉裝置)或連續的執行(例如，一單個處理器依序校正/旋轉全部影像捕捉裝置的影像資料)。

現在完成了本發明特定實施例的說明。在不脫離本發明的範圍下，許多敘述的特徵可以替換、改變或省略。例如，具有不同數量的影像感測器(例如，三、五、或更多)的攝影機系統可以替換為在此說明的四個影像感測器攝影機系統。正如另一個示例，具有不同長寬比的影像感測器同樣可以用來代替16：9長寬比的影像感測器。從顯示的特定實施例的這些和其他差異對本領域技術人員顯而易見，尤其鑒於前述發明。

100‧‧‧攝影機系統

102‧‧‧鏡片組件

104‧‧‧影像捕捉裝置

106‧‧‧控制/影像處理電路

108‧‧‧可撓性電路基板

110‧‧‧感測器陣列

112‧‧‧影像捕捉裝置介面

114‧‧‧影像處理模組

116‧‧‧印刷電路板

214‧‧‧通孔

Claims (25)

1. 一種攝影機系統，包括：一支撑結構；一第一影像捕捉裝置，該第一影像捕捉裝置包括一光感測器陣列，該光感測器陣列在沿著該光感測器陣列的一長邊上具有比在沿著該光感測器陣列的一短邊上更多數量的光感測器，該第一影像捕捉裝置被耦合至該支撑結構，以使該光感測器陣列的該短邊實質上是水平的；一第二影像捕捉裝置，該第二影像捕捉裝置包括一第二光感測器陣列，該第二光感測器陣列在沿著該第二光感測器陣列的一長邊上具有比在沿著該第二光感測器陣列的一短邊上更多數量的光感測器，該第二影像捕捉裝置被耦合至該支撑結構，以使該第二光感測器陣列的該短邊實質上是水平的；一鏡片系統，被耦合以在該第一影像捕捉裝置的該光感測器陣列上聚焦一第一影像，並且以在該第二影像捕捉裝置的該第二光感測器陣列上聚焦一第二影像；以及一影像處理系統，被電性耦合以從該第一影像捕捉裝置接收代表該第一影像的影像資料，並且以從該第二影像捕捉裝置接收代表該第二影像的影像資料，該第一影像具有對應於該光感測器陣列的該長邊的一長邊和對應於該光感測器陣列的該短邊的一短邊，該第二影像具有對應於該第二光感測器陣列的該長邊的一長邊和對應於該第二光感測器陣列的該短邊的一短邊，該影像處理系統被操作以藉由沿著該第一影像和該第二影像的該等長邊結合從該第一影像捕捉裝置接收的該影像資料與從該第二影像捕捉裝置接收的該影像資料，產生代表一單一影像的影像資料。
2. 依據申請專利範圍第1項所述的攝影機系統，其中：該光感測器陣列的該光感測器設置在複數個列和行中；該光感測器的該等行與該光感測器陣列的該短邊平行地對準；以及藉由從相同行的複數個光感測器同時傳輸資料，影像資料從該光感測器陣列傳輸出來。
3. 依據申請專利範圍第1項所述的攝影機系統，其中：該光感測器陣列的該光感測器設置在複數個列和行中；該光感測器的該等行與該光感測器陣列的該長邊平行地對準；以及藉由從相同行的複數個光感測器同時傳輸資料，影像資料從該光感測器陣列傳輸出來。
4. 依據申請專利範圍第3項所述的攝影機系統，其中該影像處理系統包括一影像旋轉模組。
5. 依據申請專利範圍第4項所述的攝影機系統，其中：該影像處理系統包括一光學校正模組；以及該影像旋轉模組被包含在該光學校正模組中。
6. 依據申請專利範圍第5項所述的攝影機系統，其中光學校正模組執行失真校正和透視校正中的至少一個。
7. 依據申請專利範圍第5項該的攝影機系統，其中該光學校正模組在一單一個記憶體存取周期期間執行光學校正和影像旋轉。
8. 依據申請專利範圍第1項所述的攝影機系統，其中該鏡片系統包括：一第一鏡片組件，其與該第一影像捕捉裝置的該光感測器陣列光學地對準；以及一第二鏡片組件，其與該第二影像捕捉裝置的該第二光感測器陣列光學地對準。
9. 依據申請專利範圍第1項所述的攝影機系統，進一步包括一第三影像捕捉裝置，其包括一第三光感測器陣列，該第三光感測器陣列在沿著該第三光感測器陣列的一長邊上具有比在沿著該第三光感測器陣列的一短邊上更多數量的光感測器，該第三影像捕捉裝置被耦合至該支撑結構，以使該第三光感測器陣列的該短邊實質上是水平的。
10. 依據申請專利範圍第9項所述的攝影機系統，其中該第一影像捕捉裝置被操作以捕捉由該攝影機系統捕捉的一360度全景影像的一第一個120度；該第二影像捕捉裝置被操作以捕捉由該攝影機系統捕捉的該360度全景影像的一第二個120度；以及該第三影像捕捉裝置被操作以捕捉由該攝影機系統捕捉的該360度全景影像的一第三個120度。
11. 依據申請專利範圍第9項所述的攝影機系統，其中該第一影像捕捉裝置、該第二影像捕捉裝置、以及該第三影像捕捉裝置的頂邊係朝向彼此地傾斜，以使該第一影像捕捉裝置的一光軸、該第二影像捕捉裝置的一光軸、以及該第三影像捕捉裝置的一光軸相對於彼此係非平面的。
12. 依據申請專利範圍第9項所述的攝影機系統，進一步包括一第四影像捕捉裝置，該第四影像捕捉裝置包括一第四光感測器陣列，該第四光感測器陣列在沿著該第四光感測器陣列的一長邊上具有比在沿著該第四光感測器陣列的一短邊上更多數量的光感測器，該第四影像捕捉裝置被耦合至該支撑結構，以使該第四光感測器陣列的該短邊實質上是水平的。
13. 依據申請專利範圍第12項所述的攝影機系統，其中：該第一影像捕捉裝置被操作以捕捉由該攝影機系統捕捉的一360度全景影像的一第一個90度；該第二影像捕捉裝置被操作以捕捉由該攝影機系統捕捉的該360度全景影像的一第二個90度；該第三影像捕捉裝置被操作以捕捉由該攝影機系統捕捉的該360度全景影像的一第三個90度；以及該第四影像捕捉裝置被操作以捕捉由該攝影機系統捕捉的該360度全景影像的一第四個90度。
14. 依據申請專利範圍第12項所述的攝影機系統，其中：該影像處理系統被電性耦合以從該第三影像捕捉裝置接收代表一第三影像的影像資料，該第三影像具有對應於該第三光感測器陣列的該長邊的一長邊和對應於該第三光感測器陣列的該短邊的一短邊；該影像處理系統被電性耦合以從該第四影像捕捉裝置接收代表一第四影像的影像資料，該第四影像具有對應於該第四光感測器陣列的該長邊的一長邊和對應於該第四光感測器陣列的該短邊的一短邊；以及該影像處理系統被操作以藉由沿著該第二影像的一第二長邊和該第三影像的一長邊結合從該第二影像捕捉裝置接收的該影像資料與從該第三影像捕捉裝置接收的該影像資料、藉由沿著該第三影像的一第二長邊和該第四影像的一長邊結合從該第三影像捕捉裝置接收的該影像資料與從該第四影像捕捉裝置接收的該影像資料、以及藉由沿著該第四影像的一第二長邊和該第一影像的一第二長邊結合從該第四影像捕捉裝置接收的該影像資料與從該第一影像捕捉裝置接收的該影像資料，產生代表一單一影像的該影像資料。
15. 依據申請專利範圍第9項所述的攝影機系統，其中：該影像處理系統被電性耦合以從該第三影像捕捉裝置接收代表一第三影像的影像資料，該第三影像具有對應於該第三光感測器陣列的該長邊的一長邊和對應於該第三光感測器陣列的該短邊的一短邊；該影像處理系統被操作以藉由沿著該第二影像的一第二長邊和該第三影像的一長邊結合從該第二影像捕捉裝置接收的該影像資料與從該第三影像捕捉裝置接收的該影像資料、以及藉由沿著該第三影像的一第二長邊和該第一影像的一第二長邊結合從該第三影像捕捉裝置接收的該影像資料與從該第一影像捕捉裝置接收的該影像資料，以產生代表一單一影像的該影像資料。
16. 依據申請專利範圍第12項所述的攝影機系統，其中：該攝影機系統具有至少一360度的水平視野；以及該攝影機系統具有至少一200度的垂直視野。
17. 一種製造攝影機系統的方法，該方法包括：提供一支撑結構；提供一第一影像捕捉裝置，該第一影像捕捉裝置包括一光感測器陣列，該光感測器陣列在沿著該光感測器陣列的一長邊具有比在沿著該光感測器陣列的一短邊更多數量的光感測器；將該第一影像捕捉裝置耦合至該支撑結構，以使該光感測器陣列的該短邊實質上是水平的；提供一第二影像捕捉裝置，該第二影像捕捉裝置包括一第二光感測器陣列，該第二光感測器陣列在沿著該第二光感測器陣列的一長邊具有比在沿著該第二光感測器陣列的一短邊更多數量的光感測器；將該第二影像捕捉裝置耦合至該支撑結構，以使該第二光感測器陣列的該短邊實質上是水平的；耦合一鏡片系統，以在該第一影像捕捉裝置的該光感測器陣列上聚焦一第一影像，並且在該第二影像捕捉裝置的該第二光感測器陣列上聚焦一第二影像；電性耦合一影像處理系統，以從該第一影像捕捉裝置接收代表該第一影像的影像資料，並且從該第二影像捕捉裝置接收代表該第二影像的影像資料，該第一影像具有對應於該光感測器陣列的該長邊的一長邊和對應於該光感測器陣列的該短邊的一短邊，該第二影像具有對應於該第二光感測器陣列的該長邊的一長邊和對應於該第二光感測器陣列的該短邊的一短邊；以及配置該影像處理系統，以藉由沿著該第一影像和該第二影像的該等長邊結合從該第一影像捕捉裝置接收的該影像資料與從該第二影像捕捉裝置接收的該影像資料，產生代表一單一影像的影像資料。
18. 依據申請專利範圍第17項所述之製造攝影機系統的方法，其中：該光感測器陣列的該光感測器設置在複數個列和行中；該光感測器的該行與該光感測器陣列的該長邊平行地對準；以及 藉由從相同行的複數個光感測器同時傳輸資料，影像資料從該光感測器陣列傳輸出來。
19. 依據申請專利範圍第17項所述之製造攝影機系統的方法，進一步包括配置該影像處理系統，以在結合來自該第一影像捕捉裝置的該影像資料與來自該第二影像捕捉裝置的該影像資料之前旋轉從該第一影像捕捉裝置接收的該影像資料與從該第二影像捕捉裝置接收的該影像資料。
20. 依據申請專利範圍第17項所述之製造攝影機系統的方法，進一步包括：提供一第三影像捕捉裝置，包括一第三光感測器陣列，該第三光感測器陣列在沿著該第三光感測器陣列的一長邊具有比在沿著該第三光感測器陣列的一短邊更多數量的光感測器；以及將該第三影像捕捉裝置耦合至該支撑結構，以使該第三光感測器陣列的該短邊實質上是水平的。
21. 依據申請專利範圍第17項所述之製造攝影機系統的方法，進一步包括：提供一第四影像捕捉裝置，該第四影像捕捉裝置包括一第四光感測器陣列，該第四光感測器陣列在沿著該第四光感測器陣列的一長邊具有比在沿著該第四光感測器陣列的一短邊更多數量的光感測器；以及將該第四影像捕捉裝置耦合至該支撑結構，以使該第四光感測器陣列的該短邊實質上是水平的。
22. 依據申請專利範圍第17項所述之製造攝影機系統的方法，其中將該第一影像捕捉裝置和該第二影像捕捉裝置耦合至該支撑結構的步驟包括將該第一影像捕捉裝置和該第二影像捕捉裝置傾斜，以朝向一向上方向。
23. 一種產生全景影像的方法，該方法包括： 從一第一影像捕捉裝置接收影像資料，來自該第一影像捕捉裝置的該影像資料表示具有兩個長邊和兩個短邊的一第一影像；從一第二影像捕捉裝置接收影像資料，來自該第二影像捕捉裝置的該影像資料表示具有兩個長邊和兩個短邊的一第二影像；從一第三影像捕捉裝置接收影像資料，來自該第三影像捕捉裝置的該影像資料表示具有兩個長邊和兩個短邊的一第三影像；將來自該第一影像捕捉裝置、該第二影像捕捉裝置、以及該第三影像捕捉裝置的該等影像資料結合，以沿著它們的長邊連接該第一影像、該第二影像、以及該第三影像。
24. 依據申請專利範圍第23項所述之產生全景影像的方法，進一步包括在將來自該第一影像捕捉裝置、該第二影像捕捉裝置、以及該第三影像捕捉裝置的該等影像資料結合的該步驟之前，在來自該第一影像捕捉裝置的該影像資料、來自該第二影像捕捉裝置的該影像資料、以及來自該第三影像捕捉裝置的該影像資料的每一個上執行一影像旋轉操作。
25. 依據申請專利範圍第24項所述之產生全景影像的方法，其中該旋轉操作與一光學校正操作連同執行。