TW201410015A - 多攝影機的整合處理系統及其方法 - Google Patents

Abstract

一種多攝影機的整合處理系統及其方法，該整合處理系統包括第一攝影機、第二攝影機與控制模組。第一攝影機拍攝第一影像；第二攝影機拍攝第二影像；控制模組連接於第一攝影機與第二攝影機，並接收第一影像與第二影像；控制模組從第一影像與第二影像中分別選取至少三個相應位置的參考點；控制模組從第一影像中選取觀看目標，控制模組根據參考點計算一組座標轉換參數，控制模組根據座標數轉換參數計算觀看目標在第二影像中的位置，控制模組調整第二攝影機的拍攝視野，使第二攝影機拍攝觀看目標。

Description

多攝影機的整合處理系統及其方法

一種多台電子設備的整合系統與方法，特別有關於一種多攝影機的整合處理系統及其方法。

隨著監控設備的普及化，越來越多人會裝設監控設備來保障自身的財產與人身安全。為能無死角的監控，因此有廠商提出可全景(panorama)拍攝的攝影機。而全景攝影機的實現方式可以由多組鏡頭所接合而成，也可以利用以單一個魚眼鏡頭(fisheye lens)而實現。全景拍攝的優點在於可以全方位且無死角的方式觀看所拍攝的數位影像。

雖然全景攝影機具有廣角度拍攝的優點，但由於全景攝影機無法進行光學變焦的處理。所以觀看者無法從全景影像中的任一觀看目標進行影像的縮放處理。雖然全景攝影機可以透過數位變焦的方式，對觀看目標進行影像的縮放。但這樣的處理方式僅是利用像素的插補處理，所以經過數位變焦後的影像解析度會大幅下降，使得數位影像會有成像品質不佳的問題。若是在離全景攝影機較遠的地方發生事故時，觀看者較難從全景影像中觀看到清晰的觀看目標。

相較於全景攝影機而言，迴轉變焦攝影機(pan-tilt-zoom,PTZ)可以進行光學變焦的處理。因此迴轉變焦攝影機可以拉近(zoom in)拍攝視野，使得遠處的觀看目標可以被放大。但迴轉變焦攝影 機的拍攝視野則小於全景攝影機的拍攝視野。所以US7,990,422與US7,479,979提出利用一台全景攝影機搭配另一台迴轉變焦攝影機拍攝相同場景。

但是由於不同位置的攝影機的視角不可能完全一致，若以環境中某一全景攝影機的觀點驅動該環境中另一迴轉變焦攝影機時，視野會出現誤差。故習知的攝影機架設方式，需要將兩台攝影機以儘量靠近彼此的方式進行架設來緩和上述問題。

鑒於以上的問題，本發明在於提供一種多攝影機的整合處理系統，將不同拍攝視野的攝影機整合，對相同觀看目標做連動處理。

本發明所揭露之多攝影機的整合處理系統包括第一攝影機、第二攝影機與控制模組。第一攝影機拍攝第一影像；第二攝影機拍攝第二影像，第一影像的拍攝範圍至少部分涵蓋第二影像的拍攝範圍；第二攝影機對不同視角下的第二影像進行全景接圖，並得到全景影像；控制模組接收第一影像與全景影像；控制模組從第一影像與全景影像中分別選取至少三個相應位置的參考點；控制模組從第一影像中選取觀看目標；控制模組選取鄰近觀看目標的三個參考點進行第一影像對第二影像的仿射轉換參數計算運算並得到轉換參數；控制模組根據轉換參數進行仿射轉換處理計算觀看目標於全景影像中的位置；控制模組調整第二攝影機所拍攝範圍，使第二攝影機拍攝觀看目標。

本發明另提出一種整合多攝影機的處理方法包括以下步驟：分別由第一攝影機拍攝第一影像，第二攝影機拍攝第二影像，且第一影像的拍攝視野至少部分涵蓋第二影像的拍攝視野；對不同視角下的第二影像進行全景接圖，並得到全景影像；從第一影像與全景影像中分別選取至少三個相應位置的參考點；從第一影像中選取觀看目標；選取鄰近觀看目標的三個參考點進行第一影像對第二影像的仿射轉換參數計算運算並得到轉換參數；根據轉換參數進行仿射轉換處理計算觀看目標於全景影像中的位置；調整第二攝影機所拍攝視野，使第二攝影機拍攝觀看目標。

本發明所提出的多攝影機的整合處理系統及其方法係應用在多台不同拍攝視野的攝影機，使得多台攝影機可以同步的對同一觀看目標連動的拍攝。

有關本發明的特徵與實作，茲配合圖式作最佳實施例詳細說明如下。

請參考第1圖所示，其係為本發明之架構示意圖。本發明的多攝影機的整合處理系統包括：第一攝影機110、第二攝影機120與控制模組130。第一攝影機110拍攝第一影像111，第二攝影機120拍攝第二影像121。第一攝影機110的種類係為魚眼攝影機或全景攝影機或廣角攝影機，本實施例以魚眼攝影機為例，因此第一影像111係為全景影像(或稱為魚眼影像，請參考第2A圖)。一般而言，全景影像可以涵蓋360度的拍攝視野。第二攝影機120 係為迴轉變焦攝影機或具有數位迴轉變焦之攝影機，且第二攝影機120拍攝第二影像121。而第二影像121的成像請參考第2B圖。第二攝影機120可進行光學變焦(或數位變焦)與調整拍攝視野的處理。利用習知的演算法(如全景接圖panorama stitching)可以將不同視野下的第二影像121接圖成為全景影像122，如第2C圖所示。基本上，第一影像111的拍攝視野至少涵蓋部分全景影像122的拍攝視野。對於第一影像111的拍攝視野沒有涵蓋全景影像122的拍攝視野的情況，在本發明中則不進行相應的處理。

第一攝影機110與第二攝影機120的架設方式除了可以將兩台攝影機設置於相鄰的位置，也可以將第一攝影機110與第二攝影機120以相隔一定距離的方式架設。其中，第一攝影機110所拍攝的視野至少需涵蓋第二攝影機120所拍攝的部分視野。以在同一房間中為例，第一攝影機110可與第二攝影機120並列的設置於相鄰位置，如第2D圖所示。此外，也可以將第一攝影機110與第二攝影機120設置於房間中的不同位置，如第2E圖所示。

控制模組130可以透過個人電腦、網路影像記錄器(network video recorder，DVR)、嵌入式系統(embedded system)或具有計算能力的電子裝置所實現。控制模組130具有處理單元131、儲存單元132、第一訊號輸入單元133、第二訊號輸入單元134、訊號輸出單元135與顯示單元136。

處理單元131連接於儲存單元132、第一訊號輸入單元133、第二訊號輸入單元134、訊號輸出單元135與顯示單元136。儲存 單元132記錄第一影像111、第二影像121、全景影像122、仿射轉換處理程序141與連動整合程序142，此外儲存單元132也可以選擇性的儲存移動偵測(motion detection)處理程序或物體偵測(object detection)程序。第一訊號輸入單元133連接於第一攝影機110與第二攝影機120，用以接收第一影像111、第二影像121與全景影像122。第一訊號輸入單元133的連接端子數量並無限定，在第1圖中僅以單一個表示並非其數量限制。

第二訊號輸入單元134接收一操作指令，用以選擇一觀看目標。在本發明中為明確定義所進行拍攝的物件，所以將其定義為觀看目標。該操作指令係由使用者手動下達或由控制模組本身依移動偵測或物體偵測的結果自動下達或由其他外部電子計算裝置下達。訊號輸出單元135連接於第二攝影機120，訊號輸出單元135向第二攝影機120發出調整拍攝視野的驅動指令。雖然本發明中係將訊號輸出單元135與第一訊號輸入單元133劃分為兩個獨立元件，但對於本領域者可以根據本發明所述內容將其結合。類似地，雖然本發明中係將訊號輸出單元135與第二訊號輸入單元134劃分為兩個獨立元件，但對於本領域者可以根據本發明所述內容將其結合。顯示單元136用以播放第一影像111與第二影像121，藉以提供使用者觀看。

在第一攝影機110與第二攝影機120連接於控制模組130後，處理單元131將根據第一影像111與第二影像121執行攝影機的連動整合程序142。請參考第3A圖所示，其係為本發明之運作流 程示意圖。本發明的多攝影機的連動整合程序包括以下步驟：步驟S310：分別由第一攝影機拍攝第一影像，第二攝影機拍攝第二影像；步驟S320：對不同視角的第二影像進行全景接圖，並得到全景影像；步驟S330：從第一影像與全景影像中分別選取至少三個相應位置的參考點；步驟S340：再從第一影像中選取觀看目標；步驟S350：選取最接近觀看目標的三個參考點進行第一影像對第二影像的仿射轉換參數計算運算並得到轉換參數；步驟S360：根據轉換參數進行仿射轉換處理計算觀看目標於全景影像中的位置；以及步驟S370：調整第二攝影機所拍攝視野，使第二攝影機拍攝觀看目標。

首先，分別由第一攝影機110拍攝第一影像111，第二攝影機120拍攝第二影像121。第二攝影機120運用習知的演算法(如全景接圖panorama stitching)對不同視角下的第二影像121進行全景接圖，以得到全景影像122，請參考第3B、3C與3D圖所示，其係為本發明的部分的影像接合示意圖。在第3B圖與第3C圖中分別拍攝了不同視角的第二影像121，而這些第二影像121所涵蓋的視角均為相鄰的背景。為凸顯所拍攝的多張第二影像121是相 鄰的背景，因此在第二影像121中會有部分的區域是重疊的。在第3B圖與第3C圖中的左邊是所拍攝的第二影像121，意即未經過變形處理的影像。第3B圖與第3C圖中的右邊是經過扭曲處理的影像。第一影像111係由魚眼鏡頭或廣角鏡所拍攝的影像，因此第二影像121需要進行扭曲處理才能進行全景接圖的處理。

全景接圖(Panorama)用以將第二攝影機120所拍攝的多張第二影像121進行拼接。一般而言，全景接圖的方式可以根據多張第二影像121中的多組特徵點(feature)進行接合，兩第二影像121可以在合併時可以場景或物件來進行對接的依據。第二影像121經過扭曲後會進行拼接的處理，如第3D圖所示。經過前述的拼接處理後，可以得到部分的全景接圖。同理，對於第一影像111中的其他區域，第二攝影機120可以進行拍攝並進行相應的處理。最後，將其他第二影像121也進行前述的拼接處理後可以得到第3E圖的全景影像122。

控制模組130接收第一影像111與全景影像122。在第一影像111與全景影像122中找出相同位置的參考點。而選取參考點的方式除了可以由使用者自行選擇外，也可以透過特徵點抽取與辨識比對技術(feature point extraction and matching)找出第一影像111與全景影像122中相同的對應點位置，請參考第4圖所示。因此本發明的第一影像111的拍攝視野需涵蓋至少部分的全景影像122的拍攝視野。接下來，本發明可以由使用者從兩影像對於同時涵蓋的區域中選取多個參考點。一般而言，本發明對於參考點的數 量需要至少三個以上。

為清楚說明在不同影像中所選出的參考點，因此對第一影像111中所選出的參考點的集合定義為第一組參考點410；而全景影像122中所選出的參考點的集合為第二組參考點420。而第一組參考點410的數量等同於第二組參考點420的數量。

接下來，從第一影像中選取觀看目標。系統可透過移動偵測等方式自動選取觀看目標或由使用者手動選取。處理單元131根據第一組參考點410與第二組參考點420進行仿射轉換處理程序141，用以計算第一影像111與第二影像121間的座標轉換參數。本發明的仿射轉換處理係根據下式進行運算：

其中，(X_i，Y_i)為第一影像111的參考點之座標，(X_o，Y_o)為第二影像121的參考點之座標，(a₁，a₂，a₃，b₁，b₂，b₃)為該轉換參數。

處理單元131選擇鄰近觀看目標的三個參考點，在本實施例中係與觀看目標距離最短的三個參考點，但並不以此為限。參考點的選取越接近，越能完整呈現轉換後的影像。反之，若參考點的選取距離越遠時，畫面的呈現可能會有較大的誤差。處理單元131將第一組參考點410與第二組參考點420的三個頂點座標帶入仿射變換的式1中。如此一來，處理單元131可以得到六元一次 方程組。處理單元131在根據方程式解出所有的(六個)轉換參數。而處理單元131根據這些轉換參數計算第一影像的觀看目標位置映射(mapping)到全景影像122的對應位置。並在第4圖中的第一影像選取觀看目標(係以星狀符號表示)。請參考第4圖所示，其係為本發明的第一影像與全景影像的參考點選擇示意圖。處理單元131從第一影像111與全景影像122中選擇三個參考點(在第4圖中所圈選處，而對應的像素位置則以虛線線段表示)。

處理單元131根據轉換資訊計算該觀看目標在第二影片中的對應位置。接著，處理單元131根據前述的計算結果，調整第二攝影機120所觀看的拍攝視野。換言之，處理單元131會調整第二攝影機120的拍攝視野為以觀看目標為中心。

觀看者只要從第一影像111中選擇任一觀看目標，若該目標所在區域有相應的轉換資訊，控制模組130將會調整第二攝影機120拍攝該觀看目標。或者，在處理單元131執行移動偵測程序的期間中，若偵測到第一影像111中有任意影像物件移動時，處理單元131判斷被偵測到的物件位於第一影像111的位置並判斷物件的所在位置是否有相應的轉換資訊。若該物件的位置存在轉換資訊時，處理單元131驅動第二攝影機120進行觀看。

本發明所提出的多攝影機的整合處理系統及其方法係應用在多台不同拍攝視野的攝影機，使得多台攝影機可以同步的對同一觀看目標連動的拍攝。

雖然本發明以前述之較佳實施例揭露如上，然其並非用以限 定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

110‧‧‧第一攝影機

111‧‧‧第一影像

120‧‧‧第二攝影機

121‧‧‧第二影像

122‧‧‧全景影像

130‧‧‧控制模組

131‧‧‧處理單元

132‧‧‧儲存單元

133‧‧‧第一訊號輸入單元

134‧‧‧第二訊號輸入單元

135‧‧‧訊號輸出單元

136‧‧‧顯示單元

141‧‧‧仿射轉換處理程序

142‧‧‧連動整合程序

410‧‧‧第一組參考點

420‧‧‧第二組參考點

第1圖係為本發明之架構示意圖。

第2A圖係為本發明之第一影像的畫面示意圖。

第2B圖係為本發明之第二影像的畫面示意圖。

第2C圖係為本發明之第二影像的接圖結果示意圖。

第2D圖係為本發明之第一攝影機與第二攝影機的架設示意圖。

第2E圖係為本發明之第一攝影機與第二攝影機的另一種架設示意圖。

第3A圖係為本發明之運作流程示意圖。

第3B圖係為本發明之第二影像的部分的接圖過程示意圖。

第3C圖係為本發明之第二影像的部分的接圖結果示意圖。

第3D圖係為本發明之第二影像的部分的接圖結果示意圖。

第3E圖係為本發明之第二影像的接圖結果示意圖。

第4圖係為本發明的第一影像與第二影像的參考點選擇示意圖。

110‧‧‧第一攝影機

120‧‧‧第二攝影機

130‧‧‧控制模組

131‧‧‧處理單元

132‧‧‧儲存單元

133‧‧‧第一訊號輸入單元

134‧‧‧第二訊號輸入單元

135‧‧‧訊號輸出單元

136‧‧‧顯示單元

141‧‧‧仿射轉換處理程序

142‧‧‧連動整合程序

Claims (11)

1. 一種多攝影機的整合處理系統，其係包括：一第一攝影機，用以拍攝一第一影像；一第二攝影機，用以拍攝一第二影像，該第一攝影機電性連接於該第二攝影機，該第一影像的拍攝視野至少部分涵蓋該第二影像的拍攝視野；以及一控制模組，該控制模組接收該第一影像與該第二影像，該控制模組從該第一影像與該第二影像中分別選取至少三個相應位置的一參考點，該控制模組從該第一影像中選取一觀看目標，該控制模組根據該觀看目標與數個該參考點計算一組座標轉換參數，根據該組座標轉換參數進行一座標轉換並計算該觀看目標於該第二影像中的位置，該控制模組調整該第二攝影機所拍攝視野用以拍攝該觀看目標。
2. 如請求項1所述之多攝影機的整合處理系統，其中該座標轉換係為仿射轉換，根據下式進行運算： X_i、Y_i為該第一影像的該參考點之座標，X_o、Y_o為該第二影像的該參考點之座標，a₁、a₂、a₃、b₁、b₂、b₃為該座標轉換參數。
3. 如請求項1所述之多攝影機的整合處理系統，其中該第一攝影機係為魚眼攝影機或全景攝影機或廣角攝影機。
4. 如請求項1所述之多攝影機的整合處理系統，其中該第二攝影機係為迴轉變焦攝影機(pan-tilt-zoom,PTZ)或具有數位迴轉變焦功能之攝影機。
5. 如請求項1所述之多攝影機的整合處理系統，其中該第二攝影機將多個不同拍攝視野的該第二影像進行全景接圖，並產生一全景影像，並以該全景影像輸出為該第二影像。
6. 如請求項1所述之多攝影機的整合處理系統，其中該控制模組依據移動偵測處理(motion detection)的結果、物件偵測處理(obiect detection)的結果或由使用者決定該觀看目標。
7. 如請求項1所述之多攝影機的整合處理系統，其中數個該參考點係與該觀看目標距離最短的三個該些參考點。
8. 一種多攝影機的整合處理方法，其係包括以下步驟：分別由一第一攝影機拍攝一第一影像，一第二攝影機拍攝一第二影像，且該第一影像的拍攝視野至少部分涵蓋該第二影像的拍攝視野；從該第一影像與該第二影像中分別選取至少三個相應位置的一參考點；從該第一影像中選取一觀看目標；選取數個該參考點計算一組座標轉換參數；根據該組座標轉換參數進行一座標轉換處理計算該觀看目標於該第二影像中的位置；以及調整該第二攝影機所拍攝視野，使該第二攝影機用以拍攝 該觀看目標。
9. 如請求項8所述之多攝影機的整合處理方法，其中在拍攝該第二影像的步驟中包括：該第二攝影機將多個不同拍攝視野的該些第二影像進行全景接圖，產生一全景影像，並以該全景影像輸出為該第二影像。
10. 如請求項8所述之多攝影機的整合處理方法，其中該座標轉換係為仿射轉換，根據下式進行運算： 其中，X_i、Y_i為該第一影像的像素之座標，X_o、Y_o為該第二影像的像素之座標，a₁、a₂、a₃、b₁、b₂、b₃為該座標轉換參數。
11. 如請求項8所述之多攝影機的整合處理方法，其中選取的數個該參考點係與該觀看目標距離最短的三個該些參考點。