TW200907557A - Camera array apparatus and the method for capturing wide-angle video over a network - Google Patents

Description

200907557 九、發明說明： 【發明所屬之技術領域】 本發明為-種攝影機陣列裝置 影像處理手段結合兩個以上的攝二 里曲M達到廣視角的影像。 【先前技術】 能 使用-般數位照相機拍攝是依據鏡頭的結構與成像犯 力形成ΐ影像感測器（如CCD，CMOS)上的影像’此影 像感測益'將成像轉換成數位格式（如RGB格式），然而， 欲進-步拍攝廣視角（wide_angle)或是全景（㈣。随⑹ 的影像’則需要另外特殊設計的鏡頭。 a =麽角或疋王景的相片因為超過人眼的視角限制，一 次看盡^度視角的晝面有其特殊的感官享受，要完成超 廣角或是全景影像的拍攝’通常需要特殊設計的魚眼鏡頭 (Fish-Eye Lens)、會旋轉的攝影機等方式，但這樣的器材 往往所費不貲。 白知的全景拍攝使用如美國專利第5,752，113號所揭 路的全景攝影機，即是透過一部攝影機拍攝的多個晝面的 結合達到全景拍攝的效果，該專利係利用一個架設於可旋 轉的基座上的攝影機達成全景拍攝的目的。如第一圖所 不，其中顯示一個三腳架形式的固定架1〇〇,其上連接/ 台如、相機120，接著，此固定架1〇〇承载照相機12〇旋轉， 並對所處位置四圍的景物連續拍攝，需考慮照相機鏡頭的 視角调整拍攝的間距，在且透過影像接缝（stitching)的 200907557 技術將各角度拍攝的影像的重疊處去除，如圖中重複拍攝 的部份11，12，13等’之後將各畫面結合形成360度的全景 圖。 更有習知技術透過多個攝影機的拍攝、組合達成廣視 角的拍攝’如美國專利第7,084,904號所揭露的廣視角成 像系統與其即時擷取影像的方法，此成像系統係由多個攝 影機所組成’接著透過影像接缝的方式將各攝影機所拍攝 的晝面結合起來，當中使用該專利特有的影像接缝表 (stitch table)與彎曲表（warp table)進行影像失真的調 校，最後輸出一個廣視角的晝面。 如第二圖所示，其中顯示一個模擬人的視角的照相機 模組20，其於一半圓弧的形狀上設置有複數個照相機 自己的視角範圍’ 機可少一點，相反 需設置較多的照相 機所拍攝的晝面結 201，202,203,204,205,206，各照相機都有 若照相機的視角較大，則所設置的照相 地，若使用視角較小的照相機拍照，則 機，透過後端的影像接縫系統將各攝影 合起來。 【發明内容】 角、=¾殊，置與照相機才能拍攝廣視 攝影機陣列裝置與庵二/衫像，而本發明所揭露的為一種 用—般用於電腦上的έ内、罔路視的揭取方法，係特別使 置，再透過軟體或杨二路，影機或其類似低階的攝影裝 攝影機所擷取的晝面虹处lrmWare)方法結合兩個以上的 〜，忐讓使用者以最簡單便宜的裝置達 200907557 到即時廣視角、超廣視角或是全景網路視訊或是即時影像 傳遞的功效。 本發明之一較佳實施例中，包括一個攝影機陣列裝 置，其中有兩個或兩個以上的攝影機模組，但是，此例之 各攝影機模組是組合設置於一容置空間内，並僅透過一連 結介面單元電性連接電腦系統，亦電腦系統中僅需一個驅 動單元來驅動此攝影機陣列裝置，藉此，透過設置於電腦 系統中之一影像處理程式針對各攝影機模組拍攝的影像執 行一接缝運算，結合形成一可即時網路傳遞的廣視角或全 景的影像。 而另一實施例則同樣是利用具有兩個或兩個以上的攝 影機模組的攝影機陣列裝置進行影像拍攝，並透過連結介 面電性連接電腦系統，而更於此攝影機陣列裝置中設置一 影像處理單元，藉此擷取各攝影機模組所拍攝的影像，並 進行一接缝運算，將各模組拍攝的影像結合形成一可即時 網路傳遞的廣視角或全景的影像。特別的是，此例中的影 像處理單元之較佳實施例係為一設置於陣列裝置中的處理 晶片（Ic)’透過硬體執行各種影像處理。 本發明更利用上述攝影機陣列裝置進行廣視角或全景 影像的擷取與傳遞，開始之初，先預備此具有兩個或兩個 以上攝影機模組之攝影機陣列裝置，先進行拍攝角度與位 置的硬體調校，再進行拍攝影像，根據所拍攝的内容進行 軟體調校。 於實際擷取動態影像時，各影像晝面將經過接縫處 理，藉以結合各攝影機模組所拍攝之影像形成廣視角或全 200907557 200907557 可用於網路視訊。 厅、的影像，並由電腦系統輸出， 【貫施方式】 (二：=「種利用兩個以上的電腦網路攝影機 利用n浪兴視角或甚至是全景攝影的目的，由於是 用於路攝影機’更適合應 網路用多個已知現有 *第-f : 網路攝影機301、第二網路攝影機302 過===Γ同時連接至_G，較佳方式為透 J連接夕數周邊設備的無線或有線的萬用序列埠 中女裝有各網路攝影機的驅動程式或驅動的物體。 因為各網路攝影機有各自的特色，相同廠牌應有較接 ^的影像品質’不同廠牌的品質差異應較大，但各 2平衡（white baw)、顏色、對比等影像特徵^有 P有或大或小的圭異，於較佳實施例中，先利用驅 擷取各獨立網路攝影機所拍攝的影像’之後再經麥 ^ 二白平衡'顏色、對比）、時間同步調整’影像“的 =後，應用影像接缝技術（stltdlmg)合成各網路㈣ 拽各自所拍攝的影像，達到擷取廣視角影像的目的。 示意圖中特別標示成像於電腦螢幕上各攝 的晝面，舉例來說，第一網路攝影機3〇1所拍 ° 於螢幕上的區塊1 ± ’第二網路攝影機302所拍二的；： 200907557 S’:員區塊2 ’由第三網路攝影機303所拍攝的晝面則 Si區塊3。^各區塊間有影像重疊的部分，以軟體方 ^看’將透過軟體_體實現的影像處理手段的運算來 避免影敎真；以硬”度㈣，在各網路攝影機 示的畫面進行調整，各自 ,,,^ 或角又以得到較好的廣視角影像。 :網網路攝影機3〇1、第二網路攝影機3〇2與第 -網路攝影機3〇3與被拍攝 /、弟 離，各自所拍攝的晝面於結合時將===一疋的距 此時所解決的方案之-可應用上述重刪題， 其目的是將影像接成—張長條影;;像接縫技術， 縫的影像處理手段先掃描各 機:_中，此接 生原始的影像資料，包括畫面4=拍攝，’產 割為稷數個區域，將各區域換算為—些接者將晝面切 各晝素離邊界的距離，以特定門播值^值’藉以反映 拍=的重叠區域，藉以完成接縫的;:: k ^ ;上述利用各自獨立之網路攝号彡嬙从一 本發明攝影機陣列裝置之:C樣’ :電腦上:::::攝影機賴㈣〇,特二^ 有兩個或其類似的攝影機模組，圖式ί 内’透過電腦4G ;;;忿，= =影機陣列裝置_ =取^執二以== 網路視，行即;影的=使用超廣視角或是全景 10 200907557 上述實施例係由攝影機陣列裝置400中設置兩個或以 上的攝影機模組，此例中的攝影機模組並非可獨立運作的 攝影機，而是透過組合多個攝影機模組的單一裝置，利用 一個驅動程式或是其他驅動手段控制各攝影機模組的運 作。此裝置設置之初，將先進行硬體的裝設、拍攝角度的 設定，特別根據各攝影機模組的焦距（focal distance) 與視場（field of view)調校決定各攝影機模組的間距， 並透過影像處理手段進行影像參數設定，包括對比、顏色、 白平衡、時間同步等參數。於執行運作時，將擷取各模組 所拍攝的晝面進行即時的接縫演算，達成即時傳遞廣視角 影像的功效。 第五圖簡示上述利用接缝技術處理多個攝影機模組拍 攝晝面的示意圖，其中攝影機陣列裝置50中設置有第一攝 影機模組501、第二攝影機模組502與第三攝影機模組 503，可依需要拍攝的範圍與效果決定所設置的攝影機模組 的數量。 此例中，裝置之硬體裝設、拍攝角度係根據實際裝設 情況配合，並如上所述，特別根據各攝影機模組的焦距與 視場決定各攝影機模組的間距，包括第一攝影機模組501 與第二攝影機模組502之間距dl、第二攝影機模組502與 第三攝影機模組503之間距d2。並且，被拍攝物距離此裝 置50有一段距離，而各攝影機模組的拍攝範圍分別由範圍 al、a2與a3表示，並且各範圍之間有晝面重疊的部份， 上述的接縫技術即是先找到各拍攝晝面的範圍，再判斷邊 界，進而處理接縫的問題。 200907557 本發明利用兩個或以上的網路攝影機的影像組合達成 廣視角（或全景）攝影的實施態樣如第六圖所示，主要包 括有兩大部分，電腦系統65與攝影機陣列裝置60的部份。 攝影機陣列裝置60包括了兩個或以上的攝影機模 組’如第六圖中的第一攝影機模組6〇1與第二攝影機模組 602 ’各攝影機模組包括有獨立的鏡頭與影像感測單元（如 CCD或CMOS等，未顯示於圖中），此例之攝影機陣列裝置 60所包括的攝影機模組為一般的網路攝影機，通常使用較 低階的影像感測單元’透過此攝影機陣列裝置6 〇的整合而 以陣列形式組成於一容置空間内，各攝影機模組所拍攝的 視角與影像參數設定皆經過整合，如上所述，裝置之硬體 裝设特別根據各攝影機模組的焦距與視場決定各攝影機模 組的間距。 攝影機陣列裝置60亦透過如同USB或Firewire的連 結川面單元63連接電腦系統65，連結介面單元主要可 包括連接各攝影機模組的集線器（hub) 631與連接電腦系

統65的電腦介面633，電腦系統65透過以軟體或韌體實 施的驅動單元651驅動攝影機陣列裝置60,並同時執行控 制及拍攝功能作業系統653則透過此驅動單取 來自攝影機陣列裝置6 〇所拍攝的影像，之後經以軟體實施 處料減理所娜的晝面影像减，此例係應用 -女裝於電腦系統65中的影像處理 驅動單元651擷取的影像n $㈣取传上述透迫 接縫處理的數值運㈣，影像參㈣調整、即時 像即時透過顯示裝置(未;;網路上傳細 衣,，肩不於此圖中）顯示，以達到 12 200907557 即時傳遞影像訊號的作用。 第七圖所示為本發明揭露的攝影機陣列裝置實施例示 意圖，此例顯示一攝影機陣列裝置70中具有一個處理影像 能力的影像處理單元705，其較佳實施例係為一個處理晶 片（1C)，而並非利用電腦系統中的影像處理功能。 此例中，攝影機陣列裝置70包括有兩個或以上的攝影 機模組，如圖式中鏡頭單元701與影像感測單元703所組 成的攝影模組，與另一鏡頭單元701’與影像感測單元703’ 所組成的攝影模組，並可隨需要增加模組。各攝影機模組 皆電性連接至攝影機陣列裝置70中的影像處理單元705， 此影像處理單元705接收來自各攝影機模組的影像訊號， 經轉換為數位訊號後，執行影像參數調校與接縫處理，影 像參數調校可於實際運作之前執行，包括有拍攝影像的白 平衡、顏色、對比，甚至有各攝影機模組拍攝時間的同步 化，以避免因時間差產生晝面的錯誤；而接缝處理則於即 時接收影像時進行即時數值運算。 由上述影像處理單元705處理的晝面資料透過連結介 面單元707傳遞至與後端電腦系統72，再透過連接電腦系 統72中的顯示裝置（並未顯示於此圖中）顯示給使用者觀 看，因為本發明主要是利用一般應用於網路視訊的網路攝 影機作為擷取影像的裝置，故其產生的影像資料較適合網 路頻寬有限的網路視訊傳遞，並且能透過結合多個攝影機 模組的影像達成廣視角、全景的視訊效果。 透過上述各攝影機陣列裝置的實施態樣，其廣視角網 路視訊的擷取方法步驟之較佳實施例則顯示於第八圖。 13 200907557 發明括兩個部份’-是軟硬體的調校，係因本 二& 攝影機模組組成，故開始運作時需 要、座過各_校，始能形成較好的影像。 步驟開始，提供JL右而桐斗、 機陣列裝置，心^Ϊ 上的攝影機模組之攝影 人以、二/、中車乂仏㈣例係利用多個網路攝影機的組 二MW ’接著進行硬體調校，包 括各攝衫機模組中鏡頭拍攝的角 =組的焦距與視場決定各攝影機=二= ==機:組安裝於電腦系統中的軟纖體驅動 == 驟陶，之後，即開始揭取書面， 取的晝面來進行軟嶋體調校，上^ 衡的設定、顏色差異調整、對比調敕， ^ ^白+ 攝影機模組間的差異而不同，同時二』為 影像找到最佳廣視角晝面（步驟咖）、1^面的結合 經過上述步驟讀至步驟S8G7間的軟硬 後：各攝影機模組能正確駆動’即處於一預備狀二 門梅電腦糸統即透過驅動單元控制攝影機陣列f置 開；屬取的步驟，主要為掏取網路視訊時的動能 (步驟動），取到各攝影機模組的影像將^:二 個一個的晝面，各晝面再經過—即時，° 理手段包括透過純軟體程式（如影像處’ =處 或透過單-影像處心: 疋將各影像接成-張長條影像，於—較佳實施例中:利^ 14 200907557 上述之各種影像處理手段掃描各拍攝的影像晝面，得出晝 面的邊界資訊，再藉以判斷各晝面交界處的重疊區域，透 過其中資訊完成接缝的動作（步驟S811)，再結合形成廣 視角或全景的網路視訊影像（步驟S813)，並由電腦系統 輸出影像（步驟S815)。 於本發明主要實施例中，因為是利用網路攝影機的模 組進行結合形成廣視角（或全景）影像，故其影像品質適 合網路上視訊的使用，可透過網路進行傳遞，執行即時的 廣視角（或全景）的網路視訊。 綜上所述，本發明為一種攝影機陣列裝置與廣視角網 路視訊的擷取方法，特別是結合兩個以上的攝影機擷取晝 面，透過軟體或韌體的影像處理手段進行接縫與影像參數 調校，在影像資料方面，適合網路即時傳遞的視訊用途， 更能透過晝面的結合達到廣視角的影像。 惟以上所述僅為本發明之較佳可行實施例，非因此即 侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示 内容所為之等效結構變化，均同理包含於本發明之範圍 内，合予陳明。 【圖式簡單說明】 第一圖係顯示利用可旋轉機構達成全景拍攝裝置示意 圖； 第二爵係為習知技術中廣視角成像系統示意圖； 第三圖係為本發明之較佳實施例之一示意圖； 第四圖係為本發明之較佳實施例之二示意圖； 15 200907557 »五圖顯示利用接縫技術處理多個攝影機模組拍攝畫 面的示意圖； 第六圖所示為本發明揭露的攝影機陣列裝置實施 一示意圖 第七圖所示為本發明揭露的攝影機陣列裝置實 二示意圖； 第八圖係為本發明廣視角網路視訊的拍員取方法之土 實施例流程圖。 、土 【主要元件符號說明】 固定架100 照相機12〇 重複拍攝的部份11，12,13 照相機模組20 區塊1,2,3 照相機 201,202,203,204,205,206 第一網路攝影機301 第二網路攝影機302 第三網路攝影機303 電腦30 電腦40 攝影機陣列叢置4〇〇 攝影機陣列裝置50 第一攝影機模組501 第二攝影機模組502 第三攝影機模組503 範圍al、a2與a3 間距dl，d2 攝影機陣列裝置60 連結介面單元63 電腦系統6 5 集線器631 電腦連接介面633 第—攝影機模組601 第二攝影機模組602 16 200907557 作業系統653 驅動單元651 影像處理程式655 攝影機陣列裝置70 影像處理單元705 鏡頭單元701，701’ 影像感測單元703, 703’連結介面單元707 電腦糸統7 2

Claims (1)

1. 200907557 十 2. 3. 、申請專利範圍： 種攝影機陣列裝置，包括有： 兩2 的攝影機模組，係以—_形式組成 、 奋置空間内；以及 2介面單元’該攝影機陣列裝置係透過該連結介 _電性連接—電腦系統，該電腦系統透過 “ ::::影機陣列裝置，並掏取各攝影機模組: 藉此，透過-設置於該電腦系 對所拍攝的影像執行一接縫運算，以;:處=針 路傳遞的廣視角或全景的影像：一成一可即時網 ΪΙΐΓ:範圍第1項所述之攝影機陣列裝置，立中 :/攝衫機陣列裝置内各攝影機模 : 訊之網路攝影機。 芍忍用於視 =3利範圍第i項所述之攝影機陣列裝置 以連^面單元更包括—集線器與—電腦介面/、 t申請專利範圍第i項所述之攝影機陣列裝置， ;亥=:或兩個以上的攝影機模紐係共同連接至—萬二 再透過—電腦介面連接於該電腦系統。 申明專利_第1項所述之攝影機 :依據該兩個或兩個以上的攝影機模組的上視二 決定各攝影機模組的間距。 7…、距〃視％ ==範Γ1項所述之攝影機陣列裝置，” 攝4陣列裝置係透過該影像處理程式執行由各攝 18 200907557 衫機板組擷取的影像的調校，包括白平衡、顏色 比’與拍攝時間的同步化。 7· 一種攝影機陣列裝置，包括有： 兩=或^固以上的攝影機模組，係以一陣列形式 於一谷置空間内； 連結介面單元，麟影機_裝置 面電性連接一電腦系統； χ連、，、口 ；丨 f 一麵處理單元擷取各攝影機模組 :„象’並進行一接缝運算，接著結合形成 可即日痛路傳遞的廣視角或全景的影像。 •:申請專利範圍第7項所述之 =理::係為-設置於該攝影機陣列 日日片，¾過硬體執行各種影像處理。 9, 利範圍第7項所述之攝影機陣列裝置，其中 ^〜^、陣列裝置内各攝影機模組係各為用&視 讯之網路攝影機。 α ‘用於視 汕：::!;:1請^項所述之攝影機陣列裝置，其中 於S=係為一萬用序列4集線器’藉以連接 u，:=:範圍第7項所述之攝影機陣列裝置，其中 的=各攝影機模組的焦距與視場決定各攝影機模組 該摄二=範圍第7項所述之攝影機陣列裝置，其中 衫機陣列裴置係透過該影像處理單itn-+ 影機模組操取的影像的調校，二 19 200907557 比，與拍攝時間的同步化。 13. —種廣視角網路視訊的擷取方法，包括有： 預備一攝影機陣列裝置，該攝影機陣列裝置中包括兩 個或兩個以上的攝影機模組，並以一陣列形式排列； 擷取動態影像； 將影像經一接縫處理； 結合各攝影機模組所拍攝之影像形成一廣視角或全景 的影像，以及 由一電腦糸統輸出該影像， 其中，該攝影機陣列裝置中所包括的攝影機模組係為用 於網路視訊的網路攝影機模組，於該接缝處理之後，能 結合影像形成該可即時網路傳遞的廣視角或全景的影 像。 14. 如申請專利範圍第13項所述之廣視角網路視訊的擷取 方法，其中該接缝處理係利用一影像處理手段掃描各 拍攝的影像晝面，得出各晝面的邊界資訊，接著判斷 各晝面交界處的重疊區域，透過該重疊區域之資訊完 成接缝處理。 15. 如申請專利範圍第14項所述之廣視角網路視訊的擷取 方法，其中該影像處理手段係透過一影像處理程式， 並配合該電腦系統之一中央處理器的運算。 16. 如申請專利範圍第14項所述之廣視角網路視訊的擷取 方法，其中該影像處理手段係透過一影像處理晶片的 處理。 17. 如申請專利範圍第13項所述之廣視角網路視訊的擷取 20 200907557 /、中5亥操取動態影像時係掏取 方：it!:圍第13項所述之廣視角網路視訊的擷取 b 其中礒預備攝影機陣列裝置之步驟包括： 提Ξι具有兩個或兩個以上攝影機模組之攝影機陣列 進打該攝影機陣列裝置之硬體調校； 機陣列裝置中之各攝影機模組拍攝影像；以及 各攝衫機模組所擷取的晝面進行軟體調校。 .d:範圍第18項所述之廣視角網路視訊的擷取 4^、I職影機陣列裝置之硬體調㈣調整各攝 2 拍攝麵與位置，並娜“ 2。·=請::範圍第19項所述之廣視角網路視訊的掏取 距該硬體調校係包括根據各攝影機模組的隹 一視％決定各攝影機模組的間距。 ，… 巧:請土，圍第18項所述之廣視角網路㈣ 該攝影機陣列裝置之軟體調校係針對各摄 22Γ機模組產生的晝面間的影像差異進行調校各攝 .方：凊::範圍第21項所述之廣視角網路視訊的梅取 //、中所顺的參數包括自平衡、顏色、對比等。 21