TW493102B - Image compositing system of multicamera and method thereof - Google Patents

Description

493102

A 經漭部中央標準局貝工消費合作社印^ 五、發明説明（1 ) 本發明係有關於一種多攝影機影像合成系統及其方 法，更詳細的說，係一種可將多數個低價型攝影機所攝得 之影像結合成單一的全體影像，而使其能夠進行高速、高 解像度之數位攝影的多攝影機影像合成系統及其/法。同 f了實現高解像度之數位影像，―般言之有使用數位 掃描器的方法及使用數位攝影機的方法·· · _ 寻，刖者係 以密集配置成-線之形態的CCD (電荷輕合元件；咖㈣ coupled device)上下掃描並同時進行攝影，後者則是將 CCD密集配置成矩陣構造之形態，而利用ccd做瞬間連續 之攝影。 /可是’利用以往方式之數位掃描器或數位攝影機來攝 取影像之時，^ 了達到高速、高解像度、高品質的影像， 不僅必要高價的裝備，而且越高速的話解析度就會越低， 又，解析度若要高的話，就有速度減慢的問題產生。 所以目則使用者使用的大多是以往低價之類比式攝影 機，既不能冑影像之數據處理，纟不能迅速適應現在的電 腦環境。 又，即使是使用以往之高價數位攝影機，影像數據之 處理固然容易，各種數據之加工與保管也方便，但可實現 之解像度仍有其限界，可實現之解像度越高時，影像之處 理速度即越低，因此乃有無法正確攝取高速畫面之問題產 生。 又’以往之數位攝影機，由於攝影空間之範圍廣時， 會使解像度大幅降低，因此會有無法攝取諸如劇場影像等 本纸張尺度適用中國國家標準（CNS ) △心兄格 (210x 297公分） 〕^'^-.14而之;1&事項再^13木頁 .I- I I:- I - 1 ·· · 5 A* B* 經濟部中央標準局員工消費合作社印製 五、發明説明（2 之大型畫面的問題產生。 因此，本發明係著眼於前述問題點所設計出的系绥及 其方法，其目的是在提供一種多攝影機影像合成系統：装 方法，依該系統及方法可使用低價之類比式攝影機，以減 少攝影費用，同時並可使用多數個攝影機以高解像度攝取 大型畫面’使攝影速度快且正確，而能攝取高速動作之影 像，再者，又可將攝得之畫面轉換成數位方式之影像數據: 而使所轉換之數據容易加工及儲存。 為了達成前述之目的，本發明之多攝影機影像合成系 統之特徵在包含有：將目標攝影區域分割成多數個，並配置 成所分割成之各攝影區域至少互相重疊之多數個類比式攝 影機群；可由該多數個攝影機群中選擇特定之攝影機，並 連結上信號路徑之影像信號選擇部；可接收該影像信號選 擇。卩所連結之特定攝影機的類比影像信號，並將之變換成 數位衫像之影像信號獲得部；以及，可控制該攝影機群、 影像信號選擇部及該影像信號獲得部之動作，而接收該影 像信號獲得部依各攝影機別所轉換完成之數位影像信號， 再將之轉換成影像數據後，結合成單一影像並予以儲存及 顯示之控制部。 又，為了將4角形之晝面分割成多數個的4角畫面，其 中忒攝影機群係排列成橫為瓜個、縱為11個，即成總計 個之攝影機行列組合，而將全體影像分割成個，且， 該等攝影機係屬比較低價之類比式攝影機。 又’依據本發明之多攝影機影像合成系統，該系統更 氏張尺度適用中國國家標準（CNS)八视格（训X州公兑^ " "' ---------^------π------線 、^1ν 讀 3 而之;1*事項 η·本τί、) .6 - 493102

A 五、發明説明（ ^ δ ^枚正數據輸入部，可輸入各分割畫面之基準點， =便減少在以該控制部處理影像之合成時，由於各攝影機 分割畫面不一致所造成之誤差。 可 各 之 經漭部中央標举局t只工消費合作社印說 另方面，為了達成前述之目的，本發明之多攝影影 像合成方法即係針對如前述之多種攝影影像合成系統者， 該系統具有多數個類比式攝影機群、用以連結各攝影機之 信號路徑㈣像信號選擇部、可將連結之攝影機所接收到 之影像信號轉換成數位元影像信號之影像信號獲得部、 控制各部機並將各攝影機別之數位元影像信號結合成單 影像並轉換成影像數據之控制部及可在該控制部中輸入七 分割畫面之基準點的校正數據輸入部：而，該多攝影影# 合成方法其特徵則在於包含有以下階段，即：攝影機群 各攝影機在接收到該控制部所施加之控制㈣後，開⑹ 作之攝影開始階段；使用者看著該控制部所顯示之該⑹ 機開始階段時的影像，並經由該校正數據之輸入部將各； 割畫面的基準點輸入，以校正分割畫面不一致之情形的击 影關連環境初期化階段；一旦依各攝影機別完成了前. 攝影關連環境初期化階段後，該影像信號選擇部即選擇赶 當之攝影機，並將之連上信號路徑之適當攝影機選擇Κ 段；將前述攝影機選擇階段所連結之特定攝影機傳來之海 比影像信料換成iuu料㈣m彡隸號獲得巧 段；將前述影像信號獲得階段依各攝影機別所轉換完成之 影像信號轉換成數位元影像數據之分財面之影像處理階 段；依據前述攝影關連環境初期化階段時輸入之基準點， 本纸張尺度適用中國國家標準（CNS )八4圯枱 (210x297公分 493102

A 五、發明説明（4 :前：分割畫面之影像處理階段所轉換完成之各影像數據 杈正<，將之結合成單一影像之分割畫面組合階段.及，. =7畫面組合階段所結合完成之單-影像的影像數 據儲存及顯示之最終組合畫面影像處理階段。 傻二二參照所附圖面，詳細說明本發明之多攝影機影 像σ成系統及其方法。 态 I Ψ I 項 I λ β I η 訂 ，第1圖係-用以概略的表示本發明理想實施例之多攝 影機影像合成系統之平面圖、第2圖係—用以概略的表示本 發明理想實施例之多攝影機影像合成系統的攝影機群之正 面圖、第3圖係一用以表示本發明理想實施例之多攝影機影 像合成方法之順序圖、第4圖係一用以表示本發明一實施例 中，各分割成4個之分割晝面的正常的基準點之圖面。第5 圖〜第8圖係_用以表示歪錢之分财面的形態之圖面。 線 經消部中央標準局負工消費合作社印¾ 如第1圖表示本發明之多攝影機影像合成系統具備由 多數個類比式攝影機群10、用以連結各攝影機丨的信號路徑 之影像信號選擇部20、可將連結之攝影機所接收到之影像 k號轉換成數位元影像信號之影像信號獲得部3〇、可將各 攝影機1別之數位元影像信號結合成單一影像並轉換成影 像數據之控制部40及可在該控制部4〇中輸入各分割畫面之 基準點的校正數據輸入部50。 即，如第2圖表示，前述數攝影機群1〇係配置成將目標 攝影區域分割成多數個，並使分割成之各攝影區域至少互 相重疊之多數個類比式攝影機的矩陣式組X，又，該矩陣 式組合係排列成橫為m個、縱為η個，即呈總計rnχη個之攝 本紙張尺度適用中國國家標隼（CNS ) Λ4况梠（210Χ29*?公筇） 8 、發明説明（ 2行列組合’而將全體影像分 之畫面分割成多數個4角畫面。 子4用形 類比摄^之攝'V機群中，各攝影機可使用比較低價之 宜=秦又’為便於調節各攝影機之鏡;

二=台(圖無表示），安置前述多數個攝 〜機。如此之攝影機安置A 使用“ “ 有多樣種類之已開發及正 吏用中之技術’因此對業者而言可輕易地加以修訂及變更。 在將攝衫機】安裝於前述攝影機安置台時，雖宜將 ^ =影機1的鏡頭方向做精密的調節，如第4圖所示’使 =機所攝取影像之4角盡可能固定成完全一致 =際上要將全部攝影機通通設置的完美無缺，那是不可能 的’因此宜使多數個攝影機！各可攝取之影像互相重叠，使 目標攝影區域内無未攝得之區域。 嫌由於前述影像信號選擇部Μ係可由該多數個攝影 .、選擇特定攝影機！並連結上信號路徑者，因此以由多 #個攝f機1依次選擇一攝影機1，並連結上信號路徑為 ’可疋，為了進行更高速之攝影，依攝影機性能之別， 經漭部中央標準局負工消费合作社印裝 亦可選擇订、一歹，】或者全體一起連結信號路徑。 又、，則述影像信號獲得部3〇係可接收該影像信號選擇 卩所連、之特疋攝影機i的類比影像信號，並將之轉換成 數位影像信號者，而將類比影像信號轉換成數位影像信號 之編碼技術則為眾所周知之技術，因此為相當領域之業者 所能輕易修定及變更者。 又，忒控制部40係可控制該攝影機群10之影像信號選 (210χ 297/Λ^ ) 本纸張尺度適用中國國家標準 9

A 五、發明説明（6 ) 擇"卩20及該衫像信號獲得部30之動作，而接收該影像信號 獲付。卩30依各攝影機別所轉換完成之數位影像信號，再將 之轉換成&像數據後，結合成單一影像並予以健存及顯示 者，可使用内部裝置有合成影像必要之影像合成程式的一 ----A---- 般個人電月'或工作站、大型電腦及用戶端/伺服器端型式之 各種控制部。 在此，所謂的影像合成程式則如後述，並非只是用以 實行單純地將影像依次附加之作業的程式，而是可接受使 用者所輸入之基準點以修定及校正攝影機i所攝得之影 像，而使其與目標攝影區域之實際影像—致之程式。 此影像合成程式係如第5圖〜第8圖所示，先㈣各攝 影機所攝得影像之全部歪曲形態，再將之校正成如第4圖所 示之程式，而如第4圖所示’理想攝影機卜攝影機〕、攝影 機3、攝影機4所攝得畫面之4個頂點係各以PiA、PiB、Pic、 PiD (在此]為攝影機之號碼）表示，又第4圖之目標攝影畫 線 面之基準座標系以{χ，”表示’第5圖〜第8圖之實際攝影 畫面之基準座標系以{X，YJ表示。 經漭部中央標準局貝工消费合作社印裝 可是，該4個頂點位於正確位置·的情形是很少的，一般 言之’該等頂點將由於實際攝影時攝影機設置之誤差、透 鏡之誤差、或各攝影機零件加工上之誤差等而複合地發生 如第5圖所示之回轉現象、第6圖所示之倍率變化現象、或 第7圖及第8圖所示在各方向扭曲或歪曲之現象。所以，為 了將第5圖至第8圖所示之各晝面合成如第4圖所示者時，必 須將實際攝影書面之座擇糸（γ v 尾铩系{ X，Y}，轉換成目標攝影畫 本紙張尺度適用中國國家標準（CNS ) /\4故格（210x297^"^ 10 493102

A 經濟部中央標卑局K工消费合作社印¾ 五、發明説明（7 ) 面之座標系丨x，y丨。 即’該座標轉換式是利用線形幾何學和座標系轉換原 理，以x=fx (X，Y)，y==fY (χ，γ)來表現。在此，（χ，γ) 為實際攝影畫面座標系的4點座標ρ，ιΑ、p'iB、p、c、p,iD， 該4點可依前式之轉換函數（fx，fY )由實際攝影晝面之座標 系丨X，Y}轉換成目標攝影畫面之座標系（χ，”的4點座 標即 PiA、PiB、Pic、piD。 所以，使用者可先利用滑鼠遊標指定畫面上所看到之 實際攝影畫面的4頂點或特定基準點之位置，而該值經校正 數據輸入部輸入控制部時，則可藉已輸入之前述座標轉換 函數’轉換成目標攝影畫面，而除去畫面重疊或誤差之 份。 在此，適合作此等擴大縮小之轉換、往特定方向彎 之轉換、回轉轉換等之座標轉換函數為眾所周知， 田錢之業者所能輕易修定及變更者。由於此期 過程，在目桿摄旦彡；炎 T 期 φ 、…為一平面，而本發明之攝影機群和 达之目標攝影面間右一 ^ n… 離時’只要於最初攝影機之 切可，因此以後 差之情形下進行。 使了以在無 本發月之夕攝影機影像合成系統更包含有.. 鍵盤、搖桿、觸抻总 有·硐鼠 工螢幕專校正數據輸入部50，而可_ 分割畫面之基讓赴、 〗j輸入 入占蛀 "，以便減少在以該控制部4〇處理❸伤 B成時，由於久攝旦 〜像 於各攝衫機1分割畫面不一致所造成之萆* 因此，如第3 F1 π - 士差。 圖所不’藉本發明之多攝影機影像合成 部 曲相 化前 初 各 之 系 )¾ 讀 ΐ'—: νΙΓ'λ / 注&私-項洱in' β 本页 、0! d 11 493102

A 五、發明説明（8 ) 統所施行之多攝影機影像合成方法，依階段別，係由攝影 開使始階段（S1)、攝影關聯環境初期化階段（S2)、適 當攝影機選擇階段（S3 )、適當影像信號獲得階段（S4 )、 分割畫面之影像處理階段（S5 )、分割畫面組合階段（S6 )、 及最終組合畫面影像處理階段（S7)組合而成。 即’使用者在最初將前述本發明之各攝影機影像合成 系統設置於特定場所後，即接收到該控制部4〇所施加之控 -^_ 制信號，而使前述類比攝影機群1〇之各攝影機動作，進行 攝影，此即攝影開始階段（s丨）。 其次’在前述攝影關聯環境初期化階段（S2 )中，使 用者看著該控制部所顯示之影像，並經由該校正數據輸入 訂 部50將各分割畫面的基準點輸入，以校正分割畫面不一致 之情形。 其次，在前述適當攝影機選擇階段（S3)中，一旦依 前述各攝影機1別完成了初期化階段（S2)後，該影像信 線 號選擇。卩20即選擇適當之攝影機丨，並將之連結上信號路 徑。 經漭部中央標準局員工消費合作社印裝 在前述適當影像信號獲得階段（S4)巾，則將前述攝 心機選擇ίχ ( S3 )所連結之特定攝影機i傳來之類比影 像k號轉換成數位影像信號。 此時，則述控制部4〇係可控制前述影像號選擇部2〇， 依-人的選擇各攝影機1，直至全部攝影機^之影像信號轉換 成數位影像信號為止。 其-人，在則述分割畫面之影像處理階段（s5 )中，則 國家標準^-—— -~~- 12 A" A" 經漭部中央標準局負工消费合作社印^ 五、發明説明（9 ) 進一步將前述影像信號獲得階段（S4)依各攝影機別所轉 換完成之影像信號轉換成數位影像數據。 其次’在前述分割晝面組合階段（S6 )中，則依據由 前述攝影關聯環境初期化階段（S2 )輸入之基準點，將前 述分割畫面之影像處理階段（S5 )所轉換完成之各影像數 據加以校正後，結合成單一影像。 其次’在前述最終組合畫面影像處理階段（S7 )中， 則將前述分割晝面組合階段（S6 )時結合完成之單一影像 的影像數據加以儲存及顯示。之後，影像攝影作業即行終 了，或繼續進行反覆之作業，而可達到更精密的影像攝影。 因此’依據本發明之多攝影機影像合成方法，可以克 服在攝影關聯環境初期化階段所預想之全部攝影誤差，而 利用多數個攝影機依次分割攝影，亦可將所攝取之影像信 號轉換成影像數據並將其組合。 以上’依據本發明之多攝影機影像合成系統及其方 法，由於使用低價之類比式攝影機，可以減少攝影費用， 並可同時使用多數個攝影機，以高解像度攝取大型畫面。 又，不僅可使攝影速度快且正確，而且能攝取高速動作之 影像，再者又可將攝取之畫面轉換成數位方式之影像數 據’使所轉換之數據容易加工及儲存。 (圖式之簡單說明） 第1圖係一用以概略的表示本發明理想實施例之多攝 影機影像合成系統之平面圖。 第2圖係一用以概略的表示本發明理想實施例之攝 本纸择:尺度適用中國國為準（CNS ) Λ4規祐（21 〇 X 297公兑 (^W^,lr?vy-c;i^^jii-^>l1g^p')

13 理想實施例之多攝影機影 成4個 A** 五、發明説明（1〇 ) 影機影像合成系統的攝影機群之正面圖 第3圖係—用以表示本發明 像合成方法之順序圖 第4圖係一用以表示本發明一實施例中，各分幻 之分割畫面的正常的基準點之圖面。 ㈠ 第5圖第8圖係一用以表示歪曲後之分 之圖面。 息面的形態 (主要元件之標號） 攝和機 l〇.類比式攝影機群 此影像信號選擇部30.影像信號獲得部 40·控制部 ^ , 50·校正數據輸入部 ¾------II------線 f^讀％^:';:/;1*事^]再^1{:^太^) 經漭部中央標嗥局負工消費合作社印裝 (210X 297公疗 本纸張尺度適用中國國家標準（CNS ) Λ4規祐 14

Claims (1)

1. 經普^¾°¾財產局員Η消費合作社印)¾ h一種多攝影機影像合成系統，包含有： 多數個類比式攝影機群，其係將目標攝影區域分割成多 數個，並配置成所分割成之各攝影區域至少互相重疊者： 影像信號選擇部，其係可由該多數個攝影機群中選擇特 定之攝影機，並連結上信號路徑者； 影像信號獲得部，其係可接收該影像信號選擇部所連結 之特定攝影機的類比影像信號，並將之轉換成數位影像 信號者；及 2制部，其係可控制該攝影機群，影像信號選擇部及該 影像信號獲得部之動作，而接㈣影像㈣獲得部，依 t攝影機別所轉換完成之數位影像信號，再將之轉換成 影像數據後，結合成單—影像並予以儲存及顯示。 2·如申請專利範圍第1項之多攝影機影像合成系統，其中 攝W機群係排列成，橫為爪個、縱為讀，即呈總計_ 個之攝影機行列組合，而可將全體影像分割成_個， 且，該等攝影機係屬類比式攝影機。 3·如申P利範圍第1項之多攝影㈣像合㈣統，該系統 =s有-校正數據輸入部，可於最初進行攝影機初期 設：時，於該控制部中輸入各分割畫面之基準點，以便 =少在以該控制部處理影像之合成時，由於各攝影機分 割晝面不一致所造成之誤差。 種多攝影機影像合成系統的影像合成方法，該影像合 具有多數個類比式攝影機群、用以連結各攝影機 之信號路彳i的影像信號㈣部、可將連結之攝影機所接 該 ^背金二:1.*事項再填^本頁 » ---^---------線 — _ ^10- 297 15 - 至J之衫像“號轉換成數位影像信號之影像信號獲得 邛可控制各部機並將各攝影機別之數位影像信號結合 成單一影像並轉換成影像數據之控制部、及可在該控制 部中輪入各分割畫面之基準點的校正數據輸入部；而，I 攝影機影像合成方法之特徵在包含有以下階段，即： 攝影開始pm ’在該階段中該攝影機群之各攝影機在接 收到該控制部所施加之控制信號後，即開始動作者，· 攝影關連環境初期化階段，在該階段中，使用者看著該 控制部所顯示之該攝影機開始階段時的影像，並經由該 扠正數據之輸入部將各分割畫面的基準點輸入，以校正 分割畫面之不一致； 適田攝影機選擇階段，即，—但依各攝影機別完成了前 述之攝影關連環境初期化階段後，該影像信號選擇部即 選擇適當之攝影機，並將之連上信號路徑； 適田衫像^號獲得階段，在該階段中，將前述攝影機選 擇階段所連結之特定攝影機傳來之類比影像信號轉換成 數位影像信號； 刀割畫面之影像處理階段，在該階段中，將前述影像信 號獲付階段依各攝影機別所轉換完成之影像信號轉換成 數位影像數據； 分割晝面組合階段，在該階段中，依據前述攝影關連環 境初期化階段時輸入之基準點，將前述分割畫面之影像 處理階段所轉換完成之各影像數據校正後，將之結合成 單一影像；及 本紙張尸、度適用由關家標a (CNA.U 別X 297 β 493102 ΐΐ" ^ iL·： 最終組合畫面影像處理階段，在該階段中，將前述分割 晝面組合階段所結合完成之單一影像的影像數據加以儲 存及顯示。 本紙張H適甲由國國家標進（CNS)A!境$ :J1(X97 hi (-*1-τν:.ν·:ί·背面二>二合')事項再填寫本頁)

   -17 -