TW201416713A - 立體攝像裝置、自動校正裝置與校正方法 - Google Patents

立體攝像裝置、自動校正裝置與校正方法 Download PDF

Info

Publication number
TW201416713A
TW201416713A TW101149879A TW101149879A TW201416713A TW 201416713 A TW201416713 A TW 201416713A TW 101149879 A TW101149879 A TW 101149879A TW 101149879 A TW101149879 A TW 101149879A TW 201416713 A TW201416713 A TW 201416713A
Authority
TW
Taiwan
Prior art keywords
image capturing
image
optical axis
control module
unit
Prior art date
Application number
TW101149879A
Other languages
English (en)
Other versions
TWI557437B (zh
Inventor
An-Chun Luo
Hong-Tu Yu
Chih-Hsiang Yu
Kun-Lung Tseng
Chung-Wei Lin
Wei-Hao Huang
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to CN201310086264.9A priority Critical patent/CN103792667B/zh
Priority to US13/945,931 priority patent/US9445080B2/en
Publication of TW201416713A publication Critical patent/TW201416713A/zh
Application granted granted Critical
Publication of TWI557437B publication Critical patent/TWI557437B/zh

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一種立體攝像裝置,包括一取像裝置、一光軸控制模組以及一運算模組。取像裝置適於取得一立體影像,取像裝置包括多個取像單元。光軸控制模組耦接至取像裝置。運算模組耦接至取像裝置與光軸控制模組,其中運算模組根據立體影像計算出一校正條件。光軸控制模組根據校正條件調整取像裝置中這些取像單元的取像光軸方向。在經過光軸控制模組的調整之後,這些取像單元的取像光軸對齊。此外,一種自動校正裝置與一種校正方法亦被提供。

Description

立體攝像裝置、自動校正裝置與校正方法
本揭露是有關於一種攝像裝置、一種校正裝置與一種校正方法,且特別是有關於一種立體攝像裝置、一種自動校正裝置與一種校正方法。
隨著近年來3D(3 dimensional)立體電影的熱門以及賣座,立體數位影像的消費需求亦日益增加。目前主要的立體數位影像除了透過電腦合成以及平面轉立體(2D to 3D)的轉換之外,以立體攝影機實際拍攝立體影像已逐漸成為主流趨勢之一。一般而言,立體攝影機實際拍攝是利用兩台以上的攝影機進行立體影像的取像拍攝。隨著立體數位影像的消費需求增加,各式各樣的立體攝影機以及拍攝器材如雨後春筍般面世。目前常見的立體攝影機主要可分為兩大架構:並排式架構(side-by-side rig)以及鏡組半反射架構(Mirror rig)。
詳細而言,立體影像的立體感是基於人的兩眼具有一定視差所產生,由於人的兩眼主要是沿著水平方向排列,換言之,有效的立體影像視差為水平方向的視差,因此,人工的立體影像中不應存在太過明顯的垂直方向或其他方向的視差,以避免人眼觀看人工的立體影像時由於水平方向以外的視差使得雙眼無法良好對焦而影響立體影像品質,甚至可能會產生暈眩或是不適感。目前,在拍攝立體 影像之前,立體攝影機需經過手工校正過程以使得立體攝影機中的多個攝影鏡頭首先被良好的對齊(align),然後再依照拍攝拍攝需求來對應調整各個攝影鏡頭間的距離與方向。然而,由於目前主流的方式是採用人工的方式校正,一般而言,經驗老到的校正技師需花費2至3小時左右方能校正一次,而拍攝一部立體電影通常會有超過200個鏡頭,換言之,一部電影花在校正上的時間與金錢十分可觀,因此校正的時間越長,除了可能造成金錢上的重大損失之外,更可能造成劇組人員的拍攝壓力(如電影巨星的檔期因素或特殊國家的允許拍攝時間限制)。因此,如何提供快速且準確的立體攝影機校正方式已成為目前亟待解決的問題之一。
本揭露提出一種立體攝像裝置,包括一取像裝置、一光軸控制模組以及一運算模組。取像裝置適於取得一立體影像,取像裝置包括多個取像單元。光軸控制模組耦接至取像裝置。運算模組耦接至取像裝置與光軸控制模組,其中運算模組根據立體影像計算出一校正條件,光軸控制模組根據校正條件調整取像裝置中這些取像單元的取像光軸方向,在經過光軸控制模組的調整之後,這些取像單元的取像光軸對齊。
本揭露提出一種立體攝像裝置的校正方法,包括:以多個取像單元擷取多個影像訊號;對這些影像訊號執行一 對齊誤差運算,並計算出這些影像訊號間的一誤差值;判斷誤差值是否高於一閾值;以及若誤差值高於閾值,則執行修正誤差值的一對齊步驟以修正這些取像單元的位置與取像光軸方向,再重新對這些影像訊號執行一對齊誤差運算,直到誤差值低於閾值為止,若誤差值低於閾值,則完成校正。
本揭露提出一種自動校正裝置,適於自動校正多個取像單元的位置與取像光軸的方向,自動校正裝置包括一光軸控制模組以及一運算模組。光軸控制模組耦接至這些取像單元。光軸控制模組包括多個載台(stage)以安裝這些取像單元。運算模組耦接至這些取像單元與光軸控制模組。其中,運算模組根據這些取像單元所擷取的多個影像計算出一校正條件,光軸控制模組根據校正條件調整這些載台並帶動調整這些取像單元的取像光軸方向,在經過光軸控制模組調整後,這些取像單元的取像光軸對齊。
為讓本揭露之上述特徵能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1是本揭露之一實施例中的立體攝像裝置的示意圖,請參照圖1,在本實施例中,立體攝像裝置100可包括一取像裝置110、一光軸控制模組120以及一運算模組130。取像裝置110適於取得一立體影像。並且,取像裝置 110可包括多個取像單元。舉例來說如圖1中所繪示,取像裝置110包括取像單元110A與取像單元110B,且取像單元110A與取像單元110B並排(side-by-side)。然而,本揭露不限於此,在其他實施例中,取像裝置110可包括更多個取像單元。在本實施例中,光軸控制模組120可耦接至取像裝置110。舉例而言,如圖1所繪示,光軸控制模組120的數量亦可為二個。其中,光軸控制模組120A與光軸控制模組120B可分別耦接並控制取像單元110A與取像單元110B,藉此以分別控制取像單元110A與取像單元110B。然而,在其他實施例中,光軸控制模組120的數量亦可撘配取像單元的數量,而不限於2個。並且,運算模組130可耦接至取像裝置110與光軸控制模組120。其中,運算模組130可根據立體影像計算出一校正條件,光軸控制模組120並可根據校正條件自動地調整取像裝置110中取像單元110A與取像單元110B的取像光軸XA與取像光軸XB的方向,直到滿足校正條件為止。其中,校正條件的詳細細節將於後續述之。舉例而言,在本實施例中,光軸控制模組120可控制取像單元110A與取像單元110B的前後位置(X軸)、高低位置(Z軸)、翻轉角(roll)以及傾角(pitch)。並且,光軸控制模組120亦可控制取像單元110A與取像單元110B水平間距(inter-axial,即沿著圖1中的Y軸方向)與偏轉角(convergence)。
其中,在經過光軸控制模組120的調整之後,取像單元110A的取像光軸XA與取像單元110B的取像光軸XB 對齊。舉例而言,在本實施例中,圖1實施例中所述的光軸對齊亦即為取像光軸XA與取像光軸XB在空間中彼此平行且至少位於同一水平面上(例如圖1中的X-Y軸平面上),換言之,取像單元110A的取像光軸XA與取像單元110B的取像光軸XB在經過光軸控制模組120的校正之後,取像單元110A與取像單元110B彼此間在傾角(pitch)、偏轉角(yaw)以及翻轉角(roll)的方向上的誤差降至最低。進一步而言,取像光軸XA與取像光軸XB在水平方向與垂直方向上對齊。更進一步而言,在本實施例中,取像光軸XA與取像光軸XB位於同一水平面上。在本實施例中,傾角例如為取像單元110A以Y軸為軸轉動時所產生的取像光軸XA的角度變化,偏轉角例如為取像單元110A以Z軸為軸轉動時所產生的取像光軸XA的角度變化,並且翻轉角例如為取像單元110A以X軸為軸轉動時所產生的取像光軸XA的角度變化。藉此,在實際拍攝時,由於取像光軸XA與取像光軸XB平行且位於同一水平面上,與人的兩眼視物的機制相似,因此,拍攝者可簡單的依照拍攝立體影像所需的影像深度大小(空間感)與凹凸感(立體感)來對應調整取像單元110A取像單元110B之間的水平間距(inter-axial distance)的距離d與水平收斂程度(convergence)(即偏轉角θ),而可避免垂直方向上或是角度上(傾角與翻轉角)的誤差造成拍攝失敗或是影像讓觀賞者感到不適的現象。同時,由於取像單元110A取像單元110B可被光軸控制模組120自動地控制,而可節省下人工校正 所耗費的大量時間,從而節省拍攝成本,並增進拍攝效率。
詳細而言,光軸控制模組120可包括驅動控制器122以及多個驅動器125,驅動控制器122可驅動這些驅動器125以改變取像單元110A與取像單元110B的位置以及取像光軸XA與取像光軸XB的方向。舉例而言,在本實施例中,驅動控制器122與驅動器125例如可分別包括對應取像單元110A的驅動控制器122A與驅動器125A,以及包括對應取像單元110B的驅動控制器122A與驅動器125B。並且,這些驅動器125亦可包括能夠正向或反向線性運動的精密馬達以及其相關的驅動機構件,在驅動控制器122的控制下,可用以驅動以改變取像單元110A與取像單元110B的位置與角度(如前述之X軸、Y軸以及Z軸立體座標空間中的位置,以及傾角、偏轉角以及翻轉角的角度方向,換言之,在本實施例中各取像單元例如可由六個驅動器125分別控制各個位置與角度方向),然而本揭露不以此為限。此外,光軸控制模組120亦可包括多個載台(stage)如圖1中的載台PTA以及載台PTB,以分別對應安裝取像單元110A與取像單元110B。在本實施例中,載台PTA與PTB例如為可鎖固取像單元110A與取像單元110B的平台,然而,在其他實施例中,載台PTA與PTB亦可實施為其他型態如支撐臂或支架等適於安裝固定載台PTA與PTA的裝置,本發明不以此為限。
進一步而言,圖1實施例中的立體攝像裝置100所包括的光軸控制模組120以及運算模組130亦可形成一自動 校正裝置100’,並可依照拍攝需求撘配各式不同的攝像裝置,如立體攝像裝置的架構可為立體攝影機、雙攝影機、雙數位相機或等任何立體訊號產生裝置,然本發明不以此為限。藉此,在實際拍攝上可依照拍攝的場地或環境(如極地、深海、沙漠或太空等)更換不同的攝像裝置,可具有極佳的拍攝彈性,並亦具有與立體攝像裝置100相似之自動校正功效。
更詳細而言,在本實施例中,這些驅動器125可來回運動以使這些取像單元110A與取像單元110B的位置與取像光軸XA與取像光軸XB的方向趨近定位。舉例而言,圖2繪示出圖1實施例中的驅動器的定位過程示意圖,請參照圖1與圖2,其中,以取像單元110A為例,當取像單元110A尚未校正時,取像光軸XA位於光軸XA0的方向上。若取像單元110A的取像光軸XA欲根據前述之校正條件定位至X軸方向時,驅動器125會以Z軸為轉動軸使取像單元110A轉動,進而驅動取像光軸XA由光軸XA0的方向先移動到光軸XA1的方向上,接著驅動器125再使取像單元110A轉動,進而驅動光軸XA1再移動到光軸XA2的方向上,其中,第一次的轉動角度θ 1大於第二次的轉動角度θ 2,並且在經過這兩次轉動之後,取像光軸XA與X軸的方向更接近平行。接著,驅動器125再驅動取像單元110A轉動,進而驅動光軸XA2移動到光軸XA3的方向上,而後,驅動器125再驅使取像單元110A轉動,進而驅動光軸XA3再移動到X軸的方向上,其中,第三次的轉 動角度θ 3大於第四次的轉動角度θ 4,並且在經過這兩次轉動之後,取像光軸XA與X軸的方向相較於前幾次轉動更接近平行,如此可反覆上述過程直到取像光軸XA與X軸的方向趨近平行。換言之,驅動器125可重覆進行數次來回轉動以使得取像光軸XA與X軸實質上平行。在本實施例中,轉動的次數僅用於舉例說明本實施例,本揭露不以此為限。此外,取像裝置110中的各取像單元亦可藉由此一機制趨近定位。進一步而言,光軸控制模組120可在調整取像單元110A與取像單元110B後固定取像單元110A與取像單元110B的位置。藉此,可進一步確保校正後的取像單元110A與取像單元110B能維持,而不致輕易改變。
此外,請繼續參照圖1,在本實施例中,運算模組130可更包括一訊號擷取單元132、一運算單元134以及一指令訊號輸出單元136。訊號擷取單元132可接收取像單元110A與110B所分別取得的影像。運算單元134耦接至訊號擷取單元132。舉例而言,運算單元134可為電腦、現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)或是嵌入式系統板,然而本揭露不以此為限。其中,運算單元134可根據取像單元110A與110B所分別取得的影像之間的特徵與對應關係計算出校正條件。指令訊號輸出單元136可將校正條件轉換為一控制訊號輸出至光軸控制模組120。
圖3繪示出圖1實施例中的立體攝像裝置的校正示意 圖,圖4A與圖4B分別繪示出圖3中的各取像單元在校正前分別拍攝到的影像,圖4C繪示出圖4A與圖4B影像的差異影像,圖4D繪示出經過校正後,各取像單元分別拍攝到的影像之間的差異影像,請參照圖1至圖4B,在本實施例中,在取像裝置110中的取像單元110A以及取像單元110B尚未校正時,可利用擺設於取像裝置110前方的一近物體NJ與一遠物體FJ來校正取像單元110A以及取像單元110B。其中,近物體NJ與取像裝置110的距離比遠物體FJ與取像裝置110的距離更近,並且近物體NJ可包含多個特徵點RG用以校正取像裝置110,而遠物體FJ可以是包含明顯特徵的參考物,並不可包含近物體NJ以及特徵點RG的特徵影像(亦即,近物體NJ與遠物體FJ的特徵不可過於相似以免造成校正上的錯誤)。舉例而言,在本實施例中,近物體NJ例如是利用擺放於一支架M上的多個特徵點RG所構成的一九點校正板而遠物體FJ可具有棋盤格紋。其中,取像單元110A以及取像單元110B除了可分別拍攝到近物體NJ上的多個特徵點RG的影像之外,亦可透過近物體NJ九點校正板之間的空隙拍攝到位於近物體NJ後方的遠物體FJ,如圖3所繪示。在本實施例中,取像單元110A的取像光軸XA以及取像單元110B的取像光軸XB在校正前所拍攝到的影像分別如圖4A與圖4B所繪示,並且,將圖4A與圖4B的影像相減可得到如圖4C的差異影像。
由於取像單元110A以及取像單元110B尚未校正,因 此在各方向上的位置與角度方向都有可能存在差異,進而反應在所擷取的影像上。請參照圖4C,其中這些特徵點RG與棋盤格紋(即遠物體FJ的影像)並未對齊且有垂直與水平方向的誤差。換言之,在本實施例中,圖4C所繪示的這些由於取像單元110A以及取像單元110B在各方向上的位置與角度方向之差異所造成的差異影像的斑紋明顯程度,即可依此推算出本實施例中的校正條件。舉例而言,在本實施例中,運算模組130可根據立體影像(亦即圖4A與圖4B中繪示的影像)的差異影像(亦即如圖4C中所繪示),計算出將此差異影像中的斑紋明顯程度(例如斑紋的粗細)降至最低時,取像光軸XA與取像光軸XB在位置與角度方向上需要改變的程度,即為本實施例中的校正條件。而後,光軸控制模組120並可根據校正條件自動地調整取像裝置110中取像單元110A與取像單元110B的取像光軸XA與取像光軸XB的方向,直到滿足校正條件,亦即使圖4C中的差異影像的斑紋近乎消失為止,如圖4D所繪示。如此,可確保取像單元110A與取像單元110B在方向與角度上都已被良好的校正,而可避免拍攝失敗,如圖1實施例中所述,在此不再贅述。
圖5A至圖5E繪示出圖3實施例中各取像光軸在校正過程中變化的示意圖,進一步而言,請先參照圖5A,在本實施例中,於校正過程中,首先利用近物體NJ使取像光軸XA與取像光軸XB對齊,換言之,即分別調整取像單元110A與取像單元110B直到分別拍攝到的影像中的特徵 點RG重疊。而後,請再參照圖5B,再利用遠物體FJ使取像光軸XA與取像光軸XB對齊,換言之,即分別調整取像單元110A與取像單元110B直到分別拍攝到的影像中的棋盤格紋重疊。然後,再利用近物體NJ使取像光軸XA與取像光軸XB對齊,如圖5C所繪示,接著,再利用遠物體FJ使取像光軸XA與取像光軸XB對齊。如此反覆利用近物體NJ與遠物體FJ對齊取像光軸XA與取像光軸XB,直到取像單元110A與取像單元110B所分別拍攝到的影像中的特徵點RG重疊並且棋盤格紋亦重疊。此時,取像單元110A與取像單元110B所分別拍攝到的影像相減所產生的差異影像可如圖4D中所繪示之近乎全黑的影像。其中,上述之校正可透過運算模組130判斷出校正條件,再由光軸控制模組120根據校正條件自動地調整取像裝置110所產生,因此可快速準確地校正立體攝像裝置100,進而能節省拍攝成本,提升拍攝效率。然而,圖4D所繪示的近乎全黑的差異影像僅用於舉例說明本實施例,在其他實施例中,亦可使用其他不同的校正條件與誤差閾值(例如差異影像中的斑紋粗細程度小於某個程度為止)。
詳細而言,在本實施例中,可進一步指定取像單元110A(或取像單元110B)所拍攝到的影像為參考影像,再透過運算模組130利用區塊比對法(block matching)方法所計算出的校正條件由光軸控制模組120調整取像單元110B(或取像單元110A)的位置與角度方向。並且,運算模組130可計算出取像單元110B(或取像單元110A)在位置 或方向上所需要的移動量,並依照這些移動量中數值較高者優先處理,直到滿足校正條件為止,以完成校正程序。
更進一步而言,請參照圖4A至圖5E,在本實施例中,取像裝置110中各個取像單元(如取像單元110A與110B)可具有六個自由度(亦即X、Y與Z軸方向上的位移以及傾角、偏轉角以及翻轉角)。然而,由於水平誤差關係到Y軸方向上的位移以及偏轉角兩個自由度,而垂直誤差則關係到Z軸方向上的位移以及傾角,因此,在校正時可依照下述之校正流程,以進一步地節省校正時間。以水平校正為例,可先調整取像單元110A與110B的水平位置,以使取像單元110A與110B所擷取到的近物體NJ的多個近物體NJ的影像對齊。然後,再調整取像單元110A與110B的偏轉角,以使取像單元110A與110B所擷取到的遠物體FJ的多個遠物體FJ的影像對齊。而後,再重複對齊近物體NJ影像與遠物體FJ影像,直到近物體NJ影像與遠物體FJ影像對齊。其中,對齊方式如圖4A至圖5E中所述,在此不再贅述。藉此,可進一步地節省水平校正所需的時間。舉例而言,在本實施例中,完整校正一次所需花費的時間約為10分鐘,藉此所節省校正時間與金錢十分可觀。
此外,垂直方向的校正亦與水平方向的校正相似,可先調整取像單元110A與110B的垂直位置,以使取像單元110A與110B所擷取到的近物體NJ的多個近物體NJ的影像對齊。然後,再調整取像單元110A與110B的傾角,以使取像單元110A與110B所擷取到的遠物體FJ的多個遠 物體FJ的影像對齊。而後,再重複對齊近物體NJ影像與遠物體FJ影像,直到近物體NJ影像與遠物體FJ影像對齊。藉此,立體攝像裝置100可被自動地校正,而能夠提升拍攝效率,節省拍攝成本。
圖6是本揭露之另一實施例中的立體攝像裝置的示意圖,請參照圖1與圖6,與圖1之實施例相似,然而,在本實施例中,差異之處在於立體攝像裝置200可更包括一半穿透半反射單元BS,配置於取像單元210A與取像單元210B的取像路徑上,其中取像單元210A與取像單元210B的鏡頭光軸XA’與鏡頭光軸XB’方向不位於同一水平面上(例如不位於圖6中的XY平面上),換言之,載台PTA以及載台PTB亦不位於同一水平面上且使得取像單元210A與取像單元210B的鏡頭光軸XA’與鏡頭光軸XB’朝向不同方向。詳言之,圖6中的立體攝像裝置200為鏡式(mirror)架構。並且,取像單元210A與取像單元210B透過半穿透半反射單元BS之後所形成的取像光軸XA與取像光軸XB位於同一水平面上,藉此可達到與圖1實施例相似之功效。此外,與圖1之實施例相似,在本實施例中,光軸控制模組220所包括的二個光軸控制模組220A與220B與圖1中的光軸控制模組120A與120B具有相似之功效,驅動控制器222所包括的二個驅動控制器222A與222B亦與圖1實施例中的驅動控制器122、122A與122B具有相似之功效,多個驅動器225(包括圖6中的驅動器225A以及225B)亦與圖1中的驅動器125、125A以及125B具有相似之功 效,在此不再贅述。藉此,圖6中的立體攝像裝置200可如圖1實施例中的立體攝像裝置100可利用相似之校正流程校正,並可具有相似之功效,相關的裝置以及校正流程之詳細敘述可參照圖1至圖5E中所述,在此不再贅述。並且,在其他實施例中,立體攝像裝置的架構可為立體攝影機、雙攝影機、雙數位相機或等任何立體訊號產生裝置。並且,所生成的立體影像訊號格式亦可為並排、上下(up-and-down)、左右雙訊號或是多視角訊號等,本揭露不以此為限。
此外,如圖1中所述,圖6實施例中的立體攝像裝置200所包括的光軸控制模組220以及運算模組130亦可形成一自動校正裝置200’,並可具有與圖1實施例中的自動校正裝置100’具有相似之功效,在此不再贅述。
圖7繪示出本揭露之一實施例中立體攝像裝置的校正方法的流程圖,請參照圖1與圖7,在本實施例中,校正方法可用以校正圖1實施例中的立體攝像裝置100,校正方法可包括:以多個取像單元(如圖1中的取像單元110A與取像單元110B)擷取多個影像訊號(步驟S100)。對這些影像訊號執行一對齊誤差運算,並計算出這些影像訊號間的一誤差值(步驟S200)。判斷誤差值是否高於一閾值(步驟S300)。其中,若誤差值高於閾值,則執行修正誤差值的一對齊步驟以修正這些取像單元的位置與取像光軸方向(步驟S400),再重新對這些影像訊號執行一對齊誤差運算,並計算出這些影像訊號間的一誤差值(步驟S200),直到誤 差值低於閾值為止,若誤差值低於閾值,則完成校正。
詳細而言,步驟S200中的對齊誤差運算,可如圖1實施例中的運算模組130將圖4A與圖4B中所繪示之影像相減而取得圖4C差異影像的運算。而誤差值可如圖4C中棋盤格紋與特徵點RG之間未對準所產生的位置差異。並且,步驟S300中的閾值可依照拍攝者的拍攝需求所設定,在本實施例中,可為如圖4D中所繪示的近乎全黑的校正後的差異影像。由於圖4D中的閾值很小,因此差異影像中的斑紋低於此一預設的閾值時會不易察覺,差異影像看起來就像是全黑的,換言之,此時取像單元110A與取像單元110B所拍攝到的影像幾乎是重合的,然本揭露不以此為限,詳細之敘述可參照圖4A至圖4D實施例中所述,在此不再贅述。
更詳細而言,對齊誤差運算可進一步地包括下列步驟:進行一特徵擷取步驟,以擷取這些影像訊號並找出這些影像訊號之間的一影像特徵。進行一特徵計算步驟,以計算出這些影像特徵的位置與資訊。進行一特徵對應步驟,以比較這些影像特徵的位置與資訊,並找出這些影像特徵之間的對應關係以推算誤差值。並且,校正方法亦可更包括利用一校正板上的多個特徵點RG的影像作為近物體NJ以進行對齊。以及利用這些影像訊號中的一影像特徵區塊作為遠物體FJ以進行對齊。舉例而言,在本實施例中,這些影像訊號例如可由圖1實施例中的訊號擷取單元132擷取,而這些所擷取到的影像訊號所包含的影像特徵 例如是圖4A至圖4D中所述之特徵點RG與遠物體FJ的棋盤格紋。運算單元134可執行特徵計算步驟以及特徵對應步驟,以推算出誤差值(亦即前述之圖4C中棋盤格紋與特徵點RG之間未對準所產生的位置差異),以利於後續之校正。
進一步而言,步驟S400的對齊步驟可包括:一水平方向對齊步驟、一垂直方向對齊步驟以及一影像對齊步驟。其中,水平方向對齊步驟為調整這些取像單元之間在水平方向上的角度誤差與距離誤差,直到小於一水平誤差閾值為止。而垂直方向對齊步驟為調整這些取像單元之間在垂直方向上的角度誤差與距離誤差,直到小於一垂直誤差閾值為止。影像對齊步驟為調整這些取像單元的光軸分別所拍攝到的影像的大小誤差與翻轉誤差,直到小於一影像對齊閾值與誤差閾值為止。其中,這些對齊步驟可由圖1實施例中的運算模組130控制光軸控制模組120執行。並且,在本實施例中,水平方向的對齊步驟與Y軸以及偏轉角相關,垂直方向的對齊步驟與Z軸以及傾角相關,而影像對齊步驟與X軸以及翻轉角相關。
更進一步而言,由於取像裝置110中各個取像單元(如取像單元110A與110B)可具有六個自由度(亦即X、Y與Z軸方向上的位移以及傾角、偏轉角以及翻轉角)。因水平誤差關係到Y軸方向上的位移以及偏轉角兩個自由度,而垂直誤差則關係到Z軸方向上的位移以及傾角,故在校正時可依照可參照圖4A至圖5E中所述之水平校正以及垂直校 正的校正流程步驟,在此不再贅述。
綜上所述,本揭露之實施例中的立體攝像裝置與自動校正裝置可藉由取像裝置所取得的立體影像計算出一校正條件,並利用光軸控制模組調整以自動校正取像裝置中的各取像單元的X軸、Y軸以及Z軸立體座標空間中的位置,以及傾角、偏轉角以及翻轉角的角度方向。並且,本揭露之實施例中的校正方法可對所擷取到的影像訊號中的近物體的特徵點與遠物體的特徵影像做對齊誤差運算以取得影像訊號彼此間的誤差值,當誤差值大於閾值時執行對齊步驟以使誤差值降低至一閾值以下,進而可達到校正之功能。
雖然本揭露已以實施例揭露如上,然其並非用以限定本揭露,任何所屬技術領域中具有通常知識者,在不脫離本揭露之精神和範圍內,當可作些許之更動與潤飾,故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
100、200‧‧‧立體攝像裝置
100’、200’‧‧‧自動校正裝置
110、210‧‧‧取像裝置
110A、110B、210A、210B‧‧‧取像單元
120、120A、120B、220、220A、220B‧‧‧光軸控制模組
122、122A、122B、222、222A、222B‧‧‧驅動控制器
125、125A、125B、225、225A、225B‧‧‧驅動器
130、230‧‧‧運算模組
132‧‧‧訊號擷取單元
134‧‧‧運算單元
136‧‧‧指令訊號輸出單元
BS‧‧‧半穿透半反射單元
FJ‧‧‧遠物體
M‧‧‧支架
NJ‧‧‧近物體
RG‧‧‧特徵點
S100、S200、S300、S400‧‧‧步驟
PTA、PTB‧‧‧載台
XA、XB‧‧‧取像光軸
XA’、XB’‧‧‧鏡頭光軸
XA0、XA1、XA2、XA3‧‧‧光軸
θ 1、θ 2、θ 3、θ 4‧‧‧轉動角度
圖1是本揭露之一實施例中的立體攝像裝置的示意圖。
圖2繪示出圖1實施例中的驅動器的定位過程示意圖。
圖3繪示出圖1實施例中的立體攝像裝置的校正示意圖。
圖4A與圖4B分別繪示出圖3中的各取像單元在校正 前分別拍攝到的影像。
圖4C繪示出圖4A與圖4B影像的差異影像。
圖4D繪示出經過校正後,各取像單元分別拍攝到的影像之間的差異影像。
圖5A至圖5E繪示出圖3實施例中各取像光軸在校正過程中變化的示意圖。
圖6是本揭露之另一實施例中的立體攝像裝置的示意圖。
圖7繪示出本揭露之一實施例中立體攝像裝置的校正方法的流程圖。
100‧‧‧立體攝像裝置
110‧‧‧取像裝置
110A、110B‧‧‧取像單元
120、120A、120B‧‧‧光軸控制模組
122‧‧‧驅動控制器
125‧‧‧驅動器
130‧‧‧運算模組
132‧‧‧訊號擷取單元
134‧‧‧運算單元
136‧‧‧指令訊號輸出單元
PTA、PTB‧‧‧載台
XA、XB‧‧‧取像光軸

Claims (28)

  1. 一種立體攝像裝置,包括:一取像裝置,適於取得一立體影像,該取像裝置包括多個取像單元;一光軸控制模組,耦接至該取像裝置;以及一運算模組,耦接至該取像裝置與該光軸控制模組,其中該運算模組根據該立體影像計算出一校正條件,該光軸控制模組根據該校正條件調整該取像裝置中該些取像單元的取像光軸方向,在經過該光軸控制模組的調整之後,該些取像單元的取像光軸對齊。
  2. 如申請專利範圍第1項所述之立體攝像裝置,其中在經過該光軸控制模組的調整之後,該些取像單元的取像光軸在水平方向與垂直方向上對齊。
  3. 如申請專利範圍第1項所述之立體攝像裝置,其中在經過光軸控制模組調整後,該些取像單元的取像光軸位於同一水平面上。
  4. 如申請專利範圍第1項所述之立體攝像裝置,其中該取像裝置的該些取像單元並排(side-by-side)。
  5. 如申請專利範圍第1項所述之立體攝像裝置,更包括一半穿透半反射單元,配置於該些取像單元的取像路徑上,其中該些取像單元的鏡頭光軸方向不位於同一水平面上,且該些取像單元透過該半穿透半反射單元之後所形成的取像光軸位於同一水平面上。
  6. 如申請專利範圍第1項所述之立體攝像裝置,其中 該光軸控制模組包括一驅動控制器以及多個驅動器,該驅動控制器驅動該些驅動器以改變該些取像單元的位置與取像光軸方向。
  7. 如申請專利範圍第6項所述之立體攝像裝置,其中該些驅動器來回運動以使該些取像單元的位置與取像光軸方向趨近定位。
  8. 如申請專利範圍第7項所述之立體攝像裝置,其中該光軸控制模組在調整該些取像單元後固定該些取像單元的位置。
  9. 如申請專利範圍第1項所述之立體攝像裝置,其中該光軸控制模組控制該些取像單元的前後位置、高低位置、翻轉角以及傾角。
  10. 如申請專利範圍第3項所述之立體攝像裝置,其中該光軸控制模組控制該些取像單元的取像光軸水平間距與偏轉角。
  11. 如申請專利範圍第1項所述之立體攝像裝置,其中該運算模組更包括:一訊號擷取單元,接收該些取像單元所分別取得的影像;一運算單元,耦接至該訊號擷取單元,其中該運算單元根據該些取像單元所分別取得的影像之間的特徵與對應關係計算出該校正條件;以及一指令訊號輸出單元,將該校正條件轉換為一控制訊號輸出至該光軸控制模組。
  12. 一種立體攝像裝置的校正方法,包括:以多個取像單元擷取多個影像訊號;對該些影像訊號執行一對齊誤差運算,並計算出該些影像訊號間的一誤差值;判斷該誤差值是否高於一閾值;以及若該誤差值高於該閾值,則執行修正該誤差值的一對齊步驟以修正該些取像單元的位置與取像光軸方向,再重新對該些影像訊號執行一對齊誤差運算,直到該誤差值低於該閾值為止,若該誤差值低於該閾值,則完成校正。
  13. 如申請專利範圍第12項所述之校正方法,其中該對齊誤差運算包括下列步驟:進行一特徵擷取步驟,以擷取該些影像訊號並找出該些影像訊號之間的一影像特徵;進行一特徵計算步驟,以計算出該些影像特徵的位置與資訊;以及進行一特徵對應步驟,以比較該些影像特徵的位置與資訊,並找出該些影像特徵之間的對應關係以推算該誤差值。
  14. 如申請專利範圍第12項所述之校正方法,其中該對齊步驟包括:進行一水平方向對齊步驟,以調整該些取像單元之間在水平方向上的角度誤差與距離誤差,直到小於一水平誤差閾值為止; 進行一垂直方向對齊步驟,以調整該些取像單元之間在垂直方向上的角度誤差與距離誤差,直到小於一垂直誤差閾值為止;以及進行一影像對齊步驟,以調整該些取像單元的光軸所分別拍攝到的影像的大小誤差與翻轉誤差,直到小於一影像對齊閾值與誤差閾值為止。
  15. 如申請專利範圍第14項所述之校正方法,其中該水平方向對齊步驟包括:調整該些取像單元的水平位置,以使該些取像單元所擷取到的一近物體的多個近物體影像對齊;調整該些取像單元的偏轉角,以使該些取像單元所擷取到的一遠物體的多個遠物體影像對齊;以及重複對齊該近物體影像與該遠物體影像,直到該近物體影像與該遠物體影像對齊。
  16. 如申請專利範圍第14項所述之校正方法,其中該垂直方向對齊步驟包括:調整該些取像單元的垂直位置,以使該些取像單元所擷取到的一近物體的多個近物體影像對齊;調整該些取像單元的傾角,以使該些取像單元所擷取到的一遠物體的多個遠物體影像對齊;以及重複對齊該近物體影像與該遠物體影像,直到該近物體影像與該遠物體影像對齊。
  17. 如申請專利範圍第15或第16項所述之校正方法,更包括: 利用一校正板上的多個特徵點的影像作為近物體以進行對齊;以及利用該些影像訊號中的一影像特徵區塊作為遠物體以進行對齊。
  18. 一種自動校正裝置,適於自動校正多個取像單元的位置與取像光軸的方向,該自動校正裝置包括:一光軸控制模組,耦接至該些取像單元,該光軸控制模組包括多個載台以安裝該些取像單元;以及一運算模組,耦接至該些取像單元與該光軸控制模組,其中該運算模組根據該些取像單元所擷取的多個影像計算出一校正條件,該光軸控制模組根據該校正條件調整該些載台並帶動調整該些取像單元的取像光軸方向,在經過光軸控制模組調整後,該些取像單元的取像光軸對齊。
  19. 如申請專利範圍第18項所述之自動校正裝置,其中在經過光軸控制模組調整後,該些取像單元的取像光軸在水平方向與垂直方向上對齊。
  20. 如申請專利範圍第18項所述之自動校正裝置,其中在經過光軸控制模組調整後,該些取像單元的取像光軸位於同一水平面上。
  21. 如申請專利範圍第18項所述之自動校正裝置,其中安裝於該些載台上的該些取像單元並排。
  22. 如申請專利範圍第18項所述之自動校正裝置,更包括一半穿透半反射單元,配置於該些取像單元的取像路徑上,其中安裝於該些載台上的該些取像單元的鏡頭光軸 方向不位於同一水平面上,且該些取像單元透過該半穿透半反射單元之後所形成的取像光軸位於同一水平面上。
  23. 如申請專利範圍第18項所述之自動校正裝置,其中該光軸控制模組包括一驅動控制器以及多個驅動器,該驅動控制器驅動該些驅動器帶動該些載台,以調整該些取像單元的位置與取像光軸方向。
  24. 如申請專利範圍第23項所述之自動校正裝置,其中該些驅動器來回運動以使該些取像單元的位置與取像光軸方向趨近定位。
  25. 如申請專利範圍第24項所述之自動校正裝置,其中該光軸控制模組在調整該些載台後固定該些載台的位置。
  26. 如申請專利範圍第18項所述之自動校正裝置,其中該光軸控制模組控制該些載台的前後位置、高低位置、翻轉角以及傾角。
  27. 如申請專利範圍第21項所述之自動校正裝置,其中該光軸控制模組控制該些載台的取像光軸水平間距與偏轉角。
  28. 如申請專利範圍第18項所述之自動校正裝置,其中該運算模組更包括:一訊號擷取單元,接收該些取像單元所分別取得的影像;一運算單元,耦接至該訊號擷取單元,其中該運算單元根據該些取像單元所分別取得的影像之間的特徵與對應 關係計算出該校正條件;以及一指令訊號輸出單元,將該校正條件轉換為一控制訊號輸出至該光軸控制模組。
TW101149879A 2012-10-30 2012-12-25 立體攝像裝置、自動校正裝置與校正方法 TWI557437B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310086264.9A CN103792667B (zh) 2012-10-30 2013-03-18 立体摄像装置、自动校正装置与校正方法
US13/945,931 US9445080B2 (en) 2012-10-30 2013-07-19 Stereo camera apparatus, self-calibration apparatus and calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261720380P 2012-10-30 2012-10-30

Publications (2)

Publication Number Publication Date
TW201416713A true TW201416713A (zh) 2014-05-01
TWI557437B TWI557437B (zh) 2016-11-11

Family

ID=51293778

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101149879A TWI557437B (zh) 2012-10-30 2012-12-25 立體攝像裝置、自動校正裝置與校正方法

Country Status (1)

Country Link
TW (1) TWI557437B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI579776B (zh) * 2015-10-27 2017-04-21 財團法人國家實驗研究院 利用影像擷取裝置給定一全域場景影像之方法
TWI698946B (zh) * 2015-10-16 2020-07-11 德商紐豹有限責任合資公司 元件操控裝置
CN113495074A (zh) * 2020-04-07 2021-10-12 大量科技股份有限公司 视觉检测系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8238741B2 (en) * 2009-03-24 2012-08-07 James Cameron & Vincent Pace Stereo camera platform and stereo camera
GB2473247B (en) * 2009-09-04 2015-02-11 Sony Corp A method and apparatus for image alignment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI698946B (zh) * 2015-10-16 2020-07-11 德商紐豹有限責任合資公司 元件操控裝置
TWI579776B (zh) * 2015-10-27 2017-04-21 財團法人國家實驗研究院 利用影像擷取裝置給定一全域場景影像之方法
CN113495074A (zh) * 2020-04-07 2021-10-12 大量科技股份有限公司 视觉检测系统

Also Published As

Publication number Publication date
TWI557437B (zh) 2016-11-11

Similar Documents

Publication Publication Date Title
US9445080B2 (en) Stereo camera apparatus, self-calibration apparatus and calibration method
JP2023081930A (ja) アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法
US6915073B2 (en) Stereo camera and automatic convergence adjusting device
US9648233B2 (en) System, device, and vehicle for recording panoramic images
US7110103B2 (en) Apparatus for and method of aligning a structure
JP6022577B2 (ja) 立体画像ペアの改善された切り取りのための方法および装置
US20140193144A1 (en) Method and apparatus for multiple camera alignment and use
US20120249748A1 (en) Stereoscopic image pickup apparatus and stereoscopic image pickup method
US9897817B2 (en) System and method for inspecting misalignment between display panel and film patterned retarder
CN101840146A (zh) 自动矫正视差的立体图像拍摄方法及装置
CN104780865A (zh) 用于校准牙科摄像机的校准设备和方法
US7388719B2 (en) Camera system
MX2010005128A (es) Modulo de soporte para camara y dispositivo para toma de vistas en relieve.
TWI557437B (zh) 立體攝像裝置、自動校正裝置與校正方法
US20130107001A1 (en) Distance adaptive 3d camera
US20130076870A1 (en) Stereoscopic 3D Camera
CN103760745B (zh) 一种用于定格拍摄的单机双机位立体影像拍摄装置及其拍摄方法
US20150281674A1 (en) Stereo adapter and stereo imaging apparatus
CN109064513A (zh) 一种摄像头封装中六自由度自动校准算法
CN107168008A (zh) 一种消除晕眩感的3Dvr摄影机的校正方法和装置
CN203930322U (zh) 用于定格拍摄的单机双机位立体影像拍摄装置
JP7308095B2 (ja) ステレオカメラの補正方法及びステレオカメラの補正装置
CN112649935B (zh) 一种调整成像镜头安装角度的辅助装置及调整方法
JP2013046081A (ja) 撮影装置および映像生成方法
CN106932917A (zh) 一种光学显示模组图像生成单元旋转调整方法及系统