TWI408486B - 具動態校正的攝影機及其動態校正方法 - Google Patents

Description

具動態校正的攝影機及其動態校正方法

本發明是有關於一種攝影機校正方法。

在環境安全的保全中，利用攝影機來掌控環境的狀況是經常使用的手段。透過環境影像感測器，進行更精確保全異常監控的應用，已成為此類商品發展的主要方向。近年來服務型機器人的定位導航技術研發，亦將此類感測器的整合應用視為未來影響服務型機器人在實際環境運行的關鍵技術之一。

對於習知的攝影機，其校正方法必須透過一標準校正板或是環境地標，完成攝影機內外部參數(intrinsic and extrinsic parameters)的校正。

圖1繪示一般攝影機之影像座標與環境座標之觀念示意圖。如圖1所示，[u,v]代表影像平面位置，[Xc,Yc,Zc]表示攝影機空間座標，[Xw,Yw,Zw]則代表世界空間座標，內部參數的校正決定了攝影機的焦距位置、影像distortion、影像中心位置等，其目的即在決定[u,v]與[Xc,Yc,Zc]的關係。外部參數則表示攝影機相對於世界座標的位置，亦即[Xc,Yc,Zc]與[Xw,Yw,Zw]的轉換。

此種校正方法為一次式的校正程序，亦即屬離線(off-line)的校正方式，通常需要花費較長時間完成單一攝影機的校正，同時完成校正的攝影機之設定必須是固定，亦即攝影機的焦距或是位置必須固定不變。當進行攝影機的焦距調整，如進行拉近(zoom in)或是拉遠(zoom out)動作，或攝影機位置變動，使得攝影機所監看的環境發生改變時，如一般PTZ攝影機常執行的左右旋轉(pan)或是上下移動(tile)的動作，必須重新執行攝影機的校正，如此將限制此技術於應用上彈性，對於較大範圍的監控必須佈置較多的攝影機，增加環境攝影機進行監控、異常追蹤與機器人定位的成本。

目前透過攝影機進行定位的相關專利或技術，主要透過標準校正板(US6985175B2、US6437823B1)或是環境中設計特殊地標，透過擷取校正板或是環境中地標之相關資訊，與其世界座標進行對應，進而達成攝影機參數的校正。透過校正板進行的方式，必須事先量測校正板內標準圖樣的尺寸(對應世界座標的尺寸)，將其置於攝影機可拍攝視角內任何的高度、角度與位置，拍攝所需校正影像。之後，透過系統影像分析擷取影像中各方格對應的像素位置，計算攝影機之內、外部參數，完成整個攝影機校正程序。透過環境地標設計的方式，省卻了拍攝不同校正影像的需求。該方法事先於地面上量測並標示好不同世界座標位置，亦透過影像處理取得這些地標在影像上的像素位置，以對應世界座標完成攝影機校正。

另外，美國專利US6,101,455揭示透過機器手臂與點結構光輔助，進行攝影機的校正。該專利的概念是結合機器手臂在空間中運動得到的位置資訊，藉由點結構光投射在機器手臂前端形狀，與攝影機所拍得之校正板上的圖樣，完成不同位置攝影機的校正。

因此，目前攝影機的動態校正中，必須藉由外在環境設定以完成校正，同時攝影機位置變動時必須費時重新設定環境以完成下一次校正，並沒有一個可以提供不限於攝影機位置變動與環境設定變動的即時校正的方法。

基於上述問題，本發明提出攝影機的動態校正方法以及具該校正方法的攝影機。在攝影機運作過程中，攝影機進行左右旋轉與上下移動動作時，動態估測攝影機之校正參數，並且對於大範圍的精確監控需求、移動載體之定位應用等，提供一個更有效的系統。

本發明提出一種攝影機的動態校正方法，該攝影機更配設點光源。首先，對攝影機進行初始校正。接著，以點光源投射到外部環境，以產生一光點，並將光點的位置記錄為世界座標，並且以攝影機取得光點的第一光點影像，並將第一光點影像的位置記錄為第一影像座標。當攝影機移動時，並且計算攝影機的移動量，產生多數個移動量估測樣本，此多個估測樣本表示攝影機參數之估測樣本。以點光源不移動的狀態下，以移動後的攝影機對光點進行取像，並獲取光點的第二光點影像的第二影像座標。基於該些移動量估測樣本、第二影像座標，進行動態校正程序。依據動態校正程序，產生最佳校正參數估測結果。

上述動態校正程序更包括預測程序、更新程序以及再取樣程序。預測程序是基於第一光點影像與攝影機的移動量，產生該些移動量估測樣本。更新程序為將各移動量估測樣本，分別賦予權重值，進行該些移動量估測樣本的更新。再取樣程序依據該些更新的移動量估測樣本，重新取樣多數個移動量估測樣本，以確認估測樣本的收斂。

本發明更提出一種攝影機的動態校正方法。首先，對該攝影機進行初始校正。計算攝影機的移動量。依據移動量，產生該攝影機的多數個移動量估測樣本。計算各移動量估測樣本的權重值。依據各權重值重新取樣多數個移動量估測樣本。依據重新取樣的移動量估測樣本，進而選取最佳估測樣本，完成攝影機校正。

本發明更提出一種具動態校正的攝影機，其包括視覺感測單元、攝影機校正參數估測單元與空間座標轉換單元。視覺感測單元用以感測點光源所形成的光點並且形成影像光點，並且控制攝影機的移動。攝影機校正參數估測單元用以依據點光源、光點影像與攝影機的移動量，產生多數個移動量估測樣本，以進行動態校正程序。空間座標轉換單元用以對光點的世界座標與影像光點的影像座標進行轉換。其中將光點的位置加以記錄，並且以該攝影機取得該光點的第一光點影像，並將第一光點影像的位置記錄為第一影像座標。當攝影機移動時，並且計算攝影機的移動量，產生移動量估測樣本。以點光源不移動的狀態下，以移動後的攝影機對產生的光點進行取像，並獲取第二光點在影像上的第二影像座標。基於移動量估測樣本、第二影像座標，進行該動態校正程序。依據動態校正程序，產生最佳校正參數估測結果。

基於上述，本發明整合PTZ攝影機與點光點投射裝置，透過PTZ攝影機內部的馬達訊號，與點光點投射在地面上的位置，以達到動態攝影機校正參數的估測。對於已完成校正程序的攝影機，可省卻因攝影機移動而必須花費時間準備相關校正影像以重新校正，使得攝影機能隨時更換不同的監控角度，擴大環境移動物偵測與追蹤的範圍，同時硬體整合成一嵌入式智慧型攝影機(具嵌入式系統攝影機)，提高應用可攜性並降低成本。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

達成本發明具體的感測器融合與姿態估測技術，其透過整合攝影機之馬達轉動的訊號與攝影機上點光源投射模組投射在地面的點光點，進行線上(on-line)攝影機校正參數之估測。以下以數個實施範例來加以說明。

圖2繪示本發明實施範例的系統運作時的概念示意圖。如圖2所示，攝影機10配置點光源20，點光源用以提供攝影機校正的光點。當點光源射出的光束在環境中形成一光點40時，攝影機10的感測器平面會形成該點光點的影像42。環境中所形成的光點40由世界座標[Xw,Yw,Zw]所定義，而影像光點42則由影像座標[u,v]所定義。攝影機10更可由一個馬達30控制其在空間中的旋轉與移動等的運動。

圖3繪示本發明實施範例的系統架構示意圖。如圖3所示，系統100包括視覺感測單元110、空間座標轉換單元120及攝影機校正參數估測單元130等單元。上述各單元110、120、130可由系統100的微處理器140進行統一的控制，而其實際的連接關係可視實際需求設計，圖3僅繪示出一個範例。

如圖3所示，視覺感測單元110更包括影像處理模組112、馬達控制模組114與點光源控制模組116。視覺感測單元110為硬體控制層，負責影像處理、馬達訊號控制處理及點光源控制。影像處理模組112負責攝影機擷取影像的前處理，馬達控制模組負責攝影機之動作安排，點光源控制模組則負責光點投射之相關控制。

攝影機校正參數估測單元130為線上動態校正參數估測主要程序，可依使用者需求進行固定位置之校正參數估測，或是動態移動位置之校正參數估測。攝影機校正參數估測單元130基本上包括起始校正程序設定、校正參數估測樣本預測以及校正參數估測樣本更新等。換句話說，本實施範例利用攝影機校正參數估測單元130之校正參數估測樣本預測及更新。

空間座標轉換單元120為影像平面[u,v]與世界座標[Xw,Yw,Zw]的轉換。空間座標轉換單元120包括執行將影像座標轉換到世界座標，或者將世界座標轉換成影像座標的功能或模組，其例如可由系統軟體達成。空間座標轉換單元120為輔助攝影機校正參數估測單元130的校正參數估測樣本更新的模組。空間座標轉換單元120可將影像平面[u,v]上資料轉換至世界座標[Xw,Yw,Zw]，並且與地面投射的點光點比較，以完成其估測樣本更新程序。

上述單元110、120與130例如可由攝影機的ARM(advanced RISC machine)或FPGA(Field Programmable Gate Arrays)等嵌入式系統來完成。

接著說明本實施範例的操作動作。圖4繪示本實施範例之動作順序的示意圖，圖5繪示本實施範例的操作流程示意圖。

如圖4所示，攝影機10一開始的起始位置為C_POS 1，而此時點光源的起始位置為L_POS 1(1)。在此階段，點光源20所發出的光在環境中形成光點A，其對應的環境的世界座標為[X1,Y1]。另外，當攝影機10移動後，其位置變更為C_POS 2。在此過程中，攝影機的動態校正程序開始啟動。一開始，點光源20仍投射到影像A[X1,Y1]的位置，即L_POS 2(0)。之後，點光源移動位置到L_POS 2(1)。接著，詳細說明利用點光源20之攝影機10的動態校正操作。

如圖4所示，一開始，攝影機10在起始位置C_POS 1，而點光源20之投射點的起始位置為L_POS 1(1)。在此時刻，攝影機10為已完成校正程序。如前所定義，點光源20在環境中所投影之光點的世界座標為[X1,Y1]，而攝影機10在其感測器的影像平面所形成的光點影像座標為[U1,V1]。

接著，當攝影機10由位置C_POS 1移動到C_POS 2時，攝影機的動態校正程序開始啟動。在校正程序啟動時，點光源20此時並無移動，亦即位置L_POS 2(0)與位置L_POS 1(0)是相同的；點光源20所投射的位置仍然是環境中的位置[X1,Y1]。但是，因為攝影機10已經移動了，所以在影像平面上的座標位置則是從[U1,V1]移動到[U2,V2]。亦即，雖然成像位置由[U1,V1]移動到[U2,V2]，但是環境中光點的位置並為改變，其仍然在位置[X1,Y1]。

上述的攝影機動態校正程序是指依據攝影機10所控制馬達30的實際旋轉量，並加入實際移動可能發生的隨機變異量，而產生N個攝影機位移量估測樣本，亦即產生N個攝影機校正參數解。

透過上述動態校正程序，將攝影機10在位置L_POS 2的光點影像的座標[U2,V2]，透過N個攝影機校正參數解，投射回到世界座標的位置(xi,yi)，其中i=1~N。接著，將此N個可能位置(xi,yi)，與實際的位置[X1,Y1]進行比較。之後，以位置[X1,Y1]與N個可能位置(xi,yi)之間的距離遠近計算各可能位置(xi,yi)的權重值。當取得結果後，距離最近的表示其所使用的校正參數解是最高權重值，並且取權重值最高的當做是校正參數的結果。

之後，將上述N個校正參數解的加權結果，依據權重值的比例，產生新的N個攝影機位移估測量樣本，以取代先前的N個校正參數解，以確保系統的收斂性。換句話說，透過多次的N個校正參數解與其加權運算，可以讓N個校正參數解的集合越來越收斂，而精度也越來越提高，而達到得以動態對攝影機的位移進行校正的目的。

接著，校正完成後，將點光源20移動至位置L_POS2(1)。此時，若攝影機接收到轉動命令，則回至上述的動態校正程序，進行相同的校正程序。反之，攝影機則維持目前最新校正參數結果。

圖5繪示本實施範例的操作流程示意圖。如圖4、5所示，在步驟S100，攝影機進行起始校正，即攝影機在靜止態下進行攝影機各參數的校正程序。此步驟相當於圖4中攝影機10在位置C_POS 1與點光源20在位置L_POS 1(1)的情況下所完成的校正程序。

接著，在步驟S102，點光源20將光束投射在環境中，例如在環境中的地面上形成一光點A，並且記錄光點之世界座標的位置[X1,Y1]。

接著在步驟S104，攝影機進行該光點的取像動作，並且記錄地面光點A於攝影機之影像成像位置[U1,V1]，即在影像平面上的座標位置。

之後，在步驟S106，判斷攝影機是否移動，若攝影機沒有移動，則回到步驟S102，毋需進行動態校正程序。反之，若攝影機移動，則進入步驟S108。在步驟S108，計算攝影機的移動量，並且據以產生N組移動量估測樣本。

之後，在步驟S110進行取像並且記錄地面光點B在攝影機10移動後的影像平面的座標位置[U2,V2]。

接著，在步驟S112，啟動攝影機動態校正程序。此動態校正程序包括預測、更新與再取樣三個主要步驟。

參照圖4，預測步驟所進行的主要是將在位置L_POS 2的光點影像的座標[U2,V2]，透過N個攝影機校正參數解，投射回到世界座標的位置(xi,yi)，即N組移動量估測樣本。換句話說，以影像座標[U2,V2]預測估算其在世界座標上可能的位置，即產生N組可能解(xi,yi)，其中i=1~N；亦即預測N組在世界座標上的可能解。圖6繪示上述概念的示意圖，即基於影像平面上的光點52，估算出投射到世界座標的位置54，而點光源的投射點位置為50。

更新程序可以針對上述N組可能解，分別計算與實際世界座標的距離差值，並且依據該距離差值賦予權重，藉以區分N組可能解與實際位置的相關性。距離最近的表示其所使用的校正參數解是最高權重值，並且取權重值最高的當做是校正參數的結果。如圖6所示，系統將計算點光源投射點位置50與各估測點位置54之間的距離誤差reproj_err _i ，i=1~N。

再取樣程序則是依據前述的加權結果，重新產生新的N個攝影機位移估測量樣本，以取代先前的N個校正參數解。換句話說，依據加權結果，重新進行樣本取樣，以確保系統的收斂性越來越佳，越趨近實際的世界座標。

最後，在步驟S114，決定最佳的校正參數估測結果，並且將點光源20歸位。在圖4中，攝影機10的位置C_POS 1以及點光源20之位置L_POS 1(1)為初始位置。當攝影機10移動到位置C_POS 2時，點光源20所投射的光點位置並未移動，亦即L_POS 2(0)與L_POS 1(0)相同。此時進行動態校正，校正完畢後點光源20再復歸到啟始位置，即L_POS 2(1)。

在本實施範例中，攝影機拍攝環境的每個時間點，透過攝影機之控制馬達訊號與點光源在地面的相對位置，進行動態攝影機校正參數估測。圖5的流程圖包括三大部分：第一部分為攝影機之起始校正參數建立，此步驟將可求得攝影機在某一固定位置的內部校正參數(intrinsic parameters)與外部校正參數(extrinsic parameters)，內部校正參數表示攝影機的焦距、成像中心、扭曲修正係數等，外部參數則是攝影機相對於世界座標的位置，也是本實施範例所提動態校正參數所要估測的部份，其可以下面的數式(1)表示：

X _I =KX _C ，X _C =RX _w +T 　(1)

其中，X _I =KX _C 為影像平面X _I 與攝影機空間座標X _C 之關係，其中K 表示內部校正參數矩陣。X _C =RX _w +T 表示攝影機空間座標與世界座標之關係。R 與T 分別為起始外部參數的旋轉(rotational)與位移(translational)矩陣。

當攝影機從起始位置開始進行左右旋轉與上下移動時，攝影機的狀態可由下面數式(2)~(4)表示。

X _C =Rpan(RX _W +T) +Tpan 　(2)

X _C =R _tilt [Rpan(RX _W +T) +T _pan ] +T _tilt 　(3)

X _C =R _tilt R _pan RX _W +R _tilt R _pan T +R _tilt T _pan +T _tilt 　(4)

R _pan 為攝影機進行左右旋轉動作之旋轉矩陣，R _tilt 為進行上下移動的旋轉矩陣，T _pan 與T _tilt 則分別為進行左右旋轉與tilt的位移矩陣。

第二部份為攝影機校正參數模型之建構，其包括運動模型(motion model)與量測模型(measurement model)。運動模型主要透過攝影機馬達移動之差量，計算相對旋轉與位移量，並且以估測樣本的概念進行校正參數的預測(prediction)。此即圖5的攝影機移動量計算與預測樣本產生步驟S108。此步驟可以下面數式(5)~(9)表示，而數式(9表示以S ^t _C 表示時間點t 的狀態，即攝影機校正參數在時間點t 的預測(prediction)。

R ^t _pan =R ^t-1 _pan +( δ _{R_pan} -N(0, σ _rpan )) 　(5)

R ^t _tilt =R ^t-1 _tiltn +( δ _{R _ pan} -N(0, σ _rtilt )) 　(6)

T ^t _pan =T ^t-1 _pan +(δ _{T_pan} -N(0,σ _tpan )) (7)

T ^t _tilt =T ^t-1 _tiltn +(δ _{T_pan} -N(0,σ _ttilt )) (8)

S ^t _C =[R ^t _tilt ,R ^t _pan ,T ^t _tilt ,T ^t _pan ] (9)

本實施範例中，在t 時間點發生的旋轉或是位移量，是以t-1 時間點之結果加上變化量δ與隨機雜訊項N(0,σ) 進行預測。量測模型則透過投射至地面上光點在影像平面成像的位置，以更新運動模型所計算出的移動位置，計算出每一個預測樣本的權重值，如下面式(10)與(11)所示：reproj_err _i =Dis(LaserBeamPos,F _i (beam_pix_pos)) (10)

e ^{(-λ．reproj_eri)} (11)上述reproj_err 表示每一個計算出校正參數的估測樣本預測值，將光點在影像平面成像的影像座標投射至世界座標的誤差量，其如圖6所示，並透過數式(11)計算出每個樣本的權重值。

第三部份為依據第二部份的權重值計算結果，進行估測樣本重新抽樣，權重值越高的樣本，有越高的機會被選取，以使校正參數估測結果達到收斂結果，進而求得校正參數的估測結果。

綜上所述，由上述實施例可以了解，本發明整合PTZ攝影機與點光源投射裝置，透過PTZ攝影機內部的馬達訊號，與點光源投射在地面上的位置，以達到動態攝影機校正參數的估測。

另外，對於已完成校正程序的攝影機，本發明可省卻因攝影機移動而必須花費時間準備相關校正影像以重新校正，使得攝影機能隨時更換不同的監控角度，擴大環境移動物偵測與追蹤的範圍，同時硬體整合成一嵌入式智慧型攝影機，提高應用可攜性並降低成本。

另外，本發明結合一般PTZ攝影機運作時馬達的資訊、點光源發射器系統狀態估測(system state estimates)技術，建構動態環境攝影機自動校正系統。當攝影機已事先(off-line)完成第一次的校正程序後，本發明所提之相關裝置與方法，可在攝影機運過程中，及攝影機進行左右旋轉與上下移動作時，動態估測攝影機之校正參數，解決習知攝影機校正必須額外拍攝校正板影像或環境地標以重新校正的瓶頸。對於大範圍的精確監控需求、移動載體之定位應用等，提供一個更有效的系統。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10．．．攝影機

20．．．點光源

30．．．馬達

40．．．環境光點

42．．．影像光點

50．．．光點

52．．．影像光點

54．．．樣本點

100．．．系統

110．．．視覺感測器單元

112．．．影像處理模組

114．．．馬達控制模組

116．．．點光源控制模組

120．．．空間座標轉換單元

130．．．攝影機參數校正估測單元

140．．．微處理器

圖1繪示一般攝影機之影像座標與環境座標之觀念示意圖。

圖2繪示本發明實施範例的系統100運作時的概念示意圖。

圖3繪示本發明實施範例的系統架構示意圖。

圖4繪示本實施範例之動作順序的示意圖

圖5繪示本實施範例的操作流程示意圖。

圖6繪示本實施範例的動態校正中反投影誤差的概念示意圖。

10．．．攝影機

20．．．點光源

Claims (11)

1. 一種攝影機的動態校正方法，該攝影機更配設一點光源，該攝影機的動態校正方法包括：對該攝影機進行一初始校正；以該點光源投射到一外部環境，以產生一光點，並將該光點的位置記錄為一世界座標，並且以該攝影機取得該光點的一第一光點影像，並將該第一光點影像的位置記錄為一第一影像座標；當該攝影機移動時，計算該攝影機的一移動量，產生多數個移動量估測樣本；以該點光源不移動的狀態下，以移動後的攝影機對該光點進行取像，並獲取該光點的一第二光點影像的一第二影像座標；基於該些移動量估測樣本、該第二影像座標，進行一動態校正程序；以及依據該動態校正程序，產生一最佳校正參數估測結果，其中該動態校正程序更包括：一預測程序，基於該第一光點影像與該攝影機的該移動量，產生該些移動量估測樣本；一更新程序，將各該些移動量估測樣本，分別賦予一權重值，進行該些移動量估測樣本的更新；以及一再取樣程序，依據該些更新的移動量估測樣本，重新取樣多數個移動量估測樣本。
2. 如申請專利範圍第1項所述之攝影機的動態校正方法，其中該權重值是依據各該些移動量估測樣本與該點光源之投影光點實際距離的一距離差值而決定。
3. 如申請專利範圍第2項所述之攝影機的動態校正方法，其中該權重值隨該距離差值減少而增大。
4. 如申請專利範圍第1項所述之攝影機的動態校正方法，其中該初始校正包括該攝影機的一內部校正參數與一外部校正參數的校正程序。
5. 如申請專利範圍第1項所述之攝影機的動態校正方法，其中該攝影機的該移動量包括一左右旋轉與一上下移動。
6. 如申請專利範圍第5項所述之攝影機的動態校正方法，其中該移動量更包括一隨機雜訊。
7. 一種攝影機的動態校正方法，該攝影機的動態校正方法包括：對該攝影機進行一初始校正；計算該攝影機的一移動量；依據該移動量，產生該攝影機的多數個移動量估測樣本；計算各該些移動量估測樣本的一權重值；依據該些權重值，更新該些移動量估測樣本，並且重新取樣多數個移動量估測樣本；以及依據重新取樣的該些移動量估測樣本，校正該攝影機。
8. 如申請專利範圍第7項所述之攝影機的動態校正方法，其中該攝影機的該移動量包括一左右旋轉與一上下移動。
9. 如申請專利範圍第7項所述之攝影機的動態校正方法，其中該移動量更包括一隨機雜訊。
10. 如申請專利範圍第7項所述之攝影機的動態校正方法，其中該初始校正包括該攝影機的一內部校正參數與一外部校正參數的校正程序。
11. 一種具動態校正的攝影機，包括：一視覺感測單器元，用以感測一點光源所形成的一光點並且形成一影像光點，並且控制該攝影機的移動；一攝影機校正參數估測單元，用以依據該點光源、該影像光源與該攝影機的一移動量，產生多數個移動量估測樣本，以進行一動態校正程序；以及一空間座標轉換單元，用以對該光點的一世界座標與該影像光點的一影像座標進行轉換，其中將該光點的位置加以記錄，並且以該攝影機取得該光點的一第一光點影像，並將該第一光點影像的位置記錄為一第一影像座標；當該攝影機移動時，計算該攝影機的該移動量，產生該些移動量估測樣本；以該點光源不移動的狀態下，以移動後的攝影機對該光點進行取像，並獲取該光點的一第二光點影像的一第二影像座標；基於該些移動量估測樣本、該第二影像座標，進行該動態校正程序；以及依據該動態校正程序，產生一最佳校正參數估測結果。