TWI663576B

TWI663576B - Image correction method

Info

Publication number: TWI663576B
Application number: TW106126044A
Authority: TW
Inventors: 徐坤龍
Original assignee: 伸興工業股份有限公司
Priority date: 2017-08-02
Filing date: 2017-08-02
Publication date: 2019-06-21
Also published as: TW201911231A

Abstract

本發明提供一種影像校正方法。首先，擷取校正板的第一影像；接著，擷取第一影像的多個影像特徵點；接著，根據影像特徵點計算出具有多個控制點並擬合該等影像特徵點的NURBS曲面；接著，根據待校正影像與該NURBS曲面，產生對應該待校正影像的校正後影像，其中該校正後影像的每一像素對應該NURBS曲面上的一曲面點，且每一像素的像素值是根據該像素所對應曲面點在該待校正影像中的至少一鄰近像素所計算出來的。本發明能校正因相機鏡頭的鏡片的幾何設計、鏡片製造發生變形、鏡片組裝位置不夠精確、相機的影像感測器的組裝位置不夠精確、被拍攝物體本身變形等因素所造成的影像變形失真。

Description

影像校正方法

本發明是有關於一種影像校正的方法，特別是指一種利用非均勻有理B樣條曲面(NURBS Surface)來進行影像校正的方法。

目前來說，用來校正相機鏡頭的影像變形失真的方法大都是根據鏡頭的鏡片的幾何設計來假設出一對應的失真模型(distortion model)，然後利用該失真模型對影像進行校正；例如，對於魚眼鏡頭而言，一般是利用多項式模型做為該失真模型。

除了鏡片的幾何設計之外，鏡片製造發生變形、鏡片組裝位置不夠精確、相機的影像感測器的組裝位置不夠精確、被拍攝物體本身變形等因素也會造成影像變形失真。然而，前述利用失真模型來校正影像的方法僅能校正因鏡片的幾何設計所造成的影像變形失真，並無法校正前述其他因素所造成的影像變形失真。

因此，本發明之目的，即在提供一種能校正因相機鏡頭的鏡片的幾何設計、鏡片製造發生變形、鏡片組裝位置不夠精確、相機的影像感測器的組裝位置不夠精確、被拍攝物體本身變形等因素所造成的影像變形失真的影像校正方法。

於是，本發明影像校正方法由一校正系統實施，並包含一步驟(a)、一步驟(b)、一步驟(c)，及一步驟(d)。

該步驟(a)是擷取一校正板的一第一影像。

該步驟(b)是擷取該第一影像的多個影像特徵點。

該步驟(c)是根據該等影像特徵點計算出一具有多個控制參數並擬合該等影像特徵點的幾何曲面。

該步驟(d)是根據一待校正影像與該幾何曲面產生一對應該待校正影像的校正後影像，其中該校正後影像的每一像素對應該幾何曲面上的一曲面點，且每一像素的像素值是根據該像素所對應曲面點在該待校正影像中的至少一鄰近像素所計算出來的。

本發明之功效在於：能校正因相機鏡頭的鏡片的幾何設計、鏡片製造發生變形、鏡片組裝位置不夠精確、相機的影像感測器的組裝位置不夠精確、被拍攝物體本身變形等因素所造成的影像變形失真。

本發明影像校正方法由一校正系統實施，該校正系統包含一影像擷取裝置與一計算裝置。該計算裝置例如為一桌上型電腦或一平板電腦。

本發明影像校正方法可用於校正該影像擷取裝置所擷取的一待校正影像。參閱圖1~3，以下說明本發明影像校正方法的一實施方式。

首先，在步驟11，利用該影像擷取裝置擷取一校正板的一第一影像。較佳地，該校正板為圖2所示的一棋盤格校正板2。

接著，在步驟12，利用該計算裝置擷取該第一影像的多個影像特徵點。較佳地，如圖3所示，利用Harris角點偵測法(Harris corner detection)擷取該第一影像3的多個角點31做為該等影像特徵點，其中該等影像特徵點為浮點數(floating point)。

接著，在步驟13，藉由該計算裝置，根據該等影像特徵點計算出一具有多個控制參數並擬合(fit)該等影像特徵點的幾何曲面。較佳地，如圖4所示，該幾何曲面為一參數式非均勻有理B樣條曲面4(parametric non-uniform rational B-spline surface, NURBS surface)，其中是利用習知的參數式NURBS曲面內插法(parametric NURBS surface interpolation)來利用該等影像特徵點作為插值點而估計出擬合該等影像特徵點的該參數式非均勻有理B樣條曲面4，也就是，其中{W _i,j}為權重值，{P _i,j}為利用該等影像特徵點所計算出來的也為浮點數的多個控制點41(控制參數)，u與v為該參數式非均勻有理B樣條曲面4的定義域的兩個軸向且u [0,1]、v [0,1]，{N _i,p(u)}與{N _j,q(v)}均為B樣條基底函數(B-spline basis function)，且p與q分別為該u軸方向與該v軸方向的階數(degree)。

接著，在步驟14，藉由該計算裝置，利用該參數式非均勻有理B樣條曲面4對該待校正影像進行校正而產生一校正後影像。詳言之，首先，如圖5所示，定義出該校正後影像5的一第一影像軸(x軸)的一第一像素數量與該校正後影像5的一第二影像軸(y軸)的一第二像素數量；在此，以該第一像素數量為k且該第二像素數量為t來說明。

接著，一併參閱圖5～7，在該參數式非均勻有理B樣條曲面4的定義域6的u軸上定義出該第一像素數量個取樣點{u _i|i=1,2,…,k}，並在該參數式非均勻有理B樣條曲面4的定義域6的v軸上定義出該第二像素數量個取樣點{v _j|j=1,2,…,t}，而使得依據該等取樣點所計算出的該參數式非均勻有理B樣條曲面4上的多個曲面點與該校正後影像5的該等像素一一對應；其中，較佳地，該u軸上的任兩相鄰取樣點的間隔距離相同，也就是1/k，該v軸上的任兩相鄰取樣點的間隔距離相同，也就是1/t，且(u _i,v _j)在該參數式非均勻有理B樣條曲面4上所對應的曲面點為S((i－0.5)/k,(j－0.5)/t)。也就是說，假設f(i,j)表示該校正後影像5的第(i,j)個像素，則f(i,j)對應(u _i,v _j)與曲面點S((i－0.5)/k,(j－0.5)/t)，其中i為1至k的正整數且j為1至t的正整數。也就是說，如圖6所示，在此是將該定義域6劃分成數量與該校正後影像5的像素數量相同的多個均等方格64，該等方格64與該校正後影像5的該等像素一一對應，且每一像素所對應的曲面點為該像素對應的方格64的中心點所對應的曲面點。此外，參閱圖7，該定義域6的每一方格64在該參數式非均勻有理B樣條曲面4上對應一多邊形區域62，且每一多邊形區域62包含一對應該校正後影像5的一像素的曲面點63。

接著，針對該校正後影像5的每一像素f(i,j)，利用該像素f(i,j)所對應的曲面點63在該待校正影像7中的至少一鄰近像素進行內插，而計算出該像素f(i,j)的像素值；其中，內插的方式例如可為習知的最近鄰插補(nearest neighbor interpolation)、雙線性插補(bilinear interpolation)或更高次內插等方法。舉例來說，對於該校正後影像5的像素f(5,6)來說，其像素值是利用(u ₅,v ₆)對應的S(4.5/k,5.5/t)在該待校正影像7中的至少一鄰近像素進行內插所計算出來的。

參閱圖8，值得一提的是，因為每一曲面點為浮點數，故若該待校正影像7具有M×N個像素，則該待校正影像7對應的影像座標系需涵蓋C ₁(-0.5,-0.5)、C ₂(M－1+0.5,-0.5)、C ₃(M－1+0.5,N－1+0.5)、C ₄(-0.5,N－1+0.5)等四個端點所界定出來的一座標平面9，以涵蓋位於該參數式非均勻有理B樣條曲面的邊界的曲面點；且該待校正影像7的第(i,j)個像素的中心在該影像座標系對應的座標為(i－1,j－1)，其中i為1至M的正整數，j為1至N的正整數。

此外，參閱圖9，在另一實施方式中，也可計算在該待校正影像7中包含S(4.5/k,5.5/t)的該多邊形區域62所涵蓋的所有像素的像素值的加權平均(weighted mean)，作為該校正後影像5的像素f(5,6)的像素值；其中每一像素的權重(weight)為在該多邊形區域62中該像素的面積比例。舉例來說，如圖9所示，該多邊形區域62涵蓋了像素P ₁的部分區域面積A ₁、像素P ₂的部分區域面積A ₂、像素P ₃的部分區域面積A ₃、像素P ₄的部分區域面積A ₄、像素P ₅的部分區域面積A ₅；令，則該加權平均為，其中為像素P _i的權重。在另一實施方式中，也可根據S(4.5/k,5.5/t)與像素P _i的中心的距離來定義像素P _i的權重，其中距離愈短則權重愈大。

需特別說明的是，為了方便說明本發明的技術內容，在此是以圖3所示的該校正板的該第一影像3作為該待校正影像7來說明。當然，該待校正影像7可為該影像擷取裝置所拍攝的任一影像。參閱圖10，圖10示意了該第一影像3經校正後所獲得的該校正後影像5。

特別地，上述影像校正方法除了能校正因相機鏡頭的鏡片的幾何設計所造成的影像變形失真之外，還能校正因鏡片製造發生變形、鏡片組裝位置不夠精確、相機的影像感測器的組裝位置不夠精確等因素所造成的影像變形失真；此外，被拍攝物體本身的變形在影像中也可被校正展平。

此外，本發明影像校正方法除了可校正該待校正影像7的變形失真之外，還可藉由設定該校正後影像5的該第一影像軸(x軸)的像素數量與該第二影像軸(y軸)的像素數量來設定該校正後影像5的影像大小。

在另一實施方式中，該校正板可為其他實施態樣。例如，該校正板可為圖11所示的一圓點校正板8，該計算裝置對該圓點校正板8的影像進行影像辨識，擷取出每一圓點的中心並利用該等原點中心做為該等影像特徵點；而其他實施步驟如同前述所敘明，不在此贅述。

接下來以一第一實施例與一第二實施例來進一步說明本發明影像校正方法。

以下說明該第一實施例。

對應步驟11：參閱圖12A，將一棋盤格校正板21貼覆於平面上，其中該校正板21的每一棋盤格211為邊長為20mm的正方形；且以一具有魚眼鏡頭的相機拍照，得到圖12B所示的一具有640×480個畫素的第一影像3。

對應步驟12：如圖12C所示，以角點偵測法得到13×9個角點31，其中該等角點31均為浮點數。

對應步驟13：如圖12D所示，利用該等角點31作為插值點而計算出一擬合該等角點31的參數式非均勻有理B樣條曲面4，並進一步計算出圖6所示的該等方格64的該等中心點所對應的多個曲面點63；其中，該參數式非均勻有理B樣條曲面4的u軸方向的階數(p)與v軸方向的階數(q)均為2，且用來定義出{N _i,p(u)}的u軸向的節向量(Knot vector)為[0, 0, 0, 1/11, 2/11, 3/11, 4/11, 5/11, 6/11, 7/11, 8/11, 9/11, 10/11, 1, 1, 1]，u軸向的內插值(interpolated values)為[0, 1/12, 2/12, 3/12, 4/12, 5/12, 6/12, 7/12, 8/12, 9/12, 10/12, 11/12, 1]，用來定義出{N _i,p(v)}的v軸向的節向量為[0, 0, 0, 1/7, 2/7, 3/7, 4/7, 5/7, 6/7, 1, 1, 1]，v軸向的內插值(interpolated values)為[0, 1/8, 2/8, 3/8, 4/8, 5/8, 6/8, 7/8, 1]，權重值{W _i,j}全部設定為1。

對應步驟14，針對前一步驟所計算出的每一曲面點63，利用該曲面點63在一待校正影像中的至少一鄰近像素進行內插，而獲得一校正後影像的一像素。

特別地，可利用該等曲面點63來校正該魚眼鏡頭所拍攝的任何置放於平面上的物件的影像。參閱圖12E，其為以圖12B所示的該第一影像3作為該待校正影像所產生的該校正後影像5，其中該校正後影像5具有720×480個像素。

以下說明該第二實施例，其舉例說明本發明影像校正方法在一縫紉機上的應用。

對應步驟11：參閱圖13A，在本第二實施例中所利用的棋盤格校正板22具有多個25×25mm的棋盤格221、多個25×12.5mm的棋盤格222與多個12.5×12.5mm的棋盤格223。參閱圖13B，該縫紉機工作範圍的檯面10為弧度面以方便縫紉的操作。將該棋盤格校正板22以弧度密貼於該檯面10上並利用該具有魚眼鏡頭的相機拍照，得到圖13C所示的具有1164×655像素的一第一影像3。

對應步驟12：如圖13D所示，以角點偵測法得到11×8個角點31，其中該等角點31均為浮點數。

對應步驟13：如圖13E所示，利用該等角點31作為插值點而計算出一擬合該等角點31的參數式非均勻有理B樣條曲面4，並進一步計算出圖6所示該等方格64的該等中心點所對應的多個曲面點63；其中，該參數式非均勻有理B樣條曲面4的u軸方向的階數(p)與v軸方向的階數(q)均為2，且用來定義出{N _i,p(u)}的u軸向的節向量(Knot vector)為[-2/9, -1/9, 0, 1/9, 2/9, 3/9, 4/9, 5/9, 6/9, 7/9, 8/9, 1, 1+1/9, 1+2/9]，u軸向的內插值(interpolated values)為[0, 1/18, 3/18, 5/18, 7/18, 9/18, 11/18, 13/18, 15/18, 17/18, 1]，用來定義出{N _i,p(v)}的v軸向的節向量為[-2/6, -1/6, 0, 1/6, 2/6, 3/6, 4/6, 5/6, 1, 1+1/6, 1+2/6]，v軸向的內插值(interpolated values)為[0, 1/12, 3/12, 5/12, 7/12, 9/12, 11/12, 1]，權重值{W _i,j}全部設定為1。

特別地，可利用該等曲面點63來校正該魚眼鏡頭所拍攝的任何置放於該縫紉機工作範圍的檯面10上的物件的影像。參閱圖13F，其為以圖13C所示的該第一影像3作為該待校正影像所產生的該校正後影像5，其中該校正後影像5具有900×600個像素。

當要利用該魚眼鏡頭拍攝影像來記錄或預覽放置在該縫紉機工作範圍的檯面10上的一物件的車縫路徑/過程時，藉由本發明影像校正方法，能有效地校正影像中的物件或車縫路徑的變形/失真。

綜上所述，本發明影像校正方法，藉由擷取一校正板影像的多個影像特徵點，並根據該等影像特徵點估計出一參數式非均勻有理B樣條曲面，且利用該參數式非均勻有理B樣條曲面來對一待校正影像進行校正，能校正因相機鏡頭的鏡片的幾何設計、鏡片製造發生變形、鏡片組裝位置不夠精確、相機的影像感測器的組裝位置不夠精確、被拍攝物體本身變形等因素所造成的影像變形失真，故確實能達成本發明的目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

11~14·· 步驟 2········ 棋盤格校正板 21······· 棋盤格校正板 211····· 棋盤格 22······· 棋盤格校正板 221~223 棋盤格 3········ 第一影像 31······· 角點 4········ 參數式非均勻有理B樣條曲面 41······· 控制點 5········ 校正後影像 6········ 參數式非均勻有理B樣條曲面的定義域

62······· 多邊形區域 63······· 曲面點 64······· 方格 7········ 待校正影像 8········ 圓點校正板 9········ 座標平面 10······· 縫紉機工作範圍的檯面 f(i,j)····· 校正後影像的第(i,j)個像素 C₁~C₄·· 影像座標平面的四個端點 P₁~P₅··· 像素 A₁~A₅·· 像素的局部區域面積

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1說明本發明影像校正方法的一實施方式；圖2示意一棋盤格校正板；圖3示意該棋盤格校正板的一第一影像與其多個角點；圖4示意根據該等角點所估計出的一參數式非均勻有理B樣條曲面與其多個控制點；圖5說明設定對應一待校正影像的一校正後影像的像素數量；圖6說明該參數式非均勻有理B樣條曲面的定義域；圖7配合圖5與圖6說明該校正後影像的每一像素的像素值的求取方式；圖8說明一影像座標系所需涵蓋的座標平面；圖9說明該校正後影像的一像素值的一計算方式；圖10示意該第一影像經校正後所獲得的該校正後影像；圖11示意一圓點校正板；圖12A說明本發明的一第一實施例的一校正板的外觀；圖12B是利用一具有魚眼鏡頭的相機對該第一實施例的校正板拍照所獲得的該第一影像；圖12C顯示針對圖12B的該第一影像進行角點偵測的結果；圖12D顯示根據圖12C的該等角點所計算出來的一參數式非均勻有理B樣條曲面；圖12E顯示對圖12B的該第一影像進行校正所獲得的一校正後影像；圖13A說明本發明的一第二實施例的一校正板的外觀；圖13B說明一縫紉機工作範圍的檯面；圖13C是利用該具有魚眼鏡頭的相機對放置於該縫紉機工作範圍的檯面的該第二實施例的校正板拍照所獲得的該第一影像；圖13D顯示針對圖13C的該第一影像進行角點偵測的結果；圖13E顯示根據圖13D的該等角點所計算出來的一參數式非均勻有理B樣條曲面；及圖13F顯示對圖13C的該第一影像進行校正所獲得的一校正後影像。

Claims

一種影像校正方法，由一校正系統實施，並包含以下步驟：(a)擷取一校正板的一第一影像；(b)擷取該第一影像的多個影像特徵點；(c)根據該等影像特徵點計算出一具有多個控制參數並擬合該等影像特徵點的幾何曲面，其中該幾何曲面為一參數式非均勻有理B樣條曲面，且每一控制參數為該參數式非均勻有理B樣條曲面的一控制點；及(d)根據一待校正影像與該幾何曲面產生一對應該待校正影像的校正後影像，其中該校正後影像的每一像素對應該幾何曲面上的一曲面點，且每一像素的像素值是根據該像素所對應曲面點在該待校正影像中的至少一鄰近像素所計算出來的。
如請求項1所述的影像校正方法，其中該步驟(d)包含以下子步驟：(d1)定義出該校正後影像的一第一影像軸的一第一像素數量，並定義出該校正後影像的一第二影像軸的一第二像素數量；及(d2)在該幾何曲面的定義域的一第一定義域軸上定義出該第一像素數量個取樣點，並在該幾何曲面的定義域的一第二定義域軸上定義出該第二像素數量個取樣點，其中依據該等取樣點所計算出的該幾何曲面上的多個曲面點與該校正後影像的該等像素一一對應。
如請求項2所述的影像校正方法，其中在該步驟(d)，該幾何曲面的定義域的第一定義域軸上的任兩相鄰取樣點的間隔距離相同，且該幾何曲面的定義域的第二定義域軸上的任兩相鄰取樣點的間隔距離相同。
如請求項1所述的影像校正方法，其中在該步驟(d)，該校正後影像的每一像素的像素值是利用該像素所對應的曲面點在該待校正影像中的至少一鄰近像素進行內插所計算出來的。
如請求項1所述的影像校正方法，其中在該步驟(d)，該校正後影像的每一像素的像素值是該像素所對應的曲面點在該待校正影像中的至少一鄰近像素的像素值的加權平均。
如請求項1所述的影像校正方法，其中在該步驟(a)，該校正板為一棋盤格校正板，且在該步驟(b)是擷取該第一影像的多個角點做為該等影像特徵點。
如請求項1所述的影像校正方法，其中在該步驟(a)，該校正板為一圓點校正板，且在該步驟(b)擷取該第一影像的每一圓點的中心，每一圓點的中心即為一影像特徵點。