TWI579800B - 適用於廣角變焦鏡頭拍攝到之影像的影像處理方法 - Google Patents
適用於廣角變焦鏡頭拍攝到之影像的影像處理方法 Download PDFInfo
- Publication number
- TWI579800B TWI579800B TW102112754A TW102112754A TWI579800B TW I579800 B TWI579800 B TW I579800B TW 102112754 A TW102112754 A TW 102112754A TW 102112754 A TW102112754 A TW 102112754A TW I579800 B TWI579800 B TW I579800B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- focal length
- distortion
- parameter
- untwisted
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000012937 correction Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000003702 image correction Methods 0.000 description 10
- 238000002324 minimally invasive surgery Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000037390 scarring Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G06T5/80—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Description
本發明係關於一種影像處理方法，特別有關一種廣角鏡頭所拍攝之影像的校正和修正方法。
微創手術(minimally invasive surgery,MIS)是目前外科手術主要的發展方向之一，其為病人帶來了許多好處，例如：可減少疤痕產生、降低感染風險和手術後的發病率。為避免開放性手術(open surgery)，微創手術是通過皮膚上的小切口來操縱器械和使用內視鏡頭(endoscopic camera)來進行手術。但是，微創手術在手術執行上比傳統手術的困難度更高。舉例來說，與人眼正常的視覺感知相較，透過傳統鏡頭觀看到的視野是相當有限的，但是如果改用廣角鏡頭(wide-angle lens)會造成影像扭曲，即原本的直線在扭曲的影像中會變成彎曲，這在外科醫生使用內視鏡進行微創手術時會影響目標物座標的判斷，並降低對物體形狀和大小的判斷能力。
但是，在微創手術中使用廣角鏡頭是必要的，因其需要有較大的視野才能看到每個器官的狀態，得知各種在手術中使用之器械的相對位置。因此，解決此問題的方式之一是將廣角鏡頭拍攝到的扭曲影像轉變成正常影像(即，未扭曲的影像)。另外，由於3D影像重建系統所使用的重建演算法是基於未扭曲影像進行的，因此轉成未扭曲影像的一個好
處是可以便於進行3D重建。而且，在進行影像導引虛擬手術時，也需要該未扭曲影像。
目前雖然已存在有將廣角鏡頭拍攝到的扭曲影像轉變成正常影像(即，未扭曲的影像)的校正方法，但是這些方法在實際運用上仍有許多問題。事實上，目前的內視鏡提供了60Hz畫面更新率、高畫質(high definition,HD)解析度的畫面，幾乎不可能只使用一顆中央處理器(central processing unit,CPU)進行計算就能達到即時(real-time)的影像校正。在傳統的方法中，即使可以在手術進行前或操作前對鏡頭進行校正，但是對於變焦鏡頭(zoomable lens)的應用來說仍不可行，這是因為當鏡頭的焦距改變時，用來校正扭曲影像的扭曲參數(distortion parameter)也會跟著改變。
在現有技術中，對於一個不進行變焦的鏡頭來說，內視鏡的扭曲參數可在離線時進行估算而取得，但這過程多半需要使用者手動或半自動地進行調校，而不是全自動的。再者，傳統變焦鏡頭的影像校正必須為所有可能的焦距設定校正而取得對應的扭曲參數，或是需要使用特殊的硬體來得知鏡頭焦距及徑向扭曲程度，這些方式都不太適合用在變焦內視鏡的校正上。
本發明之目的在於提供一種適用於廣角變焦鏡頭拍攝到之影像的影像處理方法，以使廣角變焦鏡頭拍攝到的影像能夠進行即時的扭曲校正。
為達成上述目的，本發明提供一種影像處理方法，其適用於廣角變焦鏡頭拍攝到的影像，該方法包含步驟：A、利用該廣角變焦鏡頭在一預定焦距下拍攝一校正圖案，以取得對應該校正圖案的一扭曲影像；B、計算得出該扭曲影像
在該預定焦距下的扭曲參數；C、利用該廣角變焦鏡頭在另一焦距下取得一個拍攝對象的扭曲影像；D、使用步驟B得出的該扭曲參數，並根據該另一焦距與該預定焦距間的倍數關係，計算出一新的扭曲參數；以及E、使用該新的扭曲參數對與該拍攝對象相應之扭曲影像進行校正。
根據本發明一實施例，在步驟D中，當該另一焦距為該預定焦距的r倍，則該新的扭曲參數為步驟B得出的該扭曲參數的1/r2倍。
根據本發明一實施例，該另一焦距是透過對該拍攝對象的扭曲影像進行像素上的運算而取得。
根據本發明一實施例，步驟B包含下列步驟：S1、使用測邊遮罩取出該扭曲影像中的所有邊點；s2、決定一群候選的參數對，其包括扭曲中心和扭曲參數；S3、將該等候選的參數對各別代入一除法模型，以針對步驟S1所取出的邊點估算出相應的未扭曲邊點；S4、將使用每一個候選的參數對所得出的未扭曲邊點進行霍氏轉換，以得出霍氏圖；以及S5、計算各個霍氏圖的熵，找出該等候選的參數對中使得霍氏圖的熵最小的參數對。
根據本發明一實施例，步驟B針對一個候選的參數對的使用過程中，更包含下列步驟：計算各未扭曲邊點的梯度值，以估算出未扭曲邊點之區域排列方向；以及移除與未扭曲邊點之區域排列方向不同的邊點，僅使用與未扭曲邊點之區域排列方向相同的邊點在霍氏空間中進行投票。
根據本發明一實施例，未扭曲邊點的梯度值係利用與其對應的扭曲邊點的座標和梯度值、以及所使用的扭曲參數計算而得。
根據本發明一實施例，步驟B包含下列步驟：T1、使用測邊遮罩取出該扭曲影像中的所有邊點；T2、決定一群候選的參數對，其包括扭曲中心和扭曲參數；T3、將該等候選的參數對各別代入一除法模型，以針對步驟T1所取出的邊點估算出相應的未扭曲邊點；T4、將使用每一個候選的參數對所得出的未扭曲邊點進行霍氏轉換，以得出霍氏圖；以及T5、將步驟T4所得出的各個霍氏圖再分別做一次霍氏轉換，以得出第二階霍氏圖；以及T6、計算各個第二階霍氏圖的熵，找出該等候選的參數對中使得第二階霍氏圖的熵最小的參數對。
根據本發明一實施例，該校正圖案可為平行線圖案或棋盤格圖案。
本發明在影像修正部份，導出了焦距變化與扭曲參數變化之間的關係，因此可以利用此關係對廣角變焦鏡頭所拍攝到的影像進行即時地扭曲校正，有效減少影像處理的運算量。而且，本發明在鏡頭校正部份所使用的演算法可使鏡頭在離線狀態下全自動進行校正，且得出的扭曲參數精確度相當高。
S01~S05‧‧‧步驟
S11~S15‧‧‧步驟
S21、S22、S31‧‧‧步驟
第1圖顯示本發明中對廣角變焦鏡頭拍攝影像進行校正和修正的流程圖。
第2圖顯示本發明中鏡頭校正過程的流程圖。
第3圖顯示本發明中鏡頭校正過程的另一個流程圖。
第4圖顯示本發明中鏡頭校正過程的再一個流程圖。
第5A圖至第5C圖顯示本發明中二階段霍氏轉換的概念示意圖。
本發明係為將廣角鏡頭(wide-angle lens)所拍攝到的扭曲影像(distorted images)處理成一般正常的影像，即未扭曲影像(undistorted images)，以避免扭曲影像在應用上的種種缺失。本發明並致力於在不同焦距下，對廣角鏡頭造成的影像扭曲情形有效率地進行補償。
在下文中，本發明將分成兩個部份來進行說明，亦即鏡頭校正部份(calibration part)和影像修正部份(correction part)。在鏡頭校正上，會先使用廣角鏡頭拍攝一張(或多張)校正圖案的影像，並接著藉此估算鏡頭的扭曲參數，使用此扭曲參數即可將原本扭曲的影像處理成未扭曲影像。但是，在焦距改變的情況下問題會變得更加複雜，在影像修正部份，本發明導出了一個方程式，其可以用來描述廣角鏡頭扭曲程度和焦距之間的關係。利用此方程式，變焦情況下扭曲影像的修正變得更加容易，也因而使得廣角變焦鏡頭拍攝的即時(real-time)影像在扭曲修正上變得可行。
前述的鏡頭校正部份是在離線(off line)時進行，而影像修正部份是在上線(on line)時進行，也就是說，鏡頭在出廠前或實地拍攝前先進行校正，針對某一個或某幾個焦距得出扭曲參數，而後使用廣角變焦鏡頭進行實地拍攝、錄影時，即時地對所拍攝到的影像進行修正。
請參閱第1圖，其顯示本發明中對廣角變焦鏡頭拍攝影像進行校正和修正的流程圖。如第1圖所示，在鏡頭校正部份，首先利用廣角變焦鏡頭在預定焦距下拍攝校正圖案，以取得對應該校正圖案的扭曲影像(步驟S01)，並接著計算得出該扭曲影像在該預定焦距下的扭曲參數(步驟S02)。而後，在影像修正部份，利用該廣角變焦鏡頭在另一焦距下取得一個拍攝對象的扭曲影像(步驟S03)，使用步驟S02得出的該扭曲參數，並根據該另一焦距與該預定焦距間的倍數關係，計算出新的扭曲參數(步驟S04)。最後，使用該新的扭曲參數對與該拍攝對象相應之扭曲影像進行校正(步驟S05)，以得出正常影像或未扭曲影像。
針對光學上的扭曲，基本上可分成徑向扭曲(radial distortion)和切線方向扭曲(tangential distortion)兩種，一個點的徑向扭曲可以表示為沿著該點到鏡頭中心之方向上的位移，而切線方向是垂直於徑向方向，低程度的切線方向扭曲可以通過對扭曲中心的估算而獲得補償。此外，具備魚眼(fisheye)鏡頭的攝影機是一種典型的廣角鏡頭，本發明將以魚眼鏡頭模型上的影像扭曲修正作為例子來作說明。下面將介紹魚眼鏡頭校正上常會使用到的兩種模型，即針孔攝像模型(pin-hole camera model)和除法模型(division model)。
一個簡單的針孔攝像模型具有特定焦距f，假設攝影機位於原點並面向Z軸上負的方向，相對於攝影機座標某個物體的位置標示為(X,Y,Z)，則相應的影像點與深度Z成反比關係，即：x=-fX/Z,y=-fY/Z (1)
與扭曲影像中的一個座標點x d =(x d ,y d )相對應的未扭曲座標定義為x u =(x u ,y u )，利用除法模型可得出這兩個座標有如下的關係：
其中c=(c x ,c y )為影像中心。方程式(2)給出了扭曲半徑r d 和未扭曲半徑r u 之間的關係。根據除法模型，只要能夠確定扭曲中心(c x ,c y )和扭曲參數λ，即能對廣角鏡頭所拍攝到的扭曲影像進行修正，處理成未扭曲的影像。
請配合第2圖所示的流程圖，以下將對本發明中鏡頭校正部份的詳細流程進行介紹。
首先，使用廣角鏡頭在一預定焦距下對校正圖案(如，平行線圖案和棋盤格圖案)進行拍攝，所拍攝到的影像會是一張扭曲影像。接著，使用測邊遮罩(如，Canny邊點偵測器)取出這張扭曲影像中所有的邊點(步驟S11)，也就是，影像中位在物件輪廓線上的點。在使用平行線圖案的例子中，所取出的邊點大致上是位在線上的點。
接著，從可能的範圍內(即參數空間)決定一群候選的參數對(c x ,c y ,λ)(步驟S12)，其包括扭曲中心(c x ,c y )和扭曲參數λ。也就是說，選出扭曲中心可能的值和鏡頭可能的扭曲參數。具體來說，在此步驟中設定扭曲中心和扭曲參數可能落在的範圍。
並且，於步驟S13中，將這些參數對各別代入除法模型中，利用方程式(2)，針對步驟S11所取出的邊點可估算出相應的未扭曲邊點。也就是說，對於每一個候選的參數對，對步驟S11所取出的邊點進行未扭曲化，可表示如下：
在此步驟中，使用一個候選的參數對會對應得出一群未扭曲邊點。
接著，於步驟S14中，將這些未扭曲邊點進行霍氏轉換(Hough transform)，以轉成極座標(r,θ)。基本上，一條直線上的各個點經過轉換後，會在霍氏空間中進行投票，形成一霍氏圖(Hough map)，霍氏圖中票數最高的點可代表該直線，也就是說，一條直線在霍氏圖中對應到一個點。在這個步驟中，針對每一個候選的參數對，都會產生各自對應的霍氏圖。
最後，於步驟S15中，分別計算各個霍氏圖的熵(entropy)。基於這些未扭曲邊點，透過除以總投票數可得出歸一化的霍氏圖H(r,θ)，歸一化霍氏圖的熵可由下列方程式計算得出：
上述的做法可能會使得結果劣化，因為霍氏空間中有些票數是投在與邊點排列方向不相似的方向上。為此，本發明導出了一個梯度估算方程式，只對邊點最有可能的排列方向進行投票。
請參閱第3圖，其顯示本發明中鏡頭校正過程的另一個流程圖。第3圖與第2圖的不同之處在於，第3圖中
步驟S21和步驟S22對邊點的梯度進行了估算，並針對梯度的差異，排除一些邊點，這些邊點不會在步驟S14中進行霍氏轉換。
具體來說，於步驟S21中，使用梯度遮罩(如Sobel運算子)取得扭曲影像中各邊點的梯度值。
接著，於步驟S22中，計算各未扭曲邊點的梯度值，以估算出未扭曲邊點之區域排列方向，未扭曲邊點的梯度值可利用與其對應的扭曲邊點的座標和梯度值、以及所使用的扭曲參數計算而得，其詳細的推導過程如下文。接著，移除與未扭曲邊點之區域排列方向不同的邊點，僅使用與未扭曲邊點之區域排列方向相同的邊點在霍氏空間中進行投票。因為參數空間中有許多候選參數要進行檢驗，若將一整張影像未扭曲化會耗費太多運算，因此在此例中使用影像梯度來簡化霍氏轉換中的運算。
以下介紹未扭曲邊點之梯度值的推導方式。在利用Sobel遮罩得出扭曲影像上各像素的梯度值後，針對邊點(x d ,y d )，扭曲影像上該邊點的歸一化梯度表示為(,)，沿著曲線方向(垂直於梯度方向)上的一個鄰近點(,)可表示為(x d ,y d )+ε(-,)，其中ε為一個很小的值。藉由除法模型，可以得出這兩點的未扭曲位置，如下：
未扭曲影像上的梯度(,)，可從下式進行計算：
將ε趨近於零，利用L'Hospital’s Rule，可得出如下梯度估算方程式：
其中。
請參閱第4圖，其顯示本發明中鏡頭校正過程的再一個流程圖。第4圖與第2圖的不同之處在於，在步驟S14的霍氏轉換後，再進行一次霍氏轉換(即步驟S31)，並找出使得第二階霍氏圖的熵最小的參數對。在此方式中，雜訊或無關的曲線造成的邊點在第二階霍氏圖中會被抑制。此方式可適用於平行線圖案作為校正圖案的情況下。
請參閱第5A圖至第5C圖，針對第二階霍氏圖H 2 的表現描述如下。平行線圖案的影像中未扭曲的線是直線，但是他們未必會互相平行。3D空間中的一組平行線可由向量[a,b,c]T來表示，在未被徑向扭曲下，其投影可利用消失點V來表示，但消失點的範圍非常大，甚至是無邊界的。在此，可在未扭曲影像中指定兩個點P和Q，也就是(x P ,y P )和(x Q ,y Q )，其指向範圍限制在180度內，因此可以在第二階霍氏圖H 2 中記錄這兩條線PV和QV。
對於給定的第一階霍氏圖H 1 (即步驟S14所得出的)，其投票過程描述如下。H 1 中在位置點(r,θ)的一個單元代表一條具有支持票H 1 (r,θ)的線。若角度w給定後，即可決定其投影，對於每個樣本w i ，可建立一條具有方向w i 通過P點的線，即ρ=x P cos w i +y P sin w i 。相應的消失點V(w i )可由同一座標系中兩條線之間的向量外積求得，即[cos w i ,sin w i ,-x P cos w i -y P sin w i ] T 和[cos θ,sin θ,r] T 。而通過消失點V(w i )和Q點的線V(w i )Q可由同一座標系中的V(w i )和Q之間的向量外積求得。在取得消失點後，H 2 中的相應位置(w i ,ρ i )可推導如下。
在此方式中，第一階段霍氏圖中對線使用了徑向參數化法，而第二階段霍氏圖中導入了兩個錨點，並使用兩個相對角度取代消失點，因此這兩個霍氏空間都是有限的。基於轉換函數S PLP ，在S PLP 所有位置上，線L會貢獻H 1 (r,θ)票數，最後會計算H 2 的熵，而不是H 1 的熵。
接下來，下文將對本發明中影像修正部份的詳細流程進行介紹。如前所述，本發明可對廣角鏡頭在變焦情況下所拍攝的影像、錄影，進行即時的扭曲修正。現假設鏡頭的焦距從f變為rf(即焦距變為r倍)，鏡頭中心不變。新的投影點(x r ,y r )滿足下列方程式，其與焦距成正比。
x r =-rfX/Z,y r =-rfY/Z (10)
以下將推導出焦距變化與扭曲參數變化之間的關係。焦距rf對應產生的影像J大致上與焦距f對應產生的影像I成線性關係，三維空間上的一個點X分別投影到影像I和J中的和位置，這些投影點跟他們未扭曲狀態下的點可近似為下列方程式：
使用上述線性近似條件式，可導出如下方程式的除法模型。
接著，可以導出焦距變化與扭曲參數變化之間的關係，扭曲參數與焦距成平方反比的關係，如下。
因此，在鏡頭校正部份取得廣角鏡頭在預定焦距下的扭曲參數後，在影像修正部份以另一焦距拍攝即時影像時，根據該另一焦距和該預定焦距的倍數關係，即可利用方程式(13)計算得出一個新的扭曲參數，利用該新的扭曲參數對與拍攝對象相應之扭曲影像進行校正，即可得出正常影像或未扭曲影像。
對於即時拍攝時鏡頭焦距的測量方面，較佳可透過拍攝對象之扭曲影像進行像素上的運算來取得。舉例來說，焦距變化可從拍攝到的影像邊界的變化、可視區域的大小變化或圓半徑變化得知。另外，亦可在鏡頭上貼附一個固定圖案，在拍攝即時影像時，可根據該固定圖案的大小、半徑變化得知焦距的變化。
由上，本發明在影像修正部份，導出了焦距變化與扭曲參數變化之間的關係，因此可以利用此關係對廣角變焦鏡頭所拍攝到的影像進行即時地扭曲校正，有效減少影像處理的運算量。而且，本發明在鏡頭校正部份所使用的演算法可使鏡頭在離線狀態下全自動進行校正，且得出的扭曲參數精確度相當高。
需注意的是，本發明所提出的鏡頭校正和影像修正方法可適用於應用在各種領域的線性變焦的廣角複合鏡頭，而不限於手術過程中使用的內視鏡。
雖然本發明已就較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，
在不脫離本發明之精神和範圍內，當可作各種之變更和潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S01~S05‧‧‧步驟
Claims (11)
- 一種影像處理方法，其適用於廣角變焦鏡頭拍攝到的影像，該方法包含步驟：A.利用該廣角變焦鏡頭在一預定焦距下拍攝一校正圖案，以取得對應該校正圖案的一扭曲影像，B.計算得出該扭曲影像在該預定焦距下的扭曲參數；C.利用該廣角變焦鏡頭在另一焦距下取得一個拍攝對象的扭曲影像；D.使用步驟B得出的該扭曲參數，並根據該另一焦距與該預定焦距間的倍數關係，計算出一新的扭曲參數；以及E.使用該新的扭曲參數對與該拍攝對象相應之扭曲影像進行校正；其中在步驟D中，當該另一焦距為該預定焦距的r倍，則該新的扭曲參數為步驟B得出的該扭曲參數的1/r2倍。
- 如申請專利範圍第1項所述之影像處理方法，其中該另一焦距是透過對該拍攝對象的扭曲影像進行像素上的運算而取得。
- 如申請專利範圍第1項所述之影像處理方法，其中步驟B包含下列步驟：S1.使用測邊遮罩取出該扭曲影像中的所有邊點；S2.決定一群候選的參數對，其包括扭曲中心和扭曲參數；S3.將該等候選的參數對各別代入一除法模型，以針對步驟S1所取出的邊點估算出相應的未扭曲邊點； S4.將使用每一個候選的參數對所得出的未扭曲邊點進行霍氏轉換，以得出霍氏圖；以及S5.計算各個霍氏圖的熵，找出該等候選的參數對中使得霍氏圖的熵最小的參數對。
- 如申請專利範圍第3項所述之影像處理方法，其中步驟B針對一個候選的參數對的使用過程中，更包含下列步驟：計算各未扭曲邊點的梯度值，以估算出未扭曲邊點之區域排列方向；以及移除與未扭曲邊點之區域排列方向不同的邊點，僅使用與未扭曲邊點區之域排列方向相同的邊點在霍氏空間中進行投票。
- 如申請專利範圍第4項所述之影像處理方法，其中未扭曲邊點的梯度值係利用與其對應的扭曲邊點的座標和梯度值、以及所使用的扭曲參數計算而得。
- 如申請專利範圍第1項所述之影像處理方法，其中步驟B包含下列步驟：T1.使用測邊遮罩取出該扭曲影像中的所有邊點；T2.決定一群候選的參數對，其包括扭曲中心和扭曲參數；T3.將該等候選的參數對各別代入一除法模型，以針對步驟T1所取出的邊點估算出相應的未扭曲邊點；T4.將使用每一個候選的參數對所得出的未扭曲邊點進行霍氏轉換，以得出霍氏圖；以及 T5.將步驟T4所得出的各個霍氏圖再分別做一次霍氏轉換，以得出第二階霍氏圖；以及T6.計算各個第二階霍氏圖的熵，找出該等候選的參數對中使得第二階霍氏圖的熵最小的參數對。
- 如申請專利範圍第1項所述之影像處理方法，其中該校正圖案係選自由平行線圖案和棋盤格圖案所組成的群組。
- 一種影像處理方法，其適用於廣角變焦鏡頭拍攝到的影像，該方法包含步驟：A.利用該廣角變焦鏡頭在一預定焦距下拍攝一校正圖案，以取得對應該校正圖案的一扭曲影像；B.計算得出該扭曲影像在該預定焦距下的扭曲參數；C.利用該廣角變焦鏡頭在另一焦距下取得一個拍攝對象的扭曲影像；D.使用步驟B得出的該扭曲參數，並根據該另一焦距與該預定焦距間的倍數關係，計算出一新的扭曲參數；以及E.使用該新的扭曲參數對與該拍攝對象相應之扭曲影像進行校正；其中步驟B包含下列步驟：S1.使用測邊遮罩取出該扭曲影像中的所有邊點；S2.決定一群候選的參數對，其包括扭曲中心和扭曲參數；S3.將該等候選的參數對各別代入一除法模型，以針對步驟S1所取出的邊點估算出相應的未扭曲邊點； S4.將使用每一個候選的參數對所得出的未扭曲邊點進行霍氏轉換，以得出霍氏圖；以及S5.計算各個霍氏圖的熵，找出該等候選的參數對中使得霍氏圖的熵最小的參數對。
- 如申請專利範圍第8項所述之影像處理方法，其中步驟B針對一個候選的參數對的使用過程中，更包含下列步驟：計算各未扭曲邊點的梯度值，以估算出未扭曲邊點之區域排列方向；以及移除與未扭曲邊點之區域排列方向不同的邊點，僅使用與未扭曲邊點區之域排列方向相同的邊點在霍氏空間中進行投票。
- 如申請專利範圍第9項所述之影像處理方法，其中未扭曲邊點的梯度值係利用與其對應的扭曲邊點的座標和梯度值、以及所使用的扭曲參數計算而得。
- 一種影像處理方法，其適用於廣角變焦鏡頭拍攝到的影像，該方法包含步驟：A.利用該廣角變焦鏡頭在一預定焦距下拍攝一校正圖案，以取得對應該校正圖案的一扭曲影像；B.計算得出該扭曲影像在該預定焦距下的扭曲參數；C.利用該廣角變焦鏡頭在另一焦距下取得一個拍攝對象的扭曲影像；D.使用步驟B得出的該扭曲參數，並根據該另一焦距與該預定焦距間的倍數關係，計算出一新的扭曲參數；以及 E.使用該新的扭曲參數對與該拍攝對象相應之扭曲影像進行校正；其中步驟B包含下列步驟：T1.使用測邊遮罩取出該扭曲影像中的所有邊點；T2.決定一群候選的參數對，其包括扭曲中心和扭曲參數；T3.將該等候選的參數對各別代入一除法模型，以針對步驟T1所取出的邊點估算出相應的未扭曲邊點；T4.將使用每一個候選的參數對所得出的未扭曲邊點進行霍氏轉換，以得出霍氏圖；T5.將步驟T4所得出的各個霍氏圖再分別做一次霍氏轉換，以得出第二階霍氏圖；以及T6.計算各個第二階霍氏圖的熵，找出該等候選的參數對中使得第二階霍氏圖的熵最小的參數對。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102112754A TWI579800B (zh) | 2013-04-10 | 2013-04-10 | 適用於廣角變焦鏡頭拍攝到之影像的影像處理方法 |
| US13/914,938 US9218650B2 (en) | 2013-04-10 | 2013-06-11 | Image processing method applicable to images captured by wide-angle zoomable lens |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102112754A TWI579800B (zh) | 2013-04-10 | 2013-04-10 | 適用於廣角變焦鏡頭拍攝到之影像的影像處理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201439980A TW201439980A (zh) | 2014-10-16 |
| TWI579800B true TWI579800B (zh) | 2017-04-21 |
Family
ID=51686552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW102112754A TWI579800B (zh) | 2013-04-10 | 2013-04-10 | 適用於廣角變焦鏡頭拍攝到之影像的影像處理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9218650B2 (zh) |
| TW (1) | TWI579800B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102068992B1 (ko) * | 2013-06-20 | 2020-01-22 | 삼성전자 주식회사 | 렌즈 캘리브레이션 방법 및 영상 복원 방법 |
| US10666926B1 (en) * | 2017-07-18 | 2020-05-26 | Edge 3 Technologies, Inc. | Residual error mitigation in multiview calibration |
| CN107959793B (zh) * | 2017-11-29 | 2021-02-05 | 努比亚技术有限公司 | 一种图像处理方法及终端、存储介质 |
| CN112004025B (zh) * | 2020-09-02 | 2021-09-14 | 广东电网有限责任公司 | 一种基于目标点云的无人机自动驾驶变焦方法、系统及设备 |
| CN113128517B (zh) * | 2021-03-22 | 2023-06-13 | 西北大学 | 色调映射图像混合视觉特征提取模型建立及质量评价方法 |
| CN113724194B (zh) * | 2021-06-22 | 2024-01-30 | 山东交通学院 | 一种发动机内窥式火焰测量系统及图像处理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050013504A1 (en) * | 2003-06-03 | 2005-01-20 | Topcon Corporation | Apparatus and method for calibrating zoom lens |
| TW200844638A (en) * | 2006-10-16 | 2008-11-16 | Sony Corp | Lens apparatus, image capture apparatus, and method for correcting image quality |
| TW201017222A (en) * | 2008-10-29 | 2010-05-01 | Chung Shan Inst Of Science | The method of distortion correction for the image of wide-angle lens |
| TW201019715A (en) * | 2008-11-12 | 2010-05-16 | Avisonic Technology Corp | Fisheye correction with perspective distortion reduction method and related image processor |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8052598B2 (en) | 2006-10-12 | 2011-11-08 | General Electric Company | Systems and methods for calibrating an endoscope |
| US8979743B2 (en) | 2008-07-07 | 2015-03-17 | Olympus Corporation | Endoscope device and endoscopic image distortion correction method |
| US8724007B2 (en) * | 2008-08-29 | 2014-05-13 | Adobe Systems Incorporated | Metadata-driven method and apparatus for multi-image processing |
| EP2563022A1 (en) * | 2010-04-22 | 2013-02-27 | Konica Minolta Holdings, Inc. | Information processing device, program, information processing method, and information processing system |
| US9105090B2 (en) * | 2011-07-13 | 2015-08-11 | Analog Devices, Inc. | Wide-angle lens image correction |
-
2013
- 2013-04-10 TW TW102112754A patent/TWI579800B/zh active
- 2013-06-11 US US13/914,938 patent/US9218650B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050013504A1 (en) * | 2003-06-03 | 2005-01-20 | Topcon Corporation | Apparatus and method for calibrating zoom lens |
| TW200844638A (en) * | 2006-10-16 | 2008-11-16 | Sony Corp | Lens apparatus, image capture apparatus, and method for correcting image quality |
| TW201017222A (en) * | 2008-10-29 | 2010-05-01 | Chung Shan Inst Of Science | The method of distortion correction for the image of wide-angle lens |
| TW201019715A (en) * | 2008-11-12 | 2010-05-16 | Avisonic Technology Corp | Fisheye correction with perspective distortion reduction method and related image processor |
Also Published As
| Publication number | Publication date |
|---|---|
| US9218650B2 (en) | 2015-12-22 |
| TW201439980A (zh) | 2014-10-16 |
| US20140307128A1 (en) | 2014-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI579800B (zh) | 適用於廣角變焦鏡頭拍攝到之影像的影像處理方法 | |
| US9842430B2 (en) | Method and device for automatically identifying a point of interest on a viewed object | |
| CN108294728B (zh) | 伤口状态分析系统 | |
| Lee et al. | Automatic distortion correction of endoscopic images captured with wide-angle zoom lens | |
| JP6899894B2 (ja) | パターン検出 | |
| JP2012026841A (ja) | ステレオ測距装置及びステレオ測距方法 | |
| KR20150120066A (ko) | 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 | |
| JP2010041417A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
| KR102118173B1 (ko) | 왜곡계수 추정을 통한 영상 보정 시스템 및 방법 | |
| TWI658720B (zh) | 運用變焦影像資訊以改善原視差影像匹配錯誤之方法 | |
| JP2011188083A (ja) | 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置 | |
| JP2011182397A (ja) | ずれ量算出方法およびずれ量算出装置 | |
| JP6641729B2 (ja) | ラインセンサカメラのキャリブレーション装置及び方法 | |
| JP6594170B2 (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
| US8750641B2 (en) | Apparatus and method for correcting distortion of image | |
| JP2016156702A (ja) | 撮像装置および撮像方法 | |
| KR20110133677A (ko) | 3ｄ 영상 처리 장치 및 그 방법 | |
| JP2011055133A (ja) | 画像処理システム、画像処理方法およびプログラム | |
| JP2019207464A (ja) | 位相差検出器及び画像処理装置、並びにプログラム | |
| JP6521988B2 (ja) | ウェハノッチの検出 | |
| JP6364921B2 (ja) | タイヤ形状解析装置およびタイヤ形状解析方法 | |
| Lluis-Gomez et al. | Chromatic aberration correction in RAW domain for image quality enhancement in image sensor processors | |
| US10523861B2 (en) | Defocus estimation method independent of the scene content and use in an autofocus system | |
| JP4789964B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
| Lourenço et al. | Continuous zoom calibration by tracking salient points in endoscopic video |