TWI511086B - 鏡頭失真校正方法 - Google Patents

鏡頭失真校正方法 Download PDF

Info

Publication number
TWI511086B
TWI511086B TW103114287A TW103114287A TWI511086B TW I511086 B TWI511086 B TW I511086B TW 103114287 A TW103114287 A TW 103114287A TW 103114287 A TW103114287 A TW 103114287A TW I511086 B TWI511086 B TW I511086B
Authority
TW
Taiwan
Prior art keywords
image
corrected
lens
item
distortion correction
Prior art date
Application number
TW103114287A
Other languages
English (en)
Other versions
TW201541410A (zh
Inventor
Hong Long Chou
Yu-Chih Wang
Wen-Yan Chang
yao-sheng Wang
Original Assignee
Altek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Semiconductor Corp filed Critical Altek Semiconductor Corp
Priority to TW103114287A priority Critical patent/TWI511086B/zh
Priority to US14/294,250 priority patent/US9210303B2/en
Publication of TW201541410A publication Critical patent/TW201541410A/zh
Application granted granted Critical
Publication of TWI511086B publication Critical patent/TWI511086B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

鏡頭失真校正方法 【0001】
下列敘述是有關於一種校正方法，特別的是有關於一種採用空間幾何校正以提高鏡頭失真校正之準確度的方法。
 【0002】
一般的光學儀器都必須使用到透鏡，透過這些透鏡的使用，可以使影像達到成像的目的。影像擷取裝置本身也是光學儀器之一種，由光線經過一組透鏡使之成像在電荷耦合元件(Charge Coupled Device，CCD)上。而透過這些透鏡或面鏡而成像，這些透鏡或面鏡的設計好壞就會直接影響到成像品質的好壞。
【0003】
影像擷取裝置大部分使用透鏡進行影像成像，而透鏡的成像除了會有色差的問題外，另一個問題是成像的變形失真。而變形失真的最典型的種類有兩種，一種是筒狀變形(Barrel Distortion)，成像之影像的四側邊比四個角向外突出；一種是針狀變形(Pincushion Distortion)，成像之影像的四側邊比四個角向外凹入。這些變形會造成原本相同間距的兩條直線，成像後的影像的間距卻隨著透過透鏡不同位置的成像，彼此的間距會改變。
【0004】
這些因為透鏡而形成的變形，會使在原本等間隔的點或線，成像上卻變的非等間距等，因此會造成影像的失真情況。
【0005】
基本上，影像失真會以中心為基點對稱，而大多數的用於校正影像變形失真的影像座標轉換關係中都會有圖像中心係數。理想上，鏡片與影像感測器在組裝時，鏡片的中心必須在從影像感測器中心上的法線上，如此，鏡片造成的失真現象在影像上會以影像中心相對稱。
【0006】
但是實際組裝時，因為鏡片公差或是組裝流程的瑕疵，鏡片的中心往往不在影像感測器中心上的法線上，如此會使得鏡片造成的失真現象在影像上不會以影像中心相對稱，而校正的準確度下降。
 【0007】
有鑑於上述問題，本發明之目的係提供一種鏡頭失真校正方法，以提高鏡頭失真校正之準確度。
【0008】
有鑑於上述問題，本發明之另一目的係提供一種鏡頭失真校正方法，以補償因鏡片中心與影像感測器中心在組裝時產生之誤差對失真校正的影響。
【0009】
基於上述目的，本發明提供一種鏡頭失真校正方法，其包含下列步驟。步驟(a)設置幾何校正模型在鏡頭前，幾何校正模型上具有複數個校正標誌(marker)，並提供複數個校正標誌之空間座標。步驟(b)透過鏡頭擷取待校正圖像。步驟(c)提供待校正圖像與校正後圖像之間的影像座標轉換關係，影像座標轉換關係包含圖像中心係數。步驟(d)從待校正圖像中選擇候選中心點。步驟(e)以候選中心點之座標作為圖像中心係數，根據影像座標轉換關係對待校正圖像進行圖像失真校正，以轉換成校正後圖像。步驟(f)根據候選中心點、複數個校正標誌之空間座標、以及複數個校正標誌在校正後圖像中的影像座標，以最小均方值(LMS)演算法計算出複數個幾何校正係數以及誤差值。步驟(g)從待校正圖像中選擇複數個不同的候選中心點，重複步驟(e)到步驟(f)，以產生相對應的複數個誤差值。步驟(h)以複數個誤差值中的最小值所對應的候選中心點作為影像座標轉換關係中的圖像中心係數，並根據圖像中心係數以及影像座標轉換關係將待校正圖像轉換成校正後圖像。
【0010】
較佳地，幾何校正模型可為一平面模型或是一立體模型，而複數個校正標誌之空間座標係屬於一大域座標系(global coordinate)。
【0011】
較佳地，影像座標轉換關係以所選之圖像中心為對稱，用以校正一桶狀變形或一針狀變形。
【0012】
較佳地，複數個幾何校正係數係基於一針孔攝像模型(pinhole model)所決定。
【0013】
較佳地，複數個不同的候選中心點係鄰近待校正圖像之影像中心位置。
【0014】
較佳地，鏡頭包含一鏡片組以及一影像感測元件。
【0015】
較佳地，候選中心點之影像座標係以像素(pixel)或次像素(sub-pixel)為單位。
【0016】
較佳地，演算法包含最小均方值(Least Mean Square，LMS)演算法、距離差異絕對值之計算方法或距離差異總合之計算方法。
10 鏡頭
20 幾何校正模型
22 校正標誌
30 待校正圖像
31 理想校正後圖像
40 候選中心點
S1~S7 步驟
【0017】
 本發明之上述及其他特徵及優勢將藉由參照附圖詳細說明其例示性實施例而變得更顯而易知，其中：
第1圖係為根據本發明之鏡頭失真校正方法之流程圖。
第2圖係為根據本發明之鏡頭失真校正方法之實施例之流程圖。
第3圖係為根據本發明之鏡頭失真校正方法之實施例之示意圖。
 【0018】
於此使用，詞彙“與/或”包含一或多個相關條列項目之任何或所有組合。當“至少其一”之敘述前綴於一元件清單前時，係修飾整個清單元件而非修飾清單中之個別元件。
【0019】
參閱第1圖以及第2圖，其為根據本發明之鏡頭失真校正方法之流程圖以及示意圖。圖中，本發明之鏡頭失真校正方法係適用於包含一鏡片組以及一影像感測元件的鏡頭，而鏡頭失真校正方法包含下列步驟。
【0020】
在步驟S1，設置幾何校正模型20在鏡頭10前，幾何校正模型20上具有複數個校正標誌(marker) 22，並提供複數個校正標誌22之空間座標，並透過鏡頭10擷取一待校正圖像30。實施上，幾何校正模型20可為一平面模型或是一立體模型，而複數個校正標誌22之空間座標係屬於一大域座標系(global coordinate)。
【0021】
第2圖中亦繪示了有變形的待校正圖像30，以及理想校正後圖像31。從第2圖可看出待校正圖像30有筒狀變形的現象，複數個校正標誌22之影像點而呈現弧狀排列，而且原本校正標誌22之間應是等距間隔，在待校正圖像30上也呈現不等距。而正確的校正後圖像中複數個校正標誌22應是直線排列，如理想校正後圖像31所示。
【0022】
在步驟S2，提供此待校正圖像與校正後圖像之間的影像座標轉換關係，影像座標轉換關係包含圖像中心係數，亦即，影像座標轉換關係需要輸入正確的圖像中心座標。而實施上，影像座標轉換關係用以校正一桶狀變形或一針狀變形。而相關的演算法為此領域之技術者所熟知，故在此不再贅述。
【0023】
在步驟S3，從待校正圖像中選擇候選中心點。若是在理想情形，圖像中心座標應是圖像之長度與寬度的一半，例如，待校正圖像的解析度為640x480，即長度為640像素，寬度為480像素，則圖像中心座標為(320像素, 240像素)。但是，因為鏡片之中心與影像感測器之中心在組裝時可能產生之誤差，所以(320像素, 240像素)可能不會是正確的圖像中心，因此以下步驟便是選出多個候選中心點並搭配空間幾何校正來找出比較正確的圖像中心。
【0024】
在步驟S4，以候選中心點之座標作為圖像中心係數，根據影像座標轉換關係執行一失真校正，將此待校正圖像30轉換成一校正後圖像。理論上，校正後圖像應該如第2圖所示之理想校正後圖像31，校正標誌22都呈直線排列且校正標誌22之間為等距間隔。但是因為中心偏差可能存在，所以以下步驟再以空間幾何校正作確認。
【0025】
在步驟S5，根據候選中心點、複數個校正標誌之空間座標、以及複數個校正標誌在校正後圖像中的影像座標，計算出複數個幾何校正係數以及誤差值。其計算方法可為例如是以最小均方值(Least Mean Square，LMS)演算法、距離差異絕對值或距離差異總合等。此即為空間幾何校正，每一個空間座標與複數個幾何校正係數之計算都可得到相對應的影像座標。複數個幾何校正係數係基於一針孔攝像模型(pinhole model)所決定。
【0026】
由於空間幾何校正係線性關係，理想上如果中心點正確而且影像座標正確的話，其計算幾何校正係數時應不會有誤差值。但是在實務上，由於可能有候選中心點之誤差、或是影像座標的像素誤差，因此計算出最接近的複數個幾何校正係數，其代表誤差值的存在，舉例而言，可以使用LMS演算法。而複數個幾何校正係數以及LMS演算法的計算原理為此領域之技術者所熟知，故在此不再贅述。
【0027】
在步驟S6，從待校正圖像中選擇複數個不同的候選中心點40，例如從待校正圖像之影像中心位置的周圍選擇，可先預設一選擇範圍，由左至右，由上至下依序選出不同的候選中心點，如第3圖所示；或是以離影像中心位置從近到遠選擇不同的候選中心點。實施上，候選中心點之位置係以像素(pixel)或次像素(sub-pixel)為單位，例如，可以0.5像素為單位依序選擇(320像素, 240像素)、(320.5像素, 240像素)、(321像素, 240像素)、(321.5像素, 240像素)等作為候選中心點。
【0028】
接著重複步驟S5到步驟S6，針對每一個候選中心點40進行上述之空間幾何校正，以產生相對應的複數個誤差值。
【0029】
在步驟S7，以複數個誤差值中的最小值所對應的候選中心點作為影像座標轉換關係中的圖像中心係數，並根據圖像中心係數以及影像座標轉換關係將待校正圖像轉換成校正後圖像。
【0030】
如果所選的候選中心點有對應到鏡片中心，則表示在步驟S4根據影像座標轉換關係進行失真校正之後，複數個校正標誌的影像座標都會是正確的，因此進行空間幾何校正時計算出的誤差值也會是最小。
【0031】
透過步驟S1~S7，可有效地找出較正確的鏡片中心在圖像上的位置，進而改善失真校正的準確性。
【0032】
在較佳實施例之詳細說明中所提出之具體實施例僅用以方便說明本發明之技術內容，而非將本發明狹義地限制於上述實施例，在不超出本發明之精神及以下申請專利範圍之情況，所做之種種變化實施，皆屬於本發明之範圍。
 
S1~S7 步驟

Claims (8)

  1. 【第1項】
    一種鏡頭失真校正方法，包含：
    (a) 設置一幾何校正模型在一鏡頭前，該幾何校正模型上具有複數個校正標誌(marker)，並提供該複數個校正標誌之一空間座標；
    (b) 透過該鏡頭擷取一待校正圖像；
    (c) 提供該待校正圖像與一校正後圖像之間的一影像座標轉換關係，該影像座標轉換關係包含一圖像中心係數；
    (d) 從該待校正圖像中選擇一候選中心點；
    (e) 以該候選中心點之座標作為該圖像中心係數，根據該影像座標轉換關係對該待校正圖像進行圖像失真校正，以轉換成該校正後圖像；
    (f) 根據該候選中心點、該複數個校正標誌之該空間座標、以及該複數個校正標誌在該校正後圖像中的影像座標，以一演算法計算出複數個幾何校正係數以及一誤差值；
    (g) 從該待校正圖像中選擇複數個不同的該候選中心點，重複步驟(e)到步驟(f)，以產生相對應的複數個誤差值；以及
    (h) 以該複數個誤差值中的最小值所對應的該候選中心點作為該影像座標轉換關係中的該圖像中心係數，並根據該圖像中心係數以及該影像座標轉換關係將該待校正圖像轉換成該校正後圖像。
  2. 【第2項】
    如申請專利範圍第1項所述之鏡頭失真校正方法，其中該幾何校正模型係為一平面模型或是一立體模型，而該複數個校正標誌之該空間座標係屬於一大域座標系(global coordinate)。
  3. 【第3項】
    如申請專利範圍第1項所述之鏡頭失真校正方法，其中該影像座標轉換關係用以校正一桶狀變形或一針狀變形。
  4. 【第4項】
    如申請專利範圍第1項所述之鏡頭失真校正方法，其中該複數個幾何校正係數係基於一針孔攝像模型(pinhole model) 所決定。
  5. 【第5項】
    如申請專利範圍第1項所述之鏡頭失真校正方法，其中該複數個不同的該候選中心點係鄰近該待校正圖像之影像中心位置。
  6. 【第6項】
    如申請專利範圍第1項所述之鏡頭失真校正方法，其中該鏡頭包含一鏡片組以及一影像感測元件。
  7. 【第7項】
    如申請專利範圍第1項所述之鏡頭失真校正方法，其中該候選中心點之影像座標係以像素(pixel)或次像素(sub-pixel)為單位。
  8. 【第8項】
    如申請專利範圍第1項所述之鏡頭失真校正方法，其中該演算法包含最小均方值(Least Mean Square，LMS)演算法、距離差異絕對值之計算方法或距離差異總合之計算方法。
TW103114287A 2014-04-18 2014-04-18 鏡頭失真校正方法 TWI511086B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103114287A TWI511086B (zh) 2014-04-18 2014-04-18 鏡頭失真校正方法
US14/294,250 US9210303B2 (en) 2014-04-18 2014-06-03 Lens distortion correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103114287A TWI511086B (zh) 2014-04-18 2014-04-18 鏡頭失真校正方法

Publications (2)

Publication Number Publication Date
TW201541410A TW201541410A (zh) 2015-11-01
TWI511086B true TWI511086B (zh) 2015-12-01

Family

ID=54323049

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103114287A TWI511086B (zh) 2014-04-18 2014-04-18 鏡頭失真校正方法

Country Status (2)

Country Link
US (1) US9210303B2 (zh)
TW (1) TWI511086B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395391B1 (en) 2018-04-17 2019-08-27 National Chiao Tung University System and method of automatic calibration of principal point

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3330961A4 (en) 2015-09-07 2019-04-03 Sony Interactive Entertainment Inc. INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, OUTPUT DEVICE, PROGRAM, AND RECORDING MEDIUM
WO2017043125A1 (ja) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体
WO2017104328A1 (ja) * 2015-12-17 2017-06-22 富士フイルム株式会社 画像処理装置及び画像処理方法
CN107845583B (zh) * 2016-09-18 2020-12-18 中芯国际集成电路制造(上海)有限公司 基板表面缺陷检测装置、图像畸变校正方法和装置以及基板表面缺陷检测设备
US11218626B2 (en) * 2017-07-28 2022-01-04 Black Sesame International Holding Limited Fast focus using dual cameras
TWI663576B (zh) * 2017-08-02 2019-06-21 伸興工業股份有限公司 Image correction method
US10565778B2 (en) 2017-08-22 2020-02-18 Samsung Electronics Co., Ltd. Electronic devices for and methods of implementing memory transfers for image warping in an electronic device
CN107871329B (zh) * 2017-12-18 2021-09-07 北京峰云视觉技术有限公司 一种相机光学中心的快速标定方法及装置
CN109615586B (zh) * 2018-05-07 2022-03-11 杭州新瀚光电科技有限公司 红外图像畸变矫正算法
US11277544B2 (en) * 2019-08-07 2022-03-15 Microsoft Technology Licensing, Llc Camera-specific distortion correction
CN110728634B (zh) * 2019-09-09 2022-05-24 北京迈格威科技有限公司 量化校正算法精度的方法和装置
WO2022013753A1 (en) * 2020-07-15 2022-01-20 Corephotonics Ltd. Point of view aberrations correction in a scanning folded camera
US11663704B2 (en) 2021-04-28 2023-05-30 Microsoft Technology Licensing, Llc Distortion correction via modified analytical projection
CN113592744B (zh) * 2021-08-12 2024-03-19 长光卫星技术股份有限公司 一种适用于高分辨率遥感影像的几何精校正方法
CN114302044B (zh) * 2021-12-30 2023-11-28 江西盛泰精密光学有限公司 一种用于医疗镜头模组的aa组装方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009000906A1 (en) * 2007-06-26 2008-12-31 Dublin City University A method for high precision lens distortion calibration and removal
TW201351391A (zh) * 2006-08-11 2013-12-16 Geo Semiconductor Inc 校正相機之影像失真的校準方法與系統

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816625B2 (en) * 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
US20020122117A1 (en) * 2000-12-26 2002-09-05 Masamichi Nakagawa Camera device, camera system and image processing method
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
EP2460054A4 (en) * 2009-07-31 2013-03-06 Lightcraft Technology Llc METHOD AND SYSTEMS FOR CALIBRATING AN ADJUSTABLE LENS
US8368762B1 (en) * 2010-04-12 2013-02-05 Adobe Systems Incorporated Methods and apparatus for camera calibration based on multiview image geometry
WO2013076605A1 (en) * 2011-11-23 2013-05-30 Creaform Inc. Method and system for alignment of a pattern on a spatial coded slide image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201351391A (zh) * 2006-08-11 2013-12-16 Geo Semiconductor Inc 校正相機之影像失真的校準方法與系統
WO2009000906A1 (en) * 2007-06-26 2008-12-31 Dublin City University A method for high precision lens distortion calibration and removal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395391B1 (en) 2018-04-17 2019-08-27 National Chiao Tung University System and method of automatic calibration of principal point

Also Published As

Publication number Publication date
US9210303B2 (en) 2015-12-08
TW201541410A (zh) 2015-11-01
US20150304527A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
TWI511086B (zh) 鏡頭失真校正方法
JP5444139B2 (ja) 画像のキャリブレーション方法および装置
US8000559B2 (en) Method of correcting image distortion and apparatus for processing image using the method
JP5338718B2 (ja) 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP2009170970A5 (zh)
US20090141148A1 (en) Distortion-corrected image generation unit and distortion-corrected image generation method
JP5365387B2 (ja) 位置検出装置
CN107871329B (zh) 一种相机光学中心的快速标定方法及装置
JP2012202694A (ja) カメラ校正方法
CN109827521B (zh) 一种快速多线结构光视觉测量系统标定方法
JP5952811B2 (ja) 輝度測定方法、輝度測定装置及びこれらを用いた画質調整技術
KR100744937B1 (ko) 렌즈 왜곡 보정 방법
CN113920205A (zh) 一种非同轴相机的标定方法
TWI638149B (zh) 輝度測定方法、輝度測定裝置及使用前述方法與裝置之畫質調整技術
JP5998532B2 (ja) 補正式算出方法、補正方法、補正装置及び撮像装置
JP2019068272A (ja) 周辺監視装置およびその校正方法
JP2016218815A (ja) ラインセンサカメラのキャリブレーション装置及び方法
JP2012147281A (ja) 画像処理装置
JP6634842B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN114943764B (zh) 曲面屏幕像素定位方法、装置和设备
JP5446285B2 (ja) 画像処理装置及び画像処理方法
JP2006010613A (ja) 画像の歪み補正方法
Fang et al. Distortion correction modeling method for zoom lens cameras with bundle adjustment
JP2006059270A (ja) 画像の歪み補正方法
CN105023242B (zh) 镜头失真校正方法