TWI843475B - 用於修正影像記錄中的幾何像差的方法和攝影機 - Google Patents
用於修正影像記錄中的幾何像差的方法和攝影機 Download PDFInfo
- Publication number
- TWI843475B TWI843475B TW112108717A TW112108717A TWI843475B TW I843475 B TWI843475 B TW I843475B TW 112108717 A TW112108717 A TW 112108717A TW 112108717 A TW112108717 A TW 112108717A TW I843475 B TWI843475 B TW I843475B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- camera
- sensor
- deformation
- transparent cover
- Prior art date
Links
- 230000004075 alteration Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 230000007613 environmental effect Effects 0.000 claims abstract description 11
- 238000006073 displacement reaction Methods 0.000 claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000007789 sealing Methods 0.000 claims description 3
- 238000007620 mathematical function Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 239000007789 gas Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 229910010293 ceramic material Inorganic materials 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000011326 mechanical measurement Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Abstract
為了精確地修正在攝影機運行過程中出現的對攝影機的成像精度的影響,規定:藉由變形模型(20)對透明的覆蓋件(5)及/或感測器層(4)由感測器凹槽(3)中的內部壓力(p
1)和攝影機(10)的環境壓力(p
2)之間的壓力差(D)引起的變形(V)進行建模,在藉助於攝影機(10)進行影像記錄(B‘)的時刻,根據在影像記錄(B‘)的時刻已知的內部壓力(p
1)和攝影機(10)的環境壓力(p
2)來測定當前存在的壓力差(D),並藉助於變形模型(20)用測定的壓力差(D)來測定在影像記錄(B‘)的時刻透明的覆蓋件(5)及/或感測器層(4)的變形(V),從測定的變形(V)和影像感測器(1)的已知幾何尺寸,測定由變形(V)引起的物點(G)到影像記錄(B‘)中所產生的實際的像素(P‘‘)上的成像的移位,作為幾何像差(A),並對影像記錄(B‘)中所測定的幾何像差(A)進行修正,以獲得經修正的影像記錄(B)。
Description
本發明係關於一種用於修正攝影機的幾何像差的方法,該攝影機具有影像感測器,該影像感測器由感測器殼體、佈置在感測器殼體的感測器凹槽中並具有多個像素的感測器層以及相對於外部密封封閉感測器殼體的透明的覆蓋件組成,其中物體的由攝影機記錄的一個物點成像到感測器層的一個像素上。本發明也關於一種相應形成的攝影機。
在數位攝影機中,使用影像感測器,例如CCD(電荷耦合裝置)感測器或主動像元感測器(通常也稱為「CMOS感測器」)來記錄數位影像。影像感測器佈置在數位攝影機的影像平面內,將射入的光線(光子)轉換為電信號,這些電信號被感測並代表數位影像。影像感測器通常由合適的感測器殼體以及封閉感測器殼體的透明的覆蓋件構成,感測器殼體通常由陶瓷材料構成,由薄的電光學感測器層組成的電光學感測器佈置在感測器殼體中。感測器層通常黏到殼體中,並與殼體連接。為了能夠拍攝到清晰的影像,重要的是將影像感測器佈置為與數位攝影機的光學系統對準並在限定的位置中,以便能夠在影像平面上準確地對藉助於數位攝影機拍攝的物體進行成像。特別是,數位攝影機在大幅面攝影、地球空間資訊學或攝影測量領域的應用對這種成像精度提出了高要求。
因此,已知要將影像感測器高精度地佈置在數位攝影機中。例如,WO 2021/069382 A1描述了一種與影像感測器相適應的感測器支架,以使得能夠藉助於感測器支架在數位攝影機中高精度定位影像感測器。EP 1 475 960 A2描述了將影像感測器的覆蓋件與影像感測器對準。在此,缺點是最初的對準或定位是固定的,隨後不再能改變。
因此,在數位攝影機中以可移動或可調整的方式佈置影像感測器也已經是已知的。這例如披露在EP 2 485 474 A1中。一方面,這種調整在構造上是複雜的。另一方面,這樣的機械調整幾乎不可能實現上述應用場合所要求的高度精確的對準或定位。最後但並非最不重要的是,在主動調整的情況下,也必須測定與目標位置的偏差,以便能夠透過調整來補償該偏差,這還進一步提高了複雜性。
DE 100 13 567 A1遵循了類似的方法,然而也導致了同樣的困難。從這篇文獻中已知的是,為了改善航空攝影機的成像清晰度,藉由根據溫度和氣壓進行焦點移位,來抵消焦點漂移。在此,所需的焦點移位是藉助於修正表來模擬的,其中藉助於合適的控制信號來控制壓電促動器,以使焦平面沿著光軸移動,對抗焦點漂移。
在使用數位攝影機過程中出現的對成像精度的影響,用已知的方法要麼根本無法補償(如WO 2021/069382 A1或EP 1 475 960 A2中那樣),要麼只能有限地補償或是費力地補償(如EP 2 485 474 A1或DE 100 13 567 A1中那樣)。
因此,需要對數位攝影機工作過程中出現的、對數位攝影機的成像精度的影響進行簡單但精確的修正。
對於開頭提到的方法和開頭提到的數位攝影機來說,此目的藉由獨立請求項的特徵而達成。
已經認識到,影像感測器,特別是透明的覆蓋件及/或感測器層,由於在影像記錄的時刻影像感測器的感測器凹槽中的壓力和攝影機的環境壓力之間的壓力差而發生機械變形。這種變形導致藉助於攝影機拍攝的物點的成像在影像記錄中(或在感測器層處)以幾何像差的形式移位。可以對這種移位進行建模,從而可以根據在影像記錄的時刻產生作用的壓力差來測定移位(量),並可以在影像記錄中進行修正。使用變形模型來建模,該變型模型對在影像記錄的時刻產生作用的壓力差與變形之間的關係進行建模。可以事先針於特定的影像感測器校準變形模型,例如根據對影像感測器處的測量,然後可以在攝影機運行時使用變形模型。
以此方式,影像記錄中的幾何像差可以得到修正,迄今為止這樣的幾何像差仍然未得到修正。影像記錄的品質由此能得到改善。
有利地,該幾何像差被測定為物點在透明的覆蓋件及/或感測器層未變形的情況下到預期的像素上的成像與物點到所產生的實際的像素上的、由於變形而發生的實際的成像之間的移位。由於此處係關於在考慮折射定律的情況下在影像感測器處所產生的簡單的幾何關係,因此,這可以以簡單的方式實現。
如果在幾何像差中也考慮由未變形的透明的覆蓋件處的光學折射所引起的偏移,那麼影像記錄的品質還能再提高。藉此,迄今為止已知的幾何像差可以在同一步驟中一同得到修正。
對影像記錄中的幾何像差的修正可以以簡單的方式如下實現:將物點到影像記錄中所產生的實際的像素上的成像在經修正的影像記錄中以幾何像差為幅度移位到另一個像素中。
圖1中圖示採用典型實施方式的影像感測器1。在感測器殼體2的感測器凹槽3中佈置有感測器層4,該感測器層形成電光學感測器。感測器殼體2通常由陶瓷材料製成。感測器殼體2被透明的覆蓋件5(通常由玻璃製成)相對於外部環境密封封閉。除了被透明的覆蓋件5封閉的部分,感測器凹槽3由感測器殼體2包圍。感測器層4通常與感測器殼體2連接,例如黏在感測器凹槽3的底部處,通常與透明的覆蓋件5相對。為了簡單起見,圖1中未圖示用於從外部對感測器層4進行電接觸的、必須的、充分的、已知的電氣連接。
感測器層4包括多個電光學探測器的排列,每個電光學探測器形成感測器層4的一個像素,因此也形成影像記錄B的一個像素。
感測器層4也可實施為具有多個通道,例如實施為RGB感測器。感測器層4的各個電光學探測器也可以分別配設不同的濾色器,以便能夠藉助於一個影像感測器1對光的多個分開的波長範圍成像。影像感測器1的這種實施方式是充分已知的。
由於具有影像感測器1的攝影機10的光學系統的已知的光學特性,並且由於影像感測器1和攝影機10的已知的幾何形狀以及影像感測器1在攝影機10中的定位,用具有影像感測器1的攝影機10拍攝的物體的每個物點G(也參見圖4)都成像到影像平面7中感測器層4的一個像素P上,即可以對應於攝影機10的一個像素P。這在圖1中示出。攝影機10的光學系統包括鏡頭11,也可包括其他光學部件,如光闌、濾光片、快門等。鏡頭11的投影中心O(在圖1中未示出)可以佈置為與影像平面7的距離為已知的焦距f
B。影像感測器1的感測器層4佈置在影像平面7中。
投影中心O不必相對於感測器層4居中佈置,而是感測器層4也可以相對於投影中心O偏心地及/或不對稱地佈置。同樣可設想的是,在攝影機10中佈置有多個影像感測器1,這同樣可以導致:一個影像感測器1或其感測器層4相對於投影中心O且相對於光軸偏心佈置,該光軸延伸穿過投影中心O並與影像平面7正交。
從被拍攝物體上的物點G出發並行進通過投影中心O的光線6,根據已知的折射定律在透明的覆蓋件5處發生折射,並在像素P'上而不是在實際的像素P上以偏移量L射中影像平面7,這取決於當前的、已知的折射率(例如,在外界面5a處從空氣過渡到玻璃,以及在內界面5b處從玻璃過渡到空氣)。
然而,鏡頭11自然會以已知的方式將所有從被拍攝物體處的物點G發出的、行進穿過鏡頭11(參見圖4)的光線集中到像素P上。然而,為了簡單起見,圖1中只圖示該光束中行進通過投影中心O的光線6。
還應注意的是,透明的覆蓋件5的外界面5a處的折射率不必一定與在內界面5b處從透明的覆蓋件5進入感測器殼體2的折射率相同。然而,可以假定兩個光學界面5a、5b處的折射率是已知的。
根據折射定律,由已知的折射率和影像感測器1的已知的幾何尺寸,特別是透明的覆蓋件5的厚度和透明的覆蓋件5的內界面5b與感測器層4之間的距離,得出偏移量L。
已知的是,以數學方式反映出影像感測器1的透明的覆蓋件5處的光學折射對所拍攝的影像的影響,並在影像記錄B中進行補償,例如藉由如下方式:將物點G的成像從影像記錄B‘中的像素P'以偏移量L移位到影像記錄B的像素P(圖1)。光線6的入射角δ
1從透明的覆蓋件5的面法線偏離越多,這種由折射引起的幾何像差就越大。因此,偏移量L在整個影像平面7上通常不是恆定的。
影像感測器1或感測器層4通常是二維的,因此,影像平面7中的偏移量L是透過兩個坐標方向(例如x和y,參見圖6)上的折射而產生。影像平面7中的像素P處的(兩個坐標方向上的)偏移量L取決於光線6的入射角δ
1、當前的折射率和影像感測器1的幾何形狀,如有可能也取決於影像感測器1在攝影機10中的位置(特別是當影像感測器相對於光軸偏心佈置時)。
然而,在(高度)精確的應用場合中,如地球空間資訊學(Geomatik)或攝影測量學,已經發現,儘管補償了由折射引起的偏移量L,但是在影像記錄B中仍然存在可辨識的幾何像差A,這限制了影像記錄B的品質。已經認識到,該餘下的幾何像差A是由影像感測器1的實施方式造成的。
在其中佈置有感測器層4的感測器凹槽3被透明的覆蓋件5密封地封閉之後,由於生產所決定地,在感測器凹槽3中存在一定的氣態媒介和一定的內部壓力p
1。例如,如果用影像感測器1從飛機上拍攝影像,則在飛機中的具有影像感測器1的攝影機10的區域中存在與內部壓力p
1不同的環境壓力p
2。由於影像感測器1的生產製造是在比影像拍攝期間飛機的飛行高度低得多的海拔高度上進行,因此在使用攝影機10時,被關在感測器凹槽3中的內部壓力p
1通常會大於環境壓力p
2。然而,在使用攝影機10時,內部壓力p
1當然也可以小於環境壓力p
2。在此情況下,由於壓力差D,透明的覆蓋件5可能會發生變形。如果感測器凹槽3中的內部壓力p
1大於環境壓力p
2,那麼透明的覆蓋件5例如將向外拱起。當感測器殼體2不夠牢固時,如果內部壓力p
1大於環境壓力p
2,那麼感測器殼體2也會變形,並且由此感測器層4也可能變形,例如向外拱起。
較佳地,壓力差D表示為壓力差值(p
2-p
1),也可以表示為壓力差值的冪,或者表示為兩個壓力的商(p
2/p
1),其中壓力差D也可以其它方式表示。壓力差D也可以表示為第一海拔高度處的壓力差值與另一海拔高度處的壓力差值的差異。
然而,內部壓力p
1也會受到其他物理效應的影響,特別是受到影像感測器1區域中的溫度的影響。根據阿蒙頓(Amontons)定律,根據以下關係:
,被關在恆定的體積中的氣體的壓力取決於溫度T。其中,p
1表示在溫度為T
1時的壓力,對應於所存在的內部壓力p
1,T
0表示初始溫度(例如,在影像感測器製造時存在的溫度或某個假設的溫度),γ
0表示在初始溫度T
0時的體積膨脹係數,可以假設影像感測器1中封閉的氣體的該體積膨脹係數是已知的。可以例如藉助於影像感測器1處的溫度感測器13測量溫度T。阿蒙頓定律也可以以簡化形式
應用。
對於阿蒙頓定律的應用,影像感測器1中的體積可以視為近似恆定,因為影像感測器1將僅發生輕微變形。然而,人們也可以對這種影響進行建模,例如藉由應用已知的理想氣體熱狀態方程。
由影像感測器1中的壓力差D引起的變形的後果將參照圖2和圖3進行闡釋,其中為了說明,該效應被非常誇大地示出。
在圖2中,透明的覆蓋件5的一部分在未變形的初始位置中以虛線示出。由於折射定律,從物點G到達的光線6會在透明的覆蓋件5處的兩個界面5a、5b處折射,並以光線6‘的形式離開透明的覆蓋件5,該光線6‘會在像素P‘處擊中感測器層4。由於壓力差D引起的透明的覆蓋件5的變形,在所圖示的示例中,透明的覆蓋件5向外拱起,界面5a、5b的法線的定向發生改變。由此,入射光線6相對於外界面5a的法線的角度δ
1也發生了改變,出射光線6‘‘相對於內界面5b的法線的角度δ
3也發生了改變。因此,相對於未變形的透明的覆蓋件5,由於變形,光線6的折射情況不同。因此,出射光線6‘‘在另一像素P‘‘上擊中感測器層4,這導致了幾何像差A。因此,物點G不再(如預期的那樣)成像到像素P‘上,而是成像到感測器層4的另一個實際的像素P‘‘上。
使用符號6‘、6‘‘來表示折射後的出射光線,僅用於闡釋。光線6當然保持不變。
在圖3中,未變形的感測器殼體2與未變形的感測器層4的一部分以虛線示出。從物點G到達的光線6會在像素P‘處擊中未變形的感測器層4。然而,由於壓力差D引起的感測器層4的變形,在所圖示的示例中,感測器層4向外拱起,光線6在像素P‘‘處擊中感測器層4,這也導致了幾何像差A。因此,物點G不再(如預期的那樣)成像到像素P‘上,而是成像到感測器層4的另一個實際的像素P‘‘上。
因此,幾何像差A被理解為物點G的成像從感測器層4的預期的像素P‘移位至感測器層4的另一個實際的像素P‘‘。
參照圖2和圖3闡釋的變形的兩種效應可以同時發生(情況通常是這樣),但是也可以各自單獨發生。因此,幾何像差A可能是由這些效應中的一個效應或由兩個效應引起的。由此產生的幾何像差A例如表現為所拍攝的影像的扭曲及/或失真。這樣的幾何像差A可能發生在影像平面7的每個像素P中,或者只發生在某些像素P中,但在整個影像平面7中不是恆定的。
在用具有影像感測器1的攝影機10進行影像記錄的時刻,感測器凹槽3中的內部壓力p
1與攝影機10的環境壓力p
2之間存在壓力差D,該壓力差導致透明的覆蓋件5及/或感測器層4發生變形V,這一認識可被用來修正影像記錄B‘中由此引起的幾何像差A,以獲得經修正的影像記錄B。為此可設有評估單元21,該評估單元也可以是攝影機10的一部分。
例如,曝光開始或曝光結束或曝光開始與曝光結束之間的一個時刻可以視為影像記錄B‘的時刻。
可以為數位記錄的每個像素P(像元)測定並修正幾何像差A,但不必為每個像素P測定並修正幾何像差。
處理方式如下,也請參考圖4和圖5。
在影像記錄B‘的時刻,影像感測器1中的內部壓力p
1可以假定為已知的。例如,內部壓力p
1對應於製造影像感測器1時所存在的壓力,也可以透過標準條件(T
0=273 K,p
1=1.01325巴)來近似該壓力。例如,可以藉助於阿蒙頓定律來測定溫度對內部壓力p
1的可能影響。為此,可以藉由溫度感測器13感測在影像記錄B‘的時刻影像感測器1上當前存在的溫度,並計算出當前的內部壓力p
1。
同樣,在影像記錄B‘的時刻,影像感測器1處或攝影機10處的環境壓力p
2可以假定是已知的。例如,攝影機10緊固在交通工具12上,例如飛機。環境壓力p
2可用壓力感測器感測,例如在公路車輛的情況下,或者可以根據氣壓高度公式從已知的飛行高度h測定,例如在飛機上的情況下。當然,在飛機上的情況下也可以用壓力感測器感測環境壓力p
2。如果攝影機10佈置在飛機的加壓機艙中,那麼環境壓力p
2例如對應於加壓機艙中的壓力。然而,攝影機10不必然非要佈置在交通工具12上。
因此,在影像記錄B‘的時刻當前所存在的壓力差D也可以被假定為已知或者可被測定。
使用變形模型20,該變形模型是對透明的覆蓋件5及/或感測器層4由影像感測器1的感測器凹槽3中的內部壓力p
1與影像感測器1或攝影機10的環境壓力p
2之間的壓力差D所引起的變形(量)V進行建模。變形(量)V可以透過該變形模型20一般地被表示為壓力差D的函數f,即V=f(D)。變形模型20描述了壓力差D與透明的覆蓋件5及/或感測器層4的變形V之間的關係。
例如,變形模型20可以實施在評估單元21中(圖5)。評估單元21可以是電腦或基於微處理器的硬體。也可實施為積體電路,如FPGA(現場可程式設計閘陣列)或ASIC(特定應用積體電路)。變形模型20可以實現為在微處理器上執行的軟體,然而也可以被儲存為表格形式或被儲存為數學公式或函數。
變形模型20如何具體實現對本發明是不重要的,可設想各種建模,如將在下文中更詳細說明的。
藉助於變形模型20,可以由在影像記錄B‘的時刻已知的壓力差D來測定在影像記錄B‘的時刻透明的覆蓋件5及/或感測器層4的變形(量)V。
從測定的變形(量)V和影像感測器1的已知幾何尺寸,可以測定由相機10感測的光線6將在感測器層4的哪個像素P‘‘處實際擊中感測器層4,以及光線6應該在哪個像素P‘處擊中未發生變形V的感測器層4。由於這些是簡單的幾何關係,所以可以容易地測定。實際的像素P‘‘和預期的像素P‘之間這一被測定的位移代表了像素P的幾何像差A,可以在影像記錄B‘中被修正,以修正幾何像差A。為此,物點G的成像從影像記錄B‘中的像素P‘‘例如以幾何像差A為幅度移位到經修正的影像記錄B的像素P‘中。在此過程中,影像感測器1未變形時(參見上面的圖1)也會出現的偏移量L也同樣能得到修正。該偏移量L也可以在以後才得到修正。然而,這個偏移量L也可以就在幾何像差A中納入考慮,使得與幾何像差A一同被修正到像素P上。
雖然在說明中為了簡單起見而將一個像素P的幾何像差A描述為沿一個坐標方向(x或y)的移位,但是顯而易見的是,由於變形V,對於一個像素P而言,通常會在感測器層4的兩個坐標方向上出現幾何像差A。當說到幾何像差A的修正時,要理解到是以下兩項,即只沿一個坐標方向的移位或沿感測器層4的兩個坐標方向的移位(這是通常的情況)。
對由於透明的覆蓋件5及/或感測器層4的變形V而導致的影像記錄B‘中的幾何像差A的修正可以在修正單元22中進行。修正單元22可以整合在評估單元20中,並且可以例如以軟體的形式實施。然而,修正單元22也可以是與評估單元21分開的硬體(電腦、基於微處理器的硬體、積體電路)。
然後,可以依需求進一步使用修正幾何像差A後的影像記錄B,例如對修正後的影像記錄B進行其他的光學修正,例如已知的去模糊化,或根據應用場景評估修正後的影像記錄。
對像素P‘‘的幾何像差A的修正可以在影像記錄B‘之後立即進行,也可以在較晚的時刻進行。如果在較晚的時刻修正,那麼在影像記錄B‘的時刻存在的壓力差D也與影像記錄B‘一起儲存,使得之後能夠測定變形(量)V。
參考圖6所示,測定變形模型20的方式如下。
影像感測器1佈置在壓力室30中,在壓力室30中設有一定的壓力p
D。如有必要,也可在壓力室30中設置一定的溫度,或者保持溫度恆定。在壓力室30中或壓力室30處設有測量裝置31,藉助於該測量裝置來測量透明的覆蓋件5及/或感測器層4或安裝有感測器層4的感測器殼體部分的變形(量)V。
對變形(量)V的測量可以藉助於任何直接或間接的、較佳無接觸式的、適合於此目的的測量裝置31來進行。合適的測量裝置的示例包括:藉助於觸覺掃瞄測定形狀的機械測量裝置,如測微器或卡尺;具有影像感測器、線感測器及/或像元感測器的光學測量系統,如一維、二維和三維雷射位移感測器;帶有成像感測器的測量裝置,其中透過影像評估來測定變形;以及結合使用上述測量方法的測量裝置。測量裝置31的一個較佳示例是光學機械測量裝置,其中影像感測器1的定位是以機械方式進行,而測量是以光學方式進行。影像感測器1的光學-機械測量例如可以藉由已知的工業光學三維測量系統進行。可用的光學機械測量裝置的一個示例是由加利福尼亞溫莎(Windsor, CA)的美國公司Micro Vu以「Vertex 251 UC」為名稱製造的設備。
為了能夠藉助於光學方法對透明的覆蓋件5的變形V進行測量,測量時也可以在透明的覆蓋件5上佈置可見的點。
藉助於測量裝置31,針對在壓力室20中所設定的一定的壓力差D下,在多個測量點M(圖6中針對透明的覆蓋件5示出)處測量透明的覆蓋件5及/或感測器層4的變形V。多個測量點M分佈在透明的覆蓋件5及/或感測器層4的平面中(在圖6中例如是在x-y平面內),從而也對變形V進行二維圖示。測量點M的位置可以例如參考影像感測器1處的坐標系來給定。
然而,藉助於哪個測量變數來圖示變形V並不重要。例如,變形V可以測量為未變形的參考位置與透明的覆蓋件5及/或感測器層4的測量點的實際位置之間的距離(例如,沿圖6中z方向)。對於透明的覆蓋件5,由此也可以測定透明的覆蓋件5的界面5a、5b的法線。在未變形的參考位置中和在一定的壓力差D的情況下,界面5a、5b的法線之間的差異也是可以測定的,並且透過變形(量)V來圖示。法線可以例如以影像感測器1的坐標系中的一個向量來提供。
在測量點M處測得的變形量V可以以表格形式儲存,並作為變形模型20使用。然後,在使用變形模型20時,可以在各測量點M之間進行內插。
當然也可以使用數學函數作為變形模型20,數學函數對在測量點M處測定的變形(量)V作逼近。應當用數學函數對測量點M或選定的測量點M進行內插。對此,有利的是將測量點M呈網柵狀佈置在平面中。例如,一定階次的多項式(如,六階多項式)或自由(形式)曲線,如貝茲曲線、分段多項式函數(樣條曲線)等,可以用作數學函數。藉由這種數學函數對曲線的預先給定的網格點(測量點M)進行逼近是眾所周知的,並且在此不必進一步闡釋。當然,這也可以擴展到面,即二維逼近。為此,將二維數學函數,例如一定階次的二維多項式或自由(形式)曲面用於對一個面進行建模。
為了在變形模型20中對整個透明的覆蓋件5及/或感測器層4的變形V進行映射,可以使用多個數學函數,這些數學函數各自覆蓋透明的覆蓋件5及/或感測器層4的一個特定的區域。例如,使用沿y方向分佈的多個數學函數,其中每個數學函數在某個y坐標處使用,並在該y坐標處沿x方向對多個測量點M作逼近。在使用沿x方向和沿y方向分佈的多個數學函數時,這也可以二維地進行。藉助於這種二維建模,可以提高變形模型20的精度。
沿兩個方向的數學函數可以倍增地連系。在影像感測器1任意一個被數學函數覆蓋的位置處,可以藉由兩個數學函數各測定一個變形,然後將變形相乘,以得到該位置處的總影響。
在變形模型20的示例性的實施形式中,六階多項式(或者也可以是其它階次的多項式)可用於沿某個方向(例如沿x方向或沿y方向)對多個測量點M作逼近。此時會在影像感測器1的x-y平面上得到多個這樣的多項式,該等多項式在該平面中對變形V進行建模。當然,為此需適當選擇測量點M。藉助於多項式可以在各測量點之間進行內插。多項式可以以其多項式參數的形式被儲存,這些多項式參數是在曲線逼近時測定的。
為了提高精度,六階多項式(或者也可以是其它階次的多項式)可以用於兩個方向,即,例如x方向和y方向。由此,在面中對變形V的建模也可以更精確。
在使用數學函數來對變形V作逼近的情況下,如果對透明的覆蓋件5和感測器層4都建模,則自然通常藉由不同的函數來逼近這兩者的變形V。在此,「不同」也可以指使用相同的函數類別(如,六階多項式),但是函數參數不同。
藉由變形模型20較佳地針對不同的壓力差D對透明的覆蓋件5及/或感測器層4的變形V進行建模。為此,例如可以藉助於測量裝置31針對不同的壓力差D測量變形V,並在變形模型20中針對每個所使用的壓力差D進行建模。在使用中,可針對某些壓力差D,在測定的變形(量)V之間進行內插;或者使用變形模型V中所儲存的最接近當前壓力差D的壓力差D所對應的變形(量)V。
1:影像感測器
2:感測器殼體
3:感測器凹槽
4:感測器層
5:覆蓋件
5a:界面
5b:界面
6:光線
6‘:光線
6‘‘:出射光線
7:影像平面
10:攝影機
11:鏡頭
12:交通工具
13:溫度感測器
20:變形模型
21:評估單元
22:修正單元
30:壓力室
31:測量裝置
A:幾何像差
B:影像記錄
B‘:影像記錄
G:物點
L:偏移量
M:測量點
O:投影中心
P:像素
P‘:像素
P‘‘:像素
V:變形
h:飛行高度
f
B:焦距
f(D):函數
p
1:內部壓力
p
2:環境壓力
p
D:壓力
δ
1:角度
δ
2:
δ
3:角度
x:坐標方向
y:坐標方向
z:坐標方向
在下文中將參照圖1至圖6更詳細地闡釋本發明,圖1至圖6示例性、示意性地且非限制性地示出本發明的有利設計構造。在圖式中:
圖1示出具有感測器殼體、感測器層和透明的覆蓋件的影像感測器的一種實施方式,
圖2示出由透明的覆蓋件的變形引起的幾何像差,
圖3示出由感測器層的變形引起的幾何像差,
圖4示出影像感測器在攝影機中的使用,
圖5示出用於修正幾何像差的簡圖,以及
圖6示出用於測定或校準變形模型的裝置。
國內寄存資訊(請依寄存機構、日期、號碼順序註記)
無
國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記)
無
10:攝影機
20:變形模型
21:評估單元
22:修正單元
B:影像記錄
B‘:影像記錄
f(D):函數
p1:內部壓力
p2:環境壓力
Claims (8)
- 一種用於修正攝影機(10)的幾何像差(A)的方法,該攝影機具有影像感測器(1),該影像感測器由感測器殼體(2)、佈置在該感測器殼體(2)的感測器凹槽(3)中並具有多個像素(P)的感測器層(4)以及相對於外部密封地封閉該感測器殼體(2)的透明的覆蓋件(5)構成,其中使物體的由該攝影機(10)記錄的物點(G)成像到該感測器層(4)的像素(P)上,其特徵在於,藉由變形模型(20)對該透明的覆蓋件(5)及/或該感測器層(4)由該感測器凹槽(3)中的內部壓力(p 1)和該攝影機(10)的環境壓力(p 2)之間的壓力差(D)引起的變形(V)進行建模,在藉助於該攝影機(10)進行影像記錄(B‘)的時刻,根據在該影像記錄(B‘)的時刻已知的該內部壓力(p 1)和該攝影機(10)的該環境壓力(p 2)來測定當前存在的壓力差(D),並藉助於該變形模型(20)用測定的該壓力差(D)來測定在該影像記錄(B‘)的時刻該透明的覆蓋件(5)及/或該感測器層(4)的變形(V),從測定的該變形(V)和該影像感測器(1)的已知的幾何尺寸測定由該變形(V)引起的該物點(G)到該影像記錄(B‘)中所產生的實際的像素(P‘‘)上的成像的移位作為幾何像差(A),並對該影像記錄(B‘)中所測定的該幾何像差(A)進行修正,以獲得經修正的影像記錄(B)。
- 如請求項1所述之方法,其中該幾何像差(A)被測定為該物點(G)在該透明的覆蓋件(5)及/或該感測器層(4)未變形的情況下到預期的像素(P‘)上的成像與該物點(G)到所產生的該實際的像素(P‘‘)上的、由於該變形(V)而發生的實際成像之間的移位。
- 如請求項1所述之方法,其中在未變形的該透明的覆蓋件(5)處由光學折射所引起的偏移量(L)也被考慮在該幾何像差(A)中。
- 如請求項1至3中任一項所述之方法,其中以如下方法修正該影像記錄(B‘)中的幾何像差(A):該物點(G)到該影像記錄(B‘)中所產生的實際的像素(P‘‘)上的成像在經修正的影像記錄(B)中以該幾何像差(A)為幅度移位到另一個像素(P、P‘)中。
- 一種攝影機,該攝影機具有影像感測器(1),該影像感測器由感測器殼體(2)、佈置在該感測器殼體(2)的感測器凹槽(3)中並具有多個像素的感測器層(4)以及相對於外部密封地封閉該感測器殼體(2)的透明的覆蓋件(5)構成,並且具有評估單元(21),該評估單元用於對藉助於該攝影機(10)完成的影像記錄(B‘)進行處理,其中物體的藉助於該攝影機(10)記錄的物點(G)成像到該感測器層(4)的像素(P)上,其中在該評估單元(21)中實施變形模型(20),該變型模型對該透明的覆蓋件(5)及/或該感測器層(4)由該感測器凹槽(3)中的內部壓力(p 1)和該攝影機(10)的環境壓力(p 2)之間的壓力差(D)引起的變形(V)進行建模;該評估單元(21)在藉助於該攝影機(10)進行該影像記錄(B‘)的時刻,根據在該影像記錄(B‘)的時刻已知的該內部壓力(p 1)和該攝影機(10)的該環境壓力(p 2)來測定當前存在的壓力差(D),並藉助於該變形模型(20)由所測定的該壓力差(D)來測定在該影像記錄(B‘)的時刻該透明的覆蓋件(5)及/或該感測器層(4)的變形(V),該評估單元(21)將由該變形(V)引起的該物點(G)到該影像記錄(B‘)中所產生的實際的像素(P‘‘)上的成像的移位測定為幾何像差(A),並且設有修正單元(22),該修正單元對該影像記錄(B‘)中所測定的該幾何像差(A)進行修正,以獲得經修正的影像記錄(B)。
- 如請求項5所述之攝影機,其中該評估單元(21)將該幾何像差(A)測定為該物點(G)在該透明的覆蓋件(5)及/或該感測器層(4)未變形的的情況下到預期的像素(P‘)上的成像與該物點(G)到所產生的實際的像素(P‘‘)上的、由於該變形(V)而發生的實際的成像之間的移位。
- 如請求項5所述之攝影機,其中該評估單元(21)將在未變形的該透明的覆蓋件(5)處由光學折射所引起的偏移量(L)也考慮在該幾何像差(A)中。
- 如請求項5至7中任一項所述之攝影機,其中該修正單元(22)如下方法修正該影像記錄(B‘)中的幾何像差(A):該修正單元(22)將該物點(G)到該影像記錄中所產生的實際的像素(P‘‘)上的成像在經修正的影像記錄(B)中以該幾何像差(A)為幅度移位到另一個像素(P、P‘)中。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ATA50151/2022A AT525579B1 (de) | 2022-03-09 | 2022-03-09 | Verfahren und Kamera zur Korrektur eines geometrischen Abbildungsfehlers in einer Bildaufnahme |
ATA50151/2022 | 2022-03-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202401360A TW202401360A (zh) | 2024-01-01 |
TWI843475B true TWI843475B (zh) | 2024-05-21 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8442341B2 (en) | 1999-02-25 | 2013-05-14 | Lester F. Ludwig | Correction of unfocus and misfocus via origin-centered discrete fractional fourier transform |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8442341B2 (en) | 1999-02-25 | 2013-05-14 | Lester F. Ludwig | Correction of unfocus and misfocus via origin-centered discrete fractional fourier transform |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5549230B2 (ja) | 測距装置、測距用モジュール及びこれを用いた撮像装置 | |
US6281931B1 (en) | Method and apparatus for determining and correcting geometric distortions in electronic imaging systems | |
EP2875315B1 (en) | Stereo camera | |
US9348111B2 (en) | Automatic detection of lens deviations | |
US9681043B2 (en) | Multi-camera imaging system, and compensation method for image reconstruction | |
CN108171758B (zh) | 基于最小光程原理和透明玻璃标定板的多相机标定方法 | |
KR20090004428A (ko) | 광학 설계 방법 및 시스템과 광학 수차를 갖는 광학 요소를이용한 촬상 소자 | |
TWI432778B (zh) | 雙光路系統交互校正方法及使用該方法之光學系統 | |
JP2007322128A (ja) | カメラモジュール | |
JP6791341B2 (ja) | 校正方法、校正装置、及びプログラム | |
US10821911B2 (en) | Method and system of camera focus for advanced driver assistance system (ADAS) | |
CN108921797B (zh) | 畸变图像的校准方法 | |
JP6582683B2 (ja) | 角度算出システム、角度算出装置、プログラム、および角度算出方法 | |
CN114485953A (zh) | 温度测量方法、装置及系统 | |
KR20220098140A (ko) | 센서 배열체 | |
JP2009250785A (ja) | 撮像装置 | |
JP4422206B2 (ja) | 測距装置および測距方法 | |
JP5493900B2 (ja) | 撮像装置 | |
TWI843475B (zh) | 用於修正影像記錄中的幾何像差的方法和攝影機 | |
JP6628678B2 (ja) | 距離測定装置、撮像装置、および距離測定方法 | |
JP5545527B2 (ja) | 距離画像取得装置 | |
TW202401360A (zh) | 用於修正影像記錄中的幾何像差的方法和攝影機 | |
JP2014060621A (ja) | 光学部品位置合わせ装置 | |
WO2020110711A1 (ja) | 検査システム、検査方法およびプログラム | |
JP6060482B2 (ja) | 測距装置、測距システム、測距プログラムおよび視差補正方法 |