TW202347256A - 用於對數位影像記錄中的影像模糊進行影像修正的方法 - Google Patents

用於對數位影像記錄中的影像模糊進行影像修正的方法 Download PDF

Info

Publication number
TW202347256A
TW202347256A TW112111974A TW112111974A TW202347256A TW 202347256 A TW202347256 A TW 202347256A TW 112111974 A TW112111974 A TW 112111974A TW 112111974 A TW112111974 A TW 112111974A TW 202347256 A TW202347256 A TW 202347256A
Authority
TW
Taiwan
Prior art keywords
image
pixel
camera
exposure
density function
Prior art date
Application number
TW112111974A
Other languages
English (en)
Inventor
馬丁 龐提瑟里
斯特凡 多爾
馬克 穆伊克
克里斯汀 諾伊爾
麥克 葛魯柏
Original Assignee
奧地利商威克勝成像有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 奧地利商威克勝成像有限公司 filed Critical 奧地利商威克勝成像有限公司
Publication of TW202347256A publication Critical patent/TW202347256A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

為了在待記錄的物體(2)與攝影機(3)之間相對運動的情況下，使影像記錄(1)能具有高品質，提出一種用於對影像模糊進行影像修正的方法，其中模糊的影像記錄b(p)中的像素(p)與經銳化的影像記錄l(p)的像素(p)之間的關係用數學模型進行建模，其中該模型考慮到在曝光時間期間攝影機與物體(2)之間的相對運動，並包含密度函數，該密度函數描述了在曝光時間期間攝影機(3)對曝光的影響，並且其中在該數學模型中使用像素依賴的密度函數，藉助於該密度函數，在影像修正時考慮到攝影機(3)對影像記錄(1)的不同像素(p)的曝光的不同的影響。

Description

用於對數位影像記錄中的影像模糊進行影像修正的方法
本發明係關於一種用於對於物體的數位影像記錄中的影像模糊(Bildunschärfe)進行影像修正的方法，其中影像記錄是藉助於攝影機的影像感測器拍攝的，並且由於在影像記錄的曝光時間期間攝影機與物體之間的相對運動，物體的物點到影像記錄b(p)中的像素上的成像發生變化，使得影像記錄中的物點的成像在曝光開始時刻T S與曝光結束時刻T E之間的曝光時間T期間沿著影像軌跡遊走，由此在影像記錄中產生了影像模糊，其中模糊的影像記錄b(p)中的像素與銳化的影像記錄l(p)中的像素之間的關係用數學模型來類比，其中該模型利用變換算子H考慮到在曝光時間期間攝影機與物體之間的相對運動，並包含密度函數ω，該密度函數描述了曝光時間期間攝影機對曝光的影響，並且為了進行影像修正，從像素處的模糊的影像記錄與模型中得出該像素處的銳化影像。
在藉助於攝影機從移動的運輸工具上拍攝影像時，由於運輸工具在曝光時間期間的移動，產生了影像模糊。影像模糊是由於以下原因產生的：攝影機在曝光時間期間相對於要記錄的物體移動了，並且因此在曝光時間期間，攝影機的一個像素(在數位記錄的情況下是像元)對準了物體上多個不同的點。在常用的數位攝影機的情況下，為每個通道(例如在RGB感測器的情況下為三個通道)提供一個影像感測器，該影像感測器具有一組光探測器，其中每個光探測器代表一個像素(像元)。常用的影像感測器是已知的CCD感測器或CMOS感測器。要記錄的物體與攝影機之間的相對運動可以基於運輸工具的運動、基於攝影機相對於運輸工具的運動、基於物體的運動或基於這些運動的任意組合。這種影像模糊雖能透過顯著的技術努力在記錄影像期間加以限制，但是無法完全避免。
為了減少影像模糊，已知的是，例如，在曝光時間期間，藉助於驅動件使攝影機的影像感測器在與運輸工具的運動(即，例如與飛機或其他飛行設備的飛行速度)相協調的運動中移動，使得影像感測器的每個像元保持盡可能精確地與物體的特定的一個點對準。這也被稱為「前向運動補償(Forward Motion Compensation)」。然而，由此只能補償運輸工具的已知的前向運動。其他運動和加速度，特別是運輸工具的俯仰、偏航或翻滾，就如飛機例如穿越湍流時或是由於振動而可能發生的那樣，則不能以這種方式進行補償。除此之外，前向運動補償自然會增加攝影機系統的複雜性和成本。
在某種程度上，運輸工具的干擾性意外運動可以藉由穩定的攝影機懸架來補償，然而，這也有技術局限，使得由運動引起的影像模糊由此只能得到不充分地排除，或者根本無法排除。此外，這樣的攝影機懸掛也提高了攝影機系統的複雜性和成本。
最近，特別是影像銳化方法已經廣泛使用。藉助於這樣的影像銳化方法，所記錄的數位影像中的影像模糊可以在事後補償。在此，通常計算出迴旋矩陣(Faltungsmatrix)(常常稱為「模糊核(Blur Kernel)」)，迴旋矩陣透過數學迴旋運算(Faltungsoperation)將清晰的影像對應到模糊的影像上。這種手段是基於以下想法：模糊的所記錄的影像和隱藏在其中的清晰的影像透過該模糊核連接。如果已知模糊核，那麼隨後可以透過數學解迴旋運算(Entfaltungsoperation)(迴旋的逆運算)從模糊的影像中計算出清晰的影像。在此，根本問題是，模糊核通常是不知道的。在某些方法中，從模糊的影像中推導出模糊核，這也被稱為「盲解迴旋(Blind-Deconvolution)」。在其他方法中，模糊核是由攝影機相對於被拍攝的物體的已知運動來測定，這也被稱為「非盲解迴旋」。加速度感測器、陀螺儀感測器、慣性感測器等可以在攝影機上使用，以感測攝影機的運動。藉助於地理坐標系統中運輸工具的已知的運動，並且如果有必要則藉助於攝影機相對於運輸工具的已知的運動，就可以推斷出攝影機關於物體的相對運動。特別是關於模糊核的測定以及藉助於模糊核對清晰影像的測定，有大量的文獻和已知的方法，下面只提到其中的幾個。
在專業文章「使用慣性測量感測器的影像去模糊處理(Image Deblurring using Inertial Measurement Sensors)」，Neel Joshi等人，美國電腦協會電腦圖形專業組(ACM SIGGRAPH)2010年論文, SIGGRAPH '10，紐約,(New York)NY，美國(USA)，2010，美國電腦協會(Association for Computing Machinery)中，首先藉助於慣性感測器測定攝影機運動，並由此測定模糊核，使用該模糊核、藉助於解迴旋來測定清晰的影像。
在專業文章「利用攝影機運動追蹤和景深的精確的運動去模糊處理(Accurate Motion Deblurring using Camera Motion Tracking and Scene Depth)」，Hyeoungho Bae等人，2013年IEEE電腦視覺應用研討會(Workshop on Applications of Computer Vision)中，揭示用於影像銳化的模糊核測定，其中考慮到了記錄期間的攝影機運動。此外，基於感測器測量產生深度曲線，並在產生用於不同影像區域的迴旋矩陣時對該深度曲線加以考慮。
專業文章「使用IMU資料對機載成像系統進行自動模糊檢測和去除(Automated Blur Detection and Removal in Airborne Imaging Systems using IMU Data)」，C.A. Shah等人，攝影測量、遙感和空間資訊科學國際檔案(International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences)，第XXXIX-B1冊, 2012係關於航空攝影的影像銳化。藉助於慣性感測器測量記錄期間飛機的俯仰、偏航及/或翻滾，並在產生模糊核時加以考慮。
在「使用受限的攝影機姿態子空間的快速非均勻去模糊現象(Fast Non-uniform Deblurring using Constrained Camera Pose Subspace)」，Zhe Hu等人，2012英國機器視覺會議論文集(Proceedings British Machine Vision Conference 2012)，第136.1至136.11頁中提出將模糊核建模為攝影機運動和曝光時間期間產生的影像的時間序列的總和。攝影機的運動也是從影像內容中估計出來的，其中定義了一組可能的攝影機姿勢(位置和定向)，並且藉助於密度函數來描述這些姿勢對影像模糊的影響並為其加權。藉由從這組中計算可能的攝影機姿勢的權重來測定運動。由此，這裡描述的是，密度函數或密度函數所描述的權重是藉由對所記錄的影像進行影像分析來測定的。這類似於已知的盲解迴旋。然而，其缺點是必須處理非常大的資料量，這對所需的計算時間也是不利的。除此之外，所提取的模糊核的品質也取決於影像內容。在影像中只有少數顯著的結構的區域中，這種方法可能會失敗，因為這些區域中的密度函數根本無法測定，或者只能不精確地測定。
主要在攝影測量學領域中對影像記錄的品質要求非常高。在此，常常藉助於運動的運輸工具進行影像記錄，通常藉助於飛機。儘管上述影像銳化方法提供了良好的效果，但是對於攝影測量學領域中的許多應用場合來說，它們並不令人滿意或者是不夠的。這意味著，藉助於已知的影像銳化方法所能達到的影像銳度對於例如攝影測量學或地球空間資訊學領域中的應用是不夠的。已知的影像銳化方法的另一個問題在於，物體結構的位置，如建築物的輪廓，在所記錄的影像中會發生偏移。這在攝影測量學領域也是高度不期望的，因為在許多應用場合中，重要的正是物體結構的姿態和位置。
因此，需要有這樣的設備和方法，它們使得在待記錄的物體與攝影機之間存在相對運動的情況下，能以盡可能低的耗費使影像記錄具有高品質，即高影像清晰度。
這是藉由在數學模型中使用像素依賴的密度函數來實現的，用該密度函數來映射攝影機對影像記錄的各個像素的曝光的不同影響。
由此就有可能對於每個單獨的像素，至少對於相關的像素，映射出攝影機對影像記錄的曝光的影響，並由此映射出攝影機的特性對影像模糊的影響。這允許以超過目前已知的水平對影像模糊進行修正。
特別有利的是，將離散的影像區域劃分為多個影像部段，並對至少一個影像部段的各像素使用具有像素依賴的密度函數的數學模型，並對另一個影像部段使用具有像素恆定的密度函數和恆定的影像軌跡的數學模型，由此就可以藉由數學解迴旋為該影像部段的像素測定經銳化的影像記錄，這需要的計算工作就較少。然後可以簡單地由各單獨的影像部段的經銳化的影像記錄組成該經銳化的影像記錄。
在具有機械式快門裝置的攝影機中，藉助於像素依賴的密度函數可映射出機械式快門裝置的打開或關閉運動對影像記錄的各個像素的曝光的影響。由此可以映射出快門裝置的關閉程序或快門裝置的打開程序對影像感測器的曝光的影響。這是特別有利的，因為由於快門裝置的有限的加速度和速度，在關閉或打開程序期間，不同的像素處的曝光會有所不同。這種影響可以藉助於像素依賴的密度函數而更好地感測到，從而得到改善了的經銳化的影像記錄。
圖1中示意性地示出運輸工具5(在此是空中運輸工具，例如飛機或無人機)，它正在運動(在此是在地面之上)，並且同時用安裝在運輸工具5上的攝影機3產生物體2(在此是地形結構)的影像記錄1。在圖1中，示例性地圖示從運輸工具5上用攝影機3記錄的影像記錄1的示意圖。影像記錄1包括影像區域Ω，該影像區域包含影像記錄1的所有像素p。影像記錄1是數位影像記錄，其寬度為B個像元且高度為H個像元(數位像素p)。影像記錄1在攝影機3的影像平面4上產生，在該影像平面上佈置有具有一組光探測器的影像感測器(未示出)，該等光探測器形成了像素p。
在不限制一般性的前提下，以下將針對具有光譜的一個通道(光的某個波長範圍)的影像記錄1來描述本發明，但是當然也可以類推到多個通道。
在地理資料的幫助下，物體2的每個點(在圖1中以物點G示例性示出)可以與空間固定的地理坐標系(X, Y, Z)中的一個明確定義的空間位置相對應。例如，物點G在地理坐標系中的位置可由向量G=(X G，Y G，Z G)描述，而運輸工具5(或該運輸工具5的參考點)的位置在地理坐標系中可由向量F=(X F，Y F，Z F)描述，其中向量F可以與預先給定的運輸工具坐標系相關。
攝影機3分配有本體固定的攝影機坐標系(x, y, z)。攝影機坐標系(x, y, z)的坐標原點通常佈置在攝影機3的光學中心，其中攝影機3的光軸通常與攝影機坐標系的z軸重合。在距離光學中心的焦距f＞0處是攝影機3的影像平面4，被觀察的物體2二維成像在該影像平面4上。影像平面4被假設為平行於攝影機坐標系的xy平面定向，並具有自己的、局部的二維影像坐標系，例如在影像區域Ω的角部中。
具有影像平面4的攝影機3可以固定地安裝在運輸工具5中，使得運輸工具坐標系可以與攝影機坐標系(x, y, z)重合，並且其位置不會相對於運輸工具坐標系改變。如果有必要，攝影機3也可以佈置在相對於運輸工具5可動的安裝結構中，例如佈置在起穩定作用的攝影機懸掛中，該安裝結構在一定程度上補償運輸工具5的運動，從而使攝影機3關於行駛方向或飛行方向的定向盡可能保持不變。由此，攝影機坐標系(x, y, z)也可以相對於運輸工具坐標系運動。然而，攝影機坐標系(x, y, z)相對於運輸工具坐標系的位置和定向被假設為始終是已知的。例如，可以提供合適的運動感測器8，像是加速度感測器、陀螺儀感測器、慣性感測器等，以感測攝影機3在空間中相對於運輸工具5的運動。
基於運輸工具5的已知運動資料(例如，飛機的飛行資料)，運輸工具5在地理坐標系(X, Y, Z)中的位置和定向也可以假設為是已知的，其中運輸工具5可以在所有六個自由度中相對於地理坐標系(X, Y, Z)執行運動和加速。然而，例如，也可以在運輸工具5上設置合適的運動感測器(未示出)，像是加速度感測器、陀螺儀感測器、慣性感測器等，以感測運輸工具5在空間中的運動。
這些關係是充分已知的。然而，坐標系的佈置(位置和定向)和彼此之間的對應關係也可以是不同的，但不影響本發明。
已知的是，如果坐標系相對於彼此的關係是已知的，那麼任一個坐標系的一個點都可以表示為另一個坐標系中的一個點。因此，也可以相對於地理坐標系(X, Y, Z)給出攝影機坐標系(x, y, z)或影像坐標系的位置和定向，例如透過充分已知的坐標變換。透過已知的坐標系關係，地理坐標系(X, Y, Z)中之每一點，例如物點G，可以明確地映射到攝影機3的影像平面4，例如映射到影像區域Ω中的像素p，並且也可以在地理坐標系(X, Y, Z)中給定像素p。
攝影機3的位置和定向及其藉助於光學單元13所設置的視界15與物體2的形狀相關聯地決定了記錄區域14，該記錄區域在圖1中示意性地呈現為點劃線。為了清楚起見，圖1中的物體2以一條二維線示出。然而，清楚的是，記錄區域14是對應於物體2上的大致矩形投影的一個面。
圖1中示意性地圖示攝影機3在所示位置中所做的影像記錄1，其中影像區域Ω中的一個像素p可以由於攝影機系統的光學特性而對應於記錄區域14中的一個物點G。然而，事實上，這種對應關係並不總是明確的，因為在記錄所需的曝光時間T期間，運輸工具5及/或攝影機3的位置可能沿運輸工具5的運動方向繼續運動，並且/或者受到其他平移運動及/或旋轉運動的影響，例如由於振動、湍流等。特別是，圍繞運輸工具坐標系的一個軸的旋轉(在飛機的情況下這通常被稱為「滾動」、「俯仰」和「偏航」)可能導致物體2上的記錄區域14發生非常明顯的位移。在此，物點G在影像記錄1中的位置(這對應於圖1中記錄開始時的像素p)會在曝光時間T期間發生位移(這對應於圖1中的像素p')。換而言之，影像區域Ω中的像素p在曝光期間可以接收來自不同物點G的光線。這就導致了所記錄的影像中的影像模糊，這也被稱為「運動模糊」。
在圖1中，影像區域Ω中的物點G在曝光時間T期間(在曝光開始T S和曝光結束T E之間)的運動係用虛線以影像軌跡BT的形式示出。如前所述，影像軌跡BT是由攝影機3和物體2在影像記錄1的曝光時間T期間的相對運動產生的。
由於攝影機3和物體2之間已知的相對運動，像素p在曝光時間T期間的影像軌跡BT可以視為是已知的。為此，可以評估攝影機3在曝光時間T期間相對於物體2的位置、定向及/或運動(速度、加速度)的已知變化。
物點G的地理資料可以例如從可用的或專有的資料庫中獲得。在曝光時間T期間，運輸工具5的位置、定向及/或運動的變化，如飛行高度、飛行速度、飛行方向等，同樣可以假定是已知的，例如從相應的可得到的運輸工具資料中獲得。
對本發明來說，假設曝光時間T期間的影像軌跡BT是已知的或是可以測定的，這一點——由於在曝光時間T期間攝影機3和物體2之間的相對運動被假定為已知的——總是給定的。
在確切知道影像區域Ω中的相對運動或影像軌跡BT的走向的情況下，有可能為相應的像素p(或為影像區域Ω的由多個像素p構成的限定影像部段)建立用於對運動模糊進行映射的非常有效的模型，該模型很好地考慮到了實際關係。在此，不僅可以考慮到攝影機3在與地理坐標系有關的所有方向上的平移運動和旋轉運動(速度和加速度)，而且還可以考慮到這樣的模糊，其可能例如由於土面升高，如高樓建築、山峰或類似物，由物點G與影像平面4的距離而產生。如從先前技術中已知的，從該模型中可以從模糊的影像記錄1中測定經銳化的影像。
為此，藉助於數學模型為模糊的影像記錄1中的像素p與物體2的相對應物點G之間的關係建模。該模型映射了曝光時間T期間像素p相對於物點G的相對運動，即影像軌跡BT。換而言之，該模型映射出，影像記錄1中的像素p在曝光時間T期間從哪些物點G接收光線，即影像記錄1中的像素p在曝光時間T期間由哪些物點G曝光。該模型還包含密度函數ω，該密度函數描述了攝影機在曝光時間期間對曝光的影響。由此，以函數f表示的模型一般可以寫成 的形式。
當然，模糊影像記錄1的模型在此是由所有單個像素p的總和產生的，其中每個像素b(p)都可以用該模型來類比。
在此，b(p)描述了像素p處的模糊影像，T為曝光時間，l為待重構的經銳化的影像，在專業文獻中通常被稱為「單應性矩陣(Homographie)」的變換算子H描述的是像素p在曝光時間T期間相對於物體2所執行的運動，對應於影像軌跡BT。可選地(用方括號表示)，還可以考慮曝光期間可能出現在影像感測器4上的雜訊。
b(p)描述了例如曝光時間T期間在像素p處感測到的總光強。「光強度」可以理解為在一定的時間中垂直射中某個面的輻射能量。
密度函數ω描述了攝影機3的光學系統對到達攝影機3的影像平面4上的光強度的影響。由此密度函數ω改變了從物體2發出的、代表物體2的且被攝影機3的影像感測器感測到的光強度。
變換算子H描述了攝影機3或攝影機3的影像平面4相對於用攝影機3記錄的物體2的運動，即攝影機坐標系(x, y, z)或影像坐標系(x, y)相對於地理坐標系(X, Y, Z)的相對運動。因此，變換算子H由攝影機3和物體2之間的相對運動產生，並描述了影像軌跡BT。
變換算子H的定義是眾所周知的，例如從開頭提到的專業文章中。下文將依據一個示例性設計來闡釋變換算子H。
在這個設計中，變換算子H包含攝影機3的已知的內在和外在參數。內在參數至少是焦距f和攝影機3的主點h的位置。主點h是影像平面4上延伸穿過攝影機3的光學中心的法線的交點，並通常對應於攝影機3的光軸與影像平面4的交點。主點h在影像坐標系中的坐標h 0、h 1則描述了主點h關於影像坐標系(x, y)的位置，例如在影像平面4的一個角落中。外在參數描述了攝影機3的旋轉和平移，並由此描述了攝影機坐標系或影像坐標系相對於地理坐標系的位置和定向。然而，外在參數也可以考慮到攝影機對影像的其他已知影響，例如變形、漸暈、像差。
例如，攝影機3的已知內在參數(固有參數)在矩陣 中進行了總結。
攝影機3的旋轉用旋轉矩陣R(t)來描述，平移用平移向量S(t)描述，這兩者都是與時間相關的。
由此，變換算子H可以表達如下。 變換算子H描述了在曝光期間(即在曝光開始T S和曝光結束T E之間)每個時刻t的像素p在影像坐標系中的位置。景深d是像素p從影像平面4到物點G的法向距離，也可以從已知的地理資料和運輸工具5的運動資料中測定。需要矩陣 和單位向量 以映射到二維影像平面4上。向量n在此表示單位法向量，其定向為與攝影機3的影像平面4正交。
攝影機3或攝影機坐標系在時刻t的定向可以由三個立體角 來描述，它們描述了相對於某個參考坐標系的相對變化，例如在運輸工具坐標系中的相對變化。參考坐標系通常對應於攝影機3或影像平面4在曝光期間某一特定時刻的已知的定向，例如曝光開始時刻T S的定向。θ則描述了對於曝光期間之每一時刻t，該定向相對於該參考物的變化。旋轉矩陣R(t)可以用 來表示，其中 。
平移向量S(t)描述了攝影機3或攝影機坐標系同樣相對於該參考坐標系的位置。
變換算子H由此描述了在曝光時間T期間(在曝光的開始時刻T S與曝光的結束時刻T E之間)，三維地理坐標系中的物點G到影像平面4的二維影像坐標系(x, y)上的映射的時間曲線。或者，若與像素p相關，則描述的是像素p在曝光時間T期間相對於物體2的運動，即影像軌跡BT。
模糊的影像記錄1的已知模型可以寫成 的形式， 其中當然也可設想其他數學建模(其他函數f)。η表示曝光期間影像感測器4處可能出現的、可選擇(用方括號表示)加以考慮的雜訊。雜訊常常假設為白色雜訊，並被建模為正態分佈或高斯分佈。
可以看出，在這個已知的模型中，密度函數ω被假定為在影像平面4中是恆定的，即它在影像平面4中不會從一個像素到另一個像素地發生變化。密度函數ω由此是像素恆定的密度函數。
然而，在大多數情況下，這並不能反映實際情況。例如，攝影機3的快門裝置(快門，Shutter)，無論是機械式的，如中央快門，還是電子式的，如滾動快門(逐行或逐列讀出像元)或全域快門(在同一時間同時讀出所有像元)，都會產生影像中密度函數ω的不同變化。特別是在機械式快門裝置的情況下，在打開及/或關閉快門時，快門運動的影響會影響到攝影機3的影像感測器的各個像元在曝光時間T期間的曝光。機械式快門裝置具有有限的打開時間及/或關閉時間以及打開運動及/或關閉運動的時間曲線，因此快門需要一定的時間才能實際地完全打開及/或關閉。這影響了到達影像感測器的光強度。然而，攝影機光學單元的其他裝置，如中心濾光片、彩色濾光片、鏡頭、光圈、影像感測器本身等，也可能在影像平面4中對密度函數ω產生與像素有關的作用。這些裝置可能影響到達像素p的光的光強度及/或由影像感測器讀出的光強度。
用機械式中央快門的例子可以容易地理解快門的影響。中央快門從中央內部向外部打開。在打開過程中，到達影像感測器的光量提高。與時間相關的變化由此影響著曝光。關閉時則產生相反的效果。這種效果也會發生在縫式快門或其他快門裝置上。
電子快門裝置、濾光片、鏡頭或光圈也會產生類似的效果。光學單元的這樣的部件也會影響密度函數。
已經認識到，這些效果是取決於像素的，因此，不會均勻地影響整個影像平面4上的曝光或影像區域Ω中的各單個像素p。
為了在重構清晰的影像l時考慮到這些影響，密度函數ω不再像目前為止那樣僅僅建模為時間依賴而像素恆定的，而是根據本發明，密度函數在影像平面4中也做成像素依賴的。像素依賴性在此是指一個像素p在影像區域Ω中的位置，或由多個像素p構成的影像部段在影像區域中的位置。密度函數ω由此表示在曝光時間T期間，由攝影機3的實施方式所產生的對不同像素p的曝光的像素依賴和時間依賴的影響。
由此，上述對模糊影像的建模例如變為 。
密度函數ω由此在影像平面4中不再是恆定的，而是針對影像平面4之每一像素p定義的，並因此是依賴於像素的。T S表示曝光的開始時刻，而T E表示曝光的結束時刻。
然而，對於影像區域Ω的特定的影像部段，密度函數ω可以是像素恆定的，其中，一個影像部段是影像區域Ω的一個子區域。在此，假設對於這樣一個影像部段的每個像素來說，密度函數ω僅依賴於時間，但是在各個影像部段中的密度函數ω可以是不同的，由此，密度函數ω在此也是依賴於像素的。
現在的目的是要從模糊的影像記錄1的模型中測定未知的、經銳化的影像l。為此，該模型先離散化，因為影像感測器由離散像元的集合Ω h構成。
如果攝影機3的影像區域Ω由影像感測器高度上的像元數H和影像感測器寬度上的像元數W給定，那麼離散化的影像區域Ω h可以由像元的集合 表示，其中 。然後，離散化的模糊的影像B和離散化的清晰的影像L可以由 和 表示，其中p i,j定義像元Ω i,j的幾何中心點。在下文中將只再使用簡稱B和L，它們描述了整個離散的影像，即相應描述了像元的集合。
藉由使用用於模型 的已知的數值積分公式，如求和中心法則或求和梯形法則，以及上述離散化，可以得到例如以下線性方程組，以作為模糊的影像的離散化模型： 其中M表示積分域[T S, T E]的數值積分公式的子區間數。數學算子 是元素方式的相乘算子。
變換算子H將模糊的影像B中的一個像素p映射到清晰的影像l中的某個位置上。然而，清晰的影像l中的這個位置的變化也可以在子像元區域中。子像元區域理解為像元Ω i,j內的解析度。這對於上述連續的模型自然不是問題，因為l可以在任何地方被評估。然而，一旦將像元Ω i,j離散化，即使用離散化的影像B和L，並想要為此建立方程，那麼因此有利的是，對離散的影像L而言，也能在子像元區域中進行評估。為此，通常可以使用合適的內插，如雙線性內插，以實現離散的影像L中的子像元區域的離散化。在這種情況下，離散的變換算子H k不僅由數值積分公式產生，而且還包含清晰的影像L到子像元區域中的這種離散。
W k和H k由此是離散化的密度函數和離散化的變換算子，它們產生於數值積分公式的應用，如果有必要，還來自於將清晰的影像L離散到子像元區域(例如，藉助於已知的雙線性內插)中的結果。
使用模糊算子 ，得到用於對影像中的模糊建模的離散表示，其呈線性方程組 的形式， 其中η描述的仍是相關像元處的可選雜訊。
對於這樣的線性方程組，有雜訊或無雜訊，都有大量已知的直接或反覆運算的求解方法，它們可以用來測定L(即清晰的影像)。求解方法的示例是基於已知的Richardson-Lucy演算法或基於已知的總變異(TV)正則化演算法的方法。
Richardson-Lucy方法計算了基於底層的泊松分佈作為概率分佈的最大概度估計。由此產生的反覆運算方法由下式提供： 其中L 0=B。A T表示伴隨的模糊算子A。一直進行該反覆運算方法，直到經銳化的影像L的彼此相繼的估計值(一般地有指數k、k+1)的相對變化低於預先給定的極限ε，這在數學上可以表示為 ，其中 描述的是歐幾裡得範數。在反覆運算中斷的時刻的L k+1就表示所期望的經銳化的影像L。
為了減少測定經銳化的影像L時可選的(白)雜訊的影響，可以在該方法中包含額外的TV正則化。反覆運算規則是 ，其中具有可選的或預先給定的正則化參數λ。
在影像記錄1中存在空間上恆定的運動模糊的情況下，例如在曝光時間T期間攝影機的旋轉可以忽略不計的情況下，且在密度函數ω是像素恆定的情況下，上述線性方程組減少為迴旋運算 。在這種情況下，每個像素p都描述了影像記錄1中的同一條影像軌跡BT。這種情況下，模糊算子A可以被稱為模糊核，並且描述了恆定的影像模糊，這與前述的像素依賴的影像模糊不同。這樣的方程組可能比上文的具有空間上變化的影像模糊的方程組能更高效地解出。
上述Richardson-Lucy方法的反覆運算規則在此簡化為 或 。
根據本發明，可以藉由在影像記錄1的某些影像部段中假定恆定的(即，同樣的)運動模糊性和像素恆定的密度函數ω來對此加以利用。在此，影像區域Ω h被分為重疊或不重疊的影像部段Ω d，其中對於d=0，...，N D-1而言， 。這就產生了對整個影像N D而言線性的局部方程組，其形式為 或 ，它們可以合併為一個線性方程組或可以單獨求解。在解開了局部方程組之後，可以從L d，d=0，...，N D-1計算出總的解L。在影像部段Ω d重疊的情況下，可以藉由適當的混合來實現各個影像部段Ω d之間更均勻的過渡。
由於像素依賴的密度函數ω(p,t)由攝影機3的實施形式得出，特別是由快門裝置的實施形式得出，但是也由攝影機3的其他的光學單元得出，可以假設它對於特定的攝影機3是已知的。
根據本發明的上述用於測定經銳化的影像L的方法的優點由此還在於，像素依賴的密度函數ω(p,t)是已知的，因此不必在測定經銳化的影像L的過程中才一併加以測定，例如從影像資料中測定。
該影像修正方法是在計算單元(未示出)，例如電腦、基於微處理器的硬體等上執行的。在這種情況下，該方法以在計算單元上實施的程式指令(例如，電腦程式)的形式來執行。計算單元還為此接收必需的資訊，像是在曝光期間運輸工具5及/或攝影機3的運動的資料。然而，該方法也可以在作為計算單元的積體電路如現場可程式設計閘陣列(FPGA)或特定用途積體電路(ASIC)上實現。
為了對用攝影機3拍攝的影像中的運動模糊進行影像修正，其中在曝光期間攝影機3和被拍攝物體2之間發生了相對運動，計算單元接收關於曝光期間的相對運動的資料，例如運輸工具5在地理坐標系中的運動資料及/或例如來自運動感測器8的、關於攝影機3相對於運輸工具坐標系的運動的資料。用這些關於相對運動的資料和對於攝影機3已知的密度函數ω(p,t)，就可以如前所述地測定一個線性方程組或多個線性的局部方程組，從中可以如前所述地測定經銳化的影像。影像修正較佳是在離線情況下進行，即在記錄了影像之後進行，但也可以線上進行，緊接著影像記錄進行。
在下文中，示例性描述了一種測定像素依賴的密度函數ω(p,t)的可能性。密度函數ω(p,t)的測定同樣較佳在計算單元上進行。可以事先針對特定的攝影機測定密度函數ω(p,t)，然後以適當的方式儲存，以用於影像修正。
為了測定密度函數ω，假定在曝光期間攝影機3與物體2之間沒有相對運動，例如，因為攝影機3安裝在剛性的試驗裝置上，並固定地對準要記錄的物體2。為此，攝影機3對準一個充當物體2的、盡可能均質的明亮面，從而在理想條件下，在曝光期間，每個像素p處均有相同的光強度到達。
在這個示例中，使用的是在攝影機3的光圈之後有機械式快門裝置的攝影機3。在這個實施例中，攝影機3有電子曝光控制件，即可以以電子的方式控制時刻和影像感測器的光探測器活動的時間跨度。這能使曝光時間T獨立於機械式快門裝置的時間限制。特別地，由此可以使曝光時間T比單獨使用機械式快門裝置的時間短得多。然而，這也使得在影像記錄前能夠打開快門裝置並藉由電子曝光控制件來控制實際的曝光。由此，影像記錄獨立於快門裝置的打開。例如，曝光時間T可以由此限制於快門裝置的關閉運動的一部分。
像素依賴的密度函數ω(p,t)應映射機械式快門裝置的打開運動或關閉運動，例如中央快門，像是可變光圈，並由此映射它對於曝光的影響。位置依賴性在此可由快門裝置的非完全對稱的打開運動及/或關閉運動產生。這種效應也可能取決於所設定的光圈，使得位置依賴性也可能取決於其他的攝影機參數，如所設定的光圈。在不同的曝光設置下對攝影機3的影像感測器上的入射光量進行測量，以測定密度函數ω(p,t)。
參照圖2對此進行示例性闡釋，圖2圖示機械式快門裝置的理想化的快門運動。時刻T0表示快門開始時刻，即快門指令關閉快門裝置的時間。T1表示已知的機械式快門延遲時間，而(T1-T0)即是快門開始時刻與快門運動開始的時刻之間的時間跨度。時刻T2表示快門裝置完全關閉的時刻。時刻T0、T1、T2在此是快門裝置的確定了的已知參數，然而，它們可以在通常的公差範圍內變化。老化效應也會對這些時刻有影響。S1表示影像感測器上曝光開始，而S2表示影像感測器上曝光結束，它們可以在攝影機3上例如藉助於電子曝光控制裝置來設置。虛線的面代表了影像感測器上的實際曝光，並由此定義了在曝光時間T期間到達影像感測器的光量。由此得出：快門裝置在時刻T0之前是完全打開的。
如果現在在連續拍攝中改變曝光時間T，例如藉由改變時刻T0，從影像感測器4上曝光開始S1之前快門裝置關閉的時刻(圖2中用虛線表示)到曝光期間快門裝置完全打開的時刻(圖2中用點劃線表示)，那麼就得到在影像感測器處，具體是在影像感測器的像素p處到達的光量關於實際曝光時間T的曲線，其可用(T2-S1)表示，其中曝光時間可以在0到(S2-S1)之間變化。根據光圈的不同，有效的曝光時間可以進一步減少，例如對於光圈口徑小於快門開度的情況。當然，曝光的變化也可以藉由以下方式來進行：保持時刻T0(並由此也保持T1、T2)不變，並且在持續時間(S2-S1)保持不變的情況下改變曝光開始S1。
為了從這種連續記錄中獲得快門裝置的快門運動的模型，可以如下地進行。
因為攝影機3和物體2之間沒有相對運動，所以上述變換算子H簡化為恒等映射，並且遵循 ，其中 。由此，前述的模糊影像的模型可以改寫為 ，其中引入了新的時間變數t，該時間變數t定義了曝光開始S1(曝光的開始時刻T S)。b(p,t)在這種情況下描述了所記錄的影像，在此是充當物體2的、均質的明亮面。如已經闡釋過的，以電子的方式改變曝光開始S1。對這個模型對t求偏導就可以得到 。
由於對於密度函數ω(p,t)的這種表示，可以藉助於由N t個單獨的影像記錄所構成的連續記錄 來測定近似(值)，這N t個單獨的影像記錄具有不同的曝光 的開始時刻T S。
藉由評估 ，例如用前向、後向或中心差商，在某一像素p中得到有限數量的觀測(值) ，這些觀測值描述了在這一像素p處的密度函數 的時間曲線。
這些觀測(值)可以儲存為密度函數 ，並且可以在觀測值的時刻之間內插。觀測值 在圖3中示例性地顯示為多個點。
然而，也可以根據觀測值 和已知的曲線近似(值)來獲得盡可能良好地描述了觀測值的數學函數。像素p的密度函數 由此也可以作為基於時間的數學函數來儲存。這可以對於每個像素p進行。圖3中還示出與觀測值近似的一條曲線。藉助於該被測定的曲線，就有了對於每個時刻t的密度函數 的值。
這樣的曲線近似是眾所周知的，並且通常藉助於最佳化來解決。為此，選擇具有函數參數α p的數學函數 ，它本身可以是任意的，例如，一定次數的多項式或一定次數的分段定義的多項式，並以多項式的係數作為函數參數α p。函數參數α p可以例如從已知的最小化問題來測定，該最小化問題一般能用下式描述： 。其中β i表示可選的、預先給定的或可以選擇的權重，γ表示可選的、預先給定的或所選擇的正則(化)項，以依需求將函數參數α p引導到某個方向上，ρ表示任意的向量標準，如歐幾裡得範數或總和範數(Summennorm)。對於這類最小化問題，有眾所周知的反覆運算求解演算法，反覆運算求解演算法定義了在每個反覆運算步驟中如何改變所尋求的函數參數α p，以及何時結束反覆運算。已知的求解演算法例如有梯度法或高斯-牛頓法。
如果只對一個像素p著手最佳化，那麼也稱為「局部最佳化」。
這在下文中例如以n次的多項式作為數學函數 來描述， 。如果選擇歐幾裡得範數，權重β i=1，γ=0，就會得到用於測定參數α p的回歸模型 。這個最佳化問題的解答可以直接說明，並且是藉由下式提供： ，其中 ， ， 。
可以針對每個像素p測定數學函數 ，其中對於不同的像素p，函數參數α p不同。然而，數學函數 不需要對於每個像素p都是不同的。也可以只針對一定數量的像素p測定數學函數 ，其中可以在它們之間進行內插，即為其他的像素p進行內插。
以這種方式測定的函數 的集合可用於適當選定的像素p，作為全域密度函數 的近似。
也可設想，對於影像區域Ω的N p個不同的像素p，產生N t個觀測(值)。那麼也可以從這些觀測值中為整個影像區域Ω的密度函數 建立全域模型，因為可以假設在正常情況下，密度函數 在該影像區域中只會緩慢變化。然後，近似的密度函數 將是明確用於每個像素p和時刻t的三維函數。在這種情況下，也稱為「全域最佳化」。
全域最佳化的最佳化問題可以用全域函數參數α一般地描述為下式： 其可以用合適的方法來求解。
密度函數 較佳被正規化到[0,1]範圍。
以這種方式測定的密度函數 映射了快門裝置的關閉程序對影像感測器4的曝光的影響。
然而，根據攝影機3的實施形式，在測定密度函數 時，也要在其中考慮到攝影機3的光學系統的其他影響，例如光圈、濾光片等的影響。例如，對於不同的光圈設置，可以用這種方式測定密度函數 。
如果透過快門運動來控制曝光，那麼密度函數 可以像所測定的那樣來使用。如果使用電子曝光控制，那麼可以根據曝光的開始時刻S1(在圖3中標示)使用密度函數 中對曝光程序起決定作用的部分，即T2和S1之間的部分，該曝光的開始時刻S1可能與時刻T0或T1有關。
以此方式也可以對快門裝置的打開運動進行建模。由此可以依需求映射打開運動對影像感測器4的曝光的影響。然而，在電子曝光控制的情況下，打開運動通常不會對曝光有影響。
快門裝置也可能受到以下影響，像是環境影響(壓力、溫度等)、老化影響、快門機構的隨機波動等。因此有可能的是，在實驗室環境中校準的密度函數 在實際操作中不能精確地映射實際情況。為了確定相對於所測定的密度函數 的這些偏差，並在必要時進行後續修正，可以如下地進行。
藉由對用攝影機3記錄的影像進行已知的影像分析，可以測量影像中出現的運動模糊，並且從中得出針對密度函數 的全域模型的函數參數α的調整值。為此，可以在所記錄的影像中尋找具有顯著的結構或特徵化形式的合適區域，通常使用基於梯度的邊緣偵測方法，並且用已知的方法計算模糊核。一種可能性是應用所謂的盲解迴旋。從影像資料中測定的模糊核然後被用作最佳化密度函數 的全域模型的函數參數α的基礎。
特別是對於攝影測量學或地球空間資訊學領域中的應用，攝影機3常常監測快門裝置的快門運動，以辨識功能故障。為此設置的快門監控單元提供關於快門裝置的運動的回饋。快門監控單元的一個示例性設計的形式是恆定的光源(例如LED)和偵測來自光源的光的光感測器。快門裝置佈置在光源和光感測器之間，使得在快門裝置關閉的情況下光感測器感測不到任何來自光源的光，而在快門裝置打開或關閉時則根據快門裝置的運動來感測來自光源的光。當然，快門監控單元實施為使得光源的光不影響原本的影像記錄，或者被記錄的物體的物光(Objektlicht)不被快門監控單元的光感測器感測到。儘管光感測器感測到的光強度不能直接對應於影像記錄的任何一個像素p，但是它可以用來獲得關於快門裝置的狀態的回饋。
藉助於光感測器感測到的光強度將具有關於快門運動的特定時間曲線。從這個時間曲線可以獲得某些資訊。例如，可以辨識到快門裝置的打開或關閉的開始或快門裝置的完全關閉。同樣地，可以感測到快門運動的某些時刻，例如快門運動進行到20%和75%的時刻。由此，可以推導出快門運動的陡度，這使得能夠對快門裝置的速度作出說明。藉由用光感測器觀測多個快門程序中的快門運動，可以得出關於快門裝置的狀態或對快門裝置的影響的結論。為此當然從最初校準的快門運動作為參考出發。例如，如果在快門裝置的使用持續時間期間，在打開或關閉的開始的時刻或打開或關閉的結束的時刻之間存在時間上的偏移，就可以推斷出存在老化影響或環境影響。這樣的偏移也可以例如在密度函數 中納入考慮，以使密度函數 適應於當前條件。同樣可利用快門運動變化著的陡度來使密度函數 的曲線的形式適應於當前條件。
1:影像記錄 2:物體 3:攝影機 4:影像平面 5:運輸工具 8:運動感測器 13:光學單元 14:記錄區域 15:視界 G:物點 Ω:影像區域 Ω h:離散像元的集合 Ω i,j:像元 p:像素 p':像素 B:寬度 BT:影像軌跡 H:高度 h:主點 t:時間變數 ω(p,t):密度函數 T0:快門開始時刻 T1:快門延遲時間 T2:快門裝置完全關閉的時刻 S1:影像感測器上曝光開始 S2:影像感測器上曝光結束
在下文中將參照圖1至圖3更詳細地闡釋本發明，圖1至圖3示例性、示意性且非限制性地示出本發明有利的設計構造。附圖中示出： 圖1示出藉助於運動的運輸工具對物體進行影像記錄時的相互關係， 圖2示出機械式快門裝置的理想化的快門運動，以及 圖3示出影像記錄的一個像素的密度函數的示例。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
1:影像記錄
2:物體
3:攝影機
4:影像平面
5:運輸工具
8:運動感測器
13:光學單元
14:記錄區域
15:視界
G:物點
Ω:影像區域
Ωh:離散像元的集合
Ωi,j:像元
p:像素
p':像素
B:寬度
BT:影像軌跡
H:高度
h:主點

Claims (15)

  1. 一種用於對物體(2)的數位影像記錄(1)中的影像模糊進行影像修正的方法，其中該影像記錄(1)是藉助於攝影機(3)的影像感測器來記錄的，並且由於在該影像記錄(1)的曝光時間T期間該攝影機(3)與該物體(2)之間的相對運動，該物體(2)的物點(G)到該影像記錄b(p)中的像素(p)上的成像發生變化，使得該物點(G)在該影像記錄(1)中的成像在曝光開始時刻T S與曝光結束時刻T E之間的曝光時間T期間沿著影像軌跡(BT)遊走，並由此在該影像記錄(1)中產生了影像模糊，其中該模糊的影像記錄b(p)中的像素(p)與經銳化的影像記錄l(p)中的像素(p)之間的關係用數學模型 進行建模，其中該模型藉由變換算子H考慮到在該曝光時間T期間該攝影機與該物體(2)之間的相對運動，並包含密度函數ω，該密度函數描述了在該曝光時間T期間該攝影機(3)對曝光的影響，並且η可選地描述在曝光期間在該影像感測器上出現的雜訊，並且其中為了影像修正，從該像素(p)處的模糊的影像b(p)和該模型中測定該像素(p)處的經銳化的影像l(p)，其特徵在於，在該數學模型中使用像素依賴的密度函數 ，藉助於該密度函數，在影像修正時考慮到該攝影機(3)對該影像記錄(1)的不同像素(p)的曝光的不同影響。
  2. 如請求項1之方法，其中該數學模型採用 的形式，其中η(p)可選地描述該像素(p)處的雜訊。
  3. 如請求項1或2之方法，其中將該模糊的影像記錄 和該經銳化的影像記錄 離散為離散的影像區域Ω h的像元集合 ，其中 ，該影像感測器的高度上的像元數為H，而該影像感測器的寬度上的像元數為W，其中p i,j提供像元Ω i,j的幾何中心點。
  4. 如請求項3之方法，其中藉由應用數值積分公式對該數學模型離散化，藉此將該數學模型轉化為線性方程組 ，其中M表示對於積分域[T S, T E]的數值積分公式的子區間數，W k表示由積分公式產生的離散化密度函數，H k表示由積分公式產生的離散化變換算子，其中B表示離散化的模糊的影像記錄，L表示離散化的經銳化的影像記錄。
  5. 如請求項4之方法，其中將該離散化的經銳化的影像記錄L離散為子像元區域。
  6. 如請求項4或5之方法，其中求解該線性方程組，以獲得該經銳化的影像記錄L。
  7. 如請求項6之方法，其中該線性方程組是藉助於具有 或 且L 0=B的反覆運算規則的反覆運算方法以及針對反覆運算的預先給定的中斷標準來解開的，其中λ是預先給定的正則參數。
  8. 如請求項6之方法，其中實施該反覆運算方法，直到該經銳化的影像記錄L k、L k+1的彼此相繼的估計值k、k+1的相對變化低於預先給定的極限ε為止，其中在反覆運算中斷的時刻，該經銳化的影像L k+1是所尋求的經銳化的影像L。
  9. 如請求項3至8中任一項所述的方法，其中該離散化的影像區域Ω h被劃分為多個d=0，...，N D-1的影像部段Ω d，並且對至少一個影像部段的像素使用具有像素依賴的密度函數的數學模型，從而對該影像部段d產生形式為 的線性方程組。
  10. 如請求項9之方法，其中對於至少一個其他的影像部段的像素，使用具有像素恆定的密度函數和恆定的影像軌跡的數學模型，從而對於該影像部段的像素用數學迴旋算子 產生形式為 的線性方程組，並且藉由數學解迴旋來測定該影像部段的經銳化的影像記錄L d。
  11. 如請求項9和10之方法，其中該經銳化的影像記錄L由該等影像部段的經銳化的影像記錄L d組成。
  12. 如請求項1至11中任一項所述的方法，其中以如下方式測定該像素依賴的密度函數 ：保持該攝影機(3)位置固定並將其朝向恆定的物體(2)，並完成由N t個單獨的影像記錄(1)構成的連續記錄 ，該等N t個單獨的影像記錄(1)具有該恆定的物體(2)的曝光的不同的開始時刻 ，從而對一個像素(p)產生多個觀測值 。
  13. 如請求項12之方法，其中將該等多個觀測值 儲存為對於該像素(p)的、像素依賴的密度函數 。
  14. 如請求項12之方法，其中藉助曲線近似，藉由具有函數參數α p的預先給定的數學函數對該等多個觀測值作近似，由此測定該等函數參數α p，並且將具有所測定的函數參數α p的該數學函數作為對於該像素(p)的像素依賴的密度函數 儲存。
  15. 如請求項1至14中任一項所述的方法，其中藉助於該像素依賴的密度函數 來映射該攝影機(3)的機械式快門裝置的打開運動或關閉運動對該影像記錄(1)的各個像素(p)的曝光的影響。
TW112111974A 2022-03-29 2023-03-29 用於對數位影像記錄中的影像模糊進行影像修正的方法 TW202347256A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50203/2022 2022-03-29
ATA50203/2022A AT526018A2 (de) 2022-03-29 2022-03-29 Verfahren zur Bildkorrektur von Bildunschärfe in einer digitalen Bildaufnahme

Publications (1)

Publication Number Publication Date
TW202347256A true TW202347256A (zh) 2023-12-01

Family

ID=85873620

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112111974A TW202347256A (zh) 2022-03-29 2023-03-29 用於對數位影像記錄中的影像模糊進行影像修正的方法

Country Status (3)

Country Link
AT (1) AT526018A2 (zh)
TW (1) TW202347256A (zh)
WO (1) WO2023186848A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1701536A1 (en) * 2005-03-08 2006-09-13 Sony Ericsson Mobile Communications AB Method and device for creating pictures, using global shutter and multiple exposures
CN201937736U (zh) * 2007-04-23 2011-08-17 德萨拉技术爱尔兰有限公司 数字照相机
US8199226B2 (en) * 2010-09-21 2012-06-12 Honeywell International Inc. Methods and systems for capturing an image of a moving object
US11599974B2 (en) * 2019-11-22 2023-03-07 Nec Corporation Joint rolling shutter correction and image deblurring
AT523556A1 (de) * 2020-02-26 2021-09-15 Vexcel Imaging Gmbh Verfahren zur Bildkorrektur

Also Published As

Publication number Publication date
AT526018A2 (de) 2023-10-15
WO2023186848A1 (de) 2023-10-05

Similar Documents

Publication Publication Date Title
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
US8432434B2 (en) Camera and method for focus based depth reconstruction of dynamic scenes
WO2020014909A1 (zh) 拍摄方法、装置和无人机
CN103973989B (zh) 获取高动态图像的方法及系统
WO2018142496A1 (ja) 三次元計測装置
US9154717B2 (en) Aerial camera system and method for correcting distortions in an aerial photograph
KR20180101466A (ko) 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스
CN107135338A (zh) 摄像系统及其控制方法、摄像设备和镜头装置
JP2017085551A (ja) ドローンに搭載されたカメラの露出時間を決定する方法、および関連するドローン
EP3488603A1 (en) Methods and systems for processing an image
CN110493522A (zh) 防抖方法和装置、电子设备、计算机可读存储介质
CN110337668B (zh) 图像增稳方法和装置
CN108022255A (zh) 无人机自动跟踪方法、无人机自动跟踪装置和无人机
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
Wang et al. Automated camera-exposure control for robust localization in varying illumination environments
CN110532853B (zh) 遥感超时相数据的分类方法及装置
TW202138755A (zh) 圖像校正之方法
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
JP2016110312A (ja) 画像処理方法、画像処理装置及びプログラム
TW202347256A (zh) 用於對數位影像記錄中的影像模糊進行影像修正的方法
US10721419B2 (en) Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
WO2022160294A1 (zh) 曝光控制方法、装置及计算机可读存储介质
CN114998429A (zh) 机器人定位系统、方法、设备和介质
WO2022126378A1 (zh) 相机的控制方法及装置