TW201813371A - 鬼偽影去除系統和方法 - Google Patents

鬼偽影去除系統和方法 Download PDF

Info

Publication number
TW201813371A
TW201813371A TW106128907A TW106128907A TW201813371A TW 201813371 A TW201813371 A TW 201813371A TW 106128907 A TW106128907 A TW 106128907A TW 106128907 A TW106128907 A TW 106128907A TW 201813371 A TW201813371 A TW 201813371A
Authority
TW
Taiwan
Prior art keywords
image
mask
blocks
determining
difference
Prior art date
Application number
TW106128907A
Other languages
English (en)
Other versions
TWI658731B (zh
Inventor
沙爾沃斯 史瓦米
吳東暉
蒂莫西 烏瓦羅夫
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201813371A publication Critical patent/TW201813371A/zh
Application granted granted Critical
Publication of TWI658731B publication Critical patent/TWI658731B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一種用於從場景的多次曝光圖像中去除鬼偽影的方法。該方法包括下述步驟：產生和分割差異掩膜；確定下閾值和上閾值；產生精煉掩膜；以及產生修正圖像。差異掩膜包括場景的多次曝光圖像和第一圖像之間的亮度值上的多個絕對差異。分割步驟包含將差異掩膜分割成多個塊。下閾值和上閾值基於塊的統計特徵。該方法通過將每一個絕對差異映射到精煉掩膜的多個精煉值中對應的一個而產生精煉掩膜，精煉值等於絕對差異、下閾值和上閾值的函數。修正圖像是第一圖像和多次曝光圖像的加權和，權重基於精煉掩膜。

Description

鬼偽影去除系統和方法
許多消費電子產品包括至少一個照相機。這些產品包括平板電腦、行動電話以及智慧手錶。在這些產品中以及在數位靜物照相機自身中，高動態範圍（HDR）功能能夠使消費者產生比缺少這樣的功能的照相機具有更大的亮度動態範圍的場景的圖像。
例如，圖1描繪了照相機130，照相機130對具有高動態範圍的亮度的場景120進行成像。場景120包括視窗122前的人121，通過視窗122能夠看到陽光充足的場景123。照相機130包括成像鏡頭（未示出）、圖像感測器132、記憶體110以及與圖像感測器通信連接的微處理器140。圖像感測器132包括像素陣列134A並且可以包括在其上的濾色器陣列（CFA）136。像素陣列134A包括多個像素134，為了使圖示清晰，未在圖1中示出。CFA 136中的每一個濾色器與像素陣列134A中對應的像素134對齊。成像鏡頭將場景120成像於圖像感測器132。圖像感測器132還包括具有至少一個類比數位轉換器的電路138。
室內照明（未示出）照亮了面向照相機的人121的前方，同時，陽光照亮了陽光充足的場景123。在場景120中，人121和陽光充足的場景123具有圖1未示出的各自的亮度121L和亮度123L。由於陽光顯著地比室內照明更亮，因此亮度123L遠超亮度121L，使得場景120具有高動態範圍的亮度。標準數位成像能夠使用針對亮度121L或亮度123L中的一方優化的單曝光時間而進行場景120的拍攝。當曝光時間針對亮度121L而優化時，人121被適當地曝光但陽光充足的場景123被過度曝光。當曝光時間針對亮度123L而優化時，陽光充足的場景123被適當地曝光但人121被曝光不足。
在HDR成像的情況下，照相機130拍攝場景120的多張圖像，每張圖像具有不同的曝光時間，並且將它們儲存在記憶體110中。微處理器140對該多張圖像進行加工以形成合成HDR圖像190。HDR圖像易於具有圖像偽影，該圖像偽影是由於在多張圖像的拍攝之間場景120中的物體的移動或者照相機130的移動而產生。被稱為“鬼影”的這種偽影表現為在移動的物體之後的移動的物體拖尾的半透明的圖像。例如，HDR圖像190包括人121的右手的鬼偽影194。
本說明書公開的實施例能夠從HDR圖像中去除鬼偽影。
在實施例中，公開了一種用於從場景的多次曝光圖像中去除鬼偽影的方法。該方法包括如下步驟：產生並分割差異掩膜；確定下閾值和上閾值；產生精煉掩膜；以及產生修正圖像。差異掩膜包括場景的多次曝光圖像的亮度值和場景的第一圖像的亮度值之間的多個絕對差異。每一個絕對差異對應於多次曝光圖像的多個像素位置中對應的一個像素位置。在分割步驟中，該方法將差異掩膜分割成多個塊。下閾值和上閾值都基於多個塊的統計特徵。該方法通過將多個絕對差異中的每一個映射到精煉掩膜的多個精煉值中對應的一個而產生精煉掩膜，精煉值等於絕對差異、下閾值和上閾值的函數。修正圖像是第一圖像和多次曝光圖像的加權和。該加權和的權重基於精煉掩膜。
在實施例中，公開了一種鬼偽影去除器，用於從場景的多次曝光圖像中去除鬼偽影。該鬼偽影去除器包括記憶體和微處理器。該記憶體儲存非暫時性電腦可讀指令並適用於儲存多次曝光圖像。該微處理器適用於執行該指令來實施上述公開的方法的步驟。
在實施例中，公開了一種用於確定最優塊數目的方法，以該最優塊數目對根據利用同一圖像感測器拍攝的兩個圖像的差異而產生的差異掩膜進行分割。針對各自具有不同的均勻反射率的多個灰卡中的每一個，該方法包括：（1）通過將各灰卡成像於圖像感測器，拍攝具有對應於多個感測器像素的多個像素值的各灰卡圖像；（2）根據多個像素值確定平均像素值和方差；以及（3）將局部最優樣本尺寸確定為平均像素值和方差的函數。該方法將總體樣本尺寸確定為多個局部最優樣本尺寸的統計值。該方法還將最優塊數目確定為與（a）多個感測器像素的總數量和（b）總體樣本尺寸的商接近的整數。
圖2示出了鬼偽影去除器200，其將圖像201和多次曝光圖像202組合來產生修正圖像238。鬼偽影去除器200可以實施在照相機130中。圖像201、202是同一場景的圖像。圖像201例如是單次曝光圖像。
鬼偽影去除器200包括微處理器240和記憶體210，記憶體210儲存包含機器可讀指令的軟體220。微處理器240可以是例如為影像處理器的數位訊號處理器。記憶體210可以包括易失性記憶體（例如是SRAM、DRAM或其任意組合）和非易失性記憶體（例如是FLASH、ROM、磁介質、光介質、或它們的任意組合）的一方或雙方。
記憶體210和微處理器240可以分別用作圖1的照相機130中的記憶體110和微處理器140。微處理器240適用於執行指令來實現本說明書中所描述的鬼偽影去除器200的功能。軟體220包括下述軟體模組：亮度值產生器221、掩膜產生器222、圖像分割器224、掩膜閾值器226、掩膜映射器227和圖像融合器228。記憶體210還被示出為儲存圖像201、多次曝光圖像202、第一亮度值集合231A、第二亮度值集合231B、差異掩膜232A和精煉掩膜232B中的一方或全部。記憶體210還包括供圖像分割器224使用的校正資料234。軟體220還可以包括用於產生校正資料234的校正器229。記憶體210可以將圖像201和圖像202儲存為諸如JPEG和TIFF的影像檔格式或者諸如TIFF/EP和數位底片（DNG）的原始圖像格式。
圖3描繪了CFA 336，其是照相機130中的CFA 136的示例。CFA 336包括濾色器單元301、302、303、304交織而成的陣列。每組濾色器單元301–304是諸如拜耳單元311的二乘二的濾色器陣列，所以濾色器陣列336是拜耳陣列。每個拜耳單元311包括一個紅色濾色器（“R”）、兩個綠色濾色器（“G”）和一個藍色濾色器（“B”）。雖然濾色器單元301–304在結構上是相同的，但是它們在本說明書中被區分開，這是因為如下所討論的，當拍攝多次曝光圖像202時，位於每個濾色器單元301–304下方的圖像感測器像素具有不同的曝光時間。在本說明書中，紅色像素、綠色像素和藍色像素是指在濾色器的下方分別與紅色濾色器、綠色濾色器和藍色濾色器對齊的圖像感測器像素。
圖4A和圖4B分別描繪了由包括圖3的CFA 336的照相機130拍攝的同一場景的單次曝光圖像401和多次曝光圖像402。圖像401和圖像402分別是單次曝光圖像201和多次曝光圖像202的示例。單次曝光圖像401是照相機130以位於每個濾色器單元301–304下方的像素134具有相同的曝光時間t401來拍攝場景而得到的。
多次曝光圖像402是照相機130以位於每個濾色器單元301–304下方的像素具有不同的曝光時間tA、tB、tC、tD來拍攝場景而得到的。因此，多次曝光圖像402是四張具有不同的曝光時間的單次曝光圖像的交織合成物，其能夠使多次曝光圖像具有比單次曝光圖像401更高的動態範圍。第一單次曝光圖像、第二單次曝光圖像、第三單次曝光圖像、第四單次曝光圖像分別由位於濾色器單元301–304下方的像素134拍攝。相應地，第一單次曝光圖像、第二單次曝光圖像、第三單次曝光圖像、第四單次曝光圖像具有比單次曝光圖像401更低的解析度。因此，儘管多次曝光圖像402具有比單次曝光圖像401更寬的動態範圍，但也具有比單次曝光圖像401更低的解析度。
多次曝光圖像402包括單次曝光圖像401中沒有出現的偽影403。偽影403是人的圖像，這是為了說明本發明的鬼影去除方法，當拍攝多次曝光圖像402時，申請人有意地置於照相機130的視野中的。
圖5描繪了差異掩膜500，差異掩膜500是單次曝光圖像401和多次曝光圖像402各自的亮度值之間的絕對差異。單次曝光圖像401和多次曝光圖像402的亮度值分別是第一亮度值集合231A和第二亮度值集合231B的示例。差異掩膜500是儲存在圖2中的鬼偽影去除器200的記憶體210中的差異掩膜232A的示例。用於產生差異掩膜500的亮度值基於亮度值Y和像素值R、G、B或用於拍攝圖像401和圖像402的紅色、綠色、藍色感測器像素之間的下述關係而確定：Y=0.30R+0.59G+0.11B。在不脫離本申請的保護範圍的情況下，用於確定亮度值Y 的R、G、B的係數可以不同於以上所示出的係數。差異掩膜500中的白色區域表示圖像401和圖像402之間的最小亮度差異，而差異掩膜500中的黑色區域表示圖像401和圖像402之間的最大亮度差異。
在上述示例中，亮度值集合231A、231B是根據圖像401和圖像402中的R、G、B值而產生。圖像401和圖像402是對來自圖像感測器132的“原始”感測器像素值進行去馬賽克處理而得到的。替代地，亮度值集合231A、231B可以直接根據來自圖像感測器132的原始感測器像素值而產生，即，不依賴於去馬賽克處理。例如，當CFA 136是拜耳圖案時，來自圖像感測器132的原始感測器像素值包括對應於紅色像素、綠色像素、藍色像素的像素值。亮度值集合231A、231B可以根據這些像素值產生而用於產生圖像201和圖像202，並且不依賴於去馬賽克。
圖6描繪了組合圖像600，組合圖像600是單次曝光圖像401、多次曝光圖像402和差異掩膜500的加權和。組合圖像600通過包括圖像401和圖像402二者而具有單次曝光圖像401的高解析度和多次曝光圖像402的高動態範圍。等式（1）是組合圖像600的數學表示，其中，資料陣列M500 、I401 、I402 和I600 分別表示差異掩膜500和圖像401、402及600。
I600 =I401 (1-M500 )+I402 M500 等式（1）
組合圖像600包括鬼偽影603，其是多次曝光圖像402的偽影403在等式（1）中乘以差異掩膜500以產生組合圖像600後得到的多次曝光圖像402的偽影403的殘餘部分。
單次曝光圖像401的曝光時間t401 至少近似地等於多次曝光圖像402的曝光時間tA 、tB 、tC 、tD 中的一個。例如，曝光時間t401 在曝光時間tA 的正負5%的範圍內波動。這樣的曝光時間的相似性使得能夠按照等式（1）和下述相似的等式（2）和（3）得到圖像401和圖像402的最優組合。
傳統的方法利用單閾值掩膜來替代差異掩膜，以防止鬼偽影603出現在組合圖像600中。圖7描繪了通過將單閾值化操作應用於差異掩膜500而產生的閾值化掩膜700。該單閾值化操作將任何低於閾值的像素值均設置為0，使得閾值化掩膜700是去除了選定的噪音的差異掩膜500。
圖8描繪了組合圖像800，組合圖像800是單次曝光圖像401、多次曝光圖像402和閾值化掩膜700的加權和。等式（2）是組合圖像800的數學表示，其中，資料陣列M700 和I800 分別表示閾值化掩膜700和組合圖像800。
I800 = I401 (1-M700 )+I402 M700 等式（2）
組合圖像800被裁切以突顯鬼偽影803在其中的存在，鬼偽影803是多次曝光圖像402的偽影403在等式（2）中乘以閾值化掩膜700以產生組合圖像800後得到的多次曝光圖像402的偽影403的殘餘部分。鬼偽影803的存在證明了閾值化掩膜700的缺陷。改進的掩膜將消除更多或全部偽影403，因此防止諸如鬼偽影603的鬼偽影。
申請人已經確定這樣的改進的掩膜能夠通過將兩個閾值化操作應用於差異掩膜500而得到。圖9是示意性的差異掩膜500的像素值長條圖900。由於差異掩膜內的像素值表示用於產生差異掩膜500的像素值之間的絕對差異，因此長條圖900的像素值表示絕對差異。如上所討論地，閾值化掩膜700將像素值低於下閾值的所有像素的像素值設定為0，其中，該下閾值例如是閾值711。
與此不同，本發明的雙閾值化差異掩膜將兩個閾值化操作施加於差異掩膜500。圖10描繪了從差異掩膜500產生的雙閾值化差異掩膜1000。對差異掩膜500的第一閾值化操作將像素值低於下閾值911的所有像素的像素值設定為0。對差異掩膜500的第二閾值化操作將像素值高於上閾值919的所有像素的像素值設定為0。第一閾值化操作和第二閾值化操作可以組合成單閾值化操作。圖9示出了下閾值911高於閾值711，這僅用於說明的目的。
差異掩膜500中的剩下的未閾值化的絕對差異構成表示為資料陣列M510 的中間掩膜510（未示出）。中間掩膜510的絕對差異的範圍是下閾值911和上閾值919之間（包含端點），因此具有比差異掩膜500更小的範圍。相應地，如等式（3）所示，掩膜映射器227將中間掩膜510的每一個絕對差異映射為0和1之間的值（可選地包含端點）來產生雙閾值化差異掩膜1000。在等式（3）中，LT911 和UT919 分別表示下閾值911和上閾值919。
M1000 =[(M510 -LT911 )⁄(UT919 -LT911 )]α 等式（3）
雖然在雙閾值化差異掩膜1000的示例中指數α等於1，但指數α可以超過1，而不脫離本申請的保護範圍。
圖11描繪了修正圖像1100，其是單次曝光圖像401、多次曝光圖像402和雙閾值化差異掩膜1000的加權和。等式（4）是修正圖像1100的數學表示，其中，資料陣列M1000 和資料陣列I1100 分別表示雙閾值化差異掩膜1000和修正圖像1100。鬼偽影去除器200經由圖像融合器228的執行而實施等式（4）。
I1100 =I401 (1-M1000 )+I402 M1000 等式（4）
修正圖像1100被裁切以突顯不存在鬼偽影，諸如，根據閾值化掩膜700產生的組合圖像800中的鬼偽影803。
圖12描繪了分割差異掩膜1200，其是被分割成多個塊1202的差異掩膜500。在該示例中，多個塊1202包括九個塊1202(1–9)。對差異掩膜500的分割是確定用於產生雙閾值化差異掩膜1000的下閾值911和上閾值919的手段。圖12包含對於每一個塊1202(1–9)的像素值（絕對差異）的統計資料。由於每一個塊1202內的像素值表示用於產生差異掩膜500的像素值之間的絕對差異，因此差異掩膜的像素值也被稱為絕對差異。
雖然分割差異掩膜1200包括九個塊1202，但分割差異掩膜1200可以包括更少或更多的塊，而不脫離本申請的保護範圍。例如，對於用於拍攝圖像401和圖像402的圖像感測器，申請人已經確定最優塊尺寸佔據圖像尺寸的8%至15%，分別對應於大約十二個塊和大約七個塊。相應地，九個塊的分割差異掩膜1200是合適的選擇，因為能夠獲得由尺寸相等並且方向相同的塊形成的正方形陣列。
雖然分割差異掩膜的塊1202被佈置成正方形陣列（在此示例中是三乘三的正方形陣列），但塊1202可以被佈置成非正方形陣列，例如，一乘九的陣列，而不脫離本申請的保護範圍。例如，在移動很可能被限制為水準或垂直的帶狀的成像應用中，分割差異掩膜1200的塊的形狀可以相應地設置。
申請人通過對像素值的方差σ在σmin ≤σ≤σmax 範圍內的塊1202的像素值的上分位元數進行平均而確定下閾值911。在確定下閾值911的示例中，這樣的“噪音塊”對應於塊1202（2–5、7–9），σmin = 0.01且σmax = 200，並且塊1202（2–5、7–9）中的像素值的上分位元數對應於圖12所示的最大像素值。因此，下閾值911是LT911 =((20+8.2+10+12+60+5+3))⁄7=17。
不具有移動物體的塊1202具有噪音，並且它們的方差與具有運動物體的塊1202相比更低。在該例子中，低方差或“噪音塊”是塊1202（2–5、7–9），而塊1202（1、6）包括移動物體。在塊1202（1）中，方差來源於樹的移動。在塊1202（6）中，方差來源於偽影403的移動（或者在此示例中是偽影403的出現）。
申請人將上閾值919確定為平均像素值超過下閾值911的塊1202的像素值的平均值。在該示例中，這樣的區塊對應於塊1202（1、6），使得上閾值919是塊1202（1、6）的平均像素值的平均值：UT919 =½(20.7+25.3)=23。替代地，閾值919可以簡單地被計算為塊1202（1、6）中的像素值的平均值，當每一個塊1202包括同相數量的像素時，由此得到的平均值與塊1202（1、6）各自的平均像素值進行平均得到的值相同。
雙閾值化差異掩膜在防止組合圖像中的鬼偽影方面的有效性依賴於閾值911和閾值919的最優確定，閾值的最優確定又依賴於差異掩膜（諸如差異掩膜500）的最優分割。在差異掩膜500中，單次曝光圖像401和多次曝光圖像402之間的一些絕對差異來源於噪音，而其他絕對差異來源於諸如偽影403的移動物體。理想上，下閾值911被確定為用於去除僅由噪音產生的絕對差異，而上閾值919被確定為用於去除僅由移動產生的絕對差異。
當塊1202太小時，由於移動檢測中的假陽性誤差，因此閾值化是次最優方案。即，上閾值919太低，而使得除了去除對應於移動的絕對差異之外，得到的雙閾值化差異掩膜還會去除不對應於運動的絕對差異。當塊1202太大時，由於移動檢測中的假陰性誤差，因此閾值化是次最優方案。即，下閾值911太低，而使得未被閾值化的由噪音產生的絕對差異會阻礙由移動產生的絕對差異的閾值化。
差異掩膜的最優分割依賴於用於拍攝由其產生差異掩膜的圖像的圖像感測器。例如，差異掩膜500的最優分割依賴於用於拍攝圖像401和圖像402的圖像感測器132。
圖13是表示用於確定對根據利用同一圖像感測器拍攝的兩個圖像的差異而產生的差異掩膜進行分割的最優塊數目的方法1300的流程圖。圖14描繪了說明方法1300的實現方式的示意圖1400。示意圖1400包括多個灰卡1402（1, 2, …N）、照相機130、記憶體1410以及處理器1440。每一個灰卡1402具有不同的均勻反射率。記憶體1410包括校正軟體1429，其是圖2中的校正器229的示例。記憶體1410和處理器1440例如是鬼偽影去除器200的記憶體210和微處理器240。替代地，記憶體1410和處理器1440是諸如個人電腦的獨立的影像處理設備的一部分。方法1300例如通過執行校正軟體1429的處理器1440而實施。在下述的描述中，最好一起看圖13和圖14。
方法1300包括步驟1310、1320、1330，它們針對各自具有不同的均勻反射率的多個灰卡中每一個而執行。例如，針對每一個灰卡1402執行步驟1310、1320、1330。
在步驟1310中，方法1300通過將各灰卡成像於圖像感測器，拍攝具有對應於多個感測器像素的多個像素值的各灰卡圖像。在步驟1310的示例中，照相機130將一個灰卡1402成像於圖像感測器132來產生具有多個像素值1412的灰卡圖像1411。灰卡圖像1411儲存在記憶體1410中。
方法1300可以包括可選步驟1315，在其中，灰卡圖像被（a）裁切和/或（b）修改來去除偽影。在步驟1315的示例中，灰卡1402（2）被裁切以去除區域1403之外的部分。偽影可與用於對灰卡1402進行成像的照相機130的成像鏡頭相關聯。
在步驟1320中，方法1300根據多個像素值確定平均像素值和方差。在步驟1320中，校正軟體1429確定對應於各灰卡圖像1411的平均像素值1421和像素值方差1422。本文中，平均像素值1421（1,2, …, N）也分別由μ1, μ2, … μN表示。類似地，像素值方差1422（1, 2, …, N）也分別由σ1 2 , σ2 2 , … σN 2 表示，其中，σi 是像素值1412（i）的標準差。
在步驟1330中，方法1300將局部最優樣本尺寸確定為平均值和方差的函數。步驟1330可以包括步驟1332，在其中，方法1300確定與方差對平均值的比率成比例的局部最優樣本尺寸。在步驟1332的示例中，校正軟體1429確定對應於每一個灰卡圖像1411（i）的像素樣本尺寸1430（i）。本文中，像素樣本尺寸1430（i）也由ni 表示。
像素樣本尺寸1430（i）對應於計算樣本平均像素值所需要的像素值1412（i）的數量，所需要的像素值1412（i）以小於對應於95%的置信區間的預定誤差W偏離對應的平均像素值μi 。對於具有樣本尺寸ni 的圖像感測器像素的高斯分佈樣本，平均像素值的標準差是，其中，95%的置信區間是，使得總誤差W是。總誤差W可以被表示為公差ε和平均像素值μi 的乘積，W=εμi ，其中例如ϵ = 0.01。公差ε可以被儲存為記憶體1410中的公差1428。因此，像素樣本尺寸1430（i）可以由等式（5）表示：
等式（5）
等式（5）示出了像素樣本尺寸1430（i）隨著像素值方差對平均像素值的比率一起增大。
在步驟1340中，方法1300將總體樣本尺寸確定為多個局部最優樣本尺寸的統計平均。在步驟1340的示例中，校正軟體1429確定總體樣本尺寸1442。總體樣本尺寸1442可以是像素樣本尺寸1430的直接和或者加權和。
在步驟1350中，方法1300將最優塊數目確定為與（a）多個感測器像素的總數量和（b）總體樣本尺寸的商接近的整數。例如，整數N是大於或小於該商的最接近的整數。照相機130的像素陣列134A包括像素的總數量M134 。在步驟1340的示例中，校正軟體將塊數目1450確定為與M134 和總體樣本尺寸1442的商（即，M134 除以總體樣本尺寸1442）接近的整數。在圖12的分割差異掩膜1200的示例中，塊數目1450等於9。
圖15是說明從場景的多次曝光圖像中去除鬼偽影的方法1500的流程圖。方法1500例如由執行軟體220的微處理器240（圖2）實施。步驟1501、1502、1505、1506是可選的。
在步驟1501中，方法1500拍攝第一圖像。在步驟1501的示例中，照相機130拍攝單次曝光圖像401。步驟1501的示例可以包括（a）、（b）、（c）步驟：（a）利用電路138中的一個或多個類比數位轉換器將每一個像素電荷轉換成各自的第一數位像素值；（b）將第一數位像素值作為圖像401儲存在記憶體210中；以及（c）利用微處理器240，根據第一數位像素值計算圖像401的亮度值而產生第一亮度值集合231A。
在步驟1502中，方法1500拍攝多次曝光圖像。在步驟1502的示例中，照相機130拍攝多次曝光圖像402。步驟1502的示例可以包括（a）、（b）、（c）步驟：（a）利用電路138中的一個或多個類比數位轉換器，將每一個像素電荷轉換成各自的第二數位像素值；（b）將第二數位像素值作為多次曝光圖像402儲存在記憶體210中；以及（c）利用微處理器240，根據第二數位像素值計算圖像 402的亮度值而產生第二亮度值集合231B。
在步驟1505中，方法1500計算遍及第一圖像的亮度值第一集合。在步驟1505的示例中，亮度值產生器221（圖2）計算對應于單次曝光圖像401的一些或全部像素的第一亮度值集合231A。
在步驟1506中，方法1500計算遍及多次曝光圖像的亮度值第二集合。在步驟1506的示例中，亮度值產生器221計算對應於多次曝光圖像402的一些或全部像素的第二亮度值集合231B。
在步驟1510中，方法1500產生包括第一亮度值集合和第二亮度值集合內對應的亮度值之間的多個絕對差異的差異掩膜。在步驟1510的示例中，掩膜產生器222產生差異掩膜500（圖5），其由單次曝光圖像401和多次曝光圖像402的亮度值的第一集合和第二集合內各對應的亮度值之間的絕對差異定義。給定第一圖像的第一像素的第一亮度值和第二圖像的第二像素的第二亮度值，當第一像素和第二像素具有相等或接近相等的像素座標時，這兩個亮度值是“對應的”。例如，當兩個像素座標的水準（或垂直）位置上的相對差異小於水準（或垂直）方向上的像素總數量的1%時，這兩個像素座標接近相等。
在步驟1520中，方法1500將差異掩膜分割成多個塊。在步驟1520的示例中，圖像分割器224將差異掩膜分割成分割差異掩膜1200（圖12）的多個塊1202。
在步驟1530中，方法1500基於多個塊的統計特徵確定下閾值。在步驟1530的示例中，掩膜閾值器226確定下閾值911。步驟1530可以包括圖16所示的步驟1610和步驟1620中的至少一個。
在步驟1610中，方法1500確定在絕對差異的方差處於預定範圍內的塊中的絕對差異的上分位數。給定塊中的像素值的上分位元數對應於塊1202中的k個最高像素值，其中，k是小於塊1202中的感測器像素的總數量的正整數。在步驟1610的示例中，掩膜閾值器226確定塊1202（2–5、7–9）中的絕對差異的上分位數。
在步驟1620中，方法1500計算絕對差異的每一個上分位數的統計平均值。在步驟1620的示例中，掩膜閾值器226計算塊1202（2–5、7–9）中的絕對差異的每一個上分位數的統計平均值。在圖9的下閾值911的示例中，上分位數對應於k = 1。
在步驟1540中，方法1500基於多個塊的統計特徵確定上閾值。步驟1540可以包括步驟1542，在其中，方法1500將上閾值確定為多個塊的子集中的絕對差異的統計平均值。在步驟1540的示例中，掩膜閾值器226確定上閾值919，其中，塊的子集由塊1202（1）和1202（6）構成。步驟1540可以包括圖17所示的步驟1700中的至少一個。
步驟1700包括步驟1710、1720、1732、1734。在步驟1710中，方法1500針對多個塊中的每一個塊將塊平均值確定為等於該塊中處於預定範圍內的絕對差異的統計平均值。在步驟1710的示例中，絕對差異值的範圍是0到255（28 -1），並且，掩膜閾值器226僅使用小於或等於27 （128）的絕對差異來確定每一個塊1202各自的塊平均值。選擇這樣的可達到的絕對差異的更小的範圍避免了對應於噪音的絕對差異和可能產生次最優上閾值的大絕對差異（即來自亮區）。塊的“大絕對差異”是例如超過塊的中位絕對差異的絕對差異。圖12將塊1202的塊平均值指定為“平均值”，例如，塊1202（1）的塊平均值是20.71。
步驟1720是決策。當任一塊平均值超過最小值時，方法1500進行到步驟1732。否則，方法1500進行到步驟1734。該最小值可以大於或等於下閾值。該最小值可以超過下閾值來確保下閾值和上閾值之間的絕對差異的最小範圍。在步驟1720的示例中，掩膜閾值器226確定塊1202（1）和1202（6）各自具有超過下閾值911的塊平均值。
在步驟1732中，方法1500將上閾值確定為超過最小值的塊平均值的統計平均值。在步驟1732的示例中，掩膜閾值器226將上閾值919確定為塊1202（1）和1202（6）各自的塊平均值的平均值。
在步驟1734中，方法1500將上閾值確定為相對於剩餘塊具有高方差的絕對差異的塊的塊平均值的統計平均值。在步驟1720和1732的上述示例中，步驟1734不應用於塊1202。然而，如果塊1202（1）和1202（6）各自的塊平均值均小於最小值，例如下閾值911 （等於17），則方法1500將從步驟1720進行到步驟 1734。在這樣的情況下，掩膜閾值器226將上閾值確定為相對於其他塊具有（i）高平均絕對差異和（ii）高方差的絕對差異中至少一個條件的塊1202的平均值。例如，塊1202（1）和1202（6）的平均值和方差顯著地高於其他塊1202的平均值和方差。相應地，步驟1732的示例和步驟1734的示例都應用於分割差異掩膜1200來確定作為上閾值919的上閾值。
在步驟1550中，方法1500根據下閾值和上閾值來對差異掩膜進行閾值化而產生閾值化掩膜。在步驟1550的示例中，掩膜映射器227根據下閾值911和上閾值919來對差異掩膜500進行閾值化而產生中間掩膜510。
在步驟1560中，方法1500通過將中間掩膜的多個絕對差異中的每一個映射到精煉掩膜的多個精煉值中所對應的一個而產生精煉掩膜，精煉值等於絕對差異、下閾值和上閾值的函數。在步驟1560的示例中，掩膜閾值器226經由等式（3）產生雙閾值化差異掩膜1000。
在步驟1570中，方法1500將修正圖像產生為第一圖像和多次曝光圖像的加權和。加權和的權重基於精煉掩膜。在步驟1570的示例中，圖像融合器228按照等式（4）根據圖像401和圖像402產生修正圖像1100。
圖18A和圖18B分別描繪了HDR圖像1800和HDR圖像1820，它們都是通過組合同一單次曝光圖像和同一多次曝光圖像而形成。HDR圖像1800是通過傳統的單閾值掩膜而形成，而HDR圖像1820是使用執行本發明的方法1500的鬼偽影去除器200而形成。HDR圖像1800和1820都包括衣袖1802和手指1804。HDR圖像1800包括衣袖1802和手指1804各自的鬼偽影1812和1814。類似的偽影沒有出現在HDR圖像1820中。
在不脫離本申請的保護範圍的情況下，上述特徵和下面要求保護的特徵可以以各種各樣的方式組合。下述示例示出了一些可能的非限制性的組合。
（A1）表示用於從場景的多次曝光圖像中去除鬼偽影的方法，該方法包括以下步驟：產生和分割差異掩膜；確定下閾值和上閾值；產生精煉掩膜；以及產生修正圖像。差異掩膜包括場景的多次曝光圖像的亮度值和場景的第一圖像的亮度值之間的多個絕對差異。每一個絕對差異對應於多次曝光圖像的多個像素位置中對應的一個。在分割步驟中，該方法將差異掩膜分割成多個塊。下閾值基於多個塊的統計特徵。上閾值是多個塊的子集中的絕對差異的統計平均值。該方法通過將多個絕對差異中的每一個映射到精煉掩膜的多個精煉值中所對應的一個而產生精煉掩膜，精煉值等於絕對差異、下閾值和上閾值的函數。修正圖像是第一圖像和多次曝光圖像的加權和。加權和的權重基於精煉掩膜。
（A2）在由（A1）表示的任何方法中，確定下閾值的步驟可以包括將多個噪音塊確定為絕對差異的方差處於預定範圍內的塊，並且，在每一個噪音塊中確定絕對差異的上分位數。
（A3）在由（A2）表示的方法中，確定下閾值的步驟進一步包括計算絕對差異的每一個上分位數的統計平均值。
（A4）在由（A1）~（A3）中的一項表示的任何方法中，在確定上閾值的步驟中，塊的子集中的每一個塊可以具有超過下閾值的平均絕對差異。
（A5）在由（A1）~（A4）中的一項表示的任何方法中，確定上閾值的步驟進一步包括確定多個塊的子集中的絕對差異的統計平均值。
（A6）在由（A5）表示的任何方法中，在確定上閾值的步驟中，塊的子集對應於絕對差異的方差的上分位數中的塊。
（A7）在由（A5）或（A6）中的一項表示的任何方法中，在確定上閾值的步驟中，絕對差異的統計平均值僅包括多個絕對差異中例如排除噪音和相對較大的絕對差異後的最小絕對差異和最大絕對差異之間的絕對差異的子集。
（A8）在由（A1）~（A7）中的一項表示的任何方法中，在其中，第一圖像是具有第一曝光時間的單次曝光圖像，多次曝光圖像通過具有多個各自的第二曝光時間的多個圖像而形成，第二曝光時間中的一個可以大體上等於第一曝光時間。
（A9）在由（A1）~（A8）中的一項表示的任何方法中，可以進一步包括利用圖像感測器拍攝第一圖像和利用圖像感測器拍攝多次曝光圖像。
（A10）在由（A9）表示的任何方法中，其中，圖像感測器包括多個感測器像素，每一個感測器像素具有像素電荷，該像素電荷對應於從場景入射到感測器上的各自的光強度，並且拍攝第一圖像的步驟可以包括：利用類比數位轉換器將每一個像素電荷轉換成各自的第一數位像素值；將第一數位像素值儲存於與微處理器通信連接的記憶體；以及利用微處理器，根據第一數位像素值計算第一圖像的亮度值。拍攝多次曝光圖像的步驟包括利用類比數位轉換器將每一個像素電荷轉換成各自的第二數位像素值；將第二數位像素值儲存於與微處理器通信連接的記憶體；以及利用微處理器，根據第二數位像素值計算第一圖像的亮度值。
（B1）表示用於確定最優塊數目的方法，以該最優塊數目對根據利用同一圖像感測器拍攝的兩個圖像的差異而產生的差異掩膜進行分割。針對各自具有不同的均勻反射率的多個灰卡中的每一個，該方法包括：（1）通過將各灰卡成像於圖像感測器，拍攝具有對應於多個感測器像素的多個像素值的各灰卡圖像；（2）從多個像素值確定平均像素值和方差；以及（3）將局部最優樣本尺寸確定為平均像素值和方差的函數。該方法將總體樣本尺寸確定為多個局部最優樣本尺寸的統計平均值。該方法也將最優塊數目確定為與（a）多個感測器像素的總數量和（b）總體樣本尺寸的商接近的整數。
（C1）一種鬼偽影去除器，用於從場景的多次曝光圖像中去除鬼偽影，包括：記憶體和微處理器。記憶體儲存非暫時性電腦可讀指令並且適用於儲存多次曝光圖像。微處理器適用於執行指令來實施由（A1）~（A10）中的一個表示的任何方法的步驟。
在不脫離本發明範圍的情況下，可以在上述方法和系統中進行改變。因此，應當注意，上述描述中所包含的內容或附圖中所示的內容應被解釋為說明性的而不是限制性的。以下的技術方案旨在涵蓋本文該的所有通用和特定特徵，以及本方法和本系統的範圍內的所有敘述，以及根據字面上的意思可以被稱為落在保護範圍內的特徵。
110‧‧‧記憶體
120‧‧‧場景
121‧‧‧人
122‧‧‧視窗
123‧‧‧陽光充足的場景
130‧‧‧照相機
132‧‧‧圖像感測器
134A‧‧‧像素陣列
134‧‧‧像素
136‧‧‧濾色器陣列
138‧‧‧電路
140‧‧‧處理器
190‧‧‧HDR影像
194‧‧‧鬼偽影
200‧‧‧鬼偽影去除器
201‧‧‧圖像
202‧‧‧多次曝光圖像
210‧‧‧記憶體
220‧‧‧軟體
221‧‧‧亮度值產生器
222‧‧‧掩膜產生器
224‧‧‧圖像分割器
226‧‧‧掩膜閾值器
227‧‧‧掩膜映射器
228‧‧‧圖像融合器
229‧‧‧校正器
231A‧‧‧第一亮度值集合
231B‧‧‧第二亮度值集合
232A‧‧‧差異掩膜
232B‧‧‧精煉掩膜
234‧‧‧校正資料
238‧‧‧修正圖像
240‧‧‧微處理器
336‧‧‧濾色器陣列
301、302、303、304‧‧‧濾色器單元
311‧‧‧拜耳單元
401‧‧‧單次曝光圖像
402‧‧‧多次曝光圖像
403‧‧‧偽影
500‧‧‧差異掩膜
600‧‧‧組合圖像
603‧‧‧鬼偽影
700‧‧‧閾值化掩膜
711‧‧‧閾值
800‧‧‧組合圖像
803‧‧‧鬼偽影
900‧‧‧像素值長條圖
911‧‧‧下閾值
919‧‧‧上閾值
1000‧‧‧雙閾值化差異掩膜
1100‧‧‧修正圖像
1202(1–9)‧‧‧塊
1300、1310、1315、1320、1330、1332、1340、1350‧‧‧步驟
1400‧‧‧示意圖
1402（1, 2, …N）‧‧‧灰卡
1403‧‧‧區域
1440‧‧‧處理器
1410‧‧‧記憶體
1411‧‧‧灰卡圖像
1412‧‧‧像素值
1421（1,2, …, N）‧‧‧平均像素值
1422（1, 2, …, N）‧‧‧像素值方差
1428‧‧‧公差
1429‧‧‧校正軟體
1430（1, 2, …, N）‧‧‧像素樣本尺寸
1442‧‧‧總體樣本尺寸
1450‧‧‧塊數目
1500、1501、1502、1505、1506、1510、1520、1530、1540、1542、1550、1560、1570‧‧‧步驟
1610、1620‧‧‧步驟
1700、1710、1720、1732、1734‧‧‧步驟
1800、1820‧‧‧HDR圖像
1802‧‧‧衣袖
1804‧‧‧手指
1812、1814‧‧‧鬼偽影
圖1描繪了對具有較高的亮度動態範圍的場景進行拍攝的照相機。
圖2示出了可以在圖1的照相機內實施的鬼偽影去除器的實施例。
圖3描繪了濾色器陣列，其是圖1的照相機中的濾色器陣列的示例。
圖4A和圖4B分別描繪了同一場景的單次曝光圖像和多次曝光圖像。
圖5 描繪了基於圖4A和圖4B中的圖像的亮度值集合之間的絕對差異的差異掩膜。
圖6描繪了組合圖像，該組合圖像是圖4A和圖4B中的圖像和圖5中的差異掩膜的加權和。
圖7描繪了通過將單閾值化操作應用於圖5中的差異掩膜而產生的閾值化掩膜。
圖8描繪了組合圖像，該組合圖像是圖4A和圖4B中的圖像和圖7中的差異掩膜的加權和。
圖9是圖5中的差異掩膜的示意性的像素值長條圖。
圖10描繪了在實施例中根據圖5中的差異掩膜產生的雙閾值化差異掩膜。
圖11描繪了修正圖像，該修正圖像是圖4A和圖4B中的圖像和圖10中的差異掩膜的加權和。
圖12描繪了分割差異掩膜的實施例，其將差異掩膜500分割成多個塊。
圖13是示出在實施例中確定對差異掩膜進行分割時的最優塊數目的方法的流程圖。
圖14描繪了示出圖13的方法的實現方式的示意圖。
圖15是示出在實施例中從場景的多次曝光圖像中去除鬼偽影的方法的流程圖。
圖16是示出在實施例中在圖15的方法中與確定下閾值有關的可選步驟的流程圖。
圖17是示出在實施例中在圖15的方法中與確定上閾值有關的可選步驟的流程圖。
圖18A和圖18B描繪了 HDR圖像，每個HDR圖像通過組合同一單次曝光圖像、同一多次曝光圖像和不同的差異掩膜而形成。

Claims (20)

  1. 一種用於從一場景的多次曝光圖像中去除鬼偽影的方法，該方法包括： 產生一差異掩膜，該差異掩膜包括該場景的該多次曝光圖像的亮度值和該場景的一第一圖像的亮度值之間的多個絕對差異； 將該差異掩膜分割成多個塊； 基於該多個塊的統計特徵確定一下閾值； 基於該多個塊的統計特徵確定一上閾值； 通過將該多個絕對差異中的每一個映射到一精煉掩膜的多個精煉值中對應的一個而產生該精煉掩膜，該精煉值等於該絕對差異、該下閾值和該上閾值的函數；以及 將修正圖像產生為該第一圖像和該多次曝光圖像的一加權和，該加權和的權重基於該精煉掩膜。
  2. 根據請求項1所述的方法，確定該下閾值的步驟包括： 將多個噪音塊確定為該絕對差異的方差處於預定範圍內的塊；以及 在每一個該噪音塊中確定該絕對差異的上分位數。
  3. 根據請求項2所述的方法，確定該下閾值的步驟進一步包括： 計算該絕對差異的每一個上分位數的統計平均值。
  4. 根據請求項1所述的方法，在確定該上閾值的步驟中，該多個塊的子集中的每一個塊具有超過該下閾值的平均絕對差異。
  5. 根據請求項1所述的方法，確定該上閾值的步驟進一步包括： 確定該多個塊的子集中的該絕對差異的一統計平均值。
  6. 根據請求項5所述的方法，在確定該上閾值的步驟中，該多個塊的該子集對應於該絕對差異的方差的上分位數中的塊。
  7. 根據請求項5所述的方法，在確定該上閾值的步驟中，該絕對差異的該統計平均值僅包括多個該絕對差異中的最小絕對差異和最大絕對差異之間的絕對差異的子集。
  8. 根據請求項1所述的方法，該第一圖像是具有一第一曝光時間的單次曝光圖像，該多次曝光圖像是通過具有多個各自的一第二曝光時間的多個圖像而形成的，該第二曝光時間中的一個大體上等於該第一曝光時間。
  9. 根據請求項1所述的方法，該方法進一步包括： 利用一圖像感測器拍攝該第一圖像；以及 利用該圖像感測器拍攝該多次曝光圖像。
  10. 根據請求項9所述的方法，該圖像感測器包括多個感測器像素，每一個該感測器像素具有一像素電荷，該像素電荷對應於從該場景入射到該感測器上的各自的光強度，拍攝該第一圖像的步驟包括： 利用一類比數位轉換器，將每一個該像素電荷轉換成對應的一第一數位像素值； 將該第一數位像素值儲存在與一微處理器通信連接的記憶體中；以及 利用該微處理器，根據該第一數位像素值計算該第一圖像的亮度值，拍攝該多次曝光圖像的步驟包括： 利用該類比數位轉換器，將每一個該像素電荷轉換成對應的一第二數位像素值； 將該第二數位像素值儲存在與該微處理器通信連接的記憶體中；以及 利用該微處理器，根據該第二數位像素值計算該第一圖像的亮度值。
  11. 一種用於確定一最優塊數目的方法，以該最優塊數目對根據利用同一圖像感測器拍攝的兩個圖像之間的差異而產生的差異掩膜進行分割，該方法包括： 針對各自具有不同的均勻反射率的多個灰卡中的每一個： 通過將各灰卡成像於該圖像感測器，拍攝具有對應於多個感測器像素的多個像素值的各灰卡圖像； 從該多個像素值確定一平均像素值和一方差； 將一局部最優樣本尺寸確定為該平均像素值和該方差的函數； 將一總體樣本尺寸確定為確定的多個該局部最優樣本尺寸的統計平均值；以及 將該最優塊數目確定為與（a）該多個感測器像素的總數量和（b）該總體樣本尺寸的商接近的整數。
  12. 一種鬼偽影去除器，用於從一場景的多次曝光圖像中去除鬼偽影，該鬼偽影去除器包括： 一記憶體，儲存非暫時性的電腦可讀一指令並適用於儲存該多次曝光圖像；以及 一微處理器，適用於執行該指令來實施如下步驟： 產生包括該場景的該多次曝光圖像的亮度值和一第一圖像的一亮度值之間的多個絕對差異的一差異掩膜； 將該差異掩膜分割成多個塊； 基於該多個塊的統計特徵確定一下閾值； 將一上閾值確定為該多個塊的一子集中的一絕對差異的一統計平均值； 通過將該多個絕對差異中的每一個映射到一精煉掩膜的多個精煉值中對應的一個而產生該精煉掩膜，該精煉值等於該絕對差異、該下閾值和該上閾值的函數；以及 將修正圖像產生為該第一圖像和該多次曝光圖像的一加權和，該加權和的權重基於該精煉掩膜。
  13. 根據請求項12所述的鬼偽影去除器，該微處理器進一步適用於執行該指令來實施： 當確定該下閾值時： 將多個噪音塊確定為該絕對差異的方差處於預定範圍內的塊；以及 在每一個該噪音塊中確定該絕對差異的上分位數。
  14. 根據請求項13所述的鬼偽影去除器，該微處理器進一步適用於執行該指令來實施： 當確定該下閾值時，計算該絕對差異的每一個上分位數的該統計平均值。
  15. 根據請求項12所述的鬼偽影去除器，該多個塊的該子集中的每一個塊具有超過該下閾值的平均絕對差異。
  16. 根據請求項12所述的鬼偽影去除器，當該下閾值超過每一個塊的平均絕對差異時，該多個塊的該子集對應於該絕對差異的方差的上分位數中的塊。
  17. 根據請求項12所述的鬼偽影去除器，該絕對差異的該統計平均值僅包括能夠達到的絕對差異的更小預定範圍中的絕對差異。
  18. 根據請求項12所述的鬼偽影去除器，該第一圖像是具有一第一曝光時間的單次曝光圖像，該多次曝光圖像通過具有多個各自的一第二曝光時間的多個圖像而形成，該第二曝光時間中的一個大體上等於該第一曝光時間。
  19. 根據請求項12所述的鬼偽影去除器，該微處理器進一步適用於執行該指令來實施： 利用一圖像感測器拍攝該第一圖像；以及 利用該圖像感測器拍攝該多次曝光圖像。
  20. 根據請求項19所述的鬼偽影去除器，該圖像感測器包括多個感測器像素，每一個該感測器像素具有一像素電荷，該像素電荷對應於從該場景入射到該感測器上的各自的光強度，該微處理器進一步適用於執行該指令來實施如下步驟： 當拍攝該第一圖像時，利用一類比數位轉換，將每一個該像素電荷轉換成對應的一第一數位像素值； 將該第一數位像素儲存在與該微處理器通信連接的記憶體中；以及 利用該微處理器，根據該第一數位像素值計算該第一圖像的該亮度值，當拍攝該多次曝光圖像時，利用該類比數位轉換器，將每一個該像素電荷轉換成對應的一第二數位像素值； 將該第二數位像素值儲存在與微處理器通信連接的記憶體中；以及 利用該微處理器，根據該第二數位像素值計算該第一圖像的該亮度值。
TW106128907A 2016-09-09 2017-08-25 鬼偽影去除系統和方法 TWI658731B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/261,819 2016-09-09
US15/261,819 US9916644B1 (en) 2016-09-09 2016-09-09 Ghost artifact removal system and method

Publications (2)

Publication Number Publication Date
TW201813371A true TW201813371A (zh) 2018-04-01
TWI658731B TWI658731B (zh) 2019-05-01

Family

ID=61525690

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106128907A TWI658731B (zh) 2016-09-09 2017-08-25 鬼偽影去除系統和方法

Country Status (3)

Country Link
US (1) US9916644B1 (zh)
CN (1) CN107809602B (zh)
TW (1) TWI658731B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454149B (zh) * 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 图像拍摄方法、装置及终端设备
US10863105B1 (en) 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
US10546369B2 (en) * 2018-01-09 2020-01-28 Omnivision Technologies, Inc. Exposure level control for high-dynamic-range imaging, system and method
CN108419023B (zh) * 2018-03-26 2020-09-08 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
WO2020051361A1 (en) 2018-09-07 2020-03-12 Dolby Laboratories Licensing Corporation Auto exposure of image sensors based upon entropy variance
US11412154B2 (en) 2018-09-07 2022-08-09 Dolby Laboratories Licensing Corporation Auto exposure of spatially-multiplexed-exposure high-dynamic-range image sensor metric and adjustment
CN110288630B (zh) * 2019-06-27 2021-11-09 浙江工业大学 一种背景建模的运动目标鬼影抑制方法
CN111127353B (zh) * 2019-12-16 2023-07-25 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法
CN113421195B (zh) * 2021-06-08 2023-03-21 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018999B2 (en) * 2005-12-05 2011-09-13 Arcsoft, Inc. Algorithm description on non-motion blur image generation project
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US8520083B2 (en) * 2009-03-27 2013-08-27 Canon Kabushiki Kaisha Method of removing an artefact from an image
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8699821B2 (en) * 2010-07-05 2014-04-15 Apple Inc. Aligning images
US8576979B2 (en) * 2011-10-11 2013-11-05 Omnivision Technologies, Inc. Arithmetic counter circuit, configuration and application for high performance CMOS image sensors
CN103297701B (zh) * 2012-02-27 2016-12-14 江苏思特威电子科技有限公司 成像方法及成像装置
CN202535464U (zh) * 2012-02-27 2012-11-14 徐辰 成像装置
US9437171B2 (en) * 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
US8902336B2 (en) * 2013-01-30 2014-12-02 Altasens, Inc. Dynamic, local edge preserving defect pixel correction for image sensors with spatially arranged exposures
US10382674B2 (en) 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
US9077913B2 (en) * 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) * 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US20150009355A1 (en) 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system
US9123141B2 (en) * 2013-07-30 2015-09-01 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processing using multi-level median threshold bitmaps
CN104349066B (zh) * 2013-07-31 2018-03-06 华为终端（东莞）有限公司 一种生成高动态范围图像的方法、装置

Also Published As

Publication number Publication date
TWI658731B (zh) 2019-05-01
US20180075586A1 (en) 2018-03-15
CN107809602A (zh) 2018-03-16
US9916644B1 (en) 2018-03-13
CN107809602B (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
TWI658731B (zh) 鬼偽影去除系統和方法
CN108377343B (zh) 用于高动态范围成像的曝光选择器及其相关的方法
CN105306786B (zh) 用于具有相位检测像素的图像传感器的图像处理方法
US7940311B2 (en) Multi-exposure pattern for enhancing dynamic range of images
CN105323474B (zh) 摄像设备及其控制方法
US10511785B2 (en) Temporally aligned exposure bracketing for high dynamic range imaging
CN107018395B (zh) 图像处理装置、图像处理方法和摄像装置
KR101223046B1 (ko) 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
CN107925751A (zh) 用于多视点降噪和高动态范围的系统和方法
TWI737979B (zh) 圖像去馬賽克裝置及方法
JP2005130297A (ja) 信号処理システム、信号処理方法、信号処理プログラム
JP2016151955A (ja) 画像処理装置、撮像装置、距離計測装置、および画像処理方法
CN104702854B (zh) 图像数据的聚合高动态范围的成像系统及相关方法
TW201801041A (zh) 改善的高動態範圍
CN108141538A (zh) 摄像装置及图像处理装置
JP2010220207A (ja) 画像処理装置及び画像処理プログラム
US9860456B1 (en) Bayer-clear image fusion for dual camera
TWI754291B (zh) 高動態範圍影像感測器和影像捕獲方法
JP4523629B2 (ja) 撮像装置
Kumar et al. New digital camera sensor architecture for low light imaging
CN111885281A (zh) 图像处理
JP5794413B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5629562B2 (ja) 画像処理装置及びその制御方法、及びプログラム
JP2008035547A (ja) 信号処理システム
CN118138905A (zh) 图像处理器、包括其的图像处理装置和图像处理方法