TW202329680A - 用於處理影像的方法及影像處理器單元 - Google Patents

用於處理影像的方法及影像處理器單元 Download PDF

Info

Publication number
TW202329680A
TW202329680A TW111144579A TW111144579A TW202329680A TW 202329680 A TW202329680 A TW 202329680A TW 111144579 A TW111144579 A TW 111144579A TW 111144579 A TW111144579 A TW 111144579A TW 202329680 A TW202329680 A TW 202329680A
Authority
TW
Taiwan
Prior art keywords
pixel
pixels
selected pixel
regional
difference
Prior art date
Application number
TW111144579A
Other languages
English (en)
Inventor
亞瑪尼 諾哈 艾爾
Original Assignee
德商夢想芯片技術股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 德商夢想芯片技術股份有限公司 filed Critical 德商夢想芯片技術股份有限公司
Publication of TW202329680A publication Critical patent/TW202329680A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本發明揭示一種用於處理由影像感測器提供的影像資料的方法,該影像資料包含像素陣列,其中該方法包含以下步驟: a) 決定選定的像素與鄰近於各別像素定位且指派給該各別像素之相同顏色的像素之集合之間的各別區域亮度差;以及 b) 當該選定的像素之該區域亮度差超過上臨限值及/或小於下臨限值時,且當該選定的像素之該區域亮度差超過針對鄰近於該選定的像素定位的該像素之集合決定的加權最大區域亮度差及/或小於針對鄰近於該選定的像素定位的該像素之集合決定的加權最小區域亮度差時,將該選定的像素識別為缺陷像素。

Description

用於處理影像的方法及影像處理器單元
本發明係關於用於處理由影像感測器提供的影像資料的方法,影像資料包含像素陣列。
本發明進一步係關於用於處理由影像感測器提供的影像資料的影像處理器單元,其中影像資料包含像素陣列。
本發明進一步係關於用於執行以上提到的方法的電腦程式。
數位成像器廣泛使用於日常產品,諸如智慧型手機、平板電腦、筆記型電腦、相機、汽車及穿戴式產品中。那些產品中的許多成像系統具有自動對焦(automatic focusing,AF)功能,以便產生清晰的影像/視訊。自動對焦的傳統方法基於對比度偵測。透鏡經移動至場景對比度為最高的位置。對比度自動對焦通常為緩慢的,且相位偵測自動對焦(phase detection autofocus,PDAF)技術隨後可與對比度自動對焦耦合以改良對焦速度,且有時改良對焦準確度。
PDAF感測器具有跨整個感測器區域佈置的所謂的相位偵測(phase detection,PD)像素。得自相位偵測像素的相位資訊可用來決定焦距,該焦距繼而驅動透鏡以移動至具有最佳焦點的位置,且若相位資訊足夠準確,則那個過程通常非常快速。相位偵測像素通常跨整個感測器在水平及豎直方向上週期性地佈置。在自那些像素擷取相位資訊之後,該等像素必須經隱藏或校正。否則,該等像素可表現為跨影像的聚集缺陷之網格。因此,必須在影像信號處理器中具有相位偵測像素隱藏(phase detection pixel concealment,PPC)模組以維持高影像品質。
IS&T International Symposium on Electronic Imaging,2017,第46頁至第51頁中的N. EI-Yamany:「Robust Defect Pixel Detection and Correction for Bayer Imaging Systems」揭示用於識別熱像素、冷像素或兩個類型的混合物之單重態及偶聯體(couplet)的方法。那些像素未在影像處理管線中進行早期校正,去馬賽克及過濾操作將使該等像素擴散且表現為對影像品質有害的有色聚集。方法對來自Bayer感測器的原始資料進行操作。若滿足兩個條件,則缺陷像素經識別。在第一條件中,檢查像素是否與以那個像素為中心的S x S Bayer視窗中的該像素之同色相鄰者顯著不同。在第二條件中,測試當3 x 3 Bayer視窗以像素為中心時,像素的區域亮度差是否對於熱像素顯著高於或對於冷像素顯著低於每個顏色通道的最小區域亮度差。
偵測的缺陷像素以強健的細節保留估計代替,該強健的細節保留估計藉由使用定向濾波器決定。
Proc. SPIE 6502, Digital Photography III, 65020J, 20-02-2007中的E. Chang: 「Kernel-size selection for defect pixel identification and correction」描述用於缺陷像素校正的具有變化核大小之定界最小-最大濾波器。
Proc. SPIE Int. Symposium on Photoelectronic Detection and Imaging,第7384卷,第 73842V-1-6頁中的S. Wang、S. Yao、O. Faurie及Z. Shi: 「Adaptive defect correction and noise suppression module in the CIS image processing system」描述空間適應性雜訊抑制演算法,該空間適應性雜訊抑制演算法組合缺陷像素校正功能,以用於在互補金氧半導體(Complementary Metal Oxide Semiconductor,CMOS)影像感測器晶片中實施。中心加權中位數濾波器經提供以校正缺陷像素。隨機雜訊根據其背景的細節位準單獨處理。
Proc. SPIE Sensors and Camera Systems for Scientific, Industrial and Digital Photography Applications IV,第5017卷,第360頁至第370頁,2003中的A. Tanbakuchi、A. van der Sijde、B. Dillen、A. Theuwissen及W. de Haan: 「Adaptive pixel defect correction」提出利用原始Bayer影像資料的缺陷校正演算法。若發現影像中的像素為有缺陷的,則相鄰像素提供用於內插缺陷像素的最佳資訊。定向導數用來將最近的點與缺陷顏色平面相關。
IEEE International Conference on Acoustics, Speech and Signal Processing,第1257頁至第1260頁,2011中的M. Schoberi、J. Seiler, B. Kasper、S. Foessel及A. Kaup: 「Sparsity-based detect pixel compensation for arbitrary camera raw images」揭示用於偵測缺陷像素及內插用於缺陷像素之遺漏值的演算法。先前內插的像素經重新使用。
本發明之目的為提供改良之方法及影像處理器單元,該影像處理器單元提供用於偵測缺陷像素的強健方案。
該目的藉由包含請求項1之特徵的方法、包含請求項12之特徵的影像處理器單元及根據請求項13之電腦程式達成。在從屬請求項中揭示較佳實施例。
建議執行以下步驟: a) 決定選定的像素與鄰近於各別像素定位且指派給該各別像素之相同顏色的像素之集合之間的各別區域亮度差;以及 b) 當該選定的像素之該區域亮度差超過上臨限值及/或小於下臨限值時,且當該選定的像素之該區域亮度差超過針對鄰近於該選定的像素定位的該像素之集合決定的加權最大區域亮度差及/或小於針對鄰近於該各別像素定位的該像素之集合決定的加權最小區域亮度差時,將該選定的像素識別為缺陷像素。
對於將選定的像素識別為缺陷像素,兩個偵測條件經組合。原則上,條件獨立於由影像感測器使用於提供像素陣列的濾色器陣列。不同類型的缺陷可藉由條件之組合識別,該等條件可藉由給定的臨限值及加權因子容易地調諧。
藉由將選定的像素之區域亮度差與給定臨限值進行比較,檢查選定的像素是否與小視窗中的該選定的像素之同色相鄰者顯著不同,該小視窗包括選定的像素及周圍像素之集合。當在具有各別濾色器陣列之型樣的像素陣列中執行方法時,亦即在去馬賽克步驟之前,選定的像素可在小視窗中居中。
在第二條件下,將選定的像素之區域亮度與針對鄰近於選定的像素定位的相鄰像素決定的區域亮度差進行比較。較佳地,檢查選定的像素的區域亮度差是否顯著不同於以選定的像素為中心的小視窗中的同色相鄰者之區域亮度差。最大區域亮度差及最小區域亮度差不一定為區域亮度差之集合中之絕對最大值或最小值。此經理解為一個選定的最大/最小值,例如集合之第一(絕對)或較佳地第二或甚至第三、第四,……最大/最小值,此對應於自表示區域亮度差的值之集合排除作為異常值(outliner)的絕對最大/最小值。因此,區域最大/最小值或調整的最大/最小值亦包括在根據本發明之最大/最小區域亮度差之含義中。
第二條件允許區分真實缺陷像素與小影像細節。
兩個條件之組合提供用於將選定的像素識別為缺陷的強健方案,該強健方案可在包含像素陣列之像素資料的影像資料串流上以低計算工作量及可靠結果容易地執行。方法可使用於各種濾色器陣列,諸如標準Bayer、Quad Bayer、RGBW、Nonacell及Hexadeca Bayer濾色器陣列型樣。可容易地識別熱缺陷、冷缺陷或兩個類型的缺陷之混合物之單重態或偶聯體。方法亦基於識別高階缺陷。
為在步驟a)中決定選定的像素之各別區域亮度差,鄰近於各別像素定位的像素之集合之平均值可經計算。選定的像素之各別區域亮度差然後可經計算為選定的像素之值與鄰近像素之集合的計算平均值之間的差。
鄰近像素可直接鄰近於選定的像素定位。亦可考慮在具有介於選定的像素與像素陣列中的鄰近像素之間的像素的情況下接近於選定的像素定位的鄰近像素。
考慮用於決定選定的像素之各別區域亮度差的鄰近像素之集合可僅自指派給與選定的像素相同顏色的那些鄰近像素選擇。像素之集合中之鄰近像素的平均值經計算以將區域亮度差決定為選定的像素之值與鄰近像素之集合的計算平均值之間的差。
因此,每個選定的像素可經指派給各別區域亮度差值。
平均值可經計算為包圍該選定的像素且指派給該選定的像素之相同顏色的像素之集合的平均數值、阿爾法截尾平均數值或中位數值。
為決定阿爾法截尾平均數值,像素值按自平均數排除的像素值之數量的頂部及底部α部分上的大小排序。例如,2-α-截尾平均數濾波器刪除兩個像素值以用於計算平均數值,亦即最低值及最高值(亦即用於各別顏色的亮度位準)。
用於計算平均值的其他方法亦適用,如中點濾波等。
在決定選定的像素之該區域亮度差的步驟a)中考慮的該像素之集合可位於預定大小的視窗中,較佳地4×4、5×5、6×6或8×8視窗中,其中該像素之集合經指派給該選定的像素之相同顏色。
選定的像素可位於此視窗之中心。
藉由使用包括選定的像素的視窗,其中視窗之框架包圍選定的像素,視窗內相同顏色的像素經選擇來用於鄰近像素之集合。
第一條件可經檢查,以藉由以下操作識別熱像素或冷像素:決定預定大小的視窗中鄰近於該選定的像素定位的像素之集合之最大區域亮度差,且當該區域亮度差超過該加權最大區域亮度差時,將該選定的像素識別為缺陷熱像素;或決定預定大小的視窗中鄰近於該選定的像素定位的像素之集合之最小區域亮度差,且當該區域亮度差小於該加權最小區域亮度差時,將該選定的像素識別為缺陷冷像素。
用於識別缺陷像素的改良之偵測結果可藉由考慮第二最大區域差或第二最小區域差而非區域差之最大值或最小值來達成。看起來,藉由不考慮最大區域差值,而考慮較低的第二最大區域差值,或者對於最小區域差值,不考慮最小值,而考慮第二最小值,區域差值的異常值經排除。此可與考慮平均值的中位數值而非平均數值進行比較。
更佳地,區域差之較低階最大值,例如第二最大區域亮度差,係自區域亮度差之正值之集合決定。類似的,區域差之較低階最小值,例如第二最小區域亮度差,係自區域亮度差之負值之集合決定。
另一選項用以自鄰近於選定的像素定位的像素之集合之區域亮度差之絕對值決定最大值。然後,對第二條件的最小值的考慮是不感興趣的。
當排除異常值時,本發明之意義上的最大區域差或最小區域差亦包括第二、第三、第四等最大或最小區域差值。考慮用於將選定的像素識別為缺陷像素的上臨限值及/或下臨限值可經預定且儲存在記憶體中以應用於該方法。替代地,上臨限值及下臨限值可根據需要加以調適,以改良最終影像品質。較佳地,上臨限值及/或下臨限值可藉由使用神經網路來調適。
上述情形適用於對於最小及最大區域亮度差考慮的加權因子,該最小及最大區域亮度差亦可經預置為固定值或調適為變數以改良影像品質。較佳地,對於最小及最大區域亮度差考慮的加權因子藉由使用神經網路適應性地學習且改良,以提供高的最終影像品質。加權因子可經設定為用於最大區域亮度差及最小區域亮度差的一個值。任擇地,最大區域亮度差及最小區域亮度差中之每一個經指派給各別加權因子。
決定選定的像素之該各別區域亮度差的該步驟a)及將該選定的像素識別為缺陷像素的該步驟b)可藉由為影像選擇由影像攝影機提供的像素陣列之每個像素且針對每個選定的像素重複該方法重複地執行。替代地,當重複該方法時,並非可選擇像素陣列之每個像素,而是像素陣列之各種像素,例如,僅像素陣列內的特定選定的顏色之像素。
在將像素識別為缺陷之後,包含像素陣列的影像資料可藉由校正識別為缺陷的像素進一步處理。
影像處理器單元經佈置來用於藉由執行上述方法之步驟來處理影像資料。影像處理器單元可為硬體單元,如FPGA或適當程式設計的微處理器或資料信號處理器。
該方法可藉由使用包含指令的電腦程式容易地執行,當程式藉由處理單元執行時,該等指令使處理單元執行以上提到的方法之步驟。
第1圖示出用於處理由影像感測器提供的影像資料的影像處理器單元的方法及功能單元的方塊圖,其中影像資料包含像素陣列PA 輸入,該像素陣列用作進一步步驟之輸入。
步驟a)決定像素陣列PA 輸入之選定的像素與鄰近於各別像素定位且指派給各別像素之相同顏色的像素之集合之間的各別區域亮度差。
像素陣列中的選定的像素之位置x,y的區域亮度差LBD (x, y)可如下決定為選定的像素P (x, y)之值與選定的像素P (x, y)之強健估計p_est (x, y)之間的差: LBD (x, y) = P (x, y) - p_est (x, y)。
選定的像素P (x, y)之強健估計p_est (x, y)可藉由使用像素之集合之像素值來決定,該像素之集合鄰近於選定的像素P (x, y)定位。例如,可針對強健估計p_est (x, y)計算位於預定視窗內的與選定的像素相同顏色的所有像素之平均數值或中位數值,該視窗包括選定的像素P (x, y)。較佳地,選定的像素P (x, y)位於視窗之中心。
為偵測或識別缺陷偶聯體,強健估計p_est (x, y)應為對於以選定的像素P (x, y)為中心的原始視窗上的偶聯體之存在強健的。一個可能性為將p_est (x, y)計算為原始視窗中的同色相鄰者之α-截尾平均數(其中α = 2)。
此可藉由第1圖中針對Bayer濾色器陣列型樣所示的示範性陣列更好地理解。例如,選定的像素P (x, y)為G (2, 3)。在這個選定的像素G (2, 3)周圍的小視窗3×3用來選擇相同值的像素以用於鄰近像素之集合。在此示範性狀況下,G (1,2)、G (3, 2)、G (1, 4)及G (3, 4)經選擇來用於鄰近像素之集合。
此鄰近像素之集合G(1, 2)、G(3, 2)、G(1, 4)及G(3, 4)的平均值經計算,且所得平均值經用作強健估計p_est (x,y)。
對於2-α-截尾平均數,例如四個像素之集合的最高及最低值經忽略,且平均數係自(例如四個)鄰近像素之集合的(其中例如四個像素剩餘兩個)剩餘中間像素值計算。
類似地,對於選定的紅色R (x, y)像素,特定大小之視窗以選定的藍色B (x, y)像素為中心。使用於具有各別顏色之選定的像素的視窗之大小可經選擇,該大小根據各別顏色而變化。視窗之大小可經選擇,例如使得該大小至少包括相同顏色的三個鄰近像素,以指派給用於特定顏色之選定的像素的鄰近像素之集合。視窗之大小可根據各別不同的濾色器陣列型樣及/或特定選定的像素P (x, y)之位置加以選擇。目的在於藉由使用足夠數量的相同顏色之鄰近像素來決定選定的像素值P (x, y)的強健估計。
用以保護足夠數量的鄰近像素的一個選項,可額外執行區域去馬賽克過程,使得選定的像素P (x, y)周圍的小視窗可經選擇,該小視窗具有與選定的像素之顏色相同顏色的充分高數量的像素值。
在第1圖之步驟b)中,當選定的像素P (x, y)之區域亮度差LBD (x, y)超過上臨限值S_hot及/或低於下臨限值S_cold時,選定的像素Py(x, y)經識別為缺陷像素。此可藉由以下方程式來表示: 對於熱像素:LBD (x, y) > S_hot 對於冷像素:LBD (x, y) < S_cold。
替代地,當將區域亮度差之絕對值與此共用上/下臨限值S進行比較時,一個共用臨限值S可經設定來用於上臨限值及下臨限值。此可藉由以下方程式來表示: |LBD (x, y)| > S。
區域亮度差大於或小於臨限值S或上/下臨限值S_hot及S_cold的條件包括區域亮度差LBD (x, y)亦等於臨限值S、S_hot、S_cold的條件。
藉由使用加權值及共用臨限值,在一個步驟內檢查區域亮度差LBD (x, y)是否超過上臨限值S或低於下臨限值S。
此外,在步驟b)中,在第二個條件亦適用的情況下,亦即選定的像素P (x, y)處的區域亮度差LBD (x, y)顯著不同於鄰近像素之區域亮度差LBD (i, j),選定的像素P (x, y)經識別為缺陷像素。此允許區分真實缺陷像素與小影像細節。
因此,不僅針對選定的像素P (x, y),且亦針對像素P (i, j)計算區域亮度差,該等像素P (i, j)經鄰近定位,亦即作為選定的像素P (x, y)之直接或間接相鄰者。至於計算強健估計p_est (x, y),鄰近像素之集合中的像素及其各別區域亮度差LBD (x, y)經考慮,以決定加權最大區域亮度差LBD (i, j)及加權最小區域亮度差LBD (i, j)。此可藉由以下公式來表示: 對於熱像素: 對於冷像素:
Ω為以選定的像素P (x, y)為中心的視窗內的像素陣列中之相同顏色像素之集合。LBD (x, y)為針對選定的像素P (x, y)決定的區域亮度差。F_hot及F_cold為將具有相同或不同值的加權因子。位置i、j與像素陣列視窗中與選定的像素P (x, y)相同顏色的鄰近像素相關的特定像素位置x、y相關。
為使得為對於偶聯體強健的,Ω應包括強健性策略,例如藉由排除視窗中具有最高/最小LBD值的相同顏色像素。此可藉由考慮用於鄰近像素之集合的區域亮度差LBD (i,j)之集合中之第二最大值及第二最小值來達成。此可藉由方程式來表示: 對於熱像素: 對於冷像素:
LBD_positive (i, j)表示像素矩陣中的各別像素位置i、j處的集合Ω中的正值區域亮度差。LBD_negative (i, j)表示像素矩陣中的各別像素位置i、j處的集合Ω中的負值區域亮度差。
上臨限值及下臨限值S、S_hot及S_cold以及加權因子F_hot及F_cold可經實體儲存在記憶體中或變化。該等臨限值及該等加權因子經輸入至步驟c)中,該步驟c)包括用於調適臨限值S及加權因子F的神經網路。
使用小加權因子F、F_hot及F_cold將導致較多的錯誤肯定。使用加權因子F、F_hot及F_cold的大值將導致較少的更少肯定。
較佳地,S可選自[0,2 ΛNBits-1]之分組且加權因子F ≥ 1,其中NBits為原始資料之位元深度。
在步驟c)中,臨限值S、S_hot、S_cold及加權因子F、F_hot、F_cold可一起調諧以達成缺陷偵測與細節保留,亦即影像品質之間的最佳取捨。調適可藉由使用基於學習的框架,亦即神經網路來執行,該神經網路達成接近100%的改良之缺陷偵測率及降低的錯誤肯定率,較佳地接近0%。
神經網路可藉由目標學習以達成最佳化的影像品質。
步驟b)之結果為缺陷像素D (x, y)之識別,該等缺陷像素可藉由將此位置中的像素識別為缺陷的x、y位置之簡單列表提供。可任擇地包括關於缺陷種類(熱像素、冷像素)的額外資訊。
在步驟d)中,可基於輸入像素陣列PA 輸入及識別為缺陷的像素或像素位置D (x, y)來執行缺陷像素校正之步驟。
缺陷像素校正為先前技術中已知的。用於缺陷像素校正的合適的方法可經選擇,以在輸出PA 輸出處達成校正的像素陣列。
較佳地,缺陷像素校正試圖保留影像細節,且因此,在可能的情況下,依賴於使用定向校正且將校正中使用的資訊限制於小鄰域。
第3圖示出用於缺陷像素校正的示範性較佳實施例,該缺陷像素校正使用最近鄰校正之步驟e)以藉由最近的同色相鄰者之內插來校正像素。
在分離路徑中,步驟f)、g)、h),及i)經執行來用於執行定向校正h)及非定向校正i),該等定向校正h)及非定向校正i)兩者基於非定向預校正之第一步驟f)。在執行定向校正之步驟h)之前,在步驟g)中執行定向濾波。
缺陷校正機制取決於濾色器陣列型樣及濾色器陣列資料中的顏色通道配置來判定將三個操作中的哪一者利用於校正。具體而言,當濾色器陣列型樣中的給定顏色通道展現對稱性,因而有助於定向估計和校正時,預設校正方案可遵循具有非定向預校正之步驟f)、定向濾波之步驟g)及定向校正之步驟h),或替代地,非定向校正之步驟i)的三步程序。
在步驟f)「非定向預校正」中,針對以正在校正的像素為中心的原始影像資料中之所有識別的缺陷像素計算強健估計,且所有非缺陷像素保持完整。步驟f)中之此預校正(預處理)之目的在於提供正在校正的像素周圍的原始影像資料之中間清潔估計,因而促進此像素位置中的強健方向識別。如上所述定義的強健估計p_est (x, y)可使用在此步驟中。
定向濾波之步驟g)用來識別正在校正的像素位置中之特徵方向。因此,藉由使用定向濾波器之集合將像素連同其相同顏色的相鄰者一起捲積,在像素位置執行定向濾波。基於濾波器集合之最大絕對回應,特徵方向經識別。
數量及大小以及係數取決於若干因素: 1. 計劃在校正方案中識別且支援的方向之數量; 2. 以像素為中心的原始支援之大小; 3. 濾色器陣列通道配置; 4. 濾波器之類型,例如基於梯度或以其他方式。
一旦正在校正的像素中之特徵方向經識別,像素可在定向校正之步驟h)中藉由沿著所識別的方向內插清潔的、同色像素加以校正。為了降低或消除校正偽影的可能性,定向校正通常限於像素之小鄰域。
若無特徵方向例如在各種平滑區域中經識別,則可藉由以缺陷像素之強健估計代替缺陷像素,例如藉由p_est (x, y)代替缺陷像素,來進行非定向校正。步驟經識別為第3圖中之步驟i)。
當濾色器陣列型樣中之給定顏色通道不展現對稱性時,諸如RGBW濾色器陣列型樣中之R、G,或B通道或Quad Bayer濾色器陣列型樣中之R、G及G通道,則缺陷校正方案可僅依賴於最近鄰校正之步驟e)。
在步驟e)中,強健估計用來校正缺陷像素。此估計的一個可能性為例如正校正的像素之鄰域中的同色像素的α-截尾平均數。另一可能性為那些同色相鄰者之某一加權平均。
當然,定向或內容感知校正將給出相較於非定向校正的較好影像品質。因此,較佳的是,當對最近鄰者進行內插時,內插策略儘可能多地嘗試識別方向或考慮正校正的像素P (x, y)中的原始影像資料中之內容。
校正識別為缺陷的像素的第1圖中之步驟d)可與諸如Standard Bayer、Quad Bayer、RGBW及HexaDeca Bayer濾色器陣列型樣的各種濾色器陣列型樣一起使用。強健預校正、定向濾波器、定向/非定向校正(內插)及最近鄰校正的定義可採用不同風格。該等定義可自固定全域定義改變為區域定義,取決於承擔的複雜度及所要的影像品質。
根據本發明之用於處理影像資料的方法可校正熱缺陷、冷缺陷或兩個類型的混合物之單重態及/或偶聯體。在適當調整的情況下,例如原始影像資料之大小,該方法可處理較高階缺陷。
a)~i):步驟 PA 輸入:像素陣列 PA 輸出:輸出 S:臨限值 F:加權因子 D(x,y):缺陷像素
本發明藉由所附圖式中的實例加以解釋。圖式示出:
第1圖-用於處理影像資料的方法的方塊圖;
第2圖-具有選定的像素及鄰近像素之視窗的Bayer濾色器陣列型樣的示範性像素陣列;
第3圖-用於校正識別為缺陷的像素的示範性方法的方塊圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
a)~d):步驟
PA輸入:像素陣列
PA輸出:輸出
S:臨限值
F:加權因子
D(x,y):缺陷像素

Claims (14)

  1. 一種用於處理由一影像感測器提供的影像資料的方法,該影像資料包含一像素陣列,其特徵在於以下步驟: a) 決定一選定的像素與鄰近於各別像素定位且指派給該各別像素之相同顏色的一像素之集合之間的各別區域亮度差;以及 b) 當該選定的像素之該區域亮度差超過一上臨限值及/或小於一下臨限值時,且當該選定的像素之該區域亮度差超過針對鄰近於該選定的像素定位的該像素之集合決定的一加權最大區域亮度差及/或小於針對鄰近於該選定的像素定位的該像素之集合決定的一加權最小區域亮度差時,將該選定的像素識別為一缺陷像素。
  2. 如請求項1所述之方法,其特徵在於,在該步驟a)中計算鄰近於該選定的像素定位的該像素之集合之一平均值,且藉由計算該選定的像素之值與該鄰近像素之集合之該計算平均值之間的差來決定該選定的像素之該各別區域亮度差。
  3. 如請求項2所述之方法,其中該平均值經計算為包圍該選定的像素且指派給該選定的像素之該相同顏色的一像素之集合之平均數值、阿爾法截尾平均數值或中位數值。
  4. 如請求項1至3中之一項所述之方法,其特徵在於,在決定一選定的像素之該區域亮度差之步驟a)中考慮的該像素之集合位於一預定大小之一視窗中,較佳地一4x4、5x5、6x6或8x8視窗中,其中該像素之集合經指派給該選定的像素之該相同顏色。
  5. 如請求項4所述之方法,其中決定該區域亮度差所針對的該選定的像素位於該視窗之中心。
  6. 如請求項1至5中之一項所述之方法,其特徵在於 - 決定在預定大小之一視窗中鄰近於該選定的像素定位的一像素之集合之最大區域亮度差,且 - 當該區域亮度差超過該加權最大區域亮度差時,將該選定的像素識別為一缺陷熱像素。
  7. 如請求項1至6中之一項所述之方法,其特徵在於: - 決定在預定大小之一視窗中鄰近於該選定的像素定位的一像素之集合之最小區域亮度差,且 - 當該區域亮度差小於該加權最小區域亮度差時,將該選定的像素識別為一缺陷冷像素。
  8. 如請求項1至5中之一項所述之方法,其特徵在於 - 決定在預定大小之一視窗中鄰近於該選定的像素定位的一像素之集合之第二最大區域亮度差,及/或決定在預定大小之一視窗中鄰近於該選定的像素定位的該像素之集合之第二最小區域亮度差,且 - 當該區域亮度差超過加權第二最大區域亮度差時,將該選定的像素識別為一缺陷熱像素,及/或當該區域亮度差小於加權第二最小區域亮度差時,將該選定的像素識別為一缺陷冷像素。
  9. 如請求項8所述之方法,其特徵在於,根據該集合中具有一正值的該等區域亮度差值,決定在預定大小之一視窗中鄰近於該選定的像素定位的一像素之集合之該第二最大區域亮度差,及/或根據該集合中具有一正值的該等區域亮度差值,決定在預定大小之一視窗中鄰近於該選定的像素定位的該像素之集合之該第二最小區域亮度差。
  10. 如前述請求項中之一項所述之方法,其特徵在於,藉由使用一神經網路來調適考慮用於將一選定的像素識別為一缺陷像素的該上臨限值及/或下臨限值,或/及該最小及最大區域亮度差之加權因子。
  11. 如前述請求項中之一項所述之方法,其中決定一選定的像素之該各別區域亮度差的該步驟a)及將該選定的像素識別為缺陷像素的該步驟b)藉由為一影像選擇由影像攝影機提供的一像素陣列之每個像素且針對每個選定的像素重複該方法重複地執行。
  12. 如前述請求項中之一項所述之方法,其特徵在於校正識別為缺陷的像素。
  13. 一種用於處理影像資料的影像處理器單元,該影像資料藉由一影像感測器提供,其中該影像資料包含一像素陣列,其特徵在於該影像處理單元經佈置以執行根據請求項1至12中之一項之該方法之該等步驟。
  14. 一種電腦程式,該電腦程式包含指令,當該程式藉由一處理單元執行時,該等指令使該處理單元執行請求項1至12中之一項之該方法之該等步驟。
TW111144579A 2022-01-12 2022-11-22 用於處理影像的方法及影像處理器單元 TW202329680A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/EP2022/050520 2022-01-12
PCT/EP2022/050520 WO2023134846A1 (en) 2022-01-12 2022-01-12 Method and image processor unit for detecting defective pixels

Publications (1)

Publication Number Publication Date
TW202329680A true TW202329680A (zh) 2023-07-16

Family

ID=80123130

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111144579A TW202329680A (zh) 2022-01-12 2022-11-22 用於處理影像的方法及影像處理器單元

Country Status (4)

Country Link
EP (1) EP4241438A1 (zh)
CN (1) CN117256158A (zh)
TW (1) TW202329680A (zh)
WO (1) WO2023134846A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6995794B2 (en) * 1999-06-30 2006-02-07 Logitech Europe S.A. Video camera with major functions implemented in host software
US7283164B2 (en) * 2002-09-18 2007-10-16 Micron Technology, Inc. Method for detecting and correcting defective pixels in a digital image sensor
US7460688B2 (en) * 2004-12-09 2008-12-02 Aptina Imaging Corporation System and method for detecting and correcting defective pixels in a digital image sensor
KR100690342B1 (ko) * 2005-08-08 2007-03-09 엠텍비젼 주식회사 이미지 센서의 불량 화소 판별 방법 및 장치
US8237830B2 (en) * 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
JP5655355B2 (ja) * 2009-11-02 2015-01-21 ソニー株式会社 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム
WO2020010638A1 (zh) * 2018-07-13 2020-01-16 华为技术有限公司 一种图像坏点检测方法及装置

Also Published As

Publication number Publication date
WO2023134846A1 (en) 2023-07-20
EP4241438A1 (en) 2023-09-13
CN117256158A (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
JP4374488B2 (ja) デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法
JP5631325B2 (ja) 撮像装置の欠陥検出方法及び撮像装置
US7667747B2 (en) Processing of sensor values in imaging systems
KR101980931B1 (ko) 화상 처리 장치 및 화상 처리 방법과 기록 매체
US20020126892A1 (en) Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning Kernel
US20090052798A1 (en) Method for eliminating noise from image generated by image sensor
JP7136080B2 (ja) 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法
US9613396B2 (en) Method and apparatus for demosaicing of color filter array image
CN111199524B (zh) 一种针对可调光圈光学系统的图像紫边校正方法
JP2002033964A (ja) デジタル画像の欠陥画素補正方法
TW200816791A (en) Image processing apparatus and method for reducing noise in image signal
US8482630B2 (en) Apparatus and method for adjusting automatic white balance by detecting effective area
JP4104495B2 (ja) データ処理装置、画像処理装置およびカメラ
US8164660B2 (en) Single row based defective pixel correction
KR101146171B1 (ko) 영상 처리 장치 및 시스템
JP3905708B2 (ja) 画像補間装置
TW202329680A (zh) 用於處理影像的方法及影像處理器單元
JP5920608B2 (ja) 画像の鮮明度を評価する撮像システムおよび方法
WO2010099048A2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
JPH06153087A (ja) 画素欠陥補正方法
JP2004241600A (ja) 欠陥検出回路及び欠陥検出方法
TW202341718A (zh) 用於處理圖像感測器的圖像資料之方法及圖像處理器單元與電腦程式
JP2004173060A (ja) ノイズ除去方法、撮像装置およびノイズ除去プログラム
JP4334150B2 (ja) 画像補間装置
JP4857933B2 (ja) ノイズリダクション方法、プログラム、装置及び撮像装置