TW401711B - Method and apparatus for processing digital pixel output signals - Google Patents

Description

401711 Θ月/广日 修正 _.案號 871197Qfi 五、發明說明（1) 發明背景 1 · 發明範疇： ^發明與像素輸出信號處理，肖別是與數 號處理有關。 刊】W 1口 2. 背景資訊 —隨著數位技術的進步，數位照相機，也就是可以以像位 ^ f二進位數位信號格式表示一影像之特定像素位置的光 进又的相機變得更為流行。然而此種照相像使用的缺點 之一便是有時碰到使用數位影像陣列產生之雜訊或差距’’， 陣列乃是像充電耦合裝置轉換器（charged c〇upie仏。“ sensors)或是互補金屬氧化物半導體 器 (c〇mplefflentary-ffletal-〇xide sem,conductor sensors) ，以下分別稱為CCD轉換器和CM0S轉換器。為了說明此種 型態雜訊（FPN)，已有—種技術已被用於將"暗 色β像（dark lmage)"讀進記憶體中，此技術像是在一组 包括如光線、溫度和增益因子等預先充分定義好的參數下 IΪ= I Ϊ光以及儲存最後的數位像素輸出信號。接 經利用數位影像陣列由從相關產生的 衫像取出。一般來說，不管是硬體或軟體，數位昭相機可 呆：象的對應像素輸出信號和暗色景;像是相 =的，使其此適度地被取出或比較。是無雜 訊的方法會ΐ影像處理的複雜度提高，此影像 :機而t it : 3 :數位t號格式儲存像素密度信號值的照 相機而gΜ存在的影像。於是需要有—種技術可以來說 O:\55\55915.ptc 第6頁

明數位相機使用言轉換機的複雜度。 摘要 簡言之’依照本發明一實施例，一台數位照相機包含 了 ：一含有多個像素的數位影像陣列，以及處理由影像陣 列產生的數位輸出信號的影像處理電路。影像處理電路經 調適以處理不同於不飽和數位像素輸出信號的飽和數位 出信號。 依照本發明的另一實施例，至少有一個積體電路含有影 像處理電路。影像處理電路經過調適以處理由數位影像陣 ，產生的像素輸出信號。影像處理t路進—步被調適成可 J理不同於不飽和像素輸出信號的飽和數位像素輸出信 圖形簡述 視為本發明的發明對象經特別指出並在結 /刀特別地作為專利申請。雖然如此透：的規格部 照下面的詳細解說可以對操作結構及方法=二下圖形並參 的、性能及優點有最好的了解，圖中： ^明的目 乃依照本發明說明針對數位像素輸 的貫施例邏輯操作方塊圖； k魂處理裝置 圖2乃說明依照本發明之數位像素輸出 施例的流程圖； D竣處理方法實 :3乃說明依照本發明之數位像素輸出 硬體貫施例方塊圖。 风返理裝置的 本發明詳述

401711 案號 87119796. 五、發明說明（3) 在以下詳述中’為了能對本發明有更清楚了解提出許多 特定細節。然而對熟悉本技藝人士而言，本發明在沒有這 些特定細節應可施行*在其它例示上，沒有詳述已知的方 法、程序、元件和電路乃在避免混淆本發明。 如上所述’數位相機在某種程度上因為數位技術的進步 正變得越來越普遍。所以含有CCD和CMOS轉換器的影像陣 列目前正被使用中。然而與使用此類轉換器的有關層面之 便疋存有固疋型態雜讯（F P N)。為了改善使用含有此類 轉器而產生的最後影像品質，技術之一便是取得一暗色影 像，將其存入像隨機存取記憶（RAM)或是動gRAM(DRAM) ^ 利用影像陣列取得一有關的影像，接著從這有關的影像取 出或去除儲存的暗色影像。因此藉由限制轉換器曝光以 得FPN，較好是儘可能有一組像曝光時間、溫度和增益因 數被用來產生與相關影像，並將此最後的數位 影像的環产U 在儘可能地模倣此有關 相機或影像陣列電路。因此此電路會i為 號同*,如此則關數位像素輸出信 藝有-般-、識心工：：中取得或比較。*然對此技 體執行此項處理的你土 :杜更饈次疋在硬體平台由軟 或數位信號處理器2:，硬體平台可指像是含有微處理器 丨°观爽理态的處理器 厶。 益 詞乃用於指含有任h & 十口在此則棱下，電路一 有任何硬體，不管是特定用途硬體，具有特

O:\55\55915.ptc 第8頁 401711 彳γ年9月/ _r a 般用途硬體，"硬件（firmware)" 修正 871l〇7Qfi 五、發明說明（4) 定用途軟體的硬體的 或上述所提的組合β f丨ffi面所述利用此方法或技術的問題之一乃是與其它 不利用二進位赵朽户咕丄 〜六匕 的複雜产。叛〇 Γ ί3唬或位元的方法相較，它會增加額外 ψ ^ , 2 ^ 來忒，當使用一固定長度的二進位數位信 ", 影像陣列接收的光高亮度的動態範圍自然地受到 <兔因此當像素曝光程度超過動態範圍時，影像品質會 位像素輸出信號變得飽和或較小而受影f，而且會 &准&素輸出信號在表示像素所接受的曝光上在光亮度上 " 舉例來說’此會發生的典型情況之一便被稱作 鏡面反射（specular reflection)"。在此情況下，鏡面 ^射乃指光直接從一亮處或光源（例如太陽）反射進入轉換 器。。。其結果是所有影像圖像的動態亮度範圍會大於數位轉 換器的處理成力，導致信號削波（clipping)。因此當發生 影像陣列像素的子組飽和或產生削波的像素輸出信號時， 上述取出暗色影像的技術便可能會將額外的雜訊引進影像 而非如同想要的減少雜訊的存在。 儘管CCD和CMOS二者會產生FPN，利用先進技術的CMOS轉 換器一般會產生更大的FPN量。FPN的來源可能源自多項因 素’但一般包含了在CMOS轉換器製造過程中的細微缺陷 (minute defects)。其它會產生此雜訊的因素包括影像陣 列電路的設計或是陣列幾何》 依照本發明，如圖3實施例3 0 0圖示的一數位相機實施例 中包含了一含有例如C C D和C Μ 0 S轉換器的轉換器所組成的 O:\55\55915.ptc 第9頁 401711 五、發明^~~_这 位影像陣列31°。此外，數位相機30。包含了 電路^1則象素產生的數位像素輸出信號的影像處理 數位像= 所示’在此實施例中每一包含10位元的 ^位像素輸出錢在12 ΜΗΖ(百萬赫W時被提供作為捕捉 c apture)介面電路32〇，儘管本發明範圍並非只揭限於此 $ 一 „1 A現二進位數位信號型態的此原影像資料接著經送 至一暗色固定型態雜訊（dark fixed DFm減少或去除單元34〇。在*除單元34〇中，η:要影 位像素輸出信號經過與暗色影像的數位像素輸出信 & t交暗色影像的數位像素輸出信號如上述地經利用 像陣列31 0產生，而且在此特定實施例中，那些數位像素、y 輸出信號經利用像是直接記憶體定位㈠卜“士 addressing，DMA)控制器39 0和])RAM控制器38〇的資料流 制器存在RAM表330中。當然本發明並不侷限於此種記情 架構1當暗色影像經產生及儲存後，有關執行取得部分的 去除單7C便可省略。所以在所想要的影產生時，暗色影 被從記憶體3 3 0中取出而且藉由從想要影像取出暗色影像 所產生的最後二進位數位信號接著會被送到壓擴器查表 (look-up table，LUT)35〇f。如圖3所示二進位數;^信 送到壓擴器LUT 35 0時是10位元，接著從壓擴器提供作〜 剩餘影像處理時是8位元。此外，圖3還說明了在此實施·例 中還提供了一色彩標籤。儘管本發明在這方面並非只侷限 於此，但在此特定實施例中，所提供的彩色標籤指定了二 色彩平面給數位像素輸出信號。一些可能的色彩間距中= H9II· O:\55\55915.ptc 第10頁 401711 案號 87119796 五、發明說明（6) 任何一個都可運用，但是這裏的色彩間距乃是紅-綠-藍 (Red-Green-Blue，RGB)色彩間距。所以代表不同色彩 三影像經產生並經處理而非只有單一影像，在此實施例 中，每一色彩標籤備有每一影像。在此利用壓擴器UT 施例中’使用三個擴壓器LUT，每個對應一色彩。當然，' 若本發明不是只侷限於產生彩色影像或侷限於RGB ^ ^ 距則更好。 间 依照本發明此數位相機實施例的另一層面乃影像陣 路是經過週適可以以不同於處理不飽和數位像素輸出信 的方式來處理飽和數位像素輸出信號。此特定實施例;狖 層面以較詳細方式圖示於圖丨中，但當然本發明在範 並不只侷限於此特定實施例。如圖丨所示，影像先 塊110所示的被捕獲或獲得。此未經校正的數位像素輪 信號接著被飽和偵測和控制邏輯120上。假如特定的數 像素輸出信號不飽和，被捕的未經校正信號值則送到 130以便可取出相對的暗色影像的信號值。但假如飽· 測和控制邏輯表示所要的影像的特定數 和時，則不會有取出情形發生…實施輸 測和控制邏輯是含在暗色固$型，態離訊去除單元⑽中。 如前面所述，暗色影像是在產生和儲存所 1 70分別在此貫施例中提㈣存的數位 應的位址2然本發明在此層面並不只出 =施例中線路緩衝器15〇⑴nebuffer)接著會提= 第11頁 O:\55\55915.ptc 401711 皇號 8711979R 五、發明說明（7) 年汐月/广日 修正 =塊11 G所示的被捕獲之所要影像之未正 φ ^ ^ π β 像之對應數位像素輸出信號。一曰取 出發生’正確的數位像音鈐+ —取 壓擴器LUT 140上。素輸出仏戒接著如圖1所示被送到 σ 5 :::實二列中Μ盡管在此層面如前所述本發明並不 度值。因此當10個：進位位：乃被：於表示強 "3FF"被偵測到時則數位像素°〜/十六進位仏號值 m L, na , 數位像素輸出仏唬乃經削波或飽和。 例中；ί Ϊ明的數位相機或數位相機電路的-特定實施 Κ的= Ϊ"Γ，_經㈣視為所想要影像的-特定 ^ 、别出值時，取出的動作會跳過或"關"掉， 該!”暗色影像之對應數位像素輸出信號（如 不 和k號值被送到圖1之壓擴器LUT或圖3之350 τ 〇 此 一未 接收 除性 取得 這些 施例 II 中會 則來 出0 實，例也可由圖2之流程圖來解，兒。在此實施例中， 經，正的數位像素輸出信號被去除單元在方塊21〇中 & 口方塊220中，須決定暗色固定型態雜訊下降或去 :^已被"打開"。此㈣舉例來說在暗色影像正被 ί儲存時不會打開。如圖2方塊270所示在此情形時， 亡j處理的二進位數位信號被送到下一階段（在此實 中後會將這些信號送到壓擴器中）。但假如此性能 丁汗的，而且已碰到飽和信號，則電路在此實施例 如方塊2 4 0所示偵測信號值是否等於"3FF,,如果不是， 自暗色影像的對應信號值會如方塊2 6 〇所示的被取 但

401711 修正 _#號 87I1Q7QR 五、發明說明（8) t假如此二進位數位信號在此實施例t被偵測 ;，則此取出動作不執行，此特定二進位數位信號值會如 塊25 0中所不被當成二進位數位信號值"送出。 在依照本發明的另一實施例中，飽和數位像素輪出信號 與不飽和像素輸出信號經不同方式處理 ^卢 理不只是跳過暗色影像對廊赵朽伤IM h 一 b不冋的處 P ^ 像素輸出信號的取出而 已f例來說，在一實施例中，可以從所有飽和的 數位k號值時取出一平均暗色固定型態 、 提供好幾個優，點。由於固定型態雜訊“性質：j :: =本發明的實施;列中欲取出之暗色影像信號 致性（n〇n-Unif〇rm)的，因此假如從飽和的疋戸 日寺會呈現=或不調和的情形…在 二中取出 二===乃是單從不飽和信號值=則 那些飽和值的相關強度與不飽和值比較時 : 大。這會負面地影響到觀看者的影像外 心要的還 飽和信號值中取出-值則便能降低此—相 二匕假如$從 出費可降低或避免來自高的相對強度的可用動態；圍=取 一些技術中的任一項可被用來獲得白 平均信號值。在此實施例中，暗色影像 乜號值取出的 產生一平均值和標準差並且約等於號值經過取樣 有許多不同的取樣技術可用於不同實施例：::二當然 以便降低標準同樣道理，藉由圍作次取樣 免段暗色影像的取出部 O:\55\55915.ptc 第13頁 401711 修正 #號 871197QR 五、發明說明（9) 雜訊的趨勢’舉例來說其中平均值和/或桿準差 在影像的一部分可能較另一部分為Α。 準差 =樣的在本發明的另—實施例中取出數值作為斤 ㉒=態位準信號值可以由執行愿擴器的查表在處理： 二妹人’二Ϊ此取出操作可以與其它像是壓擴器操作的 f異的操似稱為伽瑪操作（ga繼operatiQn))。色更=田應 :之在中]盡管本發明就此層面並不只揭限於 _ f壓擴15的操作中，接收到1 〇位元並從中製造8位 ί揚：2i乃是一利用查表所執行的非線性操作。此特 貫質上的非線性的理由之-乃是因為此操作在ί =或將眼睛對光線的反應聯結—起。因此在此特定實施 二HLJT-值的到上達乃藉由從此反應的分析模式開始以及 县ί ·經驗作調整。153樣的，伽瑪操作也可以用在調整 最=的色彩反應。更詳細言<，在此將定實施例， 列(color fUterarray，cFA)本來就含 士：，陣列轉換器中’雖然這可以以許多方式達成，而且 本”就此層面並不揭限於此’甚至不必用到m。因此 在將此色彩濾波器陣列已經在到達最後影像 =驗色時的效果轉換或去除。同樣的如前所述在此ί *用以決定或表示暗色影像固定型態雜訊的值（位 :)的k號值也可以相同地取出。更進一步在此實施例 波或飽和的數位像素輪出信號值的數值已知， 便可僅藉由儲存欲取出之信號值的方式執行。f然本發明 O:\55\55915.ptc 401711

___案號 87119796 五、發明說明（10) 在此層面並非只限於此。如 以利用單一查表來執行和結 驟並未在此討論，但對此發 言這些技術均算是極普通而 施例之各色彩平面可以有的 面並不只限於此。 般熟知的，上述三項操作可 合。雖然確切的執行操作的步 明技藝有一般程度了解的人而 已 同樣的如前述，用於此實 不同查表，雖然本發明就此層 依照本發明尚有另一數位相機實施W，影像處理電路可 以具有在處理不同不飽和數位像素輸出信號方式的飽和數 位像素輸出信號處理之前識別影像飽和範圍的能力。更詳 細言之，舉例來說，在一實施例中去除單元可以經過調適 來檢查邊緣像素的輸出信號以便產生飽和輸出信號的像素 可確認所有立即緊鄰的像素輸出信號也是飽和的。在一實 方例中饭叹不是全部飽和，則此飽和值並不一定要不同 方式處理。或是假如在周邊範圍的一特定數量的信號值經 須測發現是飽和的，則在該範圍而且是飽和的像素的輸出 k號便可以不同方式處理。也可以利用其它決定和/或指 定飽和數位像素輸出信號值的實施例。同樣的’在識別出 飽和數位輸出信號值時，影像處理電路可以是具有決定其 是否在飽和信號值範圍内的能力。舉例來說’當飽和信^ 值是一單獨的飽和信號值時，所運用的處理方式與不飽和 像素輸出信號所運用的便可以是一樣的。同樣的也可以利 用不同方式。 當然如前面所述，實施例可以以許多方式執行。舉例來 说如刖述，處理可以用"硬體方式進行"。或是如前述，像

401711 案號 87119796 修正 五、發明說明（11) 是DSP或微處理器的處理器可以載有軟體，當在處理器執 行時，便可以執行所想要的操作。或是也可以利用硬體來 執行實施例《雖然本發明就此層面並不只限於此，一般會 希望實施例執行的方式因為有相對較多數量的二進位數位 信號值或位之待處理所以能夠以較高速方式處理。 雖然本發明的一些性能已在此圖示及敘述，對那此熟来 本技術的人士而言將可想到許多的修改、替代、改二“'、*Q 似之發明。因此所應了解的是本發明之附帶專利申枝=相 乃意欲涵蓋所有此類不悖離本發明精神的修改及明範圍 疋變。

O:\55\55915.ptc 第16頁

Claims (1)

1. 401711 六 申請專利範圍 案號 87119796 種積體電路，其中包含 影像處理電路. 該影像處理電路被調適成可以處理 產生的數位像素輪出信說. 該影像處理電路被調適成可以以右 位像素輸出錢的方;^ 二：申請專利範圍第工項的-種積體$ j L含了影像陣列轉換器； :影像處理電路經過調適可利 Π:::固定型態雜訊的估算值方 處的-種積體電 算暗色固定型態雜訊 處理带&圍第3項的一種積體電 素輪出可以在對應一有關们 5. 如申m的範圍中的暗色影像… 處理電二 範圍第2項的一種積體電 之中可以利用含有^ 6. 如申4蛮負來使用。 理電路包：ί利範圍第1項的-種積體電 7. 如申4 s固定型態雜訊降低電路。 態雜訊降Γ利範圍第6項的一種積體電 •電路包含了暗色固定型態雜旬 數位影像陣列所 於處理不飽和數 素輸出信號。 备’其中該影像 該影像陣列轉換 來處理飽和數位 t，其中該影像 像素輪出信號的 —’其中該影像 中的飽和數位像 ，其中該影像 和CMOS轉換器 ，其中影像處 ，其中固定型 夺低電路。 曰 修正 案號 87119796__cPf 年 $ 月 六、申請專利範圍 8.如申請專利範圍第丨項的一種積體 f理電路經過調適可以偵測在有關 ，、該影像、 輸出信號的範圍。 像中的飽和數位像素 9· 一種數位相機，含有： 一數位影像陣列，包含了多個 路以處理由螻影後姑u , , A W及景Μ象處理電 处埋由„亥影像陣列產生的數位像素观电 s亥影像處理電路經過調適可以用'女 ° 'V象如素申輸出/號的方式來處理飽和數位和 包第9項的數位相列 該影像處理電路被調適成可藉 轉換器的暗色影像固定型態雜n像陣列 數位像素輸出信號。 怙异值方式來處理飽和 11 ·如申請專利範圍第1 0項的數位相嬙甘山 理電路經過調適可#由從A右機’其中該影像處 暗色影像中取樣的數位像素輸出信號的 12如像二取專樣式來估算暗色固定 女申明專利砣圍第丨丨項的數位相苴 理電路經過調適可 /、中忒影像處 輸出信號範® Θ i = ί 有關影像中的飽和數位像素 現乾圍的範圍内之暗色影像取樣。‘ 理電路°:二專適，圍第10項的數位相機，其中該影像處 器中的至少」利用含有⑽轉換器和⑽s轉換 J 4 個的衫像陣列轉換器來使用。 路含有固定^專圍第9項的數位相機’其令影像處理電 u疋孓態雜訊降低電路。 O:\55\559l5.ptc 第〗S頁 87119796 401711 修正 六 申請專利範圍 15.如申請專利範圍第14項的 雜訊降低電路含有暗色固定型離相機，其中固定麥態 如申請專利範圍第9項^:;:低Γ。 電路經過調適可以偵測在一有關中該影像處理 出信號的範圍。 〜象中的飽和數位像素輸 1 7. —種處理由數位影像陣列 的方法，包含了： 』座生的數位像素輸出信號 像素輸出信號的方式處理 方法，其中該影像陣列包 以有異於處理不飽和數位 飽和數位像素輸出信號。 18.如申請專利範圍第17項的 含了影像陣列轉換器； 定型 而且還包含了估算該影像陣列轉換器 態雜訊； ' 的暗色影像固 其中不同地處理飽和數位像素輸出信號的 :取出該影像陣列轉換器的•色影像固定型態雜訊〜广算 19.如申請專利範圍第18項的方法，其中暗色 雜訊的估算包括了從含有儲存的數位像素輪〜 影像中取樣。 破的暗色 20.如申請專利範圍第19項的方法，其中從暗色 取樣包括了從對應一有關影像中的飽和數位像素丄 範圍的範圍内之暗色影像取樣。 ’、⑥^號 2 1.如申請專利範圍第丨8項的方法，其中該影像 換器包含了 CCD轉換器和CMOS轉換器中的至少:個卩。列轉

   O:\55\55915.ptc 第19頁 401711 案號 87119796 年 3 月/CT 曰 修正 六、申請專利範圍 2 2，如申請專利範圍第1 7項的方法，其中飽和數位像素 輸出信號的處理包括了固定型態雜訊降低的處理。 、 2 3.如申請專利範圍第22項的方法，其中固定型態雜 降，的處理包括了暗色固定型態雜訊降低處理。 信號的範圍。 了偵測有關影像的飽和數位像素輪出