TW201112169A - Using captured high and low resolution images - Google Patents

Description

201112169 六、發明說明： 【發明所屬之技術領域】 本發明係關於自多個影像產生—經改良影像 言，使用多個影像來形成—具有減少之運動模^體而 訊的尚解析度影像。 及減少之雜 f先前技術】 有待解決之—_係在影物㈣时在造成 運動模糊的運動時的欠光_射心順影：像中之 局種類，其中正成像之整個場景一起移動， 可為全 類’其中場景之-或多個部分與場景之其餘部分相t局部種 同速度或方向移動。全局運動係由於在影像擷 ^不 相機之間的相對運動。局部運動係由於場景内之物^景與 同方式發生。 卩運動可在-之不同部分中以 在曝光:間較短且運動緩慢之情況下，單1像掏 以擷取具有良好影像品質之影像。然而，隨著獲得旦右I用 號雜訊比之影像所需之曝光時間相對於取= 在之運動變得較長，或可用光減少 ，擷取之影像1質以今 内增加之運動模糊及增加之雜訊的形式降低。0口以影像 對於消費型數位相機，存在像素之大小曰 其減小了在曝光期間用 ]的趨勢’ 較成問題。可増加提光時： 域得雜訊變得 099129063 曝糾心補償較小像素，料動模糊就 4 201112169 义得mi題。因此’已在Cc)mptc)n等人之美國專利申請 a開案第2GG7/G024931號中描述用以增力π像素對光之敏感 性之方法，其對影像感測器添加了全色像素。 隨著運動相對於曝光時間的增加或可用光的減少，存在可 做出之-系列折衷。可在拍攝空間中做出若干折衷以增加空 間解析度、時間解析度或影像品質，但重要的是應注意，每 -增ϋ亦將伴有損失。舉例而言，可減小曝光時間以減少運 動模糊，藉此增加時_析度，但以影像中增加之雜訊為代 價。 閃光係減少影像中之雜訊的有效方式，且藉由允許實現較 短曝光時間，時間解析度增加，但以不均勻之照明及紅眼為 、貝另外存在閃光不可用或是無益的影像擷取情形。 可在曝光期間使用基於光學之影像穩定以允許實現較長 曝光時間’以減少影像中之雜訊，同時減少運動模糊且增加 空間解析度。然而，基於光學之影像穩定僅可用以減少來自 相機運動(全局運動)之運動模糊。另外，光學影像穩定增加 了與影像擷取裝置相關聯之成本及重量。 可藉由格化(binning)(即，將鄰近像素彼此連接，因此加

總鄰2像素上之電荷且增加錢)來增加像素之有效大小以D 允°争貝現減少之曝光時間。然而，格化伴隨有空間解析度之 減小。 減夕松糊之另—方法侧取兩個高解析度影像，—者具有 099129063 201112169 短曝光時間，且一者具有長曝光時間。選擇短曝光時間以便 產生帶雜訊但相對不含運動模糊之影像。選擇長曝光時間以 便產生具有極少雜訊但可能具有顯著運動模糊之影像。使用 影像處理演算法以將該兩次擷取組合為一個最終輸出影 像。此等方法描述於美國專利第7,239,342號、美國專利申 請公開案第2006/0017837號、美國專利申請公開案第 2〇06/0187308號以及美國專利申請公開案第2007/0223831 號中。此等方法之缺點包含：需要額外緩衝記憶體來儲存多 個高解析度影像、處理多個高解析度影像之額外複雜性，以 及該兩次影像擷取之間的潛在時間間隙。 減少模糊之另一方法係經由擷取後所應用之影像復原-声 模糊廣算去。此方法之—實施例係熟知之l⑽也咖他。 解k疋法。此方法及類似方法之缺陷包含高計算複雜小 及對雜訊之敏感性。 之!二轉析度視訊影像可用以形成具有經改良影像品5 時二之问時維持空間解析度且提供時間解析度與曝) 二:平衡。在給定時間内讀取多個影像可藉由輝 較短曝光時間而減少運動模糊，然而，每一則 郝之Γ雜訊。#由使多個影像彼此對準以校正個別识 =::動且隨後將該等個別影像在-起求和，所-平冢中的雜訊可減少。 雖然可相對快速地讀出多個低解析度視訊影像⑷ 099129063 201112169 3〇-6〇個影像/秒）’且影像由於像素f f經格化而通常且有 較低雜訊，但可形成之單一影像限於相對低解析度。相反 地’多個南解析度影像可用以形成高解析度單—影像。狄 •而，高解析度影像通常因為像素較小㈣有較多_，且更 顯著=’由於硬體限制而需要相對大量時間來讀出多個高解 析度衫像(通常…個影像/秒）。另外，使影像對準之門題 由於影像擷取之間的顯著運動而加劇。 要組合多個影像以形成-經改良影像 /、在存在運動之％景中）的經改良解決方案。 【發明内容】 ^ 本赉明之目的係使用低解 影像來產生-經改良古艇Π像及至少—個高解析度 >·文良円解析度影像。該目的 由相同影像擷取裝置所梅取之—射^ —使用 少一個高解析度影像來提供―經改”紐解析度影像及至 來達成，該方法包含：、 义间析度影像的方法 祕用該影像擷取裝置來擷取該場 影像以及該場景之至少—個高解析度=低解㈣ 析度影像具有-大於該等低解析度 析至解 及 _合該等低解析度影像 :析度的解析度’· 聚集低解析度影像；以 c)藉由以下操作來組合診古 度影像以提供該經改良高解^ *像與該聚集低解析 099129063 201112169 0減小該高解析度影像之該解析度以提供一代表一能 由5亥影像擷取裝置所擷取之低解析度影像的影像； 11)内插該代表性低解析度影像以提供一經内插高解析 度影像； ηι)從該高解析度影像及該經内插高解析度影 一 殘餘影像； # 1 ν)組合該代表性低解析度影像與該聚 以提供-最終低解析度影像；'析度影像 象來提供該經 ν)使用該最終低解析度影像及該殘餘 改良之高解析度影像。 本七月之一優點在於可藉由對影像處理軟 來產生-經改良高解析度影像，而不必使用^基本改變 長曝光時間來適當曝光單—影像。 攝影閃光燈或 本發明之又—優點在於可在無需高成本 動透鏡元件之特殊透賴情況下產生橫向可移 像。 良向解析度影 本發明之又—優點在於不增加可在用於〜 度影像之緩衝記憶體要求的情況下產生個馬解析 影像。 、、二文良高解析度 本發明之又-優點在於可在無需計算上複 算法之情況下產生—經改良高解析度影像。解模糊演 本發明之再—優點在於其可產生一具 __ 夕之運動模糊 201112169 及減少之雜訊的高解析度影像。 樣、目的、特徵以及優點 【實施方式】 根據對以下實施以及所附中請專利範圍之審閱 ，見附圖’^清楚理解且明瞭切明之此祕及其^態 因為使用成料置減驗信_取及校正且心 控制之相關電路的數位相機係熟知的，所以本發明: 對形成根據本發日狀方法及讀之部分錄直接㈣= 及設備協作的元件。本文未具料以描述之元件係選自此 =技術中已知之元件。將描述之具_之某㈣樣係以軟體 提供。就在以下材料中根據本發明展示及描述之系統而言， 具體展示、描述或建議之有用於實施本發明之軟體係 α的’且為熟習此項技術者所知。 現參見圖1，展示為體現本發明所示之數位相機之影像擷 裝置的方塊圖。雖然現將闡釋數位相機，但本發明清楚地 適用於其它類型之影像擷取t置，諸如包含於例如行動電話 及汽車車輛之非相機裝置中的成像子系統。來自對象場景之 光輸入至—成像級11，在其中該光由透鏡12聚焦以在 ，態衫像感剛器2G上形成—影像。影像感測器2G藉由整合 每圖像元素(像素)之電荷而將入射光轉換為一電信號。較 佳具版例之影像感測器20為電荷耦合裝置(CCD)類型或主 動式像素感剩器（APS)類型。（APS裝置由於其能夠在互補金 099129063 201112169 f氧化物半導體製程中加以製造而常常稱為CMOS感測 裔)该感測H包㈣色器之配置，如隨後更詳細描述。 夕猎由改變光圈之光闌區塊14及包括插人於光徑中之—或 I個ND遽波器之中性密度剛遽波器區塊13來調整到達 感〉貝丨J器9Γ)夕止旦 光I。而且，調整總體光位準係在快門區塊18 的夺間曝光控制器區塊4〇回應於如由亮度感測器區 十里之在場景中可用的光量，且控制全部此三種 功能。 “ 像感測H 2G之類比信號由類比信號處理器22處理 二施加於類比至數位_)轉換器24以用於數位化感測器 &夺序產生器26產生各種時脈信號以選擇列及像素， 2處_22與錄轉換器24之操作同步。影 A/^器級28包括影像感測器2G、類比信號處理器$ 〜轉換器24以及時序產生器％。影像感測器級μ之功 Γ件為單獨製造之積體電路，或者其被製造為單-積體電 路(如對於C则影像—通常作法）。來自A/D轉換 之所得數位像素值之串流儲存於與數絲號處^ (DSP)36相關聯之記憶體32中。 。口 數位信號處理器36係此實施例中 中之-者，另兩者為系統控制二理器或控制器 ,^ 及曝光控制器40。雖妙 = 在多個控制器及處理器中之此分佈係μ 的’但此等控制器或纽“各種方式組合而不影響相機之 099129063 201112169 賴操作及本發明之應用。此等控㈣或處理Η包人 立它數#、_彳政控制盗、可程式化邏輯裝置或 =數:邏輯電路，然已描述此等控 ： 合，但應明瞭，一個栌釗哭+忐 X处里„0之組 健制處理器經指定以執行 之功月匕。所有此等變型可勃 斤而 疇内，且將在需要時佶用 乾 “ S。處理級」以在一個短語t (例 如圖中之處理級38中)涵蓋所有此功能性。 在說明之具體例中，DSP36根據一軟體程式來操縱其記 隐體32巾之數位影像純，該軟體程式永久儲存於程式記 憶體54中且複製至記憶體32以供在影像擷取期間執行。 ⑽36執行實踐圖18中所示之影像處理所需的軟體。記憶 體32包括任何類型之隨機存取記憶體，諸如獄a.包 3用於位址及資料信號之路徑的匯流排％將%連接 至其相關記憶體32、A/D轉換器24以及其它相關裝置。 系、.先才工制益50基於儲存於程式記憶體54中之軟體程式而 控制相機之總體操作’該程式記憶體％可包括快閃 EEPROM或其匕非揮發性記憶體。此記憶體亦可用以儲存 影像感測n校準㈣、㈣者設定以及必齡相機關閉 時保存的其它⑽。系統控㈣50藉由如下方式來控制影 像擷取之序列：引導曝光控制請以如先前描述操作透鏡 12、ND濾波器13、光闌]4以及快門18，引導時序產生器 26以操作影像感測器2〇及相關聯元件，且引導Dsp託以 099129063 201112169 處理擷取之影像資料。在擷取及處理一影像之後，將儲存於 記憶體32中之最終影像檔案經由介面57傳送至一主機電 腦，儲存於一可移除記憶卡64或其它儲存裝置上，且在影 像顯示器88上為使用者顯示。 匯流排52包括一用於位址、資料及控制信號之路徑，且 將系統控制器50連接至dsp 36、程式記憶體54、系統記憶 體56、主機介面57、記憶卡介面60以及其它相關裝置。主 機介面57提供與個人電腦(pc)或其它主機電腦之高速連接 以用於傳送影像資料供顯示、儲存、操縱或列印。此介面為 IEEE1394或USB2.0串列介面或任何其它合適的數位介 面。記憶卡64通常為緊密型快閃（CF)卡，其經由記憶卡介 面60插入插口 62且連接至系統控制器50。所使用之其它 類型之儲存裝置包括（不限於)PC卡、多媒體卡(MMC)或安 全數位（SD)卡。 將經處理影像複製至系統記憶體56中之一顯示緩衝器， 且經由視訊編碼器80連續讀出以產生一視訊信號。此传號 自相機直接輪出以供在一外部監視器上顯示，或由顯示柝制 器82處理且在影像顯示器88上呈現。此顯示器通常為主動 矩陣彩色液晶顯示器（LCD)，但亦使用其它類型之盘 ·、、、貝不器。 包括取景器顯示器70、曝光顯示器72、狀態顯示器 及影像顯示器88以及使用者輸入74之全部或任何龟人。的 用者介面68由在曝光控制器4〇及系統控制器 上所執行 099129063 12 201112169 之軟體程式的組合來控制。使用者輸入74通常包括按鈕、 搖臂開關、操縱桿、旋轉撥號盤或觸控螢幕之某些組合。曝 光控制器40操作光計量、曝光模式、自動聚焦及其它曝光 功能。系統控制器50管理在該等顯示器中之一或多者上（例 如，在影像顯示器88上)所呈現之圖形使用者介面（GUI)。 GUI通常包括用於做出各種選項選擇之選單及用於檢查擷 取之影像的回顧模式。 曝光控制器40接受選擇曝光模式、透鏡光圈、曝光時間 (快門速度)及曝光指數或ISO速度額定值之使用者輸入，且 針對後續擷取相應地引導透鏡及快門。使用亮度感測器16 以量測場景之亮度，且為使用者提供在手動設定ISO速度 額定值、光圈及快門速度時所參考之曝光計量功能。在此情 況下，在使用者改變一或多個設定時，在取景器顯示器70 上所呈現之光計量指示器告知使用者影像將過曝或欠曝之 程度。在自動曝光模式中，使用者改變一個設定且曝光控制 器40自動更改另一設定以維持正確的曝光，例如對於一給 定ISO速度額定值，當使用者減小透鏡光圈時，曝光控制 器40自動增加曝光時間以維持相同之總體曝光。 ISO速度額定值為數位靜態相機之一重要屬性。曝光時 間、透鏡光圈、透鏡透射率、場景照明之位準及光譜分佈以 及場景反射率決定了數位靜態相機之曝光位準。當來自一數 位靜態相機之影像係使用不足之曝光獲得時，可大體上藉由 099129063 13 201112169 〜加電子或數位増a而維持適當之色調再生，但影像將含有 不可接又之雜5fl里。在曝光增加時，增益減小，且因此影像 雜。fi可通吊減）至-可接收位^若曝光過量地增加，則在 影像之免區域中之所得信號可超過影像感測器或相機信號 處理之最；^ b號位準谷量^此可致使景彡像高亮部分經限幅而 形成一均勻亮區域，或漸暈至影像之周圍區域中。在設定適 當曝光方面指導使用者係重要的。意欲使IS〇速度額定值 充當此指導。為使攝影者容易理解，數位靜態相機之IS〇 速度額疋值應直接與攝影膠片相機之IS0速度額定值相 關。舉例而言，若一數位靜態相機具有IS〇 2〇〇之IS〇速度 額定值，則相同曝光時間及光圈應適用於一 IS〇2〇〇額定膠 片/處理糸統。 意欲使ISO速度額定值與膠片ISO速度額定值協調。然 而，在基於電子之成像系統與基於膠片之成像系統之間存在 使完全等效性不可能實現之差異。數位靜態相機可包括可變 增益，且可在影像資料已經擷取之後提供數位處理，使得在 相機曝光之一範圍内達成色調再生。由於此靈活性，數位靜 態相機可具有一速度額定值範圍。此範圍被定義為ISO速 度寬容度。為防止混淆，將一單一值指定為固有ISO速度 額定值，其中ISO速度寬容度上限及下限指示速度範圍， 亦即，一包括與固有ISO速度額定值不同的有效速度額定 值之範圍。由此可見，固有ISO速度為一在數位靜態相機 099129063 14 2〇Πΐ2ΐ69 2 =平面處所提供之曝光而計算以產生指定相機 :機 •為:r供給影像感測器之曝光成反比::字中:。曝先指數 - 之上抑料⑼f此項 存在對此具體例之許多變化，其可 7；顯 添加特徵或改M目機之效 / /成本、 統’或透鏡可拆卸且可互換。：二加，聚焦系 型之數位相機，或更_約也Γ 於任何類 取設備，咖咖2_讀位影像掏 給定圖1线雜_，町描賴後料㈣述根據本 α月之此用於彳。貞取影像之相機的操作。每當在以下描述中— ^提及—f>像感測11時’應瞭解其代表來自® 1之影像感 、器20目1所7F之影像感測g 2G通常包括—製造於石夕基 板t的二維紐像素_，其將每—像素處之傳人光轉換為 里測之電4號。在-影像感測器之情況下，一像素（「圖 像兀素」之縮寫)指示—離散的光感測區域及與該光感測區 或相關聯之電何移位或電荷量測電路。在數位彩色影像之情 =下，術語像素通常㈣該影像中具有相關聯色彩值之一特 疋位置#5吾色彩像素將指示在一相對窄頻譜帶中具有色彩 光回應之像素。術語曝光持續 在感測器20曝露於光時， 時間及曝光時間可互換使用。 產生自由電子且在每〆像素處 099129063 15 201112169 之電子結構内被擷取。在竿伽 呆個時段内擷取此等自由電子且隨 後量測所擷取之電子數目七θ 默目或ΐ測產生自由電子之速率可量 測每一像素處之光位準。在^ #主# , 别—種情況下，累積電荷被移出 像素陣列至一電荷電壓量带 电路(如在電荷耦合裝置（CCD) 中），或靠近每一像素之區域人 J含有一電荷-電壓量測電路的 元件（如在主動式像素感測 、 益（APS或CMOS感測器）中）。 為了產生-彩色影像，—影像感測器中之像素陣列通常具 有安置於其上m器圖案。目 π不逋书所使用之紅 二广,器之圖案。此特定圖案通常稱為拜 耳f色咖(CFA)，因其發明人布萊_耳㈣eeBa㈣ 而得名’如美國專利第3,971，〇65號中私4 厅揭露。此圖案有效 地用在具有二維色彩像素陣列之影像践σ a,為中。因此，每一 像素具有一特定色彩光回應，其在此情 、 下為對紅、綠或藍 色光之主要敏感性。另一有用種類之色矣 衫光回應為對洋紅、 黃或青色光之主要敏感性。在每一情況-p ’特定色彩光回應 具有對可見光譜之某些部分的高敏感性，同時具有對可見光 譜之其它部分的低敏感性。 影像感測器所擷取的 使用具有圖2之CFA之二維陣列的 影像在每一像素處僅具有一個色彩值。為了吝 ^產生一全色彩影 像，存在用於推斷或内插每一像素處缺失的色彩的若干技 術。此等CFA内插技術係此項技術中為熟知的，且參考以 下專利：美國專利第5,506,619號、美國專利第5629 734 099129063 16 201112169 號以及美國專利第5,652,621號。 圖2說明之CFA圖案之一個缺點在於：入射於一給定像 素上之光的大部分被過濾掉，導致低光條件下之帶雜訊影 像。用以改良低光成像之一種類型之解決方案係使用感測器 陣列像素之某部分作為全色像素。舉例而言，compton等人 之題為「Image Sensor with Improved Light Sensitivity」之共 同讓渡美國專利申請案第2007/0024931號揭露一種具有色 彩像素與全色像素之影像感測器。在本發明之情況下，術語 全色像素指示具有大體上全色光回應的像素，其具有比選定 之色彩光回應集合令所表示之較窄光譜敏感性寬的光譜敏 感性。亦即，全色像素可具有對整個可見光譜上之光的高敏 感性。雖然全色像素-般具有比色彩光回鱗合寬的光譜敏 感性，但每—全色像素亦可具有-相關聯遽波器。此濟波 可為中性密度濾波器或者色彩或頻寬濾波器。 >見圖3之曲線圖’展示—典型相機應用中之罝有红 及藍色濾、色器之俊去… 』^之具有紅、綠 示以奈米為單位之光^對光譜敏感性。圖3中之又轴表 線之波長，且跨越大約自近紫外線至近紅外 110表亍 效率(、㉟正規化）。在® 3中，曲線 頻寬遽=1=。=梅她之典型 在紅外光與在二 =!不阻播紅外光’因此像素可能無法 〇991购 /、聯〉慮色器之通頻帶内的光之間進行區 17 201112169 77曲線110所示之红外線阻擔特性因此防止 壞可 見光信號。膝 、。。 肘具有所應用之紅、綠及藍色濾波器之典蜜矽感 測裔之光^ 〇 9里子政率（亦即，入射光子之經擷取且轉換為一 了 ^則電信號之比例）乘以由曲線11G表示之紅外線降擔渡 ^ 之光錢射特性，以產生由針對紅色之曲線η4、針對 : /复116以及針對藍色之曲線118所表示之組舍系統 %子政率。自此等曲線中暸解，每一色彩光回應僅對町見光 w曰、部分敏感。相比而言，未應用濾色器（但包栝紅外線 ^擋：波器特性)之相同矽感測器之光回應由曲線il2展 「’此為全色光回應之實例。藉由將色彩光回應曲線114、 116^ n〇 一王色光回應曲線112進行比較，顯然全色光回 ,、、、寬光々光的破感性可比任何色彩光回應均大三裏四倍。 圖4 °兒明根據本發明之具體例之流程圖。在步驟41〇中， 知作者藉由以下動作開始獲取過程：在操作者對影像進行構 『時，將相機上之_取躲自SG位置(未按下位置)按壓至 分按下位置）’#此將部分按1^陳按祕號發送 口目、中之系統控制器n统控顧5G隨後指示相機使 =可用的D S P記憶體3 2以開始獲取及組合多個低解析度影 —420。應注意，在同時’相機中之系統控制器50亦通常 二成自動聚焦及自動曝光。#操作者識別了獲取之時刻時， 將掏取按紐自S1按壓至S2(完全按下位置），藉此將 完全按下錄按姉號發送至相機中之系統控㈣％，如 099129063 201112169 步驟430中所示。在此點，在步驟44〇 +，系統控制器％ 指示相機停止對低解析度影像之繼續獲取或擷取且起始猙 取一高解析度影像。最終，在步驟45〇中，將轉析度^ 解析度影像組合以形成-經改良之高解析度影像。所^里: 取之低解析度及高解析度影像之集合稱為一擷取集。' 。 步驟420中所操取之低解析度影像可為預覽影像，諸如常 在相機LCD顯示器88上顯示者。此等影像通常以32〇^: 24〇列之空間解析度或以VGA解析度（64〇行乘48〇列）2邓 圖框/秒擷取及顯示。然而，此空間解析度並非限制性的， 且~1以較鬲空間解析度擷取低解析度影像。可自感測哭押 且讀出低解析度影像的頻率與低解析度影像 成反比。 卫3解析度 步驟440中所擷取之高解析度影像具有比步驟42〇期間所 擷取之低解析度影像大的空間解析度。高解析度影像常具^ 影像感測器20之全空間解析度。 低解析度影像之擷取亦可在Si之外發生。在相機處於如 位置中時，可如在步驟42〇中擷取且組合低解析度影像。亦

可經由自S0至S1之轉變或經由自S1至S0之Μ镟I 之轉變而繼續 對低解析度影像之擷取。 者擷取集之一範例如下，其針對一 1〇百萬像素數位相機。 當操作者將擷取按鈕自so按壓至S1時，系統控制器 不相機開始連續獲取及組合低解析度影像低解析度影像2 °"129063 201112169 9X格化(水平及垂直方向上均以 — 析度影像之解析度大約為i百 數使付母一低解 〇n /A . 彳冢素。低解析度影像#以 :=Γ取決於場景中所存在之二=度 可在一低解析二3。“戈更小之曝光時間來獲取。曝光時間 低解析度讀與下—低解析度影像之間改變。該等影 象在經擷取時被虹合，使得僅 ^ "〜像储存於記憶體中：當 ::集（組合)影像。當掏取按紐被按下至S2 a寺，擷 取早一向解析度影像。可以1〇 ' ° 獲取高解析度影像。高解析度影像:=感測器解析度 像之曝光時間相比可較短、較 # B與低解析度影 吾長或貫質上相同，此取決於場 景中所存在之光位準以及取決於相機及場景之任何運動 取完成時之擷取集包括單一聚# ° Π)百萬像素影像。 百萬像素影像以及單一 圖^更詳細描述圖4之擷取及組合低解析度影像之步驟 之触Γ乍者將顧取按紐按下至S1位置後，低解析度影像 議及組合連續發生’直至將摘取按知按下至S2為止 ()，取-個別低解析度影像⑽），且隨後與聚集低解 析^像組合(530)。在較佳具體例中，使用—無限脈衝回 應慮波ϋ將低解析度影像組合為一聚集低解析度影像。無限 脈衝回應遽波器係熟習此項技術者所熟知的。在本發明之情 況下無限脈衝喊驗器具有以下性質：任—時刻之經 遽波之值（Μ⑽析度影像)係當前及先輕解析度影像 099129063 20 201112169 之、·&加權，，且口，其中每一低解析度之權 言，經擷取低解析絲像及㈣低 鱗具體而 以下公式給予·· _ 又衫像之間的關係由 ^[l] = c[i] 刷=(1-4Φ、ι]+αφ]其中 η>1。 在此公式中，A表示聚集低解析度影像。 解析度影像，且括弧令之數字η 表不經擷取低 個操取的低解析度影像。因此，聚應於第η 定為等於第1#|取之低解析度影像 ^像被初始設 度影像更料“當前綠之低解❹料低解析 解析度影像之經加權組合。參數與先前聚集低 對重要性。失缸 市』田則擷取之圖框的相 對重要i·生參數0：限於範圍_，較佳值為 影像可被去棄（或例如僅另外用於H、、且口’則該低解析度 後被丟棄)。 於自動聚焦及自動曝光且隨 析合之前將當前操取之低解析度影像與聚集低解 析度〜像對準。具體而言 動估計及補償的步驟 估計及補償步驟可考慮到全二度影像對準^運動 々相機運動以及另外亦考慮到 …動。用於全局及局部運動估計及補償之技術係各式各 099129063 201112169 樣的，且為熟習此項技術者所熟知。 在較佳具體例中’揭取之低解析 為CFA影像，日_ W冢隹一組合時保持 擷取之低解析心:_斤度影像亦為CFA影像。或者， 顏色⑽以產生全色彩低解折声 ”…Λ集低解析度影像亦可為全色彩影像。_又 成i =組合低解析度影像之方法具有的優點在於I達 時儲存該等影俊。另认— 風^之皿處而不必同 重，聚集⑽精由龍賴取之f彡像加較大權 影像之7影像較偏向場景之最近狀態。與低解析度 :之高解析度影像外，等:。== 僅集⑽析度影像之計算上有效率的組合其 而要間早的加法及 運算。類似地，等於05之:;用較複雜的乘法或除法 同時仍僅α 11用以額外強調較近的影像， 夺仍僅玲要加法及移位運算。 圖6更詳細描顧4之組合低解析度與高解析度影像之+ —450。在操作者將擷取按钮按壓至S2(43G)後，掏取一二 =影像Γ。因此，組合低解析度與高解析度影像： : 问解析度影像610及—聚集低解析度影像620開 。。减地’使高解析度影像之解析度減小（63〇)。此步驟 生一代表性低解析度影像。此步驟可包含像素级合、抽取 及截除。在較佳具體例中，減小高解析度影像之解析度的步 099129063 22 201112169

驟經設計以模仿由相機使用％生低解析度影像的步驟。 解析度減小之-關如下’其針對—財256Q 列之5百萬像素拜耳圖案感㈣。將高解析度影像縮減以產 生-謂乘720 HD視简析度影像，諸如在將 按下至S1位置時產生的影像。自感测器資料之頂部戴除224 列資料。自感測器資料之底部截除28〇列。剩餘⑽ 购列在每-維度上以2之因數讀位方式組合。此數位 組合係藉由將每個4乘4拜耳像素資料之區塊縮減至Μ] 拜耳像素資料之區塊而達成。此可藉由纟且合對應拜耳圖案像 素位置之像素值而達成。四健色像素值經組合以產生二個 經組合藍色像素值。類似地，四個紅色像素值㈣合以產生 一個經組合紅色像素值。與紅色像素在相同列上之四個綠色 像素值經組合⑽成-經組合綠色像素值q與藍色像素在 相同列上之其它四個綠色像素值經組合以形成另—經組合 綠色像素值。可藉由將經組合像素值除以造成該值之像素二 數目來正規化該等經組合像素值。組合步驟亦可吾棄該等像 素值中之⑨。舉例* §，在形成組合像素值時可僅使用四 個像素值中之兩者。 代表性低解析度影像隨後被空間内插回至原始高解析度 衫像之解析度(64G)。此過程產生—㈣插高解析度影像。 在原始高解析度影像之某些列或行在代純低解析度影像 之形成期間被截除的情況下，該内插步驟僅產生—與經戴除 099129063 2〇1112169 之高解析度影像具有相同 例中，將雙三次内插用1^生‘影像。在較佳具體 熟習此項技術者將認識到，存阿解析度影像。然而 -短内插高解析度影像。5夕合適的_技術來產生 在步驟650中，將該經内插高解 影像減hx產生L,# w像自原始高解析度 係不同大^物㈣高解析度影像 職餘〜像可與_插高解析度f彡像為相同大 二且=來自原始高解析度影像之額⑽ 解析原心解析度影像為相同大小^在經内插高 解析度影像之解析度以外的 门 於原始高解析度影像的值。庫、、主立置處殘餘影像可具有等 則不再需要儲存原始高解析度影；/產生了殘餘影像， 在步驟660中，將聚集低解 像組合以形成-最終低解析_像像/、代表性低解析度影 最玖低缸仏你 崎“像°—旦此步驟完成’則將 之解像内細至（可能_除的）高解析度影像 =_)。在較佳具體例中’此内插步驟等同於步驟 中所使用之__。最終，將_ 2最终低解析度影像)加至殘餘影像㈣成-經改 析度影像680 〇 叹良间解 一在圖6之總體框架内可包含額外之雜訊清除操作。特定而 =1將斑_祕除應料㈣_切提供之原始高解 析又衫像。另外，可藉由對步驟_中所計算出之殘餘影像 099129063 24 201112169 進行空間低通濾波來從高解析度影像中移除高頻率雜訊。 圖7更詳細描述組合聚集低解析度影像與代表性低解析 度影像以形成-最終低解析度影像之步驟㈣。在步驟 中，計算聚祕騎度影像與代表性⑽析度影像之 動。此在相機需要-顯著時段以自S1掏取模式切換至幻 且獲取祕析度影像的情況下可尤其適當。舉例而古 最後的低騎度影狀録與高㈣度影叙_之門^ 去^秒’财组合轉⑽析度影像與代紐低解析= 像之則使聚集低解析度影像與代表性低解析 為適，。此運動校正步驟可考慮到起 ：= 運動。其Γ考相起因於場景内之物件移動的局料動 一旦:低解析度影像與代表性低解析度影像 到匹配像素之映射⑽）。將匹配像素定義為 、m 影像與代表性低解析度影像具有匹配之場景資料的=度 素。對應像素值可由於諸如雜訊或照明改變的因偏不寺像 彡像與代表 射。差異量值小__準;匹配像素之映 初歸類為匹配。將其餘像 匹里倍數的彼等像素最 應用形態運算-除經可隨後對該映射 區之邊界。 象素’且亦擴大不匹配 在步驟730中 ’針對匹轉料算料低解析度影像 099129063 在 25 201112169 此等位置處，最終低解析戶 與代表性輯析錄騎集低解析度影像 计异為该兩影像之雜 崔十句值。權重可 使〜為與聚集低解析戶ϋ之函數。針對一給定像素， 偏差，且使仏為與代:像素資料相_之雜訊的標準 〆、戈表f生低解析度影像傻欠 雜訊的鮮偏差。則最終低解析度影像像素值H關聯之 + σ. Ir,

Λ 1 UA 其中4為最終低解析度影像 影像像素值，且A '、 4為聚集低解析度 解柄声与禮少祕戈表性低解析度影像像素值。聚隼你 解析度4之雜訊標準偏差騎素值、每— I集低 整合時間以及由於像素組合又衫像之 亦為在無限脈衝回應 U正規化的函數。其 參數的函數。《之較小:：令用以組合低解析度影像之α 值導致較大的潛在雜訊、讳小 :解析度影像之雜訊標準偏差為像素值、高解二;表性 以及由於形成代表性低解析度影像^ 使用之任何正規化的函數。 洲象素Μ合而 在步驟740中，斜母+ 初始地，對料像抑/轉料算最終低解析度影像。 等像素不具有料==細_叙值。由於此 該資料。此通常對/於未度影像之良好匹配’因此不使用 運動區域。在最終準或有阻塞物阻止任何對準的 、低解析度影像中，不匹配像素比匹配像素 099129063 26 201112169 雜 保持較大雜訊。為了移除或最小化最終低解軒度影像 空間上變化的雜訊，可以低通爐波器料匹=此 行空間濾波以經轉素達成之比助#的_來減少進 圖8說明本發明之—替代具體例。在此具體例中， 度及。高解析度影像由―具有―含有全色像素及色彩像素= 感測器的影像擷取裝置來擷取。在圖9中給予含有色奢像、 及王色像素之影像感測器之一代表性部分的範例。在圖9 中，將全色像素(P)與紅(R)、綠(G)及藍(p)像素組合。2色9 像素提供對光之額外敏雜，且含有全色像素之感測器可用 以達成相對於傳統拜耳CFA感測器之改良的低光成像。再 參見圖8，在步驟81〇中，擷取多個低解析度影像，隨後擷 取一或多個高解析度影像。在步驟82〇中，將低解析度影像 組合為單一聚集低解析度影像。組合低解析度影像之過程可 在擷取完成之後發生。在此情況下，在低解析度影像之組合 之前，將所有低解析度影像或至少與相機記憶體可容納之低 解析度影像一樣多之低解析度影像儲存於相機中。或者，可 在擷取低解析度影像時將其組合為一聚集低解析度。在步驟 830中，將聚集低解析度影像與鬲解析度影像組合以產生— 經改良向解析度影像。此方法體現用以改良低光成像效能之 技術的組合：使用全色像素與使用多個低解析度影像來改良 一高解析度影像。 099129063 27 201112169 本發明提供用於產生一 要素。與使用多個高解析度二=析度影像之若干有利 議演算法相比，使用低解析度影高解析度 =取與高解析度影像之掏取之間的最小延遲：析度影像 在擷取過程期間所發生目此最小化 影像使改良著重於高解析度影像;二 (顏色斑）常被視為―影像中最麻煩、最使人射且^雜訊 Γ雜訊’且低解析度影像特別提供了針對低頻2= 戈明之另—有利特徵在於其可以低記憶體及計算成本 來貫施，且輸出可直翻敍標準影像處闕中。低解析卢 ⑽可保持為CFA圖案影像，且經改良高解析度影像可^ 一經改良CFA圖案影像。此經改良高解析度影像可隨後直 接輸入回至影像處理路徑中。 本發明尤其有用於低光成像情境。在此情況下，通常可適 當的具有長曝光以採集足夠的光來達成可接受之訊號雜訊 ^然而此長曝光可導致由曝光期間之相機搖晃引起之模糊 影像。低解析度影像可用以提供—經改良信號_雜訊位置， 且因此減少高解析度f彡像之所需曝光時間，#此減少運動模 糊且k供影像穩定化之途徑。 亦可結合自諸如迴轉儀或加速計之裝置所提供之運動資 訊而使用本發明。在高解析度擷取期間所進行之迴轉儀量測 099129063 28 201112169 在擷取期間是否發生顯著減移動，且若發生，則可 以改ί Γ頡取’且先前(或隨後)所擷取之低解析度影像可用 解雜訊位置，同時允許具有減少之運動模糊的高 之前可狀迴轉儀量測可用以評估麵取期間相 若言^及預期移動’且可用以相應地設定高解析度曝光。 低:」度曝光被縮短至所要的曝光時間以下，則可用來自 民解析度梅取之資訊補充該信號。 目^控制H 50可選擇總是將高解析度曝光自初始計算之 〜、光％&，且以低解析度影像補償錢之信號。 影像之類二 使=析度影像來改良高解析度;;之雜=可藉由 位方另Ϊ用途為初始操取高解析度影像且將其以數 像盘Ll ϋ场成低解析度影像。可隨後將此等低解析度影 =、祕操取之高解析度影像組合。在此情 -析度影像，因此不存在經格化影像之快 …低解:=:得:::::::像可_-單-聚 影像改良高解析度影二==:聚集，度 099129063 低頻率中之雜訊通常難以清除且亦在視覺上:Γ厭:像之 可基於擷取料及相機能力來選擇每-低騎度影像之 29 201112169 圖框率、解析度以及曝光。在較佳 低解析度影像之解析度大約^㈣在母—維度上， 分之―。此解析度減小量允析度的三 原始高頻率，其防止引人常常在^ =解析度影像保持其 及由於場景内之運動帶來u ”、’且°有相等空間解析度 丈功π木之某種場 時所發生的視覺假影。在較佳具體例 ^多個影像 30影像/秒擷取，或在針對所要解析㊉析度影像係以 大速率低於3〇影像/秒之情況下以:機相機之最 取。在較佳具體例中，每—低解析度影像之望率進行擷 速率之倒數。亦即，若相機可每秒擷取％個鱗=機之 則每一低解析度影像之曝光為1/3〇秒。 斤以像， 例中，在格化過㈣間麵棄像素。舉’在較佳具體 度中之3X之格化因數，此導致9個像素經組合 經格化像素值。在正成像之場景具有足料，使㈣ 曝光及格化設定導致過曝及飽和之情況 — 了错由減少每一 影像之曝光或藉由在格化過程期間丢棄— 改低解析度影像。 ，像素資料來更 熟習此項技術者將認識到存在本發明之許夕 【圖式簡單說明】 去。 圖1為可採用習知感測器及處理方法或本發日 X月之感測杰 及處理方法之習知數位靜態相機系統的方绳圖. 099129063 30 2〇1112169 部分的拜耳濾色 圖2(先前技術）為用於一影 器陣列圖案的視圖； ^(先前麟)提供紅、綠及藍色” :率曲線以及一較寬光譜全色量子效率，其八，性光譜量子 裁止據波器之透射特性倍增； 、王。卩由—紅外線 圖4為展示本發明之1體例的流程圖； 圖5為說明—聚#低解析度影像之 圖6 A 4 nn & X的/泉程圖； 圖：為說明從—高解析度影像及一圖 成^經改良高解析度影像的流程圖；-解析度讀形 像L7人為說明—代表性低解析度影像與1集低解析度影 冢之、、且合的流程圖； ^ 8為使用—具有全色像素及色彩像素之感測器之本發 另—具體例的流程圖；以及 圖 9(先前技術)為一 < 器之 一代表性部分之— 【主要元件符號說明】 10 光 11 成像級 12 透鏡 13 遽波器區塊 14 光闌 16 感測器區塊 099129063 貧全色像素及色彩像素之影像感測 31 201112169 18 快門區塊 20 影像感測器 22 類比信號處理器 24 A/D轉換器 26 時序產生器 28 感測器級 30 匯流排 32 DSP記憶體 36 數位信號處理器 38 處理級 40 曝光控制器 50 系統控制器 52 匯流排 54 程式記憶體 56 糸統記憶體 57 主機介面 60 記憶卡介面 62 插口 64 記憶卡 68 使用者介面 70 取景器顯示器 72 曝光顯示器 099129063 32 201112169 74 76 80 82 88 110 112 114 116 118 410 420 430 440 450 510 520 530 610 620 630 640 使用者輸入 狀態顯示器 視訊編瑪 顯示控制器 影像顯示器 濾波器透射曲線 全色光回應曲線 色彩光回應曲線 色彩光回應曲線 色彩光回應曲線 擷取按鈕至S1區塊 影像獲取及組合區塊 擷取按鈕至S2區塊 影像獲取區塊 影像組合區塊 擷取按la查詢 影像獲取區塊 影像組合區塊 高解析度影像 聚集低解析度影像 解析度減小區塊 内插區塊 099129063 33 201112169 650 660 670 680 710 720 730 740 810 820 830 殘餘計算區塊 影像組合區塊 内插區塊 影像組合區塊 運動估計及補償區塊 映射建置區塊 影像形成區塊 影像形成區塊 影像獲取區塊 影像組合區塊 影像組合區塊 099129063 34

Claims (1)

1. 201112169 七、申睛專利範圍： 種使用由相同影像掏 析度影像及至少1高解折度影：之:場景之低解 度影像的方法，其包含· 4认供―經改良高解析 :影該場景之複數個低解析度 -像二 ，合峨解_一，::：= C)藉由以下操作 度影像以提供該經改影像與該聚集低解析 由該置===解析—-代表一能 置所擷取之低解析度影像的 度影像 插韻表性低解析度影像以提供—_插高㈣ ⑴)根據該高解析度影像及該 一殘餘影像，· 内插高解析度影像計算 其中，步驟b)進一步包 以提轉析繼 改解析度影像及該殘餘影像來提供該經 2·如争請專利朗第1項之方法， 099129063 35 201112169 使用一無限脈衝 提供-聚集低解析度影广來組合該等低解析度称 _ 3.如申請專利範園第 含校正存在於該等低解法，其令，步驟b)進—步包 像之間的運動。 〜像中之至少—些低解析度影 4. 如申請專利_第丨 包含使用實質上與在,你法，其中，步驟0〇進一步 相同的袼化及抽取程序來寻^解析度影像之掏取令所使用之 5. 如申請專利範= == =影像之該解析度。 包含校正存在於該 ，、步驟c)iv)進— 影像之間的運動。低解析度影像與該代表性低解折度 6·如t請專利範圍第！項之方法，其中， 包含形成一識別匹配傻杳&址4 進〜步 低解拼声旦1 在該等叹配像素中h \解析度⑽與代表性低解析度影像具有匹配之;^聚集 •如申請專利範圍第6項之方法，其中 〜資料。 集低解析度影像及代表性低解析度影像料資^鼻對應聚 平均值而針對匹配之像素形成該最終低旦之〜加權 僅使用該代表性低解析度影像像素資料而針:;象，且藉由 形成該最終低解析度影像。 匹配像素 8,如申請專利範圍帛7項之方法，其進一步包括將〜 低通濾波器應用於該最終低解析度影像之不匹配像素''空間 9·如申睛專利範圍第i項之方法，其中，步 ，' c)v)進〜牛 099129063 ^ 201112169 包含内插該最終低解析度影像，且將該殘餘影像加至該 插最終低解析度影像以提供該經改良高解析度影像。^ Π).如申請專利範圍第】項之方法，其中，該等 影像及該南解析度影像為全色彩影像。 X Π.如申請專· _丨項之方法，其卜該等低解析产 影像及該高解析度影像為渡色器陣列影像，且該 ς 析度影像為-濾'色轉觸像。 “解 π·如申請專·圍第丨項之方法，其中，料低解析戶 影像及該㈣析度影像具有色彩像素及全色像素。- 析㈣像娜裝置賴取之1景之低解 又 夕個向解析度影像來提供一經改良高解析 度影像的方法，該影像擷取裝置具有— 像素之影像感測器，該方法包含： 像素及“ a)使用-具有—含有全色像素及色彩像素之影像感測器 的衫像娜裝置來姆該場^複 像 該場景之至少-個高解 _析度〜像以及 呈有-大於L 像5亥至個高解析度影像 錢解析度影像之解析度的解析产. 及_合該等低解析度影像以提供―聚集低㈣度影像；以 C)組合該g解析㈣像能㈣ 經改良高解析度影像。 彳度々像以ku 14'如申_範圍第13項之方法，其中包含： 099129063 37 201112169 i) 減小該高解析度影像之該解析度以提供一代表一能 由該影像擷取裝置所擷取之低解析度影像的影像； ii) 内插該代表性低解析度影像以提供一經内插高解析 度影像； i i i)從該高解析度影像及該經内插高解析度影像計算一 殘餘影像； iv) 組合該代表性低解析度影像與該聚集低解析度影像 以提供一最終低解析度影像；以及 v) 使用該最終低解析度影像及該殘餘影像來提供該經 改良之高解析度影像。 099129063 38