TW201127076A - Automatic backlight detection - Google Patents

Description

201127076 六、發明說明： 【發明所屬之技術領域】 本發明大體而言係針對視訊及靜態影像處理， 5之’係關於影響影像產生之背光彳貞測。 【先前技術】 照明條件影響藉由靜態及視訊相.機拍攝之數位影像" 質。舉例而言，在背光條件下擷取前景中之物件的影像; 導致感興趣之物件看似比背景暗。因此難以檢視所掏取之 景）像上的物件之細節。 背光導致影像之背景具有高於感興趣之物件的照度。背 光條件可發生於室内、室外或混合的室内及室外環：中。 歸因於由背光產生之明亮背景，感興趣之物件可能比所要 之照度暗。 丄數位攝影術中之進展已產生抵消背光之技術。舉例而 吕，閃光、背光伽瑪（gamma)、明度適應及增加曝光能力 之進展可起作用以使感興趣的物件變得明亮。 儘官存在此等進展，但一些使用者未能受益於此等背光 補債技術。使用者按照慣例手動地啟動背光補償功能。開 關或其他啟動序列之手動本質要求使用者知曉何時接通背 光補償功能為適當的。啟動此功能所涉及之步驟對於一些 使用者而言可能並不便利。舉例而言，攝影者可能不願意 將其注意力自其攝影主題轉移開以便輕按背光開關。因 此，一些使用者並不利用背光補償技術且降級至擷取具有 降低之圖像品質的影像。 147439.doc 201127076 【發明内容】 一特定實施例使用背光測試之一組合自動地偵測一背光 條件。一第一測試藉由評估自影像資料所產生之直方圖資 料是否超過高頻臨限值及低頻臨限值而判定一背光條件之 存在。一第二測試使用所收集之自動白平衡統計來識別該 影像資料之室内及室外區域。進一步使用該室内資料與該 室外資料之一比較來判定一背光條件之存在。在一第三測 試在該影像中偵測到一面部的情況下，一實施例可提供面 部背光補償。 在另一特定實施例中，揭示一種方法，該方法包括在一 自動白平衡模組處接收影像資料且產生自動白平衡資料。 該方法進一步包括基於該自動白平衡資料而偵測一背光條 件。 在另一實施例中，揭示一種裝置，該裝置包括一經組態 以接收影像資料之自動白平衡模組。該裝置包括一背光偵 測模組。該背光偵測模組經耦接以接收來自該自動白平衡 模組之資料，且包括用以基於來自該自動白平衡模組之該 資料之一評估而判定一背光條件是否存在的邏輯。 在另一實施例中，揭示一種裝置，該裝置包括用於自動 地使影像貧料白平衡以產生白平衡資料之構件，以及用於 基於該白平衡資料而偵測一背光條件之構件。 在另一實施例中’揭示一種儲存電腦可執行碼之電腦可 讀媒體。該電腦可讀媒體包括可由—電腦執行以自動地使 影像資料白平衡以產生白平衡資料之程式碼。該可由該電 147439.doc 201127076 腦執行之程式碼可基於該白平衡資料而谓測一背光條件。 藉由所揭示之實施例提供之特定優點可包括改良之使用 者便利及影像品質。實施例可包括—種連續地執行之智慧 型且自動之背光偵測演算法。當該自動背光偵測演算法谓 測到-背光條件時，-裝置可在無使用者干預之情況下自 動地應用背光補償。 本發明之其他態樣、優點及特徵將在檢視整個申請案之 後變得顯而易見，整個申請案包括以下章節：圖式簡單說 明、實施方式及申請專利範圍。 【實施方式】 圖1為說明可自動地偵測—背光條件之裝置⑽之方塊 圖。裝置1〇〇可包括影像處理單元1〇2，其用以根據各種實 施例儲存影像資料104且對影像資料1〇4執行各種處理技 術。如本文中所描述，影像處理單元102可產生自動白平 衡資料且使用自動白平衡資料來偵測一背光條件。大體而 言，裝置⑽可藉由提供背光條件之自動谓測及校正或補 償而增強數位成像法。 影像處理單元102可包含一晶片集，該晶片集包括數位 信號處理器（DSP)、晶载記憶體及硬體邏輯或電路。更大 體而言’影像處理單元102可包含處理器、硬體、軟體或 勃體之任何組合’且可因而實施影像處理單元1〇2之各種 組件。 在圖1之所說明之實例中’裝置1〇〇亦包括區域記憶體 心及記憶體控制器⑽。區域記憶體⑽可儲存原始影像 147439.doc 201127076 貝料/。區域記憶體1〇6亦可在由影像處理單元1〇2執行之處 理之後儲存經處理的影像資料。 記憶體控制器108可控制區域記憶體1〇6内之記憶體組 織：記憶體控制器108亦可控制自區域記憶體1〇6至影像處 理早兀102之記憶體載入。記憶體控制器1〇8亦可控制自影 像處理單元H)2至區域記憶體⑽之回寫。可在影像搁取之 後將由影像處理單元1()2處理之影像自影像類取裝置ιι〇直 接載入,區域記憶請中，《可在影像處㈣間將由影 像處理單tc 1 〇2處理之影像儲存於區域記憶體1 中。 在例示性實施例中，裝置1〇〇包括用以擷取經處理之影 像之影像擷取裝置110，但本發明不限於此方面中。影像 擷取裝置110可包括固態感測器元件陣列，諸如互補金氧 半導體（CMOS)感測器元件、電荷耗合器件（CCD)感測器元 件或其類似者。或者或另外，影像擷取裝置11〇可包括一 組影像感測器，該等影像感測器包括排例於該等各別感測 盗之一表面上之彩色濾光片陣列（CFA)。在任一狀況下， 可將影像擷取裝置丨10直接耦接至影像處理單元1〇2以避免 影像處理中之潛時。熟習此項技術者應瞭解，亦可使用其 他類型之影像感測器來擷取影像資料1〇4 ^影像擷取裝置 110可擷取靜態影像或全運動視訊序列。在後者狀況下， 可對視訊序列之一或多個影像圖框執行影像處理。 裝置100可包括顯示器114，其在如本發明中所描述之影 像處理之後顯示影像。在影像處理之後，可將影像寫入至 區域記憶體106或至外部記憶體丨12。可將經處理之影像發 147439.doc 201127076 送至顯示器114以用於呈現給使用者。 二：狀況下，裝置10。可包括多個記憶體。外部記憶 "2…可包括一相對大之記憶體空間。外部記憶體 :广含動態隨機存取記憶體(DRAM)。在其他實例中， 卜P °己隐體112可包括非揮發性記憶體（諸如 S’一或任何其他類型之資料儲存單元。區域記憶體二 已各相對較小且較快之記憶體空間。藉由實例，區域記 隐體1 〇6可包含同步動態隨機存取記憶體（SDRAM)。 ^域記憶體106及外部記憶體112僅為例示性&，且其可 :二至ϋ:記憶體組件中，或可以多個其他組態來實施。 一」!疋實施例中，區域記憶體106形成外部記憶體"2之 β刀（通常在SDRAM中）。在此狀況下，在無 影像處理單元一如& 起位於晶片上之意義上，區域記憶體 ，、夕部記憶體112兩者可為外部的。或者，區域記憶體 立可匕广日日載5己憶體緩衝器，而外部記憶體112可在晶片 外。P ° &域記憶體106、顯示器114及外部記憶體112(在需 要時’及其他組件)可經由通信匯流排116而耦接。 、 亦可包括傳輸器（未圖示），該傳輸器用以將經 處理之影像或經編碼之影像序列傳輸至另— 之技術可由包括I & 4 ^ 位相機功能性或數位視訊能力之手持型 無線通信器件（諸‘ (諸如，對於蜂巢式電話）來使用。在彼狀況 下，器件亦可自拓细h „。 匕括調變益-解調變器（MODEM)以促進將基

頻信號無線調變$ I 戰波波形上，以便促進經調變之資訊的 無線通信。 147439.doc 201127076 圖/之〜像處理單元I 02可包括背光偵測模組11 8、自動 平衡模，’且1 20、直方圖模組丨22、面部偵測模組1 及背 光補償模組126 °如下文更詳細論述，背光偵；轉組m可 使用多則貞測處理程序。背iU貞測模組118可經搞接以接 收來自自動白平衡模組之資料。背光偵測模組118可經 組態以基於來自自動白平衡模組120之資料之評估而偵測 一背光條件。舉例而言’背光偵測模組118可經組態以將 像之第D卩77 6戠別為室内區域且將影像之第二部分識別 為室外區域。背光偵測模組118可藉由比較室内區域之要 素與第一臨限值而評估一亮度條件。背光偵測模組i丨8可 進一步比較室外區域之要素與第二臨限值。可回應於與該 第一臨限值及該第二臨限值相比較所得的室内區域及室外 &域之所έ平估之亮度條件而作出背光判定。 背光偵測模組11 8可包括背光判定邏輯丨28、室内/室外 比杈邏輯130 ’及用於與自動白平衡模組12〇介接之介面 132。室内/室外比較邏輯13〇可處理自動白平衡模組12〇之 輸出以識別所接收之影像資料1 〇4的室内及室外區域。背 光判疋邏輯12 8可搞接至室内/室外比較邏輯13 〇且可經組 態以判定一背光條件。以此方式，背光判定邏輯丨28之輸 出138可部分基於由自動白平衡模組12〇產生之自動白平衡 資料。 自動白平衡模組120可經組態以接收影像資料ι〇4且收集 統計。自動白平衡模組120之一實施例可根據該等統計進 —步應用白平衡增益。自動白平衡模組120可輸出自動白 147439.doc 201127076 平衡資料，該自動白平衡資料由背光偵測模組ιΐ8使用以 評估背光。 用以偵測背光之另一測試單元包括直方圖模組122。直 方圖模組122可對直方圖資料應用高及低臨限值百分比， 乂判疋月光條件之存在。在直方圖資料超過高臨限值與 低臨限值兩者之情況下，直方圖模組122可判定存在一背 光條件。舉例而言，直方圖可包括指示影像中之照度的頻 率曲線圖。高臨限值百分比及低臨限值百分比可包括於直 方圖中。直方圖模組122可判定一些像素比低臨限值暗。 直方圖亦可指示存在比高臨限值明亮之一些像素。當存在 超過兩個臨限值之像素時，直方圖模組122可指示制到 一背光條件。 .右未超過直方圖之兩個臨限值，則直方圖模組Η〕可替 代地指示未偵_背光條件。舉例而t，若存在比高臨限 值月儿之像素’但不存在比低臨限值暗之像素，則直方圖 模組122可判定不存在f光條件。在既不超過高臨限值亦 不超過低臨限值之情況下，可判定相同結果。 實施例可使用直方圖模組122來評估直方圖資料。可處 理直方圖資料則貞測—背光條件。舉例而t，在每一端處 包括峰值之直方圖可指示一嚴重背光條件。在直方圖之高 端中具有峰值且在黑暗區域中增加的另一 適度背光條件。在高端中具有一峰值之再 於一輕微背光條件。 直方圖可指示一 一直方圖可對應 直方圖模組122可使用此直方 圖資料來對影像資料104執 • ς 147439.doc 201127076 行一第一背光測試。舉例而言，直方圖模組122可判定具 有小於第一值之亮度值之像素的數目是否超過第一臨限 值。直方圖模組122亦可判定具有大於第二值之亮度值之 像素的數目是否超過第二臨限值。 面部偵測模組124可調整背光補償，以使所偵測之面部 達到一恰當亮度位準。在影像資料中不存在面部之情況 下，可應用規則背光補償。在一些實施例中，面部偵測模 組I24可包含一輔助測試處理程序。 背光補償單元126可包括用於抵消背光現象之處理程 序，包括面部優先背光補償技術。閃光、背光伽瑪、明度 適應及增加曝光技術可用以使感興趣之相對較暗之物件變 得明免。 影像資料104可到達影像處理單元1〇2。如圖丨之實施例 中所展示直方圖模組122可用以基於自影像資料1 〇4所產 生之直方圖資料而偵測一背光條件。影像資料1〇4可同時 到達自動白平衡模組〗2〇。自動白平衡模組12〇可收集自動 白平衡資料’ t亥自動白平衡資料由背光偵測模組118評估 以判疋疋否报可能存在一背光條件。可聯合地處理直方圖 核組122與自動白平衡模· 12G之輸出，以判定是否存在一 月光條件舉例而言，背光彳貞測模組丨i 8可在判定直方圖 模組122與自動白平衡模組m兩者之各別輸出指示一背光 條件之可能性之後偵測一背光條件。 在未偵測到月光條件之情況下’可藉由背光補償模組 126之；ϋ規月光補償處理程序134來處理影像資料1〇4。亦 147439.doc 201127076 可藉由面部偵測模組i24來處理影像資料1〇4。面部偵測模 組124可判定影像資料丨附是μ括任何面i視面部债 測模組124之判定而定，除將影像資料1〇4傳遞至常規背光 補償程式128之外或替代於將影像資料1〇4傳遞至常規背光 補償程式128，可將影像資料⑽傳遞至背光補償模组126 之面部優先背光補償處理程序丨3 6。 裝置1〇〇可形成能夠編碼及傳輸及/或接收視訊序列之影 像擷取器件或數位視訊器件的部分。藉由實例，裝置100 可包3獨立數位相機或視訊攝錄影機、無線通信器件（諸 如，蜂巢式或衛星無線電電話）、個人數位助理（pDA) '電 服，或具有成像或視訊能力之任何器件（其中需要影像處 理）。 多個其他元件亦可包括於裝置1〇〇中，但為說明之簡單 及容易起見’在圖1中未具體說明。圖1中所說明之架構僅 為例示性的，因為本文中所描述之技術可以多種其他架構 來實施。 圖2展示可由圖1之直方圖模組122產生及處理的例示性 直方圖200。可自動地評估直方圖2〇〇之資料以偵測一背光 條件。如圖2之貫施例中所展示’直方圖2 〇 〇包括指示照度 之頻率曲線202。包含低臨限值204之線與包含高臨限值 206之線可包括於直方圖200中。如圖2中所展示，例示性 直方圖200包括比低臨限值204暗之一些像素208。直方圖 200亦指示存在比高臨限值2〇6明亮之一些像素21〇 ^在存 在分別超過兩個臨限值204、206(如所展示）之像素208、 147439.doc 201127076 210的情況下，直方圖模組122 -背光條件。 以偵㈣或很可能存在 若直方圖之像素資料不超過兩個臨限值204、206，則直 方圖模組122可輸出：未偵測到背光條件。舉例而、直 方圖可包括比低臨限值暗之多個像素，但可能不且有比古 臨限值明亮之像素。在此實例中，直方圖模組m可判： 未偵測到背光條件。 ,對於偵測許多背光場景’圖2中所說明之直方圖偵測技 術可為有利的U，比低臨限值2()4暗之像素可能表示 影像資料m中實際上非常暗且可能並非感興趣之物件的 物件。可使用額外背光測試來證實或起始直方圖模組 之背光判定。 可由圖1之自動白平衡模組i 20來執行一個此額外背光測 試。自動白平衡模組120可處理所接收之影像資料1〇4，以 收集包括自動白平衡資料之統計。可使用自動白平衡資料 來比較室内及室外樣本以用於偵測一背光條件。圖3用圖 形展示一方法，該方法由自動白平衡模組12〇使用以收集 統计且另外產生用於室内/室外比較中之自動白平衡資 料0 圖3特別展示說明一統計收集方法之圖3 〇〇，該統計收集 方法使用矩形框302，矩形框302包括定中心於灰色點304 上之YCrCb色空間的兩個維度（Cr及Cb)中之灰色像素。圖3 用圖形展示圖1之自動白平衡模組120可過濾所接收之影像 資料104以產生自動白平衡資料的方式。在一組態中，圖j 147439.doc 12 201127076 之白平衡模組120可過濾所擷取之影像，以選擇包括於預 定照度範圍内之灰色區域。白平衡模組i2〇可接著選擇滿 足預定Cr及Cb準則之彼等剩餘區域。自動白平衡模組12〇 之過濾處理程序可使用照度值來移除過暗或過明亮之區 域。可歸因於雜訊及飽和度問題而排除此等區域。自動白 平衡模組12 0可將相關聯之遽波函數表達為多個等式。可 將滿足不等式（等式）組之區域視為可能的灰色區域。 自動白平衡模組120可提供每一區域之γ之總和、^之 總和、Cr之總和，及像素之數目。可將影像劃分成ΝχΝ個 區域。可使用以下等式來設立統計收集： Y <=Ymax (1) Y>=Ymin (2)

Cb<=ml*Cr+cl (3)

Cr>=m2*Cb + c2 (4)

Cb>=m3*Cr+c3 (5)

Cr<=m4*Cb+c4 (6) 值ml至m4及cl至C4可表示預定常數。可選擇此等常 數，以使得經過濾之物件準確地表示灰色區域，同時維持 經過濾之物件之足夠大的範圍及待針對所擷取之影像估計 的施照體。可與其他實施例一起使用其他等式。 可將一影像劃分成含有Lxm個矩形區域，其中[及M為 正整數。在此實例中’ N=LxM可表示一影像中之區域之總 數。在-組態中’自動白平衡模組12G可將所掏取之影像 劃分成多個8，16><16像素區域。自動白平衡模組12〇可 147439.doc -13- 201127076 將所擷取之影像之像素（例如）自RGB分量變換成YCrCb分 〇 自動白平衡模組120可處理經過濾之像素以產生針對該 等區域中之每-者的統計。舉例而言，自動白平衡模組 120可判疋經過濾或受約束之Cb之總和、經過濾或受約束 之Cr之總和、經過濾或受約束之γ之總和，及根據對於 Y、Cb及Cr之總和之約束而選擇的像素之數目。自區域統 計，自動白平衡模組12〇可判定每一區域的Cb、心及丫之 總和除以選定像素之數目以產生“之平均值（aveCb)、& 之平均值（aveCr)及Y之平均值（aveY) ^裝置1〇〇可將該等統 計變換回成RGB分量’以判定r、〇及B之平均值。 圖1之自動白平衡模組12〇可將區域統計變換成一柵格座 標系統，以判定與針對一座標系統而格式化之參考施照體 的關係。在一組態中，自動白平衡模組i2〇可將區域統計 轉換及量化成一（R/G，β/G)座標系統中之ΝχΝ個柵格中的 一柵格。不需要線性地分割柵格距離。舉例而言，可由非 線性分割之R/G及B/G軸線形成一座標栅格。自動白平衡 模組120可丟棄在預定範圍之外的成對之（aveR/aveG， aveB/aveG) 〇 在一實施例中，自動白平衡模組12〇可有利地將區域統 什’羞換成一個二維座標系統。然而，二維座標系統之使用 並非一限制，且裝置100可經組態以使用座標系統中之任 何數目個維度。舉例而言，在另一組態中，裝置i 可使 用一個二維座標系統’該三维座標系統對應於經正規化為 147439.doc • 14· 201127076 一預定常數之R、G及B值。自動白平衡模組120可經組態 以提供用於與所繪製之樣本相比較的參考施照體之位置。 裳置100可經組態以儲存對於一或多個參考施照體之統 叶。可在一校準常式期間判定對於該一或多個參考施照體 之統計。舉例而言，此校準常式可在一製造過程期間量測 一相機之各種部分的效能。 一特徵化處理程序可量測辦公室燈光下之一類型之感測 盗的R/G及B/G。製造過程可量測每一感測器且記錄感測 益距經特徵化之值多遠。對於給定感測器模組（諸如，對 於圖1之影像擷取裝置11〇之透鏡或感測器），特徵化處理 程序可離線進行。對於室外照明條件，可收集對應於日間 之各種時間的灰色物件之一系列圖像。該等圖像可包括在 曰間之不同時間期間於直接陽光下、在多雲照明期間、在 至外陰影中等擷取的影像。可記錄在此等各種照明條件下 的灰色物件之R/G及B/G比率。對於室内照明條件，可使 用暖螢光、冷螢光、白熾光及其類似者，或某一其他施照 體來擷取灰色物件之影像。可將該等照明條件中之每一者 用作一參考點。記錄用於室内照明條件之R/G及BZG比 率。 在另一組態中，參考施照體可包括A(白熾、鎢等）施照 體、F(螢光）施照體，及稱作〇3〇、D5〇及m〇之多個日光 施照體。可藉由施照體色彩來定義參考座標之（R/G, b/g) 座標’該等施照體色彩係、藉由整合感測器模組之光譜回應 與施照體之功率分布而計算。

147439.doc -15- 201127076 在判定R/G及B/G比率之標度之後，可在一柵格座標上 定位該等參考點。可狀該標度，錢彳f可❹柵格距離 來恰當地區別不同參考點。自動白平衡模組12〇可使用與 用以特徵化灰色區域之座標柵格相同之座標柵格來產生施 照體統計。 裝置⑽可經組態以判定自所接收之每—栅格點至該等 參考點中之每—者的距離。裝置⑽可比較所射之距離 與-預定臨限值。若至任何參考點之最短距離超過預定臨 限值，則可將該點視為離群值且可排除該點。 可處理該等資料點’以便移除離群值且可將至該等參考 點中之每一者之距離加總。裝置1〇〇可判定至參考點之最 小距離，以及對應於該參考點之照明條件。 如本文中所論述’-實施例可在自動白平衡模組12〇處 接收影像資料1G4。可使用在圖3中用圖形說明之過渡處理 程序來自動地產生自動白平衡資料。舉例而言，自動白平 衡模組UO可藉由統計地分析給定場景中之紅色綠色及 藍色像素之内容或偏差而產生自動白平衡資料。自動白平 衡資料可包括與影像資料1G4相關聯之亮度樣本及對應於 已知色溫的所繪製之接近參考點。此圖展示於圖4中且可 用以比較室内及室外樣本以偵測背光條件。 圖4特別說明圖4〇〇，圖4〇〇展示參考點m5、加5、 ⑽、cw、水平、A、TL84之分布。圖4〇〇亦包括較小之 樣本點402 ’該等較小之樣本點4〇2對應⑨繪製於红w (R/G)及藍/綠（腦）空間上的所收集之影像資料樣本。㈣ 147439.doc -16· 201127076 點D75、D65、D50、CW、水平、A、孔料可對應於經預 先校準之灰色點。 儘管實施例可包括其他參考點，但圖4中所表示之例示 性照明條件（及相關聯之色溫）可大體上對應於以下各項： 陰暗色空間（D75)、多雲色空間（D65)、直接陽光色空間 (D50)、冷白色色空間（cw)、典型辦公室照明色空間 84)、白熾色空間（A) ’及水平色空間（水平）。 在圖4之貫例中，藉由自動白平衡模組1自影像資料 1〇4收集之樣本點4〇2經繪製為接近sTL84&cw。及 CW參考點大體上對應於室内色溫。裝置⑽因此可自彼接 近性判定該等樣本為室内樣本。 圖5展示接近D75及D65的所繪製之陰暗樣本5〇2，其中 自動白平衡模組12〇將陽光充足樣本州繪製為接近㈣。 上刀布可日曰不一至外背光條件。纟高色溫區中之樣本具有 高照度樣本（例如，报可能為天空及雲）與低照度樣本（例 如，很可能為陰影)兩者之情況下，可偵測到背光。另 :對於待偵測之背光條件’高色溫區中之低照度樣本之 數目可超過某一臨限值。 圖6之實例展示圖咖，圖刚包括室外樣本術與室内樣 TL84兩者。室外樣本接近⑽，而室内樣本⑽接近CW及 形可指示一混合之室内/室外背光條件。在室 —丨2包括顯者向於室内樣本6〇4之照度值的情況下， 光條件。關於是否偵測到-背光條件之另-判 …括至内樣本604之數目是否超過某一臨限值。 I47439.doc 201127076 圖7展示自動地偵測-背光條件之方法7〇〇,方法谓如 可由圖1之裝置100來執行。在一特定實施例中，在702 處，可接收影像資料1()4。舉例而言，直方圖模組122可接 收來自一所擷取之影像的影像資料1〇4。 在704處，可評估一直方圖。舉例而言，可藉由直方圖 模組m來評估與影像資料104相關聯之直方圖資料。在 706處，在該評估未指示—f光條件之情況下，在川處， 裝置100可判定不存在一背光條件。 在於706處判定一可能的背光條件之情況下，在川處， 可評估自動白平衡統言卜自動白平衡模組m可收集統計 且自影像資料產生像素樣本，該等像素樣本可與所储存之 參考值相比較。該比較可由择出y占、> «光偵測模組11 8來控制且可 判定像素樣本是否包括室内或室外色溫。 在特疋實施例中，在尚色溫區（例如，高於約$則克 耳文）中之至7⑨至外樣本包括高亮度樣本與低亮度樣 本兩者，且高色溫區中之低亮度樣本之數目超過包括一所 :子值之第四L限值的情況下，可偵測到一背光條件。在 一特疋實施例中’在影像之至少一些室外樣本具有實質 ;”像之至夕一些室内樣本的亮度值，且室内低亮度 ，本之數目超過包括_所儲存值之第五臨限值的情況下， 可摘測到-背光條件。若在712處未指示一背光條件，則 在7⑽處，可债測到缺乏一背光條件。當分別在76〇或712 處之第一測試及第二測試中之一者失敗時，該方法可能不 應用背光補償。 147439.doc 201127076 可在714處起始處理㈣’以回應於川處之背光條件之 而判定影料料1附之面部的存在。在於714處㈣ 到一面部之情況下，可. 在區塊716處起始一面部優先背光 料（諸如’面部優先背光補償處理程序136)。在 、'疋κ轭例中’在室外區域内識別一面部。可將面部區 域之要素與第三臨限值相比較，以評估亮度。一例示性第 二臨限值可肖技μ 士 & η ^ 括所儲存之面部照度參考值。在於區塊 21處未债測到面部之情況下，可在718處起始一常規背光 处理程序（諸如’常規背光補償處理程序134)。 、、圖7包括用於自動地偵測及校正背光條件之方法·，方 、、可由圖1之裝置1GG來執行。參看圖7所描述之實施例 可自動地谓測及補償背光條件以增加影像 用者提供增加之便利。 ^门便 圖8展示方法800,方法_包括·在8〇2處於自動白平 =模組處接收影像資料⑽且產生自動白平衡資料。在8〇2 2 -亥方法可包括基於該自動白平衡資料而偵測一背光條 =影像資料1〇4可對應於由影像擷取器件ιι〇操取之影 在_處，該方法可將影像之第一部分識別為室内區域 彡分識別為室外區域。在8〇6處’該方法 藉由比較室内區域之要音盥 4要素與第—臨限值且比較室外區域之 要素與第二臨限值而評估—亮度條件。在808處，可回應 於所6平估之免度條件而判定_背光條件。在—實施例中， 該方法可部分地由背光偵測模叙118來控制。背光偵測模 147439.doc -19· 201127076 組118可接收自動白平衡資料。 在特定實鲕例中，在810處，該方法識別影像之室内 區域内之-© 區域。評估亮度條件可進—步包括比較面 部區域之要素與第三臨限值。該方法亦可識別室外區域内 之-面部區域且比較面部區域之要素與第三臨限值。在 812處，該方法可基於背光條件而應用冑光補償。 圖8包括-用於自動地彳貞測及校正背光條件之方法，該 方法可由圖1之裝置10〇來執行。參看圖8所描述之實施例 可自動地偵測及補償背光條件以增加影像品質，同時向使 用者提供增加之便利。 圖9展示用於識別所擷取之影像之第一及第二部分（例 如，室内及室外部分）的方法9〇〇。在9〇2處該方法之一 實施例將影像劃分成複數個實質上相等之區域，其中該等 區域中之每一者包含多個像素。在904處，可判定該複數 個區域中之每一區域内的灰色像素之平均值。在9〇6處， 可將该複數個區域中之每一區域内的灰色像素之平均值與 經預先校準之灰色點相比較，該等灰色點對應於色空間中 之溫度區。 根據一特定實施例，在9〇8處，當高色溫區中之影像之 至少一些至外樣本包括高亮度樣本與低亮度樣本兩者時， 且在高溫度區中之低亮度樣本之數目超過第四臨限值之情 況下’偵測到背光條件。在91 〇處，當影像之至少一些室 外樣本具有實質上高於影像之至少一些室内樣本之亮度值 時’且在室内低亮度樣本之數目超過第五臨限值的情沉 147439.doc -20- 201127076 下，該方法偵測到背光條件。 圖9包括一用於自動地偵測一背光條件之方法，該方涂 可由圖1之室内/室外比較邏輯130來執行。參看圖9所描述 之實施例可基於亮度樣本之所繪製之分布而自動地债測背 光條件《該方法可藉由識別及評估室内及室外亮度樣本而 增加影像品質及使用者便利。 圖10展示用於判定影像之複數個區域中之每一區域内的 灰色像素之平均值的方法1000。在1002處，一特定實施例 將影像資料104自RGB影像資料轉換成YCbCr影像資料。 在1004處’可將該複數個區域中之每一區域中的灰色像素 加總，以在每一特定區域中提供多個灰色像素。在1〇〇6 處，該方法可將YCbCr影像資料轉換成11(；}]8影像資料。在 1008處，該方法可提供每一特定區域中之灰色像素的照度 (γ)值之總和、藍色色度（Cb)值之總和，及紅色色度（Cr)值 之總和。在1010處，可將加總之丫值、加總之Cb值及加總 之Cr值相加以產生母一特定區域中的加總之YCbCr值。 在1012處，該方法可將每一特定區域中的加總之值 除以每-特疋區域中之灰色像素的數目。在⑻4處，可輸 出該複數個區域中之每一區域内的灰色像素之平均值。 圖1 〇 〇括帛於產生自動白平衡統計（例如，影像之區 域内的灰色像素）之方法，該等自動白平衡統計可用於識 別室内及室外亮度樣本中該方法可由圖i之自動白平衡 模組120來執行。統計及識別可促進背光條件之自動偵測 及校正° ® 10中所描述之方法可提昇增加之影像品質及使 i S } 147439.doc 21 201127076 用者便利。 參看圖π，描繪一裝置之一特定說明性實施例之方塊圖 且大體上將該裝置指定為腦，該裝置經組態以使用自動 白平衡資料自動地❹卜背光條件。裝置·包括影像感 測器器件1122 ’影像感測器器件1122搞接至透鏡1168且亦 麵接至攜帶型多媒體器件之應用處理器晶片集丨i 7Q。影像 感測器器件1122包括自動背光谓測模組} 164，自動背光偵 測模組1164使用自動白平衡資料來偵測背光條件。 自動背光偵測模組1164經辆接以（諸如）經由類比至數位 轉換器1126自影像陣列1166接收影像資料，類比至數位轉 換器1126經耦接以接收影像陣列丨166之輸出且將影像資料 k供至自動背光读測模組116 4。 影像感測器器件1122亦可包括處理器111〇。在一特定實 轭例中，處理器1丨丨〇經組態以使用自動白平衡資料實施背 光偵測。在另一實施例中，將自動背光偵測模組1164實施 為單獨影像處理電路。 處理器1110亦可經組態以執行額外影像處理操作，諸如 由圖1之模組120、122、124、132執行之該等操作中的一 或多者。處理器1110可將經處理之影像資料提供至應用處 理盗晶片集mo以用於進一步處理、傳輸、儲存、顯示咬 其任何組合。 圖12為裝置1200之特定實施例的方塊圖，裂置12〇〇包括 經組態以使用自動白平衡資料來偵測背光之自動背光偵測 模組1264。裝置1200可實施於攜帶型電子器件中且包括耦 147439.doc -22- 201127076 接至5己憶體1232之處理器1210(諸如，數位信號處理器 (DSP)) 〇 相機；I面控制态1270搞接至處理器1210且亦搞接至相機 1272(諸如，視訊相機）。相機控制器127〇可對處理器丨21〇 作出回應，（諸如）以用於自動聚焦及自動曝光控制。顯示 控制器1226耦接至處理器1210且耦接至顯示器件1228。編 碼器/解碼器（CODEC)1234亦可耦接至處理器121〇。揚聲 器1236及麥克風丨之”可耦接至codec 12：34。無線介面 1240可耦接至處理器121〇且耦接至無線天線1242。 處理器1210亦可經調適以產生經處理之影像資料128〇。 顯示控制器12%經組態以接收經處理之影像資料128〇且將 經處理之影像資料1280提供至顯示器件1228。另外，記憶 體1232可經組態以接收及儲存經處理之影像資料1280，且 無線介面1240可經組態以取得經處理之影像資料128〇以用 於經由天線1242傳輸。 在一特定實施例中，將自動背光偵測模組1264實施為可 在處理器1210處執行之電腦程式碼（諸如，儲存於電腦可 讀媒體處之電腦可執行指令）。舉例而言，程式指令1282 可包括用以自動地使影像資料128〇白平衡以產生白平衡資 料且基於該白平衡資料而偵測一背光條件的程式碼。 在一特定實施例中，處理器1210、顯示控制器1226、記 憶體1232、CODEC 1234、無線介面124〇及相機控制器 1270包括於系統級封裝或晶片上系統器件以以中。在一特 定實施例中，輸人器件1230及電源供應器1244輕接至晶片 147439.doc -23- 201127076 上系統器件1222。此外，在一特定實施例中，如圖〖2中所 說明，顯示器件1228、輸入器件123〇、揚聲器1236、麥克 風1238、無線天線1242、視訊相機1272及電源供應器1244 在晶片上系統器件1222之外部。然而，顯示器件1228、輸 入器件i23〇、揚聲器、麥克風n38、無線天線1242、 相機1272及電源供應器1244中之每一者可耦接至晶片上系 統器件1222之一組件（諸如，一介面或一控制器）。 已描述了夕種影像處理技術。該等技術可以硬體、軟 體轫體或其任何組合來貫施。若以軟體來實施，則該等 技術可針對包含程式狀電腦可讀媒體，該程式碼在於一 益件中執彳T時使得該詩執行本文中所描述之該等技術中 之一或多者。在彼狀況下，電腦可讀媒體可包含諸如同步 動態隨機存取記㈣（SDRAM)之隨機存取記憶體（RAM)、 唯讀記憶體（R0M)、非料性隨機存取記憶體（NVRAM)、 電可抹除可程式化唯讀記憶體（EEPRQM)、快閃記憶體或 其類似者。 可以電腦可讀指令之形式將程式碼儲存於記憶體中。在 彼狀況下，諸如Dsp之處理器可執行儲存於記憶體中之指 令，以便執行該等影像處理技術中之—或多者。在一些狀 況下’可由調用各種硬體組件以加速影像處理之DSP來執 行該等技術。在其他狀況下’本文中所描述之單元可實施 為-微處理器、—或多個特殊應用積體電路（ASIC)一或 ^固場可程式化謝UFPGA)，或某—其他硬體·軟體組 合0 147439.doc -24- 201127076 熟習此項技術者應進一步瞭解，結合本文中所揭示之實 施例所描述的各種說明性邏輯區塊、組態、模組、電路及 演算法步驟可實施為電子硬體、電腦軟體或兩者之組合。 為了清楚地說明硬體與軟體之此可互換性，已大體在功能 性方面描述了各種說明性組件、區塊、組態、模組、電路 及步驟。將此功能性實施為硬體抑或軟體，端視特定應用 及強加於整個系統之設計約束而定。熟習此項技術者可對 於每一特定應用以不同方式實施所描述之功能性，但此等 貫施決策不應被解譯為引起偏離本發明之範_。 結合本文中所揭示之實施例所描述之方法或演算法的步 驟可直接具體化於硬體中、由處理器執行之軟體模組中， 或兩者之組合中。軟體模組可駐留於隨機存取記憶體 (RAM)、快閃記憶體、唯讀記憶體（r〇m)、可程式化唯讀 記憶體(PROM)、可抹除可程式化唯讀記憶體(EpR〇M)、 電可抹除可程式化唯讀記憶體（EEPROM)、暫存器、硬 碟、抽取式磁碟、光碟唯讀記憶體（CD_R〇M)，或此項技 考中已纟的任何其他形^之儲存媒體巾。將例示性儲存媒 體叙接至處理器，以使得該處理器可自該儲存媒體讀取資 訊及將資訊寫人至該儲存媒體。在#代例中，儲存媒體可 與處理器成—體式。處理器及儲存媒體可駐留於特殊 積體電路（ASIC)中。可駐留於計算器件或使用者終端 在替代例中，處理器及儲存媒體可作為離散組件駐 留於叶异器件或使用者終端機中。 提I、所揭π之f施例之先前描述以使得熟習此項技術者

i S 147439.doc -25· 201127076 月t*夠進行或使用所揭示的實施例。熟習此項技術者將易於 顯而易見對此等實施例之各種修改，且可在不偏離本發明 之範嘴之情況下將本文中所定義的一般原理應用於其他實 細*例。因此，本發明不欲限於本文中所展示之實施例，而 應符合可能與如藉由以下申請專利範圍定義之原理及新穎 特徵一致的最廣範疇。 【圖式簡單說明】 圖1為一自動背光偵測裝置之一特定說明性實施例之方 塊圖； 圖2為一直方圖，其包括指示照度之頻率曲線及臨限 值，該頻率曲線及該臨限值由圖1之裝置之直方圖模組使 用以偵測一背光條件； 。圖3為說明—統計收集處理程序之圖，該統計收集處理 〇由圖1之裝置之自動白平衡模組來進行，該圖描緣一 矩形框，該矩形框展示色空間之兩個維度中的用以產生自 動白平衡資料之灰色像素； 圖4為展示所繪製之參考點及室内樣本點之分布的圖， 該等室内樣本點係使用由圖丨之自動白平衡模組產生之自 動白平衡資料而產生； 圖二為展示所繪製之參考點及室外樣本點之分布的圖， ^等至外樣本點係使用由圖丨之自動白平衡模組產生之自 動白平衡資料而產生； 八圖6為展*參考點以及室内樣本點與室外樣本點兩者之 分布的圖，該等樣本點係使用由圖1之自動白平衡模組產 147439.doc -26- 201127076 生之自動白平衡資料而產生； 圖7為展示自動地偵測一背光條件之方法之一特定實施 例的抓程圖’ 1亥方法如可由圖1之裝置來控制； • 圖8為展示自動地偵測一背光條件之方法之另一特定實 , 施例的/;IL程圖，該方法如可由圖1之裝置來控制； 圖9為展示識別影像之室内部分及室外部分之方法的一 特定實施例的流程圖，該方法如可由圖丨之裝置來控制； 圖10為展示判疋複數個區域中之每一區域内的灰色像素 之平均值的方法之一特定實施例的流程圖，該方法如可由 圖1之裝置來控制； 圖11為一自動背光偵測器件之特定實施例的方塊圖，該 自動背光偵測器件經組態以使用自動白平衡資料來偵測及 補償一背光條件；及 圖12為一自動背光偵測器件之另一特定實施例的方塊 圖’該自動背光偵測器件經組態以使用自動白平衡資料來 偵測及補償一背光條件。 【主要元件符號說明】 100 裝置 102 影像處理單元 104 影像資料 106 區域記憶體 108 記憶體控制器 110 影像擷取裝置 112 外部記憶體 147439.doc 201127076 114 顯示器 116 通信匯流排 118 背光偵測模組 120 自動白平衡模組 122 直方圖模組 124 面部偵測模組 126 背光補償模組/背光補償單元 128 背光判定邏輯 130 室内/室外比較邏輯 132 介面 134 常規背光補償處理程序 136 面部優先背光補償處理程序 138 背光判定邏輯之輸出 200 直方圖 202 頻率曲線 204 低臨限值 206 高臨限值 208 像素 210 像素 302 矩形框 304 灰色點 402 樣本點 502 陰暗樣本 504 陽光充足樣本 147439.doc -28- 201127076 602 室外樣本 604 室内樣本 1100 裝置 1110 處理器 1122 影像感測器器件 1126 類比至數位轉換器 1164 自動背光偵測模組 1166 影像陣列 1168 透鏡 1170 攜帶型多媒體器件之應用處理器晶片集 1200 裝置 1210 處理器 1222 系統級封裝或晶片上系統器件 1226 顯示控制器 1228 顯示器件 1230 輸入器件 1232 記憶體 1234 編碼器/解碼器（CODEC) 1236 揚聲器 1238 麥克風 1240 無線介面 1242 無線天線 1244 電源供應器 1264 自動背光偵測模組 147439.doc -29- 201127076 1270 相機介面控制器 1272 相機 1280 經處理之影像資料 1282 程式指令 147439.doc -30-

Claims (1)

1. 201127076 七 1. 2. 3. 4. 5. 6. 、申請專利範圍： 一種方法，其包含： 在一自動白平衡（AWB)模纪處接收影像資料且產生自 動白平衡資料；及 ^於該自動白平衡資料而偵測一背光條件。 史吻求項1之方法，其中該影像資料對應於一所擷取之 〜像且其中該自動白平衡資料由—背光偵測模組接收， 其中該背光偵測模組： :X。像t帛—部分識別為—室内區域且將該影像 之一第二部分識別為一室外區域； —藉由比較該室内區域之要素與-第-臨限值且比較該 品或之要素與—第二臨限值而評估—亮度條件；及 回應於δ亥所s平估之亮度條件而债測該背光條件。 如請求項2之方法’其進-步包含識別該室内區域内之 一面部區域且其中評估該亮度條件進—步包含比較該面 部區域之要素與一第三臨限值。 °月求項2之方法’其進-步包含識別該室外區域内之 面。P區域且其中評估該亮度條件進一步包含比較該面 部區域之要素與—第三臨限值。 ^ "月求項1之方法，其進-步包含基於該背光條件而應 用背光補償。 月求頁2之方法’其中識別該影像之該第-部分及識 別該影像之該第二部分包含： 將該影像劃分成複數個實質上相等之區域，其中該等 147439.doc 201127076 區域中之每一者包含多個像素； 判疋該複數個區域中之每一區域内的灰色像素之一平 均值；及 將該複數個區域中之每一區域内的灰色像素之該平均 值與經預先校準之灰色像素點相比較，該等灰色像素點 對應於一色空間中之溫度區。 7·如凊求項6之方法’其中當一高色溫區中之該影像之至 ’ 些至外樣本包括高亮度樣本與低亮度樣本兩者時， 且在该鬲色溫區中之低亮度樣本之一數目超過一第四臨 限值之情況下，偵測該背光條件。 8. 如請求項6之方法，其中當該影像之至少一些室外樣本 具有實質上高於該影像之至少一些室内樣本之亮度值 時’且在室内低亮度樣本之數目超過一第五臨限值的情 況下’谓測該背光條件。 9. 如請求項6之方法’其中判定該複數個區域中之每一區 域内的灰色像素之一平均值包含： 將該影像資料自紅色、綠色及藍色（RGb)影像資料轉 換成明度、色度（YCbCr)影像資料； 將該複數個區域中之每一區域中的灰色像素加總，以 在每一特定區域中提供多個灰色像素； 將該YCbCr影像資料轉換成RGB影像資料； 提供每一特定區域中之該等灰色像素的照度（γ)值之 一總和、藍色色度（Cb)值之一總和，及紅色色度（Cr)值 之一總和； 147439.doc 201127076 將該等加總之γ值、該等加總之Cb值及該等加總之Cr 值相加’以產生每一特定區域中的一加總之YCbCr值；及 將母—待定區域中的該加總之YCbCr值除以每一特定 區域中之灰色像素的數目。 1〇· —種裴置，其包含： 一自動白平衡（AWB)模組，其經組態以接收影像資 料；及 一者光偵測模組，其中該背光偵測模組經耦接以自該 AWB模組接收資料且包括用以基於來自該awb模組之該 貝料之一評估而偵測一背光條件的邏輯。 11.如請求項10之，其中該#光偵測模組經組態以： 將該影像資料之—第—部分識別為—室内區域且將該 影像貧料之一第二部分識別為一室外區域； 藉由比較„亥至内區域之要素與一第一臨限值且比較該 室外區域之要素與一第二臨限值而評估一亮度條件；及 回應於該所評估之亮度條件而偵測該背光條件。 12·如請求仙之裝置，其中該背光偵測模组包含： ”面其經組態以自該AWB模組接收該資料； 室内/室外比較邏輯，其輕接至該AWB介面且經組態 以識別該室内區域且識別該室外區域；及 背光條件判定邏輯，其叙接至該室内/室外比較邏輯且 經組態以偵測該背光條件。 13.如請求項1 0之裝詈，直，隹 ^ , 置其進一步包含一耦接至該背光偵測 模組之直方圖模組，立中今吉 Τ Θ直方圖核組經組態以對該影 I47439.doc 201127076 像資料執行一第一測試，其中當該第一測試通過時，該 背光偵測模組經組態以對來自該AWB模組之該資料執行 一第二測試，其中當該第二測試通過時，應用背光補償。 14. 15. 16. 17. 18. 19. 如請求項13之裝置，其中當該第一測試及該第二測試中 之一者失敗時，不應用背光補償。 如請求項14之裝置，其進一步包含一耦接至該背光偵測 模組之面部偵測模組’其中該面部偵測模組經組態以對 該影像資料執行一第三測試，其十當偵測到一面部時， 應用面部優先背光補償。 如請求項13之裝置，其中該第一測試包含： 判定具有一小於一第一值之亮度值之像素的一數目是 否超過一第一臨限值；及 判定具有—大於一第二值之亮度值之像素的一數目是 否超過一第二臨限值。 如請求項13之裝置，其中該裝置包含一 機及一攝錄影機中之一者。 無線器件、一相 一種儲存電腦可執行碼之電腦可讀媒體，其包人 可由一電腦來執行以自動地使影像資料 白平衡資料之程式碼；及 可由該電腦來執行以基於該白平衡資料 條件之程式碼。 白平衡以產生 而偵測一背光 如請求項18之電腦可讀媒體，其 / 〃取貧料斜麻於 所擷取之影像，該電腦可讀媒體進一步包含.w、 147439.doc 201127076 20. 可由該電腦來執行以將該影像之一第一部分識別為一 至内區域且將该影像之一第二部分識別為一室外區域的 程式碼； 可由δ亥電腦來執行以藉由比較該室内區域之要素與一 第L限值且比較該室外區域之要素與一第二臨限值而 評估一亮度條件的程式碼；及 可由该電腦來執行以回應於該所評估之亮度條件而偵 測該背光條件的程式碼。 θ求項18之電知可讀媒體，其進一步包含可由該電腦 來執行以基於該背光條件而選擇性地應用背光補償之程 式瑪。 21. 22. 一種裝置，其包含： 用於自動地使影像資料白平衡以產生白平衡資料之構 件；及用於基於該白平衡資料而制—背光條件之構件。 a求項21之裝置’其中該用於偵測_背光條件之構件 進-步包含用於將該影像之一第一部分識別為— 域且將像之-第二部分識別為—室外區域的構件。°° 147439.doc