TW525373B

TW525373B - Color cast detection and removal in digital images

Info

Publication number: TW525373B
Application number: TW090116888A
Authority: TW
Inventors: Ted J Cooper
Original assignee: Sony Electronics Inc
Priority date: 2000-07-18
Filing date: 2001-07-10
Publication date: 2003-03-21
Also published as: US6377702B1; JP2004509486A; CN1193315C; GB2380893B; WO2002007426A2; DE10196436T1; CN1455910A; EP1320985A2; GB0301012D0; GB2380893A; AU2001280495A1; WO2002007426A3; EP1320985A4

Description

經濟部智慧財4工消費合作社印製 525373 A7 _ B7 五、發明説明（1 ) 有關申請書之對照參考本申請書申請由Ted J.Cooper於1999年12月8 曰提出之美臨時專利申請書序號6 0/1 6 9 ，8 2 8之權利，此列作參考。技術部份本發明一般係有關數位影像，更特別係有關數位影像中之塡色偵測及移除。背景數位靜止攝影機（D S C )在色表示上有重大之限制，因爲在景物攝取期間中，除整個曝光量度外，有關景物照明物所知甚少。文件中有計算景物照明物之許多嘗試報告。稱爲灰世界近似之最簡單方法假定一景物中之所有表面反射率之平均爲灰色。依此假設，在自平均灰表面反射後，如有任何平均色保留，則此需爲照明之色。當遇到景物，在此，灰世界近似並不確實時，則其使用普通產生塡色於結果之影像中。爲達成較佳之結果，發展出較複雜之演算法，用以計算照明物。最廣泛使用之色改正方法爲V ο η Knes變換。一影像之紅一綠一藍或R G Β値由計算之照度除，然後由基準照度之R G B値乘。其他照度計算方法包括量度特定之色區，在此，全體平均値集合，並在各種色度表上分類。使用許多色距離量度，此等計算方法尋找歪離灰世界近似之主宰色，以預測景物之照度。本纸張尺度適用中國國家標準（CNS ) Α4規格（210Χ297公釐）；訂 (請先閲讀背面之注意事項再填寫本頁) -4 - 525373 經濟部智慧財是Γ?'ΗΧ消費合作社印製 A7 B7 五、發明説明（2 ) D S C製造者通常藉助稱爲白平衡（WB )方法中之若干方法之要素。W B之目標在產生一影像，在此，白物件呈現白色，及非等能量照明物之目視影響至減至最小。當未適當獲得W B時，不同之塡色產生於影像中（例如，當有午後日光時，黃塡色在數位靜止影像中）aWB工作普通由Von Kries改正開始，施加於影像之所有像素上，此根據來自前述方法之若干照度計算假設，平衡R G B感測器行列之放大器增益。而且，普通執行一特別調整，迫使影像之最大亮度値至純白（例如，R = G = B = 1 . 0 ) 。一些攝影機並調整最小亮度，以設定黑點至等能量位準 (例如，R = G二B = 0 · 〇 1 )，此並非絕對黑色。對良好照明之戶外景物，大部份D S C攝影機使黑點設定於絕對黑（R = G二B = 0 · 0 )，通常基於曝光考慮。影像白點及黑點區之向預定目標移動（通常使用所屬之色調控制器）通常產生愉快之尖峰強光及陰影區。然而，此對 1 / 4至3/4色調中所含之大部份像素資訊並不提供額外補償。結果影像會在半個影像上呈現重大之塡色。由於影像白點（及可能黑點）在影像捕捉之期間中以極非線性方式改變，故僅有限之照明物資訊保存於可供其後處理之攝影機資料中。如在影像捕捉之期間中，原影像白及黑點保持不更改，則可轉動影像色空間，俾連接白至黑點之心線可對齊消色軸。現參考圖1 (先行技藝），其中槪要顯示先行技藝之本紙張尺度適用中國國家標準（CNS ) Α4規格（210Χ297公釐）：訂 (請先閱讀背面之注意事項再填寫本頁) -5 - 525373 A7 B7 五、發明説明（3 ) 塡色偵測及移除方法，稱爲、灰軸再對齊〃方法丨〇，上述在L * a * b *色空間中，其中，、' L 〃爲在l *亮度或消色軸1 2上之亮度値，及a * 〃及、、b * 〃爲分別在^ * 及b*色軸1 4及1 6上之色度値。原影像具有一白點丄7 ’ 一黑點1 8 ’及一心線2 0自白點1 7延伸至黑點1 8 。一箭頭2 2指示心線2 0之轉動，俾與消色軸1 2對齊，以改變白點2 2之位置及改變黑點2 4之位置。一圓筒形中性色核心2 8指示在心線2 0轉動後仍留下者。此方法假設景物尖峰照明物區實爲一消色強光（在大部份真實生命照相中所產生之一事實）。然而，一些專業攝影機具有特殊用途之手動白平衡模式，此並不調整尖峰照明物像素至純白色。在此方法中由一 M a c B e光譜光 m棚在各種照明物情況（D 5 Ο，D 6 5，冷白螢光，水平日光，U30螢光，及白熱光A)下捕捉資料。一簡單之後資料捕捉演算法轉動在L * a * b *色空間中自白點 1 7延伸至黑點1 8之心線2 0，直至在消色軸1 2上爲止。結果顯示影像塡色大爲減少，如由在各種照明物下之測試樣品中所含之M a c B e t h色表灰節距之消色純度所量得者。不幸，該灰軸對齊方法極端取決於知道影像中之最高照明物點之色度。在白點1 7附近之微小改變對其餘影像在近中性色中產生明顯可見之影響，雖黑點1 8之位置並不幾乎同等重要，因爲在所檢查之攝影機中發現微少之色含量。發明之說明本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） (請先閲讀背面之注意事項再填寫本頁) 訂备· 經齊部智慧財<工消費合作社印製 -6- 525373 A7 B7 五、發明説明（4 ) (請先閱讀背面之注意事項再填寫本頁) 本發明提供一種由色像素構成之色影像之塡色偵測及移除方法。提供具有消色軸之一色空間，具有內定灰半徑，此用以建立中性色之色箱於一色平面中。色箱根據像素色度由像素進住。計算一色組織圖，具有像素之色尖峰在內定灰半徑內之色箱中。根據色組織圖中之色尖峰，調整內定灰半徑至一灰半徑。偵測灰半徑內之主宰色尖峰中之塡色及其距消色軸之距離中之塡色距離。由色空間中之色影像減塡色距離而移除像素中之塡色，並輸出塡色已移除之色影像。經濟部智慧財4工消費合作社印製本發明提供一種由色像素構成之色影像之塡色偵測及移除方法。提供具有消色軸之一色空間，具有內定灰半徑，此用以建立中性色之色箱於一色平面中。色箱根據像素色度由像素進住。計算一色組織圖，具有像素之色尖峰在內定灰半徑內之色箱中。根據色組織圖中之色尖峰，調整內定灰半徑至一灰半徑。偵測灰半徑內之同一色象限中之多個色尖峰中之塡色及其距消色軸之平均距離中之塡色距離。由色空間中之色影像減塡色距離而移除像素中之塡色，並輸出塡色已移除之色影像。雖灰軸對齊方法在尖峰影像照明物像素不調整之情況中作用良好，但在真實世界中應用甚少，因爲大部份 D S C裝置多少改變影像之最亮像素。本發明之塡色偵測及移除方法由檢查整個影像中所分佈之相鄰之近灰大物件之色度，而克服此限制。由閱讀以下之詳細說明並參考附圖，精於本藝之人士本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） _ 525373 A7 B7 五、發明説明（5 ) 可明瞭本發明之以上及其他優點。附圖簡述圖1 (先行技藝）槪要顯示先行技藝之塡色偵測及移除方法；圖2顯示含有本發明之數位影像系統之綜覽；圖3顯示本發明之塡色偵測及移除方法；圖4顯示本發明之內定灰半徑選擇；圖5顯示本發明之中性色之色箱之尋找；圖6顯示本發明之組織圖之計算；及圖7槪要顯示本發明之塡色偵測及移除方法。主要元件對照表 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財是A吕(工消費合作社印製 2 消色軸 4 色軸 0 心線 0 數位影像系統 2 原影像 4 色箱方法 2 圓筒形中性色核心 4 灰半徑 6 色箱 0 色組織圖 2 像素計數軸本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） -8 - 經濟部智慧財4:肖工消費合作社印製 525373 A7 _ B7_ 五、發明説明（6 ) 8 2 形心實施發明之最佳模式雖圖1之灰軸再對齊方法1 〇在尖峰影像照明像素未 δ周整之情形作用良好，但在真實世界中甚少應用，因爲大部份D S C裝置多少改變影像之最亮像素。本發明之塡色偵測及移除方法由檢查分佈於整個影像上之鄰接近灰之大物件之色品而克服此限制。現參考圖2 ’其中顯示數位影像系統3 0之槪覽，其中使用本發明。數位影像系統3 0包含一原影像3 2，此由本發明之一色箱方法3 4處理，以產生一分立影像3 6 0 該系統構想爲’雖影像之最売像素可能減損，但所有其他近中性之像素保持其原來色性質。基本系統構想爲仔細選擇代表幾乎灰物件之所有像素，並辨認其平均色。由檢查此等物件之色位置，本發明之演算法尋找是否有所有物件共通之整個塡色，或物件有隨機散佈之色向量之証據。該演算法對影像無 ''幾乎灰色〃物件，或整個景物由單個有色大物件（此常稱爲'、紅倉〃影像）主宰之可能性敏感。如在所有近中性色物件中發現有公共色成份，則計算其幅度，及施加色品之反版於所有此等物件上。該改正機程具有國際色協會（一國際標準組織）輪廓之基本結構，實施三維查閱表（L U Τ )。該輪廓可直接施加於測試影像上，或可寫入於碟檔案中，俾可應用於具有相似塡色特本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） (請先閲讀背面之注意事項再填寫本頁) •9- 525373 A7 _ —_B7 五、發明説明（7 ) 性之多個影像上。現參考圖3 ，其中顯示本發明之塡色偵測及移除方法 (請先閱讀背面之注意事項再填寫本頁) 之色箱方法3 4。原影像自圖2之方塊3 2輸入至、、內定灰半徑〃方塊4 0，此提供一開始點灰色核心圓筒。色箱方法3 4然後進行至、、尋找中性色之色箱〃方塊4 2。自方塊4 2，色箱方法進行至計算可接受之核心像素之2 D ''色組織圖〃方塊4 4。自方塊4 4，色箱方法3 4進行至''生長灰半徑〃決定方塊4 6，在此，決定由於遇到另外尖峰，或由於尖峰幅度仍變化，是否繼續生長灰半徑。如爲”是〃，則色箱方法3 4進行至、、視尖峰位置而定，調整半徑〃方塊4 8，並回至、、尋找中性色之色箱〃方塊 4 2，進行另一重複。如爲 '' 否〃，則色箱方法3 4進行至'、建立3D改正LUT 〃方塊5 0，俾由每一色之改正因素建立一查閱表（LUT)。其次，LUT用以施加改正因素俾在、、經由L U T變換整個影像〃方塊5 2中移除彩色影像中之塡色。色箱方法3 4然後、、完成〃並輸出經改正之影像至圖2之方塊3 6。經濟部智总时4'^7:H工消費合作社印製注意色箱方法3 4以一演算法實施，此重複，試圖選出剛涵蓋每一影像物件（在在近中性色區域中）之正確色箱範圍。重複方法之目的在找出最小之色半徑，在此，所有近中性色物件已集合於適當之色空間色箱中，及在色箱中所見之任何色尖峰均穩定。由在色半徑中之小改變未遇到另外尖峰，及尖峰之相當恆定.之幅度（此等爲分節區中所含之像素數之量度），量度穩定性。當色箱選擇參數到本纸張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） -10- 525373 A7 __ B7 五、發明説明（8 ) (請先閱讀背面之注意事項再填寫本頁) 胃〜特定之穩定度時，則認爲是近中性色物件之最小設定 ’並到達其平均色之最佳可能量度。此等物件之色空間坐胃（向量）之分佈決定是否有塡色存在及其幅度。該分佈亦可指示該影像含有多個隨機分散之色向量，暗示無需改 E °同樣，該分佈可表示有恆定色之大物件存在紅倉 "情況）。在此情形，演算法延緩歸咎一塡色。現參考圖4，其中顯示分別在L * a * b *軸1 2， 1 4，及1 6上之本發明之圖3之''內定灰半徑〃方塊 3 2之內定灰半徑選擇。不含白及黑點之灰區顯示如圓筒形中性色核心6 2 ，具有一灰半徑6 4。在最佳之模式中，內定開始値爲a * = b * = 1 5國際協會d e 1 ^

Eclairage ( CIELAB )單位。發現最大半徑約爲 4 0 C I E L A B單位，因爲影像普通滿和超出此限度之色。現參考圖5 ，其中顯示本發明之圖3之''尋找中性色之色箱〃方塊4 2之中性色之色箱6 6之建立。在圖5中，一 8乘8格子界定中性色核心6 2之色箱，例如色箱 6 8，在此，編輯色分節之統計計數。色箱6 8之數隨灰半徑6 4之增加而增加。目標在找出近中性色之8至2 0 色，此等保持具有顯著塡色之影像及白區之大百分率。在像素選擇中，原先認爲在一些亮度及色度之中心範圍內所發現之一影像中之所有像素應揀選於色箱中，以辨認物件。限制亮度位準之理由爲''最亮之像素〃改正（及可能之黑點改變）產生近中性色物件，此等並非景物之真本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） -11 - 525373 經濟部智慧財,4^7h工消費合作社印製 A7 B7 五、發明説明（9 ) 正色之特性。在由影像資料庫試驗後，迅速顯示亮度限制並不任何重大改變塡色偵測。更重要者，試驗顯示真實影像包含大量之像素，代表小而孤立之物件，諸如衣扣，錯筆及自來水筆，或衣領。此等物件較之景物之主宰物件，諸如人之衣服，車輛，或桌面相當小。塡色資訊集中於景物之大主宰物件。此等主宰物件常並非影像之主題（例如，雙人照之背景之灰壁）。但其純然大小及相當恆定之色主宰景物之觀看者之印像。在經驗上，近中性色物件之最佳尺度爲近恆定之表面反射率，此佔據影像像素計數之至少1 %。大物件主要提供表面亮度之有意義樣品，以決定是否有特定塡色存在。假設大物件具有多個亮度位準分佈於可能曲線形之表面上。色箱方法3 4之演算法之目標在可對色箱亮度及彩度限制作啓發性調整，以計及物件上之改變。如遇到由百計不同小物件所構成之樣品影像，則該演算法指示無大物件存在，因爲在每一色箱中像素計數少。可剔除 '、何處是 Waldo 〃影像之例，除一恆定色背景延伸於每一物件周圍且可佔像素數之1 %之可能性之外。幾乎所有戶外自然景物通過近中性色物件之標準。此可能由於天空，草地，水泥 ’水，及地面覆蓋物通常主宰戶外景物所引起。當組織或圖案之物件主宰時，室內景物會失敗。當有人像出現時，無失敗發現，因爲面部及臂之膚色通常落於近中性色物件類，且通常消耗5 %至5 0 %之影像。現參考圖6 ’其中顯示本發明之、計算被接受之核心本纸張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） —^ 訂 (請先閲讀背面之注意事項再填寫本頁) -12- 525373 A7 _B7 五、發明説明（10) (請先閱讀背面之注意事項再填寫本頁) 像素之2 D色組織圖〃方塊4 4之一總色組織圖7 0。組織圖70具有色軸14及16及一像素計數軸72。在一普通影像，分節之物件之色分佈在中性色核心6 2中形成不同及分立之尖峰74，76，及78。如尖峰74， 76 ，及78不同，則在圖3之''生長灰半徑〃決定方塊 4 6中決定不生長灰半徑6 4。應注意色箱6 6僅用以預測及調整灰半徑6 4之未來生長。經濟部智慧財4，，？』(工消費合作fi印製該演算法由製造所有像素之總色組織圖7 0開始，其色度落於色空間範圍之中央半部內。在具有8數元符號坐標之L * a * b *色空間，此相當於最接近中性色核心之物件，在此，|a*|<64 及 |b*|<64。此 a* 及 b * 2 d組織圖7 0用以辨認是否在分節方法中所發現之近中性色物件具有公共色成份。其次，該演算法由剔除任何 2乘2鄰居像素開始分節，此等在亮度及度度値之內定範圍內無至少3像素。如以後所討論，該演算法使用於具有一亮度及二色度坐標之幾乎任何色空間中。4分之3像素標準（對2乘2鄰居）剔除所有影像像素之約3 0 %，因爲小物件及邊緣通常不能滿足此限制。演算法之此部份之目標在迅速減少其後步驟欲處理之像素數，並選擇僅近於恆定反射率之大物件。通過前條件之此等2乘2像素群指定給一色箱，諸如色箱6 8，並計算亮度及色度之範圍。當已收集大量之色箱時，則進行一緊縮搜索，以連接亮度及色度可相容並具有接近之色範圍之各色相。此目的在減少色箱6 6之數量本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） -13- 經濟部智总財4¾ a:工消費合作社印製 525373 A7 B7 五、發明説明（11) 至更容易操縱之色範圍數。經發現一組緊縮之約2 0個色範圍最佳。配合緊縮方法之亮度及二色波道之生長構成第一組重複反饋參數。緊縮之色箱現具有新計算之亮度及色度範圍以及一新平均色。而且，所有有關像素之坐標儲存於新製造之色箱中。此方法繼續，直至整個影像已處理爲止。一旦該組緊縮之色範圍已減少至2 0個或以下之緊縮色箱時，即開始分節。分節之目的在偵測公共表面反射率之大物件。自然物件通常爲曲線形狀，並在其表面上具有亮度及色彩變化。分節使一物件之相鄰像素可連接一起，而不管在亮度及色度上之頗大改變，因爲此等改變以流線之方式發生，如真實物件所代表者。分節方法進行如下。每一色箱由影像X，y坐標分類，以決定其是否8路連接至屬於同色群之另一像素群。製造含有此等像素，其坐標，個別色，及群色之分節色箱。一演算法參數使偏離其相鄰8路連接之像素之一或更多像素之像素群可含入。試驗結果指示零及一之空間偏離提供最佳結果。當元件並不空間連接，例如人之右及左臂時，二或更多個分節色箱可由一單個色箱產生。分節方法由相鄰像素依上升之列自左至右進行安排各像素而結束。如此可簡單計算每一近中性色物件之形心，以及物件對向之總面積（包括內像素島，此等並非分節群之一部份，但由像素構件完全包圍）。此資訊可精確計算物件之大小，即使諸如衣扣及筆等物品出現於諸如襯衣等另一物件上亦然。本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐）；訂 (請先閱讀背面之注意事項再填寫本頁) -14- 525373 經濟部智慧时4.6肖工消費合作社印製 A7 B7 五、發明説明（12) 近中性色色度之物件經良好分類。分節常式並不包含物件邊界。邊緣在介面處具有非常明顯之色改變（曲線或方形物件），且在邊界鄰近之像素之4分之3極可能並無相似之色（此在像素選擇階段消除）。無邊界邊緣變爲此演算法之一利益。如希望迅速找出物件邊界，僅需尋找物件間4像素寬度之虛空。在虛空（物件像素存在於二邊）之後，迅速橫過近中性色物件之邊界。在尋求找出具有高色度之物件之邊界中，該標準僅需在像素選擇階段上反向進行，僅考慮具有高色度之2乘2 鄰居。此式分節使用非常良好，因爲高色度物件具有非常尖銳之邊界。一旦所有分節色箱經進住及壓縮後，演算法量度總色度組織圖7 0，以決定多少個別色度尖峰發生於近中性色區中。如偵得一尖峰，其色度半徑大於像素選擇階段期間所許可時，則增加4分之3像素標準之色度選擇半徑，以涵蓋此尖峰。除色度半徑之參數設定外，亦可改變重複反饋方法中之另二參數設定。第二參數設定用於亮度及色度之初始色箱範圍，及第三參數設定用於任何色箱自其初始色箱範圍之最大生長。廣泛測試顯示像素選擇階段之僅灰半徑6 4需要改變，以達成穩定之塡色結果。其他二參數設定迅速收歛於同一結果，且保持恆定’以增加計算速度。通常僅需一或二次重複，以到達穩定之塡色距離。現參考圖7，其中槪要顯示塡色偵測及移除方法，如本紙張尺度適用中國國家標準（CNS ) A4規格（210x297公釐） —„ 訂 (請先閲讀背面之注意事項再填寫本頁) -15- 525373 A7 B7 五、發明説明（13) 圖6同一空間中所述之本發明之色箱方法3 4。在中性色核心6 2中相互接觸之三尖峰形成一單個主宰色尖峰8 0 ，具有一形心8 2。移除塡色俾回至中性色核心6 2中之 ''灰世界〃之方向由箭頭8 4顯示，及塡色距離爲形心 8 2移動之距離，如由箭頭8 4之長度表示。每一色箱之內容個別移動至消色軸1 2，以達成形心8 2之移動。應注意在單個色尖峰8 0視爲一塡色前，需滿足許多統計及大小限制。在三次重複後，重複辨認具有幾乎相同形狀之相同物件。改變初始亮度及色度色箱範圍之重要性在於辨認具有廣大不同反射率表面之複雜之近中性色物件。當使用現行演算法之目標爲一影像中之物件之分節時，則初始色箱範圍變化較之色度半徑爲更重要之參數設定。一旦所需之參數設定修改時，整個方法重複進行。像素選擇階段有所選擇，俾對影像中之所有原近中性像素再抽樣，或使用現置於分節物件中之減少設定之像素。使用整個影像像素設定產生稍較精確之塡色移除結果。僅使用分節之物件像素可大爲加速處理時間。如演算法之目的在使影像物件分節，則選擇狹窄之初始色箱範圍。而且，整個像素設定需用以使物件可如所需生長。如選擇廣大之初始色箱範圍選擇，則現置於分節之物件中之像素之使用大爲提高處理速度，而無任何明顯惡化形狀精確度。在完成一次重複後，演算法量度經調整之參數設定之改變。當新改變在特定臨限以下時，重複停止。此際，分本紙張尺度適用中國國家標準（CNS ) A4規格（210X 297公釐） ----1!!·! (請先閲讀背面之注意事項再填寫本頁) 訂經濟部智慧財工消費合作社印製 -16- 525373 A7 B7 五、發明説明（Μ) (請先閱讀背面之注意事項再填寫本頁) 析現版本之總色度組織圖7 0，如有在隨機方向上之多個色尖尖峰，則該演算法猜測在影像中無色轉移存在。有關此決定之邏輯爲，如有一總塡色，則不會產生由不同之色象限中之至少二近中性色物件所呈現之不同色尖峰。雖小塡色仍可出現於此二物件上，但此等普通並非明顯可見。經濟部智慧財/iQ a(工消費合作社印製當組織圖僅有一色尖峰，或多個色尖峰均在所選之色度色空間之同一象限中時，則有高度可能一塡色存在。當大尖峰移除時，色組織圖之平均基線由近中性色平面中之平均色箱像素數界定。演算法其次詢問單個色尖峰中所含之像素是否大於所選之倍數臨限値乘平均基線。此基本上係詢問一物件之色尖峰是否在近中性色區之雜訊位準以上。雖無限制，但發現1 〇倍平均基線之倍數臨限値可接受。如回答爲真，則演算法採取一塡色，此等於至該單個色尖峰之半徑。在同象限中多個色尖峰之情形，該塡色爲至每一尖峰之平均半徑。改正行動爲在分節法中所發現之所有物件減此色量。在實效上，此轉移''白至黑點軸〃回至色軸。當然，不移動白點或黑點物件（因爲此等可能爲初始之白平衡操作所減損）。僅改正由影像之1 / 4至3 / 4色調所構成之近中性色物件。如色尖峰之像素計數不超過1 0倍基線之倍數臨限値，則演算法歸咎無塡色存在。許多適當曝光之影像具有有限色特徵之近中性色物件。但在統計上，亦有具有不同色特徵之其他物件。平均所有影像之近中性色大物件應產生在不同象限中之多個尖峰，或非常接近色軸之一單個尖峰本紙張尺度適用中國國家標準（CNS ) A4規格（210X 297公釐） -17- 經濟部智慧財rlQa (工消費合作社印製 525373 A7 _ B7 五、發明説明（15) 。具有所有尖峰距中性色軸小一特定臨限之任一影像在色品=上視爲中性色，且不改正。該演算法使使用者可排除此假設，俾當影像內容需要時，執行小塡色改變。此常係有關具有強肉色調存在之影像。許多肉色調可落於近中性色物件定義內。在此情形，通常最好不改正塡色，因爲此對最後膚色調有不良影響。以後更多討論此點。該演算法執行影像不正常之其他測試。如所有近中性色物件之平均色品超過一特定臨限，則該演算法歸咎該影像爲非常多彩之物件，且停止。此可爲 > 紅倉〃影象之例。一旦已決定塡色距離，則演算法自分節物件減此色品量，如顯示於圖7。如顯示於圖3 ，一 3維L U T (查閱表）用於該 ''經由3DLUT變換整個影像〃方塊5 2中，此變換輸入 RGB値爲最後輸出RGB値。在每一 LUT表坐標處， L UT之輸入RGB値變換爲亮度及色度色空間坐標。此等變換之坐標與每一色箱平均色比較。當有一相符時，則自平均値減塡色色度（施加剪截行動）。結果値再變換回至RGB。在LUT中執行一輸入，以顯示在RGB輸出値中引起增加或減少。施加內插法及推平行動於L U T，以確保無''尖端〃改正在最後影像中引起明顯之人爲痕跡。寫入L ϋ T於永久儲存器中，俾可分析及/或應用於已知具有相同塡色問題之其他影像上。在塡色移除之彩色影像顯示發明之塡色偵測及移除之色箱方法3 4之效果前及後。爲供測試之用，選擇景物，本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） I ^ 訂 (請先閱讀背面之注意事項再填寫本頁) -18- 525373 經濟部智慧財4-¾肖工消費合作社印製 Α7 Β7 五、發明説明（16) 以顯示可由Mac Beth光棚中所見之固定照明源引起廣大之外觀變化。該色箱方法3 4測試於2 0 〇個自然景物影像上。由不同之D S C裝置所攝取之戶外白日影像顯示小、、紅塡色〃改變，此等發生於雲，水泥，人行道，及柏油中。該等改變淺淡但可見。戶外影像之最強塡色移除結果來自曰落情況，是時主宰紅及橙色出現。在戶外自然影像上，閃光及螢光燈常產生綠塡色。色箱方法3 4提供優良之辨認及改正此自然景物。在混合光之情況’塡色移除較之單照明試驗之結果呈現不完全。此可能由一些近中性色物件由日光及另些由螢光照明之情況所引起。在總色組織圖7 0中，二物件呈現二光譜尖峰（每種照明各一），此等可充分分開，使每一尖峰來自不同之色象限。在此情形，色箱方法3 4不作強烈之改正。在此情形，分節資訊可提供每一物件之空間坐標。可執行一分析’由其影像坐標使近中性色物件分成群。近中性之各群間之加權微分提供位置及獨有塡色間之關聯。在此情形 ’可執行二分離之塡色移除，由其平均局部色平衡每組物件。在色箱方法3 4中，選擇L * a * b *色空間，因爲似乎需要感覺上之均勻性，以偵測及改正淡薄之塡色。 L* a *b *之浮點及立方根需求當然降低處理速度。普通在2 3 3 Μ H z Pentium視窗機器上處理3 2 0乘2 4 Ο R G Β之時間爲7秒（不執行程式最佳化）。應注意較大之影像並不增加塡色坐標之決定或分節之精確度。經發現本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐）：訂 (請先閲讀背面之注意事項再填寫本頁) -19- 525373 A7 B7 五、發明説明（17) (請先閲讀背面之注意事項再填寫本頁) 1 0 0乘7 5像素影像足以偵得中度之塡色（8數元坐標碼之12單位或以上之a*，b*半徑）。然而，真實景物之分節決定強烈限於1 0 0乘7 5像素情形，因爲8路連接之物件在該解像度上趨於相互分裂。在試驗上，3 2 0 乘2 4 0像素影像提供最佳之分節對處理時間，及2單位之塡色決定向量半徑精確度。爲偵察該演算法對色空間之選擇之依賴性，選擇'' Y U V 〃，因其普及於J P E G壓縮計劃中。自R G B線性化坐標之變換爲： Y 0.299 0.587 0.114 R u= -0.16875 -0.33126 0.5 X G V 0.5 -0.41869 -0.08131 B (1) 及反變換爲： R 1.0 0.0 1.402 Y G = 1.0 -0.34413 -0.71414 X U B 1.0 1.772 9.0 V (2) 雖 Y U V 需要3乘3 矩陣倍乘，但仍較L * a * b * 快 19 %。3 2 0x24 0像素影像在相同環境中方法普通需要5·6秒。塡色移除之色軸向量幾乎與結果相同。然而，在分節結果中有明顯之不同。Y U V結果較粗，因爲此普通發現較少之近中性色物件。在此等發現中，像素面積約相等。無由L * a * b *所提供之立方根本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） -20- 525373 A7 _____ B7 五、發明説明（18) (請先閱讀背面之注意事項再填寫本頁) 微分’當製造初始色箱時，Y u V之色坐標顯示量化雜訊之顯著增加。在二次重複後，主宰色尖峰之YUV位置等於L * a * b *結果。色空間之最後選擇爲、、L s t 〃。一簡單之色空間由簡單之加法及除法變換R G B爲L，s，t : L =( R + G + B )/ 3 ( 3 ) S =R / ( R + G ) ( 4 ) t 二 R / ( R + B ) ( 5 ) 經濟部智¾財4(工消費合作Ti印製此演算法主要使用於系統中，試圖迅速找出自然影像中之肉色調。雖色軸非常粗糙，但演算法產生幾乎完美之對應，使用較之L * a * b *色空間多5 0 %之重複。應注意s在R及G平面中自1進行至〇，同時t在R及B平面中執行相同之事情。在測試中，s ，t之色變化之粗糙度需要另外之重複，以緩慢穩定於塡色向量上。但一旦穩定 ’顯示在改正之影像上相同之目視效果。L s t之速度在 3 2 Ο X 2 4 0像素影像環境中約爲5 · 1 3秒。此演算法中之大部份處理時間由分類常式消耗，花於色空間計算上非常少。與YUV結果同樣，L s t產生較爲粗糙之分節結果，此緩慢收歛於近中性色物件之穩定說明上。最有趣者爲肉色調物件並不即刻由L s t色空間捕捉。而是，面部色調分佈於約二倍數之L * a * b *及Y U V系統之色箱上。假設由L s t色空間所提供之處理速度之較小增力口，達成一結論，即L U T加強之L * a * b *演算法可與 Lsst同樣快。增加收歛至穩定之塡色距離及加強之分節結本紙張尺度適用中國國家標準（CNS ) A4規格（21〇X 297公釐） -21 - 525373 A7 B7 五、發明説明（19) 果使L * a * b *成爲較佳模式。 (請先閲讀背面之注意事項再填寫本頁) 原先，肉色調顯示一問題，因爲在初始演算發展之期間中，使用廣大之先期色箱範圍參數設定於亮度及二色度波道上。此導致分節涵蓋一普通影像中之所有像素之8 0 %，並選擇所有肉色調爲近中性色物件。如早期之重複階段爲塡色改正，則肉色調物件喪失其一些黃-橙色度。結果即時可見且非常可厭。其後之發展可使用窄範圍於亮度及色度波道上。此迅速收歛於最小公共色向量上。此大爲降低膚色調之發生於最後近中性色物件中。爲防止膚色調之 ''去飽和〃，使用一軟體模組，以偵測肉色調之出現於分節物件中，並降低色度之減去。使用文件中所界定之肉色調之一般區域，以及影像資料庫中所見之特殊情形事例〇經濟部智慧財4A Η工消費合作社印製雖無需使用肉色調模組，但此爲非常有用之資產。一旦分節色箱已進住，可使用由軟體模組區別肉色調，以找出人面部，臂，及手。分節色箱包含其像素分佈之形心。製造一另外探索模組，以決定是否一色箱之像素分佈符合一橢面形，並計算其長軸及短軸。僅對肉色調色箱，該模組決定其是否屬於一面部，使用人頭長及短軸比率之標準。即使有來自喪失之像素，眼鏡，及珠寶之雜訊，該面部偵測器顯示合理之性能。測試僅限於前面部情形。在決定頭部之計算高度後，該程式檢查具有該大小之頭部之人之頸部，臂，及手所在之區域。在尋找其他肉色調色箱中發現一些成功，找出與頸部，臂，及手物件相當之位置處之本紙張尺度適用中國國家標準（CNS ) Α4規格（210X297公釐） -22- 525373 A7 _____B7 _ _ 五、發明説明（20) 物件，俾決定是否可執行良好曝光之影像中之人數之精確計數。 (請先閱讀背面之注意事項再填寫本頁) 分節之使用有助於辨認近中性色大物件之空間位置。其目的在嘗試找出光源，諸如天花板光，明亮之外部窗，及白日天空。色箱方法3 4証明在辨認及區別近中性色大物件上非常可靠。迅速分類並置非常明亮之曲線形物件於一或二色箱中。重複該色箱方法3 4使各色箱可作區域合倂，其中，變化之色特徵與進行重大之光變化之物件一致〇經濟部智慧財4^7a:工消費合作社印製根據區域之色度合倂一影像之各區域之能力爲本發明之一重大特色。亮度及色度之初始範圍之調整在具有組織及低度圖案之崩潰物件中甚重要。一參數設定與初始色箱範圍同時，說明任何單個色箱可具有之絕對最大色度範圍。此設定使8路連接之色箱及區域可相互合倂。目前，該演算法保持一色箱之絕對最大色度成長恆定，直至近中性色物件群之色度向量穩定爲止。相信使用窄色箱範圍於高度及色度上之早期重複可協助分類影像之內容爲所提出之二類。第一類屬於具有少數非常大物件之影像，及第二類尋找許多小及隨機取向之物件。根據此二類之知識，可實施特殊之色箱生長特徵，此集中於找出該影像之主題事項之少數主要物件。總而言之，本演算法迅速決定相當小之影像（約 2 0 0乘3 0 0像素）中是否有一塡色。具有一亮度及二色度軸之任一色空間可找出色向量，此代表近中性色大物本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐) •23- 525373 A7 ______ B7 五、發明説明（21 ) 件距色軸之位移。試驗上，L * a * b *最可靠使用於測試之二色空間中’以找出穩疋之色向量。一旦量度此向量，產生一簡單之I c C形輪廓，以移除影像中之塡色外觀。雖以特定最佳模式說明本發明，但應明瞭基於以上說明，精於本藝之人士明瞭許多更改，修改，及改變。故此，意在涵蓋後附申請專利之精神及範圍內之所有此等更改，修改，及改變。此處所述或附圖所示之所有事項應解釋爲實例，且無限制之意味。 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財4，-?〕貝工消費合作社印製本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） -24-

Claims

525373 A8 B8 C8 D8 ^、申請專利範圍 1 · 一種塡色偵測及移除方法，包括步驟：提供一色影像（3 2 )，由像素構成；提供一色空間，具有一消色軸（1 2 )及二色軸（ 1 4，1 6 ); 提供距消色軸（12)之一內定灰半徑（60); 在一色平面（1 4 一 1 6)中建立中性色（42)之色箱（4 2 ); 根據像素色品，由像素進住該色箱； g十算一色組織圖（4 4)，具有內定灰半徑（6 0) 內之色箱（42)中之像素之色尖峰（74，76 ，78 7 8 (請先閱讀背面之注意事項再填寫本頁) 根據色組織圖（44)中之色尖峰（74，76， )，調整內定灰半徑（60)至一灰半徑（64) 偵測灰半徑（6 4 )內之主宰色尖峰（8 0 )中之塡色及其與消色軸（1 2)之距離之塡色距離；由色空間中之色影像（3 2 )減塡色距離，移除該塡色；及輸出經移除塡色之色影像（3 6 )。 2 ·如申請專利範圍第1項所述之方法，其中，計算色組織圖（4 4 )之步驟包括步驟：. 指定色影像（3 2 )中之相鄰像素群；及消除無具有相似色度値之大部份像素之相鄰像^ ，從而僅處理近恆定反射率之大物件。 3 .如申請專利範圍第1項所述之方法，其中，#胃 •25- 525373 A8 B8 C8 D8 ^、申請專利範圍色組織圖（4 4 )之步驟包括步驟：建立色度値之範圍；及由連接具有色度値之接近範圍之色箱（42)，緊縮該等色箱（4 2 )。 4 ·如申請專利範圍第1項所述之方法，其中，計算色組織圖（4 4 )之步驟包括步驟：建立色範圍；分類該等色箱（42)，以決定其中像素之連接至具有接近色範圍之其他色箱（4 2 )中之其他像素；建立分節色箱（66)，俾包含具有接近色範圍之連接之像素；由具有接近色範圍之連接之像素進住分節色箱（6 6 );及計算分節色箱（6 6 )之形心。 5 ·如申請專利範圍第1項所述之方法，其中，計算色組織圖（4 4 )之步驟包括步驟：建立色範圍；分類該等色箱（4 2 )，以決定其中像素之連接至具有接近色範圍之其他色箱（4 2 )中之其他像素；建立分節色箱（6 6 )，俾包含具有接近色範圍之連接之像素；由具有接近色範圍之連接之像素進住分節色箱（6 6 ):及偵測分節色箱（6 6 )間之空間，從而決定色影像（ ‘· 1' ··-- (請先閱讀背面之注意事項再填寫本頁) 訂線'·· ¾齊郎皆員本紙張尺度適用中國國家標準（CNS ) A4規格（210X 297公釐） -26- 525373 A8 B8 C8 D8 六、申請專利範圍 32)中之物件之邊界。 6 ·如申請專利範圍第1項所述之方法，其中，計算色組織圖（4 4 )之步驟包括步驟：建立色範圍；分類該等色箱（4 2 )，以決定其中像素之連接至具有接近色範圍之其他色箱（4 2 )中之其他像素；建立分節色箱（66)，俾包含具有接近色範圍之連接之像素；由具有接近色範圍之連接之像素進住分節色箱（6 6 );及偵測具有非相鄰色範圍之分節色箱（6 6 )間之空間，從而決定色影像（3 2 )中之高色度物件之邊界。 7 .如申請專利範圍第1項所述之方法，其中，調整內定灰半徑（6 0 )之步驟包括步驟：偵測接近該內定灰半徑（6 0 )之色尖峰（7 4 ’ 7 6，7 8 ) •，及改變灰半徑（6 4 )，以含入接近內定灰半徑（6 〇 )之色尖峰（74，76’ 78)。 I f (請先閲讀背面之注意事項再填寫本頁) 8 .如申請專利範圍第1項所述之方法，其中，調整內定灰半徑（6 0 )之步驟包括步驟.：偵測接近該內定灰半徑（6 0 )之色尖峰（7 4 ’ 7 6，7 8 );及改變灰半徑（6 4 )，以含入接近內定灰半徑（6 〇 )之色尖峰（74’76’78)。本紙張尺度適用中國國家標準（CNS ) A4規格（210X：Z97公釐） -27- 525373 A8 B8 C8 D8 ^、申請專利乾圍 9 ·如申請專利範圍第1項所述之方法，其中，調整內定灰半徑（6 0 )之步驟包括步驟： (請先閱讀背面之注意事項再填寫本頁) 偵測接近該內定灰半徑（6 0)之色尖峰（74 ’ 7 6，7 8 ).，及改變色度之初始色箱範圍。 1 〇 ·如申請專利範圍第1項所述之方法，其中’調整內定灰半徑（6 0 )之步驟包括步驟：偵測接近該內定灰半徑（6 0 )之色尖峰（7 4 ’ 7 6，7 8 );及改變任何色箱自色度之初始色箱範圍之最大生長。 1 1 ·如申請專利範圍第1項所述之方法，其中’調整內定灰半徑（6 0 )之步驟包括步驟：偵測接近該內定灰半徑（6 0 )之色尖峰（7 4 ’ 7 6，7 8 );及重行計算灰半徑（64)內之色箱（42)中之像素之色組織圖（4 4 )。 1 2 ·如申請專利範圍第1項所述之方法，其中，調整內定灰半徑（6 0 )之步驟包括步驟：建立色範圍；分類該等色箱（4 2 )，以決定其中像素之連接至具有接近色範圍之其他色箱（4 2 )中之其他像素；建立分節色箱（6 6 )，俾包含具有接近色範圍之連接之像素；由具有接近色範圍之連接之像素進住分節色箱（6 6 本紙張尺度適用中國國家標準（CNS ) A4規格（210X 297公釐） -28- 525373 A8 B8 C8 D8 六、申請專利範圍 )；偵測接近內定灰半徑（6 0 )之色尖峰（7 4，7 6 ，7 8 );及重行計算該灰半徑（6 4 )內之分節色箱（6 6 )中之像素之色組織圖（4 4 )。 1 3 .如申請專利範圍第1項所述之方法，其中，計算色組織圖（4 4 )之步驟包括步驟：決定主宰色尖峰（8 0 )之存在於色空間之不同色象限中，以防止移除該塡色之步驟。 1 4 .如申請專利範圍第1項所述之方法，其中，計算色組織圖（4 4 )之步驟包括步驟：當主宰色尖峰（8 0 )之幅度小於一乘數臨限値乘大於非主宰色尖峰（74，76 ，78)之平均幅度時，消除色組織圖（44)之計算中之該主宰色尖峰。 1 5 ·如申請專利範圍第1項所述之方法，其中，提供內定灰半徑（6 0 )之步驟包括步驟：自L*a*b*，YUV，及L s t所組之群中所選之一色空間中選擇一色空間。 1 6 .如申請專利範圍第1項所述之方法’其中，移除塡色之步驟包括步驟：建立具有對塡色距離改正之一查閱表；及使用該查閱表變換色影像（3 2 )，以提供塡色已移除之影像（3 6 )。 -29- (請先閲讀背面之注意事項再填寫本頁) 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐）