TW550518B - Classification of photos with sepia tones - Google Patents

Description

五 發明說明（ 發明之背景 1.本發明之界定 統，以及 照片的分 本發明係論及一些數位影像資料庫和分類系 係特別論及-些已被轉換成數位袼式之深褐色謂 類技術。 2·相關技藝之說明 自動影像分類技術’係、具有許多重要之應用，特別是 在分類-特殊類別之影像方面：具有深褐色調之黑白吗 片。某些此等影像係掃瞄自古董相片，彼等原為黑白昭片、。 隨著歲月之增長，彼等將會因其軟片紙張之化學反應而逐 漸轉變為黃色或棕色。再說’許多其他深褐色調影像，特 別地或以化學方式或以數位方式而產生，以產生一古董外 彼等具有深褐色調之照片的分類技術，係有用於在幾 種應用中。由於該等特殊之彩色色調所致，許多多方用途 之彩色影像處理技術，並無法對此等影像工作良好。舉例 而言，一純粹基於皮膚色彩來偵測臉部之一影像系統中的 臉部偵測演算法，係不太可能對此等相片產生正確之結 果，因為其皮膚色彩業已改變。藉由偵測彼等具有深褐色 調之影像，該系統可適當地處理此等影像，以避免可能之 誤差。舉例而言，一他型之演算法，可用來偵測其臉部， 其係使用一些不因色彩變化而改變之特徵，諸如眼睛角 隅。所以’此影像辨識系統之偵測準讀度，可顯著地得到 改良。 本紙張尺度適用中國國家標準（CNS) A4規格（210X297公釐） 550518 五、發明説明（ 彼等深褐色調影像，亦會造成自動色彩平衡或增強程 序之問題。由於該等色彩係狹窄地集中於深褐色調， 該等〜像將會錯誤地被認為色彩不平衡。對此等影像做色 衫修正，將會造成不當之色彩假象。若一彩色影像程序事 先决迢何種影像正在處理，其將可適當地做反應及達成較 佳之結果。深褐色調影像分類技術之另一應用，為在影像 索引方面。大影像資料庫或匯集，將需要良好之索引機構， 以使彼等衫像，可做有效之分類、做有效率之劉覽、以及 迅速地做檢索。一些傳統式系統，舉例而言，係使用一有 關上㈣似播案建立曰期、檔案名稱、檔尾名、等等之影 像㈣等的敘述性資訊，而來回於其資料庫，儲存及檢索 特定之貝訊。此一形式之影像分類，並未顯著不同於任何 其他數位資訊之分類技術。 糟由仰賴於其檔案資訊，可得到之粗略資訊，僅有關 其檔案，而專屬其影像的則全無。舉例而言，一影像檔案 可月b具有一全热關乎其影像之類型或内容的名稱，諸如一 …白〜像可此具有檔案名稱“color一image，，。其他系統係 提供-基於其影像類似花、#、㈣之内容的分類技術。 貫際上，此通常係藉由關鍵字註解來完成，其係一繁重之 任務。 過去數年來’已建議有一些影像分類技術，係被設計 來使用於影像資料庫中。然而，此等先存技藝式技術，全 無宣告來辨識深褐色調影像資料庫。此等先存技藝式技術 之靶例，係包括在以下之論文中。-s. F. Chang , w.， ' 丨 …. 本紙張尺度適用中國國家標準（CNS) A4規格（210X297公I) 550518 A7 J_B7___ 五、發明説明（3 ) (請先閲讀背面之注意事項再填寫本頁) 和 Η· Sundaram在 1998年之Proc. IEEE Inti· Conf. On Image Processing 第 3 卷第 53 1-35 頁的 “Semantic visual templates:linking visual features to semantics”(語意視覺才篆 版；鏈結視覺特徵至語意），S. Paek和S· -F· Chang在2000 年之 Proc. of Inti· Conf· On Multimedia & Expo·的 “A knowledge engineering approach for classification based on probabilistic reasoning system”（基於機率推理系統之影像 分類知識工程方案），R· Qian，N. Haering和I· Sezan在1999 年之 Proc. of IEEE Conf. Computer Vision and Pattern Recognition第 1卷第 200-06 頁的 “A computational approach to semantic event detection”（事件債測之計算方案），M. Szummer和 R. W. Picard在 1998年之Proc· of IEEE Workshop on Content-Based Access of Image and Video Libraries 第 42-51 頁的 “Indoor-outdoor Image classification”（戶内戶外 影像分類技術），A. Vailaya，Μ· Figueiredo，A· Jain和 H.-J· Zhang在 1999年之Proc. Of SPIE: Storage and Retrieval for Image and Video databasees VII 第 3656 卷第 415-26 頁的“A Bayesian Framework for semantic classification of outdoor vacation Images”（戶外假期影像之語意分類的貝葉斯架 構），A. Vailaya 和 A. Jain 在 2000 for Image and Video databasees 第 3972 卷第 411-20 頁的 “detecting sky and vagetation in outdoor image’’（戶外影像中之天空和植物的 偵測）N. Vasconcelos 和 A. Lippman 在 1999 年之 Proc· of IEEE Conf. on Computer Vision and Pattern Recognition第 本紙張尺度適用中國國家標準（CNS) A4規格（210X297公釐） 550518 A7 B7 五、發明説明（4 566-71 頁的 “A Bayesian Framework for semantic content characterization”(語意内容特徵化之貝葉斯架構）。 彼等影像資料庫經常係包含一些具有各種類似不同 色彩解析度（例如，16、256、16位元、和24位元色彩）之彩 色影像、灰階影像、黑白影像、深褐色調影像、等等之特 性影像。彼等先存技藝式影像分類技術，並未宣告自動深 褐色調影像分類。由於彼等深褐色調影像，會於使用傳統 式影像處理技術時造成困難，以及許多深褐色調影像，係 一些有價值之古董照片，一般希望有一種影像分類系統， 能分析彼等影像本身之性質，以及可依據此影像是否為一 深褐色調影像，來分類此等影像。 本發明之概要 本發明旨在提供一種可分類一些包括深褐色調之數 位影像的方法和系統。一範例性方法，係包括將一數位影 像之第一色彩空間的值轉換成一些色彩飽和強度（HSV) 值；移除此影像中任何低於一飽和臨界值和一強度臨界值 之圖素；分析該數位影像之其餘圖素；以及基於此數位影 像之其餘圖素的分析結果，將此數位影像，分類成一深褐 色調影像。 若干他型實施例，係備來依據彼等深褐色調影像之預 定色彩分佈，評估每一其餘圖素屬深褐色調之概率，以及 決定該數位影像為一深褐色調影像之概率。

一訓練一系統來偵測深褐色調影像之範例性方法，係 包括將多數訓練影像之第一色彩空間的值轉換成一些HSV 本紙張尺度適用中國國家標準（CNS) A4規格（210X297公釐） -----------------------裝..................ΤΓ.................線 (請先閲讀背面之注意事項再填寫本頁) 550518 A7 B7 五、發明説明 值；移除此等訓練影像中任何低於每一多數訓練影像有關 之至少一飽和臨界值和一強度臨界值的圖素；以及在其移 (請先閲讀背面之注意事項再填窝本頁) 除步驟之後’對所有多數訓練影像，評估其餘圖素有關之 HSV值的色彩分佈。 圖示之簡單說明 本發明之以上特徵和優點，與本發明之額外特徵和優 點，將可由下文參照所附諸圖對本發明之敘述，而有更佳 之瞭解，其中； 第1圖係顯示本發明之一範例性方法的流程圖； 第2圖係顯示本發明之一訓練方法的流程圖； 第3圖係顯示本發明之一範例性系統的方塊圖；而 第4圖則係顯示本發明之一範例性訓練系統的方塊 圖。 較佳實施例之詳細說明 第1圖係顯示一分類深揭色調影像之範例性方法的流 程圖。在步驟100中，-數位影像之第一色彩空間的值，將 會被轉換成一些色彩飽和強度值（HSV)。本技藝之專業人 員將可理解，此數位影像可被檢索自多數儲存在—内含至 少一彩色影像、灰階影像、和深褐色調影像之群的影像資 料庫内之數位影像。此外’其第—色彩空間，可為任何色 彩空間之已知表示式。然而，基於解釋之目地而無限制意， 其餘之敘述將稱上述之第一色彩空間為紅、綠、藍（_) 色彩空間。所以，上述所說明之轉換作用，係二至 HSV 〇

550518 A7 B7 五、發明説明（6 在一範例性方法中，該等RGB值係被規一化（亦即，範 圍為0-1.0)。其轉換公式接著可被定為：

Max = max(R.G.B)

Min = min(R.G.B)

Val = Max

If(Val=0)Sat = 0，else Sat=l-Min/Val If(Sat=0) Hue is undefined, else (G-B)/(Max-Min)x60 if (R = Max)λ(G-B) > 0 ττηp = I (G - B)/(Max - Min) x 60 + 360 if (R = Max) λ (G-B) > 0 -] (2.0 + (G - B)/(Max - Min)) x 60 if (G = Max) (4.0 + (G - B)/(Max - Min)) x 60 if (B = Max) 其中，H之範圍係0-360度，S係0-1.0，以及V係0_ 1.0。 然而，本技藝之專業人員將可理解，其他之轉換公式係可 被使用。此外，理應瞭解的是，彼等黑白影像，可在其RGB 至HSV之色彩空間轉換步驟中，直接被辨識， 在步驟110中，上述數位影像中任何低於至少一飽和臨 界值和一強度臨界值的圖素將會被移除。彼等具有低飽和 度或低強度之圖素，係因考慮彼等趨於無關乎彼等之色調 值而呈現灰色而予以移除。該等圖素在移除上係基於以下 之標準： (1-S)3+(1-V)3^ C3 其中，c係一設定為0.94之臨界值，S係其範圍自0至1.0之 飽和度值，以及V係其範圍自0至1.0之強度值。 在步驟120中，於其移除步驟之後，上述數位影像之 其餘圖素會被分析。該數位影像在步驟130中，係基於上述 數位影像之其餘圖素的分析，而被分類為一深褐色調影 像。此分類技術係包括一些可針對該影像執行之檢索、顯 示、加標籤、儲存、等等中的至少·一個。舉例而言，其程 本紙張尺度適用中國國家標準（CNS) A4規格（210X297公釐） -----------------------裝................、可..................線 (請先閲讀背面之注意事項再填寫本頁) 9 550518 五、發明説明（ 序可標記-影像資料庫内之深 可針對此標記之深褐色調影像，執二特 :::或者基於該深褐色調標藏，自該影像資二 可任選地，在步驟122中，其分析在執行上，係拜由 基於彼等深褐色調影像之-預定色彩分佈，來決定每X Γ圖素屬深褐色調的概率。上述預定之色彩分佈，可在 抽之―訓練階財被決定。接著，在步驟124中， 上述數位影像為一深褐色調影像之概率將會被決定。在步 驟126中，上述數位影像為—深褐色調影像之概率，係盘一 預定臨界值相比較，來辨識—些深褐色調影像。舉例而令， 右t述數位影像為一深褐色調影像之概率，係大於此預定 ^界值，此影像係、被決定為深褐色調。本技藝之專業人 貝將可理解，上述用以辨識深褐色調影像之預定臨界值， 亦可在一訓練階段期間被決定。 參照第2圖，所顯示係一訓練一系統以制深褐色調 影像之方法的流程圖。在步驟綱中，其多數訓練影像之 咖值’係被轉換成麟值。該等訓練影像較佳地係一些 深褐色調影像。本技藝之專業人員將可理解，該等非肩深 褐色調影像之影像，可被用於其訓練影像組中。然而，該 等訓練影像接著將勢必要被確認出是否為深褐色調。在步 驟2丨〇中，該等訓練影像_任何低於至少一飽和臨界值和一 強度臨界值的圖素，將會就每一多數訓練影像而被移除。 該等其餘圖素之HSV值的色彩分·佈，接著將會在步騾23〇 本紙張尺度適用中國國家標準（CNS) A4規格（2Ι〇χ297公爱）

、-7-— (請先閲讀背面之注意事项再填窝本頁) 10

五、發明説明（8 ) 中，對所有多數訓練影像做評估。可任選地，在步驟24〇 中，一臨界值係在一影像被分類為一深褐色調影像下被建 立。本技蟄之專業人員將可理解，上述訓練程序有關之rgb 對HSV的轉換、飽和臨界值、和強度臨界值，可如上述分 類技術程序有關之說明而被決定。所以，其之說明和方程 式將不做重複。 為便於本發明之瞭解，本發明之許多特徵，在說明上 係依據一電腦控制式系統之元件所要執行的動作順序。理 應認清的是，在每一實施範例中，各種動作在執行上可藉 由一些特殊電路（例如，一些被互聯來執行一特殊功能之離 散邏輯閘），可藉由一或多處理器所執行之程式指令，或藉 由兩者之組合。此外，本發明可另外地被視為完全具現在 任何形式已儲存有一可使一處理器完成本說明書所說明之 技術的適當電腦指令組之電腦可讀取式儲存媒體中。因 此’本發明可之多種特徵，可被具現在許多不同之形式中， 以及所有此等形式，係預期在本發明之範圍内。就本發明 之每一多種特徵而言’一實施例之任何此種形式，在本說 明書係被稱為一可執行一所敘述之動作的“邏輯電路，，。 第3圖係一使用上文所說明之訓練程序所得到之臨界 值的電腦控制式系統3〇〇的方塊圖。舉例而言，如同前文所 說明，每一新輸入影像3 1〇，將會在區塊32〇中，經歷上述 使用一可將一數位影像之第一色彩空間值轉換成一些色彩 飽和強度（HSV)值的邏輯電路之RGB至HSV色彩空間轉換 作用。該影像低飽和或強度之圖素·，接著會在區塊34〇中， 550518 A7 — ___-_ B7__ 五、發明説明（9 ) 使用一可移除上述數位影像任何低於至少一飽和臨界值和 一強度臨界值的圖素之邏輯電路加以移除。其餘之圖素在 使用上係利用一最大可能性評價，來評估此影像為深褐色 調之概率。每一圖素係假定為其輸入資料之一獨立樣本。 圖素i為深褐色調之概率，可藉由區塊350所提供之預定色 彩分佈（舉例而言，如·第2圖之訓練程序所決定"直接來加 以評估。接著，一聯合對數概率l〇g(P)，可在區塊36〇中， 使用一可分析處理上述數位影像之其餘圖素的邏輯電路， 藉由： Σ1〇§(ρ〇 log(P)=」-

N 就其整個影像來加以計算 其中’ N係其餘圖素之總數，Pi係圖素i為深褐色調之 概率，以及log(P)係表示該影像屬深褐色調之概率。彼等 >未褐色έ周相片計得之概率值，通常係甚高於正常之彩色相 片。所以，區塊370所供應之一簡單臨界值，可被用以分別 彩色影像與深褐色調影像。舉例而言，其臨界值係被設定 為-5.2。因此，若i〇g(p)大於_5·2，在區塊mo中，使用上述 可基於數位影像之其餘圖素的分析結果，將該影像分類為 深褐色調的邏輯電路，此影像係被決定屬深褐色調。 第4圖係一依據本發明另一實施例之電腦控制式訓練 系統400的方塊圖。舉例而言，如同前文所說明，每一訓練 景’像410在區塊420中，係經歷上述rgB至HSV色彩空間之 轉換作用。該等低飽和或強度之圖素，接著會在區塊44〇 本紙張尺度適用中國國家標準（CNS) A4規格（210X297公楚） (請先閲讀背面之注意事項再填寫本頁) ,、-Ί· 550518 A7 B7 五、發明説明（10 ..........................^—— (請先閲讀背面之注意事項再填寫本頁) 、-1丨 中被移除。在區塊460中，上述之HSV空間，係被均勾區分 為-些沿H、S、和V維度之單元。舉例而t，如維度可 被區分為36個單元，其S維度可被區分為4個單元，以及其 V維度可被區分為4個單元。上述訓練影像之每一其餘圖 素，接著係基於其HSV值分配一單元。每一單元有關/之值， 係藉由計算每一單元中之其餘圖素，來加以建立。每一單 元有關之值，接著會藉由將每一單元有關之值除以其餘圖 素之總數，而加以常態化。其結果在區塊48〇中，係一％ 乘4乘4維度之向量，其可特性化該等訓練影像之色彩分 佈。此色彩分佈亦可被視為此等訓練影像中之其餘圖素有 關的概率密度函數之一粗略評估。典型地，彼等深褐色調 影像中之色彩，大部份係集中在黃色和紅色四周。所以， 該等對應於此等色彩之單元，將會包含大多數之其餘圖素。 :線 前文係說明本發明之原理、較佳實施例、和運作模 悲。然而，本發明並不受限於上文所討論之特定實施例。 舉例而5，每一深褐色調影像，可基於其概率做進一步之 为類。彼等極接近其臨界值之影像，可接著做標記以供手 動檢閱。此外，若大部份深褐色調影像係接近其臨界值， 此可被用做其需要一新的訓練影像組來重新訓練其系統之 指示。 所以，以上所說明之實施例，應被視為例示性而非限 制思，以及理應瞭解的是，本技藝之專業人員將可理解， 在不違離以下申請專範圍所界定之實施例中，可製成一些 變更形式。 本紙張尺度適用中國國家標準（CNS) A4規格（210X297公釐） 13 550518 • A7 B7 五、發明説明（U ) 元件編號對照 300…電腦控制式系統 400…電腦控制式訓練系統 本紙張尺度適用中國國家標準（CNS) A4規格（210X297公釐） (請先閲讀背面之注意事項再填寫本頁)

14

Claims (1)

1. 550518 A8 B8 C8 D8 申請專利範圍 1· 一種分類深褐色調數位影像（310)之方法，其係包括： (100)將一數位影像（3 10)之RGB值轉換成一些色彩 飽和強度（HSV)值； (110)移除上述數位影像（3 10)中任何低於至少一餘 和臨界值和一強度臨界值的圖素； (120)在其移除步驟之後，分析上述數位影像（3 1〇) 之其餘圖素；以及 (130)基於上述數位影像（310)之其餘圖素的分析結 果’將該數位影像（3 10) ’分類成一深褐色調影像。 2.如申請專利範圍第1項之方法，其中之分析係包括： (122)基於彼等深褐色調影像之一預定色彩分佈 (350)，來決定每一其餘圖素為深褐色調之概率； (124)決定上述數位影像（3 1〇)為一深褐色調影像之 概率，其中之數位影像（310)為一深褐色調影像之概 率，係決定如下： Xlog(^) log(尸）= 本紙張尺度適用中國國家標準（CNS) A4規格（210X297公釐） (諳先閲讀背面之注意事项再填寫本頁) -#· 其中，N係其餘圖素之總數，Pi係圖素丨為深褐色調 之概率，以及log(P)係表示該影像屬深褐色調之概率； 以及 (126)比較上述數位影像（310)屬深褐色調之概率與 一預定臨界值（3 70)，以辨識彼等深褐色調影像，其中 用以辨識深褐色調影像之預定臨界值（370)係-5.2,以及 若log (P)大於ο·2，其中之數位影像（310)，係被分類為 15 A8

   3·如申請專利範圍第i項之方法， 係-内含至少-彩色巧傻，、中〜數位影像(310卜 之群的影像資料庫内之影像。 ^紅调影像 4’如申請專利範圍第丨項之方法 基於其分類之步驟，執_ ^包括： 示、加標藏、儲存。執订至少-影像之檢索' 5· Z種訓練—系統㈣測深褐色調影像之方法，其係係 (_)將多數料f彡像⑷G) -些HSV值，1中之，巴轉換成 影像： 之^東衫像⑷0)’係一些深褐色調 像⑷(=Γ此等訓練影像任何低於每-多數訓練影 像⑷0)有關之至少—鮮度 圖素：以及 值’強度臨界值的 (230)在其移除步驟之後’對所有多數訓練 評估其餘圖素有關之HSV值的色彩分佈。 、 6. 如申請專利範圍第5項之方法，其進_步包括： (240)建立—影像被分類為一深褐色調影像下之臨 界值。 7. 如申請專利範圍第5項之方法，其進_步包括： 將HSV空間均勻區分為一些沿H、s、和ν維度之單 元； X 顯 包 基於每一其餘圖素之HSV值， 分配上述訓練影像 之 (CNS) A4^ (210X297^)

   16 550518 A8 B8 C8

   550518 A8 B8 C8 D8申請專利範圍 一可將一數位影像（310)之一第一色彩空間的值轉 換成一些色彩餘和強度（HSV)值的邏輯電路（320): 一可移除數位影像（3 10)任何低於至少一飽和度臨 界值和一強度臨界值之圖素的邏輯電路（340): 一可在其移除步驟之後分析上述數位影像（3丨〇)之 其餘圖素的邏輯電路；和 一可基於上述數位影像（310)之其餘圖素的分析結 果將該數位影像（3 10)分類為一深褐色調影像之邏輯電 路（360)。 % -----------------------裝-------------……、玎..................線 (請先閲讀背面之注意事項再填寫本頁) 本紙張尺度適用中國國家標準（CNS) A4規格（210X297公釐） 18