TW540008B - Color image processing method and apparatus thereof - Google Patents

Description

540008 五、發明說明（1) 相關申請案參照 本申請案請求對於1 9 9 9年2月5日提出申請之美國臨時 申請案序號No. 60/ 1 1 8, 742之利益的權利，該案揭示内容 以參照方式併入此處。 發明背景 1 ·發明範圍 本發明有關一種彩色圖像處理方法與設備，尤其有關 一種彩色圖像處理方法，用以擷取彩色圖像索引與搜尋時 使用的色彩特徵描述符。 2 ·相關技術說明 用於描述多媒體内容的各種視覺特徵中，色彩是最具 優勢的特徵。根據傳統的彩色圖像處理方法，其中使用一 種色形直方圖來表示一圖像的彩色資訊。然而，使用包含 1 0 2 4儲存區之色彩柱狀圖的傳統彩色圖像處理方法，其缺 點在於，描述圖像的圖像處理步驟，其計算複雜性 了曰 需許多處理時間。 ° 發明概要 ，了解決上述問題，本發明目的—之是提供一種可 低5十异设雜性與處理時間的彩色圖像處理方法。 本發明另一目的是提供一種電腦可讀 腦可執行之程式，用以執行彩色圖像處理其具有灣 本發明再一目的是提供一種彩色 執行彩色圖像處理方法。 1象處理§又備… 實現本發明特徵之彩色圖像處理方法，

〇枯以下步韻

8902l03.ptd 540008 五、發明說明（2) (a )取得一輸入圖像之色旦.,...^ 以獲得輸入圖像之主要色彩及。率，以及色=量分類 主要色彩及其比率，作為於 （c)表不此等 色彩向量較佳為量；特徵描述符。 位數。 .千化向夏，且其比率較佳採用百分 本彩色圖像處理方法可進而包括步驟(e) ··组 化色彩向量與色彩特徵描沭笳 *主-z人 ’、、。里子 圖像。 田这付，並表不組合結果做為整體 —同Ϊ1在步驟（b)前，可進而包括一步驟，執行一預 乂便輸入之圖像柔和。或者，本方法在步 驟(？二，可進而包括一步驟’執行一預定的過滤處理， 以除去輸入圖像之雜訊。 同時，本方法在步驟（b)前，可進而包括二步驟：分 析過濾後圖像中的晝素（pixels)為雜訊畫素之機率，並對 之給予適當的加權；以及對應加權之畫素，對色彩向量進 行一般勞埃德演算法（general L1〇yd alg〇rithm)，以執 行色彩量子化。 - 根據本發明另一層面，其中提供一種彩色圖像處理方 法’用以擷取說明圖像色彩特徵之色彩特徵描述符。此方 法包括以下步驟：（a )將一輸入圖像分割成複數個區域， (b)取得各分割區域之色彩向量，（c )將色彩向量分類以 獲得輸入圖像之主要色彩及其比率，以及（d )表示此等主 要色彩及其比率，作為輸入圖像之色彩特徵描述符。 本务明亦提供一種電細可頃媒體，其具有電腦可執行

8902103.ptd 第5頁 540008 五、發明說明（3) ，用以執行一種彩色圖像處理方*，以擷取說明 二）蔣：特徵之色彩特徵描述符。此方法包括以下步驟： θ夕名I輪入圖像分割成複數個區域，（b )取得各分割區 1 4 t A向1，（ C )將色彩向量分類以獲得輸入圖像之主 从盔2及其比率’以及（0 )表示此等主要色彩及其比率， 作為輸入圖像之色彩特徵描述符。 根據本發明另一層面，其中提供一種彩色圖像處理設 備用以擷取說明圖像色彩特徵之色彩特徵描述符。此設 備包括:色彩向量擷取單元與一色彩特徵描述符產生單元 。該色^向量擷取單元接收一輸入圖像之晝素值數據，並 擷取^形向量給一預定色彩座標系統；該色彩特徵描述符 產生單兀於所有色彩向量都已接收後，取得以色彩向量表 示的主要色彩百分位數，並產生與輸出包含主要色彩及其 百分位數資訊的色彩特徵描述符數據。 本發明亦提供一種彩色圖像處理設備，用以擷取說明 圖像色，特徵之色彩特徵描述符。此設備包括一分割單元 、一色f向量擷取單元、及一色彩特徵描述符產生單元。 該分割單元將一輸入圖像分割成k個區域（其中，k是一任 意正整t) ’並依序輸出對應第k個區域的晝素值數據。該 色彩向5掏取單元接收一輸入圖像之畫素值數據，並擷取 色彩向量給一預定色彩座標系統。該色彩特徵描述符產生 單兀於所有色彩向量都已接收後，取得以色彩向量表示的 主要色彩百分位數，並產生與輸出包含主要色彩及其百分 位數資訊的色彩特徵描述符數據。

8902103.ptd 第6頁 540008 五、發明說明（4) 較佳實施例說明 本發明以上目的及優點，可藉參照附圖詳 佳實施例而更趨於明白，附圖包括： 、说明其較 以下參照附圖詳細說明本發明實施例。 请參照圖1 ，其中顯示根據本發明之彩色 法。首先輸入一彩色圖像A(步驟100)。將此彩备像處理方 成複數個區域Fl、f2、F3、及^ (步驟1〇2)。此=圖像分割 據例如邊緣流ϊ (edge f 1 ow)來執行。缺後、刀割可根 叫、卩2〜及卩4之量子化色彩向；(步、驟心各個區 取得量子化色彩向量之步驟，較佳包括 先，執行-預定的過滤步驟以柔和及除去 ζ驟：首 預處理步驟。其次’分析過濾後圖像中的畫素為m 為雜訊晝素的機率，係從與相鄰晝素間 類，在這•書辛；二彩距離而分 素，並在所選出的畫素中1色彩= ，、里素值叹疋為最大色彩距離，用τ(η)來表示。然後 Τ(〇加權各晝素的色彩向量。exP(-T(n))是用 ▽，疋義的。胃其次’假設所有晝素的T(n)值的平均數為Ta ’要用在量子化的初期叢集（initial clusters)數N等 查=vg乘=一任意常數，例如2。然後，針對對應加權後 =^之色衫向量進行一般勞埃德演算法，將這些色彩向量 匕首先’使用异式（1)表示的叢集質心（ci):

8902103.ptd 第7頁 540008 五、發明說明（5) ^ Σν(η)Χ(η) / Σν (η) ···_· (1) 其中’ x(η)是已分類晝素中第η個晝素之晝素值。然後計 算算式（2)表示的Di值： I = Σ V ⑻丨 X⑻- “丨丨 2 ···_·· (2) 然後分割Di值最大的一個叢集。重複此程序，直到產 生N個叢集。產生N個叢集後，執行一般勞埃德演算法。執 行一般勞埃德演算法時，使用算式（1 )計算叢集質心以執 行更新（updating)。 其次’執行凝聚叢集（agglomerative clustering)以 凝聚色彩向量相同的叢集。凝聚叢集是由匕〇· Duda與ρ· Ε·

Hart 在 1973 年紐約j〇hn Wiley and Sons 書局出版的 nPatt ern Classification and Scene Analysis” （樣態分類與 景物分析）一書中揭示。本說明書中將不詳細說明此書。 然後’將色彩向量分類，並獲得以色彩向量[c L，c u， cVJ表不的主要色彩及其百分位數Pi (步驟1〇6)。此處，i 表示主要區域的任意序號，範圍從！到]^ ; L、U & v表示cie LUV色彩座標系統之座標。百分位數Pi是以小數表示^ ^個 區域的百分位數Pi之總和為1，如算式（3)所表示： |ΣΡ,= ΐ[…··_(3) 其次，以色彩向量[cLi，cUi，cVi]表示的主要色 百分位數Pi:皮表示為一相關區域之色彩特徵描述符：牛ς 108)。換言之，色彩特徵描述符F可用算式⑷表示‘：

540008

卜={{[cLi’cUi’cVihPi}，Ui，…·，N}……⑷ 其中，N是一預定之正整數。色彩特徵描述符可稱為可變 儲存區色彩柱狀圖（variable —bin c〇1〇r hist〇gram)。 結合第k區域内的晝素值數據（亦即Regi〇nk)與此區域 的色彩特徵描述符數據（亦即Fk)，可用算式（5)表示 圖像A’ ： A 丨 Reg i oni，，Reg i 〇n2, F2; ......;Regionk，Fk} .........(5) /、中’k疋一預疋正整數，表示圖像a之切割區域數（步驟 110 )。 θ以本，明之彩色圖像處理方法擷取的色彩特徵描述符 二=相Ϊ每一區域用小量數目的數值壓縮表示的。色彩特 欲描述=的壓縮表示法（compact 可顯著 減少计t複雜性。如此允許快速搜尋與擷取以多媒體為基 礎的内谷。本發明之彩色圖像處理方法可應用在諸WMPEG - 7之物體基準式圖像處理方法。 本發明之彩色圖像處理方法可用電腦程式作程式設定 構成電細程式的編碼與編碼節段（c 〇 d e s e g m e n t s )可由 相關技術^電腦程式設計師輕易導出。此外，程式係儲存 在電^可項媒體中，並可由電腦讀取與執行，藉此具體實 現本衫色圖像處理方法。前述媒體包括磁性記錄媒體、光 學記錄媒體、載波媒體等。 —此外’本彩色圖像處理方法可在一彩色圖像處理設備 上貫施。圖3為根據本發明之彩色圖像處理設備之方塊圖 。請爹照圖3 ’此彩色圖像處理設備包括一分割單元300

8902103.ptd 第9頁 540008

、—色彩向量擷取單元302 3〇4、及一組合單元3〇6。 一色彩特徵描述符產生單元 此彩色圖像處理設備在操作時，分割單元3〇〇將 入圖像A分割成k個區域’並依序輪屮輪 ^ fRegl〇nk。色彩向量擷取單元3〇2接收第k區域内的查 ’並操取色彩向量[cLi，cUi，修當 4向篁[cLpcUi’cVi]都已接收時’色彩特徵描述符產生 早兀304獲付以色彩向量[cLi，cUi，cVi]表示的主要色彩百 分位數P, ’並產生與輸出色彩特徵描述符數狀。色彩特 徵描述符數據Fk包括以色彩向量cUi，cVJ表示的主要 色彩及其百分位數Pi的相關資訊。 為了獲得各色彩的百分位數Pi，最好在每一分割區域 内執行^彩量=化。因此，本彩色圖像處理設備最好進而 包栝一 1子化單7L (圖中未示）。本彩色圖像處理設備最好 進而再包括一過濾單元（圖中未示），用以執行一預定的過 遽糕序’使輸入圖像柔和並去除雜訊。量子化單元分析過 濾、後的圖像中’其晝素為雜訊1畫素之機率為若干，並對其 給予適當的加權，並利用一般勞埃德演算法對應加權晝素 將色彩向量量子化。 306組合第k區域内的晝素值數據（亦即Regi〇r^)此區 的色彩特徵描述符數據（亦即Fk)，以輸出處理後的圖像八， 。本發明之彩色圖像處理設備可應用在諸如MPeg-7之物體 基举式圖像處理方法。此外，在本發明之彩色圖像處理設 備中’使用圖像主要色彩表示彩色圖像的方法，除了彩色

540008

8902103.ptd 第11頁 540008 圖式簡單說明 圖式簡要說明 圖1為一流程圖，顯示本發明之彩色圖像處理方法； 圖2顯示圖1之步驟1 0 6所執行的圖像分割； 圖3為本發明之彩色圖像處理設備之方塊圖；以及 圖4A與4B顯示根據本發明之彩色圖像處理方法，針對 以電腦程式索引之圖像執行分區搜尋所獲得的結果。 圖式元件說明 3 0 0分割單元 302色彩向量擷取單元 3 04色彩特徵描述符產生單元 3 0 6組合單元

8902103.ptd 第12頁

Claims (1)

1. 540008

   〜i♦正 )ί· ί〇. 2 4 7 8 一種彩色圖像處理方法，用以擷取說明一圖像色彩特 徵之色彩特徵描述符，此方法包括以下步驟： (a)取得一輸入圖像之色彩向量； (b )將色彩向量分類以獲得該輸入圖像之主要色彩及 其比率；以及 (c)表示該等主要色彩及其比率，作為該輸入圖像之 色彩特徵描述符。 如申請專利範圍第1項之彩色圖像處理方法，其中該 等色彩向量為量子化色彩向量。 如申請專利範圍第1項之彩色圖像處理方法，其中該 荨比率為百分位數。 如申請專利範圍第1項之彩色圖像處理方法，進而包 括步驟（d ):組合該等色彩向量與該色彩特徵描述符 ’並表示組合結果作為整體圖像。 如申請專利範圍第4項之彩色圖像處理方法，其中該 等色彩向量為量子化色彩向量。 如申咕專利範圍第4項之彩色圖像處理方法，其中該 專比率為百分位數。 如申請專利範圍第2項之彩色圖像處理方法，進而包 括步驟（e ):組合該等量子化色彩向量與該色彩特徵 描述符，並表示組合結果作為整體圖像。 m範圍第1項之彩色圖像處理方法，於步驟 (b)則，進而包括一步驟執行一預定 7鄉 的過濾處理，以 使輸入圖像柔和

   2002· 10· 31. 014 54〇〇〇8 曰 修正 ^^ 案號 89103QQS___ 年 月 ^、申讀專利範圍 9 ·如申請專利範圍第1項之彩色圖像處理方法，於步驟 (b)前，進而包括一步驟執行一預定的過濾處理，以 去除輸入圖像中的雜訊。 1 〇如申請專利範圍第1項之彩色圖像處理方法，於步驟 (b)前，進而包括一步驟執行一預定的過濾處理，以 使輸入圖像柔和並去除輸入圖像中的雜訊。 1 1如申請專利範圍第1項之彩色圖像處理方法，於步驟 C b)前，進而包括以下步驟： 分析過濾後的圖像中，其畫素為雜訊畫素之機率 為若干’並對其給予適當的加權；以及 利用一般勞埃德演算法對應加權的晝素對色 量執行量子化。 Μ 2 —種彩色圖像處理方法，用以擷取說明一圖像色乘 徵之色彩特徵描述符，此方法包括以下步驟： 、 (a )將一輸入圖像分割成複數個區域； ( ( 彩及 b )取得各分割區域之色彩向量； c )將色彩向量分類以獲得該輸入圖像之 甘丄古> · ____ 工聲色 (d)表示該等主要色彩及其比率，作為該 色彩特徵描述符。 ’圖像之 3如申請專利範圍第12項之彩色圖像處理方 該等色彩向量為量子化色彩向量。 ，其中 4如申請專利範圍第12項之彩色圖像處理 該等比率為百分位數。 ’ ’其中

   540008 一 案號8910^998 _年_月 曰 你1 六、申請專利範圍

   〆，，.· V.；':丨二

   1 5如申請專利範圍第1 3項之彩色圖像處理方法， 包括步驟（e ):組合該等分割區域之量子化色采 與該色彩特徵描述符’並表示組合結果作為整错 〇 1 6如申請專利範圍第1 2項之彩色圖像處理方法， 驟（b)前，進而包括一步驟執行一預定的過濾肩 以使輸入圖像柔和。 1 7如申睛專利範圍第1 2項之彩色圖像處理方法， 驟（b)前，進而包括一步驟執行一預定的過濾肩 以去除輸入圖像中的雜訊。 1 8如申請 驟（b ) 以使輸 1 9如申請 驟（b ) 以使各 2 0如申請 驟（b ) 以去除 2 1如申請 驟（b ) 以使各 2 2如申請 驟（b ) 專利範圍 前，進而 入圖像柔 專利範圍 前，進而 分割區域 專利範圍 前，進而 各分割區 專利範圍 前，進而 分割區域 專利範圍 前，進而 包括一步驟執行一預定的過濾 和並去除輸入圖像中的雜訊。 第1 2項之彩色圖像處理方法 包括一步驟執行一預定的過攄 柔和。 第12項之彩色圖像處理方法 包括一步驟執行一預定的 域中的雜訊。 第12項之彩色圖像處理方法 包括一步驟執行一預定的過濾 柔和並去除各分割區域中的^ 第1 2項之彩色圖像處理方法 包括以下步驟： 〆 進而 向量 :圖像 於步 .理， 於步 理， 於步 理， 於步 理， 於步 理， 於步 理， 〇 於步 540008

   __崖號8910祁QS__色 六、申請專利範圍 修;負 正1青 -k- h

   X] ife El f-Ff r捐 为析過渡後的圖像中，装查、 為若干，並對其給予適當的素為雜訊畫素之機率 利用一般勞埃德演算法對久 量執行量子化。 Μ加權的畫素對色彩向 2 3 —種電腦可讀媒體，具有可由 - 以勃杆一插〜Αm 電&執订之程式編碼’ .^ . 衫色圖像处理方法，用以擷取說明一圖像 色=徵之色彩特徵描述符，此方法包括以下步驟： (a )將一輸入圖像分割成複數個區域； (b)取得各分割區域之色彩向量； (c )將色彩向量分類以獲得該輸入圖像之主要色彩及 其比率；以及 (d)表示該等主要色彩及其比率，作為該輸入圖像之 色彩特徵描述符。 2 4如申請專利範圍第2 3項之電腦可讀媒體，進而包括 步驟（e ):組合該等分割區域之量子化色彩向量與該 色♦特徵描述符，並表示組合、结果作為整體圖像。 2 5 一種彩色圖像處理設備，用以樹取說明一圖像色彩特 徵之色彩特徵描述符，此設備包括： 一色彩向量擷取單元，用以接收一輸入圖像之晝 素值數據，並擷取色彩向量給一預定之色彩座標系統 ;以及 一色彩特徵描述符產生單元’於所有色彩向量都 已接收時，獲得以色彩向量表示的主要色彩之百分位 數，並產生與輸出包含主要色彩及其之百分位數資訊

   540008 修正 六 案號89103998 _ 年 屋—日 申請專利範圍 > 的色彩特徵描述符。 2 6 =中請專利範圍第2 5項之彩色圖像處理設備 ^括組合皁兀，用以組合畫素值數據與色彩特徵 付數據，以輸出一處理後圖像。 田述 2 7 —種彩色圖像處理設備，用以擷取說明一圖像 徵之色彩特徵描述符，此設備包括·· /、 二分割單元，用於將一輸入圖像分割成k個區域 ，，、中k是一任意正整數，然後依序 的畫素值數據； 边耵應弟域 辛值：榻取單元’用以接收一輸入圖像之畫 素=據，錢取色彩向量給一預定之色彩座標系統 已接收Π:描述符產生單元’於所有色彩向量都 已接收時，獲侍以色彩向量表示的主 數，並產生與輸出包含主要色來 色和百刀位 的色彩特徵描述符色♦及其之百分位數資訊 2 8如申請專利範圍第2 7瑁之^ a 包括一詈以ΐ弟」7項之形色圖像處理設備，進而 子化。 早70，用以執行各分割區域内的色彩量 2 9:2專利範圍第2 8項之彩色圖像處理設備，宜中 該篁子化單元分析過濾後 ^ ς中 機率，並對其給予適當之加；中=為雜訊畫素之 色彩向H ^ 權再對應加權之畫素對 。 灯又勞埃德演算法，以執行色彩量子化 890210301.ptc 第17頁 2002,10.31.018 540008 _案號89103998_年月曰 修正_ 六、申請專利範圍 3 0如申請專利範圍第2 7項之彩色圖像處理設備，進而 包括一組合單元，針對所有k 個分割區域，組合對應 第k 區域之畫素值數據與該對應區域之色彩特徵描述 符，以輸出一處理後圖像。 3 1如申請專利範圍第3 0項之彩色圖像處理設備，進而 包括一量子化單元，用以執行各分割區域内的色彩量 子化。 3 2如申請專利範圍第3 1項之彩色圖像處理設備，其中 該量子化單元分析過濾後圖像中的畫素為雜訊晝素之 機率，並對其給予適當之加權，再對應加權之畫素對 色彩向量進行一般勞埃德演算法，以執行色彩量子化 〇 3 3如申請專利範圍第2 7項之彩色圖像處理設備，進而 包括一過濾單元，用以執行一預定的過濾處理，以使 輸入圖像柔和。 3 4如申請專利範圍第2 7項之彩色圖像處理設備，進而 包括一過渡單元，用以執行一預定的過滤處理，以去 除輸入圖像中的雜訊。 3 5如申請專利範圍第2 7項之彩色圖像處理設備，進而 包括一過濾單元，用以執行一預定的過濾處理，以使 輸入圖像柔和並去除輸入圖像中的雜訊。 3 6如申請專利範圍第3 3項之彩色圖像處理設備，進而 包括一量子化單元，用以執行各分割區域内的色彩量 子化。

   890210301.ptc 第18頁 2002.10.31.019 540008 六 3 ^ 號 8910^QR 申請專利範圍 曰 一修正 3 3 4 4 4 7如申請專利範圍第3 4項之彩色 包括-量子化單元，用以執^圖像處理設備’進而 子化。 仃各分割區域内的色彩量 =請專利範圍第3 5項之彩 包括一量子化單元，用以執杆文v V處理Λ備進而 、子化。 仃各分割區域内的色彩量9如申請專利範圍第3 6項之私 該量子化單元分析過滤後圖像=^處理設備全其中機率，並對其給予適當之加權爯：素為雜訊：素之 色彩向量進行一般勞埃德演去再對應加權之畫素對 。 异去’以執行色彩量子化範圍第37項之彩色圖像處理設備，其中 機率，後圖像中的畫素為雜訊畫素之 色‘向量進行-般勞埃德演算法，以執行色彩量子化 inn範圍f38項之彩色圖像處理設備，其中機率，並對其給予適當之 ：為雜訊晝素之 色彩向量進行一般勞埃再對應加權之畫素對 。 、德/幾异法’以執行色彩量子化 2如申請專利範圍第3 9項 #多 包括-組合單元，斜ΐ 如色圖像處理設備，進而 第k區域之G值：：所有k個分割區域，組合對應 ^ 據與該對應區域之色彩特徵描述

   890210301.ptc 苐19頁 2002.10.31.020 540008 案號89103998 年月日 修正 $ iiiv .asl·*',. \.u ft 拉i: 1 "^Γ、Γ^7^ 六、申請專利範圍 符，以輸出一處理後圖像。 4 3如申請專利範圍第4 0項之彩色圖像處理設備，進而 包括一組合單元，針對所有k 個分割區域，組合對應 第k 區域之晝素值數據與該對應區域之色彩特徵描述 ία 3 ί符，以輸出一處理後圖像。 4 4如申請專利範圍第4 1項之彩色圖像處理設備，進而 包括一組合單元，針對所有k 個分割區域，組合對應 第k 區域之晝素值數據與該對應區域之色彩特徵描述 符，以輸出一處理後圖像。 4 5 —種表示彩色圖像之方法，此方法包含之步驟： (a )獲得輸入圖像之主要色彩及其百分位數；與 (b )使用所獲得的主要色彩及其百分位數表示該色彩 圖像。

   890210301.ptc 第20頁 2002.10.31.021