TW200818058A - Content based image retrieval - Google Patents

Description

200818058 九、發明說明： 【發明所屬之技術領域】 本發明有關一種影像檢索之搜尋工具，尤其有關一種以 影像内容為根據之影像檢索方法。 【先前技術】 資訊時代面臨的最大挑戰之一即是從可以存取的巨量 資訊中，尤其是經由全球資訊網，識別所需的資訊。現今已 發展與運用了為數眾多以本文為根據的搜尋引擎。其中最廣 為人知的大眾化搜尋引擎，是使用關鍵字搜尋以檢索全球資 訊網的網頁。這些引擎包括(^00§1#與Yah〇〇®。 雖然說一幅畫勝過千言萬語，但是影像檢索科技的發展 程度卻不及根據本文的檢索科技。要從大批收集的影像中檢 索某些影像，迄今仍是一項重大的難題。使用者透過瀏覽從 大量縮圖資料選取所要的影像，已不再符合實用的原則。例 如，就在撰寫本篇文字之時，想要搜尋“雪梨歌劇院” (Sydney Opera House)這麼簡單的東西，結果卻要在 Google®的圖片搜尋中點擊26000次。 對於要從大量影像資料中檢索某一特定的影像，現有的 解決辦法涉及二個相關的問題：第一，所有影像必須以某種 方式編入索引（編索）；第二，必須建構查詢（query ”第 二’查询結果必須以相關的方法呈現。過去，影像經過編索 200818058 後’可使用關鍵字搜尋，搜尋結果則使用某種相關度度量的 形式呈現。此種途徑充滿困難，因為關鍵字的配置通常需要 人類給予標簽，這是-個費時的處理，而且許多影像可以用 多個關鍵字描述。 另一種途徑是使用語意學分類法，例如Wang等人在 2001 年 9 月之 IEEE Transactions on Pattern Analysis and

Machine Intelligence期刊23卷第g期刊載之論文 SIMPLIcity： Semantics-Sensitive Integrated Matching f〇r Picture Libraries” （簡易性：圖庫之語意 學敏感性整體匹配）中曾有說明。此篇論文說明 一種以區域 為根據的檢索系統，其中使用顏色、紋理、形狀及位置來表 示區域的特徵。此系統將影像分類成多個語意類別，諸如有 紋理一無紋理、圖表一照片等。然後根據一個整合了各影像 中所有區域之特性的區域匹配表，建構一種相似度度量，用 以檢索影像。Wang等人之論文亦包括一份頗有助益的概要， 說明已往以内容為根據的影像檢索技術。

Jacobs 等人之論文 “Fast Mutliresolution Image Query i ng”（快速多重析像影像查詢）（刊載於proceed丨ngs of SIGGRAPH 95, In Computer Graphics Proceedings, Annual Conference Series, 1995, ACM SIGGRAPH，New York, 1995)中說明另一種預處理途徑。在此途徑中，使用小波分 6 200818058 解（wavelet decomposition)替一資料庫中的每一影像建 構多個特徵標記（signature)。使用相同的程序取得一查詢 • 影像之特徵標記。然後使用查詢特徵標記存取該影像資料廑 的各個特徵標記及-個用以選擇具有類似特徵標記之圖像 的度量。此種途徑的問題在於必須預處理所有可搜尋的影 像，以便導出特徵標記。

Iqbal與Aggarwal在2003年9月24-26日於佛羅里達 η 邁亞密舉行的第六屆國際視覺資訊系統大會中發表論文 “Feature Integration, Multi-image Queries and

Relevance Feedback in Image Retrieval” （像檢索中的 特徵整合、多重影像查詢及相關度回授），其中調查與研究 了特徵整合對檢索精確度之影響。他們從一個包括1〇221個 影像的資料庫中的影像提取出結構、顏色及紋理上的特徵。 … 然後分別使用純結構、純顏色、純紋理、顏色加紋理、及结 ❹ 構加顏色與紋理五種標準量測檢索效能。關於影像檢索，他 們使用德州Austin大學發展的CIRES (Content-based Image REtrieval System—根據内容的影像檢索系統）。或 許並不令人f牙異，他們發現使用結構加顏色與紋理的標準 時，影像檢索最有效。他們也發現，使用多重查詢影像可產 生較有效的影像查詢。 此外，Iqbal與Aggarwal也調查研究了透過相關度回 200818058 授的使用者簡所具有的效益。減度回授允許使用者在初 始查相錄料，從大批影像指ώ較的、否定的、及不 、像查"旬可依照使用者回授加以修改並重新執行。 目授使影像檢索錢著的改善。 雖然近來有關影像檢索的先前技術偏向從全球資訊網 檢索影像的問題，但是專精此類技術之人士可以理解，這個 門題並非與貞料倉儲（datastQre)的性質相依。相同的先 月j技術係與k個人電腦上的區域影像倉儲選取影像相關。 【發明内容】 本I明之目的在於提供一種以内容為根據的影像搜尋 方法。 本發明其他目的可峨町制而趨於明顯。 廣義而5 ’本發财關—種從—組影像巾提取若干影 的方法，其包括以下步驟： •從-或多個選取的影像提取—組特徵，用以建構一查詢 内之特特徵與該組影像 建構一相異度度量，作為查詢集 特徵間的距離加權求和，·及 顯示具有最低相異度度量之影像。 不 較佳是’該加權求和使用從該查m導出的加權值 本發明最料-步包細下步驟：__影像之顯 200818058 順序。影像可從最低相異度依升序排序，漸增相 亦可採用其他财方法，例如錢从、年齡、槽名等: 【實施方式】 乂下口兒明本發明$同具體實施例時，相同特徵均丘 同的參考標號說明。 本發明方法之目標是根據影像之特徵内容與使用者之 查詢概念來齡影像。使用者之錢概念是從使用者供應的 或選取的影像細自料㈣。為達献目標，本發明使用 一種創新的方法提取多個影像視覺特徵的感知重要性，並使 用-種高計算效率加權線性相異度度量輸缝速且精確的 檢索結果。 在各種多重影像查詢系統中，查詢是指—組範例影像 工ql，Iq2f,¾}。這組範例影像之數目沒有限制，包 括:個。先前技術中有許多是根據單—查詢影像建構查二 但是本發明之較佳途徑可允許錢者提供至少二個，最好三 個影像。使用者供應的影像可以直接從—㈣庫選取，或者 可以經由習崎像搜尋確認之，諸如個前述的㈣1 片。 ° /以下列說明而言，目標影像集（有時稱為影像資料庫） 係定義為T=Um:㈣，2,...,Μ}。查詢標準細查詢集轉 目標影像集内某一影像马間的相似度量測s①，乃）表示 200818058 之。查询系統⑽，s,巧是查詢集Q對目標影像集了之一 排列rp根據相似度Jj;的映射，其中， W=1，2…叫是-局部有序集，因而使⑽ >W。原則上’各種排列是整個資料庫的排列，·實 際上’僅對最高等級的輪岐像給予評估。 第1圖概述本發明以内容細細影像檢索方法。以下 將更詳盡職本綠。本方法從查i )開始。特徵提 取程序⑵巾’使用-種特徵描寫工具組（3)提取一組 特徵；特徵描寫工具組（3)可為各種周邊廠崎徵描寫工 具中的任-種’包括以上提過的㈣工具。域從提取的特 徵形成一查詢（4)。 。人可以將查询想成一種理想化的影像’建構此種影像 的目的是為了代表查詢㈣的各影像。 本發明的主要層面之-是相異度度量（5)的計算，將 此度量應期目標影像集⑹，用以識職形成查詢之該 組特徵具有_性的影像。紐進行這蝴_果等級排 列（7 ) ’並呈現結果影像給使用者（8 )。 特徵接取 旦/寺徵提取程序將查詢建立在影像的低階結構描述上。— 象標的了可用一 έ牲 、、且特徵4: ,2,…，叭來描述。备 特徵用一 曰 、、择没向1 XpUl,X2,".，Xkn}來表示，其 200818058 71個特徵提取是從影 中 X~ieL〇，4，」(1；只，只是實數。第 像1對特徵向量的映射，表示如下：

Kn^fn(I) 本發明並不限定提取任何特別的特徵組。各種視1 覺特 徵，諸如顏色、紋理或臉部特點，均可使用。周邊麵的視 覺特徵提取工具可以插入本系統。

例如，目前普遍使用的贿_7視覺工具即可適合使 用’ MPEG-7顏色配置描述器（c〇1〇r㈣她如％咖恤， CLD)疋-種非常小敎崎度不賴顏色表現工具，適於 局速影像檢索。它只使用8x8 DCT (離散餘弦轉換）的12 個係數描述來自三組的内容（亮度用六個，每一色度用三 個）’表示如下： X’ …，…，Y6i Cbl，Cb2, cb3, Cri, Cr2,㈤(2) G 7邊緣直方圖描述器（EdgeHiSf〇gramDescript〇r， EHD)使用80個直方圖二進位（bins)描述來自16個次影 像的内容’表示如下： X刪二(hlfh2r···,、) ⑶ 雖;」MPEG 7工具組極為有用，但本發明並不限於使用 此組特徵提取q。從先·術可以 顯然看出，有多種特徵 提取工具都可根據諸如顏色、色調、亮度、結構、紋理、位 置等特徵描述影像的特徵。 11 200818058 如上所述，本發明可應用於—組臉部特徵，以便從-臉 Γ轉庫識鄕—種臉部。特徵提取程序可以提取臉部特 Γ諸如兩目_距離、兩眼的顏色、鼻子的寬度、嘴巴的 大小等等。

_吏2的查_念是収用者選取的範娜像暗 2徵域模組產生-個從範例影料出的虛《询影像特 形成—影像的多個特徵，其融合可表示如下： ㊉...·㊉之） 對於—組查詢影像而言，其特徵的融合為： 丨=(乂㊉X2㊉….㊉，） ^特徵形成係暗示—理想化的影像，它是转η鱼咖 特徵提取步驟^— 〜像匕疋特徵集内用於 個特η 中的母—特徵經過加權建構而成的 加權值是: 寸程文X/的力口避^In · (4) (5) 應用於第 (6) 的加權總和： ^ΛΑίΐ (7) 特徵度 量空間^是一個心-維度向量空間#有邊界的 200818058 封閉凸子集。鼠，_向量料均輯區岐 -個特徵向量。這是__查_物法的二二 =平均賊向量可能無法理想代表其他顧向量。例如，= 色次」可能無法理想代表顏色「白」與顏色「黑」。^ 若是多重影像查詢的情況，則測量查影像集

Iql，Iq2'……，Ig〇}與一影像Γ#Γ之間的距離，如下所干. •Μ(“，_···，认） — (8) 本發明使肋多個_舰距離加權杯表示的 數，如下所示： 幽 Μ (9) 此方程式計算的量測是查詢與被查鱗徵^ 的距離度量d之加權求和。 曰 加權值％是使用方程式⑹根據查詢集而更新的。例如， 使用者可能想栽咖色鮮糾汽車影像。舰上以本 據的搜尋細綠卜因知「汽車」為錢，將會檢索所有乂 任何顏色的汽車，而以「鮮盤汽車」為查詢，則只會檢索*用 廷些字組說明的影像，而這樣是不可能成功的。然而，以曰「气 ^進行的初财域尋會财—大串不_型與顏色的汽 車。當使用者選擇-個含多數鮮懿影像的查詢集時，查詢特徵 形成給予亮度特徵_重值會A於給州如顏色或紋理的權 重值。另-方面，若使用者要朗是藍色的汽車，職僅從藍 13 200818058 色π車&擇查5轉。查鱗徵形成對特徵腕及對藍色色調給 予的權重齡大於給予亮度級理_重值。 在每N況中’相異度計算決定一相似度值，使用者選取 的查為木特徵中即以之為基礎；並不需要要求制者定義一組 要搜尋的蚊特徵。耻可以轉，這是—種比先前技術中所 使用的途徑更屬直覺的影像搜尋途徑。 結果等級排列 <職鱗鄉賴棘的影像，可雜錢地根據相關 又’、’及排赚顯不。魏種方法可以將輸丨的影像分等級排 ^而本㈣並不限於任何特定的處理方法。其卜種頗為方 二使用以上說明過的相異度量測。亦即，相異度最低 的影像最先齡，隨後顯示相異度較高的影 個/ 了某—影像數目為止。通常，或許會顯示二十 個相異度最低的影像。

:查，像集與資料庫内一嗎像間的距離定義如 ，沒疋通常在度量空間時定義距離的方式。 4Q^y)=min{d(Xg^.)j 用方程式（10)所定義的量測，其 （〇） 影像會類純觸像之_，這是檢t ^等級的 原型杳_情、射向度職的；而在 加h况中，㈣雜的影像會類似—具 聲這個繼_她猶軸像。崎大= 14 200818058 用中，皆可對使用者提供較好的經驗。 實例一 本發明曹使用由Apache 了㈣扣⑧網站應用伺服器支援的 Java Servlet及javaSever頁面技術，進行示範性實施，它 經由字為根翻商鮮彡像搜尋服務（諸如6。〇咖@或 Yahof)，在網際網路（Internet)上以影像内容為根據的方 式搜尋影像。目_實施方法可制任何全球魏網劉覽器 (諸如 Explorer 或 M〇zilla/Fireb〇x)加以存取， 而且包括-個3步驟的處理，即可從網際網路搜尋影像。 為了不範本發明哺作方式，紐本發明顧在先前所述 使用Google⑧lmages尋找一幀雪梨歌劇院影像的實例中。 1) 步驟一：以關鍵字為根據的搜尋，如第2圖所示。經 由一個以本文為根據的影像搜尋服務，使用 關鍵字從網際網路檢索影像，以形成一個初 始影像集，如第3圖所示。 2) 步驟二：從初始搜尋結果選取範例影像，如第4圖所 示。選取使用者想要搜尋的影像範例時，從 依據關鍵字搜尋而呈現在使用者面前的結 果中，點擊所要的影像勾選框。 3) 步驟二·使用從樣本影像建構的查詢，進行所有影像 的搜尋。所呈現的搜尋結果會以根據相似度 200818058 度1作等級排序，如第5圖所示。 從乂上貝例可以看出’第5圖所示的結果影像集全部具有 相關度’而第3圖所不的影像則包括可疑相關度的影像。 實例二 •本發明可以整合到不同的桌面職管理程式中 ，諸如

Windows _lorer%戈 Mac 〇s χ ，此二者目前_劉 覽影像擒的能力’並可根據影像播名及其他檔案屬性（諸如大 小、_麟）將影像分轉理。第6 _㈣-典型的以 縮圖方式赫嶋嶋。使物咖麵所需影像 _來選取數個影像，_建構查詢集⑴。在第7圖所 示的實例中，使用者選取的爭 歌劇院。 4以雪梨港大橋作背景的雪梨 接著，使用者執行影像檢令 一樣方便料人實施。在第6 ’此程式可像插入式器具 擊勾選圖記⑴cklron) 9=7W中，是在爛上點 結論 M9)來起動本發明的。 方法與先前技術系統比較 上述以内容為根據的影像檢索 時，具有許多優點，其中包括：μ *可從使用者範例中自動導 *搜尋過程為直覺性；W重要除， 氺 使用者不必選擇特徵 t權重值； 200818058 *使職括性加觀性相異度度量，可顧所有特徵； *加權值產生與補度公式之計算效率高，可極快速輸 出檢索結果； *特徵提取工具為可插人型，標準的朗邊廠商的特徵 描寫工具均可整合到本發明架構申； *使用者不須供應反例。 本說明書整體之目的在本發明，並不以任何交替性 特徵的特定組合來限制本發明。 【圖式簡單說明】 特參照以下圖式說明本發明若干較 為協助理解本發明， 佳實施例： 第1圖.為-流程圖’顯示以内容為根據的影像檢索方法之 主要步驟。 第2圖：為顯示—峨面’舉侧本精-應用例作 為起點之初始搜尋。 第3圖：為顯示—螢幕晝面，舉例說明從初始搜尋得到的一 組影像。 第4圖：為顯示第3圖所示螢幕畫面中有三個影像被選取以 形成查詢集。 苐5圖··為顯示一螢幕金 # . 跫恭旦面’其中為使用本發明以内容為根 據之影像檢索結果。 200818058 第6圖：為顯示一螢幕晝面，其中為一目錄内的影像縮圖。 第7圖：為顯示第6圖所示螢幕畫面中有三個影像被選取， 以形成一查詢集。 【主要元件符號說明】 (1 )..... · ••查詢集 (2 )......特徵提取程序 (3) .....特徵描寫工具組 (4) ........查詢形成 (5) .......相異度度量 (6) ......•目標影像集 (7) ......結果等級排列 (8 ) · ·呈現結果影像給使用者 (9)........勾選圖記 18

Claims (1)

1. 200818058 十、申請專利範圍·· 法’包括以下步驟： 組特徵，藉以建構一 1·一種從一組影像提取若干影像之方 從一或多個選取的影像提取一 查詢集； 詢集内之特徵與該組 心像内各影像特徵之間的距離加權求和；以及 顯示相異度度量最小之各影像。 2::請專Γ範圍第1項所述之方法，其十該查詢集係從 至/一個影像提取的。 3r=rfi瓣術，㈣查詢集係使 用一種特徵描寫工具組提取的。 4.如申請專利範圍第1項所述之方法，其中該查詢集係使 用影像之低階結構描述提取的。 5料利朗項所述之方法，其中該等特徵係從 一或夕個親、_、色調、亮度、轉 特徵選取的。 概1 6.如申請專利範圍第1項所述之方法，其中該查詢集為一 理想化影像’建構作為該組特徵之加權總和。 7 ·如申請專剩第6項所述之方法，財該理想化影像 為· = ^Wixi / 其中，&為-特徵，而W為應用於該特徵的權重值。 19 200818058 8 9 .如申請專利範圍第工項所士1之方去，其中該加權求和使 用仗"亥查峋集導出的權重值。 如申請專利範圍第1項所 之方法，其中該相異度度量 · 10 11 1 2 13 ί —1 .如申請專利範圍第！項所述之 驟：排列顯示影像的顯示順序。 g以下步:::圍第一法’其一 :::::多個電腦可―，可於執行 從或夕個選取的影像提取一組特徵， 一查詢集； 建構一相異度度量，作為該查詢集内之特徵與該 、'且〜像内各景彡像特徵之間_離加權求和；以及 顯示相異度度量最低之各影像。 述之之軟趙，該軟體可於 相異度朗财，排列 藉以建構 20 200818058 七、指定代表圖： , (一）本案指定代表圖為：第（1 )圖。 (二)本代表圖之元件符號簡單說明： (1 ).........查詢集 (2 )......特徵提取程序 (3 ).....特徵描寫工具組 (4) ........查詢形成 (5) .......相異度度量 (6) .......目標影像集 (7) ......結果等級排列 (8 ) · ·呈現結果影像給使用者 (9)........勾選圖記 八、本案若有化學式時，請揭示最能顯示發明特徵的化學式： I 4 200818058^ —一—：:: 發明專利說明書 (本說明書格式、順序及^體字，請勿任意更動，※記號部分請勿填寫） ※申請案號：彳匕 ※申請日期： 糸1卩(：分類： 一、 發明名稱：（中文/英文） ^ (2006.01) 以内容為根據之影像檢索方法與軟體/C0NTENT based IMAGE RETRIEVAL 二、 申請人··（共1人） ( 姓名或名稱：（中文/英文） 臥龍岡大學/University of Wollongong 代表人··（中文/英文）1 ·雷葉/Lei Ye 2.瑪格利特·雪爾/Margaret Shei 1 住居所或營業所地址：（中文/英文） 澳洲新南威爾斯省2522臥龍岡，北地大道/ Northfields Avenue WOLLONGONG New South Wales 2522 Australia 國籍··（中文/英文）澳洲/Australia 三、 發明人：（共2人） 姓名：（中文/英文） 1·非利普奥岡妹波納/Phi 1 ip Ogunbona 澳洲新南威爾斯省2525菲格屈，華良大道68號/68 Wala Avenue，FIGTREE，2525, New South Wales，Australia 2.雷葉/Lei Ye 澳洲新南威爾斯省2521北岩，蘇菲亞閣3號/3 Sophia Court, NORTH ROCKS, 2151, New South Wales, Australia 國籍：（中文/英文） 澳洲/Australia