TWI506459B - 基於內容之圖像搜尋 - Google Patents

基於內容之圖像搜尋 Download PDF

Info

Publication number
TWI506459B
TWI506459B TW099135618A TW99135618A TWI506459B TW I506459 B TWI506459 B TW I506459B TW 099135618 A TW099135618 A TW 099135618A TW 99135618 A TW99135618 A TW 99135618A TW I506459 B TWI506459 B TW I506459B
Authority
TW
Taiwan
Prior art keywords
image
descriptor
identifier
index
search
Prior art date
Application number
TW099135618A
Other languages
English (en)
Other versions
TW201128421A (en
Inventor
Qifa Ke
Ming Liu
Yi Li
Original Assignee
Microsoft Technology Licensing Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing Llc filed Critical Microsoft Technology Licensing Llc
Publication of TW201128421A publication Critical patent/TW201128421A/zh
Application granted granted Critical
Publication of TWI506459B publication Critical patent/TWI506459B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

基於內容之圖像搜尋
本發明是關於基於內容之圖像搜尋。
有多種已知的搜尋和擷取資訊的方法，如透過搜尋引擎在網際網路上搜尋。這種方法通常使用基於文字的搜尋。基於文字的搜尋使用包括一或多個諸如字詞或詞組之文字元素的搜尋查詢。將文字元素與索引或其他資料結構比較，以識別網頁、文件、圖像等等，其包括符合或語義類似的文字內容、元資料、文件名稱或其他文字表示。
已知的基於文字的搜尋方法對於基於文字的文件而言效果不錯，但他們都很難應用於圖像檔案和資料。為了透過基於文字的查詢來搜尋圖像檔案，圖像檔案必須與一或多個諸如標題、檔案名稱、或其他元資料或標記之文字元素相關聯。用於基於文字搜尋的搜尋引擎和演算法無法根據圖像內容來搜尋圖像檔案，因此限於僅根據與圖像相關的資料識別搜尋結果圖像。此外，這種搜尋引擎無法進行根據包含圖像的搜尋查詢之搜尋。
已發展出基於內容的圖像搜尋方法，其利用一或多個圖像內容的的分析識別視覺上相似的圖像。然而這些方法是勞力取向的，且在可以進行搜尋前，可能需要使用者的大量輸入以識別圖像的特徵。此外，這種方法效率低，在擴展到大規模時不理想，例如，必須迅速搜尋數十億個圖像以識別並提供搜尋結果圖像給使用者。
本發明的實施例係以下列請求項定義，而非此發明內容。因此在此提供本發明各種態樣之高層次概觀，以提供本揭示之概觀，並介紹於下述發明說明中詳細描述的部分概念。本「發明內容」無意於辨識所主張標的之關鍵特徵或基本特徵，亦非意欲單獨用作輔助判定所主張標的範圍。
本發明之實施例係關於基於內容之圖像搜尋。分析並利用圖像內容以識別搜尋結果。接收可包括圖像的搜尋查詢。處理圖像以識別在其中的興趣點。決定用於一或多個興趣點的描述符，並將每一描述符映射至描述符識別符。搜尋是使用描述符識別符作為搜尋元素而透過搜尋索引來執行。搜尋索引根據平索引位置空間使用反索引，一數目之索引圖像的描述符識別符是儲存在平索引位置空間中，且一數目之索引圖像的描述符識別符是以每一索引圖像的描述符識別符之間的文件尾端指示符分開。自索引圖像識別包括至少一預定數目之符合描述符識別符的候選圖像。亦可包括一或多個文字字語或基於文字的搜尋，以根據圖像內容識別候選圖像及/或以提供一或多個基於文字的搜尋查詢。
本文詳細描述本發明實施例之標的以符合法定要求。但是描述本身並非一定要限制請求項的範圍。而是可將申請專利之標的以其他方式實施，以包括不同的步驟或類似本文描述之步驟的組合，及其他現有或未來的技術。詞彙不應被解釋為隱含步驟中或不同步驟之間有任何特定的順序，除非個別步驟的順序有明確描述。
本發明實施例包括提供基於內容的圖像搜尋的方法、系統和電腦可讀取媒體。基於內容的圖像搜尋分析並使用圖像的實際內容進行搜尋視覺類似的圖像。圖像內容可能包括一或多個顏色、紋理、陰影、形狀或可自圖像導出之其他特徵或資訊。基於內容的圖像搜尋也可描述為本技術領域熟知之基於內容的圖像擷取(content-based image retrieval,CBIR)、圖像內容查詢(query by image content,QBIC)、或基於內容的視覺資訊擷取(content-based visual information retrieval,CBVIR)。在一些實施例中，如下所述，有關圖像及其內容的額外基於文字的資訊可自各種來源獲得，以通知基於內容的搜尋且並行執行基於內容的搜尋及其他基於文字的搜尋。
在一實施例中，提供搜尋圖像的電腦實施方法。收到搜尋查詢。計算機裝置根據搜尋查詢識別第一描述符識別符。第一描述符識別符對應描述圖像中興趣點的描述符。透過比較第一描述符識別符與相關聯於每個索引圖像的第二描述符識別符，搜尋索引圖像。一或多個索引圖像是根據比較來排序。
在另一實施例中，電腦可讀取媒體具有電腦可讀取指令實施於其上，當其被執行時，執行一種產生圖像內容之表示用於基於內容之圖像搜尋的方法。接收圖像。識別該圖像中的興趣點。興趣點是由一運作器演算法識別之圖像中的點、範圍或區域。決定用於每一興趣點的圖像修補，其包括該圖像中包括各自興趣點之一區域。決定每個修補的描述符。將每個描述符映射至描述符識別符。根據映射結果，將該圖像表示為描述符識別符之集合。
在另一實施例中，描述一種將付費搜尋結果與基於圖像演算法搜尋結果相關聯的方法。接收搜尋查詢。計算裝置識別根據該搜尋查詢而形成描述符識別符之第一集合的至少一描述符識別符。每個描述符識別符對應一個描述符，其描述一基於圖像的興趣點。透過將該描述符識別符之第一集合與關聯於該等索引圖像的描述符識別符之第二集合進行比較，搜尋複數個索引圖像以產生搜尋結果。將至少一付費搜尋列表與該第一集合中該等描述符識別符之至少一者相關聯，以產生至少一付費搜尋結果。
首先參照圖1，實施本發明實施例的範例計算裝置是繪示和指示為計算裝置100。計算裝置100只是合適計算裝置的一個例子，並非欲以對使用範圍或本發明實施例的功能是提出任何限制。計算裝置100也不應被理解為具有與所繪示元件的任何一者或組合有關的任何依賴或要求。
本發明實施可在電腦碼或機器可使用指令的一般情況下描述，包括諸如程式模組之電腦可執行指令，由電腦或其他裝置(如個人資料助理或其他手持裝置)執行。一般來說，包括常式、程式、物件、組件、資料結構等的程式模組是指執行特定任務或實現特定抽象資料類型的代碼。本發明實施例可以多種系統配置實行，包括手持裝置、消費電子產品、通用電腦、特定用途計算裝置等。本發明實施例還可實行於分散式計算環境中，在分散式計算環境中任務是由透過通訊網路連接的遠端處理裝置執行。
參照圖1，計算裝置100包括匯流排110，直接或間接耦合下列裝置：記憶體112、一或多個處理器114、一或多個呈現組件116、輸入/輸出端口118、輸入/輸出組件120、電源122。匯流排110可代表一或多個匯流排(如位址匯流排、資料匯流排、或者兩者之組合)。雖然圖1的各方塊為清晰起見是以線劃分，實際上各個組成部分的劃分不是那麼清楚，線條以灰暗和模糊來比喻會更確切。例如，諸如顯示裝置之呈現組件可能是I/O組件。此外，處理器具有記憶體。應認識到，這是本領域的本質，並重申圖1只是說明一個範例計算裝置，可與本發明的一或多個實施例一起使用。對於「工作站」、「伺服器」、「筆記型電腦」、「手持裝置」等類別之間不進行區別，這些都在圖1的考慮範圍之內且稱為「計算裝置」。
計算裝置100通常包括各種電腦可讀取媒體。僅為舉例，而不是限制，電腦可讀取媒體可能包括隨機存取記憶體(RAM)；唯讀記憶體(ROM)；電子可抹除可程式唯讀記憶體(EEPROM)；快閃記憶體或其他記憶體技術；緊密光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學或全像媒體；磁卡帶、磁帶、磁碟儲存或其他磁性儲存裝置、或可用於編碼所欲資訊並由計算裝置100存取之任何其他媒體。
記憶體112包括可揮發及/或非可揮發性記憶體形式的電腦可儲存媒體。記憶體112可為可移除、不可移除、或兩者之組合。範例硬體裝置包括固態記憶體、硬碟、光碟機等。電腦裝置100包括一或多個處理器，其自諸如記憶體112或I/O組件120的不同實體讀取資料。呈現組件116呈現資料指示給使用者或其他裝置。範例呈現組件116包括顯示裝置、揚聲器、列印組件、振動組件等。
I/O端口118允許計算裝置100邏輯耦合至包括I/O組件120的其他裝置，其中一些可能是內建的。組件可包括麥克風、搖桿、遊戲墊、碟形衛星天線、掃描器、印表機、無線裝置等。
額外參照圖2，方塊圖係繪示適用於本發明的實施例中的範例網路環境200。環境200只是一個範例環境，可用於本發明實施例且可包括各種配置的任意數量組件。本文提供之環境200的描述200是用於說明目的，並無意限制本發明實施例可實施的環境的配置。
環境200包括網路202、查詢輸入裝置204、和搜尋引擎伺服器206。網路200包括任何電腦網路，例如(舉例而不是限制)網際網路、網內網路、私人和公共區域網路和無線資料或電話網路。查詢輸入裝置204是任何計算裝置，如計算裝置100，其可提供搜尋查詢。例如，查詢輸入裝置204可能是個人電腦、筆記型電腦、伺服器電腦、無線手機或裝置、個人數位助理(PDA)、或數位相機等。在一個實施例中，複數個查詢輸入裝置204(如數千或數百萬的輸入裝置204)連接到網路202。
搜尋引擎伺服器206包括任何計算裝置(如計算裝置100)，並提供至少部分的功能用於提供基於內容的搜尋引擎。在一實施例中，一群搜尋引擎伺服器206共享或分配必要提供搜尋引擎運作的功能至使用者群組。
圖像處理伺服器208也提供於環境200中。圖像處理伺服器208包括任何計算裝置(如計算裝置100)，且被配置來分析、代表和索引圖像內容，更為詳細說明於下。圖像處理伺服器208包括量化表210，儲存在圖像處理伺服器208的記憶體中或可由圖像處理伺服器208遠端存取。圖像處理伺服器208使用量化表210以通知圖像內容的映射，以允許如下所述的搜尋和索引。
搜尋引擎伺服器206和圖像處理伺服器208是通訊耦合到圖像儲存裝置212和索引214。圖像儲存裝置212和索引214包括任何可用的電腦儲存裝置，如硬碟機、快閃記憶體、光學記憶體裝置等等。圖像儲存裝置212提供圖像檔案的資料儲存，可回應於本發明一實施例之基於內容的搜尋而提供圖像檔案。索引214提供搜尋索引用於對儲存於圖像儲存裝置212的圖像進行基於內容的圖像搜尋。索引214可使用任何索引資料結構或格式，最好使用反索引的格式。
反索引提供映射，其描述內容於資料結構中的位置。例如，當搜尋文件中的特定字語時，是以反索引來找到該字語，反索引識別字語在文件中的位置，而不是搜尋文件以找到字語的位置。
在一實施例中，搜尋引擎伺服器206、圖像處理伺服器208、圖像儲存裝置212、索引214之一或多者是整合在單一計算裝置中或直接通訊耦合，以允許裝置之間的直接通訊，而不需遍歷網路202。
現在參照圖3，描述根據本發明實施例之基於內容的圖像搜尋系統300。系統300可實施於或分散於一或多個計算裝置和部件，如上述圖2的搜尋引擎伺服器206、圖像處理伺服器208、量化表210、圖像儲存裝置212和索引214。系統300包括圖像處理組件302、索引組件304、搜尋組件306、排序組件308、及呈現組件310。在另一實施例中，系統300可包括其他組件、次組件、或一或多個組件302-310的組合。
圖像處理組件302接收和處理圖像用於基於內容的圖像搜尋。透過計算裝置(如查詢輸入裝置204)自使用者接收到圖像，作為搜尋查詢或作為上傳至資料儲存裝置(如圖像儲存裝置212)的圖像。圖像也可能是接收或收集自與網路202通訊的一或多個其他計算裝置。
圖像處理組件302接收的圖像是任何電子圖像格式，如(舉例而非限制)光柵格式，包括JPEG、、BMP、TIFF、和原始圖像格式(RAW)；向量格式，包括電腦圖形元檔案(CGM)及可縮放向量圖形(SVG)；和三維格式，如可攜式網路圖形立體(portable network graphics stereo,PNS)、JPEG立體(JPS)或多圖片物件(MPO)。諸如圖像大小、顏色方案、解析度、品質和圖像的檔案大小是沒有限制的。圖像的內容也沒有限制，可能包括例如照片、藝術品、繪畫、掃描的媒體等等。此外，在一實施例中，圖像可包括視頻檔案、音頻視頻或其他多媒體檔案。
現在參照圖12-16，根據本發明一實施例，描述系統300處理範例圖像1200的流程。在一實施例中，為了處理收到的圖像1200，圖像處理組件302使用運作器演算法。運作器演算法識別圖像1200中的多個興趣點1202。運作器演算法包括可用來識別在圖像1200中的興趣點的任何可用演算法。在一實施例中，運作器演算法是高斯演算法之差或拉普拉斯演算法，如本技術領域所知之。在一實施例中，運作器演算法是配置為以兩個維度分析圖像1200。此外，在另一實施例中，當圖像1200是一個彩色圖像時，圖像1200會轉換為灰度。
興趣點1202包括圖12所示之圖像1200中的任何點，以及圖13所示之圖像1200中的範圍1302、區域、像素群組或特徵。為了簡潔和清晰起見，興趣點1202和範圍1302以下稱為興趣點1202，但是提及興趣點1202時，其係包括興趣點1202和範圍1302。在一實施例中，興趣點1202位於圖像1200中的一穩定的區域，並包括獨特或可識別的特徵於圖像1200中。例如，興趣點1202是位於圖像中具有清晰特徵的區域，這些特徵之間具有高度對比，如1202a和1302a。相對地，興趣點不位於沒有明顯特徵或對比的區域，如1204所指示之穩定色彩或灰度的區域。
運作器演算法識別圖像1200中的任何數量的興趣點1202，例如數千個興趣點。興趣點1202可能是圖像1200中點1202與範圍1302的組合，且其數量可以根據圖像1200的大小。圖像處理組件302計算一度量用於每一興趣點1202並根據該度量排序興趣點1202。度量可包括信號強度及圖像1200的興趣點1202的信噪比。圖像處理組件302根據排序來選擇興趣點1202的子集合作進一步處理。在一個實施例中，選擇具有最高的信噪比的最突出的一百個興趣點1202，但可選擇任何想要數目的興趣點1202。在另一實施例，沒有選擇一個子集合，且所有的興趣點都包含在進一步處理的流程中。
如圖14所示，圖像處理組件302識別對應選定興趣點1202之修補1400的子集合。每個修補1402對應單一選定興趣點1202。修補包括包括各自興趣點1202的圖像1200的區域。圖像1200中的每個修補1402的大小是根據每個選定興趣點1202的運作器演算法的輸出所決定。修補1402之每者可為不同的大小，且將包含於修補1402中的圖像1200的區域可能會重疊。此外，修補1402的形狀可為任何所欲形狀，包括正方形、長方形、三角形、圓形、橢圓形等。在所示的實施例中，修補1402的形狀是正方形。
如圖14所示，圖像處理組件302將修補1402正規化。在一個實施例中，修補1402是經正規化以符合每個修補1402的相同大小，如X像素乘X像素的修補平方。將修補1402正規化至相同大小可能包括增加或減少修補1402的大小及/或解析度。可透過諸如增加對比度、去斑、清晰化、灰度等之一或多個其他操作將修補1402正規化。
圖像處理組件302還決定每個經正規化修補的描述符。計算修補1402中的像素統計來決定描述符。在一個實施例中，根據修補1402中的像素灰度斜率的統計來決定描述符。每個修補的描述符可視覺上表示為直方圖，如在圖15所示之描述符1502(其中圖14的修補1402對應於圖15中類似位置之描述符1502)。描述符還可以被描述為多維向量，例如(舉例而非限制)代表像素灰度統計的T2S2 36-維向量。
如圖16所描述，圖像處理組件302使用量化表1600以識別每個描述符1502的描述符識別符1602。量化表1600包括任何表、索引、圖表或可用來將描述符1502映射至描述符識別符1602的其他資料結構。本領域中有已知的各種形式的量化表1600且可用於本發明實施例中。在一個實施例中，量化表1600的產生是透過先處理大量的圖像(例如圖像1200)，例如一百萬張圖像，以識別每個圖像的描述符1502。自其識別之描述符1502接著進行統計分析，以識別具有相似或類似統計數值的描述符1502的群集或群組。例如，T2S2中的向量數值是相似的。選擇每個群集的代表描述符1604並指派在量化表1600中的一個位置以及相應的描述符識別符1602。描述符識別符1602包括任何所欲指標，可由系統300用來識別相應的代表描述符1604。例如，描述符識別符1602包括圖16所示之整數值、或字母數字、數值、符號和文字。
圖像處理組件302為每個描述符1502識別量化表1600中最符合的代表描述符1604。例如，圖15所示之描述符1502a與圖16中量化表1600的代表描述符1604a最密切對應。描述符1502之每者的描述符識別符1602因此與圖像1200相關聯(例如，描述符1502a對應於描述符識別符1602「1」)。與圖像1200相關的描述符識別符1602可能每者之間彼此不同，或是一或多個描述符識別符1602可能與圖像1200多次相關聯(如圖像1200可具有描述符識別符1602「1、2、3、4」或「1、2、2、3」)。在一實施例中，考慮到如圖像差異的特點，透過識別多於一個最密切符合描述符1502及其代表描述符識別符1602的代表描述符1604，一個描述符1502可能會被映射到多於一個描述符識別符1602。因此，圖像處理組件302根據所識別的興趣點1202之集合，提供代表圖像1200的內容的描述符識別符1602之集合。
繼續參照圖3，索引組件304索引描述符識別符1602並儲存索引至記憶體，如索引214。在一個實施例中，索引組件304使用平索引位置空間來設定索引。平索引位置空間(以下簡稱「平索引」)是一維的列表或陣列，其順序列出描述符識別符1602。還提供列在平索引中的每個描述符識別符1602位置識別符，其指示各自描述符識別符在平索引中的位置。圖像1200的描述符識別符1602是依順序列出且於平索引中分組。
依序跟隨在圖像1200的描述符識別符160之後的索引組件301提供文件尾端識別符。文件尾端識別符也包含位置識別符，且可用來表示與特定圖像1200相關聯的一組描述符識別符1602的尾端。因此，當數個圖像1200的描述符識別符1602是索引於平索引中時，每個圖像1200的描述符識別符1602是群組在一起並與另一圖像1200的描述符識別符1602分開，且是以位於它們之間的文件尾端識別符分開。
例如，五個圖像的範例集合(如圖像1200)及其各自的描述符識別符(如描述符識別符1602)是列於表1。表1中的描述符識別符是α字元，但是如上所述，描述符識別可以使用任何數字、符號或字元。表2描述五個圖像的平索引代表，指示平索引中每個描述符識別符的位置以及每個圖像的描述符識別符之間的文件尾端識別符。
在一實施例中，索引組件304還根據平索引決定反索引，如索引214。反索引包含資料結構，其提供列於平索引中及/或包含在上述量化表1600中的所有描述符識別符的列表。每個描述符識別符出現在平索引中的位置係就描述符識別符指示。例如，按照本發明一實施例，表3描述表2的平索引的反索引列表。文件尾端(EDOC)位置也指示於反索引中。
因此，索引組件304可根據描述符識別符索引多個圖像。在一個實施例中，索引組件304提供索引給儲存在一或多個資料儲存裝置(如圖像儲存裝置212)的數億圖像。如前參照圖2所述，索引組件304所提供的索引(如索引214)是儲存在電腦記憶體中。此外，索引組件304可產生多於一個的索引用於一或多個圖像資料儲存裝置。
繼續參照圖3，搜尋組件306提供有效率的基於內容的搜尋。在一實施例中，搜尋組件306使用反索引來執行有效率的部分符合的基於內容的圖像搜尋。系統300收到來自使用者或其他計算裝置的搜尋查詢。在一實施例中，搜尋查詢可為圖像，如圖像1200。系統300透過如上所述的圖像處理組件302識別圖像1200代表的描述符識別符。搜尋組件306根據識別為圖像1200的代表的描述符識別符1602，對儲存在圖像儲存裝置和以反索引索引的圖像執行有效率的部分符合搜尋。為了明確和簡單起見，以下描述的搜尋是就單一索引和圖像儲存裝置，但並非欲以限制本發明實施例的應用於單一索引和圖像儲存裝置。
為了執行部分符合搜尋，索引圖像(如儲存在圖像儲存中的圖像且其描述符識別符是索引於反索引中)必須要被視為是候選圖像(如可能的搜尋結果)的最小數量(M)的符合描述符識別符會被識別。最小數量M是根據諸如欲識別為候選圖像的候選圖像數量之因素所決定。在一個實施例中，最小數量M是由系統管理者或使用者預先決定。
搜尋組件306遍歷反索引，以識別具有最低數值的位置識別符用於圖像1200的每個描述符識別符。比較最低數值以識別這些數值的M個最低值。搜尋組件306也決定具有最低數值的文件尾端位置識別符(EDOC-end)，其係大於M個最低值的最高位置識別符的數值。文件尾端位置識別符識別一個索引圖像，此索引圖像的描述符識別符直接位於在平索引位置空間中的文件尾端位置識別符之前。此外，索引圖像的較小位置數值(文件起始)(例如，索引圖像的第一描述符識別符位置)可透過識別先前的文件尾端位置識別符並往上移動數值來決定。因此，搜尋組件306識別M個最低值必須出現在文件起始的位置識別符數值與文件尾端的位置識別符數值之間，其包括文件起始的位置識別符數值。當搜尋組件306決定M個最低數值落在識別的位置識別符數值內時，各自的索引圖像返回作為候選圖像。
當搜尋組件306決定M個最低值不落在文件起始與文件尾端的位置識別符數值內時，完成程序的第二個迭代，以識別下個M個最低數值的集合。例如，具有最低位置識別符數值的描述符識別符1602的位置識別符可遞增到下一個索引的位置識別符數值和重新評估的M個最低數值。這個程序反覆進行至反索引完全遍歷過。
繼續參照表1-3所述的範例圖像，描述搜尋組件306的範例迭代程序。舉例而言，接收包括由查詢描述符識別符a、d、h、g、n所代表的圖像的搜尋查詢。此外，兩個描述符識別符必須與索引圖像符合，以返回索引圖像為候選圖像(如M=2)。根據表3提供的反索引，代表搜尋查詢圖像的查詢描述符識別符的位置識別符的最低數值是：
因此，搜尋組件306決定兩個最低的位置識別符數值1和3，及大於M個最低位置識別符數值之最大位置識別符數值的EDOC之最低位置識別符數值是4(EDOC-end=4)。此外，文件起始位置識別符數值是1。因此，1和3是在文件起始與EDOC-end之間(包括文件起始位置識別符數值)，在位置1-3、圖像1的描述符識別符所代表的索引圖像會返回為候選人圖像。
繼續說明這個例子，一旦圖像1返回，EDOC-end的數值會移至它的下一個位置識別符數值7(例如，目前的EDOC-end=7)。目前的文件起始位置識別符數值是設為比EDOC-end先前的數值大1(文件起始位置識別符=4+1=5)。描述符識別符a和d的位置識別符數值增量至其下一位置識別符數值，分別不低於文件起始位置識別符數值，因為它們包含在返回作為候選圖像的索引圖像。此外，雖然沒有在這個例子中描述，如果有任何查詢描述符識別符具有位置識別符數值是小於文件起始位置識別符數值，這些查詢描述符識別符的位置識別符數值亦會增量至其下一位置識別符數值，不低於文件起始位置識別符數值。描述符識別符n的位置識別符數值沒有增量，因為其數值大於文件起始位置識別符數值。因此，表3所示的最低位置識別符數值的下一集合是：
搜尋組件306識別出沒有小於EDOC位置識別符數值的兩個位置識別符數值，因此增量EDOC位置識別符數值至反索引中列出的下一個最低值，其大於反索引中列出的最低兩個位置識別符數值；在這個例子中，EDOC位置識別符數值增量到16(EDOC-end=16)。文件起始是識別為11(例如，大於反索引中下一個較小EDOC數值一個位置)。搜尋組件306決定兩個識別符數值13和12是介於文件起始和EDOC-end位置識別符數值之間(包括文件起始位置識別符數值)，因此，列於圖像4位置11到15的描述符識別符所代表的索引圖像會返回為候選圖像。搜尋組件306繼續此程序直到所有反索引遍歷過。
搜尋組件306的程序透過使用文件尾端位置識別符有效率地搜尋反向索引，以跳過不包括至少M個符合描述符識別符的圖像。例如，在上述就表1-4描述的例子中，跳過描述符識別符圖像2和3。繼表4a所述的第一次迭代後，下一個可能符合的索引圖像是識別為圖像4。因此，搜尋組件306沒有必要考慮圖像2和3的描述符識別符。上述部分符合搜尋的優勢可實現於有較大規模圖像儲存和擷取的本發明實施例中。例如，當搜尋組件306的任務是搜尋數十億圖像且最低數量的符合描述符識別符是對於儲存用於每個索引圖像100個描述符識別符找出10個，能夠跳過或快速識別不包括最低數量的符合描述符識別符的索引圖像大大提高了搜尋的效率。
在另一實施例，最低數量的符合描述符識別符M是在搜尋程序中調整。識別回應於搜尋查詢而提供的所有或最大數量的搜尋結果圖像(K)。最低數量的符合描述符識別符M可以設為任何預定數值，包括0。如上所述，搜尋組件306遍歷索引，以識別至少k個索引圖像具有搜尋圖像的至少M個符合描述符識別符。
追蹤K個識別索引圖像之每者的符合描述符識別符的總數。比較K個識別索引圖像之每者的符合描述符識別符的總數，以決定K個識別索引圖像的符合描述符識別符的最低總數(L)。在另一實施例，對於K個識別索引圖像群組，追蹤符合描述符識別符的最低總數L，而不是追蹤和比較K個識別索引圖像的每個單獨索引圖像的數值。M的數值是設為L，其可等於或大於M先前的數值。
此外，當具有至少M個符合描述符識別符(M現在等於L)的搜尋組件306識別出額外的索引圖像時，額外的索引圖像被加到K個識別索引圖像的群組，群組中具有具有最少數量符合描述符識別符的索引圖像會自群組中移除。L的值會重新計算用於此群組，且M是設為與新數值相等。因此，M的值是根據在頂部K個識別的索引圖像中找到的符合描述符識別符的數量而在搜尋過程中增加。因此，搜尋過程的效率隨著搜尋過程的繼續進行而提高，因為可根據增加的M值而跳過更多的索引圖像。
例如，假設M最初設定為10且搜尋組件306識別索引中具有至少10個符合的描述符識別符的前K個索引圖像。搜尋組件306還識別所有的K個識別索引圖像實際上具有至少32個符合的描述符識別符。因此，L等於32，M設為等於32。隨著搜尋組件306繼續進行搜尋過程，索引圖像現在至少有32個符合的描述符識別符。如上所述，搜尋過程繼續進行，隨著群組L的符合描述符識別符的最低總數之增加，M值可能繼續增加。
搜尋組件306可以使用任何可用的操作和資料處理功能，以幫助遍歷反索引。在一個實施例中，搜尋組件306使用諸如堆(heap)之動態記憶體分配及其相關操作，以協助處理搜尋。此外，一或多個搜尋組件306可以用來搜尋與索引圖像的記憶體儲存區塊相關的多個反索引。
在另一實施例中，搜尋組件306接收圖像搜尋查詢的文字搜尋元素、標籤及/或元資料。搜尋組件306以任何可用的方式使用文字搜尋元素，以進行額外的基於文字的搜尋及/或通知基於內容的搜尋。
在另一實施例中，如文字字元之一或多個文字搜尋元素與一或多個描述符識別符相關。因此，當搜尋組件306收到包括圖像並由與文字搜尋元素相關聯的一或多個描述符識別符代表的搜尋查詢時，搜尋組件306根據文字搜尋元素執行額外的306基於文字的搜尋。另外，或除此之外，當搜尋組件306接收與一或多個描述符識別符相關聯的文字搜尋元素時，搜尋組件識別與文字搜尋元素相關聯的描述符識別符，並提供用於包含相關的描述符識別符的圖像的基於內容的搜尋。
此外，在一實施例中，包括元資料、標籤和與搜尋查詢一起收到或與描述符識別符相關的其他資訊之文字搜尋元素是用於選擇和呈現付費列表，如廣告、動板廣告、付費搜尋結果等。文字搜尋元素可用於直接識別付費廣告或識別類別、情境、標的、或可用來回應於搜尋查詢而選擇一或多個付費列表用於呈現的其他搜尋查詢特徵。類似地，搜尋查詢收到的或自搜尋查詢識別的描述符識別符可用於直接識別付費廣告或識別可用於回應於搜尋查詢而選擇付費列表的類別。
排序組件308下一個處理的是返回為候選圖像的索引圖像。任何可用的方法或特徵及其組合可用於排序候選圖像。此外，也可以使用任何想要的操作，包括截斷排序的候選圖像列表。在一個實施例中，候選圖像的排序是基於符合候選圖像的描述符識別符之搜尋圖像1200的描述符識別符1602的總數。然後截斷候選圖像的排序列表，以移除包括最少數量的符合描述符識別符並因此最不可能視覺上類似搜尋圖像1200的候選圖像。
在一實施例中，排序組件308執行詞彙頻率排序及候選圖像及/或它們各自的描述符識別符之一或多個幾何驗證和轉換。轉換可能包括兩維或三維的轉換，例如相似轉換仿射轉換。此轉換允許排序組件308進一步分析候選圖像和描述符識別符，以重新排序、排序或縮小候選圖像群組。
在一實施例中，除了搜尋圖像1200和候選圖像的圖像內容，排序組件識別與搜尋圖像1200或一或多個候選圖像相關的一或多個資料元素，以幫助或通知候選圖像的排序。例如，搜尋圖像可能和與圖像1200或一或多個文字搜尋元素相關的一或多個元資料的資料元素一起收到。這些資料元素和搜尋元素進一步通知排序組件308有關搜尋的上下文和使用者執行搜尋的意圖或興趣。另外，或除此之外，一或多個候選圖像具有元資料或可由排序組件308使用之其他與此相關的資料元素，以助於排序候選圖像。
呈現組件310配置和安排排序的候選圖像。呈現組件310透過使用者介面呈現候選圖像作為搜尋結果圖像給使用者，並可以將任何相關的付費搜尋結果整合至此呈現中。在一實施例中，搜尋結果圖像是透過搜尋結果網頁呈現於計算裝置(如查詢輸入裝置204)給使用者。然後，在本領域可用之各種使用者互動的技術中，使用者可以選擇一或多個搜尋結果圖像以查看圖像或導向到一個公布搜尋結果圖像的網頁。此外，在額外的基於文字的搜尋是根據文字搜尋元素、元資料或其他方式執行的情況下，呈現組件也可能呈現基於文字的搜尋結果和付費列表給使用者。
現在參照圖4，其係根據本發明實施例之描述用於產生基於內容之圖像搜尋的圖像內容表示的方法400流程圖。在402收到如圖像1200之圖像。如404所示，透過使用運作器演算法，在圖像中識別如興趣點1202之興趣點。
如前及406所述，決定用於一或多個興趣點的圖像修補。圖像修補包括一圖像區域，其包括各自的興趣點及可能重疊決定自圖像的其他圖像修補。如408所示，決定每個修補的描述符。描述符描述的包含於修補的圖像中的像素特徵。例如，描述符描述灰度或修補中像素的顏色斜率或描述像素的統計分析。
在410，每一個描述符映射到與量化表中最密切相似的代表描述符對應的描述符識別符。如412所示，將圖像表示為描述符識別符之集合。因此，圖像的內容是以允許由計算裝置比較內容與其他圖像的類似量化內容的方式進行量化，以識別視覺上相似的圖像。
現在參照圖5，其係根據本發明實施例之進一步描述用於產生圖4所示基於內容之圖像搜尋的圖像內容表示的方法500流程圖。在上述及在404所示的識別圖像中的興趣點之後，如在404a所示，根據度量來排序興趣點。興趣點可以任何可用的度量排序，例如信號強度或或圖像中興趣點附近的信噪比。正如在404b所示，根據排序來選擇興趣點的子集合。子集合可以只包括所欲之最突出或是排序最高的興趣點數量，或可能包含所有的興趣點。在另一實施例，不對興趣點執行子集合的排序和選擇，而是對決定自如下所述的後續步驟中修補或描述執行。
在406A，如前面所述，決定子集合中每個興趣點的圖像修補。將圖像修補正規化，以使所有的圖像修補具有相同的大小，如406b所示。例如，圖像修補可增加或減少解析度，以使所有的圖像修補具有同等的高度和寬度的像素尺寸，如25像素×25像素。在408a，決定表示每個修補的向量。該向量是一多維向量(如T2S2向量有36維)，其代表在修補中像素的的灰度斜率。
現在參照圖6，其係根據本發明實施例之描述用於索引描述符識別符的方法600流程圖。在602，如圖像1200之圖像的描述符識別符是索引於一平索引位置空間。描述符識別符是群組在一起並依序列於平索引位置空間，且在其後是文件尾端識別符，如604所示。每個描述符識別符和文件尾端識別符都有各自的位置識別符，其指示其在平索引位置空間中各自的位置。在一個實施例中，描述符識別符實際上並沒有提供位置識別符，而是它們的位置可於平索引位置空間內追蹤或識別。在606，根據描述符識別符和其索引於平索引位置空間的各自的位置識別符而產生反索引。反索引提供描述符識別符的列表以及平索引位置空間內它們各自的位置的指示。如前所述，文件尾端識別符也包含在反索引中。
參照圖7，其係根據本發明實施例之描述用於提供基於內容的候選圖像的方法700流程圖。在702，接收搜尋查詢。在一個實施例，搜尋查詢中包含一個圖像作為搜尋查詢。在一實施例中，搜尋查詢中除了圖像外還包含文字元素，或是搜尋查詢包含文字元素而不是圖像。在另一實施例，諸如元資料之一或多個資料元素(其描述圖像及/或搜尋查詢的意圖或情境)是與查詢一起接收。在進一步的實施例，搜尋查詢是基於文字的搜尋查詢。
正如在704所示，識別描述符識別符之一集合用於搜尋查詢。如前所述，當搜尋查詢包括圖像時，描述符識別符係識別自圖像內容。在一個實施例中，集合包括100個描述符識別符。在此實施例中，使用100個描述符識別符提供緊湊的圖像內容表示，同時也提供足夠的內容資訊以自搜尋產生有價值的結果。在一實施例中，包含在一集合中之描述符識別符的數目對應於可由搜尋引擎用來進行搜尋之搜尋元素的最大數量。在另一個實施例，當接收基於文字的搜尋查詢時，描述符識別符係識別自映射基於文字的搜尋查詢的文字元素至描述符識別符。此映射可以提供表或其他資料結構(其指示一或多個與一個給定的文字元素相關聯的描述符識別符)來完成。
在706，利用一描述符識別符之集合來執行搜尋，以識別候選圖像，候選圖像是包括至少一個預定數目的符合描述符識別符與搜尋查詢圖像的索引圖像。在一實施例中，執行該搜尋將搜尋查詢之描述符識別符集合與關聯於每個索引圖像之描述符識別符集合進行比較。在另一個實施例中，集合包括100個描述符識別符，且所需之符合描述符識別符的數量是決定為10。以至少10個符合描述符識別符來識別索引圖像提供了足夠數量的符合候選圖像，同時也維持了所欲的精確度。
正如在708所示，候選圖像是根據符合描述符識別符的總數來排序。在一實施例中，候選圖像是透過多個搜尋來進行識別，使用多個反索引執行多個搜尋於相等多數的資料庫。多重搜尋的結果會回報至單一計算裝置，並如上所述根據符合描述符識別符的總數來初步排序。然後再使用詞彙頻率反文件頻率(term frequency-inverse document frequency,Tf-IDF)排序來重新排序結果，或基於一或多個轉換、分析、圖像特徵等來重新排序結果。
現在參照圖8，其係根據本發明實施例之描述用於回應於基於文字之搜尋查詢而提供基於內容之候選圖像的方法800流程圖。在802，接收包括一或多個諸如字詞或短語之文字搜尋元素的基於文字的搜尋查詢。在804，一或多個文字搜尋元素映射到一或多個與文字搜尋元素相關的描述符識別符。
一或多個描述符識別符與文字搜尋元素之間的關聯可被預先定義並儲存在一個表或其他資料結構中，此表或其他資料結構可由搜尋引擎使用以識別何時此關聯是與收到的基於文字的搜尋查詢一同存在。例如，一描述符識別符之集合可能總是或幾乎總是出現在一個足球圖像中。與足球有關的文字字詞(如「足球」)可能與該描述符識別符集合相關聯。因此，當於搜尋查詢中收到這些字詞之一者時，可識別相關的描述符識別符之集合及與其執行的基於內容的搜尋，正如在806所示。在808，透過搜尋識別候選圖像，藉此提供圖像的基於內容的搜尋作為基於文字的搜尋查詢的結果。在810，排序候選圖像。此排序可以根據任何所欲的特性或演算法，其包括根據候選圖像與搜尋查詢描述符識別符之間的符合描述符識別符的總數來排序。
在另一實施例中，提供一文字搜尋結果以回應於搜尋查詢為圖像的搜尋查詢。如上所述，與查詢圖像視覺上類似的圖像是由基於內容的搜尋來識別。聚集文字元素、元資料和相關聯於一或多個視覺上類似的圖像的其他資訊。回應於搜尋查詢，至少有一部分的聚集資料會提供作為文字搜尋結果。例如，使用者可能以無線手機擷取諸如電視之產品的圖像，並根據圖像執行搜尋查詢。然後呈現使用者介面給使用者，使用者介面根據圖像顯示聚集之資訊，如產品的名稱和型號、零售商處的電視價格、規格等。聚集之資訊可以百科全書或類似的資訊格式呈現，或者可以利用一個標準的搜尋結果頁面格式，其具有至各種網頁的連結。
參照圖9，其係根據本發明實施例之描述用於回應於接收圖像作為搜尋查詢而提供候選圖像的方法100流程圖。在902，接收圖像作為搜尋查詢。在904，如前所述，將圖像表示為描述符識別符之集合。在906，使用每個描述符識別符作為搜尋元素並使用反搜尋索引來執行部分符合的基於內容之搜尋。在908，候選圖像是識別自基於搜尋查詢圖像與候選圖像之間的符合描述符識別符之數量的搜尋。在910，識別的候選圖像是至少根據符合描述符識別符的總數與搜尋查詢圖像來排序。
參照圖10，其係根據本發明實施例之描述用於提供基於內容之候選圖像及基於文字之搜尋結果的方法1000流程圖。在1002，接收圖像查詢，其包含代表圖像內容的描述符識別符之集合。在1004，識別候選圖像，其包括至少一預定數目的相符合描述符識別符與搜尋查詢的描述符識別符。如在1006所示，根據符合描述符識別符的總數來排序候選圖像。
在1008，識別與候選圖像相關聯的關鍵字。關鍵字是識別自聚集之資料元素用於一或多個候選圖像。資料元素是收集和聚集自公布候選圖像的網頁、自候選圖像的檔案名稱、及自與候選圖像相關聯的元資料。在1010，根據一或多個識別的關鍵字，執行基於文字的搜尋。候選圖像是呈現搜尋結果圖像與一或多個基於文字的搜尋結果，正如在1012所示。搜尋結果圖像和基於文字的搜尋結果是以本領域所知之任何形式呈現，如透過搜尋結果網頁。基於文字的搜尋結果包括本領域所知之任何形式的非基於內容的搜尋結果，其包括至網頁的連結、圖像等。
現在參照圖11，其係根據本發明實施例之描述用於執行基於內容之圖像查詢的方法1100流程圖。在1102，接收搜尋查詢。自搜尋查詢識別描述符識別符之集合，正如在1104和前面所述。在1106，遍歷索引的一部分，以識別一預定數目之描述符識別符與最低位置識別符數值。在一實施例中，索引是一反索引。在1108，識別文件尾端位置識別符，其係在具有最低位置識別符數值的一預定數目之描述符識別符的最大位置識別符數值之後。在1110，識別文件起始位置數值用於與在步驟1108識別之文件尾端位置識別符相關聯的索引圖像。在一個實施例中，文件起始位置識別符數值是等於大於文件尾端位置識別符的位置識別符數值之一位置，其係於步驟1108所識別的文件尾端位置識別符之前。
在1112，當包含於具有最低位置識別符數值的預定數目的描述符識別符之所有描述符識別符的位置識別符數值不大於或等於文件起始位置識別符數值時，具有小於文件起始位置識別符數值的一或多個描述符識別符的位置識別符數值會增量為下一個最低值用於大於文件起始位置識別符數值的各自描述符識別符。然後，這個過程會循環回1106。
在1114，當所有識別的位置識別符數值大於或等於文件起始位置識別符數值時，則相關的圖像會返回作為候選圖像。當有更多的索引圖像在索引中時，其可包括預定數目的符合描述符識別符，這個過程會循環回1106。在1116，根據候選圖像與搜尋查詢之間的符合描述符識別符的總數來排序候選圖像。候選圖像的數目可能會根據排序而減少，其餘的候選圖像會根據一或多個幾何驗證、轉換、或其他比較而重新排序，正如在1118所示。一或多個重新排序的候選圖像可作為搜尋結果圖像透過網頁或本領域所知之其他使用者介面呈現給使用者。
在另一實施例中，基於查詢圖像Q之部分符合的基於內容的圖像搜尋使用按照下面的假碼的搜尋演算法。
可以利用和調整本發明實施例以增加搜尋結果圖像及回應於如上述所執行之搜尋查詢而返回之資訊的相關性和數值。幾個範例實施例說明如下。
在一個實施例中，針對查詢圖像，執行基於內容的搜尋於索引。查詢圖像是索引中的樣品圖像或者是自使用者接收之新圖像。聚集元資料、標籤和與自搜尋返回的一或多個搜尋結果圖像相關的其他額外資料。從聚集的資料中，有意義和相關的標籤或元資料會被建構或識別並相關聯於查詢圖像。因此，未來的根據查詢圖像及/或搜尋結果圖像之一者的基於內容之搜尋會有更多資訊，並能透過使用相關的元資料和標籤提供更多相關的搜尋結果。此外，可以針對查詢圖像執行額外的基於文字的搜尋，以提供額外的搜尋結果。
在另一實施例中，識別屬於相同或相似的域、文件、或標的物的索引圖像的群組。已讀別的索引圖像包含一或多個描述圖像內容或圖像所屬之域的資料元素。對於群組中每一個圖像，執行基於內容的搜尋於索引，以識別視覺上相似的搜尋結果圖像。然後描述內容或域的資料元素可被傳播到搜尋結果圖像。因此，圖像可以與標的、內容類型、或域相關聯，以進一步告知未來的索引搜尋。例如，描述成人內容的圖像群組可用於識別索引中視覺上相似的搜尋結果圖像。搜尋結果圖像可以被標記為成人內容。此外，這些圖像所擷取或公布於之網站或域可以被識別為成人內容，以告知隨後基於內容和基於文字的搜尋。
在另一實施例，透過基於內容的搜尋，識別索引中重複或近於重複的圖像。識別和聚集與每個重複圖像相關聯的關鍵詞。然後聚集的關鍵字會與每個重複圖像相關聯，使它們可用於未來的圖像搜尋或基於文字的搜尋。
在本發明另一個實施例，基於內容的搜尋可用於呈現給使用者的付費列表或廣告。圖17根據本發明實施例之描述用於將付費搜尋結果與基於圖像之演算法搜尋結果相關聯的方法1700流程圖。在1702，接收搜尋查詢。搜尋查詢可包括圖像、有其他文字資料的圖像、元資料、標籤等，也可以是基於文字的搜尋查詢。根據搜尋查詢，識別描述符識別符之集合，正如在1704所示。透過比較描述符識別符之集合與相關聯於如前所述描述符識別符之集合，搜尋索引圖像，正如在1706所示。
在1708，付費搜尋列表與一或多個描述符識別符相關聯，以產生至少一付費搜尋結果。例如，透過聚集元資料、標籤、關鍵字、域和前述實施例所描述之用於圖像或圖像群組的其他資訊，相關付費搜尋列表可根據聚集之資料而識別，並與查詢搜尋結果一起呈現給使用者作為付費搜尋結果。在另一實施例，一或多個付費搜尋列表是與一描述符識別符群組相關聯。因此，一或多個付費列表係回應於接收與描述符識別符群組相關聯的搜尋查詢而呈現給使用者。另外，廣告可與進一步與一或多個描述符識別符相關聯的關鍵字相關聯。因此，當收到一個指示一或多個描述符識別符的搜尋查詢時，關鍵字是根據描述符識別符來決定，且廣告是根據關鍵字來識別。
此外，基於內容的搜尋可能被用於圖像的銷售或拍賣及付費列表或廣告目的之圖像內容。廣告權可以出售、拍賣，或指派用於特定圖像或可根據這些圖像的描述符識別符集合識別的通用圖像標的。廣告權可出售用於特定圖像或用於與特定圖像或圖像群組相關聯的描述符識別符集合。
在沒有偏離下述請求項範圍的情況下，對於已描述之各種元件及未描述之元件進行許多不同安排是可能的。描述此技術的實施例是欲以作為說明而非限制。讀者閱讀本揭示之後，替代實施例將變得很明顯，且因為閱讀本揭示，替代實施例將變得很明顯。實施上述的替代手段可在沒有偏離下述請求項範圍的情況下完成。某些功能和次組合是實用性的，並可在不參考其他功能和次組合的情況下使用，且是在請求項的範圍內所考慮。
112．．．記憶體
114．．．處理器
116．．．呈現組件
118．．．輸入/輸出端口
120．．．輸入/輸出組件
122．．．電源
212．．．圖像儲存裝置
214．．．索引
206．．．搜尋引擎伺服器
208．．．圖像處理伺服器
202．．．網路
204．．．查詢輸入裝置
300．．．基於內容的圖像搜尋系統
302．．．圖像處理組件
304．．．索引組件
306．．．搜尋組件
308．．．排序組件
310．．．呈現組件
400-1108．．．步驟流程
1200．．．圖像
1202．．．興趣點
1402．．．修補
1502．．．描述符
1600．．．量化表
1602．．．描述符識別符
1604．．．代表描述符
1700-1708．．．步驟流程
請參照隨附圖式詳細描述本發明的不同實施例，於圖式中：
圖1是描述適用於本發明實施例之範例計算裝置的方塊圖；
圖2是描述適用於本發明實施例之範例網路環境的方塊圖；
圖3是根據本發明實施例之描述基於內容之圖像搜尋的系統方塊圖；
圖4是根據本發明實施例之描述用於產生基於內容之圖像搜尋的圖像內容表示的方法流程圖；
圖5是根據本發明實施例之進一步描述用於產生圖4所示基於內容之圖像搜尋的圖像內容表示的方法流程圖；
圖6是根據本發明實施例之描述用於索引描述符識別符的方法流程圖；
圖7是根據本發明實施例之描述用於搜尋圖像的方法流程圖；
圖8是根據本發明實施例之描述用於提供基於內容之候選圖像及基於文字之搜尋結果的方法流程圖；
圖9是根據本發明實施例之描述用於回應於基於文字之搜尋查詢而提供基於內容之候選圖像的方法流程圖；
圖10是根據本發明實施例之描述用於接收圖像為搜尋查詢而提供基於內容之候選圖像的方法流程圖；
圖11是根據本發明實施例之描述用於執行基於內容之圖像查詢的方法流程圖；
圖12是根據本發明實施例之描述圖像中複數興趣點的圖像繪圖表示；
圖13是根據本發明實施例之描述圖像中興趣點周圍區域的圖像繪圖表示；
圖14是根據本發明實施例之決定自圖13之圖像中的修補集合的繪圖表示；
圖15是根據本發明實施例之決定自圖14之修補集合的描述符直方圖集合的表示；
圖16是適用於本發明實施例之量化表的表示；及
圖17是是根據本發明實施例之描述用於將付費搜尋結果與基於圖像之演算法搜尋結果相關聯的方法流程圖。
400-412．．．步驟流程

Claims (19)

  1. 一種用於搜尋複數個圖像的電腦實施方法，該方法包括以下步驟：接收搜尋查詢步驟，接收一搜尋查詢，該搜尋查詢包含一圖像；識別第一描述符識別符步驟，由一計算裝置根據該搜尋查詢，識別複數個第一描述符識別符，該等第一描述符識別符之每一者包含用於識別一相應描述符的一識別符，每一描述符係由該圖像的一相應部分計算出，該圖像的該相應部分包含該圖像的一像素子集合，該像素子集合包含該圖像中的一相應興趣點；搜尋步驟，搜尋複數個索引圖像，其係透過比較該等第一描述符識別符之一或多者與關聯於該等索引圖像之每一者的一或多個第二描述符識別符；識別索引圖像步驟，識別一或多個索引圖像，所識別的該一或多個索引圖像之每一者，具有符合該等第一描述符識別符之一或多者的一臨限數目之描述符識別符；以及排序步驟，根據比較結果，排序該一或多個索引圖像。
  2. 如請求項1之電腦實施方法，其中該搜尋查詢包含一或更多個文字字語。
  3. 如請求項1之電腦實施方法，其中係從一搜尋引擎反 索引識別一或多個候選圖像，且其中該反索引係基於一平索引位置空間，在該平索引位置空間中該複數個索引圖像之每一者的該等第二描述符識別符被依序列出，而每一索引圖像的該等第二描述符識別符之後具有一文件尾端識別符，且每一第二描述符識別符及文件尾端識別符包括一位置識別符，該位置識別符表明此第二描述符識別符及文件尾端識別符在該平索引位置空間中的相應位置。
  4. 如請求項3之電腦實施方法，其中透過比較該至少一個第一描述符識別符與關聯於該等索引圖像之每一者的該一或多個第二描述符識別符，來搜尋該等索引圖像之該搜尋步驟，還包括以下步驟：遍歷該索引以識別一預定數目之第二描述符識別符，該預定數目之第二描述符識別符的該等位置識別符具有最低的數值；識別該文件尾端位置識別符，該文件尾端位置識別符係在具有最低位置識別符數值的該預定數目之第二描述符識別符的一最大位置識別符數值之後；對於由該文件尾端位置識別符識別之一候選索引圖像，識別一文件起始位置數值；及當具有最低位置識別符數值之該預定數目之描述符識別符之全部者的位置識別符，大於或等於該文件起始位置數值時，將該候選索引圖像作為一候選圖像傳回；或當具有最低位置識別符數值之該預定數目之第二描述 符識別符之一或多者的位置識別符，小於該文件起始位置數值時，對於該預定數目之第二描述符識別符之該一或多者的至少一者，識別不小於該文件起始位置數值之下一最低位置識別符數值。
  5. 如請求項4之電腦實施方法，其中該預定數目之第二描述符識別符，係根據對於一組候選圖像中之一候選圖像的符合的第二描述符識別符的一最小總數目而增加。
  6. 如請求項1之電腦實施方法，還包括以下步驟：根據一詞彙頻率排序分數、一幾何驗證、或一二維圖像轉換之一或多者，重排序該一或多個索引圖像，該二維圖像轉換包括一相似轉換和一仿射轉換之一或多者。
  7. 如請求項6之電腦實施方法，其中重排序該一或多個索引圖像之步驟，亦以圖像品質、與該等索引圖像之一或多者相關的元資料、及擷取資料之一或多者為根據，該擷取資料係擷取與聚集自公布該索引圖像之一網頁。
  8. 如請求項1之電腦實施方法，其中該搜尋查詢包括一文字字語，且其中識別該至少一第一描述符識別符之該識別第一描述符識別符步驟包括以下步驟：識別與該文字字語相關聯的一或多個描述符識別符。
  9. 如請求項1之電腦實施方法，還包括：將該至少一個第一描述符識別符與一文字字語相關聯；根據與該文字字語相關聯的該一或多個描述符識別符，使用該文字字語執行一基於文字的搜尋查詢。
  10. 一種電腦可讀取儲存媒體，具有電腦可讀取指令實施於其上，當其被執行時，執行一種產生一圖像內容之一表示以用於基於內容之圖像搜尋的方法，該方法包括以下步驟：接收一圖像；識別該圖像中的複數個興趣點，每一興趣點包括由一運作器演算法識別之該圖像中的一點、一範圍或一區域之一者，該運作器演算法運作以分析該圖像以識別該複數個興趣點；根據相關聯於該複數個興趣點的一或多個度量，選擇一興趣點子集合以供進一步處理；決定對於該興趣點子集合中的每一興趣點之一圖像修補，該圖像修補包含一區域，該區域包括含有相應興趣點的該圖像的一像素子集合；決定每一修補之一描述符；將每一描述符映射至一描述符識別符，每一描述符識別符包含用於識別一相應描述符的一識別符；及根據映射結果，將該圖像表示為一描述符識別符之集合。
  11. 如請求項10之電腦可讀取儲存媒體，還包括：索引對於該圖像的該等描述符識別符。
  12. 如請求項10之電腦可讀取儲存媒體，還包括：正規化對於該等興趣點之每一者的該等圖像修補，以由一相等尺寸提供該等修補之全部者。
  13. 如請求項10之電腦可讀取儲存媒體，其中該運作器演算法是一高斯演算法之差或一拉普拉斯演算法中之一或多者。
  14. 如請求項10之電腦可讀取儲存媒體，其中該修補係以該興趣點為中心，且該修補尺寸係根據該運作器演算法之一輸出來決定。
  15. 如請求項10之電腦可讀取儲存媒體，其中決定每一修補之一描述符之步驟還包括：決定表示該修補所包括之像素之一向量。
  16. 如請求項10之電腦可讀取儲存媒體，其中將每個描述符映射至一描述符識別符係使用一量化表，該量化表包括與一相應描述符識別符相關聯之一或多個代表描述符，且每一描述符係映射到與其符合或近乎符合之一或多個代表描述符。
  17. 如請求項10之電腦可讀取儲存媒體，其中該一或多個度量包含選自下列之一或多者：該興趣點的一信號強度及一信噪比。
  18. 如請求項10之電腦可讀取儲存媒體，還包括：將該等描述符識別符之一或多者映射至一或多個文字字語。
  19. 一種使付費搜尋結果與基於圖像之演算法式搜尋結果相關聯的方法，包括以下步驟：接收一搜尋查詢；一計算裝置根據該搜尋查詢識別形成一第一描述符識別符集合的複數個描述符識別符，每個描述符識別符包含用於識別一描述符的一識別符，該描述符描述一基於圖像的興趣點；透過將該第一描述符識別符集合與相關聯於該等索引圖像的一第二描述符識別符集合進行比較，以搜尋複數個索引圖像以產生搜尋結果，該等搜尋結果包含一一或多個圖像之集合，該一或多個圖像之集合係根據每一圖像的一數目之描述符識別符與來自該搜尋查詢的該第一描述符識別符集合的描述符識別符相符合所選擇；以及使至少一付費搜尋列表與該第一集合中的該等描述符識別符之至少一者相關聯，以產生至少一個付費搜尋結果。
TW099135618A 2009-11-02 2010-10-19 基於內容之圖像搜尋 TWI506459B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/610,810 US9710491B2 (en) 2009-11-02 2009-11-02 Content-based image search

Publications (2)

Publication Number Publication Date
TW201128421A TW201128421A (en) 2011-08-16
TWI506459B true TWI506459B (zh) 2015-11-01

Family

ID=43923077

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099135618A TWI506459B (zh) 2009-11-02 2010-10-19 基於內容之圖像搜尋

Country Status (7)

Country Link
US (1) US9710491B2 (zh)
EP (1) EP2497041A4 (zh)
JP (1) JP5596792B2 (zh)
KR (1) KR101732754B1 (zh)
CN (1) CN102576372B (zh)
TW (1) TWI506459B (zh)
WO (1) WO2011054002A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649972B2 (en) 2017-10-30 2020-05-12 Coopervision International Holding Company, Lp Complex catalog match system

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US9747420B2 (en) 2005-10-26 2017-08-29 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US9396435B2 (en) 2005-10-26 2016-07-19 Cortica, Ltd. System and method for identification of deviations from periodic behavior patterns in multimedia content
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US9330189B2 (en) 2005-10-26 2016-05-03 Cortica, Ltd. System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US9286623B2 (en) 2005-10-26 2016-03-15 Cortica, Ltd. Method for determining an area within a multimedia content element over which an advertisement can be displayed
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US9235557B2 (en) 2005-10-26 2016-01-12 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US20100235356A1 (en) * 2009-03-10 2010-09-16 Microsoft Corporation Organization of spatial sensor data
JP5424798B2 (ja) * 2009-09-30 2014-02-26 株式会社日立ソリューションズ メタデータ設定方法及びメタデータ設定システム、並びにプログラム
KR101116434B1 (ko) 2010-04-14 2012-03-07 엔에이치엔(주) 이미지를 이용한 쿼리 제공 방법 및 시스템
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9043296B2 (en) 2010-07-30 2015-05-26 Microsoft Technology Licensing, Llc System of providing suggestions based on accessible and contextual information
US8774561B2 (en) * 2010-09-01 2014-07-08 Apple Inc. Consolidating information relating to duplicate images
US11016938B2 (en) 2010-09-01 2021-05-25 Apple Inc. Consolidating information relating to duplicate images
US8875007B2 (en) * 2010-11-08 2014-10-28 Microsoft Corporation Creating and modifying an image wiki page
US8971641B2 (en) * 2010-12-16 2015-03-03 Microsoft Technology Licensing, Llc Spatial image index and associated updating functionality
US9678992B2 (en) * 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US9465858B2 (en) * 2011-06-03 2016-10-11 Gdial Inc. Systems and methods for authenticating and aiding in indexing of and searching for electronic files
US8606780B2 (en) * 2011-07-08 2013-12-10 Microsoft Corporation Image re-rank based on image annotations
JP5714452B2 (ja) * 2011-08-29 2015-05-07 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム
US9152700B2 (en) * 2011-09-30 2015-10-06 Google Inc. Applying query based image relevance models
US20150169740A1 (en) * 2011-11-21 2015-06-18 Google Inc. Similar image retrieval
CN103136228A (zh) * 2011-11-25 2013-06-05 阿里巴巴集团控股有限公司 一种图片搜索方法以及图片搜索装置
US9665643B2 (en) 2011-12-30 2017-05-30 Microsoft Technology Licensing, Llc Knowledge-based entity detection and disambiguation
US9449028B2 (en) 2011-12-30 2016-09-20 Microsoft Technology Licensing, Llc Dynamic definitive image service
US9864817B2 (en) 2012-01-28 2018-01-09 Microsoft Technology Licensing, Llc Determination of relationships between collections of disparate media types
US9026540B1 (en) * 2012-01-31 2015-05-05 Google Inc. Systems and methods for information match scoring
US10013426B2 (en) 2012-06-14 2018-07-03 International Business Machines Corporation Deduplicating similar image objects in a document
US8719236B2 (en) * 2012-08-23 2014-05-06 Microsoft Corporation Selecting candidate rows for deduplication
KR101259957B1 (ko) 2012-11-16 2013-05-02 (주)엔써즈 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
US8935271B2 (en) * 2012-12-21 2015-01-13 Facebook, Inc. Extract operator
US20140181070A1 (en) * 2012-12-21 2014-06-26 Microsoft Corporation People searches using images
US9361538B2 (en) * 2012-12-26 2016-06-07 Microsoft Technology Licensing, Llc Real time photometric edge description
CN103106272B (zh) * 2013-02-06 2016-04-06 腾讯科技（深圳）有限公司 兴趣点信息获取方法及装置
US9544655B2 (en) * 2013-12-13 2017-01-10 Nant Holdings Ip, Llc Visual hash tags via trending recognition activities, systems and methods
FR3010606A1 (fr) * 2013-12-27 2015-03-13 Thomson Licensing Procede de synchronisation de metadonnees avec un document audiovisuel en utilisant des parties de trames et dispositif de production de telles metadonnees
JP6193136B2 (ja) * 2014-01-21 2017-09-06 東芝テック株式会社 画像情報処理装置及びプログラム
WO2015123601A2 (en) * 2014-02-13 2015-08-20 Nant Holdings Ip, Llc Global visual vocabulary, systems and methods
WO2015123646A1 (en) * 2014-02-14 2015-08-20 Nant Holdings Ip, Llc Edge-based recognition, systems and methods
US20150254280A1 (en) * 2014-03-06 2015-09-10 Nec Laboratories America, Inc. Hybrid Indexing with Grouplets
US10318543B1 (en) 2014-03-20 2019-06-11 Google Llc Obtaining and enhancing metadata for content items
US11314826B2 (en) 2014-05-23 2022-04-26 Samsung Electronics Co., Ltd. Method for searching and device thereof
KR20150135042A (ko) * 2014-05-23 2015-12-02 삼성전자주식회사 검색을 수행하는 방법 및 장치
TWI798912B (zh) * 2014-05-23 2023-04-11 南韓商三星電子股份有限公司 搜索方法、電子裝置及非暫時性電腦可讀記錄媒體
US9990433B2 (en) 2014-05-23 2018-06-05 Samsung Electronics Co., Ltd. Method for searching and device thereof
US20160048605A1 (en) * 2014-08-14 2016-02-18 International Business Machines Corporation Integrating image renditions and page layout
TWI571753B (zh) * 2014-11-07 2017-02-21 財團法人資訊工業策進會 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品
US9652543B2 (en) 2014-12-22 2017-05-16 Microsoft Technology Licensing, Llc Task-oriented presentation of auxiliary content to increase user interaction performance
US9454713B2 (en) * 2014-12-30 2016-09-27 Ebay Inc. Similar item detection
KR101572076B1 (ko) * 2015-04-14 2015-11-26 주식회사 디지워크 정보가 삽입된 이미지 생성 방법 및 이를 실행하는 이미지 생성 장치
US10628736B2 (en) 2015-09-24 2020-04-21 Huron Technologies International Inc. Systems and methods for barcode annotations for digital images
FR3041794B1 (fr) * 2015-09-30 2017-10-27 Commissariat Energie Atomique Procede et systeme de recherche d'images similaires quasi-independant de l'echelle de la collection d'images
US10162865B2 (en) * 2015-10-08 2018-12-25 Microsoft Technology Licensing, Llc Generating image tags
US10650046B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Many task computing with distributed file system
US10346476B2 (en) 2016-02-05 2019-07-09 Sas Institute Inc. Sketch entry and interpretation of graphical user interface design
US10650045B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Staged training of neural networks for improved time series prediction performance
US10642896B2 (en) 2016-02-05 2020-05-05 Sas Institute Inc. Handling of data sets during execution of task routines of multiple languages
US10795935B2 (en) 2016-02-05 2020-10-06 Sas Institute Inc. Automated generation of job flow definitions
US10296538B2 (en) * 2016-02-23 2019-05-21 Baidu Usa Llc Method for matching images with content based on representations of keywords associated with the content in response to a search query
CN107239203A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 一种图像管理方法和装置
US10289642B2 (en) * 2016-06-06 2019-05-14 Baidu Usa Llc Method and system for matching images with content using whitelists and blacklists in response to a search query
US10459970B2 (en) * 2016-06-07 2019-10-29 Baidu Usa Llc Method and system for evaluating and ranking images with content based on similarity scores in response to a search query
KR101796506B1 (ko) * 2016-07-20 2017-11-14 엔에이치엔엔터테인먼트 주식회사 기종 정보를 활용한 이미지 검색 결과 제공 방법 및 시스템
US11308154B2 (en) * 2016-08-17 2022-04-19 Baidu Usa Llc Method and system for dynamically overlay content provider information on images matched with content items in response to search queries
CN107038589B (zh) 2016-12-14 2019-02-22 阿里巴巴集团控股有限公司 一种实体信息验证方法及装置
KR101941693B1 (ko) 2017-05-31 2019-01-24 서강대학교산학협력단 내용 기반 이미지 검색방법 및 그에 따른 시스템
CN110019903A (zh) 2017-10-10 2019-07-16 阿里巴巴集团控股有限公司 图像处理引擎组件的生成方法、搜索方法及终端、系统
US11042772B2 (en) 2018-03-29 2021-06-22 Huron Technologies International Inc. Methods of generating an encoded representation of an image and systems of operating thereof
US10191921B1 (en) 2018-04-03 2019-01-29 Sas Institute Inc. System for expanding image search using attributes and associations
US10878037B2 (en) 2018-06-21 2020-12-29 Google Llc Digital supplement association and retrieval for visual search
WO2019245801A1 (en) * 2018-06-21 2019-12-26 Google Llc Digital supplement association and retrieval for visual search
CN110866137A (zh) * 2018-08-09 2020-03-06 中兴通讯股份有限公司 一种图像处理方法、装置及存储介质
US10839252B2 (en) 2018-09-12 2020-11-17 Honeywell International Inc. System and method for color invariant feature matching
US10652208B2 (en) * 2018-10-03 2020-05-12 Axonius Solutions Ltd. System and method for managing network connected devices
US11769582B2 (en) * 2018-11-05 2023-09-26 Huron Technologies International Inc. Systems and methods of managing medical images
US11080324B2 (en) * 2018-12-03 2021-08-03 Accenture Global Solutions Limited Text domain image retrieval
CN109635031A (zh) * 2018-12-19 2019-04-16 成都四方伟业软件股份有限公司 一种数据质量检测方法、装置、系统及存储介质
CN113892110A (zh) * 2019-03-28 2022-01-04 皇家飞利浦有限公司 基于图像的菜肴识别装置和方法
JP2020181332A (ja) * 2019-04-24 2020-11-05 株式会社Ｔｏｒｅｒｕ 高精度類似画像検索方法、プログラム及び高精度類似画像検索装置
US11610395B2 (en) 2020-11-24 2023-03-21 Huron Technologies International Inc. Systems and methods for generating encoded representations for multiple magnifications of image data
CN115374765B (zh) * 2022-10-27 2023-06-02 浪潮通信信息系统有限公司 一种基于自然语言处理的算力网络5g数据解析系统及方法
KR20240069399A (ko) 2022-11-11 2024-05-20 국립한국교통대학교산학협력단 객체 관계 특징을 고려하는 유사 이미지 검색 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030026476A1 (en) * 2001-03-26 2003-02-06 Hirotaka Shiiyama Scaled image generating apparatus and method, image feature calculating apparatus and method, computer programs therefor, and image data structure
US20070006345A1 (en) * 2004-06-30 2007-01-04 Ceres, Inc. Nucleotide sequences and corresponding polypeptides conferring modulated plant growth rate and biomass in plants
US20070077987A1 (en) * 2005-05-03 2007-04-05 Tangam Gaming Technology Inc. Gaming object recognition
US20080154798A1 (en) * 2006-12-22 2008-06-26 Yahoo! Inc. Dynamic Pricing Models for Digital Content

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579471A (en) 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JP3143532B2 (ja) 1992-11-30 2001-03-07 キヤノン株式会社 画像検索装置及び方法
US6173275B1 (en) 1993-09-20 2001-01-09 Hnc Software, Inc. Representation and retrieval of images using context vectors derived from image information elements
JPH10289240A (ja) 1997-04-14 1998-10-27 Canon Inc 画像処理装置及びその制御方法
US6253201B1 (en) 1998-06-23 2001-06-26 Philips Electronics North America Corporation Scalable solution for image retrieval
EP0990997A1 (en) 1998-09-29 2000-04-05 Eastman Kodak Company A method for controlling and managing redundancy in an image database by elimination of automatically detected exact duplicate and near duplicate images
US6445834B1 (en) 1998-10-19 2002-09-03 Sony Corporation Modular image query system
US6564263B1 (en) 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
US6594386B1 (en) * 1999-04-22 2003-07-15 Forouzan Golshani Method for computerized indexing and retrieval of digital images based on spatial color distribution
JP2002140332A (ja) 2000-11-02 2002-05-17 Nippon Telegr & Teleph Corp <Ntt> 特徴量重要度算出方法、それを用いたキーワード画像特徴量表現データベース作成及び画像データベース検索
US6751348B2 (en) 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images
US6922485B2 (en) 2001-12-06 2005-07-26 Nec Corporation Method of image segmentation for object-based image retrieval
US7035467B2 (en) 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
US7752185B1 (en) 2002-05-31 2010-07-06 Ebay Inc. System and method to perform data indexing in a transaction processing environment
KR100853388B1 (ko) 2003-06-27 2008-08-21 도쿄엘렉트론가부시키가이샤 클리닝 방법 및 기판 처리 방법
US7477841B2 (en) 2003-09-22 2009-01-13 Fujifilm Corporation Service provision system and automatic photography system
US7382897B2 (en) 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US9384619B2 (en) * 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US7403642B2 (en) 2005-04-21 2008-07-22 Microsoft Corporation Efficient propagation for face annotation
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
US7660468B2 (en) 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
JP4545641B2 (ja) 2005-06-01 2010-09-15 日本電信電話株式会社 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
US7457825B2 (en) * 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
US7801893B2 (en) 2005-09-30 2010-09-21 Iac Search & Media, Inc. Similarity detection and clustering of images
US7639890B2 (en) 2005-10-25 2009-12-29 General Electric Company Automatic significant image generation based on image characteristics
US7647331B2 (en) 2006-03-28 2010-01-12 Microsoft Corporation Detecting duplicate images using hash code grouping
US7860317B2 (en) 2006-04-04 2010-12-28 Microsoft Corporation Generating search results based on duplicate image detection
US7672508B2 (en) 2006-04-11 2010-03-02 Sony Corporation Image classification based on a mixture of elliptical color models
US7844591B1 (en) * 2006-10-12 2010-11-30 Adobe Systems Incorporated Method for displaying an image with search results
WO2008073505A1 (en) 2006-12-11 2008-06-19 Florida Atlantic University System and methods of image retrieval
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
JP5194818B2 (ja) 2008-01-16 2013-05-08 富士通株式会社 データ分類方法およびデータ処理装置
GB0807411D0 (en) 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
US8117183B2 (en) 2008-05-28 2012-02-14 Xerox Corporation Accurate content-based indexing and retrieval system
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8073818B2 (en) 2008-10-03 2011-12-06 Microsoft Corporation Co-location visual pattern mining for near-duplicate image retrieval
US20100226582A1 (en) 2009-03-03 2010-09-09 Jiebo Luo Assigning labels to images in a collection
US8433140B2 (en) 2009-11-02 2013-04-30 Microsoft Corporation Image metadata propagation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030026476A1 (en) * 2001-03-26 2003-02-06 Hirotaka Shiiyama Scaled image generating apparatus and method, image feature calculating apparatus and method, computer programs therefor, and image data structure
US20070006345A1 (en) * 2004-06-30 2007-01-04 Ceres, Inc. Nucleotide sequences and corresponding polypeptides conferring modulated plant growth rate and biomass in plants
US20070077987A1 (en) * 2005-05-03 2007-04-05 Tangam Gaming Technology Inc. Gaming object recognition
US20080154798A1 (en) * 2006-12-22 2008-06-26 Yahoo! Inc. Dynamic Pricing Models for Digital Content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649972B2 (en) 2017-10-30 2020-05-12 Coopervision International Holding Company, Lp Complex catalog match system
TWI715881B (zh) * 2017-10-30 2021-01-11 英商庫博光學國際有限公司 複雜目錄之配對系統

Also Published As

Publication number Publication date
WO2011054002A2 (en) 2011-05-05
JP5596792B2 (ja) 2014-09-24
TW201128421A (en) 2011-08-16
CN102576372B (zh) 2014-09-03
JP2013509660A (ja) 2013-03-14
EP2497041A2 (en) 2012-09-12
KR20120102616A (ko) 2012-09-18
KR101732754B1 (ko) 2017-05-04
WO2011054002A3 (en) 2011-10-20
US9710491B2 (en) 2017-07-18
US20110106782A1 (en) 2011-05-05
EP2497041A4 (en) 2016-10-05
CN102576372A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
TWI506459B (zh) 基於內容之圖像搜尋
US8433140B2 (en) Image metadata propagation
US8392484B2 (en) Shape based picture search
CA2814401C (en) Vector transformation for indexing, similarity search and classification
US8782077B1 (en) Query image search
US20170024384A1 (en) System and method for analyzing and searching imagery
US20120117051A1 (en) Multi-modal approach to search query input
WO2009133856A1 (ja) 物体認識用画像データベースの作成方法、処理装置および処理用プログラム
JP2014505313A (ja) 類似画像を識別する方法および装置
JP2005235175A (ja) コンテンツエンジンのためのｅｘｉｆに基づく画像の特徴セット
JP2004341940A (ja) 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
US9613283B2 (en) System and method for using an image to provide search results
Khokher et al. Content-based image retrieval: state-of-the-art and challenges
CN115129915A (zh) 重复图像检索方法、装置、设备及存储介质
Chen et al. Mobile visual search from dynamic image databases
Khokher et al. Image retrieval: A state of the art approach for CBIR
JP5312310B2 (ja) 検索装置及び方法及びプログラム
Havasi et al. Search in WikiImages using mobile phone
Aly et al. Bag of Words for Large scale object recognition

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees