JP5596792B2 - コンテンツベースの画像検索 - Google Patents

コンテンツベースの画像検索 Download PDF

Info

Publication number
JP5596792B2
JP5596792B2 JP2012537200A JP2012537200A JP5596792B2 JP 5596792 B2 JP5596792 B2 JP 5596792B2 JP 2012537200 A JP2012537200 A JP 2012537200A JP 2012537200 A JP2012537200 A JP 2012537200A JP 5596792 B2 JP5596792 B2 JP 5596792B2
Authority
JP
Japan
Prior art keywords
image
descriptor
identifier
search
identifiers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012537200A
Other languages
English (en)
Other versions
JP2013509660A5 (ja
JP2013509660A (ja
Inventor
ケー，キファ
リウ，ミン
リー，イー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2013509660A publication Critical patent/JP2013509660A/ja
Publication of JP2013509660A5 publication Critical patent/JP2013509660A5/ja
Application granted granted Critical
Publication of JP5596792B2 publication Critical patent/JP5596792B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、コンテンツベースの画像検索に関する。
[0001]インターネットを介して検索エンジンによるなどして情報の検索及び取得をするための様々な方法が当技術分野において知られている。そのような方法は、通常、テキストベースの検索を使用している。テキストベースの検索は、単語やフレーズなどの1つ又は複数のテキスト要素を含む検索クエリーを使用している。テキスト要素は、一致する又は意味的に類似するテキスト形式のコンテンツ、メタデータ、ファイル名、又は他のテキスト表現を含む、ウェブページ、文書、画像などを識別するために、インデックスや他のデータ構造と比較される。
[0002]テキストベースの検索についての既知の方法は、テキストベースのドキュメントについては比較的よく機能するが、画像ファイルやデータに適用することが困難である。テキストベースのクエリーを介して画像ファイルを検索するために、画像ファイルは、タイトル、ファイル名、又は他のメタデータやタグなどの1つ又は複数のテキスト要素に関連付ける必要がある。テキストベースの検索に用いる検索エンジン及びアルゴリズムは画像の内容に基づいて画像ファイルを検索することはできないので、画像に関連付けられるデータのみに基づいて検索結果の画像を識別することに制限される。さらに、このような検索エンジンは画像を含む検索クエリーに基づいて検索を実行することはできない。
[0003]画像のコンテンツベースの検索のための方法は、視覚的に似た画像を識別するために画像の内容についての１つ又は複数の分析を利用して開発されてきた。しかし、これらの方法は、面倒であり、検索が実行可能になる前に画像を特徴づけるためにユーザーからの大量の入力を必要とする場合がある。さらに、このような方法は非効率的であり、例えば、数十億の画像をすばやく検索して、識別し、ユーザーに検索結果の画像を提供する必要がある大規模なものへとうまく拡大しない。
[0004]本発明の実施例は、この概要ではなく、特許請求の範囲によって基底される。したがって、本発明の様々な態様の高レベルの概要が、本開示の概要を提供し、以下の詳細な説明の項においてさらに記載される概念のうちの選択されたものを導入するために、ここに提供される。この概要は、特許請求の主題の重要な特徴や不可欠な特徴を特定するようには意図されず、特許請求の主題の範囲を決定するために単独で補助として使用されるようにも意図されない。
[0005]本発明の実施例は、一般に、コンテンツベースの画像検索に関する。画像の内容が分析され、検索結果を識別するために使用される。画像を含み得る検索クエリーが受信される。画像は、その中の関心のある点を識別するために処理される。関心のある点の１つ又は複数について記述子が決定され、各々が、記述子の識別子にマッピングされる。検索は、検索要素として記述子の識別子を使用して検索インデックスを介して行われる。検索インデックスは、多くのインデックス付き（indexed）画像の記述子の識別子が格納され、各インデックス付き画像の記述子の識別子の間で位置識別子インジケーターによって分離される、フラットインデックス位置空間（flat index location space）に基づいて逆索引（inverted index）を使用する。少なくとも所定の数の一致する記述子の識別子を含む候補画像は、インデックス付き画像から識別される。候補画像はランク付けされ、検索クエリーに応答して提供される。１つ又は複数のテキストの単語又はテキストベースの検索はまた、画像の内容に基づいて候補画像を識別するため及び／又は１つもしくは複数のテキストベースの検索クエリーを提供するために含まれてもよい。
[0006]本発明の例示的な実施例は、添付の図面を参照して以下に詳細に説明される。
[0007]本発明の実施例での使用に適した例示的なコンピューティング装置を示すブロック図である。 [0008]本発明の実施例での使用に適した例示的なネットワーク環境を示すブロック図である。 [0009]本発明の実施例によるコンテンツベースの画像検索のためのシステムを示すブロック図である。 [0010]本発明の実施例による、コンテンツベースの画像検索のために画像の内容の表現を生成する方法を示すフロー図である。 [0011]本発明の実施例による、図４に示すコンテンツベースの画像検索のために画像の内容の表現を生成する方法をさらに示すフロー図である。 [0012]本発明の実施例による、記述子識別子にインデックスを付ける方法を示すフロー図である。 [0013]本発明の実施例による画像を検索する方法を示すフロー図である。 [0014]本発明の実施例による、コンテンツベースの候補画像及びテキストベースの検索結果を提供する方法を示すフロー図である。 [0015]本発明の実施例による、テキストベースの検索クエリーに応答してコンテンツベースの候補画像を提供する方法を示すフロー図である。 [0016]本発明の実施例による、検索クエリーとして受信した画像についてコンテンツベースの候補画像を提供する方法を示すフロー図である。 [0017]本発明の実施例による、コンテンツベースの画像クエリーを実行する方法を示すフロー図である。 [0018]本発明の実施例による、画像中の複数の特徴点（関心のある点、interest points）を示すグラフィック画像の線を引いた表現である。 [0019]本発明の実施例による、画像中の特徴点の周りの領域を示すグラフィック画像の線を引いた表現である。 [0020]本発明の実施例による、図１３の画像から決定されたパッチの組についての線を引いた表現である。 [0021]本発明の実施例による、図１４のパッチの組から決定される記述子ヒストグラムの組の表現である。 [0022]本発明の実施例での使用に適した量子化テーブルの表現である。 [0023]本発明の実施例による、有料の検索結果をアルゴリズム的な画像ベースの検索結果と関連付ける方法を示すフロー図である。
[0024]本発明の実施例の主題は、法定要件を満たすために、本明細書においては特異性をもって記載される。しかし、記載自体は、必ずしも特許請求の範囲を制限することを意図されていない。むしろ、特許請求の主題は、他の現在又は将来の技術とともに、本明細書に記載されるものとは異なるステップ又は同様のステップの組み合わせを含むように他の方法で具体化されてもよい。用語は、個々のステップの順序が明示的に記載されていない限り又はそのように記載されている場合を除き、本明細書に開示された様々なステップ間でのいかなる特定の順序を示すようにも解釈されるべきではない。
[0025]本発明の実施例は、コンテンツベースの（内容に基づいた、content-based）画像検索を提供するための方法、システム、及びコンピューター読み取り可能な媒体を含む。コンテンツベースの画像検索は、視覚的に類似する画像について検索を実行するために、画像の実際の内容を分析し、使用する。画像の内容は、画像から導出することができる、色、テクスチャー、シェーディング、形状、又は他の特徴もしくは情報のうちの1つ又は複数を含むことができる。コンテンツベースの画像検索はまた、当技術分野で知られているような、コンテンツベースの画像検索（ＣＢＩＲ）、画像コンテンツによるクエリー（ＱＢＩＣ）、又はコンテンツベースの視覚的な情報検索（ＣＢＶＩＲ）として説明することができる。後述するように、いくつかの実施例において、画像及びその内容に関する追加のテキストベースの情報が、コンテンツベースの検索に情報を与え且つ当該コンテンツベースの検索と並行して追加のテキストベースの検索を実行するために、様々なソースから取得することができる。
[0026]ある実施例において、画像を検索するためのコンピューターにより実施される方法が提供される。検索クエリーが受信される。コンピューティングデバイスは、検索クエリーに基づいて、第１の記述子識別子（記述子の識別子、descriptor identifier）を識別する。第１の記述子識別子は、画像内の特徴点（関心のある点、interest point）を記述する記述子に対応する。インデックス付き画像は、第１の記述子識別子を当該インデックス付き画像の各々に関連付けられる第２の記述子識別子と比較することにより、検索される。インデックスを付けられた1つ又は複数の画像は当該比較に基づいてランク付けられる。
[0027]別の実施例において、実行されると、コンテンツベースの画像検索のために画像の内容の表現を生成する方法を実行する、コンピューター読み取り可能な命令がその上に具体化されたコンピューター読み取り可能な媒体が提供される。画像が受信される。特徴点が画像中で識別される。特徴点は、オペレーターのアルゴリズムによって識別される画像中の点、領域、又はエリアである。それぞれの特徴点を含む画像の領域を含む画像パッチが、各特徴点について決定される。記述子はパッチごとに決定される。各記述子は記述子識別子にマッピングされる。当該マッピングに基づいて、画像が記述子識別子の組として表される。
[0028]別の実施例において、有料の検索結果をアルゴリズムの画像ベースの検索結果と関連付ける方法が記載される。検索クエリーが受信される。記述子識別子の第１の組を形成する記述子識別子が、検索クエリーに基づいて、コンピューティングデバイスによって識別される。各記述子識別子は、画像ベースの特徴点を記述する記述子に対応する。インデックスを付けられた画像は、検索結果を生成するために、記述子識別子の第１の組をインデックス付き画像に関連付けられる記述子識別子の第２の組と比較することにより、検索される。有料の検索リストは、有料の検索結果を生成するために、第１の組における記述子識別子のうちの少なくとも1つに関連付けられる。
[0029]最初に図１を参照すると、特に、本発明の実施例を実施するための例示的なコンピューティングデバイスが示され、コンピューティングデバイス１００として一般的に指定される。コンピューティングデバイス１００は、適切なコンピューティングデバイスの一例にすぎず、本発明の実施例の使用又は機能の範囲についていかなる限定を示唆するものでもない。コンピューティングデバイス１００は、図示されるコンポーネントの任意の１つ又は組み合わせに関連するいかなる依存関係も要件も有するものとして解釈されるべきではない。
[0030]本発明の実施例は、パーソナルデータアシスタント又はハンドヘルドデバイスなどのコンピューター又は他のマシンによって実行される、プログラムモジュールなどのコンピューター実行可能命令を含むコンピューターコード又はマシン使用可能な命令の一般的なコンテキストにおいて説明することができる。一般に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含むプログラムモジュールは、特定のタスクを実行し又は特定の抽象データ型を実施するコードを指す。本発明の実施例は、ハンドヘルド機器、民生用電子機器、汎用コンピューター、より専門的なコンピューティングデバイスなどを含む、様々なシステム構成で実施することができる、本発明の実施例はまた、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境において実施することができる。
[0031]図１を参照すると、コンピューティングデバイス１００は、直接的又は間接的に次のデバイスを結合するバス１１０を含む：メモリー１１２、1つ又は複数のプロセッサー１１４、1つ又は複数の提示コンポーネント１１６、入出力ポート１１８、入出力コンポーネント１２０、及び例示的な電源１２２。バス１１０は、1つ又は複数のバス（アドレスバス、データバス、又はそれらの組み合わせなど）であり得るものを表す。図１の様々なブロックは明瞭さのために線で示されているが、実際には、様々なコンポーネントの線引きはそれほど明確ではなく、例えると、より正確には線はグレーであり曖昧なものである。例えば、表示装置としての提示コンポーネントをＩ／Ｏコンポーネントであると考えてもよい。また、プロセッサーはメモリーを有する。そのようなことは技術の本質であることが理解され、図１の図が本発明の1つ又は複数の実施例に関連して使用できる例示的なコンピューティングデバイスの単なる例示であることを改めて述べたい。「ワークステーション」、「サーバー」、「ラップトップ」、「ハンドヘルドデバイス」などのカテゴリーは、すべてが図１の範囲内で考慮され、「コンピューティングデバイス」に言及するので、このようなカテゴリー間では区別がなされない。
[0032]コンピューティングデバイス１００は、通常、様々なコンピューター読み取り可能な媒体を含む。限定ではなく例として、コンピューター読み取り可能な媒体は、ランダムアクセスメモリー（ＲＡＭ）、読み取り専用メモリー（ＲＯＭ）、電子的に消去可能なプログラマブル読み取り専用メモリー（ＥＥＰＲＯＭ）、フラッシュメモリーもしくは他のメモリー技術、コンパクトディスク読み取り専用メモリー（ＣＤ−ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）又は他の光学的もしくはホログラフィー媒体、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、又は所望の情報を符号化するために使用することができ、コンピューティングデバイス１００によってアクセスすることができる、任意の他の媒体を含み得る。
[0033]メモリー１１２は、揮発性及び／又は不揮発性メモリーの形式のコンピューター記憶媒体を含む。メモリー１１２は、取り外し可能であってもよく、取り外し不能であってもよく、又はそれらの組み合わせであってもよい。例示的なハードウェアデバイスは、固体メモリー、ハードディスクドライブ、光ディスクドライブなどを含む。コンピューティングデバイス１００は、メモリー１１２又はＩ／Ｏコンポーネント１２０などの様々なエンティティからデータを読み取る１つ又は複数のプロセッサーを含む。提示コンポーネント１１６は、ユーザー又は他のデバイスに対してデータ表示を提示する。例示的な提示コンポーネント１１６は、表示装置、スピーカー、印刷コンポーネント、振動成分などを含む。
[0034]Ｉ／Ｏポート１１８は、コンピューティングデバイス１００が、一部が内蔵のものであってもよいＩ／Ｏコンポーネント１２０を含む他のデバイスに論理的に結合されることを可能にする。例示的なコンポーネントは、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナー、プリンター、ワイヤレスデバイスなどを含む。
[0035]さらに図２を参照すると、本発明の実施例での使用に適した例示的なネットワーク環境２００を示すブロック図が示される。環境２００は、本発明の実施例において使用することができ、様々な構成で任意の数のコンポーネントを含み得る環境の1つの例にすぎない。本明細書において提供される環境２００の説明は、例示を目的としたものであり、本発明の実施例を実施することができる環境の構成を限定するようには意図されていない。
[0036]環境２００は、ネットワーク２０２、クエリー入力装置２０４、及び検索エンジンサーバー２０６を含む。ネットワーク２０２は、限定ではなく、例えば、インターネット、イントラネット、プライベートローカルネットワーク及びパブリックローカルネットワーク、並びにワイヤレスデータネットワーク又は電話ネットワークなどの、任意のコンピューターネットワークを含む。クエリー入力装置２０４は、検索クエリーを提供することのできる、コンピューティングデバイス１００などの、任意のコンピューティングデバイスである。たとえば、クエリー入力装置２０４は、とりわけ、パーソナルコンピューター、ラップトップ、サーバーコンピューター、携帯電話もしくは無線デバイス、パーソナルデジタルアシスタント（ＰＤＡ）、又はデジタルカメラであってもよい。実施例において、数千、数百万のクエリー入力装置２０４などの複数のクエリー入力装置２０４は、ネットワーク２０２に接続される。
[0037]検索エンジンサーバー２０６は、コンピューティングデバイス１００などの任意のコンピューティングデバイスを含み、コンテンツベースの検索エンジンを提供するための機能の少なくとも一部を提供する。実施例において、検索エンジンサーバー２０６群は、ユーザー集団に検索エンジンの動作を提供するために必要な機能を共有し又は分散している。
[0038]画像処理サーバー２０８は環境２００においても提供される。画像処理サーバー２０８は、コンピューティングデバイス１００などの任意のコンピューティングデバイスを含み、以下により十分に説明するように、画像の内容を分析し、表現し、インデックス付けするように構成される。画像処理サーバー２０８は、画像処理サーバー２０８のメモリーに格納され、又は画像処理サーバー２０８によってリモートアクセスできる量子化テーブル２１０を含む。量子化テーブル２１０は、後述するように、検索すること及びインデックスを付けることを可能にするために、画像のコンテンツのマッピングを通知するために画像処理サーバー２０８によって使用される。
[0039]検索エンジンサーバー２０６及び画像処理サーバー２０８は、画像ストア２１２及びインデックス２１４に通信可能に結合される。画像ストア２１２及びインデックス２１４は、ハードディスクドライブ、フラッシュメモリー、光メモリー装置等の任意の利用可能なコンピューター記憶装置、又はそれらの複数を含む。画像ストア２１２は、本発明の実施例のコンテンツベースの検索に応答して提供することができる画像ファイルのためのデータストレージを提供する。インデックス２１４は、画像ストア２１２に格納される画像のコンテンツベースの検索のための検索インデックスを提供する。インデックス２１４は、任意のインデックスデータ構造やフォーマットを利用し、好ましくは逆索引フォーマットを使用してもよい。
[0040]逆索引は、データ構造におけるコンテンツの位置を示すマッピングを提供する。たとえば、特定の単語について文書を検索するとき、当該単語の位置を見つけるために文書を検索するのではなく、文書内の当該単語の位置を特定するような逆索引によって、当該単語が見つけられる。
[0041]実施例において、検索エンジンサーバー２０６、画像処理サーバー２０８、画像ストア２１２、及びインデックス２１４のうちの１つ又は複数は、単一のコンピューティングデバイスに統合されるか、又は、ネットワーク２０２を横断することなくデバイス間の直接的な通信を可能にするように、直接的に通信可能に結合される。
[0042]図３を参照すると、本発明の実施例によるコンテンツベースの画像検索のためのシステム３００が記載されている。システム３００は、図２に関して上述した、検索エンジンサーバー２０６、画像処理サーバー２０８、量子化テーブル２１０は、画像ストア２１２及びインデックス２１４などの、1つ又は複数のコンピューティングデバイスやコンポーネントに具体化することができ、これらにわたって分散することができる。システム３００は、画像処理コンポーネント３０２は、インデックス作成コンポーネント３０４、検索コンポーネント３０６、ランク付けコンポーネント３０８、及び提示コンポーネント３１０を含む。別の実施例において、システム３００は、追加のコンポーネント、サブコンポーネント、又はコンポーネント３０２から３１０のうちの１つ又は複数の組み合わせを含むことができる。
[0043]画像処理コンポーネント３０２は、コンテンツベースの画像検索のために画像を受信して処理する。画像は、検索クエリーとして又は画像ストア２１２などのデータストアへの画像のアップロードとして、クエリー入力装置２０４などのコンピューティングデバイスを介して、ユーザーから受信される。画像はまた、ネットワーク２０２と通信する1つ又は複数の他のコンピューティングデバイスから受信され又は収集されてもよい。
[0044]画像処理コンポーネント３０２によって受信される画像は、限定ではなく、例えば、ジェイペグ（ＪＰＥＧ）、ビットマップ（ＢＭＰ）、タグ付け画像ファイルフォーマット（ＴＩＦＦ）、及び生画像フォーマット（ＲＡＷ）を含むラスターフォーマット、コンピューターグラフィックスメタファイル（ＣＧＭ）及びスケーラブル・ベクトル・グラフィックス（ＳＶＧ）を含むベクトルフォーマット、並びに、ポータブルネットワークグラフィックスステレオ（ＰＮＳ）、ＪＰＥＧステレオ（ＪＰＳ）又はマルチ画像オブジェクト（ＭＰＯ）、他のフォーマットを含む三次元フォーマットなどの、任意の電子画像フォーマットである。画像サイズ、カラースキーム、解像度、品質、及び画像のファイルサイズなどの特性は、限定されるものではない。画像の内容も限定されるものではなく、例えば、写真、芸術品、図面、スキャンされる媒体などを含んでもよい。また、実施例において、画像は、ビデオファイル、オーディオ・ビデオ、又は他のマルチメディアファイルを含んでもよい。
[0045]次に、図１２−１６をさらに参照すると、システム３００による例示的な画像１２００の処理が本発明の実施例に従って説明される。実施例において、受信した画像１２００を処理するために、画像処理コンポーネント３０２は演算アルゴリズムを使用する。演算アルゴリズムは画像１２００中の複数の特徴点１２０２を識別する。演算アルゴリズムは、画像１２００の特徴点１２０２を識別するために使用可能である利用可能な任意のアルゴリズムを含む。実施例において、演算アルゴリズムは、当技術分野で知られているようなガウシアンアルゴリズム又はラプラシアンアルゴリズムの違いである。実施例において、演算アルゴリズムは２次元の画像１２００を分析するように構成される。さらに、別の実施例において、画像１２００がカラー画像である場合、画像１２００はグレースケールに変換される。
[0046]図１２に示すように、特徴点１２０２は画像１２００中の任意の点を含むほか、図１３に示すような、領域１３０２、エリア、画素群、又は画像１２００中の特徴を含む。明確さ及び簡潔さのために、特徴点１２０２及び領域１３０２はこれ以降特徴点１２０２と呼ばれるが、特徴点への言及は、特徴点１２０２及び領域１３０２の両方を含むように意図される。実施例において、特徴点１２０２は、安定していて画像１２００において特徴のある又は識別可能な特徴を含む、画像１２００中のエリアに位置している。たとえば、特徴点１２０２は、１２０２ａ及び１３０２ａにおいて示されるような特徴の間でコントラストの高いはっきりした特徴を有する画像の領域に位置している。逆に、特徴点は、１２０４によって示されるような一定の色又はグレースケールの領域などの、明確な特徴やコントラストがない領域には配置されない。
[0047]演算アルゴリズムは、例えば、何千もの特徴点などの、画像１２００中の任意の数の特徴点１２０２を識別する。特徴点１２０２は、画像１２００中の点１２０２と領域１３０２の組み合わせであってもよいし、その数は、画像１２００のサイズに基づいていてもよい。画像処理コンポーネント３０２は、特徴点１２０２の各々についてメトリック（metric）を計算し、特徴点１２０２をメトリックに従ってランク付けする。メトリックは、特徴点１２０２における画像１２００の信号強度や信号対雑音比の測定値を含んでもよい。画像処理コンポーネント３０２は、ランク付けに基づくさらなる処理のために特徴点１２０２のサブセット（部分集合、subset）を選択する。実施例において、最も高い信号対雑音比を有する１００個の最も顕著な特徴点１２０２が選択されるが、任意の所望の数の特徴点１２０２を選択することができる。別の実施例においては、サブセットが選択されず、すべての特徴点がさらなる処理に含まれる。
[0048]図１４に示すように、画像処理コンポーネント３０２は、選択された特徴点１２０２に対応するパッチ１４００の組を識別する。各パッチ１４０２は、単一の選択された特徴点１２０２に対応する。パッチ１４０２は、それぞれの特徴点１２０２を含む画像１２００のエリアを含む。画像１２００から取られるべき各パッチ１４０２のサイズは、選択された特徴点１２０２の各々についてのオペレーターアルゴリズムからの出力に基づいて決定される。パッチ１４０２の各々は異なるサイズであってもよく、パッチ１４０２に含まれるべき画像１２００のエリアは重複してもよい。また、パッチ１４０２の形状は、正方形、長方形、三角形、円形、楕円形などを含む任意の所望の形状である。図示される実施例において、パッチ１４０２は形状が正方形である。
[0049]画像処理コンポーネント３０２は、図１４に示すように、パッチ１４０２を正規化（標準化、正常化、normalize）する。実施例において、パッチ１４０２は、パッチ１４０２の各々をＸピクセル×Ｘピクセルの正方形のパッチなどの同じサイズに適合するように正規化される。パッチ１４０２を同じ大きさに正規化することは、他の動作の中で、パッチ１４０２のサイズ及び／又は解像度を増加又は減少させることを含み得る。パッチ１４０２はまた、コントラスト強調、染み取り（despeckling）、鮮明化を適用すること、及びグレースケールを適用することなどの、1つ又は複数の他の動作を介して正規化することができる。
[0050]画像処理コンポーネント３０２はまた、各正規化されたパッチの記述子を決定する。記述子は、パッチ１４０２のピクセルの統計値を計算することによって決定される。実施例において、記述子は、パッチ１４０２のピクセルのグレースケール勾配の統計値に基づいて決定される。記述子は、図１５に示す記述子１５０２などの、各パッチのヒストグラムとして、視覚的に表すことができる（図１４のパッチ１４０２は図１５の同様に配置された記述子１５０２に対応する）。記述子はまた、限定ではなく、例えば、画素のグレースケール統計データであるＴ２Ｓ２ ３６次元のベクトルなどの多次元ベクトルとして記述されてもよい。
[0051]図１６に示すように、量子化テーブル１６００は、各記述子１５０２の記述子識別子１６０２を識別するために画像処理コンポーネント３０２によって使用される。量子化テーブル１６００は、記述子識別子１６０２に記述子１５０２をマッピングするのに使用可能な任意のテーブル、インデックス、チャート、又は他のデータ構造を含む。量子化テーブル１６００の様々な形式は当技術分野で既知であり、本発明の実施例において使用可能である。実施例において、量子化テーブル１６００は、画像ごとに記述子１５０２を識別するために、最初に、例えば１００万個の画像などの大量の画像を処理することによって生成される。そこから識別される記述子１５０２は、次いで、類似の又は統計的に類似した値を持つ記述子１５０２のクラスター又はグループを識別するために、統計的に分析される。たとえば、Ｔ２Ｓ２ベクトル中の変数の値は類似している。各クラスターの代表的な記述子１６０４が選択され、対応する記述子識別子１６０２と同様に、量子化テーブル１６００内の位置を割り当てられる。記述子識別子１６０２は、対応する代表的な記述子１６０４を識別するためにシステム３００によって使用可能である任意の所望のインジケーターを含む。たとえば、記述子識別子１６０２は、図１６に示すような整数値、又は文字数字値、数値、記号、及びテキストを含む。
[0052]画像処理コンポーネント３０２は、各記述子１５０２について、量子化テーブル１６００において最も密接に一致する代表的な記述子１６０４を識別する。たとえば、図１５に示す記述子１５０２ａは、図１６の量子化テーブル１６００の代表的な記述子１６０４ａと最も密接に対応する。記述子１５０２の各々について記述子識別子１６０２は、それによって、画像１２００に関連付けられる（例えば、記述子１５０２ａが記述子識別子１６０２「１」に対応する）。画像１２００に関連付けられる記述子識別子１６０２は互いに異なってもよく、又は、記述子識別子１６０２の1つ又は複数は、複数回、画像１２００と関連付けられてもよい（例えば、画像１２００は、「１，２，３，４」又は「１，２，２，３」の記述子識別子を有してもよい）。実施例において、画像の変化などの特徴を考慮するために、記述子１５０２は、記述子１５０２と最も近く一致する複数の代表的な記述子１６０４及びそれらについてのそれぞれの記述子識別子１６０２を識別することによって、複数の記述子識別子１６０２にマッピングされてもよい。このように、画像処理コンポーネント３０２は、識別された特徴点１２０２の組に基づいて、画像１２００の内容を表す記述子識別子１６０２の組を提供する。
[0053]続いて図３を参照すると、インデックス作成（indexing）コンポーネント３０４は、記述子識別子１６０２にインデックスを付け、インデックス２１４などのインデックスをメモリーに格納する。実施例において、インデックス作成コンポーネント３０４は、インデックスをベースにするフラットなインデックス位置空間を使用する。フラットインデックス位置空間（flat index location space）（以下、「フラットインデックス」）は、記述子識別子１６０２が連続してリストされる一次元のリスト又は配列である。位置識別子はまた、フラットインデックス内のそれぞれの記述子識別子１６０２の位置を示すフラットインデックスにリストされる各記述子識別子１６０２に提供される。画像１２００の記述子識別子１６０２は、連続してリストされ、フラットインデックスにおいて一緒にグループ化される。
[0054]ドキュメント終了（end-of-document）識別子が、画像１２００の記述子識別子１６０２に連続して続いてインデックス作成コンポーネント３０４によって提供される。ドキュメント終了識別子はまた、位置識別子とともに提供され、特定の画像１２００に関連付けられる記述子識別子１６０２のグループの終わりを示すために使用可能である。このように、複数の画像１２００の記述子識別子１６０２がフラットインデックスにおいてインデックスを付けられる場合、各画像１２００の記述子識別子１６０２は、一緒にグループ化され、その間に配置されたドキュメント終了識別子によって別の画像１２００の記述子識別子１６０２から分離される。
[0055]たとえば、５つの画像（例えば、画像１２００）とそれぞれの記述子識別子（例えば、記述子識別子１６０２）の例示的な組が、表１に記載されている。表1の記述子識別子はアルファベット文字であるが、記述子識別子は、上述したように、任意の数、記号、又は文字を使用することができる。表２は、フラットインデックスにおける各記述子識別子の位置を示す５つの画像のフラットインデックス表現のほか、各画像の記述子識別子の間のドキュメント終了識別子を示す。
[0056]実施例において、インデックス作成コンポーネント３０４はまた、フラットインデックスに基づいて、インデックス２１４などの逆索引を決定する。逆索引は、上述のようなフラットインデックスにリストされる及び/又は量子化テーブル１６００に含まれるすべての記述子識別子のリストを提供するデータ構造を含む。記述子識別子の各々がフラットインデックスにおいて生じる位置が、記述子識別子に関して示される。たとえば、表３は、本発明の実施例による、表２のフラットインデックスの逆索引のリストを示す。ドキュメント終了（ 「ＥＤＯＣ」"）の位置もまた逆索引で示される。
[0057]このように、インデックス作成コンポーネント３０４は、記述子識別子に基づいて複数の画像にインデックスを付けることができる。実施例において、インデックス作成コンポーネント３０４は、画像ストア２１２などの1つ又は複数のデータストアに格納されている数十億の画像についてインデックスを提供する。図２に関して前述したように、インデックス作成コンポーネント３０４によって提供された、インデックス２１４などのインデックスは、コンピューターのメモリーに格納される。また、インデックス作成コンポーネント３０４は、1つ又は複数の画像データストアについて複数のインデックスを生成してもよい。
[0058]続いて図３を参照すると、検索コンポーネント３０６は、効率的なコンテンツベースの検索を提供する。実施例において、検索コンポーネント３０６は、効率的な部分一致（partial-matching）コンテンツベースの画像検索を実行するために、逆索引を使用する。システム３００は、ユーザー又は他のコンピューティングデバイスから検索クエリーを受信する。実施例において、検索クエリーは、画像１２００などの画像であってもよい。システム３００は、上述の画像処理コンポーネント３０２を介して、画像１２００を表す記述子識別子１６０２を識別する。検索コンポーネント３０６は、画像１２００の表現として識別される記述子識別子１６０２に基づいて、画像ストアに格納され且つ逆索引においてインデックスを付けられている画像について、効率的な部分一致検索を実行する。以降、検索は、明確さ及び簡潔さのために、単一のインデックス及び画像ストアに関して記載されるが、本発明の実施例の応用を単一のインデックス及び画像ストアに限定するようには意図されない。
[0059]部分一致検索を実行するために、インデックス付き画像（例えば、画像ストアに格納され、その記述子識別子が逆索引でインデックス付けられる画像）が候補画像（例えば、可能性のある検索結果）であると考える必要のある、一致する記述子識別子の最小の数（「Ｍ」）が識別される。最小の数Ｍは、候補画像として識別されることが望まれる候補画像の数などの要因に基づいて予め決定される。実施例において、最小の数Ｍは、管理者又はユーザーによって予め決定される。
[0060]検索コンポーネント３０６は、最小値を有する画像１２００の記述子識別子１６０２の各々について位置識別子を識別するために、逆索引を検討する。最小値は、それらの値のうちのＭ個の最小のものを識別するために比較される。検索コンポーネント３０６はまた、Ｍ個の最小値の最も高い位置識別子値の値よりも大きな最小値を有するドキュメント終了位置識別子（「ＥＤＯＣ−ｅｎｄ］）を決定する。ＥＤＯＣ終了（ＥＤＯＣ−ｅｎｄ）位置識別子は、フラットインデックス位置空間において記述子識別子がＥＤＯＣ終了位置識別子の直前にくるインデックス付き画像を識別する。さらに、インデックス付き画像の下限位置（ドキュメントの開始、「start-of-document」）（例えば、インデックス付き画像についてリストされた最初の記述子識別子の位置）は、以前のＥＤＯＣ位置識別子値を識別し、次いで1つの値を挙げることによって、決定することができる。このように、検索コンポーネント３０６は、Ｍ個の最小値が、ドキュメント開始位置識別子値を含む、ドキュメント開始の位置識別子値とＥＤＯＣ終了位置識別子値との間で生じる必要があることを確認する。Ｍ個の最小値が識別した位置識別子値の範囲内にあると検索コンポーネント３０６が決定する場合、それぞれのインデックス付き画像は候補画像として返される。
[0061]Ｍ個の最小値が、ドキュメント開始及びＥＤＯＣ終了位置識別子の値の範囲内にないと検索コンポーネント３０６が決定する場合、Ｍ個の最小値の次の組を識別するために処理の第２の反復が完了する。たとえば、最も低い位置識別子値を有する記述子識別子１６０２についての位置識別子が、次のインデックス付き位置識別子値へインクリメントされ、Ｍ個の最小値が再評価されてもよい。逆索引が十分に検討されるまで処理が繰り返される。
[0062]上記の表１−３に示す例示的な画像について続けると、検索コンポーネント３０６の処理の例示的な反復が記載されている。例のために、クエリー記述子識別子、ａ、ｄ、ｈ、ｇ、ｎによって表される画像を含む検索クエリーが受信されると仮定する。また、インデックス付き画像を候補画像として返すために２つの記述子識別子がインデックス付き画像と一致しなければならないと仮定する（例えば、Ｍ＝２）。表３に示す逆索引に基づいて、検索クエリー画像を表すクエリー記述子識別子についての位置識別子の最小値は次のとおりである。
[0063]したがって、検索コンポーネント３０６は、最も低い２つの位置識別子の値が１と３であり、Ｍ個の最小の位置識別子値のうちの最大の位置識別子値より大きいＥＤＯＣの最小の位置識別子値が４であること（ ＥＤＯＣ終了＝４）を決定する。さらに、ドキュメント開始位置識別子の値は1である。したがって、値１と３は、ドキュメント開始及びＥＤＯＣ終了（ドキュメント開始位置識別子値を含む）の間にあり、位置１−３における記述子識別子によって表されるインデックス付き画像、画像1が、候補画像として返される。
[0064]この例を続けると、画像１が一旦返されると、ＥＤＯＣ終了位置識別子の値は、その次の位置識別子の値、７（例えば、現在のＥＤＯＣ終了＝７）へと移動される。現在のドキュメント開始は、ＥＤＯＣ終了の以前の値より１大きく設定される（ドキュメント開始＝４＋１＝５）。記述子識別子ａ及びdの位置識別子の値は、それぞれ、ドキュメント開始位置識別子の値を下回らない次の位置識別子値にインクリメントされる、というのは、それらは候補画像として返されたインデックス付き画像に含まれていたためである。また、この例には示されていないが、ドキュメント開始位置識別子の値よりも小さな位置識別子値を有する任意のクエリー記述子識別子が仮にある存在するのならば、それらのクエリー記述子識別子の位置識別子の値はまた、ドキュメント開始位置識別子値を下回らない次の値にインクリメントされる。記述子識別子ｎの位置識別子値は、その値がドキュメント開始位置識別子値よりも大きかったので、インクリメントされない。したがって、上記の表３に示す最小の位置識別子値の次の組は、次のとおりである。
[0065]検索コンポーネント３０６は、ＥＤＯＣ位置識別子の値未満である２つの位置識別子値が存在しないことを確認して、ＥＤＯＣ位置識別子の値を、逆索引にリストされている最小の２つの位置識別子値より大きい、逆索引にリストされている次の最小値へとインクリメントする；この例では、ＥＤＯＣ位置識別子値は１６へとインクリメントされる（ＥＤＯＣ終了＝１６）。ドキュメント開始は１１であると特定される（例えば、逆索引において次のより小さいＥＤＯＣの値よりも大きい、ある位置）。検索コンポーネント３０６は、２つの位置識別子値、１３及び１２が、ドキュメント開始位置識別子値とＥＤＯＣ終了位置識別子値（ドキュメント開始位置識別子の値を含む）との間にあり、位置１１−１５にリストされる記述子識別子によって表されるインデックス付き画像、画像４が、候補画像として返されることを決定する。全体の逆索引が検討されるまで、検索コンポーネント３０６はこの処理を続行する。
[0066]検索コンポーネント３０６の処理は、少なくともＭ個の一致する記述子識別子を含まない画像をスキップできるようにドキュメント終了位置識別子を使用することにより、逆索引を効率的に検索する。たとえば、表１−４に関して上述した例では、画像２と３についての記述子識別子がスキップされた。表４ａに示す最初の反復に続いて、次の可能性のある一致インデックス付き画像は画像４として識別された。このように、画像２と３の記述子識別子を検索コンポーネント３０６が考慮する必要はない。上記の部分一致検索の利点は、大規模画像の記憶及び取り出しに適用される本発明の実施例においてはるかに大きなスケールで実現される。たとえば、検索コンポーネント３０６が数十億の画像を検索することを課せられ、一致する記述子識別子の最小の数が、各インデックス付き画像について格納される１００個の記述子識別子のうちの１０個である場合、最小数の一致する記述子識別子を含まないインデックス付き画像スキップするか又は迅速に特定する能力は、検索の効率を大きく向上させる。
[0067]別の実施例において、一致する記述子識別子の最小の数Ｍは、検索処理中に調整される。検索クエリーに応答して提供されるべき検索結果の画像の総数又は最大数（「Ｋ」）が識別される。一致する記述子識別子の最小の数Ｍは、０を含む任意の所定の値に設定することができる。検索コンポーネント３０６はインデックスを検討して、上述のように、検索画像と一致する少なくともＭ個の記述子識別子を有する少なくともＫ個のインデックス付き画像を識別する。
[0068]Ｋ個の識別されたインデックス付き画像の各々についての一致する記述子識別子の合計数が追跡される。Ｋ個の識別されたインデックス付き画像の各々についての一致する記述子識別子の総数は、Ｋ個の識別されたインデックス付き画像についての一致する記述子識別子の最小の総数（「Ｌ」）を決定するために比較される。別の実施例において、Ｋ個の識別されたインデックス付き画像の各々の個々のインデックス付き画像の値を追跡して比較するのではなく、Ｋ個の識別されたインデックス付き画像のグループについて、一致する記述子識別子の最小の合計数Ｌが追跡される。Ｍの値は、以前のＭの値と等しいか又はより大きいＬに等しく設定される。
[0069]さらに、少なくともＭ個の一致する記述子識別子（ここでＭはＬに等しい）を有する追加のインデックス付き画像が検索コンポーネント３０６によって識別される場合、追加のインデックス付き画像は、Ｋ個の識別されたインデックス付き画像のグループに追加され、最も少ない数の一致する記述子識別子を有するグループ内のインデックス付き画像はグループから削除される。Ｌの値はグループについて再計算され、Ｍは新たな値に等しく設定される。このように、Ｍの値は、最上位のＫ個の識別されたインデックス付き画像において見つかった一致する記述子識別子の数に基づいて、検索処理中に増加させられる。したがって、検索処理が進むにつれて、より多くのインデックス付き画像がＭの増加する値に基づいてスキップすることができるので、検索処理の効率が増加する。
[0070]たとえば、Ｍが最初に１０に等しく設定され、検索コンポーネント３０６は、少なくとも１０個の一致する記述子識別子を有する、インデックスにおける最初のＫ個のインデックス付き画像を識別すると仮定する。検索コンポーネント３０６はまた、Ｋ個の識別されたインデックス付き画像のすべてが実際に少なくとも３２個の一致する記述子識別子を有すると決定する。したがって、Ｌは３２に等しく、Ｍは次いで３２に等しく設定される。検索コンポーネント３０６が検索処理を続けるとき、インデックス付きの画像は、ここでは、少なくとも３２個の一致する記述子識別子を有する必要がある。検索処理は続行し、上述のように、グループについての一致する記述子識別子の最小の総数Ｌが増加するにつれて、Ｍの値は継続的に増加されてもよい。
[0071]検索コンポーネント３０６は、逆索引を検討するのを支援するために任意の利用可能な動作及びデータ処理機能を処理することができる。実施例において、検索コンポーネント３０６は、ヒープなどの動的なメモリー割り当てを使用し、検索の処理を支援するためにそれに関連する動作を使用する。さらに、インデックス付き画像のための大量のメモリーストレージに関連付けられる複数の逆索引を検索するために１つ又は複数の検索コンポーネント３０６を用いることができる。
[0072]別の実施例において、検索コンポーネント３０６は、画像検索クエリーとともに、テキスト検索要素、タグ、及び／又はメタデータを受信する。検索コンポーネント３０６は、追加のテキストベースの検索を実行するため及び／又はコンテンツベースの検索を知らせるために、任意の利用可能なでテキスト検索要素を使用する。
[0073]別の実施例において、テキストワードなどの1つ又は複数のテキスト検索の要素は、1つ又は複数の記述子識別子に関連付けられる。このように、検索コンポーネント３０６が、画像を含み、テキスト検索要素に関連付けられる１つ又は複数の記述子識別子により表される検索クエリーを受信するとき、検索コンポーネント３０６は、テキスト検索要素に基づいて追加のテキストベースの検索を実行する。代替的に又はそれに加えて、1つ又は複数の記述子識別子に関連付けられるテキスト検索要素が検索コンポーネント３０６によって受信されると、検索コンポーネントは、テキスト検索要素に関連付けられる記述子識別子を識別し、関連した記述子識別子を含む画像についてのコンテンツベースの検索を提供する。
[0074]さらに、実施例において、検索クエリーとともに受信され又は記述子識別子に関連付けられる、メタデータ、タグ及び他の情報を含むテキスト検索要素は、広告、バナー広告、有料の検索結果などの有料リストを選択して提示するために使用される。テキスト検索の要素は、有料リストを直接的に識別するために、又は、検索クエリーに応答した提示のために1つ又は複数の有料リストを選択するよう使用可能である、検索クエリーのカテゴリー、コンテキスト、主題、又は別の特性を識別するために、使用されてもよい。同様に、検索クエリーとともに受信され又はそこから識別される記述子識別子は、有料リストを直接識別するため、又は、検索クエリーに応答して有料リストを識別するために使用可能なカテゴリーなどを識別するために、使用されてもよい。
[0075]候補画像として返されるインデックス付き画像は次にランク付けコンポーネント３０８によって処理される。任意の利用可能な方法又は特性及びそれらの組み合わせは、候補画像をランク付けするために使用することができる。さらに、候補画像のランク付けリストを切り捨てることを含む任意の所望の動作を利用することもできる。実施例において、候補画像は、候補画像の記述子識別子に一致する検索画像１２００の記述子識別子１６０２の合計数に基づいてランク付けられる。候補画像のランク付けリストは、次いで、一致する記述子識別子の数が最も少なく、したがって視覚的に検索画像１２００に類似している可能性が最も低い候補画像を除去するために切り捨てられる。
[0076]実施例において、ランク付けコンポーネント３０８は、用語の頻度のランク付け並びに候補画像及び／又はその各々の記述子識別子の1つ又は複数の幾何学的な照合と変換を実行する。変換は、限定でなく、例えば、相似変換やアフィン変換などの２次元又は３次元の変換を含んでもよい。変換は、候補画像群を再度ランク付けし、ソートし、又は狭めるために、ランク付けコンポーネント３０８が、候補画像と記述子識別子をさらに分析することを可能にする。
[0077]実施例において、検索の画像１２００と候補画像の画像内容に加えて、ランク付けコンポーネントは、候補画像のランク付けを支援又は通知するために、検索画像１２００又は1つ又は複数の候補画像に関連付けられる1つ又は複数のデータ要素を識別する。たとえば、検索画像１２００は、画像１２００又は1つもしくは複数のテキスト検索要素に関連付けられる1つ又は複数のメタデータ要素とともに受信されてもよい。このようなデータ要素と検索要素は、検索を実行する際に、検索の内容及びユーザーの意図や関心のコンテキストに関してランク付けコンポーネント３０８にさらに通知する。代替的に、又はそれに加えて、1つ又は複数の候補画像は、候補画像をランク付けするのを支援するためにランク付けコンポーネント３０８によって使用可能である、メタデータ又はそれに関連する他のデータ要素を有する。
[0078]ランク付けされた候補画像は、提示コンポーネント３１０によって構成され、配置される。提示コンポーネント３１０は、ユーザーに対してユーザーインターフェースを介して検索結果画像として候補画像を提示し、任意の関連する有料の検索結果をその提示に組み込んでもよい。実施例において、検索結果の画像は、検索結果ウェブページを介して、クエリー入力装置２０４などのコンピューティングデバイスにおいてユーザーに提示される。その後、ユーザーは、1つ又は複数の検索結果画像を選択して画像を表示することができ、また、当技術において利用可能な様々な他のユーザーインタラクションの中で、検索結果の画像が公開されているウェブページへと案内されてもよい。さらに、追加のテキストベースの検索が、テキスト検索要素、メタデータ、又はその他の方法に基づいて行われる場合には、提示コンポーネントはまた、テキストベースの検索結果及び有料のリストをユーザーにを提示してもよい。
[0079]図４を参照すると、本発明の実施例による、コンテンツベースの画像検索のために画像の内容の表現を生成する方法４００を示すフロー図が記載されている。４０２において、画像１２００などの画像が受信される。４０４において示されるように、特徴点１２０２などの特徴点は、オペレーターアルゴリズムの使用を介して画像において識別される。
[0080]上記で以前に説明し４０６に示すように、画像パッチが１つ又は複数の特徴点について決定される。画像パッチは、それぞれの特徴点を含む画像の領域を含み、画像から決定される他のパッチに重なってもよい。４０８に示されるように、記述子がパッチごとに決定される。記述子は、パッチに含まれる画像の画素の特性を記述する。たとえば、記述子は、パッチ内の画素のグレースケールもしくはカラーグラデーションを記述し、又はピクセルの統計分析を記述する。
[0081]４１０において、記述子は、それぞれ、量子化テーブルの中で最も密接に類似した代表的な記述子に対応する記述子識別子にマッピングされる。４１２に示されるように、画像は、記述子識別子の組として表される。このように、画像の内容は、視覚的に類似している画像を識別するために、コンピューティングデバイスによって、同様に定量化された他の画像の内容と比較することができるような方法で定量化される。
[0082]ここで図５を参照すると、本発明の実施例による、図４に示すコンテンツベースの画像検索のための画像の内容の表現を生成する方法４００をさらに示すフロー図が記載されている。上記のように及び４０４に示されるように、画像の特徴点の識別に続いて、特徴点は、４０４ａに示すように、メトリックに基づいてランク付けられる。特徴点は、限定ではなく、例えば、特徴点における又は特徴点のまわりの、画像の信号強度又は信号対雑音比などの、任意の利用可能なメトリックについてランク付けされてもよい。４０４ｂに示すように、特徴点のサブセットがランキングに基づいて選択される。サブセットは、所望の数の最も目立った又は最も高くランク付けされた特徴点のみを含んでもよいし、又はすべての特徴点を含んでもよい。別の実施例において、サブセットのランク付け及び選択は、特徴点について実行されるのではなく、むしろ、後述する以降の手順で決定されるパッチ又は記述子について実行される。
[0083]前述のように、４０６ａにおいて、画像パッチはサブセット内の各特徴点について決定される。画像パッチは、４０６ｂに示すように、すべての画像パッチが同じサイズを持つように正規化される。すべての画像パッチが２５ピクセル×２５ピクセルなどの等しい高さと幅の画素寸法を有するように、画像パッチは解像度を増加させられたり減少させられたりしてもよい。４０８ａにおいて、それぞれのパッチを表すベクトルが決定される。ベクトルは、パッチ内のピクセルのグレースケールグラデーションを表す、３６次元を有するＴ２Ｓ２ベクトルなどの多次元ベクトルである。
[0084]次に図６に移ると、本発明の実施例による、記述子識別子にインデックスを付ける方法６００を示すフロー図が記載されている。６０２において、画像１２００などの画像の記述子識別子は、フラットインデックス位置空間においてインデックスを付けられる。記述子識別子は、一緒にグループ化されてフラットインデックス位置空間に連続してリストされ、６０４に示されるように、ドキュメント終了識別子が後に続く。記述子識別子及びドキュメント終了識別子の各々には、フラットインデックス位置空間におけるそれぞれの位置を示す位置識別子が提供される。実施例において、記述子識別子は実際には位置識別子を提供されず、むしろ、それぞれの位置がフラットインデックス位置空間内で単に追跡されるか又は識別可能である。６０６において、逆索引が、記述子識別子及びフラットインデックス位置空間においてインデックスを付けられたそれぞれの位置識別子に基づいて生成される。逆索引は、フラットインデックス位置空間内のそれぞれの位置の指示と共に記述子識別子のリストを提供する。上記のように、ドキュメント終了識別子もまた逆索引に含まれる。
[0085]図７を参照すると、本発明の実施例による、コンテンツベースの候補画像を提供する方法７００を示すフロー図が記載されている。７０２において、検索クエリーが受信される。１つの実施例において、検索クエリーは、検索クエリーとして画像を含む。実施例において、検索クエリーは、画像に加えて又はその代わりに、テキスト要素を含む。別の実施例において、画像及び／又は検索クエリーの意図やコンテキストを記述するメタデータなどの1つ又は複数のデータ要素が、クエリーとともに受信される。さらなる実施例において、検索クエリーは、テキストベースの検索クエリーである。
[0086]７０４に示すように、記述子識別子の組が検索クエリーに対して識別される。前述したように、記述子識別子は、検索クエリーが画像を含む場合、画像の内容から識別される。実施例において、当該組は、１００個の記述子識別子を含む。このような実施例においては、１００個の記述子識別子を使用することによって画像の内容のコンパクトな表現が提供される一方、検索から価値のある結果を生成するのに十分なコンテンツ情報が提供される。実施例において、組に含まれる記述子識別子の数は、検索を実行するために検索エンジンによって使用可能な検索要素の最大数に対応する。別の実施例において、テキストベースの検索クエリーを受信する場合、記述子識別子は、記述子識別子へのテキストベースの検索クエリーのテキスト要素のマッピングから識別される。マッピングは、所与のテキスト要素に関連付けられる1つ又は複数の記述子識別子を示す、テーブル、又は他のデータ構造を提供することによって完了してもよい。
[0087]７０６において、記述子識別子の組は、候補画像が検索クエリーの画像に一致する記述子識別の少なくとも所定の数を含むインデックス付けされた画像であるような、候補画像を識別するために検索を実行するのに利用される。実施例において、検索を実行することにより、検索クエリーの記述子識別子の組がインデックス付き画像の各々に関連付けられる記述子識別子の組と比較される。別の実施例において、当該組は１００個の記述子識別子を含み、要求される一致する記述子識別子の数は１０であると判断される。少なくとも１０個の一致する記述子識別子を有するインデックスを付けられた画像を識別することにより、所望のレベルの精度を維持しながら、十分な数の一致する候補画像が提供される。
[0088]７０８に示されるように、候補画像は、一致する記述子識別子の合計数に基づいてランク付けられる。実施例において、候補画像は、等しい多重度（multiplicity）のデータベースについて複数の逆索引を使用して実行される複数の検索によって識別される。複数の検索の結果は、次いで、単一のコンピューティングデバイスに報告され、上記のように、一致する記述子識別子の合計数に基づいて予めランク付けされる。結果は、その後、単語頻度逆文書頻度（term frequency-inverse document frequency、ＴＦ−ＩＤＦ）を使用して、又は1つ又は複数の変換、解析、画像の特性などに基づいて、再ランク付けされる。
[0089]ここで図８を参照すると、本発明の実施例による、テキストベースの検索クエリーに応答してコンテンツベースの候補画像を提供する方法８００を示すフロー図が記載されている。８０２において、単語やフレーズなどの1つ又は複数のテキスト検索要素を含むテキストベースの検索クエリーが受信される。８０４において、テキスト検索要素のうちの１つ又は複数が、テキスト検索要素に関連付けられる１つ又は複数の記述子識別子にマッピングされる。
[0090]1つ又は複数の記述子識別子とテキスト検索要素との間の関連付けは、事前に定義され、そのような関連付けが受信したテキストベースの検索クエリーとともに存在する場合に識別するために検索エンジンによって使用可能であるテーブル又は他のデータ構造に格納することができる。たとえば、記述子識別子の組は、常に、又はほとんど常にサッカーボールの画像中に生じ得る。例えば「サッカー」などのサッカーボールに関連するテキストワードは、記述子識別子のその組に関連付けられてもよい。したがって、それらの単語のいずれかが検索クエリーにおいて受信された場合、８０６に示すように、記述子識別子の関連付けられる組を識別することができ、コンテンツベースの検索がそれとともに実行される。８０８において、候補者画像は検索を介して識別され、それによって、テキストベースの検索クエリーの結果としての画像についてコンテンツベースの検索を提供する。８１０において、候補画像がランク付けされる。ランク付けは、候補画像と検索クエリーの記述子識別子との間の一致する記述子識別子の合計数に基づくランク付けを含む、任意の所望の特性やアルゴリズムに基づいてもよい。
[0091]別の実施例において、テキスト検索結果は、検索クエリーが画像である場合、検索クエリーに応答して提供される。上記のように、クエリー画像に視覚的に類似した画像が、コンテンツベースの検索によって識別される。1つ又は複数の視覚的に類似した画像に関連付けられるテキスト要素、メタデータ、及び他の情報が集められる。次いで、集められたデータの少なくとも一部は、検索クエリーに応答してテキスト検索結果として提供される。たとえば、ユーザーは、テレビなどの製品の画像を自分の携帯電話にキャプチャーし、当該画像に基づいて検索クエリーを実行してもよい。その後、製品の名前とモデル番号、小売業者において見られるテレビの価格、仕様などの集められた情報を画像に基づいて表示するユーザーインターフェースが、ユーザーに提示される。集められた情報は、百科事典的又は類似の情報フォーマットで提示されてもよいし、又は、様々なウェブページへのリンクを備える標準的な検索結果ページフォーマットなどを利用してもよい。
[0092]図９を参照すると、本発明の実施例による、検索クエリーとして受信した画像についての候補画像を提供する方法１０００を示すフロー図が記載される。９０２において、画像は検索クエリーとして受信される。９０４において、画像は前述のように記述子識別子の組として表される。９０６に示されるように、部分一致のコンテンツベースの検索が、検索要素として記述子識別子の各々を使用して、及び反転検索インデックスを使用して、実行される。９０８において、候補画像は、検索クエリー画像と候補画像との間の一致する記述子識別子の数に基づいて、検索から識別される。９１０に示されるように、識別された候補画像は、検索クエリー画像との一致する記述子識別子の合計数に少なくとも基づいてランク付けされる。
[0093]図１０を参照すると、本発明の実施例による、コンテンツベースの候補画像及びテキストベースの検索結果を提供する方法１０００を示すフロー図が記載される。１００２において、画像クエリーは画像の内容を表す記述子識別子の組とともに受信される。１００４において、検索クエリーの記述子識別子とともに少なくとも所定の数の一致する記述子識別子を含む候補画像が識別される。１００６に示されるように、候補画像は、一致する記述子識別子の合計数に基づいてランク付けされる。
[0094]１００８において、候補画像に関連付けられるキーワードが識別される。キーワードは、１つ又は複数の候補画像について集められたデータ要素から識別される。データ要素は、候補画像が公開されているウェブページから、候補画像のファイル名から、候補画像に関連付けられるメタデータから、収集され集められる。１０１０において、テキストベースの検索は、1つ又は複数の識別されたキーワードに基づいて実行される。１０１２に示されるように、候補画像は、1つ又は複数のテキストベースの検索結果とともに、検索結果の画像として提示される。検索結果の画像とテキストベースの検索結果は、例えば検索結果のウェブページを介するなど、当技術分野において知られた任意の方法で提示される。テキストベースの検索結果は、限定ではなく、例えば、ウェブページへのリンク、画像などを含む。当該分野で知られた任意の形式の非コンテンツベースの検索結果を含む。
[0095]図１１を参照すると、本発明の実施例による、コンテンツベースの画像クエリーを実行する方法１１００を示すフロー図が記載される。１１０２において、検索クエリーが受信される。１１０４において示され前述されたように、記述子識別子の組が検索クエリーから識別される。１１０６において、最も低い位置識別子の値を有する所定の数の記述子識別子を識別するために、インデックスの一部が検討される。実施例において、インデックスは逆索引である。１１０８において、最も低い位置識別子の値を有する所定の数の記述子識別子の最大の位置識別子の値に続くドキュメント終了位置識別子が識別される。１１１０において、ドキュメント開始位置の値が、ステップ１１０８で識別されたドキュメント終了位置識別子に関連付けられるインデックス付き画像について識別される。実施例において、ドキュメント開始位置識別子の値は、ステップ１１０８で識別されたドキュメント終了位置識別子の直前のドキュメント終了位置識別子の位置識別子値より大きい位置に等しい。
[0096]１１１２において、最も低い位置識別子値を有する所定の数の記述子識別子に含まれる記述子識別子のすべての位置識別子値がドキュメント開始位置識別子の値以下である場合、ドキュメント開始位置識別子の値より小さい位置識別子値を有する１つ又は複数の記述子識別子の位置識別子の値は、ドキュメント開始位置識別子値より大きい、それぞれの記述子識別子についての次の最低の値へとインクリメントされる。次に、処理は１１０６に戻って繰り返される。
[0097]１１１４において、すべての識別された位置識別子値がドキュメント開始位置識別子の値以上である場合、関連付けられる画像は候補画像として返される。所定の数の一致する記述子識別子を含み得るより多くのインデックス付き画像がインデックス内に存在する場合には、処理は１１０６に戻って繰り返される。１１１６において、候補画像は、候補画像と検索クエリーとの間の一致する記述子識別子の合計数に基づいてランク付けされる。候補画像の数は、その後、ランク付けに基づいて低減されてもよく、１１１８に示されるように、残りの候補画像は、1つ又は複数の幾何学的検証、変換、又は他の比較に基づいて、再ランク付けされる。次いで、１つ又は複数の再ランク付けされた候補画像は、ウェブページ又は当技術分野で知られている他のユーザーインターフェースを介してユーザーに検索結果画像として提示されてもよい。
[0098]別の実施例において、クエリー画像Ｑに基づく部分一致コンテンツベースの画像検索は、以下の擬似コードに従う検索アルゴリズムを使用する。
While Current (EDOC) < MAX_LOC {
Init: num_match = 0;
EndDoc = Current(EDOC);
StartDoc = Previous(EDOC) + 1;
H.Clear(); / /ヒープＨをクリア,
各記述子識別子について、Ｑにおけるｗ
Seek(w, StartDoc);
If loc(w) < EndDoc // 現在のドキュメントは記述子識別子ｗを含む
num_match <- num_match + 1;
NextDoc = EndDoc + 1;
else
NextDoc = loc(w);
If H.Size < M
H.Add(NextDoc);
else if H.Top > NextDoc
H.Pop(); //ヒープから先頭要素を削除する。
H.Add(NextDoc);
If num_match >= M
return current document;
else
Seek(EDOC, H.Top);
}
[0099]本発明の実施例は、上述のように実行される検索クエリーに応答して返される検索結果画像及び情報の関連性及び値を高めるために利用し適合させることができる。そのようないくつかの例示的な実施例が以下に記載される。
[00100]１つの実施例において、コンテンツベースの検索は、クエリー画像について、インデックスに対して実行される。クエリー画像は、インデックスからのサンプル画像、又はユーザーから受信した新たな画像である。検索から返される１つ又は複数の検索結果画像に関連付けられるメタデータ、タグ、及び他の追加のデータが集められる。集められたデータから、意味のある関連するタグ又はメタデータが構築又は識別され、クエリー画像に関連付けられる。このように、クエリー画像及び／又は検索結果画像のうちの１つに基づく将来のコンテンツベースの検索は、より多くの情報が与えられ、関連付けられるメタデータ及びタグを使用して、より関連性の高い検索結果を提供することができる。さらに、追加のテキストベースの検索を、追加の検索結果を提供するために、クエリー画像について実行することができる。
[00101]別の実施例において、同一又は類似のドメイン、ドキュメント、又は主題に属しているインデックス付き画像のグループが識別される。識別されたインデックス付き画像は、当該画像の内容又は当該画像が属するドメインを記述する1つ又は複数のデータ要素を含む。コンテンツベースの検索は、視覚的に類似する検索結果画像を識別するために、グループ内の画像の各々について、インデックスに対して実行される。コンテンツ又はドメインを記述するデータ要素は、次いで、検索結果画像へ伝播されてもよい。このように、画像は、インデックスの将来の検索をさらに通知するために、主題、コンテンツタイプ、又はドメインに関連してもよい。たとえば、アダルトコンテンツを示す画像のグループは、インデックス内の視覚的に類似した検索結果の画像を識別するために使用することができる。その後、検索結果の画像はアダルトコンテンツとしてタグ付けすることができる。さらに、それらの画像が取得され又は公開されるウェブサイトやドメインは、後続のコンテンツベース及びテキストベースの検索を通知するために、アダルトコンテンツとして識別することができる。
[00102]別の実施例において、インデックス内の複製の又はほぼ複製の画像が、コンテンツベースの検索を介して識別される。重複した画像の各々に関連付けられるキーワードが識別され、集められる。集められたキーワードは、その後、将来の画像ベースの検索又はテキストベースの検索において使用可能となるように、重複した画像の各々に関連付けられる。
[00103]本発明の別の実施例において、コンテンツベースの検索は、ユーザーに対する有料リストや広告の提示に利用することができる。図１７は、本発明の実施例による、有料の検索結果をアルゴリズムの画像ベースの検索結果と関連付けるそのような方法１７００を示す。１７０２において、検索クエリーが受信される。検索クエリーは、追加のテキストデータ、メタデータ、タグなどを有する画像を含んでもよいし、又はテキストベースの検索クエリーであってもよい。１７０４に示されるように、記述子識別子の組が検索クエリーに基づいて識別される。１７０６に示されるように、インデックスを付けられた画像が、上記のように記述子識別子の組をインデックス付き画像に関連付けられる記述子識別子の組と比較することによって、検索される。
[00104]１７０８において、少なくとも１つの有料の検索結果を生成するために、有料検索のリストが1つ又は複数の記述子識別子に関連付けられる。例えば、上記実施例で説明したように、画像又は画像のグループについてメタデータ、タグ、キーワード、ドメイン、及び他の情報を集めることにより、関連する有料の検索リストは、集められたデータに基づいて識別することができ、クエリー検索結果とともに有料の検索結果としてユーザーに提示することができる。別の実施例において、1つ又は複数の有料検索リストは記述子識別子のグループに関連付けられる。このように、1つ又は複数の有料リストは、記述子識別子のグループに関連付けられる検索クエリーの受信に応答してユーザーに提示される。代替的に、広告は、１つ又は複数の記述子識別子にさらに関連付けられるキーワードに関連付けられてもよい。したがって、1つ又は複数の記述子識別子を示す検索クエリーが受信される場合、キーワードが記述子識別子に基づいて決定され、広告がキーワードに基づいて識別される。
[00105]また、コンテンツベースの検索は、有料のリストや広告の目的のために、画像及び画像コンテンツの販売やオークションで使用することができる。広告の権利は、画像の記述識別子の組に基づいて識別することができる特定の画像や一般的な画像の対象について、販売することができ、競売にかけることができ、割り当てることができる。広告の権利は、特定の画像又は特定の画像もしくは画像のグループに関連付けられる記述子識別子の組について、販売することができる。
[00106]示された多くの異なる構成の様々なコンポーネントのほか、示されていないコンポーネントが、以下の特許請求の範囲から逸脱することなく可能である。本技術の実施例は、限定的なものではなく例示的なものであることを意図して記載された。本明細書を読んだ後及び読むことにより、代替的な実施例が読者にとって明らかとなろう。前述のものを実施する代替的な手段は、以下の特許請求の範囲から逸脱することなく達成することができる。特定の機能やサブコンビネーションが有用であり、他の特徴及びサブコンビネーションを参照することなく使用することができ、特許請求の範囲において考慮される。

Claims (13)

  1. 複数の画像を検索するコンピューターにより実施される方法であって、
    画像を含む検索クエリーを受信するステップと、
    画像処理コンポーネントが、前記検索クエリーに基づいて複数の第１の記述子識別子を識別するステップであって、前記第１の記述子識別子の各々は、前記画像内のそれぞれの関心のある点を含む前記画像の画素のサブセットを含む前記画像のそれぞれの部分を記述するそれぞれの記述子に対応する、ステップと、
    検索コンポーネントが、前記第１の記述子識別子の１つ又は複数を、画像ストアに格納された複数のインデックス付き画像の各々に関連付けられる１つ又は複数の第２の記述子識別子と比較することにより、前記複数のインデックス付き画像を検索するステップと、
    前記検索コンポーネントが、前記第１の記述子識別子の１つ又は複数と一致するしきい値の数の記述子識別子を各々が有する、１つ又は複数のインデックス付き画像を識別するステップと、
    ランク付けコンポーネントが、前記比較に基づいて前記１つ又は複数のインデックス付き画像をランク付けするステップと
    を含み、
    １つ又は複数の候補画像が検索エンジンの逆索引から識別され、前記逆索引は、前記複数のインデックス付き画像の各々について前記第２の記述子識別子が各インデックス付き画像の前記第２の記述子識別子に続くドキュメント終了識別子とともに連続してリストされる、メモリーに格納されたフラットインデックス位置空間に基づき、各第２の記述子識別子及びドキュメント終了識別子は、前記フラットインデックス位置空間におけるそれぞれの位置を示す位置識別子を含む方法。
  2. 前記検索クエリーは１つ又は複数のテキストの単語を含む請求項１に記載のコンピューターにより実施される方法。
  3. 前記少なくとも１つの第１の記述子識別子を複数のインデックス付き画像の各々に関連付けられる１つ又は複数の第２の記述子識別子と比較することにより前記複数のインデックス付き画像を検索するステップは、
    最低値を備えた位置識別子を有する所定の数の第２の記述子識別子を識別するために前記インデックスを検討するステップと、
    前記最低の位置識別子値を有する前記所定の数の第２の記述子識別子の最大の位置識別子値に続くドキュメント終了位置識別子を識別するステップと、
    前記ドキュメント終了位置識別子によって識別される候補インデックス付き画像についてドキュメント開始位置の値を識別するステップと、
    前記最低の位置識別子値を有するすべての前記所定の数の記述子識別子の位置識別子が前記ドキュメント開始位置の値以上である場合に、前記候補インデックス付き画像を候補画像として返すステップ、又は
    前記最低の位置識別子値を有する前記所定の数の第２の記述子識別子のうちの１つ又は複数についての位置識別子が前記ドキュメント開始位置の値未満である場合に、前記所定の数の第２の記述子識別子のうちの１つ又は複数のうちの少なくとも１つについてのドキュメント開始位置の値より小さい次の最低の位置識別子値を識別するステップと
    をさらに含む請求項１に記載のコンピューターにより実施される方法。
  4. 前記所定の数の第２の記述子識別子は、候補画像のグループにおける候補画像についての一致する第２の記述子識別子の最小の総数に基づいて増加させられる請求項３に記載のコンピューターにより実施される方法。
  5. 前記検索クエリーはテキストの単語を含み、前記少なくとも１つの第１の記述子識別子を識別するステップは、前記テキストの単語に関連付けられる１つ又は複数の記述子識別子を識別するステップを含む請求項１に記載のコンピューターにより実施される方法。
  6. 実行されるとコンテンツベースの画像検索のための方法を実行するコンピューター読み取り可能な命令がその上に具体化された１つ又は複数のコンピューター読み取り可能な記憶媒体であって、前記方法は、
    画像を含む検索クエリーを受信するステップと、
    画像処理コンポーネントが、前記画像内の複数の関心のある点を識別するステップであって、各々の関心のある点は、前記複数の関心のある点を識別するために前記画像を分析するように動作するオペレーターアルゴリズムによって識別される前記画像内の点、領域、又はエリアのうちの１つを含む、ステップと、
    画像処理コンポーネントが、前記複数の関心のある点に関連付けられる１つ又は複数のメトリックに基づいてさらなる処理のために関心のある点のサブセットを選択するステップと、
    画像処理コンポーネントが、それぞれの関心のある点を含む前記画像の画素のサブセットを含む領域を含む、前記関心のある点のサブセット内の各々の関心のある点について画像パッチを決定するステップと、
    画像処理コンポーネントが、各パッチについて記述子を決定するステップと、
    画像処理コンポーネントが、各記述子を複数の第１の記述子識別子の各々にマッピングするステップと、
    画像処理コンポーネントが、前記マッピングに基づいて前記画像を前記複数の第１の記述子識別子の組として表すステップと、
    検索コンポーネントが、前記第１の記述子識別子の１つ又は複数を、画像ストアに格納された複数のインデックス付き画像の各々に関連付けられる１つ又は複数の第２の記述子識別子と比較することにより、前記複数のインデックス付き画像を検索するステップと、
    前記検索コンポーネントが、前記第１の記述子識別子の１つ又は複数と一致するしきい値の数の記述子識別子を各々が有する、１つ又は複数のインデックス付き画像を識別するステップと、
    ランク付けコンポーネントが、前記比較に基づいて前記１つ又は複数のインデックス付き画像をランク付けするステップと
    を含み、
    １つ又は複数の候補画像が検索エンジンの逆索引から識別され、前記逆索引は、前記複数のインデックス付き画像の各々について前記第２の記述子識別子が各インデックス付き画像の前記第２の記述子識別子に続くドキュメント終了識別子とともに連続してリストされる、メモリーに格納されたフラットインデックス位置空間に基づき、各第２の記述子識別子及びドキュメント終了識別子は、前記フラットインデックス位置空間におけるそれぞれの位置を示す位置識別子を含むコンピューター読み取り可能な記憶媒体。
  7. 前記画像の記述子識別子にインデックスを付けるステップをさらに含む請求項６に記載のコンピューター読み取り可能な媒体。
  8. すべての前記パッチを同じサイズで提供するために、前記関心のある点の各々について前記画像パッチを正規化するステップをさらに含む請求項６に記載のコンピューター読み取り可能な媒体。
  9. 前記パッチが前記関心のある点を含み、前記パッチのサイズが前記オペレーターアルゴリズムの出力から決定される請求項６に記載のコンピューター読み取り可能な媒体。
  10. 前記各パッチについて記述子を決定するステップは、
    前記パッチに含まれる画素を表すベクトルを決定するステップをさらに含む請求項６に記載のコンピューター読み取り可能な媒体。
  11. 前記各記述子を複数の第１の記述子識別子の各々にマッピングするステップは、それぞれの記述子識別子に関連付けられる１つ又は複数の代表的な記述子を含む量子化テーブルを使用し、各記述子はそれが一致するかほぼ一致する１つ又は複数の代表的な記述子にマッピングされる請求項６に記載のコンピューター読み取り可能な媒体。
  12. １つ又は複数の前記第１の記述子識別子を１つ又は複数のテキストの単語にマッピングするステップをさらに含む請求項６に記載のコンピューター読み取り可能な媒体。
  13. 有料の検索結果をアルゴリズムの画像ベースの検索結果と関連付ける方法であって、
    検索クエリーを受信するステップと、
    画像処理コンポーネントが、前記検索クエリーに基づいて第１の組の記述子識別子を形成する複数の第１の記述子識別子を識別するステップであって、各記述子識別子は画像ベースの関心のある点を記述する記述子に対応する、ステップと、
    検索コンポーネントが、検索結果を生成するために、前記第１の組の記述子識別子を、画像ストアに格納された複数のインデックス付き画像に関連付けられる第２の組の記述子識別子と比較することにより、前記複数のインデックス付き画像を検索するステップであって、前記検索結果は、前記検索クエリーからの前記第１の組の記述子識別子からの記述子識別子と一致する各々の画像についてのある数の記述子識別子に基づいて選択される１つ又は複数の画像の組を含む、ステップと、
    少なくとも１つの有料の検索結果を生成するために、少なくとも１つの有料の検索リストを前記第１の組の中の記述子識別子のうちの少なくとも１つと関連付けるステップと
    を含み、
    １つ又は複数の候補画像が検索エンジンの逆索引から識別され、前記逆索引は、前記複数のインデックス付き画像の各々について前記第２の組の記述子識別子が各インデックス付き画像の前記第２の組の記述子識別子に続くドキュメント終了識別子とともに連続してリストされる、メモリーに格納されたフラットインデックス位置空間に基づき、前記第２の組の記述子識別子及びドキュメント終了識別子の各々は、前記フラットインデックス位置空間におけるそれぞれの位置を示す位置識別子を含む方法。
JP2012537200A 2009-11-02 2010-11-02 コンテンツベースの画像検索 Expired - Fee Related JP5596792B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/610,810 US9710491B2 (en) 2009-11-02 2009-11-02 Content-based image search
US12/610,810 2009-11-02
PCT/US2010/055165 WO2011054002A2 (en) 2009-11-02 2010-11-02 Content-based image search

Publications (3)

Publication Number Publication Date
JP2013509660A JP2013509660A (ja) 2013-03-14
JP2013509660A5 JP2013509660A5 (ja) 2013-11-07
JP5596792B2 true JP5596792B2 (ja) 2014-09-24

Family

ID=43923077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012537200A Expired - Fee Related JP5596792B2 (ja) 2009-11-02 2010-11-02 コンテンツベースの画像検索

Country Status (7)

Country Link
US (1) US9710491B2 (ja)
EP (1) EP2497041A4 (ja)
JP (1) JP5596792B2 (ja)
KR (1) KR101732754B1 (ja)
CN (1) CN102576372B (ja)
TW (1) TWI506459B (ja)
WO (1) WO2011054002A2 (ja)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US9286623B2 (en) 2005-10-26 2016-03-15 Cortica, Ltd. Method for determining an area within a multimedia content element over which an advertisement can be displayed
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US9747420B2 (en) 2005-10-26 2017-08-29 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US9235557B2 (en) 2005-10-26 2016-01-12 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US9330189B2 (en) 2005-10-26 2016-05-03 Cortica, Ltd. System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US9396435B2 (en) 2005-10-26 2016-07-19 Cortica, Ltd. System and method for identification of deviations from periodic behavior patterns in multimedia content
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US20100235356A1 (en) * 2009-03-10 2010-09-16 Microsoft Corporation Organization of spatial sensor data
JP5424798B2 (ja) * 2009-09-30 2014-02-26 株式会社日立ソリューションズ メタデータ設定方法及びメタデータ設定システム、並びにプログラム
KR101116434B1 (ko) 2010-04-14 2012-03-07 엔에이치엔(주) 이미지를 이용한 쿼리 제공 방법 및 시스템
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9043296B2 (en) 2010-07-30 2015-05-26 Microsoft Technology Licensing, Llc System of providing suggestions based on accessible and contextual information
US8774561B2 (en) 2010-09-01 2014-07-08 Apple Inc. Consolidating information relating to duplicate images
US11016938B2 (en) 2010-09-01 2021-05-25 Apple Inc. Consolidating information relating to duplicate images
US8875007B2 (en) * 2010-11-08 2014-10-28 Microsoft Corporation Creating and modifying an image wiki page
US8971641B2 (en) * 2010-12-16 2015-03-03 Microsoft Technology Licensing, Llc Spatial image index and associated updating functionality
US9678992B2 (en) * 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
CA2873819C (en) * 2011-06-03 2017-08-08 Gdial Inc. Systems and methods for authenticating and aiding in indexing of and searching for electronic files
US8606780B2 (en) * 2011-07-08 2013-12-10 Microsoft Corporation Image re-rank based on image annotations
JP5714452B2 (ja) * 2011-08-29 2015-05-07 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム
US9152700B2 (en) * 2011-09-30 2015-10-06 Google Inc. Applying query based image relevance models
US20150169740A1 (en) * 2011-11-21 2015-06-18 Google Inc. Similar image retrieval
CN103136228A (zh) * 2011-11-25 2013-06-05 阿里巴巴集团控股有限公司 一种图片搜索方法以及图片搜索装置
US9665643B2 (en) 2011-12-30 2017-05-30 Microsoft Technology Licensing, Llc Knowledge-based entity detection and disambiguation
US9449028B2 (en) 2011-12-30 2016-09-20 Microsoft Technology Licensing, Llc Dynamic definitive image service
US9864817B2 (en) 2012-01-28 2018-01-09 Microsoft Technology Licensing, Llc Determination of relationships between collections of disparate media types
US9026540B1 (en) * 2012-01-31 2015-05-05 Google Inc. Systems and methods for information match scoring
US10013426B2 (en) 2012-06-14 2018-07-03 International Business Machines Corporation Deduplicating similar image objects in a document
US8719236B2 (en) * 2012-08-23 2014-05-06 Microsoft Corporation Selecting candidate rows for deduplication
KR101259957B1 (ko) * 2012-11-16 2013-05-02 (주)엔써즈 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
US8935271B2 (en) 2012-12-21 2015-01-13 Facebook, Inc. Extract operator
US20140181070A1 (en) * 2012-12-21 2014-06-26 Microsoft Corporation People searches using images
US9361538B2 (en) * 2012-12-26 2016-06-07 Microsoft Technology Licensing, Llc Real time photometric edge description
CN103106272B (zh) * 2013-02-06 2016-04-06 腾讯科技（深圳）有限公司 兴趣点信息获取方法及装置
US9544655B2 (en) * 2013-12-13 2017-01-10 Nant Holdings Ip, Llc Visual hash tags via trending recognition activities, systems and methods
FR3010606A1 (fr) * 2013-12-27 2015-03-13 Thomson Licensing Procede de synchronisation de metadonnees avec un document audiovisuel en utilisant des parties de trames et dispositif de production de telles metadonnees
JP6193136B2 (ja) * 2014-01-21 2017-09-06 東芝テック株式会社 画像情報処理装置及びプログラム
WO2015123601A2 (en) * 2014-02-13 2015-08-20 Nant Holdings Ip, Llc Global visual vocabulary, systems and methods
US9665606B2 (en) 2014-02-14 2017-05-30 Nant Holdings Ip, Llc Edge-based recognition, systems and methods
US20150254280A1 (en) * 2014-03-06 2015-09-10 Nec Laboratories America, Inc. Hybrid Indexing with Grouplets
US10318543B1 (en) 2014-03-20 2019-06-11 Google Llc Obtaining and enhancing metadata for content items
US11314826B2 (en) 2014-05-23 2022-04-26 Samsung Electronics Co., Ltd. Method for searching and device thereof
KR20150135042A (ko) * 2014-05-23 2015-12-02 삼성전자주식회사 검색을 수행하는 방법 및 장치
US9990433B2 (en) 2014-05-23 2018-06-05 Samsung Electronics Co., Ltd. Method for searching and device thereof
TWI748266B (zh) * 2014-05-23 2021-12-01 南韓商三星電子股份有限公司 搜索方法、電子裝置及非暫時性電腦可讀記錄媒體
US20160048605A1 (en) * 2014-08-14 2016-02-18 International Business Machines Corporation Integrating image renditions and page layout
TWI571753B (zh) * 2014-11-07 2017-02-21 財團法人資訊工業策進會 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品
US9652543B2 (en) 2014-12-22 2017-05-16 Microsoft Technology Licensing, Llc Task-oriented presentation of auxiliary content to increase user interaction performance
US9454713B2 (en) 2014-12-30 2016-09-27 Ebay Inc. Similar item detection
KR101572076B1 (ko) * 2015-04-14 2015-11-26 주식회사 디지워크 정보가 삽입된 이미지 생성 방법 및 이를 실행하는 이미지 생성 장치
US10628736B2 (en) 2015-09-24 2020-04-21 Huron Technologies International Inc. Systems and methods for barcode annotations for digital images
FR3041794B1 (fr) * 2015-09-30 2017-10-27 Commissariat Energie Atomique Procede et systeme de recherche d'images similaires quasi-independant de l'echelle de la collection d'images
US10162865B2 (en) * 2015-10-08 2018-12-25 Microsoft Technology Licensing, Llc Generating image tags
US10346476B2 (en) 2016-02-05 2019-07-09 Sas Institute Inc. Sketch entry and interpretation of graphical user interface design
US10650045B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Staged training of neural networks for improved time series prediction performance
US10650046B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Many task computing with distributed file system
US10642896B2 (en) 2016-02-05 2020-05-05 Sas Institute Inc. Handling of data sets during execution of task routines of multiple languages
US10795935B2 (en) 2016-02-05 2020-10-06 Sas Institute Inc. Automated generation of job flow definitions
US10296538B2 (en) * 2016-02-23 2019-05-21 Baidu Usa Llc Method for matching images with content based on representations of keywords associated with the content in response to a search query
CN107239203A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 一种图像管理方法和装置
US10289642B2 (en) * 2016-06-06 2019-05-14 Baidu Usa Llc Method and system for matching images with content using whitelists and blacklists in response to a search query
US10459970B2 (en) * 2016-06-07 2019-10-29 Baidu Usa Llc Method and system for evaluating and ranking images with content based on similarity scores in response to a search query
KR101796506B1 (ko) * 2016-07-20 2017-11-14 엔에이치엔엔터테인먼트 주식회사 기종 정보를 활용한 이미지 검색 결과 제공 방법 및 시스템
US11308154B2 (en) * 2016-08-17 2022-04-19 Baidu Usa Llc Method and system for dynamically overlay content provider information on images matched with content items in response to search queries
CN107038589B (zh) 2016-12-14 2019-02-22 阿里巴巴集团控股有限公司 一种实体信息验证方法及装置
KR101941693B1 (ko) 2017-05-31 2019-01-24 서강대학교산학협력단 내용 기반 이미지 검색방법 및 그에 따른 시스템
CN110019903A (zh) 2017-10-10 2019-07-16 阿里巴巴集团控股有限公司 图像处理引擎组件的生成方法、搜索方法及终端、系统
US10649972B2 (en) 2017-10-30 2020-05-12 Coopervision International Holding Company, Lp Complex catalog match system
US11042772B2 (en) 2018-03-29 2021-06-22 Huron Technologies International Inc. Methods of generating an encoded representation of an image and systems of operating thereof
US10191921B1 (en) 2018-04-03 2019-01-29 Sas Institute Inc. System for expanding image search using attributes and associations
KR20230003388A (ko) * 2018-06-21 2023-01-05 구글 엘엘씨 시각적 검색을 위한 디지털 보충물 연관 및 검색
CN110866137A (zh) * 2018-08-09 2020-03-06 中兴通讯股份有限公司 一种图像处理方法、装置及存储介质
US10839252B2 (en) 2018-09-12 2020-11-17 Honeywell International Inc. System and method for color invariant feature matching
US10652208B2 (en) * 2018-10-03 2020-05-12 Axonius Solutions Ltd. System and method for managing network connected devices
CA3118014A1 (en) * 2018-11-05 2020-05-14 Hamid Reza Tizhoosh Systems and methods of managing medical images
US11080324B2 (en) * 2018-12-03 2021-08-03 Accenture Global Solutions Limited Text domain image retrieval
CN109635031A (zh) * 2018-12-19 2019-04-16 成都四方伟业软件股份有限公司 一种数据质量检测方法、装置、系统及存储介质
JP2020181332A (ja) * 2019-04-24 2020-11-05 株式会社Ｔｏｒｅｒｕ 高精度類似画像検索方法、プログラム及び高精度類似画像検索装置
EP4252190A1 (en) 2020-11-24 2023-10-04 Huron Technologies International Inc. Systems and methods for generating encoded representations for multiple magnifications of image data
CN115374765B (zh) * 2022-10-27 2023-06-02 浪潮通信信息系统有限公司 一种基于自然语言处理的算力网络5g数据解析系统及方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JP3143532B2 (ja) 1992-11-30 2001-03-07 キヤノン株式会社 画像検索装置及び方法
US6173275B1 (en) 1993-09-20 2001-01-09 Hnc Software, Inc. Representation and retrieval of images using context vectors derived from image information elements
JPH10289240A (ja) 1997-04-14 1998-10-27 Canon Inc 画像処理装置及びその制御方法
US6253201B1 (en) 1998-06-23 2001-06-26 Philips Electronics North America Corporation Scalable solution for image retrieval
EP0990997A1 (en) 1998-09-29 2000-04-05 Eastman Kodak Company A method for controlling and managing redundancy in an image database by elimination of automatically detected exact duplicate and near duplicate images
US6445834B1 (en) * 1998-10-19 2002-09-03 Sony Corporation Modular image query system
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
US6594386B1 (en) * 1999-04-22 2003-07-15 Forouzan Golshani Method for computerized indexing and retrieval of digital images based on spatial color distribution
JP2002140332A (ja) 2000-11-02 2002-05-17 Nippon Telegr & Teleph Corp <Ntt> 特徴量重要度算出方法、それを用いたキーワード画像特徴量表現データベース作成及び画像データベース検索
JP4078085B2 (ja) * 2001-03-26 2008-04-23 キヤノン株式会社 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体
US6751348B2 (en) * 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images
US6922485B2 (en) * 2001-12-06 2005-07-26 Nec Corporation Method of image segmentation for object-based image retrieval
US7035467B2 (en) * 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
US7752185B1 (en) * 2002-05-31 2010-07-06 Ebay Inc. System and method to perform data indexing in a transaction processing environment
WO2005001920A1 (ja) * 2003-06-27 2005-01-06 Tokyo Electron Limited プラズマ発生方法、クリーニング方法および基板処理方法
US7803983B2 (en) * 2004-06-30 2010-09-28 Ceres, Inc. Nucleotide sequences and corresponding polypeptides conferring modulated plant growth rate and biomass in plants
US7477841B2 (en) 2003-09-22 2009-01-13 Fujifilm Corporation Service provision system and automatic photography system
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US9384619B2 (en) * 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US7403642B2 (en) * 2005-04-21 2008-07-22 Microsoft Corporation Efficient propagation for face annotation
AU2006201849A1 (en) * 2005-05-03 2006-11-23 Tangam Gaming Technology Inc. Gaming object position analysis and tracking
US7660468B2 (en) * 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
JP4545641B2 (ja) 2005-06-01 2010-09-15 日本電信電話株式会社 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
US7457825B2 (en) * 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
US7801893B2 (en) * 2005-09-30 2010-09-21 Iac Search & Media, Inc. Similarity detection and clustering of images
US7639890B2 (en) * 2005-10-25 2009-12-29 General Electric Company Automatic significant image generation based on image characteristics
US7647331B2 (en) * 2006-03-28 2010-01-12 Microsoft Corporation Detecting duplicate images using hash code grouping
US7860317B2 (en) * 2006-04-04 2010-12-28 Microsoft Corporation Generating search results based on duplicate image detection
US7672508B2 (en) * 2006-04-11 2010-03-02 Sony Corporation Image classification based on a mixture of elliptical color models
US7844591B1 (en) * 2006-10-12 2010-11-30 Adobe Systems Incorporated Method for displaying an image with search results
US7933452B2 (en) 2006-12-11 2011-04-26 Florida Atlantic University System and methods of image retrieval
US9076148B2 (en) * 2006-12-22 2015-07-07 Yahoo! Inc. Dynamic pricing models for digital content
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
JP5194818B2 (ja) 2008-01-16 2013-05-08 富士通株式会社 データ分類方法およびデータ処理装置
GB0807411D0 (en) 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
US8117183B2 (en) * 2008-05-28 2012-02-14 Xerox Corporation Accurate content-based indexing and retrieval system
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8073818B2 (en) * 2008-10-03 2011-12-06 Microsoft Corporation Co-location visual pattern mining for near-duplicate image retrieval
US20100226582A1 (en) * 2009-03-03 2010-09-09 Jiebo Luo Assigning labels to images in a collection
US8433140B2 (en) * 2009-11-02 2013-04-30 Microsoft Corporation Image metadata propagation

Also Published As

Publication number Publication date
WO2011054002A3 (en) 2011-10-20
CN102576372A (zh) 2012-07-11
CN102576372B (zh) 2014-09-03
EP2497041A4 (en) 2016-10-05
TW201128421A (en) 2011-08-16
KR20120102616A (ko) 2012-09-18
EP2497041A2 (en) 2012-09-12
WO2011054002A2 (en) 2011-05-05
US20110106782A1 (en) 2011-05-05
KR101732754B1 (ko) 2017-05-04
TWI506459B (zh) 2015-11-01
JP2013509660A (ja) 2013-03-14
US9710491B2 (en) 2017-07-18

Similar Documents

Publication Publication Date Title
JP5596792B2 (ja) コンテンツベースの画像検索
US8433140B2 (en) Image metadata propagation
US9031960B1 (en) Query image search
US9607327B2 (en) Object search and navigation method and system
US20120117051A1 (en) Multi-modal approach to search query input
US7548936B2 (en) Systems and methods to present web image search results for effective image browsing
US9092458B1 (en) System and method for managing search results including graphics
US20090112830A1 (en) System and methods for searching images in presentations
US20100125568A1 (en) Dynamic feature weighting
US8346800B2 (en) Content-based information retrieval
US20120078908A1 (en) Processing a reusable graphic in a document
Zaharieva et al. Retrieving Diverse Social Images at MediaEval 2017: Challenges, Dataset and Evaluation.
Bhairnallykar et al. Content based medical image retrieval with SVM classification and relevance feedback
Sumathy et al. Image Retrieval and Analysis Using Text and Fuzzy Shape Features: Emerging Research and Opportunities: Emerging Research and Opportunities
Scuturici et al. Topological representation model for image database query
US20230153338A1 (en) Sparse embedding index for search
Pimentel Filho et al. Combining pixel domain and compressed domain index for sketch based image retrieval
Havasi et al. Search in WikiImages using mobile phone
GB2461641A (en) Object search and navigation
JP2022062305A (ja) 情報検索装置、情報検索方法および情報検索用プログラム
Soysal et al. Weighted feature fusion for content-based image retrieval
Deshpande et al. An Enhanced Approach for Image Search Based on Attribute-Assisted Re-Ranking Model
Zhang et al. An Efficient Visual Representation and Indexing Scheme for Large Scale Video Retrieval
Vishwanath et al. Content-Based Image Retrieval Based on Error Diffusion Block Truncation Coding
Louie DIGITAL PHOTO COLLECTION ORGANIZER

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130917

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140807

R150 Certificate of patent or registration of utility model

Ref document number: 5596792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees