JP5241954B2 - 形状に基づく画像検索 - Google Patents

Description

［関連出願］
本出願は、参照によって本明細書に全体を組み込まれる、発明の名称を「METHOD FOR IMPLEMENTING PICTURE SEARCH AND WEBSITE SERVER THEREOF（画像検索を実行するための方法および画像検索を実行するウェブサイトサーバ）」とする、２００９年３月２６日出願の中国特許出願第２００９１０１２９５５１．７号の優先権の利益を主張する。

本発明は、検索の分野に関し、特に、画像検索を実行する方法およびシステムに関する。

既存の画像検索技術では、ユーザは、通常、検索ボックスに検索ワードを入力し、ウェブサイトの検索エンジンに送信する。次いで、検索エンジンは、ウェブクローラによって取得された多数の画像の間で、画像のファイル名または下位フィールド内の単語など、画像に関連付けられたテキスト内で検索対象キーワードを検索する。さらに、サーバは、ファイル属性のファイル名または下位フィールドがキーワードに適合する画像をユーザにリターンする。

このタイプの画像検索は、基本的に、テキスト・コンテンツ・ベース検索である。このように検索された画像は、ユーザが実際に望んだ画像ではないことが多い。例えば、検索対象キーワードに対応する画像検索結果の中で、ユーザは、ある特定の形状の画像を求める傾向があり、それは、従来の画像検索技術では、考慮されていない。したがって、所望の画像の形状を考慮に入れた画像検索が有利な場合がある。

画像検索システムの一実施形態を示すブロック図。 画像検索を実行するための処理の第１の実施形態を示すフローチャート。 画像検索を実行するための処理の第２の実施形態を示すフローチャート。 本願の画像検索を実行するための方法の第３の実施形態を示すフローチャート。 画像検索を実行するための方法の第４の実施形態を示すフローチャート。 本願の画像検索を実行するためのサーバの第１の実施形態を示すブロック図。 画像検索システムのブロック図。 画像検索システムの別の実施形態を示すブロック図。 画像検索システムの一実施形態を示す図。

本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実装されうる。本明細書では、これらの実装または本発明が取りうる任意の他の形態を、技術と呼ぶ。一般に、開示された処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、ある時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。

画像検索技術が開示されている。いくつかの実施形態において、ウェブサーバは、キーワードに基づいて、かつ、画像内の物体の形状に従って、データベース内の画像を分類する。

図１Ａは、画像検索システムの一実施形態を示すブロック図である。図の例において、画像検索システム１５０は、画像検索ウェブサーバ１５２を備えており、画像検索ウェブサーバ１５２は、いくつかの実施形態では、１または複数のメモリに接続された１または複数のプロセッサを有する１または複数のデバイスを備える。画像検索ウェブサーバ１５２は、ユーザ入力を受信するよう構成された１または複数のインターフェースを備えており、ユーザ入力は、例えば、ネットワーク１５５（インターネットまたはその他の通信ネットワークであってよい）を介してクライアントデバイス１５４によって送信されたユーザ入力である。通信インターフェースの例としては、ポート、ケーブル、有線回線、または、無線ネットワークインターフェースカードなどの外部接続、および、通信バスなどの内部接続が挙げられるが、これらに限定されない。画像検索ウェブサーバ１５２は、インターネットクローラ１５９から画像を受信する。いくつかの実施形態では、クライアントデバイスは、ネットワーク機能を有するコンピュータまたは携帯デバイスなどのコンピュータデバイスである。画像検索ウェブサーバ１５２は、形状で予め分類された画像を格納する画像データベース１５６にアクセスできる。画像データベース１５６に格納される画像は、ウェブサイトを通してユーザによってアップロードされるか、他のシステムからインポートされるか、膨大な数のウェブページからインターネットクローラ１５９によって収集されるか、もしくは、他の方法によって取得されてよい。

以下で詳述するように、キーワードまたはサンプル画像による画像検索要求のユーザ入力を受信すると、画像検索ウェブサーバ１５２は、ユーザ入力を処理し、形状および／またはキーワードで予め分類されて画像データベース１５６に格納されうる特定のコンテンツを検索し、キーワードまたはサンプル画像に基づいた検索結果を取得してユーザにリターンする。

いくつかの実施形態において、ウェブサイトサーバは、画像データを格納するための画像データベースにアクセスできる。画像データベースは、大量の画像を格納しうる。画像データベース内に格納される画像は、例えば、以下の方法の内の１または複数で取得されうる。ウェブサイトのユーザによってアップロードされる、他のシステムからインポートされる、および／または、ウェブクローラを用いて、大量のウェブページから画像を収集する。格納された各画像は、さらに、画像属性内に、画像ファイル名および場合により関連テキストコンテンツを備える。画像属性内の画像ファイル名および関連テキストコンテンツは、画像に含まれる具体的なコンテンツを示しうる。例えば、ＭＰ３プレーヤの実体を表示する画像について、「ＭＰ３」という単語が、通例、画像属性内の画像ファイル名および／または関連テキストコンテンツに含まれる。

ウェブサイトサーバは、キーワードで画像を分類する。かかる分類が検索に先立って行われる場合、サーバは、画像データベース内の画像を分類してよい。かかる分類が検索の後に行われる場合、サーバは、見つかった画像を分類してよい。いくつかの実施形態において、キーワードは、予め決定されてもよい。例えば、ウェブサイトサーバは、画像属性内の画像ファイル名および／または下位テキストコンテンツにキーワード「ＭＰ３」を含む画像を１つのセットに分類し、画像属性内の画像ファイル名および／または下位テキストコンテンツに他のキーワードを含む画像を他のセットに分類してよい。ウェブサイトサーバは、検索に先立って、同じテキストキーワードを有する一定数の画像を画像データベースから抽出してよい。例えば、ウェブサイトサーバは、画像属性内の画像ファイル名および／または関連テキストコンテンツ内にキーワード「ＭＰ３」を含む１，０００の画像を抽出してよい。いくつかの実施形態において、これらの抽出画像は、抽出画像が代表的な画像になるように、ウェブサイトサーバによる記録に従って、ユーザによって最も選択された１，０００の画像であってよい。いくつかの実施形態において、抽出画像は、キーワードに基づいて分類された同じ画像セットにすでに属している。

さらに、ウェブサイトサーバは、画像の形状の特徴で抽出画像を分類してよい。形状の特徴は、例えば、正方形、円形、楕円形などの典型的な形状タイプを含みうる。ＭＰ３プレーヤの実体を含む１，０００の画像に関する上述の例（本明細書では、「ＭＰ３画像」と呼ぶこととする）に戻ると、これらの１，０００の画像は、画像に含まれる物体の形状に基づいて、いくつかの形状タイプに分類されうる。例において、形状タイプの分類は、以下のタイプを含むがこれらに限定されない：円形ＭＰ３画像、ひし形ＭＰ３画像、正方形ＭＰ３画像、および、長方形ＭＰ３画像。

いくつかの実施形態において、形状に基づく画像の分類は、画像の特徴値を比較することによって実施されてよい。特徴値を評価する様々な技術が、様々な実施形態で実装される。かかる技術の例は、２０１０年２月９日出願の米国特許出願第１２／６５８，４７１号（代理人整理番号第ＡＬＩＢＰ０２５）「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＩＭＡＧＥ ＦＥＡＴＵＲＥ ＥＸＴＲＡＣＴＩＯＮ」に記載されており、この出願は、参照により本明細書に組み込まれる。

いくつかの実施形態において、画像の各特徴値は、画像に表示された物体の形状を示す画像の特徴を表すために数学的に抽出される。かかる画像形状特徴の抽出にはいくつかの方法がある。画像の抽出された特徴値は、通例、ｎ次元のベクトル（Ｐ１、Ｐ２、．．．、Ｐｎ）など、特定の次元のベクトルで表現されうる。したがって、画像内の物体の形状特徴は、このベクトルによって記述される。具体的な抽出方法は、ハフ変換を含みうるが、本明細書では、説明を省略する。さらに、好ましい画像特徴抽出方法を、以下で簡単に説明する。

Ａ１：オリジナル画像から対象物体の画像を切り取る。

Ａ２：切り取った画像の境界の周囲を背景としての単色で満たし、対象物体を有する満たされた画像を最小正方形（ｍｉｎｉｍａｌ ｓｑｕａｒｅ）とする。

Ａ３：均等スケーリングで、四角い画像全体を第１の所定のサイズを有する画像に拡大し、拡大した画像を第２の所定のサイズのサブスクエアに分割する。

Ａ４：水平、垂直、＋４５°、および、−４５°の方向の隣接ピクセルの輝度の導関数をそれぞれ算出し、４方向の導関数の極値点の数、および、このサブスクエアの４つの境界における極値点の数を、画像の各サブスクエアの特徴ベクトルとする。

Ａ５：すべてのサブスクエアの特徴ベクトルを、オリジナル画像の特徴ベクトルとする。

上述の画像特徴抽出方法は、物体のエッジを見つけるために、主に、画像内に表示された物体について、エッジ部分と周辺の背景との間のピクセル輝度の差などを考慮するものである。したがって、この方法は、画像内の物体の形状特徴を抽出して取得するものであり、かかる形状特徴は、その後、画像全体から抽出された特徴値として機能しうる。この方法によって表現される画像特徴値は、特定の次元を有するベクトル（例えば、ｎ次元のベクトル（Ｐ１、Ｐ２、．．．、Ｐｎ））であり、したがって、画像内の物体の形状特徴を記述しうる。

その他の適切な方法が、表示された物体の形状を表現する画像の特徴値を算出するために用いられてもよい。

例えば、テキスト「ＭＰ３」を含む上述の１，０００の抽出画像に関して、サーバは、１，０００の画像の特徴値を比較し、同様の特徴値を持つ画像を、同一または同様の形状タイプの画像のセットに分類してよい。いくつかの実施形態において、サーバは、所定の範囲を設定してよく、特徴値の差が所定の範囲内におさまる画像を、同一または同様の形状タイプの画像のセットとして分類する。

いくつかの実施形態において、特徴値の差は、特徴値を表すベクトルの距離を決定することによって取得される。

距離の決定の一例としては、二次元平面上の点Ａ１（ｘ１，ｙ１）および点Ａ２（ｘ２，ｙ２）について、２つの点Ａ１およびＡ２の座標すなわち（ｘ１，ｙ１）および（ｘ２，ｙ２）を２つの２次元ベクトルと見なすことができ、２点間の距離は、以下の公式によって得ることが可能である。

三次元座標における点Ｂ１（ｘ１，ｙ１，ｚ１）および点Ｂ２（ｘ２，ｙ２，ｚ２）については、これらの２点Ｂ１およびＢ２の座標すなわち（ｘ１，ｙ１，ｚ１）および（ｘ２，ｙ２，ｚ２）を２つの３次元ベクトルと見なすことができ、２点間の距離は、以下の公式によって得ることが可能である。

同様に、２つのｎ次元ベクトルに関して、これら２つのベクトル間の距離は、以下の公式によって得ることが可能であり、これら２つのベクトルは、それぞれ、（Ｐ１、Ｐ２、．．．、Ｐｎ）および（Ｑ１、Ｑ２、．．．、Ｑｎ）である。

例えば、「ＭＰ３」に関するこれらの１，０００画像の間のいくつかの典型的な形状が取得され、各典型的な形状に対して、一画像が、その典型的な形状のサンプル画像として選択されてよい。例えば、典型的な形状のサンプル画像は、円形ＭＰ３画像、ひし形ＭＰ３画像、正方形ＭＰ３画像、および、長方形ＭＰ３画像の各々から選択された画像を含みうる。

このサンプル画像は、ウェブサイト管理スタッフによって、または、特定の基準に従ってサーバによって指定されたのと同じ形状タイプを有する全画像の中の一画像であってよい。このサンプル画像の選択は、本明細書では特に限定されない。いくつかの実施形態では、選択されたサンプル画像にマーカが追加されることにより、マークされたサンプル画像に都合よく戻ることができる。

さらに、典型的な形状のサンプル画像の特徴値がすでに決定されている場合、典型的な形状のサンプル画像の特徴値は、上述したように各画像の特徴値の算出と同様の方法で取得されうる。いくつかの実施形態において、ウェブサイトサーバは、このサンプル画像を受信した後に、指定されたサンプル画像の特徴値を抽出してよい。

いくつかの実施形態において、同じテキストキーワードに関連する画像に対する上記の形状タイプ分類は、サーバによって実行されるが、分類は、手動で実行されてもよい。

例えば、「ＭＰ３」に関連する１，０００の画像を抽出した後に、ウェブサイト運営スタッフによって１，０００の画像の内のいくつかの典型的な形状タイプのサンプル画像を手動で取得することができる。ウェブサイト運営スタッフによって直接的に、「ＭＰ３」に関連する画像からいくつかの典型的な形状タイプのサンプル画像を手動で選択することも可能である。

検索に先立って、画像データベース内でキーワードに関連する画像の形状タイプを分類することに関して、ウェブサイト運営スタッフは、例えば、検索対象とより似ている形状タイプのサンプル画像が検索結果でより早く現れるよう配列されるように、手動でサンプル画像をソートしてよい。サンプル画像は、例えば、大量の画像を含む形状タイプに対応するサンプル画像が、検索結果でより早く現れるよう配列されるように、ウェブサイトサーバによってソートされてもよい。

いくつかの実施形態において、画像データベース内のキーワードに関連する画像の形状タイプの分類、および、各形状タイプに対するサンプル画像の決定は、サーバが画像検索要求を受信する前に実行される。

以下で説明する実施形態において、サーバは、できるだけ多くのキーワードで画像データベース内の画像を分類すること、いくつかの基本的な形状タイプに従ってキーワードに関連する画像を分類すること、および、分類済みの各形状タイプに対してサンプル画像を選択することなどにより、画像データベース内のデータを前処理する。クライアントから送信された検索要求を受信すると、サーバは、画像データベース内の画像の関連テキストと検索要求内のキーワードが同一であるか否か、または、十分に関連しているか否かについて、直接検索する。かかる一致が満たされる場合、サーバは、クライアントが、一致キーワードに対応する様々な形状のサンプル画像の中から１つの画像を選択することを可能にし、選択されたサンプル画像の形状に対応する画像を画像データベースから即座にリターンする。これらの実施形態は、画像データベースの規模がそれほど大きくなく、更新頻度もそれほど高くないような小規模のウェブサイトで特に便利かつ有効でありえる。ウェブサイトの更新が頻繁である場合でも、ウェブサイトサーバが事前に同じ頻度で前処理を実行できる限りは、同じ検索結果が実現されうる。以下では、処理について詳細に説明する。

図１Ｂは、画像検索を実行する方法の第１の実施形態を示すフローチャートである。方法１００は、システム（１５０など）上で実行されてよい。

工程１１０で、画像は、画像のそれぞれに関連付けられたキーワードに従って、かつ、複数の画像形状タイプに従って、画像データベース内で分類される。形状タイプの数は、キーワードに対応する画像を形状で分類した結果によって決定されうる。いくつかの実施形態において、形状による画像の分類は、画像の特徴値を比較することによって実行されうる。いくつかの実施形態では、形状タイプの数は予め決定される。

ＭＰ３画像の例に戻ると、画像データベース内のいくつかの画像が、キーワード「ＭＰ３」に対応する関連テキストを有する画像として最初に分類されうる。次いで、「ＭＰ３」に対応するこれらの画像は、それらの画像形状タイプに従って複数のセットにさらに分類されうる。画像形状タイプは、例えば、円形、正方形、および、長方形を含んでよい。まとめると、工程１１０の後に、キーワード「ＭＰ３」に対応する１つの画像セットが存在し、そのセットは、画像形状タイプに従って、画像のサブセットにさらに分類されてよい。

工程１１５では、複数の画像形状タイプのそれぞれに対応する分類済みの複数の画像の中から、第１の複数のサンプル画像が決定される。各画像形状タイプに対して、その形状タイプの画像セットの中から、この形状タイプのサンプル画像として、１つの画像が選択されてよい。

このサンプル画像は、ウェブサイト管理スタッフによって指定されてもよいし、特定の基準に従ってサーバによって指定されてもよい。このサンプル画像の選択は、本明細書では特に限定されない。いくつかの実施形態では、選択された各サンプル画像にマーカが追加されることにより、マークされたサンプル画像に都合よく戻ることができる。

ＭＰ３画像の例に戻ると、キーワード「ＭＰ３」に対応するものとして分類された画像の中から決定された画像形状タイプのサンプル画像は、円形ＭＰ３画像、正方形ＭＰ３画像、および、長方形ＭＰ３画像の各々から１つずつ選択された画像を含みうる。

工程１２０では、ユーザからの画像検索要求が受信される。例えば、ウェブサイトサーバは、ユーザが検索エンジンで検索クエリを行った場合、ユーザから画像検索要求を受信しうる。

ＭＰ３画像の例に戻ると、ウェブサイトサーバは、ユーザからキーワード「ＭＰ３」の検索要求を受信しうる。

工程１２５では、画像データベース内で第１のセットの発見画像が特定される。ここで、第１のセットの発見画像は、検索要求内のキーワードに対応する。

画像データベースにおいて、画像属性内のファイル名および／または関連テキストコンテンツが特定のキーワードを含む画像は、上述の方法によって形状タイプで予め分類される。さらに、画像データベースでは、形状タイプで分類された各画像セットに対して、サンプル画像がすでに選択されている。結果として、受信した検索要求内のキーワードと、画像に関連する特定のキーワードが同一の場合、または、十分に関連している場合（例えば、受信した検索要求内のキーワードが、画像に関連する特定のキーワードに含まれる場合、または、画像に関連する特定のキーワードが、検索要求内のキーワードに含まれる場合）、サーバは、対応するキーワードが検索要求内のキーワードと同一であるかまたは十分に関連しているいくつかの形状タイプの画像のセットを容易に発見する事ができる。

ＭＰ３画像の例に戻ると、サーバは、キーワード「ＭＰ３」に対応するものとして工程１１０において分類された画像データベース内の画像を特定しうる。

工程１３０では、複数の画像形状タイプに対応する第２の複数のサンプル画像がユーザに提示される。なお、第２の複数のサンプル画像は、発見された画像のセットから選択される。例えば、サンプル画像はすでに工程１１５において決定されているため、サーバは、かかる画像に追加されたマーカに基づいて、第１のセットの発見画像の中でサンプル画像を見つけることができる。

ＭＰ３画像の例に戻ると、キーワード「ＭＰ３」に対応する発見画像の中から、サーバは、円形ＭＰ３画像、正方形ＭＰ３画像、および、長方形ＭＰ３画像の各々からのサンプル画像をユーザに提示してよい。

工程１３５では、第２の複数のサンプル画像の内の一画像のユーザ選択に対応する決定サンプル画像が受信される。以降、ユーザによって選択された形状タイプのサンプル画像を、「決定サンプル画像」とも呼ぶこととする。ユーザは、工程１３５においてユーザが望む画像の形状を選択することにより、ユーザの画像検索をさらにカスタマイズしてもよい。いくつかの実施形態では、サンプル画像に対応する識別子が、画像そのものの代わりに受信される。

ＭＰ３画像の例に戻ると、ユーザが円形のＭＰ３画像の発見を望んでいると仮定すると、ユーザは、提示されたサンプル画像の中から円形のＭＰ３サンプル画像を選択しうる。次いで、サーバは、この決定サンプル画像またはそれに対応する識別子を受信しうる。

工程１４０では、第２のセットの発見画像が特定される。なお、第２のセットの発見画像は、第１のセットの発見画像から選択され、所定の基準を満たす１セットの対応する特徴値を有する。したがって、１または複数の検索キーワードに対応すると共に特徴値が所定の基準を満たす画像が、画像データベース内で検索される。いくつかの実施形態では、所定の基準は、決定サンプル画像に基づく。所定の基準の一例は、決定サンプル画像の特徴値ベクトルからの所定の距離であってよい。例えば、画像の特徴値がベクトル形式である場合、決定サンプル画像の特徴値ベクトルからの距離が所定の閾値より小さい特徴値ベクトルを有する画像を画像データベース内で検索することが可能である。

ＭＰ３画像の例に戻ると、サーバは、決定サンプル画像の特徴値ベクトルからの距離が所定の閾値より小さい特徴値ベクトルを有する画像を「ＭＰ３」に対応する発見画像の中から検索しうる。この検索は、より多くの円形のＭＰ３画像を発見しうる。

いくつかの実施形態において、特定の検索方法は、決定サンプル画像の特徴値ベクトルと画像データベース内の各画像の特徴値ベクトルとの間の距離を算出することによって実行されてよい。上述したように、２つのｎ次元ベクトルについて、これら２つのベクトル間の距離は、以下の公式によって得ることが可能であり、これら２つのベクトルは、それぞれ、（Ｐ１、Ｐ２、．．．、Ｐｎ）および（Ｑ１、Ｑ２、．．．、Ｑｎ）である。

（Ｐ１、Ｐ２、．．．、Ｐｎ）が決定画像の特徴値ベクトルであり、（Ｑ１、Ｑ２、．．．、Ｑｎ）が画像データベース内の特定の画像の特徴値ベクトルであるとすると、それらの距離は、上述の公式によって取得できる。通例、それぞれのベクトル間の距離がゼロである画像は、同じ形状の画像であると見なされ、特定の範囲内の距離にある画像は、同様の形状の画像であると見なされうる。この範囲は、前述した所定の閾値によって設定されてよい。例えば、閾値を１０に設定することは、決定画像からの特徴値ベクトルが距離１０以内にある任意の画像（すなわち、決定画像と同一または同様の形状の画像）が検索結果に含まれることを意味する。したがって、決定サンプル画像と同一または同様の形状の画像が画像データベースからユーザに送信される。

いくつかの実施形態において、最初に、工程１４０に従った画像データベース検索は、特徴値ベクトルが決定サンプル画像キーワードの特徴値ベクトルから所定の距離内にある画像を画像データベース内で検索することと、次に、画像属性内のファイル名および／または関連のテキストコンテンツが検索要求のキーワードを含む画像を取得するために発見画像をフィルタリングすることと、を含む。いくつかの実施形態において、工程１４０は、最初に、画像属性内のファイル名および／または関連のテキストコンテンツが検索キーワードを含む画像を画像データベース内で検索することと、次に、特徴値ベクトルが決定サンプル画像の特徴値ベクトルから所定の距離内にある画像を得るために発見画像をフィルタリングすることと、を含む。

工程１４０の後、検索結果に表示される発見画像はすべて、ユーザの検索を満たすことが好ましい。例えば、ユーザが「ＭＰ３」というキーワードについての検索要求を提示した場合、工程１３５において、ユーザは、サーバによってリターンされた異なる形状タイプのサンプル画像のセットから、特定の形状（例えば、円形）の「ＭＰ３」サンプル画像を選択しうる。選択およびその後の工程１４０での検索の結果として、検索結果に表示される画像はすべて、円形の「ＭＰ３」画像になる。

サーバは、発見画像の各々が選択された回数の多い順に、発見画像をクライアントにリターンしてよい。通例、画像データベースは、画像の各々が選択された（または、アクセスされた）回数を記録する。いくつかの実施形態において、最も選択頻度の高い画像は、選択頻度の低い画像よりもユーザの関心が高い。したがって、選択頻度が最も高い画像を最初にリターンすると、ユーザの検索要望を満たす可能性が高くなる。

工程１４０の後、ユーザは、しばしば、発見画像の中から特定の画像を選択し、その後、サーバは、特定の画像の選択回数をカウントするためにユーザが選択した特定の画像を記録してよい。したがって、各画像がユーザによって選択された回数が、サーバによって積算されうる。したがって、ユーザによる画像選択の履歴は、画像検索に対してフィードバックを提供する。

上述の第１の実施形態において、サーバは、クライアントから送信された画像検索要求を受信した後、すでにキーワードで分類されて典型的な形状のセットに分類されている画像データベース内で、検索要求内のキーワードに対応するいくつかの形状タイプのサンプル画像を検索し、いくつかの形状タイプの各々について検索されたサンプル画像をクライアントにリターンし、クライアントによって決定された特定の形状タイプのサンプル画像を受信し、特徴値ベクトルが決定サンプル画像の特徴値ベクトルから所定の距離内にある画像を画像データベース内で検索し、それらの発見画像をクライアントにリターンする。第１の実施形態は、ユーザの意図に従って画像を検索し、特に、ユーザの検索キーワードに対応する画像形状タイプを提供し、さらに、ユーザによって選択された形状タイプに従って同様の形状を有する画像を検索することにより、ユーザの検索要望を満たし、ユーザの体験を高めることができる。

上述のように、典型的な形状のサンプル画像を予め抽出する目的は、典型的な形状を有すると共に特定のキーワードに関連する画像を画像データベース内で抽出することである。これら典型的な形状タイプは通常、長期間にわたって変化しないため、かかる抽出は、時々実行するだけで足りる。しかしながら、画像データベース内のデータに関しては、ユーザが画像をアップロードする時刻が不確定であることと、ウェブクローラがインターネット上の画像を収集する頻度が高いことから、サーバは、最新の画像までを確実に検索結果に含めるために、ユーザから画像検索要求を受信した後、画像データベース内で画像を検索する工程１４０をすぐに実行する。

画像検索を実行するための方法の第２の実施形態を以下で説明する。第２の実施形態に関する説明では、主に、第１の実施形態との違いに焦点を当て、類似点については上記の説明を参照することとする。第１の実施形態との違いは、例えば、特徴値ベクトルが、ユーザによって決定されたサンプル画像の特徴値ベクトルから所定の距離内にある画像を画像データベース内でさらに検索する工程を含まないことである。その代わり、第２の実施形態は、所定の距離に基づく画像データベース内での上述のさらなる検索を行わずに、クライアントが決定したサンプル画像と同一または同様の形状タイプを有する画像データベース内の画像をリターンする。

上述したように、ウェブサイトサーバは、検索に先立って、対応するキーワードに基づいて画像データベース内の画像を分類してよい。いくつかの実施形態において、キーワードは、所定のキーワードであってよい。

図２は、画像検索方法の第２の実施形態を示すフローチャートである。方法２００は、システム（６００など）上で実行されてよい。

工程２１０では、検索要求内のキーワードに対応するいくつかの形状タイプ各々のサンプル画像が、画像データベース内で検索される。画像データベースは、図１に関して上述したように予め分類されている。

工程２１２では、いくつかの形状タイプ各々の発見サンプル画像が、ユーザにリターンされる。

工程２１４では、ユーザから送信された画像検索要求が受信される。

工程２１６では、特に、検索要求内のキーワードに対応するいくつかの形状タイプ各々のサンプル画像が、画像データベース内で検索される。この検索は、検索に先だって分類されたいくつかの形状タイプの各々のサンプル画像を、検索要求内のキーワードを含む画像データベース内で検索することを含みうる。

画像データベースにおいて、画像属性内のファイル名および／または下位テキストコンテンツが特定のキーワードを含む画像は、上述の方法によって形状タイプですでに分類されている。さらに、画像データベースでは、形状タイプで分類された各画像セットに対して、サンプル画像がすでに選択されている。結果として、受信した検索要求内のキーワードと、画像データベースの画像に関連する特定のキーワードが同一の場合、または、十分に関連している場合（例えば、受信した検索要求内のキーワードが、画像に関連する特定のキーワードに含まれる場合、または、画像に関連する特定のキーワードが、検索要求内のキーワードに含まれる場合）、サーバは、関連するキーワードが検索要求内のキーワードと同一であるかまたは十分に関連している形状タイプで分類された各画像セットのサンプル画像を容易に発見する事ができる。さらに、サーバは、クライアントが所望の画像の所望の形状タイプを選択するために、いくつかの形状タイプの各々について検索されたサンプル画像をリターンしてよい。以降、クライアントによって選択された特定の形状タイプのサンプル画像を「決定サンプル画像」と呼ぶこともある。

工程２２０では、サーバは、クライアントによって決定された特定の形状タイプのサンプル画像を受信し、決定サンプル画像と同一または同様の形状タイプを有する画像データベース内の画像をリターンする。

サーバは、画像の各々が選択された回数の多い順に、発見画像をクライアントにリターンしてよい。

この例において、サーバは、クライアントから送信された画像検索要求を受信した後、すでにキーワードで分類され典型的な形状のセットに分類されている画像データベース内で、検索要求内のキーワードに対応するいくつかの形状タイプの各々のサンプル画像を検索し、いくつかの形状タイプの各々について検索されたサンプル画像をユーザにリターンし、クライアントキーワードによって決定された特定の形状タイプのサンプル画像を受信し、提示されたサンプル画像と同一または同様の形状タイプを有する画像データベース内の画像をリターンする。したがって、第２の実施形態は、ユーザの意図に従って発見画像をリターンし、特に、ユーザの検索キーワードに対応する画像形状タイプを提供し、さらに、ユーザによって選択された形状タイプに従って同様の形状を有する発見画像をリターンすることにより、ユーザの検索要望を満たし、ユーザの体験を高めることができる。

図３は、画像検索方法の第３の実施形態を示すフローチャートである。上述の用語についての説明は、第３の実施形態に対しても適用されうる。上述の２つの実施形態と違って、第３および第４の実施形態はいずれも、できるだけ多くのキーワードで画像データベース内の画像を分類すること、それらの形状タイプでキーワードに関連する画像を分類すること、および、検索に先立って各形状のサンプル画像を選択することなどの前処理を実行しない。その代わり、第３の実施形態および第４の実施形態では、かかる処理は、検索がクエリされた後に実行される。方法３００は、システム（７００など）上で実行されてよい。

工程３１０では、サーバが、クライアントから送信された画像検索要求を受信する。クライアントから送信された画像検索要求は、画像属性内のファイル名または関連テキストコンテンツが検索要求のキーワードを含む画像を要求するテキストキーワードを含みうる。

工程３２０では、サーバは、検索要求内のキーワードに対応する画像を画像データベース内で検索する。サーバは、画像属性内のファイル名および／または関連テキストコンテンツが検索要求のキーワードを含む所定の数の画像を画像データベース内で検索しうる。例えば、画像要求がキーワード「ＭＰ３」を含み、所定の画像数が１，０００である場合、サーバは、画像データベースの画像属性内のファイル名および／または関連テキストコンテンツがこのキーワードを含む１，０００の画像を検索しうる。いくつかの例において、所定の画像数は、画像属性内のファイル名および／または関連テキストコンテンツがキーワードを含む画像データベース内の全画像よりも少ない。

この第３の実施形態において、検索要求内のキーワードに対応する全画像ではなく、所定の数の画像キーワードのみの間で画像データベースを検索する理由は、最も典型的な画像を抽出し、かかる画像を異なる形状タイプのセットに分類することである。本明細書で用いられているように、「典型的」とは、特定の画像がインターネットユーザによってアクセスされた頻度が高いことを意味しうる。その後、画像を抽出して分類した後、クライアントは画像の所望の形状タイプを選択し、次いで、この決定された形状タイプに基づいて、より広範囲の検索が実行される。したがって、検索要求のキーワードに対応するより典型的な画像を検索する目的は、検索処理全体の時間を削減するために実行時間を短く維持しつつも、発見画像の形状タイプを分類することである。

工程３３０では、サーバは、画像内の物体の形状で発見画像を分類し、各形状タイプのサンプル画像を決定し、所定の数の形状タイプのサンプル画像をクライアントにリターンする。いくつかの実施形態において、形状タイプの所定の数は、最大で、分類された形状タイプの数である。

サーバは、工程３２０において検索された画像を画像の形状で、例えば、いくつかの典型的な形状タイプに、分類する。ＭＰ３画像の例に戻ると、キーワード「ＭＰ３」を含むクエリに応答して発見された画像は、以下のようないくつかの形状タイプに分類されうる。円形ＭＰ３画像、ひし形ＭＰ３画像、正方形ＭＰ３画像、および、長方形ＭＰ３画像。

形状での画像の分類に関しては、例えば、形状での画像の分類が、画像の特徴値の比較によって実施されてよい。画像の形状タイプを決定するために画像の特徴値を比較する方法は、上述の第１の実施形態で説明した方法と同様である。

例えば、テキスト「ＭＰ３」を含む１，０００の発見画像に関して、サーバは、１，０００の画像の特徴値を比較し、同様の特徴値を持つ画像を、同一または同様の形状タイプの画像のセットに分類してよい。例えば、サーバは所定の範囲を設定し、特徴値の差が所定の範囲内におさまる画像を、同一または同様の形状タイプの画像のセットとして設定してよい。

上述のように、特徴値の差は、特徴値を表すベクトルの距離を決定することによって取得されてよい。その後、サーバは、この典型的な形状のサンプル画像として、各々の典型的な形状に対して１つの画像を選択してよい。さらに、サーバは、所定の数の形状タイプのサンプル画像をクライアントにリターンしてよい。

クライアントは、サーバから送信された所定の数の形状タイプのサンプル画像を受信する。次いで、ユーザは、サンプル画像の１つを選択してよく、この選択は、ユーザが、その決定サンプル画像の特定の形状を有する画像を検索する意図があることを示す。次いで、この決定サンプル画像は、ネットワークを介してサーバに提示される。

工程３４０では、サーバは、クライアントによって決定された特定の形状タイプのサンプル画像を受信し、キーワードに対応すると共に特徴値ベクトルが決定サンプル画像の特徴値ベクトルから所定の距離内にある画像を画像データベース内で検索する。

上述のように、画像の特徴値がベクトル形式である場合、決定画像の特徴値ベクトルからの距離が所定の閾値より小さい特徴値ベクトルを有する画像を画像データベース内で検索することが可能である。

また、上述のように、特定の検索方法は、決定画像の特徴値ベクトルと画像データベース内の各画像の特徴値ベクトルとの間の距離を算出することによって実行されてよい。

いくつかの実施形態において、工程３４０は、最初に、特徴値ベクトルが決定サンプル画像の特徴値ベクトルから所定の距離内にある画像を画像データベース内で検索することと、次に、画像属性内のファイル名および／または関連テキストコンテンツが検索要求のキーワードを含む画像を取得するために発見画像をフィルタリングすることと、を含む。いくつかの実施形態において、工程３４０は、最初に、画像属性内のファイル名および／または関連テキストコンテンツがキーワードを含む画像を画像データベース内で検索することと、次に、特徴値ベクトルが決定サンプル画像の特徴値ベクトルから所定の距離内にある画像を得るために発見画像をフィルタリングすることと、を含む。

工程３５０では、サーバは、クライアントに発見画像をリターンする。

工程３５０では、サーバは、発見画像の各々が選択された回数の多い順に、発見画像をクライアントにリターンしてよい。工程３５０の後、クライアントによって表示される検索結果の画像はすべて、ユーザの望む検索を満たすことが好ましい。例えば、ユーザが「ＭＰ３」というキーワードに対する検索要求を提示した場合、工程３３０において、ユーザは、サーバによってリターンされた形状タイプのセットから、特定の形状（円形など）の「ＭＰ３」サンプル画像を選択してよく、工程３５０では、クライアントによって受信される検索結果に表示される画像は、円形の「ＭＰ３」に対応する全画像である。

第３の実施形態の上記の説明からわかるように、サーバは、クライアントから送信された画像検索要求を受信し、検索要求内のキーワードに対応する画像を画像データベース内で検索し、画像内の物体の形状で発見画像を分類して各形状タイプに対してサンプル画像を決定した後、所定の数の形状タイプのサンプル画像をクライアントにリターンし、クライアントによって決定された特定の形状タイプのサンプル画像を受信し、特徴値ベクトルが決定サンプル画像の特徴値ベクトルから所定の距離内にある画像を画像データベース内で検索する。したがって、第３の実施形態は、ユーザの意図に従って画像を検索し、特に、ユーザの検索キーワードに対応する画像形状タイプを提供し、さらに、ユーザによって決定された形状タイプに従って同様の形状を有する画像を検索することにより、ユーザの検索要望を満たし、ユーザの体験を高めることができる。

この第３の実施形態では、大規模な画像データベースの場合に、サーバが、比較的高いソフトウェアおよびハードウェアのアクセス速度、ならびに、高い処理能力を備えることを必要とする。

図４は、画像検索方法の第４の実施形態を示すフローチャートである。第３の実施形態との違いは、例えば、特徴値ベクトルが、クライアントによって決定されたサンプル画像の特徴値ベクトルから所定の距離内にある画像をさらに検索する工程を含まないことである。その代わり、第４の実施形態は、画像データベース内での上述のさらなる検索を行わずに、クライアントが決定したサンプル画像と同一または同様の形状タイプを有する画像データベース内の画像をリターンする。方法４００は、システム（８００など）上で実行されてよい。方法４００は、以下を含む。

工程４１０では、サーバが、クライアントから送信された画像検索要求を受信する。

クライアントから送信された画像検索要求は、画像属性内のファイル名または関連テキストコンテンツが検索要求内のキーワードを含む画像を要求するテキストキーワードを含む。

工程４２０で、サーバは、検索要求内のキーワードに対応する画像を画像データベース内で検索する。

画像データベースは、大量の画像を格納する。上述のように、これらの画像は、様々な方法で取得されてよい。また、上述したように、格納された各画像は、画像属性内に、画像のファイル名および関連テキストコンテンツを備える。

工程４３０では、サーバは、画像内の物体の形状で発見画像を分類し、各形状タイプのサンプル画像を決定し、所定の数の形状タイプのサンプル画像をクライアントにリターンする。

サーバは、工程４２０で検索された画像を画像の形状特徴で、例えば、上述のように、いくつかの典型的な形状タイプに分類しうる。

形状での画像の分類は、画像の特徴値を比較することによって実施されてよい。画像の形状タイプを決定するために特徴値を比較する方法は、上述の第１の実施形態で説明した方法と同様である。

その後、サーバは、この典型的な形状のサンプル画像として、各々の典型的な形状に対して１つの画像を選択してよい。さらに、サーバは、所定の数の形状タイプのサンプル画像をクライアントにリターンする。いくつかの実施形態において、形状タイプの所定の数は、最大で、分類された形状タイプの数である。

さらに、サーバは、検索要求内のキーワードに対応する画像から特定の数の画像のみを抽出してよい。いくつかの実施形態において、特定の数は、検索要求のキーワードに対応する全画像よりも少ない。例えば、サーバは、１，０００の画像だけを抽出してよく、次いで、これらの１，０００の画像を画像内の物体の形状で分類し、各形状タイプに対するサンプル画像を決定し、次いで、所定の数の形状タイプのサンプル画像をクライアントにリターンすることにより、検索要求のキーワードに対応しうる全画像よりも検索数を少なくして、検索効率を改善する。

工程４４０では、サーバは、クライアントによって決定された特定の形状タイプのサンプル画像を受信し、決定形状タイプの画像を画像データベースからクライアントにリターンする。

クライアントは、工程４３０においてサーバから送信された所定の数の形状タイプのサンプル画像を受信し、その後、ユーザは、サンプル画像の内の一画像を選択してよく、この選択は、ユーザが、その決定サンプル画像の特定の形状を有する画像を検索する意図があることを示す。次いで、この決定サンプル画像は、ネットワークを介してサーバに提示される。

発見画像は、工程４３０においてキーワードおよび形状に対応してすでに分類されているため、サーバが決定サンプル画像を受信した後、工程４４０において決定サンプル画像の形状タイプの画像をすぐにリターンすることができる。

例えば、「ＭＰ３」キーワードに関連する画像の例に戻ると、クライアントが円形「ＭＰ３」に関連する画像を選択した場合、サーバは、工程４１０〜工程４３０において、検索されたＭＰ３を、円形の形状タイプを含むいくつかの形状タイプにすでに分類しているため、キーワード「ＭＰ３」に対応する円形の画像として分類された画像をクライアントにすぐにリターンしうる。サーバは、画像の選択回数の多い順に、クライアントに画像をリターンしてよい。

第４の実施形態からわかるように、サーバは、クライアントから送信された画像検索要求を受信し、検索要求内のキーワードに対応する画像を画像データベース内で検索し、画像内の物体の形状で発見画像を分類して各形状タイプに対してサンプル画像を決定した後、所定の数の形状タイプのサンプル画像をクライアントにリターンし、クライアントによって決定された特定の形状タイプのサンプル画像を受信し、決定サンプル画像の形状タイプの画像を画像データベースからクライアントにリターンする。したがって、第４の実施形態は、ユーザの意図に従って画像を検索し、特に、ユーザの検索キーワードに対応する画像形状タイプを提供し、さらに、ユーザによって選択された形状タイプに従った形状を有する画像をリターンすることにより、ユーザの検索要望を満たし、ユーザの体験を高めることができる。

第４の実施形態は、大して規模の大きくない画像データベースに適用可能である。したがって、全体の検索処理中に、画像内の物体の形状で発見画像を分類するのにかかる時間は長くない。もちろん、比較的高いソフトウェア／ハードウェアのアクセス速度およびサーバの処理能力も、検索効率に影響する重要な要素でありうる。

図５は、画像検索のためのシステムの一実施形態を示すブロック図である。システム５００を構成するユニットおよびサブユニットは、１または複数のプロセッサ上で実行されるソフトウェアコンポーネントとして、特定の機能を実行するよう設計されたプログラム可能論理デバイスおよび／または特定用途向け集積回路などのハードウェアとして、もしくは、それらの組み合わせとして実装することができる。いくつかの実施形態において、ユニットおよびサブユニットは、コンピュータデバイス（パーソナルコンピュータ、サーバ、ネットワーク装置など）に本発明の実施形態に記載された方法を実行させるための複数の命令など、不揮発性記憶媒体（光学ディスク、フラッシュ記憶装置、携帯用ハードディスクなど）に格納することができるソフトウェア製品の形態で具現化されてよい。システム５００を構成するユニットおよびサブユニットは、単一のデバイス上に実装されてもよいし、複数のデバイスにわたって分散されてもよい。システム５００は、以下を含む。

画像が格納される画像データベース５１であって、同一キーワードに対応する画像が、検索に先立って、画像内の物体の形状で分類されており、特定の形状タイプの画像の各セットが決定サンプル画像を有する、画像データベース５１。

クライアントから送信された画像検索要求を受信するよう適合された検索要求受信ユニット５２。

画像要求内のキーワードに対応するいくつかの分類された形状タイプの各々のサンプル画像を画像データベース内で検索し、いくつかの形状タイプの各々について検索されたサンプル画像をクライアントにリターンするよう適合されたサンプル画像リターンユニット５３。

クライアントによって決定された特定の形状タイプのサンプル画像を受信するよう適合された決定画像受信ユニット５４。

キーワードに対応すると共に特徴値ベクトルが決定サンプル画像の特徴値ベクトルから所定の距離内にある画像を画像データベース内で検索するよう適合された検索ユニット５５。

発見画像をクライアントにリターンするよう適合された検索結果リターンユニット５６。

いくつかの実施形態において、システム５００は、さらに、例えば、大量の画像を含む形状タイプに対応するサンプル画像が、リターンされたサンプル画像内で早く現れるようにソートされるよう、画像データベース内のサンプル画像をソートするよう適合されたソートユニット５７を備えてもよい。

いくつかの実施形態において、画像データベース内の画像は、アップロードされた画像、および／または、多数のインターネットウェブページからウェブクローラによって収集された画像を含む。

いくつかの実施形態において、システム５００は、さらに、画像の特徴値を比較することによって、画像内の物体の形状で画像データベース内の画像を分類するよう適合された分類ユニット５８を備えてもよい。

いくつかの実施形態において、画像の特徴値を比較することは、特徴値の差が所定の距離内におさまる画像を同一または同様の形状タイプの画像のセットに分類することを含む。

いくつかの実施形態において、所定の距離内にある画像は、決定サンプル画像の特徴値ベクトルからの距離が所定の閾値より小さい特徴値ベクトルを有する画像データベース内の画像を含む。

システム５００によって画像検索を実施する方法は、上述の第１の方法の実施形態と同様である。

図６は、画像検索のためのシステムの一実施形態を示す。システム６００は、以下を含む。

画像が格納される画像データベース６１であって、同一キーワードに対応する画像が、検索に先立って、画像内の物体の形状で分類されており、特定の形状タイプの画像の各セットが決定サンプル画像を有する、画像データベース６１。

クライアントから送信された画像検索要求を受信するよう適合された検索要求受信ユニット６２。

画像要求内のキーワードに対応するいくつかの分類された形状タイプの各々のサンプル画像を画像データベース内で検索し、いくつかの形状タイプの各々について検索されたサンプル画像をクライアントにリターンするよう適合されたサンプル画像リターンユニット６３。

クライアントによって決定された特定の形状タイプのサンプル画像を受信するよう適合された決定画像受信ユニット６４。

決定サンプル画像と同一または同様の形状タイプを有する画像データベース内の画像をリターンするよう適合された検索結果リターンユニット６５。

システム６００によって画像検索を実施する方法は、上述の第２の方法の実施形態と同様である。

図７は、画像検索システムの別の実施形態を示す。システム７００は、以下を含む。

画像が格納された画像データベース７１。

クライアントから送信された画像検索要求を受信するよう適合された検索要求受信ユニット５２。

検索要求内のキーワードに対応する画像を画像データベース内で検索するよう適合された検索ユニット７３。

画像内の物体の形状で発見画像を分類するよう適合された分類ユニット７４。

分類ユニットによって分類された特定の形状タイプの各画像セットに対するサンプル画像を決定し、次いで、所定の数の形状タイプのサンプル画像をクライアントにリターンするよう適合されたサンプル画像リターンユニット７５。

クライアントによって決定された特定の形状タイプのサンプル画像を受信するよう適合された決定画像受信ユニット７６。

キーワードに対応すると共に特徴値ベクトルが決定サンプル画像の特徴値ベクトルから所定の距離内にある画像を画像データベース内で検索するよう適合された検索ユニット７７。

発見画像をリターンするよう適合された検索結果リターンユニット７８。

システム７００によって画像検索を実施する方法は、上述の第３の方法の実施形態と同様である。

図８は、画像検索システムの一実施形態を示す。システム８００は、以下を含む。

画像が格納された画像データベース８１。

クライアントから送信された画像検索要求を受信するよう適合された検索要求受信ユニット８２。

検索要求内のキーワードに対応する画像を画像データベース内で検索するよう適合された検索ユニット８３。

画像内の物体の形状で発見画像を分類するよう適合された分類ユニット８４。

分類ユニットによって分類された特定の形状タイプの各画像セットに対するサンプル画像を決定し、所定の数の形状タイプのサンプル画像をクライアントにリターンするよう適合されたサンプル画像リターンユニット８５。

クライアントによって決定された特定の形状タイプのサンプル画像を受信するよう適合された決定画像受信ユニット８６。

決定サンプル画像と同一または同様の形状タイプを有する画像データベース内の画像をリターンするよう適合された検索結果リターンユニット８７。

システム８００によって画像検索を実行する方法は、上述の第４の方法の実施形態と同様である。

上記の手段に関する説明では、便宜上、ユニットの機能に応じて異なるユニットとして説明を行っている。もちろん、実施形態の実施時には、各ユニットの機能は、１または複数のソフトウェアおよび／またはハードウェアに実装されてよい。

当業者は、必要な汎用ハードウェアプラットフォームとソフトウェアを組み合わせることによって本発明を実現できることを、実施形態に関する上記の説明から明確に理解できる。この概念に基づいて、本発明の実施形態の技術的解決法の精神、すなわち、換言すると、従来技術の改良に寄与する内容は、ＲＯＭ／ＲＡＭ、磁気ディスク、光学ディスクなどの記憶媒体に格納されてよく、コンピュータ装置（パーソナルコンピュータ、サーバ、または、ネットワークデバイスなどであってよい）に本発明のいくつかの実施形態を実行させるためのいくつかの命令を含む、コンピュータソフトウェア製品として具現化されてよい。

本発明の実施形態は、実施形態の間で同一または同様の部分については互いに参照できる進歩的な方法で各々記載されており、各実施形態は他の実施形態との差を強調する。特に、システムの実施形態は方法の実施形態と基本的に同様であるため、システムの説明は、かなり簡単になされているが、関連のある部分については、方法の実施形態の対応する説明を参照することができる。

いくつかの実施形態は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスまたはポータブルデバイス、フラットデバイス、マルチプロセッサシステム、マイクロプロセッサを利用したシステム、セットトップボックス、プログラム可能な家庭用電子機器、ネットワークＰＣ、小型コンピュータ、大型コンピュータ、ならびに、上記のシステムまたはデバイスの内のいずれかを含む分散型コンピュータ環境など、複数の汎用または専用コンピュータシステムの環境または構成に適用可能である。

いくつかの実施形態は、プログラムモジュールなど、コンピュータによって実行されるコンピュータ実行可能な命令の一般的な文脈で説明されてもよい。一般に、プログラムモジュールは、特定のタスクの実行または特定の抽象データ型の実装のためのルーチン、プロシージャ、オブジェクト、コンポーネント、データ構造などを含む。本発明は、通信ネットワークを介して接続されたリモート処理デバイスによってタスクが実行される分散型コンピュータ環境で実施されてもよい。分散型コンピュータ環境において、プログラムモジュールは、記憶デバイスなど、ローカルおよびリモートコンピュータの記憶媒体に格納されてよい。

本発明は、実施形態を用いて説明されているが、本発明の精神から逸脱しない多くの変形例および変更例を有していること、そして、添付の特許請求の範囲は、本発明の精神から逸脱することなくこれらの変形例および変更例を含むことを、当業者は理解すべきである。

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。
適用例１：画像検索のための方法であって、複数の画像のそれぞれに関連付けられた複数のキーワード、および複数の画像形状タイプに従って、画像データベース内の前記複数の画像を分類し、前記複数の画像形状タイプのそれぞれに対応する前記分類された複数の画像の中から、第１の複数のサンプル画像を決定し、画像検索要求をユーザから受信し、前記画像データベース内で第１のセットの発見画像を特定し、前記第１のセットの発見画像は、前記検索要求内のキーワードに対応することと、前記複数の画像形状タイプに対応する第２の複数のサンプル画像を前記ユーザに提示し、前記第２の複数のサンプル画像は、前記セットの発見画像から選択されることと、前記第２の複数のサンプル画像の内の一画像のユーザ選択に対応する決定サンプル画像を受信し、第２のセットの発見画像を特定し、前記第２のセットの発見画像は、前記第１のセットの発見画像から選択され、所定の基準を満たす１セットの対応する特徴値を有することと、を備える、方法。
適用例２：適用例１に記載の方法であって、複数の画像のそれぞれに関連付けられた複数のキーワード、および複数の画像形状タイプに従う、画像データベース内の前記複数の画像の分類は、同じキーワードを有する特定の数の画像を前記画像データベースから抽出することを含む、方法。
適用例３：適用例１に記載の方法であって、前記第２の複数のサンプル画像は、ソートされた順序で前記ユーザに提示される、方法。
適用例４：適用例１に記載の方法であって、複数の画像形状タイプに従う前記複数の画像の分類は、前記複数の画像の複数の特徴値を比較することを含む、方法。
適用例５：適用例４に記載の方法であって、前記複数の画像の複数の特徴値の比較は、特徴値の差が所定の距離内にある画像を同一または同様の形状タイプの画像としてグループ化することを含む、方法。
適用例６：適用例１に記載の方法であって、複数の形状タイプに対応する前記第２の複数のサンプル画像の前記ユーザに対する提示は、前記決定サンプル画像の特徴値ベクトルからの距離が所定の閾値未満である画像を前記画像データベース内で特定することを含む、方法。
適用例７：適用例１に記載の方法であって、複数の形状タイプに対応する前記第２の複数のサンプル画像は、ユーザ選択の回数の順に従って提示される、方法。
適用例８：適用例１に記載の方法であって、前記第２のセットの発見画像は、前記決定サンプル画像と同一または同様の形状タイプを有する、方法。
適用例９：画像検索を実行するためのシステムであって、
１または複数のプロセッサであって、複数の画像のそれぞれに関連付けられた複数のキーワード、および複数の画像形状タイプに従って、画像データベース内の前記複数の画像を分類し、前記複数の画像形状タイプのそれぞれに対応する前記分類された複数の画像の中から第１の複数のサンプル画像を決定し、画像検索要求をユーザから受信し、前記画像データベース内で前記検索要求内のキーワードに対応する第１のセットの発見画像を特定し、前記セットの発見画像から選択される、前記複数の画像形状タイプに対応する第２の複数のサンプル画像を前記ユーザに提示し、前記第２の複数のサンプル画像の内の一画像のユーザ選択に対応する決定サンプル画像を受信し、前記第１のセットの発見画像から選択され、所定の基準を満たす１セットの対応する特徴値を有する第２のセットの発見画像を特定するように構成された１または複数のプロセッサと、
前記１または複数のプロセッサに接続され、前記１または複数のプロセッサに命令を提供するよう構成された１または複数のメモリと、を備える、システム。
適用例１０：適用例９に記載のシステムであって、複数の画像のそれぞれに関連付けられた複数のキーワード、および複数の画像形状タイプに従って、画像データベース内の前記複数の画像を分類することは、同じキーワードを有する特定の数の画像を前記画像データベースから抽出することを含む、システム。
適用例１１：適用例９に記載のシステムであって、前記第２の複数のサンプル画像は、ソートされた順序で提示される、システム。
適用例１２：適用例９に記載のシステムであって、複数の画像形状タイプに従って前記複数の画像を分類することは、前記複数の画像の複数の特徴値を比較することを含む、システム。
適用例１３：適用例１２に記載のシステムであって、前記複数の画像の複数の特徴値を比較することは、特徴値の差が所定の距離内にある画像を同一または同様の形状タイプの画像としてグループ化することを含む、システム。
適用例１４：適用例９に記載のシステムであって、複数の形状タイプに対応する前記第２の複数のサンプル画像を前記ユーザに提示することは、前記決定サンプル画像の特徴値ベクトルからの距離が所定の閾値未満である画像を前記画像データベース内で特定することを含む、システム。
適用例１５：適用例９に記載のシステムであって、複数の形状タイプに対応する前記第２の複数のサンプル画像は、ユーザ選択の回数の順に従って提示される、システム。
適用例１６：適用例９に記載のシステムであって、前記第２のセットの発見画像は、前記決定サンプル画像と同一または同様の形状タイプを有する、システム。

Claims (12)

1. 画像検索のための方法であって、
   複数の画像のそれぞれに関連付けられた複数のキーワード、および複数の画像形状タイプに従って、画像データベース内の前記複数の画像を分類し、前記複数の画像の分類は、前記複数のキーワードの各々に対して、前記キーワードに関連付けられている１つの画像セットを抽出することと、前記抽出された画像セット内の少なくともいくつかの前記複数の画像形状タイプを特定することを含み、
   前記複数の画像形状タイプのそれぞれに対応する前記分類された複数の画像の中から、第１の複数のサンプル画像を決定し、
   画像検索要求をユーザから受信し、
   前記画像データベース内で第１のセットの発見画像を特定し、前記第１のセットの発見画像は、前記検索要求内のキーワードに対応することと、
   前記複数の画像形状タイプに対応する第２の複数のサンプル画像を前記ユーザに提示し、前記第２の複数のサンプル画像は、前記検索要求内の前記キーワードに対応する前記第１のセットの発見画像から選択され、前記複数の画像形状タイプに対応する前記第２の複数のサンプル画像は、ユーザ選択の回数の順に従って提示されることと、
   前記第２の複数のサンプル画像の内の一画像のユーザ選択に対応する決定サンプル画像を受信し、
   第２のセットの発見画像を特定し、前記第２のセットの発見画像は、前記第１のセットの発見画像のサブセットを備え、少なくとも部分的に前記決定サンプル画像に基づく所定の基準を満たす１セットの対応する特徴値を有することと、
   を備える、方法。
2. 請求項１に記載の方法であって、前記第２の複数のサンプル画像は、ソートされた順序で前記ユーザに提示される、方法。
3. 請求項１に記載の方法であって、複数の画像形状タイプに従う前記複数の画像の分類は、前記複数の画像の複数の特徴値を比較することを含む、方法。
4. 請求項３に記載の方法であって、前記複数の画像の複数の特徴値の比較は、特徴値の差が所定の距離内にある画像を同一または同様の形状タイプの画像としてグループ化することを含む、方法。
5. 請求項１に記載の方法であって、複数の形状タイプに対応する前記第２の複数のサンプル画像の前記ユーザに対する提示は、前記決定サンプル画像の特徴値ベクトルからの距離が所定の閾値未満である画像を前記画像データベース内で特定することを含む、方法。
6. 請求項１に記載の方法であって、複数の形状タイプに対応する前記第２の複数のサンプル画像は、ユーザ選択の回数の順に従って提示される、方法。
7. 画像検索を実行するためのシステムであって、
   １または複数のプロセッサであって、
   複数の画像のそれぞれに関連付けられた複数のキーワード、および複数の画像形状タイプに従って、画像データベース内の前記複数の画像を分類し、前記複数の画像の分類は、前記複数のキーワードの各々に対して、前記キーワードに関連付けられている１つの画像セットを抽出することと、前記抽出された画像セット内の少なくともいくつかの前記複数の画像形状タイプを特定することを含み、
   前記複数の画像形状タイプのそれぞれに対応する前記分類された複数の画像の中から第１の複数のサンプル画像を決定し、
   画像検索要求をユーザから受信し、
   前記画像データベース内で前記検索要求中のキーワードに対応する第１のセットの発見画像を特定し、
   前記検索要求中の前記キーワードに対応する前記第１のセットの発見画像から選択される、前記複数の画像形状タイプに対応する第２の複数のサンプル画像を前記ユーザに提示し、前記複数の画像形状タイプに対応する前記第２の複数のサンプル画像は、ユーザ選択の回数の順に従って提示され、
   前記第２の複数のサンプル画像の内の一画像のユーザ選択に対応する決定サンプル画像を受信し、
   前記第１のセットの発見画像のサブセットを備え、少なくとも部分的に前記決定サンプル画像に基づく所定の基準を満たす１セットの対応する特徴値を有する第２のセットの発見画像を特定するように構成された１または複数のプロセッサと、
   前記１または複数のプロセッサに接続され、前記１または複数のプロセッサに命令を提供するよう構成された１または複数のメモリと、
   を備える、システム。
8. 請求項７に記載のシステムであって、前記第２の複数のサンプル画像は、ソートされた順序で提示される、システム。
9. 請求項７に記載のシステムであって、複数の画像形状タイプに従って前記複数の画像を分類することは、前記複数の画像の複数の特徴値を比較することを含む、システム。
10. 請求項９に記載のシステムであって、前記複数の画像の複数の特徴値を比較することは、特徴値の差が所定の距離内にある画像を同一または同様の形状タイプの画像としてグループ化することを含む、システム。
11. 請求項７に記載のシステムであって、複数の形状タイプに対応する前記第２の複数のサンプル画像を前記ユーザに提示することは、前記決定サンプル画像の特徴値ベクトルからの距離が所定の閾値未満である画像を前記画像データベース内で特定することを含む、システム。
12. 請求項７に記載のシステムであって、前記第２のセットの発見画像は、前記決定サンプル画像と同一または同様の形状タイプを有する、システム。

Images