JP6141305B2 - 画像検索 - Google Patents

Description

本開示は、ネットワーク検索技術の分野に関し、より具体的には、画像検索のための方法および装置に関する。

本出願は、２０１１年１１月２５日出願の中国特許出願第２０１１１０３８０４４２．Ｘ号、表題「Ｉｍａｇｅ Ｓｅａｒｃｈｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ」に対する外国優先権を主張するものであり、参照によりその全体が本明細書に組み込まれる。

画像検索技術の適用と開発に伴い、視覚的特徴に基づく画像検索技術が画像検索技術の主流である。視覚的特徴に基づく画像検索技術の実装は、視覚的特徴に基づく画像検索データベースの事前構築を必要とする。具体的には、図１は、視覚的特徴に基づく画像検索データベースの構築のための例示の方法のフローチャートを図解する。

１０２において、特徴抽出システムが構築される。特徴抽出システムは、画像から抽出されるテンプレートの視覚的特徴を定義する。

１０４において、視覚的特徴は、構築された特徴抽出システムを利用して、画像検索データベース内の複数の画像から抽出される。画像は、その画像から抽出された１つ以上の視覚的特徴によって表現され得る。

１０６において、各画像に対応する視覚的特徴は、索引キーワードとして使用されて逆索引を構築し、視覚的特徴に基づく画像検索データベースを生成する。視覚的特徴に基づく画像検索データベース構築のワークフローは、このようにして完了する。

１０２から１０６までの操作に基づいて、視覚的特徴に基づく画像検索データベースが構築される。サーバは、視覚的特徴に基づく画像検索データベースに基づいて画像検索を行い得る。図２は、サーバによる画像検索データベース内の画像検索のための例示の方法のフローチャートを図解する。

２０２において、サーバは、クライアント端末により提出される画像検索要求を受信する。２０２において、サーバは、視覚的特徴に基づく画像検索データベースを含み得るか、またはサーバは、視覚的特徴に基づく画像検索データベースにアクセスし得る。画像検索要求は、ユーザが要求する検索用の画像を含む。

２０４において、サーバは、画像検索要求時に受信した検索用の画像から視覚的特徴を抽出する。２０４において、視覚的特徴が検索用の画像から抽出される方法は、視覚的特徴に基づく画像検索データベースが構築されるときに視覚的特徴がその画像から抽出される方法と同一であり得る。

２０６において、サーバは、抽出された視覚的特徴に基づいて、構築された逆索引に従って、視覚的特徴に基づく画像検索データベースから抽出された視覚的特徴に対応する一組の画像を検索する。

２０８において、サーバは、画像検索要求を送信するクライアント端末に、検索結果を送信する。サーバが画像を検索する操作がその後完了する。

２０４から２０８までの操作に基づいて、サーバは、視覚的特徴に基づく画像検索データベースに基づいて、ユーザによって要求された一組の画像を返す。

実際の適用において、上述の視覚的特徴に基づく画像検索技術は、検索機能を有するサーバが通常装備しているテキスト検索エンジンを使用する代わりに、新しい視覚的特徴に基づく検索エンジンを作成することによって実装され得る。したがって、サーバリソースを効果的に利用することができない。

本発明の概要は、以下の発明を実施するための形態においてさらに記載される概念の選択を簡潔な形態で導入するために提供される。本発明の概要は、特許請求される主題のすべての重要な特徴または基本的な特徴を特定するよう意図されるものでも、特許請求される主題の範囲の決定を支援するものとして使用されるよう単独で意図されるものでもない。例えば、「技術」という用語は、上述の文脈および本開示内で許可されるデバイス（複数を含む）、システム（複数を含む）、方法（複数を含む）、および／またはコンピュータ可読命令を指し得る。

本開示は、画像検索のための方法および装置を提供する。本技術は、サーバリソースの利用率を改善し得る。

本開示は、画像検索のための方法を提供する。画像検索データベース内の各画像について、それぞれの画像のそれぞれのラベルが、それぞれの画像に対応する記述情報に基づいて生成される。生成されたそれぞれのラベルとそれぞれの画像との間の対応関係が記憶される。画像検索のための方法は、以下の操作を含み得る。

受信された画像検索要求に基づいて、画像検索要求内の検索用の画像に対応する記述情報が取得される。

検索用の画像の記述情報に基づいて、検索用の画像のラベルが生成される。検索用の画像のラベルを生成するための方法は、画像検索データベース内の各画像のそれぞれのラベルを生成するための方法と同一であるか、または実質的に類似している。

それぞれのラベルとそれぞれの画像との間の記憶された対応関係に基づいて、検索用の画像のラベルに対応する１つ以上の画像が決定される。決定された１つ以上の画像は、画像検索要求を送信するクライアント端末に送信される。

本開示は、画像検索用の装置も提供する。この装置は、対応関係生成ユニット、記述情報検索ユニット、ラベル生成ユニット、画像決定ユニット、および画像供給ユニットを含み得る。

対応関係生成ユニットは、画像検索データベース内の各画像について、それぞれの画像に対応する記述情報に基づいてそれぞれの画像のそれぞれのラベルを生成し、生成されたそれぞれのラベルとそれぞれの画像との間の対応関係を記憶する。画像検索のための方法は、以下の操作を含み得る。

記述情報検索ユニットは、受信された画像検索要求に基づいて、画像検索要求中の検索用の画像に対応する記述情報を取得する。

ラベル生成ユニットは、記述情報検索ユニットによって取得された検索用の画像の記述情報に基づいて、検索用の画像のラベルを生成する。検索用の画像のラベルを生成するための方法は、画像検索データベース内の各画像のそれぞれのラベルを生成するための方法と同一であるか、または実質的に類似している。

画像決定ユニットは、それぞれのラベルとそれぞれの画像との間の記憶された対応関係に基づいて、ラベル生成ユニットによって生成される検索用の画像のラベルに対応する１つ以上の画像を決定する。画像供給ユニットは、画像検索要求を送信するクライアント端末に、決定された１つ以上の画像を送信する。

本開示に提供される本技術のうちの少なくとも１つは、最初に、画像検索データベース内の各画像について、それぞれの画像に対応する記述情報に基づいてそれぞれの画像のそれぞれのラベルを生成し、生成されたそれぞれのラベルとそれぞれの画像との間の対応関係を記憶し得る。本技術は、画像検索要求に基づいて、画像検索要求内の検索用の画像に対応する記述情報を取得する。本開示は、次に、検索用の画像の記述情報に基づいて、検索用の画像のラベルを生成する。検索用の画像のラベルを生成するための方法は、画像検索データベース内の各画像のラベルを生成するための方法と同一であるか、または実質的に類似している。

さらに、本技術は、それぞれのラベルとそれぞれの画像との間の記憶された対応関係に基づいて、検索用の画像のラベルに対応する１つ以上の画像を決定し、画像検索用の要求を送信するクライアント端末に、決定された１つ以上の画像を送信する。

本技術において、画像の記述情報に基づいて生成される対応画像のラベルは、テキスト形式であり得る。したがって、ラベルに基づく画像検索は、既存のテキスト検索エンジンを利用することができ、それによって、サーバリソースの利用率を改善する。

本開示の実施形態をより良好に図解するために、以下は、実施形態の説明において使用される図の簡単な導入である。以下の図が本開示の一部の実施形態にのみ関連しており、本開示を限定するために使用されるものではないことは明らかである。当業者は、創造的に工夫することなく、本開示における図に従って他の図を得ることができる。
図１は、視覚的特徴に基づく画像検索データベースを構築するための例示の方法のフローチャートを図解する。 図２は、サーバによる画像検索データベース内の画像検索のための例示の方法のフローチャートを図解する。 図３は、画像検索データベース内の各画像のラベルを生成するための例示の方法のフローチャートを図解する。 図４は、画像検索データベース内の各画像のラベルを生成するための別の例示の方法のフローチャートを図解する。 図５は、画像に対応するラベルを生成するための別の例示の方法のフローチャートを図解する。 図６は、画像の記述情報から抽出されるキーワードに基づいて画像のラベルを生成するための例示の方法のフローチャートを図解する。 は、サーバによって実施される画像検索ための例示の方法のフローチャートを図解する。 は、サーバによる画像検索のための別の例示の方法のフローチャートを図解する。 は、本開示の第２の実施例に従う製品のテキストラベルを抽出するための例示の方法のフローチャートを図解する。 は、本開示の第３の実施形態例に従う画像検索用の例示の装置の構成図を図解する。 は、本開示の第３の実施形態例に従う画像検索用の別の例示の装置の構成図を図解する。

本開示は、画像検索のための方法および装置を提供する。本技術は、サーバリソースの利用率を改善し得る。本技術は、画像検索のプロセスにおいて適用され得、方法または装置のいずれかとして実装され得る。以下は、図の参照による本技術の詳細な説明である。本明細書に記載される実施形態は、例示の実施形態であり、本開示の範囲を限定するために使用されるものではない。

本開示は、本開示の第１の実施形態例に従う画像検索のための方法を提供する。この方法は、サーバのテキスト検索エンジンを使用して画像検索を行うためにインターネット上で情報検索機能を有するサーバにおいて使用され得、それによって、サーバリソースの利用率を改善する。

第１の実施形態例における画像検索のための方法は、画像を検索するサーバの基礎として、画像検索データベース内の各画像のラベルを事前構築し得る。したがって、サーバのテキスト検索エンジンは、画像検索を行うために使用され得る。以下の説明は、各画像のラベルを構築する２つの例を説明する。

各画像のラベルを構築する１つの例では、画像検索データベース内の各画像についてそれぞれのラベルが構築され、それぞれのラベルとそれぞれの画像との間の対応関係が記憶される。図３は、画像検索データベース内の各画像のラベルを生成するための例示の方法のフローチャートを図解する。３０２において、それぞれの画像が画像検索データベースから選択され、それぞれの画像の記述情報が取得される。それぞれの画像の記述情報を取得するためのプロセスは、以下の通りである。それぞれの画像に対応するエンティティが決定され、そのエンティティの記述情報がそれぞれの画像の記述情報として使用される。例えば、それぞれの画像の記述情報は主としてそれぞれの画像に対応するエンティティの属性を記述する。それぞれの画像の記述情報はエンティティの記述情報を概して含み得る。それぞれの画像に対応するエンティティは、それぞれの画像に含まれる特定内容を含んでよい。例えば、電子商取引の分野では、それぞれの画像に対応するエンティティは概して製品でよい。対応して、画像の記述情報は製品のさまざまな記述情報を含み得、例えば製品名、製品属性（実際の色、実際の寸法等）、製品の使用法、製品のカテゴリ等である。

３０４では、それぞれの画像のそれぞれのラベルは取得されたそれぞれの画像の記述情報に基づいて生成される。３０２において、それぞれの画像の記述情報は、概してテキスト形式である。対応して、それぞれの画像の記述情報に基づいて生成されるそれぞれのラベルも、概してテキスト形式である。それぞれのラベルは、それぞれの画像に対応するエンティティの属性特性を識別するために主として使用される。例えば、１つのラベルは異なる画像に対応し得る。

３０６において、生成されたそれぞれのラベルとそれぞれの画像との間の対応関係が記憶される。例えば、索引付けのための方法は、対応関係を記憶するために使用され得、画像検索の速度を改善する。画像検索データベース内のそれぞれの画像に対応するそれぞれのラベルは、索引として使用され得る。逆索引付け方法は、それぞれのラベルとそれぞれの画像との間の対応関係を記憶するために使用される。それぞれのラベルとそれぞれの画像を記憶するための本明細書に記述される方法は単に例であることを理解されたい。表またはリスト等の対応関係を記憶するために異なる記憶方法を柔軟に設定可能であり、本明細書中では列挙されない。

３０８において、画像検索データベース内に生成されたラベルを有しない画像があるかどうかが決定される。決定結果が肯定的である場合、プロセスは、３０２の操作に戻る。そうでない場合、プロセスは打ち切られる。

３０８において、画像検索データベース内にラベルの付けられていない画像があるかどうかの決定は、画像検索データベース内に未選択画像があるかどうかの決定となる。画像検索データベース内の画像用の索引を構築するプロセスは、このようにして完了する。

３０２から３０８までの操作を介して、画像検索データベース内の対応するそれぞれの画像のそれぞれのラベルが生成され、それぞれのラベルとそれぞれの画像との間の対応関係が記憶される。

以下の説明は、各画像のラベルを構築する第２の例を記述する。画像検索データベース内の各画像のラベルを生成することに加え、それぞれの画像内の１つまたはそれ以上のそれぞれの視覚的特徴がさらに抽出される。それぞれのラベルとそれぞれの画像との間の対応関係が記憶されると、それぞれの視覚的特徴とそれぞれのラベルとの間の対応関係も記憶される。それぞれの画像について生成されるそれぞれのラベルと、それぞれのラベルに対応するそれぞれの画像と、それぞれの画像から抽出されるそれぞれの視覚的特徴との間の対応関係が記憶される。

図４は、画像検索データベース内の各画像のラベルを生成するための別の例示の方法のフローチャートを図解する。

４０２において、それぞれの画像が画像検索データベースから選択され、それぞれの画像の記述情報が取得される。４０２の操作は、３０２の操作と実質的に同一であるか、または類似しており、したがって、本明細書において詳述されない。

４０４においてそれぞれの画像のラベルが、取得されたそれぞれの画像の記述情報に基づいて生成される。４０４の操作は、３０４の操作と実質的に同一であるか、または類似しており、したがって、本明細書において詳述されない。

４０６において、それぞれの画像の１つまたはそれ以上の画像特徴が抽出される。それぞれの画像の画像特徴は、事前設定画像特徴テンプレートに基づいて抽出され得る。画像特徴はそれぞれの画像の視覚的特徴、またはそれぞれの画像のスクリーンショット等のそれぞれの画像を表現する任意の他の情報を含み得る。詳細な抽出プロセスは、画像処理技術を介して実装され得る。

１つの例において、４０４および４０６の操作は、シーケンス順序を有さず、したがって、４０４および４０６の操作は、同時に行われ得るか、または４０６の操作は、４０４の操作の前に行われ得る。

４０８において、それぞれの画像のために生成されるそれぞれのラベルと、それぞれの画像から抽出されるそれぞれの１つまたはそれ以上の画像特徴と、それぞれの画像との間の対応関係が記憶される。４０８において、それぞれの画像のために生成されるそれぞれのラベルと、それぞれの画像から抽出されるそれぞれの１つまたはそれ以上の画像特徴と、それぞれの画像との間の対応関係は、索引付けを介して記憶され得、画像検索の速度を増加する。例えば、画像検索データベース内のそれぞれの画像に対応するそれぞれのラベルは、索引として使用され得る。逆索引付け方法を用いて、それぞれの画像のために生成されるそれぞれのラベルと、それぞれの画像から抽出されるそれぞれの１つまたはそれ以上の画像特徴と、それぞれの画像との間の対応関係を記憶し得る。それぞれのラベルおよびそれぞれの画像を記憶するための本明細書中に記述される方法は単に例であることを理解されたい。表またはリスト等の対応関係を記憶するために異なる記憶方法を柔軟に設定し得るが、本明細書中には列挙されない。

４１０において、画像検索データベース内に生成されたラベルを有しない画像があるかどうかが決定される。決定結果が肯定的である場合、プロセスは、４０２の操作に戻る。そうでない場合、プロセスは打ち切られる。画像検索データベース内の各画像用の索引を構築するためのプロセスは完了する。

４０２から４１０の操作を通し、それぞれのラベルが生成され、画像検索データベース内の各画像についてそれぞれの画像特徴が抽出され、そして、それぞれの生成されたラベルと、それぞれの抽出された画像特徴と、およびそれぞれの画像との間の対応関係が記憶される。

画像検索データベース内の各画像用のそれぞれのラベルを創生するための前述の第１および第２の例示の方法は、検索機能、画像検索データベース、または画像検索データベースにアクセスするための機能を有する他のエンティティを有するサーバによって実装し得る。

本開示は、３０４の操作および４０４の操作を実装するための例をさらに提供する。それぞれの画像の取得された記述情報に基づいて、それぞれのラベルがそれぞれの画像のために生成される。図５に対応するラベルを生成するための別の例示の方法のフローチャートを図解する。

５０２において、あるカテゴリに関する１つまたはそれ以上のキーワードが、それぞれの画像の記述情報から抽出される。例えば、ラベルを生成するために取得された記述情報から抽出されるキーワードは、それぞれの画像に対応するそれぞれのエンティティのカテゴリに基づいて設定し得る。例えば、製品のあるカテゴリを有するエンティティの記述情報は、製品名、製品属性、製品の使用法、製品分類等を含み得る。製品名および製品属性は、それぞれの画像の記述情報から抽出されるキーワードとして設定し得、そして製品名および製品属性に対応する情報を抽出するために使用し得る。上に述べられたことは、それぞれの画像に対応する記述情報からラベル生成用の前述のキーワードを抽出するための単なる例であることを理解されたい。いくつかの例においては、それぞれの画像に対応するそれぞれのエンティティの特定タイプに基づいて、画像の記述情報から抽出されるように異なるキーワードを設定し得るが、本明細書中には詳述されない。

５０４において、それぞれの画像に対応するそれぞれのラベルは、抽出されたキーワードに基づいて生成される。５０４において、それぞれの画像のそれぞれのラベルを生成するためのアルゴリズムは、記述情報から抽出されるキーワードに基づいて、それぞれのラベルを生成するように事前設定し得る。適用例においては、アルゴリズムは柔軟に設定し得る。画像に対応するラベルを生成するプロセスは完了する。

本開示の第１の実施形態例は、５０２においてより多くの例を提供し得、それぞれの画像の記述情報から抽出されるキーワードに基づいて、それぞれの画像に対応するそれぞれのラベルを生成する。図６は、それぞれの画像の記述情報から抽出されるキーワードに基づいてそれぞれの画像に対応するそれぞれのラベルを生成するための例示の方法のフローチャートを図解する。

６０２において、それぞれの画像の記述情報から抽出されるキーワードから、キーワードが選択される。例えば、６０２において、選択されるキーワードはすべての抽出されたキーワードから無作為に選択し得、あるいは事前設定順序に従って選択し得る。

６０４において、選択されたキーワードのカテゴリが決定され、そのキーワードに対応するラベルベクトルが、キーワードのカテゴリに対応するアルゴリズムに基づいて生成される。例えば、キーワードのカテゴリに対応するアルゴリズムは、柔軟に設定し得、例えば、抽出されたキーワードの正規化、キーワードに対応する情報のサンプル処理等である。本開示は制限を課さない。

６０６において、それぞれの画像の記述情報から抽出された各キーワードが選択されたかどうかが決定される。決定結果が肯定的である場合、６０８の操作が行われる。そうでない場合、プロセスは、６０２の操作に戻る。

６０８において、それぞれの画像のそれぞれのラベルは、各キーワードに対応する各ラベルベクトルならびに各キーワードのカテゴリの重み値に基づいて生成される。例えば、それぞれのラベルが生成されるとき、各キーワードのラベルベクトルをその重みで乗じ、すべてのキーワードに関するそれぞれの重みを有するそれぞれのラベルベクトルの積が加算されて、それぞれの画像に対応するそれぞれのラベルを決定する。別の例では、それぞれの画像に対応するそれぞれのラベルは、それぞれの重みを乗じたすべてのキーワードのそれぞれのラベルベクトルの平均値によって決定される。いくつかの他の例では、それぞれの画像に対応するそれぞれのラベルを生成するためのアルゴリズムは、各キーワードに対応するラベルベクトルならびに各キーワードのカテゴリの重みに基づいて柔軟に設定され得る。例えば、それぞれのカテゴリのそれぞれの重みは１として設定され得、これは、それぞれのカテゴリが重み処理を必要としないことを表す。

画像のラベルを生成するために画像の対応する記述情報からキーワードを抽出するプロセスは完了する。

画像検索データベース内の画像についてラベルが生成され、ラベルと画像との間の対応関係が前述の実施形態例における技術に従って記憶された後、サーバは対応関係に基づいて画像検索を実施し得る。図７はサーバによって実施される画像検索のための例示の方法のフローチャートを図解する。

７０２において、サーバはクライアント端末から画像検索要求を受信する。画像検索要求は、概してユーザによって要求される検索用の画像が含まれ得る（検索用の画像）。

７０４において、受け取られた画像検索要求に基づいて、サーバは画像検索要求に含まれる検索用の画像の対応情報を取得する。サーバが検索用の画像の対応情報を取得する７０４の操作は、概して、選択された画像の対応する記述情報を取得する３０２の操作と同一であるか、または類似している。したがって、詳細は本明細書中では記述されない。

７０６において、検索用の画像のラベルは、検索用の画像に対応する記述情報に基づいて生成される。検索用の画像のラベルを生成する７０６の操作は、画像検索データベース内の画像のラベルを生成する３０４の操作と概して同一あるいは類似する。したがって、詳細は本明細書中では記述されない。

７０８において、検索用の画像のラベルに対応する１つまたはそれ以上の画像は、ラベルと画像との間の記憶された対応関係に基づいて決定される。例えば、検索用の画像のラベルに基づいて、ラベルと画像との間の記憶された対応関係は、検索用の画像のラベルに対応する１つまたはそれ以上の画像を発見するために検索される。ラベルと画像との間の記憶された対応関係は、ラベル創生の第１の例に従って構築される記憶された対応関係、あるいはラベル創生の第２の例に従って構築される記憶された対応関係であり得る。

７１０において、サーバは、画像検索要求を送信するクライアント端末に、決定された１つまたはそれ以上の画像を送信する。７１０においてサーバが決定された画像をクライアント端末に送信する前に、サーバは、１つまたは複数の事前設定規則に基づいて決定された画像を処理し得る。この事前設定規則は柔軟に設定し得る。例えば、事前設定規則はサーバによってあるいはクライアント端末によって設定し得る。事前設定規則は、高から低までの解像度に基づく決定された画像のランク付け、あるいは高から低までの画像に対応するエンティティの属性に基づく画像のランク付けであり得る。詳細は本明細書中では記述されない。

前述のプロセスに基づいて、サーバは、検索用の画像のラベルに基づいて画像検索を行い得る。それぞれのラベルがそれぞれの画像に対応する記述情報に基づいて生成されるため、ラベルは、概して、テキスト形式である。したがって、サーバのこのテキスト検索エンジンは、画像検索を行うために使用され得、それによって、サーバリソースの利用率を改善する。

前述の画像検索プロセスにおいて、ラベルと画像検索用の画像との間の対応関係は、ラベル創生用の第１の例示の方法に従って構築される対応関係、あるいは、ラベル創生の例に関する第２の例示の方法に従い構築される対応関係であり得る。

本開示の第１の実施形態例は、画像検索のための方法を提供する。画像検索データベース内の画像のラベル生成のための方法は、ラベル創生の第２の例に従い生成される対応関係に基づき得る。図８は、サーバによる画像検索用の別の例示の方法のフローチャートを図解する。

８０２において、サーバはクライアント端末から画像検索要求を受信する。この画像検索要求は、概して検索用の画像を含み得る。

８０４において、受け取った画像検索要求に基づいて、サーバは、画像検索要求に含まれる検索用の画像の対応情報を取得する。サーバが検索用の画像の対応情報について取得する８０４の操作は、概して、選択された画像の対応する記述情報を取得する３０２の操作と同一であるか、または類似している。したがって、詳細は本明細書中では記述されない。

８０６において、検索用の画像のラベルは、検索用の画像に対応する記述情報に基づいて生成される。検索用の画像のラベルを生成する８０６の操作は、画像検索データベース内の画像のラベルを生成するための３０４の操作と概して同一あるいは類似する。したがって、詳細は本明細書中では記述されない。

８０８において、サーバは検索用の画像の１つまたはそれ以上の画像特徴を抽出する。検索用の画像から画像特徴を抽出する８０８の操作は、それぞれの画像の画像特徴を生成する４０６の操作と概して同一であるか、または類似している。したがって、詳細は本明細書において記載されない。さらに、８０８の操作は、８０４または８０６の操作の前に行われ得る。

８１０において、サーバはそれぞれ、検索用の画像の抽出された画像特徴と１つまたはそれ以上の決定された画像の画像特徴との間の類似度の比較を実施する。例えば、検索用の画像のラベルに対応する１つ以上の画像は、ラベルと画像との間の記憶された対応関係に基づいて決定し得る。

８１２において、決定された画像は、決定された画像と検索用の画像との間の類似度に基づいて、高から低までそれぞれランク付けされる。

８１４において、サーバは、画像検索要求を送信するクライアント端末に、決定された画像を送信する。８１４の操作は、７１０の操作と概して同一であるか、または類似している。したがって、詳細は本明細書に記載されない。

前述のプロセスに基づいて、サーバは、検索用の画像のラベルに基づいて画像検索を行い得る。それぞれのラベルは、それぞれの画像に対応する記述情報に基づいて生成されるため、ラベルは概してテキスト形式である。したがって、サーバの現行テキスト検索エンジンは画像検索を実施するために使用し得、それにより、サーバリソースの利用率を改善する。さらに、クライアント端末への戻り結果は類似度のランク付けに基づいて処理されるため、画像検索に最も関連する画像がクライアントに優先的に再提出され得る。

本開示の第２の実施形態例は、ラベルを生成するための適用シナリオ例を提供する。電子商取引ウェブサイトは、大量の製品情報を有する情報データベースを持ち得る。各製品はテキスト形式で記述情報を有し得る。テキスト記述情報は、製品の画像と比較的強い相関関係を有するが、何故ならばそれらは両方とも製品の記述であるからである。製品のテキスト記述情報は、製品の画像の記述情報と同等であり得る。したがって、テキストラベルは画像の内容を表現し得る。製品画像検索はテキストラベルに基づいて関連画像を検索し、その後に類似度に基づいて画像をランク付けし得る。

テキスト記述情報（簡単な記述、キーワード、分類、属性等）は製品に対応し、人による批評の後に手作業で加えられるラベルをも含み得る。本開示の実施形態例はそのような記述情報からキーワードを抽出し、テキストラベルを生成する。いくつかの例では、これらのテキストラベルはその相対性程度に従ってランク付けられ得る。１つの例では、製品の異なる次元のラベルを含む一組のラベルは、ベクトル空間を形成する。この次元は、本開示の第１の実施形態例の図５に示されるように、５０２において設定されるカテゴリであり得る。以下の記述の便宜上、いくつかの符号が以下に定義される。

Ｔは製品のテキストラベルを表す。

Ｔ１は、製品について手作業で加えられたラベルに基づいて生成されるラベルを表す。

Ｔ２は、製品内の簡単な記述に基づいて生成されるラベルを表す。

Ｔ３は、製品のキーワードに基づいて生成されるラベルを表す。

Ｔ４は、製品の分類に基づいて生成されるラベルを表す。

Ｔ５は、製品の属性に基づいて生成されるラベルを表す。

ｗ１、ｗ２、ｗ３、ｗ４、ｗ５は、Ｔ１、Ｔ２、Ｔ３、Ｔ４、およびＴ５のそれぞれの重みを表す。

製品のテキストラベルは以下の式に基づいて計算され得る。

Ｔ＝ｗ１^＊Ｔ１＋ｗ２^＊Ｔ２＋ｗ３^＊Ｔ３＋ｗ４^＊Ｔ４＋ｗ５^＊Ｔ５

製品について手作業で加えられるラベル、製品内の簡単な記述、製品のキーワード、製品の分類、および製品の属性は、５０２において設定されるカテゴリに対応する。

図９は、本開示の第２の実施形態例に従う製品のテキストラベルを抽出する例示の方法のフローチャートを図解する。

９０２において、手作業ラベルが入力される。さまざまな理由により、電子商取引ウェブサイト上の製品に関するユーザの記入情報は、しばしば非公式で、しばしば機械識別によってエラーを生じる。したがって、人が製品情報を批評した後、人により手作業でマークされたラベルが存在する。機械による自動ラベル付けに対する訂正として、手作業ラベルがシステムに入力される。製品は、高から低までの相対性に基づいて入力される複数のラベルを有し得る。例えば、製品ＩＤは、索引キーとして使用され得、一組のラベルまたは一連のラベルは、索引値として使用され得る。そのような索引キーおよび索引値は、Ｔｒｉｅデータベース等の高性能検索データ構造に記憶され得る。

９０４において、手作業ラベルが製品ＩＤに従って検索され、ラベルＴ１が手作業ラベルに基づいて生成される。９０４の操作は、６０４の操作と対応し得る。例えば、手作業ラベルが入力されるとき、その手作業ラベルは相対性に従って高から低までランク付けされている。Ｔ１の計算式は、以下の通りである。

Ｔ１＝１／ｌｏｇ（ランク＋１）
式中、ランクは、ラベルの相対性に従うそれぞれのラベルのランクを表す。前述の式に基づいて、ランク付けは、ラベルＴ１に正規化される。

９０６において、ラベルＴ２は製品の簡単な記述に基づいて生成される。９０６の操作は、６０４の操作に対応し得る。例えば、製品の簡単な記述は短くなり得る。自然言語処理（ＮＰＬ）を簡単な記述を前処理するために使用でき、３種類のワード（コアワード、名詞、および他のワード）を取得する。各ワードはラベルとして使用し得る。ワードの重要性のシーケンスは：コアワード＞名詞＞他のワード。重み値は、経験に基づいて各タイプにつき設定し得る。

ラベルＴ２＝カテゴリ重み＊そのようなカテゴリにおけるそれぞれのワードのワード出現頻度

その後、ラベルＴ２は、正規化を介して取得される。

９０８において、ラベルＴ３は製品のキーワードに基づいて生成される。９０８の操作は、６０４の操作に対応する。例えば、ユーザは複数のキーワードを記入し得る。各キーワードは短い長さを有し得る。記入シーケンスは、統計に基づいて高から低まで重要性のシーケンスとして取り扱われる。例えば、重要性の計算の式は、以下の通りであり得る。

１／ｌｏｇ（ランク＋１）

自然言語処理（ＮＰＬ）を用いて各キーワードを前処理し、３種類のワード（コアワード、名詞、および他のワード）を取得し得る。各ワードはラベルとして使用され得る。ワードの重要性のシーケンスは、コアワード＞名詞＞その他のワードである。重み値は、経験に基づいて各種類に設定され得る。

ラベルＴ３＝ランク付け重み＊カテゴリ重み＊それぞれのワードのワード出現頻度。

その後、ラベルＴ３は、正規化を介して取得される。

９１０において、ラベルＴ４は製品の分類に基づいて生成される。

９１０の操作は、６０４の操作と対応し得る。例えば、各製品は分類システムに所属する。この分類システムは階層である。それぞれのラベルは階層の各レベルの分類名から抽出し得る。分類がより詳細になれば、それぞれのラベルはより重要になる。例えば、階層内のラベルの重要性レベルの計算式は、以下の通りであり得る。

１／１ｏｇ（粒度＋１）

粒度＝１、２…ｎ、式中、ｎは任意の整数であり得る。値が小さいほど、粒度はよりきめ細かくなる。

ラベルＴ４＝階層レベルの重要性得点＊それぞれのワードのワード出現頻度。

ラベルＴ４は、そのような正規化を介して取得される。

９１２において、ラベルＴ５は製品の属性に基づいて生成される。９１２の操作は、６０４の操作に対応し得る。例えば、製品は複数の属性次元を有し得る。各属性次元はそれぞれのラベルに対応する。各ラベルの重要性得点は同一であり得、ラベルベクトルＴ５を取得するために正規化される。

例えば、前述の操作において、９０２および９０４の操作がシーケンス順序を有する場合を除き、９０４〜９１２の操作は独立となり得る。操作番号はそれぞれを差別化するために使用し得る。

９１４において、製品のテキストラベルＴはさまざまなラベルに基づいて生成される。

９１４の操作は、６０６の操作に対応し得る。例えば、ラベルＴは前述の式に基づいて決定し得る。

Ｔ＝ｗ１^＊Ｔ１＋ｗ２^＊Ｔ２＋ｗ３^＊Ｔ３＋ｗ４^＊Ｔ４＋ｗ５^＊Ｔ５

製品のラベルＴが決定された後、ラベルＴと製品との間の対応関係が記憶される。

図９に示されるように、ラベルＴ１、Ｔ２、Ｔ３、Ｔ４、およびＴ５を生成するキーワードのソースは、製品９１６の記述情報から到来し得る。９０２における手作業ラベル入力は、手作業ラベルデータベース９１８において記憶し得る。Ｔ１は手作業ラベルデータベース９１８からの１つ以上の手作業ラベルに基づいて生成される。

さらに、前述のプロセスに基づいて、画像特徴は製品画像からさらに抽出し得る。例えば、画像処理技術を使用して画像特徴、（形状特徴、色特徴、部分特徴、分配特徴等）を抽出し得る。この画像処理技術は従来型画像処理技術を参照し得る。

画像に対応するラベルが決定され、画像特徴が抽出された後、画像との対応関係を保存し得る。例えば、索引を構築し得る。テキストラベルおよび画像特徴は、索引に含めることができる。テキストラベルを逆索引のキーとして使用し得、製品ＩＤと共に画像内容を索引の値として使用し得る。

本開示の実施形態例中に記述されるテキストラベル生成方法は、各エンティティが画像およびテキスト記述情報に対応し、そしてテキスト記述情報と画像の両方が単一概念を記述するようなシナリオに適応し得る。電子商取引ファイルの例においては、そのような概念は製品である。適用においては、例えば、ユーザは画像をクリックする。サーバは関連テキスト記述情報を検索し、テキストラベルを生成し、テキスト検索エンジンを使って、テキストラベルに基づいて関連製品を検索し、そして類似性に基づいて発見された画像をランク付けすることによって応答し得る。

本開示の第３の実施形態例は、画像を検索するための装置を提供する。例えば、画像検索用の装置は検索サーバに配置し得る。検索サーバにおける画像検索用の装置は、サーバのリソース利用率を改善し得る。

図１０は本開示の第３の実施形態例に従って画像を検索するための例示の装置のダイアグラムを図解する。装置はソフトウェア、ハードウエア、あるいはそれらの組み合わせを含み得る。実施形態例においては、図１０の装置１０００は１つ以上のプロセッサ１００２およびメモリ１００４を含み得る。メモリ１００４はコンピュータ記憶媒体の一例である。

コンピュータ記憶媒体は、コンピュータ実行可能命令、データ構造、プログラムモジュール、あるいは他のデータ等の情報の記憶用の、任意の方法あるいは技術で実装された、揮発性および不揮発性、取り外し可能および取り外し不能媒体を含む。コンピュータ記憶媒体の例に含まれるのは、これらに限定されないが、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリテクノロジー、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル汎用ディスク（ＤＶＤ）または他の光記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶装置、または演算装置によるアクセス用の情報を記憶するために使用可能な任意の他の非転送媒体である。本明細書中に定義されるように、コンピュータ記憶媒体はモジュール化データ信号およびキャリア波等の一過性媒体を含まない。

メモリ１００４は、プログラムユニットまたはモジュールおよびプログラムデータをその中に記憶し得る。図１０の例においては、メモリ１００４は、その中に、対応関係生成ユニット１００６、記述情報取得ユニット１００８、ラベル生成ユニット１０１０、画像決定ユニット１０１２、および画像供給ユニット１０１４を記憶し得る。

対応関係生成ユニット１００６は、画像検索データベース内の各画像について、それぞれの画像の記述情報に基づいてそれぞれの画像のそれぞれのラベルを生成し、それぞれのラベルとそれぞれの画像との間の対応関係を記憶する。

記述情報取得ユニット１００８は、画像検索要求に基づいて、画像検索要求内に含まれる検索用の画像の対応記述情報を取得する。

ラベル生成ユニット１０１０は、記述情報取得ユニット１００８によって取得される検索用の画像に対応する記述情報に基づいて、検索用の画像の対応ラベルを生成する。検索用の画像のラベルを生成するための方法は、対応関係生成ユニット１００６によって画像検索データベース内の画像のラベルを生成するための方法と同一であり得る。

画像決定ユニット１０１２は、対応関係生成ユニット１００６によって記憶されるそれぞれのラベルとそれぞれの画像との間の対応関係に基づいて、ラベル生成ユニット１０１０によって生成される検索用の画像のラベルに対応する１つ以上の画像を決定する。

画像供給ユニット１０１４は、画像決定ユニット１０１２によって決定される１つ以上の画像を、画像検索要求を送信するクライアント端末に送信する。

ある例では、記述情報取得ユニット１００８は、画像検索要求に含まれる検索用の画像に基づいて、検索用の画像に対応するエンティティを決定し、検索用の画像の記述情報としてそのエンティティの記述情報を取得する。

ある例では、ラベル生成ユニット１０１０は、検索用の画像の記述情報から定義されたカテゴリのキーワードを抽出し、抽出されたキーワードに基づいて検索用の画像のラベルを生成し得る。

別の例では、ラベル生成ユニット１０１０は、各定義されたカテゴリの抽出されたキーワードに基づいて、定義されたカテゴリに対応するアルゴリズムを使用してキーワードに対応するラベルベクトルを生成し、そして、各キーワードに対応するラベルベクトルとキーワードの各カテゴリの重み値とに基づいて、検索用の画像のラベルを生成し得る。

ある例では、対応関係生成ユニット１００６は、各画像の生成されたラベルを索引として使用し、そして逆索引を使用してラベルと画像との間の対応関係を記憶し得る。

別の例では、対応関係生成ユニット１００６は、画像検索データベース内の各画像の画像特徴を抽出し、記憶されたラベルと、ラベルに対応する画像と、画像から抽出された画像特徴との間の対応関係を記憶し得る。

図１１に示されるように、装置１０００は画像ランク付けユニット１０１６をさらに含み得る。画像ランク付けユニット１０１６は、画像供給ユニット１０１４が、画像検索要求を送信するクライアント端末に決定された画像を送信する前に、受け取られた画像検索要求に基づいて、画像検索要求に含まれる検索用の画像の画像特徴を抽出する。画像ランク付けユニット１０１６は、検索用の画像の画像特徴を、各決定された画像に対応する画像特徴と比較し、高から低までの、検索用の画像との類似度に従って決定された画像をランク付けする。

各前述のユニットの機能は、本開示の第１の実施形態例に従う画像検索プロセスの関連操作に対応し得る。したがって、詳細は本明細書中では記述されない。

本開示の第３の実施形態例において記述される画像検索用の装置は、コンピュータ実行可能命令で構成される１つ以上のプロセッサを介して実装され得る。当業者は、前述のユニットの分類は多数のユニット分類の１つにすぎないことを理解すべきである。ユニットが他の形で分類されても、またはユニットの分類がない場合であっても、画像検索用の装置が前述の機能を有する限り、そのような装置は依然として本開示の保護範囲内にある。

さらに、本開示の第３の実施形態例内で記述される画像検索用の装置は、本開示の前述の第１の実施形態例において記述されるそれぞれの機能を実装するために、さらに複数のユニットを含み得る。ユニットのそのような分類は本明細書中では記述されない。

本開示によって提供される少なくとも１つの例は、既存のテキスト検索エンジンを再使用し得、それにより、サーバリソースの利用率を改善する。

当業者は、本開示の実施形態は方法、システム、またはコンピュータのプログラミング製品が可能であることを理解すべきである。したがって、本開示はハードウエア、ソフトウェア、または両方の組み合わせによって実装可能である。さらに、本開示は、コンピュータ記憶媒体（ディスク、ＣＤ−ＲＯＭ、光ディスク等を含むが、これらに限定されない）内で実装可能なコンピュータ実行可能またはプロセッサ実行可能命令を含む１つ以上のコンピュータプログラムの形式が可能である。

本開示は、本開示の実施形態の方法、装置（システム）およびコンピュータプログラムのフローチャートおよび／またはブロックダイアグラムを参照して記述される。フローチャートおよび／またはブロックダイアグラムの各流れおよび／またはブロック、ならびに、流れおよび／またはブロックの組み合わせは、コンピュータプログラム命令によって実装可能であることを理解されたい。これらのコンピュータプログラム命令は、一般的コンピュータ、特定コンピュータ、埋め込みプロセッサ、または機械を生成するための他のプログラム可能データプロセッサに対して提供され、フローチャートの１つ以上の流れおよび／またはブロックダイアグラムの１つ以上のブロックを実装する装置が、コンピュータまたは他のプログラム可能データプロセッサによって操作される命令によって生成され得る。

これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能データプロセッサに対してある形で操作するように命令可能な他のコンピュータ記憶媒体内にも記憶可能であり、したがって、コンピュータ可読記憶内に記憶される命令は、命令装置を含む製品を生成し、その命令装置は、フローチャートの１つ以上の流れおよび／またはブロックダイアグラムの１つ以上のブロック内で指定された機能を実装するものである。

これらのコンピュータプログラム命令は、コンピュータまたは他のプログラムデータプロセッサ内にもロード可能であり、それにより、コンピュータまたは他のプログラム可能データプロセッサがコンピュータによって実装されるプロセスを生成するために一連の操作ステップを操作可能である。したがって、コンピュータまたは他のプログラム可能データプロセッサ内で操作される命令は、フローチャートの１つ以上の流れおよび／またはブロックダイアグラムの１つ以上のブロック内に指定される機能を実装するためのステップを提供可能である。

実施形態は単に本開示を図解するためのものであり、本開示の範囲を限定することは意図されていない。当業者は、特定の修正および改善は可能であることを理解されるべきであり、当開示の原理から逸脱することなく本開示の保護のもとに考察されるべきである。

Claims (11)

1. コンピュータ実行可能命令で構成されるプロセッサによって実施される方法であって、
   前記プロセッサは、検索用の画像を含む画像検索要求を受信することと、
   前記プロセッサは、前記画像検索要求に基づいて、検索用の前記画像の記述情報を取得することと、
   前記プロセッサは、検索用の前記画像に対応する前記記述情報に基づいて、簡単なエンティティの記述のラベルベクトルと、エンティティのキーワードのラベルベクトルと、エンティティの分類のラベルベクトルと、エンティティの属性のラベルベクトルとを含むグループから選択される定義されたカテゴリに対応する、１つ以上の正規化されたラベルベクトルを生成することと、
   前記プロセッサは、前記１つ以上の正規化されたラベルベクトルの各々にそれぞれの重みを乗じることと、
   前記プロセッサは、前記１つ以上の正規化されたラベルベクトルに基づいて、検索用の前記画像のラベルを生成することと、
   前記プロセッサは、１つ以上のそれぞれのラベルと画像検索データベース内の１つ以上のそれぞれの画像との間の対応関係に基づいて、検索用の前記画像の前記ラベルに対応する前記画像検索データベース内の１つ以上の画像を決定し、前記画像検索データベース内の前記１つ以上の画像が、前記画像検索データベース内の１つ以上のそれぞれの画像に対応する１つ以上のそれぞれのラベルを生成する前記プロセッサによって前処理されることと、
   前記プロセッサは、前記１つ以上のそれぞれのラベルと前記１つ以上のそれぞれの画像との間の対応関係を記憶することと、
   を含む、方法。
2. 前記プロセッサは、前記決定された１つ以上の画像を、前記画像検索要求を送信したクライアント端末に送信することをさらに含む、請求項１に記載の方法。
3. 前記１つ以上のそれぞれのラベルと前記１つ以上のそれぞれの画像との間の前記対応関係を前記記憶することは、
   前記１つ以上のそれぞれの画像に対応する前記１つ以上のそれぞれのラベルを索引として使用することと、
   前記１つ以上のそれぞれのラベルと前記１つ以上のそれぞれの画像との間の前記対応関係を記憶するために逆索引付けを使用することと、
   を含む、請求項１に記載の方法。
4. 前記１つ以上のそれぞれのラベルと前記１つ以上のそれぞれの画像との間の前記対応関係を前記記憶することは、
   前記画像検索データベース内の前記１つ以上のそれぞれの画像の１つ以上の画像特徴を抽出することと、
   前記１つ以上のそれぞれのラベルと、前記１つ以上のそれぞれのラベルに対応する前記１つ以上のそれぞれの画像と、前記それぞれの画像の前記１つ以上の抽出された画像特徴との間の対応関係を記憶することと、
   を含む、請求項１に記載の方法。
5. 前記プロセッサは、前記画像検索要求に含まれる検索用の前記画像の画像特徴を抽出することと、
   前記プロセッサは、検索用の前記画像の前記画像特徴を前記決定された画像の画像特徴と比較することと、
   前記プロセッサは、検索用の前記画像の前記画像特徴との類似度に基づいて、前記決定された画像をランク付けすることと、
   をさらに含む、請求項１に記載の方法。
6. 画像検索データベース内の各画像に関して、それぞれの画像の記述情報に基づいて前記それぞれの画像のそれぞれのラベルを生成し、かつ前記それぞれのラベルと前記それぞれの画像との間の対応関係を記憶する、対応関係を生成するためのプロセッサと、
   画像検索要求に基づいて、前記画像検索要求に含まれる検索用の画像の対応する記述情報を取得する、記述情報を取得するためのメモリのユニットと、
   検索用の前記画像に対応する前記記述情報に基づいて、簡単なエンティティの記述のラベルベクトルと、エンティティのキーワードのラベルベクトルと、エンティティの分類のラベルベクトルと、エンティティの属性のラベルベクトルとを含むグループから選択される定義されたカテゴリに対応する複数の正規化されたラベルベクトルを生成し、前記複数の正規化されたラベルベクトルの各々にそれぞれの重みを乗じ、前記複数の正規化されたラベルベクトルに基づいて、検索用の前記画像の対応するラベルを生成する、ラベル生成のためのメモリのユニットと、
   前記対応関係を生成する前記プロセッサによって記憶される前記それぞれのラベルと前記それぞれの画像との間の前記対応関係に基づいて、ラベル生成によって生成される検索用の前記画像の前記対応するラベルに対応する１つ以上の画像を決定する画像決定のためのメモリのユニットと、
   を備える、装置。
7. 前記画像決定によって決定される前記１つ以上の画像を、前記画像検索要求を送信するクライアント端末に送信する画像供給のためのメモリのユニットをさらに備える、請求項６に記載の装置。
8. 対応関係を生成するための前記プロセッサは、索引として各画像の前記生成されたラベルを使用し、かつラベルと画像との間の前記対応関係を記憶するために逆索引を使用する、請求項６に記載の装置。
9. 対応関係を生成するための前記プロセッサは、前記画像検索データベース内の各画像の画像特徴を抽出し、かつ前記それぞれのラベルと、前記それぞれのラベルに対応する前記それぞれの画像と、前記それぞれの画像から抽出されたそれぞれの画像特徴との間の前記対応関係を記憶する、請求項６に記載の装置。
10. 画像ランク付けのためのメモリのユニットであって、画像供給のための前記メモリのユニットが、前記画像検索要求を送信する前記クライアント端末に前記決定された画像を送信する前に、受信された前記画像検索要求に基づいて、前記画像検索要求に含まれる検索用の前記画像の画像特徴を抽出し、検索用の前記画像の前記画像特徴を前記決定された画像の各々に対応する画像特徴と比較し、かつ検索用の前記画像との類似度に従って、前記決定された画像を高いランクから低いランクまでランク付けする、画像ランク付けのためのメモリのユニットをさらに備える、請求項７に記載の装置。
11. １つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに方法を実施するように指図する、プロセッサ実行可能命令を含む１つ以上のコンピュータ記憶媒体であって、前記方法は、
    検索用の画像を含む画像検索要求を受信することと、
    前記画像検索要求に基づいて、検索用の前記画像の記述情報を取得することと、
    検索用の前記画像に対応する前記記述情報に基づいて、簡単なエンティティの記述のラベルベクトルと、エンティティのキーワードのラベルベクトルと、エンティティの分類のラベルベクトルと、エンティティの属性のラベルベクトルとを含むグループから選択される定義されたカテゴリに対応する、１つ以上の正規化されたラベルベクトルを生成することと、
    前記１つ以上の正規化されたラベルベクトルの各々にそれぞれの重みを乗じることと、
    前記１つ以上の正規化されたラベルベクトルに基づいて、検索用の前記画像のラベルを生成することと、
    １つ以上のそれぞれのラベルと画像検索データベース内の１つ以上のそれぞれの画像との間の対応関係に基づいて、検索用の前記画像の前記ラベルに対応する前記画像検索データベース内の１つ以上の画像を決定することであって、前記画像検索データベース内の前記１つ以上の画像は前処理されることと、を含み、前記決定することは、
    前記画像検索データベース内の前記１つ以上のそれぞれの画像に対応する１つ以上のそれぞれのラベルを生成することと、
    前記１つ以上のそれぞれのラベルと前記１つ以上のそれぞれの画像との間の前記対応関係を記憶することと、
    を含む、１つ以上のコンピュータ記憶媒体。

Images