JP6740457B2 - 商標画像のコンテンツ・ベースの検索及び取得 - Google Patents

Description

本発明は一般に画像認識に関し、より詳細には、商標画像のコンテンツ・ベースの検索及び取得に関する。

商標は典型的には、特定のソースの製品又はサービスを他のソースの製品又はサービスから識別するための、名前、言葉、フレーズ、ロゴ、シンボル、デザイン、画像、又はこれらの要素の組合せである。したがって商標は、言葉、形状、パターン、及び／又はロゴを形作る非常に様々なタイプの線及び色を含むことがある。商標は世界中で、商標出願を審査及び承認する様々な国の政府機関に出願され、登録される。しばしば、商標を出願し、承認されるために、類似の登録商標があるかどうかをチェックするための検索が行われる。

コンテンツ・ベースの画像取得又は視覚検索は、いくつかのクエリ画像の視覚特性について類似の複数の画像からデジタル画像を取得するタスクである。視覚検索技術は、従来のキーワード検索に対するいくつかの利点をもたらす。重要なことに、これは、記述的なメタデータをタグ付けされたことがないコレクション内の画像を検索すること、及びテキストではなく画像で検索することを、ユーザが行うことを可能にし、これは、一連のキーワードより非常に強力なクエリになり得る。

しかし、検索用の画像を使用するために、画像の属性又は特徴を抽出、識別、又はそうでなければ認識するための画像処理が行われる。今のところ、十分なスピードで商標をマッチングさせる品質をもたらす正確且つ効率的な検索方法及びシステムが利用できたことはなかった。したがって、商標画像のセットから画像を検索し、マッチングさせ、取得するための、自動的で、計算効率が良く、正確な方法及びシステムが必要である。

本発明は、大いに効率的且つ正確な、商標画像の検索及び取得の方法、システム、及びコンピュータ製品を提供することによって、これらの問題に対処する。

本発明の１つの実施例によれば、商標画像のコンテンツ・ベースの検索及び取得のための方法が提供される。方法は、商標画像の各ピクセルに対する６ビットの色データを使用して各商標画像に対する６４ビンの色ヒストグラムをプロセッサを用いて生成することによって、複数の商標画像から色の特徴を抽出することであって、６ビットの色データが、商標画像の各ピクセルに対する赤、緑、及び青チャネルのそれぞれからの２ビットを含む、色の特徴を抽出することを含む。方法は、商標画像の各ピクセルに対する重み付き方向角データを使用して各商標画像に対する９ビンの方向ヒストグラムをプロセッサを用いて生成することによって、複数の商標画像から形状の特徴を抽出することをさらに含む。方法は、２つの商標画像の色ヒストグラムと方向ヒストグラムの間の距離の類似性尺度を、プロセッサによって生成することをさらに含む。

別の実施例によれば、商標画像のコンテンツ・ベースの検索及び取得のための方法は、データベース内の商標画像のセットのＵＲＬを提供することと、クエリ商標画像を受け取ることと、を含む。方法は、プロセッサによって商標画像のそれぞれから色の特徴を抽出することであって、画像を平滑化するために第１のフィルタを適用すること、画像の背景ピクセルを取り除くために第２のフィルタを適用すること、画像の各ピクセルに対する６ビットの色データを提供するために、赤、緑、及び青チャネルのそれぞれからの２ビットを連結すること、並びに６ビットの色データを使用して画像の６４ビンの色ヒストグラムを抽出することを含む、色の特徴を抽出することをさらに含む。方法は、プロセッサによって商標画像のそれぞれから形状の特徴を抽出することであって、画像をグレースケールに変換すること、画像からノイズの多いピクセルを取り除くために第３のフィルタを適用すること、画像の各ピクセルに対する水平導関数及び垂直導関数を計算すること、画像の各ピクセルに対する導関数の商を得るために、垂直導関数を水平導関数で割ること、導関数の商のアークタンジェントを計算することによって、画像の各ピクセルに対する方向角を計算すること、画像を３×３のブロックに分割すること、並びに画像の８１ビンの形状ヒストグラムを得るために、加重値と共に方向角データを使用して、画像の各ブロックに対する９ビンの形状ヒストグラムを抽出することであって、形状ヒストグラムの９個のビンが、０〜２０度、２０〜４０度、４０〜６０度、６０〜８０度、８０〜１００度、１００〜１２０度、１２０〜１４０度、１４０〜１６０度、及び１６０〜１８０度を含む、９ビンの形状ヒストグラムを抽出することを含む、形状の特徴を抽出することをさらに含む。方法は、バタチャリヤ距離を使用して、クエリ商標画像と、商標画像のセットの各商標画像との間の色の特徴と形状の特徴を比較することによって、クエリ商標画像と商標画像のセットとの間の類似性を判断することと、バタチャリヤ距離による順序で商標画像のセットから商標画像を返すことと、をさらに含む。

本発明のさらに別の実施例によれば、機械の１つ又は複数のプロセッサによって実行されると、上述のような動作を機械に行わせる命令を含む非一時的機械可読ストレージ媒体が提供される。

本発明のさらに別の実施例によれば、商標画像のコンテンツ・ベースの検索及び取得のためのシステムが提供される。システムは、１つ又は複数のプロセッサと、商標画像の各ピクセルに対する６ビットの色データを使用して、商標画像の６４ビンの色ヒストグラムを生成するように、１つ又は複数のプロセッサの中の少なくとも１つのプロセッサを構成する色ヒストグラム・モジュールであって、６ビットの色データが、商標画像の各ピクセルに対する赤、緑、及び青チャネルのそれぞれからの２ビットを含む、色ヒストグラム・モジュールを含む。システムは、商標画像の各ピクセルに対する重み付き方向角データを使用して商標画像の９ビンの方向ヒストグラムを生成するように、１つ又は複数のプロセッサの中の少なくとも１つのプロセッサを構成する方向ヒストグラム・モジュールをさらに含む。システムは、２つの商標画像間の色ヒストグラムと方向ヒストグラムを比較して距離の類似性尺度を生成するように、１つ又は複数のプロセッサの中の少なくとも１つのプロセッサを構成する比較モジュールをさらに含む。

本発明、及びそのいくつかの特定の実施例による、商標検索及び取得のための方法、システム、及びコンピュータ製品が、以下の図を参照しながら説明される。本発明のこれら及び他の特徴、態様、及び利点は、図面の全体を通じて同様の文字が同様の部品を表す添付の図面を参照しながら以下の詳細な説明を読むとよりよく理解されるようになるであろう。添付の図面の図の中で、いくつかの実施例が実例として示されるが、これらに限定されない。断りのない限り、図面が拡大縮小して描かれることはない。

いくつかの実施例による、画像処理を行い、画像処理から得られた画像特徴データを使用するためのシステムの実例を描写するネットワーク図を示す図である。 いくつかの実施例による、図１のシステム内に提供される構成要素を示すブロック図を示す図である。 いくつかの実施例による、モジュール及びライブラリ／データ構造／データベースの中で実行される画像処理及び画像データ使用の機能／動作を示すブロック図を示す図である。 いくつかの実施例による、図３のモジュールによって実行される商標画像処理及び商標画像のマッチング又は比較の判断のための流れ図の実例を示す図である。 いくつかの実施例による、色ヒストグラムを生成するための画像の処理を示す図である。 いくつかの実施例による、指向性勾配ヒストグラム（ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｈｉｓｔｏｇｒａｍ）を生成するための画像の処理を示す図である。 いくつかの実施例による、マッチング又は比較フェーズの高レベルの流れ図を示す図である。 いくつかの実施例による、図４〜図７の商標検索の流れ図の実装形態に関連するユーザ・インターフェース（ＵＩ：ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）画面及びヒストグラムの描写を示す図である。 いくつかの実施例による、図４〜図７の商標検索の流れ図の実装形態に関連するユーザ・インターフェース（ＵＩ）画面及びヒストグラムの描写を示す図である。 いくつかの実施例による、図４〜図７の商標検索の流れ図の実装形態に関連するユーザ・インターフェース（ＵＩ）画面及びヒストグラムの描写を示す図である。 いくつかの実施例による、図４〜図７の商標検索の流れ図の実装形態に関連するユーザ・インターフェース（ＵＩ）画面及びヒストグラムの描写を示す図である。 いくつかの実施例による、図４〜図７の商標検索の流れ図の実装形態に関連するユーザ・インターフェース（ＵＩ）画面及びヒストグラムの描写を示す図である。 いくつかの実施例による、図４〜図７の方法論のうちの任意の１つ又は複数を機械に行わせるための命令のセットが実行され得るコンピュータ・システムの形式の実例における機械の図式表現を示す図である。

本発明の全体的な実施例によれば、クエリ画像、及び登録商標画像のセットのコンテンツに基づく「マッチした」商標画像を検索及び取得するための方法、システム、及びコンピュータ製品が開示される。１つの実施例によれば、企業の登録商標の画像の類似性の比較及び取得のための方法は、（１）画像の色の特徴の類似性の計算、及び（２）画像の形状の特徴の類似性の計算という、少なくとも２つのステージを含むことができる。

いくつかの実施例において、画像の比較、マッチング、及び取得の方式は以下のように動作する。画像データベース／コレクションが提供される。例えば、画像のセット（画像データベース内のロゴ、商標）を含むフォルダのユニフォーム・リソース・ロケータ（ＵＲＬ：ｕｎｉｆｏｒｍ ｒｅｓｏｕｒｃｅ ｌｏｃａｔｏｒ）又はウェブサイト／ウェブ・ページのアドレスが、すべての画像の色及び形状の特徴を計算するために、商標サービス・アプリケーション及び／又は商標検索アプリケーションに与えられる。次に、画像の抽出された特徴はデータベースに格納されてよい。その後、クエリ画像／入力画像（マッチング又は比較するための、関心のあるロゴ、デザイン、言葉、形状、色、及び同様のもの）が提供され、色及び形状の特徴がクエリ画像から抽出される。クエリ画像の色及び形状の特徴は、データベースに格納された登録商標の画像特徴と比較され、所与の入力画像と登録商標画像の間の類似性尺度は、画像データベース／フォルダから最も類似している画像を取得するために計算される。

別の実施例によれば、商標画像を検索する方法は、商標画像の各ピクセルに対する６ビットの色データを使用して商標画像の６４ビンの色ヒストグラムを生成することによって、商標画像から色の特徴を抽出することであって、６ビットの色データが、商標画像の各ピクセルに対する赤、緑、及び青チャネルのそれぞれからの最上位の２ビットを含む、色の特徴を抽出することを含む。最上位ビットは、色を表す最も代表的なビットを指し、１つの実例において、ＲＧＢチャネルのそれぞれからの最初の２ビットである。方法は、商標画像の各ピクセルに対する重み付き方向角データを使用して商標画像の９ビンの方向ヒストグラムを生成することによって、商標画像から形状の特徴を抽出することをさらに含む。方法は次に、２つの商標画像の色ヒストグラムと方向ヒストグラムの間の距離の類似性尺度を生成することを含む。

入力商標画像から画像特徴データを抽出するため、及び画像特徴データの様々な使用のための方法、システム、及びコンピュータ製品が、本明細書でさらに詳細に説明される。画像特徴データは、入力画像に対応する色ヒストグラム、方向ヒストグラム、パターン識別、及び支配色を含むが、これらに限定されない。クエリ画像又は入力画像は、少なくとも色及び／若しくはパターンなどの、画像をキャプチャするためにユーザによって撮影されたデジタル写真、又はウェブサイト若しくはウェブ・ページ上に含まれる画像を含むことができる。抽出された画像特徴データは、クエリ画像をマッチングさせる、提供されたデータベース内の類似の商標画像を提供するために使用される。いくつかの実施例において、比較のための商標画像のセット（例えば、様々な中央政府機関からの登録商標）を得るために、１つ又は複数のソースが使用される。

実施例の実例に対する様々な変更が、当業者には容易に明白であり、本明細書で定義される包括的な原理が、本発明の範囲を逸脱することなく、他の実施例及び応用例に適用されてよい。その上、以下の説明において、非常に多くの詳細が説明のために示される。しかし、当業者は、これらの具体的詳細を使用することなく本発明が実践されてよいということがわかるであろう。他の例において、不必要に詳しくすることで本発明の説明をあいまいにしないように、よく知られた構造及び処理はブロック図の形では示されない。したがって、本開示は、示された実施例に限定することを意図するものではなく、本明細書で開示される原理及び特徴と一致する最も広い範囲が与えられるべきである。

図１は、いくつかの実施例による、商標画像検索のために画像処理を行い、画像処理から取得された画像特徴データを使用するためのシステム１００の実例を描写するネットワーク図を示す。ネットワーク・システム１０２は、ネットワーク１０４（例えば、インターネット又は広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ））を介して、１つ又は複数のクライアント及びデバイスにサーバ・サイドの機能を提供する、ネットワーク・ベースの公開システムを形成する。図１は、例えば、デバイス・マシン１１０上で実行するウェブ・クライアント１０６（例えばウェブ・ブラウザ）及びプログラマティック・クライアント１０８の１つ又は両方をさらに示す。１つの実施例において、システム１００は、マッチング・システム、推奨システム、及び、又は登録サービス・システムを備える。

デバイス・マシン１１０は、少なくともディスプレイ、及びネットワーク・システム１０２にアクセスするためのネットワーク１０４との通信機能を含むコンピューティング・デバイスを備える。デバイス・マシン１１０は、リモート・デバイス、ワーク・ステーション、コンピュータ、汎用コンピュータ、インターネット家電、ハンドヘルド・デバイス、ワイヤレス・デバイス、ポータブル・デバイス、ウェアラブル・コンピュータ、セルラー又は携帯電話、携帯型情報端末（ＰＤＡ：ｐｏｒｔａｂｌｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、スマートフォン、タブレット、ウルトラブック、ネットブック、ラップトップ、デスクトップ、マルチプロセッサ・システム、マイクロプロセッサ・ベースの又はプログラム可能な家庭用電化製品、家庭用ゲーム機、セットトップ・ボックス、ネットワークＰＣ、ミニコンピュータ、及び同様のものを含むが、これらに限定されない。デバイス・マシン１１０は、有線接続又はワイヤレス接続を介してネットワーク１０４と接続することができる。例えば、ネットワーク１０４の１つ又は複数の部分は、アドホック・ネットワーク、イントラネット、エクストラネット、仮想プライベート・ネットワーク（ＶＰＮ：ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイヤレスＬＡＮ（ＷＬＡＮ：ｗｉｒｅｌｅｓｓ ＬＡＮ）、広域ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイヤレスＷＡＮ（ＷＷＡＮ：ｗｉｒｅｌｅｓｓ ＷＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ：ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、インターネットの一部、公衆交換電話網（ＰＳＴＮ：Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）の一部、セルラー電話ネットワーク、ワイヤレス・ネットワーク、ＷｉＦｉ（登録商標）ネットワーク、ＷｉＭａｘ（登録商標）ネットワーク、別のタイプのネットワーク、又は２つ以上のこのようなネットワークの組合せであってよい。

デバイス・マシン１１０は、ウェブ・ブラウザ、メッセージング・アプリケーション、電子メール（ｅメール）アプリケーション、ｅコマース・サイト・アプリケーション（マーケットプレイス・アプリケーションとも呼ばれる）、商標検索及び／又は商標登録アプリケーション、並びに同様のものなど、ただしこれらに限定されない、１つ又は複数のアプリケーション（「アプリ」とも呼ばれる）を含む。いくつかの実施例において、商標アプリケーションが所与のデバイス・マシン１１０に含まれる場合、このアプリケーションは、ユーザ・インターフェース、及び機能のうちの少なくともいくつかをローカルに提供するように構成され、アプリケーションは、ローカルに利用できないデータ及び／又は処理機能（商標画像のデータベースへのアクセス、ユーザを認証すること、支払いの方法を確認すること等など）を求めて、必要に応じてネットワーク・システム１０２と通信するように構成される。逆に、商標検索及び／又は商標登録アプリケーションが所与のデバイス・マシン１１０に含まれない場合、デバイス・マシン１１０は、そのウェブ・ブラウザを使用して、ネットワーク・システム１０２上でホストされる商標サービス・サイト（又はその変形物）にアクセスすることができる。単一のデバイス・マシン１１０が図１に示されるが、さらに多くのデバイス・マシンがシステム１００に含まれてもよい。

アプリケーション・プログラム・インターフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）サーバ１１２及びウェブ・サーバ１１４は、１つ又は複数のアプリケーション・サーバ１１６に結合され、このアプリケーション・サーバへのプログラマティック・インターフェース及びウェブ・インターフェースをそれぞれ提供する。アプリケーション・サーバ１１６は、本発明の実施例による、１つ又は複数の「商標アプリケーション」（例えば、商標サービス・アプリケーション１１８及び商標検索アプリケーション１２０）をホストする。アプリケーション・サーバ１１６は、支払アプリケーション及び商標サービスをサポートする他のアプリケーションをさらに含むことができる。アプリケーション・サーバ１１６は次に、１つ又は複数のデータベース１２４へのアクセスを容易にする１つ又は複数のデータベース・サーバ１２２に結合されることが示される。

商標サービス・アプリケーション１１８は、ネットワーク・システム１０２にアクセスするユーザにいくつかの商標登録機能及びサービスを提供することができる。商標登録機能／サービスは、いくつかの商標登録機能及びサービス（例えば、フォーム、法律、及び／又は情報の提供、データの取込み、画像キャプチャ、支払い等）を含むことができる。例えば、商標サービス・アプリケーション１１８は、ユーザの商標を提供すること（例えば、商標をキャプチャすること）、ユーザの商標を政府機関に届け出ること、並びに売却のためのサービスを提案すること（例えば、相談すること、商標登録に対する何らかの異議に応答するために政府機関との橋渡し役をすること、対応を容易にすること、及び商標登録に関連する他のサービス）を行うために、いくつかのサービス及び機能をユーザに提供することができる。さらに、商標サービス・アプリケーション１１８は、キャプチャされた商標、取引、及びユーザとの対話に関連するデータ及びメタデータを追跡及び格納することができる。いくつかの実施例において、商標サービス・アプリケーション１１８は、アプリケーション・サーバ１１６、又はアプリケーション・サーバ１１６及び／若しくはデータベース・サーバ１２２にアクセス可能なデータベース１２４に格納されたコンテンツ項目を公開するか、又はそうでなければこれらへのアクセスを提供することができる。

商標検索アプリケーション１２０は、いくつかの商標検索及び商標取得の機能及びサービス（例えば、検索すること、報告すること、見直し及びフィードバック、並びに商標検索に関連する他のサービス又は機能など）を含むことができる。商標検索アプリケーション１２０は、１つの実例において、潜在的な商標登録アプリケーションにとって関心のある可能性のある、提供されたクエリ画像又は入力画像に類似の画像を求めて、登録商標のセット又はデータベースをユーザが検索することを可能にすることができる。商標検索アプリケーション１２０は、クエリ画像、及び検索された画像（例えば、登録商標画像）のセットから色及び形状の特徴を抽出し、色及び指向性勾配に対応するヒストグラムを生成し、その後、厳密な「マッチング」を求めて、クエリ画像とデータベース画像のセットとの間でヒストグラムを比較する。検索された画像のセットは、データベース１２４、又はサード・パーティのデータベース１３０にアクセスできるサード・パーティのサーバ１２６からのものであってよい（例えば、商標を登録する様々な国の政府機関からの公的に利用可能な登録商標画像）。さらに、商標検索アプリケーション１２０は、キャプチャされた商標、取引、及びユーザとの対話に関連するデータ及びメタデータを追跡及び格納することができる。いくつかの実施例において、商標検索アプリケーション１２０は、アプリケーション・サーバ１１６、又はアプリケーション・サーバ１１６及び／若しくはデータベース・サーバ１２２にアクセス可能なデータベース１２４に格納されたコンテンツ項目を公開するか、又はそうでなければこれらへのアクセスを提供することができる。

商標アプリケーション１１８及び１２０は、両方がネットワーク・システム１０２の一部を形成するように図１に示されるが、代替実施例において、商標アプリケーションは、ネットワーク・システム１０２とは別々且つ別個の、又は互いに別々且つ別個の商標アプリケーション・サービスの一部を形成することができるということが理解されよう。他の実施例において、商標サービス・アプリケーション１１８は、システム１００から省略されてよい。いくつかの実施例において、デバイス・マシン１１０上に商標アプリケーションの少なくとも一部が提供されてよい。

さらに、図１に示されるシステム１００はクライアント−サーバ・アーキテクチャを用いるが、本開示の実施例はこのようなアーキテクチャに限定されず、例えば、分散型又はピアツーピアのアーキテクチャ・システムに同様にうまく応用されてよい。様々な商標サービス・アプリケーション１１８及び商標検索アプリケーション１２０は、必ずしもネットワーク機能がないスタンド・アロンのソフトウェア・プログラムとして実装されてもよい。

ウェブ・クライアント１０６は、ウェブ・サーバ１１４によってサポートされるウェブ・インターフェースを介して、様々な商標アプリケーション１１８及び１２０にアクセスする。同様に、プログラマティック・クライアント１０８は、ＡＰＩサーバ１１２によって提供されるプログラマティック・インターフェースを介して、商標アプリケーション１１８及び１２０によって提供される様々なサービス及び機能にアクセスする。プログラマティック・クライアント１０８は、例えば、オフラインで、ネットワーク・システム１０２上で画像をキャプチャし、及び／又は商標アプリケーションを管理すること、並びにプログラマティック・クライアント１０８とネットワーク・システム１０２の間でバッチ・モード通信を行うことをユーザができるようにする商標サービス・アプリケーションであってよい。

図１は、ＡＰＩサーバ１１２によって提供されるプログラマティック・インターフェースを介して、ネットワーク・システム１０２へのプログラム的にアクセスできるサード・パーティのアプリケーション１２８を実行するサード・パーティのサーバ・マシン１２６も示す。例えば、サード・パーティのアプリケーション１２８は、ネットワーク・システム１０２から取得された情報を利用して、サード・パーティによってホストされるウェブサイト上で１つ又は複数の特徴又は機能をサポートすることができる。サード・パーティのウェブサイトは、例えば、ネットワーク・システム１０２の関連アプリケーションによってサポートされる１つ又は複数の商標サービスを提供することができる。前述の通り、いくつかの実施例において、サード・パーティのサーバ１２６は、商標を登録し、登録商標画像のデータベース１３０へのアクセスを可能にする中央政府機関のサーバであってよい。

ここで図２を参照すると、ブロック図は、いくつかの実施例による、ネットワーク・システム１０２内に提供される構成要素を示す。ネットワーク・システム１０２は、サーバ・マシン間の通信を可能にするように通信可能に結合される専用又は共有のサーバ・マシン（図示せず）上でホストされてよい。構成要素自体は、情報がアプリケーション間で渡されるのを可能にするように、又はアプリケーションが共通のデータを共有し、アクセスするのを可能にするように、互いに及び様々なデータ・ソースに（例えば、適正なインターフェースを介して）通信可能に結合される。さらに構成要素は、データベース・サーバ１２２を介して１つ又は複数のデータベース１２４にアクセスすることができる。構成要素が、１つ又は複数のサード・パーティのデータベース１３０にアクセスできる可能性もある。

ネットワーク・システム１０２は、いくつかの商標サービスのメカニズムを提供することができ、それによって出願人は、クエリ画像（例えば、可能性のある商標）を提供又はキャプチャすることができ、システム１０２はその後、受け取られたクエリ画像を画像（例えば、登録商標）のデータベース又はセットと比較し、最大の「マッチング」をもたらし、取得された画像の閲覧を可能にするために、返された画像又は取得された画像を表示し、商標登録を申請することができる。この目的のために、ネットワーク・システム１０２は、少なくとも１つの商標画像キャプチャ・エンジン２０２、少なくとも１つの商標画像特徴抽出エンジン２０４、少なくとも１つの商標画像検索エンジン２０６、少なくとも１つの商標画像取得／公開エンジン２０８、少なくとも１つのナビゲーション・エンジン２１０、及び少なくとも１つの商標サービス・エンジン２１２を備えることができる。

商標画像キャプチャ・エンジン２０２は、検索エンジン２０６によって検索の基礎として使用されることになるユーザからのクエリ画像を受け取ることを可能にする。画像は、クライアント・デバイス（例えば、ラップトップ、携帯電話、又はタブレット）のカメラ又は画像構成要素から撮影されてよく、またストレージからアクセスされてもよい。１つの実例において、キャプチャ・エンジン２０２は、クエリ画像をデジタル化又は処理する。

商標画像特徴抽出エンジン２０４は、色ヒストグラムとして抽出された色の特徴、及び指向性勾配ヒストグラムとして抽出された形状の特徴などの、画像特徴の抽出を可能にする。色及び形状の画像特徴はその後、クエリ画像に類似の登録商標を検索するために使用されてよい。

商標画像検索エンジン２０６は、登録商標の画像クエリ又はキーワード・クエリを可能にする。実施例の実例において、検索エンジン２０６は、ユーザのデバイスからクエリ画像及び／又はキーワード・クエリを受け取り、抽出された画像特徴（例えば、色及び形状）と、登録商標のセットの中の画像の特徴及び／又は言葉による説明に関連した登録商標の情報との比較を行う。検索エンジン２０６は、クエリ（例えば、画像及び／又はキーワード）、並びにその後の任意のユーザのアクション及び挙動（例えば、ナビゲーション）を記録することができる。検索エンジン２０６は、画像が言葉しか含まないのか、色しか含まないのか、言葉と色の両方を含むのか、及び／又は画像が白黒なのかカラーなのかに基づいて検索することもできる。

検索エンジン２０６は、検索されることになる登録商標、データベース、又は機関の原産国に基づいて検索することもできる。さらにユーザは、モバイル・デバイスを介して検索エンジン２０６にアクセスし、検索クエリを生成することができる。検索クエリを使用して、検索エンジン２０６は、１つの実例において、バタチャリヤ距離などの最短の数理的な距離に基づいて最大のマッチングを見つけるために、関連する画像特徴を比較する。

商標画像取得／公開エンジン２０８は、比較された色の特徴及び／又は形状の特徴に基づいて、類似の又はマッチした登録商標の関連検索結果を提供すること、公開すること、及び／又は返すことができる。１つの実例において、画像取得／公開エンジン２０８は、最短のバタチャリヤ距離の数字順に結果を返す。画像取得／公開エンジン２０８は、それぞれの返された登録商標のカテゴリ又は分類（例えば、登録商標が、特定のカテゴリ中の関連する商品又はサービスに分類されるニース分類）を含むこともできる。所有者、登録人、説明、登録日付、及び同様のものなどの登録商標に関連する追加情報は実施例の範囲内である。

ネットワーク・システム１０２は、取得された（返された）登録商標の様々なカテゴリ又は分類を通じてユーザがナビゲートすることを可能にするナビゲーション・エンジン２１０をさらに含むことができる。例えば、ナビゲーション・エンジン２１０は、一覧の特定のセットに到達するまで、カテゴリの階層（例えば、カテゴリ・ツリー構造）を備えるカテゴリ・ツリーを、ユーザが連続的にナビゲートすることを可能にする。ナビゲーション・エンジン２１０内の様々な他のナビゲーション・アプリケーションが、検索アプリケーション及びブラウジング・アプリケーションを補うために提供されてよい。ナビゲーション・エンジン２１０は、カテゴリ・ツリーをナビゲートするためにユーザによって行われる様々なユーザ・アクション（例えば、クリック）を記録することができる。

ネットワーク・システム１０２に関連する追加のモジュール及びエンジンが、さらに詳細に下記で説明される。モジュール又はエンジンは、下記で説明される詳細の様々な態様を具体化できるということを理解されたい。

図３は、いくつかの実施例による、モジュール及びライブラリ／データ構造／データベースで実行される画像処理及び画像データ使用の機能／動作を示すブロック図を示す。モジュールは、１つ又は複数のソフトウェア構成要素、プログラム、アプリケーション、又はアプリケーション・サーバ１１６及び／若しくはデバイス・マシン１１０に含まれる１つ若しくは複数のプロセッサによって実行されるように構成されるコード・ベースの他のユニット若しくは命令を含む。モジュールは、商標画像キャプチャ・モジュール３１０、色ヒストグラム・モジュール３１２、指向性勾配ヒストグラム・モジュール３１４、索引付けモジュール３１６、比較モジュール３１８、商標画像取得モジュール３２０、ブラウザ・プラグイン・モジュール３２２、及びユーザ関心検出モジュール３２４を含む。モジュール３１０〜３２４は、登録商標画像データベース３０２及び商標画像索引データベース３０４のそれぞれと通信することができ、この中でデータベース３０２、３０４は、データベース１２４に含まれても、含まれなくてもよい。データベース３０２は、サード・パーティのデータベース１３０に関連付けられるか、又はリンクされてよいということにも留意されたい。図３に別個のモジュールとしてモジュール３１０〜３２４が示されているが、モジュール３１０〜３２４は、図示されたものよりも少ないか又は多くのモジュールとして実装されてよいということを理解されたい。モジュール３１０〜３２４のいずれかは、データベース・サーバ１２２、アプリケーション・サーバ１１６、サード・パーティのサーバ１２６、又はデバイス・マシン１１０などの、システム１００に含まれる１つ又は複数の構成要素と通信することができるということも理解されたい。同様に、図３に別個のデータベースとしてデータベース３０２、３０４が示される。しかし、データベース３０２、３０４のコンテンツは、図示されるものよりも少ないか又は多くのデータベースに格納されてよいということが理解される。

いくつかの実施例において、モジュール３１０〜３２４のうちの１つ又は複数は、コンピューティング・デバイスのタイプにふさわしいサービス・サイトからダウンロードされるか、又はＯＳ依存の複数のモジュール若しくはアプリケーションがダウンロードに利用できることもある。例えば、デバイス・マシン１１０がｉＯＳタイプのデバイス（例えば、Ｍａｃ、ｉＰｈｏｎｅ（登録商標）、又はｉＰａｄ（登録商標））を含む場合、（商標サービス・アプリケーション及び／又は商標検索アプリケーションの一部としてパッケージ化され得る）モジュールは、ｉＴｕｎｅｓからダウンロードされてよい。同様に、デバイス・マシン１１０がＡｎｄｒｏｉｄタイプのデバイスを含む場合、モジュールは、Ａｎｄｒｏｉｄマーケットプレイスからダウンロードされてよい。デバイス・マシン１１０には、データ、並びに／又は下記でさらに詳細に説明されるような、画像キャプチャ、画像処理、及び画像処理からの画像データの使用を容易にする処理機能にアクセスするための、遠隔地にあるサーバ又はデータベース（例えば、データベース１２４、データベース・サーバ１２２、ＡＰＩサーバ１１２、ウェブ・サーバ１１４）との通信機能がある。

他の実施例において、モジュール３１０〜３２４のうちの１つ又は複数は、アプリケーション・サーバ１１６上でホストされてよく、デバイス・マシン１１０上でのモジュールのダウンロードは必要ではない。代わりにモジュールは、ネットワーク１０４上でウェブ・ブラウザを使用してデバイス・マシン１１０によってアクセスされてよい。さらに他の実施例において、モジュールの中にはデバイス・マシン１１０に含まれ得るものがある一方、アプリケーション・サーバ１１６に含まれ得るものもあり、デバイス・マシン１１０は、ふさわしい機能を互いに提供するためにアプリケーション・サーバ１１６と通信する。

図４は、いくつかの実施例による、図３のモジュールによって実行される画像処理、及び画像マッチングの判断のための流れ図４００の実例を示す。流れ図４００の動作は、デバイス・マシン１１０、及び／又はネットワーク・システム１０２に含まれるサーバ（例えば、ＡＰＩサーバ１１２、ウェブ・サーバ１１４、アプリケーション・サーバ１１６、データベース・サーバ１２２）によって行われてよい。

流れ図４００の動作／機能は、索引付けフェーズ４０１Ａ及びマッチング・フェーズ４０１Ｂという、２つのフェーズに分類されてよい。いくつかの実施例において、索引付けフェーズ４０１Ａは、画像特徴データを得るための、例えば、アプリケーション・サーバ１１６による既存の登録商標画像（例えば、データベース１２４、１３０、及び／又は３０２に格納された登録商標に対応する画像）のオフライン画像処理を含む。既存の登録商標は、様々な政府機関、登録商標の私的に収集されたデータベース、又は同様のものなどの、様々なソースから提供されてよい。

得られた画像特徴データは、画像索引データベース３０４に索引付けされてよく、その後、マッチング・フェーズ中のより速い探索のために使用される。いくつかの実施例において、登録商標画像は１つ又は複数のバッチで処理されてよい。いくつかの実施例において、登録商標画像の一部又はバッチはオンラインで処理されてよく、得られた画像特徴データは、画像索引データベース３０４に索引付けされてよい。画像は、色ヒストグラム、方向ヒストグラム、及び同様のものを通じて示される色分散などの、ただしこれらに限定されない画像の特徴／属性に基づいて索引付けされてよく、ニース分類、登録人、所有者、国、及び同様のものなどの、ただしこれらに限定されない、登録商標に関連する他の利用可能な情報に基づいて索引付けされてもよい。

索引付けフェーズ４０１Ａが完了すると、マッチング・フェーズ４０１Ｂは、（クエリ画像又は入力画像と呼ばれる）画像を含むクエリを受け取ることによってトリガされてよい。画像索引データベース３０４は、最も厳密にマッチする登録商標画像を見つけるためにアクセスされる。これらの登録商標画像は、類似性尺度に基づく、クエリ画像に対する「マッチング」結果として提示される。ブロック４０２〜４０６は、索引付けフェーズ４０１Ａに関連し、ブロック４１２〜４３０は、マッチング・フェーズ４０１Ｂに関連する。ブロック４１２〜４１６は、マッチング・フェーズ４０１Ｂの中の特徴抽出フェーズ４０１Ｃに関連し、この中で、クエリ画像からの色及び形状の特徴が抽出される。ブロック４１２〜４１６は、索引付けフェーズ４０１Ａのブロック４０２〜４０６に相関し、索引付けフェーズ４０１Ａにおけるような登録商標からの色ヒストグラム及び指向性勾配の抽出に実質的に似ている。他の実施例において、色ヒストグラム及び指向性勾配ヒストグラムの抽出の順序は逆転されてよく、また同時に処理されてもよい（言い換えると、ブロック４０４／４１４及び４０６／４１６の順序は入れ替えられてよく、また実質的に同時に処理されてもよい）。索引付けフェーズ４０１Ａの動作が最初に下記で説明され、その後マッチング・フェーズ４０１Ｂの動作が説明される。さらに他の実施例において、単一の特徴抽出アルゴリズム（言い換えると、色の特徴又は形状の特徴だけに基づくマッチング）が使用され、特に、商標入力画像／商標クエリ画像が色のみに基づく（即ち、形状を伴わない）か、形状のみに基づく（即ち、色を伴わない、即ち白黒である）かがユーザによって選ばれてよい。

索引付けフェーズ４０１Ａに関して、ブロック４０２において、ネットワーク・システム１０２（例えば、アプリケーション・サーバ１１６）は、登録商標画像データベース３０２などのデータベースから登録商標画像を取得し、登録商標画像データベース３０２は、データベース１２４、サード・パーティのデータベース１３０、又は必ずしもデバイス・マシン１１０若しくはアプリケーション・サーバ１１６に収納されないが、デバイス・マシン１１０若しくはアプリケーション・サーバ１１６にアクセス可能な別のデータベースを指してよい。データベース３０２は、登録商標画像、及び登録商標に関連する情報を含む。登録商標についての情報は、登録人、国、ニース分類、関連日付、説明、及び同様のものを含むが、これらに限定されない。登録商標画像は、様々な言葉、文字、色、線、形状、パターン、及び／又は同様のものを含むことができる。単一の商標画像に対して行われる動作が本明細書で議論されるが、複数の画像が、バッチ・ジョブで互いに同時に処理されてよいということが理解される。所与の単一の商標画像に対して行われる動作は、議論を簡単にするためだけのものである。

ブロック４０４において、色ヒストグラム・モジュール３１２によって色ヒストグラムが抽出されるか、又は画像の色分散が識別される。索引付けモジュール３１６は、適宜、商標画像に対応する色ヒストグラムの画像特徴データに索引付けし、画像索引データベース３０４に追加するように構成される。画像は、１つ又は複数の属性に基づいて索引付けされてよい。例えば、画像は、マッチング項目の迅速な探索を容易にするために、画像の抽出された色の特徴、抽出された形状の特徴、関連情報、及び同様のものに従って索引付けされてよい。

商標画像の背景（例えば、白一色及び／又は黒一色の背景）は、自動的に取り除かれてよい。いくつかの実施例において、サンプリング・マスクは、保有画像の空間サンプリング・エリアをその後の特徴抽出動作に提供することができる。他の実施例において、サンプリング・マスクは、全体の商標画像が処理され得るので、使用されないか、又は必要とされない。画像のサンプリング・エリア、つまりサンプリング・マスク内のエリアが判断されると、このようなサンプリング・エリアは、様々な画像特徴の抽出及び識別のために使用される。他の実施例において、全体画像が処理されるので、サンプリング・エリアは判断されない。色ヒストグラムの抽出は、画像内で特徴づけられた項目の色分散の抽出又は識別を含む。

色表現の選択肢は、色分散の抽出に関係がある。色は様々な方式で表されてよい。商標画像に適した色空間は赤、緑、及び青（ＲＧＢ）の色空間であり、ここで、すべての色は、３つの色チャネルの赤、緑、及び青について３次元で表される。１つの実施例において、（特に、サンプリング・マスク・エリア又は全体画像の中の）商標画像は、ＲＧＢ色空間を使用して均一にサンプリングされるか、又はスキャンされる（均一サンプリングとも呼ばれる）。画像からのピクセルがサンプリングされる。これらのピクセルがサンプリングされると、情報（例えば、画像特徴又は属性）が、これらのピクセルのそれぞれから抽出される。情報は、ピクセル、又はそのすぐ隣のピクセルを伴うピクセルに基づいて抽出されてよい。色に関する情報はピクセル毎に抽出され、その後、値のコレクション（特徴とも呼ばれる）に組み合わされるか、統合されるか、又はプールされる。色の特徴の場合、例えば、色ヒストグラムを得るために、ヒストグラム技法が使用される。ヒストグラムは、ピクセルなどの項目がとり得る様々な値の発生の統合を含む。

図５は、いくつかの実施例による、ブロック４０２及び４１２それぞれの後に処理され、ブロック４０６及び４１６それぞれの前に処理されるブロック４０４及び４１４の詳細を示す。上述のように、他の実施例において、色ヒストグラム及び指向性勾配ヒストグラムの処理順序は入れ替えられてよく、また実質的に同時であってもよい。

１つの実施例において、ブロック４４０において、色ヒストグラムを抽出する前に、商標画像を平滑化するためにメジアン・フィルタ・アルゴリズムが適用される。ブロック４４２において、背景（例えば、白一色及び／又は黒一色の背景）が取り除かれる。ブロック４４４において、全体画像（背景を取り除いた後のすべてのピクセル）が、ＲＧＢ色チャネルのそれぞれに対してサンプリングされる。ブロック４４６において、所与の画像のピクセルすべてに対して６ビットのデータを提供又は生み出すために、最上位の２ビットがＲＧＢチャネルのそれぞれから連結され、その後、６ビットのデータは、ヒストグラムに追加するために使用される。ブロック４４８において、６ビットのデータは、商標画像の６４ビンの色ヒストグラムを抽出するために使用される。

いくつかの実施例では、ビンが蓄積されると重みは適用されないが、他の実施例では、ビンに対する重みが適用されることもあるということに留意されたい。ＲＧＢ色空間の３次元／３チャネルに対応する、結果として生じる積み重ねられたヒストグラムを生成するために、重みなし又は重み付き調節済サンプルが、積み重ねられるか又は互いに組み合わされる。いくつかの実施例において、ＲＧＢ値は０から１までの範囲に正規化され得るということに留意されたい。いくつかの実施例において、ＲＧＢチャネルの有効な値の範囲は互いに同じであるということにさらに留意されたい。

以前の方法及びシステムは、ＨＳＶ、又は十分なＲＧＢカラー・マップなどの他の色空間、及び比較のためのユークリッド距離空間を使用してきた。しかし、元の大きくセグメント化されたＲＧＢ値を使用することは、商標画像のより大きな変化及びより精度の低い結果をもたらし、これは、（例えば、しばしば、同じ色の色調、劣化、又は変化のみを使用する）支配色の大きな変化を含まないことが多い。したがって本開示は、類似の色を互いにグループ化し、それにより、商標画像内のさらに正確な色のマッチングを可能にすることによって、カラー・セグメンテーションの削減又は減少をもたらす。

都合のよいことに、本開示は、ノイズの多いピクセルを抑制するため、又は画像内のノイズによる悪影響を削減若しくは無くすために商標画像を平滑化し、背景ピクセルを取り除き、（例えば、白及び／又は黒の背景を取り除くことによって）前景の色ヒストグラムを抽出する。さらに、本開示は、６４ビン（２の６乗）の色ヒストグラムとみなされる色のスケールを減少させる（言い換えると、類似の色が互いにグループ化される）。商標画像の色のマッチングにさらに有利な詳細はあまり発見されていない。さらに、（楕円色分散により多くの影響を受ける／球状の塊を可能にする）ユークリッド距離の代わりに（楕円色分散にあまり影響を受けず、楕円分散を可能にする）バタチャリヤ距離を使用することが、商標画像のさらに正確な色のマッチングをもたらす。

図４に戻ると、ブロック４０６において、指向性勾配ヒストグラムは、指向性勾配ヒストグラム・モジュール３１４によって商標画像から抽出される。索引付けモジュール３１６は、商標画像に対応する指向性勾配ヒストグラムの特徴データを適宜索引付けし、画像索引データベース３０４に追加するように構成される。画像は、１つ又は複数の属性に基づいて索引付けされてよい。例えば、画像は、マッチング項目の迅速な探索を容易にするために、画像の抽出された色の特徴（例えば、色ヒストグラム）、抽出された形状の特徴（例えば、指向性勾配ヒストグラム）、関連情報（例えば、ニース分類）、及び同様のものに従って索引付けされてよい。

図６は、いくつかの実施例による、ブロック４０４及び４１４それぞれの後に処理され、ブロック４２０の前に処理されるブロック４０６及び４１６の詳細を示す。上述のように、他の実施例において、色ヒストグラム及び指向性勾配ヒストグラムの処理順序は入れ替えられてよく、また実質的に同時であってもよい。さらに他の実施例において、色の特徴だけ、又は形状の特徴だけを使用する単一の特徴処理が使用されてよい。１つの実施例において、ブロック４５０において、画像は、（色があれば）色からグレースケールに変換される。３つのＲＧＢ色チャネルの線形的寄与を表すグレースケール・フォーマットに変換することが不必要な色チャネルのデータを削減し、したがって、形状の特徴のヒストグラムを得る際の効率性と速度を高めることを可能にする。

ブロック４５１において、エッジ検出又は形状アルゴリズムを適用するよりも前に、ノイズの多いピクセルを抑制又は取り除くために、メジアン・フィルタが画像に適用される。

ブロック４５２において、画像の各ピクセルに対して（例えば、Ｓｃｈａｒｒ演算子によって）、水平導関数及び垂直導関数（ｘ導関数及びｙ導関数とも呼ばれる）が計算される。水平導関数は水平勾配をもたらし、垂直導関数は垂直勾配をもたらす。

１つの実施例において、画像のピクセルすべてのエッジ・マップを得るために、Ｓｏｂｅｌフィルタが適用されてよい。画像に対応するＳｏｂｅｌエッジ・マップは、色が取り除かれた画像に含まれるエッジの忠実な線画を含む。他の実施例において、キャニー・エッジ・マップを得るために、キャニーエッジ検出器（Ｃａｎｎｙ ｅｄｇｅ ｄｅｔｅｃｔｏｒ）などの、他のエッジ検出アルゴリズムを使用することができる。

ブロック４５３において、ブロック４５２で各ピクセルに対して計算された垂直導関数を水平導関数で割り、そのアークタンジェントをとることによって、方向角（指向性勾配とも呼ばれる）が計算される。

ブロック４５４において、画像は、ブロック（サブ・セル又はサブ領域と呼ばれることもある）に分割される。１つの実例において、全体画像はセルとみなされ、セルは３×３のブロック（又はサブ・セル若しくはサブ領域）に分割される。別の実例において、画像は２×２のセルに分割され、各セル内は３×３のブロックに分割されてよい（例えば、６×６即ち３６のブロック又はサブ・セル若しくはサブ領域）。各ブロック内の各ピクセルに対して方向の計算が行われる。次に、ブロックにグループ化された各ピクセルは、方向ヒストグラムに寄与する。したがって、１つのセル、３×３のブロック、及び１ブロックあたり９ビンのヒストグラムの実例に関して、８１ビンの指向性勾配ヒストグラムが形状の特徴としてもたらされる。

或いは、各ブロック内の各ピクセルに対して大きさの計算も行われ、方向ヒストグラムの加重ファクタとして使用されてよい。水平勾配の２乗と垂直勾配の２乗の和の平方根をとることによって、勾配の大きさが計算され得る。勾配の大きさはその後、重み付き方向ヒストグラムの加重ファクタの一部として使用されてよい。

ブロック４５５において、加重値と共に、計算された方向角をヒストグラムに追加することによって、各ブロックに対して、９ビンの重み付き指向性勾配ヒストグラムが抽出される。１つの実例において、指向性勾配ヒストグラムは、より高い精度を求めて、加重値によって以下の９個のビン、０〜２０、２０〜４０、４０〜６０、６０〜８０、８０〜１００、１００〜１２０、１２０〜１４０、１４０〜１６０、及び１６０〜１８０に分割される。方向角に与えられた重みは、角度をビンに正確に追加するための比率又は割合であってよい。重みは、ヒストグラムに含まれる隣のビンに角度が寄与し得るように使用される。例えば、計算された角度が５０である場合、角度は、ビン４０及びビン６０に等しく寄与することができる。例えば、計算された角度が４５である場合、３／４の重みがビン４０に与えられてよく、１／４の重みがビン６０に与えられてよい。ブロック４５５において、方向ヒストグラム・モジュール３１４は、エッジ・マップのピクセルの各方向角に重みを適用し、これは、方向角を９個のビンに正確にフィットする重み付き方向ヒストグラムを生じる。次に、方向ヒストグラム・モジュール３１４は、商標画像の形状の特徴を得るために、重み付き方向ヒストグラム内のビンを合計する。

或いは、前述のように、水平勾配の２乗と垂直勾配の２乗の和の平方根をとることによって、勾配の大きさが計算されてよい。勾配の大きさはその後、重み付き方向ヒストグラムの加重ファクタの一部として使用されてよい。

都合のよいことに、上述のように、商標が典型的には中心に置かれ、全体画像が処理されるので、形状の特徴を得るために以前に使用されたものよりも粗いか、又は細かくないセグメンテーション（即ち、少ないブロック又はサブ領域）が、商標画像のために使用されてよい。さらに、減少した色空間による画像の形状の特徴の処理と色の特徴の処理の組合せが、効率的且つ正確な商標画像の処理及びマッチングを可能にする。

したがって、所与の保有画像の画像特徴が抽出され／識別され、このような画像特徴は、クエリ画像に応答して迅速な探索を容易にするように適宜索引付けされた画像索引データベース３０４に格納される。必要に応じて何度でもブロック４０２〜４０６を繰り返すことによって、登録商標画像のすべて（セット、バッチ）が好きなだけ同様に索引付けされてよい。

保有画像が索引付けされると、マッチング・フェーズ４０１Ｂに関連して図４がここで説明される。ブロック４１２において、画像キャプチャ・モジュール３１０は、クエリ画像を受け取るように構成される。１つの実施例において、クエリ画像は、デバイス・マシン１１０によってネットワーク・システム１０２に送られる。デバイス・マシン１１０（例えば、スマートフォン）のユーザは、デバイス・マシン１１０に含まれるカメラを使用して、色、形状、パターン、ロゴ、テキスタイル、又は同様のものの写真を撮り、関心のある画像をキャプチャすることができる。写真は、画像特徴を抽出するためにクエリ画像としてネットワーク・システム１０２に伝送され、クエリ画像に最も似ている登録商標画像を返す。他の実施例において、ユーザは、クエリ画像ファイルをデバイス・マシン１１０に提供することができ、デバイス・マシン１１０は次に、この画像ファイルをネットワーク・システム１０２及び画像キャプチャ・モジュール３１０に伝送する。

デバイス・マシン１１０は、ウェブ・ブラウザを使用して、ウェブサイトを介してネットワーク・システム１０２とインターフェースすることができる。クエリ画像は、クエリ画像から特徴を抽出するために、ネットワーク・システム１０２に送られてよい。ネットワーク・システム１０２は、クエリ画像の抽出された特徴を使用して、登録商標画像とのマッチングを見つける。最上位のマッチングがデバイス・マシン１１０に返され、マッチング結果のウェブ・ページに並べられる。

デバイス・マシン１１０は、ネットワーク・システム１０２とインターフェースするためにアプリケーションをインストールするか、又はネットワーク・システム１０２によってホストされるウェブサイトにアクセスすることができる。ユーザがデバイス・マシン１１０でアプリケーションを起動すると、アプリケーションは、ユーザがクエリ画像を入力、又はそうでなければ指定するのに役立つ。実例として、アプリケーションは、ユーザが写真を撮ること、又はそうでなければ関心のある画像（例えば、色づけされた及び／若しくは模様のついた形状又は言葉）を得ることを可能にするカメラ機能を含むことができる（又はそうでなければ、別々のカメラ・アプリにアクセスすることができる）。さらに、アプリケーションは、既にデバイス・マシン１１０上にあるクエリ画像のデジタル・ファイルにアップロード又はリンクすることができる。

ブロック４１２〜４１６に関して、登録商標画像の代わりにクエリ画像に対して動作が行われる点を除いて、ブロック４０２〜４０６に対して上記で説明されたものと同じ動作が行われる。

ブロック４２０に関して、比較モジュール３１８は、クエリ画像に類似の又はマッチする１つ又は複数の登録商標画像を見つけるために、クエリ画像の色ヒストグラム及び指向性勾配ヒストグラムを、登録商標画像の色ヒストグラム及び指向性勾配ヒストグラムと比較するように構成される。

いくつかの実施例によれば、図７はブロック４０６と４１６の後に処理され、ブロック４３０の前に処理されるブロック４２０のさらなる詳細を示す。比較モジュール３１８は、色ヒストグラムの比較、また同様に指向性勾配ヒストグラムの比較という、クエリ画像と索引付けされた商標画像との各ペアに対して２つの比較を行う。ブロック４６０において、クエリ画像の色ヒストグラムと各登録商標画像の色ヒストグラムとの間の数理的な距離が計算される。ブロック４６２において、クエリ画像の指向性勾配ヒストグラムと各登録商標画像の指向性勾配ヒストグラムとの間の数理的な距離が計算される。上述のように、他の実施例において、色ヒストグラム及び指向性勾配ヒストグラムを比較する処理順序は入れ替えられてよく、また実質的に同時であってもよい。さらに他の実施例において、単一の特徴の比較だけが行われる（即ち、色の特徴又は形状の特徴が比較されるが、両方の比較は行われない）。

上記で説明された両方のアルゴリズム（即ち、色及び形状に基づくアルゴリズム）において、所与のクエリ画像／入力画像とフォルダに列挙されたデータベース画像すべてとの間の色及び形状の特徴に対する類似性尺度が、例えば、バタチャリヤ距離に従って計算され、ソートされる。最もマッチした画像は最短距離の類似性尺度を有する。都合のよいことに、本方法は、画像テクスチャが考慮されないので、すばやく且つ正確な商標画像の比較及び取得をもたらす。ほとんどの商標画像にはテクスチャがないか、又は色の移り変わりが多くないので、画像テクスチャは考慮されない。したがって、商標画像に対してあまりデータ処理が必要とされず、したがってより効率的だがそれでも正確な画像比較及び取得は、色の特徴を抽出するのに決して十分ではないＲＧＢ色空間と、形状の特徴を抽出するには粗いセグメンテーション（例えば、ブロック化）とを利用する本発明によって可能になる。意外にも、色の特徴と形状の特徴の両方を抽出する際に、（約数千から数百万の）商標タイプの画像の大きなセットに対する画像比較の処理効率と精度の両方を向上させるために、より粗く、且つ削減されたビニングが利用される。

（色又は方向）ヒストグラムのそれぞれの比較に対して、類似性スコア又は値が割り当てられてよい。各画像のペアに関して、最終的な類似性スコアは、色ヒストグラム比較類似性スコアと方向ヒストグラム比較類似性スコアの合計である。

考えられる類似性方式は、バタチャリヤ距離、コサイン類似性（内積）相関性、カイ２乗相関性、及び交差を含むが、これらに限定されない。１つの実施例において、バタチャリヤ距離として、類似値又はスコアが計算される。バタチャリヤ距離は、ビンの数の関数として、色ヒストグラム又は指向性勾配ヒストグラムの平方根のコサイン類似性の補数の平方根を含む。

図４に戻ると、ブロック４３０において、画像取得モジュール３２０は、デバイス・マシン１１０の画面に表示するために、類似結果又はマッチング結果をデバイス・マシン１１０に提供する。マッチング結果（例えば、登録商標画像、及び関連する可能性のある項目情報）は、クエリ画像に対する類似性の度合いの順に表示される。言い換えると、クエリ画像と、索引付けされた商標画像との各ペアに対する類似値が割り当てられる。類似性スコアは、いくつかの実施例において、入力クエリ画像に対する類似性の順に、デバイス・マシン１１０にマッチング結果が表示され得るようにソートされる。

いくつかの実施例において、システム又はユーザは、クエリ画像に応答して提示され得るマッチング結果の数に上限値を設定することができる。さらに、いくつかの実施例において、閾値を満たさない画像が取得又は表示されないように、類似性尺度の閾値が設定されてよい。

ここで図８Ａ〜図８Ｅを参照すると、図８Ａは、クエリ画像５０２を含むスクリーン・ショットの実例、即ちユーザ・インターフェース画面５００を示し、図８Ｂは、色ヒストグラム抽出の高レベルのブロック図を示し、図８Ｃ〜図８Ｄは、指向性勾配ヒストグラム抽出の高レベルのブロック図を示し、図８Ｅは、クエリ画像との比較後に取得された検索結果又は返された検索結果を示すスクリーン・ショットの実例、即ちユーザ・インターフェース画面５３０を示す。図８Ａ及び図８Ｅは、いくつかの実施例による、マッチング・フェーズに関係がある、デバイス・マシン１１０に表示される様々なユーザ・インターフェース（ＵＩ）画面を示す。

図８Ａのユーザ・インターフェース５００において、画面上に示されるクエリ画像の実例５０２は、文字、色、及び形状を含む。デバイス・マシン１１０上のアプリケーション（ネットワーク・システム１０２とインターフェースするため、又はネットワーク・システム１０２によってホストされるウェブサイトにアクセスするためのアプリケーション）は、クエリ画像５０２をネットワーク・システム１０２に伝送し、それに応じて、ネットワーク・システム１０２は、画像特徴の抽出動作を行い、上記で論じられたようなマッチング結果をもたらす。ユーザ・インターフェース５００は、１つの実施例において、言葉若しくは文字、形状、又は両方などの画像のタイプ（Ｍａｒｋａ Ｔｉｐｉ）、白黒又はカラーなどの色のタイプ（Ｒｅｎｋ）、及びクラス（ｓｉｎｉｆｌａｒ）、又はニース分類若しくは他の番号付けされた説明などの説明を含むが、これらに限定されない、クエリ画像を説明するための検索オプション５０４をさらに含む。したがって、いくつかの実施例において、ユーザは、（例えば、色又は形状のアルゴリズムしか使用せず、両方を含まないように）検索及び取得のためのマッチング尺度を選択することができる。１つの実施例において、ユーザ・インターフェース５００は、商標画像名
キーワード
出願番号（Ｂａｓｖｕｒｕ Ｎｏ．）、書類番号（Ｂｕｌｔｅｎ Ｎｏ．）、及びクエリ画像をロード（Ｙｕｋｌｅ）、又は編集（Ｒｅｓｍｉ ｄｕｚｅｎｌｅ）するためのオプションなどの、ただし限定されない、データ入力メニュー５０６をさらに含む。

図８Ｂは、色のある商標画像に対応する色ヒストグラム５１６の一部によって示されるような、画像の色の特徴を抽出するためのブロック４０４又は４１４の実行の実例を示す。各ＲＧＢチャネル５１０の２つの最上位ビット５１２（例えば、１０、１１、及び１０）は、所与の画像内の各ピクセルに対する新しい６ビットの値５１４を作り出すために用いられ、組み合わされる（例えば、連結される）。

各ピクセルの６ビットの値すべてのヒストグラム５１６が次に計算されるか、又は抽出され、６４ビンの色ヒストグラムに組み合わされる。水平軸は、各画像のピクセルに対するＲ、Ｇ、及びＢチャネル５１０に対するビン（合計６４ビン）を表す。ビンは、ＲＧＢ色空間の中の様々な色に対応する。垂直軸は、水平軸上に表されるビンの量を表す。したがって、高いピークは、色とりどりの商標画像に対する、他の色より顕著に存在している色を表す。

積み重ねられた１Ｄのヒストグラムは、画像のサンプリング部分のすべてのピクセルの値を格納する代わりに、比較的コンパクトな形で画像についての情報を提示する。垂直軸は、水平軸上の対応する値をとるピクセルの数を表す。したがって、結果として生じる積み重ねられた１Ｄのヒストグラムは、全体の商標画像の中に（又は画像のサンプリング・マスクの中に）存在している色を識別する。

代替実施例において、商標画像は、有利ではないが、ＨＳＶ色空間などの、ＲＧＢ色空間以外の色空間を使用して均一にサンプリングされてよい。さらに他の実施例において、保有画像は、有利ではないが、ＬＵＶ色空間、又は非均一なサンプリングにふさわしい他の色空間を使用して、非均一にサンプリングされてよい。

図８Ｃ及び図８Ｄは、画像の形状の特徴を抽出するための、ブロック４０６又は４１６の実行の実例を示す。商標画像５２０は、文字、形状、及び色を含むことができる。画像５２０は、３×３構成などでブロック５２１に分割され、（サブ・セル又はサブ領域とも呼ばれる）９つのブロック５２１を生じる。次に、図１〜図３（形状ヒストグラム抽出のためのシステム及び装置）並びに図４及び図６（形状ヒストグラム抽出の方法）に関して上述されたような９つのブロック５２１のそれぞれに対する９ビンの指向性勾配ヒストグラム５２６が抽出されてよい。各ブロック５２１は、Ｄのベクトルの長さを有する。５２８において示すような距離測定アルゴリズムを使用することによって各ヒストグラム間の距離Ｄ_ｔが測定されてよい。

形状ヒストグラムの方法は、３×３のブロック５２１を有する１つのセルを１つの画像に設ける。各ブロック５２１は、合計８１個のビンになるように９個のビンを各画像に設ける。商標画像の大部分が画像の中心に集中されるので、左上、右上、左下、及び右下側を計算することは時間の浪費であり、ヒストグラムに寄与することもない。２×２のセルに分割され、各セルが３×３のブロックを有し、各ブロックが９個のビンを有する画像と比較する際、これは、２×２×３×３×９、即ち３２４個のビンつまり特徴を意味する。３２４個の要素を有する各ベクトル間の類似性を計算することは、８１個の要素を有するベクトルよりも一層時間がかかる。

画像５２０の各ピクセルに対して、形状の要素を表す行列５２２が計算され、次に、垂直導関数Ｇｘ及び水平導関数Ｇｙが計算される。垂直導関数Ｇｘを水平導関数Ｇｙで割ると導関数の商を生じる。次に、（垂直導関数を水平導関数で割った）導関数の商のアークタンジェントをとることによって方向角Θが計算される。垂直導関数の２乗と水平導関数の２乗の和の平方根（（Ｇｘ^２＋Ｇｙ^２）の平方根）をとることによって、勾配の大きさが計算され得る。グラフ５２４は、１つの実例において、垂直導関数Ｇｘ、水平導関数Ｇｙ、大きさＭ、及び方向角Θを示す。

１つの実例において、指向性勾配ヒストグラム５２６は、０〜２０度、２０〜４０度、４０〜６０度、６０〜８０度、８０〜１００度、１００〜１２０度、１２０〜１４０度、１４０〜１６０度、及び１６０〜１８０度の９個のビンを使用して、重み付き方向角Θによって追加される。別の実例において、指向性勾配ヒストグラム５２６は、大きさの構成要素を含む重み付き方向角Θによって追加されてよい。

図８Ｅにおいて、画面５３０は、デバイス・マシン１１０に表示される、返された結果又はマッチング結果を示す。クエリ画像に「マッチする」とみなされるすべての項目が表示される。マッチング結果は、すべての類似値、色ヒストグラムの類似値、又は指向性勾配ヒストグラムの類似値などの、（例えば、最短バタチャリヤ距離による）類似値に基づくことなどの様々な方式で編成され、表示される。画面５３０は、バタチャリヤ距離に基づいて、返された画像の順序番号５３２を示し、最短バタチャリヤ距離が最小の順序番号を有し、対応する取得された画像が取得結果のリストの初めの方に現れる。マッチング結果は、ニース分類、登録人、又は同様のものに基づくなどして、類似値とカテゴリの組合せに基づいて編成され、表示されてもよい。選択されたカテゴリ内のマッチング項目は次に、このカテゴリに対して、より高い類似性スコアからより低い類似性スコアに並べられてよい。各マッチング画像に対して、色画像、並びに類似性スコア、登録人、所有者、及び国のうちの１つ又は複数などの、ただしこれらに限定されない情報が表示されてよい。

ユーザは、表示されたマッチング画像の中から、例えば、３番目にランク付けされた画像を選択することができる。それに応じて、選択された画像についてのさらなる画像の詳細が提供される。ユーザは、マッチング結果の中をナビゲートし、関心のある１つ又は複数の登録商標を閲覧することができる。したがって、１つの実施例において、ユーザは、画像ファイルを指し示すことによって、又は色及び／若しくはパターンを有する何かの写真を撮影することによって、クエリ画像を単純に提供することができ、アプリケーションはネットワーク・システム１０２を併用して、色、パターン、及び／若しくは形状に類似の又はこれらにマッチする登録商標のデータベースから画像を自動的に返すことができる。

登録商標のセットが、何万から何百万もの登録商標を含むとき、所与のクエリ画像のマッチング結果の数が途方もなく大きくなることがある。特にマッチング結果が、スマートフォン及び他のモバイル・デバイスに共通であるような、比較的小さなディスプレイで閲覧されると、マッチング項目のすべてがユーザによって閲覧されるよりかなり前に、閲覧に疲れてしまうことがある。比較的大きなディスプレイでさえ、（非常に）低いマッチング結果よりも、最上位のマッチング結果をユーザが閲覧する可能性が高くなる。したがって、効率的且つ正確な結果が大いに望ましい。

取得された画像を閲覧する際により多くのユーザオプションを提供し、場合によっては、所望の結果を改善するために、ユーザの関心によりよく合わせるように、又は結果を改善するように、当初のマッチング結果の中の登録商標の再ランク付け又は再配列を行うユーザ指示が、提供されたマッチング結果との対話処理中に使用されてよい。

例えば、デバイス・マシン１１０で所与のクエリ画像に対応するマッチング結果とのユーザの対話処理中に、ユーザは、マッチング結果の中から特定の登録商標への関心を示すことができる。選択された画像に対応する画像の詳細（例えば、より大きい画像、追加の画像、登録人、国、及び／又は同様のもの）が表示されてよい。

１つ又は複数の相関性、関連付け、又は推奨ルールに基づく再配列をリクエストするオプションを、ボタン又は他の指標がユーザに与えることができる。特定の商標、商標、選択された商標のコンテンツに関するユーザ選択などのいくつかのファクタ（例えば、色若しくは形状の特徴といった、好むような特定のヒストグラムのタイプ）、又はニース分類、登録人、所有者、国、及び／若しくは同様のものなどの商標関連の情報が、再配列処理／再ランク付け処理に対する、他の商標画像への相関性又は関連付けのために使用されてよい。ネットワーク・システム１０２におけるユーザ関心検出モジュール３２４は、特定の画像又は関連情報に対するユーザの指示／好みを受け取り、次に、ユーザが選択した商標又は関連情報などの、相関性又は関連付けルールに基づいて、初めにマッチした商標画像の再配列を行わせることができる。マッチング結果の中の２つ以上の画像に対するユーザの好みが、再配列又は再ランク付けの開始より前に示されて良い。次に、再配列されたマッチング結果がデバイス・マシン１１０に表示されてよい。再配列されたマッチング結果は、当初のマッチング結果の中の関心のある画像に関する追加のユーザ入力による、当初のマッチング結果の改良を含む。

ユーザによって提供されたマッチング結果の中の一定の画像又は画像関連情報に対する新しい好み又は追加の好みに応答して、所与のマッチング結果に対して再配列／再ランク付け動作が２回以上繰り返されてよい。

したがって、本発明は、クエリ画像のキャプチャ及び画像特徴の抽出、クエリ画像の画像特徴に最も厳密にマッチする登録商標画像の提示、並びに登録商標画像の詳細の閲覧を、ユーザの関心又は選択された情報に基づいて返された結果を改良するオプションと共に提供する。

ユーザが画像ファイルを提供すること、又はデバイス・マシン１１０上で写真を撮影し、アプリケーション若しくはウェブサイトを介してネットワーク・システム１０２にこの写真をアップロードすること以外の、クエリ画像を取得する代替方式は、ＨＴＭＬベースのウェブ・ページを有する任意のウェブサイトなどの、ネットワーク・システム１０２に関連しないウェブサイトからのものである。国のカテゴリで登録商標を検索するのに、このようなオプションが有用なことがある。

マッチング結果を再配列又は改良するための、及びサード・パーティのウェブサイトからクエリ画像を取得するためのユーザ関心検出が、以下にさらに説明されるような、デバイス・マシン１１０にインストールされたブラウザ・プラグインによって容易にされる。ネットワーク・システム１０２（例えば、アプリケーション・サーバ１１６）によって提供されるブラウザ・プラグインは、デバイス・マシン１１０にインストールされる。ブラウザ・プラグインは、ブラウザの機能拡張、コードのｊｑｕｅｒｙスニペット、又はブラウザ・プラグインを含む。ブラウザ・プラグインは、スタンド・アロン・モジュール、又はアプリケーションの一部であってよい。ブラウザ・プラグインは、少なくともブラウザ・プラグイン・モジュール３２２を含む。ブラウザ・プラグイン・モジュール３２２は、一定のウェブサイト（又はウェブ・ページ）へのリクエストを検出するために、デバイス・マシン１１０におけるウェブ・ブラウザの活動を監視するように構成される。リクエストは、デバイス・マシン１１０に含まれるウェブ・ブラウザにユニフォーム・リソース・ロケータ（ＵＲＬ）アドレスをユーザがエントリすること、又はウェブ・ページへのハイパーリンクをユーザがクリックすることを含む。一定のウェブサイトは、クエリ画像が供給され得る複数のウェブサイトの中からのウェブサイト（又はウェブ・ページ）（例えば、ＨＴＭＬベースのウェブ・ページを有する任意のウェブサイト）を含む。このようなウェブサイト（又はウェブ・ページ）は、クエリ画像ソース又は外部のサード・パーティのクエリ画像ソースと呼ばれることもある。

ブラウザ・プラグイン・モジュール３２２及び／又はユーザ関心検出モジュール３２４は、ウェブ・ページ上に含まれる画像へのユーザの関心又は興味を検出するように構成される。１つの実施例において、画像へのユーザの関心は、少なくとも最小時間、特定の画像又はその近くにポインティング・デバイス（例えば、マウス、トラックパッド、トラックボール、指など）をユーザが合わせるときに検出される。代替実施例において、ブラウザ・プラグイン・モジュール３２２は、ウェブ・ページ上に含まれる所与の画像への関心をユーザが明確に指定できるように、１つ又は複数のグラフィカル・ユーザ・インターフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）ツールを提供することができる。ＧＵＩツールの実例は、ポインティング・ツール、強調ツール、エリア指示ツール、及び同様のものを含むが、これらに限定されない。画像へのユーザの関心を検出する特定の方式が何であれ、検出は、表示されたウェブ・ページの特定の部分へのユーザの空間的な興味を識別することを含む。ユーザの関心のある画像が検出されると、ブラウザ・プラグイン・モジュール３２２は、ユーザの関心のある画像を受け取り、これは、上述のようなマッチング・フェーズ４０１Ｂに自動的に適用され得るクエリ画像を含む。

このように、画像特徴データの抽出及び画像特徴データの使用が本明細書で開示される。索引付けフェーズにおいて、登録商標画像がアクセスされ、これらの画像特徴及び属性を抽出するため、並びにこれらの画像特徴及び項目カテゴリによって商標画像が索引付けされる画像索引データベースにデータを入れるために、商標画像に対して索引付けが行われる。抽出された画像特徴は、色ヒストグラム及び指向性勾配ヒストグラムを含むが、これらに限定されない。（マッチング・フェーズとも呼ばれる）検索フェーズにおいて、画像索引データベース内の情報は、クエリ画像へのマッチング、又はクエリ画像に対応する最も類似の登録商標画像をもたらすために、（クエリ画像とも呼ばれる）非保有画像が受け取られるときにアクセスされる。クエリ画像は、ユーザが画像ファイルをアップロードすること、指し示すこと、ｅメールすること、メッセージングすること、又はそうでなければ伝達すること若しくは提供することによって提供されてよい。いくつかの実施例において、画像の写真、又は（無所属の）ウェブサイト若しくはウェブ・ページに含まれる画像は、入力画像又はクエリ画像を含む。検索結果は、クエリ画像に最もマッチする登録商標を含む。

別の実施例において、検索結果の中の商標のリスト化順序を再配列又は再ランク付けするために、検索結果の中にもたらされる商標又は関連情報のいくつかに対するユーザ選択又は好みが使用される。ウェブサイト／ウェブ・ページに含まれる画像へのユーザの関心が、この画像に対応する検索結果を返すために、入力、サンプル、又はクエリ画像として使用されてもよい。

画像特徴データの使用、特徴の抽出、及びマッチングの実行のための代替実施例が可能であるということが意図される。例えば、
○ 世界中のデータベースに商標として登録された類似の画像がないか、新たにデザインされたロゴ、形状、レタリング、色、シンボル、又は他の入力クエリ画像を自動的にチェックする。
○ 侵害を表す登録商標を自動的に検出する。
○ 追加の又は様々なフィルタが特徴の抽出に適用されてよい。
○ 様々な距離の関数を適用して、どの距離の関数がクラス固有という意味で最もよく機能するかを判断する（異なる項目間の距離を最大化させつつ類似の項目間の距離を最小化する）。

したがって、本発明は、大いに改善された速度、効率性、及び精度で、特徴データを抽出すること、特徴と画像を比較すること、画像及び関連データを取得すること、などを自動的に行うための、大いに改善された、商標画像の検索及び取得の方法、システム、及びコンピュータ製品を提供する。意外にも、色の特徴と形状の特徴の両方を抽出する際に、本発明は、フィルタリング、データ削減、より粗いセグメンテーション、及び削減されたビニングを利用して、（約数千から数百万の）商標タイプの画像の大きなセットに対する画像比較の処理効率と精度の両方を向上させる。

図９は、本明細書で議論される方法論のうちの任意の１つ又は複数を機械に行わせるために、命令のセットが実行され得るコンピュータ・システム６００の形式の実例において機械の図式表現を示す。コンピュータ・システム６００は、例えば、デバイス・マシン１１０、アプリケーション・サーバ１１６、ＡＰＩサーバ１１２、ウェブ・サーバ１１４、データベース・サーバ１２２、又はサード・パーティのサーバ１２６のいずれかを備える。代替実施例において、機械は、スタンド・アロン・デバイスとして動作してよく、また他の機械に接続されてもよい（例えば、ネットワーク化されてもよい）。ネットワーク化された配置において、機械は、サーバ−クライアント・ネットワーク環境においてサーバ又はデバイス・マシンの処理能力の中で動作してよく、またピアツーピアの（又は分散型の）ネットワーク環境においてピア・マシンとして動作してもよい。機械は、サーバ・コンピュータ、クライアント・コンピュータ、パーソナル・コンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、タブレット、セットトップ・ボックス（ＳＴＢ：ｓｅｔ−ｔｏｐ ｂｏｘ）、パーソナル・デジタル・アシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、スマートフォン、セルラー電話、ウェブ・アプライアンス、ネットワーク・ルータ、スイッチ若しくはブリッジ、又は任意の機械によって行われることになるアクションを指定する、（連続して又は別のやり方で）命令のセットを実行できる任意の機械であってよい。さらに、単一の機械だけしか示されていないが、用語「機械」も、命令のセット（又は複数のセット）を個別に又は統合して実行して、本明細書で議論される方法論のうちの任意の１つ又は複数を行う機械の任意のコレクションを含むように用いられるべきである。

コンピュータ・システム６００の実例は、プロセッサ６０２（例えば、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、グラフィックス処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又は両方）、メイン・メモリ６０４、及び静的メモリ６０６を含み、これらは、バス６０８を介して互いに通信する。コンピュータ・システム６００は、映像表示ユニット６１０（例えば、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、タッチ・スクリーン、又は陰極線管（ＣＲＴ：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ））をさらに含むことができる。コンピュータ・システム６００は、英数字入力デバイス６１２（例えば、物理キーボード又は仮想キーボード）、カーソル制御デバイス６１４（例えば、マウス、タッチ・スクリーン、タッチパッド、トラックボール、トラックパッド）、ディスク・ドライブ・ユニット６１６、信号生成デバイス６１８（例えば、スピーカ）、及びネットワーク・インターフェース・デバイス６２０も含む。

ディスク・ドライブ・ユニット６１６は、本明細書で説明される方法論又は機能のうちの任意の１つ又は複数を具体化する命令６２４の１つ又は複数のセット（例えば、ソフトウェア）が格納される機械可読媒体６２２を含む。命令６２４は、コンピュータ・システム６００による命令の実行中にメイン・メモリ６０４内及び／又はプロセッサ６０２内に完全に又は少なくとも部分的に常駐することもでき、メイン・メモリ６０４及びプロセッサ６０２も機械可読媒体とみなされる。

命令６２４は、ネットワーク・インターフェース・デバイス６２０を介してネットワーク６２６上でさらに伝送されるか、又は受け取られてよい。

機械可読媒体６２２は、単一の媒体として実施例の実例に示されるが、用語「機械可読媒体」は、命令の１つ又は複数のセットを格納する単一の媒体又は複数の媒体（例えば、集中型若しくは分散型のデータベース、並びに／又は関連するキャッシュ及びサーバ）を含むように用いられるべきである。用語「機械可読媒体」も、機械による実行のための、及び本発明の方法論の任意の１つ又は複数を機械に行わせる、命令のセットを格納すること、エンコードすること、又は搬送することを行うことができる任意の媒体を含むように用いられるべきである。用語「機械可読媒体」はしたがって、固体メモリ、光媒体及び磁気媒体、並びに搬送波信号を含むが、これらに限定されないように用いられるべきである。

明瞭化のために、上記の説明は、様々な機能ユニット又はプロセッサに関するいくつかの実施例を説明するということが理解されよう。しかし、様々な機能ユニット、プロセッサ、又はドメインの間の機能の任意の適切な分散が、本発明を損ねることなく使用されてよいということが明白であろう。例えば、別々のプロセッサ又はコントローラによって行われるように示される機能は、同じプロセッサ又はコントローラによって行われてよい。したがって、特定の機能ユニットへの参照のみが、厳格な論理的又は物理的な構造又は編成を示すものとしてではなく、説明される機能を提供するのに適切な手段への参照としてみなされる。

本明細書で説明される一定の実施例は、ロジック、又はいくつかのモジュール、エンジン、構成要素、若しくはメカニズムとして実装されてよい。モジュール、エンジン、ロジック、構成要素、又はメカニズム（まとめて「モジュール」と呼ばれる）は、一定の動作を行うことができる有形のユニットであってよく、一定の手法で構成又は配置されてよい。一定の実施例の実例において、１つ若しくは複数のコンピュータ・システム（例えば、スタンド・アロン、クライアント、若しくはサーバ・コンピュータ・システム）、又はコンピュータ・システムの１つ若しくは複数の構成要素（例えば、プロセッサ若しくはプロセッサのグループ）は、本明細書で説明される一定の動作を行うように動作するモジュールとして、ソフトウェア（例えば、アプリケーション若しくはアプリケーション部分）又はファームウェア（当業者によって知られているように、ソフトウェアとファームウェアは一般に、本明細書において区別なく使用されてよいということに留意されたい）によって構成されてよい。

様々な実施例において、モジュールは、機械的又は電子的に実装されてよい。例えば、モジュールは、一定の動作を行うように（例えば、専用プロセッサ、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、又はアレイの中に）永続的に構成される専用の回路機器又はロジックを備えることができる。モジュールは、一定の動作を行うようにソフトウェア又はファームウェアによって一時的に構成される（例えば、汎用プロセッサ又は他のプログラム可能プロセッサの中に包含されるような）プログラム可能論理回路又は回路機器を備えることもできる。専用且つ永続的に構成される回路機器、又は（例えば、ソフトウェアによって構成される）一時的に構成される回路機器にモジュールを機械的に実装するという判定は、例えば、費用、時間、エネルギー使用量、及びパッケージ・サイズの考察によって決定されてよいということが理解されよう。

したがって、用語「モジュール」は、本明細書で説明される一定の手法で動作するように、又は一定の動作を行うように、物理的に構築される、永続的に構成される（例えば、配線で接続される）、非一時的に構成される、又は一時的に構成される（例えば、プログラムされる）エンティティといった、有形のエンティティを包含するものとして理解されたい。モジュール又は構成要素が一時的に構成される（例えば、プログラムされる）実施例を考えると、モジュール又は構成要素のそれぞれが、時間内の任意の１つの段階に構成又はインスタンス化される必要はない。例えば、モジュール又は構成要素が、ソフトウェアを使用して構成される汎用プロセッサを備える場合、汎用プロセッサは、異なる時間に個々の異なるモジュールとして構成されてよい。ソフトウェアはしたがって、時間の１つの段階において特定のモジュールとみなされるように、及び時間の異なる段階に異なるモジュールとみなされるように、プロセッサを構成することができる。

モジュールは、他のモジュールに情報を提供することができ、他のモジュールから情報を受け取ることができる。したがって、説明されるモジュールは、通信可能に結合されているとみなされてよい。多数のこのようなモジュールが同時に存在する場合、通信は、モジュールをつなぐ信号伝送を通じて（例えば、適正な回路及びバス上で）実現されてよい。複数のモジュールが様々な時間に構成又はインスタンス化される実施例において、このようなモジュール間の通信は、例えば、複数のモジュールがアクセスできるメモリ構造に情報を保存及び取得することによって実現されてよい。例えば、１つのモジュールは１つの動作を行い、このモジュールが通信可能に結合されるメモリ・デバイスにこの動作の出力を格納することができる。さらなるモジュールは次に後で、格納された出力を取得及び処理するためにメモリ・デバイスにアクセスすることができる。モジュールは、入力又は出力デバイスとの通信を開始することもでき、リソース（例えば、情報のコレクション）に対して動作することもできる。

本発明がいくつかの実施例に関連して説明されてきたが、本明細書で示された特定の形式に限定されることを意図するものではない。当業者は、説明された実施例の様々な特徴が、本発明に従って組み合わされてよいということを認識するであろう。その上、様々な修正及び代替が、本発明の範囲を逸脱することなく当業者によって行われてよいということが理解されよう。

本技術的開示の性質を読者が迅速に確かめられるように要約が提供される。これは、特許請求の範囲の範囲又は意味を解釈又は限定するために使用されないという理解のもと提示される。さらに、前述の発明を実施するための形態において、本開示を簡素化するために、様々な特徴が単一の実施例にまとめられているということがわかる。開示の本方法は、特許請求された実施例が、各請求項に明確に列挙されたものよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明の主題は、単一の開示の実施例のすべての特徴より少なくてよい。

本発明の実施例は、システム、方法、又はコンピュータ・プログラム製品（例えば、画像検索システム、方法、又はコンピュータ・プログラム製品のために行われる実施例）として具体化されてよい。したがって、本開示の態様は、全面的にハードウェアの実施例、（ファームウェア、常駐ソフトウェア、マイクロ・コードなどを含む）全面的にソフトウェアの実施例、又は本明細書ですべて全体的に「回路」、「モジュール」、若しくは「システム」と呼ばれ得る、ソフトウェアとハードウェアの態様を組み合わせる実施例の形をとってよい。例えば、画像検索方法は、タブレット、ラップトップ、カメラ、電話、及び同様のものなどの携帯型デバイスに収納され得るソフトウェア・システム及びハードウェア・システムの中で具体化されてよい。別の例において、動作可能な通信及び組合せにおけるクライアント・コンピュータ及びサーバ・コンピュータは、全体として、システム内で具体化されると考えられてよい。さらに、本開示の本実施例の態様は、コンピュータ可読プログラム・コードを具体化させる１つ又は複数のコンピュータ可読媒体（ｍｅｄｉｕｍ）／媒体（ｍｅｄｉａ）の中で具体化されるコンピュータ・プログラム製品の形をとることができる。方法は、専用コンピュータ、又は適切にプログラムされた汎用コンピュータの中で実行されてよい。

１つ又は複数のコンピュータ可読媒体（ｍｅｄｉｕｍ）／媒体（ｍｅｄｉａ）の任意の組合せが利用されてよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体であってよい。コンピュータ可読ストレージ媒体は、例えば、電子、磁気、光、電磁気、赤外線、若しくは半導体のシステム、装置、若しくはデバイス、又は前述の任意の適切な組合せであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらなる具体的な実例（包括的でないリスト）は、１つ若しくは複数のワイヤを有する電気的接続、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、リード・オンリ・メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラム可能リード・オンリ・メモリ（ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）即ちフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ−ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、光ストレージ・デバイス、磁気ストレージ・デバイス、又は前述の任意の適切な組合せを含む。本ドキュメントに関連して、コンピュータ可読ストレージ媒体は、命令実行システム、装置、若しくはデバイスによって、又はこれらと共に使用するためのプログラムを収めるか、又は格納することができる任意の有形的表現媒体であってよい。

コンピュータ可読信号媒体は、例えば、ベースバンドにおいて、又は搬送波の一部として、信号内で具体化されるコンピュータ可読プログラム・コードと共に伝播されるデータ信号を含むことができる。このような伝播される信号は、電磁気、光、又はこれらの任意の適切な組合せを含むが、これらに限定されない様々な形式のいずれかをとることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、命令実行システム、装置、若しくはデバイスによって、又はこれらと共に使用するためのプログラムを通信、伝播、又は運搬できる任意のコンピュータ可読媒体であってよい。

コンピュータ可読媒体上で具体化されるプログラム・コードは、ワイヤレス、ワイヤライン、光ファイバ・ケーブル、ＲＦなど、又は前述の任意の適切な組合せを含むが、これらに限定されない任意の適正な媒体を使用して伝送されてよい。本開示の本実施例の態様に関する動作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋又は同様のものなどのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組合せで書かれてよい。プログラム・コードは、全面的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンド・アロンのソフトウェア・パッケージとして、部分的にユーザのコンピュータ上で、及び部分的にリモート・コンピュータ上で、又は全面的にリモート・コンピュータ若しくはサーバ上で実行することができる。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通じてユーザのコンピュータに接続されてよく、また接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを通じて）外部コンピュータに対して行われてよい。

本開示の本実施例の態様は、本発明の実施例（例えば、図１〜図９）による、方法、装置（システム）、及びコンピュータ・プログラム製品の流れ図及び／又はブロック図を参照しながら上記で説明される。流れ図及び／又はブロック図の各ブロック、並びに流れ図及び／又はブロック図におけるブロックの組合せは、コンピュータ・プログラム命令によって実行されてよいということが理解されよう。これらのコンピュータ・プログラム命令は、汎用コンピュータ、専用コンピュータ、又は機械を生み出す他のプログラム可能データ処理装置のプロセッサに提供されてよく、その結果、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行する命令は、流れ図及び／又はブロック図のブロック又は複数のブロックで指定される機能／作用を実行するための手段を作り出す。

コンピュータ、他のプログラム可能データ処理装置、又は特定の手法で機能する他のデバイスに指示できるこれらのコンピュータ・プログラム命令は、コンピュータ可読媒体に格納されてもよく、その結果、コンピュータ可読媒体に格納された命令は、流れ図及び／又はブロック図のブロック又は複数のブロックで指定される機能／作用を実行する命令を含む製品を生み出す。

コンピュータ・プログラム命令は、コンピュータ又は他のプログラム可能装置上で実行する命令が、流れ図及び／又はブロック図のブロック又は複数のブロックで指定される機能／作用を実行するための処理を行うように、コンピュータによって実行される処理を生み出すコンピュータ、他のプログラム可能装置、又は他のデバイス上で一連の動作ステップが行われるようにするために、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードされてもよい。

本発明は、限られた数の実施例のみに関連して詳細に説明されたが、本発明は、このような開示の実施例に限定されないということを容易に理解されたい。むしろ本発明は、いくつかの変形形態、代替形態、代用、組合せ、又はこれまで説明されていない同等の仕組みを組み込むように修正されてよいが、これらは、本発明の精神及び範囲と同等である。例えば、様々なフィルタの使用、及びヒストグラム生成の順序は、本発明の範囲内にある。さらに、上記で開示された画像検索システム、装置、及び方法を作り上げる様々な構成要素は、本発明の範囲内の様々な適用可能且つ機能的な組合せで組み合わされることが可能な代替であってよい。さらに、本発明の様々な実施例が説明されたが、本発明の態様は、説明された実施例のうちのいくつかしか含んでいない可能性があるということを理解されたい。したがって、本発明は、前述の説明によって限定されるとみなされるべきではなく、添付の特許請求の範囲の範囲によってのみ限定される。

Claims (27)

1. 商標画像のコンテンツ・ベースの検索及び取得のための方法であって、
   前記商標画像の各ピクセルに対する６ビットの色データを使用して各商標画像に対する重みなしの６４ビンの色ヒストグラムをプロセッサを用いて生成することによって、削減されたカラー・セグメンテーションを用いて複数の商標画像から色の特徴を抽出するステップであって、前記６ビットの色データが、前記商標画像の各ピクセルに対する赤、緑、及び青チャネルのそれぞれからの最上位の２ビットを含む、色の特徴を抽出するステップと、
   前記各商標画像を３×３のブロックに分割して粗いセグメンテーションを形成し、各セグメンテーション内の各ピクセルに対する重み付き方向角データを使用して９ビンの方向ヒストグラムを前記粗いセグメンテーションごとに前記プロセッサを用いて生成することによって、複数の商標画像から形状の特徴を抽出するステップと、
   前記削減されたカラー・セグメンテーション及び前記粗いセグメンテーションを用いて、クエリ商標画像と商標画像のセットの各商標画像との間の色の特徴及び形状の特徴を比較することにより、前記クエリ商標画像と商標画像の前記セットの間の距離の類似性尺度を、前記プロセッサによって生成するステップと
   を含む、方法。
2. 色の特徴を抽出するステップが、
   前記商標画像を平滑化するために第１のフィルタを適用するステップと、
   前記商標画像から背景ピクセルを取り除くステップと
   をさらに含む、請求項１に記載の方法。
3. 形状の特徴を抽出することが、
   前記商標画像をグレースケールに変換するステップと、
   前記商標画像からノイズの多いピクセルを取り除くために第３のフィルタを適用するステップと、
   前記商標画像の各ピクセルに対する水平導関数及び垂直導関数を計算するステップと、
   前記商標画像の各ピクセルに対する導関数の商を得るために前記垂直導関数を前記水平導関数で割るステップと、
   前記導関数の商のアークタンジェントを計算することによって、前記商標画像の各ピクセルに対する方向角を計算するステップと、
   をさらに含む、請求項２に記載の方法。
4. 形状の特徴を抽出するステップが、
   前記画像の８１ビンの形状ヒストグラムを得るために、加重値と共に方向角データを使用して、前記画像の各ブロックに対する９ビンの形状ヒストグラムを抽出するステップ
   をさらに含む、請求項１に記載の方法。
5. 前記９ビンの方向ヒストグラムの９個のビンが、０〜２０度、２０〜４０度、４０〜６０度、６０〜８０度、８０〜１００度、１００〜１２０度、１２０〜１４０度、１４０〜１６０度、及び１６０〜１８０度を含む、請求項１に記載の方法。
6. 前記距離の類似性尺度が、バタチャリヤ距離である、請求項１に記載の方法。
7. バタチャリヤ距離を使用して、クエリ商標画像と、商標画像のセットの各商標画像との間の色の特徴と形状の特徴を比較することによって、前記クエリ商標画像と商標画像の前記セットの間の距離の類似性尺度を生成するステップ
   をさらに含む、請求項１に記載の方法。
8. バタチャリヤ距離による順序で商標画像の前記セットから商標画像を返し、ディスプレイ上に表示するステップ
   をさらに含む、請求項１に記載の方法。
9. 商標画像のコンテンツ・ベースの検索及び取得のための方法であって、
   − データベース内の商標画像のセットのＵＲＬを提供するステップと、
   − クエリ商標画像を受け取るステップと、
   − 削減されたカラー・セグメンテーションを用いて、プロセッサによって前記商標画像のそれぞれから色の特徴を抽出するステップであって、
   前記画像を平滑化するために第１のフィルタを適用するステップ、
   前記画像の背景ピクセルを取り除くステップ、
   前記画像の各ピクセルに対する６ビットの色データを提供するために、赤、緑、及び青チャネルのそれぞれからの最上位の２ビットを連結することにより、削減されたカラー・セグメンテーションを提供するステップ、並びに
   前記６ビットの色データを使用して前記画像の重みなしの６４ビンの色ヒストグラムを抽出するステップ
   を含む、色の特徴を抽出するステップと、
   − 粗いセグメンテーションを用いて、前記プロセッサによって前記商標画像のそれぞれから形状の特徴を抽出するステップであって、
   前記画像をグレースケールに変換するステップ、
   前記画像からノイズの多いピクセルを取り除くステップ、
   前記画像の各ピクセルに対する水平導関数及び垂直導関数を計算するステップ、
   前記画像の各ピクセルに対する導関数の商を得るために、前記垂直導関数を前記水平導関数で割るステップ、
   前記導関数の商のアークタンジェントを計算することによって、前記画像の各ピクセルに対する方向角を計算するステップ、
   前記画像を３×３のブロックに分割するステップ、並びに
   前記画像の８１ビンの形状ヒストグラムを得るために、加重値と共に方向角データを使用して、前記画像の各ブロックに対する９ビンの形状ヒストグラムを抽出するステップであって、前記形状ヒストグラムの前記９個のビンが、０〜２０度、２０〜４０度、４０〜６０度、６０〜８０度、８０〜１００度、１００〜１２０度、１２０〜１４０度、１４０〜１６０度、及び１６０〜１８０度を含む、９ビンの形状ヒストグラムを抽出するステップ
   を含む、形状の特徴を抽出するステップと、
   − 前記削減されたカラー・セグメンテーション、粗いセグメンテーション及びバタチャリヤ距離を使用して、前記クエリ商標画像と、商標画像の前記セットの各商標画像との間の色の特徴と形状の特徴を比較することによって、前記クエリ商標画像と商標画像の前記セットとの間の類似性を判断するステップと、
   − バタチャリヤ距離による順序で商標画像の前記セットから商標画像を返すステップと
   を含む、方法。
10. 機械の１つ又は複数のプロセッサによって実行されると、
    商標画像の各ピクセルに対する６ビットの色データを使用して前記商標画像の重みなしの６４ビンの色ヒストグラムを生成することによって、削減されたカラー・セグメンテーションを用いて前記商標画像から色の特徴を抽出することであって、前記６ビットの色データが、前記商標画像の各ピクセルに対する赤、緑、及び青チャネルのそれぞれからの最上位の２ビットを含む、色の特徴を抽出することと、
    前記商標画像を３×３のブロックに分割して粗いセグメンテーションを形成し、各セグメンテーション内の各ピクセルに対する重み付き方向角データを使用して９ビンの方向ヒストグラムを前記粗いセグメンテーションごとに生成することによって、前記商標画像から形状の特徴を抽出することと、
    前記削減されたカラー・セグメンテーション及び前記粗いセグメンテーションを用いて、２つの商標画像間の前記色の特徴と前記形状の特徴を比較して距離の類似性尺度を生成することと
    を含む動作を前記機械に行わせる命令を有する非一時的機械可読ストレージ媒体。
11. 色の特徴を前記抽出することが、
    前記商標画像を平滑化するために第１のフィルタを適用することと、
    前記商標画像から背景ピクセルを取り除くことと
    をさらに含む、請求項１０に記載の非一時的機械可読ストレージ媒体。
12. 形状の特徴を前記抽出することが、
    前記商標画像をグレースケールに変換することと、
    前記商標画像からノイズの多いピクセルを取り除くことと、
    前記商標画像の各ピクセルに対する水平導関数及び垂直導関数を計算することと、
    前記画像の各ピクセルに対する導関数の商を得るために前記垂直導関数を前記水平導関数で割ることと、
    前記導関数の商のアークタンジェントを計算することによって、前記画像の各ピクセルに対する方向角を計算することと、
    をさらに含む、請求項１０に記載の非一時的機械可読ストレージ媒体。
13. 形状の特徴を前記抽出することが、
    加重値と共に方向角データを使用して、前記画像の各ブロックに対する９ビンの形状ヒストグラムを抽出すること
    をさらに含む、請求項１０に記載の非一時的機械可読ストレージ媒体。
14. 前記９ビンの方向ヒストグラムの９個のビンが、０〜２０度、２０〜４０度、４０〜６０度、６０〜８０度、８０〜１００度、１００〜１２０度、１２０〜１４０度、１４０〜１６０度、及び１６０〜１８０度を含む、請求項１０に記載の非一時的機械可読ストレージ媒体。
15. 前記距離の類似性尺度が、バタチャリヤ距離である、請求項１０に記載の非一時的機械可読ストレージ媒体。
16. バタチャリヤ距離を使用して、クエリ商標画像と、商標画像のセットの各商標画像との間の色の特徴と形状の特徴を比較することによって、前記クエリ商標画像と商標画像の前記セットの間の距離の類似性尺度を生成すること
    をさらに含む動作を前記機械に行わせる、請求項１０に記載の非一時的機械可読ストレージ媒体。
17. バタチャリヤ距離による順序で商標画像の前記セットから商標画像を返すこと
    をさらに含む動作を前記機械に行わせる、請求項１０に記載の非一時的機械可読ストレージ媒体。
18. 商標画像のコンテンツ・ベースの検索及び取得のためのシステムであって、
    １つ又は複数のプロセッサと、
    削減されたカラー・セグメンテーションを提供するために、商標画像の各ピクセルに対する６ビットの色データを使用して、商標画像の重みなしの６４ビンの色ヒストグラムを生成するように、前記１つ又は複数のプロセッサの中の少なくとも１つのプロセッサを構成する色ヒストグラム・モジュールであって、前記６ビットの色データが、前記商標画像の各ピクセルに対する赤、緑、及び青チャネルのそれぞれからの最上位の２ビットを含む、色ヒストグラム・モジュールと、
    粗いセグメンテーションを提供するために、前記商標画像を３×３のブロックに分割し、各セグメンテーション内の各ピクセルに対する重み付き方向角データを使用して９ビンの方向ヒストグラムを前記粗いセグメンテーションごとに生成するように、前記１つ又は複数のプロセッサの中の少なくとも１つのプロセッサを構成する方向ヒストグラム・モジュールと、
    前記削減されたカラー・セグメンテーション及び前記粗いセグメンテーションを用いて、２つの商標画像間の前記色ヒストグラムと前記方向ヒストグラムを比較して距離の類似性尺度を生成するように、前記１つ又は複数のプロセッサの中の少なくとも１つのプロセッサを構成する比較モジュールと
    を備える、システム。
19. 前記色ヒストグラム・モジュールが、
    前記商標画像を平滑化するために第１のフィルタを適用することと、
    前記商標画像から背景ピクセルを取り除くために第２のフィルタを適用することと
    を行うように、前記少なくとも１つのプロセッサを構成する、請求項１８に記載のシステム。
20. 前記方向ヒストグラム・モジュールが、
    前記商標画像をグレースケールに変換することと、
    前記商標画像からノイズの多いピクセルを取り除くことと、
    前記商標画像の各ピクセルに対する水平導関数及び垂直導関数を計算することと、
    前記画像の各ピクセルに対する導関数の商を得るために前記垂直導関数を前記水平導関数で割ることと、
    前記導関数の商のアークタンジェントを計算することによって、前記画像の各ピクセルに対する方向角を計算することと
    を行うように、前記少なくとも１つのプロセッサを構成する、請求項１８に記載のシステム。
21. 前記方向ヒストグラム・モジュールが、
    前記画像の８１ビンの形状ヒストグラムを得るために、加重値と共に前記方向角データを使用して、前記画像の各ブロックに対する９ビンの形状ヒストグラムを抽出すること
    を行わせるように、前記少なくとも１つのプロセッサを構成する、請求項１８に記載のシステム。
22. 前記９ビンの方向ヒストグラムの９個のビンが、０〜２０度、２０〜４０度、４０〜６０度、６０〜８０度、８０〜１００度、１００〜１２０度、１２０〜１４０度、１４０〜１６０度、及び１６０〜１８０度を含む、請求項１８に記載のシステム。
23. 前記比較モジュールが、バタチャリヤ距離である距離の類似性尺度を生成するように、前記少なくとも１つのプロセッサを構成する、請求項１８に記載のシステム。
24. 前記比較モジュールが、バタチャリヤ距離を使用して、クエリ商標画像と、商標画像のセットの各商標画像との間の色の特徴と形状の特徴を比較することによって、前記クエリ商標画像と商標画像の前記セットの間の距離の類似性尺度を生成するように、前記少なくとも１つのプロセッサを構成する、請求項１８に記載のシステム。
25. バタチャリヤ距離による順序で商標画像のセットから商標画像を返すように、前記１つ又は複数のプロセッサの中の少なくとも１つのプロセッサを構成する画像取得モジュールをさらに備える、請求項１８に記載のシステム。
26. バタチャリヤ距離による順序で商標画像のセットから取得された商標画像を表示するためのディスプレイをさらに備える、請求項１８に記載のシステム。
27. 前記システムに通信可能に結合されたデバイスから商標又は商標画像を受け取るように構成されるキャプチャ・モジュールをさらに備える、請求項１８に記載のシステム。