JP5281156B2 - 画像の注釈付け - Google Patents

Description

本明細書は画像の注釈付けに関する。

関連出願の相互参照
本出願は、その全体が参照によって本明細書に組み込まれている、2008年6月6日出願の“Annotating Images”という名称の米国特許出願第61/059,702号の、米国特許法119(e)条のもとでの利益を主張するものである。

テキストベースの画像の注釈付けは、コンピュータビジョンおよび情報検索コミュニティ（community）において、重要な実際的かつ根本的な問題であり続けている。実際的な観点からすると、現行の画像探索の解決策は、画像探索を行うのに画像内容を効果的に用いていない。このため、探索結果の適用可能性がしばしば制限される。

入力画像が与えられると、自動の画像の注釈付けの目的は、画像に対して、その視覚的内容を反映するいくつかの関連するテキストキーワード(ラベルとも称される)を割り当てることである。例えば、画像を含むデジタルファイル、キーワードから画像へのリンクまたは参照を伴うデータベース、キーワードと画像をリンクするデータを有するXMLファイル、または他の方法といった様々なやり方のいずれかによってキーワードをメタデータとして記憶することにより、キーワードを画像に割り当てる(もしくは関連付ける)ことができる。

米国特許出願第61/059,702号

Frome et al.、「Learning Globally-Consistent Local Distance Functions for Shape-Based Image Retrieval and Classification」、International Conference on Computer Vision 2007

ウェブ上およびウェブ外での画像データ収集の急激な増加に伴って、頑健な画像探索および画像検索が、急速に重要要件化している。現行のインターネット画像探索エンジンは、一般に、関連画像を検索するのにテキストベースの探索を利用し、画像内容は無視する。より豊富でより適切なキーワードの組を割り当てるのに画像内容を利用すると、画像探索を改善するために、これら探索エンジンの高速索引付けおよび検索アーキテクチャをさらに活用することが可能になる。このことは、画像を適切なテキストキーワードで注釈付けするという問題を実際上非常に重要なものにする。

本明細書は、画像の自動注釈付けに関する技術を説明する。一般に、本明細書で説明される主題の一態様は、入力画像をデータ処理装置の中に受け取るステップと、データ処理装置の働きにより、コンピュータ可読媒体上に記憶されたデジタル画像の集合の中から、入力画像の1つまたは複数の最近傍画像を識別するステップであって、1つまたは複数の最近傍画像のそれぞれが、それぞれの1つまたは複数の画像ラベルに関連付けられるステップと、入力画像に複数の画像ラベルを割り当てるステップであって、複数の画像ラベルが、1つまたは複数の最近傍画像に関連した画像ラベルからデータ処理装置によって選択されるステップと、入力画像および入力画像と割り当てられた複数の画像ラベルとの関連性をデータリポジトリに記憶するステップとを含む、データ処理装置によって実行される画像の注釈付けの方法で実施することができる。

別の態様では、コンピュータで実施される方法は、入力画像を受け取るステップと、入力画像の複数のランク付けされた最近傍画像を画像の集合から識別するステップであって、ランク付けされた最近傍画像のそれぞれが、それぞれの1つまたは複数の画像ラベルに関連付けられるステップと、単一画像ラベルが入力画像に割り当てられるステップであって、単一画像ラベルが、複数のランク付けされた最近傍画像に関連した画像ラベルから選択されるステップと、割り当てられた単一画像ラベルを有する入力画像をデータリポジトリに記憶するステップとを含む。前述の態様の他の実施形態は、対応するシステム、装置、およびコンピュータプログラム製品を含む。

別の態様では、システムは、複数の画像ラベルに総体として関連した1つまたは複数の参照画像を、入力画像の最近傍画像であると判定するための手段と、入力画像に1つまたは複数の参照画像に関連した複数の画像ラベルから選択された2つ以上の画像ラベルを割り当てるための手段とを含む。1つまたは複数の画像のそれぞれは、複数の画像ラベルに関連付けられることができる。これらおよび他の実施形態は、以下の特徴の1つまたは複数を任意選択で含むことができる。複数の画像は、単一の最近傍画像から選択することができる。

複数の画像ラベルを割り当てるステップは、それぞれの最近傍画像に関連したそれぞれの全体画像距離に従って、複数の最近傍画像をソートするステップを含むことができる。各全体画像距離は、入力画像と対応する最近傍画像との間の差の程度を示すことができる。

複数の画像ラベルを割り当てるステップは、デジタル画像の集合におけるそれぞれの出現度数に従って、1つまたは複数の第1の画像ラベルをランク付けするステップであって、1つまたは複数の第1の画像ラベルのそれぞれが、第1の最近傍画像に関連付けられるステップと、1つまたは複数の第1の画像ラベルのランクに基づいて第1の画像ラベルの少なくとも1つを入力画像に割り当てるステップとをさらに含むことができる。

複数の画像ラベルを割り当てるステップは、1つまたは複数の第2の画像ラベルをランク付けするステップであって、第2の画像ラベルのそれぞれが1つまたは複数の残りの最近傍画像に関連付けられるステップと、1つまたは複数の第2の画像ラベルのランキングに基づいて少なくとも1つの第2の画像ラベルを入力画像に割り当てるステップとを含むこともできる。

1つまたは複数の第2の画像ラベルをランク付けするステップは、デジタル画像の集合における、第2の画像ラベルのそれぞれの、各第1の画像ラベルとの同時出現に従って、1つまたは複数の第2の画像ラベルをソートするステップを含むことができる。その代わりに、もしくはそれに加えて、1つまたは複数の第2の画像ラベルをランク付けするステップは、1つまたは複数の残りの最近傍画像の第2の画像ラベルのそれぞれの局所的度数に従って、1つまたは複数の第2の画像ラベルをソートするステップを含むことができる。

全体画像距離は、特徴距離の組合せを含むことができ、各特徴距離は、入力画像に関連した画像特徴と参照画像に関連したそれぞれの画像特徴との間の差の程度を表す。入力画像に関連した画像特徴および参照画像に関連したそれぞれの画像特徴は、それぞれが全体的画像特徴を備えることができる。その代わりに、もしくはそれに加えて、入力画像に関連した画像特徴および参照画像に関連したそれぞれの画像特徴は、それぞれが局所的画像特徴を含むことができる。

全体画像距離は、特徴距離の平均として導出され得る。平均は、特徴距離のそれぞれから実質的に等しい寄与に基づくものであり得る。平均は、特徴距離のそれぞれから重み付けされた寄与に基づくものであり得る。特徴距離のそれぞれに対する重み付けは、デジタル画像の集合に基づいて計算することができ、デジタル画像の集合は、類似画像と非類似画像との対を備えるトレーニング画像の群である。

特徴距離の少なくとも1つは、入力画像のテクスチャ特徴と参照画像の対応するテクスチャ特徴との間の差として計算することができる。特徴距離の少なくとも1つは、入力画像の色特徴と参照画像の対応する色特徴との間の差として計算することができる。

本明細書で説明される主題の特定の実施形態は、以下の利点の1つまたは複数を実現するように実施され得る。場合によっては、画像の注釈付けの技法は、最小トレーニング要件によって特徴付けられる。特定の実装形態では、画像の注釈付けを検索問題として扱うと注釈付けのプロセスが簡単になる。

本発明の1つまたは複数の実施形態の詳細が、添付図面および以下の説明に示される。本発明の他の特徴、態様、および利点が、説明、図面、および特許請求の範囲から明らかになるであろう。

テスト画像をキーワードによって注釈付けする一実施例を示す図である。 入力画像の最近傍画像を求める全体的概要を与える流れ図である。 合成距離を導出する概要を与える流れ図である。 入力画像の最近傍画像からキーワードを入力画像へ転写するステップの全体的概要を与える流れ図である。 少なくとも4個のキーワードを共有する画像対の例を示す図である。 キーワードを共有しない画像対の例を示す図である。 個別の画像データセットからの画像例を示す図である。 個別の画像データセットからの画像例を示す図である。 注釈付けされた画像の例を示す図である。 注釈付けされた画像の例を示す図である。 独自の画像データセットにおいて複数の別々のキーワードに対してそれぞれ検索された最初のいくつかの画像の例を示す図である。 独自の画像データセットにおいて複数の別々のキーワードに対してそれぞれ検索された最初のいくつかの画像の例を示す図である。 独自の画像データセットにおいて複数の別々のキーワードに対してそれぞれ検索された最初のいくつかの画像の例を示す図である。

画像に対してキーワードを自動的に割り当てると、画像データの大きな集合を、検索し、索引付けし、組織化し、かつ理解することが可能になる。本明細書は、注釈付けを検索問題として扱う画像の注釈付けのための技法を説明する。この技法は、所与の画像の最近傍画像を見いだすのに、低レベルの画像特徴および基本的な距離測度の簡単な組合せを利用する。次いで、キーワードが、グリーディラベル転写メカニズムを用いて割り当てられる。

画像の注釈付けは、次の2つの主要な理由のために困難なタスクである。第1に、例えば色およびテクスチャである全く低レベルの画像特徴を用いて意味論的に有意義なエンティティを抽出するのが困難であるといった、ピクセルから断定する問題、または意味上のギャップの問題がある。何千もの対象物またはクラスの明示的認識を確実に行うことは現在未解決の問題である。第2の問題は、トレーニングデータ中のキーワードと画像領域との対応不足によって生じる。各画像に関して、全体画像に割り当てられたキーワードがアクセスされ、画像のどの領域がこれらのキーワードに対応するかは分かっていない。これは、各キーワードが個別のクラスであると見なされる分類器（classifier）の直接トレーニングを妨げる恐れがある。

本明細書は、最小トレーニング要件によって特徴付けられる技法を説明する。この技法は、いくつかの標準的データセットならびに大きなウェブデータセットに対して、複雑な現況技術の画像の注釈付けの方法より性能が優れている。

図1は、テスト画像をキーワードによって注釈付けする一実施例を示す。テスト画像2が与えられると、画像のトレーニングセット4からその最近傍画像(例えば、あらかじめ規定された距離測度によっていくつかの特徴空間中に定義された、第1の最近傍画像10、第2の最近傍画像20、および第3の最近傍画像30)を見いだして、最近傍画像に関連したキーワードのいくつかまたはすべてを入力テスト画像2に割り当てることができる。場合によっては、全体的な画像特徴に対して定義された簡単な距離測度を用いると、他の注釈付けの技法より性能が優れる。いくつかの実装形態では、キーワードを割り当てるのに、最近傍画像を1枚だけでなくK枚用いる。最近傍画像が複数の場合、グリーディ手法を用いて適切なキーワードを入力画像に割り当てることができ、注釈付けの性能がさらに向上する。

K枚の最近傍画像の手法は、別個の特徴空間にわたって定義され得る複数の距離測度を組み込むように拡張することができる。別々の距離または核を組み合わせると、物体認識タスクにおける優れた性能をもたらすことができる。注釈付けの方法を生成するために別々の距離を組み合わせる別々の2つのやり方を説明する。第1のものは、各距離を適切にスケーリングした後に、別々の距離の平均を計算する。第2のものは、Lassoとして知られているスパースロジスティック回帰法（sparse logistic regression method）を用いて適切な距離を選択するステップに基づく。回帰法については、類似の画像および非類似の画像を含むトレーニングセット用いることができる。注釈付けのタスク向けに与えられる一般的なトレーニングセットは、そのような情報を直接含むわけではない。いくつかの実装形態では、Lassoは、注釈付けのトレーニングデータからラベルが付いたセットを生成することにより訓練される。そのような弱く訓練されたLassoさえ優れた性能をもたらす。場合によっては、平均された距離技法は、雑音の多い（noisy）Lasso技法と同等に、もしくはより優れて機能する。

外観が類似した画像はキーワードを共有しそうであるという前提の上に構築される画像の注釈付けのための方法の一群を、次に説明する。この目的のために、画像の注釈付けは、最近傍画像からキーワードを転写するプロセスを含む。画像特徴を用いて近傍構成が構築され、入力画像および対応する参照画像の、それぞれの特徴間の距離の概念に依存する基本的モデルがもたらされる。

図2Aは、入力画像の最近傍画像を求める全体的概要を与える流れ図である。1つまたは複数のコンピュータに実装されたサーバは、デジタル入力画像を受け取る(200)ように動作可能である。サーバは、1つまたは複数の参照画像が選択されているデジタル画像の集合を受け取ることもできる。デジタル画像は、サーバのデータリポジトリまたは他のコンピュータ可読媒体に記憶され得る。次いで、サーバは、入力画像とデジタル画像の集合から選択された参照画像との間の全体画像距離を導出する(202)。全体画像距離は、全体としての入力画像と全体としての参照画像との間の、複数の画像特徴を参照した差の程度を表す。次いで、全体画像距離は、サーバのデジタルデータリポジトリに記憶される(204)。

画像特徴は、全体的なもの(全体画像から生成される)または局所的なもの(関心点から生成される)であり得る。全体的画像特徴の例は、色およびテクスチャを含む。色およびテクスチャは、画像表示に関する2つの低レベルの視覚的刺激である。一般的な色記述子は、ピクセル色値の粗いヒストグラムに基づく。これらの色特徴は、主として計算の有効性および簡易さによって画像マッチングおよび索引付け方式に利用することができる。テクスチャは、画像表示の構成要素になり得る別の低レベルの視覚的特徴である。画像テクスチャは、ウェーブレット特徴を用いて取得することができる。具体的には、GaborウェーブレットおよびHaarウェーブレットは、低密度（sparse：スパース）であるが識別力のある画像特徴を生成するのにかなり効果的である。個々の特徴の影響および偏倚を制限するために、また抽出される情報量を最大化するために、いくつかの、計算するのが簡単かつ容易な色およびテクスチャ特徴が利用される。

3つの別々の色空間における画像から特徴が生成される。これらは、光の三原色(RGB)、色相彩度値(HSV)、およびCIE 1976 L, a*, b* (LAB)色空間を含む。RGBは、画像の取得および表示のデフォルト色空間であるが、HSVおよびLABは、どちらも、RGBによって取得されない重要な外観特性を分離する。例えば、HSV色空間は、値チャンネルで色を照光する光量を符号化し、LABの輝度チャンネルは、明るさの人体感覚を反映するように意図されている。RGB特徴は、各チャンネルに16ビンを有するRGBピクセル値の正規化された3Dヒストグラムとして計算される。同様に、HSV(およびLAB)の特徴は、HSV(およびLAB)色空間におけるチャンネル当り16ビンのヒストグラムである。各色空間に対して用いられる距離測度を求めるために、ヒストグラムおよび分布に用いられる3つの距離測度(KL発散、L₁距離、およびL₂距離)が、Corel社5Kデータセットからの、人がラベル付けしたトレーニングデータに対して評価された。KL発散は、2つの確率分布間の差の非可換の測度である。離散型確率変数の2つの分布がP1およびP2であると、KL発散はsum_i(P1[i]×log(P1[i]/P2[i]))で計算される。RGBおよびHSVについてはL₁が最善であったが、LAB距離についてはKL発散が適切であった。この開示の残りを通じて、RGB距離およびHSV距離はL₁(マンハッタン)測度を意味し、LAB距離はKL発散を意味する。他の距離測度も同様に用いることができる。例えば、場合によっては、余弦距離測度またはアースムーバの距離(earth mover's distance：EMD)を用いることができる。

画像のテクスチャは、GaborウェーブレットおよびHaarウェーブレットで表すことができる。本実装形態では、各画像は、3つのスケールおよび4つの方向でGaborウェーブレットを用いてフィルタリングされる。12枚の応答画像が非オーバーラップ領域へ分割され、それぞれの領域からの応答の大きさの平均が特徴ベクトルへと連結される(本文の全体にわたって、この特徴は“Gabor”と称される)。第2の特徴は、量子化されたGabor位相を取得する。各応答ピクセルの位相角は、12枚のGabor応答画像のそれぞれにおいて16×16ブロックにわたって平均される。これらの平均位相角は、3ビット(8つの値)に量子化され、特徴ベクトルへと連結される(本文の全体にわたって“GaborQ”と称される)。L₁距離は、Gabor特徴およびGaborQ特徴に用いられる。

Haarフィルタは、2×2のエッジフィルタである。Haarウェーブレットの応答は、3つの別々の方向(水平、対角線、および垂直)でのHaarフィルタを用いた画像のブロック畳み込みによって生成される。別々のスケールでの応答は、適切にサブサンプリングされた画像を用いて畳み込みを実行することにより得られる。64×64ピクセルのサイズに画像をスケーリングし直した後に、Haar応答の大きさを連結することによりHaar特徴が生成される(この特徴は単に“Haar”と称される)。Gabor特徴と同様に、Haar応答の符号が3つの値(応答がゼロ、プラス、マイナスのとき、それぞれ0、1、または-1)に量子化される、Haar応答の量子化された形式も検討された。本開示の残りを通じて、この量子化された特徴は“HaarQ”と称される。Gabor特徴と同様に、Haar特徴およびHaarQ特徴に対してL₁距離が用いられる。

全体的画像特徴の他の例は、1)非常に小さなサイズに縮小され、ピクセル毎に比較される画像である“小画像”(例えばサムネール)と、2)可動型フィルタ（steerable filter）への応答を取得する、ウェーブレット変換に類似のGist変換と、3)線または他の輪郭の統計などの幾何学的特徴の分布と、4)全体画像に関する勾配方向のヒストグラムとを含む。他の全体的画像特徴も同様に用いることができる。前述の全体的画像特徴に関する距離測度は、例えば、L₁、L₂、KL発散、余弦およびEMDを含むことができる。

局所的特徴に関して、画像から特徴を得るのに、次の2つの構成要素がある。第1に“関心点検出”があり、画像間のマッチングまたは比較に役立つ画像中の点または領域の位置が識別される。例えば、コーナーは一般的な関心点である。関心点検出技法の例は、エッジ検出、ブラブ検出、リッジ検出、およびアフィン不変量検出を含むが、これらに限定されない。第2のステップは、関心点から記述的特徴ベクトルが生成される“特徴抽出”である。例えば、特徴ベクトルはコーナー近傍の色分布を記述することができ、あるいは、特徴ベクトルはコーナーの角度を記述することができる。他の局所的な記述的特徴の例は、大きさ不変量（scale-invariant）(例えばSIFT記述子)、回転不変量（rotation-invariant）、勾配の大きさ、勾配の方向、および高速化ロバストの特徴(例えばSURF記述子)を含むが、これらに限定されない。

上記で説明されたように、本実装形態の各画像は、7つの画像特徴(例えば3つの色ヒストグラム特徴および4つのテクスチャ特徴)を用いて表される。別々の画像中の対応する画像特徴間の距離は“基本距離”である。“合成距離”は、7つの特徴のうちのいくつかまたはすべてを組み込む、画像間の距離測度である。いくつかの実装形態では、合成距離は追加の特徴を含むことができる。

図2Bは、合成距離を導出する概要を与える流れ図である。先のように、1つまたは複数のコンピュータに実装されたサーバは入力画像および参照画像を受け取る(210)。続いて、入力画像および参照画像のそれぞれから7つの全体画像特徴が抽出される(212)。抽出された特徴は、3つの色特徴および4つのテクスチャ特徴を含む。色特徴は、RGB色空間の画像色のヒストグラム、HSV色空間の画像色のヒストグラム、およびLAB色空間の画像色のヒストグラムを含む。テクスチャ特徴は、Gabor応答の大きさのベクトル、Gabor応答の量子化された位相のベクトル、Haar応答の大きさのベクトル、およびHaar応答の符号のベクトルを含む。

次いで、入力画像および参照画像から抽出された特徴に基づいて基本距離が導出される(214)。RGB色空間に関して、基本距離は、RGB特徴ベクトルのそれぞれの間のL₁距離である。L₁距離は、マンハッタン距離または街区距離と称されることがある。同様に、HSV色空間に関する基本距離は、HSV特徴ベクトル間のL₁距離である。LAB色空間に関する基本距離は、LAB特徴ベクトル間のKL発散である。

入力画像および参照画像の、Gabor特徴とGaborQ特徴との間の基本距離、Haar特徴とHaarQ特徴との間の基本距離は、L₁距離測度を用いて求められる。それぞれの特徴に対して用いられる距離測度(L₁、KL発散)は、いくつかの別々の距離測度に関して小さなトレーニングセットでそれぞれの特徴の性能を評価し、それぞれの特徴に対して最善のものを選択することにより求められた。L₁およびKL発散以外の距離測度も、基本距離を計算するのに用いることができる。例えば、ヒストグラムの共通部分、またはアースムーバの距離(EMD)といったいかなるL_p距離も用いることができるはずであり、これはいくつかの領域にわたる2つの分布間の差の数学的測度である。

それぞれの全体画像特徴に関する基本距離を得た後に、距離がスケーリングされる(216)。7つの特徴タイプのそれぞれに関して、スケーリング項は、基本距離が0と1との間に制限されることを保証することになるトレーニングデータから求められ、すなわち基本距離が正規化される。

次いで、スケーリングされた基本距離が、合成距離へと組み合わせられる(218)。簡単な基線法は、例えば、合成距離測度をもたらすための基本距離の一次結合を含む。すなわち、入力画像と参照画像との間の合成距離は、7つの基本距離の合計を平均したものである。7つの特徴が用いられているが、アルゴリズムは、任意数(1つを含む)の特徴を用いて容易に機能することができる。

一実施形態では、一次結合は、各基本距離が合計の組合せ距離に一様に寄与することを可能にすることにより得られる。この方法はJoint Equal Contribution (JEC)と呼ばれる。別の実施形態では、基本距離は、画像類似性の取得に関してより適切な特徴に選好を与えて、すなわち基本距離に重みを加えて、不均一に組み合わせられる。基本距離を組み合わせるための重みは、スパースロジスティック回帰技法Lassoを用いて得ることができる。同様に、その他の方法を利用することができる。例えば、いくつかの実施形態では、一次結合は、Frome et al.、「Learning Globally-Consistent Local Distance Functions for Shape-Based Image Retrieval and Classification」、International Conference on Computer Vision 2007に説明されているように最大マージン法に基づくものである。

ラベルが付いたトレーニングデータを利用できない場合、もしくはラベルが雑音の多い（noisy）ものである場合、別々の特徴からの距離を組み合わせる簡単なやり方にはJEC法を用いるものがあり、JEC法では、それぞれの個々の基本距離が、合計の組み合わせたコストまたは距離に一様に寄与する。i番目の画像をI_iとし、例えばN個の特徴

(この場合N=7)が抽出されたとする。基本距離

が、2枚の画像I_iおよびI_jの対応する特徴

と

との間で計算される。N個の個々の基本距離

が組み合わせられて、画像I_iとI_jとの間の包括的距離をもたらす。各基本距離が0と1との間に入るようにスケーリングされるJECでは、それぞれのスケーリングされた基本距離が一様に寄与する。スケーリング項は、トレーニングデータから実験的に求めることができる。適切にスケーリングされた距離が

で示される場合、画像I_iとI_jとの間の包括的画像距離は、

で定義することができる。この距離が、Joint Equal Contributionすなわち略してJECである。

特徴距離を組み合わせるための別の手法は、画像類似性を取得するのに、より関連性の高い特徴を識別するものである。別々の色(およびテクスチャ)特徴が完全には独立していないので、どの色(またはテクスチャ)特徴が冗長であるかということを求めるのが好ましい。L₁損失を用いるロジスティック回帰(すなわちLasso)は、別々の特徴の関連を求める簡単なやり方をもたらすことができる。

特徴選択に対してロジスティック回帰を適用するために、画像の注釈付けのシナリオは、Lassoトレーニングに用いることができるものに変換されるべきである。この目的のために新規の組Xが定義され、データポイントx_l∈Xは対の画像(I_i, I_j)である。トレーニングセットは、X={x_l=(I_i、I_j)、I_i、I_j∈S、i≠j}によって与えられ、ここで、Sはすべてのトレーニング画像の入力の組である。y_l∈{+1, -1}は、各トレーニング点x₁に付けられたラベルとする。対(I_i, I_j)が“類似の”画像を含む場合、x₁は、ラベルy₁=1を、そうでなければラベルy₁=-1を、割り当てられる。Lassoでは、最適の重み

は、以下の、損失のあるマイナスの対数尤度を最小化することによって得られる。

ここで、Lはトレーニングに用いられる画像対の数であり、|・|₁はL₁のノルムであり、d_x1は画像対x₁に関する個々の基本距離を含むベクトルであり、λはクロス確認によって調整されたプラスの重み付けパラメータである。トレーニングデータ{(x₁, y₁)}が与えられると、式(a)は、これを条件付き最適化問題に変換することにより解くことができる。式(1)で計算された重みを用いる基本距離の一次結合は画像類似性の測度を与え、したがって、結果が符号反転されて対応する距離をもたらす。

画像の注釈付けに前述の方式を適用することの課題は、類似画像と非類似画像との対を含むトレーニングセットを生成することにある。各画像がわずかなテキストキーワードしか含まないので、一般的な画像の注釈付けのデータセットにはこの情報がなく、画像間の類似性(または非類似性)の概念がない。この状況では、十分なキーワードを共有する任意の対の画像はプラスのトレーニングの例であり、共通のキーワードがないあらゆる対はマイナスのトレーニングの例である。そのようなトレーニングセットの質は、画像対が“類似”と称することができる前に突き合わせるのに必要なキーワードの数次第である。閾値がより高いと、より完全なトレーニングセットを保証するが、プラスの対の数が減少する。それとは逆に、閾値がより低いと、これらの対の質を犠牲にしてトレーニング用に十分なプラスの対を生成する。この作業では、トレーニングサンプルは、Corel社5Kベンチマークで指定されたトレーニングセットから得られた。少なくとも4個のキーワードを共有する画像が、トレーニング用のプラスのサンプルとして扱われた。図4は、少なくとも4個のキーワードを共有する画像対の例を示し、図5は、共有するキーワードがない画像対の例を示す。キーワードのより大きなオーバーラップが、必ずしもよりよい画像類似性に変換するとは限らず、トレーニングセットが元来雑音の多いものであることを含意することに留意されたい。

JECまたはLassoを用いて基本距離を組み合わせることは、画像間の距離を計算する簡単なやり方をもたらす。そのような合成距離を用いると、トレーニングセットのテストセットからK個の最近傍画像を見いだすことが可能である。続いて、テスト画像の最近傍画像から、次いでキーワードがテスト画像に割り当てられる。

図3は、入力画像の最近傍画像からキーワードを入力画像へ転写するステップの全体的概要を与える流れ図である。1つまたは複数のコンピュータに実装されたサーバは、入力画像および、いくつかの実装形態では参照画像を集めたものを受け取る(300)。次いで、サーバは、画像の集合から入力画像の1つまたは複数の最近傍画像を識別し、そこで、1つまたは複数の最近傍画像のそれぞれは、それぞれの1つまたは複数の画像ラベルに関連付けられる(302)。次いで、サーバは、入力画像に複数の画像ラベルを割り当て、そこで、1つまたは複数の最近傍画像に関連した画像ラベルから複数の画像ラベルが選択される(304)。次いで、割り当てられた複数の画像ラベルを有する入力画像が、サーバのデジタルデータリポジトリに記憶される(306)。ラベルを含むメタデータが、リポジトリまたは他のどこかに入力画像と共に記憶され得る。

クエリ画像Iに対して、トレーニングセットの中の同クエリ画像のK枚の最近傍画像からn個のキーワードを転写する簡単な方法が、以下のように開示される。I_i, i∈1, ..., Kを、トレーニングセットの中の距離の昇順に従って並べられたK枚のIの最近傍画像とする(すなわちI₁が最もよく似た画像である)。I_iに関連したキーワードの数は、|I_i|で示される。グリーディラベル転送アルゴリズムのステップは以下の3つを含む。

1. トレーニングセットの中のキーワードの度数に従って、I₁の最近傍画像の各キーワードを得点付けする。
2. I₁の|I₁|個のキーワードのうち最高得点のn個のキーワードをクエリ

に転写する。もし|I₁|<nである場合、引き続きより多くのキーワードを転写する必要があるため、ステップ3へ進む。
3. 最近傍画像I₂からI_Kまでの各キーワードを次の2つの要因に従ってランク付けする。1)トレーニングセット中のキーワードの、ステップ2で転写されたキーワードとの共出現、および2)キーワードの局所的度数(それらのキーワードがI₂からI_Kまでの画像のキーワードとして出現する度合い)。これら2つの要因の積は、正規化された後に、これらのキーワードをランク付けするのに必要な得点をもたらす。このキーワードのランクに基づいて、クエリ

に転写するべき最善のn-|I₁|個のキーワードを選択する。

基本的に、このラベル転写方式は、第1の最近傍画像のキーワードをすべて適用する。もし、より多くのキーワードが必要な場合、それらのキーワードは(共出現および度数の2つの要因に基づいて)2からNまでの最近傍画像から選択される。

要約すると、画像の注釈付けの方法の説明された実装形態は以下のステップを含む。最初に、入力画像の最近傍画像を識別するのに合成画像距離(JECまたはLassoを用いて計算される)が用いられる。次に、所望の数のキーワードが最近傍画像から入力画像へ転写される。

画像の注釈付けの方法の性能を、別々の画像データセットに対して評価した。図6および図7は、Corel社5KセットおよびESPセットの2つの別々の画像データセットからの例画像を示す。図6の画像は、画像の注釈付けのコミュニティ（community）において、事実上の評価ベンチマークになっているCorel社5Kデータセットからのものである。左側に、データセットからランダムに選択された25枚の画像がある。右側に、2枚のサンプル画像およびそれらの関連する注釈がある。このセットは、より大きなCorel社のCDセットから収集された5000枚の画像を含む。このセットは、374個のキーワードの辞書から注釈付けされ、各画像は、1個から5個の、平均で3.5個のキーワードを用いて注釈付けされている。374個のキーワードから260個だけがこのテストセットに出現する。

図7の画像は、ESP社の画像データセットからのものである。左側に、データセットからランダムに選択された25枚の画像がある。右側に、2枚の画像およびそれらの関連する注釈がある。このESPセットは、画像にラベルを付けるESP社の協同研究のゲームから収集された21844枚の画像から成る。このESP社のゲームは2人のプレーヤのゲームであり、両プレーヤが互いに連絡する能力なしで同一の画像にラベルを割り当てるように依頼される。両プレーヤが1つのラベルを共有すると直ちに、両プレーヤはうまく画像にラベルを付けたと称賛され、次の画像が示される。したがって、画像が1組のプレーヤに見せられる度に高々1つのラベルが得られる。各画像がさらなるプレーヤの組に見せられるとき、禁句のリストが生成される。ゲームの後続のプレーヤの組は、同一の画像を示されたとき禁句を割り当てることは許されない。これらのルールは、多くの別々のプレーヤの組によって多くの別々のラベルが各画像に割り当てられることを保証する。用いられるセットは、269個のキーワードによって注釈付けされた、自然の風景、人工の光景、および対象物の多種多様な画像を含む。各画像は、少なくとも1個から15個までの、平均すると4.6個のキーワードを用いて注釈付けされている。

ラベル転写を用いて、5個のキーワードがそれぞれの画像に割り当てられる。一実施形態では、Corel社5Kデータセットの各テスト画像に5個のキーワードを割り当てるのに、JEC方式がラベル転写アルゴリズムと共に用いられた。図8は、複数のサンプル画像に関する注釈付けされた画像の例、すなわちグラウンドトルース（ground-truth：現地踏査）の(例えば人間が割り当てた)キーワードに対する予測されたキーワードの比較を示す。人間の注釈付けは、5個未満のキーワードしか含まないことが多いので、場合によっては、JECは、グラウンドトルースのセットにないが、それにもかかわらず画像内容を正確に説明するキーワードを予測する。例えば、図の第1の画像は、キーワードを形成するように予測される。たとえ人間が割り当てたキーワードのうちの1つでなくても、恐らくこれは画像中の航空機の正確な説明である。

図9は、注釈付けされた画像の例を示す。この画像は、ESP社の画像データセットに対してJEC方式を用いて注釈付けされたものである。JECの注釈付けの方法を用いて予測されたキーワードは、人間の注釈付けと完全にはオーバーラップしないが、多くの場合、予測された“不正確な”キーワードが画像を正確に説明する。例えば、額に入った絵画で埋め尽くされた壁の前の寝椅子上に座る人を示す第4の画像では、JECが割り当てたキーワードは、恐らくESP社のゲームによって生成されたもの以上に画像を正確に説明する。

画像の注釈付けのタスクの課題は、画像の内容を説明するのにどれだけのキーワードが必要かということを知ることである。ラベル転写ステージの期間中にわずか5個のキーワードしか割り当てないと、多くの画像に対して、正確に思い出すことができるキーワード数を人為的に制限する。画像に割り当てるキーワードの数を増加させると、再現能力を高めるのに役立ち得る(例えば極端な例では、すべてのキーワードが画像データセットの各画像に割り当てられる場合には、すべてのキーワードに対して100%の再現能力を保証することができる)が、精度が低下することになる。注釈付けの方法を用いて5個を上回るキーワードを画像に割り当てるために、ラベル転写ステージの期間中用いられる最近傍画像の数は、十分に独自のキーワードを考えるのに必要な最小値として確立される。しかし、これは、再現能力が増加するのにつれて精度が低下する恐れがある。これは、少数の最近傍画像に対して意味をなす、最近傍構成がラベル転写に用いられるという事実によるものである。しかし、多くのキーワードを割り当てるのに必要とされる最近傍画像の数が増加するのにつれて、より大きな誤差が導入される。

画像に記述的キーワードを割り当てると、ユーザは、テキストベースのクエリだけを用いて画像を探索することが可能になる。画像検索では、所与のキーワードに関連した最初の少数の画像の質にのみ関心があるので、画像検索エンジンの性能評価は注釈付けエンジンの性能評価とは異なる。図10、図11および図12は、3つの別々の画像データセットにおいて複数の別々のキーワードに対してそれぞれ検索された最初のいくつかの画像の例を示す。

特に挑戦的なキーワード(例えばサイクリスト、頭蓋骨、図表、およびネクタイ)に関してさえ、首位で検索された画像の多くは正確である。また、多くのキーワードが、一般に“語意”と称される複数の意味を有する。いくつかのそのような場合では、検索された画像は、単語の多数の意味に及ぶ。例えば、図12で、指輪というキーワードに関して検索された画像は、単語“指輪”のいくつかの異なる意味を示している。

提案された画像の注釈付けの方法は、非常に簡単な、色およびテクスチャの全体的特徴にわたって基本距離測度を組み合わせる。これらの組み合わせた距離を用いて計算されたK枚の最近傍画像は、簡単なグリーディラベル転写アルゴリズムの基本を形成する。

本明細書に説明された主題および動作の実施形態は、本明細書で開示された構造およびそれらの構造的等価物を含むデジタル電子回路、もしくはコンピュータソフトウェア、ファームウェア、またはハードウェア、あるいはそれらの1つまたは複数の組合せで実施することができる。本明細書に説明された主題の実施形態は、データ処理装置によって実行するために、あるいはデータ処理装置の動作を制御するように、コンピュータの記憶媒体上に符号化された1つまたは複数のコンピュータプログラム、すなわちコンピュータプログラムの命令の1つまたは複数のモジュールとして実施することができる。その代わりに、もしくはそれに加えて、プログラム命令は、人為的に生成されて伝搬される信号、例えば、データ処理装置による実行向けに適切な受信装置へ伝送するために情報を符号化するようにマシンで生成された電気信号、光信号、または電磁気信号上で符号化することができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムアクセスメモリまたはシリアルアクセスメモリの配列またはデバイス、あるいはそれらの1つまたは複数の組合せであり得るか、またはそれらのものに含まれ得る。

本明細書に説明された動作は、1つまたは複数のコンピュータ可読記憶デバイス上に記憶されたデータまたは他のソースから受け取られたデータに対してデータ処理装置によって行われる動作として実施することができる。

用語“データ処理装置”は、例として、プログラマブルプロセッサ、コンピュータ、チップ上のシステム、またはそれらの組合せを含めて、データ処理用のあらゆる種類の装置、デバイス、およびマシンを包含する。この装置は、専用論理回路、例えばFPGA(フィールドプログラマブルゲートアレイ)、またはASIC(特定用途向け集積回路)を含むことができる。この装置は、ハードウェアに加えて、対象となるコンピュータプログラム用の実行環境を生成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、例えば仮想計算機である異なるプラットフォームに対応した実行環境、またはそれらの1つまたは複数の組合せを構成するコードも含むことができる。この装置および実行環境は、ウェブサービス、分散コンピューティングおよびグリッドコンピューティングのインフラストラクチャなど、多種多様な計算モデルのインフラストラクチャを実現することができる。

コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られている)は、コンパイル型言語またはインタープリタ型言語、宣言型言語、または手続き型言語を含めて任意の形式のプログラミング言語で記述することができ、また、スタンドアロンプログラムとして、あるいはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピュータ環境で用いる適切な他のユニットとして、任意の形態で展開することができる。コンピュータプログラムは、ファイルシステムの中のファイルに対応することができるが、その必要性はない。プログラムは、他のプログラムまたはデータ(例えばマークアップ言語のドキュメントに記憶された1つまたは複数のスクリプト)を保持するファイル、対象となるプログラム専用の単一ファイル、あるいは統合的な複数のファイル(例えば1つまたは複数のモジュール、サブプログラム、またはコードの諸部分を記憶する諸ファイル)の一部分に記憶することができる。コンピュータプログラムは、1つのコンピュータ、または1つのサイトに配置された、もしくは複数のサイトにわたって分散して通信網で相互に連結された複数のコンピュータ上で実行されるように展開することができる。

本明細書に説明されたプロセスおよび論理の流れは、入力データに対して動作して出力を生成することにより機能を実行する1つまたは複数のコンピュータプログラムを遂行する1つまたは複数のプログラマブルプロセッサによって実行することができる。これらのプロセスおよび論理の流れは、専用論理回路、例えばFPGA(フィールドプログラマブルゲートアレイ)、またはASIC(特定用途向け集積回路)でも実行することができ、装置もこれらで実施することができる。

コンピュータプログラムを実行するのに適切なプロセッサは、例として、汎用マイクロプロセッサおよび専用マイクロプロセッサ、ならびに任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般に、プロセッサは、命令およびデータを、読み取り専用メモリもしくはランダムアクセスメモリまたはその両方から受け取ることになる。コンピュータの必須要素は、命令を実行または遂行するためのプロセッサならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータは、例えば磁気ディスク、光磁気ディスク、または光ディスクといったデータを記憶するための1つまたは複数の大容量記憶デバイスも含むことになり、あるいは、これらからデータを受け取り、もしくはこれらへデータを転送し、またはその両方を行うために、これらに対して動作可能に結合される。しかし、コンピュータにはそのようなデバイスがなくてもよい。その上、コンピュータは、別のデバイス、例えばほんの少数を挙げると、移動電話、携帯情報端末(PDA)、移動式オーディオプレーヤ、全地球測位システム(GPS)受信器の中に組み込むことができる。コンピュータプログラムの命令およびデータを記憶するのに適切なコンピュータ可読媒体は、例として、例えばEPROM、EEPROM、およびフラッシュメモリデバイスといった半導体メモリデバイス、例えば内臓ハードディスク、取外し可能ディスクといった磁気ディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含む、あらゆる形式の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路を追加することができ、あるいは専用論理回路に組み込むことができる。

ユーザとの対話をもたらすために、本明細書に説明された主題の実施形態は、ユーザに情報を表示するための例えばCRT(ブラウン管)またはLCD(液晶ディスプレイ)のモニタといったディスプレイデバイス、ならびにユーザがコンピュータに入力を与えることができるキーボード、および例えばマウスまたはトラックボールといったポインティングデバイスを有するコンピュータ上で実施することができる。ユーザとの対話をもたらすために、他の種類のデバイスも同様に用いることができ、例えば、ユーザにもたらされるフィードバックは、例えば視覚フィードバック、聴覚フィードバック、触覚フィードバックといった任意の形式の感覚フィードバックであり得て、また、ユーザからの入力は、音響、音声、または触覚の入力を含む任意の形式で受け取られ得る。

本明細書に説明された主題の実施形態は、例えばデータサーバとしてのバックエンドコンポーネント、または例えばアプリケーションサーバであるミドルウェアコンポーネント、または例えばユーザが本明細書で説明された主題の実装形態と対話することができるグラフィカルユーザインターフェイスもしくはウエブブラウザを有するクライアントコンピュータであるフロントエンドコンポーネント、あるいはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの1つまたは複数の任意の組合せを含むコンピューティングシステムで実施することができる。システムのコンポーネントは、例えば通信ネットワークであるデジタルデータ通信の任意の形式または媒体によって相互に連結することができる。通信ネットワークの例は、ローカルエリアネットワーク(“LAN”)および例えばインターネットである広域ネットワーク(“WAN”)を含む。

コンピューティングシステムは、クライアントおよびサーバを含むことができる。一般に、クライアントとサーバとは互いに遠く離れていて、典型的には通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で動作し互いにクライアント対サーバの関係を有するコンピュータプログラムによって生じる。

本明細書は多くの特定の実装形態の詳細を含むが、これらは、本発明の範囲に対する限定または特許請求され得るものの限定としてではなく、本発明の特定の実施形態に特有の特徴の説明として解釈されるべきである。本明細書の個別の実施形態の文脈で説明された特定の特徴は、1つの実施形態の中で組み合わせて実施することもできる。反対に、1つの実施形態の文脈で説明された様々な特徴は、複数の実施形態で別個に、もしくは任意の適切な副次的な組合せ（subcombination：サブコンビネーション）で実施することもできる。その上、上記で諸特徴が特定の組合せで作用するものとして説明され、また当初はそのようなものとして請求されたとしても、場合によっては請求された組合せの1つまたは複数の特徴を同組合せから削除することができ、また、請求された組合せは、サブ組合せまたはサブ組合せの変形形態を対象とすることができる。

同様に、図面では操作が特定の順序で示されているが、このことは、望ましい結果を達成するのに、示された特定の順序で、もしくは順番に、そのような働きが実行される必要がある、あるいは示された働きがすべて実行される必要があるものと理解されるべきではない。特定の環境では、マルチタスクおよび並行処理が有利なことがある。その上、前述の実施形態における様々なシステム構成要素の分離は、すべての実施形態においてそのような分離を必要とするものと理解されるべきではなく、説明されたプログラムコンポーネントおよびシステムは、一般に、1つのソフトウェア製品の中に一緒に組み込まれ得るか、もしくは複数のソフトウェア製品にパッケージ化され得ることを理解されたい。

このように、本発明の特定の実施形態が説明されてきた。他の実施形態は、以下の特許請求の範囲の範囲内にある。例えば、特許請求の範囲で列挙される動作は、異なる順序で実行しても、望ましい結果を達成することができる。

2 テスト画像
4 画像のトレーニングセット
10 第1の最近傍画像
20 第2の最近傍画像
30 第3の最近傍画像

Claims (34)

1. データ処理装置によって実行される画像の注釈付けの方法であって、
   前記データ処理装置の中に入力画像を受け取るステップと、
   前記データ処理装置の働きにより、コンピュータ可読媒体上に記憶されたデジタル画像の集合から前記入力画像の複数の最近傍画像を識別するステップであって、前記最近傍画像のそれぞれが、それぞれの1つまたは複数の画像ラベルに関連付けられるステップと、
   前記入力画像に複数の画像ラベルを割り当てるステップであって、前記複数の画像ラベルが、前記最近傍画像に関連した前記画像ラベルから前記データ処理装置によって選択されるステップと、
   前記デジタル画像の集合におけるそれぞれの出現度数に従って、1つまたは複数の第1の画像ラベルをランク付けするステップであって、前記1つまたは複数の第1の画像ラベルのそれぞれが、第1の最近傍画像に関連付けられるステップと、
   1つまたは複数の第2の画像ラベルをランク付けするステップであって、前記第2の画像ラベルのそれぞれが、1つまたは複数の残りの最近傍画像に関連付けられるステップと、
   前記割り当てられた複数の画像ラベルを有する前記入力画像をデジタルデータリポジトリに記憶するステップとを含み、
   前記1つまたは複数の第2の画像ラベルをランク付けするステップが、前記デジタル画像の集合における、前記第2の画像ラベルのそれぞれの、各第1の画像ラベルとの同時出現に従って、前記1つまたは複数の第2の画像ラベルをソートするステップを含み、
   前記複数の画像ラベルを割り当てるステップが、（1）前記1つまたは複数の第1の画像ラベルのランクに基づいて、前記入力画像に前記第1の画像ラベルのうちの少なくとも1つを割り当てるステップと、（2）前記1つまたは複数の第2の画像ラベルのランクに基づいて、前記入力画像に前記第2の画像ラベルのうちの少なくとも1つを割り当てるステップとを含む、方法。
2. 前記入力画像が、前記デジタルデータリポジトリ内で、前記複数の画像ラベルをメタデータとして含む画像ファイルに記憶される請求項1に記載の方法。
3. 前記デジタル画像の集合が、複数の参照画像を含み、
   前記複数の最近傍画像を識別するステップが、
   各参照画像に関して、前記入力画像と前記参照画像との間の差の程度を表す対応する全体画像距離を判定するステップと、
   前記全体画像距離によって測定されるように、前記入力画像に最も近接した前記参照画像を前記複数の最近傍画像として識別するステップとを含む請求項1に記載の方法。
4. 前記1つまたは複数の第2の画像ラベルをランク付けするステップが、前記1つまたは複数の残りの最近傍画像における前記第2の画像ラベルのそれぞれの局所的度数に従って、前記1つまたは複数の第2の画像ラベルをソートするステップを含む請求項1に記載の方法。
5. 前記全体画像距離が、特徴距離の組合せを含み、各特徴距離が、前記入力画像に関連した画像特徴と対応する前記参照画像に関連した対応する画像特徴との間の差の程度を表す請求項3に記載の方法。
6. 少なくとも１つの画像特徴が、前記入力画像と前記参照画像の両方から抽出された全体的画像特徴である請求項5に記載の方法。
7. 少なくとも１つの画像特徴が、前記入力画像と前記参照画像の両方から抽出された局所的画像特徴である請求項5に記載の方法。
8. 各特徴距離が、前記全体画像距離において等しく重み付けされる請求項5に記載の方法。
9. 2つ以上の特徴距離が、前記全体画像距離において相互に異なって重み付けされる請求項5に記載の方法。
10. 前記デジタル画像の集合に基づいて前記特徴距離のそれぞれに対する重み付けを計算するステップであって、前記デジタル画像の集合が、類似画像と非類似画像との対を備えるトレーニング画像の群であるステップをさらに含む請求項5に記載の方法。
11. 前記特徴距離のうち少なくとも1つを、前記入力画像のテクスチャ特徴と対応する前記参照画像の対応するテクスチャ特徴との間の差として計算するステップをさらに含む請求項5に記載の方法。
12. 前記特徴距離のうち少なくとも1つを、前記入力画像の色特徴と対応する前記参照画像の対応する色特徴との間の差として計算するステップをさらに含む請求項5に記載の方法。
13. 1つまたは複数のコンピュータ上に実装されたサーバを備え、前記サーバが、
    前記サーバの中に入力画像を受け取るステップと、
    前記サーバの働きにより、コンピュータ可読媒体上に記憶されたデジタル画像の集合から前記入力画像の複数の最近傍画像を識別するステップであって、前記最近傍画像のそれぞれが、それぞれの1つまたは複数の画像ラベルに関連付けられるステップと、
    前記入力画像に複数の画像ラベルを割り当てるステップであって、前記複数の画像ラベルが、前記最近傍画像に関連した前記画像ラベルから前記サーバによって選択されるステップと、
    前記デジタル画像の集合におけるそれぞれの出現度数に従って、1つまたは複数の第1の画像ラベルをランク付けするステップであって、前記1つまたは複数の第1の画像ラベルのそれぞれが、第1の最近傍画像に関連付けられるステップと、
    1つまたは複数の第2の画像ラベルをランク付けするステップであって、前記第2の画像ラベルのそれぞれが、1つまたは複数の残りの最近傍画像に関連付けられるステップと、
    前記割り当てられた複数の画像ラベルを有する前記入力画像をデジタルデータリポジトリに記憶するステップとを含む操作を実行するように動作可能であり、
    前記1つまたは複数の第2の画像ラベルをランク付けするステップが、前記デジタル画像の集合における、前記第2の画像ラベルのそれぞれの、各第1の画像ラベルとの同時出現に従って、前記1つまたは複数の第2の画像ラベルをソートするステップを含み、
    前記複数の画像ラベルを割り当てるステップが、（1）前記1つまたは複数の第1の画像ラベルのランクに基づいて、前記入力画像に前記第1の画像ラベルのうちの少なくとも1つを割り当てるステップと、（2）前記1つまたは複数の第2の画像ラベルのランクに基づいて、前記入力画像に前記第2の画像ラベルのうちの少なくとも1つを割り当てるステップとを含む、システム。
14. 前記デジタル画像の集合が、複数の参照画像を含み、
    前記複数の最近傍画像を識別するステップが、
    各参照画像に関して、前記入力画像と前記参照画像との間の差の程度を表す対応する全体画像距離を判定するステップと、
    前記全体画像距離によって測定されるように、前記入力画像に最も近接した前記参照画像を前記複数の最近傍画像として識別するステップとを含む請求項13に記載のシステム。
15. 前記1つまたは複数の第2の画像ラベルをランク付けするステップが、前記1つまたは複数の残りの最近傍画像における前記第2の画像ラベルのそれぞれの局所的度数に従って、前記1つまたは複数の第2の画像ラベルをソートするステップを含む請求項13に記載のシステム。
16. 前記全体画像距離が、特徴距離の組合せを含み、各特徴距離が、前記入力画像に関連した画像特徴と対応する前記参照画像に関連した対応する画像特徴との間の差の程度を表す請求項14に記載のシステム。
17. 少なくとも１つの画像特徴が、前記入力画像と前記参照画像の両方から抽出された全体的画像特徴である請求項16に記載のシステム。
18. 少なくとも１つの画像特徴が、前記入力画像と前記参照画像の両方から抽出された局所的画像特徴である請求項16に記載のシステム。
19. 各特徴距離が、前記全体画像距離において等しく重み付けされる請求項16に記載のシステム。
20. 2つ以上の特徴距離が、前記全体画像距離において相互に異なって重み付けされる請求項16に記載のシステム。
21. 前記サーバが、
    前記デジタル画像の集合に基づいて前記特徴距離のそれぞれに対する重み付けを計算するステップであって、前記デジタル画像の集合が、類似画像と非類似画像との対を備えるトレーニング画像の群であるステップをさらに含む操作を実行するように動作可能である請求項16に記載のシステム。
22. 前記サーバが、
    前記特徴距離のうち少なくとも1つを、前記入力画像のテクスチャ特徴と対応する前記参照画像の対応するテクスチャ特徴との間の差として計算するステップをさらに含む操作を実行するように動作可能である請求項16に記載のシステム。
23. 前記サーバが、
    前記特徴距離のうち少なくとも1つを、前記入力画像の色特徴と対応する前記参照画像の対応する色特徴との間の差として計算するステップをさらに含む操作を実行するように動作可能である請求項16に記載のシステム。
24. コンピュータプログラムで符号化された非一時的なコンピュータ記憶媒体であって、前記プログラムが命令を含み、前記命令がデータ処理装置によって遂行されたとき、前記データ処理装置が、
    前記データ処理装置の中に入力画像を受け取るステップと、
    前記データ処理装置の働きにより、コンピュータ可読媒体上に記憶されたデジタル画像の集合から前記入力画像の複数の最近傍画像を識別するステップであって、前記最近傍画像のそれぞれが、それぞれの1つまたは複数の画像ラベルに関連付けられるステップと、
    前記入力画像に複数の画像ラベルを割り当てるステップであって、前記複数の画像ラベルが、前記最近傍画像に関連付けられた前記画像ラベルから前記データ処理装置によって選択されるステップと、
    前記デジタル画像の集合におけるそれぞれの出現度数に従って、1つまたは複数の第1の画像ラベルをランク付けするステップであって、前記1つまたは複数の第1の画像ラベルのそれぞれが、第1の最近傍画像に関連付けられるステップと、
    1つまたは複数の第2の画像ラベルをランク付けするステップであって、前記第2の画像ラベルのそれぞれが、1つまたは複数の残りの最近傍画像に関連付けられるステップと、
    前記割り当てられた複数の画像ラベルを有する前記入力画像をデジタルデータリポジトリに記憶するステップとを含む操作を実行し、
    前記1つまたは複数の第2の画像ラベルをランク付けするステップが、前記デジタル画像の集合における、前記第2の画像ラベルのそれぞれの、各第1の画像ラベルとの同時出現に従って、前記1つまたは複数の第2の画像ラベルをソートするステップを含み、
    前記複数の画像ラベルを割り当てるステップが、（1）前記1つまたは複数の第1の画像ラベルのランクに基づいて、前記入力画像に前記第1の画像ラベルのうちの少なくとも1つを割り当てるステップと、（2）前記1つまたは複数の第2の画像ラベルのランクに基づいて、前記入力画像に前記第2の画像ラベルのうちの少なくとも1つを割り当てるステップとを含む、コンピュータ記憶媒体。
25. 前記デジタル画像の集合が、複数の参照画像を含み、
    前記複数の最近傍画像を識別するステップが、
    各参照画像に関して、前記入力画像と前記参照画像との間の差の程度を表す対応する全体画像距離を判定するステップと、
    前記全体画像距離によって測定されるように、前記入力画像に最も近接した1つまたは複数の参照画像を前記複数の最近傍画像として識別するステップとを含む請求項24に記載のコンピュータ記憶媒体。
26. 前記1つまたは複数の第2の画像ラベルをランク付けするステップが、前記1つまたは複数の残りの最近傍画像における前記第2の画像ラベルのそれぞれの局所的度数に従って、前記1つまたは複数の第2の画像ラベルをソートするステップを含む請求項24に記載のコンピュータ記憶媒体。
27. 前記全体画像距離が、特徴距離の組合せを含み、各特徴距離が、前記入力画像に関連した画像特徴と対応する前記参照画像に関連した対応する画像特徴との間の差の程度を表す請求項25に記載のコンピュータ記憶媒体。
28. 少なくとも１つの画像特徴が、前記入力画像と前記参照画像の両方から抽出された全体的画像特徴である請求項27に記載のコンピュータ記憶媒体。
29. 少なくとも１つの画像特徴が、前記入力画像と前記参照画像の両方から抽出された局所的画像特徴である請求項27に記載のコンピュータ記憶媒体。
30. 各特徴距離が、前記全体画像距離において等しく重み付けされる請求項27に記載のコンピュータ記憶媒体。
31. 2つ以上の特徴距離が、前記全体画像距離において相互に異なって重み付けされる請求項27に記載のコンピュータ記憶媒体。
32. データ処理装置に、
    前記デジタル画像の集合に基づいて前記特徴距離のそれぞれに対する重み付けを計算するステップであって、前記デジタル画像の集合が、類似画像と非類似画像との対を備えるトレーニング画像の群であるステップをさらに含む操作を実行させることができる請求項27に記載のコンピュータ記憶媒体。
33. データ処理装置に、
    前記特徴距離のうち少なくとも1つを、前記入力画像のテクスチャ特徴と対応する前記参照画像の対応するテクスチャ特徴との間の差として計算するステップをさらに含む操作を実行させることができる請求項27に記載のコンピュータ記憶媒体。
34. データ処理装置に、
    前記特徴距離のうち少なくとも1つを、前記入力画像の色特徴と対応する前記参照画像の対応する色特徴との間の差として計算するステップをさらに含む操作を実行させることができる請求項27に記載のコンピュータ記憶媒体。