JP6102401B2 - 画像のラベル付け方法及び装置 - Google Patents

Description

本発明は、一般的に画像管理と画像検索に関し、具体的には、画像のラベルを最適化する方法と装置に関する。

近年、マルチメディア技術とインタ-ネットの迅速な発展に伴い、デジタル画像の数と複雑さも迅速に増加している。従って、大量の画像に対して如何に迅速且つ効率的に管理を行うのかは課題になっている。この課題は、主に画像への訪問や、記録と読み取り、オーガナイズ、検索等に関連する。

画像は、通常一部のテキスト情報、例えば，タイトル、主題語、コメント情報等に関連し、これらの情報によって画像の内容、撮影場所、個人的感情及び評価等の情報を表す。従って、これらの情報に基づいて画像にラベルを付し、又は直接主題語をラベルとして，画像の管理と検索を補助することができる。例えば、主題語（ラベル）を直接使用して画像検索を行うことができる。例えば、ユーザが或る画像を探したい時に、ユーザがキーワードを入力し、画像検索装置はユーザが入力したキーワードと既存の主題語（ラベル）とを比較する。もし主題語にこのキーワードが含まれていれば、当該画像を目標画像とし、且つそれをユーザにフィードバックする。これによって、キーワードによる画像検索機能を容易に実現できる。キーワードによる画像検索には、画像の内容に対して分析と対比を行う必要がない。従って、内容による従来の画像検索と比べ、より簡単で、速い。また、テキスト検索に対する従来の技術を有効に利用することができる。

しかし、前記テキスト情報には問題がある。例を挙げると、(１)正確度が低い。即ち、主題語が画像の内容を正確に伝えることができない。例えば，１枚の北京四合院の写真のテキスト情報が「北京の建物」である場合、四合院も一種の建物であるが、「建物」で写真中の内容を正確に表すことができない。その他の建物ではなく四合院を探したいユーザにとって、キーワード「四合院」でこの画像を探すことは困難である。(２)完全ではない。即ち、キーワードは写真中の主な内容をカバーできない。例えば、写真の内容は青海湖中の白鳥である場合、「白鳥」というラベルは写真中の部分的な内容しか表していない。写真中の湖、湖の周辺の木、空等の内容に対応するラベルがない。(３)誤解される可能性がある。即ち、ユーザが与えたキーワード（ラベル）の通用性が高くない。例えば、１枚のペット犬の写真のキーワード（ラベル）はこのペット犬の名前である可能性がある。このキーワード（ラベル）は他の人にとって通用性を有しない。上述の課題及びその他の課題が存在するため、直接キーワード等のテキスト情報を利用して画像を有効に管理することに制限がある。従って、画像のラベルに対して必要な修正と補充を行う必要がある。また、ラベルを有しない画像に対して、適当なラベルを付する必要がある。

以下に、本発明を簡単に説明して本発明の幾つかの態様の基本的な理解を提供する。この簡単な説明は、本発明に対する網羅的なものではなく、本発明の肝心部分又は重要部分を決定する意図もなく、本発明の範囲を限定する意図もない。その目的としては、簡単な形式で幾つかの概念を提供して後述のより詳しい説明の先行説明とすることに過ぎない。

本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は画像のラベルを最適化することができる方法と装置を提供する。当該方案は、迅速且つ正確に画像既存のラベルを最適化し、ラベルを有しない画像に適当なラベルを付することができる。

上述の目的を達するために、本発明の１つの様態によれば、画像のラベル付け方法は、所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するステップと；前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって前記画像の複数のフィッティング係数を獲得するステップと；前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成するステップとを含む。

本発明の１つの具体的な実施例によれば、前記画像の複数のフィッティング係数を獲得する前記のステップは、画像特徴において所定の画像と類似する複数のその他の画像を用いて所定の画像をフィッティングする誤差を最小にすることによって前記画像の前記複数のフィッティング係数を獲得する。

本発明の１つの具体的な実施例によれば，所定の制約条件を満たすよう前記画像のラベルを生成する。

本発明の１つの具体的な実施例によれば，前記制約条件は、画像集全体のラベルを生成する総誤差が最小であることを含む。

本発明の１つの具体的な実施例によれば，前記制約条件は、ラベル間の相関関係に関連する。

本発明の１つの具体的な実施例によれば，前記制約条件は、前記画像の既存のラベルに関連する。

本発明の１つの具体的な実施例によれば，前記画像のラベルを生成する前記のステップは、ランダム又は順番に前記画像集の中から１つの画像を選択する第１ステップと；選択された画像に対応する複数のその他の画像のラベルを利用して、対応するフィッティング係数によって選択された画像のラベルをフィッティングする第２ステップと；前記画像集の中のすべての画像に対してラベルを生成するまで前記第１及び第２ステップを繰り返すステップと、をさらに含む。

本発明の他の１つの様態によれば、所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するニアレストネイバー画像獲得モジュールと；前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得するフィッティング係数獲得モジュールと；；前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成する画像ラベル生成モジュールと、を含む画像のラベル付け装置を提供する。

本発明の１つの具体的な実施例によれば，前記画像ラベル生成モジュールは、制約条件を満たすよう前記画像のラベルを生成する。

本発明の１つの具体的な実施例によれば，前記制約条件は、画像集全体のラベルを生成する総誤差が最小であることを含む。

本発明の１つの具体的な実施例によれば，前記制約条件はラベル間の相関関係に関連する。

本発明の１つの具体的な実施例によれば，前記制約条件は前記画像の既存のラベルに関連する。

また、本発明の他の１つの様態によれば、機器読み取り可能なプログラムコードが記録される記録媒体を提供し、情報処理設備において前記プログラムコードを実行するときに、前記プログラムコードが前記情報処理設備に本発明に係る前記方法を実行する。

また、本発明のもう１つの様態によれば、プログラム製品を提供し、前記プログラム製品は機器が実行可能な指令を含み、情報処理設備において前記指令を実行するときに、前記指令が前記情報処理設備に本発明に係る前記方法を実行させる。

以下、図面に基づいて本発明の実施の形態に対する説明を参照し、本発明の上記目的、特徴及び利点、並びに他の目的、特徴及び利点をより容易に理解することができる。図面における構成要素は本発明の原理を示すものに過ぎない。図面において、同一又は類似の技術的特徴又は構成要素は、同一又は類似の符号で示される。
本発明の実施例に係る画像のラベル付け方法を示すフローチャートである。 本発明の実施例に係る画像のラベル付け装置の構造を示すブロック図である。 本発明の実施例に係る方法と装置を実施できるコンピュータを概略に示すブロック図である。

以下、本発明の例示的な実施例について、付属の図面を参照しつつ説明する。明瞭にするために、明細書には実際の実施例の構成要件の全部は記載されていない。しかし、理解すべきなのは、このような実施例を開発する際に、発明者の具体的な目標を実現するために実施形態に特定した決定をしなければならない。例えばシステム又は業務に関連する制約条件。さらに、これらの制約条件は実施の様態によって異なる可能性がある。また、理解すべきなのは、開発作業は非常に複雑で時間がかかるものだが、当該内容の公開によって恩恵を受ける当業者にとってこのような開発作業は恒例の任務に過ぎない。

ここで説明すべきなのは、不必要な詳細な説明により本発明をぼんやりさせてしますのを防ぐために図面には本発明と密接な関係を持つ装置の構造および/又は処理ステップのみを示し、本発明と密接な関係を有さない他の詳細が省略されている。また、強調すべきなのは、本発明の１つの図面又は１つの実施形態の中に記載の構成要件及び特徴は、１つ又は複数の他の図面又は実施形態の中に示された構成要件及び特徴と組み合わせることができる。

本発明は以下の思想に基づいてなされたものである：もし１つの画像及びそのラベルを孤立的にみると、ラベルが正確ではない可能性がある。しかし、統計的観点から全ての画像-ラベルのデータを処理すると、大部分のラベルが正しい。従って、その他の画像のラベルを用いて対象画像のラベルを最適化又は生成することができる。また、正しいラベルは殆ど画像の内容に対応し、間違ったラベルは散乱の特性を持つ。従って、大量の画像ラベルデータから「同じ対応性を持つ」画像-ラベル組を抽出し、ラベルの最適化を実現できる。

以下、図１を参照しながら、本発明の実施例に係る画像のラベル付け方法のプロセスを説明する。

図１は、本発明の実施例に係る画像のラベル付け方法を示すフローチャートである。図１に示されるように、本発明の画像のラベル付け方法は、所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するステップ（ステップS１）と；前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって前記画像の複数のフィッティング係数を獲得するステップ（ステップS２）と；前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成するステップ（ステップS３）とを含む。

本明細書の前記のラベルは、ベクトルの形式で表す。即ち、１つの画像は１つのラベルベクトルに対応する。例えば、１つの画像の内容が動物園の中の虎であり、その既存の主題語は動物園、虎である。もしラベルベクトルに含まれるラベルが動物園、虎、ライオン、蛙、おり、観光客であると、当該画像の既存のラベルベクトルは[１、１、０、０、０、０]であり、正規化後は[１/２、１/２、０、０、０、０]となる。

本発明が毎回処理する対象は１つの所定の画像集である。例えば、画像データベースの中の部分又は全部の画像である。注意すべきなのは、所定の画像集の中の画像は必ずしも全てがラベルを有するとは限らない。所定の画像集の中の一部の画像がラベルを有しさえすればいい。ラベルを有しない画像についてはその最初のラベルベクトルはゼロベクトルであっても良い。

ステップS１において、所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択する。

前述のように，画像分野においては、各画像はそのk枚のニアレストネイバー画像によって類似させ、且つこの画像のラベルもこれらのk枚のニアレストネイバー画像のラベルによって類似させることができる。ここでのKは正の整数である。従って、画像のラベルを最適化するために、まず検索を行い画像特徴（画像の内容を反映したもの）においてそれと類似する複数のその他の画像を見つける必要がある。このようにして、続いて、複数のその他の画像のラベルを用いて対象画像のラベルを最適化することができる。

注意すべきなのは、各画像についてk枚のニアレストネイバー画像は異なる可能性がある。また、各画像にとってkの値も異なることができる。例えば、１つの画像について、画像特徴においてそれと最も類似する３枚の画像を検索し、もう１つの画像について、特徴においてそれと最も類似する１５枚の画像を検索する。K値そのものはニアレストネイバー画像を捜索する基準であってもよいが、必ずそうでなければいけないわけではない。他の基準を選ぶことができる。例えば、画像特徴における類似度が所定の閾値を超えた全ての画像を選択し、これらの画像の枚数をkの値とする。

例を挙げて説明すると、ステップS１は下記のステップによって実現できる：まず、所定の画像集の中の各画像の特徴を抽出する；それから所定の画像とその他の画像の特徴の距離（類似度を反映するもの）を計算する；最後に、距離が最も小さい（即ち、類似度が最大である）前のk枚の画像を所定の画像のk枚のニアレストネイバー画像とする。また、画像の特徴及び距離の選択と計算は従来技術の方法を用いることができる。例えば，色のヒストグラム特徴、テクスチャ又は形状特徴、ユークリッド距離等を選ぶことができる。

注意すべきなのは、本発明において、所定の画像集の中の各画像についてそのk枚のニアレストネイバー画像を計算する必要がある。前述のように，各画像にとって、k値が異なることができる。

以下、ステップS２を簡略に紹介する。

ステップS２において、前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得する。即ち、k枚のニアレストネイバー画像の画像特徴を用いて現在の画像の画像特徴をフィッティングし、画像間の関係を表す複数のフィッティング係数を獲得する。これによって次のステップS３において、複数のフィッティング係数を利用して、画像のラベルを生成する。従って、ステップS２の役割は主にフィッティング係数、即ち、所定の画像とそのk枚のニアレストネイバー画像との間の関係を得ることである。

従って、ステップS２において、各所定の画像及びそのk枚のニアレストネイバー画像に対して、k枚のニアレストネイバー画像のそれぞれについて１つのフィッティング係数を生成する。即ち、各所定の画像のフィッティング係数ベクトルを獲得する。

以下、１つの所定の画像及びそのk枚のニアレストネイバー画像を例とする。

現在の画像が対応する特徴を

とし、そのk枚のニアレストネイバー画像の特徴を

とし，フィッティング係数ベクトルを

とする。
まず、大きさは

である関連行列Cを計算する。当該行列の第m行、第n列の要素は：

である。

それから、線形方程式

を解き、フィッティング係数ベクトルWを得る。従来の方法を用いて前記線形方程式を解くことができる。

最後に、フィッティング係数ベクトルWの各枚の係数を正規化する。即ち、フィッティング係数ベクトルWの中の各要素の値をこれらの要素の和で割る。

ここでは、画像の特徴に基づいて各画像が対応する複数のフィッティング係数を獲得できるその他の方法を採用しても良い。

以下、具体的にステップS３について説明する。

ステップS３において、前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成する。

以下、例を挙げて、ステップS３の１つの具体的な実施形態-回帰修正法を説明する。

まず，ラベルベクトルを初期化する。所定の画像集の中の各画像について１つのラベルベクトルを設定する。当該ベクトルの長さはラベルの総数Mである。当該ベクトル中の各要素は１つのラベルに対応する。各画像の初期のラベルに基づいてそのラベルベクトルの値を設定する。もし１つの画像が或る初期のラベルを有すれば、そのラベルベクトル中の対応する要素を１とする。さもなければ、０とする。もし或る画像が初期のラベルを有しないのであれば、そのラベルベクトル中の各要素の値は０であり、又は経験に基づいて設定した値である。それから、ラベルベクトルを正規化する。

それから、ランダム又は順番に前記画像集の中の１つの画像を選ぶ（第１ステップ）。選択された画像に対応する複数のその他の画像のラベルを利用して、対応するフィッティング係数を用いて選択された画像のラベルをフィッティングする（第２ステップ）。前記画像集の中の各画像についてラベルを生成するまで前記第１及び第２ステップを繰り返す。

当該画像のk枚のニアレストネイバー画像のラベルベクトルを

とし、このk枚の画像のフィッティング係数を

とすると、当該画像の新しいラベルベクトルは：

である。

従って、所定の回数に達するまで前記ステップを繰り返し、又は、全ての画像のラベルベクトルが変化しない又は変化が小さいまで前記ステップを繰り返して、画像集の中の各画像について新しいラベルベクトルを生成する。

画像のラベルベクトルが決められるとラベルベクトルの中から値が比較的に大きい要素に対応するラベルを選択し、当該画像の最終のラベルとする。

しかし、前記実施形態は最良の形態ではない。というのは、前記実施形態は１つの画像から始め、当該画像の新ラベルベクトルは、生成される時だけに当該画像とそのk枚のニアレストネイバー画像とのフィッティング関係と符合する。その他の画像のラベルベクトルが順次に更新されると、この画像のk枚のニアレストネイバー画像のラベルベクトルも変化する。従って、当該画像の新ラベルベクトルはもはや画像の特徴におけるフィッティング関係を満たさない。

以下、例を挙げてステップS３の回帰修正法の或る改良の実施形態を説明する。

前記実施形態では、ラベルベクトルの長さをMとし、ベクトル中の各要素が１つのラベルに対応する。所定の画像のk枚のニアレストネイバー画像のラベルベクトルを介して所定の画像のラベルベクトルに影響を与える。ラベルベクトル中の各枚のラベルの間は互いに独立である。

当該改良実施形態はラベル間のセマンティック上の相関関係を考慮したため、ラベルがラベル間の相関関係に基づいて互いに影響しあう。

例えば、「自動車」と「乗用車」の２つのラベルは類似の意味を持つ。従って，相関関係が比較的に強い；「自動車」と「虎」の２つのラベルはそれぞれ異なる分類に属する。従って、相関関係が比較的に弱いはずである。「自動車」ラベルが正方向へ「乗用車」ラベルに影響を与えるのが望ましい。

ラベル間の相関関係の計算方法は任意適当な従来の方法を採用することができる。例を挙げていうと、共起類似性の方法を利用してラベル間の相関関係を計算することができる。

所定の画像集について、全ての独立ラベルが構成する集合を

とし、Mは互いに異なるラベルの数である。

任意２つのラベル

と

の相関関係は以下のステップで計算する：
まず、ラベル

と

が画像集の中に現れる頻度を計算する。画像集の中の画像の数をNとし、これらの画像中、ラベル

と

を有する数はそれぞれpとqとすると、ラベル

と

の頻度は：

である。

それから、ラベル

と

が同時に現れる頻度を計算する。即ち：画像集の全てのN枚の画像の中で、同時にラベル

と

を有する画像が占める割合を計算する。前記頻度を

とする。

続いて、ラベル

と

の共起距離を計算する：

そのうち、max()は最大値を取得することを意味し、min()は最小値を取得することを意味し、logは対数を取得することを意味する。

最後に、ラベル

と

の相関関係を計算する：

前記exp()は指数関数である。例えば、自然対数eを底とする指数函数である。

相関関係の回帰修正法を考慮した改良の方法において、ステップは前に記載の方法と一致するが、新ラベルベクトルを生成する数式を以下の通り変更する：

そのうち、Sは上記計算した相関関係

によって構成された行列である。また、

である。

以下、例を挙げてステップS３の他の具体的な実施形態-一括修正法を説明する。

回帰修正法においては、一回１つの画像のラベルを修正し、且つループ処理を通じて全ての画像のラベル修正を行う。一括修正法は最適化を解くことによって、画像集中のラベルの修正を実現する。

比較的に回帰修正法の計算の複雑度が低いが、計算速度が速い。一方、一括修正法は大域最適化が優れており、計算の複雑度が高い。その肝心なところは、画像のラベルを構成するために満たさなければならない制約条件を設定することである。制約条件として画像集全体のラベルを生成する総誤差が最小であるように設定することができる。また、制約条件がラベル間の相関関係に関連することもできる。元のラベルの重要性を考慮すると、制約条件は画像の元のラベルに関連することもできる。

以下、例を挙げて制約条件について説明する。
画像集の中の各画像の初期のラベルベクトルを

とし、Nは画像集の中の画像の数であり、各ラベルベクトルの長さはMであり、Mは互いに異なるラベルの総数である。修正後に得たラベルベクトルは

である。第i枚の画像にとって、そのk枚のニアレストネイバー画像のフィッティング係数ベクトルは

、j=１、……、kである。

画像集全体のラベルを生成する総誤差は：

である。

新しく生成したラベルは従来のラベルと大きく異なるべきではないことを考慮して、

を加えることができる。従って、画像集全体のラベルを生成する総誤差は：

である。

距離distについて、quadratic-form距離を採用することができる。ラベル間の相関関係を考慮して、以下の数式を得ることができる：

そのうち、Sは、上述のラベル間の相関関係を計算して得られたラベル相関関係行列であり、αは、比例係数であり、０〜１間の数字であるが、一般的に経験によって得られるものである。

従って、一括修正は、以下の最適化問題を解くことによって実現できる：

前記の最適化問題について分析と簡略化を行うと、以下の結果を得ることができる：

そのうち、Iは単位行列，F、Yはそれぞれ修正後のラベルと初期のラベルからなる行列である。

当該問題はsylvester方程式を解くことによって得られる。具体的な解き方は従来の技術によって実現できる。

注意すべきなのは、距離distについてその他の適当な距離を選ぶこともできる。もし距離が微分可能であれば、当該最適化問題は全て勾配降下法によって解くことができる。もし距離が微分不可能であれば、その他の適当な方法を用いて当該最適化問題を解くことができる。

前記最適化問題を解決した後、各画像に１つのラベルベクトルを得ることができる。ラベルベクトル中から値が比較的に大きい要素に対応するラベルを選んで、当該画像の最終のラベルとする。

以下、図２を参照しながら本発明の実施例に係る画像のラベル付け装置を説明する。

図２は本発明の実施例に係る画像のラベル付け装置のブロック図を示す。図２に示されたように、本発明の画像のラベル付け装置２００は：所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するニアレストネイバー画像獲得モジュール２０１と；前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得するフィッティング係数獲得モジュール２０２と；前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成する画像ラベル生成モジュール２０３と、を含む。

本発明の画像のラベル付け装置２００に含むニアレストネイバー画像獲得モジュール２０１、フィッティング係数獲得モジュール２０２及び画像ラベル生成モジュール２０３で行う処理は、それぞれ上述の画像のラベル付け方法のステップS１-S３で行う処理と類似するため、簡潔さの観点から、ここでこれらのモジュールに関する詳細な説明を省略する。

また、ここで説明すべきなのは、前記装置の中の各構成モジュールは、ソフトウェア、ファームウエア、ハードウエア又はその組み合わせによって実現できる。その具合的な手段又は方式は当業者によく知られているため、ここに説明を省略する。ソフトウェア又はファームウエアによって実現する場合、記録媒体又はネットワークから専用ハードウエア構造を有するコンピュータ（例えば図３に示される汎用コンピュータ３００）に当該ソフトウェアを構成するプログラムをインストールして、当該コンピュータが各種のプログラムがインストールされた時に、各種の機能等を実行できる。

図３は、本発明の実施例に係る方法と設備を実行できるコンピュータの概略ブロック図である。

図３において、セントラル・プロセッシング・ユニット(CPU)３０１は、読み取り専用メモリ(ROM)３０２に保存されるプログラム、又は記憶装置３０８からランダム・アクセス・メモリ(RAM)３０３にアップロードされたプログラムに基づいて各種の処理を実行する。RAM３０３において、必要に応じてCPU３０１が各種の処理等を行う時に必要なデータを保存する。CPU３０１、ROM３０２とRAM３０３はバス３０４を介して互いに連結しあう。入力/出力インタフェース３０５もバス３０４に接続する。

以下の要素は入力/出力インタフェース３０５に接続される：入力部３０６（キーボード、マウス等を含む）、出力部３０７（モニタ、例えばブラウン管(CRT)、液晶ディスプレイ(LCD)等；スピーカー等）、記憶装置３０８（ハードディスク等を含む）、通信部３０９（ネットワークインタフェースカード、例えばLANカード、モデム等）。通信部３０９はネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ３１０も入力/出力インタフェース３０５に接続することができる。取り外し可能な媒体３１１、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等は、必要に応じてドライブ３１０に取り付けられ、その中から読み出されたコンピュータプログラムが必要に応じて記憶装置３０８の中に記録されることができる。

ソフトウェアを介して前記一連の処理を実行する場合、ネットワーク、例えばインターネット、又は記録媒体、例えば取り外し可能な媒体３１１からソフトウェアのプログラムをインストールする。

当業者が理解しているように、ここでの記録媒体は、図３に示されたような、中にプログラムが記録され、設備と分離して配布しユーザにプログラムを提供する取り外し可能な媒体３１１には限らない。取り外し可能な媒体３１１の例として、磁気ディスク(フロッピー(登録商標)ディスクを含む)、光ディスク(コンパクトディスク（CD）による読み出し専用メモリー(CD-ROM)とデジタル多用途ディスク(DVD)を含む)、光磁気ディスク（ミニディスク(MD)(登録商標)を含む)と半導体記憶装置などを含む。また、記録媒体は、その中にプログラムが記録され、且つそれを記録する設備と一緒にユーザに配布されるROM３０２や、記憶装置３０８の中に含まれるハードディスクであっても良い。

本発明は、機器による読み取り可能な命令コードが記録されたプログラム製品を提供する。前記命令コードが機器に読み取りされ、且つ実行される時に、前記本発明の実施例に係る方法を実行できる。

また、機器に読み取り可能な命令コードが記録されたプログラム製品を保持する記録媒体も本発明の開示に含まれる。前記記録媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含むが、これらに限定されない。

以上、本発明の具体的な実施の形態に対する説明において、一種の実施の形態について説明及び/又は図示した特徴は、同一又は類似した形態で、１つ又は複数のその他の実施の形態で使用され、その他の実施の形態における特徴と組み合わせ、或いはその他の実施の形態における特徴を置換することができる。

強調すべきなのは、用語「含む/備える」は、本明細書に使用される時に特徴、要素、ステップ又は構成要素の存在を指すが、１つ又は複数のその他の特徴、要素、ステップ又は構成要素の存在又は付加を排除するわけではない。

また、本発明の方法は、明細書に説明された時間順で実行されることに限定されず、その他の時間に従って順次に、並行に又は個別に実行されでも良い。従って、本明細書に説明された方法の実行順は、本発明の技術的範囲を限定するものではない。

以上、本発明の具体的な実施の形態の説明により本発明を開示したが、理解すべきなのは、前記の実施の形態や実施例は全て例示的なものであって、当業者は、添付の請求の範囲の要旨と範囲内に本発明に対する様々な変更、改善又は均等物を設計することができる。これらの変更、改善又は均等物は、本発明の保護範囲内に含まれるものと認めるべきである。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記）
（付記１）
画像のラベル付け方法であって：
所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するステップと；
前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって前記画像の複数のフィッティング係数を獲得するステップと；
前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成するステップと、
を含む画像のラベル付け方法。

（付記２）
前記画像の複数のフィッティング係数を獲得する前記のステップは、画像特徴において所定の画像と類似する複数のその他の画像を用いて所定の画像をフィッティングする誤差を最小にすることによって前記画像の前記複数のフィッティング係数を獲得する付記１記載の画像のラベル付け方法。

（付記３）
所定の制約条件を満たすよう前記画像のラベルを生成する付記１記載の画像のラベル付け方法。

（付記４）
前記制約条件は、画像集全体のラベルを生成する総誤差が最小であることを含む付記３記載の画像のラベル付け方法。

（付記５）
前記制約条件は、ラベル間の相関関係に関連する付記３記載の画像のラベル付け方法。

（付記６）
前記制約条件は、前記画像の既存のラベルに関連する付記３記載の画像のラベル付け方法。

（付記７）
前記画像のラベルを生成する前記のステップは：
ランダム又は順番に前記画像集の中から１つの画像を選択する第１ステップと；
選択された画像に対応する複数のその他の画像のラベルを利用して、対応するフィッティング係数によって、選択された画像のラベルをフィッティングする第２ステップと；
前記画像集の中のすべての画像に対してラベルを生成するまで前記第１及び第２ステップを繰り返すステップと、
をさらに含む付記１記載の画像のラベル付け方法。

（付記８）
選択された画像のラベルをフィッティングする前記ステップは、ラベル間の相関関係に基づいて、選択された画像に対応する複数のその他の画像のラベルを利用して、対応するフィッティング係数によって、選択された画像のラベルをフィッティングする付記７記載の画像のラベル付け方法。

（付記９）
前記フィッティングは線形フィッティングであり、前記ラベルはベクトル形式である付記１乃至７記載の画像のラベル付け方法。

（付記１０）
画像のラベル付け装置であって：
所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するニアレストネイバー画像獲得モジュールと；
前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得するフィッティング係数獲得モジュールと；
前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成する画像ラベル生成モジュールと；
を含む画像のラベル付け装置。

（付記１１）
前記フィッティング係数獲得モジュールは、画像特徴について所定の画像と類似する複数のその他の画像を用いて所定の画像をフィッティングする誤差を最小にすることによって，前記画像の前記複数のフィッティング係数を獲得する付記１０記載の画像のラベル付け装置。

（付記１２）
前記画像ラベル生成モジュールは、制約条件を満たすよう前記画像のラベルを生成する付記１０記載の画像のラベル付け装置。

（付記１３）
前記制約条件は、画像集全体のラベルを生成する総誤差が最小であることを含む付記１２記載の画像のラベル付け装置。

（付記１４）
前記制約条件は、ラベル間の相関関係に関連する付記１２記載の画像のラベル付け装置。

（付記１５）
前記制約条件は、前記画像の既存のラベルに関連する付記１２記載の画像のラベル付け装置。

（付記１６）
前記フィッティングは線形フィッティングであり、前記ラベルはベクトル形式である付記１０乃至１５記載の画像のラベル付け方法。

Claims (10)

1. 画像のラベル付け方法であって：
   所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するステップと；
   前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得するステップと；
   前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成するステップと；
   を含む画像のラベル付け方法。
2. 前記画像の複数のフィッティング係数を獲得する前記のステップは、画像特徴において所定の画像と類似する複数のその他の画像を用いて所定の画像をフィッティングする誤差を最小にすることによって前記画像の前記複数のフィッティング係数を獲得する請求項１記載の画像のラベル付け方法。
3. 所定の制約条件を満たすよう前記画像のラベルを生成する請求項１記載の画像のラベル付け方法。
4. 前記制約条件は、画像集全体のラベルを生成する総誤差が最小であることを含む請求項３記載の画像のラベル付け方法。
5. 前記制約条件は、ラベル間の相関関係に関連する請求項３記載の画像のラベル付け方法。
6. 前記制約条件は、前記画像の既存のラベルに関連する請求項３記載の画像のラベル付け方法。
7. 前記画像のラベルを生成する前記のステップは：
   ランダム又は順番に前記画像集の中から１つの画像を選択する第１ステップと；
   選択された画像に対応する複数のその他の画像のラベルを利用して、対応するフィッティング係数によって、選択された画像のラベルをフィッティングする第２ステップと；
   前記画像集の中のすべての画像に対してラベルを生成するまで前記第１及び第２ステップを繰り返すステップと；
   をさらに含む請求項１記載の画像のラベル付け方法。
8. 画像のラベル付け装置であって：
   所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するニアレストネイバー画像獲得モジュールと；
   前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得するフィッティング係数獲得モジュールと；
   前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成する画像ラベル生成モジュールと；
   を含む画像のラベル付け装置。
9. 前記画像ラベル生成モジュールは、制約条件を満たすよう前記画像のラベルを生成する、
   請求項８記載の画像のラベル付け装置。
10. 前記制約条件は、画像集全体のラベルを生成する総誤差が最小である、又は、
    前記制約条件は、ラベル間の相関関係に関連する、又は、
    前記制約条件は、前記画像の既存のラベルに関連する、
    ことを含む請求項９記載の画像のラベル付け装置。

Images