JP5821590B2 - 画像識別情報付与プログラム及び画像識別情報付与装置 - Google Patents

Description

本発明は、画像識別情報付与プログラム及び画像識別情報付与装置に関する。

従来の画像識別情報付与装置として、画像情報等から得られる特徴情報に基づいて付される識別情報（以下、「ラベル」という。）が予め用意されたとき、特徴情報とラベルとの関係について予め学習を行っておき、学習の結果に基づき入力される画像情報がどのラベルに所属するか識別するものがある（例えば、特許文献１参照）。

特許文献１に記載のパターン認識装置は、画像情報から多次元の特徴情報を生成し、当該特徴情報に予めラベルを用意したものを学習データとしてラベルと特徴情とを対応付けることで学習するとともに、入力される画像情報の特徴情報を算出して学習した特徴情報を参照することで入力された画像情報の特徴情報が各ラベルに所属する度合いを表す値を算出して、当該所属する度合いを表す値が最大となったラベルに入力された画像情報が所属すると認識する画像識別情報付与装置が開示されている。

特開平９−２３１３６６号公報

本発明の目的は、確率モデルにより学習した学習結果を利用して、入力される画像情報に識別情報を付与する画像識別情報付与プログラム及び画像識別情報付与装置を提供することにある。

本発明の一態様は、上記目的を達成するため、以下の画像識別情報付与プログラム及び画像識別情報付与装置を提供する。

［１］コンピュータを、
予め識別情報が関連付けられた画像情報から識別情報毎に画像情報を取得する取得手段と、
前記取得手段が取得した画像情報から特徴情報を生成する生成手段と、
前記生成手段が生成した特徴情報と当該特徴情報に対応する画像情報の識別情報との関係を複数の確率分布の混合による確率モデルにより学習して学習結果を生成するものであって、前記複数の確率分布のうちの一の確率分布に属する特徴情報から定まる第１の変数と、前記取得手段によって識別情報の内容に関わらず取得された画像情報から得られる特徴情報の集合を用いて定められる確率分布を記述する変数とから、前記一の確率分布に属する特徴情報の密度に応じた寄与率に基づいて第２の変数を算出し、当該第２の変数で記述される分布を用いて学習する学習手段として機能させる画像識別情報付与プログラム。

［２］前記学習手段は、前記一の確率分布の変数の初期値として、前記取得手段により識別情報の内容に関わらず取得された画像情報から得られる特徴情報の集合を用いて定まる初期値を用いる前記［１］に記載の画像識別情報付与プログラム。

［３］予め識別情報が関連付けられた画像情報から識別情報毎に画像情報を取得する取得手段と、
前記取得手段が取得した画像情報から特徴情報を生成する生成手段と、
前記生成手段が生成した特徴情報と当該特徴情報に対応する画像情報の識別情報との関係を複数の確率分布の混合による確率モデルにより学習して学習結果を生成するものであって、前記複数の確率分布のうちの一の確率分布に属する特徴情報から定まる第１の変数と、前記取得手段によって識別情報の内容に関わらず取得された全ての画像情報から得られる特徴情報の集合を用いて定められる確率分布を記述する変数とから、前記一の確率分布に属する特徴情報の密度に応じた寄与率に基づいて第２の変数を算出し、当該第２の変数で記述される分布を用いて学習する学習手段とを有する画像識別情報付与装置。

請求項１又は３に係る発明によれば、確率モデルにより学習した学習結果を利用して、入力される画像情報に識別情報を付与することができる。

請求項２に係る発明によれば、学習する特徴情報の密度が低い場合には、識別情報の内容に関わらず取得された全ての画像情報から得られる特徴情報の傾向を反映し、学習する特徴情報の密度が高い場合には、学習する特徴情報の傾向を反映した学習結果を得ることができる。

図１は、本発明の実施の形態に係る画像識別情報付与装置の構成の一例を示す図である。 図２は、基本学習動作の一例を説明する概略図である。 図３Ａは、ラベルｃに対するｋ番目のガウス分布及び全体的画像特徴分布とモデル学習手段によって導出される平均μ_ｋ ^ｃとの関係を示した図である。 図３Ｂは、特徴ベクトルの分布及びデータ領域の範囲を示す概略図である。 図４は、画像識別情報付与装置の動作例を示すフローチャートである。 図５は、学習アルゴリズムの内容を示すフローチャートである。 図６は、画像識別情報付与装置の動作例を示すフローチャートである。

（画像識別情報付与装置の構成）
図１は、本発明の実施の形態に係る画像識別情報付与装置の構成の一例を示す図である。

画像識別情報付与装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、外部とネットワークを介して通信する通信部１２を備える。

画像識別情報付与装置１は、通信部１２等を介して入力される画像に「山」「川」「子供」等の被写体が含まれるとき、これら「山」「川」「子供」等の語句（以下、「アノテーション単語」という。）を画像情報に対する識別情報（以下、「ラベル」という。）として付与する。また、画像識別情報付与装置１は、記憶部１１等に格納された予めラベルが付与された学習用の画像情報を用いて学習を行うものである。

制御部１０は、後述する画像識別情報付与プログラム１１０を実行することで、画像取得手段１００、画像分割手段１０１、特徴ベクトル生成手段１０２、学習データ集合取得手段１０３、全体的画像特徴分布推定手段１０４、モデル学習手段１０５、尤度計算手段１０６、アノテーション単語推定手段１０７及び出力手段１０８等として機能する。

画像取得手段１００は、学習の際に記憶部１１に格納された画像情報１１１から学習に必要な画像情報を選択して取得し、又ラベルを推定する際に通信部１２を介して外部の端末装置等から入力された画像情報を取得する。

画像分割手段１０１は、画像取得手段１００が取得した画像情報及び記憶部１１に格納された学習用の画像情報１１１を、それぞれ複数の領域に分割し、部分領域を生成する。画像分割手段１０１は、例えば、矩形でメッシュ状に分割する方法やｋ近傍法等のクラスタリング手法を用いて類似の近接する画素を同一の部分領域と定める方法等を用いる。

特徴ベクトル生成手段１０２は、画像分割手段１０１が生成した部分領域のそれぞれから、例えば、ガボールフィルタを用いる方法やＲＧＢ、正規化ＲＧ、ＣＩＥＬＡＢ等の特徴量を抽出する方法によって特徴ベクトルを生成する。ここで、特徴ベクトルは特徴情報の一例である。

学習データ集合取得手段１０３は、画像情報１１１から同一のラベルが与えられた画像情報を取得し、当該画像情報に含まれる特徴ベクトルの集合を学習データ集合として取得する。また、ラベルの内容に関わらず全ての画像情報１１１から得られる特徴ベクトルの集合（以下、「ユニバーサルモデル」という。）を学習データ集合として取得する。なお、学習データ集合の選択には、全ての学習データを取得する方法に限らず、例えば、学習データの数が非常に多くなる場合等には、全ての学習データから無作為に規定データ数となるまで抽出する等の方法を用いても良い。

全体的画像特徴分布推定手段１０４は、ユニバーサルモデルを事前確率モデルとして学習し、その学習結果（以下、「全体的画像特徴分布」という。）を推定する。

モデル学習手段１０５は、学習データ集合取得手段１０３が取得した学習データ集合を用いて学習を行うものであり、データ密度推定手段１０５ａ及びパラメータ最適化手段１０５ｂを有する。

データ密度推定手段１０５ａは、あるラベルのあるデータ領域におけるデータの密度を推定する。ここで、「データ領域」とは、混合ガウス分布モデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ：ＧＭＭ）により、特徴ベクトルの空間全体をＫ個のガウス分布で分割していると捉えたとき、ｋ番目のガウス分布が受け持っている特徴ベクトルの空間内の領域（図３Ａ参照。なお、詳細については「（２）詳細学習動作」にて後述）をいい、「データ密度」とは、ｋ番目のガウス分布のデータ領域に含まれるデータの密度をいう。

パラメータ最適化手段１０５ｂは、データ密度推定手段１０５ａが推定したデータ領域のデータ密度に応じた寄与率に基づいて、当該データ領域に属する特徴情報から定まる第１の変数と、全体的特徴分布を記述する変数とから、第２の変数を算出して最適化する。

尤度計算手段１０６は、画像取得手段１００が取得した画像情報の特徴ベクトルの任意のラベルに対する尤度を計算する。

アノテーション単語推定手段１０７は、尤度の高いラベルに対応したアノテーション単語を入力された画像情報の識別情報として推定する。

出力手段１０８は、アノテーション単語推定手段１０７が推定したアノテーション単語のうち、例えば、尤度の高い上位数個を表示装置、印刷装置、記憶部１１等に出力する。このように、出力手段１０８は、出力するアノテーション単語を、尤度に応じて提示する。また、画像識別情報付与装置１の利用者は、提示されたアノテーション単語から適切なアノテーション単語を尤度に応じて選択することができる。

記憶部１１は、制御部１０を上述した各手段として動作させる画像識別情報付与プログラム１１０、学習の際に用いられる画像情報１１１、画像情報１１１に含まれる画像情報とラベルとを関連付けるラベル情報１１２及びモデル学習手段１０５による学習結果として保存される学習情報１１３等を記憶する。

（画像識別情報付与装置の動作）
以下に、画像識別情報付与装置の動作例を各図を参照しつつ、（１）基本学習動作、（２）詳細学習動作、（３）アノテーション推定動作に分けて説明する。

図４は、画像識別情報付与装置の動作例を示すフローチャートである。

（１）基本学習動作
図２（ａ）及び（ｂ）は、基本学習動作の一例を説明する概略図である。

まず、画像取得手段１００は、記憶部１１から学習用データとして画像情報１１１を取得する（Ｓ１）。画像情報１１１は、例えば、「山」、「太陽」、「車」等のアノテーション単語がそれぞれラベルとして関連付けられた複数の画像情報を含むものとする。

次に、画像分割手段１０１は、画像取得手段１００が取得した画像情報の一例として図２（ａ）に示す画像情報１１１ａの表示画像を、図２（ｂ）に示すようにｎ個の領域に分割し、部分領域Ａ_１〜Ａ_ｎを生成する（Ｓ２）。一例として、図示するように矩形でメッシュ状に分割する。この動作は、画像取得手段１００が取得した複数の画像情報のそれぞれについて行われる。

次に、特徴ベクトル生成手段１０２は、部分領域Ａ_１〜Ａ_ｎから、一例としてガボールフィルタ等を用いて複数の特徴量ｆ_１〜ｆ_Ｄを抽出し、部分領域Ａ_１〜Ａ_ｎ毎にこれら特徴量ｆ_１〜ｆ_Ｄを成分とした特徴ベクトルｘ_１、ｘ_２、…、ｘ_ｎを生成する（Ｓ３）。この動作についても、画像取得手段１００が取得した複数の画像情報のそれぞれについて行われる。

次に、学習データ集合取得手段１０３は、ラベル情報１１２を参照し、画像情報１１１から、まずラベルＣ_１（例えば、アノテーション単語「山」）に対応付けられた画像情報を取得するとともに、取得した画像情報から生成された特徴ベクトルの集合を学習データ集合として取得する（Ｓ４、Ｓ５）。

次に、モデル学習手段１０５は、学習データ集合取得手段１０３が取得したラベルＣ_１の学習データについて学習を実行し（Ｓ６）、学習結果を記憶部１１の学習情報１１３に保存する（Ｓ７）。

上記ステップＳ５〜Ｓ７は、すべてのラベル（＝Ｍ個）について実行される（Ｓ８、Ｓ９）。

以下の「（２）詳細学習動作」において、ステップＳ６でモデル学習手段１０５が実行する学習動作の詳細について説明する。

（２）詳細学習動作
モデル学習手段１０５は、確率生成モデルとして、混合ガウス分布モデル（ＧＭＭ）を用いる。入力される学習データ集合をＸ＝｛ｘ_１，…ｘ_Ｎ｝とし、特徴ベクトルの次元をＤとすると、混合ガウス分布モデルｐは、次式で定義される。

ここで、Ｎは入力される学習データ数、Ｋは混合要素数である。π_ｋ ^ｃは混合比を表わし、Ｎ（ｘ_ｉ｜μ_ｋ ^ｃ，Σ_ｋ ^ｃ）は、平均μ_ｋ ^ｃ、分散Σ_ｋ ^ｃであるＤ次元ガウス分布である。

また、混合比は、次式を満たす。

全体的画像特徴分布推定手段１０４は、全てのラベルに共通する事前確率として、全ての画像情報１１１を学習データ集合としたモデル（ユニバーサルモデル）の学習を行う。これを本発明では、全体的画像特徴分布と呼ぶ。本実施の形態においては、全体的画像特徴分布は、次のようなＧＭＭで表わされる。

混合比π_ｋ ^ｕ、平均μ_ｋ ^ｕ、分散Σ_ｋ ^ｕ（１≦ｋ≦Ｋ）は、学習データ集合設定において設定されたすべてのラベルの学習データ集合（又は、ラベルを規定せずに無作為に抽出された学習データ集合）を用いて通常のＥＭアルゴリズムにより事前に学習を行い得られるものである。

全体的画像特徴分布を用いてあるラベルに該当するガウス分布Ｎ（ｘ_ｉ｜μ_ｋ ^ｃ，Σ_ｋ ^ｃ）を修正する第一の方法として、パラメータ最適化手段１０５ｂは、ＥＭアルゴリズムを用いてパラメータ（混合比、平均、分散）を求める際に、その初期値として全体的画像特徴分布のパラメータを用いる。

一般にＥＭアルゴリズムには、初期値依存性があり、学習データ数が少ないほどその傾向は大きくなる。したがって、学習データサンプル数が少なく学習データの信頼性が低い場合には、より全体的画像特徴分布を反映したガウス分布を、学習データサンプル数が多い場合には、学習データサンプルの傾向をより強く反映したガウス分布を得ることができる。

次に、全体的画像特徴分布を用いてあるラベルに該当するガウス分布Ｎ（ｘ_ｉ｜μ_ｋ ^ｃ，Σ_ｋ ^ｃ）を修正する第二の方法として、モデル学習手段１０５は、全体的画像特徴分布を事前分布として用いる。ＧＭＭにおいて、特定のＧＭＭを事前分布とした場合、ガウス分布の各パラメータ（第２の変数）は、

となる。

ここで、ｒ_ｉｋ ^ｃは、負担率と呼ばれるデータｘ_ｉが与えられたときの混合要素ｋの事後分布であり、次式で定義される。

τは予め定められた実数定数であり、Ｎ_ｃはラベルｃの学習データ数である。

式（４）〜（６）をみると分かるように、学習データが少ないほど、ガウス分布のパラメータ（第２の変数）は、全体的画像特徴のパラメータを強く反映する。

さて、式（５）は、次のように解釈できる

式（８）を図式化すると以下のようになる。

図３Ａは、ラベルｃに対するｋ番目のガウス分布及び全体的画像特徴分布とモデル学習手段１０５によって導出される平均μ_ｋ ^ｃとの関係を示した図である。なお、説明を簡略化するため特徴ベクトルの次元が１次元の場合を表しており、白抜きの丸のそれぞれがデータサンプルを示している。

データ密度推定手段１０５ａは、式（８−２）に基づいてデータ密度Ｎ_ｋ ^ｃを推定する。すると、τは予め定められる定数であるためデータ密度Ｎ_ｋ ^ｃが小さいほど、モデル学習手段１０５は平均μ_ｋ ^ｃ（第２の変数）の算出結果として全体的画像特徴分布の平均μ_ｋ ^ｕに近づくような値を得る。また、データ密度Ｎ_ｋ ^ｃが大きいほど、モデル学習手段１０５は平均μ_ｋ ^ｃ（第２の変数）の算出結果としてラベルｃの領域ｋにおけるサンプル平均

に近づくような値を得る。

また、同様に式は、

π_ｋ ^ｃは、ラベルｃの領域ｋにおけるデータ密度で定義されている。すなわち、

この式（１０）を式（２）により規格化することにより、式（４）が得られる。

このように、モデル学習手段１０５は、データ密度推定手段１０５ａによりデータ領域におけるデータ密度を推定し、パラメータ最適化手段１０５ｂによりそのデータ密度により全体的画像特徴量のパラメータを反映させる寄与率を定める。

以上より、あるτが与えられると、それぞれのラベルｃに対する学習はＥＭアルゴリズムを用いて求められる。

次に、ＥＭアルゴリズムを用いた学習アルゴリズムの詳細を以下に示す。

図５は、学習アルゴリズムの内容を示すフローチャートである。また、図３Ｂは、特徴ベクトルの分布及びデータ領域の範囲を示す概略図である。なお、説明を簡略化するため特徴ベクトルの次元が２次元の場合を表しており、白抜きの丸がデータサンプルを示している。

まず、モデル学習手段１０５のパラメータ最適化手段１０５ｂは、パラメータ｛π_ｋ ^ｃ，μ_ｋ ^ｃ，Σ_ｋ ^ｃ｝を初期化する（Ｓ１１）。なお、パラメータ最適化手段１０５ｂは、ユニバーサルモデルを活用し、全体的画像特徴分布のパラメータを初期値に定める。

ステップＳ１１の結果、データサンプルはガウス分布のデータ領域のいずれかに属することとなる。次に、モデル学習手段１０５は、各ガウス分布に所属するデータサンプルについて、Ｅステップとして負担率ｒ_ｊｋを式（７）に従って算出する。

次に、モデル学習手段１０５は、Ｍステップとしてパラメータ｛π_ｋ ^ｃ，μ_ｋ ^ｃ，Σ_ｋ ^ｃ｝を式（４）〜（６）に従って更新する（Ｓ１３）。ステップＳ１３の結果、データサンプルは、更新されたパラメータに従った各ガウス分布のデータ領域のいずれかに属することとなる。

次に、モデル学習手段１０５は、収束条件を満たすか否か判定し（Ｓ１４）、対数尤度の変化が予め定められた既定値以下であれば（Ｓ１４；Ｙｅｓ）、計算を終了し、既定値以下でなければ（Ｓ１４；Ｎｏ）、ステップＳ１２に戻る。

次に、モデル学習手段１０５は、ラベル毎にモデルの学習済みパラメータ｛π_ｋ ^ｃ，μ_ｋ ^ｃ，Σ_ｋ ^ｃ｝を学習情報１１３として記憶部１１に保存する。

（３）アノテーション推定動作
図６は、画像識別情報付与装置の動作例を示すフローチャートである。

まず、画像取得手段１００は、ラベルを推定する対象として通信部１２を介して外部から入力された画像情報を取得する（Ｓ２１）。

次に、画像分割手段１０１は、画像をｎ個の領域に分割し、部分領域を生成する（Ｓ２２）。

次に、特徴ベクトル生成手段１０２は、部分領域から複数の特徴量を抽出し、部分領域毎にこれら特徴量を成分とした特徴ベクトルｘ_１、ｘ_２、…、ｘ_ｎを生成する（Ｓ２３）。

次に、尤度計算手段１０６は、学習情報１１３からステップＳ６で学習した各ラベルのモデルを読み込む（Ｓ２４）。具体的には、モデルのパラメータ｛π_ｋ ^ｃ，μ_ｋ ^ｃ，Σ_ｋ ^ｃ｝を記憶部１１から読み込み、図示しないメモリに展開する。

次に、尤度計算手段１０６は、各部分領域の特徴ベクトルについて事後確率を算出する（Ｓ２５）。予測するべき入力画像Ｉから抽出される特徴ベクトルのセットＸ＝｛ｘ_１，…ｘ_ｎ｝が与えられた場合のラベルｃの事後確率ｐ（ｃ｜Ｘ）がベイズの定理を用いて次のように計算される。

ここで、ｐ（ｃ）は、ラベルｃの事前確率である。これには、学習データ集合における相対頻度を用いる。ｐ（ｘ_１…ｘ_ｎ）は、特徴ベクトル集合の事前分布であるが、ラベルに対しては一定値をとる。したがって、画像Ｉに対するラベルｃの対数尤度は、定数部分を除いて、次式のように表わせる。

式（１２）が大きいほど画像Ｉのラベルとして適していると考えられる。式（１２）の大きいものから数個を画像Ｉのラベル（アノテーション単語）とする。

次に、尤度計算手段１０６は、あるラベルｃに対する部分画像の特徴ベクトルｘ_ｉの尤度を算出する（Ｓ２６）。

尤度が計算されると、アノテーション単語推定手段１０７は、尤度の大きいものから順に、例えば、上位５つのラベルを取得し、画像情報の識別情報としてラベルに対応付けられたアノテーション単語を付与する（Ｓ２７）。

次に、出力手段１０８は、図示しない定められた出力装置（ディスプレイ、プリンター、ハードディスク等）にアノテーション単語推定結果を出力する（Ｓ２８）。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

また、上記実施の形態で使用される画像識別情報付与プログラム１１０は、ＣＤ−ＲＯＭ等の記憶媒体から装置内の記憶部１１に読み込んでも良く、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部１１にダウンロードしてもよい。また、記憶部１１を装置外に配置してもよいし、装置外に配置した記憶部１１と画像識別情報付与装置１とをネットワークを介して接続してもよい。また、上記実施の形態で使用される手段１００〜１０８の一部または全部をＡＳＩＣ等のハードウェアによって実現してもよい。

１ 画像識別情報付与装置
１０ 制御部
１１ 記憶部
１２ 通信部
１００ 画像取得手段
１０１ 画像分割手段
１０２ 特徴ベクトル生成手段
１０３ 学習データ集合取得手段
１０４ 全体的画像特徴分布推定手段
１０５ モデル学習手段
１０６ 尤度計算手段
１０７ アノテーション単語推定手段
１０８ 出力手段
１１０ 画像識別情報付与プログラム
１１１ 画像情報
１１２ ラベル情報
１１３ 学習情報

Claims (3)

1. コンピュータを、
   予め識別情報が関連付けられた画像情報から識別情報毎に画像情報を取得する取得手段と、
   前記取得手段が取得した画像情報から特徴情報を生成する生成手段と、
   前記生成手段が生成した特徴情報と当該特徴情報に対応する画像情報の識別情報との関係を複数の確率分布の混合による確率モデルにより学習して学習結果を生成するものであって、前記複数の確率分布のうちの一の確率分布に属する特徴情報から定まる第１の変数と、前記取得手段によって識別情報の内容に関わらず取得された画像情報から得られる特徴情報の集合を用いて定められる確率分布を記述する変数とから、前記一の確率分布に属する特徴情報の密度に応じた寄与率に基づいて第２の変数を算出し、当該第２の変数で記述される分布を用いて学習する学習手段として機能させる画像識別情報付与プログラム。
2. 前記学習手段は、前記一の確率分布の変数の初期値として、前記取得手段により識別情報の内容に関わらず取得された画像情報から得られる特徴情報の集合を用いて定まる初期値を用いる請求項１に記載の画像識別情報付与プログラム。
3. 予め識別情報が関連付けられた画像情報から識別情報毎に画像情報を取得する取得手段と、
   前記取得手段が取得した画像情報から特徴情報を生成する生成手段と、
   前記生成手段が生成した特徴情報と当該特徴情報に対応する画像情報の識別情報との関係を複数の確率分布の混合による確率モデルにより学習して学習結果を生成するものであって、前記複数の確率分布のうちの一の確率分布に属する特徴情報から定まる第１の変数と、前記取得手段によって識別情報の内容に関わらず取得された全ての画像情報から得られる特徴情報の集合を用いて定められる確率分布を記述する変数とから、前記一の確率分布に属する特徴情報の密度に応じた寄与率に基づいて第２の変数を算出し、当該第２の変数で記述される分布を用いて学習する学習手段とを有する画像識別情報付与装置。
   

Images