JP5754306B2

JP5754306B2 - 画像識別情報付与プログラム及び画像識別情報付与装置

Info

Publication number: JP5754306B2
Application number: JP2011190967A
Authority: JP
Inventors: 文渊戚; 加藤　典司; 典司加藤
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2011-09-01
Filing date: 2011-09-01
Publication date: 2015-07-29
Anticipated expiration: 2031-09-01
Also published as: JP2013054458A

Description

本発明は、画像識別情報付与プログラム及び画像識別情報付与装置に関する。

近年、画像アノテーション技術は、画像データベース管理における画像検索システム、画像認識システムなどのための一つの重要な技術となっている。この画像アノテーション技術により、ユーザは、例えば、必要とする画像と意味的に近い画像を検索できる。

画像アノテーション技術として、例えば特許文献１〜４に開示されているものがある。これらは、未知画像に対する意味的なラベルを付与するが、手段としては画像の特徴量を抽出してから最近傍アルゴリズム（ＮＮ：Nearest Neighbor）を用いて、類似画像を検索し、検索された類似画像に付与されたラベルを用いてターゲット画像にレベルを付与する。しかしながら、最近傍アルゴリズムで抽出された画像のみからラベルを付与するという方法では、アノテーションの精度が高くないという問題があった。

上記の問題を改善するため、特許文献５、６で提案されているものがある。これらは、画像特徴に対するラベルの出現頻度に基づいて、学習された識別器を用いて各ラベルの確率を推定する。

また、既存の分類方法を改良するために、ラベルと特徴量の相関情報を正準相関分析（ＣＣＡ：Canonical Correlation Analysis）でモデリングして、画像特徴量と意味的なラベルのギャップを埋めるモデルが提案されている（例えば非特許文献１参照。）。

特開２００５−３５２７８２号公報特開２００７−１０９０６７号公報特開２００９−１８８９５１号公報特開２０１０−２７１７６９号公報特開２０００−３５３１７３号公報特開２００９−４８３３４号公報

T.BAilloeul, C.Zhu and Y.Xu, "Automatic image tagging as a random walk with priors on the canonical correlation subspace", MIR 2008

しかし、特許文献５、６に開示された方法では、識別器がオブジェクトのクラス毎に構築され、独立に各ラベルの事後確率を計算しているので、クラス間の相関を利用できないという問題がある。また、非特許文献１に開示された方法では、ＣＣＡにより構築したグラフモデルからランダムウォークでターゲット画像の特徴量からラベルを推定するものであり、局所的な最小値に陥る可能性があり、また計算時間もかかるという問題がある。

本発明の課題は、画像に関する相関情報を用いて画像に対して複数の識別情報を付与する画像識別情報付与プログラム及び画像識別情報付与装置を提供することである。

［１］コンピュータを、複数の画像からそれぞれ特徴量を抽出する抽出手段と、前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、前記識別情報の数に対応した数の確率場モデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段として機能されるための画像識別情報付与プログラム。

［２］前記出力手段の前記確率場モデルを前記複数の画像間の相関情報に基づいて最適化する最適化手段を、さらに備えた前記［１］に記載の画像識別情報付与プログラム。

［３］前記出力手段の前記確率場モデルを前記複数の識別情報間の相関情報に基づいて最適化する最適化手段を、さらに備えた前記［１］に記載の画像識別情報付与プログラム。

［４］複数の画像からそれぞれ特徴量を抽出する抽出手段と、前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、前記識別情報の数に対応した数のＭＲＦモデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段とを備えた画像識別情報付与装置。

請求項１又は４に記載された発明によれば、画像に関する相関情報を用いて画像に対して複数の識別情報を付与することができる。

請求項２に記載された発明によれば、複数の画像間の相関情報に基づいて画像に対して最適化された複数の識別情報を付与することができる。

請求項３に記載された発明によれば、複数の識別情報間の相関情報に基づいて画像に対して最適化された複数の識別情報を付与することができる。

図１は、本発明の第１の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。図２は、ラベル推定部の概略の構成例を示し、（ａ）は平面図、（ｂ）は側面図である。図３は、第１の実施の形態の動作例を示すフローチャートである。図４は、本発明の第２の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。

以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。この画像識別情報付与装置１は、画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８、アノテーション情報出力部９及び記憶部１０を有して概略構成されている。

従来のアノテーション手段は、学習コーパス（学習用画像と学習用画像に付与されたラベルとが対になったもの）中の学習用画像から周知の特徴抽出手法により特徴量を抽出し、特徴量とラベルとの関連を識別モデルとして学習する。学習された識別モデル、すなわち学習モデル１３０は、データベースに保存する。そして、クエリ画像（入力画像、未知画像ともいう。）１２０にラベルを付与するため、学習モデル１３０を用いてクエリ画像１２０に対して、ラベルの事後確率を計算し、最も高い値を持つラベルを推定結果とする。

本明細書において、「アノテーション」とは、画像全体に対してラベルを付与することをいう。「ラベル」は、識別情報の一例であり、画像の全体又は部分領域の内容を表す識別情報、例えば単語である。

本実施の形態は、ラベル事後確率計算部４によりラベルの事後確率を計算してから、画クエリ像１２０間の相関情報に基づいてＭＲＦモデルもしくはＣＲＦモデルでラベルの順位を調整してクエリ画像１２０にラベルを付与する。ここで、「ＭＲＦモデル」とは、マルコフ確率場（ＭＲＦ：Markov Random Field）モデルのことであり、「ＣＲＦモデル」とは、条件付き確率場（ＣＲＦ：Conditional Random Field）モデルのことである。これらのマルコフ確率場モデル及び条件付き確立場モデルは、確率場モデルの一例である。

以下、本実施の形態の特徴的な部分、すなわち量子化部５、ノード接合部６及びラベル推定部７を中心に説明する。

画像受付部２は、ラベルを付与する対象画像のクエリ画像１２０を受け付ける。

特徴抽出部３は、抽出手段の一例であり、クエリ画像から特徴量を抽出する。特徴量は、例えばＲ，Ｇ，Ｂ等の色やテクスチャなどの画像特徴を並べたものである。

ラベル事後確率計算部４は、特徴量ｆから各ラベルｃの事後確率（Ｐ（ｃ｜ｆ））を算出し、ラベル毎にアノテーションスコア（アナログ値）として出力する。

記憶部１０には、画像識別情報付与プログラム１１０等の各種のプログラム、クエリ画像１２０、学習モデル１３０、ラベル辞書１４０、リンク情報１５０等の各種のデータが格納されている。記憶部１０は、例えばＲＯＭ、ＲＡＭ、ＨＤＤ等により構成されている。

アンテーション出力部９は、ラベル付与部８によって付与されたアノテーション情報（ラベルとスコア）を外部に出力するものであり、例えば液晶ディスプレイ等の表示部や、プリンタ等の印刷部を用いることができる。

（量子化部）
従来のＭＲＦやＣＲＦを用いた画像アノテーション技術では、例えば非特許文献“Word co-occurrence and Markov Random Field for Improving Automatic Image Annotation ”H.J.Escalante, M.Montes and L.E.Sucar, BMVC,2007に開示されているように、ラベルの共起を用いてＭＲＦモデルを構築し、ラベルの確率を観測値として入力し、入力画像に対してラベルを推定する。この従来技術では、画像のラベルを推定する隠れノードは複数のラベルから一つのラベルを選択するノードであり、したがって、１つの画像全体又は画像領域に対して１つのラベルしか付与できず、画像全体に複数のラベルを付与するアノテーションには適用できない。

これを解決するために、本実施の形態は、各ラベルに対して１つのＭＲＦもしくはＣＲＦモデルを持ち、各モデルの隠れノードは量子化されたラベルの確率を持つ。そしてＭＲＦもしくはＣＲＦモデルで推定した量子化値によって、ラベルの順位を決め、１つの画像に対してスコアの高い複数のラベルを付与するものである。

本実施の形態の量子化部５は、ラベル事後確率計算部４がラベル毎に算出したアナログ値であるアノテーションスコアを量子化する。量子化した値（量子化値）は、離散化した値（離散化値）である。アノテーションスコアのレベルを均等に量子化するため、ヒストグラム平坦化(Histogram Equalization)方法で決定する。量子化値は、後述するＭＲＦモデル７０_１〜７０_Ｎの各事後確率計算ノード７２の隠れ変数の初期状態とされる。アノテーションスコア（アナログ値）とこれに対応する量子化値の一例を表１に示す。表１中、Ｍは画像の数であり、Ｎはラベルの数である。ここで、ラベル事後確率計算部４及び量子化部５は、計算手段の一例であり、ラベル事後確率計算部４が算出するアナログ値であるアノテーションスコア、及び量子化部５が出力する量子化値は、第１の評価値の一例である。

（ノード接合部）
本実施の形態のノード接合部６は、画像間の相関情報に基づいて事後確率計算ノード７２及び推定事後確率計算ノード７３間を接合する接合リンク７６の位置情報（リンク情報）１５０を生成し、生成したリンク情報１５０を記憶部１０に格納する。入力側リンク７５及び出力側リンク７７は、予め付けられている。画像間の相関情報として、例えば画像の撮影時間、画像特徴量の類似度等を用いることができる。相関情報としてアノテーション（ラベル）間の相関を用いる例は、後述する。

ノード接合部６は、一連の複数のクエリ画像（クエリ画像集合）１２０を入力して、画像間の相関情報を計算してから、ＭＲＦモデル０_１〜７０_Ｎの事後確率計算ノード７２及び推定事後確率計算ノード７３間の接合方法を決める。接合方法の一例として、画像間の特徴量の類似度がある閾値以上の場合、当該画像に対応する事後確率計算ノード７２及び推定事後確率計算ノード７３間に接合リンク７６を付与し、画像間の類似度が閾値より小さい場合、対応するノード７２、７３間に接合リンク７６を付与しない。また、撮影時刻がお互いに近い画像に対して接合リンク７６を付与してもよい。リンク情報１５０の一例を表２に示す。画像の数は、事後確率計算ノード７２の数、及び推定事後確率計算ノード７３の数と同じである。表２において、「１」はノード７２、７３間に接合リンク７６がある場合を示し、「０」はノード７２、７３間に接合リンク７６がない場合を示す。

また、リンク情報１５０は事前に画像の相関情報から生成することができるが、動的にリンク情報１５０を生成してもよい。すなわち、事後確立計算ノード７２の隠れ変数の状態により、隠れ変数間の距離又は量子化値の差がある閾値以下の場合、ノード７２、７３間の接合リンク７６を自動的に追加し、隠れ変数間の距離又は量子化値の差がある閾値より大きい場合、ノード７２、７３間の接合リンク７６を自動的に除外してもよい。

（ラベル推定部）
図２は、ラベル推定部７の概略の構成例を示す図である。ラベル推定部７は、ラベル毎に設けられたＭＲＦモデル７０_１〜７０_Ｎを有し、対応するＭＲＦモデル７０_１〜７０_Ｎのノード隠れ変数の初期状態の設定及びノードを繋げるリンク情報１５０を入力して、グラフカットメッセージ・パッシング方法（Yuri Boykov, O.Veksler, R.Zabih, “Fast Approximate Energy Minimization via Graph Cuts”,PAMI2001）により、ラベルの量子化状態を最適化する。

各ＭＲＦモデル７０_１〜７０_Ｎは、同一の構造を有しているので、代表としてＭＲＦモデル７０_１について説明する。ＭＲＦモデル７０_１は、図２（ａ）に示すように、量子化値Ｑが入力される入力ノード７１_１〜７１_Ｍと、アノテーションスコア量子化部５から出力された事後確率を保持する事後確率計算ノード７２_１〜７２_Ｍと、推定の事後確率を計算する推定事後確率計算ノード７３_１〜７３_Ｍと、ラベルのスコアを出力する出力ノード７４_１〜７４_Ｍと、入力ノード７１_１〜７１_Ｍと事後確率計算ノード７２_１〜７２_Ｍを接合する入力側リンク７５_１〜７５_Ｍと、事後確率計算ノード７２_１〜７２_Ｍと推定事後確率計算ノード７３_１〜７３_Ｍを接合する接合リンク７６と、推定事後確率計算ノード７３_１〜７３_Ｍと出力ノード７４_１〜７４_Ｍを接合する出力側リンク７７_１〜７７_Ｍとを有して概略構成されている。また、画像と入力ノード７１_１〜７１_Ｍ及び出力ノード７４_１〜７４_Ｍは一対一に対応しているので、各ＭＲＦモデル７０_１〜７０_Ｎの入力ノード７１_１〜７１_Ｍ及び出力ノード７４_１〜７４_Ｍの数は、画像の数Ｍと同じである。

例えば、最初の画像（Image1）の量子化値Ｑ_１１〜Ｑ_１Ｎは、ＭＲＦモデル７０_１〜７０_Ｎの各入力ノード７１_１に入力し、次の画像（Image2）の量子化値Ｑ_２１〜Ｑ_２Ｎは、ＭＲＦモデル７０_１〜７０_Ｎの各入力ノード７１_２に入力し、同様にＭ番目の画像（ImageM）の量子化値Ｑ_M１〜Ｑ_MＮは、ＭＲＦモデル７０_１〜７０_Ｎの各入力ノード７１_Mに入力し、その後ＭＲＦモデル７０_１〜７０_Ｎの各出力ノード７４_１〜７４_Mから画像１〜Ｍに対する各ラベルＬ_１〜Ｌ_Ｎのスコアが出力される。

入力側リンク７５_１〜７５_Ｍ及び出力側リンク７７_１〜７７_Ｍは、予め与えられている。接合リンク７６は、リンク情報１５０に基づいてノード接合部６により与えられる。接合リンク７６は、１つのＭＲＦモデル７０の事後確率計算ノード７２_１〜７２_Ｍと推定事後確率計算ノード７３_１〜７３_Ｍを接合するだけでなく、ＭＲＦモデル７０_１〜７０_Ｎ間でも接合する。

以上の構成により、すべてＭＲＦモデル７０の各対応するノードの状態を比較して、画像に対するすべてラベルを付与する。すなわち、画像Ｍに対してはＭＲＦモデル７０_１〜７０_Ｎの出力ノード７４_Mの値を比較し、上位のラベルをその画像に対して付与する。ここで、ラベル推定部７は、出力手段の一例であり、出力ノード７４_１から出力するラベルＬ_１〜Ｌ_Ｎのスコアは、第２の評価値の一例である。

（第１の実施の形態の動作）
図３は、第１の実施の形態の動作例を示すフローチャートである。本実施の形態は、画像の相関情報に基づき、ＭＲＦモデル７０_１〜７０_Ｎに接合リンク７６を付けるのが特徴である。

画像受付部２がクエリ画像１２０を受け付けると、特徴抽出部３は、クエリ画像１２０から特徴量を抽出する。

ラベル事後確率計算部４は、周知の識別器により保存された学習モデル１３０を用いて、クエリ画像１２０に対する各ラベルの事後確率を計算し（Ｓ１）、その事後確率をアノテーションスコアとして出力する。

量子化部５は、ラベル事後確率計算部４が出力したアノテーションスコアをあらかじめ定められた閾値に応じて量子化する（Ｓ４）。量子化された値は、隠れノードの初期値に設定され、その後グラフカットメッセージ・パッシング方法により、推定事後確率計算ノード７３に隠れ変数の最終状態の推定結果が保持される。

次に、すべての推定事後確率計算ノード７３が処理した後に、ノード７２、７３間を繋げるリンク情報１５０を取得する。ノード接合部６は、画像の相関情報に基づいて接合リンク７６を付ける（Ｓ５）。画像の相関情報が時間の場合、画像ペアの撮影時間の差が予め定められた時間（例えば５時間）以下の場合、該当するペアのノード７２、７３間に接合リンク７６を付ける。また、異なる画像の撮影時間の差が予め定められた時間（例えば５時間）よりも大きい場合、該当するペアのノード７２、７３間に接合リンク７６を付けない。

画像の相関情報が画像の類似度である場合、画像から様々な特徴量を抽出する。例えば、ＲＧＢ、ｎｏｒｍａｌｉｚｅｄ−ＲＧ、ＨＳＶ（色空間）、ＬＡＢ、ｒｏｂｕｓｔＨｕｅ特徴量（van de Weijer, C. Schmid, “Coloring Local Feature Extraction”, ECCV 2006を参照）、Ｇａｂｏｒ特徴量、ＤＣＴ（Direction Curve Tangent）特徴量、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量及びＧＩＳＴ（Generalized Search Tree）特徴量であり、いかなる特徴を用いてもよい。画像同士の類似度は、特徴量の距離とする。正規化した距離が０．５以下場合には画像ペアに対応するノード７２、７３のペアの間に接合リンク７６を付ける。０．５より大きい場合には画像ペアに対応するノード７２、７３のペアの間に接合リンク７６を付けない。

以上のようにして１つのラベルに対応するＭＲＦモデル７０を構築する。次のステップでは、ＭＲＦモデル７０を最適化する（Ｓ６）。すなわちラベルに対応するＭＲＦモデル７０_１〜７０_Ｎの事後確率計算ノード７２に上記ステップＳ４で計算された隠れ変数状態を入力し、ノード７２、７３間を接合するリンク情報１５０を入力して、ノード７２，７３間に接合リンク７６を付ける。上記ステップＳ４、Ｓ５、Ｓ６は、すべてのラベル及びノードについて行われる（Ｓ２、Ｓ３）。

最後に、各ラベルに対応するＭＲＦモデル７０_１〜７０_Ｎを全部最適化し、１つの画像に対応するすべてのＭＲＦモデル７０_１〜７０_Ｎの推定事後確率計算ノード７３_１〜７３_Ｍの隠れ変数の最終状態を統合し、その結果、画像に対するすべてアノテーションスコア調整できた。そして調整したアノテーションスコアの順位を付けて、高い順にクエリ画像にラベルを付与する（Ｓ７）。例えば、１つの画像（Image1）の量子化値Ｑ_１１〜Ｑ_１Ｎを、ＭＲＦモデル７０_１〜７０_Ｎの各入力ノード７１_１に入力すると、すべてのＭＲＦモデル７０_１〜７０_Ｎの各推定事後確率計算ノード７３_１の隠れ変数が出力ノード７４_１から各ラベルＬ_１〜Ｌ_Ｎのスコアとして出力される。

（第１の実施の形態の効果）
第１の実施の形態によれば、複数の画像間の相関情報に基づいてＭＲＦモデルを最適化しているので、本構成を採用しない場合と比べて画像に対して高い精度で複数のラベルを付与することができる。

［第２の実施の形態］
図４は、本発明の第２の実施の形態に係る画像識別情報付与装置の構成例を示すブロック図である。本実施の形態の画像識別情報付与装置１は、第１の実施の形態と同様に、画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８、アノテーション情報出力部９及び記憶部１０を有して概略構成されている。本実施の形態は、第１の実施の形態とは、ノード接合部６が異なり、他は第１の実施の形態と同様に構成され、同様の作用を奏するので、その説明を省略する。

本実施の形態のノード接合部６は、ラベルの相関情報に基づいてＭＲＦモデル７０の事後確率計算ノード７２及び推定事後確率計算ノード７３間に接合リンク７６を生成し、生成した接合リンク７６の位置情報であるリンク情報を記憶部１０に保存する。ラベルの相関情報として、例えば、ある画像ペアに対して、量子化されたアノテーションスコアにより上位５つを列挙し、順位を問わず、画像ペアの同じラベルの数を数える。同じラベルの数は１つ以上の場合、対応するノード７２、７３間に接合リンク７６を付与し、同じラベルの数がゼロの場合、対応するノード７２、７３間に接合リンク７６を付与しない。

（第２の実施の形態の効果）
第２の実施の形態によれば、複数のラベル間の相関情報に基づいてＭＲＦモデルを最適化しているので、本構成を採用しない場合と比べて画像に対して高い精度で複数のラベルを付与することができる。

次に、本発明の実施例について、画像の数Ｍを１００、量子化値の範囲を１から２０００とした場合を例に挙げて説明する。ラベル事後確率計算部４が算出したアナログ値のアノテーションスコアは、量子化部５によって離散化値に変換される。表３は、アノテーションスコア（アナログ値）と量子化値（離散化値）の具体的な一例を示す。

表３中、画像ＩＤの下の括弧は、画像に付与すべき正解ラベルを示す。表３から、量子化部５が出力したアノテーションスコア（ラベル事後確率）のみで第１位のラベルを付けると、Image1、ImageMについて不正解となっていることから、精度が高くないことが分かる。

ノード接合部６が作成したノード情報（ノード接合マトリクス）１５０の一例を表４に示す。表４中、「１」は画像間に時間的な相関があるため、ノード７２、７３間に接合リンク７６がある場合を示し、「０」は画像間に時間的な相関が無いため、ノード７２，７３間に接合リンク７６がない場合を示す。

表５は、調整する前（ＭＲＦモデルの入力値）の量子化されたアノテーションスコア（量子化値）と、調整した後（ＭＲＦモデルの出力値）のアノテーションスコア（量子化値）である。

ここでは、画像の数を１００とし、量子化値の範囲を１から２０００とする。表５中の量子化値は、アナログ値の量子化値がヒストグラム平坦化方法により離散化値に変換されたものである。表５中の画像ＩＤの下の括弧は、画像に付けるべき正解ラベルを示す。表５の２列目と３列目はＭＲＦモデル７０を最適化する前のものである。最適化前のラベルは量子化値が高い順に並んでいる。最適化前の量子化値は表３と同じである。また、表５の４列目と５列目はＭＲＦモデル７０を最適化した後のものである。最適化後のラベルは、量子化値（調整アノテーションスコア）が高い順に並んでいる。以上の結果より、画像ＩＤImage1については、最適化前はラベル「hug」が第１位であったが、最適化後はラベル「hand」が第１位となり、正解が得られている。また、画像ＩＤImage100については、最適化前と最適化後で第１位のラベル「hand」は変わらない。しかし、第２位は最適化前のラベル「face」から最適化後はラベル「foot」に変わり、さらに量子化値も「１１７」から「１４８」に高くなり、正解に近くなるので、精度が高くなることが分かる。

本実施例によれば、クエリ画像集合に対する、周知の情報検索の評価値であるＦ値（F-measure）は、０．５３６から０．５４９に向上した。本実施例は、画像の相関を用いたが、ラベルの相関を用いた場合も、本実施例と同様の効果が期待できる。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を変更しない範囲で種々に変形が可能である。例えば、画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８及びアノテーション情報出力部９の各機能は、コンピュータ読み取り可能な画像識別情報付与プログラム１１０に従ってＣＰＵが動作することにより実現してもよい。また、上記実施の形態の画像受付部２、特徴抽出部３、ラベル事後確率計算部４、量子化部５、ノード接合部６、ラベル推定部７、ラベル付与部８及びアノテーション情報出力部９の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。

また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入替え、削除、追加等は、本発明の要旨を変更しない範囲内で可能である。

１…画像識別情報付与装置、２…画像受付部、３…特徴抽出部、４…ラベル事後確率計算部、５…量子化部、６…ノード接合部、７…ラベル推定部、８…ラベル付与部、９…アノテーション情報出力部、１０…記憶部、７０_１〜７０_Ｎ…ＭＲＦモデル、７１_１〜７１_Ｍ…入力ノード、７２_１〜７２_Ｍ…事後確率計算ノード、７３_１〜７３_Ｍ…推定事後確率計算ノード、７４_１〜７４_Ｍ…出力ノード、７５_１〜７５_Ｍ…入力側リンク、７６…接合リンク、７７_１〜７７_Ｍ…出力側リンク、１１０…画像識別情報付与プログラム、１２０…クエリ画像、１３０…学習モデル、１４０…ラベル辞書、１５０…リンク情報

Claims

コンピュータを、
複数の画像からそれぞれ特徴量を抽出する抽出手段と、
前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、
前記識別情報の数に対応した数の確率場モデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段として機能されるための画像識別情報付与プログラム。
前記出力手段の前記確率場モデルを前記複数の画像間の相関情報に基づいて最適化する最適化手段を、さらに備えた請求項１に記載の画像識別情報付与プログラム。
前記出力手段の前記確率場モデルを前記複数の識別情報間の相関情報に基づいて最適化する最適化手段を、さらに備えた請求項１に記載の画像識別情報付与プログラム。
複数の画像からそれぞれ特徴量を抽出する抽出手段と、
前記抽出手段によって抽出された前記特徴量から学習モデルを用いて前記画像に付与すべき複数の識別情報に対してそれぞれ第１の評価値を計算する計算手段と、
前記識別情報の数に対応した数の確率場モデルを有し、前記複数の画像について前記計算手段によって計算された前記識別情報毎の前記第１の評価値を前記複数の確率場モデルに入力し、前記画像毎に前記複数の識別情報に対する第２の評価値を出力する出力手段とを備えた画像識別情報付与装置。