JP6160143B2

JP6160143B2 - 画像処理装置、画像処理方法及び設備

Info

Publication number: JP6160143B2
Application number: JP2013053511A
Authority: JP
Inventors: 斐李; リィウ・ルゥジエ; 馬場　孝之; 孝之馬場; 上原　祐介; 祐介上原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-03-16
Filing date: 2013-03-15
Publication date: 2017-07-12
Anticipated expiration: 2033-03-15
Also published as: CN103310221B; JP2013196701A; CN103310221A

Description

本発明は画像処理分野に関し、特に画像処理装置、画像処理方法及び設備に関する。

デジタル画像の量の急増に伴い、有効的な画像処理技術を研究開発する必要がある。通常、従来の画像処理技術において、ユーザに学習用画像を提供してもらう必要がある。これらの学習用画像によって対応する画像の処理を行う。学習用画像にはラベル付きの画像と非ラベル付きの画像を含む可能性がある。また、ラベル付きの画像には通常正例画像（即ち、正ラベル付きの画像）と負例画像（即ち，負ラベル付きの画像）を含む。学習用画像の分類によって、これらの画像処理技術を２分類にグループ分けすることができる。即ち、教師付き学習式の画像処理技術と半教師付き学習式の画像処理技術。

教師付き学習式の画像処理技術の場合、採用する学習用画像はすべてラベル付きの画像である。しかし、ラベル付きの画像の数が通常非常に限られているため、この技術を用いて行った処理の効果はよくない。また、非ラベル付き画像中の情報を有効に利用することができない。

また、半教師付き学習式の画像処理技術の場合、採用する学習用画像にはラベル付きの画像もあれば、非ラベル付きの画像もある。教師付き学習式の画像処理技術に対して、半教師付き学習式の画像処理技術のほうは、相対的に非ラベル付き画像中に含まれる情報を有効に利用することができる。しかし、従来の半教師付き学習式の画像処理技術において、また２種類にグループ分けされている。その中の１つは画像レベルの重み付きグラフだけを利用する処理技術である。もう１つは領域レベルの重み付きグラフだけを利用する処理技術である。両方とも１つのレベル（即ち、画像レベル又は領域レベル）でしか画像の特徴と画像間の関係を反映しない。従って、従来の半教師付き学習式の画像処理技術の処理効果もよくない。

以下に、本発明を簡単に説明して本発明の基本的な理解を提供する。この簡単な説明は、本発明に対する網羅的なものではない。また、本発明の肝心部分又は重要部分を決定する意図がなく、本発明の範囲を限定する意図もなく、簡単な形式で幾つかの概念を提供して後述のより詳しい説明の先行説明とすることに過ぎない。

本発明は前記従来技術の問題点を解決するためになされたものである。本発明の目的の１つは、少なくとも従来の教師付き学習式の画像処理技術及び半教師付き学習式の画像処理技術における画像処理効果が好ましくない問題を解消できる画像処理装置、画像処理方法及び設備を提供するものである。

前記の目的を実現するために、本発明の１つの態様によれば、画像処理装置は、少なくとも一部の画像がラベル付きの画像である画像集の中の各画像をそれぞれ複数の領域に分割する画像分割ユニットと、前記画像集の中の各画像に対して画像レベルの視覚特徴と領域レベルの視覚特徴を抽出する特徴抽出ユニットと、前記画像レベルの視覚特徴に基づいて画像レベルの重み付きグラフを作成し、前記領域レベルの視覚特徴に基づいて領域レベルの重み付きグラフを作成する重み付きグラフ作成ユニットと、前記画像集の中の各画像のソフトラベル及び前記画像集の中の各画像の各領域のソフトラベルを未知数として、前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報、及び前記画像集の中の各画像のソフトラベルと当該画像中の領域のソフトラベル間の関係に基づいて費用関数を作成する関数作成ユニットと、前記費用関数の最優問題を求め、前記未知数の計算値を取得する計算ユニットと、計算ユニットにおいて獲得した計算値に基づいて画像処理を行う画像処理ユニットと、を備える。

本発明の別の態様によれば、画像処理装方法は、少なくとも一部の画像がラベル付きの画像である画像集の中の各画像をそれぞれ複数の領域に分割するステップと、前記画像集の中の各画像に対して画像レベルの視覚特徴と領域レベルの視覚特徴を抽出するステップと、前記画像レベルの視覚特徴に基づいて画像レベルの重み付きグラフを作成し、前記領域レベルの視覚特徴に基づいて領域レベルの重み付きグラフを作成するステップと、前記画像集の中の各画像のソフトラベル及び前記画像集の中の各画像の各領域のソフトラベルを未知数として、前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報、及び前記画像集の中の各画像のソフトラベルと当該画像中の領域のソフトラベル間の関係に基づいて費用関数を作成するステップと、前記費用関数の最優問題を求め、前記未知数の計算値を取得するステップと、前記未知数の計算値に基づいて画像処理を行うステップと、を備える。

本発明の別の態様によれば、画像処理設備は前記画像処理装置を含む。

本発明の別の態様によれば、演算設備が実行可能なコンピュータソフトウエアを保持するコンピュータ読み取り可能な記録媒体を提供する。前記ソフトウェアを実行すると、前記演算設備に前記画像処理方法を実行させることができる。

前記本発明実施様態の画像処理装置と画像処理方法及び当該画像処理装置を含む設備は、少なくとも以下の利点の１つを得ることができる。二分類の重み付きグラフを用いて画像の特徴情報を十分に利用し、二分類の重み付きグラフ間の関連情報を十分に見つけることで、より好ましい画像処理効果を得ることができる。ラベル付きの画像のほかにさらに非ラベル付きの画像をも利用して画像処理を行うため、画像処理の処理効果をあげることができる。より正確な検索結果を得ることができる。より正確なコンセプト検出結果を得ることができる。

以下の図面による本発明に対する最適の実施の形態の詳細な説明により、本発明の前記利点及び他の利点がより明らかになるであろう。

また、付属の図面を参照して行った以下の説明を通じて本発明をよりよく理解することができる。すべての図面に同一又は類似する図面符号を用いて同一又は類似する構成要素を表す。前記図面とその詳細な説明は、本明細書に含まれ、本明細書の一部を構成し、例を挙げて本発明の好ましい実施例を説明し、本発明の原理と利点の解釈に用いるものである。
図面における構成要素は、本発明を明瞭に説明するためのものであり、一定の比例で作成したものではないことを、当業者が理解すべきである。例えば、本発明の実施例を理解するために図面における一部の構成要素の大きさを他の構成要素より拡大した。
本発明の実施例に係る画像処理装置の構成を概略的に例として示す構成図である。図１の重み付きグラフ作成ユニットのある可能な構成を概略的に例示するブロック図である。図１の関数作成ユニットのある可能な構成を概略的に例として示す構成図である。図１の計算ユニットのある可能な構成を概略的に例として示す構成図である。図１の画像処理ユニットのある可能な構成を概略的に例として示す構成図である。本発明の実施例に係る画像処理方法を概略的に例示するフローチャートである。例として画像処理が画像コンセプト検出である場合、図６に示されたステップS６７０のある可能な構成を概略的に例示するフローチャートである。本発明の実施例に係る画像処理装置と画像処理方法を実現することができる或る実施可能な情報処理設備のハードウェアの構成を示す簡略図である。

以下、本発明の例示的な実施例について、付属の図面を参照しつつ説明する。理解すべきなのは、このような実施例を開発する際に、発明者の具体的な目標を実現するために実施形態に特定した決定をしなければならない。例えばシステム又は業務と関連する制限。さらに、これらの制限要件は実施の様態によって異なる可能性がある。また、理解すべきなのは、開発作業は非常に複雑で時間がかかるものだが、当該内容の公開によって恩恵を受ける当業者にとってこのような開発作業は恒例の任務に過ぎない。

ここで説明すべきなのは、不必要な詳細な説明により本発明をぼんやりさせてしますのを防ぐために図面には本発明と密接な関係を持つ装置の構造および/又は処理ステップのみを示し、本発明と密接な関係を有さない他の詳細が省略されている。

前記に記載されたように、従来の技術における教師付き学習式又は半教師付き学習式の画像処理技術の場合、画像処理を行う際に、前記の原因で処理の効果が好ましくない。画像処理の効果を改善するために、本発明は、画像の画像レベルの視覚特徴と領域レベルの視覚特徴を同時に利用でき、画像中の情報を十分に利用でき、画像の特徴と画像間の関係をよりよく反映できる画像処理装置を提供する。

当該画像処理装置は、少なくとも一部の画像がラベル付きの画像である画像集の中の各画像をそれぞれ複数の領域に分割する画像分割ユニットと、前記画像集の中の各画像に対して画像レベルの視覚特徴と領域レベルの視覚特徴を抽出する特徴抽出ユニットと、前記画像レベルの視覚特徴に基づいて画像レベルの重み付きグラフを作成し、前記領域レベルの視覚特徴に基づいて領域レベルの重み付きグラフを作成する重み付きグラフ作成ユニットと、前記画像集の中の各画像のソフトラベル及び前記画像集の中の各画像の各領域のソフトラベルを未知数として、前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報、及び前記画像集の中の各画像のソフトラベルと当該画像中の領域のソフトラベル間の関係に基づいて費用関数を作成する関数作成ユニットと、前記費用関数の最優問題を求め、前記未知数の計算値を取得する計算ユニットと、計算ユニットにおいて獲得した計算値に基づいて画像処理を行う画像処理ユニットと、を備える。

以下、図１〜図５を参照して本発明の実施例に係る画像処理装置について詳細に説明する。

図１は本発明の実施例に係る画像処理装置１００の構成を概略的に例として示す構成図である。

図１に示されたように、本発明の実施例に係る画像処理装置１００は、画像分割ユニット１１０と、特徴抽出ユニット１２０と、重み付きグラフ作成ユニット１３０と、関数作成ユニット１４０と、計算ユニット１５０と画像処理ユニット１６０を備える。

図１に示されたように、画像処理装置１００の画像分割ユニット１１０は画像集の中の各画像に対して画像分割を行う。即ち、画像集の中の各画像を複数の領域に分割する。ここでいう画像分割は、従来の技術の中のいずれかの画像分割方法によって実現することができる。ここでは詳細な説明はしない。また、画像集は複数の画像を含むことができる。さらに当該複数の画像中の少なくとも一部の画像はラベル付きの画像である。即ち、当該画像集の中の画像は、すべてラベル付きの画像、又は一部がラベル付きの画像でその他の画像が非ラベル付きの画像であっても良い。また、前記ラベル付きの画像は、正ラベル付きの画像（以下、「正例画像」と称する。）、負ラベル付きの画像（以下、「負例画像」と称する。）であっても良い。強調すべきなのは、ここにいう画像に付した「ラベル」（ハードラベル（hard label）ともいう）はある種のラベル情報である。通常、例えばユーザが予め対象物（例えば画像）に付加した、当該対象物の分類の情報である。その中、正ラベル付きの画像（即ち、正のハードラベル付きの画像）は通常特定の分類を満たす画像であり、負ラベル付きの画像（即ち、負のハードラベルの画像）は通常特定の分類を満たさない画像である。例えば、ラベルは「A」である場合、対応する負ラベルは「非A」である。簡単な例を挙げると、「A」は「虎」であり、即ち、正ラベル付きの画像は「虎」とラベルされた画像（これらの画像は「虎」の分類を満たす。）であり、負ラベル付きの画像は「非虎」とラベルされた画像（これらの画像は「虎」の分類を満たさない。）である。

また、説明すべきなのは、画像の分割を通じて、当該画像集の中の各画像が複数の領域に分割されるが、分割された各画像の領域の数が異なっても良く、同じであっても良い。

次に、特徴抽出ユニット１２０によって前記画像集の中の各画像の画像レベルの視覚特徴と領域レベルの視覚特徴を抽出する。ここでいう各画像の画像レベルの視覚特徴とは、画像レベルで抽出した当該画像の視覚特徴を指し、各画像の領域レベルの視覚特徴とは、領域レベルで抽出した当該画像の視覚特徴を指す。また、ここでいう「視覚特徴」とは、ある程度画像の内容を反映できる情報である。例えば、色特徴や、テクスチャ特徴及び形状特徴等の視覚特徴の中からいずれか１つの特徴であっても良く、前記複数の視覚特徴の任意の組み合わせであっても良い。また、従来技術中にすでにある視覚特徴抽出方法も本発明に用いることができる。ここで説明を省略する。

特徴抽出ユニット１２０において抽出された前記画像集の中の各画像の画像レベルの視覚特徴と領域レベルの視覚特徴に基づいて、重み付きグラフ作成ユニット１３０において２種類の重み付きグラフを作成することができる。具体的に、重み付きグラフ作成ユニット１３０は特徴抽出ユニット１２０で抽出された各画像の画像レベルの視覚特徴に基づいて画像レベルの重み付きグラフを作成することができ、また、特徴抽出ユニット１２０で抽出された各画像の領域レベルの視覚特徴（即ち，各領域の視覚特徴）に基づいて領域レベルの重み付きグラフを作成することができる。

本発明の実施形態に係る画像処理装置の１つの実施例において、図１に示されたように、重み付きグラフ作成ユニット１３０は図２に示されたような構成で実現することができる。図２は図１の重み付きグラフ作成ユニットのある可能な構成を概略的に例示するブロック図である。

図２に示されたように、重み付きグラフ作成ユニット１３０は第一作成サブユニット２１０と第二作成サブユニット２２０を備えることができる。

その内、第一生成サブユニット２１０は前記画像レベルの重み付きグラフを生成する。例えば、前記画像集の中の各画像を節点として、それぞれ２つの節点間の画像レベルの視覚特徴における類似度を当該２つの節点間の重み付けエッジの重みとして当該画像レベルの重み付きグラフを生成する。言い換えれば、第一生成サブユニット２１０で生成された画像レベルの重み付きグラフにおいて、各節点はそれぞれ前記画像集の中の１つの画像を表し、２つの節点を連結する重み付けエッジの重みはこの２つの節点が対応する２つの画像間の、画像レベルの視覚特徴における類似度を表す。また、当該画像レベルの重み付きグラフの中の節点と画像集の中の画像とは一対一で対応している。

同じく、第二生成サブユニット２２０で前記領域レベルの重み付きグラフを生成することができる。例えば、前記画像集の中の各画像の各領域を節点として、それぞれ２つの節点間の、領域レベルの視覚特徴における類似度を当該２つの節点間の重み付けエッジの重みとして当該領域レベルの重み付きグラフ生成する。言い換えれば、第二生成サブユニット２２０で生成された領域レベルの重み付きグラフにおいて、各節点はそれぞれ前記画像集の中の１つの画像の中の１つの領域を表し、２つの節点を連結する重み付けエッジの重みはこの２つの節点に対応する２つの領域間の、領域レベルの視覚特徴における類似度を表す。また、当該領域レベルの重み付きグラフの中の節点と画像集の中の画像に含まれる領域とは一対一で対応している。

図１に戻って説明する。重み付きグラフ生成ユニット１３０で画像レベルの重み付きグラフと領域レベルの重み付きグラフを生成した後、関数生成ユニット１４０で費用関数を生成することができる。当該費用関数において、未知数は、前記画像集の中の各画像のソフトラベル及び前記画像集の中の各画像の各領域のソフトラベルである。重み付きグラフ生成ユニット１３０で生成された画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報、及び前記画像集の中の各画像のソフトラベルと当該画像中の領域のソフトラベルとの間の関係に基づいて、費用関数を生成することができる。

強調すべきなのは、ソフトラベル（soft label）とは、ハードラベルの概念に対して相対的に定義した概念である。ハードラベルは、一般的に真のラベル情報であり、通常予め所定のサンプル（例えば画像）にラベル付けされ、サンプルの種類の情報を反映するものである。他方、ソフトラベルは、仮想のラベル情報であり、通常当該ソフトラベルの属する対象（例えば画像又は領域）が所定のサンプルのハードラベルが表した種類情報と一致する程度を反映する。一般的に、ソフトラベルに-１〜１間の任意の実数（-１と１を含む）が割り当てられる。この場合、ソフトラベルの値が１に近いほど（即ち大きいほど）、当該ソフトラベルの対応する対象（例えば画像又は領域）と所定のサンプルの中の正ラベル付きの対象の種類と一致する。逆に、ソフトラベルの値が-１に近いほど（即ち小さいほど）、当該ソフトラベルの対応する対象（例えば画像又は領域）と所定のサンプルの中の正ラベル付きの対象の種類と一致しない。言い換えれば、ソフトラベルの値が大きいほど、当該ソフトラベルの対応する対象が前記正ラベル付きの対象の種類と一致する可能性が大きい。ソフトラベルの値が小さいほど、当該ソフトラベルの対応する対象が前記正ラベル付きの対象の種類と一致する可能性が小さい。また、説明すべきなのは、ソフトラベルをその他の実数に設定することもできる。例えば-１より大きい又は１より小さい実数を割り当てることができる。この場合、同じく、ソフトラベルが大きいほどその対応する対象と所定のサンプル中の正ラベル付きの対象の種類と一致する。

例えば、所定のサンプルが正ラベル付きの画像と負ラベル付きの画像を含み、且つ前記正ラベル付きの画像はラベルが「虎」である画像であり、前記負ラベル付きの画像はラベルが「非虎」の画像である場合、例えば、ある画像のソフトラベルが０-１であり、もう１つの画像のソフトラベルが０.８である場合、ソフトラベルが０.８である画像に虎を含む可能性が、ソフトラベルが０-１である画像より遥かに高い。

具体的に、図３に示された構成で関数生成ユニット１４０の機能と操作を実現できる。図３は図１の関数作成ユニットのある可能な構成を概略的に例として示す構成図である。
図３に示されたように、関数生成ユニット１４０が第一設定サブユニット３１０と第二設定サブユニット３２０と、関数生成サブユニット３３０とを含むことができる。そのうち、第一設定サブユニット３１０は重み付きグラフ生成ユニット１３０で生成された画像レベルの重み付きグラフと領域レベルの重み付きグラフの構成情報に基づいて第一制約条件を設定し、第二設定サブユニット３２０は、前記画像集の中のラベル付きの画像のソフトラベルと当該画像集の中ラベル付き画像中の領域のソフトラベルとの間の関係に基づいて第二制約条件を設定する。その後、関数生成サブユニット３３０は以上２種類の制約条件に基づいて費用関数を生成する。上述のように、当該費用関数中の未知数は、前記画像集の中の各画像のソフトラベルと当該画像集の中の各画像の各領域のソフトラベルである。

具体的に、２種類の重み付きグラフの構成情報があるため、第一設定サブユニット３１０において、２つの画像の画像レベルの視覚特徴が類似すればするほど、当該２つの画像のソフトラベル間の差異が小さく、且つ、２つの領域の領域レベルの視覚特徴が類似すればするほど、当該２つの領域のソフトラベル間の差異が小さいである第一制約条件を設定することができる。

また、前記画像集の中のラベル付きの画像に対して、負ラベル付きの画像のソフトラベルをできるだけ-１に近づけさせ、正ラベル付きの画像のソフトラベルをできるだけ１に近づけさせる。その理由は、負ラベル付きの画像はユーザのほしくない画像であり、正ラベル付きの画像こそユーザのほしい画像だからである。従って、ソフトラベルに-１〜１の任意の実数を割り当てる場合、ソフトラベルが１に近づけば近づくほどその画像がユーザのほしい画像である可能性が大きい。また、ソフトラベルが-１に近づけば近づくほどその画像がユーザのほしい画像である可能性が小さい。例えば、ラベルが「非虎」（即ち負ラベル）である画像に対して，当該画像のソフトラベルをできるだけ-１に近づけ、逆に、ラベルが「虎」（即ち正ラベル）である画像に対して、当該画像のソフトラベルをできるだけ１に近づける。

また、前記ラベル付き画像中の領域については状況が少し複雑である。まず、負ラベル付き画像中の領域について、もしある画像に負ラベルが付されているのであれば、当該画像がユーザのほしい画像を意味する、即ち、当該画像中のいずれの領域にもユーザのほしい情報が含まれていない。従って、負ラベル付き画像中の各領域のソフトラベルをできるだけ-１に近づけても良い。また、正ラベル付き画像中の領域については、もしある画像に正ラベルが付されているのであれば、当該画像がユーザのほしい画像であることを意味し、即ち、当該画像中の少なくとも１つの領域にユーザのほしい情報が含まれていることを意味する。ただし、そのうちどの領域に当該情報が含まれているかは特定できない。従って、もしある画像に正ラベルが付されているのであれば，当該画像中の最大のソフトラベルを有する領域だけを考慮し、当該領域のソフトラベルをできるだけ当該画像のソフトラベルに近づけさせる。このようにして、画像レベルの重み付きグラフと領域レベルの重み付きグラフとを互いに関連しあうようにすることができる。

そうすると、第二設定サブユニット３２０において、負ラベル付きの画像及び当該画像中のすべての領域のソフトラベルを-１に近づけさせ、正ラベル付きの画像のソフトラベルをできるだけ１に近づけさせ、正ラベル付き画像中の最大ソフトラベルを有する領域のソフトラベルをできるだけ当該領域が属する画像のソフトラベルに近づけさせるよう第二制約条件を設定することができる。

前記２種類の制約条件により、関数生成サブユニット３３０にて前記費用関数を生成することができる。例えば、関数生成サブユニット３３０が前記２種類の制約条件によって以下の費用関数を生成することができる。
数式１

そのうち、

と

はそれぞれ画像集の中の第i個と第j個画像のソフトラベルである。

また、i=１,２,…,M，j=１,２,…,M，Mは、画像集の中に含まれる画像の数であり、

と

はそれぞれ前記画像集の中のすべての画像に含まれる領域の中の第k個と第l個領域のソフトラベルである。k=１,２,…,N，l=１,２,…,N，Nは、前記画像集の中のすべての画像に含まれる領域の数である。また，f^Iは前記画像集の中のすべての画像のソフトラベルからなるベクトルであり、f^Rは前記画像集の中のすべての画像のすべての領域のソフトラベルからなるベクトルである。

は、画像集の中の第i個画像と第j個画像がそれぞれ画像レベルの重み付きグラフにおける対応節点間の重み付けエッジの重みである。W^Iは、画像レベルの重み付きグラフ中のすべての重み付けエッジの重みからなるマトリックスである。即ち、

はW^Iの第i行、第j列の要素であり、また、

と

はそれぞれW^Iの第i行のすべての要素の和及び第j行のすべての要素の和である。同様に、

は前記画像集の中のすべての画像に含まれる領域中の第k個領域と第l個領域がそれぞれ領域レベルの重み付きグラフにおける対応節点間の重み付けエッジの重みであり、W^Rは領域レベルの重み付きグラフ中のすべての重み付けエッジの重みからなるマトリックスであり、即ち、

はW^Rの第k行、第l列の要素であり、また、

と

はそれぞれW^Rの第k行のすべての要素の和および第l行のすべての要素の和である。

また、前記の数式１において、

は画像集の中の第i個の画像、

と

はそれぞれユーザが提供した正例画像と負例画像の集合、

は画像集の中の第i個画像の第k個領域、

は画像集の中の負ラベル付き画像の領域である。また、

と

の数式を用いることができる。また、

、

はそれぞれ数式中の対応する各コスト項の重み定数であり、その値はそれぞれ経験値によって、又は試験を通じて予め設定することができる。

前記数式１において、前の２項は、当該費用関数において第一制約条件が対応するコスト項であり、後ろの４項は、当該費用関数において第二制約条件が対応するコスト項である。また、数式の中の上付き文字「I」は画像、「R」は領域である。

説明すべきなのは，前記の費用関数の具体的な数式は費用関数の１つ例示的な数式であり、本発明の範囲を限制するものではない。例えば、前記費用関数の数式は以下の数式であっても良い。
数式２：

数式１と比べると、数式２は、数式１の第一項の中の

と

を有せず、さらに数式１の第二項の中の

と

を有しない。

また、費用関数の数式にはその他の変形が可能である。例えば、前記の数式１と数式２において，

と

の具体的な形式は、

と

等であっても良い。また、当業者が前記公開内容に基づいてなされた、及び/又は周知の常識と組み合わせて得た前記数式の変形、改良又はその他の方式は、本発明の範囲内に含まれるものと認めるべきである。

次に、生成された費用関数によりその中の未知数を計算するために、即ち、前記画像集の中の各画像のソフトラベルの値と前記画像集の中の各画像の各領域のソフトラベルの値を得るために，計算ユニット１５０で当該費用関数の最適化問題を求めることができる。具体的に、図４に示されたような構成を通じて計算ユニット１５０の機能と操作を実現できる。

図４は図１の計算ユニット１５０のある可能な構成を概略的に例として示す構成図である。図４に示されたように、計算ユニット１５０は第三計算サブユニット４１０と第四計算サブユニット４２０を備えることができる。第三計算サブユニット４１０は緩和係数を導入することによって、費用関数を制約付き最小化問題に転換することができる。さらに、第四計算サブユニット４２０を通じて制約付き凹凸過程（constrained concave convex procedure，CCCP）を用いて当該最小化問題を解くことで、前記画像集の中の各画像のソフトラベルの計算値及び当該画像集の中の各画像の各領域のソフトラベルの計算値を獲得できる。CCCPに関する詳細な説明について、文献A. J. Smola, S. V. N. Vishwanathan, and T. Hofmann, “Kernel Methods for Missing Variables,” in Proc. Int. Workshop on Artificial Intelligence and Statistics, ２００５を参照できる。

このように、画像分割ユニット１１０と、特徴抽出ユニット１２０と、重み付きグラフ生成ユニット１３０と、関数生成ユニット１４０及び計算ユニット１５０での処理を経て、前記画像集の中の各画像のソフトラベルの計算値及び前記画像集の中の各画像の各領域のソフトラベルの計算値を獲得でき、さらに画像処理ユニット１６０において、獲得した前記計算値に基づいて画像処理を行うことができる。

また、画像処理ユニット１６０で実行する画像処理は、前記ソフトラベルを利用して操作を行う様々な種類の処理を含む。

例えば，本発明の実施例に係る画像処理装置のある例示的応用例において、前記の「画像処理」は画像検索であり、即ち、前記画像処理装置は画像検索装置であっても良い。

一般的にいうと、必要な画像を検索して見つけるために，ユーザが検索システムにラベル付きの学習用画像を提供し検索画像とする。この技術は日常生活の様々な場面で利用できる、例えば、画像図書館、個人写真の管理、オンラインショッピング等。

当該例示の例において、ユーザが提供する検索画像の数は１つでも複数でもよい。検索画像の数が１つである場合、当該検索画像は正ラベル付きの画像である。検索画像の数が複数である場合、これらの検索画像はすべて正ラベル付きの画像、又は正ラベル付きの画像と負ラベル付きの画像の組み合わせであっても良い。

上述のように、画像分割ユニット１１０と、特徴抽出ユニット１２０と、重み付きグラフ生成ユニット１３０と、関数生成ユニット１４０及び計算ユニット１５０での一連の処理操作を経て、画像集の中の各画像のソフトラベルの計算値及び当該画像集の中の各画像の各領域のソフトラベルの計算値を獲得できる。従って、これらのソフトラベルの計算値を利用して、画像処理ユニット１６０において画像集の中の画像（検索画像を除く）と検索画像との間の類似度を決定することができ、さらにその中の類似度が所定範囲内にある画像を画像検索の結果（即ち，検索結果）に判定する。

例えば-１つの例として、画像処理ユニット１６０において以下のような画像を画像検索の結果と判断する。即ち、ソフトラベルが第一所定閾値より大きい、且つその中の最大のソフトラベルを有する領域のソフトラベルが第二所定閾値より大きい画像。その中、第一所定閾値と第二所定閾値の値が同じか、異なっても良い。例えば、画像処理ユニット１６０において最後の計算結果の中、画像のソフトラベルが０.８より大きい、且つその最大のソフトラベルを有する領域のソフトラベルが０.７より大きい画像を検索結果とする。

もう１つの例においては、画像処理ユニット１６０において以下のような画像を画像検索の結果と判断する。即ち、ソフトラベルと、その中の最大のソフトラベルを有する領域のソフトラベルとの重み付け和が一番大きい、前のN個の画像。ここでのNは正整数である。例えば、当該重み付け和の数式は以下の数式であっても良い。

ここに、αは線形結合係数であり，且つ０＜α＜１である。

また、画像処理ユニット１６０は以下のいずれかの順番で検索結果をユーザに出力する。即ち、検索結果と対応する画像のソフトラベルの大きさの順番、又は検索結果と対応する画像中の最大のソフトラベルを有する領域のソフトラベルの大きさの順番、又は照検索結果と対応する画像のソフトラベルと画像中の最大のソフトラベルを有する領域のソフトラベルとの重み付け和の大きさの順番。

当該実施例において、画像処理装置は、ユーザが提供した検索画像およびそのラベル情報に基づいて、画像レベルの重み付きグラフと領域レベルの重み付きグラフとの２種類の重み付きグラフの構成特徴及び両者間の関連情報を利用して，画像集の中の各画像及び各画像の各領域のソフトラベルを獲得し、これらのソフトラベルに基づいて当該画像集の中の検索画像以外の各画像と検索画像との関連性（又は類似度）を決定し、そのうち検索画像との関連性が最も高い（又は最も類似する）図形を検索の結果とする。従来の画像検索技術は通常以下の２種類ある-１つは、画像レベルの重み付きグラフだけを利用して画像検索を行う技術である。もう１つは、領域レベルの重み付きグラフだけを利用して画像検索を行う技術である。そのうち-１番目の画像検索技術は計算の複雑度が低い。しかし、実際１つの画像には通常複雑な背景領域を含め且つ複数の対象物が存在する可能性があるため１つの重み付けだけを利用して２つの画像間の関係を有効に表現することが困難である。２番目の画像検索技術はもっと有効的な領域間の関係を利用したが、ユーザの検索画像には画像レベルの種類情報しか含まれておらずユーザにとって興味のある領域は明確に指定されていないのは一般的であるため、領域レベルの情報だけを利用して検索を行うことは十分ではない。従来の画像検索技術と比較すると、本発明の実施例に係る画像処理装置の前記実施例の場合、上記２種類の重み付きグラフを同時に利用して画像検索を行うため、画像の特徴情報を十分に利用することができ、さらに２種類の重み付きグラフ間の関連情報を十分に見つけ出すことができる。従ってより良い画像処理効果を得ることができる。即ち、より正確な検索結果を得ることができる。

また、本発明の実施形態に係る画像処理装置のもう１つ応用実施例において、前記「画像処理」は画像コンセプト検出であっても良い。即ち、前記画像処理装置は画像コンセプト検出装置であっても良い。

一般的に言うと、画像コンセプト検出の目的は、検出対象画像には、定義されたセマンティック概念が含まれているか（又はどの程度含まれているか）を判断するためである。この技術は人の日常生活の多方面に応用することができる。例えば、画像図書館、家庭画像管理等。

当該実施例において、検出対象画像は、非ラベル付きの画像であり、前記の画像集に含まれることができるが、当該画像集に含まれなくても良い。また、検出対象画像の数は１つ、又は複数であっても良い。また、上述のように、当該実施例における画像集の中の少なくとも一部の画像はラベル付きの画像であり、これは、検出対象画像には画像集の中のラベル付きの画像と関連するセマンティック概念が含まれているかどうかを判断するためである。

前述の例示と同様に、画像分割ユニット１１０と、特徴抽出ユニット１２０と、重み付きグラフ生成ユニット１３０と、関数生成ユニット１４０及び計算ユニット１５０での一連の処理操作を経て、画像集の中の各画像のソフトラベルの計算値及び当該画像集の中の各画像の各領域のソフトラベルの計算値を獲得できる。従って、これらのソフトラベルの計算値を利用して、画像処理ユニット１６０は、検出対象画像に前記セマンティック概念が含まれているかどうかを判断する、即ち、画像集の中のラベル付きの画像と関連するセマンティック概念が含まれているかどうかを判断する。例えば、前記画像集に正ラベル付きの画像と負ラベル付きの画像が含まれており、且つ正ラベル付きの画像はラベルが「虎」である画像で、負ラベル付きの画像はラベルが「非虎」の画像である場合、「画像集の中のラベル付きの画像と関連するセマンティック概念」は「虎」である。即ち、画像処理ユニット１６０は検出対象画像に虎が含まれているかを判断する必要がある。具体的に、画像処理ユニット１６０の機能と処理は図５に示されたような構成で実現できる。

図５は、この応用例において図１の画像処理ユニット１６０のある可能な構成を概略的に例として示す構成図である。図５に示されたように，画像処理ユニット１６０は、第一判定サブユニット５１０と、第一計算サブユニット５２０と、第二計算サブユニット５３０と第二判定サブユニット５４０とを備えることができる。

検出対象画像には「画像集の中のラベル付きの画像と関連するセマンティック概念」が含まれているかを判断するために、まず、第一判定サブユニット５１０によって検出対象画像が前記画像集の中に含まれているかを判断する。次に、２種類の状況に分けてその後の計算処理を説明する。

状況１の場合、即ち、検出対象画像は前記画像集の中に含まれていない場合、第一計算サブユニット５２０によって検出対象画像を複数の領域に分割し、且つ計算ユニット１５０で獲得した画像集の中の各画像のソフトラベルの計算値及び画像集の中の各画像の各領域のソフトラベルの計算値に基づいて、検出対象画像のソフトラベルの計算値と検出対象画像中の各領域のソフトラベルの計算値を獲得する（具体的な計算過程は後に説明する）。その後、検出対象画像のソフトラベルの計算値と検出対象画像中の各領域のソフトラベルの計算値に基づいて、第二計算サブユニット５３０によって検出対象画像にどの程度前記画像集の中のラベル付きの画像と関連するセマンティック概念が含まれているかの程度値を計算する。
この場合、下記の数式３と数式４によって検出対象画像のソフトラベル及びそのうちの各領域のソフトラベルを計算することができる。
数式３：

数式４：

そのうち、

は検出対象画像、

は検出対象画像中のある領域、

は検出対象画像

のソフトラベル、

は検出対象画像

のある領域

のソフトラベルである。また、

、

及び

は上記に説明したものと同じ意味を持つ。

は、検出対象画像

と、画像集の中の第i個画像

との、画像レベルの視覚特徴における類似度である。

は、画像集の中の第i個画像

と、画像レベルの重み付きグラフにおけるすべての節点と対応する画像との類似度の和である。

は、検出対象画像と、画像レベルの重み付きグラフにおけるすべての節点と対応する画像との類似度の和である。

は、検出対象画像

のある領域

と、画像集の中のすべての画像のすべての領域の中の第k個領域

との、領域レベルの視覚特徴における類似度である。

は、前記第k個領域

と、領域レベルの重み付きグラフのすべての節点と対応する領域との類似度の和である。

は、検出対象画像

のある領域

また、もう１つの実施例において、下記の数式５と数式６で検出対象画像のソフトラベル及びそのうち各領域のソフトラベルを計算することができる。
数式５：

数式６：

説明すべきなのは、上記の数式１によって費用関数を生成する場合、数式３と数式４を用いて検出対象画像及びその各領域のソフトラベルを計算することができる。同様に、前記数式２によって費用関数を生成する場合、数式５と数式６を用いて検出対象画像及びその各領域のソフトラベルを計算することができる。

状況２の場合、即ち、検出対象画像が前記画像集の中に含まれている場合、計算ユニット１５０の計算によって検出対象画像のソフトラベルの計算値及び画像集の中の各画像の各領域のソフトラベルの計算値を獲得することができる。従って、第二計算サブユニット５３０によって直接に上記の方法を用いて検出対象画像に前記画像集の中のラベル付きの画像と関連するセマンティック概念がどの程度含まれているかの程度値を計算することができる。

また、前記２種類の状況において、下記の数式を用いて検出対象画像に前記画像集の中のラベル付きの画像と関連するセマンティック概念がどの程度含まれているかの程度値を計算することができる。

そのうち，βは線形結合係数で、且つ０＜β＜１。

従って、当該実施例において、第一判定サブユニット５１０と、第一計算サブユニット５２０及び第二計算サブユニット５３０を用いて、検出対象画像に前記画像集の中のラベル付きの画像と関連するセマンティック概念がどの程度含まれているかの程度値を獲得することができる。例えば、正ラベルが「虎」である場合、この３つのサブユニット５１０〜５３０によって、検出対象画像に「虎」がどの程度含まれているかを判断することができる。

それから、もし前記程度値が第三所定閾値（例えば０.７５）より大きい又は等しいであれば、第二判定サブユニット５４０が当該検出対象画像に「前記画像集の中のラベル付きの画像と関連するセマンティック概念」が含まれていると判断する。もし前記程度値が第三所定閾値より小さければ、第二判定サブユニット５４０が当該検出対象画像に「前記画像集の中のラベル付きの画像と関連するセマンティック概念」が含まれていないと判断する。

前記判定の結果、第二判定サブユニット５４０において検出対象画像に「前記画像集の中のラベル付きの画像と関連するセマンティック概念」が含まれていると判断された場合、第二判定サブユニット５４０はさらに当該セマンティック概念を利用して前記検出対象画像にラベルを付けることができる。即ち、前記画像集の中の正ラベル付きの画像のラベル情報を利用して検出対象画像にラベル付けをする。例えば、第二判定サブユニット５４０が検出対象画像に「虎」が含まれていると判断した場合、検出対象画像に「虎」のラベルを付けることができる。

当該実施例において、画像処理装置は、画像レベルの重み付きグラフと領域レベルの重み付きグラフとの２種類の重み付きグラフの構成特徴及び両者間の関連情報を利用して、画像集の中の各画像及び各画像の各領域のソフトラベルを獲得することができ、さらに、これらのソフトラベルに基づいて検出対象画像に、前記画像集の中のラベル付きの画像と関連するセマンティック概念が含まれているかを判断する。従来の画像コンセプト検出技術の場合、通常１週類の重み付きグラフの情報だけを利用するため、検出効果がよくない（前記の原理と類似する）。また、従来の画像コンセプト検出技術は、一般的に教師付き学習式の計算方法を採用しており、即ち、一般的にラベル付きの画像だけを利用してコンセプト検出を行うことになっている一方、ラベル付きの画像の数が通常非常に限られているので、コンセプト検出の効果がよくない。従来のこれらの画像コンセプト検出技術と比較すると、本発明の実施例に係る画像処理装置の前記例示に基づいて実現した画像コンセプト検出は同時に上記２種類の重み付きグラフを利用したため、画像の特徴情報を十分に利用し，且つ２種類の重み付きグラフ間の関連情報を見つけ出し、ラベル付きの画像を利用すると同時に、非ラベル付きの画像を利用することができる。よって、よりよい画像処理の効果を得ることができる。即ち、コンセプト検出結果をより正確に得ることができる。

以上の説明から明らかなように、本発明の実施例に基づく画像処理装置を用いると、画像レベルの重み付きグラフと領域レベルの重み付きグラフとの２種類の重み付きグラフを利用することができるため、画像の特徴情報を十分に利用することができ、且つ２種類の重み付きグラフ間の関連情報を十分に見つけ出したので，より良い画像処理の効果を得ることができる。

また，本発明の実施例は画像処理方法を提供する。以下、図６と図７を参照しながら当該方法の１つ例示的な処理を説明する。

図６は、本発明の実施例に係る画像処理方法を概略的に例示する例示的な処理のフローチャートである。

図６に示されたように、本発明の実施例に係る画像処理方法の処理の流れ６００はステップS６１０から開始し、その後ステップS６２０を実行する。

ステップS６２０において、それぞれ画像集の中の各画像に対して画像の分割を行い、各画像を複数の領域に分割する。そのうち、当該画像集の中の少なくとも一部の画像がラベル付きの画像である。その後、ステップS６３０を実行する。ステップS６２０で行う画像の分割は上述の方法を採用することができる。

ステップS６３０において、前記画像集の中の各画像の画像レベルの視覚特徴と領域レベルの視覚特徴を抽出し、その後、ステップS６４０を実行する。また、前記２種類の視覚特徴的特性、選択方法及び抽出方法等は、上述の相応する内容を参考にすることができるので、ここでその詳細な説明を省略する。

ステップS６４０において、前記画像レベルの視覚特徴に基づいて画像レベルの重み付きグラフを生成し、前記領域レベルの視覚特徴に基づいて領域レベルの重み付きグラフを生成する。その後、ステップS６５０を実行する。

また、ある実施例では、以下のように前記画像レベルの重み付きグラフと領域レベルの重み付きグラフを生成することができる。即ち、画像集の中の各画像を節点として、各２節点間の、画像レベルにおける視覚特徴における類似度を当該２節点間の重み付けエッジの重みとして、前記画像レベルの重み付きグラフを生成する。また、画像集の中の各画像の各領域を節点として、各２節点間の、領域レベルにおける視覚特徴における類似度を当該２節点間の重み付けエッジの重みとして、前記領域レベルの重み付きグラフを生成する。

ステップS６５０において、前記画像集の中の各画像のソフトラベル及び当該画像集の中の各画像の各領域のソフトラベルを未知数として、前記画像レベルの重み付きグラフと領域レベルの重み付きグラフの構成情報、及び前記画像集の中の各画像のソフトラベルと当該画像中の領域のソフトラベルとの間の関係に基づいて、費用関数を生成する。その後、ステップS６６０を実行する。

具体的に、以下に説明する方法で前記費用関数を生成することができる。

例えば、前記画像レベルの重み付きグラフと領域レベルの重み付きグラフの構成情報に基づいて、２つの画像の画像レベルの視覚特徴が類似すればするほど、当該２つの画像のソフトラベル間の差異が小さく、且つ、２つの領域の領域レベルの視覚特徴が類似すればするほど、当該２つの領域のソフトラベル間の差異が小さいである第一制約条件を設定することができる。

また、前記画像集の中のラベル付きの画像のソフトラベルと当該画像集の中ラベル付き画像中の領域のソフトラベルとの間の関係に基づいて以下の第二制約条件を設定することができる。即ち、負ラベル付きの画像及び当該画像中のすべての領域のソフトラベルをできるだけ-１に近づけさせ、正ラベル付きの検索画像のソフトラベルをできるだけ１に塚付けさせ、及び、正ラベル付きの検索画像の中に最大のソフトラベルを有する領域のソフトラベルをできるだけ当該領域所属の画像のソフトラベルに近づけさせる。

その後，前記第一制約条件と第二制約条件に基づいて費用関数を生成することができる。また、ここでの費用関数は上述の任意の形式を採用することができる。ここでは説明を重複しない。

その後、ステップS６６０において、前記費用関数の最適化問題を解くことによって、前記未知数の計算値を獲得することができる。その後、ステップS６７０を実行する。

また、ステップS６６０の過程は、以下の方法で実現できる。即ち、緩和係数を導入することによって、費用関数を制約付き最小化問題に変え、さらに制約付き凹凸過程を利用して当該最小化問題を解き、画像集の中の各画像のソフトラベルの計算値及び画像集の中の各画像の各領域のソフトラベルの計算値を獲得する。

ステップS６７０において、前記未知数の計算値に基づいて、画像処理を行う。その後、ステップS６８０を実行する。

また、本発明の実施例に係る画像処理方法の一例において、当該画像処理方法に係る画像処理とは、画像検索であっても良い。この場合、前記画像集にはラベル付きの検索画像が含まれている。また、この場合、ステップS６７０では、獲得した計算値に基づいて、前記画像集の中の、当該検索画像以外の、当該検索画像との類似度が所定範囲内にある画像を検索結果と判断することができる。

前記検索結果は、以下の画像の中の任意の一種類の画像であっても良い。即ち、ソフトラベルが第一所定閾値より高い画像であって、且つ当該画像において最大のソフトラベルを有する領域のソフトラベルが第二所定閾値より高い画像、又は、画像のソフトラベルと画像において最大のソフトラベルを有する領域のソフトラベルとの重み付け和のうち一番大きい前のN個の画像であっても良い。そのうち、Nは正整数である。

また、前記検索結果は、以下のいずれかの順番で出力されることができる。例えば、検索結果と対応する画像のソフトラベルの大きさの順番で前記検索結果を出力することができる。又は、照検索結果と対応する画像中の、最大のソフトラベルを有する領域のソフトラベルの大きさの順番で前記検索結果を出力することができる。また、検索結果と対応する画像のソフトラベルと、画像中の、最大のソフトラベルを有する領域のソフトラベルとの重み付け和の大きさの順番で前記検索結果を出力することもできる。

また，本発明の実施例に係る画像処理方法のもう１つの例において、当該画像処理方法に係る画像処理は画像コンセプト検出であっても良い。この場合、ステップS６７０において、ステップS６６０において獲得したソフトラベルの計算値に基づいて、非ラベル付きの検出対象画像に画像集の中のラベル付きの画像と関連するセマンティック概念が含まれているかを判断することができる。この場合、ステップS６７０での処理は、図７示されたステップS７１０〜S７６０で実現することができる。以下、その具体的な処理過程について説明する。

図７は、例として画像処理が画像コンセプト検出である場合、図６に示されたステップS６７０のある可能な構成を概略的に例示するフローチャートである。図７に示されたように、ステップS７１０において、検出対象画像が前記画像集に含まれているかを判断する。もしそうであれば、検出対象画像のソフトラベル及びそのうち各領域のソフトラベルがすでに獲得されたため、直接ステップS７３０を実行して次の計算を行うことができる。もしそうでなければ、検出対象画像のソフトラベル及びそのうちの各領域のソフトラベルが未知であるため、ステップS７２０を実行してこれらのソフトラベルを獲得することができる。

ステップS７２０において、まず検出対象画像を複数の領域に分割し，その後、獲得した画像集の中の各画像のソフトラベルの計算値及び当該画像集の中の各画像の各領域のソフトラベルの計算値に基づいて、前記検出対象画像のソフトラベルと検出対象画像の各領域のソフトラベルの計算値を獲得することができる。具体的な計算方法は、上述した、検出対象画像のソフトラベルと検出対象画像の各領域のソフトラベルを計算する方法を参考にすることができるため、ここで説明を省略する。ステップS７２０を実行した後、ステップS７３０を実行する。

ステップS７３０において、検出対象画像のソフトラベルの計算値及び検出対象画像の領域のソフトラベルの計算値に基づいて、前記画像集の中のラベル付きの画像と関連するセマンティック概念が前記検出対象画像に含まれる程度の程度値をさらに計算して獲得することができる。また、当該計算過程も上述の相応部分に記載した程度値の計算方法を参照することができるため、その詳細の説明を省略する。その後、ステップS７４０を実行する。

ステップS７４０において、当該程度値が第三所定閾値より大きい、又は等しいかどうかを判断する。もしそうであれば、ステップS７５０を実行する。即ち、ステップS７５０において、検出対象画像に「前記画像集の中のラベル付きの画像と関連するセマンティック概念」が含まれていると判断する。そうでなければ、ステップS７６０を実行する。即ち、ステップS７６０において、検出対象画像に「前記画像集の中のラベル付きの画像と関連するセマンティック概念」が含まれていないと判断する。その後、後ろのステップ（例えば図６に示されたステップS６８０）を実行する。

説明すべきなのは、本発明の実施例に係る前記画像処理方法における各ステップの処理又はサブ処理は，上述の画像処理装置のユニット、サブユニット、モジュール又はサブモジュールの操作又は機能の処理過程を有し、且つ似たような技術効果を得られる。ここでその詳細を省略する。

以上の説明から明らかなように、本発明の実施例に係る画像処理方法を用いると、画像レベルの重み付きグラフと領域レベルの重み付きグラフとの２種類の重み付きグラフを利用することができるため、画像の特徴情報を十分に利用することができ、さらに２種類の重み付きグラフ間の関連情報を見つけることもでき、より良い画像処理効果を得られる。

また，本発明の実施例はさらに上記の画像処理装置を含む設備を提供する。当該設備は、例えば、カメラ、ビデオカメラ、コンピュータ（例えば，デスクトップ又はノートパソコン）、携帯電話（例えばスマートフォン）、個人デジタルアシスタント及びマルチメディア処理装置（例えば，画像を再生する機能を持つMP３、MP４等）であっても良い。

本発明の実施例に係る前記設備は、前記画像処理装置を集積したため、画像レベルの重み付きグラフと領域レベルの重み付きグラフとの２種類の重み付きグラフを利用し、画像の特徴情報を十分に利用することができ、さらに、２種類の重み付きグラフ間の関連情報を十分に見つけたため，より良い画像処理効果を得られる。

本発明の実施例に係る前記画像処理装置における各構成ユニット、サブユニット等は、ソフトウェア、ファームウェア、ハードウェア又はその任意の組み合わせによって実現することができる。ソフトウェア又はファームウェアによって実現する場合、記録媒体又はネットワークを介して専用ハードウェアを有する機器（例えば、図８に示されたような汎用機器８００）に当該ソフトウェア又はファームウェアを構成するプログラムをインストールすることができる。当該機器に各種のプログラムインストールされた場合、前記各構成ユニット、サブユニットの各種の機能を実行することができる。

図８は、本発明の実施例に係る画像処理装置と画像処理方法を実現することができる或る実施可能な情報処理設備のハードウェアの構成を示す簡略図である。

図８において、セントラル・プロセッシング・ユニット(CPU)８０１は、読み取り専用メモリ(ROM)８０２に保存されているプログラム又は記憶部８０８からランダム・アクセス・メモリ(RAM)８０３にロードしたプログラムに基づいて各種の処理を実行する。また、RAM８０３には必要に応じてCPU８０１が各種の処理などを行う時に必要なデータを保存する。CPU８０１、ROM８０２とRAM８０３は、バス８０４を経由して互いに連結し合う。入力/出力インタフェース８０５もバス８０４に接続される。

次の機器も入力/出力インタフェース８０５に接続される。入力部８０６（キーボード、マウス等を含む。）、出力部８０７（例えばブラウン管(CRT)や液晶ディスプレー(LCD)等のディスプレーと、スピーカー等を含む。）、記憶部８０８（ハードディスク等を含む）、通信部８０９（例えばLANカード、モデム等のネットワークインタフェースカードを含む。）。通信部８０９はネットワーク、例えばインターネットを介して通信処理を行う。必要に応じて、ドライブ８１０も入力/出力インタフェース８０５に接続することもできる。また、取り外し可能な媒体８１１、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等も必要に応じてドライブ８１０に取り付けることができる。これによってその中から読み取ったコンピュータプログラムを必要に応じて記憶部８０８に読み込むことができる。

プログラムによって前記一連の処理を行う場合、ネットワーク、例えばインターネットから、又は記録媒体、例えば取り外し可能な媒体８１１からソフトウェアを構成するプログラムをインストールすることができる。

当業者は、この記録媒体は、図８に示されたように中にプログラムが記憶され、設備と分離して配布しユーザにプログラムを提供する取り外し可能な媒体８１１に限らないことについて理解すべきである。取り外し可能な媒体８１１の例として、磁気ディスク(フロッピー(登録商標)ディスクを含む。)と、光ディスク(光ディスク読み取り専用メモリ(CD〜ROM)とデジタル多用途ディスク(DVD)を含む。)、光磁気ディスク（ミニーディスク(MD)(登録商標)を含む)と、半導体記憶装置を含む。また、記録媒体は、中にプログラムが保存され、且つそのプログラムを含む設備と一緒にユーザに配布されるROM８０２や、記憶部８０８に含まれるハードディスク等であっても良い。

また、本発明は、機器で読みと取り可能な命令コードが保存されているプログラム製品をも提供する。前記命令コードは機器に読み取りされ、且つ実行される時に、本発明の実施例に係る前記画像処理方法を実行することができる。このようなプログラム製品を保持するための各種の記録媒体、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等も本発明の開示範囲内にある。

本発明の具体的な実施例に関する上記の記載において１つの実施形態について記述及び/又は開示した特徴は、同様な又は類似する形で１つ又は複数の他の実施形態においても使用でき、その他の実施形態における特徴と組み合わせ、又は他の実施形態の特徴を代替することもできる。

強調すべきなのは、本文において用語“含む”とは、特徴、要素、ステップ又は構成要件の存在を指し、１つ又は複数のその他の特徴、要素、ステップ又は構成要件の存在又は追加を排除する意味はない。序数に係る用語「第一」、「第二」等は、これに関連する特徴、要素、ステップ又は構成要件の実施順番又はその重要度を限定するものではなく、単に明瞭に説明するためにこれらの特徴、要素、ステップ又は構成要件の間で使用したものである。

また、本発明の各実施例の方法は、本明細書の記載又は図面に示された時間の順番で実行することに限定されない。その他の時間の順番で、平行又は単独で実行することができる。従って、本明細書に記載の方法の実行順番は、本発明の技術的範囲を限制するものではない。

また、本発明に係る前記方法の各操作過程も各種の機器に読み取り可能な記録媒体に保存され、コンピュータが実行できるプログラムの形で実施することができる。
また、本発明の目的は下記の方法によって達することができる。即ち、前記実行可能なプログラムコードを保存した記録媒体を直接又は間接的にシステム又は設備に提供し、且つ当該システム又は設備のコンピュータ又はセントラル・プロセッシング・ユニット（CPU）が前記プログラムコードを読み取り、実行する。

この時、当該システム又は設備はプログラムを実行する機能さえを有すれば、本発明の実施形態はプログラムに限らず、且つ当該プログラムが任意の形式であっても良い。例えば，ターゲットプログラム、インタプリタ-により実行されるプログラム又はオペレイティングシステムのスクリプト等。

前記機器読み取り可能な記録媒体は、各種のメモリと記録ユニット、半導体設備，磁気ディスクユニット（例えば光ディスク、磁気ディスクと光磁気ディスク）、及び情報の保存に適したその他の媒体を含むが、これに限定されない。

また、ユーザコンピュターは、インターネットの対応するウェブサイトに接続し，且つ本発明のコンピュータプログラムコードをダウンロードし、コンピュータにインストールすることによって、本発明を実現することもできる。

最後に説明すべきなのは、本明細書では、例えば左と右、第一と第二等の言葉は、単に１つの要素又は操作を他の要素又は操作と区別するために用いるものであり、必ずしもこれらの要素又は操作の間に如何なる実際の関係又は順番を要求又は暗示しない。また、用語「含む」、「備える」又はその他の形の表現は、排他的ではない「含む/備える」を意味する。よって、一連の要素を含む過程、方法、物品又は設備は、その要素だけではなく、明確に列挙されていないその他の要素も含む。また、これらの過程、方法、物品又は設備に固有の要素をも含む。更なる限定がない場合、「１つの…を含む」で記載した要素は、前記要素を含む過程、方法、物品又は設備の中に他の同様な要素の存在を排除するわけではない。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
画像処理装置であって：
少なくとも一部の画像がラベル付きの画像である画像集の中の各画像をそれぞれ複数の領域に分割する画像分割ユニットと；
前記画像集の中の各画像の画像レベルの視覚特徴と領域レベルの視覚特徴を抽出する特徴抽出ユニットと；
前記画像レベルの視覚特徴に基づいて画像レベルの重み付きグラフを生成し、且つ、前記領域レベルの視覚特徴に基づいて領域レベルの重み付きグラフを生成する重み付きグラフ生成ユニットと、
前記画像集の中の各画像のソフトラベル及び前記画像集の中の各画像の各領域のソフトラベルを未知数とし、前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報、及び前記画像集の中の各画像のソフトラベルと当該画像中の領域のソフトラベルとの間の関係に基づいて費用関数を生成する関数生成ユニットと；
前記費用関数の最適化問題を解くことによって前記未知数の計算値を獲得する計算ユニットと；
前記計算ユニットで獲得した計算値に基づいて画像処理を行う画像処理ユニットと；
を備える画像処理装置。
（付記２）
前記画像処理装置は、画像検索装置であって、前記画像集がラベル付きの検索画像を含み、且つ前記画像処理ユニットは、前記計算ユニットで獲得した計算値に基づいて前記画像集の中の前記検索画像以外の、前記検索画像との類似度が所定範囲内にある画像を検索結果として判断する、
付記１記載の画像処理装置，
（付記３）
前記画像集において、前記検索画像以外の、前記検索画像との類似度が所定範囲内にある画像は：
ソフトラベルが第一所定閾値より高い画像であって、且つ当該画像中の、最大のソフトラベルを有する領域のソフトラベルが第二所定閾値より高い画像と；
画像のソフトラベルと、画像中の、最大のソフトラベルを有する領域のソフトラベルとの重み付け和が最も大きい前のN個の画像であって、Nが正整数である画像と；
のうちの１種類の画像を含む、
付記２記載の画像処理装置。
（付記４）
前記画像処理ユニットは：
前記検索結果と対応する画像のソフトラベルの大きさの順番と；
前記検索結果と対応する画像の中の、最大のソフトラベルを有する領域のソフトラベルの大きさの順番と；
前記検索結果と対応する画像のソフトラベルと画像の中の、最大のソフトラベルを有する領域のソフトラベルとの重み付け和の大きさの順番と；
のうちの１つの順番に従って検索結果を出力する、
付記２又は付記３記載の画像処理装置。
（付記５）
前記画像処理装置は、画像コンセプト検出装置であって、前記画像処理ユニットは、前記計算ユニットで獲得した計算値に基づいて、非ラベル付きの検出対象画像が前記画像集の中のラベル付きの画像と関連するセマンティック概念を含むかを判断する、
付記１記載の画像処理装置。
（付記６）
前記画像処理ユニットは：
前記検出対象画像が前記画像集に含まれるかを判定する第一判定サブユニットと；
前記検出対象画像が前記画像集に含まれない場合、前記検出対象画像を複数の領域に分割し、前記計算ユニットで獲得した前記画像集の中の各画像のソフトラベルの計算値及び前記画像集の中の各画像の各領域のソフトラベルの計算値に基づいて、前記検出対象画像のソフトラベルと前記検出対象画像の各領域のソフトラベルの計算値を獲得する第一計算サブユニットと；
前記検出対象画像のソフトラベルの計算値及び前記検出対象画像の領域のソフトラベルの計算値に基づいて、前記画像集の中のラベル付きの画像と関連するセマンティック概念が前記検出対象画像に含まれる程度の程度値を計算する第二計算サブユニットと；
前記第二計算サブユニットで計算した前記程度値が第三所定閾値より大きい、又は等しい場合、前記検出対象画像に前記画像集の中のラベル付きの画像と関連するセマンティック概念が含まれると判定し、且つ、前記程度値が前記第三所定閾値より小さい場合、前記検出対象画像に前記画像集の中のラベル付きの画像と関連するセマンティック概念が含まれないと判定する第二判定サブユニットと；
を含む付記５記載の画像処理装置。
（付記７）
検出対象画像が前記画像集の中のラベル付きの画像と関連するセマンティック概念を含むと判定された場合、前記画像処理ユニットは、前記検出対象画像に前記画像集の正ラベル付きの画像のラベルを付する、
付記５又は６に記載の画像処理装置。
（付記８）
前記重み付きグラフ生成ユニットは：
前記画像集の中の各画像を節点とし、各２節点間の画像レベル視覚特徴における類似度を前記２節点間の重み付けエッジの重みとして前記画像レベルの重み付きグラフを生成する第一生成サブユニットと；
前記画像集の中の各画像の各領域を節点とし、各２節点間の領域レベル視覚特徴における類似度を前記２節点間の重み付けエッジの重みとして、前記領域レベルの重み付きグラフを生成する第二生成サブユニットと；
を備える付記１乃至７の何れか記載の画像処理装置。
（付記９）
前記関数生成ユニットは：
前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報に基づいて、２つの画像の画像レベルの視覚特徴が類似すればするほど、当該２つの画像のソフトラベル間の差異が小さく、且つ、２つの領域の領域レベルの視覚特徴が類似すればするほど、当該２つの領域のソフトラベル間の差異が小さいである第一制約条件を設定する第一設定サブユニットと；
前記画像集の中のラベル付きの画像のソフトラベルと前記画像集の中のラベル付き画像の領域のソフトラベルとの間の関係に基づいて、負ラベル付きの画像及当該画像のすべての領域のソフトラベルをできるだけ-１に近づけさせ、令正ラベル付きの画像のソフトラベルをできるだけ１に近づけさせ、且つ正ラベル付き画像中の、最大のソフトラベルを有する領域のソフトラベルをできるだけ当該領域が属する画像のソフトラベルに近づけさせるよう第二制約条件を設定する第二設定サブユニットと；
前記画像集の中の各画像のソフトラベル及び前記画像集の中の各画像の各領域のソフトラベルを未知数として、前記第一制約条件と第二制約条件に基づいて費用関数を生成する、第一関数生成サブユニットと；
を含む付記１乃至８の何れか記載の画像処理装置。
（付記１０）
前記計算ユニットは、緩和係数を導入することによって費用関数を制約付き最小化問題に変える第三計算サブユニットと、制約付き凹凸過程を利用して当該最小化問題を解き、前記画像集の中の各画像のソフトラベルの計算値及び前記画像集の中の各画像の各領域のソフトラベルの計算値を獲得する第四計算サブユニットと、を備える、
付記１乃至９の何れか記載の画像処理装置。
（付記１１）
画像処理方法であって：
少なくとも一部の画像がラベル付きの画像である画像集の中の各画像をそれぞれ複数の領域に分割するステップと；
前記画像集の中の各画像の画像レベル視覚特徴と領域レベル視覚特徴を抽出するステップと、
前記画像レベル視覚特徴に基づいて画像レベルの重み付きグラフを生成し、且つ前記領域レベル視覚特徴に基づいて領域レベルの重み付きグラフを生成するステップと；
前記画像集の中の各画像のソフトラベル及び前記画像集の中の各画像の各領域のソフトラベルを未知数として、前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報、及び前記画像集の中の各画像のソフトラベルと当該画像中の領域のソフトラベルとの間の関係に基づいて費用関数を生成するステップと；
前記費用関数の最適化問題を解くことによって、前記未知数の計算値を獲得し、前記未知数の計算値に基づいて画像処理を行うステップと；
を含む画像処理方法。
（付記１２）
前記画像処理方法は画像検索方法であって、
前記画像集はラベル付きの検索画像を含み、
前記未知数の計算値に基づいて画像処理を行う前記ステップは、獲得した計算値に基づいて、前記画像集の中の、前記検索画像以外の、前記検索画像との類似度が所定範囲内にある画像を検索結果と判定する、
付記１１記載の画像処理方法。
（付記１３）
前記画像集の中の前記検索画像以外の、前記検索画像との類似度が所定範囲にある画像は：
ソフトラベルが第一所定閾値より高い画像であって、且つ当該画像において最大のソフトラベルを有する領域のソフトラベルが第二所定閾値より高い画像と；
Nを正整数として、画像のソフトラベルと、画像において最大のソフトラベルを有する領域のソフトラベルとの重み付け和が最も大きい前のN個の画像と；
のうちの１種類を含む、
付記１１記載の画像処理方法。
（付記１４）
前記検索結果は：
前記検索結果と対応する画像のソフトラベルの大きさの順番と；
前記検索結果と対応する画像中の、最大のソフトラベルを有する領域のソフトラベルの大きさの順番と；
前記検索結果と対応する画像のソフトラベルと画像中の最大のソフトラベル的領域のソフトラベル的重み付け和の大きさの順番と；
のうちの何れか１つの順番に基づいて出力される、
付記１２又は１３記載の画像処理方法。
（付記１５）
前記画像処理方法は画像コンセプト検出方法であって、
前記未知数の計算値に基づいて画像処理を行う前記ステップは、獲得した計算値に基づいて、非ラベル付きの検出対象画像が前記画像集の中のラベル付きの画像と関連するセマンティック概念を含むかを判定することを含む、
付記１１記載の画像処理方法。
（付記１６）
前記の、獲得した計算値に基づいて非ラベル付きの検出対象画像が前記画像集の中のラベル付きの画像と関連するセマンティック概念を含むかを判定することは、
前記検出対象画像が前記画像集の中に含まれているかを判定し、
前記検出対象画像が前記画像集に含まれていない場合、前記検出対象画像を複数の領域に分割し、獲得した前記画像集の中の各画像のソフトラベルの計算値及び前記画像集の中の各画像の各領域のソフトラベルの計算値に基づいて、前記検出対象画像のソフトラベルと前記検出対象画像の各領域のソフトラベルの計算値を獲得し、
前記検出対象画像のソフトラベルの計算値及び前記検出対象画像の領域のソフトラベルの計算値に基づいて前記検出対象画像が前記画像集の中のラベル付きの画像と関連するセマンティック概念を含む程度値を計算し、
計算した前記程度値が第三所定閾値より大きい又は等しい場合、前記検出対象画像が前記画像集の中のラベル付きの画像と関連するセマンティック概念を含むと判定し、且つ前記程度値が前記第三所定閾値より小さい場合、前記検出対象画像が前記画像集の中のラベル付きの画像と関連するセマンティック概念を含まないと判定する、
付記１５記載の画像処理方法。
（付記１７）
検出対象画像が前記画像集の中のラベル付きの画像と関連するセマンティック概念を含むと判定した場合、前記画像集の正ラベル付きの画像のラベルを用いて前記検出対象画像に対してラベルを付けることをさらに含む、
付記１５又は１６記載の画像処理方法。
（付記１８）
前記画像レベル視覚特徴に基づいて画像レベルの重み付きグラフを生成し、且つ前記領域レベル視覚特徴に基づいて領域レベルの重み付きグラフを生成する前記ステップは、
前記画像集の中の各画像を節点として、各２節点間の、画像レベル視覚特徴における類似度を前記２節点間の重み付けエッジの重みとして、前記画像レベルの重み付きグラフを生成し、
前記画像集の中の各画像の各領域を節点として、各２節点間の、領域レベル視覚特徴における類似度を前記２節点間の重み付けエッジの重みとして前記領域レベルの重み付きグラフを生成する、
付記１１乃至１７の何れか記載の画像処理方法。
（付記１９）
前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報、及び前記画像集の中の各画像のソフトラベルと当該画像中の領域のソフトラベルとの間の関係に基づいて費用関数を生成する前記ステップは、
前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報に基づいて、２つの画像の画像レベルの視覚特徴が類似すればするほど、当該２つの画像のソフトラベル間の差異が小さく、且つ、２つの領域の領域レベルの視覚特徴が類似すればするほど、当該２つの領域のソフトラベル間の差異が小さいである第一制約条件を設定し、
前記画像集の中のラベル付きの画像のソフトラベルと前記画像集の中のラベル付き画像の領域のソフトラベルとの間の関係に基づいて、負ラベル付きの画像及び当該画像中のすべての領域のソフトラベルを-１に近づけさせ、正ラベル付きの画像のソフトラベルをできるだけ１に近づけさせ、正ラベル付き画像中の、最大ソフトラベルを有する領域のソフトラベルをできるだけ当該領域が属する画像のソフトラベルに近づけさせる第二制約条件を設定し、
前記第一制約条件と前記第二制約条件に基づいて費用関数を生成することを含む、
付記１１乃至１８の何れか記載の前記画像処理方法。
（付記２０）
前記費用関数の最適化問題を解くことによって、前記未知数の計算値を獲得することは、
緩和係数を導入することによって、費用関数を制約付き最小化問題に変え、且つ、
制約付き凹凸過程を利用して当該最小化問題を解き、画像集の中の各画像のソフトラベルの計算値及び画像集の中の各画像の各領域のソフトラベルの計算値を獲得することを含む、
付記１１乃至１９の何れか記載の画像処理方法。
（付記２１）
付記１乃至１０の何れか記載の画像処理装置を備える設備。
（付記２２）
前記設備は、カメラと、ビデオカメラと、コンピュータと、携帯電話と、個人デジタルアシスタントと、マルチメディア処理装置との何れかである、
付記２１記載の設備。
（付記２３）
コンピュータ設備が実行可能なコンピュータプログラムが保存されているコンピュータ読み取り可能な記録媒体であって、前記プログラムが実行される際に、コンピュータ設備に付記１１乃至２０の何れか記載の画像処理方法を実行させることができるコンピュータ読み取り可能な記録媒体。

Claims

画像処理装置であって：
少なくとも一部の画像がラベル付きの画像である画像集の中の各画像をそれぞれ複数の領域に分割する画像分割ユニットと；
前記画像集の中の各画像の画像レベルの視覚特徴と領域レベルの視覚特徴を抽出する特徴抽出ユニットと；
前記画像レベルの視覚特徴に基づいて画像レベルの重み付きグラフを生成し、且つ、前記領域レベルの視覚特徴に基づいて領域レベルの重み付きグラフを生成する重み付きグラフ生成ユニットと；
前記画像集の中の各画像のソフトラベル及び前記画像集の中の各画像の各領域のソフトラベルを未知数とし、前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報、及び前記画像集の中の各画像のソフトラベルと当該画像中の領域のソフトラベルとの間の関係に基づいて費用関数を生成する関数生成ユニットと；
前記費用関数の最適化問題を解くことによって前記未知数の計算値を獲得する計算ユニットと；
前記計算ユニットで獲得した計算値に基づいて画像処理を行う画像処理ユニットと；
を備える画像処理装置。
前記画像処理装置は、画像検索装置であって、
前記画像集がラベル付きの検索画像を含み、且つ、
前記画像処理ユニットは、前記計算ユニットで獲得した計算値に基づいて前記画像集の中の前記検索画像以外の、前記検索画像との類似度が所定範囲内にある画像を検索結果として判断する、
請求項１記載の画像処理装置。
前記画像集において、前記検索画像以外の、前記検索画像との類似度が所定範囲内にある画像は：
ソフトラベルが第一所定閾値より高い画像であって、且つ当該画像中の、最大のソフトラベルを有する領域のソフトラベルが第二所定閾値より高い画像と；
画像のソフトラベルと、画像中の、最大のソフトラベルを有する領域のソフトラベルとの重み付け和が最も大きい前のN個の画像であって、Nが正整数である画像と；
のうちの１種類の画像を含む、
請求項２記載の画像処理装置。
前記画像処理装置は、画像コンセプト検出装置であって、
前記画像処理ユニットは、前記計算ユニットで獲得した計算値に基づいて、非ラベル付きの検出対象画像が前記画像集の中のラベル付きの画像と関連するセマンティック概念を含むかを判断する、
請求項１記載の画像処理装置。
前記画像処理ユニットは：
前記検出対象画像が前記画像集に含まれるかを判定する第一判定サブユニットと；
前記検出対象画像が前記画像集に含まれない場合、前記検出対象画像を複数の領域に分割し、前記計算ユニットで獲得した前記画像集の中の各画像のソフトラベルの計算値及び前記画像集の中の各画像の各領域のソフトラベルの計算値に基づいて、前記検出対象画像のソフトラベルと前記検出対象画像の各領域のソフトラベルの計算値を獲得する第一計算サブユニットと；
前記検出対象画像のソフトラベルの計算値及び前記検出対象画像の領域のソフトラベルの計算値に基づいて前記画像集の中のラベル付きの画像と関連するセマンティック概念が前記検出対象画像に含まれる程度の程度値を計算する第二計算サブユニットと；
前記第二計算サブユニットで計算した前記程度値が第三所定閾値より大きい、又は等しい場合、前記検出対象画像に前記画像集の中のラベル付きの画像と関連するセマンティック概念が含まれると判定し、且つ、前記程度値が前記第三所定閾値より小さい場合、前記検出対象画像に前記画像集の中のラベル付きの画像と関連するセマンティック概念が含まれないと判定する第二判定サブユニットと；
を備える請求項４記載の画像処理装置。
前記重み付きグラフ生成ユニットは：
前記画像集の中の各画像を節点とし、各２節点間の画像レベル視覚特徴における類似度を前記２節点間の重み付けエッジの重みとして前記画像レベルの重み付きグラフを生成する第一生成サブユニットと；
前記画像集の中の各画像の各領域を節点とし、各２節点間の領域レベル視覚特徴における類似度を前記２節点間の重み付けエッジの重みとして、前記領域レベルの重み付きグラフを生成する第二生成サブユニットと；
を備える請求項１乃至５の何れか記載の画像処理装置。
前記関数生成ユニットは：
前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報に基づいて、２つの画像の画像レベルの視覚特徴が類似すればするほど、当該２つの画像のソフトラベル間の差異が小さく、且つ、２つの領域の領域レベルの視覚特徴が類似すればするほど、当該２つの領域のソフトラベル間の差異が小さいである第一制約条件を設定する第一設定サブユニットと；
前記画像集の中のラベル付きの画像のソフトラベルと前記画像集の中のラベル付き画像の領域のソフトラベルとの間の関係に基づいて、負ラベル付きの画像及当該画像のすべての領域のソフトラベルをできるだけ-１に近づけさせ、令正ラベル付きの画像のソフトラベルをできるだけ１に近づけさせ、且つ正ラベル付き画像中の、最大のソフトラベルを有する領域のソフトラベルをできるだけ当該領域が属する画像のソフトラベルに近づけさせるよう第二制約条件を設定する第二設定サブユニットと；
前記画像集の中の各画像のソフトラベル及び前記画像集の中の各画像の各領域のソフトラベルを未知数として、前記第一制約条件と第二制約条件に基づいて費用関数を生成する、関数生成サブユニットと；
を備える請求項１乃至６の何れか記載の画像処理装置。
前記計算ユニットは：
緩和係数を導入することによって費用関数を制約付き最小化問題に変える第三計算サブユニットと；
制約付き凹凸過程を利用して当該最小化問題を解き、前記画像集の中の各画像のソフトラベルの計算値及び前記画像集の中の各画像の各領域のソフトラベルの計算値を獲得する第四計算サブユニットと；
を備える請求項１乃至７の何れか記載の画像処理装置。
画像処理方法であって：
少なくとも一部の画像がラベル付きの画像である画像集の中の各画像をそれぞれ複数の領域に分割するステップと；
前記画像集の中の各画像の画像レベル視覚特徴と領域レベル視覚特徴を抽出するステップと；
前記画像レベル視覚特徴に基づいて画像レベルの重み付きグラフを生成し、且つ前記領域レベル視覚特徴に基づいて領域レベルの重み付きグラフを生成するステップと；
前記画像集の中の各画像のソフトラベル及び前記画像集の中の各画像の各領域のソフトラベルを未知数として、前記画像レベルの重み付きグラフと前記領域レベルの重み付きグラフの構成情報、及び前記画像集の中の各画像のソフトラベルと当該画像中の領域のソフトラベルとの間の関係に基づいて費用関数を生成するステップと、
前記費用関数の最適化問題を解くことによって、前記未知数の計算値を獲得ステップと；
前記未知数の計算値に基づいて画像処理を行うステップと；
を含む画像処理方法。