JP7026456B2 - 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラムに関する。

近年、画像を領域分割する研究も広く行われている。例えば、画像から人物の領域、自動車の領域、道路の領域、建物の領域、又は空の領域等を切り出すことができる。これは意味的領域分割（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）と呼ばれ、分割結果は被写体の種類に対応した画像補正又はシーン解釈等に応用可能である。

意味的領域分割方法としては、画像を事前にいくつかの領域に分割し、分割された各領域をクラス分類する方法がある。例えば、画像を複数の矩形ブロックに分割し、それぞれのブロックをクラス分類することができる。画像をクラス分類する方法としては、非特許文献１に記載のように、深層学習を用いた分類が広く研究されている。また、例えば非特許文献２に記載の方法を用いて画像を不定形の小領域（ｓｕｐｅｒｐｉｘｅｌ）に分割し、その領域の特徴量及び領域周辺のコンテクスト特徴量を用いて領域をクラス分類することもできる。クラス分類には、学習画像を用いて学習が行われた推定器を用いることができる。

近年では、深層学習を利用した領域分割も研究されている。非特許文献３は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の中間層出力を特徴量として利用し、複数の中間層特徴による画素ごとのクラス判定結果を統合する。この方法では、小領域分割結果を利用することなく、画素ごとに直接クラス判定を行うことができる。

A. Krizhevsky et al. "ImageNet Classification with Deep Convolutional Neural Networks", Proc. Advances in Neural Information Processing Systems 25 (NIPS 2012). R. Achanta et al. "SLIC Superpixels", EPFL Technical Report 149300, 2010. J. Long et al. "Fully Convolutional Networks for Semantic Segmentation", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2015.

従来の方法によれば、画像上のそれぞれの小領域を、被写体の種類に基づいてクラス分類することができた。例えば、各領域の特徴量に基づいて、領域が空を表す領域であるか前景（空以外）の領域であるかを判定することができた。一方、異なる種類の被写体が混在している領域については、適切な判定を行うことが困難であった。例えば、たくさんの木の枝の隙間に空が見えるような複数の領域について判定を行うと、テクスチャが類似しているために、全ての領域について前景であると判定するか、全ての領域について空であると判定してしまう可能性が高かった。

本発明は、分類結果を用いた処理の精度を向上できるように、画像の各領域のクラス分類を行うことを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
対象画像から特徴量を抽出する抽出手段と、
前記特徴量に基づいて、前記対象画像における互いに異なる属性を持つ領域の混合状態を推定する推定手段と、
前記混合状態を示す情報であって、前記対象画像における前記領域の配置を表す情報を出力する出力手段と、
を備えることを特徴とする。

本発明によれば、分類結果を用いた処理の精度を向上できるように、画像の各領域のクラス分類を行うことができる。

各実施形態に係る装置の構成例を示すブロック図。 各実施形態に係る処理を説明するフローチャート。 学習画像及びクラスラベルを説明する図。 ２クラス識別時のクラスラベル及び混合状態を説明する図。 ３クラス識別時のクラスラベル及び混合状態を説明する図。 ３クラス識別時の混合状態を説明する図。 混合状態のマッピングの説明図。 各実施形態に係る学習部又は推定部の構成例を示す図。 混在領域におけるクラスラベル詳細化を説明する図。 各実施形態を実現可能なコンピュータの構成例を示す図。

本発明の一実施形態によれば、入力画像上の識別単位となる所定領域における、複数のクラスの混ざり方（以下、混合状態と呼ぶ）を推定することができる。以下では、推定対象となる領域内の画像のことを対象画像と呼ぶことがある。より具体的には、本発明の一実施形態によれば、対象画像における、互いに異なる属性を持つ領域の混合状態が判定される。それぞれの属性の領域は、同じクラスに属する被写体が占める領域である。すなわち、この属性の領域の１つは、特定のクラスに属する被写体の領域であり、この属性の領域の別の１つは、特定のクラスとは別のクラスに属する被写体の領域である。

一実施形態によれば、例えばたくさんの木の枝（前景）の隙間に空が見えるような領域について、前景部分と空部分との混合状態（例えば面積比、エッジ面積、又は配置パターン等）を推定することができる。従来の方法で得られるような各領域のクラス情報（例えば前景領域であるか空領域であるかを示す情報）だけでなく、このような混合状態を示す情報を用いることにより、後に画像に対して行う処理の精度を向上させることができる。具体例については各実施形態において詳しく説明する。

以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実形態に限定されるものではない。以下の実施形態においては、図１等に示される各処理部は、コンピュータにより実現してもよいし、専用のハードウェアによって実現してもよい。

図１０は、各実施形態を実現可能なコンピュータの基本構成を示す図である。図１０においてプロセッサ１０１は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ１０２は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体１０３は、例えばハードディスク又はＣＤ－ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体１０３が格納している、各部の機能を実現するプログラムが、メモリ１０２へと読み出される。そして、プロセッサ１０１が、メモリ１０２上のプログラムに従って動作することにより、各部の機能が実現される。

図１０において、入力インタフェース１０４は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース１０５は外部の装置へと情報を出力するためのインタフェースである。バス１０６は、上述の各部を接続し、データのやりとりを可能とする。

［実施形態１］
図１（Ａ）及び（Ｂ）に沿って、実施形態１に係る画像処理装置及び学習装置の基本的な構成を説明する。

最初に、図１（Ａ）に従って、学習装置の装置構成の概要を説明する。本実施形態において学習装置は、後述する画像処理装置が混合状態を認識する処理を行う際に利用する推定器を、事前に用意された学習画像から生成する。学習処理の詳細については後述する。学習データ記憶部５１００には、あらかじめ用意された学習データを記憶している。学習データは、学習画像と教師情報とを含む。データ取得部２１００は、学習データ記憶部５１００から、学習画像と教師情報とを取得する。学習部２２００は、特徴抽出部６１０を用いて、学習画像の所定領域にある、推定器の学習に用いる識別画像の特徴量を抽出する。また、学習部２２００は、特徴量から混合状態を推定する推定器の学習を、識別画像の特徴量と教師情報との組み合わせを用いて行う。例えば、学習部２２００は、特徴量を入力されると混合状態を示す情報を出力する推定器の学習を行うことができる。ここで、教師情報は、識別画像における、互いに異なる属性の領域間の混合状態を示す情報である。学習により得られた推定器は、推定器記憶部５２００に記憶される。具体的には、推定器記憶部５２００は、学習により決定された推定器のパラメータを記憶することができる。

次に、図１（Ｂ）に従って、画像処理装置の装置構成の概要を説明する。本実施形態において画像処理装置は、未知の入力画像における混合状態を推定する処理を行う。処理内容の詳細は後述する。画像取得部１１００は、入力画像を取得する。推定部１２００は、特徴抽出部６１０を用いて、入力画像の所定領域にある、混合状態の識別対象となる対象画像から特徴量を抽出する。推定部１２００が用いる特徴抽出部６１０は、学習部２２００が用いる特徴抽出部６１０と同様に動作できる。また、推定部１２００は、特徴量に基づいて、対象画像における互いに異なる属性を持つ領域の混合状態を推定する。例えば、推定部１２００は、あらかじめ学習が行われた推定器６２０を推定器記憶部５２００から読み込み、推定器に特徴量を入力することにより得られた、対象画像における互いに異なる属性の領域間の混合状態を示す情報を、出力部１３００に出力する。推定器６２０は、学習部２２００による学習により得られたものでありうる。出力部１３００は、推定部１２００による推定結果を出力する。

学習装置のデータ取得部２１００及び学習部２２００は、同じ計算機上で実現されてもよいし、それぞれ独立したモジュールとして構成されていてもよいし、計算機上で動作するプログラムとして実装されてもよい。学習装置の学習データ記憶部５１００及び推定器記憶部５２００は、計算機の内部又は外部にあるストレージを用いて実現することができる。

画像処理装置の画像取得部１１００及び推定部１２００は、同じ計算機上で実現されてもよいし、それぞれ独立したモジュールとして構成されていてもよいし、計算機上で動作するプログラムとして実装されてもよい。また、これらはカメラ等の撮影装置内部に回路又はプログラムとして実装されてもよい。

画像処理装置は、学習装置と同じ計算機上で実現されてもよいし、別々の計算機上で実現されてもよい。学習装置及び画像処理装置が備える推定器記憶部５２００は、同じストレージであってもよいし、異なるストレージであってもよい。異なるストレージを用いる場合、学習装置により推定器記憶部５２００に格納された推定器を、画像処理装置が備える推定器記憶部５２００にコピー又は移動することができる。

以下に、本実施形態に係る処理を詳細に説明する。まず、学習装置が行う学習時の処理に関して図２（Ａ）のフローに従って説明する。Ｓ２１００においてデータ取得部２１００は、学習データ記憶部５１００から、学習画像と、混合状態の教師情報と、を学習データとして取得する。

学習データ記憶部５１００には、あらかじめ複数の学習画像と混合状態の教師情報が記憶されている。学習画像とは、推定器の学習に用いられる画像のことを指す。学習画像は、例えば、デジタルカメラ等で撮影された画像データでありうる。画像データの形式は特に限定されず、例えばＪＰＥＧ、ＰＮＧ、又はＢＭＰ等でありうる。以下では、用意された学習画像の枚数をＮ枚とし、ｎ番目の学習画像をＩ_ｎ（ｎ＝１・・・Ｎ）と表す。

混合状態の教師情報は、学習画像の所定領域における混合状態を示す。この教師情報は予め用意されており、例えば人間が学習画像を見ながら作成することができる。本実施形態においては、学習画像には識別単位となる複数の領域が設定されており、それぞれの領域について教師情報が用意されている。以下、１つの識別単位となる、学習画像中の所定領域の画像を、識別画像と呼ぶ。

領域の設定方法は特に限定されない。例えば、所定の領域設定パターンに従って、入力画像中に複数の領域を設定することができる。具体例としては、学習画像を所定サイズ（例えば１６×１６ピクセル）の複数の矩形領域に分割し、それぞれの矩形領域を識別単位として扱うことができる。また、非特許文献２に記載の手法で得られた小領域を識別単位の領域として扱うことができる。一方、学習画像の一部にのみ所定サイズの矩形領域を設定してもよい。なお、学習データ記憶部５１００には、所定サイズの識別画像が学習データとして記憶されていてもよい。

以下に、教師情報が示す混合状態について説明する。画像上の被写体は、複数のクラスに分類することができる。図３は、このようなクラス分類の例を示す。図３（Ａ）には、学習画像５００の例を示す。学習画像５００には、空、人物、及び植物が写っており、それぞれを異なるクラスに分類することができる。すなわち、図３（Ｂ）に示すように、領域５４１に含まれる画素には「空」のクラスラベルを、領域５４２に含まれる画素には「人物」のクラスラベルを、領域５４３に含まれる画素には「植物」のクラスラベルを、それぞれ与えることができる。

クラス及びクラスラベルの定義は様々であり、クラス分類の方法は特に限定されない。図３の例では、被写体の種類に応じてクラス分類を行った。別のクラスラベルの例としては、肌領域又は髪領域、犬又は猫等の動物、及び自動車又は建物等の人工物、等が挙げられる。工場で用いられる部品Ａ又は部品Ｂといったような、特定物体を示すクラスラベルを用いることもできる。一方、各画素を主被写体領域と背景領域にクラス分類してもよい。また、光沢面又はマット面といった表面性状の違いや、金属面又はプラスチック面のような素材の違いに応じて、クラス分類を行ってもよい。以下では、クラスは全部でＭ種類あるものとする。

クラスの混合状態とは、対象画像における互いに異なる属性の領域間の混合状態のことである。それぞれの属性の領域は、同じ特定のクラスに属する被写体が占める領域である。互いに異なる属性の領域の一方は、特定のクラスに属する被写体の領域であり、他方は、特定のクラスとは別のクラスに属する被写体の領域である。以下では、あるクラスに属する被写体が占める属性の領域のことを、単にそのクラスに属する領域と呼ぶことがある。また、各画素に写っている被写体のクラスのことを、以下では画素の属性又はクラスと呼ぶことがある。

混合状態の定義はさまざまなものが考えられる。本実施形態では、以下のように混合状態を数値で表すものとする。一実施形態において、混合状態を示す情報は、対象画像における属性の領域の分布に依存して定まる情報である。例えば、混合状態を示す情報は、対象画像における属性の領域のそれぞれの比率を表す情報である。具体例として、混合状態を示す情報は、対象画像において各クラスに属する領域の面積比でありうる。クラスが「空」と「非空」の２クラスである場合について、図４の例を参照して説明する。図４には、学習画像５１０と、そのクラスラベル５２０が表されている。クラスラベル５２０は、クラスが「空」である画素を白で、クラスが「非空」である画素を黒で表す。図４には、学習画像５１０中の識別画像５１５に対応するクラスラベル５２０上の領域５２５を拡大した、拡大図（５２６）が示されている。拡大図（５２６）には、非空領域５１１と、空領域５２２とが示されている。このとき、識別画像５１５の混合状態を、対応する領域５２５における空領域と非空領域との面積比ｒで表すことができる。例えば、１６×１６ｐｉｘｅｌの矩形領域において、空領域画素が１９２ｐｉｘｅｌ、非空領域画素が６４ｐｉｘｅｌであった場合には、ｒ＝１９２／２５６＝０．７５となる。

上の例では２クラスの面積比について説明したが、３つ以上のクラスの面積比を表すこともできる。図５には、学習画像５３０と、学習画像５３０中の識別画像５３５と、識別画像５３５についてのクラスラベル５３６が示されている。この例では、学習画像５３０の各画素は「空」、「植物」、及び「人工物」の３クラスに分類されている。この場合の混合状態は、植物領域５３１、空領域５３２、及び人工物領域５３３の面積比に応じて定めることができる。一例として、この場合に面積比を示す点５４５を、それぞれのクラスの面積比に応じて、図６（Ａ）に示す座標空間中の単体５４０（図５の場合三角形）上にプロットすることができる。この点５４５は、単体の二つの辺を内分する内分比ｔ_１及びｔ_２を用いて一意に表すことができるため、このときの面積比を、ｒ＝（ｔ_１，ｔ_２）というベクトルで表すことができる。これは一般Ｍ次元においても同様であるため、クラス数Ｍのときの面積比は、ｒ＝（ｔ_１，ｔ_２，・・・ｔ_Ｍ－１）というＭ－１次元のベクトルで一意に表すことができる。なお、前述のような２クラスの場合の面積比は、この一般化された形式においてＭ＝２と設定した場合と同値である。

また、上記のように表されるＭクラスの面積比を、低次の空間にマッピングして扱ってもよい。例えば、識別画像における面積比をＭ次元空間にプロットし、ＳＯＭ（Ｓｅｌｆ－Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ）やＬＬＥ（Ｌｏｃａｌｌｙ Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ）を用いて低次の空間にマッピングすることができる。図６（Ｂ）は、上記の３クラスの混合比の空間を１次元のＳＯＭ５５０で量子化した例を示す。５５１はＳＯＭ５５０の始端ノードを表し、５５２はＳＯＭ５５０の終端ノードを表す。図６（Ｃ）は、これらを１次元空間にマッピングすることにより得られる。始端ノードの位置を０、終端ノードの位置を１とし、ノードを均等に配置すると、マップ上の位置を表すスカラ値により面積比を示す点５４５を表現することができる。例えば、図６（Ｂ）に示す面積比を示す点５４５は、図６（Ｃ）上の点５４６として近似することができ、そして点５４６のマップ上の位置（この例ではｒ＝０．３７）を用いて面積比を表すことができる。マッピング後の次元数は、図６（Ｃ）に示すように１次元には限られず、一般的にＭの値が大きい場合には１以上の次元ＲのＳＯＭで近似することができ、その場合ｒはＲ次元のベクトルで表すことができる。例えば、クラス数Ｍ＝５のとき、２次元のＳＯＭで面積比空間を量子化した場合には、ｒは２次元ベクトルで表すことができる。

また、Ｍクラスの面積比を、複数の基底ベクトルの合成ベクトルとして表現してもよい。例えば、さまざまな識別画像から得られたクラス面積比を、主成分分析又はスパースコーディング等を用いて複数の基底ベクトルに分解し、寄与度の大きい少数のベクトルでこれを近似することができる。この場合、面積比空間における面積比は、これら基底ベクトルの合成ベクトルとして表現することができ、そのときの各基底ベクトルに対する重み係数を用いて面積比を表すことができる。

別の例として、混合状態を示す情報は、対象画像における互いに異なる属性の領域間の境界に係る情報、例えば対象画像中におけるこの境界を表す画素の比率を表す情報でありうる。一例として、各画素のクラス（例えば空領域又は非空領域）を示す二値画像に対してエッジ検出を行い、得られたエッジ画素数をカウントし、所定領域の画素数とエッジ画素数との比ｅを用いて混合状態を表すことができる。図４には、クラスラベル５２６に対するエッジ検出結果５２７が示されており、検出されたエッジ画素５２３が表されている。１６×１６ｐｉｘｅｌの矩形領域におけるエッジ画素のカウント結果が６４である場合、エッジ画素率はｅ＝６４／２５６＝０．２５と表すことができる。

さらなる別の例として、混合状態を示す情報は、対象画像における属性の領域の配置を表す情報でありうる。例えば、所定領域内における各クラスの画素の配置パターンに従って混合状態を表すことができる。クラス数がＭ、所定領域の画素数がＫである場合、所定領域内の各画素のクラスを、Ｍ×Ｋ次元の二値ベクトルで表すことができる。例えば、「空」「非空」の２クラスが定義されており、所定領域のサイズが１６×１６ｐｉｘｅｌである場合、所定領域内のクラスラベル配置パターンを、２×１６×１６＝５１２次元の二値ベクトルとして表現することができる。このように識別画像から得られたさまざまな二値ベクトルをベクトル空間上にプロットし、ＳＯＭ若しくはＬＬＥ等を用いて量子化することにより、所定領域におけるクラスラベル配置パターンをベクトルｐとして表現することができる。また、識別画像から得られたさまざまな二値ベクトルを主成分分析若しくはスパースコーディング等を用いて基底ベクトルで表現する方法を用いることもできる。

図７は、所定領域におけるクラスラベル配置パターンを２次元のＳＯＭを用いてマッピングすることにより得られたマップ９００を示す。マップ９００において、各四角形はＳＯＭのノードであって、量子化されたクラスラベル配置パターンをそれぞれ表す。ＳＯＭの特性上、類似したパターンがマップ上で近い位置に配置される。識別画像におけるクラスラベル配置パターンを、各ノードのパターンとの近さに基づいて、マップ上の位置座標ｐで表すことができる。例えば図７の２次元ＳＯＭの例では、マップ上の位置をｐ＝（ｐ_１，ｐ_２）の２次元ベクトルで表すことができる。

このように、混合状態はさまざまな方法で表現することができる。混合状態は、これらの表現のうちいずれか一つを用いて表してもよい。例えば、混合状態を面積比だけで表すのであれば、Ｃ＝ｒと定義すればよく、エッジ画素率だけで表わすのであればＣ＝ｅと表わせばよく、クラスラベル配置パターンだけで表すのであればＣ＝ｐと定義すればよい。また、混合状態は複数の表現を組み合わせて表してもよい。例えば、混合状態を面積比とエッジ画素率との組み合わせＣ＝（ｒ，ｅ）と定義してもよいし、面積比、エッジ画素率、及びクラスラベル配置パターンの組み合わせＣ＝（ｒ，ｅ，ｐ）と定義してもよい。本発明において、混合状態の表現方法は特に限定されない。

上記のように、混合状態Ｃは１つ以上の数値で表されるベクトルとして表現することができる。すなわち、一実施形態において得られる混合状態を表す情報は、所定領域における混合状態を表す特徴量であるといえる。混合状態Ｃを表すベクトルの次元数をＬとする。以下では、画像Ｉ_ｎ上の所定領域ｉにおける混合状態ベクトルをＣ_ｎｉと表し、混合状態ベクトルＣ_ｎｉのｌ（ｌ＝１，……，Ｌ）番目の要素をｃ（ｎ，ｉ，ｌ）と表す。なお、混合状態は、所定領域において各クラスの画素がどのように混合されているかだけでなく、所定領域が特定の１つのクラスの画素で構成されることを示してもよい。

本実施形態においては、各学習画像の各画素について図３（Ｂ）に示すようにクラスラベルが与えられているものとする。そして、このクラスラベルに基づいて、学習画像から得られるそれぞれの識別画像について、上記のようにスカラ値又はベクトル値として表される混合状態Ｃが教師情報として予め算出され、学習データ記憶部５１００に予め格納されているものとする。しかしながら、データ取得部２１００は、識別画像の各画素の属性を示す情報を取得し、各画素の属性を示す情報を用いて混合状態を示す情報を生成することにより、教師情報を取得してもよい。例えば、データ取得部２１００は、学習データ記憶部５１００に格納されている学習画像の各画素のクラスラベルに基づいて、上記のようにそれぞれの識別画像の混合状態Ｃを算出することができる。さらに、各学習画像の各画素について図３（Ｂ）に示すようにクラスラベルが与えられていることは必須ではない。例えば、学習画像から得られる識別画像を見ながら作業者が入力したこの識別画像の混合状態、又は作業者が入力した情報（エッジ情報など）に基づいて自動的に算出されたこの識別画像の混合状態が、学習データ記憶部５１００に予め格納されていてもよい。

ステップＳ２２００で、学習部２２００は、データ取得部２１００から識別画像及び混合状態の教師情報を取得して、混合状態を推定する推定器の学習を行う。以下では、推定器としてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用する場合について説明する。ＣＮＮの構成としては従来既知のものを用いることができる。典型的には、ＣＮＮは、畳み込み層とプーリング層とを繰り返すことにより入力信号の局所的な特徴を次第にまとめていき、変形や位置ずれに対してロバストな特徴を得ることにより、認識タスクを行うニューラルネットワークである。

ＣＮＮを用いた推定処理の例を、図８（Ａ）を参照しながら説明する。学習部２２００は、特徴抽出部６１０を用いて、推定器の学習に用いる識別画像の特徴量を抽出する。また、学習部２２００は、特徴量を入力されると混合状態を示す情報を出力する推定器の学習を、識別画像の特徴量と教師情報との組み合わせを用いて行う。図８（Ａ）は、学習部２２００が処理のために用いることができるＣＮＮの一例を示す。図８（Ａ）には、特徴抽出部６１０が行う処理に相当する部分が示されており、これは特徴抽出を行うＣＮＮの畳み込み層に相当する。また、図８（Ａ）には、学習を行う推定器６２０に相当する部分が示されており、これはパターン推定を行うＣＮＮの完全結合層に相当する。

畳み込み層は、学習画像の部分画像である識別画像６３０の各位置における畳み込み演算結果を信号として受け取る入力層６１１を有する。入力層６１１からの信号は、畳み込み層とプーリング層とが配置され、畳み込み演算とプーリングによる信号の選択とが繰り返される複数の中間層６１２，６１３を介して、最終層６１５へと送られる。特徴抽出部６１０の最終層６１５からの出力信号は、推定器６２０へと送られる。以下では、特徴抽出部６１０の出力信号をＸとする。完全結合層では、各層の素子が前後の層と全結合しており、特徴抽出部６１０から入力された信号は、重み係数を用いた積和演算を介して出力層６４０へと送られる。出力層６４０は、混合状態ベクトルＣの次元数Ｌと同数の出力素子を有している。

学習部２２００は、推定器の学習を行う際に、学習画像Ｉ_ｎの所定領域ｉから得られた識別画像をＣＮＮに入力した際に、出力層６４０で得られる出力信号の値を、教師情報と比較する。ここで、学習画像Ｉ_ｎの所定領域ｉを特徴抽出部６１０に入力して得られた特徴量をＸ^ｎ _ｉ、これを推定器６２０に入力した結果得られた出力層６４０におけるｌ番目の素子の出力信号をｙ_ｌ（Ｘ^ｎ _ｉ）とする。また、出力層６４０のうちｌ番目の出力素子における教師信号は、混合状態Ｃ_ｎｉのｌ番目の要素ｃ（ｎ，ｉ，ｌ）で表される。この場合、出力信号と教師情報との誤差は下記のように計算される。

誤差逆伝搬法を用いて、このように得られた誤差を出力層から入力層へと順次逆伝搬することにより、ＣＮＮの学習を行うことができる。例えば、確率的勾配降下法等を用いてＣＮＮにおける各層の重み係数を更新することができる。ＣＮＮの重み係数の初期値としては、ランダムな値を用いることもできるし、何らかのタスクに関する学習により得られた重み係数を用いてもよい。例えば、画像分類タスクにおいては画像ごとにクラスラベルが与えられた学習画像を用いるが、領域分割タスクにおいては画素ごとにクラスラベルが与えられた学習画像を用いるため、領域分割タスク用の学習画像を人間が用意するための負荷は大きい。一方、画像分類タスク用の学習画像は一般に公開されており、簡単に入手することができる。例えばＩＬＳＶＲＣ（ＩｍａｇｅＮｅｔ Ｌａｒｇｅ－ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ）では１２０万枚の画像分類タスク用の学習画像が公開されている。よって、このような画像分類タスクのためにＣＮＮの学習を行い、この学習により得られた重み係数を初期値として用いて、本実施形態のような混合状態推定タスクのための学習を行ってもよい。

ここではＣＮＮを用いた推定器について説明したが、推定器の構成は特に限定されない。図８（Ｂ）には、推定部１２００が処理のために用いることができる構成の別の一例を示す。図８（Ｂ）には、特徴抽出部６１０が行う処理に相当する部分、及び推定器６５０が行う処理に相当する部分が示されている。推定器６５０は、特徴抽出部６１０における各層の出力信号を連結して得られた一つの特徴量に対する回帰値を与える。推定器６５０が用いる手法としては、例えばＳＶＲ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｇｒｅｓｓｉｏｎ）やロジスティック回帰等が挙げられるが、特に限定されない。そして、学習画像を用いて、この推定器６５０が用いる回帰関数の学習を行うことができる。例えば、上記の出力信号と教師情報との誤差に基づく誤差関数を最小化するように、回帰関数の学習を行うことができる。また、図８（Ａ）のような構成を用いてＣＮＮの学習をあらかじめ行っておき、その後にＣＮＮの各層の出力信号に基づく特徴量を使って推定器６５０のみの学習を行ってもよい。ここで、推定器６５０を完全結合の多層ニューラルネットワークで構成すれば、図８（Ａ）の構成と同様に、誤差逆伝搬法を用いてＣＮＮと推定器６５０との学習を同時に行うこともできる。

また、特徴抽出部６１０は、ＨＯＧ又はＳＩＦＴのような別の特徴抽出手法を用いて特徴量を抽出することができる。また、推定器は、ＳＶＲ、ロジスティック回帰、又は多層ニューラルネットワーク等の識別関数を用いて、混合状態の推定を行うことができる。このように、一実施形態においては、特徴抽出手法と推定手法との任意の組み合わせを用いることができる。このような場合にも、従来の方法に従って推定器の学習を行うことができる。ステップＳ２２００における学習により得られた推定器のパラメータは、推定器記憶部５２００に記憶される。

このようにして学習が行われた推定器を用いて、入力画像の混合状態を識別する方法について、図２（Ｂ）のフローチャートを参照して説明する。Ｓ１１００において、画像取得部１１００は、混合状態の識別対象となる入力画像を取得する。画像取得部１１００は、撮像装置から得られた現像前の画像データを取得することもできる。

以下で、入力画像の所定領域にある混合状態の推定対象となる画像を対象画像と呼ぶ。画像取得部１１００は、所定の領域設定パターンに従って、入力画像中に複数の領域を設定することができる。設定された領域のそれぞれに含まれる入力画像の部分画像が、対象画像となる。対象画像は、識別単位に従う所定サイズの部分画像であり、その設定方法は特に限定されない。例えば、学習時と同様、入力画像を所定サイズ（例えば１６×１６ピクセル）の複数の矩形領域に分割し、それぞれの矩形領域にある複数の対象画像について判定を行うことができる。一方、入力画像の一部領域にある対象画像に対して判定を行ってもよい。

ステップＳ１２００において、推定部１２００は、特徴抽出部６１０を用いて、Ｓ１１００で得られた入力画像の所定領域にある対象画像から特徴量を抽出する。また、推定部１２００は、学習された推定器６２０を推定器記憶部５２００から読み込み、推定器６２０に特徴量を入力することにより、対象画像における互いに異なる属性の領域間の混合状態を示す情報を生成する。こうして、推定部１２００は、ステップＳ１１００で取得した入力画像中の対象画像について混合状態を推定する。図８（Ａ）は、推定部１２００が処理のために用いることができるＣＮＮの一例を示す。図８（Ａ）には、特徴抽出部６１０が行う処理に相当する部分が示されており、ここでは入力画像中の所定領域における信号が各層に順伝搬され、対象画像の特徴量Ｘ_ｉが抽出される。また、図８（Ａ）には、推定器６２０に相当する部分が示されており、ここでは得られた特徴量Ｘ_ｉから、混合状態ベクトルの各要素に割り当てられた出力素子６２１における出力信号が生成される。各素子ｌの出力信号の値は、混合状態ベクトルの各要素ｙ_ｌ（Ｘ_ｉ）の値となる。

ステップＳ１３００において、出力部１３００は、ステップＳ１２００で得られた推定結果を出力する。出力部１３００が行う処理は、識別結果の利用方法に依存し、特に限定されない。混合状態を示す情報を用いた処理例を以下に挙げる。

例えば、入力画像の各領域に対する画像処理を、その領域における混合状態に応じて変更することができる。この場合、出力部１３００は画像補正アプリケーションに対して各領域の混合状態を出力することができる。

また、別の例として、混合状態に応じたカメラのフォーカス制御を行うこともできる。例えば、複数の測距点を備える撮像装置のためのフォーカス制御装置は、取得部と、制御部とを備えることができる。取得部は、撮像装置により得られた画像のうち複数の測距点のそれぞれに対応する領域について、領域に占める特定の属性の領域の面積比を示す情報を取得する。そして、制御部は、面積比に応じて複数の測距点を重み付けし、撮像装置のフォーカス制御を行う。より具体的には、多点測距ＡＦを行う場合に、フォーカスを合わせる対象となる被写体成分がより多い測距点の重みを大きくすることができる。例えば、前景に重点を置くフォーカス制御を行う場合、前景成分がより多い測距点の重みを大きくすることができ、特定の被写体に重点を置くフォーカス制御を行う場合、特定の被写体成分がより多い測距点の重みを大きくすることができる。このようなフォーカス制御装置は、上記の情報処理装置から混合状態を示す情報を取得してもよいし、上記の情報処理装置が備える上記の各構成を有していてもよいし、本実施形態とは異なる方法で生成された混合状態を示す情報を取得してもよい。

さらなる別の例として、混合状態に応じたカメラの露出制御を行うこともできる。例えば、撮像装置のための露出制御装置は、取得部と、算出部と、選択部と、制御部とを備えることができる。取得部は、撮像装置により得られた画像と、画像の各領域について、領域に占める特定の属性の領域の面積比を示す情報を取得することができる。算出部は、画像全体に占める特定の属性の領域の面積比を算出することができる。選択部は、算出された面積比に応じて、露出制御アルゴリズムを選択することができる。制御部は、選択された露出制御アルゴリズムを用いて、撮像装置の露出制御を行うことができる。より具体的には、視野における空の面積に応じて異なる露出制御を行う場合に、混合状態に基づいて空の面積を算出することができる。この場合、従来技術のように、空と枝が混ざっている領域について、ほとんどの領域を前景であると判定したり、ほとんどの領域について空であると判定したりすることにより、空の面積が実際の値と大きく異なってしまう可能性を減らせることが期待できる。

ここでは静止画像を学習画像及び入力画像として用いる場合について説明したが、動画像を学習画像及び入力画像として用いることもできる。この場合、混合状態の定義は時間方向に拡張される。例えば、１６×１６ｐｉｘｅｌの所定領域及び５フレームを識別単位とする場合、１６×１６×５のボクセルに関して混合状態を定義することができる。例えば、面積比を用いて混合状態を表す上記の例を拡張することにより、体積比を用いて混合状態を表すことが可能である。

本実施形態では、それぞれが複数の画素を含む複数の領域へと入力画像（及び学習画像）が分割され、この領域内の混合状態が推定された。このような処理によれば、全ての画素のそれぞれについてクラスを推定する場合と比較して、推定処理の回数が少なくなるため、処理の高速化が期待できる。一方、入力画像のそれぞれの画素について混合状態を推定することもできる。すなわち、１つの画素に異なるクラスに属する複数の被写体が写っていることがあり、この１つの画素に対応する被写体領域における、それぞれのクラスの被写体の混合状態を推定することもできる。

本実施形態では、混合状態を示す情報はスカラ値又は複数のスカラ値で構成されるベクトルとして得られた。一方で、混合状態を示す情報は、３つ以上の値から選択される情報でありうる。例えば、所定領域におけるクラス「空」及び「非空」の混合状態を示す情報は、所定領域が「空」で構成されることを示す値、所定領域が「非空」で構成されることを示す値、又は所定領域において「空」及び「非空」が混合されていることを示す値でありうる。このような混合状態を示す情報も、上述の処理例及び後述する実施形態４，５において利用可能である。

［実施形態２］
実施形態１では、学習画像の各画素に対してクラスラベルが設定されていることを前提にして説明した。しかしながら、画素毎にクラスラベルを設定するには時間がかかる。実施形態２では、学習画像に対してクラスラベルを入力するユーザ作業を軽減する方法を説明する。本実施形態においては、学習画像の各領域に対して入力されたクラスラベルに基づいて、データ取得部２１００は、画素ごとのクラスラベルを自動的に算出する。

以下、図１（Ｃ）を参照して、本実施形態における学習装置の基本的な構成を説明する。本実施形態における画像処理装置の構成は実施形態１と同様であり、説明を省略する。本実施形態において学習データ記憶部５１００には、識別画像の他に、識別画像における第１の属性の領域、第２の属性の領域、及び第１の属性の領域と第２の属性の領域とが混在している混在領域を示す情報が格納されている。例えば、学習データ記憶部５１００は、学習画像と、学習画像上の各領域に対して付与されたクラスラベルと、を含む学習データが記憶する。ここで、複数のクラスが混在している領域には、混在領域であることを示すクラスラベルが与えられている。

データ取得部２１００は、学習データ記憶部５１００から学習データを読み込む。すなわち、データ取得部２１００は、識別画像の他に、識別画像における第１の属性の領域、第２の属性の領域、及び第１の属性の領域と第２の属性の領域とが混在している混在領域を示す情報を取得する。

詳細化部２３００は、第１の属性の領域に含まれる画素の画素値、及び前記第２の属性の領域に含まれる画素の画素値に基づいて、混在領域の各画素の属性を判定する。例えば、詳細化部２３００は、混在領域であることを示すクラスラベルが与えられている領域について、混合状態を示す教師情報を算出する。詳細については後述する。学習部２２００は、学習画像と混合状態の教師情報とを用いて、実施形態１と同様に推定器の学習を行う。

本実施形態において学習装置が行う処理のフローを、図２（Ｃ）に従って説明する。ステップＳ２１００においてデータ取得部２１００は、学習データ記憶部５１００から、学習画像とクラスラベルデータとを学習データとして読み込む。学習データ記憶部５１００には、あらかじめ複数の学習画像とそれぞれについてのクラスラベルデータとが用意されている。

ここで、本実施形態におけるクラスラベルデータについて説明する。図９（Ａ）には学習画像５００が示されており、図９（Ｂ）には学習画像５００についてのクラスラベルデータ４００が示されている。この例では、学習画像５００は空領域４１０、非空領域４２０、及び混在領域４３０から構成されており、それぞれの領域の画素には「空」、「非空」、及び「混在」がそれぞれクラスラベルとして付されている。このように、学習画像５００には、単一クラスの領域と、複数クラスが混在している領域と、が設定されている。

これらのクラスラベルは、ツール等を介して予め人間が入力することができる。例えば作業者は、学習画像の空領域及び非空領域を決定することができる。その際、前景の木の枝が細かく複雑になっている箇所においては、空領域と非空領域とを正確に切り分けることは、作業者に対する大きな作業負荷を要求する。そこで、作業者は、このように複数のクラスが混在している領域に対しては、「混在」というクラスラベルを与えることができる。

ここでは、「空」と「非空」が混在している領域について説明したが、実施形態１で説明したように、クラス定義はこのようなものに限定されない。また、クラスが３クラス以上ある場合には、クラスの組み合わせの数だけ混在領域の種類を定義することができる。例えば、図５に示すように「空」、「植物」、「人工物」の３クラスが定義されている場合には、「空と植物の混在領域」、「空と人工物の混在領域」、「植物と人工物の混在領域」、「空と植物と人工物の混在領域」、の４種類の混在領域クラスを定義できる。以下では、「空」と「非空」の２クラスが定義されている場合を例にして説明する。

ステップＳ２３００において、詳細化部２３００は、混在領域に関してクラスラベルの詳細化を行う。具体的には、詳細化部２３００は、混在領域の各画素についてクラスラベルを設定する。ここで、詳細化部２３００は、第１の属性の領域に含まれる画素の画素値、及び第２の属性の領域に含まれる画素の画素値に基づいて、混在領域の各画素の属性を判定する。例えば、詳細化部２３００は、各クラスの色情報を参考に、混在領域のクラスラベルを判定することができる。具体例として、詳細化部２３００は、学習画像Ｉ_ｎにおける、空領域と非空領域とのそれぞれについて、各画素のＲＧＢ値を抽出してＲＧＢ色空間にプロットする。混在領域以外の空領域及び非空領域は、学習データに示されている。そして、詳細化部２３００は、空領域と非空領域とのそれぞれについて、混合ガウス分布を推定する。すると、混合領域の各画素について、そのＲＧＢ値及び空領域の混合ガウス分布に基づいて空領域の尤度を求めることができ、またそのＲＧＢ値及び非空領域の混合ガウス分布に基づいて非空領域にある尤度を推定することができる。詳細化部２３００は、そして、「空」「非空」のうち尤度が高い方のクラスラベルを画素に割り当てることができる。こうして、詳細化部２３００は、混在領域内のクラスラベルを詳細化することができる。図９（Ｃ）は、このようにして詳細化されたクラスラベルデータ４５０を示し、ここには詳細化された空領域４６０及び非空領域４７０が表されている。

このようにして詳細化されたクラスラベルデータを基に、詳細化部２３００は、識別単位となる識別領域について混合状態を表す教師情報を算出する。識別領域、並びに混合状態を示す教師情報の定義及び算出方法に関しては、実施形態１で詳しく説明したとおりであるため、ここでは詳細な説明は省く。なお、詳細化部２３００がクラスラベルの詳細化を行うことは必須ではない。例えば、識別領域内の混在領域にある画素のＲＧＢ値分布と、空領域及び非空領域の混合ガウス分布とに基づいて、混在領域における混合状態を推定することが可能であり、これに基づいて識別領域における混合状態を表す教師情報を算出してもよい。

変形例として、学習データにおいて、複数のクラスが混在している領域に対しては混合状態が設定されていてもよい。例えば、作業者は、特定の領域について、「非空領域の割合は３０％」というような、クラスの面積比を示す情報を入力することができる。この場合、詳細化部２３００は、各画素についてのクラスラベルを推定することなく、識別単位となる識別領域について混合状態を表す教師情報を算出することができる。一方、詳細化部２３００は、混合状態を参照して、入力画像の各画素のクラスラベルを推定することもできる。この場合には、後述する実施形態５と同様に、学習データから計算可能な混合状態を表す情報と、推定された各画素の属性に基づいて計算される混合状態を示す情報と、の類似度が大きいほど高くなる評価値を用いて、推定を行うことができる。

［実施形態３］
実施形態１，２では、識別単位となる識別領域は、あらかじめ矩形領域又は小領域として設定されているという前提で説明を行った。一方で、識別領域の大きさや切り方を、さまざまな撮影情報に基づいて変えることができる。例えば、ボケの強い領域では、細かいテクスチャが情報として失われるため、より広い識別領域に対して推定を行うことにより、混合状態の推定精度を向上できる可能性がある。

撮影情報は、撮像装置固有の情報と、撮影された画像固有の情報を含む。撮像装置固有の情報としては、センサのサイズ若しくは許容錯乱円径、及び光学系の明るさ若しくは焦点距離等が挙げられる。撮影された画像固有の情報としては、絞り値、合焦距離、Ｂｖ値、ＲＡＷ画像、露出時間、ゲイン（ＩＳＯ感度）、ホワイトバランス係数、距離情報、ＧＰＳ等による位置情報、日時等の時間情報、等が挙げられる。他にも、撮影された画像固有の情報としては、撮影時における、重力センサ値、加速度、地磁気方向、温度、湿度、気圧、又は高度等が挙げられる。また、可視光以外に、赤外光や紫外光の情報を得ることができる撮像系もある。撮像装置の仕様により、得られる撮影情報はそれぞれ異なる。撮影情報は、入力画像の撮影時に入力画像に関連付けて付された情報、入力画像の撮影時における撮像装置の状態を示す情報、又は入力画像の撮影時に撮像装置によって測定された情報でありうる。また、撮影情報は、入力画像の撮影時に撮像装置によって検知された入力画像の特性を表す情報でありうる。また、撮影情報は、入力画像自体のデータとは異なる情報である。

図１（Ｄ）に沿って、実施形態３に係る学習装置の基本的な構成を説明する。学習データ記憶部５１００には、あらかじめ学習データが記憶されている。本実施形態において学習データは、学習画像と、各学習画像に対応する撮影情報と、学習画像上のさまざまな大きさの領域に対して付与された混合状態の教師情報と、を含む。データ取得部２１００は、学習データ記憶部５１００から、学習画像、撮影情報、及び教師情報を読み込む。学習部２２００は、学習画像と混合状態の教師情報を用いて、混合状態を推定する推定器の学習を行い、得られた推定器を推定器記憶部５２００に記憶する。ここで、学習部２２００は、第１の領域設定パターンに従って設定された所定領域にある識別画像を用いた学習により第１の推定器を生成し、第２の領域設定パターンに従って設定された所定領域にある識別画像を用いた学習により第２の推定器を生成する。評価部２４００は、確認データ記憶部５４００から読み込んだ確認データを使って、学習により得られたそれぞれの推定器の推定精度を評価する。そして、評価部２４００は、撮影情報と推定精度とに基づいて領域設定器を生成し、設定器記憶部５３００に記憶する。

次に図１（Ｅ）に沿って、画像処理装置の装置構成の概要を説明する。画像取得部１１００は、入力画像と撮影情報とを取得する。領域設定部１４００は、撮影情報に応じて、複数の領域設定パターンの中から、対象画像の設定に用いる領域設定パターンを選択する。本実施形態において領域設定部１４００は、領域設定器を設定器記憶部５３００から読み込み、撮影情報に従って識別単位となる領域を設定する。推定部１２００は、推定器を推定器記憶部５２００から読み込み、設定された識別単位に従って設定された所定領域にある対象画像について、推定器を使って混合状態を推定する。

本実施形態における処理の詳細な説明を以下に記す。まず、学習時の処理に関して図２Ｄ）のフローチャートを参照して説明する。ステップＳ２１００において、データ取得部２１００は、学習データ記憶部５１００から、学習画像、撮影情報、及び混合状態の教師情報を、学習データとして読み込む。

ステップＳ２２００において、学習部２２００は、データ取得部２１００が取得した学習画像と混合状態の教師情報とを用いて、混合状態を推定する推定器の学習を行う。上述のように、本実施形態においては複数種類の領域設定パターンのそれぞれに従って識別単位が設定される。すなわち、識別単位となる領域としては、さまざまなものが用意されている。例えば、３×３、９×９、及び１５×１５の矩形領域など、サイズの異なる複数パターンの識別単位を用意することができる。実施形態１でも説明したように、識別単位は矩形領域には限られない。例えば、実施形態１で説明したように、複数の領域設定パターンとして、領域分割により小領域を設定する際に用いるパラメータを複数用意することができる。

領域設定パターンの違いにより、画像上の同じ位置であっても、混合状態の教師情報は変化しうる。図３（Ｃ）には、学習画像の同じ位置にあるさまざまなサイズの矩形領域５５１、５５２、及び５５３が示されている。最も小さい矩形領域５５１においては、空：非空の面積比はｒ＝１である。一方、矩形領域５５２及び５５３は、それぞれ非空領域を含むため、面積比はそれぞれｒ＝０．９及びｒ＝０．８となる。

学習部２２００は、それぞれの領域設定パターンに対応する推定器の学習を行う。すなわち、学習部２２００は、着目領域設定パターンに従って設定された識別領域と、この識別領域について与えられた教師情報とに基づき、着目領域設定パターンに対応する推定器の学習を行う。この結果、学習部２２００は、複数の領域設定パターンのそれぞれに対応する推定器を生成する。例えば、領域設定パターンのインデックスをｑとし、領域設定パターンの総数をＱとすると、学習によってＱ種類の推定器ｙｑを得ることができる。推定器の学習は実施形態１と同様に行うことができる。一例として、それぞれの推定器ｙｑは、回帰関数ｆｑ（Ｘ）（ｑ＝１，……，Ｑ）に従って混合状態の推定を行うことができる。学習により得られた推定器は、推定器記憶部５２００に記憶される。

ステップＳ２３００において評価部２４００は、ステップＳ２２００で得られた推定器の識別精度を、撮影情報とともに評価し、領域設定器を生成する。例えば、評価部２４００は、教師情報及び撮影情報が関連付けられている検証画像を用いて、それぞれの推定器の識別精度を評価することができる。そして、評価部２４００は、所定の撮影情報が関連付けられている識別画像の判定を行う際に良好な識別精度が得られるように、特定の撮影情報に対応する推定器を示す情報を生成することができる。

撮影情報の中には、学習画像の画素ごとに得られる情報がある。また、撮影情報の組み合わせにより新たな撮影情報を得ることもできる。例えば、画素位置ｐにおけるレンズ面から被写体までの距離Ｚ（ｐ）と、光学系の焦点距離ｆと、が撮影情報として得られた場合、像倍率Ｓ（ｐ）を算出することができる。

また、光学系のＦ値、焦点距離ｆ、撮影時の合焦距離Ｚ_ｆ、及び画素位置ｐにおける被写体までの距離Ｚ（ｐ）が撮影情報として得られた場合、各画素位置におけるボケ量Ｂ（ｐ）を得ることができる。

さらに、ＲＡＷ画像の各画素位置ｐにおける値ｒ（ｐ）、ｇ（ｐ）、及びｂ（ｐ）、露出時間Ｔ、ゲインＧ、並びに絞り量Ｆが撮影情報として得られた場合、画素位置ｐにおける入射光量ＢＶ（ｐ）の絶対値を得ることができる。

以下、撮影情報として画素位置ｐにおけるボケ量Ｂ（ｐ）を用いて、領域設定器を生成する場合について説明する。もっとも、用いる撮影情報はこれには限定されず、像倍率Ｓ（ｐ）又は入射光量ＢＶ（ｐ）等の他の撮影情報を用いてもよい。また、複数の撮影情報を組み合わせてもよく、例えばボケ量Ｂ（ｐ）と入射光量ＢＶ（ｐ）を組み合わせて用いてもよい。

まず、評価部２４００は、ボケ量Ｂを複数のビンに区切り、領域設定パターンｑに関するテーブルを生成する。この例では、ボケ量Ｂが２未満、２以上３未満、３以上４未満、４以上、の４つのビンに区切られている。また、領域設定パターンｑとしては３×３、９×９、及び１５×１５の３種類が用いられており、３×４のテーブルが得られる。

次に、評価部２４００は、確認データを確認データ記憶部５４００から読み込む。確認データは、学習データと同様、複数の確認画像、それぞれの確認画像についてのクラスラベルデータ、及び撮影情報を含む。ここでは、確認画像の総枚数をＮ_ｖと表し、ｖ番目の確認画像をＩ_ｖ（ｖ＝１，……，Ｎ_ｖ）と表す。

評価部２４００は、領域設定パターンｑのそれぞれに従って、確認画像中の識別単位となる領域ｉにおける特徴量を抽出し、対応する推定器に入力する。こうして、領域設定パターンｑを用いた場合の確認画像Ｉν中の領域ｉの混合状態の推定値ｙ_ｑ（Ｘ^ν _ｉ）を得ることができる。このとき、混合状態教師情報ｃ_ｑ（ν，ｉ）に対する二乗誤差は下記のように表すことができる。

また、ボケ量Ｂと領域設定パターンｑとの組み合わせに対するビン（Ｂ，ｑ）における二乗誤差平均ＭＳＥ（Ｂ，ｑ）は下記のように表される。

ここでδ_Ｂ（ν，ｉ）は、確認画像Ｉνの領域ｉの中心位置におけるボケ量がビンＢの範囲内であるときに１、そうでないときに０を返すものとする。

そして、ビン（Ｂ，ｑ）に関する信頼度Ｔ（Ｂ，ｑ）は、１から二乗平均平方根誤差を減じた値として定義できる。

このようにして、評価部２４００は、各ビン（Ｂ，ｑ）に対する信頼度Ｔ（Ｂ，ｑ）のテーブルを得ることができる。こうして得られたテーブルの例を下に示す。評価部２４００は、このようにして得られたテーブルを、領域設定器として設定器記憶部５３００に記憶する。

本実施形態では、得られたテーブルが領域設定器として設定器記憶部５３００に格納された。一方、評価部２４００は、信頼度Ｔ（Ｂ，ｑ）の値を教師情報として、ボケ量Ｂに対する信頼度Ｔを回帰値として出力する回帰関数ｇ_ｑ（Ｂ）を各領域設定パターンｑに対して生成し、これを領域設定器として用いてもよい。

このように得られた混合状態推定器及び領域設定器を用いて、入力画像の混合状態を推定する処理について、図２（Ｅ）のフローチャートを用いて説明する。ステップＳ１１００において画像取得部１１００は、撮像装置により得られた画像データと撮影情報とを取得する。

ステップＳ１４００において領域設定部１４００は、設定器記憶部５３００から領域設定器を読み込み、撮影情報に従って使用する領域設定パターンを決定する。例えば、領域設定部１４００は、下式に従って、入力画像Ｉの各領域ｉに対して、撮影情報として得られたボケ量Ｂ（ｉ）から得られる信頼度Ｔが最も大きくなる領域設定パターンｑ_ｗｉｎを選ぶことができる。なお、ボケ量Ｂ（ｉ）は、入力画像Ｉの領域ｉの中心位置におけるボケ量を指す。具体的な処理は特に限定されないが、例えば、１つの領域設定パターンに従って入力画像Ｉを複数の領域に分割し、１つの領域を別の領域設定パターンに従って細分化した方が信頼度が高くなる場合に、この細分化を行うことができる。別の例としては、ボケ量が類似している領域を連結し、それぞれの連結領域についてボケ量に従う領域設定パターンを用いて領域分割を行うことができる。

ステップＳ１２００において、推定部１２００は、推定器記憶部５２００から推定器を読み込み、入力画像の各位置における混合状態を推定する。具体的には、推定部１２００は、各位置ｐにおいて設定された所定領域の画像の特徴量を抽出し、抽出された特徴量を推定器に入力することにより、この位置ｐにおける混合状態を推定することができる。ここで、各位置ｐについての所定領域は、ステップＳ１４００で決定された領域設定パターンｑ_ｗｉｎに従って設定される。上述のように、本実施形態においては、複数の領域設定パターンのそれぞれに対応する推定器が生成されている。したがって、推定部１２００は、ステップＳ１４００で決定された領域設定パターンに従って複数の推定器から選択された推定器を用いることができる。例えば、位置ｐにおける推定器としてはｙ_ｑｗｉｎが選択され、位置ｐにおける所定領域の混合状態の推定値は、ｙ_ｑｗｉｎ（Ｘ_ｉ）として得られる。図３（Ｄ）は、画像上の位置によって領域設定方法を変えた場合の例を示し、それぞれの矩形が推定器に入力される１つの領域を示す。

ステップＳ１３００に係る処理は実施形態１と同様であるため、説明は省略する。本実施形態のように、撮影情報を利用して混合状態を推定する識別単位となる領域の設定方法を変ることにより、より誤差の少ない混合状態の推定を行うことができる。

［実施形態４］
実施形態１～３では、識別単位となる所定領域における混合状態を推定した。実施形態４では、得られた混合状態の推定結果を用いて、領域を細分化することにより、詳細な領域分割結果を得る方法について説明する。学習装置及び画像処理装置の基本的な構成は実施形態１と同様であり、説明を省略する。

以下、学習時の処理について図２（Ａ）のフローチャートに従って説明する。ステップＳ２１００においてデータ取得部２１００は、学習データ記憶部５１００から、学習画像と混合状態の教師情報と学習データとして読み込む。

ステップＳ２２００で学習部２２００は、実施形態３と同様の処理を行う。すなわち、識別単位としては様々な大きさの領域が用意される。例えば、複数の領域設定パターンのそれぞれに従って、１×１、３×３、９×９、及び１５×１５等、異なるサイズの矩形領域を複数パターン用意することができる。そして、学習部２２００は、それぞれの領域サイズに対応する推定器の学習を、実施形態３と同様にそれぞれの領域サイズについて得られた混合状態の教師情報を用いて行うことができる。すなわち、領域サイズのインデックスをｑとし、領域サイズの総数をＱとすると、学習によってＱ種類の推定器ｙｑ（ｑ＝１，……，Ｑ）を得る事ができる。一例として、それぞれの推定器ｙｑは、回帰関数ｆｑ（Ｘ）に従って混合状態の推定を行うことができる。学習により得られた推定器ｙｑは、推定器記憶部５２００に書きこまれる。

次に、判定時の処理に関して、図２（Ｆ）のフローチャートに従って説明する。ステップＳ１１００において、画像取得部１１００は入力画像を取得する。ステップＳ１２００において、推定部１２００は、推定器を用いて入力画像中の所定領域における混合状態を推定する。ここで、推定部１２００は、複数の領域設定パターンのうちの第１の領域設定パターンを用いて領域設定を行う。すなわち、推定部１２００は、第１の領域設定パターンに従う大きさの第１の対象画像について混合状態を判定する。本実施形態において、識別単位としては、Ｑ種類の領域サイズのうち最も大きいサイズが用いられる。前述の例では、識別単位として１５×１５ｐｉｘｅｌが選択され、また推定器としては１５×１５ｐｉｘｅｌに対応する推定器が用いられる。

そして、推定部１２００は、入力画像の第１の部分にある第１の対象画像について推定された混合状態を示す情報に従って、第１の部分の混合状態を再判定するか否かを判定する。例えば、推定部１２００は、混合状態の推定を行った所定領域について混合状態の再判定を行うか否かを判定する。例えば、推定部１２００は、クラス純度が閾値以上である領域については、このクラス推定結果を採用する。

一方、推定部１２００は、クラス純度が閾値よりも低い領域については、この領域について混合状態の再判定を行う。再判定を行うとの判定に応じて、推定部１２００は、第１の部分にある、第２の領域設定パターンに従う大きさの第２の対象画像の混合状態を示す情報を出力する。ここで、第２の対象画像は第１の対象画像よりも小さい。すなわち、推定部１２００は、クラス純度が閾値よりも低い領域について、より小さい識別単位に従って領域を再分割し、再分割された領域のそれぞれについて、再び推定器を用いて混合状態の推定を行う。推定部１２００は、例えば、一段階小さい領域サイズを用いて再分割を行うことができる。上述のように、本実施形態においては、複数の領域設定パターンのそれぞれに対応する推定器が生成されている。したがって、推定部１２００は、再分割に用いた領域設定パターンに従って複数の推定器から選択された推定器を用いることができる。

ここで、クラス純度とは、領域内における同一クラスラベルが割り振られている画素の割合を示す。例えば、実施形態１に示した面積比ｒの値が０．８以上又は０．２以下である場合に、クラス純度が高いと定義することができる。図７に示すマップを用いる場合、ｐ１≧０．９かつｐ２≦０．８の場合にクラス純度が高いと定義することもできる。

このように、クラス純度が低い領域については細分化及び混合状態の再推定を行うことにより、詳細な領域分割を行うことができる。領域が細分化できなくなるか、すべての領域のクラス純度が閾値以上になると、処理はステップＳ１３００へと進むことができる。ステップＳ１３００における処理は実施形態１と同様であるため、説明は省略する。このようにして得られた詳細な領域分割結果は、領域別のトーンマッピング又はホワイトバランス調整等の高画質化処理に利用することができる。

［実施形態５］
実施形態４では、識別単位を細分化していくことによって詳細な領域分割結果を算出したが、領域分割の方法はこの方法には限定されない。実施形態５では、各領域についての混合状態の推定結果を利用して、画素単位のクラス判定を行うことにより、詳細な領域分割結果を得る方法について説明する。

本実施形態に係る画像処理装置の基本構成を図１（Ｆ）に示す。画像取得部１１００及び推定部１２００の機能は実施形態１と同様であるため説明を省略する。判定部１５００は、対象画像の各画素の属性を判定する。判定部１５００は、評価値に基づいて各画素の属性を決定し、この評価値が示す評価は、各画素の属性に基づいて計算される混合状態を示す情報と、推定部１２００により得られた混合状態を示す情報と、の類似度が大きいほど高くなる。本実施形態においては、判定部１５００は、混合状態推定結果及び画像情報に基づいて、入力画像の各画素のクラスラベルを推定する。出力部１３００は、入力画像の各画素について推定されたクラスラベルを示す情報を出力する。

本実施形態に係る判定処理の詳細を図２（Ｇ）に従って説明する。ステップＳ１１００及びＳ１２００における処理は、実施形態１と同様であるため説明を省略する。ステップＳ１５００において判定部１５００は、ステップＳ１２００にて推定された各領域の混合状態を利用して、入力画像の各画素についてクラスを推定する。例えば、推定された各画素のクラスに従って求められる混合状態が、ステップＳ１２００にて推定された混合状態に近くなるように、各画素のクラスの推定を行うことができる。各画素のクラスの推定には、さらに各画素の色情報を用いて、例えば同じクラスに属する画素の色が類似するように、又は異なるクラスに属する画素の色が類似しないように、行うことができる。

入力画像の各画素のクラスを推定する方法の一例として、ＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ、条件付き確率場）のような繰り返し処理を利用する場合について以下説明する。ＣＲＦは、複数のノードからなるグラフに対して、対となるノード間の類似度によるｐａｉｒｗｉｓｅ ｐｏｔｅｎｔｉａｌと、各ノードの持つｕｎａｒｙ ｐｏｔｅｎｔｉａｌを考慮して、各ノードの状態を安定した状態まで逐次推移させていく方法である。画像の画素判別にＣＲＦを使う場合は、各ノードが画像の各画素に対応するＣＲＦモデルを使うことができる。

入力画像Ｉ上の画素ｉのクラスラベルｃｉの条件付き確率は、下式で表すことができる。

ここで、右辺第一項のψはｕｎａｒｙ ｐｏｔｅｎｔｉａｌ、右辺第二項のφはｐａｉｒｗｉｓｅ ｐｏｔｅｎｔｉａｌを表す。θ_ψ及びθ_φはそれぞれのパラメータであり、後述する学習処理において算出される。ε_ｉは、画素ｉの近傍画素の集合である。ｇ_ｉｊは画素ｉと画素ｊとの相互関係を表す関数であり、Ｚは正規化項である。判定部１５００は、このモデル式に従って各画素のクラスラベルを更新していくことによって、画像全体のポテンシャルが高い状態へと判定結果を収束させていく。

ｐａｉｒｗｉｓｅ ｐｏｔｅｎｔｉａｌは下式で表すことができる。

ここで、ｘ_ｉ及びｘ_ｊはそれぞれ画素ｉ及び画素ｊの色情報であり、ＲＧＢ値を持つ３次元ベクトルで表わされる。βはユーザの定義するハイパーパラメータであって、β＝１などと設定することができる。このように、ｐａｉｒｗｉｓｅ ｐｏｔｅｎｔｉａｌは、時刻ｔにおいて違うクラスに属する画素の色が類似する場合に評価が低くなるように設定することができる。

ｕｎａｒｙ ｐｏｔｅｎｔｉａｌは下記で表すことができる。

ここでｙ_ｃ（Ｘ_ｉ）は、画素位置ｉにおけるクラスｃに関する混合状態推定値である。ｙ_ｃ（Ｘ_ｉ）は、画素位置ｉが含まれる所定領域について推定部１２００が推定した混合状態に基づいて算出することができ、例えば所定領域内における、クラスｃの面積比、エッジ画素率、又はクラスラベル配置パターン等でありうる。このように、ｕｎａｒｙ ｐｏｔｅｎｔｉａｌは、時刻ｔにおいて各画素の属性に基づいて計算される混合状態と、推定部１２００により得られた混合状態と、の類似度が大きいほど評価が高くなる。

Ｌ^ｉ _ｃ（ｔ）は、ＣＲＦに従って画素単位のクラスラベルが遷移していったときの、時刻ｔにおける、画素ｉが含まれる所定領域のクラスｃの混合状態である。Ｌ^ｉ _ｃ（ｔ）は、推定部１２００が推定する混合状態と同種の情報であり、推定部１２００が時刻ｔにおいて所定領域内の各画素について推定されているクラスを参照して算出できる。実施形態１で説明した混合状態の例に従って、以下に具体的な例を挙げる。例えば、遷移途中の時刻ｔにおいて、画素ｉが含まれる所定領域内におけるクラスラベルｃが割り当てられている画素をカウントすることにより、クラスｃの面積比ｒ（ｔ）を求めることができる。また、所定領域内におけるクラスラベルの配置に従ってエッジ画素を抽出してカウントすることにより、エッジ画素率ｅ（ｔ）を求めることができる。さらに、所定領域内におけるクラスラベルの配置を、図７に示されるマップのどれに最も近いかを判定することにより、クラスラベル配置パターンｐ（ｔ）を求めることができる。実施形態１で説明したように、Ｌ^ｉ _ｃ（ｔ）は、これら時刻ｔにおける混合状態の組み合わせによって表すこともできる。

このように、推移中の時刻ｔにおける画素レベルでのクラスラベル配置に基づいて決定された時刻ｔにおける所定領域内の混合状態と、所定領域についての混合状態推定値と、の類似度を、ｕｎａｒｙ ｐｏｔｅｎｔｉａｌとして表現することができる。具体的には、時刻ｔにおける所定領域内の混合状態と、所定領域についての混合状態推定値と、の類似度が大きいほど評価が高くなるように、ｕｎａｒｙ ｐｏｔｅｎｔｉａｌを表現することができる。

本実施形態における学習処理について、図２（Ａ）に従って説明する。ステップＳ２１００でデータ取得部２１００は、学習画像と教師データとを取得する。ステップＳ２２００で学習部２２００は、実施形態１と同様に推定器の学習を行う。また、学習部２２００は、入力画像の各画素のクラスを推定する際に用いるパラメータ（例えば上述のθ_ψ及びθ_φ）の値を決定する。学習部２２００は、複数の学習画像と、学習画像の各画素のクラスを示すクラスラベルのデータを用いて、この処理を行うことができる。クラスラベルのデータとしては、例えば、実施形態２に従って図９（Ｃ）のように作成されたものを用いることができる。本実施形態において学習部２２００は、全学習画像に対するポテンシャルが最大となるようにθ_ψ及びθ_φの値を算出することができる。すなわち、下式をそれぞれ最大化するθ_ψとθ_φの値を、勾配法等によって求めることができる。

学習部２２００は、得られたパラメータを、推定器とともに推定器記憶部５２００に格納する。本実施形態ではθ_ψ及びθ_φの値が推定器記憶部５２００に記憶され、判定部１５００によって上述のように用いられる。こうして得られた画素ごとのクラスラベルのデータは、実施形態４と同様にして、領域ごとに高画質化処理を行う場合等に利用することができる。

混合状態の推定結果を利用して画素単位のクラス判定を行う方法は、上記の方法には限定されない。例えば、実施形態２と同様に、クラスが確定している領域を用いて求められた各クラスの混合ガウス分布と、上記の混合状態の類似度と、に基づいて、画素単位のクラス判定を行うこともできる。

本実施形態に係る処理は、混合状態として、面積比、エッジ画素率、及びクラスラベル配置パターンのいずれを用いても可能であるし、利用可能な混合状態がこれらに限られるわけでもない。また、複数の表現を組み合わせて表現された混合状態を用いることにより、判定精度を向上させることができる。例えば、面積比に加えてエッジ画素率を用いることにより、建物と空との境界のように輪郭が単純な場合と、枝と空との境界のように輪郭が複雑な場合と、を区別することが可能となる。

本実施形態において、混合状態を示す情報は推定部１２００の処理により得られた。しかしながら、判定部１５００は、異なる方法により得られた混合状態を示す情報を取得し、同様の方法で各画素の属性を判定することもできる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１００：画像取得部、１２００：推定部、１３００：出力部、１４００：領域設定部、１５００：判定部、２１００：データ取得部、２２００：学習部、２３００：詳細化部

Claims (13)

1. 対象画像から特徴量を抽出する抽出手段と、
   前記特徴量に基づいて、前記対象画像における互いに異なる属性を持つ領域の混合状態を推定する推定手段と、
   前記混合状態を示す情報であって、前記対象画像における前記領域の配置を表す情報を出力する出力手段と、
   を備えることを特徴とする画像処理装置。
2. 前記領域の１つは、特定のクラスに属する被写体の領域であり、前記領域の別の１つは、前記特定のクラスとは別のクラスに属する被写体の領域であることを特徴とする、請求項１に記載の画像処理装置。
3. 前記混合状態を示す情報は、前記対象画像における前記領域の分布に依存して定まる情報であることを特徴とする、請求項１に記載の画像処理装置。
4. 対象画像から特徴量を抽出する抽出手段と、
   前記特徴量を入力されると、前記対象画像における互いに異なる属性を持つ領域の比率を表す情報を出力するように学習された推定器から出力結果を得る出力手段と、
   を備えることを特徴とする画像処理装置。
5. 入力画像と前記入力画像の撮影情報とを取得する取得手段と、
   前記撮影情報に基づいて選択された領域設定パターンに従って、前記入力画像に複数の領域を設定する設定手段と、
   前記設定された領域のそれぞれに含まれる前記入力画像の部分画像から特徴量を抽出する抽出手段と、
   前記特徴量に基づいて、前記部分画像における互いに異なる属性を持つ領域の混合状態を推定する推定手段と、
   を備えることを特徴とする画像処理装置。
6. 入力画像を取得する取得手段と、
   領域設定パターンに従って、前記入力画像に複数の領域を設定する設定手段と、
   前記設定された領域のそれぞれに含まれる前記入力画像の部分画像から特徴量を抽出する抽出手段と、
   前記特徴量に基づいて、前記部分画像における互いに異なる属性を持つ領域の混合状態を推定する推定手段と、
   前記入力画像の第１の部分にある、第１の領域設定パターンに従う大きさの第１の対象画像における混合状態に従って、前記第１の部分の混合状態を再判定するか否かを判定する判定手段と、を備え、
   再判定を行うとの判定に応じて、前記推定手段は、前記第１の部分にある、第２の領域設定パターンに従う大きさの第２の対象画像における混合状態を推定し、
   前記第２の対象画像は前記第１の対象画像よりも小さいことを特徴とする画像処理装置。
7. 入力画像を取得する取得手段と、
   領域設定パターンに従って、前記入力画像に複数の領域を設定する設定手段と、
   前記設定された領域のそれぞれに含まれる前記入力画像の部分画像から特徴量を抽出する抽出手段と、
   前記特徴量に基づいて、前記部分画像における互いに異なる属性を持つ領域の混合状態を推定する推定手段と、
   を備え、
   前記推定手段は、前記領域設定パターンに従って複数の推定器から選択された推定器を推定に用いることを特徴とする画像処理装置。
8. 推定器の学習に用いる識別画像の特徴量を抽出する抽出手段と、
   前記識別画像における互いに異なる属性を持つ領域の比率を表す情報を教師情報として取得する取得手段と、
   前記特徴量から前記比率を推定する推定器の学習を、前記識別画像の特徴量と前記教師情報との組み合わせを用いて行う学習手段と、
   を備えることを特徴とする学習装置。
9. 前記取得手段は、前記識別画像の各画素の属性を示す情報を取得し、前記各画素の属性を示す情報を用いて前記比率を表す情報を生成することにより、前記教師情報を取得することを特徴とする、請求項８に記載の学習装置。
10. 画像処理装置が行う画像処理方法であって、
    対象画像から特徴量を抽出する抽出工程と、
    前記特徴量に基づいて、前記対象画像における互いに異なる属性を持つ領域の混合状態を推定する推定工程と、
    前記混合状態を示す情報であって、前記対象画像における前記領域の配置を表す情報を出力する出力工程と、
    を有することを特徴とする画像処理方法。
11. 画像処理装置が行う画像処理方法であって、
    対象画像から特徴量を抽出する抽出工程と、
    前記特徴量を入力されると、前記対象画像における互いに異なる属性を持つ領域の比率を表す情報を出力するように学習された推定器から出力結果を得る出力工程と、
    を有することを特徴とする画像処理方法。
12. 学習装置が行う学習方法であって、
    推定器の学習に用いる識別画像の特徴量を抽出する抽出工程と、
    前記識別画像における互いに異なる属性を持つ領域の比率を表す情報を教師情報として取得する取得工程と、
    前記特徴量から前記比率を推定する推定器の学習を、前記識別画像の特徴量と前記教師情報との組み合わせを用いて行う学習工程と、
    を有することを特徴とする学習方法。
13. コンピュータを、請求項１から７のいずれか１項に記載の画像処理装置、又は請求項８若しくは９に記載の学習装置が有する各手段として動作させるためのプログラム。

Images