JP4881278B2

JP4881278B2 - 物体認識装置及びその方法

Info

Publication number: JP4881278B2
Application number: JP2007282932A
Authority: JP
Inventors: 正志西山; 秀則竹島; 達夫小坂谷; 修山口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-10-31
Filing date: 2007-10-31
Publication date: 2012-02-22
Anticipated expiration: 2027-10-31
Also published as: JP2009110349A; US8068687B2; US20090110303A1

Description

顔認識などの物体認識において、劣化した画像からぼけを表す点拡がり関数（Point Spread Function；ＰＳＦ）を推定し、この推定されたＰＳＦに基づいて画像を復元し、復元された画像を用いて物体認識を行う物体認識装置及びその方法に関する。

顔認識により、個人を識別する技術は、生体認識において重要な研究分野の一つである。個人識別の性能を低下させる大きな問題として画像に写った顔の見え方の変動がある。この見え方の変動の主な要因に、照明、姿勢、画像劣化が挙げられる。画像劣化には、低解像度、ぼけ、ノイズ、などが含まれる。ぼけは顔認識において２つの問題を引き起こす。

第１の問題は、画像の変動により、画像と本人とが類似せず、本人であるにも拘らず正しく識別されない場合である。すなわち、ＦＲＲ（False Rejection Rate）が高まる場合である。

第２の問題は、異なる人物間で画像の状態が類似し、他人と誤って識別される割合である。すなわち、ＦＡＲ（False Acceptance Rate）が高まる場合である。

これらの問題を解決するために次の二つの方法（Ｉ），（ＩＩ）が提案されている。方法（Ｉ）では、画像を擬似的にぼかすことで画像の変動を学習する。方法（ＩＩ）では、画像復元の方法でぼけを除去し識別に用いる。

方法（Ｉ）では、参照画像はぼけていないと仮定し、参照画像をぼかすことで参照データを増加させる。これによりＦＲＲを抑えることはできる。しかし、参照データが他人と類似するため、ＦＡＲが高くなる問題は残る。さらに、参照データの記憶容量が増加する問題もある。

方法（ＩＩ）では、画像復元の方法であるブラインドデコンボルーションや超解像で、ぼける以前の状態まで画像を復元し、その画像を用いて個人を識別することが一般的に考えられている。方法（ＩＩ）は参照画像がぼけている場合にも適用でき個人識別に有効である。画像復元において、ぼけによる劣化過程はＰＳＦによって表される。個人識別の性能を得るためには、劣化画像から精度よくＰＳＦを推定することが重要である。

ＰＳＦ推定のため、特許文献１では、物体輪郭上のエッジ幅を用いる方法が提案されている。ぼけていない画像のエッジは鋭くその幅は短くなり、ぼけた画像のエッジは滑らかでその幅は長くなる現象を利用する。この特許文献１では、ぼけた画像から顔領域、または、瞳を検出した後、それらの輪郭を検出する。輪郭上のエッジ断面からエッジ幅を求め、事前にぼけ画像から学習したエッジ幅のヒストグラムと比較する。
特開２００５−３３２３８２公報

しかしながら、特許文献１の方法では、画像がぼけると輪郭がはっきりしないため、顔領域や瞳の検出と比べて輪郭の検出は難しい。また、輪郭の検出結果に誤差が含まれると、エッジ断面は形状が大きく変わる。

このため、エッジ断面から求めるエッジ幅はＰＳＦを推定するための安定な特徴量とは言えないという問題点がある。また、画像にノイズが含まれる場合にもエッジ幅は不安定な特徴量となるという問題点がある。

そこで、本発明は、物体認識のために安定なＰＳＦを推定することができる物体認識装置及びその方法を提供する。

本発明は、動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出する領域獲得部と、前記物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出するベクトル生成部と、予め記憶した複数の点拡がり関数（ＰＳＦ）における各点拡がり関数を、予め記憶したぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各点拡がり関数にそれぞれ対応させて格納する格納部と、前記特徴ベクトルと、前記各クラスに属する複数枚の前記ぼけた画像とをパターン認識することにより比較して、前記特徴ベクトルと最も類似する前記クラスを求め、この最も類似する前記クラスに対応する前記点拡がり関数を一つ選択する推定部と、選択された前記点拡がり関数を用いて前記物体領域画像をぼける前の画像に復元する復元部と、前記復元された画像と前記参照画像とを比較して前記物体を識別する識別部と、を有する物体認識装置である。

本発明によれば、ノイズに頑健なＰＳＦの推定ができる。

以下、本発明の一実施形態について図面に基づいて説明する。

（１）実施形態の概念
具体的な実施形態を説明する前に、本実施形態の概念について説明する。

あるＰＳＦによってぼけた顔が写った画像の見え方は、異なる人物間で類似する。また、異なるＰＳＦによってぼけた顔が写った画像の見え方は、同一人物でも類似しない。このことから、様々なＰＳＦにより生成された画像の状態は、ＰＳＦ毎のクラスへ分類できる。本実施形態では、これらのクラスの集合を、ぼけによる見え方の変動と呼び、ＰＳＦ推定のときに利用する。

本実施形態では、劣化画像が与えられると、ぼけによる画像の変動と比較することでＰＳＦを選択的に推定し、そのＰＳＦで復元された画像を用いて個人を識別する。ぼけによる画像の変動は、次の二つの仮定（ａ１），（ａ２）をおくことで、個人識別に用いる人物以外から事前に学習する。

（ａ１）ＰＳＦが変化し得る範囲は、顔認識の使用環境に応じて仮定できる。

（ａ２）ぼけによる顔の見えの劣化は、人物に依存せず同じ傾向をもつと仮定できる。

ぼけによる画像の劣化過程は式（１）で定義される。

ここで、ｇは劣化画像ｇ（ｕ，ｖ）を表す輝度値のベクトル、または、ＲＧＢのそれぞれの輝度値のベクトル、ｕ、ｖは画像上の画素位置、ＨはＰＳＦを表す行列、ｆは原画像を表す輝度値、または、ＲＧＢのそれぞれの輝度値のベクトル、ｎはノイズを表すベクトルである。なお、ｇ、ｆは顔領域のみを含むと仮定する。

図４に本実施形態の概念図を示す。本実施形態は図４（ａ）のぼけによる見え変動の学習、図４（ｂ）の劣化画像が与えられた時の認識の二つの処理をもつ。

（１−１）学習処理
まず、図４（ａ）の学習処理について述べる。

顔認識の使用環境において、ある範囲内で連続的に変化するＰＳＦをサンプリングし、式（２）のように、Ｎ個のＰＳＦを用意する。

これにより、未知変数が大量にあるＰＳＦ推定の問題を、ｎ個のＰＳＦの中から適切なＰＳＦを選択する問題へ置き換える。ＰＳＦを選択するときに、式（３）のぼけによる画像の見え方の変動Φを用いる。

φ_ｉはＨ_ｉ∈Ωによりぼかされた見えが属するクラスとする。同一クラス内には、ＰＳＦが同じ顔の見え方が属する。各クラスは、式（４）のＭ枚のぼけていない訓練画像Ψから事前に学習する。

訓練画像は、個人識別に用いる参照画像とは異なる人物から撮影する。

（１−２）認識処理
次に、図４（ｂ）の認識処理について述べる。

ＰＳＦが未知のｇが与えられると、ｇとφ∈Φとを比較することで、ｇの見え方が属するクラスを選択する。

選択するために、ｇの見え方がどのクラスの見え方と類似するかをパターン認識の方法で計る。選択されたクラスに対するＰＳＦがｇのＨ_Ｓとなる。

（１−３）復元処理
選択されたＨ_Ｓを用いて、ぼける前の画像をｇから復元する。

（１−４）識別処理
復元された画像から個人を識別するための特徴量を算出し、各人物の参照画像と比較することで個人を同定する。

（２）顔認識装置１００
次に、本実施形態の顔認識装置１００について図１〜図３に基づいて説明する。本実施形態は、見え方の変動モデルに基づくＰＳＦ推定を用いて個人識別を行うものである。図１に顔認識装置１００の構成を示す。

顔認識装置１００は、顔領域獲得部１０１、特徴ベクトル生成部１０２、ぼけモデル格納部１０３、ＰＳＦ推定部１０４、復元部１０５、個人識別部１０６からなる。

（３）顔領域獲得部１０１
顔領域獲得部１０１は、カメラから出力された画像から顔領域を検出し、顔領域のみからなる画像ｇ（ｕ，ｖ）を獲得する（図２のステップ２０１）。

このため、例えば、顔の特徴点を検出して、３次元形状モデルにあてはめることで顔の向きと大きさを補正する。

（４）特徴ベクトル生成部１０２
特徴ベクトル生成部１０２は、ｇ（ｕ，ｖ）からぼけ量を表す特徴ベクトルｘを生成する（図２のステップ２０２）。

まず、ｇ（ｕ，ｖ）を式（５）で特徴画像ｘ（ξ´，η´）に変換する。

ここで、ｇ（ξ，η）はｇ（ｕ，ｖ）の２次元フーリエ変換、｜｜は振幅を表す。

フーリエ変換による振幅値は、各周波数成分の強度を表しており、ぼけ量を表す特徴として適切であると考えられる。

前記各周波数成分の強度の中の直流成分の振幅値は、高周波成分に比べて非常に大きな値をとるため対数変換を適用する。ダウンサンプリングは後処理の計算量削減のために用いる。

なお、フーリエ変換により位相も得られる。位相は個人性の影響が大きく個人識別には有効な特徴であるものの、ＰＳＦ推定には不必要な特徴である。

この変換した特徴画像ｘ（ξ´，η´）をラスタースキャンで特徴ベクトルｘに変換する。ＰＳＦ推定で用いる部分空間法は、ベクトルと部分空間との角度を計る方法なのでノルムを正規化する。例えば、Ｌ２ノルムを用いて||ｘ||_２＝１とする。

図３に、ぼけた状態とぼけていない状態の特徴ベクトルの波形例を示す。波形３０１は劣化画像、波形３０２はフーリエ変換，波形３０３は対数変換，波形３０４はノルム正規化を適用した後の画像断面である。実線がぼけていない状態、破線がぼけた状態を表す。波形３０１では波形がほぼ同じであるが、波形３０４ではぼけ量の違いが明確に表れる。

（５）ぼけモデル格納部１０３
ぼけモデル格納部１０３には、ＰＳＦ推定に用いる式（３）のΦが格納される。φ_ｉ∈Φを式（６）で定義する。

ここで、ｂ_ｉｊは部分空間の基底ベクトル、Ｄは部分空間の次元数を表す。

以下では、部分空間の基底ベクトルを求める方法について述べる。

まず、ぼけていない訓練画像ΨとＨ_ｉ∈Ωを用いて、式（７）で擬似的にぼけを付加する。

ここで、ｎ_ｔは訓練画像に与えるノイズを表すベクトルである。ｎ_ｔはカメラ系から事前に測定する。

次に、ｈ_ｉｋに変換する。推定性能を上げるために全訓練パターン｛ｔ_ｋ｜ｋ＝１，．．．，Ｍ｝から求めた平均特徴ベクトルをｙ_ｉｋから引いてもよい。

次に、式（８）の自己相関行列の固有値と固有ベクトルを求め、固有値の大きいものから順に選んだＤ本の固有ベクトルｂ_ｉｊとする。

（６）ＰＳＦ推定部１０４
ＰＳＦ推定部１０４では、特徴ベクトル生成部１０２から出力されたｘとぼけモデル格納部１０３のΦとを部分空間法を用いて比較し、ＰＳＦを推定する（図２のステップ２０３）。

部分空間法は、多クラスの識別問題が容易に実装でき、安定した識別性能を得ることができる。ＰＳＦが未知のｘが与えられると、式（９）でラベルｓを選択する。

ここで、ｘはｇのぼけ量を表す特徴ベクトル、θ_ｉは部分空間と特徴ベクトルがなす角度である。ｓに対応するＨｓが、ｘから推定されたＰＳＦとなる。

（７）復元部１０５
復元部１０５では、顔領域獲得部１０１から出力されたｇに対して、ＰＳＦ推定部１０４から出力されたＨｓを用いて、画像を復元する（図２のステップ２０４）。

単純にＨｓの逆行列を適用することも考えられるが、式（１）のノイズの存在は無視できない。

本実施形態では例えば、ウィーナフィルタ、もしくは、ＢＴＶ正則化を用いて画像を復元する。ＢＴＶとは、Bilateral Total Variationであり、このＢＴＶ正則化は、文献［S. Farsiu, M. D. Robinson, M. Elad,P. Milanfar, Fast and robust multiframe super resolution, IEEE Trans. Image Processing, Vol. 13, No. 10, pp. 1327 - 1344, 2004.］に記載されている。

これらの方法ではノイズの取り扱いが異なる。ウィーナフィルタに比べてＢＴＶ正則化は、ノイズ耐性は強いが計算量は多くなる。劣化画像のノイズの性質に応じて使い分けるとよい。

例えば、ウィーナフィルタにより復元された画像ａは式（１０）で求まる。

ここで、原画像の自己相関行列をＲ_ｆ、ノイズの自己相関行列をＲ_ｎとする。

原画像の自己相関行列は訓練パターンΨから推定する。

ノイズの自己相関行列はカメラ系から事前に推定する。

なお、上記説明では、顔領域獲得部１０１から出力された、３次元形状モデル向きと大きさが補正されたｇを用いた。

しかしながら、ｇではなく、カメラから出力された画像に対して同様の処理を行ってもよい。その場合、ＰＳＦ推定部１０４で推定されたＰＳＦには大きさの不定性が残る。不定性を取り除くために、例えば、顔特徴点の位置関係を用いればよい。

（８）個人識別部１０６
個人識別部１０６では、復元部１０５から出力されたａを用いて個人を識別する（図２のステップ２０５）。

例えば、最近傍決定則を用いてａと参照画像との距離を比較することで人物を決定する。他にも一般的なパターン認識の方法を用いて個人識別を行うことができる。

（９）効果
本実施形態によれば、ぼけた画像が与えられると、ぼけによる顔の見え方の変動モデルと比較することでＰＳＦを推定し、そのＰＳＦで復元された画像を用いて個人を識別する。輪郭上のエッジではなく、顔全体の見え方を用いるためＰＳＦを安定に推定できる。ぼけによる顔の見え方の変動モデルは、個人識別に用いる参照画像とは別の人物から学習できる。

また、ノイズも含めてモデルを学習することで、ノイズに頑健なＰＳＦの推定ができる。本実施形態によりぼけの影響を抑えることで、個人識別のＦＡＲ，ＦＲＲを低下させることができる。

（１０）変更例
本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

例えば、ＰＳＦ推定には部分空間法を用いたが、最近傍決定則など、他のパターン認識の方法を用いてもよい。

最近傍決定則を用いる場合を説明する。訓練画像をそれぞれのＰＳＦでぼかし、ぼけた画像の集合を生成する。ＰＳＦが未知の画像が与えられると、ぼけた画像の集合に含まれる全ての画像と類似度を計算する。類似度が最も高い画像を生成するときに用いたＰＳＦが、ＰＳＦ推定の結果となる。

また、上記実施形態では、顔による個人認識で説明したが、顔に限らず、他の物体、例えば、自動車などの認識に適用してもよい。

本発明の一実施形態の顔認識装置の構成図である。顔認識の流れを表す図である。特徴ベクトルの比較図である。本実施形態の概念図である。

符号の説明

１０１顔領域獲得部
１０２特徴ベクトル生成部
１０３ぼけモデル格納部
１０４ＰＳＦ推定部
１０５復元部
１０６個人識別部
３０１劣化画像
３０２フーリエ変換
３０３対数変換
３０４ノルム正規化

Claims

動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出する領域獲得部と、
前記物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出するベクトル生成部と、
予め記憶した複数の点拡がり関数（ＰＳＦ）における各点拡がり関数を、予め記憶したぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各点拡がり関数にそれぞれ対応させて格納する格納部と、
前記特徴ベクトルと、前記各クラスに属する複数枚の前記ぼけた画像とをパターン認識することにより比較して、前記特徴ベクトルと最も類似する前記クラスを求め、この最も類似する前記クラスに対応する前記点拡がり関数を一つ選択する推定部と、
選択された前記点拡がり関数を用いて前記物体領域画像をぼける前の画像に復元する復元部と、
前記復元された画像と前記参照画像とを比較して前記物体を識別する識別部と、
を有する物体認識装置。
前記ベクトル生成部は、
前記物体領域画像に対してフーリエ変換で振幅値を求め、前記振幅値に対数変換を適用した後に、ダウンサンプリングとノルムの正規化を行って前記特徴ベクトルを算出する、
請求項１記載の物体認識装置。
前記格納部は、前記各クラスに属する複数枚の前記ぼけた画像から生成された部分空間を、前記クラス毎に格納し、
前記推定部は、前記クラス毎の前記部分空間と前記特徴ベクトルとを部分空間法により比較する、
請求項１記載の物体認識装置。
前記領域獲得部は、
前記劣化画像から前記物体領域の前記特徴点を検出し、前記特徴点を平均物体領域形状にあてはめることで前記物体領域画像を獲得する、
請求項１記載の物体認識装置。
動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出する領域獲得ステップと、
前記物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出するベクトル生成ステップと、
予め記憶した複数の点拡がり関数（ＰＳＦ）における各点拡がり関数を、予め記憶したぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各点拡がり関数にそれぞれ対応させて格納する格納ステップと、
前記特徴ベクトルと、前記各クラスに属する複数枚の前記ぼけた画像とをパターン認識することにより比較して、前記特徴ベクトルと最も類似する前記クラスを求め、この最も類似する前記クラスに対応する前記点拡がり関数を一つ選択する推定ステップと、
選択された前記点拡がり関数を用いて前記物体領域画像をぼける前の画像に復元する復元ステップと、
前記復元された画像と前記参照画像とを比較して前記物体を識別する識別ステップと、
を有する物体認識方法。
前記ベクトル生成ステップは、
前記物体領域画像に対してフーリエ変換で振幅値を求め、前記振幅値に対数変換を適用した後に、ダウンサンプリングとノルムの正規化を行って前記特徴ベクトルを算出する、
請求項５記載の物体認識方法。
前記格納ステップは、前記各クラスに属する複数枚の前記ぼけた画像から生成された部分空間を、前記クラス毎に格納し、
前記推定ステップは、前記クラス毎の前記部分空間と前記特徴ベクトルとを部分空間法により比較する、
請求項５記載の物体認識方法。
前記領域獲得ステップは、
前記劣化画像から前記物体領域の前記特徴点を検出し、前記特徴点を平均物体領域形状にあてはめることで前記物体領域画像を獲得する、
請求項５記載の物体認識方法。