JP5913940B2 - 画像認識装置、画像認識装置の制御方法、およびプログラム - Google Patents

Description

本発明は、画像認識装置、画像認識装置の制御方法、およびプログラムに関する。

従来から、人物の顔を含む画像から顔の領域を抽出し、抽出した顔の領域を解析して顔の表情を認識する技術が知られている。このような技術を撮像装置に応用することにより、撮像装置に写った人物が笑顔になったタイミングで顔画像を記録したり、人物の視線がカメラ目線になったタイミングで顔画像を記録したりすることが可能になる。

非特許文献１では、輝度画像から抽出したローカル・バイナリ・パターン（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ；ＬＢＰ）からヒストグラムを生成し、このＬＢＰヒストグラムを利用して、顔の表情を認識する技術が提案されている。非特許文献１の技術はヒストグラム特徴を用いることによって画像中の物体の位置ずれを吸収し、ロバスト性を向上させようとしたものである。

C. Shan and T. Gritti, "Learning Discriminative LBP-Histogram Bins For Facial Expression Recognition", In Proc. British Machine Vision. Conference, 2008 P. Viola, M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", in Proc. Of CVPR, vol.1, pp.511-518, December, 2001 Timothy F. Cootes, Gareth J. Edwards, and Christopher J. Taylor, "Active Appearance Models", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No.6, JUNE 2001 V. Vapnik. "Statistical Learning Theory", John Wiley & Sons, 1998 Dalal and Triggs, "Histograms of Oriented Gradients for Human Detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2005 P.Ekman and W.V.Friesen, Facial Action Coding System(FACS): Manual, Palo Alto:Consulting Psychologists Press, 1978 S. Liao, W. Fan, A. Chung, and D. Yeung. Facial expression recognition using advanced local binary patterns, tsallis entropies and global appearance features. Proc. of the IEEE International Conference on Image Processing (ICIP), pages 665--668, 2006

しかしながら、ヒストグラム特徴は一般的に特徴の次元が大きく、特徴の次元が大きくなれば、識別器での処理負荷も大きくなるという問題がある。特徴としてＬＢＰヒストグラム、或いは輝度勾配ヒストグラムを利用する場合、ヒストグラムのビン数が多くなるほど、生成される特徴の次元が大きくなり、識別器での処理負荷が大きくなる。また、ノイズに影響され易いビンは、誤認識の原因になる可能性がある。

上記の課題に鑑み、本発明は、画像認識処理の高精度化および高速化を実現することを目的とする。

上記の目的を達成する本発明に係る画像認識装置は、
画像を取得する画像取得手段と、
前記画像において少なくとも１つの局所領域を設定する領域設定手段と、
前記局所領域から特徴パターンを抽出する特徴抽出手段と、
前記特徴パターンを構成する複数のパターンのそれぞれに対応する複数のビンのうち、前記局所領域の種類に応じて予め定められたビンをヒストグラムの生成に使用するヒストグラムビンとして設定する設定手段と、
前記設定されたヒストグラムビンを使用してヒストグラムを生成する生成手段と、
前記ヒストグラムを用いて画像認識を行う認識手段と、
を備えることを特徴とする。

本発明によれば、画像認識処理の高精度化および高速化を実現することが可能となる。

第１実施形態に係る画像認識装置の全体構成を示す図。 第１実施形態に係る画像認識装置の処理の手順を示すフローチャート。 画像から検出される左右の目、顔、口の重心位置、正規化画像の例を示す図。 笑顔の表情を認識するために必要な口の特徴抽出領域を示す図。 ＬＢＰの符号化例を示す図。 ＬＢＰ符号化後の２進値および１０進値を示す図。 笑顔の表情を認識するために重要となるＬＢＰを示す図。 認識対象及び特徴抽出領域に応じて設定されるビン番号とＬＢＰを示す図。 笑顔の表情を認識するために設定された口の詳細分割領域におけるヒストグラム生成を示す図。 第２実施形態に係る画像認識装置の全体構成を示す図。 第２実施形態に係る画像認識装置の処理の手順を示すフローチャート。 より細かな特徴点検出結果例を示す図。 視線認識に必要な顔の特徴抽出領域を示す図。 顔の向きを認識するために重要となる顔の輪郭エッジと勾配の方向を示す図。 認識対象及び特徴抽出領域に応じて設定されるビン番号と方向範囲とを示す図。 視線認識に必要な目の特徴抽出領域を示す図。 目の向きを認識するために重要となる瞳の輪郭エッジと勾配の方向とを示す図。 特徴ベクトルを生成する際に使用するヒストグラムと使用しないヒストグラムとを示す図。 年齢及び性別推定に必要な特徴抽出領域を示す図。 年齢及び性別推定で使用する特徴抽出領域に応じて設定されるビン番号とＬＢＰとを示す図。 画像認識処理の際に使用するヒストグラムのビンを、統計量に基づいて決定するヒストグラムビン決定部を備えた画像認識装置の全体構成を示す図。 統計量に基づいたＬＢＰと、そのビット数とを決定する処理の手順を示すフローチャート。 顔内部のある領域に対する統計量と、ＬＢＰとして採用するか否かを決定するための閾値とを示す図。 上位３ビットが同じ値のＬＢＰを示す図。

（第１実施形態）
第１実施形態では、認識する対象を人物の顔の表情属性とし、所定の表情を認識した場合に自働撮影を実施し、メモリなどに画像を記録する例について説明する。

まず図１を参照して、第１実施形態に係る画像認識装置１０の全体構成を説明する。画像認識装置１０は、画像取得部１００と、顔検出部１１０と、画像正規化部１２０と、領域設定部１３０と、特徴抽出部１４０と、ヒストグラムビン設定部１５０と、ヒストグラム生成部１６０と、ヒストグラム連結部１７０と、表情認識部１８０と、パラメータ記憶部１９０とを備える。これらの各処理部は、不図示のＣＰＵによりその動作を制御される。

画像取得部１００は、レンズなどの集光素子、光を電気信号に変換するＣＭＯＳやＣＣＤなどの撮像素子、アナログ信号をデジタル信号に変換するＡＤ変換器を通過することによって、デジタル画像を取得する。また、間引き処理等を行うことによって、低解像度画像にも変換可能である。例えば、ＶＧＡ（６４０×４８０[ｐｉｘｅｌ]）やＱＶＧＡ(３２０×２４０[ｐｉｘｅｌ])に変換した画像を取得することも可能である。

顔検出部１１０は、画像取得部１００により取得された画像に対して顔検出処理を実行する。本実施形態では、非特許文献２に開示される顔検出処理技術を使用する。画像正規化部１２０は、検出された顔の大きさが所定のサイズで、かつ顔の向きが正立するように、顔領域の切り出しとアフィン変換を行い、正規化画像を生成する。

領域設定部１３０は、画像正規化部１２０により生成された正規化画像に対して、検出された顔の複数の特徴点を使用して複数の局所領域を設定する。なお、より正確に局所領域を設定するために、更に非特許文献３のような技術を使用して、より細かな特徴点を抽出し、当該特徴点に基づいて局所領域を設定するようにしてもよい。

特徴抽出部１４０は、領域設定部１３０により設定された複数の領域のそれぞれから、非特許文献１のようにローカル・バイナリ・パターン（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ；ＬＢＰ）特徴を抽出する。

ヒストグラムビン設定部１５０は、ＬＢＰ特徴（特徴パターン）を構成する複数のパターンのそれぞれに対応する複数のビンのうち、局所領域の種類に応じて予め定められたビンをヒストグラムの生成に使用するビンとして設定する。ヒストグラムビン設定部１５０による設定処理の詳細については後述する。ヒストグラム生成部１６０は、領域設定部１３０により設定された局所領域に対して、ヒストグラムビン設定部１５０により設定されたヒストグラムビンと、特徴抽出部１４０により抽出されたＬＢＰ画像とを使用して、ヒストグラムを生成する。ヒストグラム連結部１７０は、ヒストグラム生成部１６０により生成されたすべてのヒストグラムの連結処理を行い、１つの特徴ベクトルを生成する。

表情認識部１８０は、ヒストグラム連結部１７０により生成された特徴ベクトルを使用して、表情認識を行う。

パラメータ記憶部１９０は、統計量を採取することによって予め決定される、顔内部の領域に応じて使用すべきＬＢＰ特徴を構成するビンと、ビン番号とをペアにしてパラメータとして記憶している。ヒストグラムビン設定部１５０は、このパラメータ記憶部１９０に記憶されている情報に基づいて、ヒストグラムを生成するために必要なビンとして設定する処理を行う。

次に、図２のフローチャートを参照して、本実施形態に係る画像認識装置１０の処理の手順を説明する。

ステップＳ１０００において、画像取得部１００は、画像データを取得する。ステップＳ１１００において、顔検出部１１０は、ステップＳ１０００で取得した画像に対して顔検出処理を実行する。ステップＳ１１００での顔検出処理により、例えば図３の左側に示されるような左右の眼の中心座標（ｘ，ｙ）１１１０、１１１１と、顔の中心座標（ｘ，ｙ）１１１２、口の中心座標（ｘ，ｙ）１１１３を取得することができる。

ステップＳ１２００において、顔検出部１１０は、顔が検出されたか否かを判定する。顔が検出されたと判定された場合（Ｓ１２００；ＹＥＳ）、ステップＳ１３００へ進む。一方、顔が検出されていないと判定された場合（Ｓ１２００；ＮＯ）、ステップＳ１０００へ戻る。ステップＳ１３００において、顔検出部１１０は、検出された複数の顔の中から１つの顔を選択する。

ステップＳ１４００において、画像正規化部１２０は、ステップＳ１１００で得られた図３の顔の中心座標（ｘ，ｙ）１１１２と、左右の眼の中心座標（ｘ，ｙ）１１１０、１１１１とを使用して、顔の大きさが所定のサイズとなり、かつ顔の向きが正立するように、顔領域の切り出しとアフィン変換とを行い、正規化画像１１１４を生成する。例えば、左右の眼の中心座標（ｘ，ｙ）１１１０、１１１１から２点間の距離と傾きを算出し、夫々アフィン変換におけるスケーリング、回転量として使用すればよい。

ステップＳ１５００において、領域設定部１３０は、ステップＳ１４００で生成した正規化画像１１１４に対して、ステップＳ１１００で検出した図３の顔の中心座標（ｘ，ｙ）１１１２と、左右の眼の中心座標（ｘ，ｙ）１１１０、１１１１と、口の中心座標（ｘ,ｙ）１１１３とを使用して、複数の局所領域を設定する。

例えば、表情の一例である笑顔を検出する場合には、目や口の形状、頬のシワを捉えることが非常に重要となる。そのため、図４に示されるように、顔の中心座標（ｘ，ｙ）１１１２と、左右の眼の中心座標（ｘ，ｙ）１１１０、１１１１、口の中心座標（ｘ，ｙ）１１１３を使用して、複数の局所領域１１１６、局所領域１１１７、局所領域１１１８を設定する。局所領域１１１６は、眼に関する局所領域である。局所領域１１１７は、頬に関する局所領域である。局所領域１１１８は、口に関する局所領域である。また、笑顔以外の様々な顔の表情を検出する場合には、非特許文献６に開示される技術を用いて、顔内部の動きに対応する局所領域を設定するようにしてもよい。

ステップＳ１６００において、特徴抽出部１４０は、ステップＳ１５００で設定された局所領域１１１６乃至局所領域１１１８のそれぞれに対して、非特許文献１のようにローカル・バイナリ・パターン（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ；ＬＢＰ）特徴を抽出する。なお、ＬＢＰ特徴を抽出する基本的な方法は、注目画素と、注目画素に近接する８近傍の画素値を夫々大小比較する方式である。この他にも、非特許文献７に記載のように注目画素から所定画素離れた画素値を使用する方法など、ＬＢＰ特徴を抽出する様々な方法が存在するが、何れの手法を使用しても構わない。本実施形態では、中央画素に近接する８近傍の画素値を夫々大小比較する基本的な方式を使用する。まずは、中央画素と周囲８近傍の画素値の夫々とを大小比較することで２値符号化処理を行う。つまり、図５（ａ）および（ｂ）に示されるように、中央画素の周囲８近傍のうち、ある画素値が中央画素の画素値以上であれば１、そうでなければ０とする。図５（ａ）では、左上の画素値が４であり、中央画素の画素値が５であるため、２値符号化処理の結果は０となる。図５（ｂ）では、左上の画素値が６であり、中央画素の画素値が５であるため、２値符号化処理の結果は１となる。この操作を周囲８画素のそれぞれに対して行う。そして、図６のように、所定画素を最上位ビットとして、周囲８近傍の値を連結することで、８ビットの２進値を作成する。なお、どの画素値を最上位ビットとして設定しても構わないが、図６の例では、中央画素の左上の画素を最上位ビットとして時計回りに値を連結している。このような処理を実施することで、ＬＢＰ特徴を抽出することができる。図６の例では、２進値は、０００１１１１０であり、１０進値は３０である。

ステップＳ１７００において、ヒストグラムビン設定部１５０は、ＬＢＰ特徴を構成する複数のパターンのそれぞれに対応する複数のビンのうち、局所領域の種類に応じて予め定められたビンをヒストグラムの生成に使用するビンとして設定する。以下では、ステップＳ１７００におけるビンの設定方法について説明する。

ステップＳ１６００で抽出したＬＢＰ特徴は８ビットである。そのため、ＬＢＰの特徴パターンとしては０から２５５までの２５６通り出現する。そのため、８ビットすべてのＬＢＰの特徴パターンをヒストグラムに使用する場合には２５６通りのヒストグラムビンが必要になる。

しかし、先に述べたように、笑顔を検出する場合には、目や口の形状、頬のシワを捉えることが非常に重要である。例えば、図４において口の形状を捉える局所領域１１１８では、図７に示されるような水平方向のエッジ１１１９や斜め方向のエッジ１１２０、１１２１が重要である。そのため、口の形状を捉える局所領域１１１８では、８ビットのすべてのＬＢＰ特徴を使用してヒストグラムを生成するのではなくて、図７に示される５つのＬＢＰ特徴だけに限定する。目や頬のシワに対しても同様に、笑顔を検出するために重要となるＬＢＰ特徴だけを使用して、ヒストグラムを生成する。図８は、認識対象を笑顔とし、ヒストグラムを生成する顔内部の領域に応じたＬＢＰ特徴を表として表現したものである。図７の斜め方向のエッジ１１２０のＬＢＰ特徴１０００１１１１および０００００１１１は、双方とも斜めエッジを表わすパターンであり、ほぼ同一の特徴と考えても良い。そのため、本実施形態では、ＬＢＰ特徴１０００１１１１と０００００１１１とを同一のビンに加算するようにしている。但し、別々のビンに設定するようにしても良く、これに限らない。

このように、認識対象やヒストグラムを生成する顔内部の領域に応じて、ヒストグラムのビンを限定することで、ヒストグラムのビン数を削減することができる。ヒストグラムビン数の削減は、ヒストグラムによって生成される特徴ベクトルの次元を削減することが可能となり、ヒストグラム生成処理よりも後段で行われる処理負荷を軽減することが可能となる。

なお、認識対象やヒストグラムを生成する顔内部の領域に応じて使用するＬＢＰ特徴は、予め統計量を採取することによって決定する。例えば、笑顔を認識する場合には、予め収集した多数の笑顔画像において、その領域での出現頻度が閾値より高い特徴パターンに対応するビンを設定するようにする。このように予め認識処理に効果のあるビンを統計量に基づいて設定することにより、ノイズに影響され易い誤認識の原因になるビンの影響を回避することもできるので、精度向上にも効果がある。

このように統計量から決定したＬＢＰの特徴パターンは、ビン番号とペアにしてパラメータ記憶部１９０にパラメータとして記憶しておく。そして、実際に画像認識処理を行う際に、ステップＳ１７００のヒストグラムビン設定処理において、認識対象やヒストグラムを生成する顔内部の領域に応じて、パラメータ記憶部１９０に記憶されたパラメータを読み込むことで、ヒストグラムビンが設定される。

笑顔以外の表情、例えば驚きの表情を認識したい場合には、既に説明した笑顔特有のＬＢＰ特徴に加えて、驚きの表情に特有のＬＢＰ特徴を予め記憶しておくようにすれば良い。例えば、驚きの表情の際には、口は縦方向に開くので、縦方向のエッジを表現するＬＢＰ特徴を記憶する。

ステップ１８００において、ヒストグラム生成部１６０は、ステップＳ１５００で設定された局所領域に対して、ステップＳ１７００で設定されたヒストグラムビンと、ステップＳ１６００で抽出されたＬＢＰ画像とを使用して、図９（ａ）に示されるようなヒストグラムを生成する。

なお、表情の微妙な変化を捉えるために、ステップＳ１５００で設定された局所領域をさらに複数のブロックに領域分割し、図９（ｂ）に示されるように、より細かい領域でヒストグラム生成を行うようにしても良い。但し、領域が増加すると、ヒストグラムビンの総数も比例して増加するので、本実施形態で説明するような方法でヒストグラムビンを削減することによって、精度を向上させつつ後段の処理負荷を軽減させることが可能となる。

設定されたヒストグラムビンに該当しないＬＢＰ特徴のパターンに対しては、そのまま廃棄してもよく、もしくは、ステップＳ１７００で設定されたヒストグラムビンの他にもう１つのビンを用意し、そのビンに加算してもよい。

ステップＳ１９００において、ヒストグラム生成部１６０は、ステップＳ１５００で設定された顔内部のすべての局所領域に対してヒストグラム生成処理を実施したか否かを判定する。顔内部のすべての領域に対してヒストグラムを生成したと判定された場合（Ｓ１９００；ＹＥＳ）、ステップＳ２０００へ進む。一方、顔内部のすべての領域に対してヒストグラムを生成していないと判定された場合（Ｓ１９００；ＮＯ）、ステップＳ１５００へ戻り、認識対象に必要な新たな領域を設定する。

ステップＳ２０００において、ヒストグラム連結部１７０は、ステップＳ１８００で生成したすべてのヒストグラムの連結処理を行い、１つの特徴ベクトルを生成する。なお、目や口などの夫々の領域から生成したヒストグラムの連結方法は、そのまま単純に連結処理をするのではなく、夫々の領域毎にヒストグラムを正規化した上で連結処理をするようにしても良い。更に、複数枚のフレーム画像から生成した特徴ベクトルを連結するようにしても良い。

ステップＳ２１００において、表情認識部１８０は、ステップＳ２０００で生成した特徴ベクトルを使用して、表情認識を行う。ここでは、例えば、非特許文献４のＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）のような予め学習可能な表情認識器を用意しておく。つまり、笑顔の表情を認識する場合には、笑顔とそれ以外の特徴ベクトル群を使用して予め学習しておくようにする。非特許文献４のような技術を利用して、表情認識器を構成する場合、表情認識器の内部で実施される処理は、内積演算である。そのため、ステップＳ２０００で生成される特徴ベクトルの次元数を小さくすれば、表情認識器における処理負荷を小さくすることが可能となる。更に、ステップＳ２０００で生成される特徴ベクトルに対して、ステップＳ２１００の処理の前段にＰＣＡ（主成分分析）などによる次元削減処理を実施した場合でも、基本的には内積演算であるので、処理負荷を小さくすることが可能となる。

笑顔だけではなくて、複数の表情の中から１つの表情を認識する場合には、夫々の表情を認識する表情認識器を用意しておき、Ｔｒｅｅ構造のように配置することによっても対応可能である。また、特徴ベクトルを複数の表情認識器に入力し、出力の最も高い表情認識器に対応する表情を、その時の表情として認識するようにしても良い。このように１つの認識器だけではなく、複数の認識器を構成する場合にも、処理負荷を大幅に削減することが可能となる。

ステップＳ２２００において、顔検出部１１０は、ステップＳ１１００で検出したすべての顔に対して処理が実行されたか否かを判定する。すべての顔に対して処理が実行されたと判定された場合（Ｓ２２００；ＹＥＳ）、処理を終了する。一方、すべての顔に対して処理が実行されていないと判定された場合（Ｓ２２００；ＮＯ）、ステップＳ１３００へ戻り、顔検出部１１０は、処理が実行されていない顔を選択する。そして当該顔に対して以降同様の処理が実行される。

以上、認識対象やヒストグラムを生成する顔内部の領域に応じて、ＬＢＰ特徴から生成されるヒストグラムのビン数を削減する方法について説明した。これにより、ヒストグラムによって生成される特徴ベクトルの次元を削減することが可能となり、ヒストグラム生成処理よりも後段で行われる処理負荷を軽減することが可能となる。

また、本実施形態のように予め認識に効果のあるビンを統計量に基づいて設定することは、処理負荷の軽減のみでなく、ノイズに影響され易い誤認識の原因になるビンの影響を回避することができるので、精度向上にも効果がある。

なお、本実施形態では、ステップＳ１６００で抽出する特徴として、ＬＢＰ特徴を利用しているが、非特許文献５のように輝度勾配強度を縦軸、輝度勾配方向を横軸としたヒストグラム、更には色など様々な特徴から生成したヒストグラム、またはこれらの組み合わせであってもよい。

また、認識対象についても本実施形態では笑顔などの表情としたが、顔の視線方向、年齢、性別、人種などの属性の推定、更には物体の位置検出に対して適用可能である。また、非特許文献５のように画像からの人体の検出に応用してもよい。

本実施形態によれば、ヒストグラムのビン数削減により、画像認識処理の高速化を実現することが可能となる。また、ノイズに影響され易い誤認識の原因になるビンの影響を回避することができるので、精度向上にも効果がある。

（第２実施形態）
第２実施形態では、第１実施形態とは異なり、認識する対象を視線属性とし、視線がカメラ方向を向いた場合に、自働撮影を実施し、メモリなどに画像を記録する例について説明する。

まず図１０を参照して、第２実施形態に係る画像認識装置２０の全体構成を説明する。画像認識装置２０は、認識内容選択部２００と、画像取得部２１０と、顔検出部２２０と、画像正規化部２３０と、特徴点検出部２４０と、領域設定部２５０と、特徴抽出部２６０と、ヒストグラムビン設定部２７０と、ヒストグラム生成部２８０と、ヒストグラム連結部２９０と、視線認識部３００と、パラメータ記憶部３１０とを備える。これらの各処理部は、不図示のＣＰＵによりその動作を制御される。

認識内容選択部２００は、認識の種類の選択をユーザから受付けることによって、自働撮影を実施する条件設定を行う。画像取得部２１０は、画像取得部１００は、第１実施形態と同様に画像データを取得する。顔検出部２２０は、第１実施形態と同様に画像取得部２１０により取得された画像に対して顔検出処理を実行する。画像正規化部２３０は、第１実施形態と同様に、顔検出部２２０により検出された画像から正規化画像を生成する。特徴点検出部２４０は、画像正規化部２３０により生成された正規化画像を利用して目尻や目頭などのより細かな特徴点の検出を行う。

領域設定部２５０は、人物の視線を認識するために必要な特徴抽出領域の設定を行う。特徴抽出部２６０は、領域設定部２５０により設定された顔全体領域の画像に対して、第１実施形態と同様にＬＢＰ特徴を抽出する。ヒストグラムビン設定部２７０は、第１実施形態と同様に、ヒストグラムを生成するために必要なビンの設定を行う。ヒストグラム生成部２８０は、特徴抽出部２６０により抽出されたＬＢＰ特徴と、ヒストグラムビン設定部２７０により設定されたヒストグラムビンとに基づいて、ヒストグラムを生成する。ヒストグラム連結部２９０は、ヒストグラム生成部２８０により生成された、人物の顔の向きを表わすヒストグラムと、目の向きを表わすヒストグラムとを連結して、特徴ベクトルを生成する。視線認識部３００は、人物の視線がカメラ方向を向いているか否かの２値判別処理により、視線を認識する。パラメータ記憶部３１０は、顔の輪郭のエッジに相当するＬＢＰ特徴等、視線を認識するために必要なＬＢＰ特徴を局所領域ごとに予め記憶している。

次に、図１１のフローチャートを参照して、本実施形態に係る画像認識装置２０の処理の手順を説明する。

ステップＳ３０００において、認識内容選択部２００は、認識対象の選択を受付けることによって、自働撮影を実施する条件設定を行う。本実施形態では笑顔と視線のいずれかを選択可能であり、例えば、視線認識を選択することで、人物の顔の視線がカメラ方向を向いている場合には、自働撮影を実施するように設定する。

ステップＳ３１００において、画像認識装置２０は、自働撮影モードを開始するか否かを判定する。例えば、シャッターボタンが半押し状態となった場合に自働撮影モードが開始される。自働撮影モードを開始すると判定された場合（Ｓ３１００；ＹＥＳ）、Ｓ３２００へ進む。一方、自働撮影モードを開始しないと判定された場合（Ｓ３１００；ＮＯ）、Ｓ３０００へ戻る。

ステップＳ３２００乃至ステップＳ３５００までの各処理は、第１実施形態のステップＳ１０００乃至ステップＳ１３００までの各処理と同様であるため説明を省略する。

ステップＳ３６００において、画像正規化部２３０は、第１実施形態と同様に正規化画像を生成する。ここでは、特徴点検出部２４０が使用するための正規化画像を生成する。ステップＳ３７００において、特徴点検出部２４０は、ステップＳ３６００で生成した正規化画像を利用して、図１２に示されるように、目尻や目頭などのより細かな特徴点の検出を行う。特徴点検出方法は、第１実施形態で述べたような手法など様々な手法があり、どの手法を用いても構わないが、ここでは、夫々の特徴点を検出するテンプレートを用意しておき、テンプレートマッチングにより検出する手法を使用する。

ステップＳ３８００において、画像正規化部２３０は、ステップＳ３７００で検出した特徴点を利用して、顔の大きさが所定のサイズになるようにアフィン変換を実施し、特徴抽出に使用する正規化画像を生成する。

人物の視線認識では、顔の向きと目の向きとから総合して、その人物がどこを見ているかを認識する。そのため、本実施形態では、人物の顔の向きを表わす特徴と、目の向きを表わす特徴とを抽出するが、まずは、図１３に示されるような、顔の向きを表わす特徴を抽出するための正規化画像２０００を生成する。顔の向きは、画像中における移動量が比較的大きいので、低解像度の正規化画像を生成する。

ステップＳ３９００において、領域設定部２５０は、人物の視線を認識するために必要な特徴抽出領域の設定を行う。例えば、ステップＳ３３００で検出した左右の目、顔、口の中心位置、もしくはステップＳ３７００で検出した特徴点を利用して、正規化画像２０００に対して、顔全体領域を設定する。

ステップＳ４０００において、特徴抽出部２６０は、ステップＳ３９００で生成した顔全体領域の正規化画像２０００に対して、第１実施形態と同様にＬＢＰ特徴を抽出する。なお、非特許文献５のように、輝度勾配方向と強度とを算出するような特徴（ＨＯＧ）でも構わない。

ステップＳ４１００において、ヒストグラムビン設定部２７０は、ステップＳ３９００で生成した顔全体領域の正規化画像２０００に対応するヒストグラムビンを、認識内容選択部２００で選択した認識内容に応じて、パラメータ記憶部３１０に記憶されているヒストグラムビン情報に基づいて選択する。

人物の顔の向きを認識するためには、図１４に示されるように顔の輪郭の位置を捉えることが重要である。パラメータ記憶部３１０には、図１４のように顔の輪郭のエッジに相当するＬＰＢ特徴が記憶されている。但し、非特許文献５のように、輝度勾配方向と強度とを算出するような特徴（ＨＯＧ）では、１つ１つのヒストグラムビンは、３０度―４５度、８０度−１００度、１３５度−１５０度というように幅として設定する。

また、図６に示されるように８近傍すべての画素値を使用し、８ビットのＬＢＰを生成するのではなくて、５ビット、６ビットというように、ＬＢＰのビットに対しても限定するようにしても良い。例えば、顔の輪郭に対しては、図１５に示されるように、顔の輪郭を捉えるために必要最小限の５近傍の画像値を使用する方法でも構わない。

ステップＳ４２００において、ヒストグラム生成部２８０は、ステップＳ４０００で算出したＬＢＰ特徴と、ステップＳ４１００で設定されたヒストグラムビンとに基づいて、ヒストグラムを生成する。

ステップＳ４３００において、ヒストグラム生成部２８０は、すべての領域に対してヒストグラムを生成したか否かを判定する。すべての領域に対してヒストグラムを生成したと判定された場合（Ｓ４３００；ＹＥＳ）、ステップＳ４４００へ進む。一方、すべての領域に対してヒストグラムを生成していないと判定された場合（Ｓ４３００；ＮＯ）、ステップＳ３６００へ戻る。ここまでの処理では、複数の領域のうち、人物の顔の向きを表わすヒストグラムしか生成していないので、ステップＳ３６００に戻って、目の向きを表わすヒストグラム生成について説明する。

再び、ステップＳ３６００において、画像正規化部２３０は、ステップＳ３３００で検出した左右の目、顔、口の中心位置、もしくは、顔の向きを表わす特徴を抽出する際に検出した特徴点を利用して、ステップＳ３２００で取得した画像から正規化画像を生成する。目（瞳）の動きは、画像中では微小であるため、目（瞳）の動きを敏感に捉えるために、高解像度の正規化画像を生成する。

ステップＳ３７００において、特徴点検出部２４０は、ステップＳ３６００で生成した高解像度の正規化画像を利用して、図１２に示されるように、目尻や目頭などのより細かな特徴点の検出を行う。高解像度の正規化画像に対して再度特徴点を検出することで、より高精度な特徴点検出結果が得られる。但し、処理負荷を軽減するために、高解像度の正規化画像に対して特徴点検出を行わなくても良い。

ステップＳ３８００において、画像正規化部２３０は、ステップＳ３７００で検出したより高精度な特徴点を利用して、再度、正規化画像を生成する。もし、ステップＳ３７００で特徴点検出を実施しない場合には、ステップＳ３８００で正規化画像を再度生成する必要はない。

ステップＳ３９００において、領域設定部２５０は、ステップＳ３６００もしくはステップＳ３８００で生成した正規化画像に対して、図１６に示されるように特徴抽出領域の設定を行う。図１６の例では、特徴抽出領域として目領域の２００１、２００２が設定されている。

ステップＳ４０００において、特徴抽出部２６０は、目領域の画像２００１、２００２に対して、ＬＢＰ特徴を算出する。

ステップＳ４１００において、ヒストグラムビン設定部２７０は、ヒストグラムを生成するために必要なビンの設定を行う。具体的には、ヒストグラムビン設定部２７０は、ステップＳ３９００で設定された目領域に対応するヒストグラムビンを設定する。人物の目の向きを認識するためには、瞳の位置を捉えることが重要である。そのため、本実施形態における人物の目領域に対しては、図１７に示されるように瞳の輪郭を捉えるバイナリーパターンをビンとして設定する。

ステップＳ４２００において、ヒストグラム生成部２８０は、ステップＳ４０００で抽出したＬＢＰ特徴と、ステップＳ４１００で設定されたヒストグラムビンとに基づいて、ヒストグラムを生成する。

ステップＳ４３００において、ヒストグラム生成部２８０は、すべての領域に対してヒストグラムを生成したか否かを判定する。ここまでの説明では、人物の顔の向きと目の向きとを表わすヒストグラムが生成されたので、すべての領域に対してヒストグラムを生成したと判定され（Ｓ４３００；ＹＥＳ）、ステップＳ４４００へ進む。

ステップＳ４４００において、ヒストグラム連結部２９０は、ステップＳ４２００で生成した人物の顔の向きを表わすヒストグラムと、目の向きを表わすヒストグラムとを連結して、特徴ベクトルを生成する。なお、ステップＳ４５００へ進む前に、主成分分析などの次元削減を実施するようにしても良い。

ステップＳ４５００において、視線認識部３００は、第１実施形態と同様の識別器を用いることによって視線認識を行う。なお、本実施形態では、人物の視線がカメラ方向を向いているか否かの２値判別処理を実施する。そのため、視線認識結果は、人物の視線がカメラ方向を向いているか否かの２値判別結果となる。

ステップＳ４６００において、顔検出部２２０は、ステップＳ３３００で検出したすべての顔に対して処理が実行されたか否かを判定する。すべての顔に対して処理が実行されたと判定された場合（Ｓ４６００；ＹＥＳ）、ステップＳ４７００へ進む。一方、すべての顔に対して処理が実行されていないと判定された場合（Ｓ４６００；ＮＯ）、ステップＳ３５００へ戻り、顔検出部２２０は、処理が実行されていない顔を選択する。そして当該顔に対して以降同様の処理が実行される。ステップＳ４７００において、画像認識装置２０は、ステップＳ４５００での視線認識結果に基づいて撮影を実施するか否かを判定する。撮影を実施すると判定された場合（Ｓ４７００；ＹＥＳ）、ステップＳ４８００へ進む。一方、撮影を実施しないと判定された場合（Ｓ４７００；ＮＯ）、ステップＳ３２００へ戻り、次の画像を取得する。

ステップＳ４８００において、不図示の撮像部は、撮影処理を行い、撮影画像を所定の不揮発性メモリなどに記憶して処理を終了する。

以上、認識対象やヒストグラムを生成する顔内部の領域に応じて、輝度勾配方向と強度とから生成されるヒストグラムにおけるビン数を削減する方法について説明した。これにより、ヒストグラムによって生成される特徴ベクトルの次元を削減することが可能となり、ヒストグラム生成処理よりも後段で行われる処理負荷を軽減することが可能となる。

なお、第１実施形態、第２実施形態では、ヒストグラムを生成する際に使用されるビンを限定して設定するようにした。しかし、ＬＢＰ値の全パターンのビンを用意しておき、図１８のように特徴ベクトルを生成する際に使用するＬＢＰ値に対応するビンを選択することで特徴ベクトルの次元を削減するようにしても良い。

（第３実施形態）
第３実施形態では、年齢や性別の属性を推定する点が第１実施形態と異なる。本実施形態に係る画像認識装置の全体構成は第１実施形態と同様である。以下では、第１実施形態で説明したヒストグラムビン設定処理の変形例について説明する。

図１９は、年齢や性別を推定する際に、領域設定部１３０により設定される領域を示している。人は年齢を重ねるにつれて、一般的に顔の局所領域にシワなどが発生する。また、男性と女性とでは、特に顔の輪郭に違いが生じる。そのため、年齢や性別を推定するためには、目尻のシワ領域３００１、下瞼付近のシワ領域３００２、顔の輪郭領域３００３、頬のシワ領域３００４を捉えることが非常に重要である。

図２０は、目尻、下瞼、頬、輪郭の夫々の領域に対して使用するＬＢＰ特徴を示している。目尻や下瞼領域では、主に水平方向のエッジを表現するＬＢＰ特徴が設定される。頬領域では、主に斜め方向のエッジを表現するＬＢＰ特徴が設定される。輪郭領域では主に垂直方向のエッジを表現するＬＢＰ特徴が設定される。

また、年齢や性別を推定する場合など、図１９に示されるように多数の領域から特徴を抽出する場合には、領域毎にヒストグラムのビンを限定すると、処理負荷を大幅に軽減することが可能となる。以上のように、年齢や性別の属性を認識対象とし、設定された領域が多数存在する場合にも夫々の領域に応じて、ビンを限定することで処理負荷を軽減することが可能となる。

（第４実施形態）
第１乃至第３実施形態では、局所領域の特徴パターンを構成する複数のパターンにそれぞれ対応する複数のビンのうち、統計量に基づいて予め定められたビンを、ヒストグラムの生成に使用するビンとして設定することを説明した。本実施形態では、ヒストグラム決定部を用いて、画像を取得して画像認識を行う前に統計量に基づいてビンを予め決定する際の具体的な処理を説明する。

図２１は、統計量に基づいたヒストグラムのビン決定を行う画像認識装置４０の全体構成を示す。図２１は、画像取得部４００と、顔検出部４１０と、画像正規化部４２０と、領域設定部４３０と、特徴抽出部４４０と、パラメータ記憶部４５０と、ヒストグラムビン決定部４６０と、認識内容選択部４７０とを備える。画像取得部４００、顔検出部４１０、画像正規化部４２０、領域設定部４３０、特徴抽出部４４０、およびパラメータ記憶部４５０は、それぞれ第１実施形態の対応する各処理部と同様であり、認識内容選択部４７０は、第２実施形態の認識内容選択部２００と同様であるため、説明を省略する。ヒストグラムビン決定部４６０は、画像認識を行う前に統計量に基づいてビンを予め決定する。例えば、ヒストグラムビン決定部４６０は、予め取得された画像の局所領域の種類ごとに、当該局所領域から抽出された特徴パターンを構成する複数のパターンのそれぞれの出現頻度が閾値よりも高いパターンに対応するヒストグラムビンを、予め定められたヒストグラムビンとして決定する。また、ヒストグラムビン決定部４６０は、特徴パターンを構成する出現頻度が閾値よりも高い複数のパターンのそれぞれについて、当該パターンを示すビット列のうち値が共通のビットを削減してもよい。

次に図２２のフローチャートを参照して、ヒストグラムビン決定部４６０の処理手順を説明する。

ステップＳ５０００において、認識内容選択部４７０は、認識内容の選択を受付ける。例えば、第１実施形態で説明した笑顔などの表情、第２実施形態で説明した視線、第３実施形態で説明した性別や年齢などの属性である。

ステップＳ５１００において、画像取得部４００は、統計量調査に使用する画像群の中から１つの画像データを選択する。

ステップＳ５２００において、領域設定部４３０は、ステップＳ５０００での認識内容の選択結果に応じて、領域設定を行う。例えば、第１実施形態で説明した笑顔などの表情は、目、頬、口領域の変化を捉える必要がある。そのため、ステップＳ５０００で笑顔が選択された場合には、設定される領域は、目、頬、口領域である。

ステップＳ５３００において、特徴抽出部４４０は、ステップＳ５２００で設定された領域に対して、ＬＢＰ特徴を抽出する。

ステップＳ５４００において、特徴抽出部４４０は、予め決められたすべての画像に対して、ＬＢＰ特徴を抽出したか否かを判定する。すべての画像に対してＬＢＰ特徴を抽出したと判定された場合（Ｓ５４００；ＹＥＳ）、ステップＳ５４００へ進む。一方、すべての画像に対してＬＢＰ特徴を抽出していないと判定された場合（Ｓ５４００；ＮＯ）、ステップＳ５１００へ戻り、画像取得部１００は、ＬＢＰ特徴を抽出していない画像を選択する。

ステップＳ５５００において、ヒストグラムビン決定部４６０は、予め用意されたすべての画像に対するＬＢＰ特徴の統計量を調査する。この統計量調査では、ヒストグラムビン決定部４６０は、ステップＳ５２００で選択された領域毎にヒストグラムを生成し、出現頻度が閾値より高いＬＢＰ特徴を選択する。

例えば、図２３は、統計量調査用に用意した画像から抽出した、特定領域のＬＢＰ特徴のヒストグラムを示しており、この統計量調査に使用した画像総数の８０％を閾値として設定する。そして、閾値を超えたＬＢＰ特徴に対応するビンをヒストグラムビンとして設定するためのＬＢＰ特徴として採用し、そうでないＬＢＰ特徴は採用しないように閾値処理を行う。なお、本実施形態では、画像総数の８０％をヒストグラムビンとして設定するためのＬＢＰとして閾値設定しているが、この数字に限られる訳ではない。

ステップＳ５６００において、ヒストグラムビン決定部４６０は、ステップＳ５５００で決定したＬＢＰ特徴を使用して、ＬＢＰビット数の決定を行う。例えば、ステップＳ５５００で決定した出現頻度が閾値より高いＬＢＰ特徴が、図２４に示される３つのパターン０００１１１１１、０００１１１００、０００１１０００であるとした場合、最初の３ビットは共通の０００（定数）となるため、残りの５ビットに対してのみ演算を行えば良い。つまり、ステップＳ５５００で決定した出現頻度の高いＬＢＰ特徴の特定ビットの値が共通（定数）であるならば、その特定ビットを削減する。そのため、図２４の３つのパターン０００１１１１１、０００１１１００、０００１１０００が選択された領域に対しては、最初の３ビット分を除いた残りの５ビットに対してのみ計算を行う。よって、顔内部の領域に応じて、ＬＢＰ特徴のビット数は異なる。

このように、ヒストグラムビンとして設定するＬＢＰは、ヒストグラムによる閾値処理と、ビット数の削減処理の２つの処理によって最終的に決定する。なお、ビット数の削減を行うステップ５６００の処理は必ずしも必須ではない。

以上のような処理により、ヒストグラムビンとして設定するためのＬＢＰ特徴を決定することで、その後の画像認識処理の高速化を実現することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 画像を取得する画像取得手段と、
   前記画像において少なくとも１つの局所領域を設定する領域設定手段と、
   前記局所領域から特徴パターンを抽出する特徴抽出手段と、
   前記特徴パターンを構成する複数のパターンのそれぞれに対応する複数のビンのうち、前記局所領域の種類に応じて予め定められたビンをヒストグラムの生成に使用するヒストグラムビンとして設定する設定手段と、
   前記設定されたヒストグラムビンを使用してヒストグラムを生成する生成手段と、
   前記ヒストグラムを用いて画像認識を行う認識手段と、
   を備えることを特徴とする画像認識装置。
2. 前記認識手段により画像認識を行う認識対象の選択を受け付ける受付手段をさらに備え、
   前記設定手段は、前記受付手段により受け付けられた認識対象について局所領域の種類に応じて予め定められたビンを、ヒストグラムの生成に使用するヒストグラムビンとして設定することを特徴とする請求項１に記載の画像認識装置。
3. 前記認識対象は、画像中の人物に関する表情、視線、年齢、性別、または人種の属性であることを特徴とする請求項２に記載の画像認識装置。
4. 前記領域設定手段により設定された前記局所領域の種類ごとに予め定められたビンの情報を記憶する記憶手段をさらに備えることを特徴とする請求項１乃至３の何れか１項に記載の画像認識装置。
5. 前記特徴パターンは、ローカル・バイナリ・パターン、輝度勾配方向、または色の少なくとも１つであることを特徴とする請求項１乃至４の何れか１項に記載の画像認識装置。
6. 予め取得された画像の局所領域の種類ごとに、当該局所領域から抽出された特徴パターンを構成する複数のパターンのそれぞれの出現頻度が閾値よりも高いパターンに対応するビンを、前記予め定められたビンとして決定する決定手段をさらに備えることを特徴とする請求項１乃至５の何れか１項に記載の画像認識装置。
7. 前記決定手段は、前記特徴パターンを構成する前記出現頻度が閾値よりも高い複数のパターンのそれぞれについて、当該パターンを示すビット列のうち値が共通のビットを削減することを特徴とする請求項６に記載の画像認識装置。
8. 前記局所領域の種類は、前記認識手段により画像認識を行う認識対象における位置であることを特徴とする請求項１乃至７の何れか１項に記載の画像認識装置。
9. 画像取得手段と、領域設定手段と、特徴抽出手段と、設定手段と、生成手段と、認識手段とを備える画像認識装置の制御方法であって、
   前記画像取得手段が、画像を取得する画像取得工程と、
   前記領域設定手段が、前記画像において少なくとも１つの局所領域を設定する領域設定工程と、
   前記特徴抽出手段が、前記局所領域から特徴パターンを抽出する特徴抽出工程と、
   前記設定手段が、前記特徴パターンを構成する複数のパターンのそれぞれに対応する複数のビンのうち、前記局所領域の種類に応じて予め定められたビンをヒストグラムの生成に使用するヒストグラムビンとして設定する設定工程と、
   前記生成手段が、前記設定されたヒストグラムビンを使用してヒストグラムを生成する生成工程と、
   前記認識手段が、前記ヒストグラムを用いて画像認識を行う認識工程と、
   を有することを特徴とする画像認識装置の制御方法。
10. 請求項９に記載の画像認識装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images