JPWO2010044214A1 - 顔認識装置および顔認識方法 - Google Patents

Abstract

目位置検出処理と顔特徴抽出処理とで使用するデータ転送量を削減する顔認識装置を提供する。第１の正規化手段は、顔検出手段によって検出された顔を含む顔画像に対して、一定のサイズへの正規化処理を行う。部位検出手段は、正規化された顔画像を用いて顔の部位を検出する。第２の正規化手段は、顔検出手段によって検出された顔を含む顔画像に対して、一定のサイズへの正規化処理を行う。特徴量抽出手段は、正規化された顔画像を用いて顔の特徴量を抽出する。顔画像取得手段は、顔検出手段によって検出された顔の位置および大きさを用いて、正規化手段の処理対象となる顔画像を取得する。顔画像取得選択手段は、正規化手段で用いる顔画像を個別取得するか、共用するかを切り替える。

Description

本発明は、人の画像を用いて、その画像に撮像されている人を認識する装置や方法などに適用される技術に関するものである。

近年、人の画像を用いて認識処理を行う、いわゆる顔認識技術が注目されている。顔認識には、特定の個人の識別、性別の識別、表情の識別、および年齢の識別などがある。顔認識技術は、撮像した画像から人の顔を検出する顔検出処理と、検出された顔画像を元に顔を認識する顔認識で構成される。さらに、顔認識処理は、顔画像の目や口などの顔特徴点を検出する特徴点検出処理、顔の特徴量を抽出する特徴抽出処理、および特徴量を用いて認識対象か否かを判定する照合処理から構成される。

例えば、顔認識処理の一例として、特許文献１では、顔特徴点として両目位置、顔特徴量の抽出方法としてガボール・フィルタ（Ｇａｂｏｒ Ｆｉｌｔｅｒ）を用いる手法が提案されている。

図１３は、特許文献１の顔認識システム７０を示すものである。図１３について説明する。撮像画像はＳＤＲＡＭ７４に格納され、入力画像となる。顔検出部７１は、ＳＤＲＡＭ７４から入力画像を取得し、入力画像全体を２４×２４画素単位で顔検出処理を行い、検出された顔の大きさと顔の位置を求める。顔検出処理方法としては、２点画素差分方式を用いている。両目位置検出部７２は、顔検出部７１で検出された顔位置の顔画像を取得し、２４×２４画素に正規化した後、顔検出部７１と同じ２点画素差分方式で両目位置を検出する。検出された両目位置情報から、顔の大きさ、顔の位置、および顔の角度を求める。顔認識部７３は、両目位置検出部７２で特定された顔画像を再度取得し、６０×６６画素に正規化した後、顔特徴を抽出する。顔特徴の抽出には、ガボール・フィルタリング（Ｇａｂｏｒ Ｆｉｌｔｅｒｉｎｇ）が適用され、その適用結果と以前に登録された画像にガボール・フィルタリングを適用して得られた結果との類似度を求める。その類似度より、登録画像と一致したか否かを識別する。

ここで、両目位置検出部７２と顔認識部７３で正規化後の顔画像の解像度が異なっており、顔認識部７３の方が高解像度を必要としている。これは、顔認識処理が両目位置検出処理よりも精度を要求されるためである。そのため、両目位置検出部７２と顔認識部７３で個別に正規化画像を生成する必要があり、正規化に必要な顔画像データも個別に取得している。

特開２００８−１５２５３０号公報

前記従来の構成では、両目位置検出部７２と顔認識部７３で処理対象の顔画像を異なる解像度で正規化するために、常に個別で顔画像データを取得していた。そのため、ＳＤＲＡＭ７４から取得するデータ量が多いという課題を有していた。

そこで、取得データ量を削減するために、正規化処理に必要なラインのみＳＤＲＡＭ７４から取得し、正規化処理に不要なラインは間引くことが考えられる。２次元画像をラスター順でＳＤＲＡＭ７４に格納した場合、一般的に水平方向の間引きは効果が小さいが、垂直方向の間引きは容易で効果が大きい。ＳＤＲＡＭ７４の１ワードには複数画素（例えば４画素）が格納されており、またバースト・アクセスで連続した複数ワードを同時に取得するため、水平方向を間引くには不要画素も多く取得してしまう。そのため、水平方向の間引きの効果は小さい。しかし、垂直方向は多くのワードを跨ぐ（例えば、６４０×４８０画素および４画素／ワードの場合、１６０ワード）ため、ＳＤＲＡＭ７４のアドレス制御のみで間引くことが可能であり、容易かつ効果が大きい。

ここで、取得すべき顔領域の大きさをＳ＿ＦＡＣＥ×Ｓ＿ＦＡＣＥとし、両目位置検出部７２での正規化後の大きさをＮＸ＿ＥＹＥ（図１３では２４）、顔認識部７３の正規化後の大きさをＮＸ＿ＥＹＥ（図１３では６６）とする。この時、垂直方向のみ間引いて顔画像を取得すると、取得データ量は、両目位置検出部７２がＳ＿ＦＡＣＥ×ＮＸ＿ＥＹＥ、顔認識部７３がＳ＿ＦＡＣＥ×ＮＸ＿ＥＸＴとなる。また、顔領域全体を取得する場合は、前述の通りＳ＿ＦＡＣＥ×Ｓ＿ＦＡＣＥである。

両目位置検出部７２と顔認識部７３とで個別に画像を取得する場合と、顔領域全体を１回転送して、転送データを両目位置検出部７２と顔認識部７３とで共有する場合の１回の認識処理に必要な総データ転送量を図８に示す。横軸が取得する顔領域の大きさであり、縦軸が総データ転送量である。個別転送の場合を（Ａ）に示しており、顔領域の大きさに比例した転送量となる。また、顔領域全体転送の場合を（Ｂ）に示しており、顔領域の大きさの二乗に比例した転送量となる。図８から分かるとおり、顔領域の大きさが両目位置検出部７２と顔認識部７３との正規化後の大きさの和よりも小さいときは、顔領域全体を転送した方が総データ転送量を小さく出来る。

しかしながら、前記従来の構成では、常に両目位置検出部７２と顔認識部７３とで個別に顔画像を取得していたため、顔領域の大きさに合わせて顔画像のデータの転送方法を制御することができないという課題を有していた。

本発明は、前記従来の課題を解決するもので、顔認識処理に必要な顔画像データの転送方法を顔の大きさに合わせて制御することで、転送量を削減することを目的とする。

前記従来の課題を解決するために、本発明の顔認識装置は、
顔が撮像された画像から、顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第１の正規化手段と、
前記第１の正規化手段により正規化された顔画像を用いて顔の部位を検出する部位検出手段と、
前記顔検出手段によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第２の正規化手段と、
前記第２の正規化手段により正規化された顔画像を用いて顔の特徴量を抽出する特徴量抽出手段と、
前記第１および第２の正規化手段で用いる顔画像を個別に取得する個別取得モードか、共用して取得する共用取得モードかに応じて、前記顔検出手段によって検出された顔の位置情報および大きさ情報を用いて、前記第１および第２の正規化手段の処理対象となる顔画像を取得する顔画像取得手段と、
前記顔検出手段で検出された顔の大きさ情報と、前記部位検出手段および前記特徴量抽出手段の正規化サイズに応じて、前記顔画像取得手段の前記取得モードを選択して切替える顔画像取得選択切替手段とを備え、
前記顔画像取得選択切替手段は、前記顔検出手段の顔の大きさが、前記第１の正規化手段の正規化サイズと前記第２の正規化手段の正規化サイズとの和よりも大きな場合に、前記個別取得モードとし、小さな場合に前記共有取得モードとする。

本構成によって、顔の大きさに応じて顔画像データの取得方法を設定できるため、顔認識に必要なデータの転送量を抑えることができる。

本発明の顔認識装置によれば、顔領域の大きさに合わせて顔画像のデータの転送方法を制御することで、顔認識に必要なデータの転送量を抑えることができる。

図１は、本発明の実施の形態１に係る顔認識装置１の構成の一例を示すブロック図である。 図２は、顔認識装置１の処理フローを示す図である。 図３は、目位置検出処理および顔特徴抽出処理のフローを示す図である。 図４は、バイリニア補間の説明図である。 図５は、本発明の実施の形態１における、個別取得モード時の、ＳＤＲＡＭからの画像取得手順の説明図である。 図６は、本発明の実施の形態１における個別取得モードのデータ転送量を示す模式図である。 図７は、本発明の実施の形態１における顔領域全体取得モードのデータ転送量を示す模式図である。 図８は、個別取得モードと顔領域全体取得モードの総データ転送量の関係を示す図である。 図９は、顔画像取得部の転送モードの切り替えフローを示す図である。 図１０は、本発明の実施の形態１に係る顔認識装置１の機能ブロックの一例を示す図である。 図１１Ａは、本発明の実施の形態２に係る半導体集積回路５０のブロック図である。 図１１Ｂは、本発明の実施の形態２に係る顔認識装置１ａのブロック図である。 図１２は、本発明の実施の形態２に係る撮像装置８０のブロック図である。 図１３は、従来技術の顔認識装置７０のブロック図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
実施の形態１に関わる顔認識装置１は、入力された顔画像と登録された登録画像との間で抽出された特徴量同士を比較して類似度を算出し、その類似度の大小に基づいて顔の照合判定を行うものである。図１は、本発明の実施の形態１における顔認識装置１の構成の一例を示す図である。図２および図３は、顔認識装置１の処理フローを示す図である。

まずは、図２を用いて、顔認識装置１の大まかな処理フローについて説明する。図２を参照して、顔認識装置１は、入力画像に対して顔検出を行い、顔の位置および顔の大きさを得る（ステップＳ２０）。次に、顔認識装置１は、その顔の位置および顔の大きさを基準として、顔画像を取得して両目の位置を検出し、その両目の位置情報から顔の位置、大きさ、および角度の情報を算出する（ステップＳ２１）。次に、顔認識装置１は、両目の情報から顔画像を正規化し、顔特徴量を抽出する（ステップＳ２２）。顔認識装置１は、抽出した特徴量を予め登録された特徴量と比較し、結果を認識結果として出力する（ステップＳ２３）。

図３は、ステップＳ２１およびステップＳ２２の処理の具体例を示している。まずは、図３を参照して、ステップＳ２１の目位置検出処理から説明する。ステップＳ２１において、顔認識装置１は、顔画像を取得すると、取得した顔画像を所定の大きさ（この例では、２４画素×２４画素）に正規化する（ステップＳ２４）。次に、顔認識装置１は、正規化した顔画像から両目の位置を検出し（ステップＳ２５）、当該両目の位置に基づいて、顔の位置、大きさ、角度を正規化情報として算出する（ステップＳ２６）。

次に、図３を参照して、ステップＳ２２の顔特徴抽出処理を説明する。ステップＳ２２において、顔認識装置１は、顔画像を取得すると、取得した顔画像を所定の大きさ（この例では、６４画素×６４画素）に正規化する（ステップＳ２７）。次に、顔認識装置１は、顔画像を回転させて傾きを補正し（ステップＳ２８）、カボールフィルタを用いて、顔特徴点に関する顔特徴量を算出する（ステップＳ２９）。

次に、図１の構成について説明する。
図１において、顔認識装置１は、顔検出部２、顔認識部３、顔画像取得選択手段としての、転送モード設定部１８および転送モード選択部１９から構成される。顔認識部３は、部位検出手段としての目位置検出部４、特徴量抽出手段としての顔特徴抽出部５、顔照合部１６、および顔画像取得部６から構成される。目位置検出部４は、正規化処理部７、正規化画像バッファ８、および目位置検出処理部９から構成される。顔特徴抽出部５は、正規化処理部１０、正規化画像バッファ１２、回転処理部１１、およびガボールフィルタ処理部１３から構成される。

顔検出部２は、ＳＤＲＡＭ１７に格納された撮像画像を取得し、顔検出処理を行う。顔検出処理では、検出した顔の位置情報および顔の大きさ情報が検出結果として出力され、顔認識部３に渡される。顔認識部３では、前記検出された顔の位置情報および顔の大きさ情報から、顔画像取得部６および顔特徴抽出部５に必要な顔画像領域の顔画像をそれぞれ取得し、それぞれの正規化処理部７，１０に渡す。

目位置検出部４において、正規化処理部７では、前記顔検出部２で検出された顔の大きさを用いて目位置検出処理に必要なサイズに正規化処理行い、正規化画像バッファ８に正規化後の顔画像を格納する。目位置検出処理部９は、前記正規化画像バッファ８中の顔画像に対して目位置検出処理を行い、両目位置を検出するとともに、顔の位置、大きさ、および角度の情報を算出する。前記算出された顔の位置、大きさ、および角度の情報は、顔特徴抽出部５に渡される。

顔特徴抽出部５において、正規化処理部１０では、前記目位置検出部４で検出された顔の大きさを用いて顔特徴抽出処理に必要なサイズに正規化処理行い、正規化画像バッファ１２に正規化後の顔画像を格納する。回転処理部１１では、前記目位置検出部４で検出された顔の角度を用いて回転処理を行い、正規化画像バッファ１２に再度格納する。ガボールフィルタ処理部１３は、前記正規化画像バッファ１２中の顔画像に対してガボールフィルタ処理を行い、結果が特徴量として顔照合部１６に出力される。顔照合部１６では、予め登録された顔画像の特徴量をＳＤＲＡＭ１７から取得し、顔特徴抽出部５から出力された特徴量と比較する。その比較結果が顔認識結果として出力される。

次に、各部の詳細について説明する。

顔検出部２は、ＳＤＲＡＭ１７に格納された撮像画像から人の顔を検出し、検出された顔の位置や大きさなどを検出結果として出力する。顔検出部２は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部２は、顔の構成要素（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部２は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部２は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部２による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

また、撮影画像から複数の人の顔が検出された場合、顔の位置、顔の大きさおよび顔の向きなどの、特定の基準に従って、顔認識部３の処理対象を決定しても良い。もちろん、検出された全ての顔について顔認識対象としても良い。その処理順序は前記特定の基準に従えばよい。なお、これらの顔検出結果の情報は、顔認識部３に渡される。

目位置検出部４の正規化処理部７は、ＳＤＲＡＭ１７に格納された撮影画像から、目位置検出処理に必要な正規化画像を生成する。具体的に説明する。まず、顔検出結果の位置や顔の大きさ情報を用いて、正規化処理時の縮小率、および検出された顔が含まれるように顔領域の位置および範囲を算出する。なお、正規化処理部７は、顔検出結果の顔の大きさよりも広いもしくは狭い範囲を算出しても良い。縮小率は数１で表される。

算出された顔領域の位置および範囲の情報から、正規化処理に必要なライン情報および顔の大きさ（顔の幅）情報を算出し、顔画像取得部６から顔画像を取得する。ここで、正規化処理に必要なライン情報のみを取得しているのは、前述の通り顔画像データの転送量を削減するためである。取得した顔画像に対して、前記縮小率に応じたリサイズを行う正規化処理を行い、正規化画像バッファ８に顔画像を格納する。正規化処理方法としては、例えばバイリニア補間が用いられる。バイリニア補間は、図４および数２で示される。

バイリニア補間では、リサイズ後の画素位置を縮小率より小数精度で算出し、その位置の周辺の整数４画素から線形補間により算出する。図４で示すように、リサイズ後の画素位置Ｘと、その周辺整数４画素Ｃ１，Ｃ２，Ｃ３、Ｃ４の２頂点で結ばれる矩形領域の面積がフィルタ係数となる。

正規化処理に必要なライン位置を示すライン情報は、縮小率と正規化処理方法により算出できる。正規化処理方法が前述の通りバイリニア補間であれば、正規化処理に必要なラインは、縮小率で決まるリサイズ後の画素位置の上下２ラインのみである。例えば、縮小率が１／４であれば、４ｎラインおよび４ｎ＋１ライン（ｎ＝０，１，２，…）となる。

顔画像取得部６は、２つの転送モード（取得モード）で動作可能であり、ラインバッファ１４と、ラインバッファ１５と、バッファ管理部とを備える。バッファ管理部は、ラインバッファ１４、１５の動作を管理すると共に、ラインバッファ１４、１５と、正規化処理部７、８との間のアクセスを制御する。顔画像取得部６は、転送モード設定部１８で設定された転送モードに従って、目位置検出部４で用いる顔画像の取得および顔特徴抽出部５で用いる顔画像の取得方法を変更する。ここでは、２つの転送モードとして、個別転送モードと、顔領域全体転送モードとを用いる。

個別転送モードとは、目位置検出処理と顔特徴抽出処理とで顔画像を個別に取得するモードである。そのため、個別転送モードを、個別取得モードと呼んでもよい。個別転送モードでは、顔画像取得部６は、目位置検出部４と顔特徴抽出部５とから出力される顔画像中の必要ライン情報からＳＤＲＡＭ１７上のアドレスを算出し、ＳＤＲＡＭ１７からライン単位でデータを取得する。取得手順を、図５を用いて説明する。顔検出部２の出力から算出される、ＳＤＲＡＭ１７上の顔の左上位置（ＦＡＣＥ＿ＰＯＳＩＴＩＯＮ）、顔領域の幅（Ｓ＿ＦＡＣＥ）、目位置検出部４もしくは顔特徴抽出部５から出力されるライン情報（図５中のｎおよびｎ＋１）、および入力画像の画像幅（ＷＩＤＴＨ）が必要な情報である。

まず、顔画像取得部６は、必要なラインの先頭アドレスを算出すると、顔の左上位置（ＦＡＣＥ＿ＰＯＳＩＴＩＯＮ）、入力画像の画像幅（ＷＩＤＴＨ）、およびライン情報（ｎ）から算出され、ＦＡＣＥＰＯＳＩＴＩＯＮ＋ＷＩＤＴＨ×ｎとなる。ここから顔領域の幅（Ｓ＿ＦＡＣＥ）のデータを取得することで、１ライン目のデータは取得できる。続いて２ライン目のデータ取得は、同様にラインの先頭アドレスを算出すると、ＦＡＣＥＰＯＳＩＴＩＯＮ＋ＷＩＤＴＨ×（ｎ＋１）となる。ここから、同様に顔領域の幅（Ｓ＿ＦＡＣＥ）のデータを取得することで、２ライン目のデータは取得できる。以上の手順を繰り返すことで、ＳＤＲＡＭ１７から必要なラインのデータのみを取得する。ＳＤＲＡＭ１７から取得したラインデータは、目位置検出処理と顔特徴抽出処理用に個別のラインバッファに格納され、それぞれ目位置検出部４と顔特徴抽出部５とに出力される。

顔領域全体転送モードとは、顔領域の画像全体を取得し、目位置検出処理と顔特徴抽出処理とで取得データを共有するモードである。そのため、顔領域全体転送モードを、共有取得モードと呼んでもよい。顔領域全体転送モードでは、顔画像取得部６は、ＳＤＲＡＭ１７上から顔領域全体を取得し、一旦顔領域全体のデータをラインバッファに保持する。ＳＤＲＡＭ１７からの転送手順は、個別転送モードを参考にすれば良い。顔画像取得部６は、ラインバッファに保持した顔領域全体のデータより、目位置検出部４と顔特徴抽出部５とから出力される顔画像中の必要なライン情報に応じて、必要なラインデータを目位置検出部４と顔特徴抽出部５とに出力する。

なお、複数人の顔の顔認識を行うときには、目位置検出部４と顔特徴抽出部５とをパイプライン動作で異なる人の顔処理を並列処理させても構わない。その際、顔画像取得部６のラインバッファは、２つの領域に分けられ、個別転送モードでは、目位置検出部４と顔特徴抽出部５のそれぞれのラインデータが格納される。顔領域全体転送モードでは、パイプラインバッファとして一方に目位置検出部４が処理している顔の顔領域全体のデータが、もう一方に顔特徴抽出部５が処理している顔の顔領域全体のデータが格納される。

２つの転送モードで転送されるデータの違いを示す模式図を、図６および図７に示す。ここで、Ｓ＿ＦＡＣＥは顔検出結果の顔の大きさ、ＮＳ＿ＥＹＥは目位置検出の正規化後の大きさ、ＮＳ＿ＥＸＴは顔特徴抽出の正規化後の大きさを示す。Ｌ＿ＥＹＥは目位置検出処理での正規化処理に必要なライン数（バイリニア補間の場合は、Ｌ＿ＥＹＥ＝ＮＸ＿ＥＹＥ×２）、およびＬ＿ＥＸＴは特徴抽出処理での正規化処理に必要なライン数を示す。個別転送モードで転送されるデータの流れは図６で示される。このとき、ＳＤＲＡＭ１７からのデータ転送量は、目位置検出処理に必要なデータ転送量が数３で表され、顔特徴抽出処理に必要なデータ転送量が数４で表される。よって、総データ転送量は数５で表される。顔領域全体転送モードで転送されるデータの流れは図７で示される。ＳＤＲＡＭ１７からのデータ転送量は、顔領域全体のデータ量に等しく、数６で示される。

目位置検出部４の目位置検出処理部９は、正規化画像バッファ８中の正規化画像から顔の目の位置を検出し、検出された目の位置情報から、顔の大きさ、顔の位置、および顔の角度などの情報を算出する。顔の目の位置検出は、パターンマッチングやニューラルネットワークを用いることにより実現する。また、目位置検出処理部９による目位置検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

顔の目の位置情報からの各種情報の算出は、例えば次のように算出すれば良い。顔の位置は、両目の位置から算出可能であり、顔の大きさも、両目の位置情報から両目間の距離を算出することで得ることが可能である。顔の角度は、両目の位置情報から水平位置からの角度を算出し、得ることが可能である。もちろん、これらの方法は一例であり、その他の方法で算出しても良い。

顔特徴抽出部５の正規化処理部１０は、目位置検出処理の正規化と同様の処理を行う。ただし、縮小率は異なる。顔の大きさ情報は、目位置検出部４で算出された情報を用い、正規化後のサイズは顔特徴抽出処理に必要なサイズとなる。それらの情報から、縮小率を算出する必要がある。

顔特徴抽出部５の回転処理部１１は、アフィン変換により、顔画像を目の位置が同一水平線上に並んだ（すなわち、顔の傾きが垂直線に対して角度＝０°の）正面画像にする。正規化画像バッファ１２内の顔画像に対して、目位置検出部４で算出された顔の角度情報を用いて、アフィン変換を行い、正規化画像バッファ１２に書き戻すことで実現される。なお、顔の向きもアフィン変換により回転させても良い。また、顔画像の回転処理は、アフィン変換以外の方法で実現されてもよい。

顔特徴抽出部５のガボールフィルタ処理部１３は、正規化顔画像内の一つ以上の特徴点についてガボール・ウェーブレット変換を実施する。ガボールフィルタを表わす式を数７に示す。

ガボールフィルタにより、特徴点周辺における濃淡特徴の周期性と方向性とを特徴量として取得する。特徴点の位置は、顔の部位（目、鼻、口など）周辺が考えられるが、その位置は照合を行う登録画像の特徴量と位置が一致していれば、どこでも構わない。その特徴点の数も同様である。

顔照合部１６は、顔特徴抽出部５で抽出された特徴量と予め登録された特徴量とを比較することにより、その類似度を算出する。算出された類似度が最も高く、かつこの類似度が閾値を超えている場合、その登録された人物と認識し、その認識結果を出力する。また、顔照合部１６による顔照合処理は、その他、既存のどのような技術が適用されることによって実現されても良い。例えば、特徴量を直接比較するのではなく、特定の変換後に比較しても良い。

図８に、目位置検出部４および顔特徴抽出部５の処理に必要な総データ転送量の関係を示す。前述したように、データ転送量は、数２、数３、数４、および数５で算出される。この中で変数となるのは入力画像中の顔領域の大きさ（Ｓ＿ＦＡＣＥ）である。よって、データ転送量を顔領域の大きさの関数としてみると、個別転送モードでの総データ転送量は顔領域の大きさに比例する一次関数であり、顔領域全体転送モードでのデータ転送量は顔領域の大きさの二乗に比例する二次関数で示される。よって、顔領域の大きさに応じて２つの転送モードを選択することで、顔認識に必要なデータ転送量を抑えることが可能である。

図９に、２つの転送モードの選択方法の一例を示す。図９を参照して、転送モード選択部１９は、顔検出部２によって検出された顔領域（Ｓ＿ＦＡＣＥ）の大きさを取得する（ステップＳ３０）。次に、転送モード選択部１９は、顔領域の大きさ（Ｓ＿ＦＡＣＥ）と、目位置検出部４および顔特徴抽出部５での正規化後の大きさの和（Ｌ＿ＥＹＥ＋Ｌ＿ＥＸＴ）とを比較する（ステップＳ３１）。転送モード選択部１９は、顔領域の大きさ（Ｓ＿ＦＡＣＥ）が小さい場合は顔領域全体転送モードを選択し（ステップＳ３２）、顔領域の大きさ（Ｓ＿ＦＡＣＥ）が大きい場合は個別転送モードを選択する（ステップＳ３３）。

図１０は、上述した顔認識装置１を機能ブロックで表した図である。図１０において、顔認識装置１は、顔検出手段１０１と、第１の正規化手段１０２と、部位検出手段１０３と、第２の正規化手段１０４と、特徴量抽出手段１０５と、顔画像取得手段１０６と、顔画像取得選択手段１０７とを備える。各機能ブロックの動作について以下に説明する。

顔検出手段１０１は、顔が撮影された画像から、顔を検出する。第１の正規化手段１０２は、顔検出手段１０１によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う。部位検出手段１０３は、第１の正規化手段１０２により正規化された顔画像を用いて顔の部位を検出する。第２の正規化手段１０４は、顔検出手段１０１によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う。特徴量抽出手段１０５は、第２の正規化手段１０４により正規化された顔画像を用いて顔の特徴量を抽出する。

顔画像取得手段１０６は、第１および第２の正規化手段１０２，１０４で用いる顔画像を個別に取得する個別取得モードか、共用して取得する共用取得モードかに応じて、顔検出手段１０１によって検出された顔の位置情報および大きさ情報を用いて、第１および第２の正規化手段１０２，１０４の処理対象となる顔画像の画像データを取得する。顔画像取得選択手段１０７は、顔検出手段１０１で検出された顔の大きさ情報と、部位検出手段１０３および特徴量抽出手段１０５の正規化手段の正規化サイズに応じて、顔画像取得手段１０６の取得モードを選択して切替える。

（実施の形態２）
上述した顔認識装置１に含まれる各構成は、それぞれ集積回路であるＬＳＩとして実現することができる。これらは、個別に１チップ化されてもよいし、それぞれにおいて全てまたは一部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応例が可能性としてありえる。

図１１Ａは、本発明の実施の形態２における半導体集積回路の一例を示すブロック図である。図１１Ａにおいて、半導体集積回路５０は、一般的にはＣＭＯＳなどのＭＯＳトランジスタで構成され、ＭＯＳトランジスタの接続構成により、特定の論理回路を実現する。近年、半導体集積回路の集積度が進み、非常に複雑な論理回路（例えば、本発明における顔認識装置１）を、一つないしは数個の半導体集積回路で実現できる。

半導体集積回路５０は、実施の形態１で説明した顔認識装置１およびプロセッサ５２を備える。また、半導体集積回路５０が備える顔認識装置１は、入力画像を、内部バス６９を介して、画像メモリ５１より取得する。

半導体集積回路５０は、顔認識装置１およびプロセッサ５２以外にも必要に応じて、画像符号化／復号化回路５６、音声処理部５５、ＲＯＭ５４、カメラ入力回路５８、ＬＣＤ出力回路５７を備えていても良い。

半導体集積回路５０が備える顔認識装置１は、実施の形態１で説明したとおり、顔領域の大きさに応じてデータ転送量を削減した顔認識処理を実現している。

なお、半導体集積回路５０は、顔認識装置１の一部の機能をプロセッサ５２で実現してもよい。例えば、半導体集積回路５０は、図１１Ｂに示すような顔認識装置１ａを備えるものであってもよい。図１１Ｂにおいて、顔認識装置１ａは、転送モード設定部１８および転送モード選択部１９を備えずに、これらの機能をプロセッサ５２で実現する。

また、顔認識装置１が半導体集積回路５０で実現されることで、小型化、低消費電力化などが実現される。

（実施の形態３）
図１２を用いて、実施の形態３について説明する。図１２は、本発明の実施の形態３における撮影装置のブロック図である。図１２において、撮像装置８０は、実施の形態２に記載の半導体集積回路５０と、レンズ６５と、絞り６４と、ＣＣＤなどのセンサ６３と、Ａ／Ｄ変換回路６２と、角度センサ６８と、フラッシュメモリ６１となどから構成される。Ａ／Ｄ変換回路６２は、センサ６３のアナログ出力をデジタル信号に変換する。角度センサ６８は、撮像装置８０の撮影角度を検出する。フラッシュメモリ６１は、認識させる顔の特徴量（登録特徴量）を記憶している。

半導体集積回路５０には、実施の形態２記載のブロックに加え、レンズ６５を制御するズーム制御部６７、及び絞り６４を制御する露出制御部６６などが備わる。

半導体集積回路５０の顔認識装置１で認識したフラッシュメモリ８０に登録済みの顔の位置情報を用いることで、例えば家族などある特定の顔の位置に合わせたズーム制御部６７によるフォーカス制御、露出制御部６６による露出制御が可能となる。特に家族の顔をきれいに撮影可能な撮像装置８０が実現される。

また、上述した顔認識装置１が行うそれぞれの処理手順は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現されてもよい。この場合、プログラムデータは、記憶媒体を介して記憶装置内に導入されてもよいし、記憶媒体上から直接実行されてもよい。なお、記憶媒体は、ＲＯＭやＲＡＭやフラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤ等の光ディスクメモリ、及びメモリカード等をいう。また、記憶媒体は、電話回線や搬送路等の通信媒体を含む概念である。

本発明にかかる顔認識装置は、顔認識処理のデータ転送量を削減すること等が可能であり、デジタルカメラにおける顔認識装置等として有用である。また、デジタルムービー、および監視カメラ等の用途にも応用できる。

１ 顔認識装置
２ 顔検出部
３ 顔認識部
４ 目位置検出部
５ 顔特徴抽出部
６ 顔画像取得部
７ 目位置検出部の正規化処理部
８ 目位置検出部の正規化画像バッファ
９ 目位置検出部の目位置検出処理部
１０ 顔特徴抽出部の正規化処理部
１１ 顔特徴抽出部の回転処理部
１２ 顔特徴抽出部の正規化画像バッファ
１３ 顔特徴抽出部のガボールフィルタ処理部
１６ 顔照合部
５０ 半導体集積回路
５１ 画像メモリ
５２ プロセッサ
５３ 動き検出回路
５４ ＲＯＭ
５５ 音声処理部
５６ 画像符号化回路
５７ ＬＣＤ出力回路
５８ カメラ入力回路
５９ ＬＣＤ
６０ カメラ
６１ フラッシュメモリ
６２ Ａ／Ｄ変換回路
６３ センサ
６４ 絞り
６５ レンズ
６６ 露出制御部
６７ ズーム制御部
６８ 角度センサ
６９ 内部バス
１０１ 顔検出手段
１０２ 第１の正規化手段
１０３ 部位検出手段
１０４ 第２の正規化手段
１０５ 特徴量抽出手段
１０６ 顔画像取得手段
１０７ 顔画像取得選択手段
８０ 撮像装置

本発明は、人の画像を用いて、その画像に撮像されている人を認識する装置や方法などに適用される技術に関するものである。

近年、人の画像を用いて認識処理を行う、いわゆる顔認識技術が注目されている。顔認識には、特定の個人の識別、性別の識別、表情の識別、および年齢の識別などがある。顔認識技術は、撮像した画像から人の顔を検出する顔検出処理と、検出された顔画像を元に顔を認識する顔認識で構成される。さらに、顔認識処理は、顔画像の目や口などの顔特徴点を検出する特徴点検出処理、顔の特徴量を抽出する特徴抽出処理、および特徴量を用いて認識対象か否かを判定する照合処理から構成される。

例えば、顔認識処理の一例として、特許文献１では、顔特徴点として両目位置、顔特徴量の抽出方法としてガボール・フィルタ（Ｇａｂｏｒ Ｆｉｌｔｅｒ）を用いる手法が提案されている。

図１３は、特許文献１の顔認識システム７０を示すものである。図１３について説明する。撮像画像はＳＤＲＡＭ７４に格納され、入力画像となる。顔検出部７１は、ＳＤＲＡＭ７４から入力画像を取得し、入力画像全体を２４×２４画素単位で顔検出処理を行い、検出された顔の大きさと顔の位置を求める。顔検出処理方法としては、２点画素差分方式を用いている。両目位置検出部７２は、顔検出部７１で検出された顔位置の顔画像を取得し、２４×２４画素に正規化した後、顔検出部７１と同じ２点画素差分方式で両目位置を検出する。検出された両目位置情報から、顔の大きさ、顔の位置、および顔の角度を求める。顔認識部７３は、両目位置検出部７２で特定された顔画像を再度取得し、６０×６６画素に正規化した後、顔特徴を抽出する。顔特徴の抽出には、ガボール・フィルタリング（Ｇａｂｏｒ Ｆｉｌｔｅｒｉｎｇ）が適用され、その適用結果と以前に登録された画像にガボール・フィルタリングを適用して得られた結果との類似度を求める。その類似度より、登録画像と一致したか否かを識別する。

ここで、両目位置検出部７２と顔認識部７３で正規化後の顔画像の解像度が異なっており、顔認識部７３の方が高解像度を必要としている。これは、顔認識処理が両目位置検出処理よりも精度を要求されるためである。そのため、両目位置検出部７２と顔認識部７３で個別に正規化画像を生成する必要があり、正規化に必要な顔画像データも個別に取得している。

特開２００８−１５２５３０号公報

前記従来の構成では、両目位置検出部７２と顔認識部７３で処理対象の顔画像を異なる解像度で正規化するために、常に個別で顔画像データを取得していた。そのため、ＳＤＲＡＭ７４から取得するデータ量が多いという課題を有していた。

そこで、取得データ量を削減するために、正規化処理に必要なラインのみＳＤＲＡＭ７４から取得し、正規化処理に不要なラインは間引くことが考えられる。２次元画像をラスター順でＳＤＲＡＭ７４に格納した場合、一般的に水平方向の間引きは効果が小さいが、垂直方向の間引きは容易で効果が大きい。ＳＤＲＡＭ７４の１ワードには複数画素（例えば４画素）が格納されており、またバースト・アクセスで連続した複数ワードを同時に取得するため、水平方向を間引くには不要画素も多く取得してしまう。そのため、水平方向の間引きの効果は小さい。しかし、垂直方向は多くのワードを跨ぐ（例えば、６４０×４８０画素および４画素／ワードの場合、１６０ワード）ため、ＳＤＲＡＭ７４のアドレス制御のみで間引くことが可能であり、容易かつ効果が大きい。

ここで、取得すべき顔領域の大きさをＳ＿ＦＡＣＥ×Ｓ＿ＦＡＣＥとし、両目位置検出部７２での正規化後の大きさをＮＸ＿ＥＹＥ（図１３では２４）、顔認識部７３の正規化後の大きさをＮＸ＿ＥＸＴ（図１３では６６）とする。この時、垂直方向のみ間引いて顔画像を取得すると、取得データ量は、両目位置検出部７２がＳ＿ＦＡＣＥ×ＮＸ＿ＥＹＥ、顔認識部７３がＳ＿ＦＡＣＥ×ＮＸ＿ＥＸＴとなる。また、顔領域全体を取得する場合は、前述の通りＳ＿ＦＡＣＥ×Ｓ＿ＦＡＣＥである。

両目位置検出部７２と顔認識部７３とで個別に画像を取得する場合と、顔領域全体を１回転送して、転送データを両目位置検出部７２と顔認識部７３とで共有する場合の１回の認識処理に必要な総データ転送量を図８に示す。横軸が取得する顔領域の大きさであり、縦軸が総データ転送量である。個別転送の場合を（Ａ）に示しており、顔領域の大きさに比例した転送量となる。また、顔領域全体転送の場合を（Ｂ）に示しており、顔領域の大きさの二乗に比例した転送量となる。図８から分かるとおり、顔領域の大きさが両目位置検出部７２と顔認識部７３との正規化後の大きさの和よりも小さいときは、顔領域全体を転送した方が総データ転送量を小さく出来る。

しかしながら、前記従来の構成では、常に両目位置検出部７２と顔認識部７３とで個別に顔画像を取得していたため、顔領域の大きさに合わせて顔画像のデータの転送方法を制御することができないという課題を有していた。

本発明は、前記従来の課題を解決するもので、顔認識処理に必要な顔画像データの転送方法を顔の大きさに合わせて制御することで、転送量を削減することを目的とする。

前記従来の課題を解決するために、本発明の顔認識装置は、
顔が撮像された画像から、顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第１の正規化手段と、
前記第１の正規化手段により正規化された顔画像を用いて顔の部位を検出する部位検出手段と、
前記顔検出手段によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第２の正規化手段と、
前記第２の正規化手段により正規化された顔画像を用いて顔の特徴量を抽出する特徴量抽出手段と、
前記第１および第２の正規化手段で用いる顔画像を個別に取得する個別取得モードか、共用して取得する共用取得モードかに応じて、前記顔検出手段によって検出された顔の位置情報および大きさ情報を用いて、前記第１および第２の正規化手段の処理対象となる顔画像を取得する顔画像取得手段と、
前記顔検出手段で検出された顔の大きさ情報と、前記部位検出手段および前記特徴量抽出手段の正規化サイズに応じて、前記顔画像取得手段の前記取得モードを選択して切替える顔画像取得選択切替手段とを備え、
前記顔画像取得選択切替手段は、前記顔検出手段の顔の大きさが、前記第１の正規化手段の正規化サイズと前記第２の正規化手段の正規化サイズとの和よりも大きな場合に、前記個別取得モードとし、小さな場合に前記共有取得モードとする。

本構成によって、顔の大きさに応じて顔画像データの取得方法を設定できるため、顔認識に必要なデータの転送量を抑えることができる。

本発明の顔認識装置によれば、顔領域の大きさに合わせて顔画像のデータの転送方法を制御することで、顔認識に必要なデータの転送量を抑えることができる。

本発明の実施の形態１に係る顔認識装置１の構成の一例を示すブロック図 顔認識装置１の処理フローを示す図 目位置検出処理および顔特徴抽出処理のフローを示す図 バイリニア補間の説明図 本発明の実施の形態１における、個別取得モード時の、ＳＤＲＡＭからの画像取得手順の説明図 本発明の実施の形態１における個別取得モードのデータ転送量を示す模式図 本発明の実施の形態１における顔領域全体取得モードのデータ転送量を示す模式図 個別取得モードと顔領域全体取得モードの総データ転送量の関係を示す図 顔画像取得部の転送モードの切り替えフローを示す図 本発明の実施の形態１に係る顔認識装置１の機能ブロックの一例を示す図 本発明の実施の形態２に係る半導体集積回路５０のブロック図 本発明の実施の形態２に係る顔認識装置１ａのブロック図 本発明の実施の形態２に係る撮像装置８０のブロック図 従来技術の顔認識装置７０のブロック図

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
実施の形態１に関わる顔認識装置１は、入力された顔画像と登録された登録画像との間で抽出された特徴量同士を比較して類似度を算出し、その類似度の大小に基づいて顔の照合判定を行うものである。図１は、本発明の実施の形態１における顔認識装置１の構成の一例を示す図である。図２および図３は、顔認識装置１の処理フローを示す図である。

まずは、図２を用いて、顔認識装置１の大まかな処理フローについて説明する。図２を参照して、顔認識装置１は、入力画像に対して顔検出を行い、顔の位置および顔の大きさを得る（ステップＳ２０）。次に、顔認識装置１は、その顔の位置および顔の大きさを基準として、顔画像を取得して両目の位置を検出し、その両目の位置情報から顔の位置、大きさ、および角度の情報を算出する（ステップＳ２１）。次に、顔認識装置１は、両目の情報から顔画像を正規化し、顔特徴量を抽出する（ステップＳ２２）。顔認識装置１は、抽出した特徴量を予め登録された特徴量と比較し、結果を認識結果として出力する（ステップＳ２３）。

図３は、ステップＳ２１およびステップＳ２２の処理の具体例を示している。まずは、図３を参照して、ステップＳ２１の目位置検出処理から説明する。ステップＳ２１において、顔認識装置１は、顔画像を取得すると、取得した顔画像を所定の大きさ（この例では、２４画素×２４画素）に正規化する（ステップＳ２４）。次に、顔認識装置１は、正規化した顔画像から両目の位置を検出し（ステップＳ２５）、当該両目の位置に基づいて、顔の位置、大きさ、角度を正規化情報として算出する（ステップＳ２６）。

次に、図３を参照して、ステップＳ２２の顔特徴抽出処理を説明する。ステップＳ２２において、顔認識装置１は、顔画像を取得すると、取得した顔画像を所定の大きさ（この例では、６４画素×６４画素）に正規化する（ステップＳ２７）。次に、顔認識装置１は、顔画像を回転させて傾きを補正し（ステップＳ２８）、カボールフィルタを用いて、顔特徴点に関する顔特徴量を算出する（ステップＳ２９）。

次に、図１の構成について説明する。
図１において、顔認識装置１は、顔検出部２、顔認識部３、顔画像取得選択手段としての、転送モード設定部１８および転送モード選択部１９から構成される。顔認識部３は、部位検出手段としての目位置検出部４、特徴量抽出手段としての顔特徴抽出部５、顔照合部１６、および顔画像取得部６から構成される。目位置検出部４は、正規化処理部７、正規化画像バッファ８、および目位置検出処理部９から構成される。顔特徴抽出部５は、正規化処理部１０、正規化画像バッファ１２、回転処理部１１、およびガボールフィルタ処理部１３から構成される。

顔検出部２は、ＳＤＲＡＭ１７に格納された撮像画像を取得し、顔検出処理を行う。顔検出処理では、検出した顔の位置情報および顔の大きさ情報が検出結果として出力され、顔認識部３に渡される。顔認識部３では、前記検出された顔の位置情報および顔の大きさ情報から、目位置検出部４および顔特徴抽出部５に必要な顔画像領域の顔画像をそれぞれ取得し、それぞれの正規化処理部７，１０に渡す。

目位置検出部４において、正規化処理部７では、前記顔検出部２で検出された顔の大きさを用いて目位置検出処理に必要なサイズに正規化処理行い、正規化画像バッファ８に正規化後の顔画像を格納する。目位置検出処理部９は、前記正規化画像バッファ８中の顔画像に対して目位置検出処理を行い、両目位置を検出するとともに、顔の位置、大きさ、および角度の情報を算出する。前記算出された顔の位置、大きさ、および角度の情報は、顔特徴抽出部５に渡される。

顔特徴抽出部５において、正規化処理部１０では、前記目位置検出部４で検出された顔の大きさを用いて顔特徴抽出処理に必要なサイズに正規化処理行い、正規化画像バッファ１２に正規化後の顔画像を格納する。回転処理部１１では、前記目位置検出部４で検出された顔の角度を用いて回転処理を行い、正規化画像バッファ１２に再度格納する。ガボールフィルタ処理部１３は、前記正規化画像バッファ１２中の顔画像に対してガボールフィルタ処理を行い、結果が特徴量として顔照合部１６に出力される。顔照合部１６では、予め登録された顔画像の特徴量をＳＤＲＡＭ１７から取得し、顔特徴抽出部５から出力された特徴量と比較する。その比較結果が顔認識結果として出力される。

次に、各部の詳細について説明する。

顔検出部２は、ＳＤＲＡＭ１７に格納された撮像画像から人の顔を検出し、検出された顔の位置や大きさなどを検出結果として出力する。顔検出部２は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部２は、顔の構成要素（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部２は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部２は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部２による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

また、撮影画像から複数の人の顔が検出された場合、顔の位置、顔の大きさおよび顔の向きなどの、特定の基準に従って、顔認識部３の処理対象を決定しても良い。もちろん、検出された全ての顔について顔認識対象としても良い。その処理順序は前記特定の基準に従えばよい。なお、これらの顔検出結果の情報は、顔認識部３に渡される。

目位置検出部４の正規化処理部７は、ＳＤＲＡＭ１７に格納された撮影画像から、目位置検出処理に必要な正規化画像を生成する。具体的に説明する。まず、顔検出結果の位置や顔の大きさ情報を用いて、正規化処理時の縮小率、および検出された顔が含まれるように顔領域の位置および範囲を算出する。なお、正規化処理部７は、顔検出結果の顔の大きさよりも広いもしくは狭い範囲を算出しても良い。縮小率は数１で表される。

算出された顔領域の位置および範囲の情報から、正規化処理に必要なライン情報および顔の大きさ（顔の幅）情報を算出し、顔画像取得部６から顔画像を取得する。ここで、正規化処理に必要なライン情報のみを取得しているのは、前述の通り顔画像データの転送量を削減するためである。取得した顔画像に対して、前記縮小率に応じたリサイズを行う正規化処理を行い、正規化画像バッファ８に顔画像を格納する。正規化処理方法としては、例えばバイリニア補間が用いられる。バイリニア補間は、図４および数２で示される。

バイリニア補間では、リサイズ後の画素位置を縮小率より小数精度で算出し、その位置の周辺の整数４画素から線形補間により算出する。図４で示すように、リサイズ後の画素位置Ｘと、その周辺整数４画素Ｃ１，Ｃ２，Ｃ３、Ｃ４の２頂点で結ばれる矩形領域の面積がフィルタ係数となる。

正規化処理に必要なライン位置を示すライン情報は、縮小率と正規化処理方法により算出できる。正規化処理方法が前述の通りバイリニア補間であれば、正規化処理に必要なラインは、縮小率で決まるリサイズ後の画素位置の上下２ラインのみである。例えば、縮小率が１／４であれば、４ｎラインおよび４ｎ＋１ライン（ｎ＝０，１，２，…）となる。

顔画像取得部６は、２つの転送モード（取得モード）で動作可能であり、ラインバッファ１４と、ラインバッファ１５と、バッファ管理部とを備える。バッファ管理部は、ラインバッファ１４、１５の動作を管理すると共に、ラインバッファ１４、１５と、正規化処理部７、１０との間のアクセスを制御する。顔画像取得部６は、転送モード設定部１８で設定された転送モードに従って、目位置検出部４で用いる顔画像の取得および顔特徴抽出部５で用いる顔画像の取得方法を変更する。ここでは、２つの転送モードとして、個別転送モードと、顔領域全体転送モードとを用いる。

個別転送モードとは、目位置検出処理と顔特徴抽出処理とで顔画像を個別に取得するモードである。そのため、個別転送モードを、個別取得モードと呼んでもよい。個別転送モードでは、顔画像取得部６は、目位置検出部４と顔特徴抽出部５とから出力される顔画像中の必要ライン情報からＳＤＲＡＭ１７上のアドレスを算出し、ＳＤＲＡＭ１７からライン単位でデータを取得する。取得手順を、図５を用いて説明する。顔検出部２の出力から算出される、ＳＤＲＡＭ１７上の顔の左上位置（ＦＡＣＥ＿ＰＯＳＩＴＩＯＮ）、顔領域の幅（Ｓ＿ＦＡＣＥ）、目位置検出部４もしくは顔特徴抽出部５から出力されるライン情報（図５中のｎおよびｎ＋１）、および入力画像の画像幅（ＷＩＤＴＨ）が必要な情報である。

まず、顔画像取得部６は、必要なラインの先頭アドレスを算出すると、顔の左上位置（ＦＡＣＥ＿ＰＯＳＩＴＩＯＮ）、入力画像の画像幅（ＷＩＤＴＨ）、およびライン情報（ｎ）から算出され、ＦＡＣＥ＿ＰＯＳＩＴＩＯＮ＋ＷＩＤＴＨ×ｎとなる。ここから顔領域の幅（Ｓ＿ＦＡＣＥ）のデータを取得することで、１ライン目のデータは取得できる。続いて２ライン目のデータ取得は、同様にラインの先頭アドレスを算出すると、ＦＡＣＥ＿ＰＯＳＩＴＩＯＮ＋ＷＩＤＴＨ×（ｎ＋１）となる。ここから、同様に顔領域の幅（Ｓ＿ＦＡＣＥ）のデータを取得することで、２ライン目のデータは取得できる。以上の手順を繰り返すことで、ＳＤＲＡＭ１７から必要なラインのデータのみを取得する。ＳＤＲＡＭ１７から取得したラインデータは、目位置検出処理と顔特徴抽出処理用に個別のラインバッファに格納され、それぞれ目位置検出部４と顔特徴抽出部５とに出力される。

顔領域全体転送モードとは、顔領域の画像全体を取得し、目位置検出処理と顔特徴抽出処理とで取得データを共有するモードである。そのため、顔領域全体転送モードを、共有取得モードと呼んでもよい。顔領域全体転送モードでは、顔画像取得部６は、ＳＤＲＡＭ１７上から顔領域全体を取得し、一旦顔領域全体のデータをラインバッファに保持する。ＳＤＲＡＭ１７からの転送手順は、個別転送モードを参考にすれば良い。顔画像取得部６は、ラインバッファに保持した顔領域全体のデータより、目位置検出部４と顔特徴抽出部５とから出力される顔画像中の必要なライン情報に応じて、必要なラインデータを目位置検出部４と顔特徴抽出部５とに出力する。

なお、複数人の顔の顔認識を行うときには、目位置検出部４と顔特徴抽出部５とをパイプライン動作で異なる人の顔処理を並列処理させても構わない。その際、顔画像取得部６のラインバッファは、２つの領域に分けられ、個別転送モードでは、目位置検出部４と顔特徴抽出部５のそれぞれのラインデータが格納される。顔領域全体転送モードでは、パイプラインバッファとして一方に目位置検出部４が処理している顔の顔領域全体のデータが、もう一方に顔特徴抽出部５が処理している顔の顔領域全体のデータが格納される。

２つの転送モードで転送されるデータの違いを示す模式図を、図６および図７に示す。ここで、Ｓ＿ＦＡＣＥは顔検出結果の顔の大きさ、ＮＳ＿ＥＹＥは目位置検出の正規化後の大きさ、ＮＳ＿ＥＸＴは顔特徴抽出の正規化後の大きさを示す。Ｌ＿ＥＹＥは目位置検出処理での正規化処理に必要なライン数（バイリニア補間の場合は、Ｌ＿ＥＹＥ＝ＮＳ＿ＥＹＥ×２）、およびＬ＿ＥＸＴは特徴抽出処理での正規化処理に必要なライン数を示す。個別転送モードで転送されるデータの流れは図６で示される。このとき、ＳＤＲＡＭ１７からのデータ転送量は、目位置検出処理に必要なデータ転送量が数３で表され、顔特徴抽出処理に必要なデータ転送量が数４で表される。よって、総データ転送量は数５で表される。顔領域全体転送モードで転送されるデータの流れは図７で示される。ＳＤＲＡＭ１７からのデータ転送量は、顔領域全体のデータ量に等しく、数６で示される。

目位置検出部４の目位置検出処理部９は、正規化画像バッファ８中の正規化画像から顔の目の位置を検出し、検出された目の位置情報から、顔の大きさ、顔の位置、および顔の角度などの情報を算出する。顔の目の位置検出は、パターンマッチングやニューラルネットワークを用いることにより実現する。また、目位置検出処理部９による目位置検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

顔の目の位置情報からの各種情報の算出は、例えば次のように算出すれば良い。顔の位置は、両目の位置から算出可能であり、顔の大きさも、両目の位置情報から両目間の距離を算出することで得ることが可能である。顔の角度は、両目の位置情報から水平位置からの角度を算出し、得ることが可能である。もちろん、これらの方法は一例であり、その他の方法で算出しても良い。

顔特徴抽出部５の正規化処理部１０は、目位置検出処理の正規化と同様の処理を行う。ただし、縮小率は異なる。顔の大きさ情報は、目位置検出部４で算出された情報を用い、正規化後のサイズは顔特徴抽出処理に必要なサイズとなる。それらの情報から、縮小率を算出する必要がある。

顔特徴抽出部５の回転処理部１１は、アフィン変換により、顔画像を目の位置が同一水平線上に並んだ（すなわち、顔の傾きが垂直線に対して角度＝０°の）正面画像にする。正規化画像バッファ１２内の顔画像に対して、目位置検出部４で算出された顔の角度情報を用いて、アフィン変換を行い、正規化画像バッファ１２に書き戻すことで実現される。なお、顔の向きもアフィン変換により回転させても良い。また、顔画像の回転処理は、アフィン変換以外の方法で実現されてもよい。

顔特徴抽出部５のガボールフィルタ処理部１３は、正規化顔画像内の一つ以上の特徴点についてガボール・ウェーブレット変換を実施する。ガボールフィルタを表わす式を数７に示す。

ガボールフィルタにより、特徴点周辺における濃淡特徴の周期性と方向性とを特徴量として取得する。特徴点の位置は、顔の部位（目、鼻、口など）周辺が考えられるが、その位置は照合を行う登録画像の特徴量と位置が一致していれば、どこでも構わない。その特徴点の数も同様である。

顔照合部１６は、顔特徴抽出部５で抽出された特徴量と予め登録された特徴量とを比較することにより、その類似度を算出する。算出された類似度が最も高く、かつこの類似度が閾値を超えている場合、その登録された人物と認識し、その認識結果を出力する。また、顔照合部１６による顔照合処理は、その他、既存のどのような技術が適用されることによって実現されても良い。例えば、特徴量を直接比較するのではなく、特定の変換後に比較しても良い。

図８に、目位置検出部４および顔特徴抽出部５の処理に必要な総データ転送量の関係を示す。前述したように、データ転送量は、数２、数３、数４、および数５で算出される。この中で変数となるのは入力画像中の顔領域の大きさ（Ｓ＿ＦＡＣＥ）である。よって、データ転送量を顔領域の大きさの関数としてみると、個別転送モードでの総データ転送量は顔領域の大きさに比例する一次関数であり、顔領域全体転送モードでのデータ転送量は顔領域の大きさの二乗に比例する二次関数で示される。よって、顔領域の大きさに応じて２つの転送モードを選択することで、顔認識に必要なデータ転送量を抑えることが可能である。

図９に、２つの転送モードの選択方法の一例を示す。図９を参照して、転送モード選択部１９は、顔検出部２によって検出された顔領域（Ｓ＿ＦＡＣＥ）の大きさを取得する（ステップＳ３０）。次に、転送モード選択部１９は、顔領域の大きさ（Ｓ＿ＦＡＣＥ）と、目位置検出部４および顔特徴抽出部５での正規化後の大きさの和（Ｌ＿ＥＹＥ＋Ｌ＿ＥＸＴ）とを比較する（ステップＳ３１）。転送モード選択部１９は、顔領域の大きさ（Ｓ＿ＦＡＣＥ）が小さい場合は顔領域全体転送モードを選択し（ステップＳ３２）、顔領域の大きさ（Ｓ＿ＦＡＣＥ）が大きい場合は個別転送モードを選択する（ステップＳ３３）。

図１０は、上述した顔認識装置１を機能ブロックで表した図である。図１０において、顔認識装置１は、顔検出手段１０１と、第１の正規化手段１０２と、部位検出手段１０３と、第２の正規化手段１０４と、特徴量抽出手段１０５と、顔画像取得手段１０６と、顔画像取得選択手段１０７とを備える。各機能ブロックの動作について以下に説明する。

顔検出手段１０１は、顔が撮影された画像から、顔を検出する。第１の正規化手段１０２は、顔検出手段１０１によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う。部位検出手段１０３は、第１の正規化手段１０２により正規化された顔画像を用いて顔の部位を検出する。第２の正規化手段１０４は、顔検出手段１０１によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う。特徴量抽出手段１０５は、第２の正規化手段１０４により正規化された顔画像を用いて顔の特徴量を抽出する。

顔画像取得手段１０６は、第１および第２の正規化手段１０２，１０４で用いる顔画像を個別に取得する個別取得モードか、共用して取得する共用取得モードかに応じて、顔検出手段１０１によって検出された顔の位置情報および大きさ情報を用いて、第１および第２の正規化手段１０２，１０４の処理対象となる顔画像の画像データを取得する。顔画像取得選択手段１０７は、顔検出手段１０１で検出された顔の大きさ情報と、部位検出手段１０３および特徴量抽出手段１０５の正規化手段の正規化サイズに応じて、顔画像取得手段１０６の取得モードを選択して切替える。

（実施の形態２）
上述した顔認識装置１に含まれる各構成は、それぞれ集積回路であるＬＳＩとして実現することができる。これらは、個別に１チップ化されてもよいし、それぞれにおいて全てまたは一部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応例が可能性としてありえる。

図１１Ａは、本発明の実施の形態２における半導体集積回路の一例を示すブロック図である。図１１Ａにおいて、半導体集積回路５０は、一般的にはＣＭＯＳなどのＭＯＳトランジスタで構成され、ＭＯＳトランジスタの接続構成により、特定の論理回路を実現する。近年、半導体集積回路の集積度が進み、非常に複雑な論理回路（例えば、本発明における顔認識装置１）を、一つないしは数個の半導体集積回路で実現できる。

半導体集積回路５０は、実施の形態１で説明した顔認識装置１およびプロセッサ５２を備える。また、半導体集積回路５０が備える顔認識装置１は、入力画像を、内部バス６９を介して、画像メモリ５１より取得する。

半導体集積回路５０は、顔認識装置１およびプロセッサ５２以外にも必要に応じて、画像符号化／復号化回路５６、音声処理部５５、ＲＯＭ５４、カメラ入力回路５８、ＬＣＤ出力回路５７を備えていても良い。

半導体集積回路５０が備える顔認識装置１は、実施の形態１で説明したとおり、顔領域の大きさに応じてデータ転送量を削減した顔認識処理を実現している。

なお、半導体集積回路５０は、顔認識装置１の一部の機能をプロセッサ５２で実現してもよい。例えば、半導体集積回路５０は、図１１Ｂに示すような顔認識装置１ａを備えるものであってもよい。図１１Ｂにおいて、顔認識装置１ａは、転送モード設定部１８および転送モード選択部１９を備えずに、これらの機能をプロセッサ５２で実現する。

また、顔認識装置１が半導体集積回路５０で実現されることで、小型化、低消費電力化などが実現される。

（実施の形態３）
図１２を用いて、実施の形態３について説明する。図１２は、本発明の実施の形態３における撮影装置のブロック図である。図１２において、撮像装置８０は、実施の形態２に記載の半導体集積回路５０と、レンズ６５と、絞り６４と、ＣＣＤなどのセンサ６３と、Ａ／Ｄ変換回路６２と、角度センサ６８と、フラッシュメモリ６１となどから構成される。Ａ／Ｄ変換回路６２は、センサ６３のアナログ出力をデジタル信号に変換する。角度センサ６８は、撮像装置８０の撮影角度を検出する。フラッシュメモリ６１は、認識させる顔の特徴量（登録特徴量）を記憶している。

半導体集積回路５０には、実施の形態２記載のブロックに加え、レンズ６５を制御するズーム制御部６７、及び絞り６４を制御する露出制御部６６などが備わる。

半導体集積回路５０の顔認識装置１で認識したフラッシュメモリ８０に登録済みの顔の位置情報を用いることで、例えば家族などある特定の顔の位置に合わせたズーム制御部６７によるフォーカス制御、露出制御部６６による露出制御が可能となる。特に家族の顔をきれいに撮影可能な撮像装置８０が実現される。

また、上述した顔認識装置１が行うそれぞれの処理手順は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現されてもよい。この場合、プログラムデータは、記憶媒体を介して記憶装置内に導入されてもよいし、記憶媒体上から直接実行されてもよい。なお、記憶媒体は、ＲＯＭやＲＡＭやフラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤ等の光ディスクメモリ、及びメモリカード等をいう。また、記憶媒体は、電話回線や搬送路等の通信媒体を含む概念である。

本発明にかかる顔認識装置は、顔認識処理のデータ転送量を削減すること等が可能であり、デジタルカメラにおける顔認識装置等として有用である。また、デジタルムービー、および監視カメラ等の用途にも応用できる。

１ 顔認識装置
２ 顔検出部
３ 顔認識部
４ 目位置検出部
５ 顔特徴抽出部
６ 顔画像取得部
７ 目位置検出部の正規化処理部
８ 目位置検出部の正規化画像バッファ
９ 目位置検出部の目位置検出処理部
１０ 顔特徴抽出部の正規化処理部
１１ 顔特徴抽出部の回転処理部
１２ 顔特徴抽出部の正規化画像バッファ
１３ 顔特徴抽出部のガボールフィルタ処理部
１６ 顔照合部
５０ 半導体集積回路
５１ 画像メモリ
５２ プロセッサ
５３ 動き検出回路
５４ ＲＯＭ
５５ 音声処理部
５６ 画像符号化回路
５７ ＬＣＤ出力回路
５８ カメラ入力回路
５９ ＬＣＤ
６０ カメラ
６１ フラッシュメモリ
６２ Ａ／Ｄ変換回路
６３ センサ
６４ 絞り
６５ レンズ
６６ 露出制御部
６７ ズーム制御部
６８ 角度センサ
６９ 内部バス
１０１ 顔検出手段
１０２ 第１の正規化手段
１０３ 部位検出手段
１０４ 第２の正規化手段
１０５ 特徴量抽出手段
１０６ 顔画像取得手段
１０７ 顔画像取得選択手段
８０ 撮像装置

Claims (7)

1. 顔が撮像された画像から、顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第１の正規化手段と、
   前記第１の正規化手段により正規化された顔画像を用いて顔の部位を検出する部位検出手段と、
   前記顔検出手段によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第２の正規化手段と、
   前記第２の正規化手段により正規化された顔画像を用いて顔の特徴量を抽出する特徴量抽出手段と、
   前記第１および第２の正規化手段で用いる顔画像を個別に取得する個別取得モードか、共用して取得する共用取得モードかに応じて、前記顔検出手段によって検出された顔の位置情報および大きさ情報を用いて、前記第１および第２の正規化手段の処理対象となる顔画像を取得する顔画像取得手段と、
   前記顔検出手段で検出された顔の大きさ情報と、前記部位検出手段および前記特徴量抽出手段の正規化手段の正規化サイズに応じて、前記顔画像取得手段の前記取得モードを選択して切替える顔画像取得選択手段とを備え、
   前記顔画像取得選択手段は、前記取得モードを、前記顔検出手段で検出された顔の大きさが、前記第１の正規化手段の正規化サイズと前記第２の正規化手段の正規化サイズとの和よりも大きな場合に、前記個別取得モードとし、小さな場合に前記共有取得モードとする、顔認識装置。
2. 前記顔画像取得手段は、
   前記取得した画像データを保持する第１および第２の画像データ記憶手段と、
   前記第１および第２の正規化手段から前記第１および第２の画像データ記憶手段へのアクセスを制御する画像データ記憶制御手段とを備え、
   前記画像データ記憶制御手段は、
   前記取得モードが前記個別取得モードである場合に、前記第１の画像データ記憶手段に前記第１の正規化手段のみがアクセスし、前記第２の画像データ記憶手段に前記第２の正規化手段のみがアクセスするように制御し、
   前記取得モードが前記共有取得モードである場合に、前記第１および第２の画像データ記憶手段に、前記第１および第２の正規化手段のいずれもがアクセスできるように制御する、請求項１に記載の顔認識装置。
3. 前記顔画像取得選択手段は、前記取得モードを、
   前記顔検出手段で検出された顔の大きさが、前記第１の正規化手段の正規化サイズと、前記第２の正規化手段の正規化サイズとに、各々リサイズ処理のフィルタのタップ数を乗算した値の和よりも大きな場合に、前記個別取得モードとし、小さな場合に、前記共有取得モードとする、請求項１または２に記載の顔認識装置。
4. 顔が撮像された画像から、顔を検出する顔検出ステップと、
   前記顔検出ステップによって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第１の正規化ステップと、
   前記第１の正規化ステップにより正規化された顔画像を用いて顔の部位を検出する部位検出ステップと、
   前記顔検出ステップによって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第２の正規化ステップと、
   前記第２の正規化ステップにより正規化された顔画像を用いて顔の特徴量を抽出する特徴量抽出ステップと、
   前記第１および第２の正規化ステップで用いる顔画像を個別に取得する個別取得モードか、共用して取得する共用取得モードかに応じて、前記顔検出ステップによって検出された顔の位置情報および大きさ情報を用いて、前記第１および第２の正規化ステップの処理対象となる顔画像を取得する顔画像取得ステップと、
   前記顔検出ステップで検出された顔の大きさ情報と、前記部位検出ステップおよび前記特徴量抽出ステップの正規化サイズに応じて、前記取得モードを選択して切替える顔画像取得選択ステップを備え、
   前記顔画像取得選択ステップは、前記顔検出ステップで検出された顔の大きさが、前記第１の正規化ステップの正規化サイズと前記第２の正規化ステップの正規化サイズとの和よりも大きな場合に、前記個別取得モードとし、小さな場合に前記共用取得モードとする、顔認識方法。
5. 顔が撮像された画像から、顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第１の正規化手段と、
   前記第１の正規化手段により正規化された顔画像を用いて顔の部位を検出する部位検出手段と、
   前記顔検出手段によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第２の正規化手段と、
   前記第２の正規化手段により正規化された顔画像を用いて顔の特徴量を抽出する特徴量抽出手段と、
   前記第１および第２の正規化手段で用いる顔画像を個別に取得する個別取得モードか、共用して取得する共用取得モードかに応じて、前記顔検出手段によって検出された顔の位置情報および大きさ情報を用いて、前記第１および第２の正規化手段の処理対象となる顔画像を取得する顔画像取得手段と、
   前記顔検出手段で検出された顔の大きさ情報と、前記部位検出手段および前記特徴量抽出手段の正規化サイズに応じて、前記顔画像取得手段の前記取得モードを選択して切替える顔画像取得選択手段とを備え、
   前記顔画像取得選択手段は、前記取得モードを、前記顔検出手段で検出された顔の大きさが、前記第１の正規化手段の正規化サイズと前記第２の正規化手段の正規化サイズを加算した値よりも大きな場合に、前記個別取得モードとし、小さな場合に前記共有取得モードとする、顔認識装置を備える半導体集積回路。
6. 前記半導体集積回路は、プロセッサをさらに備え、
   前記プロセッサは、前記顔画像取得選択手段を実現する、請求項５に記載の半導体集積回路。
7. 顔が撮像された画像を保持する外部記憶手段と、
   前記外部記憶手段から顔が撮像された画像を取得し、当該取得画像から、顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第１の正規化手段と、
   前記第１の正規化手段により正規化された顔画像を用いて顔の部位を検出する部位検出手段と、
   前記顔検出手段によって検出された顔を含む顔画像に対して、ある一定のサイズにリサイズする正規化処理を行う第２の正規化手段と、
   前記第２の正規化手段により正規化された顔画像を用いて顔の特徴量を抽出する特徴量抽出手段と、
   前記第１および第２の正規化手段で用いる顔画像を個別に取得する個別取得モードか、共用して取得する共用取得モードかに応じて、前記顔検出手段によって検出された顔の位置情報および大きさ情報を用いて、前記第１および第２の正規化手段の処理対象となる顔画像を前記外部記憶手段から取得する顔画像取得手段と、
   前記顔検出手段で検出された顔の大きさ情報と、前記部位検出手段および前記特徴量抽出手段の正規化サイズに応じて、前記顔画像取得手段の前記取得モードを選択して切替える顔画像取得選択手段とを備え、
   前記顔画像取得選択手段は、前記取得モードを、前記顔検出手段の顔の大きさが、前記第１の正規化手段の正規化サイズと前記第２の正規化手段の正規化サイズとの和よりも大きな場合に、前記個別取得モードとし、小さな場合に前記共有取得モードとする、撮像装置。

Images