JP7353825B2 - 画像処理装置及びその方法、画像入力装置、画像処理システム、プログラム - Google Patents

Description

本発明は、入力される画像中に存在する物体が、あらかじめ登録されたクラスのいずれに属するのかを特定する画像処理に関するものである。特に、入力される画像中に存在する顔が、あらかじめ登録されたどの人物の顔なのかを特定する顔認証に関するものである。

近年、撮影された画像内に写っているオブジェクトの画像を高度に処理して有用な情報を抽出する技術が多く提案されている。特にその中でも、ディープネット（或いはディープニューラルネット、ディープラーニングとも称される）と呼ばれる多階層のニューラルネットワークを用いる技術が、顔認証に関して盛んに研究開発されている。顔認証とは、入力された顔画像（入力顔画像と呼ぶ）と、予め登録されている複数の人物の顔画像（登録顔画像と呼ぶ）との比較を行い、入力された顔画像が誰であるか判定する技術である。

特開２０１８－１４７４７４号公報

上述のようにディープネットを用いた識別処理は盛んに研究開発されている。しかしながら、ディープネットの学習には大量の学習用画像が必要であるという課題がある。さらに、より良好な精度を実現するためには、学習画像それぞれに対して、その画像の正確な正解値（識別クラスラベル）が用意されている必要がある。

この問題に対して、特許文献１では、最初に手持ちの学習データで第１学習モジュールを学習させたのちに、その第１学習モジュールの出力を教師データとして、第２学習モジュールを学習させることで、学習データ収集のコストを削減している。

また別の課題として、ディープネットを用いた識別処理には、現時点では常に完璧に認証できるような完成度には至っていない、という問題点もある。入力画像が撮影された条件によっては、誤認証（別の識別クラスと間違えて識別してしまうこと）も起こり得る。

例えば顔認証の場合、カメラの設置条件によっては、著しく識別精度が劣化することが起こり得る。特に監視カメラのように高所にカメラが設置され、常に見下ろし状態の顔画像しか取得できないような場合には、精度の劣化が予想される。これは、学習時と実使用時で画像の変動が著しく異なることが原因と考えられる。例えば、正面向きの画像ばかり学習した顔認証を、見下ろし画像しか入力されないようなカメラ設置条件で実使用するような場合である。特許文献１では、このようなカメラの設置条件による精度の劣化に関しては考慮されていない。

また、実使用時に得られる画像を用いて学習することも考えられるが、通常の学習時には画像それぞれに対して正解値（クラスラベル）が必要となる。そのため、人手による正解値の作成等の煩雑で時間のかかる作業が必要となり、現実的ではないという問題点がある。

同様に、学習時と実際の使用時とで画像の変動が著しく異なることを原因として、学習時に想定した閾値を用いて顔認証を実行すると、期待したような顔認証精度が実現できないという問題もある。つまり閾値よって誤認証や未認証が決定されるのであるが、学習時には適切と思われた閾値が、実使用時の画像に対して不適切になってしまうことで、期待したような顔認証精度が実現できないということも発生している。

上記課題を解決するため、本発明の１態様によれば、画像処理装置に、画像処理装置に、入力画像に対して、第一の抽出処理を行うことで、第一の特徴量を抽出する第一の特徴量抽出手段と、前記入力画像に対して、前記第一の抽出処理よりも処理量の小さい第二の抽出処理を行い、第二の特徴量を抽出する第二の特徴量抽出手段と、前記第一の特徴量と前記第二の特徴量とを比較して比較結果を出力する比較手段と、前記比較結果に基づいて、前記第二の特徴量抽出手段が前記第二の抽出処理に用いるパラメータを更新する更新手段とを備える。

本発明によれば、少ない処理量で高精度の顔認証が実現できる。

顔認証システムのブロック図。 顔認証システムの処理フローチャート。 顔認証システムのブロック図。 顔認証システムの処理フローチャート。 正例、負例のヒストグラム。 顔認証システムのブロック図。 閾値調整状態の処理フローチャート。 顔認証システムのブロック図。

以下、図面を参照しながら本発明の好適な実施形態について詳細に説明する。

（実施形態１）
本実施形態の目的は、従来、大量の学習画像を用いた大規模学習と、その学習結果を用いた大規模なニューラルネットワークにより実現されている顔認証を、できるだけ軽量なニューラルネットワークで実現することにある。その際に、顔認証のロバスト性を処理対象画像が入力されるカメラの設置条件に限定することで、精度を劣化させずに、処理量を軽減することを実現している。

以下では、本実施形態の画像処理システムを詳細に説明する。図１は、本実施形態の画像処理システムである顔認証システム１００の構成を示すブロック図である。

画像入力部１０１は、顔認証の対象となる被写体を含む画像データを供給する画像入力装置である。本実施形態では、画像入力部１０１はカメラであるとして、撮影した画像が画像入力部１０１から入力されるものとする。画像入力部１０１は、識別システム管理部１０３となる画像処理装置とは物理的に離れた場所に置かれていてもよく、映像をネットワーク越しに識別システム管理部１０３に転送するような構成でもよい。また、入力画像は撮影中の画像に限るものではなく、撮影済みの記録画像の再生画像が画像入力部１０１に入力されてもよい。

顔検出部１０２は、画像入力部１０１に入力された画像データに対して顔の検出を行う。顔の検出手法は既存の公知の手法を使えばよい。例えば、鼻、口や目などの顔領域の構成要素に相当する形状を抽出し、両目の大きさとそれらの距離から顔の大きさを推定し、鼻の中心に相当する位置を基準として、推定した大きさの領域で囲んだ領域を顔領域とするような手法でもよい。検出された顔領域の画像データは、所定の手法で一定サイズに正規化され、顔領域画像として識別システム管理部１０３に入力される。

なお本実施形態では、顔検出部１０２は、カメラを想定している画像入力部１０１の中にあるとしているが、識別システム管理部１０３にあってもよい。その場合には、入力画像全体を識別システム管理部１０３に送る必要がある。それに対して、本実施形態のように画像入力部１０１の中に顔検出部１０２がある場合には、上述のように顔領域だけを識別システム管理部１０３に送ればよいので、送るべきデータ量が少なくなるという点で好適であるといえる。識別システム管理部１０３には、画像入力部１０１から顔領域画像が送られてくる。

第一特徴量抽出部１０４には、画像入力部１０１から送られてきた顔領域画像が入力される。第一特徴量抽出部１０４は、あらかじめ大量でかつ各種変動を含んだ学習画像を用いた大規模学習により得られた特徴量抽出パラメータが設定されており、その特徴量抽出パラメータを用いた大規模なニューラルネットワークにより実現されている。ここで各種変動とは、顔の向きや周囲の照明条件等の顔撮影条件を意味する。このようにして実現された第一特徴量抽出部１０４では、処理量やパラメータ量は大量ではあるが、良好な顔認証精度が実現可能な特徴量の抽出が可能となっている。良好な顔認証精度が実現可能な特徴量、という意味で、第一特徴量抽出部１０４が算出する特徴量を規範特徴量と呼ぶことにする（また、それに倣って第一特徴量抽出部１０４に設定された特徴量抽出パラメータを規範特徴量抽出パラメータと呼ぶことにする）。

第二特徴量抽出部１０５には、画像入力部１０１から送られてきた顔領域画像（第一特徴量抽出部１０４に入力された顔領域画像と同じもの）が入力される。第二特徴量抽出部１０５は、上述の第一特徴量抽出部１０４と比較して、少ない特徴量抽出パラメータと、処理量の小さなニューラルネットワークから構成されている。したがって、第二特徴量抽出部１０５は、第一特徴量抽出部１０４と比較して、個人を区別する特徴量を、各種変動にロバストに抽出する能力は劣後してしまう。その代わり、第二特徴量抽出部１０５は、軽い処理で特徴量を抽出することが可能となっている。

具体的には第二特徴量抽出部１０５が必要とする演算リソース（メモリ量や演算器性能）は、第一特徴量抽出部１０４に比して少量であり、また演算にかかる時間も短くて済む。第一特徴量抽出部１０４が出力する規範特徴量と区別するために、第二特徴量抽出部１０５が算出特徴量を小規模演算特徴量と呼ぶことにする。（また、それに倣って第二特徴量抽出部１０５に設定された特徴量抽出パラメータを小規模演算特徴量抽出パラメータと呼ぶことにする。）
比較照合部１０６は、第一特徴量抽出部１０４が出力する規範特徴量と、第二特徴量抽出部１０５が出力する小規模演算特徴量とを比較し、その比較結果を出力する。例えば本実施形態では、規範特徴量と小規模演算特徴量との間のユークリッド距離を比較結果として出力するとする。また、比較照合部１０６は、第一特徴量抽出部１０４または第二特徴量抽出部１０５から抽出された特徴量を、予め登録された顔の特徴量と照合することで、入力画像中の顔に対する顔認証を行う。

パラメータ更新制御部１０７は、比較照合部１０６から出力される比較結果を用いて、両特徴量の差が小さくなるように、第二特徴量抽出部１０５の小規模演算特徴量抽出パラメータを更新する。例えば比較照合部１０６から出力される、両特徴量の距離を小さくするように、第二特徴量抽出部１０５の小規模演算特徴量抽出パラメータを更新する。更新された小規模演算特徴量抽出パラメータは、第二特徴量抽出部１０５に設定される。

パラメータ更新のやり方は公知の手法を使用すればよい。例えば、比較照合部１０６から両特徴量のユークリッド距離から出力される場合には、そのユークリッド距離を誤差とし、その誤差を小さくするように、誤差逆伝搬法を用いて、小規模演算特徴量抽出パラメータを更新するのでもよい。

また小規模演算特徴量抽出パラメータの更新の頻度は、画像入力部１０１から入力画像が送られてくるたび（比較照合部１０６から両特徴量間の距離が出力されるたび）に行ってもよいし、所定の枚数送られてくるたびに行ってもよい。所定の枚数送られてくるたびに更新を行う場合には、複数枚の画像から得られる複数の距離の平均を誤差としてパラメータ更新が行われるので、特定の一枚から算出される誤差に過大な影響を受けた更新が行われにくいという意味で、好適であるといえる。また更新の終了基準は、ある所定の基準内に誤差が小さくなるまで更新を継続するのでもよいし、所定の回数誤差逆伝搬を繰り返した後に終了するのでもよい。

特徴量抽出制御部１０８は、比較照合部１０６から出力される比較結果に基づいて、第一特徴量抽出部１０４及び第二特徴量抽出部１０５の動作の制御を行う。両特徴量抽出部には画像入力部１０１から顔領域画像が並列に供給される。両特徴量の比較結果に基づいて、いずれか一方の特徴量抽出部の動作の頻度を下げるなど活性を低下させたり、一方だけを動作させたり、両方の特徴量抽出部を動作させたりする。

本実施形態では、特徴量抽出制御部１０８は、比較照合部１０６から入力される比較結果に基づいて次のように動作する。特徴量抽出制御部１０８は、入力される比較結果（差異）が所定の閾値より大きいときには、第一特徴量抽出部１０４と第二特徴量抽出部１０５の両方を動作させる。それと同時に、パラメータ更新制御部１０７による小規模演算特徴量抽出パラメータの更新を行うように制御する。特徴量抽出制御部１０８がこのような制御を行う状態を初期状態と呼ぶことにする。

特徴量抽出制御部１０８は、入力される比較結果が所定の閾値より小さい状態が、所定の枚数の入力画像に対して達成されたと判断した場合、第一特徴量抽出部１０４の動作を停止させる。それと同時に、パラメータ更新制御部１０７による小規模演算特徴量抽出パラメータの更新も中止するように制御する。特徴量抽出制御部１０８がこのような制御を行う状態を定常状態と呼ぶことにする。所定枚数を定めているのは、ある特定の画像で偶然両特徴量間の距離が小さくなっただけで、初期状態から定常状態に移行するのを避けるためである。つまり、何枚かの画像で安定的に両特徴量間の距離が小さい状態が継続したのちに、初期状態から定常状態に移行するためである。

特徴量抽出制御部１０８がこのように制御することで、両特徴量の違いが大きいとき、つまり初期状態では、パラメータ更新制御部１０７による小規模演算特徴量抽出パラメータの更新を行って、両特徴量の違いが小さくなるように制御することが可能となる。その結果、両特徴量の違いが小さくなると、定常状態に移行し、特徴量抽出は第二特徴量抽出部１０５だけで行うようになり、高速に特徴量を抽出することが可能となる。

なお、抽出した特徴量を用いた照合処理は、公知の手法を用いれば実現可能である。例えば、認証したい人物の画像（登録画像）に対して特徴抽出処理を行い、抽出された特徴量を人物と対応付けて登録しておく。そのうえで、登録画像に対する特徴量と、入力画像に対する特徴量とのユークリッド距離を算出し、所定の閾値よりも小さければ、入力画像の顔画像は、その登録画像の人物だと判断する、というやり方で実現できる。

以上が顔認証システム１００の構成である。これまで説明してきたように、顔認証システム１００には、特徴抽出パラメータ量や処理量が異なる二つの特徴量抽出部（第一特徴量抽出部１０４と第二特徴量抽出部１０５）が存在する。

第二特徴量抽出部１０５は、第一特徴量抽出部１０４と比較して、少ない特徴量抽出パラメータと、処理量の小さなニューラルネットワークから構成されている。したがって、一般的な傾向として、第二特徴量抽出部１０５は、第一特徴量抽出部１０４に比較して、個人を識別する特徴量を、各種変動にロバストに抽出する能力は劣後してしまう。しかしながら、本実施形態では、第二特徴量抽出部１０５に入力される画像を画像入力部１０１で撮影された画像に限定する。つまり画像の変動を限定することで、限定された画像に対しては、第一特徴量抽出部１０４と同等の個人を識別する特徴量を得ることを可能にしている。

つまり、第一特徴量抽出部１０４は、多大な演算リソースを必要とする代わりに、特に制限のない広範囲な顔画像に対して、個人を識別する良好な特徴量を抽出できる。それに対して、第二特徴量抽出部１０４は、個人を識別する良好な特徴量を抽出できる顔画像は、画像入力部１０１から入力された顔画像に限定されるが、その代わりに小さな演算リソースで実現できるものであるといえる。

このような第二特徴量抽出部１０５を実現するために、規範特徴量と小規模演算特徴量とを比較し、その違いが小さくなるように、小規模演算特徴量抽出パラメータの更新を行うようにしている。その際には、通常のパラメータ更新（学習）時には必要とされる正解値（クラスラベル）を必要としない。そのため、人手による正解値の作成等の煩雑で時間のかかる作業が不要であり、低コストで迅速なパラメータ更新が実現可能となっている。

また、更新の結果、規範特徴量と小規模演算特徴量との違いが小さくなった後は、第二特徴量抽出部１０５のみを動作させることで、顔認証の処理量を軽減することが可能になる。つまり、顔認証システム１００の運用を開始した直後（特徴量抽出制御部１０８が初期状態に対する制御を行っている）は、画像入力部１０１から送られてくる顔領域画像の枚数も少ないので、規範特徴量と小規模演算特徴量との違いは大きいと考えられる。（例えば、第二特徴量抽出部１０５の小規模演算特徴量抽出パラメータは初期状態として乱数で初期化されているとする。）このような場合、顔認証を行うには、規範特徴量を使用するほかないので、顔認証に必要な処理量は大きなものになる。

しかしながら、顔認証システム１００の運用を開始してある程度の時間が経過したのちには、パラメータの更新が十分に行われ、規範特徴量と小規模演算特徴量との違いは小さくなると考えられる。画像入力部１０１から送られてくる顔領域画像に対しては、第一特徴量抽出部１０４も第二特徴量抽出部１０５も略同一の特徴量を出力する。したがって、顔認証を行うのに、規範特徴量を使用する必要はなくなり、第一特徴量抽出部１０４を動作させる必要もなくなる。

このようになれば、特徴量抽出制御部１０８は定常状態の制御に切り替わる。定常状態では、顔認証に必要な処理量は低減される。顔認証に必要な処理量が低減されると、単位時間当たりに特徴抽出できる顔領域画像の枚数を増やすことが可能になる。動画像を入力とするような顔認証システムでは、動画像から静止画像をサンプリングするレートを向上させることができ、顔認証の精度の向上も期待できる。

続いて、図２を用いて顔認証システム１００の動作シーケンスの説明を行う。図２は一枚の入力画像に対する顔認証システムの動作シーケンスを示している。ここでは説明の簡単のため一枚の入力画像には、一つの顔画像しかないとする。複数の顔画像がある場合は、顔検出以降を顔の数だけ繰り返して処理すればよい。

また、上述のように、第一特徴量抽出部１０４と第二特徴量抽出部１０５の両方を動作させ、両特徴量の比較結果に基づいてパラメータ更新を行っている状態を初期状態、第二特徴量抽出部１０５のみが動作している状態を定常状態と呼ぶ。

まずＳ２０１では、顔検出部１０２により入力画像に対して顔検出が行われる。なお、入力画像中に顔が検出されなかった場合は、以降の処理はスキップされる。続いてＳ２０２では、第二特徴量抽出部１０５により小規模演算特徴量の抽出が行われる。続いてＳ２０３では、特徴量抽出制御部１０８により顔認証システムの状態に応じた制御が行われる。つまり、顔認証システム１００が初期状態の制御下にあるのか、定常状態の制御下にあるのかに応じて処理が分岐する。

顔認証システム１００が初期状態の場合には、Ｓ２０４において、第一特徴量抽出部１０４により規範特徴量の抽出が行われ、続いてＳ２０５において、比較照合部１０６により両特徴量のユークリッド距離の算出が行われる。

続くＳ２０６では、特徴量抽出制御部１０８により、算出されたユークリッド距離があらかじめ設定された所定の距離閾値よりも小さいか否かが調査され、小さい場合には、Ｓ２０７にて条件達成回数のカウントアップが行われる。ユークリッド距離があらかじめ設定された所定の距離閾値よりも大きい場合には、Ｓ２０８にて、小規模演算特徴量抽出パラメータの更新を行う。

さらに続くＳ２０９で、条件達成回数が、あらかじめ設定された所定の回数閾値以上か否かが調査され、所定の回数閾値以上である場合には、Ｓ２１０にて顔認証システムの状態が定常状態に遷移する。続くＳ２１１で、比較照合部１０６は、抽出された規範特徴量を用いることで、入力された画像に対する顔認証処理を行う。前述のように抽出した特徴量を用いた照合処理は、公知の手法を用いれば実現可能である。この場合には、登録画像に対する特徴量抽出も第一特徴量抽出部１０４により行う。

顔認証システム１００が定常状態の場合には、Ｓ２０３にてＳ２１２への分岐が行われる。Ｓ２１２では、抽出された小規模演算特徴量を用いることで、入力された画像に対する照合処理を行う。この場合には、登録画像に対する特徴量抽出も第二特徴量抽出部１０５により行う。

以上詳細に説明したように、顔認証システム１００を本実施形態のように構成することで、顔認証システム１００の運用を開始してある程度の時間が経過したのちには、第二特徴量抽出部１０５のみによる特徴量抽出が可能となる。すなわち初期状態の時の顔認証精度を劣化させることなく、高速に顔認証処理を行うことが可能となる。

また第二特徴量抽出部１０５の小規模演算特徴量抽出パラメータの更新（学習）の際には、通常のパラメータ更新（学習）時には必要とされる正解値（クラスラベル）を必要としない。そのため、人手による正解値の作成等の煩雑で時間のかかる作業が不要であり、低コストで迅速なパラメータ更新が実現可能となっている。

本実施形態によれば、設置されたカメラの画像を用いて、特徴量抽出のためのパラメータの学習を行う。しかも、その学習に際しては、通常の学習で必要となる正解値（クラスラベル）を必要としない。それ故、カメラの設置状況に応じて得られるそのカメラ特有の入力画像（例えば見下ろし状態の顔画像）に特化した特徴量抽出の学習が、低コストで実現可能となる。

また、そのカメラの入力画像に特化しているため、第二の特徴量抽出手段においては軽量な処理量で、高精度の顔認証が実現できる。さらに、設置状況に応じた閾値の調整も可能となっている。

（実施形態２）
本実施形態では、画像入力部の中で特徴量抽出と顔認証とを行う場合の例を示す。本実施形態では、監視カメラシステムで顔認証が行われることを想定し、画像入力部として監視カメラを、識別システム管理部としてサーバを想定する。監視カメラはネットワークを介してサーバに接続されているとする。一般的に、監視カメラシステムでは、複数の監視カメラが１台のサーバに接続されていることが多く、特徴量抽出やその後の照合処理をすべてサーバで行うとすると、サーバの負荷は巨大なものになってしまう。

そこでサーバの負荷を低減するために、本実施形態では、監視カメラ内で特徴量抽出やその後の照合処理を行うこととする。しかしながら、監視カメラ内で許容される演算リソースは限られており、サーバで行われる顔認証を単純に監視カメラ内で行おうとすると、制限された演算リソースでは良好な精度で顔認証を実現するのは困難である。

本実施形態では、監視カメラ内の制限された演算リソースでも、サーバで行う顔認証と同等の精度の顔認証を実現するやり方について説明する。以下では本実施形態の顔認証システムを詳細に説明する。

図３は、本実施形態における顔認証システム３００の構成を示すブロック図である。図３において、図１と同じ意味を持つ部品には図１と同じ番号を付与し、その説明は省略する。

本実施形態の顔認証システム３００では、上述のように、監視カメラを想定する画像入力部３０１内での顔認証処理が可能なように構成されている。本実施形態では、画像入力部３０１は、監視カメラであるとして、撮影中の画像が画像入力部３０１から入力されるとする。画像入力部３０１からは、識別システム管理部３０３に対して顔領域画像が出力される。識別システム管理部３０３からは、画像入力部３０１が内蔵する第三特徴量抽出部３０９で使用する特徴量抽出パラメータが出力される。

パラメータ更新制御部３０７は、実施形態１で説明したパラメータ更新動作を行う。さらに特徴量抽出制御部３０８の指示があった場合には、第二特徴量抽出部１０５に対して設定したものと同じ小規模演算特徴量抽出パラメータを、第三特徴量抽出部３０９に対しても出力する。このことにより、第二特徴量抽出部１０５と第三特徴量抽出部３０９とには同じ小規模演算特徴量抽出パラメータが設定されることになる。したがって、第二特徴量抽出部１０５が出力する小規模演算特徴量と、第三特徴量抽出部３０９が出力する特徴量（これをカメラ内特徴量と呼ぶ）とは同じものとなる。

第三特徴量抽出部３０９は、パラメータ更新制御部３０７から小規模演算特徴量抽出パラメータを受信したのちには、第二特徴量抽出部１０５と同じ処理を行う。本実施形態でも第二特徴量抽出部１０５は、実施形態１の場合と同じく第一特徴量抽出部１０４と比較して、少ない特徴量抽出パラメータと、処理量の小さなニューラルネットワークから構成されている。したがって、第三特徴量抽出部３０９も第二特徴量抽出部１０５と同じく少ない演算リソースで動作可能なものになっており、監視カメラを想定する画像入力部３０１内でも動作可能なものになっている。認証部３１０は、第三特徴量抽出部３０９で抽出された特徴量を用いて顔認証を行う。この顔認証は、比較照合部１０６による顔認証と同様である。

特徴量抽出制御部３０８は、比較照合部１０６から出力される比較結果に基づいて、画像入力部３０１から送られてくる顔領域画像の送信の可否を制御する。本実施形態では、特徴量抽出制御部３０８は、次のように動作する。特徴量抽出制御部３０８に入力される比較結果が所定の閾値より大きいときには、画像入力部３０１からの顔領域画像の送信を許可する。それととともに、第一特徴量抽出部１０４と第二特徴量抽出部１０５の両方を動作させ、パラメータ更新制御部３０７による小規模演算特徴量抽出パラメータの更新を行うように制御する。特徴量抽出制御部３０８がこのような制御を行う状態を初期状態と呼ぶことにする。

特徴量抽出制御部３０８に入力される比較結果（差異）が所定の閾値より小さい状態が、所定の枚数の入力画像に対して達成されたと判断した場合、画像入力部３０１からの顔領域画像の送信を禁止する。また同時に、パラメータ更新制御部３０７に対して、その時点で最後に更新された小規模演算特徴量抽出パラメータを第三特徴量抽出部３０９に送るように指示する。顔領域画像の送信が停止すると、必然的に第一特徴量抽出部１０４、第二特徴量抽出部１０５、比較照合部１０６、パラメータ更新制御部３０７の動作も停止することになる。特徴量抽出制御部１０８がこのような制御を行う状態を定常状態と呼ぶことにする。

特徴量抽出制御部３０８による制御をこのように行うことにより、次のように動作する。すなわち、規範特徴量と小規模演算特徴量との違いが大きいとき、つまり初期状態では、パラメータ更新制御部３０７による小規模演算特徴量抽出パラメータの更新を行って、両特徴量の違いが小さくなるように制御することが可能となる。その結果、規範特徴量と小規模演算特徴量との違いが小さくなると、定常状態に移行する。

定常状態に移行するときには、第二特徴量抽出部１０５に設定されている小規模演算特徴量抽出パラメータが、第三特徴量抽出部３０９にも設定される。これにより、同じ顔領域画像に対して第二特徴量抽出部１０５が出力する小規模演算特徴量と、第三特徴量抽出部３０９が出力するカメラ内特徴量とは同じものとなる。

定常状態では、特徴量抽出は第三特徴量抽出部３０９だけで行い、認証は認証部３１０だけが行うようになる。つまり、識別システム管理部３０３（サーバを想定）では、特徴量抽出やその後の照合処理は行われないようになり、その代わりに各画像入力部３０１（監視カメラを想定）内で特徴量抽出やその後の照合処理を行うようにできる。

以上が顔認証システム３００の構成である。続いて、図４を用いて顔認証システム３００の動作シーケンスの説明を行う。図４において、図２と同じ処理をするステップには図２と同じ番号を付与し、その説明は省略する。

図４で図２と違う点は、Ｓ４１３、Ｓ４１２である。また、Ｓ２０２とＳ２０３の順序が、図４では図２の逆になっているが、Ｓ２０２とＳ２０３で行う処理内容は図２の場合と同じなので説明は省略する。

Ｓ４１３では、初期状態から定常状態へ移行すると判断したときに、その時点の小規模演算特徴量抽出パラメータを第三特徴量抽出部３０９に送ることを行う。初期状態では、第三特徴量抽出部３０９における特徴量（カメラ内特徴量）算出は行わないので、小規模演算特徴量抽出パラメータは必要ないが、定常状態ではカメラ内特徴量算出のために小規模演算特徴量抽出パラメータが必要となる。

顔認証システム３００が定常状態の場合には、Ｓ２０３にてＳ４１２への分岐が行われる。Ｓ４１２では、画像入力部３０１内にある第三特徴量抽出部３０９により、顔領域画像に対する特徴量の抽出処理が行われ、カメラ内特徴量が算出される。そして、抽出されたカメラ内特徴量を用いることで、認証部３１０が、入力された画像に対する照合処理を行う。この場合には、登録画像に対する特徴量抽出も第三特徴量抽出部３０９により行う。

以上詳細に説明したように、顔認証システム３００を本実施形態のように構成することで、次のように動作する。すなわち、顔認証システム３００の運用を開始してある程度の時間が経過したのちには、第三特徴量抽出部３０９のみによる特徴量抽出が可能となり、初期状態の時の顔認証精度を劣化させることなく、画像入力部３０１内で顔認証処理を行うことが可能となる。

このことにより、監視カメラ内で特徴量抽出やその後の照合処理を行うことが可能となり、サーバの負荷低減が実現でき、安価なサーバで監視システムを構成することができる。特に、複数の監視カメラが１台のサーバに接続されているような監視カメラシステムにおいては有効性が顕著となる。

なお、本実施形態では、サーバ内の第二特徴量抽出部１０５のパラメータの更新が完了すると、同じパラメータを用いて監視カメラ内の第三特徴量抽出部３０９で特徴量抽出を行うものとした。しかしながら、サーバと監視カメラ間の通信環境が許せば、サーバ内に第二特徴量抽出部１０５を設けなくてもよい。すなわち、サーバ内の第一特徴量抽出部１０４と監視カメラ内の第三特徴量抽出部３０９との抽出特徴量を比較して第三特徴量抽出部３０９のパラメータを更新するようにしてもよい。

（実施形態３）
実施形態１、２では、大規模なニューラルネットワーク（第一特徴量抽出部１０４）と軽量なニューラルネットワーク（第二特徴量抽出部１０５、或いは第三特徴量抽出部３０９）とを利用した。そして、大量の学習画像を用いた大規模学習と、その学習結果を用いた大規模なニューラルネットワークにより実現されている顔認証を、その精度をできるだけ維持したまま、軽量なニューラルネットワークで実現する場合の実施形態を示した。精度を維持したまま軽量化するために、顔認証のロバスト性を処理対象画像が入力されるカメラの設置条件で発生するロバスト性の範囲に限定するようにしている。

本実施形態では、そのようにして実現された軽量なニューラルネットワークで顔認証する場合の閾値の調整手法に関して説明を行う。実施形態１、２では、登録画像に対する特徴量と、入力画像に対する特徴量とのユークリッド距離を算出し、所定の閾値よりも小さければ、入力画像の顔画像は、登録画像の人物だと判断する、というやり方で実現する照合処理を説明した。本実施形態では、この所定の閾値の決め方を説明する。

本実施形態における閾値の決め方の説明を行う前に、一般的に行われている閾値の決め方の説明をし、その問題点にも触れておく。一般的に閾値は、特徴量抽出の学習或いは検証（学習後に学習の良し悪しを判断するプロセス）に用いた学習画像、或いは検証画像（検証プロセスで用いられる画像、評価画像）を用いて決定される。これら学習画像や検証画像には正解値（クラスラベル）が付与されている。

例えば、大量でかつ各種変動を含んだ学習画像を用いた大規模学習で学習を行っておき、そのうえで、閾値を決めるための検証用画像に対する特徴量抽出を行い、抽出された特徴量を用いて閾値を決定することが一般的に行われている。

具体的な閾値決定方法としては、検証用画像から抽出された特徴量同士（ペア）のユークリッド距離を算出し、距離を横軸とし、その距離となったペア数を頻度とするヒストグラムを作成する方法がある。ペアが正例（同一人物同士の画像のペア）の場合と負例（他人同士の画像のペア）の場合とで二つのヒストグラムを作成すると、図５のようになる。

このときある閾値（距離閾値）を決めると、その距離閾値より大きな距離となった正例の頻度数が未認証数、その距離閾値より小さな距離となった負例の頻度数が誤認証数となる。さらに未認証数及び誤認証数をそれぞれ正例の全ペア数及び負例の全ペア数で割った数字が未認証率、誤認証率となる。

従ってこれらの情報から、顔認証を使用するユースケースに応じて適切な距離閾値を決定することができる。つまり誤認証が許されないようなユースケース（例えば人退室管理）であれば、検証用画像で誤認証が発生しない程度に距離閾値を小さくすればよい。或いは未認証が許されないようなユースケース（例えば人探し）であれば、検証用画像で未認証が発生しない程度に距離閾値を大きくすればよい。一般的にはこのようなやり方で閾値を決定する。

しかしながら、検証用画像は実際にカメラが設置された環境で取得される画像（つまり実際に顔認証システムに入力される画像）とは異なることが一般的である。したがって、検証用画像を用いて作成した正例ペア、負例ペアのヒストグラムと、実際の使用環境下で取得された画像を用いて作成した正例ペア、負例ペアのヒストグラムとは、形状やレンジ（距離軸に対する頻度分布の範囲）が著しく異なることは十分起こりうる。したがって、実際の使用環境下で取得された画像を用いて作成した正例ペア、負例ペアのヒストグラムに基づいて、閾値を決定することが望ましい。

ただ、実際の使用環境下で取得された画像に対して正例ペア、負例ペアのヒストグラムを作成するためには、取得画像に対して、正解値（クラスラベル）を付与する必要がある。正解値（クラスラベル）の付与は、人手による煩雑で時間のかかる作業であり、特に多数のカメラを設置する場合などは現実的に不可能といえる。そのような背景から一般的には検証画像を用いて閾値を決定している。

本実施形態による閾値の決め方では、上述のような問題点を解決するものになっている。以下では本実施形態の顔認証システムの説明を行うが、詳細な説明を行う前に、本実施形態の意図するところを説明しておく。

実施形態１、２で説明したように、初期状態では、画像入力部から入力される顔領域画像に対しては、略同一となる規範特徴量と小規模演算特徴量とが得られるように小規模演算特徴量抽出パラメータが更新される。したがって、初期状態が終了したのちには、画像入力部から入力される顔領域画像に対しては、略同一となる規範特徴量と小規模演算特徴量とが得られるようになっている。逆に言うと、略同一となっている規範特徴量と小規模演算特徴量とが得られるような顔領域画像は、画像入力部から入力する画像に類似する画像である、ともいえる。

つまり、初期状態が終了したのちには、規範特徴量と小規模演算特徴量とが略同一になっているか否かを調べることで、その画像が画像入力部から入力する画像に類似する画像であるか否かを判定できる。このことを利用すれば、第一特徴量抽出部を学習するときに使用された大量でかつ各種変動を含んだ学習画像（学習顔領域画像）を用いれば、それらの学習顔領域画像のうちから画像入力部からの入力画像に類似するものを抽出することができる。（この抽出した画像を抽出学習画像と呼ぶ。）
学習画像には正解値（クラスラベル）も付与されているので、その一部である抽出学習画像にも正解値は付与されている。この手順により、実使用環境で得られる入力画像に類似した画像（抽出学習画像）を、その正解値付きで手に入れることができる。この抽出学習画像とその正解値を使って、前述の正例ペア、負例ペアのヒストグラムを作成すれば、実際の使用環境下で取得された画像を用いて作成した正例ペア、負例ペアのヒストグラムに極めて近いヒストグラムが得られることが期待できる。この、抽出学習画像とその正解値を使って得られたヒストグラムから、閾値を算出すれば、実使用環境下でも最適となる閾値を得ることが可能となる。以上が本実施形態の概略説明である。

以下、図を用いて詳細な説明を行う。図６は、本実施形態における顔認証システム６００の構成を示すブロック図である。図６において、図１と同じ意味を持つ部品には図１と同じ番号を付与し、その説明は省略する。

これまで説明した実施形態と同じく、顔認証システム６００の動作は、特徴量抽出制御部６０８によって制御される。実施形態１では、特徴量抽出制御部１０８は、初期状態と定常状態の二つの状態の切り替えを行っていたが、本実施形態の特徴量抽出制御部６０８は、初期状態、閾値算出状態、定常状態の三つの状態の切り替えを行う。

本実施形態の状態遷移は、実施形態１で行われていた初期状態から定常状態への遷移の間に閾値算出状態が挟まったものとなっている。初期状態、定常状態における顔認証システム６００の動作は、実施形態１の顔認証システム１００の動作と同じなので説明は省略する。また、初期状態から閾値算出状態への切り替え条件は、実施形態１における初期状態から定常状態への切り替え条件と同じなのでこの説明も省略する。閾値算出状態で、閾値算出が行われた後に、定常状態に移行する。

以降では本実施形態特有の状態である、閾値算出状態における各ブロックの説明を行う。
識別システム管理部６０３では、実施形態１における識別システム管理部１０３の動作に加えて、閾値算出状態では、閾値の算出処理も行う（詳細は後述する）。

第一特徴量抽出部６０４、第二特徴量抽出部６０５には、画像入力部１０１から送られてきた顔領域画像と、学習画像管理部６１０から送られてきた学習顔領域画像とが選択的に入力される。どちらの画像を入力とするかは、特徴量抽出制御部６０８の指示に従う。閾値算出状態においては、学習顔領域画像が入力される。また、第二特徴量抽出部６０５の出力は、識別精度評価部６１１にも出力されるようになっている。それ以外の動作は、実施形態１の第一特徴量抽出部１０４、並びに第二特徴量抽出部１０５と同一なので説明は省略する。

比較照合部６０６は実施形態１で説明した比較照合部１０６の動作に加えて、比較結果を学習画像管理部６１０にも出力できるようになっている。比較照合部６０６は、特徴量抽出制御部６０８の指示によって、比較結果をパラメータ更新制御部１０７に出力するか、学習画像管理部６１０に出力するかを切り替える。閾値算出状態においては、比較結果を学習画像管理部６１０に出力する。

閾値算出状態では、特徴量抽出制御部６０８は、第一特徴量抽出部６０４並びに第二特徴量抽出部６０５に対して、学習画像管理部６１０から送られてきた学習顔領域画像を入力とするように制御する。第一特徴量抽出部６０４並びに第二特徴量抽出部６０５は、学習顔領域画像に対する特徴量（規範特徴量及び小規模演算特徴）を算出し、比較照合部６０６に出力する。

学習画像管理部６１０は、第一特徴量抽出部６０４を学習するときに使用された大量でかつ各種変動を含んだ学習画像（学習顔領域画像）と、その正解値（クラスラベル）を対応付けて保持管理している。学習画像管理部６１０は、閾値算出状態においては、特徴量抽出制御部６０８の指示により、第一特徴量抽出部６０４と第二特徴量抽出部６０５に学習顔領域画像を供給する。

また、学習画像管理部６１０は識別精度評価部６１１に対して、比較照合部６０６から出力される比較結果（例えば両特徴量間のユークリッド距離）に応じて、比較結果のもとになった小規模演算特徴量を受け取るか否かを指示する。学習画像管理部６１０は、両特徴量間のユークリッド距離が所定の閾値より小さければ、比較結果のもとになった小規模演算特徴量を受け取るように、識別精度評価部６１１に指示する。その際には、その小規模演算特徴量の算出元となる学習顔領域画像に付与されている正解値（クラスラベル）も一緒に送る。また、学習画像管理部６１０は、第一特徴量抽出部６０４と第二特徴量抽出部６０５に、自身が管理するすべての学習顔領域画像を供給し終えると、識別精度評価部６１１に対して、評価の開始を指示する。

識別精度評価部６１１は、学習画像管理部６１０から送られてきた正解値（クラスラベル）と、第二特徴量抽出部６０５から送られてきた小規模演算特徴量とを蓄積する。そののちに、学習画像管理部６１０からの指示に基づいて、蓄積した小規模演算特徴量と正解値とから、適切な閾値を算出する。閾値算出の方法は、前述のように正例ペアと負例ペアとでヒストグラムを作成し、ユースケースに見合う閾値を算出すればよい。学習画像管理部６１０が管理している学習顔領域画像には正解値（クラスラベル）が付与されているので、ヒストグラムの作成は可能である。以上が顔認証システム６００の構成である。

続いて、図７を用いて顔認証システム６００の動作シーケンスの説明を行う。ただし、顔認証システム６００の動作シーケンスのうち、初期状態と定常状態は図２と同じなので省略し、閾値算出状態の動作シーケンスのみを図７に示す。図７の動作シーケンスは、顔認証システム全体の動作シーケンスを示す図２においてＳ２１０の次に実行される。図７の動作シーケンスが終了するとＳ２１１から再開される。

まずＳ７０１、Ｓ７０２、Ｓ７０３において、学習画像管理部６１０は、第二特徴量抽出部６０５と第一特徴量抽出部６０４に学習顔領域画像を供給し、それぞれ小規模演算特徴量（Ｓ７０２）、及び規範特徴量（Ｓ７０３）を抽出する。

続いてＳ７０４では、比較照合部６０６にいて両特徴量のユークリッド距離が算出される。続くＳ７０５では、算出されたユークリッド距離があらかじめ設定された所定の距離閾値よりも小さいか否かが調査される。所定の距離閾値よりも小さい場合には、Ｓ７０６にて、のちに行われる閾値算出用に用いるデータとして、小規模演算特徴量とその正解値が抽出され、識別精度評価部６１１に蓄積される。

続くＳ７０７では、学習画像管理部６１０が管理している学習顔領域画像のすべてに対してＳ７０１～Ｓ７０５（或いはＳ７０６）の処理が行われたがチェックされる。すべての学習顔領域画像に対して処理が終わっていれば、Ｓ７０８にて、識別精度評価部６１１による閾値の算出が行われる。ここで算出された閾値は、以降の定常状態で行われる照合処理で用いられる。以上が閾値算出状態での動作シーケンスである。

以上詳細に説明したように、顔認証システム６００を本実施形態のように構成することで、実際の使用環境下で取得された画像を用いて作成した正例ペア、負例ペアのヒストグラムに極めて近いヒストグラムが得られることが期待できる。このヒストグラムから、適切な閾値を算出することが可能となる。

（実施形態４）
本実施形態では、画像入力部が複数ある場合に関する動作に関して説明を行う。一般的に画像入力部が複数ある場合には、それと同数の第二特徴量抽出部が必要となる。第一特徴量抽出部は、複数の入力部に対して共通なので、複数の画像入力部が共有することで、一つでも実現可能である。

このような場合、画像入力部の数によっては、第二特徴量抽出部を同数だけ動作させることが、演算リソース的に非現実的になることが予想される。そのような場合には、複数の画像入力部をまとめてグループ化し、一つのグループに一つの第二特徴量抽出部を紐付けるようにすることもできる。

画像入力部をグループ化する際には、画像入力部が設置される設置条件に基づいてグループ化すればよい。似たような設置条件で設置された画像入力部からは、似たような画像が送られてくることが期待できるからである。

図８は、このように構成した場合の顔認証システムを示している。図８において、図１と同じ意味を持つ部品には図１と同じ番号を付与し、その説明は省略する。また顔認証ステム８００、識別システム管理部８０３に関しても、画像入力部及び第二特徴量抽出部がそれぞれ複数になった以外は同じなので説明は省略する。

第二特徴量抽出部１０５０～１０５２の動作は、実施形態１の第二特徴量抽出部と同じである。図が煩雑になるので、第二特徴量抽出部からの出力を図示するための矢印は省略してある。画像入力部１０１０～１０１３の動作は、実施形態１の画像入力部と同じである。図８の場合には、画像入力部１０１２と１０１３が同じグループとしてグループ化され、同一の第二特徴量抽出部１０５２に顔領域画像を入力している。画像入力部１０１２と１０１３は似たような条件（例えば、同じ建物の違う部屋の入口に設置された入退室用管理用のカメラ等）で設置されているものとしている。

画像入力グループ管理部８１０は、複数の画像入力手段を、その設置条件に基づいてグループ化し、同一のグループに属する画像入力手段は、同一の特徴量抽出パラメータと対応付けて管理することを行う。

画像入力グループ管理部８１０は、特に、実施形態２のように画像入力部に対して、更新したパラメータを送る必要がある場合に、どの第二特徴量抽出部のパラメータをどの画像入力部に送るべきなのかを管理しておくために必要となる。

（その他の実施形態）
これまでの実施形態では、定常状態になった場合には、第一特徴量抽出部による規範特徴量の算出は停止するものとして説明してきた。しかしながら、比較照合部における比較結果に基づいて、規範特徴量の算出頻度を漸減させるような制御を行ってもよい。このようにすることで、定常状態になった後でも、規範特徴量と小規模演算特徴量との差を定期的に確認することができる。したがって、画像入力部から入力される画像の傾向が何らかの理由で突然変化した場合でも対応可能になる。

また、これまでの実施形態では、初期状態における小規模演算特徴量抽出パラメータの更新に際して使用した入力顔画像は、一度のパラメータ更新だけに使用されるものとして説明を行ってきた。しかしながら、入力顔画像を蓄積し、後のパラメータ更新の際に再利用することも可能である。パラメータ更新に使用する画像はバラエティに富むほど、得られるパラメータのロバスト性が向上することが期待できる。

またこれまでの実施形態では、顔認証システムの運用開始時に初期状態が開始することを想定していたが、その限りではない。一度設置されて定常状態になった画像入力部の設置場所を移動するようなことが発生した場合は、再度初期状態から始まるように制御される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 顔認証システム
１０１ 画像入力部
１０２ 顔検出部
１０３ 識別システム管理部
１０４ 第一特徴量抽出部
１０５ 第二特徴量抽出部
１０６ 比較照合部
１０７ パラメータ更新制御部
１０８ 特徴量抽出制御部

Claims (16)

1. 入力画像に対して、第一の抽出処理を行うことで、第一の特徴量を抽出する第一の特徴量抽出手段と、
   前記入力画像に対して、前記第一の抽出処理よりも処理量の小さい第二の抽出処理を行い、第二の特徴量を抽出する第二の特徴量抽出手段と、
   前記第一の特徴量と前記第二の特徴量とを比較して比較結果を出力する比較手段と、
   前記比較結果に基づいて、前記第二の特徴量抽出手段が前記第二の抽出処理に用いるパラメータを更新する更新手段と
   を備えることを特徴とする画像処理装置。
2. 前記第一の特徴量または第二の特徴量に基づいて前記入力画像に含まれる被写体を認証する認証手段をさらに備えることを特徴とする請求項１記載の画像処理装置。
3. 初期状態では、前記第一の特徴量抽出手段と前記第二の特徴量抽出手段とを並列に動作させ、定常状態では、前記第一の特徴量抽出手段を動作の活性を低下させるとともに、前記第二の特徴量抽出手段を動作させるように制御する制御手段をさらに備えることを特徴とする請求項１記載の画像処理装置。
4. 前記制御手段は、前記定常状態では、前記第一の特徴量抽出手段を動作させずに前記第二の特徴量抽出手段を動作させるように制御することを特徴とする請求項３記載の画像処理装置。
5. 前記制御手段は、前記定常状態では、前記第一の特徴量抽出手段を動作させる頻度を低下させるように制御することを特徴とする請求項３記載の画像処理装置。
6. 前記制御手段は、前記定常状態では、さらに前記パラメータの更新の頻度を低下させるように前記更新手段を制御することを特徴とする請求項５記載の画像処理装置。
7. 前記制御手段は、前記比較結果に基づいて、前記定常状態であるかを判断することを特徴とする請求項３記載の画像処理装置。
8. 前記制御手段は、前記比較結果において、記第一の特徴量と前記第二の特徴量との差異が閾値よりも小さい状態が、所定の枚数の入力画像に対して達成されると、前記定常状態であると判断することを特徴とする請求項３記載の画像処理装置。
9. 前記制御手段は、前記定常状態において、前記パラメータの更新を中止するように前記更新手段を制御することを特徴とする請求項３記載の画像処理装置。
10. 前記第二の抽出処理に用いるパラメータは、前記第一の抽出処理に用いるパラメータよりも小さいことを特徴とする請求項１記載の画像処理装置。
11. 複数の画像と、該複数の画像のそれぞれに対応する正解値との組を含む学習画像を記憶する記憶手段と、
    前記比較結果に基づいて、前記学習画像から評価画像を選択する選択手段と、
    前記評価画像から得られる前記第二の特徴量、及び該評価画像の正解値を用いて、当該評価画像に対する識別精度を評価する評価手段と
    をさらに備えることを特徴とする請求項１に記載の画像処理装置。
12. 請求項１記載の画像処理装置と接続した画像入力装置であって、
    前記入力画像を前記画像処理装置に入力する入力手段と、
    前記更新手段により更新されたパラメータを受信する受信手段と、
    前記受信手段により受信したパラメータを用いて前記入力画像から第三の特徴量を抽出する第三の特徴量抽出手段とを備えることを特徴とする画像入力装置。
13. 前記第三の特徴量に基づいて前記入力画像に含まれる被写体を認証する認証手段をさらに備えることを特徴とする請求項１２に記載の画像処理装置。
14. 請求項１記載の画像処理装置と、
    前記画像処理装置と接続した１または複数の画像入力装置とを備え、
    前記画像入力装置は、
    前記入力画像を前記画像処理装置に入力する入力手段と、
    前記更新手段により更新されたパラメータを受信する受信手段と、
    前記受信手段により受信したパラメータを用いて前記入力画像から第三の特徴量を抽出する第三の特徴量抽出手段とを備えることを特徴とする画像処理システム。
15. 入力画像に対して、第一の抽出処理を行うことで、第一の特徴量を抽出する第一の特徴量抽出工程と、
    前記入力画像に対して、前記第一の抽出処理よりも処理量の小さい第二の抽出処理を行い、第二の特徴量を抽出する第二の特徴量抽出工程と、
    前記第一の特徴量と前記第二の特徴量とを比較して比較結果を出力する比較工程と、
    前記比較結果に基づいて、前記第二の特徴量抽出工程において前記第二の抽出処理に用いるパラメータを更新する更新工程と
    を備えることを特徴とする画像処理方法。
16. コンピュータを請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。

Images