JP4933186B2

JP4933186B2 - 画像処理装置、画像処理方法、プログラム及び記憶媒体

Info

Publication number: JP4933186B2
Application number: JP2006203374A
Authority: JP
Inventors: 哲八代; 光太郎矢野; 由美渡部
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-07-26
Filing date: 2006-07-26
Publication date: 2012-05-16
Anticipated expiration: 2026-07-26
Also published as: US20080025609A1; JP2008033424A; US8144943B2

Description

本発明は、画像処理装置、画像処理方法、記憶媒体、及びプログラムに関し、特に、デジタルカメラ、デジタルビデオカメラなどのデジタル画像機器、及び画像処理ソフトウェアに関する。また特に、画像や動画像から、この画像中に含まれる人物や動物や物体などの特定の被写体又は被写体の一部を検出する装置や方法などに適用されて有効な技術に関するものである。

画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。

このような画像中から顔を検出する技術としては、例えば、非特許文献１に各種方式が挙げられている。

その中では、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用する。または人間の顔の対称的特徴、人間の顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用する。これにより、人間の顔を検出する方式が示されている。

また、非特許文献２には、ニューラル・ネットワークにより画像中の顔パターンを検出する方法が提案されている。以下、非特許文献２による顔検出の方法について簡単に説明する。

まず、顔の検出対象とする画像データをメモリに読み込み、読み込んだ画像中から顔と照合する領域を切り出す。そして、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンによりあらかじめ学習されており、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。

そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、図６に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図６に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。

また、処理の高速化に着目した例としては、非特許文献３がある。この文献では、ＡｄａＢｏｏｓｔを使って多くの弱判別器を有効に組合せて、顔判別の精度を向上させている。その一方で、夫々の弱判別器をＨａａｒタイプの矩形特徴量で構成し、しかも矩形特徴量の算出を、積分画像を利用して高速に行っている。また、ＡｄａＢｏｏｓｔ学習によって得た判別器を直列に繋ぎ、カスケード型の顔検出器を構成するようにしている。

このカスケード型の顔検出器は、まず前段の単純な（すなわち計算量のより少ない）判別器を使って明らかに顔でないパターンの候補をその場で除去する。そして、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な（すなわち計算量のより多い）判別器を使って顔かどうかの判定を行っている。このため、すべての候補に対して複雑な判定を行う必要がないので高速である。

また、Ｈａａｒタイプのフィルタを使った矩形特徴量であれば、積分画像を利用することで、その面積に関わらず一定の計算コストで計算できるため、弱判別器を選択する際の処理コストは考える必要がなかった。
"ＤｅｔｅｃｔｉｎｇＦａｃｅｓｉｎＩｍａｇｅｓ：ＡＳｕｒｖｅｙ"ＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳＯＮＰＡＴＴＥＲＮＡＮＡＬＹＳＩＳＡＮＤＭＡＣＨＩＮＥＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．２４，ＮＯ．１，ＪＡＮＵＡＲＹ２００２ "Ｎｅｕｒａｌｎｅｔｗｏｒｋ−ｂａｓｅｄｆａｃｅｄｅｔｅｃｔｉｏｎ"ＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳＯＮＰＡＴＴＥＲＮＡＮＡＬＹＳＩＳＡＮＤＭＡＣＨＩＮＥＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．２０，ＮＯ．１，ＪＡＮＵＡＲＹ１９９８ "ＲａｐｉｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｕｓｉｎｇＢｏｏｓｔｅｄＣａｓｃａｄｅｏｆＳｉｍｐｌｅＦｅａｔｕｒｅｓ"ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ'０１）

しかしながら、非特許文献２による方法では、ニューラル・ネットワークにより、一枚の画像に対して膨大な回数の顔判別の処理を行う必要があり、処理速度に問題があった。

また、非特許文献３による方法では、精度の良い顔判別器を構成するには、最終的に６０００個以上もの矩形特徴量を計算する必要があった。また、矩形特徴量として上下または左右の輝度コントラストを検出するものを用いているので、判別対象の物体が斜め方向の特徴を多く含むような場合にはそのままでは対応できない。そのため、例えば、斜め方向の輝度コントラストを検出するような特徴量を弱判別器として用意する必要がある。

また、弱判別器をＨａａｒタイプ以外または矩形以外のフィルタ特徴量で構成した場合は、自由度が高い分、弱判別器単体としての精度向上の余地がある。しかしながら、先の積分画像を利用することはできず、フィルタの面積による計算コストがかかってしまい、計算コストに見合う精度の向上が得られなかった。

本発明は、上述した点に鑑みなされたものであり、高精度かつ処理効率の良い被写体検出器を提供することを目的とする。

上記課題を解決するために、本発明によれば、画像処理装置に、識別対象の画像の入力を受け付ける画像入力手段と、前記画像入力手段より入力された画像を異なる複数サイズの画像に変倍する変倍手段と、前記異なる複数サイズの画像のそれぞれから照合パターンとして特定のサイズのパターンを抽出するパターン抽出手段と、前記照合パターンのそれぞれを異なる複数の解像度のパターンに変換する解像度変換手段と、前記複数の解像度のパターンにおける所定の複数の局所領域における局所特徴量に基づいて領域毎の被写体信頼度を算出する被写体信頼度算出手段と、前記領域毎の被写体信頼度の統合結果に基づいて前記照合パターンが特定の被写体か否かを判別する判別手段とを備え、前記所定の複数の局所領域は、前記照合パターンにおける複数の局所領域の中から、該局所領域の局所特徴量を用いた既知のサンプル画像群の識別結果の分布と、当該局所領域の面積とに基づいて選択された領域であることを特徴とする。

また、本発明の他の態様によれば、画像処理方法に、識別対象の画像の入力を受け付ける画像入力ステップと、前記画像入力手段より入力された画像を異なる複数サイズの画像に変倍する変倍ステップと、前記異なる複数サイズの画像のそれぞれから照合パターンとして特定のサイズのパターンを抽出するパターン抽出ステップと、前記照合パターンのそれぞれを異なる複数の解像度のパターンに変換する解像度変換ステップと、前記複数の解像度のパターンにおける所定の複数の局所領域における局所特徴量に基づいて領域毎の被写体信頼度を算出する被写体信頼度算出ステップと、前記被写体信頼度の統合結果に基づいて前記照合パターンが特定の被写体か否かを判別する判別ステップとを備え、前記所定の複数の局所領域は、前記照合パターンにおける複数の局所領域の中から、該局所領域の局所特徴量を用いた既知のサンプル画像群の識別結果の分布と、当該局所領域の面積とに基づいて選択された領域であることを特徴とする。

本発明によれば、与えられた画像から高精度かつ効率よく被写体を検出することが可能となる。特に、判別性能の良い特徴量を用いることにより、少ない組み合わせで高精度の判別が行える効果がある。また、複数段で判断を行う態様では、前段に計算コストが低い特徴量を用いるので高速な判別ができる効果がある。

以下、添付図面を参照しながら、本発明の実施形態を説明する。

（第１の実施の形態）
図１は、第１の実施形態における画像処理装置の機能構成を示すブロック図である。
画像入力部１０は、例えば、デジタルカメラなど、画像を撮影して入力する装置である。また、デジタル画像データを保持する記憶媒体から画像データを読み込むようなコンピュータ・システムのインターフェース機器であってもよい。

画像メモリ２０は、ＲＡＭで構成され、画像入力部１０から出力された画像データを一時的に記憶する。
画像縮小部３０は、画像メモリ２０に記憶されている画像データを所定の倍率にしたがって縮小し、出力する。
照合パターン抽出部４０は、画像縮小部３０で縮小された画像データから所定の領域を照合対象のパターンとして抽出する。
輝度補正部５０は、照合パターン抽出部４０で抽出された照合パターンの輝度分布を補正する。
顔判別部６０は、照合パターン抽出部４０で抽出され、輝度補正部５０で補正された照合パターンが顔パターンか非顔パターンかを判別する。
判別情報格納部７０は、被写体信頼度を算出する局所領域やフィルタ、被写体信頼度の重みや閾値などの情報が格納される。
顔領域出力部８０は、顔判別部６０で顔と判別されたパターンの領域を出力する。また、以上の各ブロックは不図示の制御部により動作を制御される。

図２は、第１の実施形態における画像処理装置のハードウェア構成を示すブロック図である。
ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムに従って命令を実行し、装置各部を制御する。
ＲＯＭ２０２は、制御に必要なプログラムや固定的なデータを記憶する。ＲＡＭ２０３は、ワークエリアとして利用され、一時的なデータを格納する。
ドライブＩ／Ｆ２０４は、ＩＤＥやＳＣＳＩなどの外部記憶装置とのインターフェースを実現する。ＨＤＤ２０５は、ドライブＩ／Ｆ２０４に接続され、画像やパターン抽出などのプログラムや、顔、非顔のサンプルパターンなどを記憶する。

画像入力装置２０６は、デジタルカメラやスキャナなどの装置から画像を入力する。入力装置２０８は、キーボードやマウスなどで構成され、オペレータからの入力を行う。

表示装置２０９は、ブラウン管や液晶ディスプレイなどで構成され、被写体を含む画像を表示したり、画像中の顔領域の識別表示などを行う。
ネットワークＩ／Ｆ２１０は、モデムやＬＡＮなどで構成され、インターネットやイントラネットなどのネットワークと接続を行う。装置各部は、これらを接続するバス２１１を介して相互にデータの入出力を行う。

本画像処理装置の機能は、オペレーティングシステムがインストールされたコンピュータ上で動作するアプリケーション・プログラムとして実装されている。フローチャートにつき後述するプログラムは、ＨＤＤ２０５に格納されており、ＲＡＭ２０３に読み出されて実行されるものとする。

次に、判別情報格納部７０で記録される判別器情報について図３を用いて詳細に説明する。図３は、第１の実施形態における判別器情報のデータ構造を示す図である。

顔パタンの抽出は、強判別器３０２と呼ばれる判別器を直列に接続したもので行われる。すなわちすべての強判別器３０２が顔であると判定した場合にのみ最終的に顔パターンであると識別される。強判別器数３０１には強判別器３０２の個数が格納される。

それぞれの強判別器３０２は、弱判別器数３０３に格納される個数の弱判別器３０４と、１つの閾値３０５とによって構成される。

それぞれの弱判別器３０４は、局所領域の画素数３０６と、局所領域の画素番号を列挙した画素番号リスト３０７と、画素数３０６に等しい行数＊１列の行列である特徴抽出フィルタ３０８と、被写体の信頼度への変換テーブルである、被写体信頼度変換ルックアップテーブル３０９から構成される。

図４は、第１の実施形態における判別器情報のデータ構造を補足する図である。図４に示すように、本実施形態では顔パターンは目、口を含む２０画素＊２０画素のパターンとしており、これをさらに１／２に縮小し１０画素＊１０画素にしたパターンと１／４に縮小して５画素＊５画素にしたパターンとを作る。そして、それぞれの画素に対して１から５２５までの画素番号を付与している。

図５は、第１の実施形態における顔検出処理の流れを示すフローチャートである。同図を用いて本実施形態の処理を説明する。

まず、ステップＳ５０１にて、画像入力部１０は所望の画像データを画像メモリ２０に読み込む。

ここで読み込まれた画像データは、例えば８ビットの画素により構成される２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。さらに、本実施形態では、ＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、画像メモリ２０に格納する。画像データとしてＹＣｒＣｂのデータを入力する場合は、Ｙ成分をそのまま輝度データとしてもよい。

次に、ステップＳ５０２にて、画像縮小部３０は輝度画像データを画像メモリ２０から読み込み、所定の倍率に縮小した輝度画像データを生成する。これは、本実施形態では、非特許文献２のように様々な大きさの顔の検出に対応するため、複数のサイズの画像データに対して順次検出を行うようにしたからである。例えば、倍率が１．２倍程度異なる複数の画像への縮小処理が、後段の検出処理のために順次適用される。

次に、ステップＳ５０３にて、照合パターン抽出部４０は、縮小された輝度画像データから所定の大きさの部分領域を照合パターンとして抽出する。この様子を図６に示す。図６のＡの列は画像縮小部３０で縮小されたそれぞれの縮小画像を示しており、ここでは、それぞれの縮小画像に対して所定の大きさの矩形領域を切り出すものとする。

図６のＢは、それぞれの縮小画像から縦横順次に走査を繰り返していく途中の切り出しの様子を示すものである。図６から分かるように、縮小率の大きな画像から照合パターンを切り出して顔の判別を行う場合には、画像に対して大きな顔の検出を行うことになる。

次に、ステップＳ５０４にて、輝度補正部５０は照合パターン抽出部４０で切り出された部分領域の輝度をその分布をもとに正規化する。例えば、ヒストグラム平滑化などの輝度補正を行う。これは、撮像される被写体パターンはその照明条件によって輝度分布が変わるので、被写体照合の精度が劣化するのを抑制するためである。

ヒストグラム平滑化のほかに平均と分散を所定の値にすることで輝度補正を行ってもよい。

次に、ステップＳ５０５にて、顔判別部６０は照合パターン抽出部４０で抽出され、輝度補正部５０で補正された照合パターンが顔パターンか非顔パターンかを判別する。

以上、Ｓ５０３からＳ５０５までの処理が、画像縮小部３０の出力である縮小輝度画像に対して図６に示すように所定のステップにおいて縦横順次に走査が繰り返される。また、倍率が異なる縮小処理が順次適用され、Ｓ５０２からＳ５０５までの処理が繰り返される。

そして、ステップＳ５０６にて、顔判別部６０で顔と判別されたパターンに対して、顔領域出力部８０は照合パターン抽出部４０で抽出した矩形を顔領域として出力する。

図１４は、表示装置２０９に表示する画面の一例で、入力画像１００１に顔の検出結果を重畳して出力した画面表示の一例である。１００２，１００３はパターン抽出部によって抽出された顔パターンで、その位置と大きさが示された枠である。また、ボタン１００４は顔領域出力部の終了ボタンである。

次に、顔判別部６０における顔判別の方法について詳細を説明する。

図１１に顔判別部６０の機能構成を示す。非特許文献３のように学習によって得た強判別器を直列に繋ぎ、カスケード型の顔検出器を構成するのが処理速度の点では現実的である。すなわち、強判別器６１、強判別器６２、．．．、強判別器６ＮのＮ個の強判別器の直列接続により構成される。

また、図１２に各強判別器の詳細構成を示す。また、図１３に各弱判別器の詳細構成を示す。

図９は顔判別部６０の処理手順を示すフローチャートである。この図を用いて顔判別処理の詳細を説明する。

まずステップＳ９０１において、解像度変換部６０１０によりパターンの１／２と１／４の縮小画像を生成する。本実施形態では解像度は１／２^ｎ（ｎは整数）としているが、これに限ったものではない。画像縮小部３０によって１／１．２倍程度の刻みで複数の解像度の画像が得られているので、それを利用してさらに多くの解像度でのパターンを用いてもよく、この場合でも処理コストが増加することはほとんどない。多重解像度にすることによって以下の２つのメリットを併せ持つことができる。すなわち、低解像度側では顔を構成する器官同士の位置関係を効率良く照合でき、高解像度側では顔を構成する器官の部分的特徴を精度良く照合できる。

次にステップＳ９０２において、強判別器ループカウンタＮを初期化し、ステップＳ９０３において、弱判別器ループカウンタｔを初期化する。

次にステップＳ９０４において、特徴量算出部６０１３によって局所特徴量を算出する。局所特徴量ｕ_ｔは式（１）によって求める。
Ｕ_ｔ，Ｎ＝φ_ｔ，Ｎ ^Ｔｚ_ｔ，Ｎ・・・（１）
ここで添え字ｔ，ＮはＮ番目の強判別器のｔ番目の弱判別器を示す。Ｕ_ｔ，Ｎは局所特徴量を示す数値であり、φ_ｔ，Ｎは特徴抽出フィルタ３０８である。ｚ_ｔ，Ｎは局所領域抽出部６０１１によって得られる画素番号リスト３０７で示されるパターンまたは縮小パターン上の画素の輝度を要素とする画素数に等しい行数で１列の行列である。

次にステップＳ９０５において、被写体信頼度変換部６０１５によって、式（２）のように局所特徴量Ｕ_ｔ，Ｎを被写体信頼度Ｈ_ｔ，Ｎに変換する。
Ｈ_ｔ，Ｎ＝ｆ_ｔ，Ｎ（Ｕ_ｔ，Ｎ）・・・（２）
ｆ_ｔ，Ｎは、被写体信頼度変換ルックアップテーブル３０９を使って、局所特徴量Ｕ_ｔ，Ｎをテーブル変換によって被写体信頼度Ｈ_ｔ，Ｎに変換し、弱判別器の出力としている。

ここで、局所特徴量Ｕ_ｔ，Ｎがテーブル３０９の上限または下限を超えている場合はそれぞれ、上限値、下限値にしたうえで、テーブル３０９を参照し、被写体信頼度Ｈ_ｔ，Ｎを得る。

次にステップＳ９０６において最後の弱判別器になるまで、ステップＳ９１１で弱判別器番号ｔをインクリメントしながらステップＳ９０４〜ステップＳ９０６の処理を繰り返す。

最後の弱判別器まで被写体信頼度を求めたらステップＳ９０７に進み、加算器６００１によって式（３）により被写体信頼度Ｈ_ｔ，Ｎの総和Ｈを求める。
Ｈ＝ Σ_ｔＨ_ｔ，Ｎ・・・（３）
次にステップＳ９０８にて閾値処理部６００２によって、ステップＳ９０７で求めた総和Ｈを閾値Ｔｈ_Ｎと比較し、総和Ｈが閾値Ｔｈ_Ｎ以上であれば被写体が顔であると判定し、そうでなければ顔でないと判定する。
Ｈ≧Ｔｈ_Ｎ・・・（４）
顔でないと判定された場合は、顔でないとして終了する。顔であると判定された場合は、ステップＳ９０９に進み最後の強判別器の判定を終わるまでステップＳ９１２で強判別器番号ＮをインクリメントしながらステップＳ９０３〜Ｓ９０９の処理を繰り返す。

最後の強判別器まですべて顔と判定された場合にのみ、最終的に顔であると判定されてステップＳ９１０に進み、パターンの位置を記憶して終了する。

次に判別情報の生成方法について説明する。各強判別器は学習に用いるサンプルパターンが異なるだけであるので、１つの強判別器の判別情報の生成方法について説明する。

本実施形態では、局所特徴量として、照合パターンのうち所定解像度、所定サイズ、形状の局所領域における線形識別特徴を用いる。

局所領域としては、例えば、図７に示すように照合パターンＦが２０×２０画素からなる輝度パターンであるとすると、その一部である５×５画素の正方形の局所領域Ｐなどである。この場合、照合パターン内の全ての位置において同様の局所領域Ｐを設定すれば２５６の局所領域が考えられる。

なお、図８のＰ１、Ｐ２、Ｐ３に示すように横長の矩形、縦長の矩形、楕円など様々な形状、およびサイズの局所領域から得られたものを組合せて用いてもよい。また、元の照合パターンを縮小して様々な低解像度の照合パターンを作成し、各解像度の照合パターン中の局所領域を組合せて用いてもよい。また複数の乖離した領域・画素であってもよい。

また、各画素の輝度値の他に彩度、色相、ＲＧＢ色空間のＲ成分，Ｇ成分，Ｂ成分を１つまたは複数組み合わせて用いてもよい。

そして、局所特徴量としては、照合パターンのうち、顔であるパターンと非顔（顔でない）パターンの多くのサンプルを用い、各局所領域について線形識別に基づく特徴抽出フィルタを求める。最も広く知られている線形識別の方法はフィッシャーの線形識別関数である。局所領域における顔サンプルの平均と分散を（μ_Ｏ，σ_Ｏ ^２）、非顔サンプルの平均と分散を（μ_Ｎ，σ_Ｎ ^２）としたとき、以下の式（５）により、特徴抽出フィルタφを求めることになる。なお、ａｒｇｍａｘは括弧内の値を最大とするパラメータを求めるという意味であり、固有方程式を解くことによって特徴抽出フィルタφが得られる。
φ＝ａｒｇｍａｘ｛（μ_Ｏ−μ_Ｎ）^２／（σ_Ｏ ^２＋σ_Ｎ ^２）｝・・・（５）
また、特徴抽出フィルタとしてフィッシャーの線形識別関数から導出されたものを用いたが、その他、線形サポートベクターマシンにより線形識別関数を求めても良い。また、ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＬｅｔｔｅｒｓ２３（２００２），“Ｒｅｊｅｃｔｉｏｎｂａｓｅｄｃｌａｓｓｉｆｉｅｒｆｏｒｆａｃｅｄｅｔｅｃｔｉｏｎ”と題するＥｌａｄらの提案するＭＲＣを用いてもよい。また、線形識別関数に限定されるものではなく、例えばニューラル・ネットワークにより構成される非線形識別関数を用いてもよい。

１つの局所領域は、１つの弱判別器の画素数３０６および画素情報３０９（１〜Ｎｉ）の画素番号３０９として格納され、特徴抽出フィルタは対応する画素情報３０９（１〜Ｎｉ）の画素ウェイト３１０として格納される。

次に、以上の局所特徴量の中から被写体の判別に有効な特徴を組合せる方法について説明する。なお、本手法は、識別特徴量の中から最初に最も識別性能の良い特徴を抽出し、その性能を補完するように別の特徴を追加していくことで性能向上を図るもので、ブースティング学習の考え方に基づくアルゴリズムである。図１０にそのアルゴリズムを示す。

まず、ステップＳ１００１にて、学習に必要なサンプルを入力する。本実施形態では、サンプルとして顔および非顔の照合パターンを用いる。すなわち、サンプルの特徴ベクトルをｘ_ｉとすると、ｘ_ｉは照合パターンが２０×２０画素の輝度パターンの場合、４００の輝度データからなる４００次元の特徴ベクトルということになる。また、サンプルの属するクラスをｙ_ｉとし、ｙ_ｉは顔であるかどうかを表し、顔ならば１、非顔ならば−１の値をとるようにする。ここでｉはサンプルの番号を表し、全サンプル数をＮとするとき、ｉ＝１，．．．，Ｎである。

次にステップＳ１００２にて、サンプルの重みを均等になるように初期化する。すなわち、サンプル重みをｄ_ｉとし、ｄ_ｉ＝１／Ｎに初期化する。

次にステップＳ１００３にて、サンプルおよびその重みから局所特徴の抽出を行う。なお、ここで求める局所特徴は、前述したように照合パターンの所定の各局所領域について線形識別により得られる特徴抽出フィルタφである。ただし、局所特徴の領域の定義により、複数の特徴抽出フィルタφ_ｊ（ｊ＝１，．．．，Ｍ。Ｍは局所領域の定義領域の数）を抽出しておく。また、特徴抽出フィルタを求める際に用いる顔、非顔サンプルの平均および分散はサンプル重みを考慮して重み付けられた値を用いる。

次にステップＳ１００４にて、各局所特徴の識別性能を、サンプルを用いて評価し、最も識別性能の良い特徴を弱判別器として抽出する。即ち、まず、各局所特徴の特徴抽出フィルタφ_ｊを用いて、サンプルｘ_ｉの各局所領域に対応した画素の輝度値（ｚ_ｉとする）から局所特徴量ｕ_ｉｊを以下の式（６）のように算出する。（Ｔは転置を表す）
ｕ_ｉｊ＝φ_ｊ ^Ｔｚ_ｉ・・・（６）
そして、特徴量の確率分布を所定のサイズのビンを持つヒストグラムから推定する。そして、顔サンプルから求めたｋ番目のビンのヒストグラムの値をＷ_＋ ^ｋ、非顔サンプルから求めたｋ番目のビンのヒストグラムの値をＷ₋ ^ｋとする。以下の式（７）の｛｝内の値を最小とする局所特徴φ_ｔをＭ個の局所特徴の中から抽出する。なお、ここで求めるヒストグラムの値は特徴量ｕ_ｉｊが相当するビンの範囲に入るサンプル重みｄ_ｉの総和である。

ここで、Ｃ_ｊは特徴量の処理コスト関数であり、たとえば次の式のように表せる。

ただし、ｍ_ｊは局所領域の面積すなわち画素数である。ｌは直列に接続された強判別器の前段から数えた番号である。

各段での強判別器の起動回数の統計を実験的に求めて、起動回数と処理コストの積によりコスト関数を決定してもよい。

これにより、より少ない面積の局所特徴が選ばれやすくなる。また、ｌが小さいほど、すなわち、パターン抽出処理において最初に起動する強判別器ほど処理コスト関数の影響が強くなり、少ない計算コストの特徴量での判別を可能にしている。ｌが大きいところでは、強判別器の起動頻度が少ないため、十分な処理コストをかけてもパターン抽出全体への影響は小さい。

φ_ｔはｔ＝１番目の弱判別器の特徴抽出フィルタであり、弱判別器の出力は判別する被写体の信頼度を表すもので特徴量の各値に対応する顔である確率密度（頻度）と非顔である確率密度（頻度）との対数比とする。すなわち、以下の式（９）の値を各ビンについて求め、局所特徴量から被写体の信頼度へ変換するテーブルとする。但し、εは発散を避けるための適当な小さな定数である。

なお、式（７）に代え、第１１回画像センシングシンポジウム講演論文集（２００５），”矩形特徴による弱識別器のブースティングによる対象検出手法の汎化性能向上のための工夫と車載カメラの映像中の車の検出への応用”をもとに以下の式（１０）の値を出力してもよい。

次にステップＳ１００５にて、抽出した弱判別器での各サンプル出力値ｈｔｉの値をもとにサンプルの重みを更新する。更新式は以下の式（１１）にしたがう。
ｄ_ｉ＝ｄ_ｉ×ｅｘｐ｛−ｙ_ｉ・ｈ_ｔｉ｝・・・式（１１）
なお、式（５）によって抽出した弱判別器で誤判別するサンプルの重みは大きく、正判別するサンプルの重みは小さく更新される。

以上、ステップＳ１００３〜Ｓ１００５の処理を繰り返すことで複数の弱判別器を得る。

繰り返しの終了条件は、閾値は顔のパターンを顔でないと判定するエラーが１／１０００であり、かつ、顔でないパターンを顔であると判定するエラーが１／２である閾値が存在するか否かによって判定される。

閾値が存在する場合、その範囲の中心を強判別器の閾値３０５とする。また、繰り返し回数に上限を設けてもよい。繰り返しが終了したらステップＳ１００６に進み、判別情報を記録して終了する。

以上説明した本実施形態による判別情報生成方法によって構成した顔判別器には以下のような特徴がある。
（１）線形識別関数により弱判別器を構成したので弱判別器の性能が良い。また、学習サンプルの重みの更新に伴い、最適な線形識別関数を再計算しているので識別効率が良い。以上により、より少ない弱判別器の組合せ数で性能の良い判別器が構成できる。
（２）線形識別関数により弱判別器を構成したので縦横のコントラスト以外の特徴（例えば斜めエッジなど）も被写体サンプルに応じて構成できる。したがって、判別する被写体ごとに弱判別器として利用する特徴量の算出アルゴリズムを工夫する必要がない。

［第２の実施形態］
第１の実施形態では、局所特徴量を被写体信頼度へ変換するテーブルを、特徴量の各値に対応する顔である確率密度（頻度）と非顔である確率密度（頻度）との対数比によって得ていた。以下では、局所特徴量を被写体信頼度へ変換する他の実施形態について説明する。被写体信頼度への変換方法が異なるだけで、その他の構成は第１の実施形態と同じである。

第２の実施形態の判別情報格納部７０で記録される判別器情報は、図１５に示すようになる。被写体信頼度変換ＬＵＴ３０９の代わりに被写体信頼度変換定数３１０となっている点が第１の実施形態とは異なる。

本実施形態では被写体信頼度への変換式を次のように定義する。
ｆ_ｔ，Ｎ（Ｕ）＝α_ｔ，Ｎｈ_ｔ，Ｎ（Ｕ）・・・（１２）
ただし

ここでＰは符号を表わすための１または−１の定数である。ｐ，αおよびＴｈが各弱判別器の被写体信頼度変換定数３１０に格納される。

次に判別情報の生成方法について説明する。ここでの第１実施形態との差異はステップＳ１００４内の処理であり、その他は同じである。そこで、ステップＳ１００４の弱判別器の抽出方法と被写体信頼度変換定数３１０の求め方について説明する。

局所特徴量ｕ_ｉｊから以下の式（１４）のτ_ｊの値を最小とする局所特徴フィルタφ_ｔおよびＰ_ｊ，Ｔｈ_ｊをＭ個の局所特徴の中から抽出する。

ここでＣ_ｊは式（８）と同じ処理コスト関数である。
また、α_ｔは次の式によって求める。

これは非特許文献３に対して、処理コスト関数が追加されている点が異なっている。これによって、少ない処理コストで性能のよい局所特徴を得られる効果がある。

［他の実施形態］
図１６は、画像処理装置の他のハードウェア構成を示すブロック図である。図２と共通する部分には同じ番号を付与している。

図２とは、ＤＶＤまたはＣＤのような光ディスク２１２からプログラムを読み出すＣＤ／ＤＶＤドライブなどの外部記憶読書装置２１３が、ドライブインターフェース２０４に接続されているところが異なる。光ディスク２１２には、上述した実施形態を実現するプログラムが記録されている。

光ディスク２１２を外部記憶読書装置２１３に挿入すると、ＣＰＵ２０１は、光ディスク２１２からプログラムを読み取ってＲＡＭ２０３に展開することで、上述した実施形態と同様の処理を実現することができる。

上述した実施形態は、顔抽出を行うシステムであったが、本発明は顔以外の任意の物体に対して適用可能である。たとえば、人体全身、生物、自動車などがある。工業、流通分野などでは生産物、部品、流通物品などの同定や検査などに適用できる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ、ＤＶＤ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読出され、機能拡張ボードや機能拡張ユニットに備わるメモリに書込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵの処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、画像入力装置、情報蓄積機器、またこれらが複合または接続された装置において、両方またはいずれかの装置に備わるＣＰＵなどが実際の処理の一部または全部を行なうことで前述した実施形態の機能が実現される場合も含まれる。

上記画像入力装置としては、ビデオカメラ、デジタルカメラ、監視カメラなど各種ＣＣＤを利用したカメラやスキャナ、アナログ画像入力装置からＡＤ変換によりデジタル画像に変換された画像入力装置が利用できる。上記情報蓄積機器としては、外部ハードディスク、ビデオレコーダなどが利用できる。

第１の実施形態における画像処理装置の機能構成を示すブロック図である。第１の実施形態における画像処理装置のハードウェア構成を示す図である。第１の実施形態における判別器情報のデータ構造を示す図である。第１の実施形態における判別器情報のデータ構造を補足する図である。第１の実施形態における顔検出処理の流れを示すフローチャートである。第１の実施形態における照合パターンを抽出する様子を示す図である。第１の実施形態における顔の局所領域を説明する図である。第１の実施形態における顔の局所領域を説明する図である。第１の実施形態における顔判別処理の流れを示すフローチャートである。第１の実施形態における判別情報の生成手順を示すフローチャートである。第１の実施形態における顔判別部の機能構成を示すブロック図である。第１の実施形態における強判別器の詳細構成を示すブロック図である。第１の実施形態における弱判別器の詳細構成を示すブロック図である。第１の実施形態におけるユーザーインターフェース部の画面表示の例を示す図である。第２の実施形態における判別器情報のデータ構造を示す図である。他の実施形態における画像処理装置のハードウェア構成を示す図である。

符号の説明

１０画像入力部
２０画像メモリ
３０画像縮小部
４０照合パターン抽出部
５０輝度補正部
６０顔判別部
７０判別情報格納部
８０顔領域出力部
６１強判別器
６０１弱判別器
６００１加算器
６００２閾値処理部
６０１０解像度変換部
６０１１局所領域抽出部
６０１３特徴量算出部
６０１５被写体信頼度変換部

Claims

識別対象の画像の入力を受け付ける画像入力手段と、
前記画像入力手段より入力された画像を異なる複数サイズの画像に変倍する変倍手段と、
前記異なる複数サイズの画像のそれぞれから照合パターンとして特定のサイズのパターンを抽出するパターン抽出手段と、
前記照合パターンのそれぞれを異なる複数の解像度のパターンに変換する解像度変換手段と、
前記複数の解像度のパターンにおける所定の複数の局所領域における局所特徴量に基づいて領域毎の被写体信頼度を算出する被写体信頼度算出手段と、
前記領域毎の被写体信頼度の統合結果に基づいて前記照合パターンが特定の被写体か否かを判別する判別手段とを有し、
前記所定の複数の局所領域は、前記照合パターンにおける複数の局所領域の中から、該局所領域の局所特徴量を用いた既知のサンプル画像群の識別結果の分布と、当該局所領域の面積とに基づいて選択された領域であることを特徴とする画像処理装置。
前記被写体信頼度算出手段は、前記局所領域の大きさ、形状、位置、パターンの解像度の少なくとも１つが異なる、複数の被写体信頼度を算出することを特徴とする請求項１に記載の画像処理装置。
前記被写体信頼度算出手段は、前記複数の解像度のパターンの複数の局所領域における輝度値、彩度、色相、ＲＧＢ色空間のＲ成分、Ｇ成分、Ｂ成分の少なくとも１つに対するフィルタ演算結果に基づいて領域毎に被写体信頼度を算出することを特徴とする請求項１または２に記載の画像処理装置。
前記変倍手段が、前記入力された画像を輝度画像に変換し、該輝度画像を前記異なる複数サイズの輝度画像に変倍することを特徴とする請求項１に記載の画像処理装置。
前記異なる複数サイズの輝度画像から抽出された照合パターンの輝度を輝度分布に基づいて正規化する輝度補正手段を有することを特徴とする請求項４に記載の画像処理装置。
前記解像度変換手段が、前記変倍手段により変倍された画像を利用することを特徴とする請求項１に記載の画像処理装置。
識別対象の画像の入力を受け付ける画像入力ステップと、
前記画像入力手段より入力された画像を異なる複数サイズの画像に変倍する変倍ステップと、
前記異なる複数サイズの画像のそれぞれから照合パターンとして特定のサイズのパターンを抽出するパターン抽出ステップと、
前記照合パターンのそれぞれを異なる複数の解像度のパターンに変換する解像度変換ステップと、
前記複数の解像度のパターンにおける所定の複数の局所領域における局所特徴量に基づいて領域毎の被写体信頼度を算出する被写体信頼度算出ステップと、
前記被写体信頼度の統合結果に基づいて前記照合パターンが特定の被写体か否かを判別する判別ステップとを有し、
前記所定の複数の局所領域は、前記照合パターンにおける複数の局所領域の中から、該局所領域の局所特徴量を用いた既知のサンプル画像群の識別結果の分布と、当該局所領域の面積とに基づいて選択された領域であることを特徴とする画像処理方法。
請求項７に記載の画像処理方法をコンピュータに実行させることを特徴とするコンピュータ読み取り可能な画像処理プログラム。
請求項８に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。