JP6399122B2 - 顔検出装置およびその制御方法 - Google Patents

Description

本発明は、画像から顔を検出する顔検出装置に関する。

近年、画像から顔を自動検出する顔検出技術が、デジタルカメラのオートフォーカス、監視カメラなどをはじめとする様々なアプリケーションに実装されている。顔検出技術の最も実用的なアルゴリズムの一つに、局所領域間の明暗差に基づいて画像の顔らしさを評価する方法がある。顔画像においては、例えば、目の領域は鼻や頬の領域に比べて暗い、口の領域は顎の領域に比べて暗い、額の領域は目の領域に比べて明るいなどの傾向があり、このような傾向は性別や人種を問わず共通している。この傾向に着目して、局所領域間の明暗差に基づく画像特徴を用いて顔か非顔かの判定を行うのである。画像特徴としては、Ｈａａｒ−ｌｉｋｅ特徴がよく用いられる。

しかしながら、局所領域間の明暗差を用いるアルゴリズムは、入力画像が全体的に暗い画像であったり逆光で撮影された画像であったりした場合に、顔検出の成功率が低下するおそれがある。暗い画像や逆光画像の場合は、局所領域間の明暗差が小さかったり、局所領域間の明暗関係が逆転してしまい（例えば目の領域が鼻の領域に比べて明るくなるなど）、顔の画像特徴をうまく抽出できないからである。特許文献１には、入力画像が低輝度である場合に、ガンマ変換によって入力画像を高輝度化してから顔検出を行うことで、顔検出精度を向上させる方法が提案されている。特許文献１の方法は非常に効果的ではあるものの、万能ではない。特に、局所領域間の明暗差がきわめて小さい画像や、明暗関係が逆転している画像に対しては、ガンマ変換による方法では顔検出の成功率向上は期待できない。

特開２０１６−１６７６８１号公報

本発明は、上記実情に鑑みなされたものであって、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上させるための技術を提供することを目的とする。

上記目的を達成するために、本発明では、暗い画像や明暗関係が逆転した画像の場合は、画像における所定位置のピクセルの輝度を変更（小さく／大きく）した画像を用いて顔検出を行う、という方法を採用する。

具体的には、本発明の第一態様は、画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置であって、前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定する低輝度画像判定部をさらに有し、前記低輝度画像判定部により前記部分画像が低輝度画像であると判定された場合に、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行うことを特徴とする顔検出装置を提供する。

前記所定位置は、顔の画像の中で相対的に暗くあるべき領域であり、前記変更部分画像は、前記所定位置のピクセルの輝度を小さい値に変更した画像であることが好ましい。また、前記所定位置は、前記部分画像が顔の画像であると仮定した場合における目の位置であるとよい。また、前記変更部分画像は、前記部分画像における前記所定位置のピクセルの輝度を所定値に置き換えた画像であるとよい。前記所定値は、最小の輝度値であることが好ましい。

上記構成によれば、探索ウィンドウ内の部分画像が低輝度画像である場合に、部分画像の代わりに変更部分画像を用いて顔検出（識別器による顔／非顔判定）を行うので、従来方法に比べて、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上することができる。また、本発明の構成はシンプルであるとともに、通常処理の場合（低輝度画像でない場合）と同じ識別器を利用できるため、既存の顔検出装置への実装が容易であるという利点もある。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する顔検出装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、顔検出装置の制御方法又は顔検出方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上することができる。

図１は顔検出装置の機能構成を示すブロック図である。 図２は顔検出処理のフローチャートである。 図３は画像の一例である。 図４Ａ〜図４Ｃは低輝度処理の効果を説明する図である。

本発明は、画像から顔を自動で検出するための顔検出アルゴリズムに関する。本発明は、画像センシング、コンピュータビジョン、ロボットビジョン等における要素技術として利用可能であり、具体的なアプリケーションとしては、監視カメラにおける人の検出及び追跡、デジタルカメラやスマートフォンの組み込みカメラにおけるオートフォーカス、家電製品における人の検出、顔認証システムにおける顔検出エンジンなど、様々な分野への応用が可能である。

以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

（顔検出装置の構成）
図１を参照して、本発明の実施形態に係る顔検出装置の構成を説明する。図１は、顔検出装置１の機能構成を模式的に示すブロック図である。

顔検出装置１は、主な機能として、画像入力部１０、部分画像取得部１１、低輝度画像判定部１２、部分画像変更部１３、識別器１４、誤検出除去部１５、出力部１６を有する。この顔検出装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤ、
ＳＳＤなど）、入力デバイス（キーボード、マウス、タッチパネルなど）、出力デバイス（ディスプレイなど）、通信インタフェースを具備する汎用のコンピュータにより構成することができる。その場合、図１に示される機能は、ストレージ又はメモリに格納されたプログラムをＣＰＵが実行することにより実現される。ただし、顔検出装置１の具体的構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよい。あるいは、顔検出装置１の全部又はその機能の一部をＡＳＩＣやＦＰＧＡのような回路で構成してもよい。

画像入力部１０は、外部装置から処理対象となる画像（以下「入力画像」と呼ぶ）を取得する機能である。外部装置としては、デジタルカメラやデジタルビデオカメラなどの撮像装置、画像データを記憶する記憶装置、撮像装置や記憶装置を具備する他のコンピュータなどが想定される。入力画像はモノクロ画像でもカラー画像でもよく、また画像フォーマットは特に限定されない。

部分画像取得部１１は、入力画像に対し探索ウィンドウの走査を行う機能である。探索ウィンドウとは、入力画像内の一部のエリア（顔か非顔かの判定処理に供される部分画像）を示す枠である。部分画像取得部１１は、探索ウィンドウの位置を例えば１ピクセルずつ移動させながら、各位置における部分画像を後段の低輝度画像判定部１２及び識別器１４に順に入力する。画像内に含まれる顔のサイズが不定の場合は、探索ウィンドウのサイズ及び／又は入力画像の解像度を変えて走査及び顔／非顔判定を繰り返すことにより、任意のサイズの顔を検出することができる。

低輝度画像判定部１２は、部分画像（ないし入力画像の全体）が低輝度画像であるか否かを判定する機能である。低輝度画像の判定方法はどのようなものでもよい。例えば、部分画像内の輝度の代表値（平均値、中間値、最頻値、最大値など）を計算し、その代表値が所定の閾値より小さい場合に、当該部分画像が低輝度画像であると判定してもよい。あるいは、入力画像が撮影されたときの撮影条件（例えば照度センサで測定した被写体の明るさ、露出設定など）を入力画像とともに取得し、当該撮影条件に基づいて入力画像が低輝度画像かどうかを判定してもよい。

部分画像変更部１３は、部分画像が低輝度画像である場合に、当該部分画像の一部のピクセルの輝度を変更する機能である。詳しい処理については後述する。

識別器１４は、部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する顔／非顔判定を行う機能である。本実施形態では、画像特徴としてＨａａｒ−ｌｉｋｅ特徴を利用し、複数の弱識別器により構成されるカスケード構造型識別器を利用する。ただし、識別器１４の構成及び用いる画像特徴はこれらに限られず、どのようなものを利用してもよい。

誤検出除去部１５は、識別器１４により「顔」と判定された部分画像に対し、識別器１４とは異なる簡易な判定ロジックによる顔／非顔判定を行うことで、識別器１４の誤検出を除去するための機能である。詳しい判定ロジックについては後述する。

出力部１６は、顔検出の結果を出力する機能である。出力される結果としては、例えば、入力画像から検出された顔の数、検出された顔の位置・サイズ・向きなどである。

（顔検出処理）
図２及び図３を参照して、本実施形態の顔検出装置１による顔検出処理について説明する。図２は顔検出処理のフローチャートであり、図３は画像の一例である。

ステップＳ２０において、画像入力部１０が、外部装置から入力画像３０を取得する。ステップＳ２１では、部分画像取得部１１が、入力画像３０に対し探索ウィンドウ３１を設定し、探索ウィンドウ３１内の部分画像３２を取得する。ステップＳ２１で取得された部分画像３２を、以後の説明では「注目部分画像３２」と呼ぶ。

ステップＳ２２では、低輝度画像判定部１２が、注目部分画像３２が低輝度画像であるか否かを判定する。本実施形態の低輝度画像判定部１２は、注目部分画像３２内の輝度の平均値を計算し、その平均値が閾値より小さい場合に低輝度画像と判定する。このような判定ロジックによれば、入力画像３０の撮影時の環境が暗かった場合、撮影時の露出が十分でなかった場合、逆光で撮影された場合などは、被写体（つまり人の顔）が暗く写るので、低輝度画像と判定される。

ステップＳ２２で注目部分画像３２が低輝度画像でないと判定された場合、ステップＳ２３へ進み、注目部分画像３２が識別器１４に入力される。識別器１４は、注目部分画像３２から予め決められた複数種類のＨａａｒ−ｌｉｋｅ特徴を抽出し、それらの画像特徴の値に基づいて注目部分画像３２が顔の画像であるか否かを判定する。

他方、ステップＳ２２で注目部分画像３２が低輝度画像であると判定された場合は、次のような例外処理（低輝度処理）へと進む。ステップＳ２４では、部分画像変更部１３が、注目部分画像３２の所定位置のピクセルの輝度を変更する。具体的には、図３に示すように、注目部分画像３２が顔の画像であると仮定した場合における目の位置にあたる複数個のピクセルの輝度を所定値に置き換える。「所定値」は十分に小さい（低輝度な）値であればよく、本実施形態では輝度の最小値（例えば、画像の輝度値が０(暗)〜２５５(明)の値域を有する場合は０）とする。そして、輝度変更後の注目部分画像３２が、変更部分画像３３として、識別器１４に入力される。ステップＳ２５では、識別器１４は、変更部分画像３３から予め決められた複数種類のＨａａｒ−ｌｉｋｅ特徴を抽出し、それらの画像特徴の値に基づいて変更部分画像３３が顔の画像であるか否かを判定する。このステップＳ２５の処理はステップＳ２３の処理と基本的に同じである（つまり、用いる画像特徴、識別器などは同じであり、ステップＳ２５とステップＳ２３の違いは部分画像の一部のピクセルが変更されている点のみである。）。

図４Ａ〜図４Ｃを参照して低輝度処理の効果を説明する。図４Ａは低輝度画像でない部分画像４０から抽出される画像特徴の例を示し、図４Ｂは低輝度画像である部分画像４１から抽出される画像特徴の例を示す。図４Ａの部分画像４０では、目の領域４０Ｅの輝度が２５、鼻の領域４０Ｎの輝度が６０であり、目の領域４０Ｅと鼻の領域４０Ｎの間の明暗差は３５と、明りょうな画像特徴が抽出できる。しかし、図４Ｂの部分画像４１では、画像が全体的に暗く、目の領域４１Ｅの輝度が２５、鼻の領域４１Ｎの輝度が３０であり、２つの領域４１Ｅ、４１Ｎの間の明暗差は５と、きわめて小さくなっている。したがって、図４Ｂの部分画像４１を識別器１４にそのまま入力しても、顔検出に失敗する可能性が高い。

図４Ｃは変更部分画像４２から抽出される画像特徴の例を示す。変更部分画像４２は、図４Ｂの部分画像４１の目の領域４１Ｅのピクセルの輝度を０にした画像である。したがって、変更部分画像４２では、目の領域４２Ｅの輝度が０、鼻の領域４２Ｎの輝度が３０となり、２つの領域４２Ｅ、４２Ｎの間の明暗差は３０と、明りょうな画像特徴が抽出できることがわかる。

このように、本実施形態の低輝度処理では、顔の中で相対的に暗くあるべき領域（例えば、目の領域、口の領域、眉の領域など）の輝度を強制的に小さくすることにより、低輝
度画像においても領域間の明暗差が明りょうに現れる。また、明暗の逆転が起きている場合でも、本来暗くあるべき領域の輝度を強制的に最小値にしてしまうことで、明暗の関係を通常の状態に戻すことができる（例えば、目の領域の輝度が３５、鼻の領域の輝度が２５のように逆転していても、目の領域の輝度を０に変更することで、目の領域よりも鼻の領域が明るく、且つ、明暗差が２５という画像特徴が得られる。）。それゆえ、低輝度画像の場合には、（部分画像４１の代わりに）変更部分画像４２を識別器１４に与えることで、顔検出の成功率向上を期待できる。

ところで、上記の低輝度処理は、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上できるというメリットがある一方で、入力画像の一部分（図４Ｃの例では目の部分）の画像情報を無視して顔／非顔判定を行っているため、誤検出（非顔の画像を顔と判定すること）が増える可能性があるというデメリットもある。そこで本実施形態では、低輝度処理の場合に誤検出除去部１５による簡易誤検出除去を行う。

具体的には、図２のステップＳ２５で「顔」と判定された部分画像に対し、誤検出除去部１５が、識別器１４とは異なる判定ロジックによる顔／非顔判定を行い、「非顔」と判定された場合はステップＳ２５の顔検出結果を破棄する（ステップＳ２６）。誤検出除去部１５の判定ロジックはどのようなものを用いてもよいが、処理の高速化のため、できるだけ簡易で計算量の少ないロジックを用いることが望ましい。以下に判定ロジックの一例を挙げる。

（１）部分画像内で、隣接ピクセルとの輝度差が所定値より大きいピクセルの個数が所定範囲外であれば、「非顔」と判定する。
（２）部分画像内で、隣接ピクセル４点のいずれよりも暗い又は明るいピクセルの個数が所定範囲外であれば、「非顔」と判定する。
（３）部分画像内で、極端に明るいピクセルの個数が所定数以上の場合は、「非顔」と判定する。低輝度ないし逆光の照明条件下で撮影された場合、顔部分は全体的に暗くなり、顔画像のなかに白飛びのような極端に明るい箇所は含まれないからである。例えば、輝度値１８５を超えるピクセルの数が部分画像全体の１０％以上である場合に「非顔」と判定してもよい。
（４）部分画像における目領域の輝度が鼻領域の輝度より大きい（明るい）場合、「非顔」と判定する。
（５）部分画像における口領域の輝度が鼻領域の輝度より大きい（明るい）場合、「非顔」と判定する。
（６）部分画像における口領域の輝度が口の周辺領域の輝度より大きい（明るい）場合、「非顔」と判定する。
（７）部分画像における目領域の輝度が左右の目の間の領域の輝度より大きい（明るい）場合、「非顔」と判定する。

上記（１）〜（７）のうち１つの判定ロジックのみで誤検出除去を行ってもよいし、２つ以上の判定ロジックを用いて誤検出除去を行ってもよい。

ステップＳ２７では、入力画像の探索が完了したか否かを判定する。探索が完了していない場合は、ステップＳ２１に戻り、探索ウィンドウ３１を次の位置に移動した後、ステップＳ２２以降の処理を繰り返す。入力画像全体の探索が完了したら、ステップＳ２８において、出力部１６が顔検出の結果を出力し、顔検出処理を終了する。

以上述べた本実施形態の顔検出によれば、暗い画像や明暗関係が逆転した画像の場合は低輝度処理が実施されるので、従来方法に比べて、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上することができる。また、低輝度処理を実施した場合は、識
別器１４とは異なる判定ロジックによる誤検出除去を行い、低輝度処理に起因する誤検出を排除するよう構成したので、全体としての判定精度の向上も期待できる。しかも、本実施形態の低輝度処理は、部分画像の一部のピクセルの輝度を所定値に置き換える、というシンプルな方法であり、通常処理の場合と同じ識別器１４を利用できる。したがって、本実施形態の低輝度処理は既存の顔検出装置への追加実装が容易であるという利点もある。

＜その他＞
上記の実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、部分画像内の目領域のピクセルの輝度を最小値に置き換えたが、低輝度処理の方法はこれに限られない。顔画像の中で相対的に暗くあるべき領域としては、目領域以外にも、口領域、眉領域などがあり、これらの領域の輝度を強制的に小さくしてもよい。また、置き換え後の輝度は最小値である必要はなく、十分に小さい値であればよい。さらには、顔画像の中で相対的に明るくあるべき領域（鼻領域、顎領域、額領域など）の輝度を強制的に大きくすることでも、同様の効果を得られる。

１：顔検出装置
１０：画像入力部、１１：部分画像取得部、１２：低輝度画像判定部、１３：部分画像変更部、１４：識別器、１５：誤検出除去部、１６：出力部
３０：入力画像、３１：探索ウィンドウ、３２：注目部分画像、３３：変更部分画像
４０：低輝度画像でない部分画像、４０Ｅ：目領域、４０Ｎ：鼻領域
４１：低輝度画像である部分画像、４１Ｅ：目領域、４１Ｎ：鼻領域
４２：変更部分画像、４２Ｅ：目領域、４２Ｎ：鼻領域

Claims (7)

1. 画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置であって、
   前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定する低輝度画像判定部をさらに有し、
   前記低輝度画像判定部により前記部分画像が低輝度画像であると判定された場合に、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行う
   ことを特徴とする顔検出装置。
2. 前記所定位置は、顔の画像の中で相対的に暗くあるべき領域であり、
   前記変更部分画像は、前記所定位置のピクセルの輝度を小さい値に変更した画像であることを特徴とする請求項１に記載の顔検出装置。
3. 前記所定位置は、前記部分画像が顔の画像であると仮定した場合における目の位置である
   ことを特徴とする請求項１又は２に記載の顔検出装置。
4. 前記変更部分画像は、前記部分画像における前記所定位置のピクセルの輝度を所定値に置き換えた画像である
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の顔検出装置。
5. 前記所定値は、最小の輝度値である
   ことを特徴とする請求項４に記載の顔検出装置。
6. 画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置の制御方法であって、
   前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定するステップと、
   前記部分画像が低輝度画像であると判定された場合、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行うステップと、
   を含むことを特徴とする顔検出装置の制御方法。
7. 請求項６に記載の顔検出装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
   

Images