JP6374986B2 - 顔認識方法、装置及び端末 - Google Patents

Description

［関連出願に対する相互参照］
本願は、２０１５年８月２１日に中華人民共和国国家知識産権局に出願された中国特許出願第ＣＮ ２０１５１０５２０４５７．Ｘ号に基づき、かつ該出願による優先権を主張するものであり、該出願の全容は参照により本明細書に組み込まれる。

本開示は一般に、画像処理技術の分野に関し、より詳細には、顔認識方法、顔認識装置及び端末に関する。

近年、顔認識技術は、セキュリティアクセス制御、視覚的検出、コンテンツに基づく画像検索、及び新世代の人間−機械インターフェースの分野で益々高い応用価値を有して開発されている。その結果、画像内で人間の顔をどのように認識するかは、研究者により益々注目されている。

関連技術において、人間の顔は、顔の特徴として顔器官（眼、鼻等）の比を得る等、顔の特徴に従って認識され得る。しかしながら、人間の顔が画像の縁領域内に位置する場合、該画像が人間の顔の全体を含んでいないため、顔の器官の間の比と同様の比を有するプロファイルをそのような画像内に見出すことができず、従って顔分類器は、人間の顔を認識することができない。

本開示は、実施形態において、顔認識方法及び顔認識装置を提供する。

本開示の第１の実施形態の第１の態様によれば、顔認識方法が提供され、該方法は：
元の画像を取得することと、
元の画像の縁領域に特定数値ピクセルを付加して、付加された全ピクセルは、同一のピクセル値を有し、処理されるべき画像を取得することと、
前記処理されるべき画像上で顔認識を行うことと、
前記顔認識の結果に従って、前記元の画像内の人間の顔を決定することと、を含み、
前記元の画像の前記縁領域に前記特定数値ピクセルを付加することは、
前記元の画像の前記縁領域内の各ピクセルのピクセル値を取得することと、
前記縁領域内の各ピクセルの前記ピクセル値と、顔色ピクセルに関する事前設定ピクセル値とに従って、前記顔色ピクセルを有する縁領域を決定することと、
前記顔色ピクセルを有する前記縁領域のみに前記特定数値ピクセルを付加することと、を含む。

第１の態様と組み合わせて、第１の態様の第１の可能な実施において、処理されるべき画像上で顔認識を行うことは：
処理されるべき画像の複数のサブ画像を取得することと；
事前に訓練されたアダプティブブースト顔分類器を使用して、各サブ画像が人間の顔のサブ画像であるか否かを判断することと、を含む。

第１の態様の第１の可能な実施と組み合わせて、第１の態様の第２の可能な実施において、処理されるべき画像の複数のサブ画像を取得することは：
スライディングウィンドウを使用して、処理されるべき画像を複数回トラバースし、各トラバースの全位置におけるスライディングウィンドウによりカバーされる画像領域を、処理されるべき画像の１つのサブ画像として画定することであって、任意の２つのトラバースにおいて使用されるスライディングウィンドウは、異なるサイズのものであること；
又は
処理されるべき画像を複数回拡大又は縮小して、複数の処理されるべき画像を異なるサイズで取得し、１つのサイズの処理されるべき画像を、特定のサイズの複数の画像領域へとトリミングし、この特定のサイズの各画像領域をサブ画像として画定すること、を含む。

第１の態様の第１の可能な実施と組み合わせて、第１の態様の第３の可能な実施において、事前に訓練されたアダプティブブースト顔分類器は、分類器の多段のカスケードとして形成されており、事前に訓練されたアダプティブブースト顔分類器を使用して、各サブ画像が人間の顔のサブ画像であるか否かを判断することは：
事前に訓練されたアダプティブブースト顔分類器において、分類器の第１の段階から開始して分類器の最終段階まで、段階的方法によって、サブ画像が人間の顔のサブ画像であるか否かを段階において判断することと；
分類器の全段階から出力された結果の各々が、サブ画像が人間の顔のサブ画像であることを示す場合、サブ画像が人間の顔のサブ画像であることを決定することと、を含む。

第１の態様の第１の可能な実施と組み合わせて、第１の態様の第４の可能な実施において、顔認識の結果に従って、元の画像内の人間の顔を決定することは：
人間の顔のサブ画像であるサブ画像が、処理されるべき画像の複数のサブ画像内に存在する場合、人間の顔のサブ画像であるサブ画像の、元の画像内での位置を決定することと；
人間の顔のサブ画像であるサブ画像の、元の画像内での位置に従って、元の画像内の人間の顔を決定することと、を含む。

本開示の実施形態の第２の態様によれば、顔認識装置が提供され、該装置は：
元の画像を取得するように構成された取得モジュールと；
モジュールにより取得された元の画像の縁領域に特定数値ピクセルを付加して、付加された全ピクセルは、同一のピクセル値を有し、処理されるべき画像を取得するように構成された付加モジュールと；
付加モジュールにより取得された処理されるべき画像上で、顔認識を行うように構成された認識モジュールと；
認識モジュールからの顔認識の結果に従って、元の画像内の人間の顔を決定するように構成された決定モジュールと、を備え、
前記付加モジュールは、
前記元の画像の前記縁領域内の各ピクセルのピクセル値を取得するように構成された第１の取得ユニットと；
前記第１の取得ユニットによって取得された前記縁領域内の各ピクセルの前記ピクセル値と、顔色ピクセルに関する事前設定ピクセル値とに従って、前記顔色ピクセルを有する縁領域を決定するように構成された第１の決定ユニットと；
前記第１の決定ユニットによって決定された前記顔色ピクセルを有する前記縁領域のみに、前記特定数値ピクセルを付加するように構成された付加ユニットと、を備える。

第２の態様と組み合わせて、第２の態様の第１の可能な実施において、認識モジュールは：
処理されるべき画像の複数のサブ画像を取得するように構成された第２の取得ユニットと；
事前に訓練されたアダプティブブースト顔分類器を使用して、第２の取得ユニットによって取得された各サブ画像が人間の顔のサブ画像であるか否かを判断するように構成された判断ユニットと、を備える。

第２の態様の第１の可能な実施と組み合わせて、第２の態様の第２の可能な実施において、第２の取得ユニットは：
スライディングウィンドウを使用して、処理されるべき画像を複数回トラバースし、各トラバースの全位置におけるスライディングウィンドウによりカバーされる画像領域を、処理されるべき画像の１つのサブ画像として画定し、ここで任意の２つのトラバースにおいて使用されるスライディングウィンドウは、異なるサイズのものである；又は
処理されるべき画像を複数回拡大又は縮小して、複数の処理されるべき画像を異なるサイズで取得し、１つのサイズの処理されるべき画像を、特定のサイズの複数の画像領域へとトリミングし、この特定のサイズの各画像領域をサブ画像として画定する、ように構成されている。

第２の態様の第１の可能な実施と組み合わせて、第２の態様の第３の可能な実施において、事前に訓練されたアダプティブブースト顔分類器は、多段分類器のカスケードとして形成されており、判断ユニットは：
事前に訓練されたアダプティブブースト顔分類器において、分類器の第１の段階から開始して分類器の最終段階まで、段階的方法によって、サブ画像が人間の顔のサブ画像であるか否かを段階において判断し；
分類器の全段階から出力された結果の各々が、サブ画像が人間の顔のサブ画像であることを示す場合、サブ画像が人間の顔のサブ画像であることを決定する、ように構成されている。

第２の態様の第１の可能な実施と組み合わせて、第２の態様の第４の可能な実施において、決定モジュールは：
人間の顔のサブ画像であるサブ画像が、処理されるべき画像の複数のサブ画像内に存在する場合、人間の顔のサブ画像であるサブ画像の、元の画像内での位置を決定するように構成された第２の決定ユニットと；
人間の顔のサブ画像であるサブ画像の、元の画像内での位置に従って、元の画像内の人間の顔を決定するように構成された第３の決定ユニットと、を備える。

本開示の実施形態の第３の態様によれば、端末が提供され、該端末は：
プロセッサと；
プロセッサにより実行可能な命令を記憶するためのメモリと；を備え、
プロセッサは：
元の画像を取得し；
元の画像の縁領域に特定数値ピクセルを付加して、処理されるべき画像を取得し；
前記処理されるべき画像上で顔認識を行い；
前記顔認識の結果に従って、元の画像内の人間の顔を決定する、ように構成されている。

本開示の実施形態で提供される解決法は、以下の有益な効果を有し得る。

元の画像の縁領域に特定数値ピクセルを付加することによって、処理されるべき画像を取得した後、処理されるべき画像上で顔認識を行って、元の画像内の人間の顔を決定する。顔認識中、元の画像の縁領域に、元の画像の拡張と等価な特定数値ピクセルが付加され、それによって、人間の顔が元の画像の縁領域内に位置する場合、人間の顔を含むサブ画像が拡張画像内に見出され得るため、元の画像の縁領域内に位置する人間の顔を確実に認識することができ、更に、顔認識の正確性が向上する。

前述の一般的な記載及び以下の詳細な記載の両方は、単なる例示及び説明であり、本発明を限定するものではないことを理解するべきである。

本明細書に組み込まれ、かつその一部を構成する、付随する図面は、本発明に一致した実施形態を図解し、また明細書の記載と共に本発明の原理を説明する役割を果たす。

説明的な実施形態による顔認識方法を示すフローチャート

説明的な実施形態による顔認識方法を示すフローチャート

説明的な実施形態による元の画像の概略図

説明的な実施形態による処理されるべき画像の概略図

説明的な実施形態による、異なるサイズのスライディングウィンドウを使用して、処理されるべき画像を横切る概略図

説明的な実施形態による、異なるサイズの処理されるべき画像の概略図

説明的な実施形態によるＡｄａｂｏｏｓｔ顔分類器の概略図

説明的な実施形態による顔認識装置のブロック図

説明的な実施形態による付加モジュールのブロック図

説明的な実施形態による認識モジュールのブロック図

説明的な実施形態による決定モジュールのブロック図

説明的な実施形態による端末のブロック図

本開示の実施形態を詳細に参照する。特に特定又は限定されない限り、同一又は同様の機能を有する同一又は同様の要素は、明細書全体を通して同様の参照番号で示される。本開示の例示的な実施形態及びその説明は、本開示と一致した全実施を表すものと解釈されるべきではない。むしろ、それらは、添付の特許請求の範囲に記載されるように、本開示のいくつかの態様と一致した装置及び方法の例である。

図１は、説明的な実施形態による顔認識方法を示すフローチャートであり、顔認識方法は、端末において適用される。図１に示されるように、本開示の実施形態にて提供される顔認識方法は、以下のステップを含む。

ステップＳ１０１において、元の画像を取得する。

ステップＳ１０２において、元の画像の縁領域に特定数値ピクセルを付加して、処理されるべき画像を取得する。

ステップＳ１０３において、処理されるべき画像上で顔認識を行う。

ステップＳ１０４において、顔認識の結果に従って、元の画像内の人間の顔を決定する。

本開示の実施形態により提供される方法を用いて、元の画像の縁領域に特定数値ピクセルを付加することによって、処理されるべき画像を取得した後、処理されるべき画像上で顔認識を行って、元の画像内の人間の顔を決定する。顔認識中、元の画像の縁領域に、元の画像の拡張と等価な特定数値ピクセルが付加され、それによって、人間の顔が元の画像の縁領域内に位置する場合、人間の顔を含むサブ画像が拡張画像内に見出され得るため、元の画像の縁領域内に位置する人間の顔を確実に認識することができ、更に、顔認識の正確性が向上する。

別の実施形態では、元の画像の縁領域に特定数値ピクセルを付加することは：
元の画像の縁領域内の各ピクセルのピクセル値を取得することと；
縁領域内の各ピクセルのピクセル値と、顔色ピクセルに関する事前設定ピクセル値とに従って、顔色ピクセルを有する縁領域を決定することと；
顔色ピクセルを有する縁領域に特定数値ピクセルを付加することと、を含む。

別の実施形態では、処理されるべき画像上で顔認識を行うことは：
処理されるべき画像の複数のサブ画像を取得することと；
事前に訓練されたアダプティブブースト顔分類器を使用して、各サブ画像が人間の顔のサブ画像であるか否かを判断することと、を含む。

別の実施形態では、処理されるべき画像の複数のサブ画像を取得することは：
スライディングウィンドウを使用して、処理されるべき画像を複数回横断（トラバース）し、各横断の全位置おけるスライディングウィンドウによりカバーされる画像領域を、処理されるべき画像の１つのサブ画像として画定することであって、ここで、任意の２つの横断において使用されるスライディングウィンドウは、異なるサイズのものであること；又は
処理されるべき画像を複数回拡大又は縮小して、複数の処理されるべき画像を異なるサイズで取得し、１つのサイズの処理されるべき画像を、特定のサイズの複数の画像領域へとトリミングし、この特定のサイズの各画像領域をサブ画像として画定すること、を含む。

別の実施形態では、事前に訓練されたアダプティブブースト顔分類器は、カスケードにおける多段分類器のカスケードとして形成され；事前に訓練されたアダプティブブースト顔分類器を使用して、各サブ画像が人間の顔のサブ画像であるか否かを判断することは：
事前に訓練されたアダプティブブースト顔分類器において、分類器の第１の段階から開始して分類器の最終段階まで、段階的方法によって、サブ画像が人間の顔のサブ画像であるか否かを段階において判断することと；
分類器の全段階から出力された結果の各々が、サブ画像が人間の顔のサブ画像であることを示す場合、サブ画像が人間の顔のサブ画像であることを決定することと、を含む。

別の実施形態では、顔認識の結果に従って、元の画像内の人間の顔を決定することは：
人間の顔のサブ画像であるサブ画像が、処理されるべき画像の複数のサブ画像内に存在する場合、人間の顔のサブ画像であるサブ画像の、元の画像内での位置を決定することと；
人間の顔のサブ画像であるサブ画像の、元の画像内での位置に従って、元の画像内の人間の顔を決定することと、を含む。

本開示の代替的な実施形態は、上記の代替的な技術的解決法を任意のやり方で組み合わせることにより形成することができ、それらは本明細書では詳述されない。

図２は、説明的な実施形態による顔認識方法を示すフローチャートであり、顔認識方法は、端末において適用される。図２に示されるように、本開示の実施形態により提供される顔認識方法は、以下のステップを含む。

ステップ２０１において、元の画像を取得する。

元の画像は、その上で顔認識を行う必要がある画像である。本開示の実施形態では、元の画像が人間の顔を含んでいるか否かを認識し、元の画像が人間の顔を含んでいる場合、元の画像のどの領域が、該画像内に位置する人間の顔であるかを認識する必要がある。

元の画像を取得するには、多数の方法が存在する。例えば、任意の記憶デバイスから読み取った画像を、元の画像として使用することができる。又は、インターネットからダウンロードした画像を、元の画像として使用することができる。また、元の画像は、画像をスキャナで走査することによって取得することができる。更に、カメラで撮影した画像を、元の画像として使用することができる。

ステップＳ２０２において、元の画像の縁領域に特定数値ピクセルを付加して、処理されるべき画像を取得する。

例えば、元の画像の縁領域は、元の画像の各縁の４つの最も外側におけるピクセルを含む。図３に示されるように、元の画像の概略図が示されている。図３の人間の顔は、元の画像の縁領域内に位置している。人間の顔が元の画像の縁領域内に位置している場合、この人間の顔は、人間の顔を認識する際に、認識されない場合がある。この状況を回避するために、本開示の実施形態では、人間の顔を認識する前に、元の画像の縁領域に特定数値ピクセルを付加して、処理されるべき画像を取得する。図４に示されるように、処理されるべき画像が示されている。図４の処理されるべき画像は、図３に示した元の画像の４つの縁領域にピクセルを付加することにより取得される。図４の斜線を有する領域は、付加されたピクセルを表す。

特定数値は、本開示の実施形態において限定されず、特定の実施において必要に応じて設定されてもよい。例えば、２ピクセル、５ピクセル又は１０ピクセルが、最も外側における各ピクセルの周辺に付加されてもよい。

更に、元の画像の縁領域に付加された全ピクセルは、同一のピクセル値を有してもよく、即ち全ピクセルは同一の色にある。この同一の色は、白色、黒色、又は他の色であってもよく、本開示の実施形態において限定されない。同一の色におけるピクセルが同一のピクセル値を有するため、付加されたピクセルが同一の色を有するという状況下では、処理されるべき画像に関する顔認識中、処理されるべき画像の所定の領域内のピクセルが同一のピクセル値を有する場合、これらのピクセルは、付加されたピクセルであると決定され得、従って過分な認識手順を実行する必要がないため、認識の速度が高い。

例えば、元の画像の縁領域に特定数値ピクセルを付加する際、特定数値ピクセルは、元の画像の４つの縁領域の全部に付加され得る。勿論、各縁領域に付加される特定数値ピクセルの量は、区別されてもよい。例えば、左領域に付加される特定数値ピクセルの量は、右領域に付加される特定数値ピクセルの量と異なっていてもよい。しかしながら、ピクセルを元の画像の縁領域に付加した後、画像の認識のための計算は増大し得る。画像の認識のための計算を最小限にするために、元の画像の縁領域にピクセルを付加する前に、その内部に人間の顔が提示され得る、ピクセルが付加される縁領域を検出する。

可能な実施において、顔色ピクセルに関するピクセル値は、一般に、特定の値又は所定の値の範囲内であるため、縁領域内の各ピクセルのピクセル値が、顔色ピクセルに関するピクセル値であるか否かを検出することによって、縁領域内に人間の顔が存在するか否かを決定することができる。この部分のコンテンツを組み合わせて、元の画像の縁領域に特定数値ピクセルを付加するステップは、以下のステップＳ２０２１〜Ｓ２０２３を含むが、これらに限定されるものではない。

ステップＳ２０２１において、元の画像の縁領域内の各ピクセルのピクセル値を取得する。

例えば、縁領域内の各ピクセルのピクセル値は、各ピクセルのＲＧＢ値を決定することにより取得することができる。各ピクセルのＲＧＢ値の決定は、カラーセンサによって実施され得るが、これに限定されるものではない。

ステップＳ２０２２において、縁領域内の各ピクセルのピクセル値と、顔色ピクセルに関する事前設定ピクセル値とに従って、顔色ピクセルを有する縁領域を決定する。

可能な実施において、縁領域内の各ピクセルのピクセル値を、顔色ピクセルに関する事前設定ピクセルと比較した後、該比較に従って顔色ピクセルを有する縁領域を決定し得る。

例えば、縁領域内の任意のピクセルのピクセル値を、顔色ピクセルに関する事前設定ピクセルと比較する際、このピクセルのピクセル値と、顔色ピクセルに関する事前設定ピクセル値との間の相違が第１の事前設定閾値を超えない場合、このピクセルは顔色ピクセルとして決定され得る。第１の事前設定閾値の特定数値は、本開示の実施形態において限定されるものではない。しかしながら、ピクセルが顔色ピクセルであるか否かを正確に認識するために、第１の事前設定閾値は、小さい値に設定され得る。

例えば、各縁領域に関して、比較に従って顔色ピクセルを有する縁領域を決定する際、顔色ピクセルが縁領域内に存在するか否かは、縁領域内の全ピクセルに対する顔色ピクセルの比に従って決定され得る。この比が第２の事前設定閾値よりも大きい場合、顔色ピクセルが縁領域内に存在することが決定され、そうでない場合、顔色ピクセルは縁領域内に存在しないと決定される。第２の事前設定閾値の特定数値は、必要に応じて設定され得る。

ステップＳ２０２３において、顔色ピクセルを有する縁領域に特定数値ピクセルを付加する。

換言すれば、元の画像の縁領域にピクセルを付加する際、特定数値ピクセルは、顔色ピクセルを有する縁領域のみに付加され得る。例えば、顔色ピクセルが元の画像の上縁領域内に存在する場合、特定数値ピクセルは上縁領域のみに付加されて、画像認識のための計算を低減してもよい。

ステップＳ２０３において、処理されるべき画像の複数のサブ画像を取得し、事前に訓練されたアダプティブブースト顔分類器を使用して、各サブ画像が人間の顔のサブ画像であるか否かを判断する。

このステップは、処理されるべき画像上で顔認識を行うための特有の実施である。本開示の実施形態では、顔認識は、まず処理されるべき画像の複数のサブ画像を取得し、次いで各サブ画像が人間の顔のサブ画像であるか否かを判断し得る。

処理されるべき画像の複数のサブ画像の取得は、以下の２つの方法を含むが、これらに限定されるものではない。

第１の方法：スライディングウィンドウを使用して、処理されるべき画像を複数回横断（トラバース）し、各横断の全位置おけるスライディングウィンドウによりカバーされる画像領域を、処理されるべき画像の１つのサブ画像として画定する。ここで、任意の２つの横断において使用されるスライディングウィンドウは、異なるサイズのものである。

換言すれば、本開示の実施形態では、処理されるべき画像は、各々、異なるサイズのスライディングウィンドウによって横断される。処理されるべき画像の横断の各回に使用されるスライディングウィンドウのサイズは、様々であってもよい。例えば、処理されるべき画像の横断の所定の回に関して、スライディングウィンドウのサイズは３＊３であり；一方、処理されるべき画像の次回の横断に関して、スライディングウィンドウのサイズは５＊５等である。図５に示されるように、異なるサイズのスライディングウィンドウを使用して横断される、処理されるべき画像の概略図が示されている。図５の太線内の各正方形は、１つのスライディングウィンドウを表している。

任意のサイズのスライディングウィンドウを使用して、処理されるべき画像を横断（トラバース）する際、スライディングウィンドウは、処理されるべき画像の水平方向（Ｘ方向）及び垂直方向（Ｙ方向）にて特定のステップサイズで、処理されるべき画像を横断する。スライディングウィンドウがＸ方向又はＹ方向に１ステップサイズ移動するとき、該スライディングウィンドウは、処理されるべき画像の新たな位置へ移動する。各位置は画像範囲を画定し、該画像範囲は、処理されるべき画像のサブ画像である。特定のステップサイズは、１ピクセル、２ピクセル等であってもよい。

第２の方法：処理されるべき画像を多数回拡大又は縮小して、複数の処理されるべき画像を異なるサイズで取得し、任意のサイズの処理されるべき画像を、特定のサイズの複数の画像領域へとトリミングし、各画像領域をサブ画像として画定する。

処理されるべき画像拡大又は縮小するたびに、１つの所定のサイズの処理されるべき画像が取得され得る。１つのサイズの処理されるべき画像に関して、そのような１つのサイズの処理されるべき画像は、複数の画像領域へとトリミングされ得る。各画像領域は、３＊３（ピクセル＊ピクセル）、５＊５等、特定のサイズのものである。

図６に示されるように、異なるサイズの、処理されるべき画像の概略図が示されている。図６の図（ａ）〜（ｃ）は、各々、所定のサイズの処理されるべき画像を示す。図６の図（ｃ）に示されるように、所定のサイズの処理されるべき画像のトリミングの概略図が示されている。図６の図（ｃ）に示されるように、太線で取り囲まれている各矩形は、所定のサイズの処理されるべき画像のサブ画像である。

更に、各サブ画像が人間の顔のサブ画像であるか否かの判断は、事前に訓練された顔分類器によって実施されてもよい。事前に訓練された顔分類器のタイプは、様々であってもよい。例えば、事前に訓練された顔分類器は、サポートベクターマシン顔分類器、ニューラルネットワーク顔分類器又はアダプティブブースト（Ａｄａｂｏｏｓｔ）顔分類器等であってもよい。記載の便宜上、本開示の実施形態では、Ａｄａｂｏｏｓｔ顔分類器である、事前に訓練された顔分類器を例として取り上げて、人間の顔を認識する連続的ステップを説明する。

可能な実施において、顔認識の正確性を向上させるために、本開示の実施形態では、Ａｄａｂｏｏｓｔ顔分類器は、多段分類器のカスケードとして形成される。Ａｄａｂｏｏｓｔ顔分類器における分類器の各段階は、サブ画像が人間の顔のサブ画像であるか否かを判断するように構成されている。分類器の各段階からの結果出力は、「０」又は「１」である。出力結果が「１」であることは、分類器の段階が、サブ画像が人間の顔のサブ画像であることを決定している。出力結果「０」は、分類器の段階が、サブ画像が人間の顔のサブ画像ではないことを決定している。

Ａｄａｂｏｏｓｔ顔分類器における分類器の各段階は、強分類器である。各強分類器は、複数の弱分類器を含む。Ａｄａｂｏｏｓｔ顔分類器における分類器の各段階の訓練は、分類器の段階に含まれる複数の弱分類器を訓練することにより実施され得る。分類器の段階からの結果出力は、分類器の段階に含まれる全弱分類器のデータ処理に従って決定される。Ａｄａｂｏｏｓｔ顔分類器の訓練方法と、分類器の各段階から結果出力を決定する方法とに関しては、Ａｄａｂｏｏｓｔ顔分類器に関する現存する内容が参照され、該内容は本開示の実施形態では詳述されない。

Ａｄａｂｏｏｓｔ顔分類器に含まれる分類器の段階の数は、本開示の実施形態において限定されない。より正確な認識を可能にするために、Ａｄａｂｏｏｓｔ顔分類器は、例えば分類器の５段階、分類器の８段階等、遙かにより多くの分類器の段階を含んでもよい。図７に示されるように、Ａｄａｂｏｏｓｔ顔分類器の概略図が示されている。図７の各円領域は、分類器の１段階を表している。

これに基づいて、任意のサブ画像に関して、事前に訓練されたアダプティブブースト顔分類器を使用して、各サブ画像が人間の顔のサブ画像であるか否かを判断する際、事前に訓練されたＡｄａｂｏｏｓｔ顔分類器において、分類器の第１の段階から開始して分類器の最終段階まで、段階的方法によって、段階において訓練されて、サブ画像が人間の顔のサブ画像であるか否かを判断する。分類器の全段階からの結果出力の各々が、サブ画像が人間の顔のサブ画像であることを示す場合、サブ画像は人間の顔のサブ画像として決定される。分類器の任意の段階からの結果が、サブ画像が人間の顔のサブ画像ではないことを示す場合、サブ画像は人間の顔ではないサブ画像として決定される。

詳細には、任意のサブ画像に関して、サブ画像は、分類器の第１の段階からＡｄａｂｏｏｓｔ顔分類器内に入力され、分類器の第１の段階がサブ画像が人間の顔のサブ画像であると決定した場合、サブ画像は分類器の第２の段階内に入力され、それによって分類器の第２の段階は、サブ画像が人間の顔のサブ画像であるか否かを判断し、これを分類器の最終段階まで行う。分類器の第１の段階が、サブ画像が人間の顔のサブ画像ではないと決定した場合、分類器の第１の段階は、認識のために次のサブ画像を取得する。

事前に訓練された顔分類器の作業原理に基づけば、人間の顔が元の画像の縁領域内に位置する場合、縁領域内に位置する人間の顔は、一般に認識できないことに留意するべきである。しかしながら、人間の顔は、遮蔽された場合、正確に認識されることができる。本開示の実施形態では、特定数値ピクセルが元の画像の縁領域に付加されるため、縁領域内に位置する人間の顔は、付加されたピクセルにより遮蔽されているのと等価であり、従って縁領域内に位置する人間の顔は、事前に訓練された顔分類器によって認識され、かくして縁領域内に位置する顔認識の正確性が向上し得る。

ステップＳ２０４において、顔認識の結果に従って、元の画像内の人間の顔を決定する。

各サブ画像が人間の顔のサブ画像であるか否かを認識した後、顔認識の結果に従って、人間の顔に属するサブ画像が決定され得る。しかしながら、どの領域が元の画像内の人間の顔内に位置するかを決定するために、人間の顔に属するサブ画像に従って、元の画像内の人間の顔を決定する必要がある。

例えば、顔認識の結果に従って、元の画像内の人間の顔を決定するステップは：人間の顔のサブ画像であるサブ画像が、処理されるべき画像の複数のサブ画像内に存在する場合、人間の顔のサブ画像であるサブ画像の、元の画像内での位置を決定し、次いで、人間の顔のサブ画像であるサブ画像の、元の画像内での位置に従って、元の画像内の人間の顔を決定することを含むが、これらに限定されるものではない。

可能な実施では、認識によって人間の顔のサブ画像であると示された任意のサブ画像に関して、元の画像内での位置を取得する際、サブ画像内の各ピクセルのピクセル値が抽出され、元の画像内の各ピクセルのピクセル値が抽出された後、サブ画像内の各ピクセルのピクセル値が、元の画像内の各ピクセルのピクセル値と比較される。元の画像の所定の一領域における各ピクセルのピクセル値が、サブ画像内の各ピクセルのピクセル値と等しい場合、サブ画像の位置は、元の画像内に位置付けられ得る。サブ画像を元の画像内に位置付けた後、元の画像内の人間の顔が決定され得る。

更に、人間の顔のサブ画像であるサブ画像が、処理されるべき画像の複数のサブ画像内に存在しない場合、元の画像が人間の顔を含まないことが決定される。

本開示の実施形態により提供される方法を用いて、元の画像の縁領域に特定数値ピクセルを付加することによって、処理されるべき画像を取得した後、処理されるべき画像上で顔認識を行って、元の画像内の人間の顔を決定する。顔認識中、元の画像の縁領域に、元の画像の拡張と等価な特定数値ピクセルが付加され、それによって、人間の顔が元の画像の縁領域内に位置する場合、人間の顔を含むサブ画像が拡張画像内に見出され得るため、元の画像の縁領域内に位置する人間の顔を確実に認識することができ、更に、顔認識の正確性が向上する。

図８は、説明的な実施形態による顔認識装置のブロック図である。図８を参照すると、顔認識装置は、取得モジュール８０１、付加モジュール８０２、認識モジュール８０３及び決定モジュール８０４を含む。

取得モジュール８０１は、元の画像を取得するように構成されている。

付加モジュール８０２は、取得モジュール８０１により取得された元の画像の縁領域に特定数値ピクセルを付加して、処理されるべき画像を取得するように構成されている。

認識モジュール８０３は、付加モジュール８０２により取得された処理されるべき画像上で、顔認識を行うように構成されている。

決定モジュール８０４は、認識モジュール８０３からの顔認識の結果に従って、元の画像内の人間の顔を決定するように構成されている。

本開示の実施形態により提供される装置を用いて、元の画像の縁領域に特定数値ピクセルを付加することによって、処理されるべき画像を取得した後、処理されるべき画像上で顔認識を行って、元の画像内の人間の顔を決定する。顔認識中、元の画像の縁領域に、元の画像の拡張と等価な特定数値ピクセルが付加され、それによって、人間の顔が元の画像の縁領域内に位置する場合、人間の顔を含むサブ画像が拡張画像内に見出され得るため、元の画像の縁領域内に位置する人間の顔を確実に認識することができ、更に、顔認識の正確性が向上する。

別の実施形態では、図９を参照すると、付加モジュール８０２は、第１の取得ユニット８０２１、第１の決定ユニット８０２２及び付加ユニット８０２３を含む。

第１の取得ユニット８０２１は、元の画像の縁領域内の各ピクセルのピクセル値を取得するように構成されている。

第１の決定ユニット８０２２は、第１の取得ユニット８０２１によって取得された縁領域内の各ピクセルのピクセル値と、顔色ピクセルに関する事前設定ピクセル値とに従って、顔色ピクセルを有する縁領域を決定するように構成されている。

付加ユニット８０２３は、第１の決定ユニット８０２２によって決定された顔色ピクセルを有する縁領域に、特定数値ピクセルを付加するように構成されている。

別の実施形態では、図１０を参照すると、認識モジュール８０３は、第２の取得ユニット８０３１及び判断ユニット８０３２を含む。

第２の取得ユニット８０３１は、処理されるべき画像の複数のサブ画像を取得するように構成されている。

判断ユニット８０３２は、事前に訓練されたアダプティブブースト顔分類器を使用して、第２の取得ユニットによって取得された各サブ画像が人間の顔のサブ画像であるか否かを判断するように構成されている。

別の実施形態では、第２の取得ユニット８０３１は、スライディングウィンドウを使用して、処理されるべき画像を複数回横断（トラバース）し、各横断の全位置おけるスライディングウィンドウによりカバーされる画像領域を、処理されるべき画像の１つのサブ画像として画定し、ここで任意の２つの横断において使用されるスライディングウィンドウは、異なるサイズのものであり；又は、処理されるべき画像を複数回拡大又は縮小して、複数の処理されるべき画像を異なるサイズで取得し、１つのサイズの処理されるべき画像を、特定のサイズの複数の画像領域へとトリミングし、この特定のサイズの各画像領域をサブ画像として画定する、ように構成されている。

別の実施形態では、事前に訓練されたアダプティブブースト顔分類器は、複数の多段分類器のカスケードとして形成され、判断ユニット８０３２は：事前に訓練されたアダプティブブースト顔分類器において、分類器の第１の段階から開始して分類器の最終段階まで、段階的方法によって、サブ画像が人間の顔のサブ画像であるか否かを段階において判断し；分類器の全段階から出力された結果の各々が、サブ画像が人間の顔のサブ画像であることを示す場合、サブ画像が人間の顔のサブ画像であることを決定する、ように構成されている。

別の実施形態では、図１１を参照すると、決定モジュール８０４は：第２の決定ユニット８０４１及び第３の決定ユニット８０４２を含む。

第２の決定ユニット８０４１は、人間の顔のサブ画像であるサブ画像が、処理されるべき画像の複数のサブ画像内に存在する場合、人間の顔のサブ画像であるサブ画像の、元の画像内での位置を決定するように構成されている。

第３の決定ユニット８０４２は、人間の顔のサブ画像であるサブ画像の、元の画像内での位置に従って、元の画像内の人間の顔を決定するように構成されている。

上記の実施形態における装置に関連して、内部の個々のモジュールが行う操作に関する特定の方法を、顔認識方法に関する実施形態において詳細に記載してきた。顔認識方法は、本明細書で詳述されない。本開示の代替的な実施形態は、上記の代替的な技術的解決法を任意のやり方で組み合わせることにより形成することができ、それらは本明細書では詳述されない。

図１２は、説明的な実施形態による端末１２００のブロック図であり、この端末は、図１又は２に対応する実施形態にて提供された顔認識方法を実行するように構成されている。例えば、端末１２００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲーム機、タブレット、医療デバイス、運動器具、携帯情報端末等であってもよい。

図１２を参照すると、端末１２００は、以下の構成要素の１つ以上を含んでもよい：処理構成要素１２０２、メモリ１２０４、電力構成要素１２０６、マルチメディア構成要素１２０８、オーディオ構成要素１２１０、入力／出力（Ｉ／Ｏ）インターフェース１２１２、センサ構成要素１２１４及び通信構成要素１２１６。

処理構成要素１２０２は、一般に、ディスプレー、電話の呼び出し、データ通信に関連した動作、カメラ動作及び記録動作等、端末１２００の全般的な動作を制御する。処理構成要素１２０２は、１つ以上のプロセッサ１２２０を含んで、上述した方法におけるステップの全部又は一部を行う命令を実行し得る。更に、処理構成要素１２０２は、処理構成要素１２０２と他の構成要素との間の相互作用を容易にする１つ以上のモジュールを含んでもよい。例えば、処理構成要素１２０２は、マルチメディアモジュールを含んで、マルチメディア構成要素１２０８と処理構成要素１２０２との間の相互作用を容易にしてもよい。

メモリ１２０４は、様々なタイプのデータを記憶して、端末１２００の動作を支持するように構成されている。そのようなデータの例としては、端末１２００上で動作される任意のアプリケーション又は方法に関する命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ映像等が挙げられる。メモリ１２０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気又は光ディスク等の任意のタイプの揮発性又は不揮発性メモリデバイス、又はそれらの組み合わせを使用して実施され得る。

電力構成要素１２０６は、端末１２００の様々な構成要素に電力を提供する。電力構成要素１２０６は、電力管理システム、１つ以上の電源、並びに端末１２００内での電力の生成、管理及び分配に関連した任意の他の構成要素を含んでもよい。

マルチメディア構成要素１２０８は、端末１２００とユーザとの間の出力インターフェースを提供するスクリーンを含む。いくつかの実施形態では、スクリーンは、液晶ディスプレー（ＬＣＤ）及びタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、スクリーンはタッチスクリーンとして実施されて、ユーザからの入力信号を受信し得る。タッチパネルは１つ以上のタッチセンサを含んで、タッチパネル上のタッチ、スワイプ及び身振りを感知する。タッチセンサは、タッチ又はスワイプ動作の境界を感知するだけでなく、タッチ又はスワイプ活動に関連した期間及び圧力も感知し得る。いくつかの実施形態では、マルチメディア構成要素１２０８は、フロントカメラ及び／又はリアカメラを含む。フロントカメラ及びリアカメラは、端末１２００が撮影モード又はビデオモード等の動作モードにある間、外部マルチメディアデータを受信し得る。フロントカメラ及びリアカメラの各々は、固定光学レンズシステムであり、又は焦点調節及び光学ズーム能力を有してもよい。

オーディオ構成要素１２１０は、オーディオ信号を出力及び／又は入力するように構成されている。例えば、オーディオ構成要素１２１０は、端末１２００が呼び出しモード、記録モード及び音声認識モード等の動作モードにある際、外部オーディオ信号を受信するように構成されたマイクロホン（「ＭＩＣ」）を含む。受信されたオーディオ信号は、更に、メモリ１２０４内に記憶され、又は通信構成要素１２１６を介して伝送されてもよい。いくつかの実施形態では、オーディオ構成要素１２１０は、オーディオ信号を出力するスピーカを更に含む。

Ｉ／Ｏインターフェース１２１２は、処理構成要素１２０２と、キーボード、クリックホイール、ボタン等の周辺インターフェースモジュールとの間のインターフェースを提供する。ボタンは、ホームボタン、ボリュームボタン、スタートボタン及びロックボタンを含み得るが、これらに限定されるものではない。

センサ構成要素１２１４は、１つ以上のセンサを含んで、端末１２００の様々な局面の状態評価を提供する。例えば、センサ構成要素１２１４は、端末１２００の開／閉状態、構成要素、例えば端末１２００のディスプレー及びキーパッドの相対的な位置付け、端末１２００又は端末１２００の構成要素の位置の変化、ユーザと端末１２００との接触の有無、端末１２００の配向又は加速／減速、並びに端末１２００の温度の変化を検出してもよい。センサ構成要素１２１４は、いずれの物理的接触も有することなく近隣の物体の存在を検出するように構成された近接センサを含んでもよい。センサ構成要素１２１４は、画像化用途での使用のための、ＣＭＯＳ又はＣＣＤ画像センサ等の光学センサも含み得る。いくつかの実施形態では、センサ構成要素１２１４は、加速度計センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ又は温度センサも含み得る。

通信構成要素１２１６は、端末１２００と他のデバイスとの間の有線又は無線での通信を容易にするように構成されている。端末１２００は、ＷｉＦｉ、２Ｇ、又は３Ｇ、又はこれらの組み合わせ等の通信標準に基づいた無線ネットワークにアクセスすることができる。例示的な一実施形態では、通信構成要素１２１６は、放送チャネルを介して、放送信号、又は放送に関連した情報を外部放送管理システムから受信する。例示的な一実施形態では、通信構成要素１２１６は、近距離無線通信（ＮＦＣ）モジュールを更に含んで、狭域通信を容易にする。例えば、ＮＦＣモジュールは、無線自動識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）技術、及び他の技術に基づいて実施されてもよい。

例示的な実施形態では、端末１２００は、１つ以上の特定用途向け集積回路（ＡＳＩＣｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、デジタル信号処理デバイス（ＤＳＰＤｓ）、プログラマブルロジックデバイス（ＰＬＤｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子構成要素を用いて実施されて、図１及び図２に対応する実施形態によって提供される顔認識方法を行ってもよい。

説明的な実施形態では、命令を含むメモリ１２０４等の非一時的コンピュータ読み取り可能記憶媒体も提供され、該命令は、端末１２００内のプロセッサ１２２０によって実行されて、上述した方法を行ってもよい。例えば、非一時的コンピュータ読み取り可能記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光学データ記憶デバイス等であってもよい。

本明細書の熟考と、本明細書に開示した本発明の実践とから、本発明の他の実施形態が当業者に明らかとなるであろう。本願は、本発明の一般的原理に従った本発明の任意の改変、使用又は適用を包含し、当技術分野における既知の又は習慣的な実践に近い本開示からの逸脱を含むものとする。明細書及び実施例は、例示のみとして見なされ、本発明の正確な趣旨及び範囲は、以下の特許請求の範囲に示されるものとする。

本発明は、上述し、付随する図面に示した通りの構造に限定されるものではなく、本発明の範囲から逸脱することなく様々な修正及び変更を為し得ることが認められるであろう。本発明の範囲は、添付の特許請求の範囲のみによって限定されるものとする。

８０１・・・・・取得モジュール
８０２・・・・・付加モジュール
８０３・・・・・認識モジュール
８０４・・・・・決定モジュール
８０２１・・・・第１の取得ユニット
８０２２・・・・第１の決定ユニット
８０２３・・・・付加ユニット
８０３１・・・・第２の取得ユニット
８０３２・・・・判断ユニット
８０４１・・・・第２の決定ユニット
８０４２・・・・第３の決定ユニット
１２００・・・・端末
１２０２・・・・処理構成要素
１２０４・・・・メモリ
１２２０・・・・プロセッサ

Claims (12)

1. 元の画像を取得することと、
   前記元の画像の縁領域に特定数値ピクセルを付加して、付加された全ピクセルは、同一のピクセル値を有し、処理されるべき画像を取得することと、
   前記処理されるべき画像上で顔認識を行うことと、
   前記顔認識の結果に従って、前記元の画像内の人間の顔を決定することと、
   を含み、
   前記元の画像の前記縁領域に前記特定数値ピクセルを付加することは、
   前記元の画像の前記縁領域内の各ピクセルのピクセル値を取得することと、
   前記縁領域内の各ピクセルの前記ピクセル値と、顔色ピクセルに関する事前設定ピクセル値とに従って、前記顔色ピクセルを有する縁領域を決定することと、
   前記顔色ピクセルを有する前記縁領域のみに前記特定数値ピクセルを付加することと、
   を含む、顔認識方法。
2. 前記処理されるべき画像上で前記顔認識を行うことは、
   前記処理されるべき画像の複数のサブ画像を取得することと、
   事前に訓練されたアダプティブブースト顔分類器を使用して、各サブ画像が人間の顔のサブ画像であるか否かを判断することと、
   を含む、請求項１に記載の顔認識方法。
3. 前記処理されるべき画像の前記複数のサブ画像を取得することは、
   スライディングウィンドウを使用して、前記処理されるべき画像を複数回トラバースし、各トラバースの、全位置におけるスライディングウィンドウによりカバーされる画像領域を、前記処理されるべき画像の１つのサブ画像として画定することであって、任意の２つのトラバースにおいて使用される前記スライディングウィンドウは、異なるサイズのものであること、又は
   前記処理されるべき画像を複数回拡大又は縮小して、複数の処理されるべき画像を異なるサイズで取得し、１つのサイズの処理されるべき画像を、特定のサイズの複数の画像領域へとトリミングし、前記特定のサイズの各画像領域をサブ画像として画定すること、
   を含む、請求項２に記載の顔認識方法。
4. 前記事前に訓練されたアダプティブブースト顔分類器が、多段分類器のカスケードとして形成されており、
   前記事前に訓練されたアダプティブブースト顔分類器を使用して、各サブ画像が前記人間の顔のサブ画像であるか否かを判断することは、
   前記事前に訓練されたアダプティブブースト顔分類器において、分類器の第１の段階から開始して分類器の最終段階まで、段階的方法によって、前記サブ画像が前記人間の顔のサブ画像であるか否かを段階において判断することと、
   分類器の全段階から出力された結果の各々が、前記サブ画像が前記人間の顔のサブ画像であることを示す場合、前記サブ画像が前記人間の顔のサブ画像であることを決定することと、
   を含む、請求項２又は請求項３に記載の顔認識方法。
5. 前記顔認識の結果に従って、前記元の画像内の前記人間の顔を決定することは、
   前記人間の顔のサブ画像であるサブ画像が、前記処理されるべき画像の前記複数のサブ画像内に存在する場合、前記人間の顔のサブ画像である前記サブ画像の、前記元の画像内での位置を決定することと、
   前記人間の顔のサブ画像である前記サブ画像の、前記元の画像内での前記位置に従って、前記元の画像内の前記人間の顔を決定することと、
   を含む、請求項１〜４のいずれか一項に記載の顔認識方法。
6. 元の画像を取得するように構成された取得モジュールと、
   前記取得モジュールにより取得された前記元の画像の縁領域に特定数値ピクセルを付加して、付加された全ピクセルは、同一のピクセル値を有し、処理されるべき画像を取得するように構成された付加モジュールと、
   前記付加モジュールにより取得された前記処理されるべき画像上で、顔認識を行うように構成された認識モジュールと、
   前記認識モジュールからの前記顔認識の結果に従って、前記元の画像内の人間の顔を決定するように構成された決定モジュールと、
   を備え、
   前記付加モジュールは、
   前記元の画像の前記縁領域内の各ピクセルのピクセル値を取得するように構成された第１の取得ユニットと、
   前記第１の取得ユニットによって取得された前記縁領域内の各ピクセルの前記ピクセル値と、顔色ピクセルに関する事前設定ピクセル値とに従って、前記顔色ピクセルを有する縁領域を決定するように構成された第１の決定ユニットと、
   前記第１の決定ユニットによって決定された前記顔色ピクセルを有する前記縁領域のみに、前記特定数値ピクセルを付加するように構成された付加ユニットと、を備える、
   顔認識装置。
7. 前記認識モジュールは、
   前記処理されるべき画像の複数のサブ画像を取得するように構成された第２の取得ユニットと、
   事前に訓練されたアダプティブブースト顔分類器を使用して、前記第２の取得ユニットによって取得された各サブ画像が人間の顔のサブ画像であるか否かを判断するように構成された判断ユニットと、を備える、
   請求項６に記載の顔認識装置。
8. 前記第２の取得ユニットは、
   スライディングウィンドウを使用して、前記処理されるべき画像を複数回トラバースし、各トラバースの、全位置における前記スライディングウィンドウによりカバーされる画像領域を、前記処理されるべき画像の１つのサブ画像として画定し、ここで任意の２つのトラバースにおいて使用される前記スライディングウィンドウは、異なるサイズのものである、又は
   前記処理されるべき画像を複数回拡大又は縮小して、複数の処理されるべき画像を異なるサイズで取得し、１つのサイズの処理されるべき画像を、特定のサイズの複数の画像領域へとトリミングし、前記特定のサイズの各画像領域をサブ画像として画定する、ように構成されている、
   請求項７に記載の顔認識装置。
9. 前記事前に訓練されたアダプティブブースト顔分類器が、多段分類器のカスケードとして形成されており、
   前記判断ユニットは、
   前記事前に訓練されたアダプティブブースト顔分類器において、分類器の第１の段階から開始して分類器の最終段階まで、段階的方法によって、前記サブ画像が前記人間の顔のサブ画像であるか否かを段階において判断し、
   分類器の全段階から出力された結果の各々が、前記サブ画像が前記人間の顔のサブ画像であることを示す場合、前記サブ画像が前記人間の顔のサブ画像であることを決定する、
   ように構成されている、
   請求項７又は請求項８に記載の顔認識装置。
10. 前記決定モジュールは、
    前記人間の顔のサブ画像であるサブ画像が、前記処理されるべき画像の前記複数のサブ画像内に存在する場合、前記人間の顔のサブ画像である前記サブ画像の、前記元の画像内での位置を決定するように構成された第２の決定ユニットと、
    前記人間の顔のサブ画像である前記サブ画像の、前記元の画像内での前記位置に従って、前記元の画像内の前記人間の顔を決定するように構成された第３の決定ユニットと、を備える、
    請求項６〜９のいずれか一項に記載の顔認識装置。
11. コンピュータ上で動作された際に、デバイスを制御するための請求項１〜５のいずれか一項に記載の方法を前記コンピュータに実行させるコンピュータプログラム。
12. コンピュータ読み取り可能な記憶媒体であって、該記憶媒体上に記憶された請求項１１に記載のコンピュータプログラムを含む、記憶媒体。

Images