JP3970573B2 - 顔画像認識装置および方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、認識対象者を撮影して得られた顔画像に基づいて、所定の判定処理（例えば、予め登録された人物であるか否かの判定など）を行う顔画像認識装置および方法に関する。
【０００２】
【従来の技術】
最近では、認識対象者の顔画像を撮影し、各種の画像認識技術を用いて、認識対象者を識別する個人認証技術が実用化されつつある。このような顔画像を用いた個人認証は、認識対象者が特に何らかの操作（例えば、暗証番号の入力など）を行ったり、認証用のＩＣカード等を携帯するなどの煩わしさがなく、認識対象者に対する負担が少ないという利点がある。
【０００３】
【発明が解決しようとする課題】
ところで、従来の顔画像を用いた個人認証では、認識対象者の顔画像に各種の異物（例えば、眼鏡、眼帯、マスク等）が含まれている場合には、それらの異物による影響を排除しないままで認識処理を行うと認識率が低下するという問題がある。このような問題に対する従来技術として、顔画像に眼鏡が含まれている場合に、眼鏡のフレームに対応する部分を除去したり、眼鏡のレンズによる顔画像（両眼とその周囲に対応する画像）の歪みを補正することにより、眼鏡の影響を除去する手法が提案されている。
【０００４】
しかし、眼帯によって片側の眼が隠れている場合や、マスクにより口周辺が隠れている場合など、各種の異物により顔の一部分が隠れている場合には、これらの異物による影響を排除する従来技術が存在しないため、眼帯等の異物が含まれる顔画像の認識処理を行った場合には認識率が大幅に低下してしまい、有効な認識結果を得ることが難しくなるという問題があった。例えば、顔画像認識に広く用いられている固有空間法では、顔画像から輝度情報などを抽出し、これに基づいて所定の特徴ベクトルを算出することにより顔の特徴を抽出して顔画像の認識を行っているが、眼帯やマスクなどの異物が顔画像に存在する場合には、異物が存在しない本来の顔画像の場合と比較して輝度情報などが大きく変化するため、抽出される特徴ベクトルが本来のものとは大きく異なってしまい、有効な認識結果が得られないことになる。
【０００５】
本発明は、このような点に鑑みて創作されたものであり、その目的は、顔の一部分が隠れている場合にも有効な認識結果を得ることができる顔画像認識装置および方法を提供することにある。
【０００６】
【課題を解決するための手段】
上述した課題を解決するために、本発明の顔画像認識装置は、認識対象者の顔画像を撮影手段により撮影し、撮影した顔画像に含まれる異物を異物検出手段により検出しており、顔画像修正手段により、撮影手段によって撮影された顔画像から異物検出手段によって検出された異物に対応する部分を削除するとともに、この削除した部分をそれ以外の部分に基づいて修正する処理を行い、修正が行われた顔画像を用いて顔画像判定手段により所定の判定処理を行っている。認識対象者を撮影して得られた顔画像に異物（例えば、眼帯など）が含まれている場合に、この異物に対応する部分を削除し、削除した部分をそれ以外の部分に基づいて修正して所定の判定処理を行っているので、異物により顔の一部分が隠れている場合にも有効な認識結果を得ることができる。
【０００７】
また、撮影手段によって撮影された顔画像を用いて、認識対象者の顔の位置や眼の位置を検出する前処理を行う前処理手段をさらに備えておき、この前処理手段による前処理の結果を用いて、異物検出手段および顔画像修正手段のそれぞれによる処理を行うことが望ましい。顔の位置や目の位置を検出する前処理を行うことにより、認識対象者の顔が正面を向いているか否かの確認などを行い、必要に応じて補正処理を行うことができるので、異物検出手段および顔画像修正手段のそれぞれによる処理の精度を向上させることができる。
【０００８】
また、検出対象となる異物に対応する複数のテンプレート画像が格納されたテンプレート画像格納手段をさらに備えておき、上述した異物検出手段は、撮影手段によって撮影された顔画像と複数のテンプレート画像のそれぞれとを比較することにより異物の検出を行うことが望ましい。予め用意した複数のテンプレートと顔画像と比較するという比較的簡単な処理を行うことにより異物を検出しているので、処理負担を軽減することができる。
【０００９】
上述した顔画像修正手段は、異物検出手段によって検出された異物が眼帯である場合に、この眼帯によって隠れている眼の画像を、隠れていない眼の画像を反転して生成する修正処理を行うことが望ましい。一般に、人間の両眼はほぼ左右対称となっている場合が多いので、眼帯によって一方の眼が隠されている場合に、眼帯により隠されていない他方の眼の画像を反転して画像を生成することにより、顔画像を容易に修正することができる。
【００１０】
上述した顔画像修正手段は、異物検出手段によって検出された異物がマスクである場合に、予め用意された口画像を用いるとともに、この口画像の周辺の肌の色を、異物の周囲の肌の色に基づいて設定する修正処理を行うことが望ましい。一般に、認識対象者の顔画像に含まれる眼、鼻、口等の各要素において、口やその周辺は、眼などの要素に比較して個人差が少なく、判定処理の精度に影響をおよぼす度合いが低い場合が多い。したがって、口がマスクによって隠されている場合には、予め用意しておいた口画像を用いて修正を行うとともに、口画像の周辺は、異物（マスク）周辺の肌の色に基づいて修正を行うことにより、マスクを着用している認識対象者の顔画像を確実に修正することができる。
【００１１】
上述した顔画像修正手段は、撮影手段によって認識対象者を撮影した向きが正面方向からずれていたときに、撮影位置に対応する視点位置を三次元空間内で移動させる視点移動処理を行って、正面方向に対応する顔画像の生成を行うことが望ましい。これにより、認識対象者を撮影した向きが正面方向からずれていた場合にも、認識対象者の姿勢（立ち位置等）、あるいは撮影手段の撮影方向を修正して再度の撮影を行う必要がないので、判定処理に要する時間を少なくすることが可能となり、何度も撮影を行うことにより認識対象者を煩わせることもない。
【００１２】
また、本発明の顔画像認識方法は、認識対象者の顔画像を撮影するステップと、撮影された顔画像に含まれる異物を検出するステップと、顔画像から異物に対応する部分を削除し、この削除した部分をそれ以外の部分に基づいて修正するステップと、異物に対応する修正が終了した顔画像を用いて所定の判定処理を行うステップとを有している。認識対象者を撮影して得られた顔画像に異物が含まれている場合に、この異物に対応する部分を削除し、削除した部分をそれ以外の部分に基づいて修正して所定の判定処理を行っているので、異物により顔の一部分が隠れている場合にも有効な認識結果を得ることができる。
【００１３】
【発明の実施の形態】
以下、本発明を適用した一実施形態の顔画像認識装置について、図面を参照しながら説明する。
図１は、本実施形態の顔画像認識装置の構成を示す図である。図１に示す顔画像認識装置は、カメラ１０、前処理部１２、異物検出部１４、テンプレート画像ＤＢ（データベース）１６、顔画像修正部１８、標準顔画像ＤＢ２０、顔画像判定部２２、個人情報ＤＢ２４を含んで構成されている。
【００１４】
カメラ１０は、認識対象者の顔画像を撮影する。前処理部１２は、カメラ１０によって撮影された顔画像を用いて、認識対象者の顔の位置、眼の位置、鼻の位置などを検出する前処理を行う。
異物検出部１４は、テンプレート画像ＤＢ１６に格納されているテンプレート画像を用いて、カメラ１０によって撮影された顔画像に含まれる異物を検出し、異物の位置を表す座標情報を抽出する処理を行う。本実施形態では、顔画像に含まれている眼帯やマスクなどの物体を「異物」と称することとする。異物検出部１４は、顔画像に含まれる眼帯やマスクなどを異物として検出する。
【００１５】
テンプレート画像ＤＢ１６は、上述した異物としての眼帯やマスクを検出する際に用いる複数のテンプレート画像を格納している。このように、予め複数のテンプレート画像を用意しておくことにより、これらのテンプレート画像を顔画像と比較するという比較的簡単な処理を行うことによって異物を検出することができるので、処理負担を軽減することができる。
【００１６】
顔画像修正部１８は、カメラ１０によって撮影された顔画像から異物検出部１４によって検出された異物を削除し、この削除した部分をそれ以外の部分、あるいは標準顔画像ＤＢ２０に格納された標準顔画像（詳細は後述する）に基づいて修正する処理を行う。顔画像修正部１８によって行われる修正処理の詳細内容については後述する。
【００１７】
標準顔画像ＤＢ２０は、標準的な顔画像（例えば、数百〜数千人の人間の顔画像から求めた平均的な顔画像）を格納している。
顔画像判定部２２は、顔画像修正部１８によって所定の修正処理が行われた後の顔画像と個人情報ＤＢ２４に格納されている個人情報とを照合し、認識対象者が誰であるかを判定する処理を行う。個人情報ＤＢ２４は、一または複数の認識対象者に対応する個人認識用の個人情報を格納している。
【００１８】
上述したカメラ１０が撮影手段に、異物検出部１４が異物検出手段に、顔画像修正部１８および標準顔画像ＤＢ２０が顔画像修正手段に、顔画像判定部２２が顔画像判定手段に、前処理部１２が前処理手段に、テンプレート画像ＤＢ１６がテンプレート画像格納手段にそれぞれ対応している。
【００１９】
本実施形態の顔画像認識装置はこのような構成を有しており、次にその動作について説明を行う。
図２は、顔画像認識装置の動作手順を示す流れ図である。カメラ１０により、認識対象者の顔画像が撮影されると（ステップ１００）、前処理部１２は、認識対象者の顔の位置や眼の位置などを検出する所定の前処理を行う（ステップ１０１）。このように、顔の位置や目の位置を検出する前処理を行うことにより、認識対象者の顔が正面を向いているか否かの確認などを行い、必要に応じて補正処理を行うことができるので、その後に行われる異物検出部１４および顔画像修正部１８のそれぞれによる処理の精度を向上させることができる。
【００２０】
次に、異物検出部１４は、テンプレート画像ＤＢ１６に格納された眼帯およびマスクに対応するテンプレート画像を用いて、顔画像に含まれる異物を検出する処理を行い（ステップ１０２）、異物が含まれているか否かを判定する（ステップ１０３）。
【００２１】
顔画像に眼帯等の異物が含まれている場合には、ステップ１０３で肯定判断が行われ、異物検出部１４は、異物の座標情報を顔画像修正部１８に出力する。顔画像修正部１８は、異物検出部１４から受け取った座標情報を用いて顔画像から異物を削除し、この削除した部分について、異物の内容に応じて顔画像を修正する処理を行う（ステップ１０４）。
【００２２】
図３は、ステップ１０４において、異物が眼帯である場合における顔画像修正部１８の詳細な処理内容を示す流れ図である。
顔画像修正部１８は、異物（眼帯）の座標情報に基づいて、顔画像に含まれる眼帯部分の画像を削除する（ステップ２００）。
【００２３】
次に顔画像修正部１８は、眼帯により隠れていない側の眼の画像を抽出する（ステップ２０１）。具体的には、眼帯により右眼が隠れている場合には左眼の画像が抽出され、眼帯により左眼が隠れている場合には右眼の画像が抽出される。
次に顔画像修正部１８は、ステップ２０１において抽出した眼の画像を左右反転する処理を行う（ステップ２０２）。その後、顔画像修正部１８は、左右反転して得られた眼の画像と、元の顔画像（眼帯部分が削除された顔画像）とを合成する（ステップ２０３）。
【００２４】
これにより、例えば、右眼が眼帯に隠されていた場合であれば、左眼の画像を反転して得られた眼画像が眼帯を削除した部分に埋め込まれ、顔画像が修正されることになる。一般に、人間の両眼はほぼ左右対称となっている場合が多いので、眼帯によって一方の眼が隠されている場合に、眼帯により隠されていない他方の眼の画像を反転して画像を生成することにより、顔画像を容易に修正することができる。
【００２５】
図４は、ステップ１０４において、異物がマスクである場合における顔画像修正部１８の詳細な処理内容を示す流れ図である。
顔画像修正部１８は、異物（マスク）の座標情報に基づいて、顔画像に含まれるマスク部分の画像を削除する（ステップ３００）。
【００２６】
次に顔画像修正部１８は、顔画像から肌の色を抽出する（ステップ３０１）。具体的には、顔画像修正部１８は、顔画像において、髪、眼、眉などの部分を除いた部分における色の平均値を求めることにより、肌の色を抽出する。
次に顔画像修正部１８は、標準顔画像ＤＢ２０に格納されている標準顔画像の中から口部分の画像（以後、この画像を「標準口画像」と称する）を抽出する（ステップ３０２）。
【００２７】
次に顔画像修正部１８は、ステップ３０１において抽出した肌の色を用いて、標準口画像の肌の色、具体的には唇以外の部分の肌の色を補正する処理を行う（ステップ３０３）。その後、顔画像修正部１８は、補正後の標準口画像と、元の顔画像（マスク部分が削除された顔画像）とを合成する（ステップ３０４）。
【００２８】
これにより、肌の色に関する補正がなされた後の標準口画像がマスクを削除した部分に埋め込まれ、顔画像が修正されることになる。一般に、認識対象者の顔画像に含まれる眼、鼻、口等の各要素において、口やその周辺は、眼などの要素に比較して個人差が少なく、判定処理の精度に影響をおよぼす度合いが低い場合が多い。したがって、口がマスクによって隠されている場合には、予め用意しておいた口画像（標準口画像）を用いて修正を行うとともに、口画像の周辺は、マスク周辺の肌の色に基づいて修正を行うことにより、マスクを着用している認識対象者の顔画像を確実に修正することができる。
【００２９】
上述した方法により、異物の内容に応じて顔画像が修正されると、修正後の顔画像が前処理部１２に送られる。その後、上述したステップ１０１に戻り、前処理部１２による処理の前処理が行われるとともに、異物検出部１４による所定の異物検出処理が行われる。
【００３０】
また、顔画像に異物が含まれていない場合には、上述したステップ１０３で否定判断が行われ、顔画像修正部１８は、修正後の顔画像を顔画像判定部２２に出力する。顔画像判定部２２は、個人情報ＤＢ２４に格納されている個人情報を用いて、認識対象者が誰であるかを判定する所定の判定処理を行い（ステップ１０５）、判定結果を出力する（ステップ１０６）。
【００３１】
このように、本実施形態の顔画像認識装置は、認識対象者を撮影して得られた顔画像に異物（眼帯やマスク）が含まれている場合に、この異物に対応する部分を削除し、削除した部分を修正して所定の判定処理を行っているので、異物により顔の一部分が隠れている場合にも有効な認識結果を得ることができる。
【００３２】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態において、前処理の結果、カメラ１０によって認識対象者を撮影した際の向きが正面方向からずれていることが分かった場合には、撮影位置に対応する視点位置を三次元空間内で移動させる視点移動処理を行って、正面方向に対応する顔画像を生成するようにしてもよい。
【００３３】
図５は、視点移動処理を行って、正面方向に対応する顔画像を生成する場合の処理内容を概略的に示す図である。
図５（Ａ）は、撮影時の向きが正面方向から左右方向にずれていた場合における処理内容を示す図であり、認識対象者の頭部を上から見た様子が模式的に示されている。図５（Ａ）において、撮影位置Ｐ１に示すように、撮影時の向きが認識対象者に対して左側にずれている場合には、顔画像修正部１８は、撮影された顔画像に対して、撮影位置Ｐ１に対応する視点位置を正面方向に対応する撮影位置Ｐ０へ三次元空間内で移動させる視点移動処理を行うことにより、正面方向に対応する顔画像を生成する。同様に、撮影位置Ｐ２に示すように、撮影時の向きが認識対象者に対して右側にずれている場合には、顔画像修正部１８は、撮影位置Ｐ２に対応する視点位置を撮影位置Ｐ０へ三次元空間内で移動させる視点移動処理を行うことにより、正面方向に対応する顔画像を生成する。また、撮影時における正面方向から左右いずれかへのずれが大きく、顔画像に一方の眼しか含まれていない場合などにおいては、視点移動処理を行った後に、元々撮影されていた側の顔画像を左右反転することにより、撮影されていない側の顔画像を生成し、これらを合成することにより顔画像を生成すればよい。
【００３４】
図５（Ｂ）は、撮影時の向きが正面方向から上下方向にずれていた場合における処理内容を示す図であり、認識対象者の頭部を左から見た様子が模式的に示されている。図５（Ｂ）において、撮影位置Ｐ４に示すように、撮影時の向きが認識対象者に対して上側にずれている場合には、顔画像修正部１８は、撮影された顔画像に対して、撮影位置Ｐ４に対応する視点位置を正面方向に対応する撮影位置Ｐ３へ三次元空間内で移動させる視点移動処理を行うことにより、正面方向に対応する顔画像を生成する。同様に、撮影位置Ｐ５に示すように、撮影時の向きが認識対象者に対して下側にずれている場合には、顔画像修正部１８は、撮影位置Ｐ５に対応する視点位置を撮影位置Ｐ３へ三次元空間内で移動させる視点移動処理を行うことにより、正面方向に対応する顔画像を生成する。
【００３５】
このように、視点移動処理を行って、正面方向に対応する顔画像を生成する処理を行うことにより、認識対象者を撮影した際の向きが正面方向からずれていた場合にも、認識対象者の姿勢（立ち位置等）、あるいはカメラ１０の撮影方向を修正して再度の撮影を行う必要がないので、判定処理に要する時間を少なくすることが可能となり、何度も撮影を行うことにより認識対象者を煩わせることもない。なお、撮影時の向きが左右方向、上下方向のいずれにもずれている場合には、上述した図５（Ａ）および図５（Ｂ）において説明した手法を組み合わせて、正面方向に対応する顔画像を生成すればよい。
【００３６】
また、上述した実施形態では、顔画像に異物としてのマスクが含まれている場合に、標準顔画像から口周辺に対応する部分（標準口画像）を抽出し、これを用いて顔画像の修正を行っていたが、マスクによって鼻の一部も隠れている場合には、標準口画像を用いた修正処理と同様にして、鼻の一部（隠れている部分）に対応する部分を標準顔画像から抽出し、顔画像の修正を行うようにしてもよい。
【００３７】
また、上述した実施形態では、顔画像に含まれる異物の具体例として、眼帯およびマスクを想定して説明を行っていたが、異物の内容はこれらに限定されるものではない。
【００３８】
【発明の効果】
上述したように、本発明によれば、認識対象者を撮影して得られた顔画像に異物が含まれている場合に、この異物に対応する部分が削除され、削除された部分がそれ以外の部分に基づいて修正された後に所定の判定処理が行われるので、異物により顔の一部分が隠れている場合にも有効な認識結果を得ることができる。
【図面の簡単な説明】
【図１】一実施形態の顔画像認識装置の構成を示す図である。
【図２】顔画像認識装置の動作手順を示す流れ図である。
【図３】異物が眼帯である場合における顔画像修正部の詳細な処理内容を示す流れ図である。
【図４】異物がマスクである場合における顔画像修正部の詳細な処理内容を示す流れ図である。
【図５】視点移動処理を行って、正面方向に対応する顔画像を生成する場合の処理内容を概略的に示す図である。
【符号の説明】
１０ カメラ
１２ 前処理部
１４ 異物検出部
１６ テンプレート画像ＤＢ（データベース）
１８ 顔画像修正部
２０ 標準顔画像ＤＢ
２２ 顔画像判定部
２４ 個人情報ＤＢ

Claims (4)

1. 認識対象者の顔画像を撮影する撮影手段と、
   前記撮影手段によって撮影した顔画像に含まれる異物を検出する異物検出手段と、
   前記撮影手段によって撮影された顔画像に対して、前記異物検出手段によって検出された異物が眼帯である場合に、この眼帯によって隠れている眼の画像を、隠れていない眼の画像を反転して生成する修正処理を行う顔画像修正手段と、
   前記顔画像修正手段によって修正が行われた顔画像を用いて所定の判定処理を行う顔画像判定手段と、
   を備えることを特徴とする顔画像認識装置。
2. 認識対象者の顔画像を撮影する撮影手段と、
   前記撮影手段によって撮影した顔画像に含まれる異物を検出する異物検出手段と、
   前記撮影手段によって撮影された顔画像に対して、前記異物検出手段によって検出された異物がマスクである場合に、予め用意された口画像を用いるとともに、この口画像の周辺の肌の色を、前記異物の周囲の肌の色に基づいて設定する修正処理を行う顔画像修正手段と、
   前記顔画像修正手段によって修正が行われた顔画像を用いて所定の判定処理を行う顔画像判定手段と、
   を備えることを特徴とする顔画像認識装置。
3. 認識対象者の顔画像を撮影するステップと、
   撮影された前記顔画像に含まれる異物を検出するステップと、
   前記撮影された前記顔画像に対して、前記異物が眼帯である場合に、この眼帯によって隠れている眼の画像を、隠れていない眼の画像を反転して生成する修正処理を行うステップと、
   前記異物に対応する修正が終了した顔画像を用いて所定の判定処理を行うステップと、
   を有することを特徴とする顔画像認識方法。
4. 認識対象者の顔画像を撮影するステップと、
   撮影された前記顔画像に含まれる異物を検出するステップと、
   前記撮影された前記顔画像に対して、前記異物がマスクである場合に、予め用意された口画像を用いるとともに、この口画像の周辺の肌の色を、前記異物の周囲の肌の色に基づいて設定する修正処理を行うステップと、
   前記異物に対応する修正が終了した顔画像を用いて所定の判定処理を行うステップと、
   を有することを特徴とする顔画像認識方法。

Images