JP3985373B2

JP3985373B2 - 顔画像認識装置

Info

Publication number: JP3985373B2
Application number: JP35390098A
Authority: JP
Inventors: 恭一清水
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1998-11-26
Filing date: 1998-11-26
Publication date: 2007-10-03
Anticipated expiration: 2018-11-26
Also published as: JP2000163592A

Description

【０００１】
【発明の属する技術分野】
本発明は、顔画像の自動認識による人物データベース検索、セキュリティ維持の分野で認識率の向上に寄与する顔画像認識装置に関する。
【０００２】
【従来の技術】
従来より、顔画像の自動認識方法においては、判定すべき人物の正面顔の実画像またはその直交変換画像、あるいはそれらから抽出された諸特徴点のリストをリファレンスとして持ち、未知画像から得られる対応項目との照合を行って、差異の少ないものが得られると、当該未知画像は、リファレンス者のものという判定を行っていた。
【０００３】
これらのうち、画像自体あるいはその直交変換像などの照合を行う場合、未知画像とリファレンス画像との幾何学的差異が判定時のノイズとなる。したがって、両顔画像の照明方向、輝度分布、相対的位置、大きさ及び傾きの差を吸収してから照合しなければならない。
【０００４】
このため、上述した両顔画像の相対的位置、大きさ及び傾きについては、顔画像内の目、口など、まず概要位置から把握しやすい特徴点を抽出し、未知画像のそれとリファレンスのそれを一致させるよう、画像変形を行ってから照合する必要がある。
【０００５】
従来の傾き補正方法について述べる。
図１はテレビカメラまたは電子カメラなどの画像入力装置から得られたフレームメモリ上の正面顔画像を示すものである。ここで、肌色領域抽出などを行って、顔画像の切り出しを行った後、その重心位置から顔画像の中心近傍を求める。顔画像の中心から上部左右にある黒い領域を探索し、目と眉を分離し、かつ目の中心位置（同図Ｘ，Ｙ）を抽出する。この作業は、公知の方法によって行うことができる。
【０００６】
次に、抽出された目の位置ＸとＹの結合線Ｅと、フレームメモリの水平走査方向Ｈとの角度αを計測し、これをゼロとするように画像を回転させていくことで、傾きを補正する。この場合、新たに口の位置（同図Ｚ）を求め、これが、目の位置ＸとＹの中点から、画像の垂直走査方向Ｖの延長上にくるように回転中心位置を定める場合もある。
【０００７】
【発明が解決しようとする課題】
ところで、正面顔画像を採取する場合、カメラなどの画像採取装置に対して、正対するよう被験者を促すことにより、顔の水平、垂直角のばらつきについては比較的少ない画像が得られ、また、このばらつきが顔画像判定に影響する度合いは少ない。しかし、顔の傾きについては、眉、目、口など顔画面内全要部のずれをもたらし、判定に影響するところが大である。したがって、従来の方法でも補正し得ない誤差の解消が重要である。
【０００８】
図１において、目の位置ＸとＹは、眼球の光反射具合、睫毛からの陰影の影響で、必ずしも瞳孔の中心を示しているわけではない。上述した従来の方法では、この位置を基準にして傾き補正を行うため、誤差の発生が免れない。
【０００９】
本発明は、上述した点に鑑みてなされたもので、顔の線対称性に着眼し、実像と鏡像の照合から目、口など要部の位置を一層正確に抽出できる顔画像認識装置を提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る顔画像認識装置は、リファレンス顔画像と未知顔画像との照合の際、顔の同一代表位置で両顔画像が一致するように代表位置を修正して顔画像を認識する顔画像認識装置において、
両眼の代表位置を示す２点の中点を通る垂直走査線を軸として、当該軸に関し実顔画像を線対称に回転させて鏡像を得る手段と、
両眼の代表位置を連結する連結線と前記中点を通る水平走査線との角度をパラメータとして実像の両眼像と鏡像の両眼像との照合に基づいて最小の一致度を得る最適角度を求める手段と、
前記代表位置を修正する手段とを、
有することを特徴とするものである。なお、本発明でいう「一致度」というパラメータは、値が小さいほど一致する性質を有するものとする。
【００１１】
また、前記中点を通る水平走査線方向への移動量をパラメータとして実像の両眼像と鏡像の両眼像との照合に基づいて最小の一致度を得る最適水平移動位置を求め、前記代表位置を修正することを特徴とするものである。
【００１２】
さらに、口の代表位置と前記中点とを連結する連結線と前記垂直走査線との角度をパラメータとして実像の口画像と鏡像の口画像との照合に基づいて最小の一致度を得る第２の最適角度を求め、前記代表位置を修正することを特徴とするものである。
【００１３】
【発明の実施の形態】
まず、本発明では、未知顔画像とリファレンス顔画像との幾何学的な差異を解消するために、両顔画像の傾きに関し、両眼の特徴点の連結線を、テレビカメラの水平走査方向と角度比較するなどして修正していた傾き補正方法を精密化し、顔画像の対称性を用いて、より高精度な補正を可能とするものである。
【００１４】
正面顔画像の傾き（面内回転）を抽出する一つの方法は、左右両眼の連結線を描き、この方向と、撮像側の水平走査線方向、あるいはフレームメモリの水平画素列方向を比較することにより、導かれるものである。しかし、両眼の位置を知るための特徴点検出で、各瞳孔を正確に抽出できず、誤差を含んだ点同士を結んだものとなった場合は、誤った傾きとなり、さらにこれを修正する手段がない。
【００１５】
しかし、人間の顔は、おおむね鼻の線を中心とした線対称の構造を持っているため、この両眼位置座標がもし瞳孔位置にあれば、かなりの精度で鏡像との照合一致度がよくなる。
【００１６】
この性質を用いて、両眼連結線の中点で、垂直走査線に関して鏡像を作り、これらを照合しながら傾き角と位置調整を行って照合値を検討すれば、最適照合の角度と位置を再抽出することができ、これにより、従来補正できなかった両眼連結線の傾きを再補正できるようになり、顔画像全体の認識精度が向上することとなる。
【００１７】
また、口の形もおおむね左右対称であるため、前記の鏡像画像との照合による抽出精度の向上がもたらされる。
顔画像の実認識判定に際しては、リファレンス顔画像に対しても、前記修正を適用しておき、また、未知顔画像に対しても、同様の修正を適用する。
そして、これらが有する両眼および口の特徴点位置を両画像で一致させるように、アフィン変換など公知の方法により画像全体を変形させてから、全体的照合を行って人物判定を行うことができる。
【００１８】
次に、本発明に係る具体的な顔画像認識方法について説明する。
今、図１において、点Ｘ，Ｙは、抽出された目の代表位置である。この両点の中点をＯとする。また、点Ｚは、抽出された口の代表位置である。点Ｘと点Ｙの連結線をＥとし、それと点Ｏを通る水平走査線Ｈとの角度をαとする。さらに、点Ｏと点Ｚの連結線をＮとし、それと点Ｏを通る垂直走査線Ｖとの角度をβとする。
【００１９】
図１の顔画像は、目を基準とすると、角度αだけ傾いているように見えるが、実際は、点Ｘ，Ｙが目の瞳孔位置を示していないため、図１ではさらに大きな傾きを持っていると言える。
【００２０】
ここで、図１の顔画像を垂直走査線Ｖに関して線対称に回転し、式（１）に従って鏡像を得るものとする。これにより得られる画像が図２の点線である。新たに得られた鏡像の記号は、すべて「’」が付記される。実画像が垂直走査線Ｖに関して非対称であるため、眉、目、鼻、口などの要部は二重像となる。
【００２１】
Ｐij＝Ｐ（２ｍ−１）ｊ・・・（１）
なお、Ｐ：色を含む実画像の画素値
ｉ：水平走査線Ｈ方向、左からｉ番目を意味する添字
ｊ：垂直走査線Ｖ方向、上からｊ番目を意味する添字
ｍ：垂直走査線Ｖ方向に走る鏡像対称線の水平走査線Ｈ方向アドレス
【００２２】
次に、点Ｘの近傍（設定領域）の画像と、点Ｙ’の近傍の画像を、また、点Ｙと点Ｘ’の近傍の画像を、角度αを減少させる方向で式（２）に従って回転し、式（３）に従って同時に照合していく。これにより、人間の顔の対称性から最適照合位置を得る最適角度αｅが得られる。
【００２３】
Ｐij＝Ｐkl ・・・（２）
なお、ｋ：Ｈｃ＋Ｒｃｏｓγ
ｌ：Ｖｃ＋Ｒｓｉｎγ
γ：Φ＋Θ
Ｒ：√｛（ｉ−Ｈｃ）²＋（ｊ−Ｖｃ）²｝
Φ：ｔａｎ^-1｛（ｊ−Ｖｃ）／（ｉ−Ｈｃ）｝
Θ：変数
Ｖｃ：回転中心Ｖ座標
Ｈｃ：回転中心Ｈ座標
【００２４】
Ｆ＝Σ｜Ｐij−Ｑij｜・・・（３）
なお、Ｆ：一致度
Ｑ：色を含む鏡像の画素値
【００２５】
次に、点Ｙ’を点Ｘに対して、水平走査線Ｈ方向への移動量をパラメータとして、式（４）に従い、再照合を図る。
Ｆ＝Σ｜Ｐij−Ｑ（２ｍ−ｃ−ｉ）ｊ｜・・・（４）
なお、ｃ：点Ｘ，Ｙ間の距離の垂直走査線Ｈ成分
【００２６】
図３は、図１と図２の点、線を抽出したものである。同図で、点ＸとＹの距離及び点Ｘ’、Ｙ’の距離は等しく、かつ同一顔画像につき一定である。その水平走査線Ｈ成分をｃとする。これは、線分ＸＯの水平走査線Ｈ成分をａ、線分ＯＹの垂直走査線Ｈ成分をｂとすると、ｃ＝ａ＋ｂとなる。
【００２７】
つまり、ａとｂの値はシーソーの関係にあり、点Ｙ’の近傍画像を点Ｙ’も含めて全体的に左に移動させて照合する相手は、点Ｘの近傍画像の等量右に寄ったものとなる。点Ｘ’の近傍画像と、点Ｙの近傍画像との関係も同様である。
これにより、水平移動照合による一致度が最も高い最適パラメータａｅが得られる。
【００２８】
以上の操作で、点ＸとＹ’および点Ｘ’とＹは、近傍に位置することになるが、一致しているとは限らない。そこで、各組の平均位置をＸｎとＹｎとして、修正顔画像と共にこれに付加する。
【００２９】
次に、目の検討から得られた前記最適角度αｅ、最適水平移動パラメータａｅにより口を含めて変形された実画像と鏡像における口の位置を独立に修正する。図２において、線分Ｎの垂直走査線Ｖに対する角度はβであるが、前記修正を施した後の角度はβではない。そこで、新Ｚ近傍の画像と新Ｚ’近傍の画像を、角ＺＯＺ’が小となる方向で、式（２）、（３）に従って照合してみる。ここで得られた最適照合時の角度をβｅとする。この時にＺとＺ’の平均位置Ｚｎを再定義する。
【００３０】
これにより、点Ｚ近傍の口の画像は、点Ｘ，Ｙ近傍の目の画像の修正と独立に実施されるため、画像全体としては、ずれを生じる。したがって、この中間領域画像に、両修正値の差を分散する必要がある。この修正は、口の水平方向の修正値となって現れるため、点Ｚｎから点Ｏにかけて、式（５）に従って垂直走査線Ｖ方向に比例的に修正値を減少させていく作業を行うことにより、前記の目と口の独立修正を、顔画像内で集中したずれを生ずることなく反映させることができる。
実応用の際は、前記Ｘ，Ｙ，Ｚの修正を、リファレンス顔画像に対して施し、また、照合時の未知顔画像に対しても同様に適用する。
【００３１】
Ｄj＝（ｊ−ｋ）Ｄｌ／（ｌ−ｋ）・・・（５）
なお、Ｄ：水平ずれ量
ｊ：垂直走査線Ｖ方向添字（ただしｋ≦ｊ≦１）
ｋ：点Ｏの垂直走査線Ｖ方向座標
ｌ：点Ｚｎの垂直走査線Ｖ方向座標
【００３２】
図４と図５に上述した本発明の実施の形態に係る顔画像認識方法を説明するためのフローチャートを示す。
まず、図１に示す両眼の各代表位置Ｘ，Ｙを抽出し（ステップＳ１）、それらの連結線Ｅと、水平走査線Ｈとの角度をαとする線分ＸＹの長さの垂直走査線Ｈ方向成分をｃとする（ステップＳ２，図３参照）。
【００３３】
同様に、図１における口の代表位置Ｚを抽出し（ステップＳ３）、両眼の代表位置ＸとＹの中点Ｏを通り、垂直走査線と平行な直線をＶとし、それを軸として実顔画像を線対称に回転させて顔画像の鏡像を得る（ステップＳ４）。
【００３４】
次に、繰り返しループ回数ｎを１に設定するとともに、両眼の代表位置Ｘ，Ｙを連結する連結線Ｅと中点Ｏを通る水平走査線Ｈとの角度αをα１に設定し（ステップＳ５）、実像の両眼近傍画像と鏡像の同画像を照合し、一致度Ｆを得る（ステップＳ６）。
【００３５】
その一致度ＦをＦ（ｎ）に代入し（ステップＳ７）、ｎを逐次増加させるとともに、角度αを逐次減少させることで（ステップＳ８）、角度αが所定角度α２に達したか否かを判断し、所定角度α２に達していなければ、ステップＳ６〜Ｓ９を繰り返し、所定角度α２に達すれば、後続のステップＳ１０に移行する。ステップＳ１０では、上述した過程で得られる最小の一致度Ｆ（ｎ）時の角度αを最適角度αｅとする。
このようにして、両眼の代表位置２カ所（Ｘ，Ｙ）の中点を中心に、Ｘ，Ｙ近傍の画像を回転させて、その鏡像との一致をとることで、両眼の代表位置を修正する。
【００３６】
次に、上記ステップＳ５と同様に、ステップＳ１１において、繰り返しループ回数ｎを１に設定するとともに、線分ＸＯの水平走査線Ｈ成分ａ（図３参照）をａ１に設定する。そして、α＝αｅにおける実像の両眼近傍画像と鏡像の同画像を照合し、一致度Ｆを得る（ステップＳ１２）。
【００３７】
その一致度ＦをＦ（ｎ）に代入し（ステップＳ１３）、ｎを逐次増加させるとともに、線分ＸＯの水平走査線Ｈ成分ａを逐次減少させることで（ステップＳ１４）、水平走査線Ｈ成分ａが所定値ａ２に達したか否かを判断し、所定値ａ２に達していなければ、ステップＳ１２〜Ｓ１５を繰り返し、所定値ａ２に達すれば、後続のステップＳ１６（図５）に移行する。ステップＳ１６では、上述した過程で得られる最小の一致度Ｆ（ｎ）時の水平走査線Ｈ成分ａを最適パラメータａｅとする。すなわち、水平移動照合による一致度が最も高い最適パラメータａｅが得られる。
このようにして、回転角αｅを保持したまま、両眼を例えば左→右に（比較対照の鏡像は、その逆で右→左）に動かし、鏡像との一致をとることで、両眼の代表位置を修正する。
【００３８】
以上の作業により、点ＸとＹ’および点Ｘ’とＹは、近傍に位置することになるが、一致しているとは限らず、ずれた位置をとる。そこで、α＝αｅ及びａ＝ａｅにおける各組の平均位置をＸｎとＹｎとして、修正顔画像とともにこれに付加する（ステップＳ１７）。すなわち、代表位置の修正とは、点ＸとＹ’の幾何学的平均位置を出し、回転と水平移動後の原画像（鏡像ではない）の目の平均位置に新たにＸｎという修正代表位置を付記することである。同様に、もう一方の目には点Ｘ’とＹの平均位置Ｙｎを付記することになる。
【００３９】
次に、目の検討から得られた前記最適角度αｅ、最適水平移動パラメータａｅにより口を含めて変形された実画像と鏡像における口の位置を独立に修正する。まず、上記ステップＳ５及びステップＳ１１と同様に、ステップＳ１８において、繰り返しループ回数ｎを１に設定するとともに、線分Ｎの垂直走査線Ｖに対する角度β（図３参照）をβ１に設定する。そして、α＝αｅ及びａ＝ａｅにおける実像の口近傍画像と鏡像の同画像を照合し、一致度Ｆを得る（ステップＳ１９）。
【００４０】
その一致度ＦをＦ（ｎ）に代入し（ステップＳ２０）、ｎを逐次増加させるとともに、線分Ｎの垂直走査線Ｖに対する角度βを逐次減少させることで（ステップＳ２１）、角度βａが所定角度β２に達したか否かを判断し、所定角度β２に達していなければ、ステップＳ１９〜Ｓ２２を繰り返し、所定角度β２に達すれば、後続のステップＳ２３に移行する。ステップＳ２３では、上述した過程で得られる最小の一致度Ｆ（ｎ）時の垂直走査線Ｖに対する角度βを最適角度βｅとする。そして、この時にβ＝βｅにおける実像のＺと鏡像のＺ’の平均位置Ｚｎを再定義する（ステップＳ２４）。
【００４１】
これにより、点Ｚ近傍の口の画像は、点Ｘ，Ｙ近傍の目の画像の修正と独立に実施されるため、画像全体としては、ずれを生じる。
したがって、この中間領域画像に、両修正値の差を分散する必要がある。この修正は、口の水平方向の修正値となって現れるため、点Ｚｎから点Ｏにかけて、式（５）に従って垂直走査線Ｖ方向に比例的に修正値を減少させていく作業を行うことにより、前記の目と口の独立修正を、顔画像内で集中したずれを生ずることなく反映させることができる。
【００４２】
まず、α＝αｅにおける実像のＺと、α＝αｅ、β＝βｅ下で鏡像のＺから平均化されたＺｎとの水平走査線Ｈ方向の差をＤとする（ステップＳ２５）。そして、点Ｏの垂直走査線Ｖ方向座標をｋ、点ＺｎのＶ方向座標をｌとし（ステップＳ３０）、ｊをｋに設定し（ステップＳ３１）、垂直走査線Ｖ方向座標ｊの水平走査線Ｈ方向画素列を、（ｊ−ｋ）（Ｄ／（ｌ−ｋ））だけ移動させる（ステップＳ３２）。
【００４３】
次に、ｊを逐次増加させ（ステップＳ３３）、ｌに達したか否かを判断し（ステップＳ３４）、達していなければ、ステップＳ３２〜Ｓ３４を繰り返し、ｌに達すれば、修正を完了する。
このようにして、垂直走査線Ｖ方向に比例的に修正値を減少させていく作業を行うことにより、前記の目と口の独立修正を、顔画像内で集中したずれが現れないようにすることができる。
【００４４】
【発明の効果】
以上のように、本発明によれば、顔画像の傾き並びに目、口の代表点位置抽出の精度を向上させることが可能となり、正面顔画像の自動人物認識判定の高性能化を図ることができる。
【図面の簡単な説明】
【図１】本発明に係る顔画像認識装置を適用する顔画像の説明図である。
【図２】図１の顔画像を垂直走査線Ｖに関して線対称に回転して得られる鏡像の説明図である。
【図３】本発明に係る顔画像認識装置の処理説明図である。
【図４】本発明に係る顔画像認識装置の動作を説明するためのフローチャートである。
【図５】図４に続くフローチャートである。
【符号の説明】
Ｓ１〜Ｓ１０両眼の代表位置（Ｘ，Ｙ）の中点を中心にＸ，Ｙ近傍の画像を回転させてその鏡像との一致をとるステップ
Ｓ１１〜Ｓ１６両眼を水平移動させて鏡像との一致をとるステップ
Ｓ１７両眼の代表位置を修正するステップ
Ｓ１８〜Ｓ２３口の代表位置Ｚの近傍画像を上記中点を中心に回転させてその鏡像との一致をとるステップ
Ｓ２４口の代表位置を修正するステップ
Ｓ２５〜Ｓ３４目と口を独立に修正したことによる顔画像全体のずれが局所的に現れないようにする分散作業のステップ

Claims

リファレンス顔画像と未知顔画像との照合の際、顔の同一代表位置で両顔画像が一致するように代表位置を修正して顔画像を認識する顔画像認識装置において、
両眼の代表位置を示す２点の中点を通る垂直走査線を軸として、当該軸に関し実顔画像を線対称に回転させて鏡像を得る手段と、
両眼の代表位置を連結する連結線と前記中点を通る水平走査線との角度をパラメータとして実像の両眼像と鏡像の両眼像との照合に基づいて最小の一致度を得る最適角度を求める手段と、
前記代表位置を修正する手段とを、
有することを特徴とする顔画像認識装置。
請求項１記載の顔画像認識装置において、前記代表位置を修正する手段が、前記中点を通る水平走査線方向への移動量をパラメータとして実像の両眼像と鏡像の両眼像との照合に基づいて最小の一致度を得る最適水平移動位置を求めるよう構成されていることを特徴とする顔画像認識装置。
請求項１又は２記載の顔画像認識装置において、前記代表位置を修正する手段が、口の代表位置と前記中点とを連結する連結線と前記垂直走査線との角度をパラメータとして実像の口画像と鏡像の口画像との照合に基づいて最小の一致度を得る第２の最適角度を求めるよう構成されていることを特徴とする顔画像認識装置。