JP5213778B2 - 顔認識装置及び顔器官の特徴点特定方法 - Google Patents
顔認識装置及び顔器官の特徴点特定方法 Download PDFInfo
- Publication number
- JP5213778B2 JP5213778B2 JP2009076382A JP2009076382A JP5213778B2 JP 5213778 B2 JP5213778 B2 JP 5213778B2 JP 2009076382 A JP2009076382 A JP 2009076382A JP 2009076382 A JP2009076382 A JP 2009076382A JP 5213778 B2 JP5213778 B2 JP 5213778B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- face image
- search
- similarity
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
前者の装置では個人を決定付ける顔器官から特徴量を抽出するために、また後者の装置では口角が上がった等の顔の内部状態の変化を識別するために、まず瞳・鼻孔・口の端点等の顔を構成する器官の特徴点を特定する処理が行われる。
特許文献1の形状認識装置によれば、分離度フィルタにより円形領域を特徴点候補として抽出する。分離度フィルタは、図6(a)に示すように二つの円形領域から成り、下記の数1によって算出される分離度S(0.0<S≦1.0)を出力する。
したがって、抽出された候補点の中から真の特徴点を特定するためには、さらに目鼻パターンとの類似性を検証する必要がある。また、特徴点特定方法の検証精度の如何によっては、本来目では無いが、目に類似したパターンを有する眉等が、誤って目として特定される可能性もあった。更に、閉じた目を特徴点として特定できない現象が生じることがあった。
画像内から検出された顔器官に対応する複数の特徴点候補を配置する特徴点候補配置部と、
予め記憶した顔の三次元の形状モデルを使用し、二次元の特徴点候補の配置が三次元の基準点配置に一致するようにして、二次元の顔画像を三次元正規化された顔画像とする三次元正規化部と、
正規化された顔画像と、複数の顔画像から予め作成された基準顔画像との類似度を測定する類似度測定部と、
前回探索時の類似度と今回測定類似度の変化量を算出する変化量算出部と、
類似度又は/及び変化量に基づき、探索終了又は探索継続を判定する検索終了判定部と、
前記検索終了判定部における探索終了判定時の特徴点候補を探索特徴点として確定する収束判定部と、
前記検索終了判定部における探索継続判定時に、前記類似度の変化量に基づき、前記特徴点候補の配置を変化させる特徴点候補補正部と、
を具備することを特徴としている。
第1の手順として、撮像された画像から二次元の顔画像を検出する。
第2の手順として、検出した顔画像に対して、予め設定された顔器官に対応する複数の特徴点候補の座標を初期配置として貼り付ける。
第3の手順として、予め記憶した顔の三次元形状モデルを使用し、前記特徴点候補が対応する三次元形状モデルの基準点配置に一致するようにして、二次元の顔画像を三次元正規化して正規化顔画像を得る。
第4の手順として、前記正規化顔画像と複数の顔画像から予め作成された基準顔画像とを比較することで前記正規化画像が正面向き画像であるかを判断するための類似度を算出する。
第5の手順として、前記類似度により前記正規化顔画像における特徴点候補の配置が真正であるか否かを判断する。
前記第5の手順における類似度により前記正規化顔画像における特徴点候補が真正でないと判断した場合に、前記特徴点候補の配置を補正し、補正された特徴点候補に基づいて前記第3〜第5の手順を繰り返して真正の特徴点候補の探索継続処理を行うに際して、算出された類似度に対する前回探索時からの変化量を算出し、この変化量が設定された閾値(閾値T3)より小さい場合に、特徴点配置についての探索位置の移動距離を小さくして探索する。
また、複数の器官の特徴点を同時に特定するため、複数の特徴点を特定したい場合は処理効率を上げることができる。
更に、従来使用されていた分離度フィルタだけでは特定できなかった閉じた目についても、他の器官の特徴点との配置関係を考慮することで特定することができる。
本発明の顔認識装置は、撮像した画像から顔画像(この顔画像は斜め方向からの撮像により得られた画像を含む)を検出し、この顔画像について顔器官の特徴点に基づく正規化処理を行って仮想正面顔の画像を得ることで顔認識を行う装置である。
この顔認識装置は、撮像した画像から顔画像を検出する顔検出部1と、検出された二次元顔画像に対して特徴点候補の位置を配置する特徴点候補配置部2と、二次元顔画像の特徴点候補配置から三次元正規化を行う三次元正規化部3と、三次元正規化された正規化顔画像と基準顔画像との類似度を測定する類似度測定部4と、類似度の変化量を計算する変化量算出部5と、類似度又は変化量を閾値と比較する比較部(検索終了判定部)6と、正規化顔画像を仮想正面顔画像と決定する収束判定部7と、特徴点候補の位置の補正を行う特徴点候補正部8と、顔認識装置において各処理を行うに際して基準となる基準顔画像を作成する基準顔画像作成部9を備えて構成されている。
基準顔画像作成部9では、予め統計的に多数の人物から顔画像と三次元の形状情報を取得しておき、顔画像には輝度値が、三次元形状情報にはカメラから被写体方向への奥行の情報が画素値として格納されている。
先ず、予め多数の顔画像から共通する特徴をいくつか取り出し、その特徴群が含まれるか否かを判定する識別規則を作成しておく。
次に、撮像画像内にある与えられた矩形領域が作成された識別規則を満たすか否かで、顔であるか顔でないかを判定する。
また、撮像画像内の矩形領域の位置及び大きさを様々に変化させて、画像内に写っている顔領域を二次元顔画像として検出する。
文献1:P. Viola, M.J. Jones, "Robust real-time object detection," in: Second International Workshop on Theories of Visual Modeling, Learning, Computing, and Sampling, 2001.
顔画像における特徴点候補は、図2の基準顔画像内に示されるように、右眉内A(xrb, yrb)、左眉内B(xlb, ylb) 、右目尻C(xret, yret)、右瞳D(xrec, yrec)、右目頭E(xreh, yreh) 、左目尻F(xret, yret) 、左瞳G(xrec, yrec)、左目頭H(xreh, yreh)、鼻突I(xn, yn)、右鼻孔J(xrn, yrn)、左鼻孔K(xln, yln)、右口端L(xrm, yrm)、口中心M(xm, ym)、左口端N(xlm, ylm) の14点を使用する。また、特徴点候補に関しては、顔画像内に輪郭を追加して特徴点数を増加させたり、逆に特徴点数を減少させたりすることも可能である。
顔検出部1により検出された二次元顔画像30は、正面向き又は斜め向きであるかはこの時点では不明であるため、特徴点候補が初期配置された顔画像は、正面向きの顔に対しては特徴点候補の初期配置と実際の特徴点の配置との乖離が少なく、横向きの顔に対しては乖離が大きくなる。
二次元顔画像を三次元正規化する技術については、顔の三次元形状モデルを用い、二次元顔画像の特徴点配置が三次元形状モデルの基準点配置に一致するようにして二次元顔画像から正規化顔画像を得る公知の方法を使用する。
正規化顔画像を得る方法として、例えば、下記の文献2に記載された処理を用いると、顔向き等の変化がある二次元の顔画像であっても、三次元の形状モデル上では任意の視点方向から見た顔画像を再構成できるため、正面向きの顔画像を仮想的に再現することが可能となる。
文献2:Tatsuo Kozakaya and Osamu Yamaguchi, "Face Recognition by Projection-based 3D Normalization and Shading Subspace Orthogonalization," Proc. of FGR'06, 2006.
先ず、二次元顔画像上に配置されたN個の特徴点候補を2×Nの特徴点行列Wと定義する。
数3における(uの平均,vの平均)は、全特徴点の重心を意味している。
数2におけるNは、前述の通り、N=14を仮定している。
次に、三次元形状モデル上の基準点を3×Nの基準点行列Sと定義する。
数5における(xの平均,yの平均,zの平均)は、全基準点の重心を意味している。
このとき、特徴点行列Wと基準点行列Sとの間で、2×3の射影行列Mにより次の式が成り立つ。
W=MS
M=WS†
=W{ST(SST)−1}
具体的には、二次元顔画像の三次元正規化方法により正規化された正規化顔画像Aと、あらかじめ作成した基準顔画像Bとの間で、次式で算出される類似度Simを測定する。
Sim=(A,B)/(|A||B|)
また、変化量算出部5では、後述する特徴点候補の補正が行われた場合に、前回探索時の類似度と今回測定類似度との変化量ΔSimを算出する。
例えば、類似度Simが予め設定された閾値T1を上回る場合、現探索時の特徴点候補により基準顔画像に非常に類似した正規化顔画像が得られたと考えられるため、特徴点候補の探索を終了させる。
また、変化量ΔSimが予め設定された閾値T2を下回る場合、これ以降の探索によりさらに真の特徴点に近い特徴点の候補が無いと考えられるため、特徴点候補の探索を終了させる。
逆に、類似度の変化量ΔSimが閾値T3未満である場合は、今後の探索でも大きな変化が見られない可能性が高いため、次探索する特徴点候補の位置を画素21とする(特徴点候補の探索位置を小さく変化させる)。
1回の特徴点候補の補正処理においては、類似度の変化量ΔSimが閾値T3以上である場合は、図4の画素1〜画素16で類似度が一番大きい画素位置を新たな特徴点候補の配置とする処理が行われ、類似度の変化量ΔSimが閾値T3未満である場合は、図4の画素21〜画素28で類似度が一番大きい画素位置を新たな特徴点候補の配置とする処理が行われる。
次に、別の基準点に限定し、位置を移動させて前述の収束判定基準を満たすまで探索を繰り返す。以降、さらに別の基準点に対して同様の探索を行い、全ての基準点に対する探索が収束するまで続ける(Sequential Forward 探索)。
二次元の人物画像を撮像し(ステップ51)、撮像された画像から二次元顔画像30を検出する(ステップ52)。
類似度により正規化顔画像40における特徴点候補が真正であると判断した場合(正規化顔画像の類似度が閾値T1より高い場合)には、収束判定基準を満たす画像として判断し、仮想正面顔画像として決定する(ステップ59)。
また、複数の器官の特徴点を同時に特定するため、複数の特徴点を特定したい場合は処理効率を上げることができる。
また、複数の器官の配置関係を考慮して特徴点が特定されるため、目が閉じている二次元顔画像であっても、他の器官の特徴点との配置関係を考慮することで瞳の位置を特定することができる。
Claims (4)
- 画像内から検出された顔器官に対応する複数の特徴点候補を配置する特徴点候補配置部と、
予め記憶した顔の三次元の形状モデルを使用し、二次元の特徴点候補の配置が三次元の基準点配置に一致するようにして、二次元の顔画像を三次元正規化された顔画像とする三次元正規化部と、
正規化された顔画像と、複数の顔画像から予め作成された基準顔画像との類似度を測定する類似度測定部と、
前回探索時の類似度と今回測定類似度の変化量を算出する変化量算出部と、
類似度又は/及び変化量に基づき、探索終了又は探索継続を判定する検索終了判定部と、
前記検索終了判定部における探索終了判定時の特徴点候補を探索特徴点として確定する収束判定部と、
前記検索終了判定部における探索継続判定時に、前記類似度の変化量に基づき、前記特徴点候補の配置を変化させる特徴点候補補正部と、
を具備することを特徴とする顔認識装置。 - 撮像された画像から二次元の顔画像を検出する第1の手順と、
検出した顔画像に対して、予め設定された顔器官に対応する複数の特徴点候補の座標を初期配置として貼り付ける第2の手順と、
予め記憶した顔の三次元形状モデルを使用し、前記特徴点候補が対応する三次元形状モデルの基準点配置に一致するようにして、二次元の顔画像を三次元正規化して正規化顔画像を得る第3の手順と、
前記正規化顔画像と複数の顔画像から予め作成された基準顔画像とを比較することで前記正規化画像が正面向き画像であるかを判断するための類似度を算出する第4の手順と、
前記類似度により前記正規化顔画像における特徴点候補の配置が真正であるか否かを判断する第5の手順と、
前記第5の手順における類似度により前記正規化顔画像における特徴点候補が真正でないと判断した場合に、前記特徴点候補の配置を補正し、補正された特徴点候補に基づいて前記第3〜第5の手順を繰り返して真正の特徴点候補の探索継続処理を行うに際して、算出された類似度に対する前回探索時からの変化量を算出し、この変化量が設定された閾値より小さい場合に、特徴点配置についての探索位置の移動距離を小さくして探索する
ことを特徴とする顔器官の特徴点特定方法。 - 前記第5の手順は、
前記類似度を設定された閾値と比較することにより、特徴点配置の探索終了又は探索継続を判断する請求項2に記載の顔器官の特徴点特定方法。 - 前記第5の手順は、
前記変化量を設定された閾値と比較することにより、特徴点配置の探索終了又は探索継続を判断する請求項2に記載の顔器官の特徴点特定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009076382A JP5213778B2 (ja) | 2009-03-26 | 2009-03-26 | 顔認識装置及び顔器官の特徴点特定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009076382A JP5213778B2 (ja) | 2009-03-26 | 2009-03-26 | 顔認識装置及び顔器官の特徴点特定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010231354A JP2010231354A (ja) | 2010-10-14 |
JP5213778B2 true JP5213778B2 (ja) | 2013-06-19 |
Family
ID=43047129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009076382A Expired - Fee Related JP5213778B2 (ja) | 2009-03-26 | 2009-03-26 | 顔認識装置及び顔器官の特徴点特定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5213778B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6131429B2 (ja) * | 2012-12-19 | 2017-05-24 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP6387831B2 (ja) * | 2013-01-15 | 2018-09-12 | 日本電気株式会社 | 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム |
CN108632660A (zh) * | 2018-05-28 | 2018-10-09 | 深圳Tcl新技术有限公司 | 电视机的图像显示方法、电视机及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3861421B2 (ja) * | 1997-11-28 | 2006-12-20 | 日本ビクター株式会社 | 個人識別装置 |
JP2002063567A (ja) * | 2000-08-23 | 2002-02-28 | Nec Corp | 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法 |
JP4991317B2 (ja) * | 2006-02-06 | 2012-08-01 | 株式会社東芝 | 顔特徴点検出装置及びその方法 |
JP4093273B2 (ja) * | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
-
2009
- 2009-03-26 JP JP2009076382A patent/JP5213778B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010231354A (ja) | 2010-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102596897B1 (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
US10198623B2 (en) | Three-dimensional facial recognition method and system | |
US9881204B2 (en) | Method for determining authenticity of a three-dimensional object | |
JP6650946B2 (ja) | モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法 | |
WO2018028546A1 (zh) | 一种关键点的定位方法及终端、计算机存储介质 | |
KR102290392B1 (ko) | 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치 | |
JP4946730B2 (ja) | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム | |
CN105740778B (zh) | 一种改进的三维人脸活体检测方法及其装置 | |
US7925060B2 (en) | Authentication system and registration system related to facial feature information | |
WO2019127262A1 (zh) | 基于云端的人脸活体检测方法、电子设备和程序产品 | |
WO2015165365A1 (zh) | 一种人脸识别方法及系统 | |
JP5170094B2 (ja) | なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム | |
US20070122009A1 (en) | Face recognition method and apparatus | |
US20180075291A1 (en) | Biometrics authentication based on a normalized image of an object | |
KR20170000748A (ko) | 얼굴 인식 방법 및 장치 | |
JP2020501264A (ja) | モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法 | |
WO2018042996A1 (ja) | 生体検知装置 | |
US8897568B2 (en) | Device and method that compare facial images | |
CN109690542A (zh) | 使用面部识别的用户认证方法以及用于该方法的设备 | |
CN111626246B (zh) | 口罩遮挡下的人脸对齐方法 | |
CN109858433B (zh) | 一种基于三维人脸模型识别二维人脸图片的方法及装置 | |
JP5213778B2 (ja) | 顔認識装置及び顔器官の特徴点特定方法 | |
JP2007249587A (ja) | 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体 | |
KR101053253B1 (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
CN109410138B (zh) | 修饰双下巴的方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110822 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5213778 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |