JP4414401B2 - 顔特徴点検出方法および装置並びにプログラム - Google Patents
顔特徴点検出方法および装置並びにプログラム Download PDFInfo
- Publication number
- JP4414401B2 JP4414401B2 JP2006033554A JP2006033554A JP4414401B2 JP 4414401 B2 JP4414401 B2 JP 4414401B2 JP 2006033554 A JP2006033554 A JP 2006033554A JP 2006033554 A JP2006033554 A JP 2006033554A JP 4414401 B2 JP4414401 B2 JP 4414401B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- feature
- eye
- image
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
前記顔の検出は、前記検出対象画像においてマスク画像を設定し、顔の識別に用いる第1の特徴量を前記マスク画像から算出し、前記顔であることが分かっている、両目の位置関係が所定の許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記第1の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第1の特徴量と該第1の特徴量の各々に対応する識別条件とを予め規定する第1の参照データを、前記マスク画像を前記所定の許容度に応じた変化量にて段階的に変形させつつ前記マスク画像から算出された第1の特徴量に基づいて参照して、前記マスク画像に顔が含まれているか否かを識別するものであり、
前記目の検出は、顔の識別に用いる第2の特徴量を、前記顔の領域内の画像から算出し、前記顔であることが分かっている、両目の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第2の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第2の特徴量と該第2の特徴量の各々に対応する識別条件とを予め規定する第2の参照データを、前記顔の領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記顔の領域内の画像から算出された第2の特徴量に基づいて参照して、前記顔を構成する目の位置を識別するものであり、
前記目頭と目尻の検出は、目の識別に用いる第3の特徴量を、前記目を含む領域内の画像から算出し、前記目であることが分かっている、目頭と目尻の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記目でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第3の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第3の特徴量と該第3の特徴量の各々に対応する識別条件とを予め規定する第3の参照データを、前記目を含む領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記目を含む領域内の画像から算出された第3の特徴量に基づいて参照して、前記目の目頭と目尻の位置を識別するものであることが望ましい。
前記顔検出手段は、前記検出対象画像においてマスク画像を設定し、顔の識別に用いる第1の特徴量を前記マスク画像から算出する第1の特徴量算出手段と、前記顔であることが分かっている、両目の位置関係が所定の許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記第1の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第1の特徴量と該第1の特徴量の各々に対応する識別条件とを予め規定する第1の参照データを、前記マスク画像を前記所定の許容度に応じた変化量にて段階的に変形させつつ前記マスク画像から算出された第1の特徴量に基づいて参照して、前記マスク画像に顔が含まれているか否かを識別する第1の識別手段とを備えたものであり、
前記目検出手段は、顔の識別に用いる第2の特徴量を、前記顔の領域内の画像から算出する第2の特徴量算出手段と、前記顔であることが分かっている、両目の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第2の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第2の特徴量と該第2の特徴量の各々に対応する識別条件とを予め規定する第2の参照データを、前記顔の領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記顔の領域内の画像から算出された第2の特徴量に基づいて参照して、前記顔を構成する目の位置を識別する第2の識別手段とを備えたものであり、
前記目頭・目尻検出手段は、目の識別に用いる第3の特徴量を、前記目を含む領域内の画像から算出する第3の特徴量算出手段と、前記目であることが分かっている、目頭と目尻の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記目でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第3の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第3の特徴量と該第3の特徴量の各々に対応する識別条件とを予め規定する第3の参照データを、前記目を含む領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記目を含む領域内の画像から算出された第3の特徴量に基づいて参照して、前記目の目頭と目尻の位置を識別する第3の識別手段とを備えたものであることが望ましい。
前記顔検出手段は、前記検出対象画像においてマスク画像を設定し、顔の識別に用いる第1の特徴量を前記マスク画像から算出する第1の特徴量算出手段と、前記顔であることが分かっている、両目の位置関係が所定の許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記第1の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第1の特徴量と該第1の特徴量の各々に対応する識別条件とを予め規定する第1の参照データを、前記マスク画像を前記所定の許容度に応じた変化量にて段階的に変形させつつ前記マスク画像から算出された第1の特徴量に基づいて参照して、前記マスク画像に顔が含まれているか否かを識別する第1の識別手段とを備えたものであり、
前記目検出手段は、顔の識別に用いる第2の特徴量を、前記顔の領域内の画像から算出する第2の特徴量算出手段と、前記顔であることが分かっている、両目の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第2の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第2の特徴量と該第2の特徴量の各々に対応する識別条件とを予め規定する第2の参照データを、前記顔の領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記顔の領域内の画像から算出された第2の特徴量に基づいて参照して、前記顔を構成する目の位置を識別する第2の識別手段とを備えたものであり、
前記目頭・目尻検出手段は、目の識別に用いる第3の特徴量を、前記目を含む領域内の画像から算出する第3の特徴量算出手段と、前記目であることが分かっている、目頭と目尻の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記目でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第3の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第3の特徴量と該第3の特徴量の各々に対応する識別条件とを予め規定する第3の参照データを、前記目を含む領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記目を含む領域内の画像から算出された第3の特徴量に基づいて参照して、前記目の目頭と目尻の位置を識別する第3の識別手段とを備えたものであることが望ましい。
組合せの値=((勾配ベクトルの方向+1)×勾配ベクトルの大きさ(勾配ベクトルの大きさ>0の場合)
これにより、組合せ数が94通りとなるため、特徴量C0のデータ数を低減できる。
20 顔検出部
22 第1の特徴量算出部
24 顔検出実行部
30 目検出部
32 第2の特徴量算出部
34 目検出実行部
40 目頭・目尻検出部
42 第3の特徴量算出部
44 目頭・目尻検出実行部
50 口角検出部
52 第4の特徴量算出部
54 口角検出実行部
60 第1のデータベース
70 瞼特徴点検出部
72 第1の検索エリア設定部
74 第1の輝度プロファイル算出部
76 第1の識別部
80 唇特徴点検出部
82 第2の検索エリア設定部
84 第2の輝度プロファイル算出部
86 第2の識別部
90 第2のデータベース
100 出力部
Claims (24)
- 検出対象の画像に含まれる顔を検出し、
該顔の検出情報を用いて、該顔を構成する目を検出し、
該目の検出情報を用いて、該目の目頭と目尻を検出し、
前記目頭と目尻の位置情報を用いて、前記目の輪郭を表す上下瞼の特徴点を検出する顔特徴点検出方法であって、
前記上下瞼の特徴点の検出が、前記目頭と前記目尻とを結ぶ線分と交差する、前記上下瞼の特徴点に対応する少なくとも1つの瞼基準線分を設定し、1つの前記瞼基準線分上の各画素に対して、該瞼基準線分が対応する特徴点に対して定義された、該特徴点を識別するための1次元の輝度分布の特徴量を算出するとともに、該輝度分布の特徴量に基づいて前記各画素のそれぞれが、該特徴点を示す画素であるか否かを識別する瞼特徴点識別処理を、前記設定されたすべての瞼基準線分に対して行うものであることを特徴とする顔特徴点検出方法。 - 前記瞼特徴点識別処理が、複数の顔のサンプル画像のそれぞれにおける、前記特徴点であることが分かっている位置の前記輝度分布の特徴量と、前記特徴点でないことが分かっている位置の前記輝度分布の特徴量とを、マシンラーニングの手法により予め学習することにより得られた前記輝度分布の特徴量に対応する識別条件に基づいて行うものであることを特徴とする請求項1記載の顔特徴点検出方法。
- 前記顔の検出が、
前記検出対象画像においてマスク画像を設定し、顔の識別に用いる第1の特徴量を前記マスク画像から算出し、
前記顔であることが分かっている、両目の位置関係が所定の許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記第1の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第1の特徴量と該第1の特徴量の各々に対応する識別条件とを予め規定する第1の参照データを、前記マスク画像を前記所定の許容度に応じた変化量にて段階的に変形させつつ前記マスク画像から算出された第1の特徴量に基づいて参照して、前記マスク画像に顔が含まれているか否かを識別するものであり、
前記目の検出が、
顔の識別に用いる第2の特徴量を、前記顔の領域内の画像から算出し、
前記顔であることが分かっている、両目の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第2の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第2の特徴量と該第2の特徴量の各々に対応する識別条件とを予め規定する第2の参照データを、前記顔の領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記顔の領域内の画像から算出された第2の特徴量に基づいて参照して、前記顔を構成する目の位置を識別するものであり、
前記目頭と目尻の検出が、
目の識別に用いる第3の特徴量を、前記目を含む領域内の画像から算出し、
前記目であることが分かっている、目頭と目尻の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記目でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第3の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第3の特徴量と該第3の特徴量の各々に対応する識別条件とを予め規定する第3の参照データを、前記目を含む領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記目を含む領域内の画像から算出された第3の特徴量に基づいて参照して、前記目の目頭と目尻の位置を識別するものであることを特徴とする請求項1または2項記載の顔特徴点検出方法。 - 前記目頭と目尻の検出が、
前記目であることが分かっている複数のサンプル画像として、左目または右目のいずれか一方の目の画像のみを用いて学習することにより得られた第3の参照データを、前記目を含む領域内の画像から算出された第3の特徴量に基づいて参照して、前記一方の目と左右の別が同じである目の目頭と目尻を識別し、前記第3の参照データを、前記目を含む領域内の画像を左右反転させた画像から算出された第3の特徴量に基づいて参照して、前記一方の目と左右の別が異なる目の目頭と目尻を識別するものであることを特徴とする請求項3記載の顔特徴点検出方法。 - 検出対象の画像に含まれる顔を検出し、
該顔の検出情報を用いて、該顔を構成する目を検出し、
該目の検出情報を用いて、該目と所定の位置関係にある、前記顔を構成する口の左右の口角を検出し、
前記左右の口角の位置情報を用いて、前記口の輪郭を表す上下唇の特徴点を検出する顔特徴点検出方法であって、
前記上下唇の特徴点の検出が、
前記左右の口角を結ぶ線分と交差する、前記上下唇の特徴点に対応する少なくとも1つの唇基準線分の設定と、
該唇基準線分上の各画素に対し、前記特徴点を示す画素であるか否かを識別する唇特徴点識別処理を施すことにより行われることを特徴とする顔特徴点検出方法。 - 前記上下唇の特徴点の検出が、前記左右の口角を結ぶ線分と交差する、前記上下唇の特徴点に対応する少なくとも1つの唇基準線分を設定し、1つの前記唇基準線分上の各画素に対して、該唇基準線分が対応する特徴点に対して定義された、該特徴点を識別するための1次元の輝度分布の特徴量を算出するとともに、該輝度分布の特徴量に基づいて前記各画素のそれぞれが、該特徴点を示す画素であるか否かを識別する唇特徴点識別処理を、前記設定されたすべての唇基準線分に対して行うものであることを特徴とする請求項5記載の顔特徴点検出方法。
- 前記唇特徴点識別処理が、複数の顔のサンプル画像のそれぞれにおける、前記特徴点であることが分かっている位置の前記輝度分布の特徴量と、前記特徴点でないことが分かっている位置の前記輝度分布の特徴量とを、マシンラーニングの手法により予め学習することにより得られた前記輝度分布の特徴量に対応する識別条件に基づいて行うものであることを特徴とする請求項6記載の顔特徴点検出方法。
- 前記左右の口角の検出が、
口の識別に用いる第4の特徴量を、前記口を含む領域内の画像から算出し、
前記口であることが分かっている、左口角と右口角の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記口でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第4の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第4の特徴量と該第4の特徴量の各々に対応する識別条件とを予め規定する第4の参照データを、前記口を含む領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記口を含む領域内の画像から算出された第4の特徴量に基づいて参照して、前記口の左口角と右口角の位置を識別するものであることを特徴とする請求項5から7いずれか1項記載の顔特徴点検出方法。 - 検出対象の画像に含まれる顔を検出する顔検出手段と、
該顔の検出情報を用いて、該顔を構成する目を検出する目検出手段と、
該目の検出情報を用いて、該目の目頭と目尻を検出する目頭・目尻検出手段と、
前記目頭と目尻の位置情報を用いて、前記目の輪郭を表す上下瞼の特徴点を検出する瞼特徴点検出手段とを備え、
前記瞼特徴点検出手段が、前記目頭と前記目尻とを結ぶ線分と交差する、前記上下瞼の特徴点に対応する少なくとも1つの瞼基準線分を設定し、1つの前記瞼基準線分上の各画素に対して、該瞼基準線分が対応する特徴点に対して定義された、該特徴点を識別するための1次元の輝度分布の特徴量を算出するとともに、該輝度分布の特徴量に基づいて前記各画素のそれぞれが、該特徴点を示す画素であるか否かを識別する瞼特徴点識別処理を、前記設定されたすべての瞼基準線分に対して行うものであることを特徴とする顔特徴点検出装置。 - 前記瞼特徴点識別処理が、複数の顔のサンプル画像のそれぞれにおける、前記特徴点であることが分かっている位置の前記輝度分布の特徴量と、前記特徴点でないことが分かっている位置の前記輝度分布の特徴量とを、マシンラーニングの手法により予め学習することにより得られた前記輝度分布の特徴量に対応する識別条件に基づいて行うものであることを特徴とする請求項9記載の顔特徴点検出装置。
- 前記顔検出手段が、
前記検出対象画像においてマスク画像を設定し、顔の識別に用いる第1の特徴量を前記マスク画像から算出する第1の特徴量算出手段と、
前記顔であることが分かっている、両目の位置関係が所定の許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記第1の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第1の特徴量と該第1の特徴量の各々に対応する識別条件とを予め規定する第1の参照データを、前記マスク画像を前記所定の許容度に応じた変化量にて段階的に変形させつつ前記マスク画像から算出された第1の特徴量に基づいて参照して、前記マスク画像に顔が含まれているか否かを識別する第1の識別手段とを備えたものであり、
前記目検出手段が、
顔の識別に用いる第2の特徴量を、前記顔の領域内の画像から算出する第2の特徴量算出手段と、
前記顔であることが分かっている、両目の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第2の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第2の特徴量と該第2の特徴量の各々に対応する識別条件とを予め規定する第2の参照データを、前記顔の領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記顔の領域内の画像から算出された第2の特徴量に基づいて参照して、前記顔を構成する目の位置を識別する第2の識別手段とを備えたものであり、
前記目頭・目尻検出手段が、
目の識別に用いる第3の特徴量を、前記目を含む領域内の画像から算出する第3の特徴量算出手段と、
前記目であることが分かっている、目頭と目尻の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記目でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第3の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第3の特徴量と該第3の特徴量の各々に対応する識別条件とを予め規定する第3の参照データを、前記目を含む領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記目を含む領域内の画像から算出された第3の特徴量に基づいて参照して、前記目の目頭と目尻の位置を識別する第3の識別手段とを備えたものであることを特徴とする請求項9または10記載の顔特徴点検出装置。 - 前記目頭・目尻検出手段が、
前記目であることが分かっている複数のサンプル画像として、左目または右目のいずれか一方の目の画像のみを用いて学習することにより得られた第3の参照データを、前記目を含む領域内の画像から算出された第3の特徴量に基づいて参照して、前記一方の目と左右の別が同じである目の目頭と目尻を識別し、前記第3の参照データを、前記目を含む領域内の画像を左右反転させた画像から算出された第3の特徴量に基づいて参照して、前記一方の目と左右の別が異なる目の目頭と目尻を識別するものであることを特徴とする請求項11記載の顔特徴点検出装置。 - 検出対象の画像に含まれる顔を検出する顔検出手段と、
該顔の検出情報を用いて、該顔を構成する目を検出する目検出手段と、
前記目の検出情報を用いて、該目と所定の位置関係にある、前記顔を構成する口の左右の口角を検出する口角検出手段と、
前記左右の口角の位置情報を用いて、前記口の輪郭を表す上下唇の特徴点を検出する唇特徴点検出手段とを備え、
前記唇特徴点検出手段が、前記左右の口角を結ぶ線分と交差する、前記上下唇の特徴点に対応する少なくとも1つの唇基準線分を設定し、該唇基準線分上の各画素に対し、前記特徴点を示す画素であるか否かを識別する唇特徴点識別処理を行うものであることを特徴とする顔特徴点検出装置。 - 前記唇特徴点検出手段が、前記左右の口角を結ぶ線分と交差する、前記上下唇の特徴点に対応する少なくとも1つの唇基準線分を設定し、1つの前記唇基準線分上の各画素に対して、該唇基準線分が対応する特徴点に対して定義された、該特徴点を識別するための1次元の輝度分布の特徴量を算出するとともに、該輝度分布の特徴量に基づいて前記各画素のそれぞれが、該特徴点を示す画素であるか否かを識別する唇特徴点識別処理を、前記設定されたすべての唇基準線分に対して行うものであることを特徴とする請求項13記載の顔特徴点検出装置。
- 前記唇特徴点識別処理が、複数の顔のサンプル画像のそれぞれにおける、前記特徴点であることが分かっている位置の前記輝度分布の特徴量と、前記特徴点でないことが分かっている位置の前記輝度分布の特徴量とを、マシンラーニングの手法により予め学習することにより得られた前記輝度分布の特徴量に対応する識別条件に基づいて行うものであることを特徴とする請求項14記載の顔特徴点検出装置。
- 前記口角検出手段が、
口の識別に用いる第4の特徴量を、前記口を含む領域内の画像から算出する第4の特徴量算出手段と、
前記口であることが分かっている、左口角と右口角の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記口でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第4の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第4の特徴量と該第4の特徴量の各々に対応する識別条件とを予め規定する第4の参照データを、前記口を含む領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記口を含む領域内の画像から算出された第4の特徴量に基づいて参照して、前記口の左口角と右口角の位置を識別する第4の識別手段とを備えたものであることを特徴とする請求項13から15いずれか1項記載の顔特徴点検出装置。 - コンピュータを、
検出対象の画像に含まれる顔を検出する顔検出手段と、
該顔の検出情報を用いて、該顔を構成する目を検出する目検出手段と、
該目の検出情報を用いて、該目の目頭と目尻を検出する目頭・目尻検出手段と、
前記目頭と目尻の位置情報を用いて、前記目の輪郭を表す上下瞼の特徴点を検出する瞼特徴点検出手段として機能させることにより、
前記コンピュータを顔特徴点検出装置として機能させるプログラムであって、
前記瞼特徴点検出手段が、前記目頭と前記目尻とを結ぶ線分と交差する、前記上下瞼の特徴点に対応する少なくとも1つの瞼基準線分を設定し、1つの前記瞼基準線分上の各画素に対して、該瞼基準線分が対応する特徴点に対して定義された、該特徴点を識別するための1次元の輝度分布の特徴量を算出するとともに、該輝度分布の特徴量に基づいて前記各画素のそれぞれが、該特徴点を示す画素であるか否かを識別する瞼特徴点識別処理を、前記設定されたすべての瞼基準線分に対して行うものであることを特徴とするプログラム。 - 前記瞼特徴点識別処理が、複数の顔のサンプル画像のそれぞれにおける、前記特徴点であることが分かっている位置の前記輝度分布の特徴量と、前記特徴点でないことが分かっている位置の前記輝度分布の特徴量とを、マシンラーニングの手法により予め学習することにより得られた前記輝度分布の特徴量に対応する識別条件に基づいて行うものであることを特徴とする請求項17記載のプログラム。
- 前記顔検出手段が、
前記検出対象画像においてマスク画像を設定し、顔の識別に用いる第1の特徴量を前記マスク画像から算出する第1の特徴量算出手段と、
前記顔であることが分かっている、両目の位置関係が所定の許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記第1の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第1の特徴量と該第1の特徴量の各々に対応する識別条件とを予め規定する第1の参照データを、前記マスク画像を前記所定の許容度に応じた変化量にて段階的に変形させつつ前記マスク画像から算出された第1の特徴量に基づいて参照して、前記マスク画像に顔が含まれているか否かを識別する第1の識別手段とを備えたものであり、
前記目検出手段が、
顔の識別に用いる第2の特徴量を、前記顔の領域内の画像から算出する第2の特徴量算出手段と、
前記顔であることが分かっている、両目の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記顔でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第2の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第2の特徴量と該第2の特徴量の各々に対応する識別条件とを予め規定する第2の参照データを、前記顔の領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記顔の領域内の画像から算出された第2の特徴量に基づいて参照して、前記顔を構成する目の位置を識別する第2の識別手段とを備えたものであり、
前記目頭・目尻検出手段が、
目の識別に用いる第3の特徴量を、前記目を含む領域内の画像から算出する第3の特徴量算出手段と、
前記目であることが分かっている、目頭と目尻の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記目でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第3の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第3の特徴量と該第3の特徴量の各々に対応する識別条件とを予め規定する第3の参照データを、前記目を含む領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記目を含む領域内の画像から算出された第3の特徴量に基づいて参照して、前記目の目頭と目尻の位置を識別する第3の識別手段とを備えたものであることを特徴とする請求項17または18記載のプログラム。 - 前記目頭・目尻検出手段が、
前記目であることが分かっている複数のサンプル画像として、左目または右目のいずれか一方の目の画像のみを用いて学習することにより得られた第3の参照データを、前記目を含む領域内の画像から算出された第3の特徴量に基づいて参照して、前記一方の目と左右の別が同じである目の目頭と目尻を識別し、前記第3の参照データを、前記目を含む領域内の画像を左右反転させた画像から算出された第3の特徴量に基づいて参照して、前記一方の目と左右の別が異なる目の目頭と目尻を識別するものであることを特徴とする請求項19記載の顔特徴点検出方法。 - コンピュータを、
検出対象の画像に含まれる顔を検出する顔検出手段と、
該顔の検出情報を用いて、該顔を構成する目を検出する目検出手段と、
前記目の検出情報を用いて、該目と所定の位置関係にある、前記顔を構成する口の左右の口角を検出する口角検出手段と、
前記左右の口角の位置情報を用いて、前記口の輪郭を表す上下唇の特徴点を検出する唇特徴点検出手段として機能させるプログラムであって、
前記唇特徴点検出手段が、前記左右の口角を結ぶ線分と交差する、前記上下唇の特徴点に対応する少なくとも1つの唇基準線分を設定し、該唇基準線分上の各画素に対し、前記特徴点を示す画素であるか否かを識別する唇特徴点識別処理を行うものであることを特徴とするプログラム。 - 前記唇特徴点検出手段が、前記左右の口角を結ぶ線分と交差する、前記上下唇の特徴点に対応する少なくとも1つの唇基準線分を設定し、1つの前記唇基準線分上の各画素に対して、該唇基準線分が対応する特徴点に対して定義された、該特徴点を識別するための1次元の輝度分布の特徴量を算出するとともに、該輝度分布の特徴量に基づいて前記各画素のそれぞれが、該特徴点を示す画素であるか否かを識別する唇特徴点識別処理を、前記設定されたすべての唇基準線分に対して行うものであることを特徴とする請求項21記載のプログラム。
- 前記唇特徴点識別処理が、複数の顔のサンプル画像のそれぞれにおける、前記特徴点であることが分かっている位置の前記輝度分布の特徴量と、前記特徴点でないことが分かっている位置の前記輝度分布の特徴量とを、マシンラーニングの手法により予め学習することにより得られた前記輝度分布の特徴量に対応する識別条件に基づいて行うものであることを特徴とする請求項22記載のプログラム。
- 前記口角検出手段が、
口の識別に用いる第4の特徴量を、前記口を含む領域内の画像から算出する第4の特徴量算出手段と、
前記口であることが分かっている、左口角と右口角の位置関係が前記所定の許容度よりも小さい小許容度を持って正規化された複数のサンプル画像と、前記口でないことが分かっている複数のサンプル画像とからなる多数の小許容度サンプル画像群に含まれる前記第4の特徴量をマシンラーニングの手法により予め学習することにより得られた、前記第4の特徴量と該第4の特徴量の各々に対応する識別条件とを予め規定する第4の参照データを、前記口を含む領域内の画像を前記小許容度に応じた変化量にて段階的に変形させつつ前記口を含む領域内の画像から算出された第4の特徴量に基づいて参照して、前記口の左口角と右口角の位置を識別する第4の識別手段とを備えたものであることを特徴とする請求項21から23いずれか1項記載のプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006033554A JP4414401B2 (ja) | 2006-02-10 | 2006-02-10 | 顔特徴点検出方法および装置並びにプログラム |
US12/278,616 US8254644B2 (en) | 2006-02-10 | 2007-02-07 | Method, apparatus, and program for detecting facial characteristic points |
PCT/JP2007/052541 WO2007091714A1 (en) | 2006-02-10 | 2007-02-07 | Method, apparatus, and program for detecting facial characteristic points |
US13/534,817 US8577099B2 (en) | 2006-02-10 | 2012-06-27 | Method, apparatus, and program for detecting facial characteristic points |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006033554A JP4414401B2 (ja) | 2006-02-10 | 2006-02-10 | 顔特徴点検出方法および装置並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007213377A JP2007213377A (ja) | 2007-08-23 |
JP4414401B2 true JP4414401B2 (ja) | 2010-02-10 |
Family
ID=38345302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006033554A Active JP4414401B2 (ja) | 2006-02-10 | 2006-02-10 | 顔特徴点検出方法および装置並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US8254644B2 (ja) |
JP (1) | JP4414401B2 (ja) |
WO (1) | WO2007091714A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7920725B2 (en) * | 2003-09-09 | 2011-04-05 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
JP5262243B2 (ja) * | 2008-03-31 | 2013-08-14 | アイシン精機株式会社 | 眼開閉判別装置、及びプログラム |
JP2010020594A (ja) * | 2008-07-11 | 2010-01-28 | Kddi Corp | 瞳画像認識装置 |
JP5221436B2 (ja) | 2009-04-02 | 2013-06-26 | トヨタ自動車株式会社 | 顔特徴点検出装置及びプログラム |
CN102667861A (zh) | 2010-02-22 | 2012-09-12 | 丰田自动车株式会社 | 图像处理装置以及睡意判断装置 |
JP5929896B2 (ja) * | 2011-03-17 | 2016-06-08 | 日本電気株式会社 | 画像認識システム、画像認識方法および画像認識用プログラム |
US8983147B2 (en) * | 2011-07-11 | 2015-03-17 | Toyota Jidosha Kabushiki Kaisha | Eyelid detection device |
US20130243270A1 (en) * | 2012-03-16 | 2013-09-19 | Gila Kamhi | System and method for dynamic adaption of media based on implicit user input and behavior |
JP6547244B2 (ja) * | 2014-06-30 | 2019-07-24 | カシオ計算機株式会社 | 動作処理装置、動作処理方法及びプログラム |
KR102342167B1 (ko) * | 2015-01-22 | 2021-12-22 | 에스케이케미칼 주식회사 | 고투명 고내열 폴리카보네이트 에스테르의 신규 제조방법 |
US11783524B2 (en) * | 2016-02-10 | 2023-10-10 | Nitin Vats | Producing realistic talking face with expression using images text and voice |
US10082866B2 (en) | 2016-04-12 | 2018-09-25 | International Business Machines Corporation | Gaze point detection using dynamic facial reference points under varying lighting conditions |
CN106203262A (zh) * | 2016-06-27 | 2016-12-07 | 辽宁工程技术大学 | 一种基于眼睑曲线相似度与眼型指数的眼型分类方法 |
CN111178117B (zh) * | 2018-11-09 | 2023-09-22 | 浙江宇视科技有限公司 | 数据处理方法及装置 |
CN111488836B (zh) * | 2020-04-13 | 2023-06-02 | 广州市百果园信息技术有限公司 | 人脸轮廓修正方法、装置、设备及存储介质 |
JPWO2022059066A1 (ja) | 2020-09-15 | 2022-03-24 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0546743A (ja) * | 1991-08-09 | 1993-02-26 | Matsushita Electric Ind Co Ltd | 個人識別装置 |
JP2973676B2 (ja) * | 1992-01-23 | 1999-11-08 | 松下電器産業株式会社 | 顔画像特徴点抽出装置 |
US5680481A (en) * | 1992-05-26 | 1997-10-21 | Ricoh Corporation | Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system |
KR0158038B1 (ko) * | 1993-03-29 | 1998-12-15 | 모리시다 요오이찌 | 개인식별장치 |
US6181805B1 (en) * | 1993-08-11 | 2001-01-30 | Nippon Telegraph & Telephone Corporation | Object image detecting method and system |
JP4469476B2 (ja) * | 2000-08-09 | 2010-05-26 | パナソニック株式会社 | 眼位置検出方法および眼位置検出装置 |
JP3993029B2 (ja) | 2002-06-24 | 2007-10-17 | デジタルファッション株式会社 | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 |
JP2004341844A (ja) | 2003-05-15 | 2004-12-02 | Digital Fashion Ltd | エッジ抽出装置、エッジ抽出プログラム及びエッジ抽出方法 |
JP2005018358A (ja) | 2003-06-25 | 2005-01-20 | Nec Soft Ltd | 顔画像登録抽出システム、顔画像登録抽出方法、およびコンピュータプログラム |
EP3358501B1 (en) * | 2003-07-18 | 2020-01-01 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
JP3811474B2 (ja) | 2003-08-04 | 2006-08-23 | 財団法人ソフトピアジャパン | 顔部品位置検出方法及び顔部品位置検出装置 |
JP2005056231A (ja) | 2003-08-06 | 2005-03-03 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
JP4493448B2 (ja) | 2003-09-09 | 2010-06-30 | 富士フイルム株式会社 | 対象物識別装置および方法並びにプログラム |
US7920725B2 (en) | 2003-09-09 | 2011-04-05 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
JP4449723B2 (ja) * | 2004-12-08 | 2010-04-14 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP4375420B2 (ja) * | 2007-03-26 | 2009-12-02 | 株式会社デンソー | 眠気警報装置、及びプログラム |
-
2006
- 2006-02-10 JP JP2006033554A patent/JP4414401B2/ja active Active
-
2007
- 2007-02-07 US US12/278,616 patent/US8254644B2/en active Active
- 2007-02-07 WO PCT/JP2007/052541 patent/WO2007091714A1/en active Application Filing
-
2012
- 2012-06-27 US US13/534,817 patent/US8577099B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20120269443A1 (en) | 2012-10-25 |
WO2007091714A1 (en) | 2007-08-16 |
US20090010544A1 (en) | 2009-01-08 |
US8577099B2 (en) | 2013-11-05 |
US8254644B2 (en) | 2012-08-28 |
JP2007213377A (ja) | 2007-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4414401B2 (ja) | 顔特徴点検出方法および装置並びにプログラム | |
US7035461B2 (en) | Method for detecting objects in digital images | |
CN109952594B (zh) | 图像处理方法、装置、终端及存储介质 | |
US7599549B2 (en) | Image processing method, image processing apparatus, and computer readable medium, in which an image processing program is recorded | |
JP4234381B2 (ja) | 顔の特徴を位置確認するための方法及びコンピュータープログラム製品 | |
US7920725B2 (en) | Apparatus, method, and program for discriminating subjects | |
US20070189584A1 (en) | Specific expression face detection method, and imaging control method, apparatus and program | |
JP2005242640A (ja) | 対象物検出方法および装置並びにプログラム | |
CN111539911B (zh) | 一种口呼吸面容识别方法、设备和存储介质 | |
CN104794693A (zh) | 一种人脸关键区域自动检测蒙版的人像优化方法 | |
JP4795864B2 (ja) | 特徴点検出装置および方法並びにプログラム | |
JP2006164133A (ja) | 画像処理方法および装置並びにプログラム | |
JP4690190B2 (ja) | 画像処理方法および装置並びにプログラム | |
JP4749884B2 (ja) | 顔判別装置の学習方法、顔判別方法および装置並びにプログラム | |
JP4510556B2 (ja) | 対象物識別装置および方法並びにプログラム | |
JP2003044853A (ja) | 顔検出装置、顔向き検出装置、部分画像抽出装置及びそれらの方法 | |
JP4510562B2 (ja) | 円中心位置検出方法および装置並びにプログラム | |
JP4493448B2 (ja) | 対象物識別装置および方法並びにプログラム | |
JP4541806B2 (ja) | 対象物識別装置および方法並びにプログラム | |
JP2006244385A (ja) | 顔判別装置およびプログラム並びに顔判別装置の学習方法 | |
JP2005250771A (ja) | 対象物識別装置および方法並びにプログラム | |
JP2005250773A (ja) | 対象物識別装置および方法並びにプログラム | |
CN111160418B (zh) | 一种模型45度主视图自动分类的方法 | |
CN115131368A (zh) | 图像处理方法及装置 | |
JP2005250775A (ja) | 対象物識別装置および方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4414401 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131127 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |