JP6636154B2 - 顔画像処理方法および装置、ならびに記憶媒体 - Google Patents
顔画像処理方法および装置、ならびに記憶媒体 Download PDFInfo
- Publication number
- JP6636154B2 JP6636154B2 JP2018526870A JP2018526870A JP6636154B2 JP 6636154 B2 JP6636154 B2 JP 6636154B2 JP 2018526870 A JP2018526870 A JP 2018526870A JP 2018526870 A JP2018526870 A JP 2018526870A JP 6636154 B2 JP6636154 B2 JP 6636154B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- face image
- facial
- distance
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 46
- 230000001815 facial effect Effects 0.000 claims description 300
- 230000033001 locomotion Effects 0.000 claims description 164
- 210000000056 organ Anatomy 0.000 claims description 120
- 210000004709 eyebrow Anatomy 0.000 claims description 83
- 238000012545 processing Methods 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 39
- 238000004458 analytical method Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 25
- 230000000694 effects Effects 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 22
- 230000004397 blinking Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 210000003128 head Anatomy 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 210000001747 pupil Anatomy 0.000 description 6
- 241000283973 Oryctolagus cuniculus Species 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Geometry (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
顔画像から顔器官に対応する顔特徴点を抽出するステップと、
顔器官に対応する顔特徴点の間の距離を計算するステップと、
顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算するステップと、
特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、顔器官が顔画像内に顔動作を形成すると決定するステップとを含む。
顔画像から顔器官に対応する顔特徴点を抽出するように構成されている、顔特徴抽出モジュールと、
顔器官に対応する顔特徴点の間の距離を計算するように構成されている、顔動作解析モジュールとを備え、
顔動作解析モジュールは顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算するように構成され、
顔動作解析モジュールは特徴パラメータが顔動作に対応するプリセット条件を満たす場合に顔器官が顔画像内に顔動作を形成すると決定するように構成される。
実行可能プログラムを記憶するように構成されているメモリと、
メモリ内に記憶されている実行可能プログラムを実行することによって、
顔画像から顔器官に対応する顔特徴点を抽出するオペレーションと、
顔器官に対応する顔特徴点の間の距離を計算するオペレーションと、
顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算するオペレーションと、
特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、顔器官が顔画像内に顔動作を形成すると決定するオペレーションとを実装するように構成されているプロセッサとを備える。
顔画像から顔器官に対応する顔特徴点を抽出するオペレーションと、
顔器官に対応する顔特徴点の間の距離を計算するオペレーションと、
顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算するオペレーションと、
特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、顔器官が顔画像内に顔動作を形成すると決定するオペレーションとを実装する。
色特徴は、顔器官の表面色を記述するものであり、色特徴は、ピクセル点に基づく特徴であり、赤色、緑色、および青色(RGB)、色相、彩度、および明度(HSV)などの色空間表現が、色特徴を記述するために使用され得る。色特徴ベースの顔特徴点を抽出する一例において、顔画像は、ヒストグラムに変換され、色分布が顔器官の異なる位置に適合する特徴点は、対応する位置における特徴点としてヒストグラムから抽出される。
顔画像内の異なる位置の表面テクスチャが記述される。統計的手法が、顔画像からテクスチャ特徴を抽出する典型的な方法である。特に、顔器官の異なる位置に適合するテクスチャ特徴は、顔画像の自己相関関数(すなわち、画像のエネルギースペクトル関数)から抽出される。すなわち、テクスチャの、粗さおよび指向性(directivity)などの、特徴パラメータは、画像のエネルギースペクトル関数を計算することによって抽出され、顔器官の異なる位置に適合するテクスチャ特徴の特徴点は、対応する位置における特徴点として使用される。
スケール不変特徴は、顔画像が回転されるか、または並進移動されたときにスケールが顔画像内で安定に保つ局所的特徴である。典型的には、スケール空間は、スケール不変特徴変換(SIFT)アルゴリズムを使用することによって、また元の顔画とガウス核との畳み込みを使用することによって確立され、スケール不変特徴点は、ガウス空間ピラミッド(Gaussian space pyramid)の差から抽出される。
顔器官内の異なる位置の外部輪郭が記述される。典型的な方式は、エッジ検出を使用する方式である。エッジ特徴方法は、画像の形状パラメータを取得するためのエッジ特徴を記述するものである。輪郭検出の一例として、顔画像は、グレースケール画像に変換され、グレースケール画像は、エッジとして明度が明確に変化する(たとえば、明度変化閾値を超える)ピクセル点がないか探索される。
37 外側目尻位置
39 下側エッジ中心位置
43 目
43 上側エッジ中心配置
53 鼻尖配置
66 左口角特徴点
69 下側エッジ中心特徴点
70 特徴点
72 右口角特徴点
74 特徴点
80 エッジ中心配置
81 特徴点
85 下側エッジ中心配置
100 顔画像処理装置
110 プロセッサ
120 メモリ
121 オペレーティングシステム
122 アプリケーションプログラム
130 ネットワークインターフェース
140 ユーザインターフェース
150 バスシステム
1110 顔特徴抽出モジュール
1130 顔動作解析モジュール
1131 特徴データ取得ユニット
1133 動作解析ユニット
1150 画像処理モジュール
Claims (22)
- 顔画像処理方法であって、
顔画像から顔器官に対応する顔特徴点を抽出するステップと、
前記顔器官に対応する前記顔特徴点の間の距離を計算するステップと、
前記顔特徴点の間の前記距離に従って異なる位置の前記顔器官の特徴パラメータを計算するステップと、
前記特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、前記顔器官が前記顔画像内に前記顔動作を形成すると決定するステップとを含み、
前記顔特徴点の間の前記距離に従って異なる位置の前記顔器官の特徴パラメータを計算するステップは、
前記顔器官に対応する複数の特徴点の間の距離に従って、異なる位置における前記顔器官のサイズを示す特徴パラメータを計算するステップを含み、
前記特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、前記顔器官が前記顔画像内に前記顔動作を形成すると決定するステップは、
第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合に、前記顔画像は前記顔器官によって形成される顔動作を含むと決定するステップを含み、
さらに、前記顔特徴点は、複数の唇特徴点を含み、
前記顔器官に対応する複数の特徴点の間の距離に従って、異なる位置における前記顔器官のサイズを示す特徴パラメータを計算する前記ステップは、
前記複数の唇特徴点の間の距離に従って唇が開いた間隔と唇の厚さとを計算するステップを含み、
第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合に、前記顔画像は前記顔器官によって形成される顔動作を含むと決定する前記ステップは、
前記唇を開いた間隔と前記唇の厚さとの比が第1のプリセット閾値以上である場合、顔画像は、口を開く動作を含むと決定するステップを含む顔画像処理方法。 - 前記複数の唇特徴点は、上唇の下側エッジ中心と下唇の上側および下側エッジ中心とを含み、
前記複数の唇特徴点の間の距離に従って唇が開いた間隔と唇の厚さとを計算する前記ステップは、
前記上唇の前記下側エッジ中心と前記下唇の前記上側エッジ中心との間の距離を、前記唇を開いた間隔として計算するステップと、
前記下唇の前記上側エッジ中心と前記下側エッジ中心との間の距離を、前記唇の厚さとして計算するステップとを含む請求項1に記載の顔画像処理方法。 - 前記顔特徴点は、複数の唇特徴点を含み、
前記顔器官に対応する複数の特徴点の間の距離に従って、異なる位置における前記顔器官のサイズを示す特徴パラメータを計算する前記ステップは、
前記複数の唇特徴点の間の距離に従って口の厚さと口の幅とを計算するステップを含み、
第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合に、前記顔画像は前記顔器官によって形成される顔動作を含むと決定する前記ステップは、
前記口の厚さと前記口の幅との比が第2のプリセット閾値以上である場合、前記顔画像は、キスをする動作を含むと決定するステップを含み、前記第2のプリセット閾値は1未満である請求項1に記載の顔画像処理方法。 - 前記複数の唇特徴点は、左口角、右口角、上唇の上側エッジ中心、および下唇の下側エッジ中心を含み、
前記複数の唇特徴点の間の距離に従って口の厚さと口の幅とを計算する前記ステップは、
前記上唇の前記上側エッジ中心と前記下唇の前記下側エッジ中心との間の距離を、前記口の厚さとして計算するステップと、
前記左口角と前記右口角との間の距離を、前記口の幅として計算するステップとを含む請求項3に記載の顔画像処理方法。 - 前記方法は、
顔画像の複数のフレーム上で特徴抽出を別々に実行し、顔画像の各フレーム内の顔特徴に対応する複数の顔特徴点を取得するステップと、
顔画像の各フレーム内の前記顔器官の複数の顔特徴点の間の距離に従って前記特徴パラメータを決定するステップであって、前記特徴パラメータは顔画像の前記複数のフレームの間に生じる前記顔器官の位置の変化を指示する、ステップと、
顔画像の前記複数のフレームの間に生じる前記顔器官の前記位置の前記変化が前記顔器官が顔動作を形成したときの変化に対するプリセット条件を満たしている場合に、前記顔器官は前記顔画像内で前記顔動作を形成すると決定するステップと、をさらに含む請求項1に記載の顔画像処理方法。 - 前記顔特徴点は、眉特徴点と目特徴点とをさらに含み、
顔画像の各フレーム内の前記顔器官の複数の顔特徴点の間の距離に従って前記特徴パラメータを決定する前記ステップは、
顔画像の各フレーム内の眉特徴点と目特徴点との間の距離に従って、眉と目との間の間隔と、顔画像の前記複数のフレームの間の前記間隔の変化量とを計算するステップを含み、
顔画像の前記複数のフレームの間に生じる前記距離の前記変化が前記顔器官が顔動作を形成したときの変化に対するプリセット条件を満たしている場合に、前記顔器官は顔画像の前記複数のフレーム内で前記顔動作を形成すると決定する前記ステップは、
顔画像の前記複数のフレーム内の前記眉と前記目との間の前記間隔の前記変化量が第3のプリセット閾値を超えた場合に、顔画像の前記複数のフレームは眉をつり上げる動作を含むと決定するステップを含む請求項5に記載の顔画像処理方法。 - 前記眉特徴点は眉尻を含み、前記目特徴点は前記眉尻の同じ側にある目の外側目尻および下側エッジ中心を含み、
眉特徴点と目特徴点との間の距離に従って、眉と目との間の間隔を計算する前記ステップは、
前記眉尻と同じ側の前記目の前記下側エッジ中心との間の第1の眉と目との間の間隔を計算するステップと、
前記眉尻と前記同じ側の前記外側目尻との間の第2の眉と目との間の間隔を計算するステップとを含み、
顔画像の前記複数のフレームの間に生じる前記距離の前記変化が前記顔器官が顔動作を形成したときの距離変化に対するプリセット条件を満たしている場合に、前記顔器官は前記顔画像内で前記顔動作を形成すると決定する前記ステップは、
顔画像の前記複数のフレーム内の第1の眉と目との間の間隔と前記第2の眉と目との間の間隔との比の差が第3のプリセット閾値を超えた場合に、顔画像の前記複数のフレームは眉をつり上げる動作を含むと決定するステップを含む請求項6に記載の顔画像処理方法。 - 前記顔特徴点は、目特徴点をさらに含み、
顔画像の各フレーム内の前記顔器官の複数の顔特徴点の間の距離に従って前記特徴パラメータを決定する前記ステップは、
顔画像の各フレーム内の複数の目特徴点の間の距離に従って目を開いた間隔を計算し、前記目を開いた間隔に従って、前記顔画像が目を開けたまたは目を閉じた状態を含むと決定するステップを含み、
前記特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、前記顔器官が前記顔画像内に前記顔動作を形成すると決定するステップは、
代替的に目を開いたおよび目を閉じた状態を含む顔画像が顔画像の前記複数のフレーム内に存在する場合に、顔画像の前記複数のフレームは目を瞬きする動作を含むと決定するステップを含む請求項5に記載の顔画像処理方法。 - 前記複数の目特徴点は、任意の同じ側にある目の上側および下側エッジ中心ならびに外側目尻を含み、
複数の目特徴点の間の距離に従って目を開いた間隔を計算し、前記目を開いた間隔に従って、前記顔画像が目を開けたまたは目を閉じた状態を含むと決定する前記ステップは、
前記目の前記上側および下側エッジ中心の間の距離を、前記目を開いた間隔として計算するステップと、
前記目の前記下側エッジ中心と前記外側目尻との間の距離を、目の幅として計算するステップと、
前記顔画像内の前記目を開いた間隔が前記目の幅の半分よりも大きい場合に、顔画像の前記複数のフレームが目を開いている状態を含むと決定し、
そうでない場合に、顔画像の前記複数のフレームは目を閉じている状態を含むと決定するステップとを含む請求項8に記載の顔画像処理方法。 - 前記顔特徴点は、鼻特徴点と顔エッジ特徴点とをさらに含み、
顔画像の各フレーム内の前記顔器官の複数の顔特徴点の間の距離に従って前記特徴パラメータを決定する前記ステップは、
両側の前記鼻特徴点と前記顔エッジ特徴点との間の距離に従って左の顔の幅および右の顔の幅を計算するステップと、
前記左の顔の幅および前記右の顔の幅に従って、前記顔画像は左の顔または右の顔を含むと決定するステップとを含み、
顔画像の前記複数のフレームの間に生じる前記距離の前記変化が前記顔器官が顔動作を形成したときの変化に対するプリセット条件を満たしている場合に、前記顔器官は前記顔画像内で前記顔動作を形成すると決定する前記ステップは、
前記左の顔を含む顔画像および前記右の顔を含む顔画像が顔画像の前記複数のフレーム内に存在する場合に、顔画像の前記複数のフレームは頭を振る動作を含むと決定するステップを含む請求項5に記載の顔画像処理方法。 - 前記鼻特徴点は鼻尖を含み、前記顔エッジ特徴点は顔左外側エッジ中心と、顔右外側エッジ中心とを含み、
両側の前記鼻特徴点と前記顔エッジ特徴点との間の距離に従って左の顔の幅および右の顔の幅を計算し、前記左の顔の幅および前記右の顔の幅に従って、前記顔画像は左の顔または右の顔を含むと決定するステップは、
前記鼻尖と前記顔左外側エッジ中心との間の距離を前記左の顔の幅として計算するステップと、
前記鼻尖と前記顔右外側エッジ中心との間の距離を前記右の顔の幅として計算するステップと、
前記顔画像内の前記左の顔の幅と前記右の顔の幅との比が第4のプリセット閾値よりも小さい場合に、前記顔画像は前記右の顔を含むと決定し、前記比が前記第4のプリセット閾値よりも大きい場合、前記顔画像は前記左の顔を含み、第4のプリセット閾値は1未満である、と決定するステップとを含む請求項10に記載の顔画像処理方法。 - 顔画像の前記複数のフレームは、指定された時間長で連続してキャプチャされた顔画像である請求項5に記載の顔画像処理方法。
- 前記顔器官によって形成される顔動作に対応するマップを前記顔画像の上に配置されているマップ層に追加するステップ、および
前記顔器官に対して対応する特殊効果変形処理を実行するステップのうちの少なくとも一方をさらに含む請求項1から12のいずれか一項に記載の顔画像処理方法。 - 顔画像処理装置であって、
顔画像から顔器官に対応する顔特徴点を抽出するように構成されている、顔特徴抽出モジュールと、
前記顔器官に対応する前記顔特徴点の間の距離を計算するように構成されている、顔動作解析モジュールとを備え、
前記顔特徴点は、複数の唇特徴点を含み、
前記顔動作解析モジュールは、
前記複数の唇特徴点の間の距離に従って唇が開いた間隔と唇の厚さとを計算するように構成されている特徴データ計算ユニットと、
前記唇を開いた間隔と前記唇の厚さとの比が第1のプリセット閾値以上である場合、前記顔画像は、口を開く動作を含むと決定するように構成されている動作解析ユニットと、を含む、顔画像処理装置。 - 前記顔特徴点は、複数の唇特徴点を含み、
前記顔動作解析モジュールは、
前記複数の唇特徴点の間の距離に従って口の厚さと口の幅とを計算するように構成されている特徴データ計算ユニットと、
前記口の厚さと前記口の幅との比が第2のプリセット閾値以上である場合、前記顔画像はキスをする動作を含み、前記第2のプリセット閾値は1未満である、と決定するように構成されている動作解析ユニットとを備える請求項14に記載の顔画像処理装置。 - 前記顔特徴抽出モジュールは、
顔画像の複数のフレーム上で特徴抽出を別々に実行し、顔画像の各フレーム内の顔特徴に対応する複数の顔特徴点を取得するように構成され、
前記顔動作解析モジュールは、顔画像の各フレーム内の前記顔器官の複数の顔特徴点の間の距離に従って前記特徴パラメータを決定し、前記特徴パラメータは顔画像の前記複数のフレームの間に生じる前記顔器官の位置の変化を指示する、ように特に構成され、
前記顔動作解析モジュールは、顔画像の前記複数のフレームの間に生じる前記顔器官の前記位置の前記変化が前記顔器官が顔動作を形成したときの変化に対するプリセット条件を満たしている場合に、前記顔器官は前記顔画像内で前記顔動作を形成すると決定するように特に構成される請求項14に記載の顔画像処理装置。 - 前記複数の顔特徴点は、眉特徴点と目特徴点とをさらに含み、
前記顔動作解析モジュールは、
眉特徴点と目特徴点との間の距離に従って、眉と目との間の間隔と、顔画像の前記複数のフレームの間の前記間隔の変化量とを計算するように構成されている特徴データ計算ユニットと、
顔画像の前記複数のフレーム内の前記眉と前記目との間の前記間隔の前記変化量が第3のプリセット閾値を超えた場合に、顔画像の前記複数のフレームは眉をつり上げる動作を含むと決定するように構成されている動作解析ユニットとを備える請求項16に記載の顔画像処理装置。 - 前記複数の顔特徴点は、目特徴点をさらに含み、
前記顔動作解析モジュールは、
複数の目特徴点の間の距離に従って目を開いた間隔を計算するように構成されている特徴データ計算ユニットと、
顔画像の各フレーム内の前記目を開いた間隔に従って、前記顔画像が目を開けたまたは目を閉じた状態を含むと決定し、代替的に目を開いたおよび目を閉じた状態を含む顔画像が顔画像の前記複数のフレーム内に存在する場合に、顔画像の前記複数のフレームは目を瞬きする動作を含むと決定するように構成されている動作解析ユニットとを備える請求項16に記載の顔画像処理装置。 - 前記複数の顔特徴点は、鼻特徴点と顔エッジ特徴点とをさらに含み、
前記顔動作解析モジュールは、
両側の前記鼻特徴点と前記顔エッジ特徴点との間の距離に従って左の顔の幅および右の顔の幅を別々に計算するように構成されている特徴データ計算ユニットと、
前記左の顔の幅および前記右の顔の幅に従って、前記顔画像は左の顔または右の顔を含むと決定し、前記左の顔を含む顔画像および前記右の顔を含む顔画像が存在する場合に、顔画像の前記複数のフレームは頭を振る動作を含むと決定するように構成されている動作解析ユニットとを備える請求項16に記載の顔画像処理装置。 - 画像処理モジュールであって、
前記顔器官によって形成される顔動作に対応するマップを前記顔画像の上に配置されているマップ層に追加するステップ、および
前記顔器官に対して対応する特殊効果変形処理を実行するステップのうちの少なくとも一方を実行するように構成されている画像処理モジュールをさらに備える請求項14から19のいずれか一項に記載の顔画像処理装置。 - 顔画像処理装置であって、
実行可能プログラムを記憶するように構成されているメモリと、
前記メモリ内に記憶されている前記実行可能プログラムを実行することによって、請求項1〜13のいずれか1項に記載の顔画像処理方法を実現するように構成されるプロセッサとを備える顔画像処理装置。 - 実行可能プログラムを記憶する記憶媒体であって、前記実行可能プログラムは、プロセッサによって実行されたときに、請求項1〜13のいずれか1項に記載の顔画像処理方法を実現する記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610293280.9A CN105975935B (zh) | 2016-05-04 | 2016-05-04 | 一种人脸图像处理方法和装置 |
CN201610293280.9 | 2016-05-04 | ||
PCT/CN2017/082776 WO2017190646A1 (zh) | 2016-05-04 | 2017-05-02 | 一种人脸图像处理方法和装置、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019504386A JP2019504386A (ja) | 2019-02-14 |
JP6636154B2 true JP6636154B2 (ja) | 2020-01-29 |
Family
ID=56992590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018526870A Active JP6636154B2 (ja) | 2016-05-04 | 2017-05-02 | 顔画像処理方法および装置、ならびに記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10783354B2 (ja) |
EP (1) | EP3454250B1 (ja) |
JP (1) | JP6636154B2 (ja) |
KR (1) | KR102045695B1 (ja) |
CN (1) | CN105975935B (ja) |
WO (1) | WO2017190646A1 (ja) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975935B (zh) | 2016-05-04 | 2019-06-25 | 腾讯科技(深圳)有限公司 | 一种人脸图像处理方法和装置 |
CN108108651B (zh) * | 2016-11-25 | 2022-02-11 | 广东亿迅科技有限公司 | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 |
CN107045744A (zh) * | 2017-04-14 | 2017-08-15 | 特斯联(北京)科技有限公司 | 一种智能别墅门禁认证方法及系统 |
CN107633205B (zh) * | 2017-08-17 | 2019-01-18 | 平安科技(深圳)有限公司 | 嘴唇动作分析方法、装置及存储介质 |
CN107679449B (zh) * | 2017-08-17 | 2018-08-03 | 平安科技(深圳)有限公司 | 嘴唇动作捕捉方法、装置及存储介质 |
CN107707839A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法及装置 |
CN107909055A (zh) * | 2017-11-30 | 2018-04-13 | 西安科锐盛创新科技有限公司 | 眼睛状态检测方法 |
CN108008815B (zh) * | 2017-11-30 | 2021-05-25 | 永目堂股份有限公司 | 基于眼睛状态识别技术的人机交互方法 |
CN108205822B (zh) * | 2017-12-13 | 2020-09-08 | 中兴通讯股份有限公司 | 贴图方法及装置 |
CN108259496B (zh) | 2018-01-19 | 2021-06-04 | 北京市商汤科技开发有限公司 | 特效程序文件包的生成及特效生成方法与装置、电子设备 |
CN108280883B (zh) | 2018-02-07 | 2021-05-04 | 北京市商汤科技开发有限公司 | 变形特效程序文件包的生成及变形特效生成方法与装置 |
CN108388434B (zh) * | 2018-02-08 | 2021-03-02 | 北京市商汤科技开发有限公司 | 特效程序文件包的生成及特效生成方法与装置、电子设备 |
CN108446658A (zh) * | 2018-03-28 | 2018-08-24 | 百度在线网络技术(北京)有限公司 | 用于识别人脸图像的方法和装置 |
CN108259768B (zh) * | 2018-03-30 | 2020-08-04 | Oppo广东移动通信有限公司 | 图像的选取方法、装置、存储介质及电子设备 |
WO2019205016A1 (en) * | 2018-04-25 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for nod action recognition based on facial feature points |
CN111033508B (zh) * | 2018-04-25 | 2020-11-20 | 北京嘀嘀无限科技发展有限公司 | 一种识别身体运动的系统和方法 |
CN108711180B (zh) * | 2018-05-02 | 2021-08-06 | 北京市商汤科技开发有限公司 | 美妆和/或换脸特效程序文件包的生成及美妆和/或换脸特效生成方法与装置 |
CN109035373B (zh) * | 2018-06-28 | 2022-02-01 | 北京市商汤科技开发有限公司 | 三维特效程序文件包的生成及三维特效生成方法与装置 |
CN108986227B (zh) * | 2018-06-28 | 2022-11-29 | 北京市商汤科技开发有限公司 | 粒子特效程序文件包的生成及粒子特效生成方法与装置 |
CN108921143A (zh) * | 2018-08-22 | 2018-11-30 | 北京慕华信息科技有限公司 | 一种面部仪态的评估方法及装置 |
CN109034117B (zh) * | 2018-08-22 | 2020-11-17 | 北京慕华信息科技有限公司 | 一种视频提取方法及装置 |
CN110956061B (zh) * | 2018-09-27 | 2024-04-16 | 北京市商汤科技开发有限公司 | 动作识别方法及装置、驾驶员状态分析方法及装置 |
CN111091028A (zh) * | 2018-10-23 | 2020-05-01 | 北京嘀嘀无限科技发展有限公司 | 摇头动作识别方法、装置及存储介质 |
CN109395387B (zh) * | 2018-12-07 | 2022-05-20 | 腾讯科技(深圳)有限公司 | 三维模型的显示方法、装置、存储介质及电子装置 |
CN109547696B (zh) * | 2018-12-12 | 2021-07-30 | 维沃移动通信(杭州)有限公司 | 一种拍摄方法及终端设备 |
CN109803165A (zh) * | 2019-02-01 | 2019-05-24 | 北京达佳互联信息技术有限公司 | 视频处理的方法、装置、终端及存储介质 |
CN109885231B (zh) * | 2019-02-27 | 2021-07-02 | 北京市商汤科技开发有限公司 | 显示方法及装置、电子设备及存储介质 |
CN111725185A (zh) * | 2019-03-04 | 2020-09-29 | 苏州多感科技有限公司 | 图像传感器及其制备方法、图像识别方法、电子设备 |
CN109934766B (zh) * | 2019-03-06 | 2021-11-30 | 北京市商汤科技开发有限公司 | 一种图像处理方法及装置 |
CN110069996A (zh) * | 2019-03-22 | 2019-07-30 | 北京字节跳动网络技术有限公司 | 头部动作识别方法、装置和电子设备 |
CN109977868A (zh) * | 2019-03-26 | 2019-07-05 | 深圳市商汤科技有限公司 | 图像渲染方法及装置、电子设备和存储介质 |
CN109859299B (zh) * | 2019-03-27 | 2020-12-22 | 腾讯科技(深圳)有限公司 | 人像图片处理方法、装置、计算机可读存储介质和计算机设备 |
CN110188712B (zh) * | 2019-06-03 | 2021-10-12 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
JP7353556B2 (ja) * | 2019-12-26 | 2023-10-02 | サンスター株式会社 | 咀嚼支援システム |
CN111242090B (zh) * | 2020-01-22 | 2023-06-23 | 腾讯科技(深圳)有限公司 | 基于人工智能的人脸识别方法、装置、设备及介质 |
TWI736116B (zh) * | 2020-01-22 | 2021-08-11 | 中國醫藥大學 | 臉部特徵長度量測方法及其裝置 |
CN111340688B (zh) * | 2020-02-24 | 2023-08-11 | 网易(杭州)网络有限公司 | 一种闭眼图像的生成方法和装置 |
WO2021232209A1 (zh) * | 2020-05-18 | 2021-11-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备、可移动平台和存储介质 |
KR102539135B1 (ko) * | 2020-06-10 | 2023-06-01 | 재단법인대구경북과학기술원 | 안면 마스크 제어 모듈 및 광 조사 시스템 |
CN111832512A (zh) * | 2020-07-21 | 2020-10-27 | 虎博网络技术(上海)有限公司 | 表情检测方法和装置 |
KR102293108B1 (ko) | 2020-11-23 | 2021-08-25 | 주식회사 알리아스 | 화장자의 영상 이미지 추출 및 얼굴 투영 시스템 |
CN112926539A (zh) * | 2021-04-07 | 2021-06-08 | 北京字跳网络技术有限公司 | 图像处理方法、装置和电子设备 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002031772A2 (en) * | 2000-10-13 | 2002-04-18 | Erdem Tanju A | Method for tracking motion of a face |
EP1650711B1 (en) * | 2003-07-18 | 2015-03-04 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
US8965762B2 (en) * | 2007-02-16 | 2015-02-24 | Industrial Technology Research Institute | Bimodal emotion recognition method and system utilizing a support vector machine |
TWI365416B (en) * | 2007-02-16 | 2012-06-01 | Ind Tech Res Inst | Method of emotion recognition and learning new identification information |
JP5219184B2 (ja) * | 2007-04-24 | 2013-06-26 | 任天堂株式会社 | トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 |
JP4999570B2 (ja) * | 2007-06-18 | 2012-08-15 | キヤノン株式会社 | 表情認識装置及び方法、並びに撮像装置 |
US8170298B2 (en) * | 2008-05-16 | 2012-05-01 | Arcsoft, Inc. | Method for detecting facial expression and repairing smile face of portrait photo |
JP2010027035A (ja) * | 2008-06-16 | 2010-02-04 | Canon Inc | 個人認証装置及び個人認証方法 |
JP2010086178A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 画像合成装置およびその制御方法 |
JP5106355B2 (ja) * | 2008-11-13 | 2012-12-26 | キヤノン株式会社 | 表情判定装置、その制御方法、撮像装置及びプログラム |
JP4788786B2 (ja) * | 2009-02-09 | 2011-10-05 | 株式会社デンソー | 眠気検出装置,プログラムおよび眠気検出方法 |
KR100954835B1 (ko) * | 2009-08-04 | 2010-04-30 | 주식회사 크라스아이디 | 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템 |
JP2011192008A (ja) * | 2010-03-15 | 2011-09-29 | Zeta Bridge Corp | 画像処理システムおよび画像処理方法 |
TWI447658B (zh) * | 2010-03-24 | 2014-08-01 | Ind Tech Res Inst | 人臉影像擷取方法與裝置 |
CN102831382A (zh) * | 2011-06-15 | 2012-12-19 | 北京三星通信技术研究有限公司 | 人脸跟踪设备和方法 |
JP5894426B2 (ja) * | 2011-12-13 | 2016-03-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法 |
CN103369214A (zh) * | 2012-03-30 | 2013-10-23 | 华晶科技股份有限公司 | 图像获取方法与图像获取装置 |
CN103778360A (zh) * | 2012-10-26 | 2014-05-07 | 华为技术有限公司 | 一种基于动作分析的人脸解锁的方法和装置 |
JP6148064B2 (ja) * | 2013-04-30 | 2017-06-14 | セコム株式会社 | 顔認証システム |
CN106104633A (zh) * | 2014-03-19 | 2016-11-09 | 英特尔公司 | 面部表情和/或交互驱动的化身装置和方法 |
KR101571241B1 (ko) * | 2014-04-23 | 2015-11-23 | 한국 한의학 연구원 | 안면 표현형 결정 장치 및 방법 |
US10166477B2 (en) * | 2014-06-06 | 2019-01-01 | Sony Interactive Entertainment Inc. | Image processing device, image processing method, and image processing program |
WO2016101131A1 (en) * | 2014-12-23 | 2016-06-30 | Intel Corporation | Augmented facial animation |
CN105205457A (zh) * | 2015-09-10 | 2015-12-30 | 上海卓易科技股份有限公司 | 一种基于人脸识别的信息获取系统及方法 |
CN105975935B (zh) * | 2016-05-04 | 2019-06-25 | 腾讯科技(深圳)有限公司 | 一种人脸图像处理方法和装置 |
CN109697688B (zh) * | 2017-10-20 | 2023-08-04 | 虹软科技股份有限公司 | 一种用于图像处理的方法和装置 |
JP6888542B2 (ja) * | 2017-12-22 | 2021-06-16 | トヨタ自動車株式会社 | 眠気推定装置及び眠気推定方法 |
-
2016
- 2016-05-04 CN CN201610293280.9A patent/CN105975935B/zh active Active
-
2017
- 2017-05-02 EP EP17792472.7A patent/EP3454250B1/en active Active
- 2017-05-02 WO PCT/CN2017/082776 patent/WO2017190646A1/zh active Application Filing
- 2017-05-02 JP JP2018526870A patent/JP6636154B2/ja active Active
- 2017-05-02 KR KR1020187012907A patent/KR102045695B1/ko active IP Right Grant
-
2018
- 2018-04-13 US US15/952,546 patent/US10783354B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10783354B2 (en) | 2020-09-22 |
EP3454250A4 (en) | 2020-02-26 |
US20180232561A1 (en) | 2018-08-16 |
JP2019504386A (ja) | 2019-02-14 |
WO2017190646A1 (zh) | 2017-11-09 |
EP3454250A1 (en) | 2019-03-13 |
CN105975935A (zh) | 2016-09-28 |
EP3454250B1 (en) | 2024-01-03 |
CN105975935B (zh) | 2019-06-25 |
KR102045695B1 (ko) | 2019-11-15 |
KR20180066160A (ko) | 2018-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6636154B2 (ja) | 顔画像処理方法および装置、ならびに記憶媒体 | |
CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
CN109325437B (zh) | 图像处理方法、装置和系统 | |
CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
KR102304674B1 (ko) | 얼굴 표정 합성 방법과 장치, 전자 기기, 및 저장 매체 | |
WO2022134337A1 (zh) | 人脸遮挡检测方法、系统、设备及存储介质 | |
US11043011B2 (en) | Image processing method, apparatus, terminal, and storage medium for fusing images of two objects | |
US10269175B2 (en) | Three dimensional content generating apparatus and three dimensional content generating method thereof | |
WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
CN108198130B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US11308655B2 (en) | Image synthesis method and apparatus | |
CN105184249A (zh) | 用于人脸图像处理的方法和装置 | |
CN109147024A (zh) | 基于三维模型的表情更换方法和装置 | |
WO2018094653A1 (zh) | 一种用户头发模型的重建方法、装置及终端 | |
CN107749062B (zh) | 图像处理方法、及装置 | |
CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
CN110858277A (zh) | 一种获得姿态分类模型的方法以及装置 | |
US20160110909A1 (en) | Method and apparatus for creating texture map and method of creating database | |
KR101791604B1 (ko) | 헤드 포지션 추정 방법 및 장치, 컴퓨터 판독가능 저장 매체 | |
JP6661082B2 (ja) | 画像認識装置、及び画像認識プログラム | |
JP7385416B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム | |
CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
CN113837018B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
CN113781330A (zh) | 图像处理方法、装置及电子系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190624 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6636154 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |