JP5879188B2 - 顔表情解析装置および顔表情解析プログラム - Google Patents
顔表情解析装置および顔表情解析プログラム Download PDFInfo
- Publication number
- JP5879188B2 JP5879188B2 JP2012099904A JP2012099904A JP5879188B2 JP 5879188 B2 JP5879188 B2 JP 5879188B2 JP 2012099904 A JP2012099904 A JP 2012099904A JP 2012099904 A JP2012099904 A JP 2012099904A JP 5879188 B2 JP5879188 B2 JP 5879188B2
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- image feature
- analysis
- unit
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims description 601
- 238000010195 expression analysis Methods 0.000 title claims description 109
- 238000004458 analytical method Methods 0.000 claims description 178
- 238000011156 evaluation Methods 0.000 claims description 91
- 239000013598 vector Substances 0.000 claims description 89
- 238000000034 method Methods 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 34
- 230000001815 facial effect Effects 0.000 claims description 32
- 230000007935 neutral effect Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 29
- 238000007621 cluster analysis Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012706 support-vector machine Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 description 115
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 101100477520 Homo sapiens SHOX gene Proteins 0.000 description 1
- 102000048489 Short Stature Homeobox Human genes 0.000 description 1
- 108700025071 Short Stature Homeobox Proteins 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
そこで、本発明は、上記の問題を解決するためになされたものであり、中立的な顔表情の分類を容易にするとともに、顔表情分類の精度を高めることができる、顔表情解析装置および顔表情解析プログラムを提供することを目的とする。
[3]上記[1]または[2]記載の顔表情解析装置において、前記顔表情強度評価部は、前記顔表情評価部が生成した前記顔表情種別情報に対応する境界面から前記第1の顔画像特徴ベクトルまでの距離である前記顔表情強度値を計算することを特徴とする。
[4]上記[1]から[3]いずれか一項記載の顔表情解析装置において、前記第1の境界面は、顔表情の種類別に、顔表情の度合がそれぞれ異なる顔表情教師データの集合に前記顔表情の種類を示すラベルを対応付けて構成した顔表情教師データ群から取得した複数の顔表情教師データそれぞれの解析領域について画像特徴量を計算し、前記複数の顔表情教師データ分の画像特徴量をクラスタ分析し、前記顔表情の種類ごとの集合における前記顔表情の度合が最小および最大である顔表情教師データそれぞれに対応する画像特徴量を、前記クラスタ分析の結果であるクラスタに分類することによって得られる顔画像特徴ベクトルを適用したサポートベクトルマシンにより計算されることを特徴とする。
[5]上記[4]記載の顔表情解析装置において、前記第2の境界面は、前記複数の顔表情教師データの全てまたは一部の顔表情教師データそれぞれに対応する画像特徴量を、前記クラスタに分類することによって得られる顔画像特徴ベクトルを適用したサポートベクトルマシンにより計算されることを特徴とする。
[6]上記[1]から[5]いずれか一項記載の顔表情解析装置において、前記顔領域抽出部は、前記解析領域を複数の解析部分領域に分割し、前記画像特徴量計算部は、前記複数の解析部分領域それぞれの画像特徴量を計算し、前記顔表情強度評価部は、前記複数の解析部分領域それぞれの画像特徴量に対して前記第1のクラスタ分類処理を実行し、各分類結果を連結することによって前記第1の顔画像特徴ベクトルを生成し、前記顔表情評価部は、前記複数の解析部分領域それぞれの画像特徴量に対して前記第2のクラスタ分類処理を実行し、各分類結果を連結することによって前記第2の顔画像特徴ベクトルを生成することを特徴とする。
[7]上記[1]から[6]いずれか一項記載の顔表情解析装置において、前記顔表情評価部は、複数フレーム分の画像データを含む所定区間ごとに、顔表情種別ごとの顔表情強度値の総和を計算し、総和値が最大となる顔表情種別を示す顔表情種別情報を生成することを特徴とする。
[8]上記[7]記載の顔表情解析装置において、前記顔表情評価部は、前記複数フレームよりも少ないフレーム数おきに、前記所定区間を前記フレーム数分ずらすことを特徴とする。
[第1の実施の形態]
図1は、本発明の第1実施形態である顔表情解析装置の機能構成を示すブロック図である。同図に示すように、顔表情解析装置1は、画像データ取得部10と、顔領域抽出部20と、画像特徴量分析部(画像特徴量計算部)30と、顔表情強度評価部40と、顔表情評価部50と、モード切替部60とを備える。
なお、モード切替部60は、例えば、操作者による顔表情解析装置1の切替操作にしたがって、機械学習モードと顔表情解析モードとを切り替えてもよい。
顔領域抽出部20は、その機能構成として、顔領域検出部21と、解析領域決定部22とを備える。
なお、公知の顔検出アルゴリズムについては、例えば、PAUL VIOLA, MICHAEL J. JONES, "Robust Real-Time Face Detection", International Journal of Computer Vision, 2004, Vol. 57, No. 2, pp. 137-154に、詳細が開示されている。
顔表情強度評価部40は、その機能構成として、機械学習部41と、顔表情強度値計算部42とを備える。
顔表情評価部50は、その機能構成として、機械学習部51と、顔表情分類部52とを備える。
具体的に、顔表情分類部52は、顔表情強度値とあらかじめ保有する閾値とを比較する。そして、顔表情分類部52は、顔表情強度値が閾値以下である場合、解析領域における顔表情がニュートラル顔表情であると判定し、顔表情強度値が閾値を超える場合、解析領域における顔表情が非ニュートラル顔表情であると判定する。そして、顔表情分類部52は、顔表情種別がニュートラル顔表情であると判定した場合、ニュートラル顔表情を示す情報を含めた顔表情種別情報を生成する。一方、顔表情分類部52は、顔表情種別がニュートラル顔表情でないと判定した場合、各境界面に対する顔画像特徴ベクトルの位置を判定して分類を絞り込むことによって顔表情種別情報を生成する。
なお、機械学習部41は、下部解析領域における画像特徴量のヒストグラムの後に、上部解析領域における画像特徴量のヒストグラムを連結して解析領域全体のヒストグラムを得てもよい。
図6は、顔表情教師データの顔画像特徴ベクトルが2クラスに分類された様子を示すサポートベクトルマシンの概念図である。便宜上、同図は、顔画像特徴ベクトルの次元数を“2”とした場合を示している。2クラスとは、「ニュートラル顔表情」のクラスおよび「ピーク顔表情」のクラスである。また、同図に示した8個の顔画像(顔表情教師データの顔画像)および1個の顔画像(顔画像特徴ベクトルXに対応する評価画像データの顔画像)のそれぞれは、顔画像特徴ベクトルに対応する顔の表情を視覚化したものであり、各顔画像が配置された位置は、特徴ベクトル空間(ここでは、特徴ベクトル平面)における顔画像特徴ベクトルの位置を示すものである。
同図において、8個の顔表情教師データの顔画像それぞれの顔画像特徴ベクトルは、境界面Hによってニュートラル顔表情のクラスAと、ピーク顔表情のクラスBとに分類される。
ステップS1において、モード切替部60は、機械学習モードに設定する。
次に、ステップS2において、画像データ取得部10は、外部の顔表情教師データベースに格納された複数の顔表情教師データから一つの顔表情教師データを取り込み、この顔表情教師データを顔領域抽出部20に供給する。
具体的に、顔領域検出部21は、取り込んだ画像データに対して顔検出処理を実行し、その画像データから人物の顔領域を検出する。
次に、解析領域決定部22は、顔領域検出部21が検出した顔領域データを所定画素サイズ(例えば、水平方向128画素×垂直方向128画素)に正規化する。
次に、解析領域決定部22は、正規化顔領域データから解析領域を抽出し、この解析領域から二つの解析部分領域(上部解析領域および下部解析領域)を決定する。
具体的に、機械学習部41は、複数の顔表情教師データ分の画像特徴量についてクラスタ分析(例えば、K平均法のクラスタリング)を実行する。次に、機械学習部41は、顔表情の種類ごとの顔表情教師データの集合における顔表情の度合が最小および最大である顔表情教師データそれぞれに対応する画像特徴量を、クラスタに分類してヒストグラムを生成(クラスタ分類)することにより、顔画像特徴ベクトルを生成する。
具体的に、機械学習部51は、複数の顔表情教師データの全てまたは一部の顔表情教師データから得られた各解析領域の画像特徴量を、機械学習部41が実行したクラスタ分析の結果であるクラスタに分類してヒストグラムを生成(クラスタ分類)することにより、顔画像特徴ベクトルを生成する。
ステップS21において、モード切替部60は、顔表情解析モードに設定する。
次に、ステップS22において、画像データ取得部10は、例えば、撮影装置または記録装置が供給する評価画像データを取り込み、この評価画像データを顔領域抽出部20に供給する。
具体的に、顔領域検出部21は、取り込んだ評価画像データに対して顔検出処理を実行し、その評価画像データから人物の顔領域を検出する。
次に、解析領域決定部22は、顔領域検出部21が検出した顔領域データを所定画素サイズ(例えば、水平方向128画素×垂直方向128画素)に正規化する。
次に、解析領域決定部22は、正規化顔領域データから解析領域を抽出し、この解析領域から二つの解析部分領域(上部解析領域および下部解析領域)を決定する。
具体的に、顔表情強度値計算部42は、機械学習部41が実行したクラスタ分析の結果であるクラスタに画像特徴量を分類(第1のクラスタ分類処理)して、顔画像特徴ベクトル(第1の顔画像特徴ベクトル)を生成する。
具体的に、顔表情分類部52は、機械学習部41が実行したクラスタ分析の結果であるクラスタに画像特徴量を分類(第2のクラスタ分類処理)して、顔画像特徴ベクトル(第2の顔画像特徴ベクトル)を生成する。
具体的に、顔表情分類部52は、顔表情強度値とあらかじめ決定された閾値とを比較する。そして、顔表情分類部52は、顔表情強度値が閾値以下である場合、解析領域における顔表情がニュートラル顔表情であると判定し、顔表情強度値が閾値を超える場合、解析領域における顔表情が非ニュートラル顔表情であると判定する。次に、顔表情分類部52は、顔表情種別がニュートラル顔表情であると判定した場合、ニュートラル顔表情を示す情報を含めた顔表情種別情報を生成する。一方、顔表情分類部52は、顔表情種別がニュートラル顔表情でないと判定した場合、各境界面に対する顔画像特徴ベクトルの位置を判定して分類を絞り込むことによって顔表情種別情報を生成する。
図9は、本発明の第2実施形態である顔表情解析装置の機能構成を示すブロック図である。上述した第1実施形態における顔表情解析装置1と同一の構成については、同一の符号を付してその説明を省略する。同図に示すように、顔表情解析装置1aは、顔表情解析装置1から、顔表情強度評価部40および顔表情評価部50を、顔表情強度評価部40aおよび顔表情評価部50aに変更した構成を有する。
顔表情強度評価部40aは、その機能構成として、機械学習部41aと、顔表情強度値計算部42aとを備える。
顔表情解析装置1aが顔表情解析モードに設定されているとき、顔表情分類部52aは、第1実施形態における顔表情分類部52と同様に顔表情種別情報を生成する。そして、顔表情分類部52aは、生成した顔表情種別情報を出力するとともに顔表情強度評価部40aに供給する。
前述した第1実施形態である顔表情解析装置1を顔表情解析モードに設定し、動画像データを供給して顔表情解析処理を実行させた場合、顔表情解析装置1が生成する、一連のキーフレームそれぞれの顔表情種別情報に、周囲と異なる種類の顔表情種別情報が突発的に現出する場合がある。周囲と異なる種類の顔表情種別情報が突発的に現出する原因は、例えば、人物顔を撮影する際の照明による影やカメラに対する顔の向き等が顔表情に影響したり、顔表情強度値のばらつきが影響したりすることである。
本発明の第3実施形態である顔表情解析装置は、この突発的に現出する顔表情種別情報をノイズとみなして除去する。
顔表情解析装置1の顔表情強度評価部40における顔表情強度値計算部42は、複数フレーム分の画像データを含む区間(時間、フレーム数)ごとに、顔表情強度値の平均を計算し、平均値を当該区間における代表顔表情強度値とする。
上述した第3実施形態では、顔表情上解析装置1は、区間ごと(例えば、10フレームごと)に顔表情強度値および顔表情種別情報を得るものであった。
本発明の第3実施形態の変形例である顔表情解析装置は、上記の区間を時間方向にずらしながら顔表情強度値および顔表情種別情報を得る。
つまり、顔表情強度値計算部42は、一区間に含まれる複数フレームよりも少ないフレーム数おきに、当該区間をそのフレーム数分ずらし、顔表情強度値の平均を計算し、平均値を当該区間における代表顔表情強度値とする。
また、同図における中段のグラフおよび顔表情記号は、時刻(t2−tp)から時刻(t2+tf)までの区間を対象として、顔表情強度値計算部42が代表顔表情強度値を計算し、顔表情分類部52が代表顔種別を示す顔表情種別情報を生成することを示している。
また、同図における下段のグラフおよび顔表情記号は、時刻(t3−tp)から時刻(t3+tf)までの区間を対象として、顔表情強度値計算部42が代表顔表情強度値を計算し、顔表情分類部52が代表顔種別を示す顔表情種別情報を生成することを示している。
また、顔表情解析装置1,1aは、画像特徴量に対し第2のクラスタ分類処理を実行して第2の顔画像特徴ベクトルを生成し、顔画像特徴ベクトル空間においてあらかじめ決定された第2の境界面に対する第2の顔画像特徴ベクトルの位置関係と顔表情強度評価部40が計算した顔表情強度値とに基づき、解析領域に対応する顔表情種別を示す顔表情種別情報を生成する顔表情評価部50を備えた。
10 画像データ取得部
20 顔領域抽出部
21 顔領域検出部
22 解析領域決定部
30 画像特徴量分析部(画像特徴量計算部)
40,40a 顔表情強度評価部
41,41a 機械学習部
42,42a 顔表情強度値計算部
50,50a 顔表情評価部
51 機械学習部
52,52a 顔表情分類部
60 モード切替部
Claims (9)
- 画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ前記画像データから顔の解析領域を抽出する顔領域抽出部と、
前記顔領域抽出部が抽出した前記解析領域の画像特徴量を計算する画像特徴量計算部と、
前記画像特徴量計算部が計算した前記画像特徴量に対し第1のクラスタ分類処理を実行して第1の顔画像特徴ベクトルを生成し、顔画像特徴ベクトル空間においてあらかじめ決定された第1の境界面から前記第1の顔画像特徴ベクトルまでの距離である顔表情強度値を計算する顔表情強度評価部と、
前記画像特徴量に対し第2のクラスタ分類処理を実行して第2の顔画像特徴ベクトルを生成し、顔画像特徴ベクトル空間においてあらかじめ決定された第2の境界面に対する前記第2の顔画像特徴ベクトルの位置関係と前記顔表情強度評価部が計算した前記顔表情強度値とに基づき、前記解析領域に対応する顔表情種別を示す顔表情種別情報を生成する顔表情評価部と、
を備えることを特徴とする顔表情解析装置。 - 前記顔表情評価部は、前記顔表情強度値に基づいて、前記解析領域に対応する顔表情種別がニュートラル顔表情であるか否かを判定し、前記顔表情種別が前記ニュートラル顔表情でないと判定した場合、前記第2の境界面に対する前記第2の顔画像特徴ベクトルの位置関係に基づいて前記顔表情種別情報を生成する
ことを特徴とする請求項1記載の顔表情解析装置。 - 前記顔表情強度評価部は、前記顔表情評価部が生成した前記顔表情種別情報に対応する境界面から前記第1の顔画像特徴ベクトルまでの距離である前記顔表情強度値を計算する
ことを特徴とする請求項1または2記載の顔表情解析装置。 - 前記第1の境界面は、顔表情の種類別に、顔表情の度合がそれぞれ異なる顔表情教師データの集合に前記顔表情の種類を示すラベルを対応付けて構成した顔表情教師データ群から取得した複数の顔表情教師データそれぞれの解析領域について画像特徴量を計算し、前記複数の顔表情教師データ分の画像特徴量をクラスタ分析し、前記顔表情の種類ごとの集合における前記顔表情の度合が最小および最大である顔表情教師データそれぞれに対応する画像特徴量を、前記クラスタ分析の結果であるクラスタに分類することによって得られる顔画像特徴ベクトルを適用したサポートベクトルマシンにより計算される
ことを特徴とする請求項1から3いずれか一項記載の顔表情解析装置。 - 前記第2の境界面は、前記複数の顔表情教師データの全てまたは一部の顔表情教師データそれぞれに対応する画像特徴量を、前記クラスタに分類することによって得られる顔画像特徴ベクトルを適用したサポートベクトルマシンにより計算される
ことを特徴とする請求項4記載の顔表情解析装置。 - 前記顔領域抽出部は、前記解析領域を複数の解析部分領域に分割し、
前記画像特徴量計算部は、前記複数の解析部分領域それぞれの画像特徴量を計算し、
前記顔表情強度評価部は、前記複数の解析部分領域それぞれの画像特徴量に対して前記第1のクラスタ分類処理を実行し、各分類結果を連結することによって前記第1の顔画像特徴ベクトルを生成し、
前記顔表情評価部は、前記複数の解析部分領域それぞれの画像特徴量に対して前記第2のクラスタ分類処理を実行し、各分類結果を連結することによって前記第2の顔画像特徴ベクトルを生成する
ことを特徴とする請求項1から5いずれか一項記載の顔表情解析装置。 - 前記顔表情評価部は、複数フレーム分の画像データを含む所定区間ごとに、顔表情種別ごとの顔表情強度値の総和を計算し、総和値が最大となる顔表情種別を示す顔表情種別情報を生成する
ことを特徴とする請求項1から6いずれか一項記載の顔表情解析装置。 - 前記顔表情評価部は、前記複数フレームよりも少ないフレーム数おきに、前記所定区間を前記フレーム数分ずらす
ことを特徴とする請求項7記載の顔表情解析装置。 - コンピュータを、
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ前記画像データから解析領域を抽出する顔領域抽出部と、
前記顔領域抽出部が抽出した前記解析領域の画像特徴量を計算する画像特徴量計算部と、
前記画像特徴量計算部が計算した前記画像特徴量に対し第1のクラスタ分類処理を実行して第1の顔画像特徴ベクトルを生成し、顔画像特徴ベクトル空間においてあらかじめ決定された第1の境界面から前記第1の顔画像特徴ベクトルまでの距離である顔表情強度値を計算する顔表情強度評価部と、
前記画像特徴量に対し第2のクラスタ分類処理を実行して第2の顔画像特徴ベクトルを生成し、顔画像特徴ベクトル空間においてあらかじめ決定された第2の境界面に対する前記第2の顔画像特徴ベクトルの位置関係と前記顔表情強度評価部が計算した前記顔表情強度値とに基づき、前記解析領域に対応する顔表情種別を示す顔表情種別情報を生成する顔表情評価部と、
として機能させるための顔表情解析プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012099904A JP5879188B2 (ja) | 2012-04-25 | 2012-04-25 | 顔表情解析装置および顔表情解析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012099904A JP5879188B2 (ja) | 2012-04-25 | 2012-04-25 | 顔表情解析装置および顔表情解析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013228847A JP2013228847A (ja) | 2013-11-07 |
JP5879188B2 true JP5879188B2 (ja) | 2016-03-08 |
Family
ID=49676425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012099904A Active JP5879188B2 (ja) | 2012-04-25 | 2012-04-25 | 顔表情解析装置および顔表情解析プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5879188B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015133085A (ja) * | 2014-01-15 | 2015-07-23 | キヤノン株式会社 | 情報処理装置およびその方法 |
US10587565B2 (en) | 2017-02-10 | 2020-03-10 | International Business Machines Corporation | Automatic response system based on body language |
DE112017007252T5 (de) * | 2017-03-14 | 2019-12-19 | Omron Corporation | Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren |
JP7025123B2 (ja) * | 2017-03-21 | 2022-02-24 | 本田技研工業株式会社 | 心情推定装置 |
US10452958B2 (en) * | 2017-10-06 | 2019-10-22 | Mitsubishi Electric Research Laboratories, Inc. | System and method for image comparison based on hyperplanes similarity |
CN109697421A (zh) * | 2018-12-18 | 2019-04-30 | 深圳壹账通智能科技有限公司 | 基于微表情的评价方法、装置、计算机设备和存储介质 |
KR102630872B1 (ko) * | 2021-08-17 | 2024-02-01 | 성결대학교 산학협력단 | 표정 인식 학습 장치 및 방법 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5092663B2 (ja) * | 2007-10-03 | 2012-12-05 | 日産自動車株式会社 | 車両制御装置 |
JP2010271956A (ja) * | 2009-05-21 | 2010-12-02 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置 |
-
2012
- 2012-04-25 JP JP2012099904A patent/JP5879188B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013228847A (ja) | 2013-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vu et al. | Masked face recognition with convolutional neural networks and local binary patterns | |
Nowrin et al. | Comprehensive review on facemask detection techniques in the context of covid-19 | |
Happy et al. | Automatic facial expression recognition using features of salient facial patches | |
Devanne et al. | Motion segment decomposition of RGB-D sequences for human behavior understanding | |
Çeliktutan et al. | A comparative study of face landmarking techniques | |
JP5879188B2 (ja) | 顔表情解析装置および顔表情解析プログラム | |
Ng et al. | A review of facial gender recognition | |
Rajan et al. | Facial expression recognition techniques: a comprehensive survey | |
Holder et al. | Improved gradient local ternary patterns for facial expression recognition | |
Agarwal et al. | Anubhav: recognizing emotions through facial expression | |
Rodriguez et al. | Finger spelling recognition from RGB-D information using kernel descriptor | |
Mlakar et al. | Automated facial expression recognition based on histograms of oriented gradient feature vector differences | |
Cornejo et al. | Facial expression recognition with occlusions based on geometric representation | |
Li et al. | Facial expression classification using salient pattern driven integrated geometric and textual features | |
Wei et al. | Fixation and saccade based face recognition from single image per person with various occlusions and expressions | |
JP6101470B2 (ja) | 顔表情解析装置および顔表情解析プログラム | |
Tofighi et al. | A robust face recognition system in image and video | |
JP2014119879A (ja) | 顔表情評価結果平滑化装置および顔表情評価結果平滑化プログラム | |
Azam et al. | Feature extraction trends for intelligent facial expression recognition: A survey | |
Gowda | Fiducial points detection of a face using RBF-SVM and adaboost classification | |
Otiniano-Rodríguez et al. | Finger spelling recognition using kernel descriptors and depth images | |
Starostenko et al. | Real-time facial expression recognition using local appearance-based descriptors | |
Viswanathan et al. | Recognition of hand gestures of English alphabets using HOG method | |
Kalsi et al. | A classification of emotion and gender using approximation image Gabor local binary pattern | |
Chen | Design and simulation of AI remote terminal user identity recognition system based on reinforcement learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5879188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |