JP2948186B2 - Facial expression extraction method from the face moving picture - Google Patents

Facial expression extraction method from the face moving picture

Info

Publication number
JP2948186B2
JP2948186B2 JP2837398A JP2837398A JP2948186B2 JP 2948186 B2 JP2948186 B2 JP 2948186B2 JP 2837398 A JP2837398 A JP 2837398A JP 2837398 A JP2837398 A JP 2837398A JP 2948186 B2 JP2948186 B2 JP 2948186B2
Authority
JP
Japan
Prior art keywords
expression
step
facial expression
probability
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2837398A
Other languages
Japanese (ja)
Other versions
JPH11232456A (en
Inventor
尚宏 大塚
淳 大谷
Original Assignee
株式会社エイ・ティ・アール知能映像通信研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エイ・ティ・アール知能映像通信研究所 filed Critical 株式会社エイ・ティ・アール知能映像通信研究所
Priority to JP2837398A priority Critical patent/JP2948186B2/en
Publication of JPH11232456A publication Critical patent/JPH11232456A/en
Application granted granted Critical
Publication of JP2948186B2 publication Critical patent/JP2948186B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】この発明は顔動画像からの表情抽出方法に関し、特に、顔動画像中の連続する画像から表情を抽出するような表情抽出方法に関する。 BACKGROUND OF THE INVENTION relates to expression extraction method from this invention face moving image, in particular, it relates to expression extraction method to extract expression from consecutive images in the face motion image.

【0002】 [0002]

【従来の技術】人間の表情のうち、6種類の基本表情(怒り,嫌悪,恐れ,悲しみ,幸福,驚き)は人種・文化によらず共通であることが知られている。 Among the Background of the Invention human facial expressions, 6 types of basic facial expressions (anger, disgust, fear, sadness, happiness, surprise) is known to be common, regardless of race and culture. 基本表情は、それぞれの表情が独立に生成される場合もあるが、 Basic facial expression, there is a case where each of the facial expressions are generated independently,
複数の表情が連続して生成される場合もある。 Even several expressions are generated continuously.

【0003】たとえば、ジェット機が上空を通過したときに、まず騒音に驚き、次に騒音の継続に対して嫌悪感と怒りを表わし、最後に騒音が終わって幸福感を示すという表情シーケンスが考えられる。 [0003] For example, when the jet passed through the sky, is first surprise in the noise, then represents the disgust and anger against the continuation of the noise, the last possible expression sequence that shows the happiness ends noise . このような表情シーケンスを正しく認識するには、表情の変化を検出し、どの表情に変化したかを認識する必要がある。 To recognize such a facial expression sequence correctly, detects a change in facial expression, it is necessary to recognize whether it has changed in any facial expression.

【0004】そこで、本願発明者らは、特願平9−55 [0004] Accordingly, the present inventors have found that Japanese Patent Application No. 9-55
886において、顔画像からの表情認識方法を提案した。 In 886, we proposed a facial expression recognition method from the face image. この方法では、顔動画像から顔要素の速度ベクトルを算出してフーリエ変換し、そのフーリエ変換係数から特徴ベクトルを抽出し、各表情ごとに連続した出力確率を正規分布を用いて近似した複数の隠れマルコフモデル(HMM)を作成し、HMMによって特徴ベクトルを生成する確率を算出し、算出したHMMに対応する表情を認識結果とするものである。 In this way, from the face motion image by Fourier transform to calculate the velocity vector of the face elements, extracting a feature vector from the Fourier transform coefficients, a plurality of output probabilities continuous for each facial expression is approximated with a normal distribution create a hidden Markov model (HMM), in which to calculate the probability of generating a feature vector by HMM, the recognition result an expression corresponding to the calculated HMM.

【0005】 [0005]

【発明が解決しようとする課題】上述の提案された方法では、HMMの動作は初期状態から始まり、終了状態で終わるため、1つの表情しか認識することができない。 In the [0007] The above-described proposed method, HMM of operations start from the initial state, to end up at the end state, it can not be only one facial expression recognition.
また、表情筋が静止している状態は出力される特徴量の分布が類似しているため、HMMの誤動作が発生してしまうおそれがあった。 Further, the state in which the facial muscles is stationary because the distribution of the characteristic quantities output are similar, there is a possibility that the malfunction of the HMM is generated.

【0006】それゆえに、この発明の主たる目的は、H [0006] The main object of therefore, the present invention, H
MMにおける出力確率の値を出力確率が割付けられた状態の生起確率に応じて制御することにより、表情が表出された区間を抽出するような表情抽出方法を提供することである。 When the output probability values ​​of output probabilities in MM is controlled in accordance with the occurrence probability of the state of being assigned, it is to provide a facial expression extraction method such as extracting the section expression is exposed.

【0007】 [0007]

【課題を解決するための手段】請求項1に係る発明は、 Means for Solving the Problems The invention according to claim 1,
顔動画像から個別の表情を抽出する方法であって、顔動画像中の連続する画像から顔要素の各位置の速度ベクトルを算出し、算出された速度ベクトルの各成分にフーリエ変換を施し、そのフーリエ変換係数を表情の動きに応 A method for extracting an individual expression from the face motion image, calculates the velocity vector of each position of the face elements from consecutive images in the face motion image, Fourier-transform on each component of the velocity vectors calculated, response to its Fourier transform coefficient to the movement of facial expression
じた特徴ベクトル列として抽出し、抽出された特徴ベクトルを時間積分することによって表情の移動ベクトルを算出し、算出された表情の移動ベクトルと予め定められる各表情パターンとの照合を行ない、 第3のステップと Extracted as Flip feature vector sequence, extracted feature vector to calculate the motion vector of the facial expression by integrating the time, performs collation between the facial expression to a predetermined pattern and movement vector of the calculated facial expression, third and the step of
並行して処理され、予め各表情ごとに連続した出力確率を正規分布を用いて近似した複数の隠れマルコフモデルを作成し、前述の照合結果に基づいて、特徴ベクトル列が生成される生成確率を複数の隠れマルコフモデルによってそれぞれ算出し、複数の隠れマルコフモデルのうち最大の生成確率を算出した隠れマルコフモデルに対応する表情を認識結果として判断するものである。 Are parallel processes, to create a plurality of hidden Markov models approximated using normal distribution output probabilities continuous advance for each facial expression, based on the collation result of the foregoing, the generation probability of the feature vector sequence is generated respectively calculated by a plurality of hidden Markov models is to determine the maximum recognition result an expression corresponding to the hidden Markov model that calculates the generation probability of the plurality of hidden Markov models.

【0008】 [0008]

【発明の実施の形態】図1はこの発明の一実施形態における顔動画像からの表情変化を検出して抽出し、認識する過程を説明するためのフローチャートである。 Figure 1 DETAILED DESCRIPTION OF THE INVENTION extracted by detecting the expression change from the face moving image in the embodiment of the invention, a flow chart for explaining a recognizing process. 図1において、この発明の一実施形態では、前処理部S10と表情変化検出部S20と抽出・認識部S30とからなっている。 In Figure 1, in one embodiment of the present invention, it is made from the pre-processing unit S10 and the facial expression change detection unit S20 and the extraction and recognition unit S30 Prefecture. 前処理部S10ではS11において入力された顔動画像から速度ベクトルが算出され、S12において算出された速度ベクトルの各成分に2次元フーリエ変換が施され、S13において表情の動きに応じた特徴ベクトル列が抽出される。 The velocity vector is calculated from the input facial motion picture in S11, the pre-processing unit S10, 2-dimensional Fourier transform on each component of the velocity vectors calculated in S12 is performed, feature vector sequence corresponding to the movement of the facial expression in S13 There are extracted.

【0009】一方、表情変化検出部S20では、S21 [0009] On the other hand, the facial expression change detection unit S20, S21
で特徴ベクトルを時間積分することによって表情の移動ベクトルが算出され、S22で予め定められた各表情パターンとの照合が行なわれる。 In the calculated movement vector expression by integrating the feature vector time, collation between the facial expression to a predetermined pattern in step S22 is performed. また、抽出認識部S30 The extraction recognition unit S30
では、S31において予め認識対象の表情カテゴリごとにHMMを学習により作成し、S32において前述のS In creates by learning HMM in advance for each facial expression category to be recognized in S31, described above in S32 S
22で照合された結果に応じて、特徴ベクトル系列の生成される確率がHMMを用いて算出される。 22 in accordance with the collated result, probability of generation of the feature vector series is calculated using the HMM. そして、算出された確率が最大となるHMMに対応する表情カテゴリが認識結果とされる。 Then, the facial expression category of probability, which is calculated corresponding to the HMM having the maximum is a recognition result.

【0010】なお、以下においては、表情カテゴリとして怒り,嫌悪,恐れ,悲しみ,幸福,驚きの合計6種類の基本表情を考え、無表情から各基本表情への時系列画像の処理について説明する。 [0010] In the following, anger as facial expression category, disgust, fear, sadness, happiness, thinking a basic facial expressions of a total of six kinds of surprise, describes the processing of time-series images to each of the basic facial expression from expressionless.

【0011】図2は状態がループされたLeft−to [0011] FIG. 2 state is looped Left-to
−Right型HMMの構成を示す図である。 It is a diagram showing a configuration of -Right type HMM. 本願発明の一実施形態では、表情ごとに用意したHMMの状態により表情の種類および表情筋の状態(収縮,弛緩など) In one embodiment of the present invention, the expression by the state of the HMM prepared for expression type and facial muscles state (contraction, relaxation, etc.)
が区別され、画像処理により得られる特徴量に基づいて、推定結果(各状態に割付けられた確率分布)が更新される。 There are distinguished on the basis of the feature amount obtained by the image processing, estimation results (probability distribution assigned to each state) is updated.

【0012】各表情の時間変化は図2に示すように、L [0012] time variation of each facial expression, as shown in FIG. 2, L
eft−to−Right型のHMMを用いてモデル化される。 It is modeled by using the eft-to-Right type of HMM. 各表情は無表情S 1から表情筋の収縮S 2 ,収縮の終了S 3 ,表情筋の弛緩S 4を経て無表情S 5に戻り、このループが繰返される。 Shrinkage S 2 of mimic muscles each facial expression from expressionless S 1, the end of the contraction S 3, returned to expressionless S 5 through relaxation S 4 of facial muscles, this loop is repeated. 各表情は状態S iから単位時間後に状態S jに遷移する確率α ij (遷移確率) Each facial expression probability transitions to the state S j from the state S i after unit time alpha ij (transition probability)
と、状態S iにいるときにベクトルOを出力する確率b If the probability that a vector O when you are in a state S i b
i (O)(出力確率密度)より特徴付けられる。 characterized from i (O) (output probability density). 遷移確率と出力確率密度は、各表情を表出する動画像を画像処理して得られる特徴ベクトルの時系列からBaum−W Output probability density transition probability, Baum-W from the time series of feature vectors obtained by moving image to expose the respective expressions and image processing
elchアルゴリズムを用いて推定される。 It is estimated using the elch algorithm.

【0013】画像処理は、縦横それぞれ1/8に圧縮した画像を用い、時間軸上で連続する2枚の画像からオプティカルフローが求められる。 [0013] Image processing using an image compressed vertically and horizontally 1/8, the optical flow is determined from two successive images in time. オプティカルフローの分布のうち、右眼および口の周期の領域に2次元フーリエ変換が施され、変換係数の低周波成分15個(右眼領域:7個,口領域:8個)が特徴量とされる。 Of the distribution of the optical flow, two-dimensional Fourier transform in the region of the period of the right eye and the mouth are subjected, the low-frequency component 15 of the transform coefficients (the right-eye region: 7, the mouth area: 8) and the feature amount It is.

【0014】表情抽出処理では、次の第(1)式を用いて表情E kにおける状態S iの確率P i (k) (t)を算出し、表情筋の収縮が終了した状態S 3の確率P 3 (k) [0014] In expression extraction process, using the following equation (1) to calculate the probability P i of the state S i at the expression E k (k) (t), the state S 3 contraction of facial muscles has been completed probability P 3 (k)
(t)があるしきい値P aを越えたときに表情E kが表出されたものと判定される。 (T) is the expression E k when exceeding the threshold value P a with is determined to have been exposed.

【0015】 [0015]

【数1】 [Number 1]

【0016】ここで、Nは状態数,a ik (k) ,b i (k) [0016] In this case, N is the number of states, a ik (k), b i (k)
(O)は表情E kの遷移確率,出力確率密度である。 (O) is the transition probability expression E k, which is the output probability density. 遷移確率a ik (k)は図2の矢印で結ばれた状態間のみ0でない値を持つ。 Transition probability a ik (k) has a nonzero value only between knotted state by the arrow in FIG. ただし、状態S 1 ,S 3 ,S 5は表情筋が静止した状態であるため、出力確率密度b 1 (O), However, because the state S 1, S 3, S 5 is a state where the facial muscles is stationary, the output probability density b 1 (O),
3 (O),b 5 (O)は類似した関数となり、表情変化の微小なノイズにより状態S 1からS 3への遷移が発生する。 b 3 (O), b 5 (O) is a function that is similar, transition to S 3 is generated from the state S 1 by minute noise of expression change.

【0017】そこで、このような遷移をなくすために、 [0017] Therefore, in order to eliminate such a transition,
状態S 3の確率P 3 (k) (t)を計算する際に、P 2 When calculating the probability P 3 states S 3 (k) (t) , P 2
(k) (t−1)の値があるしきい値P bより小さい場合にはP (k) if (t-1) threshold P b is smaller than with the value of P 2 (k) (t−1)を0とする。 2 (k) (t-1) is set to 0. 状態S 5の場合も同様である。 For state S 5 is the same. また、状態S 5の確率があるしきい値P c The threshold P c with probability state S 5
を越えたときは、無表情に戻ったものと見なして、状態の確率分布を次の第(2)式のように初期化する。 When exceeded, the it is assumed that returned to expressionless, initialized as the probability distribution of the following conditions: (2).

【0018】 [0018]

【数2】 [Number 2]

【0019】図3は表情シーケンスを示す図であり、図4は図3の表情シーケンスに対する表情E kにおける状態S 3の確率P 3 (k)の変化と抽出された区間(矢印) FIG. 3 is a diagram showing an expression sequence, Figure 4 is the probability P 3 states S 3 in the expression E k for expression sequence of FIG. 3 (k) changes the extracted section (arrow)
を示す。 It is shown.

【0020】表情シーケンスとしては、約15秒の間に6種類の基本表情、怒り,嫌悪,恐れ,悲しみ,幸福, Examples of the expression sequence, the basic facial expressions of the six types between about 15 seconds, anger, disgust, fear, sadness, happiness,
驚きの順に表出されている。 It has been exposed to the order of surprise. ここで、異なった表情の間に無表情を経由する。 Here, through the expressionless between the different facial expressions. 図3より個別表情を精度よく抽出していることがわかる。 It can be seen that accurately extract individual expression from FIG. また、確率の変化が急峻であるため、抽出結果のしきい値P aに対する依存性が少ない。 Further, since the change probability is steep, less dependence of the extraction result for the threshold P a.

【0021】上述のごとく、この実施形態では、表情ごとに用意したHMMの状態により表情の種類および表情筋の状態(収縮,弛緩など)を区別し、画像処理により得られる特徴量に基づいて、推定結果(各状態に割付けられた確率分布)を更新することにより、6種類の表情のシーケンスから個別表情を精度よく抽出できる。 [0021] As described above, in this embodiment, the state of expression of the type and facial muscles according to the state of the HMM prepared for expression (contraction, relaxation, etc.) to distinguish, based on the feature amount obtained by the image processing, estimation results by updating the (probability distribution assigned to each state), can be extracted accurately separate expression of six expressions of sequence.

【0022】なお、上述の実施形態では、無表情から始まりある単一の表情が表出されて無表情に戻るというシーケンスしか抽出することができず、ある表情が表出されている状態から無表情を介さずに別の表情に変化するようなシーケンスを抽出することはできない。 [0022] In the above embodiment can not only sequence of a single expression that begins expressionless returns to expressionless been exposed to extract, free from a state that expression is exposed it is not possible to extract a sequence that varies in different facial expressions without using the expression.

【0023】そこで、次に、表情ごとに独立に構成されたHMMを基に、任意の2つの表情の直接変化に対応する状態およびそれらの状態と元のHMMの表出状態との間の遷移を付加することにより、ある表情の表出過程における別の表情への変化が発生する場合にも表情を正しく抽出できる実施形態について説明する。 [0023] Accordingly, next, the transition between the basis of the HMM that is configured independently for each facial expression and expression state of the state and their state and the original HMM corresponding to direct changes in any two expressions adding, the embodiments will be described which can extract even the expression correctly if a change to another expression in expression process of a facial expression to occur.

【0024】図5はこの発明の他の実施形態のHMMの構成を示す図である。 FIG. 5 is a diagram showing the structure of an HMM according to another embodiment of the present invention. 図5において、無表情を介さない表情変化を抽出するために、状態数Nが2の場合として、1番目および2番目のカテゴリの表情が単独で表出されるシーケンスを抽出するループHMM 1 ,HMM 2 5, in order to extract the facial expression changes not through the expressionless, as if the number of states N is 2, the loop HMM 1 for extracting a sequence of expression of the first and second category is exposed alone, HMM 2
と、1(2)番目のカテゴリから2(1)番目のカテゴリに直接変化する際に遷移する状態S 12 (S 21 )およびHMM 1 ,HMM 2の(表情表出)状態S 3へのリンクとから構成されている。 When, 1 (2) th from category 2 (1) th state S 12 to transition by the transition directly to the category (S 21) and links to HMM 1, the HMM 2 (facial expression) state S 3 It is composed of a.

【0025】HMMのパラメータとしては、ループHM [0025] as a parameter of the HMM, loop HM
iに関するものは単一の表情シーケンスから学習されたパラメータが用いられる。 It relates M i is the parameter learned from a single expression sequences are used. ただし、状態S 3からは状態S However, state S from the state S 3 ijへのリンクが追加されているので、元の遷移確率a 34を2つの状態への遷移確率a 34とa 3,i,jに2等分される。 Since the link to the ij is added, transition of the original transition probability a 34 into two state probability a 34 and a 3, i, is bisected to j. 状態S ijに関するパラメータは、単一の表情シーケンスから学習されたパラメータから算出される。 Parameters concerning the state S ij is calculated from the parameters learned from a single expression sequence. これにより、すべての組合せの表情変化のシーケンスを用いてパラメータを学習する必要がなくなる。 This eliminates the need to learn the parameters using the sequence of expression change for all combinations.

【0026】出力確率分布はカテゴリiの筋肉伸長とカテゴリjの筋肉収縮とが同時に起こるものと仮定して次の第(3)式より求められる。 The output probability distribution is on the assumption that the and muscle contraction muscle extension and category j category i occurs simultaneously obtained from the equation (3) below.

【0027】 [0027]

【数3】 [Number 3]

【0028】ここで、μ j (i) ,σ j (i)はカテゴリj [0028] In this case, μ j (i), σ j (i) category j
の状態S jの出力分布密度の平均,標準偏差である。 The average power distribution density of states S j, is the standard deviation. 一方、生起確率は第(4),第(5)式に示すように、筋肉伸長と筋肉収縮状態のうち継続時間が長い方の生起確率が選択される。 On the other hand, occurrence probability is the (4), as shown in (5), the probability of occurrence of the longer duration of the muscle extension and muscle contraction state is selected.

【0029】 [0029]

【数4】 [Number 4]

【0030】図6および図7はこの発明の他の実施形態において、“幸福”から“驚き”に変化するシーケンスの抽出結果例を示す図である。 [0030] In another embodiment of Figure 6 and 7 the invention, showing an extraction result example of a sequence of changes to "happiness" to "surprise". 図7は表情変化が遅い場合であって、ループに沿って状態遷移しているのに対して、図6は表情変化が速い場合であって、筋肉の収縮と伸長が同時に起こる状態を示している。 Figure 7 is a case expression change is slow, whereas the state transition has been along the loop, Figure 6 is a case expression change is fast, shows a state in which muscle contraction and expansion occur simultaneously there.

【0031】 [0031]

【発明の効果】以上のように、この発明によれば、HM As in the above, according to the present invention, according to the present invention, HM
Mにおける出力確率の値を出力確率が割付けられた状態の生起確率に応じて制御することにより、表情が表出された区間を抽出することができる。 When the output probability values ​​of the output probability in M ​​is controlled according to the occurrence probability of the state of being assigned, it is possible to extract a section expression is exposed.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】この発明の一実施形態における顔動画像から表情変化を検出して抽出し、認識する過程を説明するためのフローチャートである。 [1] it is extracted by detecting a facial expression changes from a face moving image in the embodiment of the invention, a flow chart for explaining a recognizing process.

【図2】状態がループにされたLeft−to−Rig [Figure 2] state has been in the loop Left-to-Rig
ht型HMMの構成を示す図である。 It is a diagram showing a configuration of ht type HMM.

【図3】表情シーケンスを示す図である。 FIG. 3 is a diagram showing the expression sequence.

【図4】表情シーケンスに対する表情の認識結果と抽出された区間を示す図である。 4 is a diagram showing the recognition result and the extracted sections of expression for expression sequence.

【図5】この発明の他の実施形態のHMMの構成を示す図である。 5 is a diagram showing a structure of the HMM of another embodiment of the present invention.

【図6】この発明の他の実施形態における表情変化が速い場合の抽出結果例を示す図である。 6 is a diagram showing an extraction result example when expression change according to another embodiment of the present invention is faster.

【図7】この発明の他の実施形態における表情変化が遅い場合の抽出結果例を示す図である。 7 is a diagram showing an extraction result example when expression change according to another embodiment of the present invention is slow.

【符号の説明】 DESCRIPTION OF SYMBOLS

S10 前処理部 S20 表情変化検出部 S30 抽出・認識部 S10 preprocessing unit S20 expression change detection unit S30 extract and recognition unit

フロントページの続き (56)参考文献 大塚外2名,連続出力確率密度分布を 用いたHMMによる動画像からの複数人 物の表情認識」,電子情報通信学会論文 誌D−▲II▼,1997年8月,Vol. J80−D−▲II▼,No. Of the front page Continued (56) Reference Otsuka outside two people, facial expression recognition of multiple people of from the moving image by HMM using a continuous output probability density distribution ", Institute of Electronics, Information and Communication Engineers Journal D- ▲ II ▼, 1997 year August, Vol. J80-D- ▲ II ▼, No. 8,p. 2129−2137 (58)調査した分野(Int.Cl. 6 ,DB名) G06T 7/00 G06T 1/00 JICSTファイル(JOIS) 8, p. 2129-2137 (58) investigated the field (Int.Cl. 6, DB name) G06T 7/00 G06T 1/00 JICST file (JOIS)

Claims (1)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】 顔動画像から個別の表情を抽出する方法であって、 前記顔動画像中の連続する画像から顔要素の各位置の速度ベクトルを算出する第1のステップ、 前記算出された速度ベクトルの各成分にフーリエ変換を施し、そのフーリエ変換係数を表情の動きに応じた特徴ベクトル列として抽出する第2のステップ、 前記抽出された特徴ベクトルを時間積分することによって表情の移動ベクトルを算出する第3のステップ、 前記算出された表情の移動ベクトルと予め定められる各表情パターンとの照合を行なう第4のステップ、 前記第3のステップと並行して処理され、予め各表情ごとに、連続した出力確率を正規分布を用いて近似した複数の隠れマルコフモデルを作成する第5のステップ、 前記第4のステップでの照合結果に基づいて 1. A method for extracting an individual expression from the face motion image, a first step of calculating a velocity vector for each position of the face elements from consecutive images in the face motion image, which is the calculated Fourier-transform on each component of the velocity vector, a second step of extracting the Fourier transform coefficients as feature vector sequence corresponding to the movement of the facial expression, the movement vector of the facial expression by integrating the extracted feature vector time third step of calculating, a fourth step of performing collation between the facial expression to a predetermined pattern and movement vector of the calculated facial expression, is processed in parallel with the third step, advance for each facial expression, fifth step of the continuous output probability to create a plurality of hidden Markov models approximated using a normal distribution, based on the collation result in the fourth step 前記特徴ベクトル列が生成される生成確率を、前記複数の隠れマルコフモデルによってそれぞれ算出する第6のステップ、および前記複数の隠れマルコフモデルのうち最大の生成確率を算出した隠れマルコフモデルに対応する表情を認識結果として判断する第7のステップを備えた、顔動画像からの表情抽出方法。 The generation probability of the feature vector sequence is generated, corresponding to the sixth step, and Hidden Markov Models to calculate the maximum generation probability of the plurality of Hidden Markov Models to calculate, respectively, by the plurality of Hidden Markov Models expression with a seventh step of determining the recognition result, the expression extraction method from the face moving image.
JP2837398A 1998-02-10 1998-02-10 Facial expression extraction method from the face moving picture Expired - Fee Related JP2948186B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2837398A JP2948186B2 (en) 1998-02-10 1998-02-10 Facial expression extraction method from the face moving picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2837398A JP2948186B2 (en) 1998-02-10 1998-02-10 Facial expression extraction method from the face moving picture

Publications (2)

Publication Number Publication Date
JPH11232456A JPH11232456A (en) 1999-08-27
JP2948186B2 true JP2948186B2 (en) 1999-09-13

Family

ID=12246836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2837398A Expired - Fee Related JP2948186B2 (en) 1998-02-10 1998-02-10 Facial expression extraction method from the face moving picture

Country Status (1)

Country Link
JP (1) JP2948186B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
EP1748387B1 (en) 2004-05-21 2018-12-05 Asahi Kasei Kabushiki Kaisha Devices for classifying the arousal state of the eyes of a driver, corresponding method and computer readable storage medium
KR100702226B1 (en) 2004-11-23 2007-04-03 홍광석 Apparatus and method for detecting and authenticating facial data
JP4914398B2 (en) 2008-04-09 2012-04-11 キヤノン株式会社 Facial expression recognition device, imaging device, method and program
JP2011154665A (en) * 2010-01-25 2011-08-11 Nagoya Univ Expression change analysis system
KR101309954B1 (en) * 2012-07-20 2013-09-17 고려대학교 산학협력단 Apparatus and method for recognizing conversational expression, recording medium thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大塚外2名,連続出力確率密度分布を用いたHMMによる動画像からの複数人物の表情認識」,電子情報通信学会論文誌D−▲II▼,1997年8月,Vol.J80−D−▲II▼,No.8,p.2129−2137

Also Published As

Publication number Publication date
JPH11232456A (en) 1999-08-27

Similar Documents

Publication Publication Date Title
Baccouche et al. Sequential deep learning for human action recognition
Shinohara et al. Facial expression recognition using fisher weight maps
Kruschke et al. Benefits of gain: Speeded learning and minimal hidden layers in back-propagation networks
Chan et al. Bayesian poisson regression for crowd counting
JP4708422B2 (en) Keep track of both hands operation
Frank et al. Activity and gait recognition with time-delay embeddings
Liu et al. Learning discriminative representations from RGB-D video data
Rosenblum et al. Human expression recognition from motion using a radial basis function network architecture
Palmer et al. Newton method for the ICA mixture model
JP4368767B2 (en) Abnormal operation detection device and abnormal operation detection method
EP1450350A1 (en) Method for Recognizing Speech with attributes
Teh et al. Rate-coded restricted Boltzmann machines for face recognition
Hongeng et al. Representation and optimal recognition of human activities
Tong et al. Facial action unit recognition by exploiting their dynamic and semantic relationships
CN1331084C (en) Image processing apparatus
Ueda Optimal linear combination of neural networks for improving classification performance
Li et al. Expandable data-driven graphical modeling of human actions based on salient postures
Mohamed et al. Phone recognition using restricted boltzmann machines
Baltzakis et al. A new signature verification technique based on a two-stage neural network classifier
EP1433118B1 (en) System and method of face recognition using portions of learned model
EP2091021A1 (en) Face authentication device
Bowden Learning statistical models of human motion
Othman et al. A separable low complexity 2D HMM with application to face recognition
Bae et al. Iris feature extraction using independent component analysis
WO2002041254A1 (en) Robot device and face identifying method, and image identifying device and image identifying method

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990601

LAPS Cancellation because of no payment of annual fees