JP4645301B2 - Face shape change information extraction device, face image registration device, and face image authentication device - Google Patents
Face shape change information extraction device, face image registration device, and face image authentication device Download PDFInfo
- Publication number
- JP4645301B2 JP4645301B2 JP2005148473A JP2005148473A JP4645301B2 JP 4645301 B2 JP4645301 B2 JP 4645301B2 JP 2005148473 A JP2005148473 A JP 2005148473A JP 2005148473 A JP2005148473 A JP 2005148473A JP 4645301 B2 JP4645301 B2 JP 4645301B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- information
- image
- facial expression
- authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、顔映像から人物を特定する顔認証技術の分野において、撮影時に様々変化する人物の表情に対する耐性を大幅に向上させるものである。 The present invention greatly improves the resistance to facial expressions of a person who changes variously during photographing in the field of face authentication technology for identifying a person from a face image.
従来の技術では、照合に用いる顔画像間での表情を一致させる手段として、様々な表情の像を撮影し、その中から一致する表情の映像を選択し、照合する方式を取っていた。しかし、様々な表情の顔画像を取得するためには、被撮影者に負担をかける必要があり、被撮影者の利便性が求められる場面等での適用が困難であった。 In the prior art, as means for matching facial expressions used for collation, images of various facial expressions are taken, images of matching facial expressions are selected from the images, and collation is performed. However, in order to acquire facial images with various expressions, it is necessary to place a burden on the subject, and it has been difficult to apply in situations where convenience for the subject is required.
例えば、被撮影者に「笑ってください」等と指示を与え、その通りに表情を作らせ、撮影する方式を取る方式が提案されている（特許文献１参照）。 For example, there has been proposed a method in which an instruction such as “Please laugh” is given to the person to be photographed, and a facial expression is created according to the instruction, and a method of photographing is taken (see Patent Document 1).
また、あらかじめ決められた動作をさせ、その間に撮影した顔映像中で、同じ動作中に撮影された登録画像と一致する表情の映像を選択し、照合する方式も提案されている（特許文献２参照）。
特許文献１の発明では、被撮影者は指示に従い動作することが強制されてしまう。特許文献２の発明では、被撮影者は必ず動作をあらかじめ決定し、認証に際して決められた動作を行う必要が生じる。これらの方法では、いずれも被撮影者が必ずしも自然とは言えない動作を意識的に行う必要があり、表情の変化を確実にとるためには、被撮影者の負担が大きい。このため、特に利用者の利便性が求められるサービスの分野では適用が困難であった。
In the invention of Patent Document 1, the subject is forced to operate according to the instruction. In the invention of
従って、本発明の目的は、利用者の利便性が重要となる場面において顔画像による認証を実施するため、被撮影者に負担をかけずに確実に表情の変化を撮影して抽出する顔形状変化情報抽出装置、生成した顔形状変化情報等を登録する顔画像登録装置および認証を行う顔画像認証装置の提供を目的とする。 Accordingly, an object of the present invention is to perform facial image authentication in a scene where the convenience of the user is important, so that a facial shape that reliably captures and extracts changes in facial expression without imposing a burden on the subject It is an object of the present invention to provide a change information extraction device, a face image registration device that registers generated face shape change information, and a face image authentication device that performs authentication.
本発明の顔画像登録装置は、人物と音声により対話を行う音声対話手段と、人物の顔画像を撮影する撮影手段と、撮影された顔画像から顔形状の変化情報を解析する顔形状変化情報解析手段と、解析された顔形状変化情報および顔画像情報を基に顔情報を生成する顔情報生成手段と、を有する構成である。 The face image registration apparatus according to the present invention includes a voice dialogue means for carrying out a dialogue with a person, a photographing means for photographing a face image of the person, and face shape change information for analyzing face shape change information from the photographed face image. The analyzing means and face information generating means for generating face information based on the analyzed face shape change information and face image information.
この構成により、音声で対話を行いなら、顔画像を撮影することで、顔画像の顔形状の変化情報を解析することができるので、被撮影者に負担をかけずに、被撮影者の顔情報を生成することができる。 With this configuration, if the conversation is performed by voice, it is possible to analyze the change information of the face shape of the face image by photographing the face image, so that the subject's face can be analyzed without imposing a burden on the subject. Information can be generated.
また、音声対話手段は、被撮影者の表情を変化させる発声を非明示的に誘引することで、被撮影者の表情を制御する音声対話を行う構成である。 The voice dialogue means is configured to perform voice dialogue for controlling the photographer's facial expression by implicitly attracting a utterance that changes the photographer's facial expression.
この構成により、被撮影者が意識して表情を作らなくとも、音声対話により、自然に撮影したい表情が誘引されるので、被撮影者の負担をかけずに、被撮影者の顔情報を生成することができる。 With this configuration, even if the photographer does not consciously make facial expressions, the facial expression that the photographer wants to shoot naturally is attracted by voice interaction, so the face information of the photographed person is generated without burdening the photographer. can do.
また、顔形状変化情報抽出装置と、顔形状変化情報抽出装置を使い、被撮影者に気づかれることなく顔画像を撮影し、生成された顔情報を登録する顔情報登録手段と、を有する構成である。 Also, a configuration having a face shape change information extraction device and a face information registration unit that uses the face shape change information extraction device to take a face image without being noticed by the subject and register the generated face information It is.
この構成により、生成された顔情報を登録することができる。 With this configuration, the generated face information can be registered.
また、顔形状変化情報抽出装置と、顔情報を登録する顔情報登録手段と、顔形状変化情報抽出装置を使い、被撮影者の顔情報を生成し、生成された顔情報と登録された顔情報とを照合する顔情報認証処理手段と、を有する構成である。 Further, the face shape change information extracting device, the face information registering means for registering the face information, and the face shape change information extracting device are used to generate the face information of the subject, the generated face information and the registered face And face information authentication processing means for collating information.
この構成により、生成された顔画像と登録された顔画像とを照合することができる。 With this configuration, the generated face image can be collated with the registered face image.
また、顔情報認証処理手段は、顔形状変化情報抽出装置により生成した顔形状変化情報に基づき、認証時に入力された顔情報と、登録された顔情報から同一表情の映像を生成し認証する構成である。 Further, the face information authentication processing means generates and authenticates an image of the same facial expression from the face information input at the time of authentication and the registered face information based on the face shape change information generated by the face shape change information extracting device. It is.
この構成により、同一表情を照合することができるので、精度が高い認証が可能となる。 With this configuration, since the same facial expression can be collated, authentication with high accuracy is possible.
本発明により、被撮影者にそれと気づかれることなく表情変化に強い顔認証が可能である。また、登録時もしくは照合時のいずれか片方での実施により表情変化に強い顔認証が可能であり、従って利用者の利便性が向上し、トータル作業コストが削減され、顔認証技術の適用範囲を拡大できる。 According to the present invention, it is possible to perform face authentication that is resistant to facial expression changes without the subject being aware of it. In addition, it is possible to perform face authentication that is resistant to changes in facial expression by performing either registration or verification, thus improving user convenience, reducing total work costs, and increasing the scope of application of face authentication technology. Can be expanded.
《実施例１》
図１に実施例の顔形状変化情報抽出装置の構成図を示す。
Example 1
FIG. 1 shows a configuration diagram of a face shape change information extracting device of the embodiment.
顔形状変化情報抽出装置１は、画像入力部４と、対話処理部５と顔形状変化情報解析部６と、顔情報生成部７と、撮影装置１１と音声対話装置１２とを有する。
The face shape change information extraction device 1 includes an
図２に実施例の顔画像登録装置の構成図を示す。 FIG. 2 shows a configuration diagram of the face image registration apparatus of the embodiment.
顔画像登録装置２は、顔形状変化情報抽出装置１と、顔情報登録部８とを有する。
The face
図３に、実施例の顔画像認証装置の構成図を示す。 FIG. 3 shows a configuration diagram of the face image authentication apparatus of the embodiment.
顔画像認証装置３は、顔形状変化情報抽出装置１と、顔情報登録部８と、顔情報認証処理部９とを有する。
The face
画像入力部４は、撮影装置１１で撮影された画像を入力する。
The
対話処理部５は、音声対話装置からの発話情報を入力し、被撮影者への指示を音声で出力する制御を行う。
The
顔形状変化情報解析部６は、撮影した映像から、顔の形状の変化の仕方、すなわち表情の変化の仕方を解析し特徴を抽出する。
The face shape change
顔情報生成部７は、登録時は、撮影し解析した顔形状の変化時のベクトル情報等の特徴情報と顔画像情報に基づき、顔情報を生成する。また、これらの情報を基に、特定の表情(真顔)の画像を生成する。
At the time of registration, the face
認証時には、登録顔情報と認証用の撮影画像をもとに同一表情の顔情報を生成する。 At the time of authentication, face information having the same expression is generated based on the registered face information and the photographed image for authentication.
顔情報登録部８は、生成された顔情報を画像データベースへ登録する。 The face information registration unit 8 registers the generated face information in the image database.
顔情報認証処理部９は、顔情報生成部７で生成された同一表情の顔情報等を基に、登録顔情報と撮影された顔情報とを照合する。
The face information
撮影装置１１は、様々に形状が変化する被撮影者の顔画像を撮影する。
The
音声対話装置１２は、被撮影者に各種指示を与えたり、被撮影者が音声入力したりして音声による対話を行う。
The
本発明では、音声による対話を行い発話に伴い様々に形状が変化する被撮影者の顔画像を撮影装置により撮影する。そして、撮影した映像から、顔の形状の変化の仕方、すなわち表情の変化の仕方を解析する。そして、解析の結果に基づき、照合に適した表情、例えば真顔の映像を生成し、顔画像の画像データベースへの登録または認証を行う。 In the present invention, a face image of a person to be photographed whose shape changes variously with the utterance is captured by the photographing apparatus through voice interaction. Then, the method of changing the shape of the face, that is, the way of changing the facial expression, is analyzed from the captured video. Then, based on the result of the analysis, an expression suitable for collation, for example, a video of a true face, is generated, and registration or authentication of the face image in the image database is performed.
具体的には、撮影時に被撮影者と対話を行い、発話中の顔映像を撮影して、例えば口や目といった形状が変動する顔の部品上に複数配置した特徴点の位置を検出して、複数枚撮影した顔映像間で特徴位置の対応をとり、発声に伴う各特徴位置の動き方と映像パターンの変化の仕方を解析する。なお、音声対話は、機械により実施してもよいし、人間により実施してもよい。この撮影および解析は、顔の形状変化の仕方を推測するために必要な形状のバリエーションを持った顔画像、例えば普通に口を開く、口を少し開いて小さく狭める、口を閉じて横に引き伸ばす、等の顔映像が撮影されるまで行う。撮影される形状のバリエーションが多ければ多いほど顔形状の変化の仕方を推測する精度を高めることができるため、出来る限り多く撮影する。ただし、枚数は少ない場合形状変化の推定精度が劣化するものの、二枚以上からならば実施が可能である。ここで、例えば形状変化映像を効率よく撮影するため、音声対話装置による対話において、例えば母音のように特徴的に顔形状を変化させる音を含む発声が誘引されるように対話の表現を工夫してもよい。具体的には、施設予約システム等においては、利用者数を問う場合に、「何名」と「mei」というように母音等の形状変化を引き出す音を多く含む語により応答することを期待して、「何名様でご利用ですか？」といった表現を選択してもよい。このようにして撮影し解析した顔変形時の特徴位置と映像パターンに基づき、例えば真顔のような特定の表情の顔映像を生成する。そして、この方法により生成した顔映像により顔認証を行う。なお、認証に際しては、以下の三通りのうちいずれの方法によっても良い。
1)画像登録時に収集した顔情報から認証時に撮影された顔映像と同一表情の映像を生成し、認証する。2)認証時に収集した顔情報から、データベースに登録された顔映像と同一表情の映像を生成し、認証する。3)画像登録時、認証時それぞれ収集した顔情報から、例えば真顔のように認証に適した表情の映像を生成し、認証する。
Specifically, the user interacts with the subject at the time of shooting, shoots the face image during the utterance, and detects the positions of multiple feature points placed on the facial part whose shape changes, such as the mouth and eyes. Then, the correspondence of the feature positions among the face images taken by a plurality of images is taken, and the manner of movement of each feature position and the change of the image pattern accompanying the utterance are analyzed. Note that the voice dialogue may be performed by a machine or a human. This shooting and analysis is a facial image with a shape variation necessary to infer how the face shape changes, for example, normally opening the mouth, opening the mouth a little to narrow it down, closing the mouth and stretching it sideways , Etc. until the face image is taken. The more variations of the shape to be photographed, the higher the accuracy of estimating how the face shape changes, so that as many images as possible are photographed. However, when the number of sheets is small, the estimation accuracy of the shape change deteriorates. Here, for example, in order to efficiently shoot a shape change video, the dialogue expression is devised so that in the dialogue by the voice dialogue device, the utterance including the sound that characteristically changes the face shape, such as a vowel, is attracted. May be. Specifically, in facility reservation systems, etc., when asking the number of users, expect to respond with words that contain many sounds that draw shape changes such as vowels, such as “what” and “mei”. You can also select an expression such as "How many people are you using?" Based on the feature position and the image pattern at the time of the face deformation thus photographed and analyzed, a face image of a specific expression such as a true face is generated. Then, face authentication is performed using the face image generated by this method. In the authentication, any of the following three methods may be used.
1) Generate and authenticate an image with the same facial expression as the face image taken during authentication from the face information collected during image registration. 2) From the face information collected at the time of authentication, generate an image with the same facial expression as the face image registered in the database and authenticate it. 3) Generate facial images suitable for authentication, such as true faces, from the facial information collected at the time of image registration and authentication.
以下に、音声対話装置による対話を用いた実施例を示す。 Hereinafter, an embodiment using dialogue by a voice dialogue apparatus will be shown.
顔画像データの登録時に顔形状の変動データを収集、解析し、解析したデータをデータベースに登録しておく。そして、認証時には撮影した顔画像の表情を判別し、登録された顔形状変動データから同一の表情の画像を生成し、照合を行う。従って表情の変動による影響を排除し、表情変化に強い顔認証が実現できる。具体的な登録時および認証時の実施例は下記の通りである。
（１）登録の実施
図４に、実施例１の登録処理の流れ図を示す。
At the time of registration of the face image data, face shape variation data is collected and analyzed, and the analyzed data is registered in the database. Then, at the time of authentication, the facial expression of the photographed face image is discriminated, an image of the same facial expression is generated from the registered face shape variation data, and collation is performed. Therefore, it is possible to eliminate the influence due to the change of the facial expression and realize the face authentication that is strong against the expression change. Specific examples at the time of registration and authentication are as follows.
(1) Implementation of Registration FIG. 4 shows a flowchart of the registration process of the first embodiment.
まず、音声対話の処理を行う（Ｓ１ステップ）。本装置の備える音声対話装置により、被撮影者との音声対話を行う。このとき、例えば音声ポータルのようにあらかじめ被撮影者に伝達すべき情報が定められている場合は、情報の表現の仕方を、母音等の特徴的に顔の形状が変化する発話を被撮影者に誘引するように選択することで、効率的に顔の形状変化を行うことが期待できる。 例えば、施設予約システム等において、利用人数を確認する場合等においては、「何人ですか」と問えば、「三人」等と、「nin」といった発音が期待でき、これに伴い口を閉じて端を両側に引いた表情になるし、「何名様ですか」と問えば、「mei」といった母音を多く含み、形状が様々に変化する発音が期待できる。 First, voice dialogue processing is performed (step S1). A voice dialogue with the person to be photographed is performed by a voice dialogue device provided in the apparatus. At this time, for example, when information to be transmitted to the photographed person is determined in advance, such as a voice portal, an utterance in which the shape of the face is characteristically changed such as a vowel is expressed as a way of representing the information. By selecting to be attracted, it can be expected that the face shape is changed efficiently. For example, when checking the number of users in a facility reservation system, etc., if you ask "How many?", You can expect pronunciations such as "Three people" and "nin". If you ask "How many people?", You can expect pronunciation with many vowels such as "mei" and various shapes.
次に、顔画像撮影の処理を行う（Ｓ２ステップ）。 Next, face image shooting processing is performed (step S2).
ビデオカメラ等の顔画像撮影装置により、上記音声対話中の顔画像を撮影する。 The face image during the voice conversation is photographed by a face image photographing device such as a video camera.
次に、顔形状の変動解析を行う（Ｓ３ステップ）。 Next, a variation analysis of the face shape is performed (step S3).
図５に顔画像撮影の説明図を示す。
上記の通り撮影された顔画像から、顔形状の変動の仕方を解析する。具体的には、画像中から、テンプレートマッチング等の方法を用いて顔領域を抽出し、さらに顔の中で、口や目等の形状が変動する部位の周辺、例えば図４(ａ)のように顔の特定部位に配置した特徴位置を同じくテンプレートマッチング等の方法を用いて検出する。
次に、検出した特徴位置を、例えば図４（ｂ）のように形状が個別に変動する部品毎にグループ１〜３に分ける。そして、グループ毎に、その形状をグループに含まれる特徴位置の画像中の座標を適当な順番で並べたベクトル(以下、顔形状ベクトルと呼ぶ)で下記のように表現する。
FIG. 5 is an explanatory view of face image shooting.
From the face image photographed as described above, the manner of variation of the face shape is analyzed. Specifically, a face region is extracted from the image by using a method such as template matching, and the periphery of the part where the shape of the mouth, eyes, etc. fluctuates in the face, for example, as shown in FIG. Similarly, a feature position arranged at a specific part of the face is detected using a method such as template matching.
Next, the detected feature positions are divided into groups 1 to 3 for each part whose shape varies individually as shown in FIG. Then, for each group, the shape is expressed as follows by a vector (hereinafter referred to as a face shape vector) in which coordinates in an image of feature positions included in the group are arranged in an appropriate order.
まず、顔画像番号k中のグループ番号iに含まれる点のj番目の特徴点の画像中の座標をVo(k,i,j) とする。ここで、画像中の座標とは、顔画像の左上を原点とし、横方向の画素位置を第一の成分、縦方向の画素位置を第二の成分とするベクトルである。また、グループ番号iに含まれる特徴位置の数をs(i) とする。特徴位置の数は全ての顔画像について同じである。これに対し、グループ番号iの基準位置を次の式の通り、そのグループに含まれる特徴位置の重心(平均)として、下記の通り と表す。 First, the coordinates in the image of the j-th feature point of the points included in the group number i in the face image number k are Vo (k, i, j). Here, the coordinates in the image are vectors having the upper left corner of the face image as the origin, the horizontal pixel position as the first component, and the vertical pixel position as the second component. Further, the number of feature positions included in the group number i is s (i). The number of feature positions is the same for all face images. On the other hand, the reference position of the group number i is expressed as follows as the centroid (average) of the feature positions included in the group as follows:
特徴位置のグループ内での座標を、画像中の座標からグループの重心座標を引いて下記の様に定める。 The coordinates of the feature position within the group are determined as follows by subtracting the barycentric coordinates of the group from the coordinates in the image.
そして、グループ毎にこれらの特徴を一つのベクトルに並べてM(k,i) とし、これによりグループ毎の形状を表す。 Then, for each group, these features are arranged in one vector to be M (k, i), thereby representing the shape of each group.
このようにして、撮影された顔画像kに対し、それぞれ顔形状ベクトルM(k,i) を生成する。十分なバリエーションの顔形状が撮影されたか否かは、得られた形状ベクトルのばらつき具合を表す下記の分散値があらかじめ定められた閾値を越えているか否かで判定し、閾値を下回る場合には不足とみなして音声対話および撮影を継続する。なお、形状ベクトルの分散値は、解析した顔画像の枚数をpとして、下記の式の通り計算する。 In this way, a face shape vector M (k, i) is generated for each captured face image k. Whether or not a sufficient variation of the face shape has been photographed is determined by whether or not the following variance value indicating the degree of variation of the obtained shape vector exceeds a predetermined threshold value. Continuing the voice conversation and shooting as if there was a shortage. Note that the variance of the shape vector is calculated according to the following equation, where p is the number of face images analyzed.
次に、顔形状情報登録を行う（Ｓ４ステップ）。 Next, face shape information registration is performed (step S4).
上記の通り求めた顔形状ベクトルM(k,i)と、撮影した顔画像を顔情報として生成し、顔情報登録部７に登録する。
（２）認証の実施
図６に、実施例１の認証処理の流れ図を示す。
The face shape vector M (k, i) obtained as described above and the captured face image are generated as face information and registered in the face
(2) Implementation of Authentication FIG. 6 shows a flowchart of authentication processing of the first embodiment.
まず、顔画像撮影する（Ｓ１１ステップ）。 First, a face image is taken (step S11).
ビデオカメラ等の顔画像撮影装置により、顔画像を撮影する。 A face image is photographed by a face image photographing device such as a video camera.
次に、画像中の表情解析を行う（Ｓ１２ステップ）。 Next, facial expression analysis in the image is performed (step S12).
撮影した顔画像から、Ｓ３ステップと同様の方法により、顔形状ベクトルM(l,i)を生成する。顔映像の番号lは、登録画像の番号と重複しないものとする。 A face shape vector M (l, i) is generated from the photographed face image by the same method as in step S3. The face image number l does not overlap with the registered image number.
次に、各顔登録データについて形状の変動情報から同一の表情画像生成を行う（Ｓ１３ステップ）。撮影画像の顔形状ベクトルM(l,i)を、登録顔データの形状ベクトルＭ(k,i)の線形和で表現する。具体的には、下記の式の通り、Ｍ(k,i) の線形和のうち、顔形状ベクトルM(l,i)との二乗誤差が最も小さくなる、すなわち最も表情が近くなる重み係数の組を一般的な数値計算法である最小二乗法により求める。これによって求められた線形和Ｍr(l,i)は、登録データの顔形状を入力顔画像と同一の形状に変形させたものである。 Next, the same facial expression image is generated from the shape variation information for each face registration data (step S13). The face shape vector M (l, i) of the photographed image is expressed by a linear sum of the shape vector M (k, i) of the registered face data. Specifically, as shown in the following formula, among the linear sums of M (k, i), the square error with the face shape vector M (l, i) is the smallest, that is, the weight coefficient that gives the closest expression. A set is obtained by a least square method which is a general numerical calculation method. The linear sum Mr (l, i) obtained in this way is obtained by transforming the face shape of the registered data into the same shape as the input face image.
登録人物の同一表情顔形状ベクトル:
さらに、登録データ中の適当な画像ｋを選び、その画像形状ベクトルＭ(k,i)と、Ｍ(l,i) との間の特徴位置の対応関係から、一般的にモーフィングと呼ばれる画像の形状変換法を用いて、撮影画像と同じ表情の顔画像を生成する。
Same face expression vector for registered person:
Further, an appropriate image k in the registered data is selected, and from the correspondence of the feature position between the image shape vector M (k, i) and M (l, i), an image generally called morphing is selected. A face image having the same expression as the photographed image is generated using the shape conversion method.
次に、同一表情画像間で照合を行う（Ｓ１４ステップ）。撮影画像と、前記の通り生成した撮影画像と同一表情の顔画像とで、一般的な顔画像照合アルリズムを用いて照合を行う。
《実施例２》
顔画像データの登録時は証明写真等をデータベースに登録しておき、認証時に本発明により顔形状の変動データを収集、解析し、解析した顔形状変動データから、登録画像と同一の表情の画像を生成し、照合を行う。実施例1と同じく、これにより表情変化に強い顔認証が実現できる。
具体的な登録時および認証時の実施例は下記の通りである。
装置構成は、実施例１と同様である。
（１）登録の実施
図７に実施例２の登録処理の流れ図を示す。
Next, collation is performed between the same facial expression images (step S14). The photographed image and the face image having the same expression as the photographed image generated as described above are collated using a general face image matching algorithm.
Example 2
When registering face image data, ID photos etc. are registered in the database, and face shape variation data is collected and analyzed according to the present invention at the time of authentication. From the analyzed face shape variation data, an image with the same facial expression as the registered image is collected. Is generated and collation is performed. Similar to the first embodiment, this makes it possible to realize face authentication that is resistant to facial expression changes.
Specific examples at the time of registration and authentication are as follows.
The apparatus configuration is the same as in the first embodiment.
(1) Implementation of Registration FIG. 7 shows a flowchart of registration processing of the second embodiment.
まず、顔画像撮影を行う（Ｓ２１ステップ）。 First, face image shooting is performed (step S21).
ビデオカメラ等の顔画像の撮影装置１１により顔画像を撮影する。もしくは、前もって撮影した証明写真等に基づいて顔画像を取得する。
A face image is photographed by a face
次に、顔画像の表情解析を行う（Ｓ２２ステップ）。 Next, facial expression analysis of the face image is performed (step S22).
実施例1のＳ３ステップと同様の方法により、顔形状ベクトルＭ(l,i)を生成する。 A face shape vector M (l, i) is generated by the same method as in step S3 of the first embodiment.
次に、顔形状情報登録を行う（Ｓ２３ステップ）。 Next, face shape information registration is performed (step S23).
上記の通り求めた顔形状ベクトルＭ(l,i)を、撮影した顔画像と共に顔情報として顔情報登録部８に登録する。
（２）認証の実施
図８に実施例２の認証処理の流れ図を示す。
The face shape vector M (l, i) obtained as described above is registered in the face information registration unit 8 as face information together with the photographed face image.
(2) Implementation of Authentication FIG. 8 shows a flowchart of authentication processing according to the second embodiment.
まず、実施例１のＳ１ステップの音声対話と同様の方法により音声対話を実施する（Ｓ２５ステップ）。 First, a voice dialogue is carried out by the same method as the voice dialogue in step S1 of the first embodiment (step S25).
次に、ビデオカメラ等の顔画像の撮影装置１１により、上記音声対話中の顔画像を撮影する（Ｓ２６ステップ）。
Next, the face image during the voice conversation is photographed by the face
次に、顔形状の変動解析を行う（Ｓ２７ステップ）。 Next, a variation analysis of the face shape is performed (step S27).
実施例１のＳ３ステップと同様の方法により、十分な顔形状のバリエーションが撮影されるまで顔形状ベクトルを求める。 The face shape vector is obtained until a sufficient face shape variation is photographed by the same method as in step S3 of the first embodiment.
次に、撮影画像の変形による登録画像と同一の表情画像生成する（Ｓ２８ステップ）。このため、実施例１のＳ１３ステップと同様の方法により撮影画像を変形させ、各登録画像と同一の表情の画像を生成する。 Next, the same facial expression image as the registered image is generated by deformation of the photographed image (step S28). For this reason, the captured image is deformed by the same method as in step S13 of the first embodiment, and an image having the same expression as each registered image is generated.
次に、撮影画像と、前記の通り生成した撮影画像と同一表情の顔画像とで、一般的な顔画像照合アルゴリズムを用いて照合を行う。（Ｓ２９ステップ）。
《実施例３》
画像の登録時および認証時に本発明により顔形状の変動データを収集、解析し、解析したデータから認証に適した特定表情の映像、例えば真顔の顔映像を生成し、照合する。
Next, collation is performed using a general face image collation algorithm between the photographed image and the face image having the same expression as the photographed image generated as described above. (Step S29).
Example 3
At the time of image registration and authentication, face shape variation data is collected and analyzed according to the present invention, and an image of a specific facial expression suitable for authentication, for example, a face image of a true face, is generated and verified from the analyzed data.
特定表情が、あらかじめ登録された顔画像と同一である場合、特定表情が、認証時に撮影された顔画像と同一である場合も同様である。 The same applies when the specific facial expression is the same as the face image registered in advance, or when the specific facial expression is the same as the face image photographed at the time of authentication.
具体的な登録時および認証時の実施例は下記の通りである。 Specific examples at the time of registration and authentication are as follows.
装置構成は、実施例１と同様である。
（１）登録の実施
図９に実施例３の登録処理の流れ図を示す。
The apparatus configuration is the same as in the first embodiment.
(1) Implementation of Registration FIG. 9 shows a flowchart of registration processing of the third embodiment.
まず、実施例1のＳ１ステップと同様の方法により音声対話を実施する（Ｓ３１ステップ）。 First, a voice dialogue is carried out by the same method as the step S1 in the first embodiment (step S31).
次に、ビデオカメラ等の顔画像撮影装置により、上記音声対話中の顔画像を撮影する（Ｓ３２ステップ）。 Next, the face image during the voice conversation is photographed by a face image photographing device such as a video camera (step S32).
次に、顔形状の変動解析を行う（Ｓ３３ステップ）。 Next, a variation analysis of the face shape is performed (step S33).
実施例1のＳ３ステップと同様の方法により、十分な顔形状のバリエーションが撮影されるまで顔形状ベクトルＭ(k,i)を求める。また、撮影時の発音を対話装置に備えられたマイク等の音声信号入力装置から取得し、画像毎にＳ(k)とする。 The face shape vector M (k, i) is obtained until a sufficient face shape variation is photographed by the same method as in step S3 of the first embodiment. Further, the pronunciation at the time of shooting is acquired from an audio signal input device such as a microphone provided in the dialogue device, and S (k) is set for each image.
次に、特定の表情(真顔)画像生成する（Ｓ３４ステップ）。 Next, a specific facial expression (true face) image is generated (step S34).
一般に、認証を行う際、表情の影響を受けない真顔による認証が最も高精度な認証を期待できる。そこで、計測した顔形状の変動データから、それらの変動を排除した無表情の映像を生成する。基本的には、あらかじめ計測した複数の人の発話時の形状変動データの中から、発音時に同じような形変動の仕方をする人物を抽出し、その人物の真顔時の形状データになるよう変形させることで、真顔の顔映像を生成することが出来る。 Generally, when performing authentication, authentication with a true face that is not affected by facial expressions can be expected to provide the most accurate authentication. Therefore, an expressionless video is generated from the measured variation data of the face shape, excluding those variations. Basically, from the shape variation data of a plurality of people uttered in advance, a person who has the same way of shape variation during pronunciation is extracted and transformed into the shape data of the person's true face By doing so, a face image of a true face can be generated.
まず事前に、様々な人物について、顔形状変動データとその際の発音との対応を記録しておく。このとき、認証に用いる特定の表情、真顔の際の顔形状も計測しておく。具体的には、各人物(番号q、以降モデル人物qと呼ぶ)について、t番目の画像(以降、画像tと略記する)を撮影した時の音声データをＳ(q,t)とし、画像tから生成したグループiの顔形状ベクトルをＭ(q,t,i)として、共に記録する。撮影映像から前記にて得た各顔形状ベクトル について、各モデル人物qについて、Ｓ(k) と同じ音声データを持つＳ(q,t)を検索し、存在すればその画像番号を下記の通り記録し、対応付ける。 First, correspondence between face shape variation data and pronunciation at that time is recorded for various persons in advance. At this time, a specific facial expression used for authentication and a face shape in the case of a true face are also measured. Specifically, for each person (number q, hereinafter referred to as model person q), the sound data when the t-th image (hereinafter abbreviated as image t) is taken is S (q, t), and the image The face shape vector of group i generated from t is recorded together as M (q, t, i). For each face shape vector obtained above from the captured video, search for S (q, t) having the same audio data as S (k) for each model person q. Record and associate.
同一音声画像番号: Ｔ(k,i)=t
そして、撮影画像とモデル人物の顔形状ベクトル間で、対応する音声データを持つ顔形状ベクトルの類似性を下記の通り評価し、この値が最も小さい、すなわち類似性が最も高いモデル人物を検索することで、撮影画像と同じように発声し、形状変動させている人物を探索する。
Same audio image number: T (k, i) = t
Then, the similarity of the face shape vector having the corresponding audio data is evaluated as follows between the captured image and the model person's face shape vector, and the model person having the smallest value, that is, the highest similarity is searched. Thus, the person who is uttered in the same manner as the captured image and whose shape is changed is searched.
この顔形状変動の類似度が最も高い人物の形状変動データのうち、事前に計測した真顔の形状データをグループ毎にＭo(i) とする。そして、これらのＭo(i) に形状が合致するよう、撮影画像のうちのいずれかの画像をモーフィングさせ、真顔の画像を生成する。
次に、上記の通り生成した真顔の顔画像を顔情報登録部８に登録する（Ｓ３５ステップ）。
（２）認証の実施
図１０に実施例３の認証処理の流れ図を示す。
Of the shape variation data of the person having the highest similarity in face shape variation, the shape data of the true face measured in advance is assumed to be Mo (i) for each group. Then, one of the captured images is morphed so that the shape matches these Mo (i), and a true face image is generated.
Next, the face image of the true face generated as described above is registered in the face information registration unit 8 (step S35).
(2) Implementation of Authentication FIG. 10 shows a flowchart of authentication processing according to the third embodiment.
まず、実施例１のＳ１ステップと同様の方法により音声対話を実施する（Ｓ３６ステップ）。 First, a voice dialogue is carried out by the same method as the step S1 in the first embodiment (step S36).
次に、ビデオカメラ等の顔画像撮影装置により、上記音声対話中の顔画像を撮影する（Ｓ３７ステップ）。 Next, the face image during the voice dialogue is photographed by a face image photographing device such as a video camera (step S37).
次に、顔形状の変動解析を行う（Ｓ３８ステップ）。 Next, a variation analysis of the face shape is performed (step S38).
実施例１のＳ３ステップと同様の方法により、十分な顔形状のバリエーションが撮影されるまで顔形状ベクトルＭ(k,i)を求める。また、撮影時の発音を対話装置に備えられたマイク等の音声信号入力装置から取得し、画像毎にＳ(k)とする。 The face shape vector M (k, i) is obtained until a sufficient face shape variation is photographed by the same method as in step S3 of the first embodiment. Further, the pronunciation at the time of shooting is acquired from an audio signal input device such as a microphone provided in the dialogue device, and S (k) is set for each image.
次に、特定の表情(真顔)画像生成を行う（Ｓ３９ステップ）。Ｓ３４ステップと同様の方法により、撮影画像から真顔の画像を生成する。 Next, a specific facial expression (true face) image is generated (step S39). A true face image is generated from the captured image by the same method as in step S34.
次に、登録画像と照合する（Ｓ４０ステップ）。登録データベース中の各人物の登録時に生成した真顔の顔映像と、前記により撮影映像から生成した真顔の顔画像を、通常の顔画像照合アルゴリズムにより照合する。 Next, the registered image is collated (step S40). The face image of the true face generated at the time of registration of each person in the registration database and the face image of the true face generated from the photographed image are collated by a normal face image collation algorithm.
その他の実施例として、人物との対話を用いた実施例もある。例えば、実施例1のうち、登録時の音声対話を人間が行う。それ以外については、実施例１と同様の方法で行う。 As another embodiment, there is an embodiment using dialogue with a person. For example, in Example 1, a human performs a voice conversation at the time of registration. Other than that, the method is the same as in Example 1.
また、実施例２のうち、認証時の音声対話を人間が行う。それ以外については、実施例２と同様である。 Further, in the second embodiment, a human performs a voice conversation at the time of authentication. Other than that, the second embodiment is the same as the second embodiment.
また、実施例３において、登録時/認証時共に音声対話を人間が行う。それ以外については、実施例３と同様である。 Further, in the third embodiment, a human performs a voice conversation at the time of registration / authentication. The rest is the same as in Example 3.
これらにより、被撮影者にそれと気づかれることなく表情変化に強い顔認証が可能である。被撮影者にそれと気づかせず、従って負担をかけず、照合時の顔映像の表情を一致させることができ、表情変化に耐性の強い顔認証を実現できる。 As a result, it is possible to perform face authentication that is resistant to facial expression changes without the subject being aware of it. The face image at the time of collation can be matched without making the photographer aware of it, and therefore not burdened, and face authentication that is highly resistant to facial expression changes can be realized.
また、登録時もしくは照合時のいずれか片方での実施により表情変化に強い顔認証が可能であり、従って利用者の利便性が向上し、トータル作業コストが削減され、顔認証技術の適用範囲を拡大できる。従来の方式では登録時と認証時と、共に複数の顔画像を撮影する必要があったのに対し、本発明は、事前に顔画像を登録する際、もしくは照合用画像を撮影する際のいずれか一方のみで実施すれば、同一表情での照合が可能となり、表情変化に強い顔認証が実現できる。例えば、本発明を用いれば、登録時には証明写真を一枚だけ登録し、認証時の映像から登録映像と同一表情の映像を生成し照合することが可能になる。従って、登録時の手続きを簡便に出来、利用者にとっての利便性を向上させるとともに、サービスとしての運用コストを格段に低減することが出来る。これにより、顔認証技術の適用範囲を拡大することが出来る。 In addition, it is possible to perform face authentication that is resistant to changes in facial expression by performing either registration or verification, thus improving user convenience, reducing total work costs, and increasing the scope of application of face authentication technology. Can be expanded. In the conventional method, it is necessary to shoot a plurality of face images both at the time of registration and at the time of authentication. On the other hand, according to the present invention, either when a face image is registered in advance or when a matching image is shot. If only one of them is carried out, collation with the same facial expression is possible, and face authentication that is resistant to facial expression changes can be realized. For example, by using the present invention, it is possible to register only one ID photo at the time of registration, and to generate and collate a video with the same facial expression as the registered video from the video at the time of authentication. Therefore, the registration procedure can be simplified, the convenience for the user can be improved, and the operation cost as a service can be significantly reduced. Thereby, the application range of the face authentication technology can be expanded.
以上の実施例１〜３を含む実施形態に関し、更に以下の付記を開示する。
（付記１）人物と音声により対話を行う音声対話手段と、人物の顔画像を撮影する撮影手段と、
撮影された顔画像から顔形状の変化情報を解析する顔形状変化情報解析手段と、解析された顔形状変化情報および顔画像情報を基に顔情報を生成する顔情報生成手段と、を有することを特徴とする顔形状変化情報抽出装置。
（付記２）音声対話手段は、被撮影者の表情を変化させる発声を非明示的に誘引することで、被撮影者の表情を制御する音声対話を行うことを特徴とする付記１記載の顔形状変化情報抽出装置。
（付記３）付記1もしくは２いずれかの顔形状変化情報抽出装置と、
顔形状変化情報抽出装置を使い、被撮影者に気づかれることなく顔画像を撮影し、生成された顔情報を登録する顔情報登録手段と、を有することを特徴とする顔画像登録装置。
（付記４）付記1もしくは２いずれかの顔形状変化情報抽出装置と、顔情報を登録する顔情報登録手段と、顔形状変化情報抽出装置を使い、被撮影者の顔情報を生成し、生成された顔情報と登録された顔情報とを照合する顔情報認証処理手段と、を有することを特徴とする顔画像認証装置。
（付記５）顔情報認証処理手段は、顔形状変化情報抽出装置により生成した顔形状変化情報に基づき、認証時に入力された顔情報と、登録された顔情報から同一表情の映像を生成し認証することを特徴とする付記４記載の顔画像認証装置。
（付記６）顔情報生成手段は、解析された顔形状変化情報を所定の表情に変形させて顔情報を生成することを特徴とする付記１記載の顔形状変化情報抽出装置。
（付記７）顔情報生成手段は、認証時に入力された顔情報と同一表情の画像を顔情報登録手段に登録されている顔情報を基に生成することを特徴とする付記５記載の顔画像認証装置。
（付記８）登録時に、顔情報生成手段が特定表情の顔画像を生成して登録し、認証時に、顔情報生成手段が特定表情の顔画像を生成して、登録された特定表情の顔情報と照合することを特徴とする付記４記載の顔画像認証装置。
（付記９）特定表情が、真顔であることを特徴とする付記８記載の顔画像認証装置。
（付記１０）特定表情が、あらかじめ登録された顔画像と同一であることを特徴とする付記８記載の顔画像認証装置。
（付記１１）特定表情は、認証時に撮影された顔画像と同一であることを特徴とする付記８記載の顔画像認証装置。
（付記１２）顔形状変化情報解析手段は、顔形状の所定の特徴位置を検出し、形状が個別に変化するグループにするグループ化手段と、各グループの形状ベクトルを生成するベクトル生成手段とを有することを特徴とする付記１記載の顔形状変化情報抽出装置。
The following appendices are further disclosed with respect to the embodiments including the first to third embodiments.
(Appendix 1) Voice dialogue means for carrying out dialogue with a person by voice, photographing means for taking a face image of a person,
It has face shape change information analysis means for analyzing face shape change information from the photographed face image, and face information generation means for generating face information based on the analyzed face shape change information and face image information. A face shape change information extraction device characterized by the above.
(Supplementary note 2) The face according to Supplementary note 1, wherein the voice dialogue means performs voice dialogue for controlling the facial expression of the subject by implicitly attracting a utterance that changes the facial expression of the subject. Shape change information extraction device.
(Supplementary note 3) The face shape change information extracting device according to either
A face image registration device comprising: a face information registration unit that uses a face shape change information extraction device to photograph a face image without being noticed by a subject and registers the generated face information.
(Supplementary note 4) Using the face shape change information extracting device of any one of
(Appendix 5) The face information authentication processing means generates a video of the same expression from the face information input at the time of authentication and the registered face information based on the face shape change information generated by the face shape change information extraction device. The face image authenticating device according to
(Supplementary note 6) The face shape change information extracting device according to supplementary note 1, wherein the face information generating means generates face information by transforming the analyzed face shape change information into a predetermined expression.
(Supplementary note 7) The face image according to
(Additional remark 8) At the time of registration, the face information generation unit generates and registers a face image of a specific expression, and at the time of authentication, the face information generation unit generates a face image of the specific expression and the registered face information of the specific expression The face image authentication device according to
(Supplementary note 9) The face image authentication device according to supplementary note 8, wherein the specific facial expression is a true face.
(Supplementary note 10) The face image authentication device according to supplementary note 8, wherein the specific facial expression is the same as the face image registered in advance.
(Additional remark 11) The face image authentication apparatus of Additional remark 8 characterized by the specific facial expression being the same as the face image image | photographed at the time of authentication.
(Supplementary Note 12) The face shape change information analyzing means includes a grouping means for detecting a predetermined feature position of the face shape and making the group individually change in shape, and a vector generating means for generating a shape vector of each group. The face shape change information extracting device as set forth in appendix 1, characterized by comprising:
１ 顔形状変化情報抽出装置
２ 顔画像登録装置
３ 顔画像認証装置
４ 画像入力部
５ 対話処理部
６ 顔形状変化情報解析部
７ 顔情報生成部
８ 顔情報登録部
８ 顔情報登録部
９ 顔情報認証処理部
１１ 撮影装置
１２ 音声対話装置
DESCRIPTION OF SYMBOLS 1 Face shape change
Claims (5)
被撮影者への質問を音声出力し、該被撮影者の質問への回答を音声入力することにより、該被撮影者と対話を行う音声対話手段と、
前記音声対話手段による音声入力に対応して表情が変化した前記被撮影者の顔画像を撮影する撮影手段と、
前記撮影された顔画像を解析して顔形状の変化情報を出力する顔形状変化情報解析手段と、
前記出力された顔形状変化情報および顔画像情報を基に所定の顔表情として顔情報を生成する顔情報生成手段と、を有することを特徴とする顔形状変化情報抽出装置。 A face shape change information extraction device for acquiring a change in face shape due to a change in facial expression from a face image,
A voice interaction means for performing a dialogue with the subject by voice-outputting a question to the subject and inputting a response to the question of the subject by voice;
Photographing means for photographing a face image of the photographed person whose facial expression has changed in response to voice input by the voice interaction means ;
And the face shape change information analyzing means for outputting a change information of the face shape by analyzing the captured face image,
A face shape change information extracting device, comprising: face information generating means for generating face information as a predetermined facial expression based on the output face shape change information and face image information.
前記顔形状変化情報抽出装置により生成された顔情報を登録する顔情報登録手段と、を有する顔情報登録装置であって、
前記顔形状変化情報抽出装置の顔情報生成手段は、前記顔表情を予め定めた顔表情に変換する手段をさらに備え、
前記登録手段は、前記顔形状変化情報抽出装置が、登録時に被撮影者の顔画像から顔表情を解析し、該解析された顔表情を予め定めた顔表情に変換して生成した顔情報を登録することを特徴とする顔画像登録装置。 The face shape change information extracting device according to claim 1 or 2,
A face information registration device having face information registration means for registering face information generated by the face shape change information extraction device ,
The face information generating means of the face shape change information extracting device further comprises means for converting the facial expression into a predetermined facial expression,
The registration means includes facial information generated by the facial shape change information extraction device analyzing a facial expression from a face image of the subject at the time of registration and converting the analyzed facial expression into a predetermined facial expression. face image registration device and registers.
前記顔形状変化情報抽出装置の顔情報生成手段は、顔表情を予め定めた顔表情に変換する手段をさらに備え、
前記登録手段は、前記顔形状変化情報抽出装置が、登録時に被撮影者の顔画像から顔表情を解析し、該解析された顔表情を前記予め定めた顔表情に変換して生成した顔情報を予め登録し、
前記顔情報認証処理手段は、前記顔形状変化情報抽出装置が、認証時に被撮影者の顔画像から顔の表情を解析し、該解析された顔表情を前記予め定めた顔表情に変換して生成した顔情報と、予め前記登録手段に登録された顔情報との同一表情の顔情報同士を照合することを特徴とする顔画像認証装置。 3. The face shape change information extraction device according to claim 1 or 2, face information registration means for registering face information generated by the face shape change information extraction device , the registered face information and generated at the time of authentication A face image authentication apparatus having face information authentication processing means for collating face information ,
The face information generating means of the face shape change information extracting device further comprises means for converting a facial expression into a predetermined facial expression,
The registration means is the face information generated by the face shape change information extracting device analyzing the facial expression from the face image of the photographed person at the time of registration and converting the analyzed facial expression into the predetermined facial expression. Is registered in advance,
In the face information authentication processing means, the face shape change information extraction device analyzes a facial expression from a face image of a photographed person at the time of authentication, and converts the analyzed facial expression into the predetermined facial expression. A face image authentication apparatus , wherein face information of the same expression is collated between the generated face information and face information registered in advance in the registration means .
前記顔形状変化情報抽出装置の顔情報生成手段は、顔情報の認証時に前記登録手段に登録された顔情報を変換する変換手段をさらに備え、
前記登録手段は、前記顔形状変化情報抽出装置が、登録時に被撮影者の顔画像から顔表情を解析して生成した顔情報を予め登録し、
前記顔情報認証処理手段は、前記顔形状変化情報抽出装置が、認証時に被撮影者の顔画像から顔の表情を解析して生成された顔情報と、前記変換手段が前記顔情報登録手段に登録された顔情報を該認証時に撮影された顔表情と一致するように変換して生成された顔情報との同一表情の顔情報同士を照合することを特徴とする顔画像認証装置。 3. A face shape change information extracting device according to claim 1; face information registering means for registering face information; and face information authentication processing means for comparing the registered face information with face information generated at the time of authentication. A face image authentication device comprising:
The face information generating means of the face shape change information extracting device further comprises conversion means for converting face information registered in the registration means at the time of face information authentication,
The registration means pre-registers face information generated by the facial shape change information extraction device by analyzing a facial expression from a face image of a subject at the time of registration,
The face information authentication processing means includes the face information generated by the face shape change information extraction device analyzing facial expressions from the face image of the subject at the time of authentication, and the conversion means to the face information registration means. face image authentication device you characterized by collating the face information together with the same facial expressions and the registered face information which is generated by converting to match the captured facial expression at the time of the authentication face information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005148473A JP4645301B2 (en) | 2005-05-20 | 2005-05-20 | Face shape change information extraction device, face image registration device, and face image authentication device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005148473A JP4645301B2 (en) | 2005-05-20 | 2005-05-20 | Face shape change information extraction device, face image registration device, and face image authentication device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006323774A JP2006323774A (en) | 2006-11-30 |
| JP4645301B2 true JP4645301B2 (en) | 2011-03-09 |
Family
ID=37543387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005148473A Expired - Fee Related JP4645301B2 (en) | 2005-05-20 | 2005-05-20 | Face shape change information extraction device, face image registration device, and face image authentication device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4645301B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104846B (en) * | 2019-10-16 | 2022-08-30 | 平安科技（深圳）有限公司 | Data detection method and device, computer equipment and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11316836A (en) * | 1998-05-06 | 1999-11-16 | Omron Corp | Person identifying |
| JP2003263639A (en) * | 2002-03-08 | 2003-09-19 | Koji Fukami | Face image recognizing device and method |
| JP2004199386A (en) * | 2002-12-18 | 2004-07-15 | Oki Electric Ind Co Ltd | Facial image synthesizer and method for detecting wink in facial image |
-
2005
- 2005-05-20 JP JP2005148473A patent/JP4645301B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11316836A (en) * | 1998-05-06 | 1999-11-16 | Omron Corp | Person identifying |
| JP2003263639A (en) * | 2002-03-08 | 2003-09-19 | Koji Fukami | Face image recognizing device and method |
| JP2004199386A (en) * | 2002-12-18 | 2004-07-15 | Oki Electric Ind Co Ltd | Facial image synthesizer and method for detecting wink in facial image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006323774A (en) | 2006-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sargin et al. | Audiovisual synchronization and fusion using canonical correlation analysis | |
| CN112037791B (en) | Conference summary transcription method, apparatus and storage medium | |
| JP4951995B2 (en) | Face matching device | |
| US6772119B2 (en) | Computationally efficient method and apparatus for speaker recognition | |
| US8929595B2 (en) | Dictionary creation using image similarity | |
| US20110224978A1 (en) | Information processing device, information processing method and program | |
| KR20010039771A (en) | Methods and apparatus for audio-visual speaker recognition and utterance verification | |
| KR102167760B1 (en) | Sign language analysis Algorithm System using Recognition of Sign Language Motion process and motion tracking pre-trained model | |
| WO2014050281A1 (en) | Method for updating personal authentication dictionary, device for updating personal authentication dictionary, recording medium, and personal authentication system | |
| TW201201115A (en) | Facial expression recognition systems and methods and computer program products thereof | |
| WO2012020591A1 (en) | System for identifying individuals, feature value specification device, feature specification method, and recording medium | |
| JP2021022351A (en) | Method and device for entering face information into database | |
| CN110221693A (en) | A kind of intelligent retail terminal operating system based on human-computer interaction | |
| JP2022177229A (en) | Liveness detection verification method, liveness detection verification system, recording medium, and method for training liveness detection verification system | |
| JP2007067972A (en) | Conference system and control method for conference system | |
| JP2006085289A (en) | Facial authentication system and facial authentication method | |
| JP2013257418A (en) | Information processing device, information processing method, and program | |
| JP4645301B2 (en) | Face shape change information extraction device, face image registration device, and face image authentication device | |
| JP6916130B2 (en) | Speaker estimation method and speaker estimation device | |
| JP2020067562A (en) | Device, program and method for determining action taking timing based on video of user's face | |
| Koch et al. | One-shot lip-based biometric authentication: Extending behavioral features with authentication phrase information | |
| JP4849630B2 (en) | Utterance content identification device and personal identification device | |
| KR100898766B1 (en) | Face recognition system, the method of face recognition registration and confirmation | |
| JP4446383B2 (en) | Image processing apparatus and image recognition apparatus | |
| Kao et al. | Integration of face and hand gesture recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080317 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100917 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4645301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |