WO2010109700A1 - 立体物判定装置、立体物判定方法及び立体物判定プログラム - Google Patents

立体物判定装置、立体物判定方法及び立体物判定プログラム Download PDF

Info

Publication number
WO2010109700A1
WO2010109700A1 PCT/JP2009/066660 JP2009066660W WO2010109700A1 WO 2010109700 A1 WO2010109700 A1 WO 2010109700A1 JP 2009066660 W JP2009066660 W JP 2009066660W WO 2010109700 A1 WO2010109700 A1 WO 2010109700A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
dimensional
dimensional object
pattern
unit
Prior art date
Application number
PCT/JP2009/066660
Other languages
English (en)
French (fr)
Inventor
小坂谷　達夫
進 窪田
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Publication of WO2010109700A1 publication Critical patent/WO2010109700A1/ja
Priority to US13/233,644 priority Critical patent/US8620066B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a three-dimensional object determination device, a three-dimensional object determination method, and a three-dimensional object determination program.
  • impersonation of another person using a photograph or the like may be a problem.
  • Patent Document 1 discloses a technique for detecting a feature point of a face from an acquired image (data) and determining a living body based on whether the motion information of the feature point is the same at the time of registration and at the time of matching. is doing.
  • Patent Document 2 discloses a technique for determining whether or not the subject is a living body by capturing changes in the eye region and the mouth region.
  • the depth of the acquired image is directly obtained using a stereo camera or the like, it can be determined whether it is a three-dimensional shape, but there is a problem that the application range is limited because a plurality of cameras and special equipment are required.
  • the present invention has been made in view of the above, and an object thereof is to accurately determine whether an object included in an acquired image is a three-dimensional object.
  • the present invention provides a detection unit that detects a plurality of feature points of an object included in acquired image data, and the image data using the plurality of feature points.
  • a pattern normalization unit that generates a normalization pattern normalized by a three-dimensional model, and an estimation unit that estimates an illumination direction of light applied to the object in the image data from the three-dimensional model and the normalization pattern
  • a determination unit that determines whether the object in the image data is a three-dimensional object using the illumination direction.
  • the present invention it is possible to accurately determine whether or not the object included in the acquired image data is a three-dimensional object.
  • FIG. 1 is a block diagram illustrating a configuration of the three-dimensional object determination device according to the first embodiment.
  • the three-dimensional object determination device includes an acquisition unit 1, a detection unit 2, a model storage unit 3, a model storage control unit 4, a pattern normalization unit 5, an estimation unit 6, and a determination unit 7.
  • the acquisition unit 1 acquires image data including a target object.
  • the target object is a human face.
  • the image data acquired by the acquisition unit 1 includes image data captured by an imaging device such as a USB camera or digital camera, image data acquired by a scanner or other special equipment, or HDD, video tape, DVD, or the like. Image data stored in a storage device is used. Furthermore, the acquisition unit 1 may acquire image data from an external device via a network or the like.
  • the detecting unit 2 detects a plurality of facial feature points from the acquired image data. Any method may be used to detect facial feature points. For example, Yuasa et al. “Yuasa et al.,“ Automatic facial feature point extraction for still image face recognition ”, IEICE Technical Report PRMU2006 -222, pp. 5-10, 2007 "detects a total of 14 facial feature points: pupil, nostril, corner of the eye, head of the eye, mouth edge, inner edge of eyebrows, apex of nose, and midpoint of mouth be able to.
  • the model storage unit 3 stores a three-dimensional model used for illumination estimation. If the three-dimensional shape of the face included in the acquired image data is known, the processing can be performed with the highest accuracy. However, in practice, the shape of the target face is rarely known. Therefore, the model storage unit 3 stores a general three-dimensional model such as an average face shape. Instead of storing a general three-dimensional model, the model storage unit 3 may store various types of three-dimensional models such as races such as Asians and sexes. In that case, the pattern normalization unit 5 and the estimation unit 6 need to switch the three-dimensional model to be used according to the situation.
  • the normal vector (n x, n y, n z) is also obtained in addition each coordinate To do. Note that since it is possible to calculate a normal vector from three-dimensional coordinates, the normal vector may be obtained by a process such as initialization even if it is not given in advance.
  • the model storage control unit 4 controls the model storage unit 3 to store the three-dimensional model.
  • the pattern normalization unit 5 generates a face pattern in which the size is normalized from the three-dimensional model, the acquired image data, and a plurality of detected feature points.
  • the normalization method may use affine transformation that uses pupils or nostrils to make the position, size, and in-screen rotation constant, but the normalization pattern is distorted when a non-frontal face is input.
  • the 3D normalization method that normalizes using a 3D model (Tatsuo Kosakaya, Osamu Yamaguchi, “3D normalization method based on projective transformation for face recognition”, PRMU2005-101 , Pp. 49-54, 2005.).
  • the coordinates of feature points of the same type as the types of feature points (pupil, nostril, etc.) detected from the image are defined on the three-dimensional model, and the feature points on the image and the three-dimensional model are defined.
  • This is a technique for obtaining the correspondence between the face image and the entire three-dimensional model by obtaining the positional relationship with the upper feature point.
  • the three-dimensional model The three-dimensional normalization method that performs the normalization process in accordance with is also preferable in that the correspondence between the image and the three-dimensional model is explicitly obtained.
  • the correspondence between the normalized pattern and the three-dimensional model is obtained means that the luminance of the face pattern at the i-th coordinate (x i , y i , z i ) of the three-dimensional model. This refers to the state where the value (color information) I i is obtained.
  • the luminance value of the normalization pattern can be obtained at coordinates on an arbitrary three-dimensional model.
  • the estimation unit 6 estimates the illumination direction of light applied to the face in the image data from the normalized face pattern and the three-dimensional model. Assuming that the face surface is a Lambertian surface and the illumination is a point light source from a single direction, the luminance value I i for the point i on the face surface can be defined by the following equation (1).
  • a is the albedo of the face surface
  • l reflectance is the normal vector at the point i
  • s is the bias due to the illumination direction vector
  • I a is the ambient light, albedo, reflectivity, bias entire face And constant. Further, since there is no negative light quantity, the maximum value is limited to zero.
  • equation (1) for the luminance values of all the extracted face patterns and approximating it with the maximum value function ignored for the sake of simplicity, it can be defined by a matrix expression like the following equation (2).
  • ⁇ is an operator for obtaining a pseudo inverse matrix.
  • the final illumination direction can be obtained by normalizing the illumination direction vector (s x , s y , s z ) to be norm 1.
  • the normal matrix obtained by Equation (2) is invariable if the three-dimensional model is constant, a pseudo inverse matrix of the normal matrix is calculated in advance for each three-dimensional model and stored in the model storage unit 3. Therefore, the illumination direction can be estimated simply by calculating the inner product of the inverse matrix and the pattern vector obtained from the normalized pattern, and the processing can be performed at extremely high speed.
  • Approximation such as assuming that the face surface is a Lambertian surface or ignoring the negative light amount is introduced into the illumination direction obtained here, and may not always match the actual illumination direction.
  • the illumination direction is used for distinguishing between a three-dimensional object and a photograph, and no strict light source direction is required, which is not a problem.
  • the “illumination direction” calculated using the normalization pattern by the three-dimensional normalization method is the illumination direction based on the coordinate system on the normalization pattern.
  • the face pattern obtained by the three-dimensional normalization method the face direction is normalized to the same as the three-dimensional model (usually the front direction).
  • the lighting environment is fixed and the face direction is changed from the front to the side.
  • the face orientation is normalized, so that the result is as if the illumination direction is moving relatively.
  • a motion matrix (a matrix representing the correspondence between detected face feature points and feature points on a three-dimensional model) obtained when performing three-dimensional normalization It is possible to convert to the illumination direction on the image.
  • the determination unit 7 determines whether the face in the image data acquired using the estimated illumination direction is a three-dimensional object.
  • any method may be used for the determination. For example, if the environment of the place where the determination is made is known, the illumination direction corresponding to the environment is also known, so by checking whether it matches the estimated illumination direction, the three-dimensional face existing in the place It is possible to determine whether there is.
  • the surrounding lighting conditions are estimated by considering time, place, direction, weather, etc., and whether the lighting direction of the input face image matches. Can also be determined.
  • FIG. 2 is a flowchart illustrating the operation of the three-dimensional object determination device according to the first embodiment.
  • the acquisition unit 1 acquires an image including an object (human face) to be determined (step S11).
  • the detection unit 2 detects a plurality of feature points from the face image acquired by the acquisition unit 1 (step S12).
  • the pattern normalization unit 5 normalizes the size and the like from the three-dimensional model stored in the model storage unit 3, the face image acquired by the acquisition unit 1, and the plurality of feature points detected by the detection unit 2.
  • the generated face pattern is generated (step S13).
  • the estimation unit 6 estimates the illumination direction using the normalized face pattern obtained by the pattern normalization unit 5 and the normal vector of the three-dimensional model (step S14).
  • the determination unit 7 determines whether the face in the acquired image is a three-dimensional object using the illumination direction obtained by the estimation unit 6 (step S15).
  • the acquired face image is a three-dimensional image, that is, whether or not another person is impersonating with a photograph.
  • the determination unit 7 determines whether the object is a three-dimensional object by comparing the current illumination environment with the estimated illumination direction.
  • the illumination device that affects the illumination condition of the user's face surface May be prepared separately, and the three-dimensional object determination device may control the lighting device.
  • FIG. 3 is a block diagram illustrating a configuration of a three-dimensional object determination device according to a modification of the first embodiment.
  • the three-dimensional object determination device according to the modified example is further provided with an illumination control unit 8, and the illumination control unit 8 is connected to the illumination device 9.
  • the illumination device 9 is illumination that irradiates light from a specific direction and illuminates the user, and the illumination control unit 8 controls on / off of the illumination device 9. And if the illumination direction which the estimation part 6 estimated changes according to ON / OFF of the illuminating device 9 by the illumination control part 8, the determination part 7 will determine that the face in the acquired image data is a solid object. Can do. On the other hand, a plane object such as a photograph can be accurately distinguished from a three-dimensional object because the illumination direction does not change regardless of whether the illumination device 9 is turned on or off by the illumination control unit 8.
  • the pattern normalization unit 5 generates a normalization pattern for the entire face, but the range of the normalization pattern to be generated may be a part of the face or a combination of a plurality of parts. As long as there is a normal vector corresponding to the normalization pattern, the estimation unit 6 can estimate the illumination direction without being limited with respect to the normalization pattern area, so any face area can be used. I do not care.
  • the pattern normalization unit 5 generates a normalization pattern of a plurality of areas, the estimation unit 6 estimates the illumination direction from each normalization pattern, and the determination unit 7 determines whether the object is a three-dimensional object. May be. For example, it is possible to judge using only the area near the nose where the unevenness is relatively clear in the human face, or to divide the face area into left and right halves and make the judgment after integrating the judgment results. Also good.
  • the direction of illumination applied to the face (object) of the image data is estimated from the image data including the acquired face (object), From this irradiation direction, it is possible to accurately determine whether the person (object) having the face included in the image data is the person (three-dimensional object) present on the spot.
  • the determination unit 7 determines whether or not the object is a three-dimensional object using only the illumination direction. In the second embodiment, the determination unit 7 acquires the acquired image in addition to the illumination direction. Whether or not the object is a three-dimensional object is determined in consideration of the face orientation.
  • a second embodiment will be described with reference to the accompanying drawings. With respect to the configuration of the three-dimensional object determination device according to the present embodiment, a part different from the first embodiment will be described. The other parts are the same as those in the first embodiment, and therefore, the parts having the same reference numerals are referred to the above description, and the description thereof is omitted here.
  • FIG. 4 is a block diagram illustrating a configuration of the three-dimensional object determination device according to the second embodiment.
  • the three-dimensional object determination device includes an acquisition unit 1, a detection unit 2, a model storage unit 3, a model storage control unit 4, a pattern normalization unit 5, an estimation unit 6, and a determination unit 10.
  • the determination unit 10 determines whether the face in the acquired image data is a three-dimensional object using the estimated illumination direction and the calculated face direction in the acquired image data.
  • FIG. 5A is a schematic diagram illustrating the influence of illumination on a three-dimensional face, and a broken line 21 indicates an estimated illumination direction.
  • FIG. 5B is another schematic diagram illustrating the influence of illumination on a three-dimensional face.
  • a broken line 22 indicates an estimated illumination direction.
  • FIG. 5C is a schematic diagram illustrating the influence of illumination on a face on a plane.
  • a broken line 23 indicates an estimated illumination direction.
  • Fig. 5-3 shows the face in the photograph.
  • the illumination direction also changes according to the change in the face direction (note that it is based on the coordinate system on the 3D model), but a planar object such as a photograph Then, no matter how the photo is moved, the face orientation and lighting direction should not change.
  • the determination unit 10 uses this principle for determination.
  • the rotation matrix M representing the orientation of the face uses, for example, the technique disclosed in Japanese Patent Application Laid-Open No. 2008-194146 from the face feature points detected by the detection unit 2 and the face feature points on the three-dimensional model. Can be calculated by: If the direction vector representing the face direction is expressed by a unit vector (0, 0, 1) parallel to the z coordinate in the coordinate system on the three-dimensional model, the direction vector representing the face direction on the screen. x can be obtained by a product with the rotation matrix M.
  • the illumination direction vector based on the coordinate system of the three-dimensional model at this time is y
  • x and y change based on a certain relationship in the case of a three-dimensional object, and do not change in the case of a planar object such as a photograph, Or it should be an uncorrelated change like noise.
  • a method is used in which determination is made by a test based on multiple regression.
  • any method other than the method described here may be used to determine the relationship between the face direction and the illumination direction.
  • the acquisition unit 1 acquires a plurality of images (frames) by a moving image series. Assume that the relationship is expressed by the following equations, where x i is the face direction in the i-th image and y i is the illumination direction.
  • Equation (4) is an equation with nine unknowns, if there are images of three frames or more, they can be easily solved using the method of least squares or the like.
  • Equation (5) Based on the matrix A obtained by solving Equation (4), the illumination direction Y i predicted from the face orientation x i is obtained from Equation (5) as shown in the following equation.
  • the total variation S T can be expressed by the sum of the variation S R due to multiple regression and the variation S E of the residual, and can be defined as in the following equation (6).
  • y is the average of the illumination direction vectors
  • Y is the average of the illumination direction vectors predicted by the matrix A
  • n is the number of frames used.
  • unbiased variance V R and V E, variance ratio F 0 is defined by the following equation (7).
  • p is a constant representing the degree of freedom.
  • the multiple regression equation defined by the equation (4) is useful for predicting the target variable Y.
  • the multiple regression equation defined by the equation (4) indicates that the illumination direction can be predicted from the face direction, and both change according to a certain relationship. That is, it can be seen that it is a real face with a three-dimensional shape.
  • dispersion ratio F 0 is the case of less than or equal to the threshold value, it is impossible to estimate the illumination direction from the orientation of the face. That is, it can be determined that there is no relationship between them (which can be expressed at least linearly).
  • the illumination direction of the face direction should ideally be constant, but it is not completely constant in all frames due to detection errors of face feature points. However, since changes in the illumination direction and the face direction caused by noise such as detection errors are considered to be uncorrelated with each other, it can be determined that the face is on a plane such as a photograph.
  • both the face direction and the illumination direction change according to the movement of the face, and it is determined whether the object is a three-dimensional object using the movement.
  • the determination may be performed by normalizing the overall movement of the facial feature points on the screen. For example, the standard deviation of the barycentric coordinates of the feature points may be obtained, and the standard deviation of the face direction and the illumination direction may be normalized by the standard deviation of the barycentric points of the feature points.
  • FIG. 6 is a block diagram illustrating a configuration of a three-dimensional object determination device according to a modification of the second embodiment.
  • the three-dimensional object determination device according to the modification is further provided with an instruction control unit 11, and the instruction control unit 11 is connected to the instruction device 12.
  • the instruction apparatus 12 is an apparatus that instructs the user to move the face, and instructs the user to move the face using a method that the user can perceive, such as an image, light, or sound.
  • the instruction control unit 11 controls the operation of the instruction device 12. Then, when the user moves his / her face in accordance with an instruction from the instruction device 12 under the control of the instruction control unit 11, the determination unit 10 can distinguish between a photograph and a three-dimensional object.
  • the direction of illumination applied to the face (object) of the image data is estimated from the image data including the acquired face (object), Using this irradiation direction and the orientation of the face (object) in the calculated image data, it is accurately determined whether the person (object) having the face included in the image data is the person (three-dimensional object) present on the spot. It becomes possible to judge.
  • the three-dimensional object determination device of the present embodiment includes a control device such as a CPU, a storage device, an external storage device, a display device such as a display device, and an input device such as a keyboard and a mouse. It has a hardware configuration using a computer.
  • the three-dimensional object determination program executed by the three-dimensional object determination apparatus of the present embodiment is a file in an installable format or an executable format, and is a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk).
  • the program is recorded on a computer-readable recording medium such as a computer program product.
  • the three-dimensional object determination program executed by the three-dimensional object determination device of the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network.
  • the three-dimensional object determination program executed by the three-dimensional object determination device of the present embodiment may be provided or distributed via a network such as the Internet.
  • the three-dimensional object determination program of this embodiment may be configured to be provided by being incorporated in advance in a ROM or the like.
  • the three-dimensional object determination program executed by the three-dimensional object determination device of the present embodiment includes the above-described units (acquisition unit, detection unit, model storage control unit, pattern normalization unit, estimation unit, determination unit, illumination control unit, and , An instruction control unit), and as a real hardware, the CPU (processor) reads out and executes the three-dimensional object determination program from the storage medium, and the respective units are loaded onto the main storage device.
  • An acquisition unit, a detection unit, a model storage control unit, a pattern normalization unit, an estimation unit, a determination unit, an illumination control unit, and an instruction control unit are generated on the main storage device.
  • the present invention is mounted on a computer, for example, and can be used to authenticate a user.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　立体物判定装置は、取得した画像データに含まれる物体の複数の特徴点を検出する検出部２と、前記複数の特徴点を３次元モデルで正規化した正規化パターンを生成するパターン正規化部５と、３次元モデル及び正規化パターンから画像データ中の前記物体に照射されている光の照明方向を推定する推定部６と、前記照明方向を用いて画像データ中の物体が立体物であるかを判定する判定部７と、を備える。

Description

立体物判定装置、立体物判定方法及び立体物判定プログラム
　本発明は、立体物判定装置、立体物判定方法及び立体物判定プログラムに関する。
　従来より、顔の画像による本人判定システムにおいては、写真などを使った他人のなりすましが問題となる場合がある。写真による他人のなりすましを防ぐためには、カメラなどから入力された顔が、本物の顔であるか、又は、写真などの平面上に存在する顔なのかを判定する必要がある。
　これに対して、特許文献１は、取得画像（データ）から顔の特徴点を検出し、その特徴点の動き情報が登録時と照合時で同じであるかどうかで生体を判定する技術を開示している。また、特許文献２は、眼領域や口領域の変化をとらえて生体かどうかを判定する技術を開示している。
特開２００６－２３５７１８号公報 特開２００６－３３０９３６号公報
　しかしながら、特徴点の動きや局所的なパターンの変化は、そのままでは２次元的な情報しか持たない特徴のため、画像中の顔の平面的な変化は検出することができるが、それが立体形状であるかどうかを原理的に判定することはできないという問題があった。また、ユーザに対して表情の変化など不自然な動作を強いる必要があった。
　一方、ステレオカメラなどを用いて取得画像の奥行きを直接求めれば立体形状かどうかを判定できるが、複数台のカメラや特殊な機材を必要とするため応用範囲が限られるという問題があった。
　本発明は、上記に鑑みてなされたものであって、取得した画像に含まれている物体が立体物かどうかを精度よく判断できることを目的とする。
　上述した課題を解決し、目的を達成するために、本発明は、取得した画像データに含まれる物体の複数の特徴点を検出する検出部と、前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化部と、前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定部と、前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定部と、を備えたこと、を特徴とする。
　本発明によれば、取得した画像データに含まれている物体が立体物かどうかを精度よく判断できる。
第１の実施の形態にかかる立体物判定装置の構成を示すブロック図である。 第１の実施の形態にかかる立体物判定装置の動作を示すフローチャートである。 第１の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。 第２の実施の形態にかかる立体物判定装置の構成を示すブロック図である。 立体的な顔における照明による影響を表す模式図である。 立体的な顔における照明による影響を表す他の模式図である。 平面上の顔における照明による影響を表す模式図である。 第２の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。
　以下に添付図面を参照して、この発明にかかる立体物判定装置、立体物判定方法及び立体物判定プログラムの実施の形態を詳細に説明する。
（第１の実施の形態）
　図１は、第１の実施の形態にかかる立体物判定装置の構成を示すブロック図である。立体物判定装置は、取得部１、検出部２、モデル記憶部３、モデル記憶制御部４、パターン正規化部５、推定部６、及び、判定部７を備えて構成されている。
　取得部１は、対象となる物体を含む画像データを取得する。ここで、対象となる物体とは、人の顔である。なお、取得部１が取得する画像データには、ＵＳＢカメラやデジタルカメラなどの撮像装置が撮像した画像データ、スキャナやその他特殊な機材で取得した画像データ、又は、ＨＤＤ、ビデオテープ、ＤＶＤなどの記憶装置に記憶されている画像データなどが用いられる。さらに、取得部１は、ネットワーク等を経由して外部装置から画像データを取得してもよい。
　検出部２は、取得した画像データから顔の特徴点を複数検出する。顔の特徴点の検出にはどのような手法を用いても構わないが、例えば、湯浅らの手法「湯浅ほか，“静止画顔認証のための自動顔特徴点抽出”，信学技報PRMU2006-222，pp．5-10，2007」を使うことで、瞳、鼻孔、目尻、目頭、口端、眉の内端、鼻頂点、口の中点の計１４点の顔特徴点を検出することができる。
　検出すべき特徴点の数や種類について特に制限はないが、正規化パターンを計算する際に４点以上の同一平面上に存在しない特徴点が得られていることが望ましい。以下では、正規化パターンの生成に十分な数の顔特徴点（例えば、上記の１４点）が得られているとして説明を行うが、特徴点の数が変化しても提案する立体物判定手法を用いることは可能である。
　モデル記憶部３は、照明推定に用いる３次元モデルを記憶する。取得した画像データに含まれる顔の３次元形状が既知であれば最も精度よく処理することができるが、実際には対象となる顔の形状が既知の場合はまれである。そのため、モデル記憶部３は、平均的な顔の形状などの一般的な３次元モデルを記憶する。モデル記憶部３は、一般的な３次元モデルを記憶する代わりに、アジア人などの人種や性別など様々な種類の３次元モデルをそれぞれ記憶しておいてもよい。その場合、パターン正規化部５及び推定部６では、使用する３次元モデルを状況に応じて切り替える必要がある。
　３次元モデルは、顔形状の座標（ｘ，ｙ，ｚ）の集合で表現されるが、ここではさらに各座標における法線ベクトル（ｎｘ，ｎｙ，ｎｚ）も得られていると仮定する。なお、３次元座標から法線ベクトルを計算することは可能なため、事前に与えられていない場合でも初期化などの処理により法線ベクトルを求めておけば良い。
　モデル記憶制御部４は、モデル記憶部３が３次元モデルを記憶する制御を行う。
　パターン正規化部５は、３次元モデル、取得した画像データ、及び、検出した複数の特徴点からサイズなどを正規化した顔パターンを生成する。正規化方法は、瞳や鼻孔などを使って位置や大きさと画面内回転などを一定にするアフィン変換を用いても良いが、非正面向きの顔が入力された際に正規化パターンに歪みが生じてしまうため、ここでは３次元モデルを用いて正規化する３次元正規化法（小坂谷達夫，山口修，“顔認識のための射影変換に基づいた３次元正規化法”，PRMU2005-101，pp．49-54，2005．）を用いることとする。
　３次元正規化法は、画像から検出された特徴点の種類（瞳、鼻孔など）と同じ種類の特徴点の座標を３次元モデル上で定義しておき、画像上の特徴点と３次元モデル上の特徴点との位置関係を求めることで、顔画像と３次元モデル全体との対応関係を求める手法である。また、照明方向を推定する際には、正規化された顔パターンと３次元モデルの間で瞳や鼻などの位置関係が対応付けされている場合に最も推定精度が高くなるため、３次元モデルにあわせて正規化処理を行う３次元正規化手法は、画像と３次元モデル間の対応関係を明示的に求めるという点でも好適である。
　なお、ここで述べた「正規化パターンと３次元モデルの対応関係が得られている」とは、３次元モデルのｉ番目の座標（ｘｉ，ｙｉ，ｚｉ）において、顔パターンの輝度値（色情報）Ｉｉが得られている状態のことを指す。３次元正規化法によって、任意の３次元モデル上の座標において、正規化パターンの輝度値を求めることが可能である。
　推定部６は、正規化した顔パターンと３次元モデルとから、画像データ中の顔に照射されている光の照明方向を推定する。顔の表面がランバート面であり、照明が単一方向からの点光源であると仮定すると、顔表面の点ｉに関する輝度値Ｉｉは以下の式（１）により定義することができる。
Figure JPOXMLDOC01-appb-M000001
　ただし、ａは顔表面のアルベド、ｌは反射率、ｎｉは点ｉにおける法線ベクトル、ｓは照明方向ベクトル、Ｉａは環境光などによるバイアスであり、アルベド、反射率、バイアスは顔全体で一定であるとする。また、負の光量は存在しないため最大値が０となるように制限をかけている。
　切り出された顔パターン全ての輝度値に関して式（１）を考え、簡単のため最大値関数を無視して近似すると、以下の式（２）のような行列表現で定義することができる。
Figure JPOXMLDOC01-appb-M000002
　ここで、法線ベクトル（ｎｘｉ，ｎｙｉ，ｎｚｉ，１）で定義される行列（簡単のため以後、法線行列と呼ぶ）の疑似逆行列を求めることで、式（３）のように照明方向ベクトルを求めることが可能である。ただし、式（３）における†は疑似逆行列を求める演算子である。
Figure JPOXMLDOC01-appb-M000003
　さらにアルベドなどの影響を取り除くため、照明方向ベクトル（ｓｘ，ｓｙ，ｓｚ）をノルム１となるように正規化することで最終的な照明方向を得ることができる。また、式（２）で求めた法線行列は３次元モデルが一定ならば不変であるため、３次元モデルごとに法線行列の疑似逆行列をあらかじめ計算しておきモデル記憶部３に記憶しておくことで、基本的にこの逆行列と正規化パターンから得られるパターンベクトルとの内積を計算するだけで照明方向の推定を行うことができ、極めて高速に処理を行うことが可能である。
　ここで求めた照明方向は、顔表面がランバート面であると仮定したり、負の光量を無視したりするなどの近似が導入されており、必ずしも実際の照明方向とは一致しない場合もある。しかし、本発明では立体物と写真の区別のために照明方向を利用するだけであり、厳密な光源の方向を必要としないため問題にはならない。
　ただし、３次元正規化法による正規化パターンを用いて計算した「照明方向」とは、正規化パターン上の座標系を基準とした照明方向となることに注意が必要である。３次元正規化法によって得られる顔パターンでは顔の向きは３次元モデルと同一（通常は正面向き）に正規化されてしまうため、例えば、照明環境を固定し、顔の向きを正面から横に動かした場合には、顔の向きは正規化されているため、あたかも相対的に照明方向が動いているような結果が得られる。画像上での座標系に基づく照明方向が必要な場合には、３次元正規化を行う際に求める運動行列（検出された顔特徴点と３次元モデル上の特徴点の対応関係を表す行列）によって画像上の照明方向に変換することが可能である。
　判定部７は、推定した照明方向を用いて取得した画像データ中の顔が立体物であるかを判定する。照明方向を用いた判定には様々な方法が考えられるが、どのような手法を用いて判定してもよい。例えば、判定を行う場所の環境が既知であれば、環境に応じた照明方向も既知であるため、推定した照明方向と一致するかどうかを調べることで、その場に存在する立体的な顔であるかどうかを判断することが可能である。外光などの影響がある場所で判定を行う場合には、時間や場所、方位、天候なども考慮することで周囲の照明条件を推定し、入力された顔画像の照明方向と一致するかどうかを判定することもできる。
　また、顔認識の際に写真か本物の顔かを判定する場合には、ユーザが以前にその場所で登録を行った際の照明方向を記録しておき、認証時には照明方向が登録時と一致するかどうかを調べることで本物の顔であるかどうかを調べることもできる。本人の顔が登録されていない場合には、他のユーザの照明方向の平均などを用いて代用してもよい。照明方向との一致を調べる際には、照明方向ベクトルの内積や、照明方向ベクトル間の差の大きさなど、どのような基準で測ってもよいし、複数フレームの平均や最小値、分散などの統計量などから判断してもよい。
　次に、第１の実施の形態にかかる立体物判定装置の動作について説明する。図２は、第１の実施の形態にかかる立体物判定装置の動作を示すフローチャートである。
　初めに、取得部１は、判定対象となる物体（人の顔）を含む画像を取得する（ステップＳ１１）。次に、検出部２は、取得部１で取得した顔の画像から特徴点を複数検出する（ステップＳ１２）。次に、パターン正規化部５は、モデル記憶部３に記憶された３次元モデル、取得部１で取得した顔の画像、及び、検出部２で検出した複数の特徴点からサイズなどを正規化した顔パターンを生成する（ステップＳ１３）。推定部６は、パターン正規化部５で得られた正規化済みの顔パターンと、３次元モデルの法線ベクトルとを用いて照明方向の推定を行う（ステップＳ１４）。最後に、判定部７は、推定部６で得られた照明方向を用いて、取得した画像中の顔が立体物であるか判定する（ステップＳ１５）。
　以上より、取得した顔の画像が立体か否か、即ち、写真による他人のなりすましが行われているか否かが判定される。
（変形例１）
　本実施の形態では、判定部７は現在の照明環境と推定した照明方向とを比較して立体物かどうかを判定していたが、ユーザの顔表面の照明条件に影響を与えるような照明装置を別途用意し、立体物判定装置が照明装置を制御するようにしてもよい。図３は、第１の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。変形例にかかる立体物判定装置は、さらに照明制御部８を備えて構成されており、照明制御部８は照明装置９と接続されている。
　照明装置９は、特定の方向から光を照射し、ユーザを照らす照明であり、照明制御部８は、照明装置９のオン又はオフを制御する。そして、照明制御部８による照明装置９のオン・オフに従って、推定部６が推定した照明方向が変化すれば、判定部７は、取得した画像データ中の顔が立体物であると判断することができる。一方、写真などの平面の物体であれば、照明制御部８による照明装置９のオン・オフによらず照明方向は変わらないため、精度よく立体物と区別することができる。
（変形例２）
　本実施の形態では、パターン正規化部５は顔全体の正規化パターンを生成するが、生成する正規化パターンの範囲が顔全体でなく、顔の一部分または複数の部分の組み合わせでもよい。推定部６は、正規化パターンに対応する法線ベクトルさえ存在すれば、正規化パターンの領域について制限されることなく照明方向を推定することができるため、どのような顔の領域を用いても構わない。また、パターン正規化部５で複数の領域の正規化パターンを生成しておき、推定部６がそれぞれの正規化パターンから照明方向を推定して、判定部７が立体物かどうかの判定を行ってもよい。例えば、人間の顔の中でも比較的凹凸がはっきりしている鼻付近の領域のみを用いて判定したり、顔の領域を左右半分に分けてそれぞれ判定を行った後に判定結果を統合したりしてもよい。
　このように、第１の実施の形態の立体物判定装置によれば、取得した顔（物体）を含む画像データから、画像データの顔（物体）に照射されている照明の方向を推定し、この照射方向から画像データに含まれている顔を有する人（物体）がその場に存在する本人（立体物）かどうかを精度よく判断することが可能となる。
（第２の実施の形態）
　第１の実施の形態では、判定部７は照明方向のみを利用して立体物か否かを判定するが、第２の実施の形態では、判定部７は照明方向に加えて、取得した画像における顔の向きを考慮して立体物か否かを判定する。第２の実施の形態について、添付図面を参照して説明する。本実施の形態にかかる立体物判定装置の構成について、第１の実施の形態と異なる部分を説明する。他の部分については第１の実施の形態と同様であるので、同一の符号が付された箇所については、上述した説明を参照し、ここでの説明を省略する。
　図４は、第２の実施の形態にかかる立体物判定装置の構成を示すブロック図である。立体物判定装置は、取得部１、検出部２、モデル記憶部３、モデル記憶制御部４、パターン正規化部５、推定部６、及び、判定部１０を備えて構成されている。
　判定部１０は、推定した照明方向と計算した取得画像データにおける顔の向きとを用いて、取得した画像データ中の顔が立体物であるかを判定する。図５－１は、立体的な顔における照明による影響を表す模式図であり、破線２１は、推定した照明方向を示す。図５－２は、立体的な顔における照明による影響を表す他の模式図であり、破線２２は、推定した照明方向を示す。図５－３は、平面上の顔における照明による影響を表す模式図であり、破線２３は、推定した照明方向を示す。なお、図５－３は、写真に写った顔を表している。複数枚の画像を取得した場合、立体物であれば顔の向きの変化に従って照明方向も変化（３次元モデル上の座標系を基準とすることに注意）するが、写真などの平面的な物体であれば、写真をどのように動かしても顔の向きや照明方向は変化しないはずである。判定部１０では、この原理を判定に利用している。
　次に、判定部１０が行う照明方向と顔の向きとに基づく判定方法について説明する。顔の向きを表す回転行列Ｍは、検出部２において検出された顔特徴点と３次元モデル上の顔特徴点とから、例えば、特開２００８－１９４１４６号公報で開示されている手法を用いることによって計算することができる。また、顔の向きを表す方向ベクトルを、３次元モデル上の座標系でｚ座標に平行な単位ベクトル（０，０，１）で表現したとすると、画面上での顔の向きを表す方向ベクトルｘは回転行列Ｍとの積によって求めることができる。
　この時の３次元モデルの座標系を基準とした照明方向ベクトルをｙとすると、立体物であればｘとｙはある関係に基づいて変化し、写真などの平面物体であれば変化しないか、またはノイズのような相関のない変化となるはずである。このような２つの量の関係を調べる手法は数多く存在するが、ここでは重回帰による検定によって判定する手法を用いる。もちろん、ここに述べる手法以外にいかなる方法を用いて顔の向きと照明方向との関係を判定しても構わない。
　まず、取得部１では動画系列によって複数枚の画像（フレーム）が取得されたとする。ｉ番目の画像における顔の向きをｘｉ、照明方向をｙｉとすると、以下のような式でそれぞれの関係が表されると仮定する。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｘｉとｙｉは３次元のベクトル、行列Ａは３×３の行列である。式（４）は未知数が９個の式であるので、３フレーム以上の画像があれば最小自乗法などを用いて容易に解くことができる。
　式（４）を解いて得られた行列Ａに基づき、以下の式のように顔の向きｘｉから予測した照明方向Ｙｉを式（５）から求める。
Figure JPOXMLDOC01-appb-M000005
　このとき、全変動ＳＴは重回帰による変動ＳＲと残差の変動ＳＥの和で表すことができ、それぞれ以下の式（６）のように定義することができる。
Figure JPOXMLDOC01-appb-M000006
　ただし、ｙは照明方向ベクトルの平均、Ｙは行列Ａによって予測した照明方向ベクトルの平均、ｎは用いたフレーム数を表す。
　このとき、不偏分散ＶＲ及びＶＥ、分散比Ｆ０は以下の式（７）で定義される。ただし、ｐは自由度を表す定数である。
Figure JPOXMLDOC01-appb-M000007
　この分散比Ｆ０の値があるしきい値より大きければ、式（４）で定義した重回帰式が目的変量Ｙの予測に役立つ。つまり顔の向きから照明方向の予測が可能であることを示し、両者がある関係に従って変化している。つまり３次元的な形状を持つ本物の顔であることが分かる。一方、分散比Ｆ０がしきい値以下の場合には、顔の向きから照明方向を推定することができない。つまり両者に（少なくとも線形で表現可能な）関係性はないと判断することができる。写真の場合には理想的には顔の向きの照明方向も一定になるはずであるが、顔特徴点の検出誤差などもあるため全てのフレームで完全に一定にはならない。しかし、検出誤差などのノイズがもたらす照明方向や顔の向きの変化は互いに無相関であると考えられることから、検定によって写真などの平面上の顔であると判断できる。
（変形例３）
　本実施の形態では、３次元モデルを基準とした照明方向を用いているため、顔の向き及び照明方向の両方とも顔の動きに従って変化し、その動きを利用して立体物かどうかを判定していたが、取得画像の座標系を基準とした照明方向を用いて立体物かどうかを判定することも可能である。取得画像を撮影したときの照明条件が一定であれば、画像上の座標系に変換された照明方向ベクトルは顔の向きによらず一定となる。一方で写真上の顔であれば、顔の向きも照明方向も一定である。従って、複数フレームを用いて顔の向きと照明方向ベクトルを観察した際に、顔の向きに変化があるにも関わらず照明方向が一定であれば立体的な顔であると判断することができる。
　例えば、複数のフレームから抽出した画像上の照明方向と顔の向きに関して、それぞれ要素の変化について標準偏差（または分散）の和を求めておき、この和の値がしきい値よりも小さい場合には変化がないとして立体物ではないと判断する。また、判定を行う際にはユーザは通常停止して顔を動かすことが多いと考えられるので、画面上の顔特徴点の全体的な動きを正規化して判定を行っても良い。例えば、特徴点の重心座標の標準偏差を求めておき、顔の向きと照明方向の標準偏差をそれぞれ特徴点の重心の標準偏差で正規化してもよい。
　また、本実施の形態で述べた判定方法、及び、第１の実施の形態で述べた判定方法を相互に組み合わせて実行することで、判定精度を向上させることも可能である。
（変形例４）
　本実施の形態では、複数フレームによる立体物判定のために、取得する顔の向きに変化がある必要がある。例えば、ユーザが全く動かない場合には写真と立体物とを区別することはできない。そこで、効率的に判定を行うためにユーザに顔を動かすように指示を行う指示装置を別途用意し、立体物判定装置が指示装置を制御するようにしてもよい。図６は、第２の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。変形例にかかる立体物判定装置は、さらに指示制御部１１を備えて構成されており、指示制御部１１は指示装置１２と接続されている。
　指示装置１２は、ユーザに顔を動かすように指示を行う装置であり、画像、光、音などユーザが知覚可能な方法を用いてユーザに顔を動かすように指示を行う。指示制御部１１は、指示装置１２の動作を制御する。そして、指示制御部１１の制御による指示装置１２の指示に従ってユーザが顔を動かすことにより、判定部１０は写真と立体物とを区別することができる。
　このように、第２の実施の形態の立体物判定装置によれば、取得した顔（物体）を含む画像データから、画像データの顔（物体）に照射されている照明の方向を推定し、この照射方向と計算した画像データにおける顔（物体）の向きとを用いて、画像データに含まれている顔を有する人（物体）がその場に存在する本人（立体物）かどうかを精度よく判断することが可能となる。
　本実施の形態の立体物判定装置は、ＣＰＵなどの制御装置と、記憶装置と、外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
　本実施形態の立体物判定装置で実行される立体物判定プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。
　また、本実施形態の立体物判定装置で実行される立体物判定プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の立体物判定装置で実行される立体物判定プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
　また、本実施形態の立体物判定プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
　本実施の形態の立体物判定装置で実行される立体物判定プログラムは、上述した各部（取得部、検出部、モデル記憶制御部、パターン正規化部、推定部、判定部、照明制御部、及び、指示制御部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から立体物判定プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部、検出部、モデル記憶制御部、パターン正規化部、推定部、判定部、照明制御部、及び、指示制御部が主記憶装置上に生成されるようになっている。
　本発明は、例えば、コンピュータに搭載され、ユーザを認証するために用いることができる。
　なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。
　２　検出部
　５　パターン正規化部
　６　推定部
　７、１０　判定部

Claims (9)

  1. 　取得した画像データに含まれる物体の複数の特徴点を検出する検出部と、
    　前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化部と、
    　前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定部と、
    　前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定部と、を備えたこと、
    　を特徴とする立体物判定装置。
  2. 　前記推定部は、前記３次元モデルの法線ベクトルと前記正規化パターンの輝度値とに基づいて前記照明方向を推定すること、を特徴とする請求項１に記載の立体物判定装置。
  3. 　前記推定部は、前記法線ベクトルを要素に持つ行列の疑似逆行列と、前記正規化パターンから得られるパターンベクトルとの積を計算することで前記照明方向を推定すること、を特徴とする請求項２に記載の立体物判定装置。
  4. 　前記判定部は、前記照明方向と、前記３次元モデルの特徴点及び前記画像データから検出された特徴点から計算された物体の向きとを用いて、前記画像データ中の前記物体が立体物であるかを判定すること、を特徴とする請求項１に記載の立体物判定装置。
  5. 　前記光を照射する照明装置を制御する照明制御部をさらに備えたこと、を特徴とする請求項１に記載の立体物判定装置。
  6. 　前記パターン正規化部は、前記画像データ中の前記物体の複数の部分から複数の正規化パターンを生成し、
    　前記推定部は、前記複数の正規化パターンから複数の照明方向を推定し、
    　前記判定部は、前記複数の照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定すること、
    　を特徴とする請求項１に記載の立体物判定装置。
  7. 　ユーザに顔を動かすように指示を行う指示装置を制御する指示制御部をさらに備えたこと、を特徴とする請求項１に記載の立体物判定装置。
  8. 　検出部が、取得した画像データに含まれる物体の複数の特徴点を検出する検出ステップと、
    　パターン正規化部が、前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化ステップと、
    　推定部が、前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定ステップと、
    　判定部が、前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定ステップと、を含むこと、
    　を特徴とする立体物判定方法。
  9. 　コンピュータを、
    　取得した画像データに含まれる物体の複数の特徴点を検出する検出部、
    　前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化部、
    　前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定部、
    　前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定部、
    として機能させるための立体物判定プログラム。
PCT/JP2009/066660 2009-03-26 2009-09-25 立体物判定装置、立体物判定方法及び立体物判定プログラム WO2010109700A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/233,644 US8620066B2 (en) 2009-03-26 2011-09-15 Three-dimensional object determining apparatus, method, and computer program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009076918A JP5106459B2 (ja) 2009-03-26 2009-03-26 立体物判定装置、立体物判定方法及び立体物判定プログラム
JP2009-076918 2009-03-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/233,644 Continuation US8620066B2 (en) 2009-03-26 2011-09-15 Three-dimensional object determining apparatus, method, and computer program product

Publications (1)

Publication Number Publication Date
WO2010109700A1 true WO2010109700A1 (ja) 2010-09-30

Family

ID=42780405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/066660 WO2010109700A1 (ja) 2009-03-26 2009-09-25 立体物判定装置、立体物判定方法及び立体物判定プログラム

Country Status (3)

Country Link
US (1) US8620066B2 (ja)
JP (1) JP5106459B2 (ja)
WO (1) WO2010109700A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011054658A1 (de) * 2011-10-20 2013-04-25 Bioid Ag Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess
KR101901591B1 (ko) * 2011-11-01 2018-09-28 삼성전자주식회사 얼굴 인식 장치 및 그 제어방법
JP5955031B2 (ja) * 2012-02-29 2016-07-20 セコム株式会社 顔画像認証装置
JP5955133B2 (ja) * 2012-06-29 2016-07-20 セコム株式会社 顔画像認証装置
CN106133796B (zh) * 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
JP6493395B2 (ja) * 2014-04-30 2019-04-03 ソニー株式会社 画像処理装置と画像処理方法
US9679212B2 (en) 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
JP5884865B2 (ja) * 2014-07-25 2016-03-15 株式会社ノーリツ 燃焼装置用排気構造
WO2016026135A1 (en) * 2014-08-22 2016-02-25 Microsoft Technology Licensing, Llc Face alignment with shape regression
US9934443B2 (en) * 2015-03-31 2018-04-03 Daon Holdings Limited Methods and systems for detecting head motion during an authentication transaction
JP6507046B2 (ja) 2015-06-26 2019-04-24 株式会社東芝 立体物検知装置及び立体物認証装置
US10210380B2 (en) 2016-08-09 2019-02-19 Daon Holdings Limited Methods and systems for enhancing user liveness detection
US10217009B2 (en) 2016-08-09 2019-02-26 Daon Holdings Limited Methods and systems for enhancing user liveness detection
US10628661B2 (en) 2016-08-09 2020-04-21 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US11115408B2 (en) 2016-08-09 2021-09-07 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6773493B2 (ja) 2016-09-14 2020-10-21 株式会社東芝 検出装置、検出方法、および検出プログラム
WO2019163066A1 (ja) 2018-02-22 2019-08-29 日本電気株式会社 なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
KR20210062381A (ko) 2019-11-21 2021-05-31 삼성전자주식회사 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
CN112184884A (zh) * 2020-09-23 2021-01-05 上海眼控科技股份有限公司 三维模型构建方法、装置、计算机设备及存储介质
US20220222852A1 (en) * 2020-12-03 2022-07-14 Tata Consultancy Services Limited Methods and systems for generating end-to-end model to estimate 3-dimensional(3-d) pose of object
JPWO2022219680A1 (ja) 2021-04-12 2022-10-20
KR20230060901A (ko) * 2021-10-28 2023-05-08 주식회사 슈프리마 영상 처리 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339048A (ja) * 1998-05-29 1999-12-10 Omron Corp 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体
JP2003178306A (ja) * 2001-12-12 2003-06-27 Toshiba Corp 個人認証装置および個人認証方法
JP2005135271A (ja) * 2003-10-31 2005-05-26 Toshiba Corp 顔照合装置および通行制御装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005027048A1 (ja) * 2003-08-29 2005-03-24 Nec Corporation 重み情報を用いた物体姿勢推定・照合システム
WO2006049147A1 (ja) * 2004-11-04 2006-05-11 Nec Corporation 三次元形状推定システム及び画像生成システム
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP4760049B2 (ja) 2005-02-22 2011-08-31 日本電気株式会社 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
KR100647322B1 (ko) * 2005-03-02 2006-11-23 삼성전자주식회사 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
JP4653606B2 (ja) * 2005-05-23 2011-03-16 株式会社東芝 画像認識装置、方法およびプログラム
JP4548218B2 (ja) 2005-05-24 2010-09-22 パナソニック電工株式会社 顔認証装置
JP4829141B2 (ja) 2007-02-09 2011-12-07 株式会社東芝 視線検出装置及びその方法
US8090160B2 (en) * 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
JP2009211513A (ja) * 2008-03-05 2009-09-17 Toshiba Corp 画像処理装置及びその方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339048A (ja) * 1998-05-29 1999-12-10 Omron Corp 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体
JP2003178306A (ja) * 2001-12-12 2003-06-27 Toshiba Corp 個人認証装置および個人認証方法
JP2005135271A (ja) * 2003-10-31 2005-05-26 Toshiba Corp 顔照合装置および通行制御装置

Also Published As

Publication number Publication date
US8620066B2 (en) 2013-12-31
US20120027292A1 (en) 2012-02-02
JP5106459B2 (ja) 2012-12-26
JP2010231398A (ja) 2010-10-14

Similar Documents

Publication Publication Date Title
JP5106459B2 (ja) 立体物判定装置、立体物判定方法及び立体物判定プログラム
JP5445460B2 (ja) なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
JP5812599B2 (ja) 情報処理方法及びその装置
JP5024067B2 (ja) 顔認証システム、方法及びプログラム
US9747493B2 (en) Face pose rectification method and apparatus
JP4093273B2 (ja) 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
US20170004385A1 (en) Image processing apparatus and image processing method
US11398049B2 (en) Object tracking device, object tracking method, and object tracking program
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
EP3241151A1 (en) An image face processing method and apparatus
JP4929828B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
JP2017091186A (ja) 生体情報を用いた認証装置及び認証方法
JP2004094491A (ja) 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
US8113953B2 (en) Image-linked sound output method and device
JP5001930B2 (ja) 動作認識装置及び方法
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP2006343859A (ja) 画像処理装置及び画像処理方法
KR20140045873A (ko) 시선 추적 장치 및 방법
JP2012069133A (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
KR20100138202A (ko) 이종 카메라를 이용한 객체 추적 시스템 및 방법
KR20100025048A (ko) 모션 캡쳐를 위한 영상 분석 방법 및 장치
WO2020032254A1 (ja) 注意対象推定装置及び注意対象推定方法
JP2017084065A (ja) なりすまし検出装置
JP2006215743A (ja) 画像処理装置及び画像処理方法
JP5482412B2 (ja) ロボット、位置推定方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09842310

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09842310

Country of ref document: EP

Kind code of ref document: A1