JP6692309B2 - Biometric authentication device, biometric authentication method, and biometric authentication program - Google Patents

Biometric authentication device, biometric authentication method, and biometric authentication program Download PDF

Info

Publication number
JP6692309B2
JP6692309B2 JP2017032633A JP2017032633A JP6692309B2 JP 6692309 B2 JP6692309 B2 JP 6692309B2 JP 2017032633 A JP2017032633 A JP 2017032633A JP 2017032633 A JP2017032633 A JP 2017032633A JP 6692309 B2 JP6692309 B2 JP 6692309B2
Authority
JP
Japan
Prior art keywords
biometric authentication
dimensional
unit
mesh data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017032633A
Other languages
Japanese (ja)
Other versions
JP2018136883A (en
Inventor
鈴木 智晴
智晴 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Frontech Ltd
Original Assignee
Fujitsu Frontech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Frontech Ltd filed Critical Fujitsu Frontech Ltd
Priority to JP2017032633A priority Critical patent/JP6692309B2/en
Publication of JP2018136883A publication Critical patent/JP2018136883A/en
Application granted granted Critical
Publication of JP6692309B2 publication Critical patent/JP6692309B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Description

本発明は、生体認証装置、生体認証方法および生体認証プログラムに関する。   The present invention relates to a biometric authentication device, a biometric authentication method, and a biometric authentication program.

近年、生体の一部を撮影した生体画像をもとに、生体を認証する生体認証が普及してきている。例えば、生体画像が人の顔の画像であれば、目や鼻などの顔ランドマークが存在するため、フラッティング技術などを用いて、生体画像における顔の形状の正規化を行うことができる。一方、生体画像が手のひら画像であると、顔の画像同様にフラッティング技術などを用いても、手のひら特有の形状ゆえに、手の構造と矛盾する変形がなされるなど、生体画像における正規化ができない場合がある。そこで、手のひらの指の付け根の構造に着目し、手のひら画像において正規化を行う技術が提案されている(例えば特許文献1参照)。また、生体画像に含まれる特徴点の位置決めを行うために三角化を用いる手法が提案されている(例えば特許文献2参照)。   2. Description of the Related Art In recent years, biometric authentication that authenticates a living body based on a biometric image obtained by capturing a part of the living body has become popular. For example, if the biometric image is an image of a human face, face landmarks such as eyes and nose are present, and thus the face shape in the biometric image can be normalized by using a flatting technique or the like. On the other hand, if the biometric image is a palm image, even if a flatting technique is used as in the case of a face image, the shape unique to the palm causes deformation that is inconsistent with the structure of the hand. There are cases. Therefore, a technique has been proposed that focuses on the structure of the base of the finger of the palm and normalizes the palm image (see, for example, Patent Document 1). In addition, a method of using triangulation for locating a feature point included in a biometric image has been proposed (see, for example, Patent Document 2).

特開2015−028724号公報JP, 2005-028724, A 特表2005−519625号公報Japanese Patent Publication No. 2005-519625

しかしながら、上述の従来技術では、手のひらには、指の付け根に限らず、多くの可動部分があることから、手のひらの形状の正規化の再現性が低いため、手のひらの特徴点を安定して抽出できず、よって、手のひら静脈認証の精度が低いという問題がある。   However, in the above-described conventional technique, the palm is not limited to the base of the finger, and since there are many moving parts, the reproducibility of the normalization of the palm shape is low, and therefore the palm feature points are stably extracted. Therefore, there is a problem that the accuracy of palm vein authentication is low.

開示の技術は、上記に鑑みてなされたものであって、例えば、手のひら静脈認証の精度を向上させる生体認証装置、生体認証方法および生体認証プログラムを提供することを目的とする。   The disclosed technique is made in view of the above, and an object thereof is to provide, for example, a biometric authentication device, a biometric authentication method, and a biometric authentication program that improve the accuracy of palm vein authentication.

開示の技術の一例では、生体認証装置は、生体認証に用いる生体部分の画像を取得する画像取得部と、前記画像取得部により取得された取得画像から処理対象領域を抽出する抽出部と、前記抽出部により抽出された前記処理対象領域から前記生体部分の3次元形状を推定する推定部と、前記処理対象領域および前記推定部により推定された前記生体部分の3次元形状をもとに、前記取得画像から前記生体部分の3次元メッシュデータを生成するメッシュ生成部と、前記メッシュ生成部により生成された3次元メッシュデータを、前記3次元メッシュデータにおける各メッシュデータの頂点間の距離を保ちながら、2次元メッシュデータに変換するメッシュ平坦化処理部と、前記メッシュ平坦化処理部による変換前の前記3次元メッシュデータと変換後の前記2次元メッシュデータとの対応関係から定まる幾何変換により、前記取得画像上の前記生体部分の各点の輝度値を、前記2次元メッシュデータ上の各点にマッピングする曲面平坦化処理部とを備えたことを特徴とする。 In an example of the disclosed technology, a biometric authentication device, an image acquisition unit that acquires an image of a biometric part used for biometric authentication, an extraction unit that extracts a processing target region from the acquired image acquired by the image acquisition unit , and Based on the estimation unit that estimates the three-dimensional shape of the living body part from the processing target region extracted by the extraction unit, and the three-dimensional shape of the living body part estimated by the processing target region and the estimation unit, While maintaining the distance between the vertices of each mesh data in the three-dimensional mesh data, the mesh generation unit that generates the three-dimensional mesh data of the living body part from the acquired image and the three-dimensional mesh data generated by the mesh generation unit. Mesh flattening processing unit for converting into two-dimensional mesh data, and the three-dimensional mesh data before conversion by the mesh flattening processing unit Curved surface flattening processing for mapping the brightness value of each point of the living body portion on the acquired image to each point on the two-dimensional mesh data by geometric transformation determined from the correspondence relationship with the two-dimensional mesh data after transformation. And a section.

開示の技術の一例によれば、手のひら静脈認証の精度を向上させることができる。   According to an example of the disclosed technology, the accuracy of palm vein authentication can be improved.

図1は、実施例にかかる生体認証装置の一例を示す図である。FIG. 1 is a diagram illustrating an example of a biometric authentication device according to an embodiment. 図2は、実施例にかかる生体認証装置による取得画像の一例を示す図である。FIG. 2 is a diagram illustrating an example of an image acquired by the biometric authentication device according to the embodiment. 図3は、実施例にかかる生体認証装置によるROI抽出結果の一例を示す図である。FIG. 3 is a diagram illustrating an example of the ROI extraction result by the biometric authentication device according to the embodiment. 図4は、実施例にかかる生体認証装置により手のひらの3次元形状を推定するためグレースケール画像の一例を示す図である。FIG. 4 is a diagram illustrating an example of a grayscale image for estimating the three-dimensional shape of the palm by the biometric authentication device according to the embodiment. 図5は、実施例にかかる生体認証装置により手のひらROIの輪郭および3次元形状推定画像の輪郭を点群および頂点集合で表現した一例を示す図である。FIG. 5 is a diagram showing an example in which the contour of the palm ROI and the contour of the three-dimensional shape estimation image are represented by a point group and a vertex set by the biometric authentication device according to the embodiment. 図6は、実施例にかかる生体認証装置により頂点集合が3次元空間にプロットされた一例を示す図である。FIG. 6 is a diagram illustrating an example in which a set of vertices is plotted in a three-dimensional space by the biometric authentication device according to the embodiment. 図7は、実施例にかかる生体認証装置による頂点集合の三角化によってFaceにより構成された3次元Meshの一例を示す図である。FIG. 7 is a diagram illustrating an example of a three-dimensional mesh formed of Faces by triangulation of a vertex set by the biometric authentication device according to the embodiment. 図8は、実施例にかかる生体認証装置による3次元Meshから変換後2次元Meshへの変換を含むMesh平坦化処理の一例の概要を示す図である。FIG. 8 is a diagram illustrating an outline of an example of a mesh flattening process including conversion from a three-dimensional mesh to a converted two-dimensional mesh by the biometric authentication device according to the embodiment. 図9は、実施例にかかる3次元Meshを2次元に射影した変換前3次元Meshの一例を示す図である。FIG. 9 is a diagram showing an example of a three-dimensional mesh before conversion, which is a two-dimensional projection of the three-dimensional mesh according to the embodiment. 図10は、実施例にかかる生体認証装置により3次元Meshを2次元に変換した変換後2次元Meshの一例を示す図である。FIG. 10 is a diagram illustrating an example of a converted two-dimensional mesh obtained by converting the three-dimensional mesh into a two-dimensional shape by the biometric authentication device according to the embodiment. 図11は、実施例にかかる手のひら画像の変換前3次元Meshを取得画像に重ね合わせた一例を示す図である。FIG. 11 is a diagram illustrating an example in which the pre-conversion three-dimensional mesh of the palm image according to the embodiment is superimposed on the acquired image. 図12は、実施例にかかる生体認証装置による幾何変換により変換された手のひら画像の変換後2次元Meshを取得画像に重ね合わせた一例を示す図である。FIG. 12 is a diagram showing an example in which the converted two-dimensional mesh of the palm image converted by the geometric conversion by the biometric authentication device according to the embodiment is superimposed on the acquired image. 図13は、実施例にかかる生体認証装置における画像処理の一例を示すフローチャートである。FIG. 13 is a flowchart illustrating an example of image processing in the biometric authentication device according to the embodiment.

以下に、本願の開示する生体認証装置、生体認証方法および生体認証プログラムの実施例を図面に基づいて詳細に説明する。なお、以下の実施例によって、本願の開示する生体認証装置、生体認証方法および生体認証プログラムが限定されるものではない。また、以下の実施例および変形例は、発明の趣旨を逸脱せず矛盾しない範囲で適宜組合せることができる。また、各図面において符号を付与して図示して説明する各要素は、同一要素に対して同一符号を付与し、後出の要素の説明は、適宜省略する。   Hereinafter, embodiments of a biometric authentication device, a biometric authentication method, and a biometric authentication program disclosed in the present application will be described in detail with reference to the drawings. The biometric authentication device, biometric authentication method, and biometric authentication program disclosed in the present application are not limited by the following embodiments. Further, the following embodiments and modified examples can be appropriately combined without departing from the spirit of the invention without departing from the contradiction. In addition, the same reference numerals are given to the same elements in the respective drawings to be illustrated and described in the drawings, and the description of the later-described elements will be appropriately omitted.

[実施例にかかる生体認証装置]
図1は、実施例にかかる生体認証装置の一例を示す図である。実施例にかかる生体認証装置1は、いわゆる手のひら静脈認証装置であり、画像処理装置100、撮像素子200、発光素子300、認証処理装置400を含む。発光素子300は、利用者の手のひらに対して近赤外光を照射する、例えばLED(Light Emitting Diode)などである。撮像素子200は、発光素子300により照射された近赤外光が利用者の手のひらで反射した近赤外光をもとに、利用者の手のひら画像を取得する、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどである。
[Biometric Authentication Device According to Embodiment]
FIG. 1 is a diagram illustrating an example of a biometric authentication device according to an embodiment. The biometric authentication device 1 according to the embodiment is a so-called palm vein authentication device, and includes an image processing device 100, an imaging element 200, a light emitting element 300, and an authentication processing device 400. The light emitting element 300 is, for example, an LED (Light Emitting Diode) that irradiates the palm of the user with near infrared light. The image pickup device 200 acquires a palm image of the user based on the near-infrared light emitted from the light emitting device 300 and reflected by the palm of the user. For example, a CMOS (Complementary Metal Oxide Semiconductor) For example, an image sensor.

画像処理装置100は、撮像素子200により取得された手のひら画像から手のひら静脈の特徴点を抽出するための画像を生成する。画像処理装置100の詳細については後述する。認証処理装置400は、画像処理装置100により生成された画像から利用者の手のひら静脈パターンを生成し、生成した手のひら静脈パターンに基づいて利用者を認証する。生体認証装置1が有する、画像処理装置100、撮像素子200、発光素子300、認証処理装置400以外の構成については、図示および説明を省略する。   The image processing apparatus 100 generates an image for extracting a feature point of a palm vein from the palm image acquired by the image sensor 200. Details of the image processing apparatus 100 will be described later. The authentication processing device 400 generates a palm vein pattern of the user from the image generated by the image processing device 100, and authenticates the user based on the generated palm vein pattern of the user. Illustration and description of the configurations of the biometric authentication device 1 other than the image processing device 100, the imaging element 200, the light emitting element 300, and the authentication processing device 400 are omitted.

[実施例にかかる画像処理装置]
画像処理装置100は、MPU(Micro Processing Unit)などの処理装置であり、入力部110、曲面平坦化部120を有する。入力部110は、画像取得部111、ROI(Region Of Interest)抽出処理部112、3次元形状推定部113を有する。
[Image Processing Device According to Embodiment]
The image processing device 100 is a processing device such as an MPU (Micro Processing Unit) and includes an input unit 110 and a curved surface flattening unit 120. The input unit 110 includes an image acquisition unit 111, a ROI (Region Of Interest) extraction processing unit 112, and a three-dimensional shape estimation unit 113.

画像取得部111は、撮像素子200および発光素子300を制御して、利用者の手のひらを被写体とした画像を取得する。画像取得部111および撮像素子200は、画像取得部の一例である。図2は、実施例にかかる生体認証装置による取得画像の一例を示す図である。図2は、取得画像51の一例として、VGAサイズ(640×480ピクセル)のグレースケール画像を示す。   The image acquisition unit 111 controls the image sensor 200 and the light emitting element 300 to acquire an image with the palm of the user as a subject. The image acquisition unit 111 and the image sensor 200 are an example of an image acquisition unit. FIG. 2 is a diagram illustrating an example of an image acquired by the biometric authentication device according to the embodiment. FIG. 2 shows a VGA size (640 × 480 pixels) grayscale image as an example of the acquired image 51.

ROI抽出処理部112は、画像取得部111により取得された取得画像51から手のひらROI52aを抽出したROI抽出画像52を生成する。図3は、実施例にかかる生体認証装置によるROI抽出結果の一例を示す図である。図3に示すように、ROI抽出画像52は、取得画像51に含まれる手のひらの関心領域として、手のひらROI52aを含む。ROI(Region Of Interest)とは、関心領域をいい、実施例では、取得画像51における手のひら画像のうち、処理対象となる手のひらの領域である。ROI抽出処理部112は、イメージセグメンテーションなどの既存手法を用いて、手のひらROI52aを抽出する。   The ROI extraction processing unit 112 generates an ROI extraction image 52 in which the palm ROI 52a is extracted from the acquired image 51 acquired by the image acquisition unit 111. FIG. 3 is a diagram illustrating an example of the ROI extraction result by the biometric authentication device according to the embodiment. As shown in FIG. 3, the ROI extraction image 52 includes a palm ROI 52a as the palm region of interest included in the acquired image 51. The ROI (Region Of Interest) refers to a region of interest, and in the embodiment, is a palm region to be processed in the palm image of the acquired image 51. The ROI extraction processing unit 112 extracts the palm ROI 52a using an existing method such as image segmentation.

3次元形状推定部113は、取得画像51のうち手のひらROI52a内の被写体の3次元形状を推定する。3次元形状推定部113は、例えばSFS(Shape-From Shade)法などの周知の手法を用いて、グレースケール画像から、ROI抽出画像52内の被写体の3次元形状を推定する。図4は、実施例にかかる生体認証装置により手のひらの3次元形状を推定するためグレースケール画像の一例を示す図である。図4に示すグレースケール画像53では、グレースケースの手のひらROIに相当する3次元形状推定画像53a内において、被写体である手のひらに対して撮像素子200のキャリブレーションなどにより各ピクセルに階調がマッピングされることで、撮像素子200により近い側がより低い輝度を示す階調で表され、撮像素子200からより遠い側がより高い輝度を示す階調で表される。   The three-dimensional shape estimation unit 113 estimates the three-dimensional shape of the subject in the palm ROI 52a of the acquired image 51. The three-dimensional shape estimation unit 113 estimates the three-dimensional shape of the subject in the ROI extraction image 52 from the grayscale image by using a known method such as SFS (Shape-From Shade) method. FIG. 4 is a diagram illustrating an example of a grayscale image for estimating the three-dimensional shape of the palm by the biometric authentication device according to the embodiment. In the gray scale image 53 shown in FIG. 4, in the three-dimensional shape estimation image 53a corresponding to the palm ROI of the grace case, the gradation is mapped to each pixel by the calibration of the image sensor 200 or the like with respect to the palm of the subject. By doing so, the side closer to the image sensor 200 is represented by a gradation showing lower brightness, and the side farther from the image sensor 200 is represented by a gradation showing higher brightness.

なお、3次元形状は、API(Application Program Interface)を介した入力値として外部から取得されてもよい。このような入力値は、例えば、Kinect for Windows(登録商標)、ステレオカメラ、デュアルカメラ、ランダムドット方式、3次元スペクトル光、レーザーオートフォーカスなどから取得できる。この場合、入力部110は、3次元形状推定部113に代えて、「3次元形状入力部」を有することになる。   The three-dimensional shape may be externally acquired as an input value via an API (Application Program Interface). Such input values can be obtained from, for example, Kinect for Windows (registered trademark), stereo camera, dual camera, random dot method, three-dimensional spectrum light, laser autofocus, or the like. In this case, the input unit 110 has a “three-dimensional shape input unit” instead of the three-dimensional shape estimation unit 113.

曲面平坦化部120は、Mesh生成部121、Mesh平坦化処理部122、曲面平坦化処理部123を有する。   The curved surface flattening unit 120 includes a mesh generation unit 121, a mesh flattening processing unit 122, and a curved surface flattening processing unit 123.

Mesh生成部121は、入力データである3次元の手のひら画像データをメッシュに分割して離散化する離散化処理部の一例である。Mesh生成部121は、3次元データの領域を分割することにより、Mesh(メッシュ(メッシュデータ))を生成する。実施例では、人の手のひらの親指付け根など、手のひらの変形の過程でポイントとなる手のひらの要素を頂点要素としてMeshに含めることで、後の形状正規化を精度よく行うことができる。   The Mesh generation unit 121 is an example of a discretization processing unit that divides the input three-dimensional palm image data into meshes and discretizes them. The Mesh generation unit 121 generates a mesh (mesh (mesh data)) by dividing the area of the three-dimensional data. In the embodiment, by including the element of the palm, which is a point in the process of deforming the palm, such as the base of the thumb of the palm of the human hand, in the mesh as the vertex element, the subsequent shape normalization can be performed accurately.

Meshには、様々な形式があるが、実施例では、Triangular Meshを用いる。Triangular Meshは、三角形の頂点の集合Vertexと、三角形の3辺対からなる集合であるFaceから構成される。   Although there are various formats for the mesh, a triangular mesh is used in the embodiment. Triangular Mesh is composed of Vertex, a set of triangle vertices, and Face, which is a set of three sides of a triangle.

Mesh生成部121は、手のひらROI52a、および、3次元形状推定画像53aの各輪郭上からMeshを生成する。   The Mesh generation unit 121 generates a Mesh from the palm ROI 52a and each contour of the three-dimensional shape estimation image 53a.

先ず、Mesh生成部121は、手のひらROI52aの輪郭を点群G1で表現する。そして、Mesh生成部121は、点群G1から除外しても手のひらROI52aの輪郭形状の変化(例えば、面積の変化、輪郭線の長さの変化など)が所定閾値以下である点を点群G1から除外した頂点集合V1を生成する。また、Mesh生成部121は、3次元形状推定画像53aの輪郭を点群G2で表現する。そして、Mesh生成部121は、点群G2から除外しても3次元形状推定画像53aの輪郭形状の変化(例えば、面積の変化、輪郭線の長さの変化など)が所定閾値以下である点を点群G2から除外した頂点集合V2を生成する。   First, the Mesh generation unit 121 expresses the outline of the palm ROI 52a by the point group G1. Then, the mesh generation unit 121 determines that the points where the change in the contour shape of the palm ROI 52a (for example, the change in the area, the change in the length of the contour line, etc.) is less than or equal to a predetermined threshold even if the mesh is excluded from the point group G1. The vertex set V1 excluded from is generated. The mesh generation unit 121 also represents the contour of the three-dimensional shape estimation image 53a with a point group G2. Then, the mesh generation unit 121 has a point that the change of the contour shape of the three-dimensional shape estimation image 53a (for example, the change of the area, the change of the length of the contour, etc.) is less than or equal to a predetermined threshold even if the mesh generation unit 121 excludes the point group G2. Is generated from the point group G2 to generate a vertex set V2.

図5は、実施例にかかる生体認証装置により手のひらROIの輪郭および3次元形状推定画像の輪郭を点群および頂点集合で表現した一例を示す図である。手のひらROI52aの輪郭を表す点群G1は、図5に示す外側の輪郭のうち、実線で示される。手のひらROI52aの輪郭を表す頂点集合V1は、図5に示す外側の輪郭のうち、鎖線で示される。頂点集合V1は、点群G1から、いくつかの点が間引かれて生成された点群である。3次元形状推定画像53aの輪郭を表す点群G2は、図5に示す内側の輪郭のうち、実線で示される。3次元形状推定画像53aの輪郭を表す頂点集合V2は、図5に示す内側の輪郭のうち、鎖線で示される。頂点集合V2は、点群G2から、いくつかの点が間引かれて生成された点群である。   FIG. 5 is a diagram showing an example in which the contour of the palm ROI and the contour of the three-dimensional shape estimation image are represented by a point group and a vertex set by the biometric authentication device according to the embodiment. The point group G1 representing the contour of the palm ROI 52a is indicated by a solid line in the outer contour shown in FIG. The vertex set V1 representing the contour of the palm ROI 52a is indicated by a chain line in the outer contour shown in FIG. The vertex set V1 is a point group generated by thinning out some points from the point group G1. The point group G2 representing the contour of the three-dimensional shape estimation image 53a is indicated by a solid line in the inner contour shown in FIG. The vertex set V2 representing the contour of the three-dimensional shape estimation image 53a is indicated by a chain line in the inner contour shown in FIG. The vertex set V2 is a point group generated by thinning out some points from the point group G2.

次に、Mesh生成部121は、頂点集合V1およびV2の和集合である頂点集合Vを取る。ただし、頂点集合Vにおいて、互いの距離が所定値以下の2頂点のうち一方の頂点を頂点集合Vから除外してもよい。   Next, the Mesh generation unit 121 takes the vertex set V which is the union of the vertex sets V1 and V2. However, in the vertex set V, one of the two vertices whose mutual distances are equal to or less than a predetermined value may be excluded from the vertex set V.

次に、Mesh生成部121は、頂点集合Vをもとに、Delaunay三角化法などにより、Faceを含む3次元Mesh_M1(図7参照)を生成する。Delaunay三角化法によるFaceの生成は、文献1「M.de Berg et al., "Computational Geometry, 2nd ed.", Springer, 1998」などに記載の周知の手法である。   Next, the mesh generation unit 121 generates a three-dimensional mesh_M1 (see FIG. 7) including a face by the Delaunay triangulation method based on the vertex set V. Face generation by the Delaunay triangulation method is a well-known method described in Document 1, “M. de Berg et al.,“ Computational Geometry, 2nd ed. ”, Springer, 1998” and the like.

なお、図6は、実施例にかかる生体認証装置により頂点集合が3次元空間にプロットされた一例を示す図である。図6では、頂点集合Vに含まれる各頂点の高さは、3次元形状推定部113により推定された3次元形状において近接する点の高さ情報から補間する。また、図7は、実施例にかかる生体認証装置による頂点集合の三角化によってFaceにより構成された3次元Meshの一例を示す図である。   Note that FIG. 6 is a diagram showing an example in which a vertex set is plotted in a three-dimensional space by the biometric authentication device according to the embodiment. In FIG. 6, the heights of the vertices included in the vertex set V are interpolated from the height information of adjacent points in the three-dimensional shape estimated by the three-dimensional shape estimation unit 113. In addition, FIG. 7 is a diagram illustrating an example of a three-dimensional mesh formed of Faces by triangulation of the vertex set by the biometric authentication device according to the embodiment.

Mesh平坦化処理部122は、3次元データを2次元データに変換する。すなわち、Mesh平坦化処理部122は、ISOMAP(Isometric Feature Mapping)法などにより、3次元Meshの距離構造(各点間の距離比率など)を保ちながら、3次元Mesh_M1を2次元Mesh_M2(以下、変換後2次元Mesh_M2という)に変換する。図8は、実施例にかかる生体認証装置による3次元Meshから変換後2次元Meshへの変換を含むMesh平坦化処理の一例の概要を示す図である。   The mesh flattening processor 122 converts three-dimensional data into two-dimensional data. That is, the mesh flattening processing unit 122 uses the ISOMAP (Isometric Feature Mapping) method or the like to maintain the distance structure of the three-dimensional mesh (distance ratio between points, etc.) and convert the three-dimensional Mesh_M1 into the two-dimensional Mesh_M2 (hereinafter referred to as conversion). After that, it is converted to 2D Mesh_M2). FIG. 8 is a diagram illustrating an outline of an example of a mesh flattening process including conversion from a three-dimensional mesh to a converted two-dimensional mesh by the biometric authentication device according to the embodiment.

ISOMAP法による3次元Meshから2次元Meshへの変換は、文献2「J. Tenenbaum et al., "A global geometricframework for nonlinear dimensionalityreduction," Science, 290:2319-2323, 2000」などに記載の周知の手法である。なお、ISOMAP法は、「3次元Meshの距離構造を保つ変換」の一例であるが、「3次元Meshの距離構造を保つ」ことができる変換法であれば、ISOMAP法に限られるものではない。   The conversion from the three-dimensional mesh to the two-dimensional mesh by the ISOMAP method is well known as described in Reference 2, “J. Tenenbaum et al.,“ A global geometric framework for nonlinear dimensionality reduction, ”Science, 290: 2319-2323, 2000”. It is a technique. The ISOMAP method is an example of “conversion that maintains the distance structure of the three-dimensional mesh”, but any conversion method that can “maintain the distance structure of the three-dimensional mesh” is not limited to the ISOMAP method. ..

ここで、変換後2次元Mesh_M2と比較するための、3次元Mesh_M1の2次元射影を、変換前3次元Mesh_M3とする。変換前3次元Mesh_M3は、変換後2次元Mesh_M2と同一の平面に3次元Mesh_M1が射影されたものである。図9は、実施例にかかる3次元Meshを2次元に射影した変換前3次元Meshの一例を示す図である。図10は、実施例にかかる生体認証装置により3次元Meshを2次元に変換した変換後2次元Meshの一例を示す図である。   Here, the two-dimensional projection of the three-dimensional Mesh_M1 for comparison with the post-conversion two-dimensional Mesh_M2 is referred to as the pre-conversion three-dimensional Mesh_M3. The pre-conversion 3D Mesh_M3 is a projection of the 3D Mesh_M1 on the same plane as the post-conversion 2D Mesh_M2. FIG. 9 is a diagram showing an example of a three-dimensional mesh before conversion, which is a two-dimensional projection of the three-dimensional mesh according to the embodiment. FIG. 10 is a diagram illustrating an example of a converted two-dimensional mesh obtained by converting the three-dimensional mesh into a two-dimensional shape by the biometric authentication device according to the embodiment.

図9に示す変換前3次元Mesh_M3と、図10に示す変換後2次元Mesh_M2とを比較すると、例えば、親指の付け根部分や各指の付け根部分などの手のひらの可動部分に該当するFaceについて、変換前3次元Mesh_M3よりも変換後2次元Mesh_M2の方が、各Feceの各点間の距離比率を保ちつつ画像が拡大されているとともに、射影歪みなどの幾何的歪みや、光学系由来の歪みが低減されている。すなわち、ISOMAP法などの「3次元Meshの距離構造を極力保つ変換」を用いると、射影などと比較して、3次元Mesh_M1から2次元Meshへの変換の際の変換歪みを低減し、3次元の形状の特性を保った2次元への高精度な変換を行うことができる。   Comparing the three-dimensional mesh_M3 before conversion shown in FIG. 9 with the two-dimensional mesh_M2 after conversion shown in FIG. 10, for example, conversion is performed for Faces corresponding to the movable part of the palm such as the base of the thumb or the base of each finger. The transformed 2D Mesh_M2 is larger than the 3D mesh_M3 before the image while maintaining the distance ratio between each point of each Fece, and the geometric distortion such as projective distortion and the distortion due to the optical system are generated. Has been reduced. That is, by using “conversion that keeps the distance structure of the three-dimensional mesh as much as possible” such as ISOMAP method, the conversion distortion at the time of conversion from the three-dimensional Mesh_M1 to the two-dimensional mesh is reduced and the three-dimensional mesh It is possible to perform highly accurate conversion into two dimensions while maintaining the characteristics of the shape.

曲面平坦化処理部123は、3次元の手のひらの曲面を2次元に平坦化する。すなわち、曲面平坦化処理部123は、3次元Mesh_M1と、変換後2次元Mesh_M2との対応関係から、3次元Mesh_M1から変換後2次元Mesh_M2への幾何変換Tを定める。そして、曲面平坦化処理部123は、幾何変換Tを、手のひら上の任意の点に拡張し、手のひら上の任意の点の輝度値を、2次元上の輝度値に連続的にマッピングした正規化画像を生成する。最後に、曲面平坦化処理部123は、生成した手のひら画像の正規化画像の形状補正を行い、認証処理装置400へ出力する。   The curved surface flattening unit 123 flattens the curved surface of the three-dimensional palm into two dimensions. That is, the curved surface flattening processing unit 123 determines the geometric transformation T from the three-dimensional Mesh_M1 to the two-dimensional mesh_M2 after conversion from the correspondence relationship between the three-dimensional Mesh_M1 and the two-dimensional mesh_M2 after conversion. Then, the curved surface flattening processing unit 123 extends the geometric transformation T to an arbitrary point on the palm, and normalizes the luminance value of the arbitrary point on the palm continuously mapped to a two-dimensional luminance value. Generate an image. Finally, the curved surface flattening processing unit 123 corrects the shape of the normalized image of the generated palm image, and outputs it to the authentication processing device 400.

例えば、曲面平坦化処理部123は、幾何変換Tとして、Thin-Plate Spline(TPS)変換を定める。幾何変換TとしてのThin-Plate Spline変換は、3次元Mesh_M1と変換後2次元Mesh_M2とにおける各Faceの変換前後における対応関係から、変換前3次元Mesh_M3の各Faceを変換後2次元Mesh_M2の各Faceへ変換し、変換後2次元Mesh_M2の各Faceを滑らかにつなげる変換である。曲面平坦化処理部123は、Thin-Plate Spline変換により、高精度に幾何変換を行うことができる。   For example, the curved surface flattening processing unit 123 defines Thin-Plate Spline (TPS) transformation as the geometric transformation T. The Thin-Plate Spline transformation as the geometric transformation T is performed by converting each Face of the three-dimensional Mesh_M1 before conversion and each Face of the two-dimensional Mesh_M2 after conversion from the correspondence relationship before and after conversion of each Face in the two-dimensional Mesh_M2 after conversion. This is a conversion in which each face of the two-dimensional Mesh_M2 is smoothly connected after the conversion. The curved surface flattening processing unit 123 can perform geometric conversion with high accuracy by thin-plate spline conversion.

または、曲面平坦化処理部123は、幾何変換Tとして、3次元Mesh_M1と変換後2次元Mesh_M2とにおいて対応する各FaceごとにAffine変換を定めてもよい。幾何変換TとしてのAffine変換は、3次元Mesh_M1と変換後2次元Mesh_M2との各Faceの3つ頂点の対応関係から一意に定まり、該当Faceの全ての点を変換する。曲面平坦化処理部123は、幾何変換TとしてAffine変換を行う場合、高速に演算でき、さらにGPU(Graphics Processing Unit)などのハードウェアアシスト演算を援用しやすい。よって、幾何変換TとしてのAffine変換は、組込み系機器などへの実装に好適である。   Alternatively, the curved surface flattening processing unit 123 may determine, as the geometric transformation T, the Affine transformation for each Face corresponding to the three-dimensional Mesh_M1 and the transformed two-dimensional Mesh_M2. The Affine transformation as the geometric transformation T is uniquely determined from the correspondence between the three vertices of each Face of the three-dimensional Mesh_M1 and the transformed two-dimensional Mesh_M2, and transforms all points of the Face. When performing the Affine transformation as the geometric transformation T, the curved surface flattening processing unit 123 can perform the computation at high speed and can easily use hardware assisted computation such as GPU (Graphics Processing Unit). Therefore, the Affine transformation as the geometric transformation T is suitable for mounting on an embedded device or the like.

図11は、実施例にかかる手のひら画像の変換前3次元Meshを取得画像に重ね合わせた一例を示す図である。図12は、実施例にかかる生体認証装置による幾何変換により変換された手のひら画像の変換後2次元Meshを取得画像に重ね合わせた一例を示す図である。図12に示す変換後2次元Mesh_M2は、図11に示す変換前3次元Mesh_M3と比較して、3次元Mesh_M1から2次元Meshへの変換の際の変換歪みが低減され、3次元Mesh_M1の形状の特性を保って2次元Meshに変換されている。このことから、変換後2次元Mesh_M2は、幾何変換Tにより手のひらの各点の輝度値が3次元Mesh_M1からマッピングされることにより、変換前3次元Mesh_M3と比較して、手のひらの特徴量(例えば可動部の特徴量)を高精度に抽出できる正規化画像を生成可能とする。よって、実施例によれば、手のひら画像の再現性を高め、手のひら特有の形状に応じた可動部の特徴量を、効率かつ高精度に、高速で抽出できる。   FIG. 11 is a diagram illustrating an example in which the pre-conversion three-dimensional mesh of the palm image according to the embodiment is superimposed on the acquired image. FIG. 12 is a diagram showing an example in which the converted two-dimensional mesh of the palm image converted by the geometric conversion by the biometric authentication device according to the embodiment is superimposed on the acquired image. The post-conversion two-dimensional Mesh_M2 shown in FIG. 12 is reduced in conversion distortion at the time of conversion from the three-dimensional Mesh_M1 to the two-dimensional Mesh as compared with the pre-conversion three-dimensional Mesh_M3 shown in FIG. It has been converted to a two-dimensional mesh while maintaining its characteristics. From this, the post-conversion two-dimensional Mesh_M2 is compared with the pre-conversion three-dimensional Mesh_M3 by mapping the luminance value of each point of the palm from the three-dimensional Mesh_M1 by the geometrical conversion T, so that the palm feature amount (eg, movable) can be changed. It is possible to generate a normalized image in which the feature amount of a part) can be extracted with high accuracy. Therefore, according to the embodiment, the reproducibility of the palm image can be improved, and the characteristic amount of the movable portion according to the shape peculiar to the palm can be extracted efficiently and accurately at high speed.

認証処理装置400は、曲面平坦化処理部123から出力された、図12に示す正規化画像を入力とし、入力された出力画像から手のひらの特徴量を抽出し、抽出した特徴量を含む手のひら静脈パターンと、予め認証処理装置400内部もしくは外部装置に登録されている照合用の手のひら静脈パターンとの照合を行うことで、利用者を認証する。   The authentication processing device 400 receives the normalized image shown in FIG. 12 output from the curved surface flattening processing unit 123 as an input, extracts the feature amount of the palm from the input output image, and outputs the palm vein including the extracted feature amount. The user is authenticated by collating the pattern with a palm vein pattern for collation registered in advance in the authentication processing device 400 or an external device.

[実施例にかかる生体認証装置における画像処理]
図13は、実施例にかかる生体認証装置における画像処理の一例を示すフローチャートである。生体認証装置1は、生体認証装置における画像処理を、撮影のために人の手のひらが撮像素子200にかざされるごとに実行する。
[Image Processing in Biometric Authentication Device According to Embodiment]
FIG. 13 is a flowchart illustrating an example of image processing in the biometric authentication device according to the embodiment. The biometric authentication device 1 executes image processing in the biometric authentication device every time the palm of a person is held over the image sensor 200 for photographing.

先ず、画像取得部111は、画像取得処理を行う(ステップS11)。次に、ROI抽出処理部112は、ROI抽出処理を行う(ステップS12)。次に、3次元形状推定部113は、3次元形状推定処理を行う(ステップS13)。   First, the image acquisition unit 111 performs an image acquisition process (step S11). Next, the ROI extraction processing unit 112 performs ROI extraction processing (step S12). Next, the three-dimensional shape estimation unit 113 performs a three-dimensional shape estimation process (step S13).

次に、Mesh生成部121は、Mesh生成処理を行う(ステップS14)。次に、Mesh平坦化処理部122は、Mesh平坦化処理を行う(ステップS15)。次に、曲面平坦化処理部123は、曲面平坦化処理を行う(ステップS16)。ステップS16が終了すると、曲面平坦化処理部123は、曲面平坦化処理による出力画像を、認証処理装置400へ出力する。   Next, the Mesh generation part 121 performs a Mesh generation process (step S14). Next, the mesh flattening processing unit 122 performs mesh flattening processing (step S15). Next, the curved surface flattening processing unit 123 performs curved surface flattening processing (step S16). When step S16 ends, the curved surface flattening processing unit 123 outputs the output image by the curved surface flattening processing to the authentication processing device 400.

以上の実施例によれば、手のひら静脈認証において、画像の正規化の際に、手の骨格による手のひらの変形の特性を効率的に吸収することで、3次元の手のひら画像の2次元化の精度を高めて、再現性および特徴点抽出の安定性を向上させ、処理速度の向上とともに、認証精度の向上を図ることができる。   According to the above-described embodiment, in the palm vein authentication, the characteristic of the deformation of the palm due to the skeleton of the hand is efficiently absorbed during the normalization of the image, so that the accuracy of the two-dimensionalization of the three-dimensional palm image is improved. It is possible to improve the reproducibility and the stability of feature point extraction by increasing the processing speed, and improve the processing speed and the authentication accuracy.

[実施例の変形例]
(1)Faceの生成について
実施例では、Mesh生成部121は、手のひらROI52aの輪郭を表す点群G1から生成した手のひらROI52aの輪郭を表す頂点集合V1と、3次元形状推定画像53aの輪郭を表す点群G2から生成した3次元形状推定画像53aの輪郭を表す頂点集合V2との和集合である頂点集合Vをもとに、Faceを生成する。しかし、これに限られず、Mesh生成部121は、手のひらROI52aの輪郭を表す点群G1から生成した手のひらROI52aの輪郭を表す頂点集合V1をもとに、Faceを生成してもよい。または、Mesh生成部121は、3次元形状推定画像53aの輪郭を表す点群G2から生成した3次元形状推定画像53aの輪郭を表す頂点集合V2をもとに、Faceを生成してもよい。
[Modification of Embodiment]
(1) Generation of Face In the embodiment, the Mesh generation unit 121 represents the vertex set V1 representing the contour of the palm ROI 52a generated from the point group G1 representing the contour of the palm ROI 52a and the contour of the three-dimensional shape estimation image 53a. A face is generated based on the vertex set V that is a union with the vertex set V2 representing the contour of the three-dimensional shape estimation image 53a generated from the point group G2. However, the present invention is not limited to this, and the Mesh generation unit 121 may generate Face based on the vertex set V1 representing the contour of the palm ROI 52a generated from the point group G1 representing the contour of the palm ROI 52a. Alternatively, the Mesh generation unit 121 may generate Face based on the vertex set V2 representing the contour of the 3D shape estimation image 53a generated from the point group G2 representing the contour of the 3D shape estimation image 53a.

(2)プログラムについて
実施例では、生体認証装置1における画像処理は、生体認証装置1が有する画像処理装置100により行われるが、これに限らず、画像処理のプログラムとして提供され、CPU(Central Processing Unit)などの処理装置を有するコンピュータ装置にインストールされ、コンピュータ装置の処理装置によって実行されてもよい。かかるコンピュータ装置は、ローカル・コンピュータであってもよいし、データセンタに設置されたリモート・コンピュータであってもよい。例えば、実施例にかかる画像処理は、リモート・コンピュータによるクラウドサービスとして提供されてもよい。
(2) Program In the embodiment, the image processing in the biometric authentication device 1 is performed by the image processing device 100 included in the biometric authentication device 1. However, the image processing device 100 is not limited to this, and is provided as an image processing program and a CPU (Central Processing). It may be installed in a computer device having a processing device such as a Unit) and executed by the processing device of the computer device. The computer device may be a local computer or a remote computer installed in a data center. For example, the image processing according to the embodiment may be provided as a cloud service by a remote computer.

(3)生体情報について
実施例では、生体情報は、手のひら静脈パターンであるが、これに限られず、顔や指紋など、認証に用いることができる人の身体的特徴のいずれであってもよい。
(3) Biometric Information In the embodiment, the biometric information is a palm vein pattern, but the biometric information is not limited to this, and may be any physical characteristic of a person such as a face or a fingerprint that can be used for authentication.

以上の実施例における各素子、各装置、各部の統合および分散は、図示および上述の説明におけるものに限らず、実装効率もしくは処理効率に応じて、適宜設計変更されてもよい。また、以上の実施例における各処理も、適宜処理順序を入れ替えたり処理を省略したりしてもよい。   The integration and distribution of each element, each device, and each unit in the above embodiments are not limited to those illustrated and described above, and may be appropriately changed in design depending on the mounting efficiency or processing efficiency. Further, the processing order of each processing in the above embodiments may be appropriately changed or the processing may be omitted.

以上の実施例で例示した各部の構成は、開示の技術にかかる可搬型機器および生体認証方法の技術範囲を逸脱しない程度に変更または省略可能である。また、実施例は例示に過ぎず、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の態様も、開示の技術に含まれる。   The configurations of the units illustrated in the above embodiments can be changed or omitted to the extent that they do not depart from the technical scope of the portable device and the biometric authentication method according to the disclosed technique. In addition, the embodiments are merely examples, and the disclosed technology includes other embodiments in which various modifications and improvements are made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure section.

1 生体認証装置
51 取得画像
52 ROI抽出画像
52a 手のひらROI
53 グレースケール画像
53a 3次元形状推定画像
100 画像処理装置
110 入力部
111 画像取得部
112 ROI抽出処理部
113 3次元形状推定部
120 曲面平坦化部
121 Mesh生成部
122 Mesh平坦化処理部
123 曲面平坦化処理部
200 撮像素子
300 発光素子
400 認証処理装置
1 Biometric authentication device 51 Acquired image 52 ROI extracted image 52a Palm ROI
53 gray scale image 53a three-dimensional shape estimation image 100 image processing device 110 input unit 111 image acquisition unit 112 ROI extraction processing unit 113 three-dimensional shape estimation unit 120 curved surface flattening unit 121 mesh generation unit 122 mesh flattening processing unit 123 curved flat surface Authentication processing unit 200 Imaging element 300 Light emitting element 400 Authentication processing device

Claims (6)

生体認証に用いる生体部分の画像を取得する画像取得部と、
前記画像取得部により取得された取得画像から処理対象領域を抽出する抽出部と、
前記抽出部により抽出された前記処理対象領域から前記生体部分の3次元形状を推定する推定部と、
前記処理対象領域および前記推定部により推定された前記生体部分の3次元形状をもとに、前記取得画像から前記生体部分の3次元メッシュデータを生成するメッシュ生成部と、
前記メッシュ生成部により生成された3次元メッシュデータを、前記3次元メッシュデータにおける各メッシュデータの頂点間の距離を保ちながら、2次元メッシュデータに変換するメッシュ平坦化処理部と、
前記メッシュ平坦化処理部による変換前の前記3次元メッシュデータと変換後の前記2次元メッシュデータとの対応関係から定まる幾何変換により、前記取得画像上の前記生体部分の各点の輝度値を、前記2次元メッシュデータ上の各点にマッピングする曲面平坦化処理部と
を備えたことを特徴とする生体認証装置。
An image acquisition unit that acquires an image of a biometric part used for biometric authentication,
An extraction unit that extracts a processing target region from the acquired image acquired by the image acquisition unit ,
An estimation unit that estimates the three-dimensional shape of the living body part from the processing target region extracted by the extraction unit;
A mesh generation unit that generates three-dimensional mesh data of the living body portion from the acquired image based on the processing target region and the three-dimensional shape of the living body portion estimated by the estimation unit ;
A mesh flattening processing unit that converts the three-dimensional mesh data generated by the mesh generation unit into two-dimensional mesh data while maintaining the distance between the vertices of each mesh data in the three-dimensional mesh data;
The brightness value of each point of the living body part on the acquired image is determined by the geometric conversion determined by the correspondence between the three-dimensional mesh data before conversion and the two-dimensional mesh data after conversion by the mesh flattening processing unit, And a curved surface flattening processing unit that maps to each point on the two-dimensional mesh data.
前記幾何変換は、Thin-Plate Spline変換である
ことを特徴とする請求項1に記載の生体認証装置。
The biometric authentication device according to claim 1, wherein the geometric transformation is Thin-Plate Spline transformation.
前記幾何変換は、Affine変換である
ことを特徴とする請求項1に記載の生体認証装置。
The biometric authentication device according to claim 1, wherein the geometric transformation is Affine transformation.
前記メッシュ生成部は、前記取得画像から抽出された前記処理対象領域におけるROI(Region Of Interest)の輪郭を構成する第1の点群、および、前記3次元形状の情報が示す前記生体部分の輪郭を構成する第2の点群のいずれか一方の点群、もしくは、前記第1の点群および前記第2の点群の和集合を頂点集合とし、該頂点集合に含まれる点をもとに前記3次元メッシュデータを生成する
ことを特徴とする請求項1〜3のいずれか1項に記載の生体認証装置。
The mesh generation unit includes a first point group forming a contour of a ROI (Region Of Interest) in the processing target region extracted from the acquired image, and a contour of the living body part indicated by the information of the three-dimensional shape. A point set of either one of the second point groups or the union set of the first point group and the second point group is used as a vertex set, and the points included in the vertex set are used as the basis. The biometric authentication device according to any one of claims 1 to 3, wherein the three-dimensional mesh data is generated.
生体認証装置が実行する生体認証方法であって、
前記生体認証装置の画像取得部が、生体認証に用いる生体部分の画像を取得し、
前記生体認証装置の抽出部が、前記画像取得部により取得された取得画像から処理対象領域を抽出し、
前記生体認証装置の推定部が、前記抽出部により抽出された前記処理対象領域から前記生体部分の3次元形状を推定し、
前記生体認証装置のメッシュ生成部が、前記処理対象領域および前記推定部により推定された前記生体部分の3次元形状をもとに、前記取得画像から前記生体部分の3次元メッシュデータを生成し、
前記生体認証装置のメッシュ平坦化処理部が、前記メッシュ生成部により生成された3次元メッシュデータを、前記3次元メッシュデータにおける各メッシュデータの頂点間の距離を保ちながら、2次元メッシュデータに変換し、
前記生体認証装置の曲面平坦化処理部が、前記メッシュ平坦化処理部による変換前の前記3次元メッシュデータと変換後の前記2次元メッシュデータとの対応関係から定まる幾何変換により、前記取得画像上の前記生体部分の各点の輝度値を、前記2次元メッシュデータ上の各点にマッピングする
各処理を含んだことを特徴とする生体認証方法。
A biometric authentication method executed by a biometric authentication device, comprising:
The image acquisition unit of the biometric authentication device acquires an image of a biometric part used for biometric authentication,
The extraction unit of the biometric authentication device extracts a processing target area from the acquired image acquired by the image acquisition unit,
An estimation unit of the biometric authentication device estimates a three-dimensional shape of the biometric portion from the processing target region extracted by the extraction unit,
The mesh generation unit of the biometric authentication device generates three-dimensional mesh data of the biometric portion from the acquired image based on the processing target area and the three-dimensional shape of the biometric portion estimated by the estimation unit ,
A mesh flattening processing unit of the biometric authentication device converts the three-dimensional mesh data generated by the mesh generation unit into two-dimensional mesh data while maintaining a distance between vertices of each mesh data in the three-dimensional mesh data. Then
On the acquired image, the curved surface flattening processing unit of the biometric authentication device performs geometric transformation determined from the correspondence between the three-dimensional mesh data before the transformation by the mesh flattening processing unit and the two-dimensional mesh data after the transformation. The biometric authentication method, comprising: each process of mapping the luminance value of each point of the biometric part to each point on the two-dimensional mesh data.
コンピュータを、
生体認証に用いる生体部分の画像を取得する画像取得部と、
前記画像取得部により取得された取得画像から処理対象領域を抽出する抽出部と、
前記抽出部により抽出された前記処理対象領域から前記生体部分の3次元形状を推定する推定部と、
前記処理対象領域および前記推定部により推定された前記生体部分の3次元形状をもとに、前記取得画像から前記生体部分の3次元メッシュデータを生成するメッシュ生成部と、
前記メッシュ生成部により生成された3次元メッシュデータを、前記3次元メッシュデータにおける各メッシュデータの頂点間の距離を保ちながら、2次元メッシュデータに変換するメッシュ平坦化処理部と、
前記メッシュ平坦化処理部による変換前の前記3次元メッシュデータと変換後の前記2次元メッシュデータとの対応関係から定まる幾何変換により、前記取得画像上の前記生体部分の各点の輝度値を、前記2次元メッシュデータ上の各点にマッピングする曲面平坦化処理部
として機能させるための生体認証プログラム。
Computer,
An image acquisition unit that acquires an image of a biometric part used for biometric authentication,
An extraction unit that extracts a processing target region from the acquired image acquired by the image acquisition unit ,
An estimation unit that estimates the three-dimensional shape of the living body part from the processing target region extracted by the extraction unit;
A mesh generation unit that generates three-dimensional mesh data of the living body portion from the acquired image based on the processing target region and the three-dimensional shape of the living body portion estimated by the estimation unit ;
A mesh flattening processing unit that converts the three-dimensional mesh data generated by the mesh generation unit into two-dimensional mesh data while maintaining the distance between the vertices of each mesh data in the three-dimensional mesh data;
The brightness value of each point of the living body part on the acquired image is determined by the geometric conversion determined by the correspondence between the three-dimensional mesh data before conversion and the two-dimensional mesh data after conversion by the mesh flattening processing unit, A biometric authentication program for functioning as a curved surface flattening processing unit that maps to each point on the two-dimensional mesh data.
JP2017032633A 2017-02-23 2017-02-23 Biometric authentication device, biometric authentication method, and biometric authentication program Active JP6692309B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017032633A JP6692309B2 (en) 2017-02-23 2017-02-23 Biometric authentication device, biometric authentication method, and biometric authentication program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017032633A JP6692309B2 (en) 2017-02-23 2017-02-23 Biometric authentication device, biometric authentication method, and biometric authentication program

Publications (2)

Publication Number Publication Date
JP2018136883A JP2018136883A (en) 2018-08-30
JP6692309B2 true JP6692309B2 (en) 2020-05-13

Family

ID=63366947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017032633A Active JP6692309B2 (en) 2017-02-23 2017-02-23 Biometric authentication device, biometric authentication method, and biometric authentication program

Country Status (1)

Country Link
JP (1) JP6692309B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1598778B1 (en) * 2004-05-18 2008-08-13 Agfa HealthCare NV Method for automatically mapping of geometric objects in digital medical images
JP6604008B2 (en) * 2015-03-13 2019-11-13 富士通株式会社 Image processing apparatus, image processing program, and image processing method

Also Published As

Publication number Publication date
JP2018136883A (en) 2018-08-30

Similar Documents

Publication Publication Date Title
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
US9747493B2 (en) Face pose rectification method and apparatus
JP6507046B2 (en) Three-dimensional object detection device and three-dimensional object authentication device
JP5873442B2 (en) Object detection apparatus and object detection method
US9053388B2 (en) Image processing apparatus and method, and computer-readable storage medium
JP6424822B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM
JP4459137B2 (en) Image processing apparatus and method
JP6560480B2 (en) Image processing system, image processing method, and program
JP4653606B2 (en) Image recognition apparatus, method and program
JP6125188B2 (en) Video processing method and apparatus
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
KR101612605B1 (en) Method for extracting face feature and apparatus for perforimg the method
WO2010122721A1 (en) Matching device, matching method, and matching program
JP7334141B2 (en) Multimodal Dense Correspondence Image Processing System, Radar Imaging System, Method and Program
US11270420B2 (en) Method of correcting image on basis of category and recognition rate of object included in image and electronic device implementing same
KR20170092533A (en) A face pose rectification method and apparatus
US20120062749A1 (en) Human body identification method using range image camera and human body identification apparatus
WO2004025564A1 (en) Face direction estimation device, face direction estimation method, and face direction estimation program
JP2008194146A (en) Visual line detecting apparatus and its method
CN104715447A (en) Image synthesis method and device
US20160019673A1 (en) Fingerprint image conversion device, fingerprint image conversion system, fingerprint image conversion method, and fingerprint image conversion program
JP2017054304A (en) Identification apparatus and authentication system
JP2009288917A (en) Information processor, information processing method and program
JP4850768B2 (en) Apparatus and program for reconstructing 3D human face surface data
CN105975899B (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200414

R150 Certificate of patent or registration of utility model

Ref document number: 6692309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250