WO2023028947A1 - 掌静脉非接触式三维建模方法、装置及认证方法 - Google Patents

掌静脉非接触式三维建模方法、装置及认证方法 Download PDF

Info

Publication number
WO2023028947A1
WO2023028947A1 PCT/CN2021/116230 CN2021116230W WO2023028947A1 WO 2023028947 A1 WO2023028947 A1 WO 2023028947A1 CN 2021116230 W CN2021116230 W CN 2021116230W WO 2023028947 A1 WO2023028947 A1 WO 2023028947A1
Authority
WO
WIPO (PCT)
Prior art keywords
palm
image
feature
images
screened
Prior art date
Application number
PCT/CN2021/116230
Other languages
English (en)
French (fr)
Inventor
徐华斌
孙正康
张俊强
韩冬冬
金华民
李镇旭
郑耀
Original Assignee
青岛奥美克生物信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 青岛奥美克生物信息科技有限公司 filed Critical 青岛奥美克生物信息科技有限公司
Priority to PCT/CN2021/116230 priority Critical patent/WO2023028947A1/zh
Publication of WO2023028947A1 publication Critical patent/WO2023028947A1/zh

Links

Images

Definitions

  • the present disclosure relates to a palm vein non-contact three-dimensional modeling method, an authentication method, a device, and an electronic device.
  • biometric identification In order to maximize identification performance through biometric identification, high-quality balanced images are the most important element.
  • biometric identification has international standards such as FBI/GA related to image quality such as image resolution (DPI) and evenness and uniformity.
  • DPI image resolution
  • face recognition there is a scheme to obtain standardized images through ISO/IEC 19794-5 Amendment 1 (Face Image Data on Conditions for Taking Pictures).
  • the present disclosure provides a palm vein non-contact three-dimensional modeling method, an authentication method, a device, an electronic device, and a readable storage medium.
  • a method for non-contact three-dimensional modeling of palm veins comprising: shooting palm images at M different positions, and more than one palm image taken at each different position, the different positions is the different positions of the palm relative to the camera device, where M>1; screening palm images satisfying the preset conditions are screened from the captured palm images, wherein there are more than one screened palm images at each position, and each position The number of the screened palm images is less than or equal to the number of palm images taken at the corresponding position; the palm vein feature data is extracted from the screened palm images; the palm vein feature data extracted from each screened palm image performing feature fusion to form a first feature template; and forming a user feature template based on the first feature template.
  • it also includes obtaining the optimal vector data of the screened palm image of each position, wherein the optimal screened palm image is obtained from the screened palm image of each position, and based on the The optimal vector data for each position is obtained by using the optimal screening palm image; or the optimal palm vein feature data is obtained from the palm vein feature data of the screening palm image for each position, and based on the optimal optimal palm vein feature data to obtain the optimal vector data for each position, and
  • the one first feature template is fused with the optimal vector data of each position to form the user feature template.
  • screening the palm images satisfying preset conditions includes: extracting the region of interest of the captured palm image; obtaining the image vector data of the region of interest; The vector data is compared to filter the screened palm images that meet the preset conditions.
  • each palm image is compared in pairs to filter out palm images with high similarity in different positions, wherein if If the comparison threshold of the two palm images is greater than the preset threshold, it is considered that the similarity between the two palm images is high.
  • acquiring the image vector data of the region of interest includes: dividing the image of the region of interest into m local regions, and calculating the gradient magnitude d and Gradient angle ⁇ , to obtain image vector data, the calculation formula of gradient amplitude d and gradient angle ⁇ is as follows:
  • I(x+1, y), I(x-1, y)I(x-1, y) respectively represent the pixels of adjacent positions (x+1, y) and (x-1, y) in the horizontal direction gray value;
  • I(x, y+1), I(x, y-1) respectively represent the gray values of the pixels at the adjacent positions (x, y+1) and (x, y-1) in the vertical direction Degree value;
  • the calculation formula of the feature vector w is d k,j , ⁇ k,j are the gradient magnitude d and gradient angle ⁇ of the jth pixel in the kth region, is the gradient histogram statistical function, 1 ⁇ k ⁇ m, and n is the number of pixels in the kth region.
  • extracting the palm vein feature data from the screened palm image includes: acquiring key feature points of the screened palm image, wherein the key feature points do not vary with palm scale, palm rotation and deflection.
  • the brightness of the palm image changes with the shift and brightness of the palm image.
  • the designed fuzzy kernel function the response maps of the palm image in different Gaussian scale spaces are calculated, searched and screened, and the Gaussian difference image is obtained by subtraction, and then the stable image is positioned in the position space and scale space extreme point; and for the key feature point, a descriptor is established, wherein the key feature point is a stable feature point, and the descriptor is stable feature data.
  • the extreme point As the origin, use the histogram to count the gradient and direction of the pixels in the neighborhood to form a contraction descriptor.
  • stereo matching is performed on the stable feature points to obtain key points for successful matching
  • the stereo matching includes: matching the descriptors of the stable feature points of the image Perform matching, perform perspective transformation on the successfully matched stable feature points, transform them into the same coordinate system, perform stable feature point matching in this coordinate system, and eliminate unstable feature points while ensuring the overall consistency of the matching; and fusion
  • the key points of successful matching form the optimal fusion feature point
  • the optimal fusion feature point constitutes the first feature template, wherein when using the optimal fusion feature point for comparison, it will not be affected by the size, position, and angle of the palm. , inclination and palm shape.
  • the authentication method includes: acquiring the user image vector data and the user palm vein feature data of the palm image of the user to be authenticated; The user image vector data is compared with the data of the user feature template to filter out the user feature template with high similarity; and the user palm vein feature data is compared with the data of the screened user feature template Compare to determine the user to be authenticated.
  • a non-contact three-dimensional palm vein modeling device includes: an image capture device that captures palm images at M different positions, and each of the palm images captured at different positions is more than one , the different positions are the different positions of the palm relative to the camera device, wherein M>1; the screening device screens the screened palm images satisfying the preset conditions from the captured palm images, wherein the screened palm images of each position are More than 1, and the number of the screened palm images in each position is less than or equal to the number of captured palm images in the corresponding position; the feature extraction device extracts palm vein feature data from the screened palm images; the first feature Template generating means, performing feature fusion on the palm vein feature data extracted from each screened palm image to form a first feature template; and a user feature template generating means, based on the first feature template to form a user feature template .
  • an electronic device includes: a memory, the memory stores execution instructions; and a processor, the processor executes the execution instructions stored in the memory, so that the processor executes any one of the above method described in the item.
  • Fig. 1 is a flowchart of a method for non-contact three-dimensional modeling of palm veins according to an embodiment of the present disclosure.
  • Fig. 2 is a schematic diagram of image capture according to an embodiment of the present disclosure.
  • Fig. 3 is a schematic diagram of image capture according to an embodiment of the present disclosure.
  • FIG. 4 is a schematic diagram of captured images according to an embodiment of the present disclosure.
  • Fig. 5 is a flowchart of a method for non-contact three-dimensional modeling of palm veins according to an embodiment of the present disclosure.
  • Fig. 6 is a flowchart of an authentication method according to yet another embodiment of the present disclosure.
  • Fig. 7 is a schematic structural diagram of a non-contact palm vein three-dimensional modeling device according to an embodiment of the present disclosure.
  • Fig. 8 is a schematic structural diagram of a non-contact palm vein authentication device according to an embodiment of the present disclosure.
  • a method for non-contact three-dimensional modeling of palm veins is provided.
  • FIG. 1 shows a method 100 for non-contact three-dimensional modeling of veins according to an embodiment of the present disclosure.
  • step S102 take more than one palm image at M different positions, where M>1.
  • this step take images of the user's palm at more than two different positions, where the number of images taken for each position can be one or more, preferably, in the present disclosure, for each position More than two images.
  • the number of images taken for each position can be one or more, preferably, in the present disclosure, for each position More than two images.
  • at least two palm images at different positions need to be acquired.
  • the guiding method can be a visual guiding method or a sound guiding method.
  • FIG. 2 shows that a user interface (UI) is used to guide the user in order to capture a corresponding palm image.
  • UI user interface
  • the user can move the palm so that the palm is in the hand shape prompt area.
  • dots may be used as a characteristic feature of the position of the palm.
  • the captured image when the captured image is identified as being not a palm image, the captured image may not be processed, and corresponding prompt information may also be given.
  • relevant guiding information may appear in the palm display area, such as a circle as shown in FIG. 3 . It is also possible to move the palm in the plane direction (XY direction) of the display screen, so that the characterization feature of the palm is located in the circle or the palm image is located in the hand type prompt area, and the Z direction ( (perpendicular to the XY direction) movement guide to position the palm in the appropriate entry area.
  • the position information is preferably distance information (the distance between the palm and the camera), and of course it may also be angle position information and the like.
  • FIG. 4 shows a schematic diagram of palm image capture at three different positions.
  • step S104 filter palm images that meet the preset conditions from the captured palm images, wherein the number of screened palm images for each position is more than one, and the number of screened palm images for each position is less than or equal to that of the corresponding position The number of captured palm images.
  • the overall image of the palm image may be obtained, and then the palm image may be screened based on features of the overall image.
  • a region of interest (ROI) of the captured palm image may also be extracted to filter the palm image through features of the region of interest.
  • region of interest the screening by the overall image of the palm image or other region images can also be performed in a corresponding manner, so the term "region of interest” mentioned below image” can be replaced by the term "palm image”.
  • screening palm images that meet the preset conditions includes: extracting the region of interest of the captured palm image (when filtering through the palm image, this step can be omitted); obtain the image vector data of the region of interest; and compare the image vector data of each palm image to filter the screened palm images that meet the preset conditions.
  • each palm image is compared in pairs to filter out palm images with high similarity in different positions. If the comparison threshold of the two palm images is greater than If the preset threshold is used, it is considered that the similarity between the two palm images is high.
  • the image vector data of the region of interest is obtained.
  • the image of the region of interest is divided into m local areas, and the gradient magnitude d and gradient angle ⁇ of the gradient information of the pixels are calculated to obtain the image vector data.
  • I(x+1, y), I(x-1, y) respectively represent the gray value of the pixel at the adjacent position (x+1, y) and (x-1, y) in the horizontal direction; I(x , y+1), I(x, y-1) respectively represent the gray value of the pixel at the adjacent position (x, y+1) and (x, y-1) in the vertical direction;
  • M palm images at different positions can be guaranteed to be obtained.
  • time information of the obtained palm images ensure that there are N palm images obtained at each position, where N ⁇ 1, preferably more than two.
  • the image vector data of each palm image is compared to filter palm images satisfying preset conditions. Specifically, compare the vectors of each ROI image pairwise to obtain a ROI image with a high similarity.
  • a ROI image with a high similarity means that the vector similarity calculation value of the ROI image is greater than the threshold U1 .
  • more than one palm image with high similarity is acquired.
  • the number of palm images with high similarity is K, where 1 ⁇ K ⁇ N.
  • a palm image at a position can be compared with the palm image at the position and the similarity value of the palm image can be obtained respectively, and/or can also be compared with palm images at other positions to obtain the
  • the similarity value of a palm image is then added to the similarity value of the palm image to obtain the total similarity value of the palm image, and the same process is performed for other palm images.
  • the total similarity value of each palm image will be obtained, and the total similarity value of each palm image will be compared, and the palm image with the highest total similarity value for each distance or greater than the threshold U1 will be selected as the screening for each distance palm image.
  • the vector similarity calculation method includes at least one of L1 norm, L2 norm, Hamming distance or cosine distance.
  • L2 norm is as follows: X and Y represent two vectors respectively.
  • the method according to the present disclosure may also include ensuring that palm images of M different positions are acquired, and the number of screened palm images for each position is K, if M is not satisfied and/or the number of each position does not satisfy K , you need to collect again and repeat the above steps.
  • palm images with high similarity can be retained, and palm images with low similarity can be eliminated.
  • the number of retained palm images with high similarity may be greater than or equal to 1.
  • step S106 palm vein feature data is extracted from the obtained screened palm image.
  • Extracting the palm vein feature data from the screened palm image includes: obtaining the key feature points of the screened palm image, where the key feature points do not change with the palm scale, palm rotation and offset, and palm image brightness changes, where the designed fuzzy kernel function is used, Calculate, search and filter the response maps of palm images in different Gaussian scale spaces, subtract them to obtain Gaussian difference images, and then locate stable extreme points in position space and scale space; and for key feature points, establish descriptors, among which, the key The feature point is a stable feature point, and the descriptor is stable feature data.
  • the histogram to count the gradient and direction of the pixels in the neighborhood to form a descriptor.
  • Obtaining the key feature points of the screened palm image including: using the designed fuzzy kernel function, calculating the response map of the optimal image in different Gaussian scale spaces, subtracting the Gaussian difference image, and then positioning in the position space and scale space Stable extreme points, where the image Gaussian difference is mathematically expressed as:
  • the establishment of the descriptor includes: using the extreme point as the origin, using the histogram to count the gradient and direction of the pixels in the neighborhood to form the descriptor.
  • step S108 feature fusion is performed on the palm vein feature data extracted from each screened palm image to form a first feature template.
  • the first feature template is a three-dimensional feature template of features passing through different positions.
  • stereo matching is performed on the stable feature points to obtain key points for successful matching.
  • Stereo matching includes: matching the descriptors of the stable feature points of the matching image, and performing perspective transformation on the successfully matched stable feature points , transforming to the same coordinate system, performing stable feature point matching in this coordinate system, while ensuring the overall consistency of the matching, removing unstable feature points; and fusing the key points of successful matching to form the optimal fusion feature point,
  • the optimal fusion feature points constitute the first feature template, and the optimal fusion feature points will not be affected by the palm size, position, angle, inclination and palm shape when comparing.
  • the stability expression of the stable feature point is: If f(p k )>T: the point p k is a stable feature point, where: the image depth level is N, and ⁇ i is the scale coefficient of images of different depths.
  • step S110 a user characteristic template is formed based on a first characteristic template.
  • a user feature template may be formed based on fusion of a first feature template with optimal vector data of optimally screened palm images at different distances.
  • the optimal screened palm image can be selected from among the screened palm images, and the specific selection method can be the same as the calculation method of the similarity described above, which will not be repeated here.
  • the screened palm image with the highest similarity at each position is obtained as the optimal screened palm image, and the vector data of the optimal screened palm image at each position is used as the optimal vector data at that position.
  • optimal palm vein feature data may be obtained from palm vein feature data of screened palm images for each location, and optimal vector data for each location may be obtained based on the optimal palm vein feature data.
  • FIG. 5 shows a specific implementation of a palm vein non-contact three-dimensional modeling method 200 according to an embodiment of the present disclosure. For the specific content of this implementation manner, reference may be made to the above description.
  • the three-dimensional modeling method 200 may include the following contents.
  • step S202 the user is roughly guided to place the palm at a corresponding position. After the palm is placed at the corresponding position, the palm can be detected in step S204 to determine whether it is a palm image, and if not, the user can be prompted.
  • step S206 the user may be accurately guided to place the palm, for example, reference may be made to the relevant descriptions in FIG. 2 and FIG. 3 .
  • step S208 the palm image may be photographed.
  • step S210 the region of interest in the captured palm image may be extracted (if the operation is not based on the region of interest, this step may be omitted).
  • step S212 the vector data of the image can be obtained from the region of interest, and the specific manner can refer to the above description.
  • step S214 it can be judged whether at least M images of different positions have been collected and whether the number of images of each position is greater than N, if yes, enter step S216, if not, return to step S208.
  • step S216 optimal vector data can be acquired, and the specific acquisition method can refer to the above description.
  • palm vein feature data may be extracted from the screened palm image.
  • a first feature template may be formed.
  • verify the formed first feature template if not successful, collect again.
  • a user characteristic template is formed based on a first characteristic template.
  • the user feature template is verified, and if the verification is successful, it means that the modeling is successful, and if it is not successful, it is recreated.
  • an authentication method for authentication using a user characteristic template established by a three-dimensional modeling method may include obtaining user image vector data and user palm vein feature data of the palm image of the user to be authenticated; comparing the user image vector data with the data of the user feature template to filter out user features with high similarity template; and comparing the palm vein feature data of the user with the screened data of the user feature template with high similarity, so as to determine the user to be authenticated.
  • FIG. 6 shows an authentication method 300 according to one embodiment of the present disclosure.
  • a palm image may be detected and photographed first. Exception During the detection process, it can be judged whether it is a palm image.
  • the guiding method can be a visual guiding method or a sound guiding method.
  • FIG. 2 shows that a user interface (UI) is used to guide the user in order to capture a corresponding palm image.
  • UI user interface
  • the user can move the palm so that the palm is in the hand shape prompt area.
  • dots may be used as a characteristic feature of the position of the palm.
  • the captured image when the captured image is identified as being not a palm image, the captured image may not be processed, and corresponding prompt information may also be given.
  • relevant guiding information may appear in the palm display area, such as a circle as shown in FIG. 3 . It is also possible to move the palm in the plane direction (XY direction) of the display screen, so that the characterization feature of the palm is located in the circle or the palm image is located in the hand type prompt area, and the Z direction ( (perpendicular to the XY direction) movement guide to position the palm in the proper entry area.
  • the region of interest (ROI) of the captured palm image can also be extracted to filter the palm image through the features of the region of interest.
  • ROI region of interest
  • the screening by the overall image of the palm image or other region images can also be performed in a corresponding manner, so the term "region of interest” mentioned below image” can be replaced by the term "palm image”.
  • screening palm images that meet the preset conditions includes: extracting the region of interest of the captured palm image (when filtering through the palm image, this step can be omitted).
  • step S304 the image vector data of the region of interest is obtained.
  • step S306 the image vector data of the region of interest is compared with the user feature template, and through the comparison, user data with higher similarity can be selected from the user feature template.
  • the specific acquisition method, comparison and calculation method of the image vector data please refer to the above description.
  • the image vector data obtained in step S304 can be compared with the vector data of the user feature template, and when the comparison result is greater than the threshold U2, the similarity is considered to be high, so that one or more user feature templates can be selected by comparison .
  • the comparison speed of the image vector data is very fast, firstly, the user data with high similarity can be quickly screened out from the user feature template through the vector comparison.
  • palm vein characteristic data of the captured palm image may be extracted.
  • the extraction method can refer to the relevant description of the creation method.
  • the user may be authenticated by comparing the palm vein characteristic data with one or more selected user characteristic templates. If the alignment structure is greater than the threshold U3, the alignment is considered successful.
  • corresponding user feature templates can be screened out first by vector data comparison, and then user authentication is performed by palm vein feature data, which will greatly increase the authentication speed.
  • the method of photographing and guiding the palm is the same as the modeling method
  • the method of extracting vector data is the same as the modeling method
  • the method of extracting palm vein feature data is the same as the modeling method, etc. For these The content will not be repeated here.
  • FIGS. 7 to 8 show diagrams of apparatus examples using hardware implementations of a processing system.
  • the device may include corresponding modules for executing each or several steps in the above flow chart. Therefore, each step or several steps in the above flowcharts may be performed by corresponding modules, and the apparatus may include one or more of these modules.
  • a module may be one or more hardware modules specifically configured to perform the corresponding steps, or be implemented by a processor configured to perform the corresponding steps, or be stored in a computer-readable medium for implementation by the processor, or be implemented by a some combination to achieve.
  • the hardware structure can be implemented using a bus architecture.
  • the bus architecture can include any number of interconnecting buses and bridges, depending on the specific application of the hardware and the overall design constraints.
  • the bus 1100 connects together various circuits including one or more processors 1200, memory 1300 and/or hardware modules.
  • the bus 1100 may also connect various other circuits 1400 such as peripherals, voltage regulators, power management circuits, external antennas, and the like.
  • the bus 1100 may be an Industry Standard Architecture (ISA, Industry Standard Architecture) bus, a Peripheral Component Interconnect (PCI, Peripheral Component) bus, or an Extended Industry Standard Architecture (EISA, Extended Industry Standard Component) bus, etc.
  • ISA Industry Standard Architecture
  • PCI Peripheral Component Interconnect
  • EISA Extended Industry Standard Component
  • the bus can be divided into address bus, data bus, control bus and so on. For ease of representation, only one connection line is used in this figure, but it does not mean that there is only one bus or one type of bus.
  • any process or method descriptions in flowcharts or otherwise described herein may be understood to represent modules, segments or portions of code comprising one or more executable instructions for implementing specific logical functions or steps of the process , and the scope of preferred embodiments of the present disclosure includes additional implementations in which functions may be performed out of the order shown or discussed, including substantially concurrently or in reverse order depending on the functions involved, which shall It is understood by those skilled in the art to which the embodiments of the present disclosure belong.
  • the processor executes the various methods and processes described above.
  • method embodiments in the present disclosure may be implemented as a software program tangibly embodied on a machine-readable medium, such as memory.
  • part or all of the software program may be loaded and/or installed via memory and/or a communication interface.
  • One or more steps in the methods described above may be performed when a software program is loaded into memory and executed by a processor.
  • the processor may be configured to perform one of the above-mentioned methods in any other suitable manner (for example, by means of firmware).
  • a "readable storage medium” may be any device that can contain, store, communicate, propagate or transmit programs for instruction execution systems, devices or devices or use in conjunction with these instruction execution systems, devices or devices. More specific examples (non-exhaustive list) of readable storage media include the following: electrical connection with one or more wires (electronic device), portable computer disk case (magnetic device), random access memory (RAM), Read Only Memory (ROM), Erasable and Editable Read Only Memory (EPROM or Flash Memory), Fiber Optic Devices, and Portable Read Only Memory (CDROM).
  • the readable storage medium may even be paper or other suitable medium on which the program can be printed, since the program can be scanned, for example, by optical scanning of the paper or other medium, followed by editing, interpretation or other suitable means if necessary. processing to obtain programs electronically and store them in memory.
  • various parts of the present disclosure may be realized by hardware, software or a combination thereof.
  • various steps or methods may be implemented by software stored in memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if implemented in hardware, as in another embodiment, it can be implemented by any one or combination of the following techniques known in the art: Discrete logic circuits, ASICs with suitable combinational logic gates, programmable gate arrays (PGAs), field programmable gate arrays (FPGAs), etc.
  • each functional unit in each embodiment of the present disclosure may be integrated into one processing module, each unit may exist separately physically, or two or more units may be integrated into one module.
  • the above-mentioned integrated modules can be implemented in the form of hardware or in the form of software function modules. If the integrated modules are realized in the form of software function modules and sold or used as independent products, they can also be stored in a readable storage medium.
  • the storage medium may be a read-only memory, a magnetic disk or an optical disk, and the like.
  • a palm vein non-contact three-dimensional modeling device 1000 is shown.
  • the 3D modeling device 1000 may include an image capturing device 1002 , a screening device 1004 , a feature extraction device 1006 , a first feature template generating device 1008 and a user feature template generating device 1010 .
  • the image capture device 1002 captures palm images at M different positions, and more than one palm image is captured at each different position, where the different positions are different positions of the palm relative to the camera, where M>1.
  • the screening device 1004 screens the screened palm images that meet the preset conditions from the captured palm images, wherein there are more than one screened palm images for each position, and the number of screened palm images for each position is less than or equal to The number of captured palm images corresponding to the location.
  • the feature extraction means 1006 extracts palm vein feature data from the screened palm images.
  • the first feature template generating means 1008 performs feature fusion on the palm vein feature data extracted from each screened palm image to form a first feature template.
  • the user feature template generating means 1010 is configured to form a user feature template based on the one first feature template.
  • FIG. 8 shows an authentication device 2000 according to an embodiment of the present disclosure.
  • the authentication device 2000 may include an image capture device 2002 , a vector data extraction device 2004 , a comparison device 2006 , a palm vein feature extraction device 2008 and an authentication device 2010 .
  • the same device in the authentication device 2000 and the three-dimensional modeling device 1000 may use the same module.
  • the image capture device 2002 may first detect and capture a palm image.
  • the vector data extraction means 2004 obtains the image vector data of the region of interest.
  • the comparison means 2006 compares the image vector data of the region of interest with the user feature templates, and through the comparison, user data with higher similarity can be selected from the user feature templates.
  • Palm vein feature extraction means 2008 can extract palm vein feature data from the captured palm image.
  • the authentication device 2010 can authenticate the user by comparing the palm vein characteristic data with the user characteristic template.
  • the present disclosure also provides an electronic device, including: a memory, the memory stores execution instructions; and a processor or other hardware modules, the processor or other hardware modules execute the execution instructions stored in the memory, so that the processor or other hardware modules execute the above-mentioned method.
  • the present disclosure also provides a readable storage medium, wherein execution instructions are stored in the readable storage medium, and the execution instructions are used to implement the above method when executed by a processor.

Abstract

本公开提供一种掌静脉非接触式三维建模方法，其特征在于，包括：拍摄M个不同的位置处的手掌图像，并且每个不同位置处所拍摄的手掌图像为1张以上，不同位置为手掌相对于摄像装置的位置，其中M＞1；从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像，其中每个位置的筛选手掌图像为1张以上，每个位置的筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量；从筛选手掌图像中提取掌静脉特征数据；将从各个筛选手掌图像中提取的掌静脉特征数据进行特征融合以形成一个第一特征模板；以及基于一个第一特征模板来形成用户特征模板。本公开还提供一种认证方法、装置及电子设备。

Description

掌静脉非接触式三维建模方法、装置及认证方法 技术领域
本公开涉及一种掌静脉非接触式三维建模方法、认证方法、及装置、电子设备。
背景技术
利用指纹、脸部、虹膜、静脉等人类生物特性的识别系统开发了很多装置和方法，广泛使用。最近，随着新冠病毒的传播，个人卫生的加强，通过对公共设备的接触，他人的飞沫(唾液)传播的接触式生物认证方式逐渐成为回避对象。代表性的接触式认证方式是指纹及静脉相关设备。他们为了确保认证性能，需要在特定距离拍摄高质量的图像，因此存在这样的局限性。
现有的指静脉/掌静脉识别装置建议为了获得正确的图像，进行接触式引导，并对产品明示。另外，通过专利将多种形态的引导形态或放置方式描述为主要要素，受到保护。
为了通过生物识别的最大化识别性能，高质量的均衡图像是最重要的要素。之前的生物识别方式之一的指纹识别存在获取的图像分辨率(DPI)和即便、均匀度等图像质量相关的FBI/GA等国际标准。在人脸识别方面，有通过ISO/IEC 19794-5 Amendment 1(Face Image Data on Conditions for Taking Pictures)获得标准化图像的方案。
用于生物识别的图像采集的这种标准化具有设备之间的兼容性问题之类的原因，但是最大的原因还是识别/认证性能。指静脉/掌静脉设备虽然没有指纹/人脸等图像标准，但是每个设备制造商都试图通过将手指/手掌放在固定位置一定距离处，根据自己的标准来获得尽可能高的分辨率和照明均匀度的图像。这是因为用于特征点提取和认证的图像处理/模式识别算法针对相应的分辨率进行了优化，并且只有在手指或手掌处于相应位置时才能实现最佳性能。
近来，掌静脉设备已经被推广为非接触式，但是当前的非接触式方法不是针对非接触式的新开发技术，而是一种仅使用现有技术中开发的算法，只去除了引导支架的形式而已。换句话说，尽管这是一种非接触 式方法，但意味着仅当手靠近其在引导支架的位置时，才能显示出正确的识别性能，而在其他情况下，该性能会急剧下降。
发明内容
为了解决上述技术问题中的至少一个，本公开提供了一种掌静脉非接触式三维建模方法、认证方法、装置、电子设备及可读存储介质。
根据本公开的一个方面，一种掌静脉非接触式三维建模方法，包括：拍摄M个不同位置处的手掌图像，并且每个不同位置处所拍摄的手掌图像为1张以上，所述不同位置为手掌相对于摄像装置的不同位置，其中M＞1；从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像，其中每个位置的所述筛选手掌图像为1张以上，且每个位置的所述筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量；从所述筛选手掌图像中提取掌静脉特征数据；将从各个筛选手掌图像中提取的所述掌静脉特征数据进行特征融合以形成一个第一特征模板；及基于所述一个第一特征模板来形成用户特征模板。
根据本公开的至少一个实施方式，还包括获得每个位置的所述筛选手掌图像的最优向量数据，其中，从每个位置的所述筛选手掌图像中获得最优筛选手掌图像，并且基于所述最优筛选手掌图像来获得每个位置的所述最优向量数据；或者从每个位置的所述筛选手掌图像的所述掌静脉特征数据获得最优掌静脉特征数据，并且基于所述最优掌静脉特征数据来获得每个位置的所述最优向量数据，以及
在基于所述一个第一特征模板来形成用户特征模板，将所述一个第一特征模板与每个位置的所述最优向量数据进行融合，以形成所述用户特征模板。
根据本公开的至少一个实施方式，筛选满足预设条件的所述筛选手掌图像包括：提取拍摄的手掌图像的感兴趣区域；得到所述感兴趣区域的图像向量数据；以及将各手掌图像的图像向量数据进行比对，以筛选满足预设条件的所述筛选手掌图像。
根据本公开的至少一个实施方式，在对拍摄的手掌图像的图像向量数据进行比对的过程中，将各手掌图像进行两两比对以筛选出不同位置的高相似度的手掌图像，其中如果两张手掌图像的比对阈值大于预设阈值，则认为两张手掌图像的相似度高。
根据本公开的至少一个实施方式，获取所述感兴趣区域的所述图 像向量数据包括：将所述感兴趣区域的图像划分为m个局部区域，并且计算像素的梯度信息的梯度幅值d和梯度角度θ，来得到图像向量数据，梯度幅值d和梯度角度θ的计算公式如下：
dx＝I(x+1,y)-I(x-1,y)
dy＝I(x,y+1)-I(x,y-1)
Figure PCTCN2021116230-appb-000001
θ＝arctan(dy/dx)
I(x+1,y)、I(x-1,y)I(x-1,y)分别表示水平方向相邻位置(x+1,y)和(x-1,y)的像素点的灰度值；I(x,y+1)、I(x,y-1)分别表示竖直方向相邻位置(x,y+1)和(x,y-1)的像素点的灰度值；其中，图像向量的表达式为vector＝[w 1,w 2,…,w m]；其中特征向量w的计算公式为
Figure PCTCN2021116230-appb-000002
d k,j、θ k,j为第k区域的第j像素的梯度幅值d和梯度角度θ，
Figure PCTCN2021116230-appb-000003
为梯度直方图统计函数，1≤k≤m，n为第k区域的像素数量。
根据本公开的至少一个实施方式，从所述筛选手掌图像中提取所述掌静脉特征数据包括：获取所述筛选手掌图像的关键特征点，其中所述关键特征点不随手掌尺度、手掌旋转和偏移、手掌图像亮度变化而变化，其中使用设计的模糊核函数，计算搜索筛选手掌图像在不同高斯尺度空间中的响应图，相减得到高斯差分图像，然后在位置空间和尺度空间中定位稳定的极值点；以及对于所述关键特征点，建立描述子，其中，所述关键特征点为稳定特征点，所述描述子为稳定特征数据，在极点所在的高斯尺度空间中，以极值点为原点，使用直方图统计邻域内像素的梯度和方向，形成收缩描述子。
根据本公开的至少一个实施方式，在形成第一特征模板时，对所述稳定特征点进行立体匹配，获取匹配成功的关键点，所述立体匹配包括：将匹配图像的稳定特征点的描述子进行匹配，对匹配成功的稳定特征点进行透视变换，转换到同一坐标系中，在该坐标系下进行稳定特征点匹配，保证匹配的整体一致性的同时，剔除不稳定的特征点；以及融合匹配成功的关键点，形成最优融合特征点，所述最优融合特征点构成第一特征模板，其中在使用所述最优融合特征点进行比对时，不会受手掌大小、位置、角度、倾斜度及掌型的影响。
根据本公开的至少一个实施上任一项所述的三维建模方法建立的用户特征模板进行认证的认证方法，包括：获取待认证用户的手掌图像的用户图像向量数据和用户掌静脉特征数据；将所述用户图像向量数据与用户特征模板的数据进行比对，以筛选出相似度高的用户特征模板；以及将所述用户掌静脉特征数据与所筛选的相似度高的用户特征模板的数据进行比对，以确定待认证用户。
根据本公开的再一方面，一种掌静脉非接触式三维建模装置，包括：图像拍摄装置，拍摄M个不同位置处的手掌图像，并且每个不同位置处所拍摄的手掌图像为1张以上，所述不同位置为手掌相对于摄像装置的不同位置，其中M＞1；筛选装置，从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像，其中每个位置的所述筛选手掌图像为1张以上，且每个位置的所述筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量；特征提取装置，从所述筛选手掌图像中提取掌静脉特征数据；第一特征模板生成装置，将从各个筛选手掌图像中提取的所述掌静脉特征数据进行特征融合以形成一个第一特征模板；以及用户特征模板生成装置，基于所述一个第一特征模板来形成用户特征模板。
根据本公开的又一方面，一种电子设备，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行如上任一项所述的方法。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是根据本公开的一个实施方式的掌静脉非接触式三维建模方法流程图。
图2是根据本公开的一个实施方式的图像拍摄示意图。
图3是根据本公开的一个实施方式的图像拍摄示意图。
图4是根据本公开的一个实施方式的拍摄图像示意图。
图5是根据本公开的一个实施方式的掌静脉非接触式三维建模方法流程图。
图6是根据本公开的又一个实施方式的认证方法流程图。
图7是根据本公开的一个实施方式的非接触式掌静脉三维建模装置结构示意图。
图8是根据本公开的一个实施方式的非接触式掌静脉认证装置结构示意图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
根据本公开的一个实施方式，提供了一种掌静脉非接触式三维建模方法。
图1示出了根据本公开的一个实施例的静脉非接触式三维建模方法100。
在步骤S102中，拍摄M个不同位置处的手掌图像，并且每个不同位置处所拍摄的手掌图像为1张以上，所述不同位置为手掌相对于摄像装置的不同位置，其中M＞1。
在该步骤中，拍摄用户的手掌在两个以上不同位置的图像，其中对于每个位置所拍摄的图像可以为一张也可以为更多张，优选地，在本公开中对于每个位置拍摄两张以上的图像。在本公开中，需要获取至少两个不同位置的手掌图像。
在对手掌的图像进行拍摄的过程中，可以引导用户将手掌放置至合适的位置。引导方式可以为视觉引导方式，也可以为声音引导方式。
例如在图2中示出了通过用户界面(UI)方式来对用户进行引导，以便拍摄相应的手掌图像。例如用户可以移动手掌使得手掌处于手型提示区域中。例如图2所示，可以通过圆点来作为手掌的位置的表征特征。
此外，在拍摄的图像识别为不是手掌图像时，可以对所拍摄的图像不进行处理，另外也可以给出相应的提示信息。
当检测到手掌图像时，手掌显示区域可以出现相关引导信息，例如如图3所示的圆圈。也可以在显示屏的平面方向(XY方向)来移动手掌，使得手掌的表征特征位于圆圈中或者手掌图像位于手型提示区域中，并且根据图3左侧的提示条来对手掌进行Z方向(垂直于XY 方向)移动的引导，从而将手掌定位到合适的录入区域中。
对于位置正确的手掌图像进行拍摄，并且记录当前手掌图像的位置信息和时间信息。在本公开中，位置信息优选地为距离信息(手掌与拍摄装置之间的距离)，当然其也可以为角度位置信息等。
在图4中示出了在三个不同位置进行手掌图像拍摄的示意图。
在步骤S104中，从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像，其中每个位置的筛选手掌图像为1张以上，且每个位置的筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量。
根据本公开的一个实施例，筛选满足预设条件的筛选手掌图像时可以通过得到手掌图像的整体图像来通过整体图像的特征进行筛选手掌图像的筛选。另外在本公开的一个优选实施例中，也可以提取拍摄的手掌图像的感兴趣区域(ROI)，来通过感兴趣区域的特征来进行筛选手掌图像的筛选。
下面将以感兴趣区域的方式来进行详细的说明，但是需要注意的是，通过手掌图像的整体图像或其他区域图像来进行筛选也可以采用相应的方式，因此下面提及的术语“感兴趣区域图像”可以替换为术语“手掌图像”。
例如，以感兴趣区域为例进行说明，在该方式的情况下，筛选满足预设条件的筛选手掌图像包括：提取拍摄的手掌图像的感兴趣区域(在通过手掌图像进行筛选时，此步骤可以省略)；得到感兴趣区域的图像向量数据；以及将各手掌图像的图像向量数据进行比对，以筛选满足预设条件的筛选手掌图像。
在对拍摄的手掌图像的图像向量数据进行比对的过程中，将各手掌图像进行两两比对以筛选出不同位置的高相似度的手掌图像，其中如果两张手掌图像的比对阈值大于预设阈值，则认为两张手掌图像的相似度高。
在对正确的手掌图像进行感兴趣区域提取之后，获取感兴趣区域的图像向量数据。
在图像向量数据的过程中，将感兴趣区域图像划分为m个局部区域，并且计算像素的梯度信息的梯度幅值d和梯度角度θ，来得到图像向量数据。
梯度幅值d和梯度角度θ的计算公式如下：
dx＝I(x+1,y)-I(x-1,y)
dy＝I(x,y+1)-I(x,y-1)
Figure PCTCN2021116230-appb-000004
θ＝arctan(dy/dx)
I(x+1,y)、I(x-1,y)分别表示水平方向相邻位置(x+1,y)和(x-1,y)的像素点的灰度值；I(x,y+1)、I(x,y-1)分别表示竖直方向相邻位置(x,y+1)和(x,y-1)的像素点的灰度值；其中，图像向量的表达式为vector＝[w 1,w 2,…,w m]；其中特征向量w的计算公式为
Figure PCTCN2021116230-appb-000005
d k,j、θ k,j为第k区域的第j像素的梯度幅值d和梯度角度θ，
Figure PCTCN2021116230-appb-000006
为梯度直方图统计函数，1≤k≤m，n为第k区域的像素数量。
另外，还可以根据得到的手掌图像的位置信息，确保得到M个不同位置的手掌图像。并且根据得到的手掌图像的时间信息，来确保每个位置获得的手掌图像为N张，其中N≥1，优选地可以为两张以上。当距离条件不满足M时和/或每个位置所采集的手掌图像的数量不满足N时，则需要不断采集或者重新采集。
将各手掌图像的图像向量数据进行比对，以筛选满足预设条件的筛选手掌图像。具体地，将每个感兴趣区域图像的向量进行两两对比，获取高相似度的感兴趣区域图像，高相似度的感兴趣区域图像是指感兴趣区域图像的向量相似度计算值大于阈值U1。最终获取一个以上的高相似度的手掌图像，优选地，高相似度的手掌图像的数量为K，其中1≤K≤N。
作为一个示例，例如可以将一个位置的一个手掌图像与该位置的手掌图像分别进行对比并且分别得到该一个手掌图像的相似度值，和/或与其他位置的手掌图像也进行对比，也得到该一个手掌图像的相似度值，然后将该一个手掌图像的相似度值进行相加，得到该一个手掌图像的总相似度值，并且对于其他手掌图像也进行相同处理。最终将会得到每个手掌图像的总相似度值，并且比较每个手掌图像的总相似度值，选择每个距离的总相似度值最高或者大于阈值U1的手掌图像来作为每个距离的筛选手掌图像。
作为其他示例，向量相似度计算方法，包括L1范数、L2范数、Hamming距离或余弦距离其中至少一项。L2范数计算表达式如下：
Figure PCTCN2021116230-appb-000007
X、Y分别表示两个向量。
另外，根据本公开的方法还可以包括确保获取M个不同位置的手掌图像，并且每个位置的筛选手掌图像的数量为K，如果不满足M时和/或每个位置的数量不满足K时，则需要重新采集，并且重复上面的步骤。
通过筛选手掌图像的筛选过程，可以保留相似度高的手掌图像，并且剔除相似度低的手掌图像。另外，对于每个不同位置，保留的相似度高的手掌图像的数量可以大于等于1。
在步骤S106中，从得到的筛选手掌图像中提取掌静脉特征数据。从筛选手掌图像中提取掌静脉特征数据包括：获取筛选手掌图像的关键特征点，其中关键特征点不随手掌尺度、手掌旋转和偏移、手掌图像亮度变化而变化，其中使用设计的模糊核函数，计算搜索筛选手掌图像在不同高斯尺度空间中的响应图，相减得到高斯差分图像，然后在位置空间和尺度空间中定位稳定的极值点；以及对于关键特征点，建立描述子，其中，关键特征点为稳定特征点，描述子为稳定特征数据，在极点所在的高斯尺度空间中，以极值点为原点，使用直方图统计邻域内像素的梯度和方向，形成描述子。
获取筛选手掌图像的关键特征点，包括：使用设计的模糊核函数，计算所述最优图像在不同高斯尺度空间中的响应图，相减得到高斯差分图像，然后在位置空间和尺度空间中定位稳定的极值点，其中图像高斯差分数学表达为：
Figure PCTCN2021116230-appb-000008
其中，对于关键特征点，建立描述子，包括：以极值点为原点，使用直方图统计邻域内像素的梯度和方向，形成描述子。
在步骤S108中，将从各个筛选手掌图像中提取的掌静脉特征数据进行特征融合以形成一个第一特征模板。其中需要注意的是，该第一特征模板为通过不同位置的特征所一个三维特征模板。
在形成第一特征模板时，对稳定特征点进行立体匹配，获取匹配成功的关键点，立体匹配包括：将匹配图像的稳定特征点的描述子进行匹配，对匹配成功的稳定特征点进行透视变换，转换到同一坐标系中，在该坐标系下进行稳定特征点匹配，保证匹配的整体一致性的同时，剔除不稳定的特征点；以及融合匹配成功的关键点，形成最优融 合特征点，最优融合特征点构成第一特征模板，其中在使用最优融合特征点进行比对时，不会受手掌大小、位置、角度、倾斜度及掌型的影响。稳定特征点的稳定性表达式为：
Figure PCTCN2021116230-appb-000009
若f(p k)＞T：则点p k为稳定特征点，其中：图像深度等级为N，γ i为不同深度图像的比例系数。参数说明：pos＝[x，y]，w＝[w 1，...，w n]，p k∈{ p1，...，p m}，T为0.6，T的范围为0-1。
在步骤S110中，基于一个第一特征模板来形成用户特征模板。
作为一个示例，在步骤S110中，可以基于一个第一特征模板与不同距离的最优筛选手掌图像的最优向量数据进行融合来形成用户特征模板。
在一个实施例中，该最优筛选手掌图像可以选自筛选手掌图像中，其中具体选择方式可以采用与上面描述的相似度的计算方式相同的方式，在此不再赘述。得到每个位置处的相似度最高的筛选手掌图像作为最优筛选手掌图像，并且将每个位置处的最优筛选手掌图像的向量数据作为该位置出的最优向量数据。
在另一个实施例中，可以从每个位置的筛选手掌图像的掌静脉特征数据获得最优掌静脉特征数据，并且基于最优掌静脉特征数据来获得每个位置的最优向量数据。
图5示出了根据本公开的一个实施例的掌静脉非接触式三维建模方法200的具体实施方式。其中该实施方式的具体内容可以参照上面的描述。
在三维建模方法200中可以包括以下内容。
在步骤S202中，粗略引导用户将手掌放置在相应位置。在手掌放置到相应位置之后，在步骤S204中可以对手掌进行检测，以判断是否为手掌图像，如果不是手掌图像，则可以提示用户等。
在步骤S206中，可以精确引导用户进行手掌放置，例如可以参见关于图2和图3的相关描述。在步骤S208中，可以对手掌图像进行拍摄。在步骤S210中，可以提取所拍摄的手掌图像中的感兴趣区域(如果不是基于感兴趣区域来进行操作，则可以省略该步骤)。
在步骤S212中，可以从感兴趣区域得到图像的向量数据，其中具体方式可以参照之上的描述。在步骤S214中，可以判断是否至少采集了M个不同位置的图像并且每个位置的图像的数量是否大于N，如果 符合则进入步骤S216，如果不符合则返回步骤S208。
在步骤S216中，可以获取最优向量数据，并且具体获取方式可以参照上面的描述。在步骤S218中，可以判断是否至少采集了M个不同位置的图像并且每个位置的筛选手掌图像的数量是否大于K，如果符合则进入步骤S220，如果不符合则返回步骤S208。
在步骤S220中，可以从筛选手掌图像中提取掌静脉特征数据。并且在步骤S222中，可以形成一个第一特征模板。并且在步骤S224中，对形成的第一特征模板进行核验，如果不成功，则重新采集。在步骤S226中，基于一个第一特征模板来形成用户特征模板。并且步骤S228中，对用户特征模板进行核验，核验成功则表示建模成功，如果不成功则重新创建。
根据本公开的另一实施方式，还提供了一种使用三维建模方法建立的用户特征模板进行认证的认证方法。其中该方法可以包括获取待认证用户的手掌图像的用户图像向量数据和用户掌静脉特征数据；将所述用户图像向量数据与用户特征模板的数据进行比对，以筛选出相似度高的用户特征模板；以及将所述用户掌静脉特征数据与所筛选的相似度高的用户特征模板的数据进行比对，以确定待认证用户。
图6示出了根据本公开的一个实施方式的认证方法300。在认证方法300中，在步骤S302中，可以首先检测和拍摄手掌图像。例外在检测的过程中，可以判断是否为手掌图像。在引导的过程中，可以引导用户将手掌放置至合适的位置。引导方式可以为视觉引导方式，也可以为声音引导方式。例如在图2中示出了通过用户界面(UI)方式来对用户进行引导，以便拍摄相应的手掌图像。例如用户可以移动手掌使得手掌处于手型提示区域中。例如图2所示，可以通过圆点来作为手掌的位置的表征特征。此外，在拍摄的图像识别为不是手掌图像时，可以对所拍摄的图像不进行处理，另外也可以给出相应的提示信息。当检测到手掌图像时，手掌显示区域可以出现相关引导信息，例如如图3所示的圆圈。也可以在显示屏的平面方向(XY方向)来移动手掌，使得手掌的表征特征位于圆圈中或者手掌图像位于手型提示区域中，并且根据图3左侧的提示条来对手掌进行Z方向(垂直于XY方向)移动的引导，从而将手掌定位到合适的录入区域中。
另外在本公开的一个优选实施例中，也可以提取拍摄的手掌图像的感兴趣区域(ROI)，来通过感兴趣区域的特征来进行筛选手掌图像 的筛选。下面将以感兴趣区域的方式来进行详细的说明，但是需要注意的是，通过手掌图像的整体图像或其他区域图像来进行筛选也可以采用相应的方式，因此下面提及的术语“感兴趣区域图像”可以替换为术语“手掌图像”。
例如，以感兴趣区域为例进行说明，在该方式的情况下，筛选满足预设条件的筛选手掌图像包括：提取拍摄的手掌图像的感兴趣区域(在通过手掌图像进行筛选时，此步骤可以省略)。
在步骤S304中，得到感兴趣区域的图像向量数据。在步骤S306中，将感兴趣区域的图像向量数据与用户特征模板进行比对，通过比对，可以从用户特征模板中选择出相似度较高的用户数据。其中图像向量数据的具体获得方式和比对和计算方式可以参照上面的描述。
例如可以将步骤S304获得的图像向量数据与用户特征模板的向量数据进行比对，当比对结果大于阈值U2时，则认为相似度较高，这样通过比对可以选择一个或多个用户特征模板。
由于图像向量数据的比对速度很快，因此，首先通过向量比对可以很快地从用户特征模板中筛选出相似度较高的用户数据。
在步骤S306中，可以提取拍摄的手掌图像的掌静脉特征数据。其中提取方式可以参照创建方法的相关描述。在步骤S310中，可以通过掌静脉特征数据与选择的一个或多个用户特征模板的比对来对用户进行认证。如果比对结构大于阈值U3则认为比对成功。
因此根据本公开的认证方法，可以首先通过向量数据比对来筛选出相应的用户特征模板，然后在通过掌静脉特征数据进行用户认证，这样将会极大地增加认证速度。
需要注意的是，在认证方法中，拍摄及引导手掌的方式与建模方法相同，提取向量数据的方式与建模方法相同，提取掌静脉特征数据的方式与建模方法相同等等，对于这些内容，在此将不再赘述。
图7至8示出了采用处理系统的硬件实现方式的装置示例图。
该装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其它电路1400连接。
总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)， 便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。
应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。
此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
在图7中，示出了一种掌静脉非接触式三维建模装置1000。其中该三维建模装置1000可以包括图像拍摄装置1002、筛选装置1004、特征提取装置1006、第一特征模板生成装置1008和用户特征模板生成装置1010。
图像拍摄装置1002拍摄M个不同位置处的手掌图像，并且每个不同位置处所拍摄的手掌图像为1张以上，所述不同位置为手掌相对于摄像装置的不同位置，其中M＞1。
筛选装置1004从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像，其中每个位置的所述筛选手掌图像为1张以上，且每个位置的所述筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的 数量。
特征提取装置1006，从所述筛选手掌图像中提取掌静脉特征数据。
第一特征模板生成装置1008，将从各个筛选手掌图像中提取的所述掌静脉特征数据进行特征融合以形成一个第一特征模板。
用户特征模板生成装置1010，基于所述一个第一特征模板来形成用户特征模板。
其中各个装置具体的实现方式可以参照上述三维建模方法中的相关描述。
图8示出了根据本公开的一个实施方式的认证装置2000。其中该认证装置2000可以包括图像拍摄装置2002、向量数据提取装置2004、比对装置2006、掌静脉特征提取装置2008和认证装置2010。其中认证装置2000中与三维建模装置1000中相同的装置可以采用同一个模块。
图像拍摄装置2002可以首先检测和拍摄手掌图像。向量数据提取装置2004得到感兴趣区域的图像向量数据。比对装置2006将感兴趣区域的图像向量数据与用户特征模板进行比对，通过比对，可以从用户特征模板中选择出相似度较高的用户数据。掌静脉特征提取装置2008可以提取拍摄的手掌图像的掌静脉特征数据。认证装置2010可以通过掌静脉特征数据与用户特征模板的比对来对用户进行认证。此外，对于认证装置2000的具体内容可以参照上述的认证方法中的具体内容。
本公开还提供了一种电子设备，包括：存储器，存储器存储执行指令；以及处理器或其他硬件模块，处理器或其他硬件模块执行存储器存储的执行指令，使得处理器或其他硬件模块执行上述的方法。
本公开还提供了一种可读存储介质，可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的方法。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (10)

  1. 一种掌静脉非接触式三维建模方法，其特征在于，包括：
    拍摄M个不同位置处的手掌图像，并且每个不同位置处所拍摄的手掌图像为1张以上，所述不同位置为手掌相对于摄像装置的不同位置，其中M＞1；
    从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像，其中每个位置的所述筛选手掌图像为1张以上，且每个位置的所述筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量；
    从所述筛选手掌图像中提取掌静脉特征数据；
    将从各个筛选手掌图像中提取的所述掌静脉特征数据进行特征融合以形成一个第一特征模板；以及
    基于所述一个第一特征模板来形成用户特征模板。
  2. 如权利要求1所述的三维建模方法，其特征在于，还包括获得每个位置的所述筛选手掌图像的最优向量数据，其中，从每个位置的所述筛选手掌图像中获得最优筛选手掌图像，并且基于所述最优筛选手掌图像来获得每个位置的所述最优向量数据；或者从每个位置的所述筛选手掌图像的所述掌静脉特征数据获得最优掌静脉特征数据，并且基于所述最优掌静脉特征数据来获得每个位置的所述最优向量数据，以及
    在基于所述一个第一特征模板来形成用户特征模板，将所述一个第一特征模板与每个位置的所述最优向量数据进行融合，以形成所述用户特征模板。
  3. 如权利要求1所述的三维建模方法，其特征在于，筛选满足预设条件的所述筛选手掌图像包括：
    提取拍摄的手掌图像的感兴趣区域；
    得到所述感兴趣区域的图像向量数据；以及
    将各手掌图像的图像向量数据进行比对，以筛选满足预设条件的所述筛选手掌图像。
  4. 如权利要求3所述的三维建模方法，其特征在于，在对拍摄的 手掌图像的图像向量数据进行比对的过程中，将各手掌图像进行两两比对以筛选出不同位置的高相似度的手掌图像，其中如果两张手掌图像的比对阈值大于预设阈值，则认为两张手掌图像的相似度高。
  5. 如权利要求3所述的三维建模方法，其特征在于，获取所述感兴趣区域的所述图像向量数据包括：将所述感兴趣区域的图像划分为m个局部区域，并且计算像素的梯度信息的梯度幅值d和梯度角度θ，来得到图像向量数据，
    梯度幅值d和梯度角度θ的计算公式如下：
    dx＝I(x+1,y)-I(x-1,y)
    dy＝I(x,y+1)-I(x,y-1)
    Figure PCTCN2021116230-appb-100001
    θ＝arctan(dy/dx)
    I(x+1,y)、I(x-1,y)I(x-1,y)分别表示水平方向相邻位置(x+1,y)和(x-1,y)的像素点的灰度值；I(x,y+1)、I(x,y-1)分别表示竖直方向相邻位置(x,y+1)和(x,y-1)的像素点的灰度值；其中，图像向量的表达式为vector＝[w 1,w 2,…,w m]；其中特征向量w的计算公式为
    Figure PCTCN2021116230-appb-100002
    d k,j、θ k,j为第k区域的第j像素的梯度幅值d和梯度角度θ，
    Figure PCTCN2021116230-appb-100003
    为梯度直方图统计函数，1≤k≤m，n为第k区域的像素数量。
  6. 如权利要求1所述的三维建模方法，其特征在于，从所述筛选手掌图像中提取所述掌静脉特征数据包括：
    获取所述筛选手掌图像的关键特征点，其中所述关键特征点不随手掌尺度、手掌旋转和偏移、手掌图像亮度变化而变化，其中使用设计的模糊核函数，计算搜索筛选手掌图像在不同高斯尺度空间中的响应图，相减得到高斯差分图像，然后在位置空间和尺度空间中定位稳定的极值点；以及
    对于所述关键特征点，建立描述子，其中，所述关键特征点为稳定特征点，所述描述子为稳定特征数据，在极点所在的高斯尺度空间中，以极值点为原点，使用直方图统计邻域内像素的梯度和方向，形成描述子。
  7. 如权利要求6所述的三维建模方法，其特征在于，在形成第一特征模板时，对所述稳定特征点进行立体匹配，获取匹配成功的关键点，所述立体匹配包括：将匹配图像的稳定特征点的描述子进行匹配，对匹配成功的稳定特征点进行透视变换，转换到同一坐标系中，在该坐标系下进行稳定特征点匹配，保证匹配的整体一致性的同时，剔除不稳定的特征点；以及融合匹配成功的关键点，形成最优融合特征点，所述最优融合特征点构成第一特征模板，其中在使用所述最优融合特征点进行比对时，不会受手掌大小、位置、角度、倾斜度及掌型的影响。
  8. 一种使用如权利要求1至7中任一项所述的三维建模方法建立的用户特征模板进行认证的认证方法，其特征在于，包括：
    获取待认证用户的手掌图像的用户图像向量数据和用户掌静脉特征数据；
    将所述用户图像向量数据与用户特征模板的数据进行比对，以筛选出相似度高的用户特征模板；以及
    将所述用户掌静脉特征数据与所筛选的相似度高的用户特征模板的数据进行比对，以确定待认证用户。
  9. 一种掌静脉非接触式三维建模装置，其特征在于，包括：
    图像拍摄装置，拍摄M个不同位置处的手掌图像，并且每个不同位置处所拍摄的手掌图像为1张以上，所述不同位置为手掌相对于摄像装置的不同位置，其中M＞1；
    筛选装置，从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像，其中每个位置的所述筛选手掌图像为1张以上，且每个位置的所述筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量；
    特征提取装置，从所述筛选手掌图像中提取掌静脉特征数据；
    第一特征模板生成装置，将从各个筛选手掌图像中提取的所述掌静脉特征数据进行特征融合以形成一个第一特征模板；以及
    用户特征模板生成装置，基于所述一个第一特征模板来形成用户特征模板。
  10. 一种电子设备，其特征在于，包括：
    存储器，所述存储器存储执行指令；以及
    处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行如权利要求1至8中任一项所述的方法。
PCT/CN2021/116230 2021-09-02 2021-09-02 掌静脉非接触式三维建模方法、装置及认证方法 WO2023028947A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/116230 WO2023028947A1 (zh) 2021-09-02 2021-09-02 掌静脉非接触式三维建模方法、装置及认证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/116230 WO2023028947A1 (zh) 2021-09-02 2021-09-02 掌静脉非接触式三维建模方法、装置及认证方法

Publications (1)

Publication Number Publication Date
WO2023028947A1 true WO2023028947A1 (zh) 2023-03-09

Family

ID=85410769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/116230 WO2023028947A1 (zh) 2021-09-02 2021-09-02 掌静脉非接触式三维建模方法、装置及认证方法

Country Status (1)

Country Link
WO (1) WO2023028947A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173813A (zh) * 2023-08-18 2023-12-05 鹿客科技(北京)股份有限公司 门锁电机组件控制方法、智能门锁和计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259328A1 (en) * 2012-03-27 2013-10-03 Fujitsu Limited Noncontact biometric identification device
CN106056040A (zh) * 2016-05-18 2016-10-26 深圳市源厚实业有限公司 一种掌静脉识别方法和装置
CN108875629A (zh) * 2018-06-14 2018-11-23 电子科技大学 基于多样本特征融合的掌静脉识别方法
CN111178256A (zh) * 2019-12-28 2020-05-19 广东智冠信息技术股份有限公司 一种掌静脉图像的三维识别认证方法、系统及装置
CN112183504A (zh) * 2020-11-27 2021-01-05 北京圣点云信息技术有限公司 一种基于非接触式手掌静脉图像的视频注册方法及装置
CN112528836A (zh) * 2020-12-08 2021-03-19 熵基科技股份有限公司 一种掌静脉信息采集方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259328A1 (en) * 2012-03-27 2013-10-03 Fujitsu Limited Noncontact biometric identification device
CN106056040A (zh) * 2016-05-18 2016-10-26 深圳市源厚实业有限公司 一种掌静脉识别方法和装置
CN108875629A (zh) * 2018-06-14 2018-11-23 电子科技大学 基于多样本特征融合的掌静脉识别方法
CN111178256A (zh) * 2019-12-28 2020-05-19 广东智冠信息技术股份有限公司 一种掌静脉图像的三维识别认证方法、系统及装置
CN112183504A (zh) * 2020-11-27 2021-01-05 北京圣点云信息技术有限公司 一种基于非接触式手掌静脉图像的视频注册方法及装置
CN112528836A (zh) * 2020-12-08 2021-03-19 熵基科技股份有限公司 一种掌静脉信息采集方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173813A (zh) * 2023-08-18 2023-12-05 鹿客科技(北京)股份有限公司 门锁电机组件控制方法、智能门锁和计算机可读介质

Similar Documents

Publication Publication Date Title
US11188734B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US10339362B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US11263432B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
AU2017370720B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN111144366A (zh) 一种基于联合人脸质量评估的陌生人脸聚类方法
US9449217B1 (en) Image authentication
EP2701096A2 (en) Image processing device and image processing method
Ilankumaran et al. Multi-biometric authentication system using finger vein and iris in cloud computing
WO2023028947A1 (zh) 掌静脉非接触式三维建模方法、装置及认证方法
Noh et al. Empirical study on touchless fingerprint recognition using a phone camera
KR102333453B1 (ko) 지문 및 얼굴 영상을 이용한 스마트폰 기반 신원확인 방법
US10984085B2 (en) Biometric recognition for uncontrolled acquisition environments
KR100564762B1 (ko) 지문 정보를 이용한 사용자 인증방법 및 그 장치
CN113673477A (zh) 掌静脉非接触式三维建模方法、装置及认证方法
KR101718244B1 (ko) 얼굴 인식을 위한 광각 영상 처리 장치 및 방법
KR102389066B1 (ko) 얼굴 인식을 위한 얼굴영상 생성 방법
KR102529513B1 (ko) 스마트폰을 이용한 신원확인 시스템
KR102318051B1 (ko) 사용자 인증 시스템에서 여백을 포함한 얼굴영역 이미지를 이용한 라이브니스 검사방법
WO2022110121A1 (en) Method for biometric analysis about a user of an electronic device