WO2017182004A1 - 用于移动终端虹膜识别的引导指示人机接口系统和方法 - Google Patents

用于移动终端虹膜识别的引导指示人机接口系统和方法 Download PDF

Info

Publication number
WO2017182004A1
WO2017182004A1 PCT/CN2017/081690 CN2017081690W WO2017182004A1 WO 2017182004 A1 WO2017182004 A1 WO 2017182004A1 CN 2017081690 W CN2017081690 W CN 2017081690W WO 2017182004 A1 WO2017182004 A1 WO 2017182004A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging module
visible light
optical
pixel
center
Prior art date
Application number
PCT/CN2017/081690
Other languages
English (en)
French (fr)
Inventor
沈洪泉
Original Assignee
苏州思源科安信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201610260196.7A external-priority patent/CN105956528A/zh
Application filed by 苏州思源科安信息技术有限公司 filed Critical 苏州思源科安信息技术有限公司
Priority to US16/314,097 priority Critical patent/US10819894B2/en
Publication of WO2017182004A1 publication Critical patent/WO2017182004A1/zh
Priority to PH12018502238A priority patent/PH12018502238A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the invention relates to the field of biometric opto-mechatronics, in particular to a guiding indication human-machine interface system and an interface method for iris recognition of a mobile terminal.
  • Mobile terminals include smart phones, tablets, wearable devices, etc.
  • mobile terminal devices are inevitably the most widely used devices in the future.
  • the conventional method for identity verification in the prior art is password input, but the means of identity verification is very low in security, and only a simple virus program needs to be implanted on the mobile terminal to leak the password. , causing corresponding losses.
  • the biometric identification method is used for mobile terminal security identity authentication; for example, the fingerprint recognition technology developed by Apple based on AuthenTec, which is applied to mobile phone terminals, greatly improves the mobile terminal.
  • Identity verification security since the fingerprint is static, although unique, it is extremely easy to obtain fingerprint information, even being copied, etc., so, with the fingerprint technology on the mobile terminal As the application becomes more and more extensive, its security will also decline accordingly.
  • iris recognition which is more advantageous in terms of security, is a very effective method to solve the security identity authentication process of mobile terminals, and the iris recognition system is existing.
  • the safe and secure anti-counterfeiting features of biometrics are the safest.
  • the human-machine interface system for guiding instructions collects iris images and displays them in the display screen to guide the user to adjust the front, back, and up, down, left, and right positions, but since the iris image is a monochrome black and white image, plus Infrared LEDs reflect large areas of white on the skin In the area, the iris itself has low contrast brightness, and the image finally used for display is very unattractive to the user, thereby affecting the user's psychological use feeling. Further, it also affects the user experience and ease of use.
  • the present invention provides a human-machine interface system for guiding instructions for iris recognition of a mobile terminal, the system comprising: a near-infrared imaging module, a visible light imaging module, and a display screen, wherein: an optical image of the visible light imaging module An acquisition area covers an optical image acquisition area of the near-infrared imaging module; the display screen displays a visible light image adjusted by a predetermined pixel, the predetermined pixel being adjusted to be subjected to a relative image center position pixel offset and/or a local area ROI The visible light image obtained by the pixel selection process.
  • the relative imaging image center position pixel offset processing specifically includes: the relative imaging image center position pixel displayed by the display screen is adjusted by the XY coordinate axis displacement amount pixel offset, and the offset adjustment is performed according to the visible light imaging module.
  • the center is determined relative to the near-infrared imaging module center and/or the display display area center predetermined physical optical mapping.
  • the relative imaging image local region ROI pixel selection process specifically includes: a relative imaging image local region ROI pixel selection adjustment displayed by the display screen according to the visible light imaging module relative to the near infrared imaging module and/or the display screen display region The physical optical mapping between the centers is determined.
  • a human interface method for guiding instructions of a mobile terminal comprising a near infrared imaging module and a visible light imaging module, wherein the visible light imaging module is optical
  • the image acquisition area covers the optical image acquisition area of the near-infrared imaging module, and the method includes the following steps:
  • the greatest advantage of the system configuration and method adopted by the present invention is that although the iris recognition near-infrared imaging module may change the imaging object range in the depth of field range, the imaging image range is changed, but the visible light imaging module is collected and displayed.
  • the predetermined pixel-adjusted visible iris image has the same image range change, so as to keep the image range during the guided display consistent with the image range imaged by the actual iris recognition near-infrared imaging module, and avoid image guiding indication errors caused by the inconsistency between the two.
  • the present invention overcomes the inconsistency of the physical position of the center of the visible light imaging module relative to the center of the near-infrared imaging module or the display display area, resulting in an error in the eye observation angle and the gaze field guidance indication when the user uses the object.
  • the display screen is used for displaying text image information indicating that the user uses a suitable range such as a distance, a position up, down, left and right, and using state information such as a specular reflection position adjustment when wearing glasses, indicating that the recognition succeeds successfully.
  • the present invention achieves the effect of the human-machine interface for the guidance indication of the iris recognition of the mobile terminal:
  • the mobile terminal iris recognition provides an effective human-machine interface guidance indication when the user uses to improve the recognition speed and the recognition rate, thereby further improving the user experience and ease of use.
  • the visible light imaging module collects and displays the visible image of the visible iris that has been adjusted by the predetermined pixel to have the same image range change, so as to keep the image range of the guided display and the image range of the actual iris recognition near-infrared imaging module to be consistent, and avoid the inconsistency between the two.
  • the resulting image guide indicates an error.
  • the present invention adopts a predetermined physical optical mapping transformation of the visible light imaging module center relative to the near infrared imaging module center or the display display area center, and overcomes the center of the visible light imaging module center relative to the near infrared imaging module or the display center of the display area.
  • the positional inconsistency causes the user to use the eye observation angle and the gaze field guidance indication error.
  • FIG. 1 is a schematic diagram showing the principle of physical optical mapping between the center of a visible light imaging module center and a near-infrared imaging module according to the human-machine interface system of the present invention.
  • FIG. 2 is a schematic diagram showing the principle of physical optical mapping between the center of the visible light imaging module and the center of the display screen display area of the human-machine interface system according to the present invention.
  • the invention specifically implements a human-machine interface system for guiding indication of iris recognition of a mobile terminal, which has a human-machine interface with high user experience and convenient use, beautiful appearance and high user psychological compliance guidance indication.
  • a system 100 for a human-machine interface for guiding indication of iris recognition of a mobile terminal includes an iris recognition near-infrared imaging module 101, a visible light imaging module 102, a display screen 103, and a processor chip 104.
  • the near-infrared imaging module 101, the visible light imaging module 102, and the processor chip 104 are all built in the mobile terminal, the visible light imaging module 102 is used to acquire the visible light image of the human face background, and the near-infrared imaging module 101 is used for Obtaining a near-infrared iris image of the human eye enables the display screen 103 to display a visible light image by the design method of the present invention.
  • the visible light image displayed by the display screen 103 may also include iris information.
  • the iris recognition near-infrared imaging module 101 includes at least: a near-infrared optical imaging lens, a near-infrared optical bandpass filter, and a near-infrared image imaging sensor for physically imaging and outputting a near-infrared iris image. ;
  • the visible light imaging module 102 includes at least: a visible light optical imaging lens, a visible light optical band pass filter, and a visible light image imaging sensor for physically imaging and outputting a visible iris image;
  • the optical image acquisition area 105 of the visible light imaging module 102 covers the optical image acquisition area 106 of the iris recognition near-infrared imaging module 101, thereby realizing the use of the acquired iris image information to display a visible light image including iris information.
  • the optical image acquisition area 105 of the visible light imaging module 102 may be larger than the optical image acquisition area 106 of the iris recognition near infrared imaging module 101.
  • the iris recognition near-infrared imaging module 101 and the visible light imaging module 102 parameters are combined and configured as:
  • the EFLnir equivalent focal length of the near-infrared optical imaging lens of the iris recognition near-infrared imaging module 101 is greater than the EFLvis equivalent focal length of the visible optical imaging lens of the visible light imaging module 102.
  • the iris identifies the near infrared imaging module 101
  • the unit pixel physical scale PSnir of the infrared image imaging sensor and the horizontal X-axis pixel number PXnir product PSnir*PXnir are smaller than the unit pixel physical scale PSvis of the image imaging sensor of the visible light imaging module 102 and the horizontal direction pixel number PXvis product PSvis*PXvis; , PSnir*PXnir ⁇ PSvis*PXvis.
  • the unit pixel physical scale PSnir and the vertical Y-axis pixel number PYnir product PSnir*PYnir of the image imaging sensor of the iris recognition near-infrared imaging module 101 are smaller than the image imaging of the visible light imaging module 102.
  • the unit pixel physical scale PSvis of the sensor and the number of pixels PYvis in the vertical direction are PSvis*PYvis; that is, PSnir*PYnir ⁇ PSvis*PYvis.
  • the guidance indicating human machine interface is configured to: the visible light imaging module collects and displays the visible iris image adjusted by the predetermined pixel.
  • the processor chip 104 is connected to the iris recognition near-infrared imaging module 101, the visible light imaging module 102, and the display screen 103 for acquiring and processing the near-infrared iris image and the visible light image, respectively. And feedback controlling the display screen 103 to display a guiding indication human-machine interface of the visible light image;
  • the near-infrared iris image is further used for the iris recognition of the processor chip, and the visible light image is further used for the processor chip to perform feedback control to display the visible image.
  • the display screen 103 displays a visible light image adjusted by a predetermined pixel adjusted to a visible light image obtained by a relative image center position pixel offset and a local area ROI pixel selection process.
  • the display screen 103 can further be used for displaying a user's use of a suitable range such as a distance, a position up, down, left and right, and using state information such as a specular reflection position adjustment when wearing glasses, indicating that the recognition succeeds, etc. Text image information.
  • the invention adopts a predetermined physical optical mapping transformation of the visible light imaging module center relative to the near infrared imaging module center and/or the display display area center, and overcomes the center of the visible light imaging module center relative to the near infrared imaging module center or the display display area center physics
  • the positional inconsistency causes the user to use the eye observation angle and the gaze field guidance indication error.
  • the relative imaging image center position pixel offset processing specifically includes the X-Y coordinate of the relative imaging image center position pixel displayed on the display screen 103.
  • Axis displacement amount pixel offset adjustment (X_SHIFT, Y_SHIFT), the offset adjustment (X_SHIFT, Y_SHIFT) is determined according to the physical optical mapping between the center of the visible light imaging module center and the near-infrared imaging module.
  • the relative imaging image center position pixel offset processing specifically includes:
  • the pixel displayed on the display screen 103 relative to the central position of the image is adjusted by the X-Y coordinate displacement pixel offset (X_SHIFT, Y_SHIFT), as shown by point A in Fig. 1, and point A is the adjusted center position.
  • the offset adjustment (X_SHIFT, Y_SHIFT) is determined according to the physical optical mapping between the center of the visible light imaging module 102 and the near-near infrared imaging module 101.
  • the offset adjustment X-Y axis displacement amount (X_SHIFT, Y_SHIFT) is calculated as follows:
  • Xnir, Ynir is the optical center X, Y coordinate axis physical position of the iris recognition near-infrared imaging module 101, respectively, as shown in point C, in centimeters, cm;
  • Xvis, Yvis is the optical center X, Y coordinate axis physical position of the visible light imaging module 102, respectively, as shown in point B, unit centimeters, cm;
  • the physical positions of the X, Y coordinate axes of the optical centers of the iris recognition near-infrared imaging module 101 and the visible light imaging module 102 are as close as possible to optimize the effect.
  • Visvis is the optical magnification of the visible light imaging module 102, no unit;
  • EFLvis is the equivalent focal length of the optical imaging lens of the visible light imaging module, in millimeters, mm;
  • D is the optical imaging object distance, in centimeters, cm;
  • PSvis is the unit pixel physical scale of the image sensor for visible light imaging modules, in micrometers per pixel, um/pixel.
  • the specific parameters are as follows:
  • the pixel displayed on the display screen relative to the center of the image is adjusted by the X-Y coordinate displacement pixel offset to 180 pixels and 60 pixels.
  • the relative imaging image center position pixel offset processing specifically includes: adjusting the relative imaging image center position pixel displayed by the display screen 103 by the XY coordinate axis displacement amount pixel offset adjustment (X_SHIFT, Y_SHIFT),
  • the offset adjustment (X_SHIFT, Y_SHIFT) is determined according to the physical optical mapping between the center of the visible light imaging module 102 and the center of the display screen display area 100.
  • the relative imaging image center position pixel offset processing specifically includes:
  • the pixel displayed on the display screen 103 relative to the center of the image is adjusted by the X-Y coordinate displacement pixel offset (X_SHIFT, Y_SHIFT), as shown by point E in FIG. 1 , and point E is the adjusted center position.
  • the offset adjustment (X_SHIFT, Y_SHIFT) is determined according to the physical optical mapping between the center of the visible light imaging module 102 and the center of the display screen display area 100.
  • the offset adjustment X-Y axis displacement amount (X_SHIFT, Y_SHIFT) is calculated as follows:
  • (Xdis, Ydis) is the optical center X, Y coordinate axis physical position of the display display area 100, respectively, as shown in point F, in centimeters, em;
  • Xvis, Yvis is the optical center X, Y coordinate axis physical position of the visible light imaging module 102, respectively, as shown in point B, unit centimeters, cm;
  • the physical position ranges of the X, Y coordinate axes of the optical display centers of the display display area 100 and the visible light imaging module 102 are as close as possible to optimize the effect.
  • Visvis is the optical magnification of the visible light imaging module 102, no unit;
  • EFLvis is the equivalent focal length of the optical imaging lens of the visible light imaging module, in millimeters, mm;
  • D is the optical imaging object distance, in centimeters, cm;
  • PSvis is the unit pixel physical scale of the image sensor for visible light imaging modules, in micrometers per pixel, um/pixel.
  • the specific parameters are as follows:
  • the pixel displayed on the display screen relative to the center of the image is adjusted by the X-Y coordinate displacement pixel offset to 120 pixels and 120 pixels.
  • the center of the display screen display area 100 in the above embodiments is defined as a local area center for guiding the display screen indicating the human-machine interface to display a visible iris image, which is a partial partial area of the entire display screen, such as Only the upper 1/3 partial area of the display.
  • the present invention needs to emphasize that the pixel of the image center position relative to the image displayed by the display screen 103 in the above embodiment is adjusted by the XY coordinate axis shift amount (X_SHIFT, Y_SHIFT), and the center of the visible light imaging module 102 is opposite to the display screen display area.
  • the 100-center physical optical mapping is mathematically equivalent to the physical optical mapping between the center of the visible light imaging module 102 and the near-near imaging module 101, and the center of the near-infrared imaging module 101 relative to the display display area 100. A combined transformation of the map.
  • the relative imaging image local region ROI pixel selection process specifically includes:
  • the relative imaging image local area ROI 107, 108 pixel selection adjustment (X_ROI, Y_ROI) displayed on the display screen 103 is based on the physical optical mapping between the visible light imaging module 102 and the near-infrared imaging module 101 and/or the display screen display area 100. to make sure.
  • the visible optical imaging module 102 relative to the near-infrared imaging module 101 and/or the physical display mapping between the centers of the display display area 100, the visible light imaging module can capture and display the visible image of the visible iris image adjusted by the predetermined pixel to have the same image range.
  • the image range is consistent with the image range formed by the actual iris recognition near-infrared imaging module to keep the image display indication error caused by the inconsistency between the two.
  • the relative imaging image local region ROI 107 pixel selection adjustment (X_ROI, Y_ROI) displayed by the display screen 103 is based on the visible light imaging module 102 relative to the near infrared imaging module 101. Physical optical mapping between physical optical mappings is determined. The steps of calculating the selected local area quantity (X_ROI, Y_ROI) are as follows:
  • Nnir EFLnir/(D-EFLnir)
  • PXnir, PYnir are the number of pixels in the horizontal direction X-axis and the vertical direction Y-axis of the iris recognition near-infrared imaging module, respectively, unit pixel, pixel;
  • Nnir is the optical magnification of the iris recognition near-infrared imaging module, no unit
  • Visvis is the optical magnification of the visible light imaging module, no unit
  • EFLnir is the equivalent focal length of the optical imaging lens of the iris recognition near-infrared imaging module, in millimeters, mim;
  • EFLvis is the equivalent focal length of the optical imaging lens of the visible light imaging module, in millimeters. Mm;
  • D is the imaging object distance, in centimeters, cm
  • PSnir is the unit pixel physical scale of the image imaging sensor of the iris recognition near-infrared imaging module, unit micrometer per pixel, um/pixel;
  • PSvis is the unit pixel physical scale of the image imaging sensor for visible light imaging modules, in micrometers per pixel, um/pixel.
  • the relative imaging image local area ROI pixels displayed by the display screen are selectively adjusted to 960 pixels and 540 pixels.
  • the relative imaging image local area ROI 108 pixel selection adjustment (X_ROI, Y_ROI) displayed by the display screen 103 is based on the visible light imaging module 102 relative to the display screen display area 100 center. Physical optical mapping between physical optical mappings is determined. The steps of calculating the selected local area quantity (X_ROI, Y_ROI) are as follows:
  • X_ROI ⁇ vis/PSvis*[(PSnir*PXnir/ ⁇ nir)-abs(Xnir-Xdis)]
  • Y_ROI ⁇ vis/PSvis*[(PSnir*PYnir/ ⁇ nir)-abs(Ynir-Ydis)]
  • Nnir EFLnir/(D-EFLnir)
  • PXnir, PYnir are the number of pixels in the horizontal direction X-axis and the vertical direction Y-axis of the iris recognition near-infrared imaging module, respectively, unit pixel, pixel;
  • Nnir is the optical magnification of the iris recognition near-infrared imaging module, no unit
  • Visvis is the optical magnification of the visible light imaging module, no unit
  • EFLnir is the equivalent focal length of the optical imaging lens of the iris recognition near-infrared imaging module, in millimeters, mm;
  • EFLvis is the equivalent focal length of the optical imaging lens of the visible light imaging module, in millimeters, mm;
  • D is the imaging object distance, in centimeters, cm
  • PSnir is the unit pixel physical scale of the image imaging sensor of the iris recognition near-infrared imaging module, unit micrometer per pixel, um/pixel;
  • PSvis is the unit pixel physical scale of the image imaging sensor of the visible light imaging module, unit micrometer per pixel, um/pixel;
  • Xnir, Ynir is the optical center X, Y coordinate axis physical position of the iris recognition near-infrared imaging module 101, respectively, as shown in point C, in centimeters, cm;
  • (Xdis, Ydis) is the optical center X, Y coordinate axis physical position of the display display area 100, respectively, as shown in point F, in centimeters, cm;
  • Abs() is an absolute value function used to represent mathematical absolute value calculations.
  • the ROI pixels of the partial image area relative to the imaged image displayed by the display screen are selectively adjusted to be 900 pixels and 480 pixels.
  • the present invention requires special emphasis on the relative imaging image local area ROI pixel selection adjustment (X_ROI, Y_ROI) displayed by the display screen 103 in the above embodiment, and the physical optical mapping between the visible light imaging module 102 and the display screen display area 100.
  • the above is equivalent to the physical optical mapping between the visible light imaging module 102 and the near infrared imaging module 101, and the combined transformation of the near infrared imaging module 101 with respect to the physical optical mapping between the centers of the display display area 100.
  • abs(Xnir-Xdis) abs[(Xnir-Xvis)-(Xdis-Xvis)];
  • Abs(Ynir-Ydis) abs[(Ynir-Yvis)-(Ydis-Yvis)].
  • the present invention requires special emphasis on the physical optical mapping between the visible optical imaging module 102 and the near-infrared imaging module 101 in the above embodiments to determine the relative imaging image local region ROI 107 displayed by the display screen 103 to be maximized.
  • the visible optical imaging module 102 is physically and optically mapped with respect to the physical optical mapping between the centers of the display screen display area 100. Considering the central displacement offset and edge effect of the display screen display area 100, the boundary is invalid, etc., the actual relative image area ROI 108 should be Less than or equal to the above 107 partial area.
  • a human-machine interface method for guiding indication of iris recognition of a mobile terminal the human-machine interface method utilizing the above-described iris recognition for mobile terminal according to Embodiment 1 of the present invention
  • the system for guiding the indicated human-machine interface specifically, the mobile terminal comprises an iris recognition near-infrared imaging module, a visible light imaging module, a display screen and a processor chip, and the method comprises the following steps:
  • the near-infrared imaging module can be realized by using an iris recognition near-infrared imaging module including at least a near-infrared optical imaging lens, a near-infrared optical band pass filter, and a near-infrared image imaging sensor, and outputting a near-infrared iris image, and then outputting to processing.
  • the chip is further processed;
  • the visible light imaging module including at least the visible light optical imaging lens, the visible light optical band pass filter and the visible light image imaging sensor can be used to realize physical imaging and output the visible iris image, and then output to the processor chip for further processing;
  • the optical image acquisition area of the visible light imaging module covers an optical image acquisition area of the iris recognition near-infrared imaging module
  • the display screen displays a visible iris image that has been adjusted by a predetermined pixel, the predetermined pixel being adjusted to a predetermined physical optical mapping transformation of the center of the visible light imaging module relative to the center of the near infrared imaging module or the center of the display display area.
  • the predetermined pixel is adjusted to a predetermined physical optical mapping transformation of the center of the visible light imaging module relative to the center of the near infrared imaging module or the center of the display display area.
  • the pixel adjustment method in the above embodiment may be adopted to display the visible iris image adjusted by the predetermined pixel.
  • the system configuration and method adopted by the present invention has the advantages that the iris recognition of the mobile terminal provides an effective human-machine interface guidance indication when the user uses, thereby improving the recognition speed and the recognition rate, and further improving the user experience and convenience of use.
  • the iris recognition near-infrared imaging module may change the imaging image range in the depth of field
  • the visible light imaging module collects and displays the visible image of the visible iris image with the same pixel range change.
  • the image range is consistent with the image range imaged by the actual iris recognition near-infrared imaging module while maintaining the guidance display, and the image guidance indication error caused by the inconsistency between the two is avoided.
  • the present invention adopts a predetermined physical optical mapping transformation of the visible light imaging module center relative to the near infrared imaging module center or the display display area center, and overcomes the center of the visible light imaging module center relative to the near infrared imaging module or the display center of the display area.
  • the positional inconsistency causes the user to use the eye observation angle and the gaze field guidance indication error.
  • another embodiment 2 is provided as a modification and simplification of the foregoing specific embodiment 1.
  • a system for a human-machine interface for guiding indication of iris recognition of a mobile terminal includes an all-in-one function iris recognition near-infrared-visible integrated imaging module, a display screen, and The processor chip; wherein the composite function of the iris recognition near-infrared-visible integrated imaging module comprises at least: a near-infrared-visible optical imaging lens, a near-infrared-visible optical filter, and an RGB-IR format image imaging sensor. It is further explained that the composite function iris recognition near-infrared-visible integrated imaging module has the functions of synchronous physical imaging and outputting near-infrared and visible light images.
  • This embodiment 2 of the present invention is a modification and simplification of the foregoing specific embodiment 1.
  • the specific embodiment 2 is a modification and simplification of a specific embodiment 1, and includes the following: the predetermined pixel is adjusted to a composite function of the iris recognition near-infrared-visible integrated imaging module center relative to the display screen display area center predetermined physical optics Mapping transformation.
  • a visible iris image obtained by a relative image image center position pixel offset and a local area ROI pixel selection process is included.
  • the human-machine interface method for the guidance indication of the iris recognition of the mobile terminal according to the specific embodiment 1 is also applicable to the iris recognition near-infrared-visible integrated imaging module with the composite function of the specific embodiment 2 above.
  • the working steps of the human interface method are the same as those described above based on the specific embodiment 1, and are not described again.

Abstract

一种用于移动终端虹膜识别的引导指示的人机接口系统（100），所述系统包括：近红外成像模组（101）、可见光成像模组（102）和显示屏（103），其中：所述可见光成像模组（102）的光学图像采集区域覆盖所述近红外成像模组（101）的光学图像采集区域；所述显示屏（103）显示经过预定像素调整的可见光图像，所述预定像素调整为经过相对成像图像中心位置像素偏置和/或局部区域ROI像素选择处理获得的可见光图像。

Description

用于移动终端虹膜识别的引导指示人机接口系统和方法 技术领域
本发明涉及生物识别光机电领域，尤其是一种用于移动终端虹膜识别的引导指示人机接口系统和接口方法。
背景技术
移动终端包括智能手机、平板、可穿戴设备等，现在的信息技术移动化发展趋势来看，移动终端设备必然是未来适用最广泛的设备。
目前，现实应用中的移动终端在移动安全支付、账户安全登陆、网上银行方面运用已经极其的广泛了，如余额宝(APP)、微信(APP)、信用卡管理(APP)等方面的运用，虽然在其使用过程中，为生活带来了极大的便利，但是一种新型的通过移动终端安全性能薄弱等特点进行的经济犯罪逐渐的兴起。
而移动终端中，现有技术进行身份确认的惯用手段就是密码输入，但是这种身份确认的手段安全性能十分的低，只需要在移动终端上植入简单的病毒程序，就能将该密码泄露，造成相应的损失。为了解决这个问题，国际上还是用生物识别的方式进行移动终端安全身份认证；如苹果公司提出的基于AuthenTec公司开发的指纹识别技术，该技术运用在手机终端上，极大的提高了移动终端的身份确认安全性；但是，指纹技术识别的过程中，由于指纹是静态的，虽然具有唯一性，但是也极其容易被获取指纹信息，甚至被仿制等，所以，随着指纹技术在移动终端上的运用越来越广泛，其安全性也会相应的呈下降趋势，所以，在安全性方面更加具有优势的虹膜识别是解决移动终端安全身份认证过程中非常有效的方法，而虹膜识别系统是现有的生物识别中安全活体防伪特征最为安全的。
在目前的现有技术中，引导指示的人机接口系统通过采集虹膜图像并显示在显示屏中，以指导用户调整前后和上下左右位置，但由于虹膜采集图像为单色黑白图像，加上近红外LED在皮肤反射形成大面积白色 区域，虹膜本身低对比度亮度，最终用于显示的图像对于用户而言十分不美观，从而影响用户心理使用感觉。更进一步地，也会影响用户使用体验和使用方便性。
因此，需要实现一种用于移动终端虹膜识别的引导指示的人机接口的系统，其具有高用户使用体验和使用方便性，美观，高用户心理依从性的引导指示的人机接口。
发明内容
本发明提供一种用于移动终端虹膜识别的引导指示的人机接口系统，所述系统包括：近红外成像模组、可见光成像模组和显示屏，其中：所述可见光成像模组的光学图像采集区域覆盖所述近红外成像模组的光学图像采集区域；所述显示屏显示经过预定像素调整的可见光图像，所述预定像素调整为经过相对成像图像中心位置像素偏置和/或局部区域ROI像素选择处理获得的可见光图像。
优选地，所述相对成像图像中心位置像素偏置处理具体包括：显示屏显示的相对成像图像中心位置像素经过X-Y坐标轴位移量像素偏置调整，所述偏置调整根据所述可见光成像模组中心相对近红外成像模组中心和/或显示屏显示区域中心预定的物理光学映射来确定。
优选地，所述相对成像图像局部区域ROI像素选择处理具体包括：显示屏显示的相对成像图像局部区域ROI像素选择调整根据所述可见光成像模组相对近红外成像模组和/或显示屏显示区域中心间物理光学映射来确定。
根据本发明的另一方面，提供了一种用于移动终端的引导指示的人机接口方法，所述移动终端包括近红外成像模组和可见光成像模组，其中所述可见光成像模组的光学图像采集区域覆盖所述近红外成像模组的光学图像采集区域，所述方法包括如下步骤：
a)采集并物理成像、输出近红外虹膜图像；
b)采集并物理成像、输出可见光图像；
c)显示经过预定像素调整的可见光图像，所述预定像素调整为经过相对成像图像中心位置像素偏置和/或局部区域ROI像素选择处理。
本发明采用的系统配置和方法的最大优点之处在于，尽管虹膜识别近红外成像模组在景深范围内成像物距会改变会导致成像图像范围改变，但在上述可见光成像模组采集和显示经过预定像素调整的可见光虹膜图像具有相同的图像范围改变，以保持引导显示时图像范围和实际虹膜识别近红外成像模组成像的图像范围一致，避免两者不一致性导致的图像引导指示错误。
更进一步本发明克服可见光成像模组中心相对近红外成像模组中心或显示屏显示区域中心物理位置不一致性导致用户使用时眼睛观察角度和注视视场引导指示错误。
所述的显示屏用于显示指示用户使用合适范围如距离远近，位置上下左右，及使用状态信息如戴眼镜时镜面反射位置调整，指示识别成功失败等文字图像信息。
总结上述描述，本发明的实现了用于移动终端虹膜识别的引导指示的人机接口的效果：
移动终端虹膜识别在用户使用时提供有效人机接口引导指示提高识别速度和识别率，更进一步提高用户使用体验和使用方便性。并且可见光成像模组采集和显示经过预定像素调整的可见光虹膜图像具有相同的图像范围改变，以保持引导显示时图像范围和实际虹膜识别近红外成像模组成像的图像范围一致，避免两者不一致性导致的图像引导指示错误。
更进一步本发明采用可见光成像模组中心相对近红外成像模组中心或显示屏显示区域中心预定的物理光学映射变换，克服可见光成像模组中心相对近红外成像模组中心或显示屏显示区域中心物理位置不一致性导致用户使用时眼睛观察角度和注视视场引导指示错误。
附图说明
图1为根据本发明的人机接口系统的可见光成像模组中心相对近红外成像模组中心间物理光学映射原理示意图。
图2为根据本发明的人机接口系统的可见光成像模组中心相对显示屏显示区域中心间物理光学映射原理示意图。
具体实施方式
本发明具体实现一种用于移动终端虹膜识别的引导指示的人机接口的系统，其具有高用户使用体验和使用方便性，美观，高用户心理依从性的引导指示的人机接口。
具体实施例1
如图1所示，根据本发明的用于移动终端虹膜识别的引导指示的人机接口的系统100包括虹膜识别近红外成像模组101、可见光成像模组102、显示屏103和处理器芯片104；其中，近红外成像模组101、可见光成像模组102以及处理器芯片104都内置于移动终端内部，可见光成像模组102用于获取人脸背景的可见光图像，近红外成像模组101用于获取人眼的近红外虹膜图像，通过本发明的设计方法能够使得显示屏103显示可见光图像。根据本发明的一个优选实施例，所述显示屏103显示的可见光图像中也可以包含虹膜信息。
如图1所示，所述虹膜识别近红外成像模组101至少包括：近红外光学成像透镜，近红外光学带通滤光片和近红外图像成像传感器，用于物理成像并输出近红外虹膜图像；
所述可见光成像模组102至少包括：可见光光学成像透镜，可见光光学带通滤光片和可见光图像成像传感器，用于物理成像并输出可见光虹膜图像；
所述可见光成像模组102的光学图像采集区域105覆盖所述虹膜识别近红外成像模组101的光学图像采集区域106，从而实现利用所采集到的虹膜图像信息来显示包括虹膜信息的可见光图像。根据本发明的一个实施例，优选地，所述可见光成像模组102的光学图像采集区域105可以大于所述虹膜识别近红外成像模组101的光学图像采集区域106。
根据本发明的一个实施例，所述虹膜识别近红外成像模组101和可见光成像模组102参数被组合配置为：
所述虹膜识别近红外成像模组101的近红外光学成像透镜的EFLnir等效焦距大于可见光成像模组102的可见光光学成像透镜的EFLvis等效焦距。
根据本发明的另一个实施例，所述虹膜识别近红外成像模组101的近 红外图像成像传感器的单位像素物理尺度PSnir和水平方向X轴像素数量PXnir乘积PSnir*PXnir小于可见光成像模组102的图像成像传感器的单位像素物理尺度PSvis和水平方向像素数量PXvis乘积PSvis*PXvis；即，PSnir*PXnir＜PSvis*PXvis。
根据本发明的另一个实施例，所述虹膜识别近红外成像模组101的图像成像传感器的单位像素物理尺度PSnir和垂直方向Y轴像素数量PYnir乘积PSnir*PYnir小于可见光成像模组102的图像成像传感器的单位像素物理尺度PSvis和与垂直方向像素数量PYvis乘积PSvis*PYvis；即，PSnir*PYnir＜PSvis*PYvis。
所述的引导指示人机接口被配置为：可见光成像模组采集和显示经过预定像素调整的可见光虹膜图像。
所述处理器芯片104连接所述虹膜识别近红外成像模组101、所述可见光成像模组102和所述显示屏103，分别用于采集和处理所述近红外虹膜图像和所述可见光图像，并反馈控制所述显示屏103显示可见光图像的引导指示人机接口；
采集近红外虹膜图像更进一步用于处理器芯片进行虹膜识别，采集可见光图像更进一步用于处理器芯片进行反馈控制显示屏显示可见光图像。
其中：
所述显示屏103显示经过预定像素调整的可见光图像，所述预定像素调整为经过相对成像图像中心位置像素偏置和局部区域ROI像素选择处理获得的可见光图像。
根据本发明的一个实施例，所述显示屏103更进一步能用于显示指示用户使用合适范围如距离远近，位置上下左右，及使用状态信息如戴眼镜时镜面反射位置调整，指示识别成功失败等文字图像信息。
本发明采用可见光成像模组中心相对近红外成像模组中心和/或显示屏显示区域中心预定的物理光学映射变换，克服可见光成像模组中心相对近红外成像模组中心或显示屏显示区域中心物理位置不一致性导致用户使用时眼睛观察角度和注视视场引导指示错误。
根据本发明的一个实施例，所述相对成像图像中心位置像素偏置处理具体包括将显示屏103显示的相对成像图像中心位置像素经过X-Y坐标 轴位移量像素偏置调整(X_SHIFT，Y_SHIFT)，所述偏置调整(X_SHIFT，Y_SHIFT)根据所述可见光成像模组中心相对近红外成像模组中心间物理光学映射来确定。
具体地，根据本发明的一个实施例，参考图1，所述相对成像图像中心位置像素偏置处理具体包括：
显示屏103显示的相对成像图像中心位置像素经过X-Y坐标轴位移量像素偏置调整(X_SHIFT，Y_SHIFT)，如图1中的A点，A点为调整后的中心位置。所述偏置调整(X_SHIFT，Y_SHIFT)根据所述可见光成像模组102中心相对近红外成像模组101中心间物理光学映射来确定。
其中，所述的偏置调整X-Y轴位移量(X_SHIFT，Y_SHIFT)的计算如下：
X_SHIFT＝βvis*(Xnir-Xvis)/PSvis
Y_SHIFT＝βvis*(Ynir-Yvis)/PSvis
βvis＝EFLvis/(D-EFLvis)
其中：
(X_SHIFT，Y_SHIFT)分别为显示屏显示的相对成像图像中心X，Y坐标轴位移量，单位像素，pixel；
(Xnir，Ynir)分别为虹膜识别近红外成像模组101的光学中心X，Y坐标轴物理位置，如图中C点，单位厘米，cm；
(Xvis，Yvis)分别为可见光成像模组102的光学中心X，Y坐标轴物理位置，如图中B点，单位厘米，cm；
其中，虹膜识别近红外成像模组101和可见光成像模组102的光学中心的X，Y坐标轴物理位置范围尽量接近以优化效果。
βvis为可见光成像模组102光学放大倍率，无单位；
EFLvis为可见光成像模组光学成像透镜的等效焦距，单位毫米，mm；
D为光学成像物距，单位厘米，cm；
PSvis为可见光成像模组图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
例如，以实际手机应用为例，具体参数如下：
EFLvis＝2mm，D＝30cm，PSvis＝1.12um/pixel，
(Xnir-Xvis)＝3cm；
(Ynir-Yvis)＝1em；
βvis＝0.00675；
(X_SHIFT，Y_SHIFT)＝(180pixels，60pixels)；
即显示屏显示的相对成像图像中心位置像素经过X-Y坐标轴位移量像素偏置调整为180像素和60像素。
根据本发明的一个实施例，所述相对成像图像中心位置像素偏置处理具体包括将显示屏103显示的相对成像图像中心位置像素经过X-Y坐标轴位移量像素偏置调整(X_SHIFT，Y_SHIFT)，所述偏置调整(X_SHIFT，Y_SHIFT)根据所述可见光成像模组102中心相对显示屏显示区域100中心间物理光学映射来确定。
具体地，根据本发明的一个实施例，参考图2，所述相对成像图像中心位置像素偏置处理具体包括：
显示屏103显示的相对成像图像中心位置像素经过X-Y坐标轴位移量像素偏置调整(X_SHIFT，Y_SHIFT)，如图1中的E点，E点为调整后的中心位置。所述偏置调整(X_SHIFT，Y_SHIFT)根据所述可见光成像模组102中心相对显示屏显示区域100中心间物理光学映射来确定。
其中，所述的偏置调整X-Y轴位移量(X_SHIFT，Y_SHIFT)的计算如下：
X_SHIFT＝βvis*(Xdis-Xvis)/PSvis
Y_SHIFT＝βvis*(Ydis-Yvis)/PSvis
βvis＝EFLvis/(D-EFLvis)
其中：
(X_SHIFT，Y_SHIFT)分别为显示屏显示的相对成像图像中心X，Y坐标轴位移量，单位像素，pixel；
(Xdis，Ydis)分别为显示屏显示区域100的光学中心X，Y坐标轴物理位置，如图中F点，单位厘米，em；
(Xvis，Yvis)分别为可见光成像模组102的光学中心X，Y坐标轴物理位置，如图中B点，单位厘米，cm；
其中，显示屏显示区域100和可见光成像模组102的光学中心的X，Y坐标轴物理位置范围尽量接近以优化效果。
βvis为可见光成像模组102光学放大倍率，无单位；
EFLvis为可见光成像模组光学成像透镜的等效焦距，单位毫米，mm；
D为光学成像物距，单位厘米，cm；；
PSvis为可见光成像模组图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
例如，以实际手机应用为例，具体参数如下：
EFLvis＝2mm，D＝30cm，PSvis＝1.12um/pixel，
(Xdis-Xvis)＝2cm；
(Ydis-Yvis)＝2cm；
βvis＝0.00675；
(X_SHIFT，Y_SHIFT)＝(120pixels，120pixels)；
即显示屏显示的相对成像图像中心位置像素经过X-Y坐标轴位移量像素偏置调整为120像素和120像素。
本发明需要特别强调，以上实施列中所述显示屏显示区域100中心定义为用于引导指示人机接口的显示屏显示可见光虹膜图像的局部区域中心，其为显示屏整体中部分局部区域，如仅显示屏上部1/3局部区域。
本发明需要特别强调，以上实施列中显示屏103显示的相对成像图像中心位置像素经过X-Y坐标轴位移量像素偏置调整(X_SHIFT，Y_SHIFT)，所述可见光成像模组102中心相对显示屏显示区域100中心间物理光学映射，数学上等价于，可见光成像模组102中心相对近红外成像模组101中心间物理光学映射，和近红外成像模组101中心相对显示屏显示区域100中心间物理光学映射的组合变换。
即，(Xdis-Xvis)＝(Xnir-Xvis)-(Xnir-Xdis)；
(Ydis-Yvis)＝(Ynir-Yvis)-(Ynir-Ydis)。
根据本发明的一个实施例，所述相对成像图像局部区域ROI像素选择处理具体包括：
显示屏103显示的相对成像图像局部区域ROI 107，108像素选择调整(X_ROI，Y_ROI)根据所述可见光成像模组102相对近红外成像模组101和/或显示屏显示区域100中心间物理光学映射来确定。通过可见光成像模组102相对近红外成像模组101和/或显示屏显示区域100中心间物理光学映射，可以使得上述可见光成像模组采集和显示经过预定像素调整的可见光虹膜图像具有相同的图像范围改变，以保持引导显示时图像范围和实际虹膜识别近红外成像模组成像的图像范围一致，避免两者不一致性导致的图像引导指示错误。
具体地，根据本发明的一个实施例，参考图1，显示屏103显示的相对成像图像局部区域ROI 107像素选择调整(X_ROI，Y_ROI)根据所述可见光成像模组102相对近红外成像模组101间物理光学映射间物理光学映射来确定。所述的选择局部区域量(X_ROI，Y_ROI)的计算方法步骤如下：
X_ROI＝βvis*PSnir*PXnir/(βnir*PSvis)
Y_ROI＝βvis*PSnir*PYnir/(βnir*PSvis)
βvis＝EFLvis/(D-EFLvis)
βnir＝EFLnir/(D-EFLnir)
其中：
(X_ROI，Y_ROI)分别为显示屏显示的相对成像图像局部区域ROI107，单位像素，pixel；
PXnir，PYnir分别为虹膜识别近红外成像模组的水平方向X轴和垂直方向Y轴像素数量，单位像素，pixel；
βnir为虹膜识别近红外成像模组的光学放大倍率，无单位；
βvis为可见光成像模组的光学放大倍率，无单位；
EFLnir为虹膜识别近红外成像模组的光学成像透镜的等效焦距，单位毫米，mim；
EFLvis为可见光成像模组的光学成像透镜的等效焦距，单位毫米， mm；
D为成像物距，单位厘米，cm；
PSnir为虹膜识别近红外成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
PSvis为可见光成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
以实际手机应用为例，具体参数如下：
EFLvis＝2mm，EFLnir＝4mm，D＝30cm，PXnir＝1920pixels，PYnir＝1080pixels，PSnir＝PSvis＝1.12um/pixels
βnir＝0.0135；
βvis＝0.0067；
(X_ROI，Y_ROI)＝(960pixels，540pixels)；
即，显示屏显示的相对成像图像局部区域ROI像素经过选择调整为960像素和540像素。
具体地，根据本发明的一个实施例，参考图2，显示屏103显示的相对成像图像局部区域ROI 108像素选择调整(X_ROI，Y_ROI)根据所述可见光成像模组102相对显示屏显示区域100中心间物理光学映射间物理光学映射来确定。所述的选择局部区域量(X_ROI，Y_ROI)的计算方法步骤如下：
X_ROI＝βvis/PSvis*[(PSnir*PXnir/βnir)-abs(Xnir-Xdis)]
Y_ROI＝βvis/PSvis*[(PSnir*PYnir/βnir)-abs(Ynir-Ydis)]
βvis＝EFLvis/(D-EFLvis)
βnir＝EFLnir/(D-EFLnir)
其中：
(X_ROI，Y_ROI)分别为显示屏显示的相对成像图像局部区域ROI108，单位像素，pixel；
PXnir，PYnir分别为虹膜识别近红外成像模组的水平方向X轴和垂直方向Y轴像素数量，单位像素，pixel；
βnir为虹膜识别近红外成像模组的光学放大倍率，无单位；
βvis为可见光成像模组的光学放大倍率，无单位；
EFLnir为虹膜识别近红外成像模组的光学成像透镜的等效焦距，单位毫米，mm；
EFLvis为可见光成像模组的光学成像透镜的等效焦距，单位毫米，mm；
D为成像物距，单位厘米，cm；
PSnir为虹膜识别近红外成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
PSvis为可见光成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
(Xnir，Ynir)分别为虹膜识别近红外成像模组101的光学中心X，Y坐标轴物理位置，如图中C点，单位厘米，cm；
(Xdis，Ydis)分别为显示屏显示区域100的光学中心X，Y坐标轴物理位置，如图中F点，单位厘米，cm；
abs()为绝对值函数，用于表示数学绝对值计算。
以实际手机应用为例，具体参数如下：
EFLvis＝2mm，EFLnir＝4mm，D＝30em，PXnir＝1920pixels，PYnir＝1080pixels，PSnir＝PSvis＝1.12um/pixels，
abs(Xnir-Xdis)＝1cm，
abs(Ynir-Ydis)＝1cm；
βnir＝0.0135；
βvis＝0.0067；
(X_ROI，Y_ROI)＝(900pixels，480pixels)；
即，显示屏显示的相对成像图像局部区域ROI像素经过选择调整为900像素和480像素。
本发明需要特别强调，以上实施列中所述显示屏103显示的相对成像图像局部区域ROI像素选择调整(X_ROI，Y_ROI)，可见光成像模组102相对显示屏显示区域100中心间物理光学映射，数学上等价于，可见光成像模组102相对近红外成像模组101间物理光学映射，和近红外成像模组101相对显示屏显示区域100中心间物理光学映射的组合变换。
即，abs(Xnir-Xdis)＝abs[(Xnir-Xvis)-(Xdis-Xvis)]；
abs(Ynir-Ydis)＝abs[(Ynir-Yvis)-(Ydis-Yvis)]。
本发明需要特别强调，以上实施列中可见光成像模组102相对近红外成像模组101间物理光学映射间物理光学映射来确定所述显示屏103显示的相对成像图像局部区域ROI 107为最大化。可见光成像模组102相对显示屏显示区域100中心间物理光学映射间物理光学映射，考虑到相对显示屏显示区域100中心位移偏置和边缘效应，边界无效等，实际相对成像图像局部区域ROI 108应小于等于上述107局部区域。
根据本发明的另一个方面，提供了一种用于移动终端虹膜识别的引导指示的人机接口方法，所述人机接口方法利用上述根据本发明具体实施例1的用于移动终端虹膜识别的引导指示的人机接口的系统，具体地，所述移动终端包括虹膜识别近红外成像模组、可见光成像模组、显示屏和处理器芯片，所述方法包括如下步骤：
a)采集并物理成像、输出近红外虹膜图像以用于进一步处理；
具体地，可以利用至少包括近红外光学成像透镜，近红外光学带通滤光片和近红外图像成像传感器的虹膜识别近红外成像模组来实现物理成像并输出近红外虹膜图像，然后输出至处理器芯片进行进一步地处理；
b)采集并物理成像、输出可见光虹膜图像以用于进一步处理；
具体地，可以利用至少包括可见光光学成像透镜，可见光光学带通滤光片和可见光图像成像传感器的可见光成像模组来实现物理成像并输出可见光虹膜图像，然后输出至处理器芯片进行进一步地处理；
所述可见光成像模组的光学图像采集区域覆盖所述虹膜识别近红外成像模组的光学图像采集区域；
c)显示屏显示经过预定像素调整的可见光虹膜图像，所述预定像素调整为可见光成像模组中心相对近红外成像模组中心或显示屏显示区域中心预定的物理光学映射变换。
所述预定像素调整为可见光成像模组中心相对近红外成像模组中心或显示屏显示区域中心预定的物理光学映射变换，
包括相对成像图像中心位置像素偏置和局部区域ROI像素选择处理 获得的可见光虹膜图像。
具体地，可以采取上述实施例中的像素调整方法来显示经过预定像素调整的可见光虹膜图像。
本发明采用的系统配置和方法的优点之处在于，移动终端虹膜识别在用户使用时提供有效人机接口引导指示提高识别速度和识别率，更进一步提高用户使用体验和使用方便性。尽管虹膜识别近红外成像模组在景深范围内成像物距会改变会导致成像图像范围改变，但在上述可见光成像模组采集和显示经过预定像素调整的可见光虹膜图像具有相同的图像范围改变，以保持引导显示时图像范围和实际虹膜识别近红外成像模组成像的图像范围一致，避免两者不一致性导致的图像引导指示错误。
更进一步本发明采用可见光成像模组中心相对近红外成像模组中心或显示屏显示区域中心预定的物理光学映射变换，克服可见光成像模组中心相对近红外成像模组中心或显示屏显示区域中心物理位置不一致性导致用户使用时眼睛观察角度和注视视场引导指示错误。
具体实施例2
根据本发明的另一方面，提供了另一具体实施例2作为前述具体实施例1的变形和简化。
根据该具体实施例2，提供了一种用于移动终端虹膜识别的引导指示的人机接口的系统包括复合(all in one)功能的虹膜识别近红外-可见光一体化成像模组、显示屏和处理器芯片；其中所述的复合功能的虹膜识别近红外-可见光一体化成像模组至少包括：近红外-可见光光学成像透镜，近红外-可见光光学滤光片，RGB-IR格式图像成像传感器。更进一步解释，所述的复合功能的虹膜识别近红外-可见光一体化成像模组具有同步物理成像并输出近红外和可见光图像的功能。
本发明的这一具体实施例2作为前述具体实施例1的变形和简化，由于复合功能的虹膜识别近红外-可见光一体化成像模组采用共用近红外-可见光光学成像透镜，RGB-IR格式图像成像传感器，其等价于具体实施例1，EFLnir＝EFLvis，PSnir＝PSvis，PXnir＝PXvis，PYnir＝PYvis，即具有相同的光学成像参数，相同的光学图像采集区域，同时由于复合功 能的虹膜识别近红外-可见光一体化成像模组采用共用近红外-可见光光学成像透镜，RGB-IR格式图像成像传感器其光学中心完全重叠一致，其等价于具体实施例1，Xnir＝Xvis，Ynir＝Yvis，从此具有同样的光学中心坐标物理位置。
因此，具体实施例2作为一种具体实施例1的变形和简化，包括以下：预定像素调整为复合功能的虹膜识别近红外-可见光一体化成像模组中心相对显示屏显示区域中心预定的物理光学映射变换。
包括相对成像图像中心位置像素偏置和局部区域ROI像素选择处理获得的可见光虹膜图像。
具体实施例2其具体实现过程和细节在结合复合功能的虹膜识别近红外-可见光一体化成像模组具有近红外和可见光相对中心和参数相同的等价条件下，与具体实施例1具有等同。
上述基于具体实施例1的一种用于移动终端虹膜识别的引导指示的人机接口方法，同样适用于与上述具体实施例2的复合功能的虹膜识别近红外-可见光一体化成像模组。该人机接口方法的工作步骤与上述基于具体实施例1的相同，不再赘述。
本发明描述的具体实施方式内容和技术特征，可以在相同或等同理解的范围内被实施，如参数范围变化，步骤等同器件替代、光学映射等价变换也应被等同理解的。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (42)

  1. 一种用于移动终端虹膜识别的引导指示的人机接口系统，所述系统包括：近红外成像模组、可见光成像模组和显示屏，其中：
    所述可见光成像模组的光学图像采集区域覆盖所述近红外成像模组的光学图像采集区域；
    所述显示屏显示经过预定像素调整的可见光图像，所述预定像素调整为经过相对成像图像中心位置像素偏置和/或局部区域ROI像素选择处理获得的可见光图像。
  2. 如权利要求1所述的人机接口系统，其中：所述近红外成像模组至少包括：近红外光学成像透镜，近红外光学带通滤光片和近红外图像成像传感器，用于物理成像并输出近红外虹膜图像。
  3. 如权利要求1或2所述的人机接口系统，其中：所述可见光成像模组至少包括：可见光光学成像透镜，可见光光学带通滤光片和可见光图像成像传感器，用于物理成像并输出可见光图像。
  4. 如权利要求1所述的人机接口系统，还包括处理器芯片，其中所述处理器芯片连接所述近红外成像模组、所述可见光成像模组和所述显示屏，分别用于采集和处理所述近红外虹膜图像和所述可见光图像，并反馈控制所述显示屏显示可见光图像的引导指示人机接口。
  5. 如权利要求3所述的人机接口系统，其中：所述近红外成像模组和可见光成像模组参数被组合配置为：
    所述近红外成像模组的近红外光学成像透镜的EFLnir等效焦距大于可见光成像模组的可见光光学成像透镜的EFLvis等效焦距。
  6. 如权利要求3所述的人机接口系统，其中：所述近红外成像模组和可见光成像模组参数被组合配置为：所述近红外成像模组的近红外图像成像传感器的单位像素物理尺度PSnir和水平方向X轴像素数量PXnir乘积PSnir*PXnir小于可见光成像模组的图像成像传感器的单位像素物理尺度PSvis和水平方向像素数量PXvis乘积PSvis*PXvis；即，PSnir*PXnir＜PSvis*PXvis。
  7. 如权利要求3所述的人机接口系统，其中：所述近红外成像模组和可见光成像模组参数被组合配置为：所述近红外成像模组的图像成像 传感器的单位像素物理尺度PSnir和垂直方向Y轴像素数量PYnir乘积PSnir*PYnir小于可见光成像模组的图像成像传感器的单位像素物理尺度PSvis和与垂直方向像素数量PYvis乘积PSvis*PYvis；即，PSnir*PYnir＜PSvis*PYvis。
  8. 如权利要求1所述的人机接口系统，其中：所述相对成像图像中心位置像素偏置处理具体包括：
    显示屏显示的相对成像图像中心位置像素经过X-Y坐标轴位移量像素偏置调整，所述偏置调整根据所述可见光成像模组中心相对近红外成像模组中心和/或显示屏显示区域中心预定的物理光学映射来确定。
  9. 如权利要求8所述的人机接口系统，其中：根据所述可见光成像模组中心相对近红外成像模组中心预定的物理光学映射确定的所述的偏置调整X-Y轴位移量的计算如下：
    X_SHIFT＝βvis*(Xnir–Xvis)/PSvis
    βvis＝EFLvis/(D-EFLvis)
    其中：
    X_SHIFT为显示屏显示的相对成像图像中心X坐标轴位移量，单位像素，pixel；
    Xnir为近红外成像模组的光学中心X坐标轴物理位置，单位厘米，cm；
    Xvis为可见光成像模组的光学中心X坐标轴物理位置，单位厘米，cm；
    βvis为可见光成像模组光学放大倍率，无单位；
    EFLvis为可见光成像模组光学成像透镜的等效焦距，单位毫米，mm；
    D为光学成像物距，单位厘米，cm；
    PSvis为可见光成像模组图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  10. 如权利要求8所述的人机接口系统，其中：根据所述可见光成像模组中心相对近红外成像模组中心预定的物理光学映射确定的所述的偏置调整X-Y轴位移量的计算如下：
    Y_SHIFT＝βvis*(Ynir–Yvis)/PSvis
    βvis＝EFLvis/(D-EFLvis)
    其中：
    Y_SHIFT为显示屏显示的相对成像图像中心Y坐标轴位移量，单位像 素，pixel；
    Ynir为近红外成像模组的光学中心Y坐标轴物理位置，单位厘米，cm；
    Yvis为可见光成像模组的光学中心Y坐标轴物理位置，单位厘米，cm；
    βvis为可见光成像模组光学放大倍率，无单位；
    EFLvis为可见光成像模组光学成像透镜的等效焦距，单位毫米，mm；
    D为光学成像物距，单位厘米，cm；
    PSvis为可见光成像模组图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  11. 如权利要求8所述的人机接口系统，其中：根据所述可见光成像模组中心相对显示屏显示区域中心预定的物理光学映射确定的所述的偏置调整X-Y轴位移量的计算如下：
    X_SHIFT＝βvis*(Xdis–Xvis)/PSvis
    βvis＝EFLvis/(D-EFLvis)
    其中：
    X_SHIFT为显示屏显示的相对成像图像中心X坐标轴位移量，单位像素，pixel；
    Xdis为显示屏显示区域的光学中心X坐标轴物理位置，单位厘米，cm；
    Xvis为可见光成像模组的光学中心X坐标轴物理位置，单位厘米，cm；
    其中，显示屏显示区域和可见光成像模组的光学中心的X坐标轴物理位置范围尽量接近以优化效果；
    βvis为可见光成像模组光学放大倍率，无单位；
    EFLvis为可见光成像模组光学成像透镜的等效焦距，单位毫米，mm；
    D为光学成像物距，单位厘米，cm；
    PSvis为可见光成像模组图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  12. 如权利要求8所述的人机接口系统，其中：根据所述可见光成像模组中心相对显示屏显示区域中心预定的物理光学映射确定的所述的偏置调整X-Y轴位移量的计算如下：
    Y_SHIFT＝βvis*(Ydis–Yvis)/PSvis
    βvis＝EFLvis/(D-EFLvis)
    其中：
    Y_SHIFT为显示屏显示的相对成像图像中心Y坐标轴位移量，单位像素，pixel；
    Ydis为显示屏显示区域的光学中心Y坐标轴物理位置，单位厘米，cm；
    Yvis为可见光成像模组的光学中心Y坐标轴物理位置，单位厘米，cm；
    其中，显示屏显示区域和可见光成像模组的光学中心的Y坐标轴物理位置范围尽量接近以优化效果；
    βvis为可见光成像模组光学放大倍率，无单位；
    EFLvis为可见光成像模组光学成像透镜的等效焦距，单位毫米，mm；
    D为光学成像物距，单位厘米，cm；
    PSvis为可见光成像模组图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  13. 如权利要求8所述的人机接口系统，其中：根据所述可见光成像模组中心相对近红外成像模组中心和显示屏显示区域中心预定的物理光学映射确定的所述的偏置调整X-Y轴位移量等价于所述可见光成像模组中心相对近红外成像模组中心间物理光学映射，和近红外成像模组中心相对显示屏显示区域中心间物理光学映射的组合变换。
  14. 如权利要求1所述的人机接口系统，其中：所述相对成像图像局部区域ROI像素选择处理具体包括：
    显示屏显示的所述相对成像图像局部区域ROI像素选择为根据所述可见光成像模组相对近红外成像模组和/或显示屏显示区域中心间物理光学映射来确定。
  15. 如权利要求14所述的人机接口系统，其中：根据所述可见光成像模组中心相对近红外成像模组中心预定的物理光学映射确定的所述的选择局部区域量的计算如下：
    X_ROI＝βvis*PSnir*PXnir/(βnir*PSvis)
    βvis＝EFLvis/(D-EFLvis)
    βnir＝EFLnir/(D-EFLnir)
    其中：
    X_ROI为显示屏显示的相对成像图像局部区域ROI，单位像素，pixel；
    PXnir为近红外成像模组的水平方向X轴像素数量，单位像素，pixel；
    βnir为近红外成像模组的光学放大倍率，无单位；
    βvis为可见光成像模组的光学放大倍率，无单位；
    EFLnir为近红外成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    EFLvis为可见光成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    D为成像物距，单位厘米，cm；
    PSnir为近红外成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    PSvis为可见光成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  16. 如权利要求14所述的人机接口系统，其中：根据所述可见光成像模组中心相对近红外成像模组中心预定的物理光学映射确定的所述的选择局部区域量的计算如下：
    Y_ROI＝βvis*PSnir*PYnir/(βnir*PSvis)
    βvis＝EFLvis/(D-EFLvis)
    βnir＝EFLnir/(D-EFLnir)
    其中：
    Y_ROI为显示屏显示的相对成像图像局部区域ROI，单位像素，pixel；
    PYnir为近红外成像模组的垂直方向Y轴像素数量，单位像素，pixel；
    βnir为近红外成像模组的光学放大倍率，无单位；
    βvis为可见光成像模组的光学放大倍率，无单位；
    EFLnir为近红外成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    EFLvis为可见光成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    D为成像物距，单位厘米，cm；
    PSnir为近红外成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    PSvis为可见光成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  17. 如权利要求14所述的人机接口系统，其中：根据所述可见光成 像模组中心相对显示屏显示区域中心的物理光学映射确定的所述的选择局部区域量的计算如下：
    X_ROI＝βvis/PSvis*[(PSnir*PXnir/βnir)-abs(Xnir-Xdis)]
    βvis＝EFLvis/(D-EFLvis)
    βnir＝EFLnir/(D-EFLnir)
    其中：
    X_ROI为显示屏显示的相对成像图像局部区域ROI，单位像素，pixel；
    PXnir为虹膜识别近红外成像模组的水平方向X轴像素数量，单位像素，pixel；
    βnir为虹膜识别近红外成像模组的光学放大倍率，无单位；
    βvis为可见光成像模组的光学放大倍率，无单位；
    EFLnir为虹膜识别近红外成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    EFLvis为可见光成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    D为成像物距，单位厘米，cm；
    PSnir为虹膜识别近红外成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    PSvis为可见光成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    Xnir为虹膜识别近红外成像模组的光学中心X坐标轴物理位置，单位厘米，cm；
    Xdis为显示屏显示区域的光学中心X坐标轴物理位置，单位厘米，cm；
    abs()为绝对值函数，用于表示数学绝对值计算。
  18. 如权利要求14所述的人机接口系统，其中：根据所述可见光成像模组中心相对显示屏显示区域中心的物理光学映射确定的所述的选择局部区域量的计算如下：
    Y_ROI＝βvis/PSvis*[(PSnir*PYnir/βnir)-abs(Ynir-Ydis)]
    βvis＝EFLvis/(D-EFLvis)
    βnir＝EFLnir/(D-EFLnir)
    其中：
    Y_ROI为显示屏显示的相对成像图像局部区域ROI，单位像素，pixel；
    PYnir为虹膜识别近红外成像模组的垂直方向Y轴像素数量，单位像素，pixel；
    βnir为虹膜识别近红外成像模组的光学放大倍率，无单位；
    βvis为可见光成像模组的光学放大倍率，无单位；
    EFLnir为虹膜识别近红外成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    EFLvis为可见光成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    D为成像物距，单位厘米，cm；
    PSnir为虹膜识别近红外成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    PSvis为可见光成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    Ynir为虹膜识别近红外成像模组的光学中心Y坐标轴物理位置，单位厘米，cm；
    Ydis为显示屏显示区域的光学中心Y坐标轴物理位置，单位厘米，cm；
    abs()为绝对值函数，用于表示数学绝对值计算。
  19. 如权利要求12所述的人机接口系统，其中：所述根据所述可见光成像模组中心相对近红外成像模组中心和显示屏显示区域中心的物理光学映射预定的物理光学映射确定的所述的选择局部区域等价于所述可见光成像模组相对近红外成像模组间物理光学映射，和近红外成像模组相对显示屏显示区域中心间物理光学映射的组合变换。
  20. 如权利要求1所述的人机接口系统，其中：所述可见光成像模组的光学图像采集区域大于所述近红外成像模组的光学图像采集区域。
  21. 如权利要求1-5、8-20其中任一所述的人机接口系统，其中：所述可见光成像模组和所述近红外成像模组是一体化成像模组，其中所述可见光成像模组和所述近红外成像模组相同的光学成像参数，相同的光学图像采集区域，以及同样的光学中心坐标物理位置，所述预定像素调整为所述一体化成像模组中心相对显示屏显示区域中心预定的物理光学映射变换。
  22. 一种用于移动终端的引导指示的人机接口方法，所述移动终端包括近红外成像模组和可见光成像模组，其中所述可见光成像模组的光学图像采集区域覆盖所述近红外成像模组的光学图像采集区域，所述方法包括如下步骤：
    a)采集并物理成像、输出近红外虹膜图像；
    b)采集并物理成像、输出可见光图像；
    c)显示经过预定像素调整的可见光图像，所述预定像素调整为经过相对成像图像中心位置像素偏置和/或局部区域ROI像素选择处理。
  23. 如权利要求22所述的人机接口方法，其中：所述近红外成像模组至少包括：近红外光学成像透镜，近红外光学带通滤光片和近红外图像成像传感器，用于物理成像并输出近红外虹膜图像。
  24. 如权利要求22或23所述的人机接口方法，其中：所述可见光成像模组至少包括：可见光光学成像透镜，可见光光学带通滤光片和可见光图像成像传感器，用于物理成像并输出可见光图像。
  25. 如权利要求22所述的人机接口方法，其中：所述移动终端还包括处理器芯片，其中所述处理器芯片连接所述近红外成像模组、所述可见光成像模组和显示屏，分别用于采集和处理所述近红外虹膜图像和所述可见光图像，并反馈控制所述显示屏显示可见光图像的引导指示人机接口。
  26. 如权利要求23所述的人机接口方法，其中：所述近红外成像模组和可见光成像模组参数被组合配置为：
    所述近红外成像模组的近红外光学成像透镜的EFLnir等效焦距大于可见光成像模组的可见光光学成像透镜的EFLvis等效焦距。
  27. 如权利要求23所述的人机接口方法，其中：所述近红外成像模组和可见光成像模组参数被组合配置为：所述近红外成像模组的近红外图像成像传感器的单位像素物理尺度PSnir和水平方向X轴像素数量PXnir乘积PSnir*PXnir小于可见光成像模组的图像成像传感器的单位像素物理尺度PSvis和水平方向像素数量PXvis乘积PSvis*PXvis；即，PSnir*PXnir＜PSvis*PXvis。
  28. 如权利要求23所述的人机接口方法，其中：所述近红外成像模组和可见光成像模组参数被组合配置为：所述近红外成像模组的图像成 像传感器的单位像素物理尺度PSnir和垂直方向Y轴像素数量PYnir乘积PSnir*PYnir小于可见光成像模组的图像成像传感器的单位像素物理尺度PSvis和与垂直方向像素数量PYvis乘积PSvis*PYvis；即，PSnir*PYnir＜PSvis*PYvis。
  29. 如权利要求22所述的人机接口方法，其中：所述相对成像图像中心位置像素偏置处理具体包括：
    显示的相对成像图像中心位置像素经过X-Y坐标轴位移量像素偏置调整，所述偏置调整根据所述可见光成像模组中心相对近红外成像模组中心和/或显示屏显示区域中心预定的物理光学映射来确定。
  30. 如权利要求29所述的人机接口方法，其中：根据所述可见光成像模组中心相对近红外成像模组中心预定的物理光学映射确定的所述的偏置调整X-Y轴位移量的计算如下：
    X_SHIFT＝βvis*(Xnir–Xvis)/PSvis
    βvis＝EFLvis/(D-EFLvis)
    其中：
    X_SHIFT为显示屏显示的相对成像图像中心X坐标轴位移量，单位像素，pixel；
    Xnir为近红外成像模组的光学中心X坐标轴物理位置，单位厘米，cm；
    Xvis为可见光成像模组的光学中心X坐标轴物理位置，单位厘米，cm；
    βvis为可见光成像模组光学放大倍率，无单位；
    EFLvis为可见光成像模组光学成像透镜的等效焦距，单位毫米，mm；
    D为光学成像物距，单位厘米，cm；
    PSvis为可见光成像模组图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  31. 如权利要求29所述的人机接口方法，其中：根据所述可见光成像模组中心相对近红外成像模组中心预定的物理光学映射确定的所述的偏置调整X-Y轴位移量的计算如下：
    Y_SHIFT＝βvis*(Ynir–Yvis)/PSvis
    βvis＝EFLvis/(D-EFLvis)
    其中：
    Y_SHIFT为显示屏显示的相对成像图像中心Y坐标轴位移量，单位像 素，pixel；
    Ynir为近红外成像模组的光学中心Y坐标轴物理位置，单位厘米，cm；
    Yvis为可见光成像模组的光学中心Y坐标轴物理位置，单位厘米，cm；
    βvis为可见光成像模组光学放大倍率，无单位；
    EFLvis为可见光成像模组光学成像透镜的等效焦距，单位毫米，mm；
    D为光学成像物距，单位厘米，cm；
    PSvis为可见光成像模组图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  32. 如权利要求29所述的人机接口方法，其中：根据所述可见光成像模组中心相对显示屏显示区域中心预定的物理光学映射确定的所述的偏置调整X-Y轴位移量的计算如下：
    X_SHIFT＝βvis*(Xdis–Xvis)/PSvis
    βvis＝EFLvis/(D-EFLvis)
    其中：
    X_SHIFT为显示屏显示的相对成像图像中心X坐标轴位移量，单位像素，pixel；
    Xdis为显示屏显示区域的光学中心X坐标轴物理位置，单位厘米，cm；
    Xvis为可见光成像模组的光学中心X坐标轴物理位置，单位厘米，cm；
    其中，显示屏显示区域和可见光成像模组的光学中心的X坐标轴物理位置范围尽量接近以优化效果；
    βvis为可见光成像模组光学放大倍率，无单位；
    EFLvis为可见光成像模组光学成像透镜的等效焦距，单位毫米，mm；
    D为光学成像物距，单位厘米，cm；
    PSvis为可见光成像模组图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  33. 如权利要求29所述的人机接口方法，其中：根据所述可见光成像模组中心相对显示屏显示区域中心预定的物理光学映射确定的所述的偏置调整X-Y轴位移量的计算如下：
    Y_SHIFT＝βvis*(Ydis–Yvis)/PSvis
    βvis＝EFLvis/(D-EFLvis)
    其中：
    Y_SHIFT为显示屏显示的相对成像图像中心Y坐标轴位移量，单位像素，pixel；
    Ydis为显示屏显示区域的光学中心Y坐标轴物理位置，单位厘米，cm；
    Yvis为可见光成像模组的光学中心Y坐标轴物理位置，单位厘米，cm；
    其中，显示屏显示区域和可见光成像模组的光学中心的Y坐标轴物理位置范围尽量接近以优化效果；
    βvis为可见光成像模组光学放大倍率，无单位；
    EFLvis为可见光成像模组光学成像透镜的等效焦距，单位毫米，mm；
    D为光学成像物距，单位厘米，cm；
    PSvis为可见光成像模组图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  34. 如权利要求29所述的人机接口方法，其中：根据所述可见光成像模组中心相对近红外成像模组中心和显示屏显示区域中心预定的物理光学映射确定的所述的偏置调整X-Y轴位移量等价于所述可见光成像模组中心相对近红外成像模组中心间物理光学映射，和近红外成像模组中心相对显示屏显示区域中心间物理光学映射的组合变换。
  35. 如权利要求29所述的人机接口方法，其中：所述相对成像图像局部区域ROI像素选择处理具体包括：
    显示的所述相对成像图像局部区域ROI像素选择为所述可见光成像模组相对近红外成像模组和/或显示屏显示区域中心间物理光学映射来确定。
  36. 如权利要求35所述的人机接口方法，其中：根据所述可见光成像模组中心相对近红外成像模组中心预定的物理光学映射确定的所述的选择局部区域量的计算如下：
    X_ROI＝βvis*PSnir*PXnir/(βnir*PSvis)
    βvis＝EFLvis/(D-EFLvis)
    βnir＝EFLnir/(D-EFLnir)
    其中：
    X_ROI为显示屏显示的相对成像图像局部区域ROI，单位像素，pixel；
    PXnir为近红外成像模组的水平方向X轴像素数量，单位像素，pixel；
    βnir为近红外成像模组的光学放大倍率，无单位；
    βvis为可见光成像模组的光学放大倍率，无单位；
    EFLnir为近红外成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    EFLvis为可见光成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    D为成像物距，单位厘米，cm；
    PSnir为近红外成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    PSvis为可见光成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  37. 如权利要求35所述的人机接口方法，其中：根据所述可见光成像模组中心相对近红外成像模组中心预定的物理光学映射确定的所述的选择局部区域量的计算如下：
    Y_ROI＝βvis*PSnir*PYnir/(βnir*PSvis)
    βvis＝EFLvis/(D-EFLvis)
    βnir＝EFLnir/(D-EFLnir)
    其中：
    Y_ROI为显示屏显示的相对成像图像局部区域ROI，单位像素，pixel；
    PYnir为近红外成像模组的垂直方向Y轴像素数量，单位像素，pixel；
    βnir为近红外成像模组的光学放大倍率，无单位；
    βvis为可见光成像模组的光学放大倍率，无单位；
    EFLnir为近红外成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    EFLvis为可见光成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    D为成像物距，单位厘米，cm；
    PSnir为近红外成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    PSvis为可见光成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel。
  38. 如权利要求35所述的人机接口方法，其中：根据所述可见光成 像模组中心相对显示屏显示区域中心的物理光学映射确定的所述的选择局部区域量的计算如下：
    X_ROI＝βvis/PSvis*[(PSnir*PXnir/βnir)-abs(Xnir-Xdis)]
    βvis＝EFLvis/(D-EFLvis)
    βnir＝EFLnir/(D-EFLnir)
    其中：
    X_ROI为显示屏显示的相对成像图像局部区域ROI，单位像素，pixel；
    PXnir为虹膜识别近红外成像模组的水平方向X轴像素数量，单位像素，pixel；
    βnir为虹膜识别近红外成像模组的光学放大倍率，无单位；
    βvis为可见光成像模组的光学放大倍率，无单位；
    EFLnir为虹膜识别近红外成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    EFLvis为可见光成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    D为成像物距，单位厘米，cm；
    PSnir为虹膜识别近红外成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    PSvis为可见光成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    Xnir为虹膜识别近红外成像模组的光学中心X坐标轴物理位置，单位厘米，cm；
    Xdis为显示屏显示区域的光学中心X坐标轴物理位置，单位厘米，cm；
    abs()为绝对值函数，用于表示数学绝对值计算。
  39. 如权利要求35所述的人机接口方法，其中：根据所述可见光成像模组中心相对显示屏显示区域中心的物理光学映射确定的所述的选择局部区域量的计算如下：
    Y_ROI＝βvis/PSvis*[(PSnir*PYnir/βnir)-abs(Ynir-Ydis)]
    βvis＝EFLvis/(D-EFLvis)
    βnir＝EFLnir/(D-EFLnir)
    其中：
    Y_ROI为显示屏显示的相对成像图像局部区域ROI，单位像素，pixel；
    PYnir为虹膜识别近红外成像模组的垂直方向Y轴像素数量，单位像素，pixel；
    βnir为虹膜识别近红外成像模组的光学放大倍率，无单位；
    βvis为可见光成像模组的光学放大倍率，无单位；
    EFLnir为虹膜识别近红外成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    EFLvis为可见光成像模组的光学成像透镜的等效焦距，单位毫米，mm；
    D为成像物距，单位厘米，cm；
    PSnir为虹膜识别近红外成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    PSvis为可见光成像模组的图像成像传感器的单位像素物理尺度，单位微米每像素，um/pixel；
    Ynir为虹膜识别近红外成像模组的光学中心Y坐标轴物理位置，单位厘米，cm；
    Ydis为显示屏显示区域的光学中心Y坐标轴物理位置，单位厘米，cm；
    abs()为绝对值函数，用于表示数学绝对值计算。
  40. 如权利要求35所述的人机接口方法，其中：所述根据所述可见光成像模组中心相对近红外成像模组中心和显示屏显示区域中心的物理光学映射预定的物理光学映射确定的所述的选择局部区域等价于所述可见光成像模组相对近红外成像模组间物理光学映射，和近红外成像模组相对显示屏显示区域中心间物理光学映射的组合变换。
  41. 如权利要求22所述的人机接口方法，其中：所述可见光成像模组的光学图像采集区域大于所述近红外成像模组的光学图像采集区域。
  42. 如权利要求22-26和31-41其中任一所述的人机接口方法，其中：所述可见光成像模组和所述近红外成像模组是一体化成像模组，其中所述可见光成像模组和所述近红外成像模组相同的光学成像参数，相同的光学图像采集区域，以及同样的光学中心坐标物理位置，所述预定像素调整为所述一体化成像模组中心相对显示屏显示区域中心预定的物理光学映射变换。
PCT/CN2017/081690 2016-04-22 2017-04-24 用于移动终端虹膜识别的引导指示人机接口系统和方法 WO2017182004A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/314,097 US10819894B2 (en) 2016-04-22 2017-04-24 Human machine interface system and method of providing guidance and instruction for iris recognition on mobile terminal
PH12018502238A PH12018502238A1 (en) 2016-04-22 2018-10-19 Human machine interface system and method of providing guidance and instruction for iris recognition on mobile terminal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201610260196.7A CN105956528A (zh) 2016-04-22 2016-04-22 一种用于移动终端虹膜识别的引导指示的人机接口系统
CN201610260196.7 2016-04-22
CN201610965134.6 2016-11-04
CN201610965134 2016-11-04

Publications (1)

Publication Number Publication Date
WO2017182004A1 true WO2017182004A1 (zh) 2017-10-26

Family

ID=60115646

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/081690 WO2017182004A1 (zh) 2016-04-22 2017-04-24 用于移动终端虹膜识别的引导指示人机接口系统和方法

Country Status (3)

Country Link
US (1) US10819894B2 (zh)
PH (1) PH12018502238A1 (zh)
WO (1) WO2017182004A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764222A (zh) * 2018-08-10 2018-11-06 Oppo广东移动通信有限公司 显示屏、电子装置及虹膜识别方法
CN113792592A (zh) * 2021-08-09 2021-12-14 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414858B (zh) * 2020-03-19 2023-12-19 北京迈格威科技有限公司 人脸识别方法、目标图像的确定方法、装置和电子系统
CN116615760A (zh) * 2020-12-07 2023-08-18 华为技术有限公司 成像结构

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199553A (zh) * 2014-09-15 2014-12-10 沈洪泉 用于移动终端虹膜识别的引导指示人机接口装置及方法
CN104394311A (zh) * 2014-09-15 2015-03-04 沈洪泉 用于移动终端的虹膜识别成像模组及图像获取方法
CN105303155A (zh) * 2014-06-03 2016-02-03 虹膜识别系统公司 虹膜识别设备及其操作方法
CN105357426A (zh) * 2014-11-03 2016-02-24 倪蔚民 用于移动终端可见光和生物识别组合系统的光电成像方法
CN105956528A (zh) * 2016-04-22 2016-09-21 沈洪泉 一种用于移动终端虹膜识别的引导指示的人机接口系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061210A1 (en) * 2015-08-26 2017-03-02 Intel Corporation Infrared lamp control for use with iris recognition authentication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303155A (zh) * 2014-06-03 2016-02-03 虹膜识别系统公司 虹膜识别设备及其操作方法
CN104199553A (zh) * 2014-09-15 2014-12-10 沈洪泉 用于移动终端虹膜识别的引导指示人机接口装置及方法
CN104394311A (zh) * 2014-09-15 2015-03-04 沈洪泉 用于移动终端的虹膜识别成像模组及图像获取方法
CN105357426A (zh) * 2014-11-03 2016-02-24 倪蔚民 用于移动终端可见光和生物识别组合系统的光电成像方法
CN105956528A (zh) * 2016-04-22 2016-09-21 沈洪泉 一种用于移动终端虹膜识别的引导指示的人机接口系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764222A (zh) * 2018-08-10 2018-11-06 Oppo广东移动通信有限公司 显示屏、电子装置及虹膜识别方法
CN108764222B (zh) * 2018-08-10 2024-03-22 Oppo广东移动通信有限公司 显示屏、电子装置及虹膜识别方法
CN113792592A (zh) * 2021-08-09 2021-12-14 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置

Also Published As

Publication number Publication date
PH12018502238A1 (en) 2019-08-19
US10819894B2 (en) 2020-10-27
US20190230266A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
CN106503680B (zh) 用于移动终端虹膜识别的引导指示人机接口系统和方法
WO2017182004A1 (zh) 用于移动终端虹膜识别的引导指示人机接口系统和方法
CN104933344A (zh) 基于多生物特征模态的移动终端用户身份认证装置及方法
US11715231B2 (en) Head pose estimation from local eye region
KR102538405B1 (ko) 생체 인증 시스템, 생체 인증 방법 및 프로그램
US20140341440A1 (en) Identity caddy: a tool for real-time determination of identity in the mobile environment
WO2016041444A2 (zh) 用于移动终端虹膜识别的引导指示人机接口装置及方法
CN111226212A (zh) 增强现实虚拟现实非接触掌纹识别
US11238143B2 (en) Method and system for authenticating a user on a wearable heads-up display
CN204791017U (zh) 基于多生物特征模态的移动终端用户身份认证装置
JP6307805B2 (ja) 画像処理装置、電子機器、眼鏡特性判定方法および眼鏡特性判定プログラム
EP4095744A1 (en) Automatic iris capturing method and apparatus, computer-readable storage medium, and computer device
CN112106046A (zh) 用于执行生物特征认证的电子设备及其操作方法
CN103678971B (zh) 用户信息提取方法及用户信息提取装置
Perra et al. Adaptive eye-camera calibration for head-worn devices
KR102132613B1 (ko) 생체인식기술을 활용한 사용자 인증방법 및 인증장치
US9838588B2 (en) User information acquisition method and user information acquisition apparatus
WO2015070623A1 (en) Information interaction
KR20200032923A (ko) 스마트 단말기를 이용한 비접촉 지문인증 방법
US11410466B2 (en) Electronic device for performing biometric authentication and method of operating the same
JP7428675B2 (ja) 生体認証システム、認証端末、および認証方法
Caya et al. Development of a wearable device for tracking eye movement using pupil lumination comparison algorithm
WO2023175939A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
WO2023047572A1 (ja) 認証システム、認証装置、認証方法、及び記録媒体
JP5299632B2 (ja) 個人認証装置、プログラム及び記録媒体

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17785488

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17785488

Country of ref document: EP

Kind code of ref document: A1