WO2014174674A1 - 画像処理プログラム、画像処理方法及び情報端末 - Google Patents

画像処理プログラム、画像処理方法及び情報端末 Download PDF

Info

Publication number
WO2014174674A1
WO2014174674A1 PCT/JP2013/062431 JP2013062431W WO2014174674A1 WO 2014174674 A1 WO2014174674 A1 WO 2014174674A1 JP 2013062431 W JP2013062431 W JP 2013062431W WO 2014174674 A1 WO2014174674 A1 WO 2014174674A1
Authority
WO
WIPO (PCT)
Prior art keywords
information terminal
distance
image
palm
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/062431
Other languages
English (en)
French (fr)
Inventor
由花 條
壮一 ▲浜▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to EP13882966.8A priority Critical patent/EP2991027B1/en
Priority to PCT/JP2013/062431 priority patent/WO2014174674A1/ja
Priority to KR1020157030235A priority patent/KR101711781B1/ko
Priority to CN201380075945.3A priority patent/CN105144228B/zh
Priority to JP2015513466A priority patent/JP6052399B2/ja
Publication of WO2014174674A1 publication Critical patent/WO2014174674A1/ja
Priority to US14/885,004 priority patent/US9697415B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Definitions

  • the present invention relates to an image processing program, an image processing method, and an information terminal.
  • biometric authentication is being introduced for authentication such as unlocking and logging in personal information terminals such as smartphones and slate terminals and tablet terminals.
  • the above technology has a limit in improving the accuracy of authentication.
  • sensors for imaging a living body are arranged on the back surface, that is, the back surface of the screen.
  • the back surface that is, the back surface of the screen.
  • Guidance does not work when the sensor is on the back. Therefore, in the above technology, the biometric information used for authentication cannot be correctly extracted, or the inconvenience that the extracted feature amount does not match the feature amount at the time of registration cannot be solved, and the authentication accuracy is reduced. There is.
  • an object of the present invention is to provide an image processing program, an image processing method, and an information terminal that improve authentication accuracy.
  • An image processing program is captured by the first sensor on an information terminal including a screen, a first sensor provided on a back surface of the surface on which the screen is disposed, and a second sensor.
  • the scale of the image and the display position are determined according to the position of the second subject imaged by the second sensor provided in the information terminal. Execute the process to be changed.
  • FIG. 1 is a block diagram illustrating a functional configuration of the information terminal according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a palm image display area determination method.
  • FIG. 3 is a diagram illustrating an example of a palm image display area determination method.
  • FIG. 4 is a diagram illustrating an example of a palm image displayed on the touch panel.
  • FIG. 5 is a diagram illustrating an example of a palm image displayed on the touch panel.
  • FIG. 6 is a diagram illustrating an example of a palm image displayed on the touch panel.
  • FIG. 7 is a flowchart illustrating the authentication processing procedure according to the first embodiment.
  • FIG. 8 is a block diagram illustrating a functional configuration of the information terminal according to the second embodiment.
  • FIG. 8 is a block diagram illustrating a functional configuration of the information terminal according to the second embodiment.
  • FIG. 9 is a flowchart illustrating the authentication processing procedure according to the second embodiment.
  • FIG. 10 is a block diagram illustrating a functional configuration of the information terminal according to the third embodiment.
  • FIG. 11 is a flowchart illustrating a procedure of authentication processing according to the third embodiment.
  • FIG. 12 is a schematic diagram illustrating an example of a computer that executes an image processing program according to the first to third embodiments.
  • FIG. 1 is a block diagram illustrating a functional configuration of the information terminal according to the first embodiment.
  • An information terminal 10 shown in FIG. 1 is a terminal device that executes information processing.
  • palm vein authentication is applied to the screen of the information terminal 10, that is, screen unlocking or login authentication.
  • the information terminal 10 displays an image captured by the vein sensor 13 on the screen as a palm alignment aim when the palm sensor 13 provided on the back of the screen images the palm.
  • the information terminal 10 changes the position and size of the image displayed on the screen according to the position of the facial organ shown in the image captured by the camera 12 provided on the screen side, for example, the position of the eyes.
  • the image processing to be executed is executed.
  • the palm is included in one aspect of the first subject.
  • the face is included in the second subject.
  • the information terminal 10 can be implemented by installing an image processing program provided as package software or online software on a desired computer.
  • an image processing program provided as package software or online software
  • mobile communication terminals such as smartphones, mobile phones, and PHS (Personal Handyphone System)
  • PHS Personal Handyphone System
  • a tablet terminal or a slate terminal can be caused to function as the information terminal 10.
  • a tablet terminal and a slate terminal are illustrated as examples of implementation of the information terminal 10, but the image processing program may be installed in a fixed terminal such as a personal computer.
  • the information terminal 10 includes a touch panel 11, a camera 12, a vein sensor 13, a distance sensor 14, an appropriate arrangement storage unit 15, a viewpoint detection unit 16, a display control unit 17, and authentication. Part 18.
  • the information terminal 10 may include various functional units included in known tablet terminals and slate terminals in addition to the functional units illustrated in FIG.
  • the information terminal 10 when the information terminal 10 is implemented as a mobile communication terminal, it further includes functional units such as an antenna, a wireless communication unit that performs communication via a mobile communication network, and a GPS (Global Positioning System) receiver. It does not matter.
  • the touch panel 11 is a displayable and inputable device.
  • the touch panel 11 displays an image output by an OS (Operating System) or an application program, including an image processing program executed on the information terminal 10.
  • the touch panel 11 accepts touch operations such as tap, flick, sweep, pinch-in and pinch-out performed on the screen of the screen.
  • the camera 12 is an imaging device equipped with an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the camera 12 can be equipped with three or more light receiving elements such as R (red), G (green), and B (blue).
  • R red
  • G green
  • B blue
  • an in-camera provided on the same surface side as the screen of the tablet terminal or the slate terminal can be used.
  • the information terminal 10 does not necessarily have the camera 12 when an image can be acquired via a network or a storage device.
  • the camera 12 starts imaging when a touch operation corresponding to a command such as unlocking of the screen or login authentication is performed on the touch panel 11.
  • the imaging range of the camera 12 provided on the screen side of the information terminal 10 includes the face of the user of the information terminal 10 viewing the screen display, the neck, clothes, and the like.
  • the image captured by the camera 12 also includes the face of the user of the information terminal 10, the neck, clothes, and the like.
  • an image captured by the camera 12 may be referred to as a “face image”.
  • the vein sensor 13 is a sensor that images a vein blood vessel pattern existing inside the palm.
  • the vein sensor 13 includes illumination that emits near-infrared light and an imaging device that includes an image sensor that can capture near-infrared light.
  • an out camera provided on the back of the screen of a tablet terminal or a slate terminal can be used as the imaging device.
  • the vein sensor 13 is provided in the vicinity of the end of the information terminal 10.
  • the information terminal 10 is a rectangular housing
  • the information terminal 10 is provided on the surface opposite to the surface on which the screen is installed, that is, on the back surface and in the vicinity of one of the four corners of the housing. .
  • the palm is arranged at an appropriate size in the center of the imaging range of the vein sensor 13, the user of the information terminal 10 holding the palm over the vein sensor 13 on the back of the screen while viewing the screen displays the screen. Some of your fingertips may appear to protrude beyond.
  • the vein sensor 13 starts imaging when a touch operation corresponding to a command such as unlocking of the screen or login authentication is performed on the touch panel 11. That is, the vein sensor 13 emits near infrared light from illumination. As a result, the vein sensor 13 forms an image of the reflected light of the near-infrared light that has been reflected back from the surface of the palm or the inside of the imaging device that is activated in conjunction with the irradiation of the infrared light from the illumination. As a result, the reflected light imaged on the imaging device is photoelectrically converted to output an image showing the subject within the imaging range of the imaging device.
  • the hemoglobin in the vein absorbs near infrared rays, whereby an image in which the vein blood vessel pattern is emphasized can be obtained.
  • an image taken by the vein sensor 13 may be referred to as a “palm image”.
  • the authentication part including the vein is the palm, but the authentication part may be the back of the hand.
  • the camera 12 and the vein sensor 13 activate both of the two imaging devices when the screen is unlocked and login authentication is performed, and an image is captured by each of the two imaging devices. Is imaged.
  • an image is captured in synchronization between the camera 12 and the vein sensor 13.
  • a palm image frame imaged by the vein sensor 13 and a face image frame imaged by the camera 12 are associated with each other using a frame number or the like. With this association, each of the images having the same frame number can be used for subsequent processing as an image captured at the same time.
  • These face images and palm images are imaged using a general information terminal in which one camera is activated by switching the shooting mode and one camera is exclusively used while the other camera is stopped. Draw a line.
  • tap operations such as unlocking and login authentication are exemplified as triggers for starting the palm image shooting, but the triggers are not limited to this example.
  • it may be started by an operation on a physical key such as a button (not shown).
  • a specific gesture such as a wink or a peace sign is detected from an image captured by any of the imaging devices, palm alignment is performed. May start.
  • the distance sensor 14 is a sensor that measures the distance between two points.
  • the distance sensor 14 emits waves such as infrared rays, radio waves, and ultrasonic waves in a direction instructed from a viewpoint detection unit 16 described later, that is, a direction corresponding to a position where the viewpoint is detected on the face image. Send it out.
  • the distance sensor 14 receives the wave reflected from the subject, and measures the distance between the distance sensor 14 and the viewpoint by calculating the time difference or phase difference between the sent wave and the received wave.
  • the proper placement storage unit 15 is a storage unit that stores the proper placement of the living body with respect to the vein sensor 13.
  • the “appropriate arrangement” mentioned here refers to an arrangement in which a part of the hand appears exposed through the screen when the user holds the palm over the vein sensor in a standard posture that the user takes when using the information terminal 10. For example, when the user of the information terminal 10 holds the information terminal 10 with one hand and holds the palm of the hand over the vein sensor 13 in a posture where the finger of the other hand is extended while viewing the screen display, the thumb and index finger An arrangement in which the fingertips of the middle finger and ring finger are exposed through the screen can be mentioned.
  • the appropriate distance between the vein sensor 13 and the palm is determined by the performance of the vein sensor 13 such as the resolution of the image sensor and the number and type of lenses. Note that here, not only when the palm vein authentication is performed, but also when the palm image of the owner of the information terminal 10 is registered in advance, the image is captured in an environment similar to the proper arrangement. A palm image is registered. Hereinafter, a palm image registered in advance may be referred to as a “registered palm image” in order to collate with a palm image captured by the vein sensor 13.
  • the proper arrangement storage unit 15 can specify specific information that can specify a rectangle in which the palm surface held up toward the vein sensor 13 is modeled, for example, three-dimensional coordinates of a vertex forming the rectangle or a center of gravity of the rectangle.
  • the three-dimensional coordinates and the height and width of the rectangle are stored.
  • relative coordinates with respect to the information terminal 10 are adopted as the coordinates here.
  • the case where the palm arrangement with respect to the vein sensor 13 is modeled as a rectangle has been illustrated, but an arbitrary shape such as an ellipse, a circle, or a polygon can be used for the modeling.
  • the viewpoint detection unit 16 is a processing unit that detects the position of the viewpoint of the user of the information terminal 10.
  • the viewpoint detection unit 16 performs image processing such as skin color detection and template matching on the face image captured by the camera 12.
  • the viewpoint detection unit 16 extracts a face portion included in the face image by executing skin color detection from the face image.
  • the viewpoint detection unit 16 performs template matching on the face area extracted by the skin color detection, so that the shape and size of the facial organs such as eyes, nose, mouth, and ears are obtained from the facial image. Extract geometric features such as As a result, the positions of the right eye, the left eye, or both eyes on the face image are specified.
  • the viewpoint detection unit 16 After specifying the position of the eye on the face image in this way, the viewpoint detection unit 16 causes the distance sensor 14 to send out a wave in a direction corresponding to the position of the eye on the face image, thereby the distance sensor 14 and the information terminal.
  • the distance between the eyes of 10 users is measured by the distance sensor 14.
  • the direction in which the distance sensor 14 sends out the wave may be a direction corresponding to the center of the right eye on the face image, a direction corresponding to the center of the left eye, or an intermediate point between both eyes. It does not matter if the direction corresponds to.
  • the viewpoint detection unit 16 obtains information from the distance to the user's eyes of the information terminal 10 measured by the distance sensor 14, the position of the eyes on the face image detected earlier, and the coordinates of the distance sensor 14. The coordinates on the three-dimensional space where the user's eyes of the terminal 10 are located, that is, the position of the viewpoint is calculated.
  • the display control unit 17 is a processing unit that performs display control on the touch panel 11. As an aspect, the display control unit 17 obtains a palm image captured by the vein sensor 13 from the position of the viewpoint detected by the viewpoint detection unit 16 and the appropriate arrangement of the palm stored in the appropriate arrangement storage unit 15. The size and position to be displayed on the touch panel 11 are determined.
  • FIGS. 2 and 3 are diagrams showing an example of a method for determining a display area of a palm image.
  • 2 shows a side view when the screen of the information terminal 10 is viewed from the side
  • FIG. 3 shows a perspective view when the screen of the information terminal 10 is viewed from an oblique direction.
  • the camera 12 and the vein sensor 13 are not shown.
  • the position and size of the display area 220 projected on the screen of the touch panel 11. are determined as the display position and the display size.
  • the position and size of the display area 220 displayed on the touch panel 11 are defined by the four intersections 220A to 220D.
  • intersection 220A indicates a point where a line segment connecting the viewpoint 200 and the vertex 210A intersects the screen of the touch panel 11
  • an intersection 220B indicates a point where the line segment connecting the viewpoint 200 and the vertex 210B intersects the screen of the touch panel 11.
  • the intersection 220C indicates a point where a line segment connecting the viewpoint 200 and the vertex 210C intersects the screen of the touch panel 11
  • the intersection 220D indicates a point where a line segment connecting the viewpoint 200 and the vertex 210D intersects the screen of the touch panel 11.
  • the display control unit 17 sets the straight line to the screen of the touch panel 11 for each straight line connecting the viewpoint detected by the viewpoint detection unit 16 and the apex included in the proper arrangement stored in the proper arrangement storage unit 15.
  • the display area 220 of the palm image is determined by calculating the coordinates of the intersecting point.
  • the position and size of the display area 220 are determined by the arrangement of the four intersections 220A to 220D. For example, the closer the viewpoint 200 is to the screen, the smaller the size of the display area 220. The further the viewpoint is away from the screen, the closer the display area 220 is to the size of the proper arrangement 210.
  • the display control unit 17 causes the touch panel 11 to display a palm image captured by the vein sensor 13 according to the previously determined display position and display size. For example, in the example of FIGS. 2 and 3, the palm image captured by the vein sensor 13 is displayed in the display area 220 including the intersections 220A to 220D.
  • FIG. 4 to 6 are diagrams showing examples of palm images displayed on the touch panel 11.
  • FIG. 4 shows a mode in which the palm is held at a position overlapping the proper arrangement 210.
  • the finger end of the palm image displayed on the touch panel 11 and the actual fingertip exposed through the screen are connected without a sense of incongruity. Looks.
  • the user of the information terminal 10 can confirm the situation in which the palm is presented at an appropriate position. As a result, the user can keep the palm at the current presentation position until the palm vein authentication is completed. .
  • FIG. 5 shows a mode in which the palm is held at a position closer to the screen than the proper arrangement 210.
  • the finger of the palm image displayed on the touch panel 11 is started compared to the actual scale of the fingertip exposed through the screen.
  • the palm scale is displayed larger.
  • the distance from the vein sensor 13 to the fingertip is shorter than the distance from the viewpoint of the user of the information terminal 10 to the fingertip, and thus the vein sensor 13 is often provided with a wide-angle lens.
  • a palm image can be displayed.
  • the user of the information terminal 10 can check the situation where the palm is presenting closer than the appropriate position, and as a result, the user presents the information terminal 10 away from the casing of the information terminal 10 than the current presentation position. It can be judged that it is good to do.
  • FIG. 6 shows a state in which the palm is held at a position farther from the screen than the proper arrangement 210.
  • the finger of the palm image displayed on the touch panel 11 is compared with the actual scale of the fingertip exposed through the screen.
  • the palm scale is displayed small. For this reason, even if the palm is presented farther away from the screen than the proper arrangement 210, it is difficult for the user who is looking at the fingertip through the screen to see the palm of the palm on a scale smaller than the actual scale of the fingertip that is visible over the screen. A palm image showing your fingertips can be displayed.
  • the user of the information terminal 10 can check the situation where the palm is presenting away from the proper position, and as a result, the information terminal 10 is presented closer to the casing of the information terminal 10 than the present presentation position. It can be judged that it is good to do.
  • FIGS. 4 to 6 unlike displaying a palm image directly in front of the user's viewpoint of the information terminal 10, from the front of the user of the information terminal 10 in the direction toward the proper arrangement. Shift to display the palm image. For this reason, the user of the information terminal 10 can present the palm while intuitively grasping the visual field of the vein sensor 13 that is installed on the back of the screen and is difficult to view. Also, as shown in FIGS. 4 to 6, the center position of the range in which the blood vessel pattern inside the palm is extracted is displayed superimposed on the palm image, so that the palm can be aligned with the position as a sight. it can.
  • the authentication unit 18 is a processing unit that performs palm vein authentication.
  • the authentication unit 18 extracts a feature amount related to a vein blood vessel pattern from a palm image captured by the vein sensor 13. For example, the authentication unit 18 extracts a blood vessel portion from the palm image and thins it, and extracts feature quantities such as the coordinates of branch points in the blood vessel, the length between the branch points, and the branch angle of the branch points as vein data. Then, the authentication unit 18 calculates a collation score between the vein data extracted from the palm image and the vein data of the owner of the information terminal 10 registered in advance.
  • not only one-to-one authentication but also one-to-N authentication can be performed by registering a plurality of vein data of persons who are permitted to use the information terminal 10.
  • the authentication part 18 determines with palm vein authentication having been successful, when the largest collation score among the collation scores calculated previously is more than a predetermined threshold value. Further, the authentication unit 18 determines that palm vein authentication has failed when the maximum matching score is less than or equal to a predetermined value.
  • the authentication result obtained by performing palm vein authentication in this manner by the authentication unit 18 is output to an OS or application program that performs lock release or login authentication.
  • the authentication unit 18 can employ any verification method such as a minutiae method, a pattern matching method, or a frequency analysis method.
  • the authentication unit 18 does not always immediately perform palm vein authentication. That is, every time a palm image is captured by the vein sensor 13, the authentication unit 18 determines whether or not the palm shown in the palm image is arranged at an appropriate position. For example, the authentication unit 18 performs palm vein authentication when the difference between the thickness of the finger shown in the palm image captured by the vein sensor 13 and the thickness of the finger of the vein data registered in advance is within a predetermined threshold. Can be executed. Further, the authentication unit 18 can execute palm vein authentication when receiving an input of a predetermined voice message, for example, “OK” from the user of the information terminal 10. Even if the palm vein authentication fails, the authentication unit 18 causes the display control unit 17 to display a palm image on the touch panel 11 until the number of palm vein authentication retries reaches a predetermined number. Can be retried.
  • the viewpoint detection unit 16, the display control unit 17, and the authentication unit 18 can be realized by causing a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like to execute an image processing program.
  • a CPU Central Processing Unit
  • MPU Micro Processing Unit
  • Each of the above functional units can be realized by hard wired logic such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • a semiconductor memory element or a storage device can be adopted as the proper arrangement storage unit 15.
  • VRAM Video Random Access Memory
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory etc.
  • examples of the storage device include storage devices such as a hard disk and an optical disk.
  • FIG. 7 is a flowchart illustrating the authentication processing procedure according to the first embodiment. As an example, this authentication process is started when a touch operation corresponding to a command such as unlocking the screen or login authentication is performed on the touch panel 11.
  • step S101 when a facial image is captured by the camera 12 and a palm image is captured by the vein sensor 13 (step S101), the viewpoint detection unit 16 performs the processing on the facial image captured in step S101. The position of the user's eyes is detected (step S102).
  • the viewpoint detection unit 16 causes the distance sensor 14 to send out a wave in a direction corresponding to the position of the eye on the face image detected in step S ⁇ b> 102, so that the eyes of the user of the distance sensor 14 and the information terminal 10 are used.
  • the distance sensor 14 is caused to measure the distance between them (step S103).
  • the viewpoint detection unit 16 obtains information from the distance to the user's eyes of the information terminal 10 measured in step S103, the eye position on the face image detected in step S102, and the coordinates of the distance sensor 14. The coordinates on the three-dimensional space where the eyes of the user of the terminal 10 are located, that is, the position of the viewpoint is calculated (step S104).
  • the display control unit 17 reads out the proper arrangement stored in the proper arrangement storage unit 15 (step S105). In addition, the display control unit 17 calculates the coordinates of the intersection of the straight line and the screen for each straight line connecting the viewpoint detected in step S104 and the vertex included in the appropriate arrangement read in step S105. By doing so, the display area of the palm image, that is, the display position and the display size are determined (step S106).
  • the display control unit 17 causes the touch panel 11 to display the palm image captured in step S101 according to the display position and display size determined in step S106 (step S107).
  • step S101 to step S107 is repeatedly executed until it is determined by the authentication unit 18 that the palm included in the palm image is placed at an appropriate position (No in step S108).
  • the authentication unit 18 executes the following process. That is, the authentication unit 18 performs palm vein authentication by comparing vein data extracted from the palm image captured in step S101 with vein data registered in advance (step S109), and the authentication result is sent to the information terminal 10. The data is output to the OS or application program operating above, and the process is terminated.
  • the information terminal 10 when the information terminal 10 according to the present embodiment captures the palm with the vein sensor 13 installed on the back surface of the screen, the information terminal 10 reflects the eyes displayed on the camera 12 installed on the same surface as the screen. The position and size of the palm image displayed on the screen are changed depending on the position. For example, when a part of the hand, for example, a fingertip, is exposed through the screen, the palm is positioned at the center of the palm image, and the palm or finger scale reflected in the palm image matches the actual fingertip scale. Can be aligned. For this reason, in the information terminal 10 which concerns on a present Example, even when the vein sensor 13 is installed in the back surface of a screen, the precision of alignment can be improved. Therefore, according to the information terminal 10 according to the present embodiment, the authentication accuracy can be improved.
  • the distance sensor 14 is used to detect the position of the viewpoint of the user of the information terminal 10.
  • the distance sensor 14 may not be provided. is there. Therefore, in this embodiment, the information terminal 20 that estimates the position of the user's viewpoint without using the distance sensor 14 will be described below.
  • FIG. 8 is a block diagram illustrating a functional configuration of the information terminal 20 according to the second embodiment.
  • the information terminal 20 shown in FIG. 8 is different from the information terminal 10 shown in FIG. 1 in that it includes a distance storage unit 21 and a viewpoint position estimation unit 22.
  • processing units having different functions from those of the information terminal 10 illustrated in FIG. 1 are denoted by different reference numerals, and those having the same functions are denoted by the same reference numerals and description thereof. Will be omitted.
  • the distance storage unit 21 is a storage unit that stores the distance to the information terminal 20.
  • the distance storage unit 21 includes the number of pixels forming the width of the face on the face image when a standard person is captured by the camera 12, the face of the standard person, and the information terminal 20.
  • the data associated with the distance measured in step 1 is stored.
  • standard person refers to a person whose face width is statistically an average value or median value.
  • the viewpoint position estimation unit 22 has the same processing until the position of the right eye, the left eye, or both eyes on the face image is specified, but the subsequent processing is different. . More specifically, the viewpoint position estimation unit 22 reads from the distance storage unit 21 the width of the face and the measurement distance to the information terminal 20 when a standard person is imaged. Then, the viewpoint position estimation unit 22 counts the number of pixels forming the width of the face of the user of the information terminal 20 from the face image captured by the camera 12 by executing image processing such as skin color detection and template matching. .
  • the viewpoint position estimation unit 22 determines the width of the face of the user of the information terminal 20 in which the number of pixels is counted from the face image and the face on the face image when a standard person is captured by the camera 12. A ratio between the number of horizontal pixels, for example, a division value obtained by dividing the former width by the latter width is calculated. In addition, the viewpoint position estimation unit 22 adds the reciprocal of the ratio calculated earlier to the measurement distance between the standard human face read from the distance storage unit 21 and the information terminal 20, that is, the reciprocal of the division value. Is used to estimate the distance between the face of the user of the information terminal 20 and the information terminal 20.
  • the width of the face of the user of the information terminal 20 is regarded as the width of a standard person, and the standard width of the face is obtained in advance in accordance with the expansion / contraction of the width of the face obtained by taking the face image.
  • the measurement distance when the image is taken can be corrected. For example, when the user of the information terminal 20 brings the face closer to the screen than when a standard person's face is photographed in advance, the width of the user's face is detected to be large. In this case, since the above ratio is calculated to be larger than 1, the measurement distance in the case where a standard person is photographed in advance can be corrected to be small by multiplying the reciprocal of the ratio.
  • the measurement distance in the case of photographing with a standard person in advance can be greatly corrected by multiplying the reciprocal of the ratio.
  • the difference between the two may be calculated.
  • the measurement distance is corrected to be large, while the face of the user of the information terminal 20 is corrected.
  • the measurement distance may be corrected to be small.
  • the viewpoint position estimation unit 22 determines the distance to the user's face of the information terminal 20 estimated previously, the eye position on the face image detected earlier, and the coordinates of the information terminal 20, for example, the center of gravity of the screen And the coordinates on the three-dimensional space where the user's eyes of the information terminal 20 are located, that is, the position of the viewpoint is estimated.
  • FIG. 9 is a flowchart illustrating the authentication processing procedure according to the second embodiment. Similarly to the flowchart shown in FIG. 7, this authentication process also starts when a touch operation corresponding to a command such as unlocking the screen or login authentication is performed on the touch panel 11.
  • step S101 when a facial image is captured by the camera 12 and a palm image is captured by the vein sensor 13 (step S101), the viewpoint position estimation unit 22 performs the processing on the facial image captured in step S101. The position of the user's eyes is detected (step S102).
  • the viewpoint position estimation unit 22 counts the number of pixels forming the width of the face of the user of the information terminal 20 from the face image captured in step S101 by executing image processing such as skin color detection and template matching. (Step S201).
  • the viewpoint position estimation unit 22 stores the distance using the ratio between the number of pixels of the width of the face counted in step S201 and the number of pixels of the width of the face on the face image stored in the distance storage unit 21.
  • the distance between the user's face of the information terminal 20 and the information terminal 20 is estimated by correcting the measurement distance between the standard human face stored in the unit 21 and the information terminal 20 (step S202).
  • the viewpoint position estimation unit 22 obtains information from the distance to the user's eyes of the information terminal 20 estimated in step S202, the eye position on the face image detected in step S102, and the coordinates of the information terminal 20.
  • the coordinates on the three-dimensional space where the user's eyes of the terminal 20 are located, that is, the position of the viewpoint is estimated (step S203).
  • the display control unit 17 reads out the proper arrangement stored in the proper arrangement storage unit 15 (step S105). After that, the display control unit 17 calculates the coordinates of the intersection of the straight line and the screen for each straight line connecting the viewpoint estimated in step S203 and the vertex included in the proper arrangement read in step S105. By doing so, the display area of the palm image, that is, the display position and the display size are determined (step S106).
  • the display control unit 17 causes the touch panel 11 to display the palm image captured in step S101 according to the display position and display size determined in step S106 (step S107).
  • step S101 to step S107 is repeatedly executed until it is determined by the authentication unit 18 that the palm included in the palm image is placed at an appropriate position (No in step S108).
  • the authentication unit 18 executes the following process. That is, the authentication unit 18 performs palm vein authentication by comparing vein data extracted from the palm image captured in step S101 with vein data registered in advance (step S109), and the authentication result is transmitted to the information terminal 20. The data is output to the OS or application program operating above, and the process is terminated.
  • the width of the face of the user of the information terminal 20 is regarded as a standard width of the person, and the width of the face obtained by the current face image shooting is expanded or reduced.
  • the position of the viewpoint can be estimated without hardware such as the distance sensor 14.
  • the viewpoint position of the user of the information terminal 20 is estimated from the width of the face reflected in the face image captured by the camera 12 . It is not necessary to use the width of. Therefore, in the present embodiment, the information terminal 30 that estimates the position of the user's viewpoint using the palm image captured by the vein sensor 13 will be described below.
  • FIG. 10 is a block diagram illustrating a functional configuration of the information terminal 30 according to the third embodiment.
  • the information terminal 30 illustrated in FIG. 10 is different from the information terminal 20 illustrated in FIG. 8 in that the information terminal 30 includes a distance storage unit 31 and a viewpoint position estimation unit 32.
  • different reference numerals are given to processing units having different functions from those of the information terminal 20 shown in FIG. 8, and those having the same functions are denoted by the same reference numerals and description thereof. Will be omitted.
  • the distance storage unit 31 is a storage unit that stores the distance to the information terminal 30.
  • the distance storage unit 31 includes the number of pixels forming the width of the palm on the palm image when the standard person is imaged by the vein sensor 13, the face of the standard person, and the information terminal 30. The data in which the distance measured between them is associated is stored.
  • standard person refers to a person whose palm width is statistically an average value or a median value.
  • the horizontal width of the palm and the distance to the information terminal 30 are stored in association with each other is illustrated here, the vertical width of the palm or the length of the finger and the measurement distance are stored in association with each other. It doesn't matter as you do.
  • the viewpoint position estimation unit 32 is common in processing until the position of the right eye, left eye, or both eyes on the face image is specified, but the subsequent processing is different. To do. More specifically, the viewpoint position estimation unit 32 reads the lateral width of the palm and the measurement distance to the information terminal 30 when a standard person is imaged from the distance storage unit 31. Then, the viewpoint position estimation unit 32 counts the number of pixels forming the width of the palm of the user of the information terminal 30 from the palm image captured by the vein sensor 13 by executing image processing such as skin color detection and template matching. To do.
  • the viewpoint position estimation unit 32 measures the width of the palm of the user of the information terminal 30 in which the number of pixels is counted from the palm image, and the palm on the palm image when a standard person is imaged by the vein sensor 13. A ratio, for example, a division value obtained by dividing the former width by the latter width is calculated. Then, the viewpoint position estimation unit 32 multiplies the measurement distance between the standard human face read from the distance storage unit 31 and the information terminal 30 by the previously calculated ratio, that is, the division value. Thus, the distance between the user's face of the information terminal 30 and the information terminal 30 is estimated.
  • the width of the palm of the user of the information terminal 30 and the distance between the eyes of the user of the information terminal 30 and the information terminal 30 are both derived from the physique, it is considered to have a proportional relationship
  • the measurement distance when the image is taken in advance by a standard person can be corrected according to the expansion / contraction of the width of the palm obtained by taking the palm image this time. For example, when the palm of the user of the information terminal 30 is larger than the palm of a standard person photographed in advance, the lateral width of the palm is detected. In this case, since the above ratio is calculated to be greater than 1, the measurement distance when the image is taken in advance by a standard person can be greatly corrected by multiplying the ratio.
  • the lateral width of the palm is detected to be small.
  • the measurement distance when the image is taken in advance with a standard person can be corrected by multiplying the ratio.
  • the difference between the two may be calculated.
  • the measurement distance is corrected to be small, while the palm of the palm of the user of the information terminal 30 is corrected.
  • the measurement distance may be corrected to be large.
  • the viewpoint position estimation unit 32 determines the previously estimated distance to the user's face of the information terminal 30, the position of the eye on the previously detected face image, and the coordinates of the information terminal 30, for example, the center of gravity of the screen
  • the coordinates on the three-dimensional space where the user's eyes of the information terminal 30 are located, that is, the position of the viewpoint is estimated from the coordinates of the information.
  • FIG. 11 is a flowchart illustrating a procedure of authentication processing according to the third embodiment. Similarly to the flowchart shown in FIG. 7, this authentication process also starts when a touch operation corresponding to a command such as unlocking the screen or login authentication is performed on the touch panel 11.
  • step S101 when a facial image is captured by the camera 12 and a palm image is captured by the vein sensor 13 (step S101), the viewpoint position estimation unit 32 performs the processing on the facial image captured in step S101. The position of the user's eyes is detected (step S102).
  • the viewpoint position estimation unit 32 counts the number of pixels forming the width of the palm of the user of the information terminal 30 from the palm image captured in step S101 by performing image processing such as skin color detection and template matching. (Step S301).
  • the viewpoint position estimation unit 32 uses the ratio between the number of pixels of the width of the palm counted in step S301 and the number of pixels of the width of the palm on the palm image stored in the distance storage unit 31 to store the distance.
  • the distance between the face of the user of the information terminal 30 and the information terminal 30 is estimated by correcting the measurement distance between the standard human face stored in the unit 31 and the information terminal 30 (step S302).
  • the viewpoint position estimation unit 32 obtains information from the distance to the user's eyes of the information terminal 30 estimated in step S302, the eye position on the face image detected in step S102, and the coordinates of the information terminal 30.
  • the coordinates on the three-dimensional space where the user's eyes of the terminal 30 are located, that is, the position of the viewpoint is estimated (step S303).
  • the display control unit 17 reads out the proper arrangement stored in the proper arrangement storage unit 15 (step S105). After that, the display control unit 17 calculates the coordinates of the intersection of the straight line and the screen for each straight line connecting the viewpoint estimated in step S303 and the vertex included in the appropriate arrangement read in step S105. By doing so, the display area of the palm image, that is, the display position and the display size are determined (step S106).
  • the display control unit 17 causes the touch panel 11 to display the palm image captured in step S101 according to the display position and display size determined in step S106 (step S107).
  • step S101 to step S107 is repeatedly executed until it is determined by the authentication unit 18 that the palm included in the palm image is placed at an appropriate position (No in step S108).
  • the authentication unit 18 executes the following process. That is, the authentication unit 18 performs palm vein authentication by comparing vein data extracted from the palm image captured in step S101 with vein data registered in advance (step S109), and the authentication result is transmitted to the information terminal 20. The data is output to the OS or application program operating above, and the process is terminated.
  • the width of the palm of the user of the information terminal 30 and the distance between the eyes of the information terminal 30 and the user of the information terminal 30 are regarded as having a proportional relationship
  • the measurement distance is corrected when the image is taken by a standard person in advance according to the expansion / contraction of the width of the palm obtained by taking the palm image.
  • the position of the viewpoint can be estimated without the hardware such as the distance sensor 14.
  • the information terminal 10, 20 or 30 has the camera 12 as an example, but the camera 12 is not necessarily required.
  • the viewpoint of the user of the information terminal 10, 20 or 30 is present in a specific direction with respect to the terminal, and in the normal direction of the center of the screen. Can be stored in the internal memory or the like. Thereby, the position of the viewpoint can be detected or estimated even if the camera 12 is not provided on the same surface side as the screen.
  • each component of each illustrated apparatus does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
  • the viewpoint detection unit 16 or the display control unit 17 may be connected as an external device of the information terminal 10 via a network.
  • the viewpoint detection unit 16 or the display control unit 17 may be provided in another device, and the functions of the information terminal 10 may be realized by being connected to a network and cooperating.
  • FIG. 12 is a diagram for explaining an example of a computer that executes an image processing program according to the first to third embodiments.
  • the computer 100 includes an operation unit 110a, a speaker 110b, a camera 110c, a display 120, and a communication unit 130. Further, the computer 100 includes a CPU 150, a ROM 160, an HDD 170, and a RAM 180. These units 110 to 180 are connected via a bus 140.
  • the HDD 170 stores in advance an image processing program 170a that exhibits the same functions as the viewpoint detection unit 16 and the display control unit 17 described in the first embodiment. Further, the HDD 170 may store in advance an image processing program 170a that exhibits the same functions as the viewpoint position estimation unit 22 and the display control unit 17 described in the second embodiment. The HDD 170 may store in advance an image processing program 170a that exhibits the same functions as the viewpoint position estimation unit 32 and the display control unit 17 described in the third embodiment.
  • the image processing program 170a may be integrated or separated as appropriate, as with each component of each functional unit shown in FIG. 1, FIG. 8, or FIG. In other words, all data stored in the HDD 170 need not always be stored in the HDD 170, and only data necessary for processing may be stored in the HDD 170.
  • the CPU 150 reads the image processing program 170a from the HDD 170 and develops it in the RAM 180.
  • the image processing program 170a functions as an image processing process 180a.
  • the image processing process 180a expands various data read from the HDD 170 in an area allocated to itself on the RAM 180 as appropriate, and executes various processes based on the expanded data.
  • the image processing process 180a includes processing executed by each functional unit shown in FIG. 1, FIG. 8, or FIG. 10, for example, processing shown in FIG. 7, FIG. 9, and FIG.
  • each processing unit virtually realized on the CPU 150 does not always require that all processing units operate on the CPU 150, and only a processing unit necessary for the processing needs to be virtually realized.
  • each program is stored in a “portable physical medium” such as a flexible disk inserted into the computer 100, so-called FD, CD-ROM, DVD disk, magneto-optical disk, or IC card. Then, the computer 100 may acquire and execute each program from these portable physical media.
  • each program is stored in another computer or server device connected to the computer 100 via a public line, the Internet, a LAN, a WAN, etc., and the computer 100 acquires and executes each program from these. It may be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　画面と、該画面が配置された面の裏面に設けられた第一のセンサと、第二のセンサとを有する情報端末（１０）は、第一のセンサによって撮像された第一の被写体の画像を画面に表示させる。この際、情報端末（１０）は、第一の被写体の画像の拡縮度合い及び表示位置を、情報端末（１０）に設けられた第二のセンサによって撮像された第二の被写体の位置に応じて変更する。

Description

画像処理プログラム、画像処理方法及び情報端末
　本発明は、画像処理プログラム、画像処理方法及び情報端末に関する。
　情報セキュリティに対する意識の高まりに伴って、スマートフォンを始め、スレート端末やタブレット端末等の個人用の情報端末においても、ロック解除やログイン等の認証に生体認証が導入されつつある。
　このように、情報端末で生体を撮影する場合には、被写体である生体部位の位置または姿勢が適切でない場合に、認証に用いる生体情報を正しく抽出できなかったり、抽出した特徴量が登録時の特徴量とマッチしなかったりといった不都合が発生する場合がある。このような場合、認証時間が長くなるだけでなく、認証の精度が低下してしまう。
　この問題に対応する技術の一例としては、生体部位の位置合わせや誘導のための動作指示を、センサによって取得された生体画像に重畳して表示するものがある。
特表２０１０－５４１０４６号公報 特開２００７－０５２５３４号公報 特開２００９－１５７９０８号公報 特開２００４－２５８７１４号公報 特開２００８－０７１０３０号公報
　しかしながら、上記の技術は、以下に説明するように、認証精度の向上に限界がある。
　例えば、スマートフォン、スレート端末やタブレット端末等の個人用の情報端末の中には、生体を撮像するセンサが裏面、すなわち画面の背面に配置されるものもある。このような情報端末で生体が撮影される場合、利用者はセンサの位置を直接目視することはできないので、生体部位を適切な場所に配置することがいっそう困難になる。ところが、上記の技術は、いずれも利用者から直接目視できる位置にセンサが設置されることを前提に、生体部位の位置合わせや誘導のための動作指示を行うものに過ぎず、かかる位置合わせや誘導はセンサが裏面にある場合には通用しない。したがって、上記の技術では、認証に用いる生体情報を正しく抽出できなかったり、抽出した特徴量が登録時の特徴量とマッチしなかったりといった不都合を依然として解消できず、認証精度が低下してしまう場合がある。
　１つの側面では、発明は、認証精度を向上させる画像処理プログラム、画像処理方法及び情報端末を提供することを目的とする。
　一態様の画像処理プログラムは、画面と、該画面が配置された面の裏面に設けられた第一のセンサと、第二のセンサとを備えた情報端末に、前記第一のセンサによって撮像された第一の被写体の画像を前記画面に表示させる際に、該画像の拡縮度合い及び表示位置を、前記情報端末に設けられた第二のセンサによって撮像された第二の被写体の位置に応じて変更する処理を実行させる。
　認証精度を向上させることができる。
図１は、実施例１に係る情報端末の機能的構成を示すブロック図である。 図２は、手のひら画像の表示領域の決定方法の一例を示す図である。 図３は、手のひら画像の表示領域の決定方法の一例を示す図である。 図４は、タッチパネルに表示される手のひら画像の一例を示す図である。 図５は、タッチパネルに表示される手のひら画像の一例を示す図である。 図６は、タッチパネルに表示される手のひら画像の一例を示す図である。 図７は、実施例１に係る認証処理の手順を示すフローチャートである。 図８は、実施例２に係る情報端末の機能的構成を示すブロック図である。 図９は、実施例２に係る認証処理の手順を示すフローチャートである。 図１０は、実施例３に係る情報端末の機能的構成を示すブロック図である。 図１１は、実施例３に係る認証処理の手順を示すフローチャートである。 図１２は、実施例１～実施例３に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。
　以下に添付図面を参照して本願に係る画像処理プログラム、画像処理方法及び情報端末について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［情報端末の構成］
　まず、本実施例に係る情報端末の機能的構成について説明する。図１は、実施例１に係る情報端末の機能的構成を示すブロック図である。図１に示す情報端末１０は、情報処理を実行する端末装置である。図１の例では、情報端末１０の画面、すなわちスクリーンのロック解除やログインの認証に手のひら静脈認証が適用される場合を想定して以下の説明を行う。
　ここで、上記の情報端末１０は、画面の背面に設けられた静脈センサ１３で手のひらを撮像させる場合に、静脈センサ１３によって撮像される画像を手のひらの位置合わせの照準として画面に表示させる。かかる位置合わせの一環として、情報端末１０は、画面側に設けられたカメラ１２によって撮像される画像に映る顔の器官の位置、例えば目の位置によって画面に表示させる画像の位置および大きさを変更する画像処理を実行する。なお、上記の手のひらは、第一の被写体の一態様に含まれる。また、上記の顔は、第二の被写体に含まれる。
　一態様としては、情報端末１０は、パッケージソフトウェアやオンラインソフトウェアとして提供される画像処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）などの移動体通信端末のみならず、移動体通信網に接続しないＰＤＡ（Personal　Digital　Assistants）などを含むタブレット端末やスレート端末に上記の画像処理プログラムをインストールさせる。これによって、タブレット端末やスレート端末を情報端末１０として機能させることができる。なお、ここでは、情報端末１０の実装例としてタブレット端末やスレート端末を例示したが、パーソナルコンピュータを始めとする固定端末に画像処理プログラムをインストールさせることとしてもかまわない。
　図１に示すように、情報端末１０は、タッチパネル１１と、カメラ１２と、静脈センサ１３と、距離センサ１４と、適正配置記憶部１５と、視点検出部１６と、表示制御部１７と、認証部１８とを有する。なお、情報端末１０は、図１に示した機能部以外にも既知のタブレット端末やスレート端末が有する各種の機能部を有することとしてもかまわない。例えば、情報端末１０が移動体通信端末として実装される場合には、アンテナ、移動体通信網を介して通信を行う無線通信部、ＧＰＳ（Global　Positioning　System）受信機などの機能部をさらに有していてもかまわない。
　タッチパネル１１は、表示可能かつ入力可能なデバイスである。一態様としては、タッチパネル１１は、情報端末１０上で実行される画像処理プログラムを始め、ＯＳ（Operating　System）やアプリケーションプログラムによって出力される画像を表示する。他の一態様としては、タッチパネル１１は、画面のスクリーン上でなされるタップ、フリック、スイープ、ピンチインやピンチアウトなどのタッチ操作を受け付ける。
　カメラ１２は、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などのイメージセンサを搭載する撮像デバイスである。例えば、カメラ１２には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ１２の実装例としては、タブレット端末やスレート端末のスクリーンと同一の面側に設けられるインカメラを流用できる。なお、ここでは、情報端末１０がカメラ１２を有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも情報端末１０がカメラ１２を有さずともかまわない。
　例えば、カメラ１２は、タッチパネル１１上でスクリーンのロック解除またはログイン認証などのコマンドに対応するタッチ操作がなされたことを契機に、撮像を開始する。このとき、情報端末１０のスクリーン側に設けられたカメラ１２の撮像範囲には、スクリーンの表示を閲覧する情報端末１０の使用者の顔を始め、首や衣服などが含まれる。この結果、カメラ１２によって撮像される画像にも、情報端末１０の使用者の顔を始め、首や衣服などが含まれることになる。以下では、カメラ１２によって撮像される画像のことを「顔画像」と記載する場合がある。
　静脈センサ１３は、手のひらの内部に存在する静脈の血管パターンを撮像するセンサである。一態様としては、静脈センサ１３は、近赤外光を照射する照明と、近赤外光を捉えることができるイメージセンサを含む撮像デバイスとを含んで構成される。このうち、撮像デバイスには、一例として、タブレット端末やスレート端末のスクリーンの背面に設けられるアウトカメラを流用できる。
　ここで、静脈センサ１３は、情報端末１０の端部の近傍に設けられる。例えば、情報端末１０が矩形状の筐体である場合には、スクリーンが設置された面とは反対側の面、すなわち背面であって筐体の四隅のうちいずれかの隅の近傍に設けられる。このため、手のひらが静脈センサ１３の撮像範囲の中央に適切な大きさで配置された場合には、スクリーンの表示を見ながらその背面の静脈センサ１３に手のひらをかざす情報端末１０の使用者からスクリーン越しに自身の指先の一部がはみ出して見える場合がある。
　上記の静脈センサ１３は、例えば、タッチパネル１１上でスクリーンのロック解除またはログイン認証などのコマンドに対応するタッチ操作がなされたことを契機に、撮像を開始する。すなわち、静脈センサ１３は、照明から近赤外光を照射する。これによって、静脈センサ１３は、照明からの赤外光の照射に連動して起動された撮像デバイスに手のひらの表面や内部から反射して戻ってきた近赤外光の反射光を結像させる。この結果、撮像デバイスに結像された反射光が光電変換されることによって撮像デバイスの撮像範囲内の被写体が映った画像が出力されることになる。このとき、撮像範囲に手のひらが含まれていた場合には、静脈中のヘモグロビンが近赤外線を吸収することによって静脈の血管パターンが強調された画像を得ることができる。なお、以下では、静脈センサ１３によって撮影された画像のことを「手のひら画像」と記載する場合がある。また、ここでは、静脈を含む認証部位を手のひらとする場合を想定するが、認証部位を手の甲とすることもできる。
　このように、本実施例に係るカメラ１２及び静脈センサ１３は、スクリーンのロック解除やログインの認証を実行する場合には、２つの撮像デバイスの両方を起動し、２つの撮像デバイスの各々で画像が撮像される。この場合には、カメラ１２及び静脈センサ１３の間で同期して画像が撮像される。例えば、静脈センサ１３によって撮像される手のひら画像のフレームと、カメラ１２によって撮像される顔画像のフレームとの両者がフレーム番号等を用いて対応付けられる。かかる対応付けによって、フレーム番号が同一である画像の各々が同一の時点で撮像された画像として以降の処理に用いることができる。これら顔画像および手のひら画像の撮像は、一般の情報端末で撮影モードの切り換えによって一方のカメラが起動し、他方のカメラが停止された状態で１つのカメラを排他的に用いる一般の使用方法とは一線を画する。
　なお、ここでは、手のひら画像の撮影を開始するトリガーとして、ロック解除やログイン認証などのタップ操作を例示したが、トリガーは本例に限定されない。例えば、図示しないボタンなどの物理キーに対する操作で開始することとしてもよい。また、特段のトリガーなしにカメラ１２及び静脈センサ１３を起動させておき、いずれかの撮像デバイスで撮像された画像から特定のジェスチャ、例えばウィンクやピースサインが検出された場合に、手のひらの位置合わせを開始してもよい。
　距離センサ１４は、２点間の距離を測定するセンサである。一態様としては、距離センサ１４は、後述の視点検出部１６から指示された方向、すなわち顔画像上で視点が検出された位置に対応する方向に向けて赤外線、電波や超音波等の波動を送り出す。その上で、距離センサ１４は、被写体で反射した波動を受け取り、送り出した波動と受け取った波動の時間差または位相差等を算出することによって距離センサ１４および視点の間の距離を測定する。
　適正配置記憶部１５は、静脈センサ１３に対する生体の適正配置を記憶する記憶部である。ここで言う「適正配置」とは、情報端末１０の使用時に使用者がとる標準的な姿勢で手のひらを静脈センサにかざした時に手の一部がスクリーン越しに露出して見える配置を指す。例えば、情報端末１０の使用者が一方の手で情報端末１０を保持し、スクリーンの表示を閲覧しながら他方の手の指をのばした姿勢で手のひらを静脈センサ１３にかざした時に親指、人差し指、中指や薬指の指先がスクリーン越しに露出して見える配置が挙げられる。
　このような配置を適正配置に採用するのは、情報端末１０の角部の近傍に設置された静脈センサ１３の撮像範囲の中央に手のひらを配置させることに加え、次のような目的がある。すなわち、情報端末１０を持つ方の手とは逆の手の手のひらを撮影する場合に指先を露出させることによって情報端末１０の使用者が静脈センサ１３と手のひらの距離がどの程度離れているかを把握しやすくするためである。
　これら静脈センサ１３及び手のひらの間で適正とされる距離は、静脈センサ１３の装備の性能、例えばイメージセンサが持つ解像度の他、レンズの枚数や種類によって定まる。なお、ここでは、手のひら静脈認証が実行される場合に撮影される場合だけでなく、情報端末１０の所有者本人の手のひら画像が予め登録される場合にも、適正配置と同様の環境で撮影された手のひら画像が登録されることとする。なお、以下では、静脈センサ１３によって撮像される手のひら画像と照合するために、予め登録された手のひら画像のことを「登録手のひら画像」と記載する場合がある。
　一態様としては、適正配置記憶部１５は、静脈センサ１３に向けてかざされる手のひらの面がモデル化された矩形を特定可能な特定情報、例えば矩形を形成する頂点の３次元座標または矩形の重心の３次元座標と矩形の高さ及び幅などを記憶する。ここで言う座標には、一例として、情報端末１０に対する相対座標が採用される。なお、ここでは、静脈センサ１３に対する手のひらの配置が矩形にモデル化された場合を例示したが、モデル化には任意の形状、例えば楕円、円や多角形などを採用することができる。
　視点検出部１６は、情報端末１０の使用者の視点の位置を検出する処理部である。一態様としては、視点検出部１６は、カメラ１２によって撮像された顔画像に対し、肌色検出やテンプレートマッチング等の画像処理を実行する。例えば、視点検出部１６は、顔画像から肌色検出を実行することによって顔画像内に含まれる顔の部分を抽出する。その上で、視点検出部１６は、肌色検出によって抽出された顔の領域にテンプレートマッチングを実行することによって顔の部分の画像から顔の器官、例えば目、鼻、口や耳の形状や大きさなどの幾何学的な特徴を抽出する。これによって、顔画像上の右目、左目または両目の位置が特定されることになる。
　このようにして顔画像上の目の位置を特定した後に、視点検出部１６は、距離センサ１４に顔画像上の目の位置に対応する方向へ波動を送り出させることによって距離センサ１４および情報端末１０の使用者の目の間の距離を距離センサ１４に測定させる。このとき、距離センサ１４に波動を送り出させる方向は、顔画像上の右目の中心に対応する方向であってもよいし、左目の中心に対応する方向であってもよいし、両目の中間点に対応する方向であってもかまわない。その後、視点検出部１６は、距離センサ１４によって測定させた情報端末１０の使用者の目までの距離と、先に検出された顔画像上の目の位置、および距離センサ１４の座標とから情報端末１０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を算出する。
　表示制御部１７は、タッチパネル１１に対する表示制御を実行する処理部である。一態様としては、表示制御部１７は、視点検出部１６によって検出された視点の位置と、適正配置記憶部１５に記憶された手のひらの適正配置とから、静脈センサ１３によって撮像された手のひら画像をタッチパネル１１に表示させる大きさ及び位置を決定する。
　図２及び図３は、手のひら画像の表示領域の決定方法の一例を示す図である。図２には、情報端末１０のスクリーンを側面からみた場合の側面図が図示されており、図３には、情報端末１０のスクリーンを斜めからみた場合の斜視図が図示されている。なお、図３には、カメラ１２及び静脈センサ１３の図示が省略されている。
　図２に示すように、視点２００と矩形状の適正配置２１０に含まれる各頂点との間が線分で結ばれるとしたとき、タッチパネル１１のスクリーンに投影される表示領域２２０の位置および大きさが表示位置および表示サイズとして決定される。例えば、表示領域２２０は、図３に示すように、上記の線分の各交点２２０Ａ～２２０Ｄの４点によってタッチパネル１１に表示される位置および大きさが規定される。
　このうち、交点２２０Ａは、視点２００と頂点２１０Ａを結ぶ線分がタッチパネル１１のスクリーンと交わる点を指し、交点２２０Ｂは、視点２００と頂点２１０Ｂを結ぶ線分がタッチパネル１１のスクリーンと交わる点を指す。また、交点２２０Ｃは、視点２００と頂点２１０Ｃを結ぶ線分がタッチパネル１１のスクリーンと交わる点を指し、交点２２０Ｄは、視点２００と頂点２１０Ｄを結ぶ線分がタッチパネル１１のスクリーンと交わる点を指す。
　このように、表示制御部１７は、視点検出部１６によって検出された視点と、適正配置記憶部１５に記憶された適正配置に含まれる頂点とを結ぶ直線ごとに、当該直線がタッチパネル１１のスクリーンと交わる交点の座標を算出することによって手のひら画像の表示領域２２０を決定する。かかる表示領域２２０は、４つの交点２２０Ａ～２２０Ｄの配置によって領域の位置および大きさが定まる。例えば、視点２００がスクリーンから近いほど表示領域２２０のサイズは小さくなり、視点がスクリーンから離れるほど表示領域２２０は適正配置２１０の大きさへ近づく。
　その上で、表示制御部１７は、先に決定した表示位置および表示サイズにしたがって静脈センサ１３によって撮像された手のひら画像をタッチパネル１１に表示させる。例えば、図２及び図３の例で言えば、静脈センサ１３によって撮像された手のひら画像が交点２２０Ａ～交点２２０Ｄを含む表示領域２２０に表示される。
　図４～図６は、タッチパネル１１に表示される手のひら画像の一例を示す図である。このうち、図４には、適正配置２１０と重なる位置に手のひらがかざされている態様が図示されている。このように、適正配置２１０と重なる位置に手のひらがかざされている場合には、タッチパネル１１に表示される手のひら画像の指の端部と、スクリーン越しに露出する指先の実物とが違和感なく接続されて見える。かかる手のひら画像の表示によって、情報端末１０の使用者は、手のひらが適正な位置に提示されている状況を確認できる結果、手のひら静脈の認証が終了するまで手のひらを現在の提示位置に留めることができる。
　また、図５には、適正配置２１０よりもスクリーンに近い位置に手のひらがかざされている態様が図示されている。このように、適正配置２１０よりもスクリーンに近い位置に手のひらがかざされている場合には、スクリーン越しに露出する指先の実物のスケールに比べて、タッチパネル１１に表示される手のひら画像の指を始め、手のひらのスケールが大きく表示される。すなわち、情報端末１０の使用者の視点から指先までの距離に比べて静脈センサ１３から指先までの距離が短いことから、静脈センサ１３に広角レンズが設けられるケースが多いことに起因する。このため、スクリーン越しに指先を見る使用者からはわかりづらい程に手のひらが適正配置２１０よりもスクリーンに近づいた場合でも、スクリーン越しに見える指先の実物のスケールよりも大きいスケールで手のひらや指先が映った手のひら画像を表示できる。かかる手のひら画像の表示によって、情報端末１０の使用者は、手のひらが適正な位置よりも近づけて提示している状況を確認できる結果、現在の提示位置よりも情報端末１０の筐体から離して提示するのがよいと判断できる。
　また、図６には、適正配置２１０よりもスクリーンから離れた位置に手のひらがかざされている態様が図示されている。このように、適正配置２１０よりもスクリーンから離れた位置に手のひらがかざされている場合には、スクリーン越しに露出する指先の実物のスケールに比べて、タッチパネル１１に表示される手のひら画像の指を始め、手のひらのスケールが小さく表示される。このため、スクリーン越しに指先を見る使用者からはわかりづらい程に手のひらが適正配置２１０よりもスクリーンから離れて提示された場合でも、スクリーン越しに見える指先の実物のスケールよりも小さいスケールで手のひらや指先が映った手のひら画像を表示できる。かかる手のひら画像の表示によって、情報端末１０の使用者は、手のひらが適正な位置よりも離れて提示している状況を確認できる結果、現在の提示位置よりも情報端末１０の筐体に近づけて提示するのがよいと判断できる。
　さらに、図４～図６の例では、情報端末１０の使用者の視点の真正面に手のひら画像を表示するのとは異なり、情報端末１０の使用者の視点から適正配置に向けた方向に真正面からずらして手のひら画像を表示させる。このため、情報端末１０の使用者は、スクリーンの背面に設置されて視認することが困難である静脈センサ１３の視野を直感的に把握しながら手のひらを提示することもできる。また、図４～図６に示すように、手のひらの内部にある血管のパターンを抽出する範囲の中心位置を手のひら画像に重畳して表示させることによって当該位置を照準として手のひらを位置合わせすることもできる。
　図１の説明に戻り、認証部１８は、手のひら静脈認証を実行する処理部である。一態様としては、認証部１８は、静脈センサ１３によって撮像された手のひら画像から静脈の血管パターンに関する特徴量を抽出する。例えば、認証部１８は、手のひら画像から血管部分を取り出した上で細線化し、血管における分岐点の座標、分岐点間の長さ、分岐点の分岐角度などの特徴量を静脈データとして抽出する。その上で、認証部１８は、手のひら画像から抽出された静脈データと、予め登録された情報端末１０の所有者本人等の静脈データとの間で照合スコアを算出する。このとき、情報端末１０の使用を許可する人物の静脈データを複数登録しておくことによって１対１認証のみならず、１対Ｎ認証を実行することもできる。そして、認証部１８は、先に算出した照合スコアのうち最大の照合スコアが所定の閾値以上である場合に、手のひら静脈認証が成功したと判定する。また、認証部１８は、最大の照合スコアが所定の未満以上である場合に、手のひら静脈認証に失敗したと判定する。このようにして認証部１８によって手のひら静脈認証が実行された認証結果は、ロック解除やログイン認証を実行するＯＳやアプリケーションプログラムへ出力される。なお、認証部１８は、マニューシャ方式、パターンマッチング方式や周波数解析法などの任意の照合方式を採用できる。
　ここで、認証部１８は、静脈センサ１３によって手のひら画像が撮像されたからといって直ちに手のひら静脈認証を実行するとは限らない。すなわち、認証部１８は、静脈センサ１３によって手のひら画像が撮像される度に、当該手のひら画像に映る手のひらが適正な位置に配置されているかを判定する。例えば、認証部１８は、静脈センサ１３によって撮像された手のひら画像に映る指の太さと、予め登録された静脈データの指の太さとの差が所定の閾値以内である場合に、手のひら静脈認証を実行することができる。また、認証部１８は、情報端末１０の使用者から所定の音声メッセージ、例えば「ＯＫ」などの入力を受け付けた場合に、手のひら静脈認証を実行することができる。なお、認証部１８は、手のひら静脈認証に失敗した場合でも、手のひら静脈認証のリトライの回数が所定の回数になるまで、表示制御部１７によって手のひら画像をタッチパネル１１上に表示させるとともに、手のひら静脈認証をリトライさせることもできる。
　なお、上記の視点検出部１６、表示制御部１７及び認証部１８は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）などに画像処理プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジックによっても実現できる。
　また、上記の適正配置記憶部１５には、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、ＶＲＡＭ（Video　Random　Access　Memory）、ＲＡＭ（Random　Access　Memory)、ＲＯＭ（Read　Only　Memory）やフラッシュメモリ（flash　memory）などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。
［処理の流れ］
　図７は、実施例１に係る認証処理の手順を示すフローチャートである。この認証処理は、一例として、タッチパネル１１上でスクリーンのロック解除またはログイン認証などのコマンドに対応するタッチ操作がなされた場合に、処理が起動する。
　図７に示すように、カメラ１２によって顔画像が撮像されるとともに、静脈センサ１３によって手のひら画像が撮像されると（ステップＳ１０１）、視点検出部１６は、ステップＳ１０１で撮像された顔画像上における使用者の目の位置を検出する（ステップＳ１０２）。
　続いて、視点検出部１６は、距離センサ１４にステップＳ１０２で検出された顔画像上の目の位置に対応する方向へ波動を送り出させることによって距離センサ１４および情報端末１０の使用者の目の間の距離を距離センサ１４に測定させる（ステップＳ１０３）。
　その後、視点検出部１６は、ステップＳ１０３で測定させた情報端末１０の使用者の目までの距離と、ステップＳ１０２で検出された顔画像上の目の位置、および距離センサ１４の座標とから情報端末１０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を算出する（ステップＳ１０４）。
　そして、表示制御部１７は、適正配置記憶部１５に記憶された適正配置を読み出す（ステップＳ１０５）。その上で、表示制御部１７は、ステップＳ１０４で検出された視点と、ステップＳ１０５で読み出された適正配置に含まれる頂点とを結ぶ直線ごとに、当該直線とスクリーンとの交点の座標を算出することによって手のひら画像の表示領域、すなわち表示位置および表示サイズを決定する（ステップＳ１０６）。
　続いて、表示制御部１７は、ステップＳ１０６で決定された表示位置および表示サイズにしたがってステップＳ１０１で撮像された手のひら画像をタッチパネル１１に表示させる（ステップＳ１０７）。
　そして、認証部１８によって手のひら画像に含まれる手のひらが適切な位置に配置されたと判定されるまで（ステップＳ１０８Ｎｏ）、上記のステップＳ１０１～ステップＳ１０７までの処理を繰り返し実行する。
　その後、手のひら画像に含まれる手のひらが適切な位置に配置されると（ステップＳ１０８Ｙｅｓ）、認証部１８は、次のような処理を実行する。すなわち、認証部１８は、ステップＳ１０１で撮像された手のひら画像から抽出した静脈データと、予め登録された静脈データを照合することによって手のひら静脈認証を実行し（ステップＳ１０９）、認証結果を情報端末１０上で動作するＯＳやアプリケーションプログラムへ出力し、処理を終了する。
［実施例１の効果］
　上述してきたように、本実施例に係る情報端末１０は、画面の背面に設置された静脈センサ１３で手のひらを撮影する場合に、画面と同じ側の面に設置されたカメラ１２に映る目の位置によって画面に表示させる手のひら画像の位置及び大きさを変更する。例えば、スクリーン越しに手の一部、例えば指先が露出する場合には、手のひら画像の中央に手のひらが位置し、さらに、手のひら画像に映る手のひらや指のスケールが露出する実物の指先のスケールと合うように位置合わせできる。このため、本実施例に係る情報端末１０では、画面の背面に静脈センサ１３が設置される場合でも、位置合わせの精度を高めることができる。したがって、本実施例に係る情報端末１０によれば、認証精度を向上させることができる。
　さて、上記の実施例１では、情報端末１０の使用者の視点の位置を検出するために距離センサ１４を用いる場合を例示したが、情報端末の種類によっては必ずしも距離センサ１４を有しない場合もある。そこで、本実施例では、距離センサ１４を用いずに、使用者の視点の位置を推定する情報端末２０について以下で説明する。
　図８は、実施例２に係る情報端末２０の機能的構成を示すブロック図である。図８に示す情報端末２０は、図１に示した情報端末１０に比べて、距離記憶部２１および視点位置推定部２２を有する点が相違する。なお、図８には、図１に示した情報端末１０との間で機能に差異がある処理部に異なる符号を付し、同一の機能を有するものには同一の符号を付してその説明を省略することとする。
　距離記憶部２１は、情報端末２０までの距離を記憶する記憶部である。一態様としては、距離記憶部２１は、標準的な人物がカメラ１２によって撮像された場合の顔画像上の顔の横幅を形成する画素数と当該標準的な人物の顔及び情報端末２０の間で測定された距離とが対応付けられたデータを記憶する。ここで言う「標準的な人物」とは、一例として、顔の横幅が統計的に平均値や中央値である人物を指す。なお、ここでは、顔の横幅と情報端末２０までの距離を対応付けて記憶する場合を例示したが、特徴点間の距離であればよく、顔の縦幅、あるいは左右の目の距離と情報端末２０までの距離を対応付けて記憶することとしてもかまわない。また、ここでは、標準的な人物がカメラ１２によって撮像された場合の顔画像上の顔の横幅および測定距離を記憶する場合を例示したが、情報端末２０の所有者本人がカメラ１２によって撮像された場合の顔の横幅や測定距離を事前に採取しておくこととしてもかまわない。
　視点位置推定部２２は、図１に示した視点検出部１６と比べて、顔画像上の右目、左目または両目の位置を特定するまでは処理が共通する一方で、それ以降の処理が相違する。これを具体的に説明すると、視点位置推定部２２は、距離記憶部２１から標準的な人物が撮像された場合の顔の横幅および情報端末２０までの測定距離を読み出す。そして、視点位置推定部２２は、カメラ１２によって撮像された顔画像から情報端末２０の使用者の顔の横幅を形成する画素数を肌色検出やテンプレートマッチング等の画像処理を実行することによって計数する。続いて、視点位置推定部２２は、顔画像から画素数が計数された情報端末２０の使用者の顔の横幅と、標準的な人物がカメラ１２によって撮像された場合の顔画像上の顔の横幅の画素数との間で比率、例えば前者の横幅を後者の横幅で除算した除算値を算出する。その上で、視点位置推定部２２は、距離記憶部２１から読み出された標準的な人物の顔及び情報端末２０の間の測定距離に、先に算出した比率の逆数、すなわち除算値の逆数を乗算することによって情報端末２０の使用者の顔及び情報端末２０の間の距離を推定する。
　これによって、情報端末２０の使用者の顔の横幅が標準的な人物の横幅であるとみなし、今回の顔画像の撮影で得られた顔の横幅の拡縮に合わせて事前に標準的な人物で撮影された場合の測定距離を補正できる。例えば、事前に標準的な人物の顔が撮影されたときよりも情報端末２０の使用者がスクリーンに顔を近づけている場合には、使用者の顔の横幅が大きく検出される。この場合には、上記の比率が１よりも大きく算出されるので、比率の逆数が乗算されることによって事前に標準的な人物で撮影された場合の測定距離を小さく補正できる。一方、事前に標準的な人物の顔が撮影されたときよりも情報端末２０の使用者がスクリーンから顔を離している場合には、使用者の顔の横幅が小さく検出される。この場合には、上記の比率が１よりも小さく算出されるので、比率の逆数が乗算されることによって事前に標準的な人物で撮影された場合の測定距離を大きく補正できる。なお、ここでは、比率を算出する場合を例示したが、両者の差を算出することとしてもかまわない。例えば、情報端末２０の使用者の顔の横幅が事前に標準的な人物で撮影された顔の横幅よりも小さい場合に、測定距離を大きく補正する一方で、情報端末２０の使用者の顔の横幅が事前に標準的な人物で撮影された顔の横幅よりも大きい場合に、測定距離を小さく補正すればよい。
　その後、視点位置推定部２２は、先に推定した情報端末２０の使用者の顔までの距離と、先に検出された顔画像上の目の位置、および情報端末２０の座標、例えばスクリーンの重心の座標とから情報端末２０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を推定する。
　図９は、実施例２に係る認証処理の手順を示すフローチャートである。この認証処理も、図７に示したフローチャートと同様に、タッチパネル１１上でスクリーンのロック解除またはログイン認証などのコマンドに対応するタッチ操作がなされた場合に、処理が起動する。
　図９に示すように、カメラ１２によって顔画像が撮像されるとともに、静脈センサ１３によって手のひら画像が撮像されると（ステップＳ１０１）、視点位置推定部２２は、ステップＳ１０１で撮像された顔画像上における使用者の目の位置を検出する（ステップＳ１０２）。
　続いて、視点位置推定部２２は、ステップＳ１０１で撮像された顔画像から情報端末２０の使用者の顔の横幅を形成する画素数を肌色検出やテンプレートマッチング等の画像処理を実行することによって計数する（ステップＳ２０１）。
　そして、視点位置推定部２２は、ステップＳ２０１で計数された顔の横幅の画素数と、距離記憶部２１に記憶された顔画像上の顔の横幅の画素数との比率を用いて、距離記憶部２１に記憶された標準的な人物の顔及び情報端末２０の間の測定距離を補正することによって情報端末２０の使用者の顔及び情報端末２０の間の距離を推定する（ステップＳ２０２）。
　その後、視点位置推定部２２は、ステップＳ２０２で推定した情報端末２０の使用者の目までの距離と、ステップＳ１０２で検出された顔画像上の目の位置、および情報端末２０の座標とから情報端末２０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を推定する（ステップＳ２０３）。
　そして、表示制御部１７は、適正配置記憶部１５に記憶された適正配置を読み出す（ステップＳ１０５）。その上で、表示制御部１７は、ステップＳ２０３で推定された視点と、ステップＳ１０５で読み出された適正配置に含まれる頂点とを結ぶ直線ごとに、当該直線とスクリーンとの交点の座標を算出することによって手のひら画像の表示領域、すなわち表示位置および表示サイズを決定する（ステップＳ１０６）。
　続いて、表示制御部１７は、ステップＳ１０６で決定された表示位置および表示サイズにしたがってステップＳ１０１で撮像された手のひら画像をタッチパネル１１に表示させる（ステップＳ１０７）。
　そして、認証部１８によって手のひら画像に含まれる手のひらが適切な位置に配置されたと判定されるまで（ステップＳ１０８Ｎｏ）、上記のステップＳ１０１～ステップＳ１０７までの処理を繰り返し実行する。
　その後、手のひら画像に含まれる手のひらが適切な位置に配置されると（ステップＳ１０８Ｙｅｓ）、認証部１８は、次のような処理を実行する。すなわち、認証部１８は、ステップＳ１０１で撮像された手のひら画像から抽出した静脈データと、予め登録された静脈データを照合することによって手のひら静脈認証を実行し（ステップＳ１０９）、認証結果を情報端末２０上で動作するＯＳやアプリケーションプログラムへ出力し、処理を終了する。
［実施例２の効果］
　上述してきたように、本実施例に係る情報端末２０によれば、画面の背面に静脈センサ１３が設置される場合でも、位置合わせの精度を高めることができるので、上記の実施例１と同様に、認証精度を向上させることができる。
　さらに、本実施例に係る情報端末２０では、情報端末２０の使用者の顔の横幅が標準的な人物の横幅であるとみなし、今回の顔画像の撮影で得られた顔の横幅の拡縮に合わせて事前に標準的な人物で撮影された場合の測定距離を補正するので、距離センサ１４等のハードウェアがなくとも視点の位置を推定できる。
　さて、上記の実施例２では、カメラ１２によって撮像された顔画像に映る顔の横幅から情報端末２０の使用者の視点の位置を推定する場合を例示したが、必ずしも視点の位置の推定に顔の横幅を用いずともよい。そこで、本実施例では、静脈センサ１３によって撮像された手のひら画像を用いて、使用者の視点の位置を推定する情報端末３０について以下で説明する。
　図１０は、実施例３に係る情報端末３０の機能的構成を示すブロック図である。図１０に示す情報端末３０は、図８に示した情報端末２０に比べて、距離記憶部３１および視点位置推定部３２を有する点が相違する。なお、図１０には、図８に示した情報端末２０との間で機能に差異がある処理部に異なる符号を付し、同一の機能を有するものには同一の符号を付してその説明を省略することとする。
　距離記憶部３１は、情報端末３０までの距離を記憶する記憶部である。一態様としては、距離記憶部３１は、標準的な人物が静脈センサ１３によって撮像された場合の手のひら画像上の手のひらの横幅を形成する画素数と当該標準的な人物の顔及び情報端末３０の間で測定された距離とが対応付けられたデータを記憶する。ここで言う「標準的な人物」とは、一例として、手のひらの横幅が統計的に平均値や中央値である人物を指す。なお、ここでは、手のひらの横幅と情報端末３０までの距離を対応付けて記憶する場合を例示したが、この他にも、手のひらの縦幅、あるいは指の長さと測定距離とを対応付けて記憶することとしてもかまわない。また、ここでは、標準的な人物が静脈センサ１３によって撮像された場合の手のひら画像上の手のひらの横幅および測定距離を記憶する場合を例示したが、情報端末３０の所有者本人が静脈センサ１３によって撮像された場合の手のひらの横幅や測定距離を事前に採取しておくこととしてもかまわない。
　視点位置推定部３２は、図８に示した視点位置推定部２２と比べて、顔画像上の右目、左目または両目の位置を特定するまでは処理が共通する一方で、それ以降の処理が相違する。これを具体的に説明すると、視点位置推定部３２は、距離記憶部３１から標準的な人物が撮像された場合の手のひらの横幅および情報端末３０までの測定距離を読み出す。そして、視点位置推定部３２は、静脈センサ１３によって撮像された手のひら画像から情報端末３０の使用者の手のひらの横幅を形成する画素数を肌色検出やテンプレートマッチング等の画像処理を実行することによって計数する。続いて、視点位置推定部３２は、手のひら画像から画素数が計数された情報端末３０の使用者の手のひらの横幅と、標準的な人物が静脈センサ１３によって撮像された場合の手のひら画像上の手のひらの横幅の画素数との間で比率、例えば前者の横幅を後者の横幅で除算した除算値を算出する。その上で、視点位置推定部３２は、距離記憶部３１から読み出された標準的な人物の顔及び情報端末３０の間の測定距離に、先に算出した比率、すなわち除算値を乗算することによって情報端末３０の使用者の顔及び情報端末３０の間の距離を推定する。
　これによって、情報端末３０の使用者の手のひらの横幅と情報端末３０及び情報端末３０の使用者の目の間の距離とは、ともに体格に由来するものであるので、比例関係を有するとみなし、今回の手のひら画像の撮影で得られた手のひらの横幅の拡縮に合わせて事前に標準的な人物で撮影された場合の測定距離を補正できる。例えば、事前に撮影された標準的な人物の手のひらよりも情報端末３０の使用者の手のひらが大きい場合には、手のひらの横幅が大きく検出される。この場合には、上記の比率が１よりも大きく算出されるので、比率が乗算されることによって事前に標準的な人物で撮影された場合の測定距離を大きく補正できる。一方、事前に撮影された標準的な人物の手のひらよりも情報端末３０の使用者の手のひらが小さい場合には、手のひらの横幅が小さく検出される。この場合には、上記の比率が１よりも小さく算出されるので、比率が乗算されることによって事前に標準的な人物で撮影された場合の測定距離を小さく補正できる。なお、ここでは、比率を算出する場合を例示したが、両者の差を算出することとしてもかまわない。例えば、情報端末３０の使用者の手のひらの横幅が事前に標準的な人物で撮影された手のひらの横幅よりも小さい場合に、測定距離を小さく補正する一方で、情報端末３０の使用者の手のひらの横幅が事前に標準的な人物で撮影された手のひらの横幅よりも大きい場合に、測定距離を大きく補正すればよい。
　その後、視点位置推定部３２は、先に推定した情報端末３０の使用者の顔までの距離と、先に検出された顔画像上の目の位置、および情報端末３０の座標、例えばスクリーンの重心の座標とから情報端末３０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を推定する。
　図１１は、実施例３に係る認証処理の手順を示すフローチャートである。この認証処理も、図７に示したフローチャートと同様に、タッチパネル１１上でスクリーンのロック解除またはログイン認証などのコマンドに対応するタッチ操作がなされた場合に、処理が起動する。
　図１１に示すように、カメラ１２によって顔画像が撮像されるとともに、静脈センサ１３によって手のひら画像が撮像されると（ステップＳ１０１）、視点位置推定部３２は、ステップＳ１０１で撮像された顔画像上における使用者の目の位置を検出する（ステップＳ１０２）。
　続いて、視点位置推定部３２は、ステップＳ１０１で撮像された手のひら画像から情報端末３０の使用者の手のひらの横幅を形成する画素数を肌色検出やテンプレートマッチング等の画像処理を実行することによって計数する（ステップＳ３０１）。
　そして、視点位置推定部３２は、ステップＳ３０１で計数された手のひらの横幅の画素数と、距離記憶部３１に記憶された手のひら画像上の手のひらの横幅の画素数との比率を用いて、距離記憶部３１に記憶された標準的な人物の顔及び情報端末３０の間の測定距離を補正することによって情報端末３０の使用者の顔及び情報端末３０の間の距離を推定する（ステップＳ３０２）。
　その後、視点位置推定部３２は、ステップＳ３０２で推定した情報端末３０の使用者の目までの距離と、ステップＳ１０２で検出された顔画像上の目の位置、および情報端末３０の座標とから情報端末３０の使用者の目が位置する３次元空間上での座標、すなわち視点の位置を推定する（ステップＳ３０３）。
　そして、表示制御部１７は、適正配置記憶部１５に記憶された適正配置を読み出す（ステップＳ１０５）。その上で、表示制御部１７は、ステップＳ３０３で推定された視点と、ステップＳ１０５で読み出された適正配置に含まれる頂点とを結ぶ直線ごとに、当該直線とスクリーンとの交点の座標を算出することによって手のひら画像の表示領域、すなわち表示位置および表示サイズを決定する（ステップＳ１０６）。
　続いて、表示制御部１７は、ステップＳ１０６で決定された表示位置および表示サイズにしたがってステップＳ１０１で撮像された手のひら画像をタッチパネル１１に表示させる（ステップＳ１０７）。
　そして、認証部１８によって手のひら画像に含まれる手のひらが適切な位置に配置されたと判定されるまで（ステップＳ１０８Ｎｏ）、上記のステップＳ１０１～ステップＳ１０７までの処理を繰り返し実行する。
　その後、手のひら画像に含まれる手のひらが適切な位置に配置されると（ステップＳ１０８Ｙｅｓ）、認証部１８は、次のような処理を実行する。すなわち、認証部１８は、ステップＳ１０１で撮像された手のひら画像から抽出した静脈データと、予め登録された静脈データを照合することによって手のひら静脈認証を実行し（ステップＳ１０９）、認証結果を情報端末２０上で動作するＯＳやアプリケーションプログラムへ出力し、処理を終了する。
［実施例３の効果］
　上述してきたように、本実施例に係る情報端末３０によれば、画面の背面に静脈センサ１３が設置される場合でも、位置合わせの精度を高めることができるので、上記の実施例１と同様に、認証精度を向上させることができる。
　さらに、本実施例に係る情報端末３０では、情報端末３０の使用者の手のひらの横幅と情報端末３０及び情報端末３０の使用者の目の間の距離とが比例関係を有するとみなし、今回の手のひら画像の撮影で得られた手のひらの横幅の拡縮に合わせて事前に標準的な人物で撮影された場合の測定距離を補正する。これによって、本実施例に係る情報端末３０によれば、距離センサ１４等のハードウェアがなくとも視点の位置を推定できる。
　さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
［カメラ１２の代用］
　上記の実施例１～実施例３では、情報端末１０、２０または３０がカメラ１２を有する場合を例示したが、カメラ１２は必ずしも有していなくともよい。例えば、顔画像上の目の位置を検出する代わりに、情報端末１０、２０または３０の使用者の視点が端末を基準に特定の方向、スクリーンの中心の法線方向に存在するとみなし、当該視点が情報端末１０、２０または３０に対して位置する方向を内部メモリ等に保持しておくこともできる。これによって、画面と同一の面側にカメラ１２が設けられておらずとも、視点の位置を検出または推定できる。
［認証方式］
　上記の実施例１～実施例３では、手のひら静脈認証を実行する場合に上記の画像処理を実行する場合を例示したが、これ以外の認証が実行される場合にも適用することができる。すなわち、ユーザの目の位置と認証部位の間にカメラ、画面および認証用のセンサを有する装置が存在し、認証用のセンサと認証部位が離れている場合に上記の画像処理を同様に適用できる。例えば、情報端末１０、２０または３０の背面に設置された撮像デバイスで掌紋、手の甲または掌形（手形）を撮像して掌紋認証、手の甲認証または掌形認証を実行する場合にも、上記の画像処理、すなわち図７、図９や図１１で示した処理を実行できる。
［分散および統合］
　また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、視点検出部１６または表示制御部１７を情報端末１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、視点検出部１６または表示制御部１７を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の情報端末１０の機能を実現するようにしてもよい。
［画像処理プログラム］
　また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。
　図１２は、実施例１～実施例３に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。図１２に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。
　ＨＤＤ１７０には、図１２に示すように、上記の実施例１で示した視点検出部１６及び表示制御部１７と同様の機能を発揮する画像処理プログラム１７０ａが予め記憶される。また、ＨＤＤ１７０には、上記の実施例２で示した視点位置推定部２２及び表示制御部１７と同様の機能を発揮する画像処理プログラム１７０ａが予め記憶されることとしてもよい。また、ＨＤＤ１７０には、上記の実施例３で示した視点位置推定部３２及び表示制御部１７と同様の機能を発揮する画像処理プログラム１７０ａが予め記憶されることとしてもよい。この画像処理プログラム１７０ａについては、図１、図８または図１０に示した各々の機能部の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。
　そして、ＣＰＵ１５０が、画像処理プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１２に示すように、画像処理プログラム１７０ａは、画像処理プロセス１８０ａとして機能する。この画像処理プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、画像処理プロセス１８０ａは、図１、図８または図１０に示した各機能部にて実行される処理、例えば図７、図９および図１１に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
　なお、上記の画像処理プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
　　１０　　情報端末
　　１１　　タッチパネル
　　１２　　カメラ
　　１３　　静脈センサ
　　１４　　距離センサ
　　１５　　適正配置記憶部
　　１６　　視点検出部
　　１７　　表示制御部
　　１８　　認証部

Claims (12)

  1. 　画面と、該画面が配置された面の裏面に設けられた第一のセンサと、第二のセンサとを備えた情報端末に、
    　前記第一のセンサによって撮像された第一の被写体の画像を前記画面に表示させる際に、該画像の拡縮度合い及び表示位置を、前記情報端末に設けられた第二のセンサによって撮像された第二の被写体の位置に応じて変更する
    　処理を実行させることを特徴とする画像処理プログラム。
  2. 　前記情報端末に、
    　距離を測定する距離センサを用いて、前記情報端末および前記第二の被写体の距離を測定し、
    　前記情報端末および前記第二の被写体の距離から前記第二の被写体の位置を検出する処理をさらに実行させることを特徴とする請求項１に記載の画像処理プログラム。
  3. 　前記第二の被写体は、前記情報端末の使用者の顔を含み、
    　前記情報端末に、
    　前記第二のセンサによって撮像された画像から得られる顔の特徴点間の距離を用いて、前記情報端末および前記情報端末の使用者の顔の間の距離を推定し、
    　前記情報端末および前記情報端末の使用者の顔の間の距離から前記第二の被写体の位置を推定する処理をさらに実行させることを特徴とする請求項１に記載の画像処理プログラム。
  4. 　前記第一の被写体は、前記情報端末の使用者の生体を含み、
    　前記情報端末に、
    　前記第一のセンサによって撮像された画像から得られる生体の大きさを用いて、前記情報端末および前記情報端末の使用者の顔の間の距離を推定し、
    　前記情報端末および前記情報端末の使用者の顔の間の距離から前記第二の被写体の位置を推定する処理をさらに実行させることを特徴とする請求項１に記載の画像処理プログラム。
  5. 　画面と、該画面が配置された面の裏面に設けられた第一のセンサと、第二のセンサとを備えた情報端末が、
    　前記第一のセンサによって撮像された第一の被写体の画像を前記画面に表示させる際に、該画像の拡縮度合い及び表示位置を、前記情報端末に設けられた第二のセンサによって撮像された第二の被写体の位置に応じて変更する
    　処理を実行することを特徴とする画像処理方法。
  6. 　前記情報端末が、
    　距離を測定する距離センサを用いて、前記情報端末および前記第二の被写体の距離を測定し、
    　前記情報端末および前記第二の被写体の距離から前記第二の被写体の位置を検出する処理をさらに実行することを特徴とする請求項５に記載の画像処理方法。
  7. 　前記第二の被写体は、前記情報端末の使用者の顔を含み、
    　前記情報端末が、
    　前記第二のセンサによって撮像された画像から得られる顔の特徴点間の距離を用いて、前記情報端末および前記情報端末の使用者の顔の間の距離を推定し、
    　前記情報端末および前記情報端末の使用者の顔の間の距離から前記第二の被写体の位置を推定する処理をさらに実行することを特徴とする請求項５に記載の画像処理方法。
  8. 　前記第一の被写体は、前記情報端末の使用者の生体を含み、
    　前記情報端末が、
    　前記第一のセンサによって撮像された画像から得られる生体の大きさを用いて、前記情報端末および前記情報端末の使用者の顔の間の距離を推定し、
    　前記情報端末および前記情報端末の使用者の顔の間の距離から前記第二の被写体の位置を推定する処理をさらに実行することを特徴とする請求項５に記載の画像処理方法。
  9. 　画面と、該画面が配置された面の裏面に設けられた第一のセンサと、第二のセンサとを備えた情報端末であって、
    　前記第一のセンサによって撮像された第一の被写体の画像を前記画面に表示させる際に、該画像の拡縮度合い及び表示位置を、前記情報端末に設けられた第二のセンサによって撮像された第二の被写体の位置に応じて変更する表示制御部
    　を有することを特徴とする情報端末。
  10. 　前記情報端末および前記第二の被写体の距離を測定する測定部と、
    　前記情報端末および前記第二の被写体の距離から前記第二の被写体の位置を検出する検出部とをさらに有することを特徴とする請求項９に記載の情報端末。
  11. 　前記第二の被写体は、前記情報端末の使用者の顔を含み、
    　前記第二のセンサによって撮像された画像から得られる顔の特徴点間の距離を用いて、前記情報端末および前記情報端末の使用者の顔の間の距離を推定し、前記情報端末および前記情報端末の使用者の顔の間の距離から前記第二の被写体の位置を推定する推定部をさらに有することを特徴とする請求項９に記載の情報端末。
  12. 　前記第一の被写体は、前記情報端末の使用者の生体を含み、
    　前記第一のセンサによって撮像された画像から得られる生体の大きさを用いて、前記情報端末および前記情報端末の使用者の顔の間の距離を推定し、前記情報端末および前記情報端末の使用者の顔の間の距離から前記第二の被写体の位置を推定する推定部をさらに有することを特徴とする請求項９に記載の情報端末。
PCT/JP2013/062431 2013-04-26 2013-04-26 画像処理プログラム、画像処理方法及び情報端末 Ceased WO2014174674A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP13882966.8A EP2991027B1 (en) 2013-04-26 2013-04-26 Image processing program, image processing method and information terminal
PCT/JP2013/062431 WO2014174674A1 (ja) 2013-04-26 2013-04-26 画像処理プログラム、画像処理方法及び情報端末
KR1020157030235A KR101711781B1 (ko) 2013-04-26 2013-04-26 화상 처리 프로그램을 기록한 기록 매체, 화상 처리 방법 및 정보 단말기
CN201380075945.3A CN105144228B (zh) 2013-04-26 2013-04-26 图像处理方法以及信息终端
JP2015513466A JP6052399B2 (ja) 2013-04-26 2013-04-26 画像処理プログラム、画像処理方法及び情報端末
US14/885,004 US9697415B2 (en) 2013-04-26 2015-10-16 Recording medium, image processing method, and information terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/062431 WO2014174674A1 (ja) 2013-04-26 2013-04-26 画像処理プログラム、画像処理方法及び情報端末

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/885,004 Continuation US9697415B2 (en) 2013-04-26 2015-10-16 Recording medium, image processing method, and information terminal

Publications (1)

Publication Number Publication Date
WO2014174674A1 true WO2014174674A1 (ja) 2014-10-30

Family

ID=51791278

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/062431 Ceased WO2014174674A1 (ja) 2013-04-26 2013-04-26 画像処理プログラム、画像処理方法及び情報端末

Country Status (6)

Country Link
US (1) US9697415B2 (ja)
EP (1) EP2991027B1 (ja)
JP (1) JP6052399B2 (ja)
KR (1) KR101711781B1 (ja)
CN (1) CN105144228B (ja)
WO (1) WO2014174674A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187783A (ja) * 2014-03-26 2015-10-29 富士通株式会社 携帯型情報処理装置、及びプログラム
EP3358489A1 (en) 2017-02-07 2018-08-08 Fujitsu Limited Biometric authentication apparatus, biometric authentication method, and non-transitory computer-readable storage medium for storing program for biometric authentication
US20180349670A1 (en) * 2016-02-01 2018-12-06 Fujitsu Limited Biometric information process device, biometric information process method, computer-readable non-transitory medium and distance detection device

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809049B (zh) * 2014-12-30 2019-11-05 中兴通讯股份有限公司 加解密的方法、装置及移动终端
CN105045395A (zh) * 2015-08-28 2015-11-11 京东方科技集团股份有限公司 一种显示装置及画面显示方法
US11328152B2 (en) 2019-06-17 2022-05-10 Pixart Imaging Inc. Recognition system employing thermal sensor
US11116407B2 (en) 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
US10255507B2 (en) * 2016-12-19 2019-04-09 Canon Kabushiki Kaisha Detection of an object in a distorted image
CN106774937B (zh) * 2017-01-13 2020-01-10 宇龙计算机通信科技(深圳)有限公司 一种增强现实技术中的图像交互方法及其装置
CN111183456A (zh) * 2017-10-03 2020-05-19 富士通株式会社 识别程序、识别方法以及识别装置
EP3693924B1 (en) * 2017-10-03 2023-08-02 Fujitsu Limited Posture recognition system, image correction program, and image correction method
JP2019086365A (ja) * 2017-11-06 2019-06-06 株式会社日立製作所 位置推定システム
CN109960964A (zh) * 2017-12-14 2019-07-02 红石生物特征科技有限公司 非接触式掌纹获取装置及其方法
US12039726B2 (en) * 2019-05-20 2024-07-16 Aranz Healthcare Limited Automated or partially automated anatomical surface assessment methods, devices and systems
US11615639B1 (en) * 2021-01-27 2023-03-28 Jackson Klein Palm vein identification apparatus and method of use
CN113590250B (zh) * 2021-07-29 2024-02-27 网易（杭州）网络有限公司 图像处理方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258714A (ja) 2003-02-24 2004-09-16 Toshiba Corp 画像表示装置
JP2006141589A (ja) * 2004-11-18 2006-06-08 Shigematsu:Kk 個人認証装置及び個人認証方法
JP2007052534A (ja) 2005-08-16 2007-03-01 Kddi Corp 掌紋認証装置、掌紋認証プログラム、及び掌紋認証方法、並びに掌紋画像の抽出方法、並びに掌紋認証装置を備えた携帯電話端末
JP2008040827A (ja) * 2006-08-07 2008-02-21 Fujitsu Ltd 画像認証装置、画像認証方法、画像認証プログラム、記録媒体及び電子機器
JP2008071030A (ja) 2006-09-13 2008-03-27 Hitachi Ltd 生体認証装置
JP2009157908A (ja) 2007-12-07 2009-07-16 Sony Corp 情報表示端末、情報表示方法、およびプログラム
JP2010541046A (ja) 2007-09-24 2010-12-24 アップル インコーポレイテッド 電子デバイスに組み込まれた認証システム
JP2011066699A (ja) * 2009-09-17 2011-03-31 Casio Computer Co Ltd 撮像装置及び撮像装置の表示用プログラム
JP2012054886A (ja) * 2010-09-03 2012-03-15 Nec Casio Mobile Communications Ltd 画像表示制御方法、画像表示制御装置、およびプログラム
WO2013051259A1 (ja) * 2011-10-07 2013-04-11 パナソニック株式会社 撮影装置及び撮影方法
JP2013077678A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像素子、電子機器、並びに、製造方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060044399A1 (en) * 2004-09-01 2006-03-02 Eastman Kodak Company Control system for an image capture device
CN101233745B (zh) * 2005-11-22 2010-12-01 松下电器产业株式会社 摄影装置、便携终端装置及摄影方法
JP2008160703A (ja) * 2006-12-26 2008-07-10 Sky Kk カメラ及びカメラ用プログラム
CN100550039C (zh) * 2007-11-16 2009-10-14 北京中星微电子有限公司 一种图像特征点定位方法及装置
US9513765B2 (en) 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
JP4781440B2 (ja) * 2009-02-05 2011-09-28 ソニー エリクソン モバイル コミュニケーションズ， エービー 画像撮影装置、画像撮影装置の制御方法及び制御プログラム
CN101968846B (zh) * 2010-07-27 2013-05-15 上海摩比源软件技术有限公司 一种人脸跟踪方法
US8754831B2 (en) * 2011-08-02 2014-06-17 Microsoft Corporation Changing between display device viewing modes

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258714A (ja) 2003-02-24 2004-09-16 Toshiba Corp 画像表示装置
JP2006141589A (ja) * 2004-11-18 2006-06-08 Shigematsu:Kk 個人認証装置及び個人認証方法
JP2007052534A (ja) 2005-08-16 2007-03-01 Kddi Corp 掌紋認証装置、掌紋認証プログラム、及び掌紋認証方法、並びに掌紋画像の抽出方法、並びに掌紋認証装置を備えた携帯電話端末
JP2008040827A (ja) * 2006-08-07 2008-02-21 Fujitsu Ltd 画像認証装置、画像認証方法、画像認証プログラム、記録媒体及び電子機器
JP2008071030A (ja) 2006-09-13 2008-03-27 Hitachi Ltd 生体認証装置
JP2010541046A (ja) 2007-09-24 2010-12-24 アップル インコーポレイテッド 電子デバイスに組み込まれた認証システム
JP2009157908A (ja) 2007-12-07 2009-07-16 Sony Corp 情報表示端末、情報表示方法、およびプログラム
JP2011066699A (ja) * 2009-09-17 2011-03-31 Casio Computer Co Ltd 撮像装置及び撮像装置の表示用プログラム
JP2012054886A (ja) * 2010-09-03 2012-03-15 Nec Casio Mobile Communications Ltd 画像表示制御方法、画像表示制御装置、およびプログラム
JP2013077678A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像素子、電子機器、並びに、製造方法
WO2013051259A1 (ja) * 2011-10-07 2013-04-11 パナソニック株式会社 撮影装置及び撮影方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2991027A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187783A (ja) * 2014-03-26 2015-10-29 富士通株式会社 携帯型情報処理装置、及びプログラム
US20180349670A1 (en) * 2016-02-01 2018-12-06 Fujitsu Limited Biometric information process device, biometric information process method, computer-readable non-transitory medium and distance detection device
EP3358489A1 (en) 2017-02-07 2018-08-08 Fujitsu Limited Biometric authentication apparatus, biometric authentication method, and non-transitory computer-readable storage medium for storing program for biometric authentication
US10635799B2 (en) 2017-02-07 2020-04-28 Fujitsu Limited Biometric authentication apparatus, biometric authentication method, and non-transitory computer-readable storage medium for storing program for biometric authentication

Also Published As

Publication number Publication date
EP2991027B1 (en) 2020-02-19
US9697415B2 (en) 2017-07-04
JPWO2014174674A1 (ja) 2017-02-23
US20160034747A1 (en) 2016-02-04
CN105144228A (zh) 2015-12-09
EP2991027A1 (en) 2016-03-02
EP2991027A4 (en) 2016-04-20
CN105144228B (zh) 2018-07-06
KR20150133262A (ko) 2015-11-27
KR101711781B1 (ko) 2017-03-02
JP6052399B2 (ja) 2016-12-27

Similar Documents

Publication Publication Date Title
JP6052399B2 (ja) 画像処理プログラム、画像処理方法及び情報端末
JP7452571B2 (ja) 生体認証装置、生体認証方法および生体認証プログラム
US10205883B2 (en) Display control method, terminal device, and storage medium
JP6809226B2 (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
CN102812416B (zh) 指示输入装置、指示输入方法、程序、记录介质以及集成电路
EP2434372A2 (en) Controlled access to functionality of a wireless device
EP2950180B1 (en) Method for determining screen display mode and terminal device
EP3559847B1 (en) Electronic device for biometric authentication of a user
CN109002786A (zh) 人脸检测方法、设备及计算机可读存储介质
CN103970259A (zh) 屏幕模式切换的方法和终端设备
CN111588354A (zh) 体温检测方法、体温检测装置及存储介质
JP2020505705A (ja) 特徴画像を習得するための方法およびデバイスならびにユーザー認証方法
JP2016139396A (ja) ユーザーインターフェイス装置、方法およびプログラム
WO2018072179A1 (zh) 一种基于虹膜识别的图像预览方法及装置
JP5416489B2 (ja) 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
CN112971712A (zh) 生物体信息取得装置、终端装置、取得方法、记录介质
JP6446676B1 (ja) 本人認証システム、方法およびプログラム
JP2017004438A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP5791557B2 (ja) 連絡操作支援システム、連絡操作支援装置および連絡操作方法
CN108628640B (zh) 用于显示设备中的端子插接引导方法、装置和显示设备
KR20160028705A (ko) 이동통신 단말기를 활용한 사용자 인증 방법 및 이를 실행하는 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380075945.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13882966

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015513466

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013882966

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20157030235

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE