WO2016129917A1 - 사용자 단말 및 이의 제공 방법 - Google Patents

사용자 단말 및 이의 제공 방법 Download PDF

Info

Publication number
WO2016129917A1
WO2016129917A1 PCT/KR2016/001362 KR2016001362W WO2016129917A1 WO 2016129917 A1 WO2016129917 A1 WO 2016129917A1 KR 2016001362 W KR2016001362 W KR 2016001362W WO 2016129917 A1 WO2016129917 A1 WO 2016129917A1
Authority
WO
WIPO (PCT)
Prior art keywords
iris
user
iris image
user terminal
image
Prior art date
Application number
PCT/KR2016/001362
Other languages
English (en)
French (fr)
Inventor
이강민
고준호
곽병훈
김성찬
김양욱
김창한
김현중
나인학
윤강진
이용찬
정재호
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP16749457.4A priority Critical patent/EP3257436A4/en
Priority to CN201680009697.6A priority patent/CN107209857A/zh
Publication of WO2016129917A1 publication Critical patent/WO2016129917A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1216—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes for diagnostics of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/117—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes

Definitions

  • the present invention relates to a user terminal and a control method thereof, and more particularly, to a user terminal capable of determining a user's health state and a method of providing the same.
  • the present invention has been made in view of the above-described necessity, and an object of the present invention is to provide a user terminal and a method for providing the same so that the user can receive feedback on the user's health while performing iris recognition.
  • a method of providing a user terminal includes: obtaining an iris image, determining a shooting condition of the iris image, and converting the obtained iris image into an iris code And performing iris recognition by comparing the iris code corresponding to the shooting condition among the converted iris code and the pre-registered iris code, when the iris recognition success rate is within a preset range, The method may include determining a health state of the user who performed the iris recognition based on the iris recognition result and providing the determined health state result.
  • the determining of the photographing condition may include: an illuminance value of an environment in which the iris image is captured, a distance between a user who photographed the iris image and the user terminal, a shape of the user's eyes included in the iris image, and the The photographing condition may be determined by determining at least one of colors around the user at the time of photographing the iris image.
  • the determining of the health state comprises pre-stored irises corresponding to the photographing conditions determined in the pre-stored photographing conditions.
  • the information on the image may be obtained, and the health state may be determined based on the previously stored information on the iris image.
  • the determining of the health state may include removing the eyelid region and the light reflection region included in the iris image, and comparing the removed iris image with a previously stored iris image to determine the health state. can do.
  • the iris may be recognized using the iris image, and the iris may be recognized in a range where the user terminal may be unlocked.
  • the providing may further include displaying a UI that provides the determined health state result when the iris recognition is successful and the user terminal is unlocked.
  • the UI providing the health state result may be at least one of a UI indicating that there is a problem with the user's health, a UI indicating a hospital existing within a predetermined distance from the user terminal, and a self-diagnostic UI. .
  • the providing of the health status result may include displaying a self-diagnosis UI for self-diagnosing the health status of the user, providing a self-diagnosis result performed through the self-diagnosis UI, and the self-diagnosis result.
  • the method may further include displaying a UI for notifying a hospital existing within a predetermined distance from the user terminal.
  • the iris recognition may further include measuring a pupil cycle time (PCT), and the determining of the health state may include a threshold of a pupil cycle time in which the pupil cycle time is preset. If not within the range, it may include the step of determining the health state of the user performing the iris recognition.
  • PCT pupil cycle time
  • the acquiring of the iris image may further include photographing an area including the eyes of the user, and the providing of the iris image may include displaying the determined health state on an image of the photographed eye of the user.
  • the method may further include providing the medical condition result.
  • the user terminal may determine an iris image acquisition unit for acquiring an iris image, a storage unit storing an iris code and a shooting condition, and determine a shooting condition of the iris image, and obtain the acquired iris image. Converts into an iris code, compares the iris code corresponding to the shooting condition among the converted iris code and the iris code pre-registered in the storage unit, performs iris recognition, and performs iris recognition.
  • the controller may include a controller configured to determine a health state of the user who performs the iris recognition based on the iris recognition result, and an output unit configured to provide the determined health state result.
  • a sensing unit including at least one of a plurality of sensors and a camera
  • the control unit is configured to include an illuminance value of an environment in which the iris image is captured by the sensing unit, and a distance between a user who photographed the iris image and the user terminal.
  • determining the photographing condition by determining at least one of the shape of the eye of the user included in the iris image and the color of the surroundings of the user at the time when the iris image is captured.
  • the controller controls the storage unit to match and store the information about the iris image and the shooting condition of the iris image, and the information about the pre-stored iris image corresponding to the determined shooting condition in the pre-stored shooting condition. And acquiring the health state based on information about the pre-stored iris image.
  • the controller may remove the eyelid region and the light reflection region included in the iris image, and compare the removed iris image with a previously stored iris image to determine the health state.
  • the iris may be recognized using the iris image, and the iris may be recognized within the range in which the user terminal may be unlocked.
  • the output unit may further include a display unit, wherein the controller is configured to control the display unit to display a UI that provides the determined health state result when the iris recognition succeeds in unlocking the user terminal. It can be characterized.
  • the UI providing the health status result may be at least one of a UI indicating that there is a problem with the user's health, a UI indicating a hospital existing within a predetermined distance from the user terminal, and a self-diagnostic UI. have.
  • the output unit may further include a display unit, wherein the controller is configured to display a self-diagnosis UI for self-diagnosing a health state of the user, provide a self-diagnosis result performed through the self-diagnosis UI, and perform the self-diagnosis.
  • the display unit may be controlled to display a UI for notifying a hospital existing within a predetermined distance from the user terminal.
  • the pupil cycle time (Pupil cycle time, PCT) is measured, and if the pupil cycle time does not fall within the threshold range of the predetermined pupil cycle time, it is characterized in that the health status of the user performing the iris recognition You can do
  • the iris image obtaining unit may further include an iris photographing module, and the controller controls the iris photographing module to capture an area including a user's eyes to obtain the iris image,
  • the output unit may be controlled to display the determined health state on an image and provide the health state result.
  • the user may perform iris recognition through the user terminal and receive feedback on a health state.
  • FIG. 1 is a block diagram briefly illustrating a configuration of a user terminal according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram showing in detail the configuration of a user terminal according to an embodiment of the present invention.
  • 3A and 3B are views for explaining a method of detecting an iris region according to an embodiment of the present invention.
  • 4A and 4B are diagrams for describing a method of measuring a distance between a user terminal and a user, according to an embodiment of the present invention
  • 5A to 5D are diagrams for describing a method of unlocking a user terminal using iris recognition according to an embodiment of the present invention
  • 6A to 6C illustrate a health state determination result UI according to various embodiments of the present disclosure
  • FIG. 7A and 7B illustrate an iris recognition failure screen according to various embodiments of the present disclosure
  • 8A to 8L illustrate a self-diagnostic UI according to various embodiments of the present disclosure.
  • FIG. 9 is a flowchart illustrating a method of providing a user terminal according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a method of measuring a pupil cycle time and providing a self-diagnosis UI according to an embodiment of the present invention
  • 11A to 11D are diagrams for describing an iris code extraction method according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • the module or unit performs at least one function or operation, and may be implemented by hardware or software, or a combination of hardware and software.
  • the plurality of modules or the plurality of units may be integrated into at least one module except for the modules or units that need to be implemented with specific hardware, and are implemented as at least one processor (not shown). Can be.
  • the user terminal 100 includes an iris image acquisition unit 110, a storage unit 120, an output unit 130, and a controller 140.
  • the iris image acquisition unit 110 is a component for acquiring an iris image of the user's iris.
  • the iris image acquisition unit 110 may acquire an iris image by photographing the iris of the user or receiving the photographed iris image of the user.
  • the storage unit 120 is a component for storing various program modules required by the user terminal 100.
  • the storage unit 120 may store an iris code and a shooting condition.
  • the storage 120 stores an iris code corresponding to at least one user.
  • the iris code is data obtained by normalizing a user's iris region into a rectangular shape and used for iris recognition. A detailed method of obtaining an iris code will be described later.
  • the iris code stored in the storage unit 120 may be updated.
  • the storage unit 120 is the illuminance value of the environment in which the iris image is taken, the distance between the user and the user terminal 100 that photographed the iris image, the shape of the eyes of the user included in the iris image and the iris image at the time At least one of the colors around the user may be stored as a shooting condition.
  • the color of the surrounding may refer to the color around the user's iris.
  • the output unit 130 is a component for outputting a variety of content provided by the user terminal 100.
  • the output unit 130 may output the health state results of the user in various forms.
  • the controller 140 controls the overall operation of the user terminal 100.
  • the controller 140 may determine a shooting condition of the iris image, and may convert the iris image into an iris code.
  • the controller 140 may perform iris recognition by comparing the iris code corresponding to the photographing condition among the converted iris code and the iris code previously registered in the storage 120.
  • the controller 140 may determine the health state of the user who performed the iris recognition based on the iris recognition result.
  • the iris recognition success rate is within a preset range, it may mean a range within which the iris can be recognized using the iris image and the user terminal can be unlocked.
  • the controller 140 controls to measure a pupil cycle time (PCT), and when the pupil cycle time does not fall within a threshold range of a preset pupil cycle time, the health state of the user who performed iris recognition Can be determined.
  • PCT pupil cycle time
  • the control unit 140 matches the information on the iris image and the shooting conditions of the iris image and stores the storage unit ( 120 can be controlled.
  • Information on the iris image includes the iris image, the pupil cycle time measured when the iris image is acquired, and the iris code obtained by converting the iris image.
  • the user terminal 100 may include the iris image acquisition unit 110, the storage unit 120, the output unit 130, and the control unit 140, as well as the sensing unit 150 and the communication unit 160. And an input unit 170 may be further included.
  • the iris image acquisition unit 110 is a component for acquiring an iris image of the user's iris.
  • the iris image acquisition unit 110 may include a camera. That is, the iris image acquisition unit 110 captures a user located in front of the user terminal 100 by using a camera including a mirror-type infrared pass filter called a cold mirror, and acquires an iris image. can do.
  • the storage unit 120 stores various modules for driving the user terminal 100.
  • the storage 120 may store software including a base module, a sensing module, a communication module, a presentation module, a web browser module, and a service module.
  • the base module is a basic module that processes a signal transmitted from each hardware included in the user terminal 100 and transmits the signal to the upper layer module.
  • the sensing module collects information from various sensors and analyzes and manages the collected information.
  • the sensing module may include a face recognition module, a voice recognition module, a motion recognition module, an NFC recognition module, and the like.
  • the presentation module is a module for constructing a display screen, and may include a multimedia module for reproducing and outputting multimedia content, and a UI rendering module for performing UI and graphic processing.
  • the communication module is a module for performing communication with the outside.
  • the web browser module refers to a module that performs web browsing to access a web server.
  • the service module is a module including various applications for providing various services.
  • the storage unit 120 may include various program modules, but various program modules may be partially omitted, modified, or added according to the type and characteristics of the user terminal 100.
  • the base module further includes a position determination module for determining a GPS-based position
  • the sensing module further includes a sensing module for detecting a user's motion. can do.
  • the storage unit 120 may store an iris code and a shooting condition.
  • the storage 120 stores an iris code corresponding to at least one user.
  • the iris code is data obtained by normalizing a user's iris region into a rectangular shape and used for iris recognition.
  • the iris code stored in the storage 120 may be updated by the control of the controller 140.
  • the storage unit 120 is the illuminance value of the environment in which the iris image is taken, the distance between the user and the user terminal 100 that photographed the iris image, the shape of the eyes of the user included in the iris image and the iris image at the time At least one of the colors around the user may be stored as a shooting condition.
  • the output unit 130 is a component for outputting a variety of content provided by the user terminal 100.
  • the output unit 130 may include at least one of the display unit 131 and the speaker 132.
  • the display unit 131 is a component for displaying various images and UIs.
  • the display unit 131 may display the captured or received image.
  • the display unit 131 may display various UIs under the control of the controller 140. In detail, when the iris recognition succeeds and the user terminal 100 is unlocked, the display unit 131 may display a UI that provides the determined health state result.
  • the UI for providing a health state result may include at least one of a UI for notifying a user of a health problem, a UI for notifying a hospital existing within a predetermined distance from the user terminal 100, and a self-diagnostic UI.
  • the speaker 132 is a component for outputting audio data.
  • the speaker unit 132 is configured to output not only various audio data processed by the audio processor (not shown) but also various notification sounds or voice messages. For example, if the iris recognition succeeds, the speaker 132 may output an alarm indicating that the iris recognition succeeds and the lock of the user terminal 100 is released.
  • the speaker unit 132 may include an audio terminal.
  • the output of the various alarms as audio data through the speaker 132 is only an example, and an alarm may be output through vibration or an LED may emit light.
  • the detector 150 may include a plurality of sensors and a camera to detect a photographing condition in which the surrounding environment and the iris of the user terminal 100 are recognized.
  • the sensing unit 150 may include a sensor module 151, a camera 152, and a time of flight (TOF) camera 153.
  • TOF time of flight
  • the sensor module 151 may include a plurality of sensors.
  • the sensor module 151 may include various sensors such as a gesture sensor, a gyro sensor, an air pressure sensor, an illuminance sensor, a proximity sensor, and an acceleration sensor.
  • the illuminance sensor may detect the illuminance of the environment in which the user terminal 100 is located. That is, in order to determine whether illuminance of the environment in which the pre-stored iris image is photographed and illuminance of the environment in which the current iris recognition is performed is similar, the illuminance sensor may determine illuminance while the iris image is captured.
  • the camera 152 is a component for capturing an image.
  • the camera 152 may photograph a user who performs iris recognition in order to determine whether a user who has previously stored an iris image and a user who is currently performing iris recognition are the same.
  • the time of flight (TOF) camera 153 is a component for measuring the distance between the user terminal 100 and the user. That is, the distance between the user terminal 100 and the user may be different according to the shape of the user's face. Accordingly, the time of flight (TOF) camera 153 may measure the distance between the user performing iris recognition and the user terminal 100 in front of the user terminal 100.
  • the communication unit 160 is configured to communicate with various types of external devices according to various types of communication methods.
  • the communication unit 160 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, an NFC chip, a wireless communication chip, an IR chip, and the like.
  • the WiFi chip, the Bluetooth chip, the NFC chip, and the IR chip communicate with each other by the WiFi method, the Bluetooth method, the NFC method, and the IR method.
  • the NFC chip refers to a chip that operates in a near field communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, and 2.45 GHz.
  • NFC near field communication
  • the wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evoloution (LTE), and the like.
  • the input unit 170 is a component for receiving a user command.
  • the input unit 170 receives a user command for controlling the overall operation of the user terminal 100.
  • the input unit 170 may be implemented as a remote controller including up, down, left, and right four-way keys and a confirmation key, but this is only an example and may be implemented by various input devices such as a touch screen, a mouse, and a pointing device. Can be.
  • the input unit 170 may receive a user command by a user voice. That is, the input unit 170 may include a component such as a microphone to receive a user voice.
  • the controller 140 controls the overall operation of the user terminal 100.
  • the controller 140 may determine a shooting condition of the iris image, and may convert the iris image into an iris code.
  • the controller 140 may perform iris recognition by comparing the iris code corresponding to the photographing condition among the converted iris code and the iris code previously registered in the storage 120.
  • FIGS. 11A to 11D a method of converting an acquired iris image into an iris code is illustrated in FIGS. 11A to 11D.
  • the controller 140 may perform a preprocessing process to generate an iris code. For example, the controller 140 may perform a noise removal process to remove an element unnecessary for iris recognition included in the iris image 1100. In addition, the controller 140 may detect the boundary of the iris using a circular boundary detector, convert the iris region into a polar coordinate system, and normalize the same.
  • the controller 140 may separate the iris region 1110 from the iris image 1100 as illustrated in FIG. 11B.
  • the controller 140 may normalize the separated iris region 1110 into a rectangular shape, extract a feature of a door pattern of the iris region 1110, and convert the extracted iris region 1110 into a shape 1120 as illustrated in FIG. 11C. In addition, as illustrated in FIG. 11D, the controller 140 may generate and store the encoded iris code 1130.
  • the controller 140 may determine the health state of the user who performed the iris recognition based on the iris recognition result when the iris recognition success rate is within a preset range.
  • the iris recognition success rate is within a preset range, it may mean a range within which the iris can be recognized using the iris image and the user terminal can be unlocked.
  • the controller 140 may determine the health state of the user who performed the iris recognition. have.
  • the controller 140 controls to measure a pupil cycle time (PCT), and when the pupil cycle time does not fall within a threshold range of a preset pupil cycle time, the health state of the user who performed iris recognition Can be determined.
  • PCT pupil cycle time
  • the controller 140 recognizes that the user's health is not normal and performs the iris recognition.
  • the state can be determined.
  • the controller 140 attempts to recognize the iris while acquiring the iris image. However, when the iris recognition fails, the controller 140 may authenticate the user through a password input. Therefore, the controller 140 may determine the health state of the user based on the iris image obtained after the user authentication, and may output the determination result.
  • the control unit 140 matches the information on the iris image and the shooting conditions of the iris image and stores the storage unit ( 120 can be controlled.
  • the information on the iris image may include an iris image, a pupil cycle time (PCT) measured when the iris image is acquired, and an iris code obtained by converting the iris image.
  • PCT pupil cycle time
  • the illuminance value of the environment in which the iris image is captured by the detector 150, the distance between the user who photographed the iris image and the user terminal 100, the shape of the eye of the user included in the iris image, and the iris image are captured.
  • Photographing conditions including at least one of the surrounding colors of the user at the time may be obtained.
  • the controller 140 When the controller 140 acquires the iris image through the iris image acquisition unit 110 and registers the iris image as the iris code, the controller 140 stores the iris code in the storage unit 120 by matching the shooting condition acquired through the detection unit 150. Can be.
  • the controller 140 may determine a photographing condition while iris recognition is performed.
  • the controller 140 may acquire the pre-stored iris image corresponding to the shooting condition determined by the shooting condition stored in the storage unit 120 and control the health state based on the pre-stored iris image.
  • the controller 140 may remove the eyelid region and the light reflection region included in the obtained iris image, and compare the removed iris image with the previously stored iris image to determine an iris disease in a health state.
  • the controller 140 may control to separate and acquire only the iris region as illustrated in FIG. 3B.
  • the iris may differ in the area covered by the eyelid, depending on the person. Therefore, the controller 140 may acquire the iris image by excluding the eyelid region covering the iris.
  • the iris image may include a reflection area.
  • the controller 140 may control to detect and remove the light reflection region.
  • the storage unit 140 stores images of the eyeball and the eye in which various abnormal symptoms appear. Accordingly, the controller 140 may remove the eyelid region and the light reflection region and compare the obtained iris image with a plurality of images previously stored in the storage 120. When the image similar to the acquired iris image is an image of photographing the iris caused by the specific disease, the controller 140 may determine that the specific disease occurs in the iris of the user.
  • the controller 140 may compare an image including the photographed eye and the eye circumference with a plurality of previously stored images without separately separating the iris region. If the image similar to the acquired eye image is an image of a person's eye due to a specific disease, the controller 140 may determine that a specific disease occurs in the user's eyes.
  • the controller 140 may acquire the illuminance value of the environment in which the iris image is obtained using the illuminance sensor as the photographing condition.
  • the controller 140 may compare the pupil cycle time (PCT) obtained while the iris image is captured and the pupil cycle time for the previously stored iris image. That is, the controller 140 may determine that the health state of the user is not normal when the acquired pupil cycle time does not fall within a threshold range of previously stored pupil cycle time.
  • PCT pupil cycle time
  • the controller 140 may obtain the distance between the user terminal 100 and the user as a shooting condition.
  • 4A and 4B are diagrams for describing a method of obtaining a distance between a user terminal 100 and a user.
  • the control unit 140 based on the lengths d 1 and d 3 from both ends of the eye to the iris and the horizontal length d 2 of the iris included in the acquired iris image.
  • the distance between the terminal 100 and the user may be obtained.
  • the controller 140 may obtain a distance between the user terminal 100 and the user based on the length d 4 between both eyes included in the obtained iris image.
  • the length d 4 between both eyes will be shorter than when the user is close to the user terminal 100.
  • the controller 140 may obtain a distance between the user terminal 100 and the user by using the TOF camera 153. have.
  • the controller 140 may control the output unit 130 to output the determined health state.
  • the output unit 130 may output the health state in the form of at least one of the image content and the audio content.
  • the output unit 130 includes the display unit 131 and outputs a health state through the display unit 131 as image content such as a UI will be described.
  • the controller 140 may control the display unit 131 to display a UI for notifying the determined disease when the disease caused by the user is determined by the above-described method.
  • the controller 140 may control the display unit 131 to display and display the determined health state on the image photographing the area including the user's eyes.
  • the controller 140 may display a self-diagnosis UI for allowing a user to know the details of a specific disease through self-diagnosis.
  • the controller 140 may control the display unit 131 to display a UI indicating a hospital existing within a predetermined distance from the user terminal 100 when it is determined that the health state of the user is bad according to the self-diagnosis result. have. Details of the self-diagnosis UI and the UI for informing the hospital will be described later.
  • the user can check the health state while performing the iris recognition to release the lock.
  • 5A to 5D are diagrams for describing an iris recognition method according to an embodiment of the present invention.
  • FIG. 5A illustrates a user terminal 100 in which a lock is set and an initial screen is displayed.
  • the user terminal 100 is illustrated as a smart phone
  • the user terminal 100 is an electronic device that can be unlocked by performing iris recognition, and is a mobile phone, a notebook PC, a tablet PC, a TV, an LFD, and a digital camera. It may be implemented in various electronic devices such as a camcorder, a PDA, a smart watch, smart glasses, and the like, and is not limited to a smart phone.
  • the user terminal 100 may include an iris image acquisition unit 110 in a front portion including the display unit 131.
  • the locked user terminal 100 may display the iris recognition UI (500).
  • the user may select the iris recognition UI 500 using a user's body or a stylus pen.
  • FIG. 5B is a diagram illustrating the user terminal 100 displaying the UI 510 when the iris recognition UI 500 is selected by the user.
  • the user terminal 100 may instruct the user to place an eye on the iris image acquisition unit 110 of the user terminal 100 and perform a photographing through the UI 510.
  • the user terminal 100 may turn off the display 131 as illustrated in FIG. 5C.
  • the controller 140 may control to turn off the power of the display unit 131 in order to minimize the influence of the illumination of the display unit 131.
  • the controller 140 controls the display unit 131 to release the lock of the user terminal 100 and display the initial screen of the user terminal 100 as illustrated in FIG. 5D. can do.
  • the controller 140 may detect an iris region from the acquired image and normalize the detected iris region into a rectangular shape to generate an iris code.
  • the controller 140 may mask an area of the rectangular normalized iris code that is covered by the eyebrows or eyelids, and may perform recognition of the user's iris by comparing the remaining area except the masked area with the pre-registered iris code.
  • the controller 140 may register an iris image for iris recognition by a user. That is, the controller 140 may analyze the iris image according to the user, detect the iris code, and control the storage 120 to store the detected iris code.
  • the controller 140 may match the stored photographing condition with the iris image and store the same.
  • the controller 140 may store not only an iris image but also an iris code and a pupil cycle time obtained from the iris image in accordance with the obtained photographing condition.
  • the controller 140 may control the detector 150 to detect various shooting conditions as described above.
  • the controller 140 recognizes the iris for the obtained iris image using the iris code corresponding to the determined photographing condition. Can be performed.
  • the controller 140 may compare the iris codes to determine the health state of the user who performed the iris recognition based on the iris recognition result when the iris recognition success rate is within a preset range. .
  • the controller 140 may determine the health state of the user based on the iris image. For example, when the iris recognition success rate is less than 95%, the controller 140 may determine the health state of the user.
  • the controller 140 may control the display unit 131 to display the UIs 600, 610, and 620 as shown in FIGS. 6A to 6C.
  • the controller 140 controls to measure a pupil cycle time (PCT), and when the pupil cycle time does not fall within a threshold range of a preset pupil cycle time, the health state of the user who performed iris recognition Can be determined.
  • PCT pupil cycle time
  • the controller 140 may measure the pupil cycle time. As a result of the measurement, when the pupil cycle time does not fall within a threshold range of the pupil cycle time of the conventional user, the controller 140 may determine the health state of the user who performed the iris recognition.
  • the controller 140 may determine the health state of the user at each preset iris recognition number or may determine the health state of the user when it is determined that the user enters the preset position.
  • the controller 140 may determine the health state of the user when the condition of the user setting or the initial setting is satisfied. For example, when the user terminal 100 is charging or when a threshold time is required after determining the health state of the user, the controller 140 may determine the health state of the user.
  • the controller 140 may control the display unit 131 to display the determination results UI 600, 610, and 620 that are a result of determining the health state of the user.
  • FIG. 6A is a diagram illustrating a user terminal 100 displaying a UI 600 as a result of a successful iris recognition and a result of analyzing an iris image and finding a health abnormality.
  • the controller 140 includes a content of recommending rest.
  • the display unit 131 may be controlled to display the UI 600.
  • the controller 140 may control the display 131 to protect the user's vision.
  • the controller 140 may control the brightness of the display unit 131 according to the sensed ambient illuminance.
  • 6B is a diagram illustrating a user terminal 100 displaying a UI 610 as a result of a successful iris recognition and a result of iris image analysis as a result of a relatively serious health abnormality being found.
  • the detected form of the iris is stored in the previously stored iris.
  • the controller 140 determines the disease occurring in the eye and iris of the user, and informs that an abnormality in the eye is found.
  • the display unit 131 may be controlled to display the UI 610 including the determination result.
  • the controller 140 finds an abnormality in the eye.
  • the display unit 131 may be controlled to display the UI 610 as a result of the determination including the content of the notification.
  • the controller 140 searches for a hospital existing within a threshold distance based on the location of the user terminal 100, and searches for the search. According to a result, the display unit 131 may be controlled to display the hospital list UI.
  • 6C is a diagram illustrating a user terminal 100 displaying a UI 620 as a result of a successful iris recognition and a result of analyzing an iris image and finding a serious health abnormality.
  • the controller 140 succeeds in recognizing the iris image only several times. It can be judged that.
  • the controller 140 may control the display unit 131 to display the UI 620 as a result of the determination that the serious abnormality of the eye is found and thus self diagnosis is necessary.
  • the controller 140 may control the display 131 to display the UI for self-diagnosis.
  • the UI for specific self-diagnosis will be described later.
  • FIG. 7A and 7B illustrate the user terminal 100 when the iris recognition fails. That is, even when the iris recognition is repeatedly performed, if the iris recognition failure rate is too low, the controller 140 displays the display unit 131 to display the authentication failure UI 700 as shown in FIG. 7A. Can be controlled.
  • the user terminal 100 may notify that user authentication has failed and may receive a user command regarding whether to retry authentication.
  • the controller 140 may control the display 131 to display the password input UI 710. That is, the controller 140 may notify that the iris recognition has failed through the password input UI 710 and may receive a separately set password. Therefore, when the iris recognition fails, the controller 140 may release the lock of the user terminal 100 by a separate method.
  • the controller 140 may control the display unit 131 to display various types of self-diagnostic UIs for allowing a user to know the details of a specific disease through self-diagnosis.
  • the controller 140 controls the display unit 131 to display the self-diagnosis UI 800 as shown in FIG. 8A. You may.
  • the user terminal 100 may notify that the user's eye health is found through the self-diagnosis UI 800, and may propose to execute self-diagnosis for a specific test.
  • FIGS. 8B to 8D are diagrams illustrating a user terminal 100 displaying a self-diagnostic guide when a user command for executing self-diagnosis is input through the self-diagnostic UI 800.
  • the user terminal 100 may notify the user that self-diagnosis is executed.
  • the controller 140 may control the display unit 131 to display a guide UI for acquiring an iris image for self-diagnosis.
  • the controller 140 may control to turn off the display 131. That is, while acquiring the iris image, the display unit 131 may be turned off in order to minimize the influence of the illumination of the display unit 131.
  • the display of the guide UI as shown in FIG. 8C is performed. May be omitted.
  • the step of turning off the display unit 131 as shown in FIG. 8D may be omitted.
  • FIG. 8E illustrates a user terminal 100 displaying an eye test UI 810 for measuring a user's vision during self-diagnosis.
  • the user may position the user terminal 100 at a predetermined distance, determine whether the number displayed on the visual inspection UI 810 is visible, and measure the visual acuity.
  • the user may select a number displayed on the vision test UI 810 by using an external control device (not shown) for controlling the user terminal 100.
  • FIG. 8F is a diagram illustrating the user terminal 100 displaying the astigmatism test UI 820 for determining whether a user has astigmatism during self-diagnosis. That is, the user may answer the question for astigmatism test displayed on the astigmatism test UI 820 to determine whether astigmatism is present.
  • FIG. 8G is a diagram illustrating the user terminal 100 displaying the retinal examination UI 830 for determining whether a user has astigmatism during self-diagnosis. That is, the user may answer the question for retinal examination displayed on the astigmatism examination UI 820 to determine whether there is a problem in the retina.
  • 8H and 8I illustrate a user terminal 100 displaying color blindness inspection UIs 840 and 850 for determining whether a user has red-green color blindness or color blindness during self-diagnosis.
  • the color blindness inspection UI 840 for inspecting the red-green color target may be used to determine whether the user has red-green color blindness.
  • the color blindness inspection UI 850 for determining color blindness as illustrated in FIG. 8I may determine whether the user is color blind.
  • FIG. 8J is a diagram illustrating a user terminal 100 displaying a self-diagnosis result UI 860 according to one embodiment of the present invention.
  • the user terminal 100 may provide a suspected disease through the self-diagnosis result UI 860.
  • the user terminal 100 may measure the pupil cycle time (PCT). Therefore, when the measured pupil cycle time does not fall within the normal pupil cycle time range, the user terminal 100 may inform the self-diagnosis result UI 860 that the pupil cycle time does not fall within the normal range.
  • PCT pupil cycle time
  • the user terminal 100 may receive a user command for searching for a hospital located within a preset range from the location of the user terminal 100 through the self-diagnosis result UI 860.
  • the user terminal 100 may display a hospital search result 870, as shown in FIG. 8K.
  • the user terminal 100 may transmit a self-diagnosis result to a hospital.
  • the controller 140 may display a UI 880 for receiving a user command for selecting a hospital to transmit the self-diagnosis result.
  • the controller 140 may control the communication unit 160 to provide a result of determining a state of health to a predetermined hospital immediately according to a setting or when a problem occurs.
  • the user terminal 100 obtains an iris image (S900).
  • the user terminal 100 may acquire the iris image by capturing the iris of the user or receiving the photographed iris image of the user.
  • the user terminal 100 determines a shooting condition of the iris image (S910). That is, the user terminal 100 determines the shooting condition at the time of registering the iris image for iris recognition, and matches and stores the iris image and the shooting condition. Therefore, the user terminal 100 determines a shooting condition of the acquired iris image to search for an iris image when the same or similar shooting conditions are satisfied.
  • the user terminal 100 converts the obtained iris image into an iris code (S920), and compares an iris code corresponding to a shooting condition among the converted iris code and a pre-registered iris code to perform iris recognition (S930). The user terminal 100 determines whether the iris recognition success rate is within a preset range (S940).
  • the iris recognition success rate is within a preset range, it may mean a range within which the iris can be recognized using the iris image and the user terminal 100 can be unlocked. For example, although the lock of the user terminal 100 is released due to successful iris recognition within a preset range, the iris recognition success rate is less than or equal to a preset success rate (eg, 95%).
  • the user terminal 100 determines the health state of the user who performed the iris recognition based on the iris recognition result (S950). That is, the user terminal 100 may detect the corresponding iris image by comparing the iris image obtained for iris recognition with the iris images according to various pre-stored diseases. Therefore, the user terminal 100 may determine an eye disease that the user has by using the iris image.
  • the user terminal 100 provides the determined health state result (S960). For example, when the iris recognition succeeds and the user terminal 100 is unlocked, the display unit 131 may display a UI that provides the determined health state result.
  • the UI for providing a health state result may include at least one of a UI for notifying a user of a health problem, a UI for notifying a hospital existing within a predetermined distance from the user terminal 100, and a self-diagnostic UI.
  • FIG. 10 is a flowchart illustrating a method of measuring a pupil cycle time (PCT) and providing a self-diagnosis UI according to an embodiment of the present invention.
  • PCT pupil cycle time
  • the user terminal 100 analyzes the iris image (S1000) and measures the pupil cycle time (PCT) (S1010). While performing iris recognition, the user terminal 100 measures a pupil cycle time (PCT) to determine whether the measured pupil cycle time falls within a normal pupil cycle time range. If the measured pupil cycle time does not fall within the normal pupil cycle time range, the user terminal 100 displays various self-diagnostic UIs.
  • PCT pupil cycle time
  • the user terminal 100 displays the visual acuity test UI (S1020) and displays the astigmatism test UI (S1030).
  • the user terminal 100 displays a color blindness inspection UI in order to determine whether red-green color blindness or color blindness is present (S1040).
  • the user terminal 100 displays the retinal examination UI.
  • the various self-diagnostic UIs described above may be changed in order according to a user setting or an iris image analysis result, another diagnosis may be added, or one diagnosis may be omitted.
  • the user terminal 100 analyzes the test result (S1060) and outputs the test result (S1070). That is, the user terminal 100 may determine a problem such as a disease occurring in the eyes of the user or a decrease in vision, and output the determination result.
  • the user terminal 100 connects the additional service according to the test result (S1080).
  • the user terminal 100 may search for a hospital existing within a threshold distance based on the location of the user terminal 100 and display a hospital list UI according to the search result.
  • the user terminal 100 may transmit a test result to a hospital.
  • the user not only unlocks the user terminal 100 using iris recognition, but also performs a health check on the user's eyes and provides a result of the performance. I can receive it.
  • the above-described components of the user terminal 100 may be implemented in software.
  • the user terminal 100 may further include a flash memory or other nonvolatile memory.
  • the nonvolatile memory may store a program corresponding to each component of the user terminal 100.
  • controller of the user terminal may be implemented in a form including a CPU and a random access memory (RAM).
  • the CPU of the controller may copy the above-described programs stored in the nonvolatile memory into the RAM and then execute the copied programs to perform the functions of the user terminal as described above.
  • the control unit is generally a component in charge of controlling the apparatus.
  • the controller may be used interchangeably with the same meaning as a central processing unit, a microprocessor, a processor, and the like.
  • the control unit of the user terminal may be implemented as a single chip system (System-on-a-chip or System on chip, SOC, SoC) together with other functional units such as a communication unit included in the user terminal.
  • control method of the user terminal may be coded in software and stored in a non-transitory readable medium.
  • Such non-transitory readable media can be mounted and used in a variety of devices.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like. Specifically, it may be a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

사용자 단말 및 이의 제공 방법이 제공된다. 본 사용자 단말의 제공 방법에 따르면, 홍채 이미지를 획득하는 단계, 홍채 이미지의 촬영 조건을 판단하는 단계, 획득한 홍채 이미지를 홍채 코드로 변환하고, 변환된 홍채 코드 및 기등록된 홍채 코드 중 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행하는 단계, 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 홍채 인식 결과를 바탕으로 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 단계 및 판단된 건강 상태 결과를 제공하는 단계를 포함한다.

Description

사용자 단말 및 이의 제공 방법
본 발명은 사용자 단말 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 사용자 건강 상태를 판단할 수 있는 사용자 단말 및 이의 제공 방법에 관한 것이다.
개인이 사용하는 사용자 단말에 다양한 개인 정보나 컨텐츠 정보가 저장되면서, 사용자 단말 장치의 보안에 대한 요구가 점점 증가하고 있다. 특히, 기존에는 사용자 단말 장치의 보안을 위해, 패스워드를 입력하는 방식을 이용하였으나, 근래에 들어서, 지문 인식, 음성 인식, 홍채 인식과 같은 다양한 인증 방식이 도입되고 있다.
홍채 인식을 수행하는 경우, 사용자의 눈이 포함된 얼굴의 일부분을 촬영하게 된다. 따라서, 사용자의 눈을 촬영하여 홍채 인식을 수행할 뿐만 아니라, 홍채 인식을 수행하는 동안 획득한 이미지를 다양하게 활용하기 위한 방법의 필요성이 대두하였다.
본 발명은 상술한 필요성에 의해 안출된 것으로, 본 발명의 목적은 사용자가 홍채 인식을 수행하면서, 사용자의 건강 상태에 대한 피드백을 제공받을 수 있도록 하기 위한 사용자 단말 및 이의 제공 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 단말의 제공 방법은, 홍채 이미지를 획득하는 단계, 상기 홍채 이미지의 촬영 조건을 판단하는 단계, 상기 획득한 홍채 이미지를 홍채 코드로 변환하고, 상기 변환된 홍채 코드 및 기등록된 홍채 코드 중 상기 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행하는 단계, 상기 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 상기 홍채 인식 결과를 바탕으로 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 단계 및 상기 판단된 건강 상태 결과를 제공하는 단계를 포함할 수 있다.
한편, 상기 촬영 조건을 판단하는 단계는, 상기 홍채 이미지가 촬영된 환경의 조도값, 상기 홍채 이미지를 촬영한 사용자와 상기 사용자 단말 간의 거리, 상기 홍채 이미지에 포함된 상기 사용자의 눈의 형태 및 상기 홍채 이미지가 촬영된 당시의 사용자의 주변의 색상 중 적어도 하나를 판단하여, 상기 촬영 조건을 판단하는 것을 특징으로 할 수 있다.
그리고 상기 홍채 이미지에 대한 정보 및 상기 홍채 이미지의 촬영 조건을 매칭하여 저장하는 단계를 더 포함하고, 상기 건강 상태를 판단하는 단계는, 기저장된 촬영 조건에서 상기 판단된 촬영 조건에 대응되는 기저장된 홍채 이미지에 대한 정보를 획득하고, 상기 기저장된 홍채 이미지에 대한 정보를 바탕으로 상기 건강 상태를 판단하는 것을 특징으로 할 수 있다.
한편, 상기 건강 상태를 판단하는 단계는, 상기 홍채 이미지에 포함된 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 상기 제거된 홍채 이미지를 기저장된 홍채 이미지와 비교하여, 상기 건강 상태를 판단하는 것을 특징으로 할 수 있다.
그리고 상기 홍채 인식 성공률이 기설정된 범위 내인 경우는, 상기 홍채 이미지를 이용하여 상기 홍채가 인식 가능하고, 상기 사용자 단말의 잠금이 해제될 수 있는 범위 내인 것을 특징으로 할 수 있다.
한편, 상기 제공하는 단계는, 상기 홍채 인식이 성공하여 상기 사용자 단말의 잠금이 해제된 경우, 상기 판단된 건강 상태 결과를 제공하는 UI를 디스플레이하는 단계를 더 포함할 수 있다.
그리고 상기 건강 상태 결과를 제공하는 UI는, 상기 사용자 건강에 문제가 있음을 알리는 UI, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나인 것을 특징으로 할 수 있다.
한편, 상기 건강 상태 결과를 제공하는 단계는, 상기 사용자의 건강 상태를 자가 진단하기 위한 자가 진단 UI를 디스플레이하는 단계, 상기 자가 진단 UI를 통해 수행된 자가 진단 결과를 제공하는 단계 및 상기 자가 진단 결과에 따라, 사용자의 건강 상태가 나쁜 것으로 판단되면, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI를 디스플레이하는 단계를 더 포함할 수 있다.
그리고 상기 홍채 인식을 수행하는 단계는, 동공 주기 시간(Pupil cycle time, PCT)을 측정하는 단계를 더 포함하고, 상기 건강 상태를 판단하는 단계는, 상기 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 단계를 포함할 수 있다.
한편, 상기 홍채 이미지를 획득하는 단계는, 사용자의 눈을 포함하는 영역을 촬영하는 단계를 더 포함하고, 상기 제공하는 단계는, 상기 촬영된 사용자의 눈의 이미지에 상기 판단된 건강 상태를 표시하여, 상기 건강 상태 결과를 제공하는 단계를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른, 사용자 단말은 홍채 이미지를 획득하는 홍채 이미지 획득부, 홍채 코드 및 촬영 조건을 저장하는 저장부, 상기 홍채 이미지의 촬영 조건을 판단하고, 상기 획득한 홍채 이미지를 홍채 코드로 변환하여, 상기 변환된 홍채 코드 및 상기 저장부에 기등록된 홍채 코드 중 상기 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행하고, 상기 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 상기 홍채 인식 결과를 바탕으로 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 제어부 및 상기 판단된 건강 상태 결과를 제공하는 출력부를 포함할 수 있다.
그리고 복수의 센서 및 카메라 중 적어도 하나를 포함하는 감지부를 더 포함하고, 상기 제어부는, 상기 감지부를 통해 상기 홍채 이미지가 촬영된 환경의 조도값, 상기 홍채 이미지를 촬영한 사용자와 상기 사용자 단말 간의 거리, 상기 홍채 이미지에 포함된 상기 사용자의 눈의 형태 및 상기 홍채 이미지가 촬영된 당시의 사용자의 주변의 색상 중 적어도 하나를 판단하여, 상기 촬영 조건을 판단하는 것을 특징으로 할 수 있다.
한편, 상기 제어부는, 상기 홍채 이미지에 대한 정보 및 상기 홍채 이미지의 촬영 조건을 매칭하여 저장하도록 상기 저장부를 제어하고, 기저장된 촬영 조건에서 상기 판단된 촬영 조건에 대응되는 기저장된 홍채 이미지에 대한 정보를 획득하고, 상기 기저장된 홍채 이미지에 대한 정보를 바탕으로 상기 건강 상태를 판단하는 것을 특징으로 할 수 있다.
그리고 상기 제어부는, 상기 홍채 이미지에 포함된 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 상기 제거된 홍채 이미지를 기저장된 홍채 이미지와 비교하여, 상기 건강 상태를 판단하는 것을 특징으로 할 수 있다.
한편, 상기 홍채 인식 성공률이 기설정된 범위 내인 경우는, 상기 홍채 이미지를 이용하여 상기 홍채가 인식 가능하고, 상기 사용자 단말의 잠금이 해제될 수 있는 범위 내인 것을 특징으로 할 수 있다.
그리고 상기 출력부는, 디스플레이부를 더 포함하고, 상기 제어부는, 상기 홍채 인식이 성공하여 상기 사용자 단말의 잠금이 해제된 경우, 상기 판단된 건강 상태 결과를 제공하는 UI를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 할 수 있다.
한편, 상기 건강 상태 결과를 제공하는 UI는, 상기 사용자 건강에 문제가 있음을 알리는 UI, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나인 것을 특징으로 할 수 있다.
그리고 상기 출력부는, 디스플레이부를 더 포함하고, 상기 제어부는, 상기 사용자의 건강 상태를 자가 진단하기 위한 자가 진단 UI를 디스플레이하고, 상기 자가 진단 UI를 통해 수행된 자가 진단 결과를 제공하며, 상기 자가 진단 결과에 따라, 사용자의 건강 상태가 나쁜 것으로 판단되면, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 할 수 있다.
한편, 동공 주기 시간(Pupil cycle time, PCT)을 측정하고, 상기 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 것을 특징으로 할 수 있다.
그리고 상기 홍채 이미지 획득부는, 홍채 촬영 모듈을 더 포함하고, 상기 제어부는, 사용자의 눈을 포함하는 영역을 촬영하여 상기 홍채 이미지를 획득하도록 상기 홍채 촬영 모듈을 제어하고, 상기 촬영된 사용자의 눈의 이미지에 상기 판단된 건강 상태를 표시하여, 상기 건강 상태 결과를 제공하도록 상기 출력부를 제어하는 것을 특징으로 할 수 있다.
본 발명의 다양한 실시예에 따르면, 사용자는 사용자 단말을 통해 홍채 인식을 수행하고, 건강 상태에 대한 피드백을 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 상세히 도시한 블럭도,
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른, 홍채 영역을 검출하는 방법을 설명하기 위한 도면,
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른, 사용자 단말과 사용자 간의 거리를 측정하는 방법을 설명하기 위한 도면,
도 5a 내지 도 5d는 본 발명의 일 실시 예에 따른, 홍채 인식을 이용하여 사용자 단말의 잠금을 해제하는 방법을 설명하기 위한 도면,
도 6a 내지 도 6c는 본 발명의 다양한 실시 예에 따른, 건강 상태 판단 결과 UI를 도시한 도면,
도 7a 및 도 7b는 본 발명의 다양한 실시 예에 따른, 홍채 인식 실패 화면을 도시한 도면,
도 8a 내지 도 8l은 본 발명의 다양한 실시 예에 따른, 자가 진단 UI를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른, 사용자 단말의 제공 방법을 나타내는 흐름도,
도 10은 본 발명의 일 실시 예에 따른, 동공 주기 시간을 측정하고, 자가 진단 UI를 제공하는 방법을 나타내는 흐름도, 그리고,
도 11a 내지 도 11d는 본 발명의 일 실시 예에 따른, 홍채 코드 추출 방법을 설명하기 위한 도면이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 사용자 단말(100)의 구성을 간략히 도시한 블럭도이다. 도 1에 도시된 바와 같이, 사용자 단말(100)은 홍채 이미지 획득부(110), 저장부(120), 출력부(130) 및 제어부(140)를 포함한다.
홍채 이미지 획득부(110)는 사용자의 홍채를 촬영한 홍채 이미지를 획득하기 위한 구성요소이다. 홍채 이미지 획득부(110)는 사용자의 홍채를 촬영하거나 촬영된 사용자의 홍채 이미지를 수신하여 홍채 이미지를 획득할 수 있다.
저장부(120)는 사용자 단말(100)에서 필요한 다양한 프로그램 모듈을 저장하기 위한 구성요소이다.
특히, 저장부(120)는 홍채 코드 및 촬영 조건을 저장할 수 있다. 구체적으로, 저장부(120)는 적어도 하나의 사용자에 대응되는 홍채 코드를 저장한다. 이때, 홍채 코드는 사용자의 홍채 영역을 직사각형 모양으로 정규화한 데이터로서, 홍채 인식에 이용된다. 홍채 코드를 획득하는 구체적인 방법은 후술한다.
한편, 홍채 인식에 성공할 경우, 저장부(120)에 저장된 홍채 코드는 업데이트 될 수 있다.
또한, 저장부(120)는 홍채 이미지가 촬영된 환경의 조도값, 홍채 이미지를 촬영한 사용자와 사용자 단말(100) 간의 거리, 홍채 이미지에 포함된 사용자의 눈의 형태 및 홍채 이미지가 촬영된 당시의 사용자 주변의 색상 중 적어도 하나를 촬영 조건으로 저장할 수 있다. 여기서, 주변의 색상은 사용자 홍채 주변의 색상을 의미할 수 있다.
한편, 출력부(130)는 사용자 단말(100)에서 제공하는 각종 컨텐츠를 출력하기 위한 구성요소이다. 특히, 출력부(130)는 사용자의 건강 상태 결과를 다양한 형태로 출력할 수 있다.
제어부(140)는 사용자 단말(100)의 전반적인 동작을 제어한다. 특히, 제어부(140)는 홍채 이미지의 촬영 조건을 판단할 수 있고, 홍채 이미지를 홍채 코드로 변환할 수 있다. 제어부(140)는 변환된 홍채 코드 및 저장부(120)에 기등록된 홍채 코드 중 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행할 수 있다.
그리고 제어부(140)는 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 홍채 인식 결과를 바탕으로 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
홍채 인식 성공률이 기설정된 범위 내인 경우란, 홍채 이미지를 이용하여 홍채가 인식 가능하고, 사용자 단말의 잠금이 해제될 수 있는 범위 내를 의미할 수 있다.
또한, 제어부(140)는 동공 주기 시간(Pupil cycle time, PCT)을 측정하도록 제어하고, 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
한편, 홍채 이미지가 홍채 이미지 획득부(110)를 통해 획득되고, 획득된 홍채 이미지를 등록하는 경우, 제어부(140)는 홍채 이미지에 대한 정보 및 홍채 이미지의 촬영 조건을 매칭하여 저장하도록 저장부(120)를 제어할 수 있다.
홍채 이미지에 대한 정보는 홍채 이미지를 비롯하여, 홍채 이미지 획득시 측정된 동공 주기 시간 및 홍채 이미지를 변환한 홍채 코드를 포함한다.
이하에서는 도 2를 참고하여, 사용자 단말(100)의 구성을 구체적으로 설명한다. 도 2에 도시된 바와 같이, 사용자 단말(100)은 홍채 이미지 획득부(110), 저장부(120), 출력부(130), 제어부(140)뿐만 아니라, 감지부(150), 통신부(160) 및 입력부(170)를 더 포함할 수 있다.
홍채 이미지 획득부(110)는 사용자의 홍채를 촬영한 홍채 이미지를 획득하기 위한 구성요소이다. 특히, 홍채 이미지 획득부(110)는 카메라를 포함할 수 있다. 즉, 홍채 이미지 획득부(110)는 콜드 밀러(cold mirror)라 불리는 거울 형태의 적외선 통과 필터를 포함하는 카메라를 이용하여, 사용자 단말(100)의 전면에 위치한 사용자를 촬영하고, 홍채 이미지를 획득할 수 있다.
저장부(120)는 사용자 단말(100)을 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(120)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 사용자 단말(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(120)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 사용자 단말(100)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 사용자 단말(100)이 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
한편, 저장부(120)는 홍채 코드 및 촬영 조건을 저장할 수 있다. 구체적으로, 저장부(120)는 적어도 하나의 사용자에 대응되는 홍채 코드를 저장한다. 이때, 홍채 코드는 사용자의 홍채 영역을 직사각형 모양으로 정규화한 데이터로서, 홍채 인식에 이용된다. 이때, 홍채 인식에 성공할 경우, 저장부(120)에 저장된 홍채 코드는 제어부(140)의 제어에 의해 업데이트 될 수 있다.
또한, 저장부(120)는 홍채 이미지가 촬영된 환경의 조도값, 홍채 이미지를 촬영한 사용자와 사용자 단말(100) 간의 거리, 홍채 이미지에 포함된 사용자의 눈의 형태 및 홍채 이미지가 촬영된 당시의 사용자 주변의 색상 중 적어도 하나를 촬영 조건으로 저장할 수 있다.
한편, 출력부(130)는 사용자 단말(100)에서 제공하는 각종 컨텐츠를 출력하기 위한 구성요소이다. 특히, 출력부(130)는 디스플레이부(131) 및 스피커(132) 중 적어도 하나를 포함할 수 있다.
디스플레이부(131)는 다양한 영상 및 UI를 디스플레이하기 위한 구성요소이다. 디스플레이부(131)는 촬영되거나 수신된 영상을 디스플레이할 수 있다.
또한, 디스플레이부(131)는 제어부(140)의 제어에 의해, 각종 UI를 디스플레이할 수 있다. 구체적으로, 홍채 인식이 성공하여 사용자 단말(100)의 잠금이 해제된 경우, 디스플레이부(131)는 판단된 건강 상태 결과를 제공하는 UI를 디스플레이할 수 있다.
건강 상태 결과를 제공하는 UI는, 사용자 건강에 문제가 있음을 알리는 UI, 사용자 단말(100)로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나를 포함할 수 있다.
한편, 스피커(132)는 오디오 데이터를 출력하기 위한 구성요소이다. 스피커부(132)는 오디오 처리부(미도시)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 예를 들면, 스피커(132)는 홍채 인식이 성공하면, 홍채 인식이 성공하고, 사용자 단말(100)의 잠금이 해제되었음을 알리는 알람을 출력할 수 있다. 또한, 스피커부(132)는 오디오 단자를 포함할 수도 있다.
각종 알람이 스피커(132)를 통한 오디오 데이터로 출력되는 것은 일 실시 예에 불과할 뿐, 진동을 통해 알람이 출력되거나 LED가 발광하는 형태로 알람이 출력될 수도 있다.
한편, 감지부(150)는 복수의 센서 및 카메라를 포함하여, 사용자 단말(100)의 주변 환경 및 홍채가 인식되는 촬영 조건을 감지할 수 있다. 구체적으로, 감지부(150)는 센서 모듈(151), 카메라(152) 및 TOF(Time of flight) 카메라(153)를 포함할 수 있다.
센서 모듈(151)은 복수의 센서를 포함할 수 있다. 예를 들면, 센서 모둘(151)은 제스처 센서, 자이로 센서, 기압 센서, 조도 센서, 근접 센서, 가속도 센서와 같은 다양한 센서를 포함할 수 있다.
특히, 조도 센서는 사용자 단말(100)이 위치한 환경의 조도를 감지할 수 있다. 즉, 기저장된 홍채 이미지가 촬영된 환경의 조도와 현재 홍채 인식을 수행하는 환경의 조도가 유사한지 여부를 판단하기 위해, 조도 센서는 홍채 이미지가 촬영되는 동안 조도를 판단할 수 있다.
한편, 카메라(152)는 영상을 촬영하기 위한 구성요소이다. 예를 들면, 기저장된 홍채 이미지를 촬영한 사용자와 현재 홍채 인식을 수행하는 사용자가 동일한지 여부를 판단하기 위해, 카메라(152)는 홍채 인식을 수행하는 사용자를 촬영할 수 있다.
TOF(Time of flight) 카메라(153)는 사용자 단말(100)과 사용자 간의 거리를 측정하기 위한 구성요소이다. 즉, 사용자의 얼굴 형태에 따라, 사용자 단말(100)과 사용자 간의 거리가 상이해질 수 있다. 따라서, TOF(Time of flight) 카메라(153)는 사용자 단말(100)의 전면에서 홍채 인식을 수행하는 사용자와 사용자 단말(100) 간의 거리를 측정할 수 있다.
통신부(160)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(160)는 와이 파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩, IR 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩, IR 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식, IR 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
입력부(170)는 사용자 명령을 입력받기 위한 구성요소이다. 입력부(170)는 사용자 단말(100)의 전반적인 동작을 제어하기 위한 사용자 명령을 수신한다.
이때, 입력부(170)는 상하 좌우의 4방향 키 및 확인 키를 포함하는 리모컨으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 터치 스크린, 마우스, 포인팅 디바이스 등과 같은 다양한 입력 장치에 의해 구현될 수 있다.
또한, 입력부(170)는 사용자 음성에 의해 사용자 명령을 입력받을 수 있다. 즉, 입력부(170)는 마이크와 같은 구성요소를 포함하여, 사용자 음성을 입력받을 수도 있다.
제어부(140)는 사용자 단말(100)의 전반적인 동작을 제어한다. 특히, 제어부(140)는 홍채 이미지의 촬영 조건을 판단할 수 있고, 홍채 이미지를 홍채 코드로 변환할 수 있다. 제어부(140)는 변환된 홍채 코드 및 저장부(120)에 기등록된 홍채 코드 중 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행할 수 있다.
본 발명의 일 실시 예에 따른, 획득된 홍채 이미지가 홍채 코드로 변환되는 방법은 도 11a 내지 도 11d에 도시된 바와 같다.
구체적으로, 도 11a에 도시된 바와 같은 홍채 이미지(1100)가 획득되면, 제어부(140)는 홍채 코드를 생성하기 위해 전처리 과정을 수행할 수 있다. 예를 들면, 제어부(140)는 홍채 이미지(1100)에 포함된 홍채 인식에 불필요한 요소를 제거하기 위해, 잡음 제거 과정을 수행할 수 있다. 또한, 제어부(140)는 원형 경계 검출기를 이용하여 홍채의 경계를 검출하고, 홍채 영역을 극좌표계로 변환하여 정규화할 수 있다.
전술한 방법에 의해 제어부(140)는, 도 11b에 도시된 바와 같은, 홍채 영역(1110)을 홍채 이미지(1100)로 부터 분리할 수 있다.
제어부(140)는 분리된 홍채 영역(1110)을 직사각형 형태로 정규화하고, 홍채 영역(1110)의 문의 패턴의 특징을 추출하여, 도 11c에 도시된 바와 같은 형태(1120)로 변환할 수 있다. 그리고 제어부(140)는 도 11d에 도시된 바와 같이, 코드화된 홍채 코드(1130)를 생성하여 저장할 수 있다.
한편, 제어부(140)는 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 홍채 인식 결과를 바탕으로 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
홍채 인식 성공률이 기설정된 범위 내인 경우란, 홍채 이미지를 이용하여 홍채가 인식 가능하고, 사용자 단말의 잠금이 해제될 수 있는 범위 내를 의미할 수 있다.
구체적으로, 제어부(140)는 홍채 인식 성공률이 임계 성공률(예를 들면 95%) 이하이면서, 홍채 인식을 수행하여 사용자를 판별할 수 있는 경우, 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
또한, 제어부(140)는 동공 주기 시간(Pupil cycle time, PCT)을 측정하도록 제어하고, 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
즉, 홍채 인식 성공률과 무관하게, 제어부(140)는 동공 주기 시간이 기설정된 범위 내의 동공 주기 시간보다 짧거나 긴 경우, 사용자의 건강이 정상이 아닌 것으로 인식하고, 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
또한, 제어부(140)는 홍채 이미지를 획득하면서 홍채 인식을 시도하였으나, 홍채 인식에 실패한 경우, 패스워드 입력을 통해 사용자를 인증할 수도 있다. 따라서, 제어부(140)는 사용자 인증 후에 획득한 홍채 이미지를 바탕으로 사용자의 건강 상태를 판단하고, 판단 결과를 출력하도록 제어할 수 있다.
한편, 홍채 이미지가 홍채 이미지 획득부(110)를 통해 획득되고, 획득된 홍채 이미지를 등록하는 경우, 제어부(140)는 홍채 이미지에 대한 정보 및 홍채 이미지의 촬영 조건을 매칭하여 저장하도록 저장부(120)를 제어할 수 있다.
홍채 이미지에 대한 정보는 홍채 이미지를 비롯하여, 홍채 이미지 획득시 측정된 동공 주기 시간(PCT) 및 홍채 이미지를 변환한 홍채 코드를 포함할 수 있다.
즉, 감지부(150)를 통해 홍채 이미지가 촬영된 환경의 조도값, 홍채 이미지를 촬영한 사용자와 사용자 단말(100) 간의 거리, 홍채 이미지에 포함된 사용자의 눈의 형태 및 홍채 이미지가 촬영된 당시의 사용자의 주변의 색상 중 적어도 하나를 포함하는 촬영 조건이 획득될 수 있다.
제어부(140)는 홍채 이미지 획득부(110)를 통해 홍채 이미지를 획득하여 홍채 코드로 등록하는 경우, 감지부(150)를 통해 획득한 촬영 조건과 매칭하여 홍채 코드를 저장부(120)에 저장할 수 있다.
따라서, 홍채 이미지가 획득되어 홍채 인식이 수행되는 경우, 제어부(140)는 홍채 인식이 수행되는 동안의 촬영 조건을 판단할 수 있다. 그리고 제어부(140)는 저장부(120)에 저장된 촬영 조건에서 판단된 촬영 조건에 대응되는 기저장된 홍채 이미지를 획득하고, 기저장된 홍채 이미지를 바탕으로 건강 상태를 판단하도록 제어할 수 있다.
즉, 제어부(140)는 획득한 홍채 이미지에 포함된 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 제거된 홍채 이미지를 기저장된 홍채 이미지와 비교하여, 건강 상태 중 홍채 질환을 판단할 수 있다.
예를 들면, 도 3a에 도시된 바와 같은 홍채 이미지(300)가 획득된 경우, 제어부(140)는 도 3b에 도시된 바와 같이, 홍채 영역만을 분리하여 획득하도록 제어할 수 있다. 홍채는 사람에 따라, 눈꺼풀에 덮인 영역이 상이할 수 있다. 따라서, 제어부(140)는 홍채를 덮고 있는 눈꺼풀 영역을 제외하여 홍채 이미지를 획득할 수 있다.
그리고 홍채 이미지가 촬영되는 동안, 안경과 같은 외부 요소에 의해, 빛 반사가 발생한 경우, 홍채 이미지는 반사 영역을 포함할 수 있다. 이때, 제어부(140)는 빛 반사 영역을 검출하여 제거하도록 제어할 수 있다.
한편, 저장부(140)는 다양한 이상 증상이 나타난 안구 및 눈의 이미지를 저장하고 있다. 따라서, 제어부(140)는 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 획득한 홍채 이미지를 저장부(120)에 기저장된 복수의 이미지와 비교할 수 있다. 그리고 획득한 홍채 이미지와 유사한 이미지가 특정 질병에 의한 홍채를 촬영한 영상인 경우, 제어부(140)는 사용자의 홍채에 특정 질병이 발병한 것으로 판단할 수 있다.
또한, 제어부(140)는 홍채 영역을 별도로 분리하지 않고, 촬영된 눈 및 눈 주변을 포함하는 이미지를 기저장된 복수의 이미지와 비교할 수 있다. 그리고 획득한 눈 이미지와 유사한 이미지가 특정 질병에 의한 사람의 눈을 촬영한 영상인 경우, 제어부(140)는 사용자의 눈에 특정 질병이 발병한 것으로 판단할 수 있다.
한편, 전술한 바와 같이 제어부(140)는 조도 센서를 이용하여 홍채 이미지가 획득되는 환경의 조도값을 촬영 조건으로써 획득할 수 있다.
또한, 제어부(140)는 홍채 이미지가 촬영되는 동안 획득한 동공 주기 시간(PCT) 및 기저장된 홍채 이미지에 대한 동공 주기 시간을 비교할 수 있다. 즉, 제어부(140)는 획득한 동공 주기 시간이 기저장된 동공 주기 시간의 임계 범위 내에 해당하지 않는 경우, 사용자의 건강 상태가 정상이 아닌 것으로 판단할 수 있다.
또한, 제어부(140)는 사용자 단말(100)과 사용자 간의 거리를 촬영 조건으로써 획득할 수도 있다. 도 4a 및 도 4b는 사용자 단말(100)과 사용자 간의 거리를 획득하는 방법을 설명하기 위한 도면이다.
즉, 도 4a에 도시된 바와 같이, 제어부(140)는 획득된 홍채 이미지에 포함된 눈의 양끝에서부터 홍채까지의 길이(d1, d3) 및 홍채의 가로 길이(d2)를 바탕으로 사용자 단말(100)과 사용자 간의 거리를 획득할 수 있다.
또는, 도 4b에 도시된 바와 같이, 제어부(140)는 획득된 홍채 이미지에 포함된 양 눈 사이의 길이(d4)를 바탕으로 사용자 단말(100)과 사용자 간의 거리를 획득할 수 있다.
예를 들면, 사용자가 사용자 단말(100)로부터 멀리 떨어져 있는 경우에는, 사용자가 사용자 단말(100)과 가까울 때보다, 양 눈 사이의 길이(d4)가 짧게 획득될 것이다.
한편, 전술한 바와 같이, 감지부(150)에 TOF 카메라(153)가 포함된 경우, 제어부(140)는 TOF 카메라(153)를 이용하여, 사용자 단말(100)과 사용자 간의 거리를 획득할 수도 있다.
제어부(140)는 판단된 건강 상태를 출력하도록 출력부(130)를 제어할 수 있다. 예를 들면, 출력부(130)는 영상 컨텐츠 및 오디오 컨텐츠 중 적어도 하나의 컨텐츠 형태로 건강 상태를 출력할 수 있다.
이하에서는 출력부(130)가 디스플레이부(131)를 포함하고, 디스플레이부(131)를 통해 UI와 같은 영상 컨텐츠로 건강 상태를 출력하는 경우를 예로 들어 설명하기로 한다.
따라서, 제어부(140)는 전술한 방법에 의해, 사용자에게 발병한 질환이 판단된 경우, 판단된 질환에 대해 알리기 위한 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
예를 들면, 제어부(140)는 사용자의 눈을 포함하는 영역을 촬영한 이미지상에 판단된 건강 상태를 표시하여, 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
또한, 제어부(140)는 사용자가 자가 진단을 통해 구체적인 질환의 내용을 알 수 있도록 하기 위한 자가 진단 UI를 디스플레이할 수도 있다. 그리고 제어부(140)는 자가 진단 결과에 따라, 사용자의 건강 상태가 나쁜 것으로 판단되면, 사용자 단말(100)로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다. 자가 진단 UI 및 병원을 알리는 UI에 대한 구체적인 내용은 후술한다.
상술한 바와 같은 사용자 단말(100)에 의해, 사용자는 잠금을 해제하기 위해 홍채 인식을 수행하면서, 건강 상태를 검사할 수 있게 된다.
이하에서는, 홍채 인식을 수행하여, 건강 상태를 판단하는 방법 및 판단 결과에 따른 UI를 디스플레이하는 방법에 대해 구체적으로 설명한다.
도 5a 내지 도 5d는 본 발명의 일 실시 예에 따른, 홍채 인식 방법을 설명하기 위한 도면이다.
구체적으로, 도 5a는 잠금이 설정되고 초기화면이 디스플레이된 사용자 단말(100)을 도시한 도면이다. 도 5a에서는 사용자 단말(100)이 스마트 폰으로 도시되었으나, 사용자 단말(100)은 홍채 인식을 수행하여 잠금을 해제할 수 있는 전자 장치로써, 휴대폰, 노트북 PC, 태블릿 PC, TV, LFD, 디지털 카메라, 캠코더, PDA, 스마트 시계, 스마트 안경 등과 같은 다양한 전자 장치로 구현될 수 있으며, 스마트 폰에 한정되지 않는다.
도 5a에 도시된 바와 같이, 사용자 단말(100)은 디스플레이부(131)를 포함하는 전면부에 홍채 이미지 획득부(110)를 포함할 수 있다.
또한, 잠금이 설정된 사용자 단말(100)은 홍채 인식 UI(500)를 디스플레이할 수 있다. 사용자는 홍채 인식 UI(500)를 사용자의 신체 또는 스타일러스 펜 등을 이용하여 선택할 수 있다.
도 5b는 사용자에 의해, 홍채 인식 UI(500)가 선택된 경우 UI(510)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다. 사용자 단말(100)은 UI(510)를 통해 사용자에게 사용자 단말(100)의 홍채 이미지 획득부(110)에 눈을 위치시키고 촬영을 수행할 것을 지시할 수 있다.
홍채 이미지 획득부(110)를 통해, 사용자를 촬영하여 홍채 이미지를 획득하는 동안, 사용자 단말(100)은 도 5c에 도시된 바와 같이, 디스플레이부(131)를 오프할 수 있다.
즉, 사용자의 홍채를 촬영하는 동안, 디스플레이부(131)의 조명에 의한 영향을 최소화하기 위해, 제어부(140)는 디스플레이부(131)의 전원을 오프하도록 제어할 수 있다.
사용자에 의해 홍채가 인식되면, 제어부(140)는 도 5d에 도시된 바와 같이, 사용자 단말(100)의 잠금을 해제하고, 사용자 단말(100)의 초기화면을 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
구체적으로, 제어부(140)는 획득한 이미지에서 홍채 영역을 검출하고, 검출된 홍채 영역을 직사각형 모양으로 정규화하여 홍채 코드를 생성할 수 있다. 그리고 제어부(140)는 직사각형으로 정규화된 홍채 코드 중 눈썹 또는 눈꺼풀에 의해 가려진 영역을 마스킹 하며, 마스킹 된 영역을 제외한 나머지 영역을 기 등록된 홍채 코드와 비교하여 사용자의 홍채 인식을 수행할 수 있다.
한편, 제어부(140)는 사용자에 의해, 홍채 인식을 위한 홍채 이미지를 등록할 수 있다. 즉, 제어부(140)는 사용자에 따른 홍채 이미지를 분석하여, 홍채 코드를 검출하고, 검출된 홍채 코드를 저장하도록 저장부(120)를 제어할 수 있다.
특히, 제어부(140)는 홍채 이미지를 등록하는 동안, 획득된 촬영 조건을 홍채 이미지와 매칭하여 저장할 수 있다. 제어부(140)는 홍채 이미지뿐만 아니라, 홍채 이미지로부터 획득된 홍채 코드 및 동공 주기 시간도 상기 획득한 촬영 조건과 매칭하여 저장할 수 있다.
따라서, 홍채 인식을 위한 홍채 이미지가 획득되는 동안, 제어부(140)는 전술한 바와 같은 각종 촬영 조건을 감지하도록 감지부(150)를 제어할 수 있다. 저장부(120)에 기 저장된 촬영 조건 중 감지된 촬영 조건과 대응되는 촬영 조건이 판단되면, 제어부(140)는 판단된 촬영 조건에 대응되는 홍채 코드를 이용하여, 획득한 홍채 이미지에 대한 홍채 인식을 수행할 수 있다.
제어부(140)는 홍채 코드를 비교하는 방식으로, 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 홍채 인식 결과를 바탕으로 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
구체적으로, 홍채 인식 성공률이 기설정된 임계값 이하인 경우, 제어부(140)는 홍채 이미지를 바탕으로 사용자의 건강 상태를 판단할 수 있다. 예를 들면, 제어부(140)는 홍채 인식 성공률이 95% 미만인 경우, 사용자의 건강 상태를 판단할 수 있다.
그리고 홍채 인식에 성공하면, 제어부(140)는 도 6a 내지 도 6c에 도시된 바와 같은 판단 결과 UI(600, 610, 620)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
또한, 제어부(140)는 동공 주기 시간(Pupil cycle time, PCT)을 측정하도록 제어하고, 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
즉, 홍채 인식 성공률과는 무관하게, 제어부(140)는 동공 주기 시간을 측정할 수 있다. 그리고 측정된 결과, 동공 주기 시간이 종래 사용자의 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 제어부(140)는 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
또한, 제어부(140)는 촬영 조건과 무관하게, 기설정된 홍채 인식 횟수마다 사용자의 건강 상태를 판단하거나 기설정된 위치에 사용자가 진입한 것으로 판단되는 경우에 사용자의 건강 상태를 판단할 수 있다.
그리고 제어부(140)는 사용자 설정 또는 초기 설정에 의한 조건을 만족하는 경우, 사용자의 건강 상태를 판단할 수 있다. 예를 들면, 사용자 단말(100)이 충전 중이거나, 사용자의 건강 상태를 판단한 뒤로 임계 시간이 소요된 경우, 제어부(140)는 사용자의 건강 상태를 판단할 수 있다.
제어부(140)는 사용자의 건강 상태를 판단한 결과인 판단 결과 UI(600, 610, 620)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
구체적으로, 도 6a는 홍채 인식에 성공하고, 홍채 이미지 분석 결과, 건강 이상 징후가 발견된 경우의 판단 결과 UI(600)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
예를 들면, 홍채 이미지를 분석한 결과, 사용자의 안구가 충혈되거나, 사용자의 안구에 기등록된 홍채 이미지와 비교하여, 많은 실핏줄이 검출된 경우, 제어부(140)는 휴식을 권고하는 내용을 포함하는 판단 결과 UI(600)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
또한, 판단 결과 UI(600)를 통해, 시력 보호 기능을 활성화하기 위한 사용자 명령이 입력되면, 제어부(140)는 사용자의 시력을 보호하도록 디스플레이부(131)를 제어할 수 있다. 예를 들면, 제어부(140)는 감지된 주변 조도에 따라 디스플레이부(131)의 밝기를 제어할 수 있다.
한편, 도 6b는 홍채 인식에 성공하고, 홍채 이미지 분석 결과, 비교적 심각한 건강 이상 징후가 발견된 경우의 판단 결과 UI(610)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
예를 들면, 홍채 이미지에 포함된 홍채 또는 동공의 경계선이 지나치게 불명확한 경우, 사용자의 안구의 색깔이 단순히 충혈된 것 이상으로 혼탁하게 변경된 것으로 판단되는 경우, 검출된 홍채의 형태가 기저장된 홍채의 형태와 상이한 경우 또는 상술한 이유로 홍채 인식률이 임계 값(예를 들면, 90%) 이하인 경우에서 제어부(140)는 사용자의 안구 및 홍채에 발생한 질환을 판단하고, 안구에 대한 이상이 발견되었음을 알리는 내용을 포함하는 판단 결과 UI(610)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
또한, 전술한 바와 같이, 동공 주기 시간(Pupil cycle time, PCT)을 측정하고, 동공 주기 시간이 정상적인 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우에도, 제어부(140)는 안구에 대한 이상이 발견되었음을 알리는 내용을 포함하는 판단 결과 UI(610)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
또한, 판단 결과 UI(610)를 통해, 인근 병원을 검색하기 위한 사용자 명령이 입력되면, 제어부(140)는 사용자 단말(100)의 위치를 바탕으로, 임계 거리 이내에 존재하는 병원을 검색하고, 검색 결과에 따라 병원 목록 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
한편, 도 6c는 홍채 인식에 성공하고, 홍채 이미지 분석 결과, 심각한 건강 이상 징후가 발견된 경우의 판단 결과 UI(620)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
예를 들면, 홍채 이미지를 분석한 결과, 홍채 인식 성공률이 50% 정도밖에 되지 않는 경우, 제어부(140)는 홍채 이미지가 수회에 걸쳐 겨우 홍채 인식에 성공한 것은, 사용자의 안구에 심각한 건강 이상이 발생한 것으로 판단할 수 있다.
따라서, 제어부(140)는 안구에 대한 심각한 이상이 발견되었으므로 자가 진단이 필요하다는 내용을 포함하는 판단 결과 UI(620)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
판단 결과 UI(620)를 통해 자가 진단을 실행하기 위한 사용자 명령이 입력되면, 제어부(140)는 자가 진단을 위한 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다. 구체적인 자가 진단을 위한 UI에 대해서는 후술한다.
한편, 도 7a 및 도 7b는 홍채 인식이 실패한 경우의 사용자 단말(100)을 도시한 도면이다. 즉, 반복적으로 홍채 인식을 실행해도, 지나치게 홍채 인식 성공률이 낮아 홍채 인식에 실패한 경우, 제어부(140)는 도 7a에 도시된 바와 같이, 인증 실패 UI(700)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
인증 실패 UI(700)를 통해, 사용자 단말(100)은 사용자 인증이 실패했음을 알리고, 인증을 재시도할지 여부에 대한 사용자 명령을 입력받을 수 있다.
한편, 도 7b에 도시된 바와 같이, 제어부(140)는 비밀번호 입력 UI(710)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다. 즉, 제어부(140)는 비밀번호 입력 UI(710)를 통해 홍채 인식이 실패했음을 알리고, 별도로 설정된 비밀번호를 입력받을 수 있다. 따라서, 제어부(140)는 홍채 인식이 실패하는 경우, 별도의 방법에 의해 사용자 단말(100)의 잠금을 해제할 수 있다.
한편, 도 8a 내지 도 8l은 본 발명의 다양한 실시 예에 따른, 자가 진단 UI를 도시한 도면들이다. 제어부(140)는 사용자가 자가 진단을 통해 구체적인 질환의 내용을 알 수 있도록 하기 위한 다양한 형태의 자가 진단 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수도 있다.
전술한 바와 같이, 홍채 인식을 수행한 결과, 인식 성공률이 기설정된 인식 성공률보다 낮은 경우, 동공 주기 시간(PCT)이 정상 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우 또는 홍채 인식에 실패하고, 사용자 명령에 의해 홍채 인식이 아닌 다른 방법으로 사용자 단말(100)의 잠금이 해제된 경우, 제어부(140)는 도 8a에 도시된 바와 같은 자가 진단 UI(800)를 디스플레이하도록 디스플레이부(131)를 제어할 수도 있다.
즉, 사용자 단말(100)은 자가 진단 UI(800)를 통해 사용자의 눈 건강에 이상이 발견하였음을 알리고, 구체적인 검사를 하기 위한 자가 진단을 실행할 것을 제안할 수 있다.
도 8b 내지 도 8d는, 자가 진단 UI(800)를 통해, 자가 진단을 실행하는 사용자 명령이 입력된 경우, 자가 진단 가이드를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
도 8b에 도시된 바와 같이, 사용자 단말(100)은 자가 진단이 실행됨을 사용자에게 알릴 수 있다.
그리고 도 8c에 도시된 바와 같이, 제어부(140)는 자가 진단을 위해, 홍채 이미지를 획득하기 위한 안내 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
그리고 홍채 이미지 획득부(110)를 통해 사용자의 홍채 이미지가 획득되는 동안, 도 8d에 도시된 바와 같이, 제어부(140)는 디스플레이부(131)를 오프하도록 제어할 수 있다. 즉, 홍채 이미지를 획득하는 동안, 디스플레이부(131)의 조명에 의한 영향을 최소화하기 위해, 디스플레이부(131)는 오프될 수 있다.
다만, 사용자의 홍채 이미지를 촬영하고, 촬영된 홍채 이미지를 분석한 결과, 사용자의 눈 건강에 문제가 있는 것으로 판단되어 자가 진단 단계가 실행된 경우에는 도 8c 에 도시된 바와 같은 안내 UI의 디스플레이는 생략될 수도 있다.
도 8c 에 도시된 바와 같은 안내 UI의 디스플레이는 생략되는 경우, 도 8d에 도시된 바와 같은 디스플레이부(131)가 오프되는 단계도 생략가능하다.
도 8e는 자가 진단 중 사용자의 시력을 측정하기 위한, 시력 검사 UI(810)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다. 시력 검사 UI(810)를 통해, 사용자는 사용자 단말(100)을 일정거리에 위치시키고, 시력 검사 UI(810)에 디스플레이된 숫자가 보이는지 여부를 판단하여, 시력을 측정할 수 있다.
또한, 시력 검사를 원거리에서 수행하는 경우, 사용자는 사용자 단말(100)을 제어하기 위한 외부의 제어 장치(미도시)를 이용하여, 시력 검사 UI(810)에 디스플레이된 숫자를 선택할 수 있다.
한편, 도 8f는 자가 진단 중 사용자의 난시 여부를 판단하기 위한, 난시 검사 UI(820)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다. 즉, 사용자는 난시 검사 UI(820)에 디스플레이된 난시 검사를 위한 질문에 대답하여, 난시 여부를 판단할 수 있다.
도 8g는 자가 진단 중 사용자의 난시 여부를 판단하기 위한, 망막 검사 UI(830)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다. 즉, 사용자는 난시 검사 UI(820)에 디스플레이된 망막 검사를 위한 질문에 대답하여, 망막에 문제가 있는지 여부를 판단할 수 있다.
한편, 도 8h 및 도 8i는 자가 진단 중 사용자의 적녹 색맹 또는 색맹 여부를 판단하기 위한, 색맹 검사 UI(840, 850)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
도 8h에 도시된 바와 같은, 적녹 시표 검사를 하기 위한 색맹 검사 UI(840)를 통해, 사용자의 적녹 색맹 여부를 판단할 수 있다. 그리고 도 8i에 도시된 바와 같은 색맹 여부를 판단하기 위한, 색맹 검사 UI(850)를 통해, 사용자의 색맹 여부를 판단할 수 있다.
도 8j는 본 발명의 일 실시 예에 따른, 자가 진단 결과 UI(860)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
전술한 방법 등에 의해, 자가 진단 결과 사용자의 눈에 이상이 있는 것으로 판단되면, 사용자 단말(100)은 자가 진단 결과 UI(860)를 통해, 의심되는 질환을 제공할 수 있다.
별도의 자가 진단이 없더라도, 사용자 단말(100)은 동공 주기 시간(PCT)을 측정할 수 있다. 따라서, 측정된 동공 주기 시간이 정상 동공 주기 시간 범위 내에 해당하지 않는 경우, 사용자 단말(100)은 자가 진단 결과 UI(860)를 통해, 동공 주기 시간이 정상 범위에 해당하지 않음을 알릴 수 있다.
그리고 사용자 단말(100)은 자가 진단 결과 UI(860)를 통해, 사용자 단말(100)의 위치에서 기설정된 범위 내에 위치하는 병원을 검색하기 위한 사용자 명령을 입력받을 수 있다.
병원을 검색하기 위한 사용자 명령이 입력된 경우, 사용자 단말(100)은 도 8k에 도시된 바와 같은, 병원 검색 결과(870)를 디스플레이할 수 있다.
한편, 일 실시 예에 따라, 사용자 단말(100)은 자가 진단 결과를 병원으로 전송할 수도 있다.
즉, 도 8l에 도시된 바와 같이, 제어부(140)는 자가 진단 결과를 전송할 병원을 선택하는 사용자 명령을 입력받기 위한 UI(880)를 디스플레이할 수 있다. 또한, 사용자 명령이 없는 경우라도, 제어부(140)는 설정에 따라, 혹은 문제가 발생한 경우에 즉시, 기설정된 병원으로 건강 상태 판단 결과를 제공하도록 통신부(160)를 제어할 수 있다.
한편, 도 9는 본 발명의 일 실시 예에 따른, 사용자 단말의 제공 방법을 나타내는 흐름도이다. 먼저, 사용자 단말(100)은 홍채 이미지를 획득한다(S900). 사용자 단말(100)은 사용자의 홍채를 촬영하거나 촬영된 사용자의 홍채 이미지를 수신하여 홍채 이미지를 획득할 수 있다.
사용자 단말(100)은 홍채 이미지의 촬영 조건을 판단한다(S910). 즉, 사용자 단말(100)은 홍채 인식을 위한 홍채 이미지 등록 당시에, 촬영 조건을 판단하여, 홍채 이미지 및 촬영 조건을 매칭하여 저장하고 있다. 따라서, 사용자 단말(100)은 동일거나 유사한 촬영 조건을 만족하는 경우의 홍채 이미지를 검색하기 위해, 획득한 홍채 이미지의 촬영 조건을 판단한다.
사용자 단말(100)은 획득한 홍채 이미지를 홍채 코드로 변환하고(S920), 변환된 홍채 코드 및 기등록된 홍채 코드 중 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행한다(S930). 그리고 사용자 단말(100)은 홍채 인식 성공률이 기설정된 범위 이내인지 여부를 판단한다(S940).
홍채 인식 성공률이 기설정된 범위 내인 경우란, 홍채 이미지를 이용하여 홍채가 인식 가능하고, 사용자 단말(100)의 잠금이 해제될 수 있는 범위 내를 의미할 수 있다. 예를 들면, 기설정된 범위 내는 홍채 인식에 성공하여 사용자 단말(100)의 잠금은 해제되었으나, 홍채 인식 성공률은 기설정된 성공률(예를 들면, 95%) 이하인 경우를 의미한다.
사용자 단말(100)은 홍채 인식 결과를 바탕으로 홍채 인식을 수행한 사용자의 건강 상태를 판단한다(S950). 즉, 사용자 단말(100)은 홍채 인식을 위해 획득한 홍채 이미지를 기저장된 다양한 질병에 따른 홍채 이미지들과 비교하여, 대응되는 홍채 이미지를 검출할 수 있다. 따라서, 사용자 단말(100)은 홍채 이미지를 이용하여 사용자가 가진 안과 질환을 판단할 수 있다.
그리고 사용자 단말(100)은 판단된 건강 상태 결과를 제공한다(S960). 예를 들면, 홍채 인식이 성공하여 사용자 단말(100)의 잠금이 해제된 경우, 디스플레이부(131)는 판단된 건강 상태 결과를 제공하는 UI를 디스플레이할 수 있다.
건강 상태 결과를 제공하는 UI는, 사용자 건강에 문제가 있음을 알리는 UI, 사용자 단말(100)로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나를 포함할 수 있다.
한편, 도 10은 본 발명의 일 실시 예에 따른, 동공 주기 시간(PCT)을 측정하고, 자가 진단 UI를 제공하는 방법을 나타내는 흐름도이다.
사용자 단말(100)은 홍채 이미지를 분석하고(S1000), 동공 주기 시간(PCT)을 측정한다(S1010). 사용자 단말(100)은 홍채 인식을 수행하면서, 동공 주기 시간(PCT)을 측정하여, 측정된 동공 주기 시간이 정상 동공 주기 시간 범위 내에 해당하는지 여부를 판단한다. 그리고 측정된 동공 주기 시간이 정상 동공 주기 시간 범위 내에 해당하지 않는 경우, 사용자 단말(100)은 다양한 자가 진단 UI를 디스플레이한다.
구체적으로, 사용자 단말(100)은 시력 검사 UI를 디스플레이하고(S1020), 난시 검사 UI를 디스플레이한다(S1030). 사용자 단말(100)은 적녹 색맹 또는 색맹 여부를 판단하기 위해, 색맹 검사 UI를 디스플레이한다(S1040). 그리고 사용자 단말(100)은 망막 검사 UI를 디스플레이한다(S1050).
전술한 각종 자가 진단 UI는 사용자 설정 또는 홍채 이미지 분석 결과에 따라 순서가 달라지거나, 다른 진단이 추가되거나, 일 진단이 생략될 수도 있다.
사용자 단말(100)은 검사 결과를 분석하여(S1060), 검사 결과를 출력한다(S1070). 즉, 사용자 단말(100은 사용자의 눈에 발생한 질환 또는 시력 저하와 같은 문제점을 판단하고, 판단 결과를 출력할 수 있다.
또한, 사용자 단말(100)은 검사 결과에 따른 부가 서비스를 연결한다(S1080). 예를 들면, 사용자 단말(100)은 사용자 단말(100)의 위치를 바탕으로, 임계 거리 이내에 존재하는 병원을 검색하고, 검색 결과에 따라 병원 목록 UI를 디스플레이할 수 있다.
또는, 사용자 명령이 입력된 경우 또는 기설정된 주기마다, 사용자 단말(100)은 검사 결과를 병원으로 전송할 수도 있다.
상술한 바와 같은, 사용자 단말(100)의 제공 방법에 의해, 사용자는 홍채 인식을 이용하여 사용자 단말(100)의 잠금을 해제할 뿐만 아니라, 사용자 눈에 대한 건강 검진을 수행하고, 수행 결과를 제공받을 수 있게 된다.
한편, 상술한 사용자 단말(100)의 구성요소들은 소프트웨어로 구현될 수 있다. 가령, 사용자 단말(100)은 플래시 메모리나 기타 비휘발성 메모리를 더 포함할 수 있다. 이러한 비휘발성 메모리에는 사용자 단말(100)의 각 구성요소에 대응되는 프로그램이 저장될 수 있다.
또한, 사용자 단말의 제어부는 CPU 및 RAM(Random Access Memory)을 포함하는 형태로 구현될 수 있다. 제어부의 CPU는 비휘발성 메모리에 저장된 상술한 프로그램들을 RAM으로 복사한 후, 복사한 프로그램들을 실행시켜 상술한 바와 같은 사용자 단말의 기능을 수행할 수 있다.
제어부는 일반적으로 장치의 제어를 담당하는 구성이다. 제어부는 중앙처리장치, 마이크로 프로세서, 프로세서 등과 동일한 의미로 혼용되어 사용될 수 있다. 또한, 사용자 단말의 제어부는 사용자 단말에 포함된 통신부 등의 다른 기능부와 함께 단일칩 시스템 (System-on-a-chip 또는 System on chip, SOC, SoC)로 구현될 수 있다.
한편, 상술한 다양한 실시 예들에 따른 사용자 단말의 제어 방법은 소프트웨어로 코딩되어 비일시적 판독 가능 매체(non-transitory readable medium)에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

Claims (15)

  1. 사용자 단말의 제공 방법에 있어서,
    홍채 이미지를 획득하는 단계;
    상기 홍채 이미지의 촬영 조건을 판단하는 단계;
    상기 획득한 홍채 이미지를 홍채 코드로 변환하고, 상기 변환된 홍채 코드 및 기등록된 홍채 코드 중 상기 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행하는 단계;
    상기 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 상기 홍채 인식 결과를 바탕으로 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 단계; 및
    상기 판단된 건강 상태 결과를 제공하는 단계; 를 포함하는 제공 방법.
  2. 제1항에 있어서,
    상기 촬영 조건을 판단하는 단계는,
    상기 홍채 이미지가 촬영된 환경의 조도값, 상기 홍채 이미지를 촬영한 사용자와 상기 사용자 단말 간의 거리, 상기 홍채 이미지에 포함된 상기 사용자의 눈의 형태 및 상기 홍채 이미지가 촬영된 당시의 사용자의 주변의 색상 중 적어도 하나를 판단하여, 상기 촬영 조건을 판단하는 것을 특징으로 하는 제공 방법.
  3. 제1항에 있어서,
    상기 홍채 이미지에 대한 정보 및 상기 홍채 이미지의 촬영 조건을 매칭하여 저장하는 단계; 를 더 포함하고,
    상기 건강 상태를 판단하는 단계는,
    기저장된 촬영 조건에서 상기 판단된 촬영 조건에 대응되는 기저장된 홍채 이미지에 대한 정보를 획득하고, 상기 기저장된 홍채 이미지에 대한 정보를 바탕으로 상기 건강 상태를 판단하는 것을 특징으로 하는 제공 방법.
  4. 제1항에 있어서,
    상기 건강 상태를 판단하는 단계는,
    상기 홍채 이미지에 포함된 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 상기 제거된 홍채 이미지를 기저장된 홍채 이미지와 비교하여, 상기 건강 상태를 판단하는 것을 특징으로 하는 제공 방법.
  5. 제1항에 있어서,
    상기 홍채 인식 성공률이 기설정된 범위 내인 경우는,
    상기 홍채 이미지를 이용하여 상기 홍채가 인식 가능하고, 상기 사용자 단말의 잠금이 해제될 수 있는 범위 내인 것을 특징으로 하는 제공 방법.
  6. 제5항에 있어서,
    상기 제공하는 단계는,
    상기 홍채 인식이 성공하여 상기 사용자 단말의 잠금이 해제된 경우, 상기 판단된 건강 상태 결과를 제공하는 UI를 디스플레이하는 단계; 를 더 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 건강 상태 결과를 제공하는 UI는,
    상기 사용자 건강에 문제가 있음을 알리는 UI, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나인 것을 특징으로 하는 제공 방법.
  8. 제1항에 있어서,
    상기 건강 상태 결과를 제공하는 단계는,
    상기 사용자의 건강 상태를 자가 진단하기 위한 자가 진단 UI를 디스플레이하는 단계;
    상기 자가 진단 UI를 통해 수행된 자가 진단 결과를 제공하는 단계; 및
    상기 자가 진단 결과에 따라, 사용자의 건강 상태가 나쁜 것으로 판단되면, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI를 디스플레이하는 단계; 를 더 포함하는 것을 특징으로 하는 제공 방법.
  9. 제1항에 있어서,
    상기 홍채 인식을 수행하는 단계는,
    동공 주기 시간(Pupil cycle time, PCT)을 측정하는 단계; 를 더 포함하고,
    상기 건강 상태를 판단하는 단계는,
    상기 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 단계; 를 포함하는 것을 특징으로 하는 제공 방법.
  10. 제1항에 있어서,
    상기 홍채 이미지를 획득하는 단계는,
    사용자의 눈을 포함하는 영역을 촬영하는 단계; 를 더 포함하고,
    상기 제공하는 단계는,
    상기 촬영된 사용자의 눈의 이미지에 상기 판단된 건강 상태를 표시하여, 상기 건강 상태 결과를 제공하는 단계; 를 더 포함하는 것을 특징으로 하는 제공 방법.
  11. 사용자 단말에 있어서,
    홍채 이미지를 획득하는 홍채 이미지 획득부;
    홍채 코드 및 촬영 조건을 저장하는 저장부;
    상기 홍채 이미지의 촬영 조건을 판단하고, 상기 획득한 홍채 이미지를 홍채 코드로 변환하여, 상기 변환된 홍채 코드 및 상기 저장부에 기등록된 홍채 코드 중 상기 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행하고, 상기 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 상기 홍채 인식 결과를 바탕으로 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 제어부; 및
    상기 판단된 건강 상태 결과를 제공하는 출력부; 를 포함하는 사용자 단말.
  12. 제11항에 있어서,
    복수의 센서 및 카메라 중 적어도 하나를 포함하는 감지부; 를 더 포함하고,
    상기 제어부는,
    상기 감지부를 통해 상기 홍채 이미지가 촬영된 환경의 조도값, 상기 홍채 이미지를 촬영한 사용자와 상기 사용자 단말 간의 거리, 상기 홍채 이미지에 포함된 상기 사용자의 눈의 형태 및 상기 홍채 이미지가 촬영된 당시의 사용자의 주변의 색상 중 적어도 하나를 판단하여, 상기 촬영 조건을 판단하는 것을 특징으로 하는 사용자 단말.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 홍채 이미지에 대한 정보 및 상기 홍채 이미지의 촬영 조건을 매칭하여 저장하도록 상기 저장부를 제어하고,
    기저장된 촬영 조건에서 상기 판단된 촬영 조건에 대응되는 기저장된 홍채 이미지에 대한 정보를 획득하고, 상기 기저장된 홍채 이미지에 대한 정보를 바탕으로 상기 건강 상태를 판단하는 것을 특징으로 하는 사용자 단말.
  14. 제11항에 있어서,
    상기 제어부는,
    상기 홍채 이미지에 포함된 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 상기 제거된 홍채 이미지를 기저장된 홍채 이미지와 비교하여, 상기 건강 상태를 판단하는 것을 특징으로 하는 사용자 단말.
  15. 제11항에 있어서,
    상기 홍채 인식 성공률이 기설정된 범위 내인 경우는,
    상기 홍채 이미지를 이용하여 상기 홍채가 인식 가능하고, 상기 사용자 단말의 잠금이 해제될 수 있는 범위 내인 것을 특징으로 하는 사용자 단말.
PCT/KR2016/001362 2015-02-10 2016-02-05 사용자 단말 및 이의 제공 방법 WO2016129917A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16749457.4A EP3257436A4 (en) 2015-02-10 2016-02-05 User terminal and providing method therefor
CN201680009697.6A CN107209857A (zh) 2015-02-10 2016-02-05 用户终端及其提供方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150020070A KR102103286B1 (ko) 2015-02-10 2015-02-10 사용자 단말 및 이의 제공 방법
KR10-2015-0020070 2015-02-10

Publications (1)

Publication Number Publication Date
WO2016129917A1 true WO2016129917A1 (ko) 2016-08-18

Family

ID=56566915

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/001362 WO2016129917A1 (ko) 2015-02-10 2016-02-05 사용자 단말 및 이의 제공 방법

Country Status (5)

Country Link
US (1) US9916504B2 (ko)
EP (1) EP3257436A4 (ko)
KR (1) KR102103286B1 (ko)
CN (1) CN107209857A (ko)
WO (1) WO2016129917A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102255351B1 (ko) * 2014-09-11 2021-05-24 삼성전자주식회사 홍채 인식 방법 및 장치
USD806096S1 (en) * 2015-06-04 2017-12-26 Jade S. Schiffman Mobile device with fixation point grid series for multi-part eye test
KR102648770B1 (ko) * 2016-07-14 2024-03-15 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
US10275610B2 (en) 2016-11-28 2019-04-30 Stmicroelectronics, Inc. Time of flight sensing for providing security and power savings in electronic devices
CN107451546A (zh) 2017-07-14 2017-12-08 广东欧珀移动通信有限公司 虹膜识别方法及相关产品
FI20175960A1 (en) * 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
KR102469720B1 (ko) * 2017-10-31 2022-11-23 삼성전자주식회사 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
CN107669252A (zh) * 2017-11-09 2018-02-09 京东方科技集团股份有限公司 一种可穿戴设备及其控制方法
RU2670798C9 (ru) * 2017-11-24 2018-11-26 Самсунг Электроникс Ко., Лтд. Способ аутентификации пользователя по радужной оболочке глаз и соответствующее устройство
US11839495B2 (en) 2018-03-26 2023-12-12 Samsung Electronics Co., Ltd Electronic device for monitoring health of eyes of user and method for operating the same
CN108538263B (zh) * 2018-03-30 2020-07-03 合肥京东方显示光源有限公司 一种色温调节方法和装置
WO2019189971A1 (ko) * 2018-03-30 2019-10-03 주식회사 홍복 당뇨병 및 전조 증상을 진단하기 위해 홍채 영상 및 망막 영상을 인공지능으로 분석하는 방법
WO2019189972A1 (ko) * 2018-03-30 2019-10-03 주식회사 홍복 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
NL2022598B1 (en) * 2019-02-19 2020-08-31 Easee Health B V A method of performing an eye examination test for examining eyes of a user as well as a corresponding computing device.
CN111832344B (zh) * 2019-04-17 2023-10-24 深圳熙卓科技有限公司 一种动态瞳孔检测方法及装置
KR102249389B1 (ko) * 2019-04-30 2021-05-07 전수진 아기 두상 성장 관리 시스템
CN111985275A (zh) * 2019-05-23 2020-11-24 北京眼神科技有限公司 基于虹膜识别设备的健康检测方法、装置及设备
KR102297946B1 (ko) * 2019-08-14 2021-09-03 한국과학기술원 안구 건강 모니터링 방법 및 이를 이용한 안구 건강 모니터링용 디바이스
CN110534107A (zh) * 2019-09-11 2019-12-03 北京安云世纪科技有限公司 智能设备的语音控制方法、装置、系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08504979A (ja) * 1991-07-15 1996-05-28 ドーグマン、ジョン・ジー 虹彩解析に基づく生体測定学的人物識別システム
JP2007029333A (ja) * 2005-07-26 2007-02-08 Yajima Brains Management:Kk 眼部情報処理システム、眼部情報処理方法、眼部情報処理プログラムおよび撮影用アタッチメント
KR20080109695A (ko) * 2008-10-31 2008-12-17 주식회사 비즈모델라인 사용자 생체정보 비교를 통한 정보제공 시스템
KR20090065716A (ko) * 2007-12-18 2009-06-23 (주)매트론 홍채를 이용한 유비쿼터스형 보안 및 헬스케어 시스템
KR101160681B1 (ko) * 2011-10-19 2012-06-28 배경덕 이동 통신 단말기의 활성화 시에 특정 동작이 수행되도록 하기 위한 방법, 이동 통신 단말기 및 컴퓨터 판독 가능 기록 매체

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100376415B1 (ko) 2000-11-27 2003-03-19 주식회사 알파엔지니어링 눈 영상을 이용한 동공추출방법
US20060072793A1 (en) * 2004-10-05 2006-04-06 Honeywell International, Inc. Security alarm notification using iris detection systems
KR20060082195A (ko) 2005-01-11 2006-07-18 주식회사 팬택앤큐리텔 홍채 인식 및 분석 기능이 부가된 이동통신단말기
KR20080077886A (ko) 2006-12-05 2008-08-26 한국전자통신연구원 이동통신 단말을 활용한 홍채 정보 기반의 건강관리 서비스방법 및 시스템
KR20080064680A (ko) * 2007-01-05 2008-07-09 주식회사 대우일렉트로닉스 홍채검진 디스플레이 장치 및 홍채검진 방법
CN102429637B (zh) 2011-08-17 2015-09-16 北京百纳威尔科技有限公司 移动终端虹膜检测装置
CN104065817A (zh) * 2014-06-16 2014-09-24 惠州Tcl移动通信有限公司 一种基于虹膜识别的移动终端身份认证处理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08504979A (ja) * 1991-07-15 1996-05-28 ドーグマン、ジョン・ジー 虹彩解析に基づく生体測定学的人物識別システム
JP2007029333A (ja) * 2005-07-26 2007-02-08 Yajima Brains Management:Kk 眼部情報処理システム、眼部情報処理方法、眼部情報処理プログラムおよび撮影用アタッチメント
KR20090065716A (ko) * 2007-12-18 2009-06-23 (주)매트론 홍채를 이용한 유비쿼터스형 보안 및 헬스케어 시스템
KR20080109695A (ko) * 2008-10-31 2008-12-17 주식회사 비즈모델라인 사용자 생체정보 비교를 통한 정보제공 시스템
KR101160681B1 (ko) * 2011-10-19 2012-06-28 배경덕 이동 통신 단말기의 활성화 시에 특정 동작이 수행되도록 하기 위한 방법, 이동 통신 단말기 및 컴퓨터 판독 가능 기록 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3257436A4 *

Also Published As

Publication number Publication date
US20160232408A1 (en) 2016-08-11
EP3257436A4 (en) 2018-01-03
US9916504B2 (en) 2018-03-13
KR20160097786A (ko) 2016-08-18
KR102103286B1 (ko) 2020-04-22
EP3257436A1 (en) 2017-12-20
CN107209857A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
WO2016129917A1 (ko) 사용자 단말 및 이의 제공 방법
WO2020017706A1 (en) Electronic device and method for controlling the same
WO2019216499A1 (ko) 전자 장치 및 그 제어 방법
WO2016098950A1 (ko) 생채 특징 패턴을 업데이트하는 방법 및 이를 위한 전자 장치
WO2018009029A1 (en) Electronic device and operating method thereof
WO2013085193A1 (ko) 사용자 인지 향상 장치 및 그 인지 향상 방법
WO2016006734A1 (ko) 생체정보를 인식하는 방법 및 장치
WO2017099314A1 (ko) 사용자 정보를 제공하는 전자 장치 및 방법
WO2015190796A1 (ko) 실외 및 실내에서 홍채인식이 가능한 손 부착형 웨어러블 장치
WO2018164363A1 (ko) 다중 생체 데이터를 이용한 비접촉식 다중 생체 인식 방법 및 다중 생체 인식 장치
WO2018026142A1 (ko) 홍채 센서의 동작을 제어하는 방법 및 이를 위한 전자 장치
EP3746940A1 (en) Apparatus and method for recognizing object in image
WO2013165048A1 (ko) 영상 검색 시스템 및 영상 분석 서버
CN109525837B (zh) 图像的生成方法和移动终端
WO2019164079A1 (ko) 생체 인증과 관련된 객체의 표시에 따라 생체 인증을 수행하는 방법 및 이를 위한 전자 장치
WO2018021726A1 (ko) 카메라 모듈의 활성화를 제어하기 위한 전자 장치 및 방법
WO2015099500A1 (ko) 차량 사고 녹화 장치 및 그것의 방법
WO2020189827A1 (ko) 전자 장치 및 그 제어 방법
WO2019088338A1 (ko) 전자 장치 및 그 제어 방법
WO2021060721A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2021095903A1 (ko) 정맥을 이용하여 사용자 인증을 수행하는 사용자 인증 장치 및 그 방법
WO2019143199A1 (ko) 지문 입력의 압력 레벨에 기반하여 지문 처리 방식을 결정하는 전자 장치 및 방법
WO2020040410A1 (ko) 외부 전자 장치로부터 수신된 식별 정보에 기반하여 안테나와 연결된 스위치를 선택적으로 개방하거나 또는 연결하는 전자 장치 및 방법
WO2018124671A1 (en) Electronic device and operation method thereof
WO2021251615A1 (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16749457

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016749457

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE