KR20160097786A - 사용자 단말 및 이의 제공 방법 - Google Patents

사용자 단말 및 이의 제공 방법 Download PDF

Info

Publication number
KR20160097786A
KR20160097786A KR1020150020070A KR20150020070A KR20160097786A KR 20160097786 A KR20160097786 A KR 20160097786A KR 1020150020070 A KR1020150020070 A KR 1020150020070A KR 20150020070 A KR20150020070 A KR 20150020070A KR 20160097786 A KR20160097786 A KR 20160097786A
Authority
KR
South Korea
Prior art keywords
iris
user
iris image
user terminal
image
Prior art date
Application number
KR1020150020070A
Other languages
English (en)
Other versions
KR102103286B1 (ko
Inventor
이강민
고준호
곽병훈
김성찬
김양욱
김창한
김현중
나인학
윤강진
이용찬
정재호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150020070A priority Critical patent/KR102103286B1/ko
Priority to CN201680009697.6A priority patent/CN107209857A/zh
Priority to EP16749457.4A priority patent/EP3257436A4/en
Priority to PCT/KR2016/001362 priority patent/WO2016129917A1/ko
Priority to US15/019,028 priority patent/US9916504B2/en
Publication of KR20160097786A publication Critical patent/KR20160097786A/ko
Application granted granted Critical
Publication of KR102103286B1 publication Critical patent/KR102103286B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06K9/00597—
    • G06K9/00617—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/117—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1216—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes for diagnostics of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

사용자 단말 및 이의 제공 방법이 제공된다. 본 사용자 단말의 제공 방법에 따르면, 홍채 이미지를 획득하는 단계, 홍채 이미지의 촬영 조건을 판단하는 단계, 획득한 홍채 이미지를 홍채 코드로 변환하고, 변환된 홍채 코드 및 기등록된 홍채 코드 중 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행하는 단계, 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 홍채 인식 결과를 바탕으로 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 단계 및 판단된 건강 상태 결과를 제공하는 단계를 포함한다.

Description

사용자 단말 및 이의 제공 방법 { USER TERMINAL AND PROVIDING METHOD THEREOF }
본 발명은 사용자 단말 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 사용자 건강 상태를 판단할 수 있는 사용자 단말 및 이의 제공 방법에 관한 것이다.
개인이 사용하는 사용자 단말에 다양한 개인 정보나 컨텐츠 정보가 저장되면서, 사용자 단말 장치의 보안에 대한 요구가 점점 증가하고 있다. 특히, 기존에는 사용자 단말 장치의 보안을 위해, 패스워드를 입력하는 방식을 이용하였으나, 근래에 들어서, 지문 인식, 음성 인식, 홍채 인식과 같은 다양한 인증 방식이 도입되고 있다.
홍채 인식을 수행하는 경우, 사용자의 눈이 포함된 얼굴의 일부분을 촬영하게 된다. 따라서, 사용자의 눈을 촬영하여 홍채 인식을 수행할 뿐만 아니라, 홍채 인식을 수행하는 동안 획득한 이미지를 다양하게 활용하기 위한 방법의 필요성이 대두하였다.
본 발명은 상술한 필요성에 의해 안출된 것으로, 본 발명의 목적은 사용자가 홍채 인식을 수행하면서, 사용자의 건강 상태에 대한 피드백을 제공받을 수 있도록 하기 위한 사용자 단말 및 이의 제공 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 단말의 제공 방법은, 홍채 이미지를 획득하는 단계, 상기 홍채 이미지의 촬영 조건을 판단하는 단계, 상기 획득한 홍채 이미지를 홍채 코드로 변환하고, 상기 변환된 홍채 코드 및 기등록된 홍채 코드 중 상기 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행하는 단계, 상기 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 상기 홍채 인식 결과를 바탕으로 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 단계 및 상기 판단된 건강 상태 결과를 제공하는 단계를 포함할 수 있다.
한편, 상기 촬영 조건을 판단하는 단계는, 상기 홍채 이미지가 촬영된 환경의 조도값, 상기 홍채 이미지를 촬영한 사용자와 상기 사용자 단말 간의 거리, 상기 홍채 이미지에 포함된 상기 사용자의 눈의 형태 및 상기 홍채 이미지가 촬영된 당시의 사용자의 주변의 색상 중 적어도 하나를 판단하여, 상기 촬영 조건을 판단하는 것을 특징으로 할 수 있다.
그리고 상기 홍채 이미지에 대한 정보 및 상기 홍채 이미지의 촬영 조건을 매칭하여 저장하는 단계를 더 포함하고, 상기 건강 상태를 판단하는 단계는, 기저장된 촬영 조건에서 상기 판단된 촬영 조건에 대응되는 기저장된 홍채 이미지에 대한 정보를 획득하고, 상기 기저장된 홍채 이미지에 대한 정보를 바탕으로 상기 건강 상태를 판단하는 것을 특징으로 할 수 있다.
한편, 상기 건강 상태를 판단하는 단계는, 상기 홍채 이미지에 포함된 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 상기 제거된 홍채 이미지를 기저장된 홍채 이미지와 비교하여, 상기 건강 상태를 판단하는 것을 특징으로 할 수 있다.
그리고 상기 홍채 인식 성공률이 기설정된 범위 내인 경우는, 상기 홍채 이미지를 이용하여 상기 홍채가 인식 가능하고, 상기 사용자 단말의 잠금이 해제될 수 있는 범위 내인 것을 특징으로 할 수 있다.
한편, 상기 제공하는 단계는, 상기 홍채 인식이 성공하여 상기 사용자 단말의 잠금이 해제된 경우, 상기 판단된 건강 상태 결과를 제공하는 UI를 디스플레이하는 단계를 더 포함할 수 있다.
그리고 상기 건강 상태 결과를 제공하는 UI는, 상기 사용자 건강에 문제가 있음을 알리는 UI, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나인 것을 특징으로 할 수 있다.
한편, 상기 건강 상태 결과를 제공하는 단계는, 상기 사용자의 건강 상태를 자가 진단하기 위한 자가 진단 UI를 디스플레이하는 단계, 상기 자가 진단 UI를 통해 수행된 자가 진단 결과를 제공하는 단계 및 상기 자가 진단 결과에 따라, 사용자의 건강 상태가 나쁜 것으로 판단되면, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI를 디스플레이하는 단계를 더 포함할 수 있다.
그리고 상기 홍채 인식을 수행하는 단계는, 동공 주기 시간(Pupil cycle time, PCT)을 측정하는 단계를 더 포함하고, 상기 건강 상태를 판단하는 단계는, 상기 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 단계를 포함할 수 있다.
한편, 상기 홍채 이미지를 획득하는 단계는, 사용자의 눈을 포함하는 영역을 촬영하는 단계를 더 포함하고, 상기 제공하는 단계는, 상기 촬영된 사용자의 눈의 이미지에 상기 판단된 건강 상태를 표시하여, 상기 건강 상태 결과를 제공하는 단계를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른, 사용자 단말은 홍채 이미지를 획득하는 홍채 이미지 획득부, 홍채 코드 및 촬영 조건을 저장하는 저장부, 상기 홍채 이미지의 촬영 조건을 판단하고, 상기 획득한 홍채 이미지를 홍채 코드로 변환하여, 상기 변환된 홍채 코드 및 상기 저장부에 기등록된 홍채 코드 중 상기 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행하고, 상기 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 상기 홍채 인식 결과를 바탕으로 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 제어부 및 상기 판단된 건강 상태 결과를 제공하는 출력부를 포함할 수 있다.
그리고 복수의 센서 및 카메라 중 적어도 하나를 포함하는 감지부를 더 포함하고, 상기 제어부는, 상기 감지부를 통해 상기 홍채 이미지가 촬영된 환경의 조도값, 상기 홍채 이미지를 촬영한 사용자와 상기 사용자 단말 간의 거리, 상기 홍채 이미지에 포함된 상기 사용자의 눈의 형태 및 상기 홍채 이미지가 촬영된 당시의 사용자의 주변의 색상 중 적어도 하나를 판단하여, 상기 촬영 조건을 판단하는 것을 특징으로 할 수 있다.
한편, 상기 제어부는, 상기 홍채 이미지에 대한 정보 및 상기 홍채 이미지의 촬영 조건을 매칭하여 저장하도록 상기 저장부를 제어하고, 기저장된 촬영 조건에서 상기 판단된 촬영 조건에 대응되는 기저장된 홍채 이미지에 대한 정보를 획득하고, 상기 기저장된 홍채 이미지에 대한 정보를 바탕으로 상기 건강 상태를 판단하는 것을 특징으로 할 수 있다.
그리고 상기 제어부는, 상기 홍채 이미지에 포함된 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 상기 제거된 홍채 이미지를 기저장된 홍채 이미지와 비교하여, 상기 건강 상태를 판단하는 것을 특징으로 할 수 있다.
한편, 상기 홍채 인식 성공률이 기설정된 범위 내인 경우는, 상기 홍채 이미지를 이용하여 상기 홍채가 인식 가능하고, 상기 사용자 단말의 잠금이 해제될 수 있는 범위 내인 것을 특징으로 할 수 있다.
그리고 상기 출력부는, 디스플레이부를 더 포함하고, 상기 제어부는, 상기 홍채 인식이 성공하여 상기 사용자 단말의 잠금이 해제된 경우, 상기 판단된 건강 상태 결과를 제공하는 UI를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 할 수 있다.
한편, 상기 건강 상태 결과를 제공하는 UI는, 상기 사용자 건강에 문제가 있음을 알리는 UI, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나인 것을 특징으로 할 수 있다.
그리고 상기 출력부는, 디스플레이부를 더 포함하고, 상기 제어부는, 상기 사용자의 건강 상태를 자가 진단하기 위한 자가 진단 UI를 디스플레이하고, 상기 자가 진단 UI를 통해 수행된 자가 진단 결과를 제공하며, 상기 자가 진단 결과에 따라, 사용자의 건강 상태가 나쁜 것으로 판단되면, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 할 수 있다.
한편, 동공 주기 시간(Pupil cycle time, PCT)을 측정하고, 상기 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 것을 특징으로 할 수 있다.
그리고 상기 홍채 이미지 획득부는, 홍채 촬영 모듈을 더 포함하고, 상기 제어부는, 사용자의 눈을 포함하는 영역을 촬영하여 상기 홍채 이미지를 획득하도록 상기 홍채 촬영 모듈을 제어하고, 상기 촬영된 사용자의 눈의 이미지에 상기 판단된 건강 상태를 표시하여, 상기 건강 상태 결과를 제공하도록 상기 출력부를 제어하는 것을 특징으로 할 수 있다.
본 발명의 다양한 실시예에 따르면, 사용자는 사용자 단말을 통해 홍채 인식을 수행하고, 건강 상태에 대한 피드백을 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 상세히 도시한 블럭도,
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른, 홍채 영역을 검출하는 방법을 설명하기 위한 도면,
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른, 사용자 단말과 사용자 간의 거리를 측정하는 방법을 설명하기 위한 도면,
도 5a 내지 도 5d는 본 발명의 일 실시 예에 따른, 홍채 인식을 이용하여 사용자 단말의 잠금을 해제하는 방법을 설명하기 위한 도면,
도 6a 내지 도 6c는 본 발명의 다양한 실시 예에 따른, 건강 상태 판단 결과 UI를 도시한 도면,
도 7a 및 도 7b는 본 발명의 다양한 실시 예에 따른, 홍채 인식 실패 화면을 도시한 도면,
도 8a 내지 도 8l은 본 발명의 다양한 실시 예에 따른, 자가 진단 UI를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른, 사용자 단말의 제공 방법을 나타내는 흐름도,
도 10은 본 발명의 일 실시 예에 따른, 동공 주기 시간을 측정하고, 자가 진단 UI를 제공하는 방법을 나타내는 흐름도, 그리고,
도 11a 내지 도 11d는 본 발명의 일 실시 예에 따른, 홍채 코드 추출 방법을 설명하기 위한 도면이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 사용자 단말(100)의 구성을 간략히 도시한 블럭도이다. 도 1에 도시된 바와 같이, 사용자 단말(100)은 홍채 이미지 획득부(110), 저장부(120), 출력부(130) 및 제어부(140)를 포함한다.
홍채 이미지 획득부(110)는 사용자의 홍채를 촬영한 홍채 이미지를 획득하기 위한 구성요소이다. 홍채 이미지 획득부(110)는 사용자의 홍채를 촬영하거나 촬영된 사용자의 홍채 이미지를 수신하여 홍채 이미지를 획득할 수 있다.
저장부(120)는 사용자 단말(100)에서 필요한 다양한 프로그램 모듈을 저장하기 위한 구성요소이다.
특히, 저장부(120)는 홍채 코드 및 촬영 조건을 저장할 수 있다. 구체적으로, 저장부(120)는 적어도 하나의 사용자에 대응되는 홍채 코드를 저장한다. 이때, 홍채 코드는 사용자의 홍채 영역을 직사각형 모양으로 정규화한 데이터로서, 홍채 인식에 이용된다. 홍채 코드를 획득하는 구체적인 방법은 후술한다.
한편, 홍채 인식에 성공할 경우, 저장부(120)에 저장된 홍채 코드는 업데이트 될 수 있다.
또한, 저장부(120)는 홍채 이미지가 촬영된 환경의 조도값, 홍채 이미지를 촬영한 사용자와 사용자 단말(100) 간의 거리, 홍채 이미지에 포함된 사용자의 눈의 형태 및 홍채 이미지가 촬영된 당시의 사용자 주변의 색상 중 적어도 하나를 촬영 조건으로 저장할 수 있다.
한편, 출력부(130)는 사용자 단말(100)에서 제공하는 각종 컨텐츠를 출력하기 위한 구성요소이다. 특히, 출력부(130)는 사용자의 건강 상태 결과를 다양한 형태로 출력할 수 있다.
제어부(140)는 사용자 단말(100)의 전반적인 동작을 제어한다. 특히, 제어부(140)는 홍채 이미지의 촬영 조건을 판단할 수 있고, 홍채 이미지를 홍채 코드로 변환할 수 있다. 제어부(140)는 변환된 홍채 코드 및 저장부(120)에 기등록된 홍채 코드 중 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행할 수 있다.
그리고 제어부(140)는 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 홍채 인식 결과를 바탕으로 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
홍채 인식 성공률이 기설정된 범위 내인 경우란, 홍채 이미지를 이용하여 홍채가 인식 가능하고, 사용자 단말의 잠금이 해제될 수 있는 범위 내를 의미할 수 있다.
또한, 제어부(140)는 동공 주기 시간(Pupil cycle time, PCT)을 측정하도록 제어하고, 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
한편, 홍채 이미지가 홍채 이미지 획득부(110)를 통해 획득되고, 획득된 홍채 이미지를 등록하는 경우, 제어부(140)는 홍채 이미지에 대한 정보 및 홍채 이미지의 촬영 조건을 매칭하여 저장하도록 저장부(120)를 제어할 수 있다.
홍채 이미지에 대한 정보는 홍채 이미지를 비롯하여, 홍채 이미지 획득시 측정된 동공 주기 시간 및 홍채 이미지를 변환한 홍채 코드를 포함한다.
이하에서는 도 2를 참고하여, 사용자 단말(100)의 구성을 구체적으로 설명한다. 도 2에 도시된 바와 같이, 사용자 단말(100)은 홍채 이미지 획득부(110), 저장부(120), 출력부(130), 제어부(140)뿐만 아니라, 감지부(150), 통신부(160) 및 입력부(170)를 더 포함할 수 있다.
홍채 이미지 획득부(110)는 사용자의 홍채를 촬영한 홍채 이미지를 획득하기 위한 구성요소이다. 특히, 홍채 이미지 획득부(110)는 카메라를 포함할 수 있다. 즉, 홍채 이미지 획득부(110)는 콜드 밀러(cold mirror)라 불리는 거울 형태의 적외선 통과 필터를 포함하는 카메라를 이용하여, 사용자 단말(100)의 전면에 위치한 사용자를 촬영하고, 홍채 이미지를 획득할 수 있다.
저장부(120)는 사용자 단말(100)을 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(120)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 사용자 단말(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(120)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 사용자 단말(100)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 사용자 단말(100)이 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
한편, 저장부(120)는 홍채 코드 및 촬영 조건을 저장할 수 있다. 구체적으로, 저장부(120)는 적어도 하나의 사용자에 대응되는 홍채 코드를 저장한다. 이때, 홍채 코드는 사용자의 홍채 영역을 직사각형 모양으로 정규화한 데이터로서, 홍채 인식에 이용된다. 이때, 홍채 인식에 성공할 경우, 저장부(120)에 저장된 홍채 코드는 제어부(140)의 제어에 의해 업데이트 될 수 있다.
또한, 저장부(120)는 홍채 이미지가 촬영된 환경의 조도값, 홍채 이미지를 촬영한 사용자와 사용자 단말(100) 간의 거리, 홍채 이미지에 포함된 사용자의 눈의 형태 및 홍채 이미지가 촬영된 당시의 사용자 주변의 색상 중 적어도 하나를 촬영 조건으로 저장할 수 있다.
한편, 출력부(130)는 사용자 단말(100)에서 제공하는 각종 컨텐츠를 출력하기 위한 구성요소이다. 특히, 출력부(130)는 디스플레이부(131) 및 스피커(132) 중 적어도 하나를 포함할 수 있다.
디스플레이부(131)는 다양한 영상 및 UI를 디스플레이하기 위한 구성요소이다. 디스플레이부(131)는 촬영되거나 수신된 영상을 디스플레이할 수 있다.
또한, 디스플레이부(131)는 제어부(140)의 제어에 의해, 각종 UI를 디스플레이할 수 있다. 구체적으로, 홍채 인식이 성공하여 사용자 단말(100)의 잠금이 해제된 경우, 디스플레이부(131)는 판단된 건강 상태 결과를 제공하는 UI를 디스플레이할 수 있다.
건강 상태 결과를 제공하는 UI는, 사용자 건강에 문제가 있음을 알리는 UI, 사용자 단말(100)로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나를 포함할 수 있다.
한편, 스피커(132)는 오디오 데이터를 출력하기 위한 구성요소이다. 스피커부(132)는 오디오 처리부(미도시)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 예를 들면, 스피커(132)는 홍채 인식이 성공하면, 홍채 인식이 성공하고, 사용자 단말(100)의 잠금이 해제되었음을 알리는 알람을 출력할 수 있다. 또한, 스피커부(132)는 오디오 단자를 포함할 수도 있다.
각종 알람이 스피커(132)를 통한 오디오 데이터로 출력되는 것은 일 실시 예에 불과할 뿐, 진동을 통해 알람이 출력되거나 LED가 발광하는 형태로 알람이 출력될 수도 있다.
한편, 감지부(150)는 복수의 센서 및 카메라를 포함하여, 사용자 단말(100)의 주변 환경 및 홍채가 인식되는 촬영 조건을 감지할 수 있다. 구체적으로, 감지부(150)는 센서 모듈(151), 카메라(152) 및 TOF(Time of flight) 카메라(153)를 포함할 수 있다.
센서 모듈(151)은 복수의 센서를 포함할 수 있다. 예를 들면, 센서 모둘(151)은 제스처 센서, 자이로 센서, 기압 센서, 조도 센서, 근접 센서, 가속도 센서와 같은 다양한 센서를 포함할 수 있다.
특히, 조도 센서는 사용자 단말(100)이 위치한 환경의 조도를 감지할 수 있다. 즉, 기저장된 홍채 이미지가 촬영된 환경의 조도와 현재 홍채 인식을 수행하는 환경의 조도가 유사한지 여부를 판단하기 위해, 조도 센서는 홍채 이미지가 촬영되는 동안 조도를 판단할 수 있다.
한편, 카메라(152)는 영상을 촬영하기 위한 구성요소이다. 예를 들면, 기저장된 홍채 이미지를 촬영한 사용자와 현재 홍채 인식을 수행하는 사용자가 동일한지 여부를 판단하기 위해, 카메라(152)는 홍채 인식을 수행하는 사용자를 촬영할 수 있다.
TOF(Time of flight) 카메라(153)는 사용자 단말(100)과 사용자 간의 거리를 측정하기 위한 구성요소이다. 즉, 사용자의 얼굴 형태에 따라, 사용자 단말(100)과 사용자 간의 거리가 상이해질 수 있다. 따라서, TOF(Time of flight) 카메라(153)는 사용자 단말(100)의 전면에서 홍채 인식을 수행하는 사용자와 사용자 단말(100) 간의 거리를 측정할 수 있다.
통신부(160)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(160)는 와이 파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩, IR 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩, IR 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식, IR 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
입력부(170)는 사용자 명령을 입력받기 위한 구성요소이다. 입력부(170)는 사용자 단말(100)의 전반적인 동작을 제어하기 위한 사용자 명령을 수신한다.
이때, 입력부(170)는 상하 좌우의 4방향 키 및 확인 키를 포함하는 리모컨으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 터치 스크린, 마우스, 포인팅 디바이스 등과 같은 다양한 입력 장치에 의해 구현될 수 있다.
또한, 입력부(170)는 사용자 음성에 의해 사용자 명령을 입력받을 수 있다. 즉, 입력부(170)는 마이크와 같은 구성요소를 포함하여, 사용자 음성을 입력받을 수도 있다.
제어부(140)는 사용자 단말(100)의 전반적인 동작을 제어한다. 특히, 제어부(140)는 홍채 이미지의 촬영 조건을 판단할 수 있고, 홍채 이미지를 홍채 코드로 변환할 수 있다. 제어부(140)는 변환된 홍채 코드 및 저장부(120)에 기등록된 홍채 코드 중 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행할 수 있다.
본 발명의 일 실시 예에 따른, 획득된 홍채 이미지가 홍채 코드로 변환되는 방법은 도 11a 내지 도 11d에 도시된 바와 같다.
구체적으로, 도 11a에 도시된 바와 같은 홍채 이미지(1100)가 획득되면, 제어부(140)는 홍채 코드를 생성하기 위해 전처리 과정을 수행할 수 있다. 예를 들면, 제어부(140)는 홍채 이미지(1100)에 포함된 홍채 인식에 불필요한 요소를 제거하기 위해, 잡음 제거 과정을 수행할 수 있다. 또한, 제어부(140)는 원형 경계 검출기를 이용하여 홍채의 경계를 검출하고, 홍채 영역을 극좌표계로 변환하여 정규화할 수 있다.
전술한 방법에 의해 제어부(140)는, 도 11b에 도시된 바와 같은, 홍채 영역(1110)을 홍채 이미지(1100)로 부터 분리할 수 있다.
제어부(140)는 분리된 홍채 영역(1110)을 직사각형 형태로 정규화하고, 홍채 영역(1110)의 문의 패턴의 특징을 추출하여, 도 11c에 도시된 바와 같은 형태(1120)로 변환할 수 있다. 그리고 제어부(140)는 도 11d에 도시된 바와 같이, 코드화된 홍채 코드(1130)를 생성하여 저장할 수 있다.
한편, 제어부(140)는 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 홍채 인식 결과를 바탕으로 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
홍채 인식 성공률이 기설정된 범위 내인 경우란, 홍채 이미지를 이용하여 홍채가 인식 가능하고, 사용자 단말의 잠금이 해제될 수 있는 범위 내를 의미할 수 있다.
구체적으로, 제어부(140)는 홍채 인식 성공률이 임계 성공률(예를 들면 95%) 이하이면서, 홍채 인식을 수행하여 사용자를 판별할 수 있는 경우, 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
또한, 제어부(140)는 동공 주기 시간(Pupil cycle time, PCT)을 측정하도록 제어하고, 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
즉, 홍채 인식 성공률과 무관하게, 제어부(140)는 동공 주기 시간이 기설정된 범위 내의 동공 주기 시간보다 짧거나 긴 경우, 사용자의 건강이 정상이 아닌 것으로 인식하고, 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
또한, 제어부(140)는 홍채 이미지를 획득하면서 홍채 인식을 시도하였으나, 홍채 인식에 실패한 경우, 패스워드 입력을 통해 사용자를 인증할 수도 있다. 따라서, 제어부(140)는 사용자 인증 후에 획득한 홍채 이미지를 바탕으로 사용자의 건강 상태를 판단하고, 판단 결과를 출력하도록 제어할 수 있다.
한편, 홍채 이미지가 홍채 이미지 획득부(110)를 통해 획득되고, 획득된 홍채 이미지를 등록하는 경우, 제어부(140)는 홍채 이미지에 대한 정보 및 홍채 이미지의 촬영 조건을 매칭하여 저장하도록 저장부(120)를 제어할 수 있다.
홍채 이미지에 대한 정보는 홍채 이미지를 비롯하여, 홍채 이미지 획득시 측정된 동공 주기 시간(PCT) 및 홍채 이미지를 변환한 홍채 코드를 포함할 수 있다.
즉, 감지부(150)를 통해 홍채 이미지가 촬영된 환경의 조도값, 홍채 이미지를 촬영한 사용자와 사용자 단말(100) 간의 거리, 홍채 이미지에 포함된 사용자의 눈의 형태 및 홍채 이미지가 촬영된 당시의 사용자의 주변의 색상 중 적어도 하나를 포함하는 촬영 조건이 획득될 수 있다.
제어부(140)는 홍채 이미지 획득부(110)를 통해 홍채 이미지를 획득하여 홍채 코드로 등록하는 경우, 감지부(150)를 통해 획득한 촬영 조건과 매칭하여 홍채 코드를 저장부(120)에 저장할 수 있다.
따라서, 홍채 이미지가 획득되어 홍채 인식이 수행되는 경우, 제어부(140)는 홍채 인식이 수행되는 동안의 촬영 조건을 판단할 수 있다. 그리고 제어부(140)는 저장부(120)에 저장된 촬영 조건에서 판단된 촬영 조건에 대응되는 기저장된 홍채 이미지를 획득하고, 기저장된 홍채 이미지를 바탕으로 건강 상태를 판단하도록 제어할 수 있다.
즉, 제어부(140)는 획득한 홍채 이미지에 포함된 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 제거된 홍채 이미지를 기저장된 홍채 이미지와 비교하여, 건강 상태 중 홍채 질환을 판단할 수 있다.
예를 들면, 도 3a에 도시된 바와 같은 홍채 이미지(300)가 획득된 경우, 제어부(140)는 도 3b에 도시된 바와 같이, 홍채 영역만을 분리하여 획득하도록 제어할 수 있다. 홍채는 사람에 따라, 눈꺼풀에 덮인 영역이 상이할 수 있다. 따라서, 제어부(140)는 홍채를 덮고 있는 눈꺼풀 영역을 제외하여 홍채 이미지를 획득할 수 있다.
그리고 홍채 이미지가 촬영되는 동안, 안경과 같은 외부 요소에 의해, 빛 반사가 발생한 경우, 홍채 이미지는 반사 영역을 포함할 수 있다. 이때, 제어부(140)는 빛 반사 영역을 검출하여 제거하도록 제어할 수 있다.
한편, 저장부(140)는 다양한 이상 증상이 나타난 안구 및 눈의 이미지를 저장하고 있다. 따라서, 제어부(140)는 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 획득한 홍채 이미지를 저장부(120)에 기저장된 복수의 이미지와 비교할 수 있다. 그리고 획득한 홍채 이미지와 유사한 이미지가 특정 질병에 의한 홍채를 촬영한 영상인 경우, 제어부(140)는 사용자의 홍채에 특정 질병이 발병한 것으로 판단할 수 있다.
또한, 제어부(140)는 홍채 영역을 별도로 분리하지 않고, 촬영된 눈 및 눈 주변을 포함하는 이미지를 기저장된 복수의 이미지와 비교할 수 있다. 그리고 획득한 눈 이미지와 유사한 이미지가 특정 질병에 의한 사람의 눈을 촬영한 영상인 경우, 제어부(140)는 사용자의 눈에 특정 질병이 발병한 것으로 판단할 수 있다.
한편, 전술한 바와 같이 제어부(140)는 조도 센서를 이용하여 홍채 이미지가 획득되는 환경의 조도값을 촬영 조건으로써 획득할 수 있다.
또한, 제어부(140)는 홍채 이미지가 촬영되는 동안 획득한 동공 주기 시간(PCT) 및 기저장된 홍채 이미지에 대한 동공 주기 시간을 비교할 수 있다. 즉, 제어부(140)는 획득한 동공 주기 시간이 기저장된 동공 주기 시간의 임계 범위 내에 해당하지 않는 경우, 사용자의 건강 상태가 정상이 아닌 것으로 판단할 수 있다.
또한, 제어부(140)는 사용자 단말(100)과 사용자 간의 거리를 촬영 조건으로써 획득할 수도 있다. 도 4a 및 도 4b는 사용자 단말(100)과 사용자 간의 거리를 획득하는 방법을 설명하기 위한 도면이다.
즉, 도 4a에 도시된 바와 같이, 제어부(140)는 획득된 홍채 이미지에 포함된 눈의 양끝에서부터 홍채까지의 길이(d1, d3) 및 홍채의 가로 길이(d2)를 바탕으로 사용자 단말(100)과 사용자 간의 거리를 획득할 수 있다.
또는, 도 4b에 도시된 바와 같이, 제어부(140)는 획득된 홍채 이미지에 포함된 양 눈 사이의 길이(d4)를 바탕으로 사용자 단말(100)과 사용자 간의 거리를 획득할 수 있다.
예를 들면, 사용자가 사용자 단말(100)로부터 멀리 떨어져 있는 경우에는, 사용자가 사용자 단말(100)과 가까울 때보다, 양 눈 사이의 길이(d4)가 짧게 획득될 것이다.
한편, 전술한 바와 같이, 감지부(150)에 TOF 카메라(153)가 포함된 경우, 제어부(140)는 TOF 카메라(153)를 이용하여, 사용자 단말(100)과 사용자 간의 거리를 획득할 수도 있다.
제어부(140)는 판단된 건강 상태를 출력하도록 출력부(130)를 제어할 수 있다. 예를 들면, 출력부(130)는 영상 컨텐츠 및 오디오 컨텐츠 중 적어도 하나의 컨텐츠 형태로 건강 상태를 출력할 수 있다.
이하에서는 출력부(130)가 디스플레이부(131)를 포함하고, 디스플레이부(131)를 통해 UI와 같은 영상 컨텐츠로 건강 상태를 출력하는 경우를 예로 들어 설명하기로 한다.
따라서, 제어부(140)는 전술한 방법에 의해, 사용자에게 발병한 질환이 판단된 경우, 판단된 질환에 대해 알리기 위한 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
예를 들면, 제어부(140)는 사용자의 눈을 포함하는 영역을 촬영한 이미지상에 판단된 건강 상태를 표시하여, 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
또한, 제어부(140)는 사용자가 자가 진단을 통해 구체적인 질환의 내용을 알 수 있도록 하기 위한 자가 진단 UI를 디스플레이할 수도 있다. 그리고 제어부(140)는 자가 진단 결과에 따라, 사용자의 건강 상태가 나쁜 것으로 판단되면, 사용자 단말(100)로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다. 자가 진단 UI 및 병원을 알리는 UI에 대한 구체적인 내용은 후술한다.
상술한 바와 같은 사용자 단말(100)에 의해, 사용자는 잠금을 해제하기 위해 홍채 인식을 수행하면서, 건강 상태를 검사할 수 있게 된다.
이하에서는, 홍채 인식을 수행하여, 건강 상태를 판단하는 방법 및 판단 결과에 따른 UI를 디스플레이하는 방법에 대해 구체적으로 설명한다.
도 5a 내지 도 5d는 본 발명의 일 실시 예에 따른, 홍채 인식 방법을 설명하기 위한 도면이다.
구체적으로, 도 5a는 잠금이 설정되고 초기화면이 디스플레이된 사용자 단말(100)을 도시한 도면이다. 도 5a에서는 사용자 단말(100)이 스마트 폰으로 도시되었으나, 사용자 단말(100)은 홍채 인식을 수행하여 잠금을 해제할 수 있는 전자 장치로써, 휴대폰, 노트북 PC, 태블릿 PC, TV, LFD, 디지털 카메라, 캠코더, PDA, 스마트 시계, 스마트 안경 등과 같은 다양한 전자 장치로 구현될 수 있으며, 스마트 폰에 한정되지 않는다.
도 5a에 도시된 바와 같이, 사용자 단말(100)은 디스플레이부(131)를 포함하는 전면부에 홍채 이미지 획득부(110)를 포함할 수 있다.
또한, 잠금이 설정된 사용자 단말(100)은 홍채 인식 UI(500)를 디스플레이할 수 있다. 사용자는 홍채 인식 UI(500)를 사용자의 신체 또는 스타일러스 펜 등을 이용하여 선택할 수 있다.
도 5b는 사용자에 의해, 홍채 인식 UI(500)가 선택된 경우 UI(510)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다. 사용자 단말(100)은 UI(510)를 통해 사용자에게 사용자 단말(100)의 홍채 이미지 획득부(110)에 눈을 위치시키고 촬영을 수행할 것을 지시할 수 있다.
홍채 이미지 획득부(110)를 통해, 사용자를 촬영하여 홍채 이미지를 획득하는 동안, 사용자 단말(100)은 도 5c에 도시된 바와 같이, 디스플레이부(131)를 오프할 수 있다.
즉, 사용자의 홍채를 촬영하는 동안, 디스플레이부(131)의 조명에 의한 영향을 최소화하기 위해, 제어부(140)는 디스플레이부(131)의 전원을 오프하도록 제어할 수 있다.
사용자에 의해 홍채가 인식되면, 제어부(140)는 도 5d에 도시된 바와 같이, 사용자 단말(100)의 잠금을 해제하고, 사용자 단말(100)의 초기화면을 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
구체적으로, 제어부(140)는 획득한 이미지에서 홍채 영역을 검출하고, 검출된 홍채 영역을 직사각형 모양으로 정규화하여 홍채 코드를 생성할 수 있다. 그리고 제어부(140)는 직사각형으로 정규화된 홍채 코드 중 눈썹 또는 눈꺼풀에 의해 가려진 영역을 마스킹 하며, 마스킹 된 영역을 제외한 나머지 영역을 기 등록된 홍채 코드와 비교하여 사용자의 홍채 인식을 수행할 수 있다.
한편, 제어부(140)는 사용자에 의해, 홍채 인식을 위한 홍채 이미지를 등록할 수 있다. 즉, 제어부(140)는 사용자에 따른 홍채 이미지를 분석하여, 홍채 코드를 검출하고, 검출된 홍채 코드를 저장하도록 저장부(120)를 제어할 수 있다.
특히, 제어부(140)는 홍채 이미지를 등록하는 동안, 획득된 촬영 조건을 홍채 이미지와 매칭하여 저장할 수 있다. 제어부(140)는 홍채 이미지뿐만 아니라, 홍채 이미지로부터 획득된 홍채 코드 및 동공 주기 시간도 상기 획득한 촬영 조건과 매칭하여 저장할 수 있다.
따라서, 홍채 인식을 위한 홍채 이미지가 획득되는 동안, 제어부(140)는 전술한 바와 같은 각종 촬영 조건을 감지하도록 감지부(150)를 제어할 수 있다. 저장부(120)에 기 저장된 촬영 조건 중 감지된 촬영 조건과 대응되는 촬영 조건이 판단되면, 제어부(140)는 판단된 촬영 조건에 대응되는 홍채 코드를 이용하여, 획득한 홍채 이미지에 대한 홍채 인식을 수행할 수 있다.
제어부(140)는 홍채 코드를 비교하는 방식으로, 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 홍채 인식 결과를 바탕으로 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
구체적으로, 홍채 인식 성공률이 기설정된 임계값 이하인 경우, 제어부(140)는 홍채 이미지를 바탕으로 사용자의 건강 상태를 판단할 수 있다. 예를 들면, 제어부(140)는 홍채 인식 성공률이 95% 미만인 경우, 사용자의 건강 상태를 판단할 수 있다.
그리고 홍채 인식에 성공하면, 제어부(140)는 도 6a 내지 도 6c에 도시된 바와 같은 판단 결과 UI(600, 610, 620)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
또한, 제어부(140)는 동공 주기 시간(Pupil cycle time, PCT)을 측정하도록 제어하고, 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
즉, 홍채 인식 성공률과는 무관하게, 제어부(140)는 동공 주기 시간을 측정할 수 있다. 그리고 측정된 결과, 동공 주기 시간이 종래 사용자의 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 제어부(140)는 홍채 인식을 수행한 사용자의 건강 상태를 판단할 수 있다.
또한, 제어부(140)는 촬영 조건과 무관하게, 기설정된 홍채 인식 횟수마다 사용자의 건강 상태를 판단하거나 기설정된 위치에 사용자가 진입한 것으로 판단되는 경우에 사용자의 건강 상태를 판단할 수 있다.
그리고 제어부(140)는 사용자 설정 또는 초기 설정에 의한 조건을 만족하는 경우, 사용자의 건강 상태를 판단할 수 있다. 예를 들면, 사용자 단말(100)이 충전 중이거나, 사용자의 건강 상태를 판단한 뒤로 임계 시간이 소요된 경우, 제어부(140)는 사용자의 건강 상태를 판단할 수 있다.
제어부(140)는 사용자의 건강 상태를 판단한 결과인 판단 결과 UI(600, 610, 620)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
구체적으로, 도 6a는 홍채 인식에 성공하고, 홍채 이미지 분석 결과, 건강 이상 징후가 발견된 경우의 판단 결과 UI(600)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
예를 들면, 홍채 이미지를 분석한 결과, 사용자의 안구가 충혈되거나, 사용자의 안구에 기등록된 홍채 이미지와 비교하여, 많은 실핏줄이 검출된 경우, 제어부(140)는 휴식을 권고하는 내용을 포함하는 판단 결과 UI(600)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
또한, 판단 결과 UI(600)를 통해, 시력 보호 기능을 활성화하기 위한 사용자 명령이 입력되면, 제어부(140)는 사용자의 시력을 보호하도록 디스플레이부(131)를 제어할 수 있다. 예를 들면, 제어부(140)는 감지된 주변 조도에 따라 디스플레이부(131)의 밝기를 제어할 수 있다.
한편, 도 6b는 홍채 인식에 성공하고, 홍채 이미지 분석 결과, 비교적 심각한 건강 이상 징후가 발견된 경우의 판단 결과 UI(610)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
예를 들면, 홍채 이미지에 포함된 홍채 또는 동공의 경계선이 지나치게 불명확한 경우, 사용자의 안구의 색깔이 단순히 충혈된 것 이상으로 혼탁하게 변경된 것으로 판단되는 경우, 검출된 홍채의 형태가 기저장된 홍채의 형태와 상이한 경우 또는 상술한 이유로 홍채 인식률이 임계 값(예를 들면, 90%) 이하인 경우에서 제어부(140)는 사용자의 안구 및 홍채에 발생한 질환을 판단하고, 안구에 대한 이상이 발견되었음을 알리는 내용을 포함하는 판단 결과 UI(610)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
또한, 전술한 바와 같이, 동공 주기 시간(Pupil cycle time, PCT)을 측정하고, 동공 주기 시간이 정상적인 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우에도, 제어부(140)는 안구에 대한 이상이 발견되었음을 알리는 내용을 포함하는 판단 결과 UI(610)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
또한, 판단 결과 UI(610)를 통해, 인근 병원을 검색하기 위한 사용자 명령이 입력되면, 제어부(140)는 사용자 단말(100)의 위치를 바탕으로, 임계 거리 이내에 존재하는 병원을 검색하고, 검색 결과에 따라 병원 목록 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
한편, 도 6c는 홍채 인식에 성공하고, 홍채 이미지 분석 결과, 심각한 건강 이상 징후가 발견된 경우의 판단 결과 UI(620)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
예를 들면, 홍채 이미지를 분석한 결과, 홍채 인식 성공률이 50% 정도밖에 되지 않는 경우, 제어부(140)는 홍채 이미지가 수회에 걸쳐 겨우 홍채 인식에 성공한 것은, 사용자의 안구에 심각한 건강 이상이 발생한 것으로 판단할 수 있다.
따라서, 제어부(140)는 안구에 대한 심각한 이상이 발견되었으므로 자가 진단이 필요하다는 내용을 포함하는 판단 결과 UI(620)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
판단 결과 UI(620)를 통해 자가 진단을 실행하기 위한 사용자 명령이 입력되면, 제어부(140)는 자가 진단을 위한 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다. 구체적인 자가 진단을 위한 UI에 대해서는 후술한다.
한편, 도 7a 및 도 7b는 홍채 인식이 실패한 경우의 사용자 단말(100)을 도시한 도면이다. 즉, 반복적으로 홍채 인식을 실행해도, 지나치게 홍채 인식 성공률이 낮아 홍채 인식에 실패한 경우, 제어부(140)는 도 7a에 도시된 바와 같이, 인증 실패 UI(700)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
인증 실패 UI(700)를 통해, 사용자 단말(100)은 사용자 인증이 실패했음을 알리고, 인증을 재시도할지 여부에 대한 사용자 명령을 입력받을 수 있다.
한편, 도 7b에 도시된 바와 같이, 제어부(140)는 비밀번호 입력 UI(710)를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다. 즉, 제어부(140)는 비밀번호 입력 UI(710)를 통해 홍채 인식이 실패했음을 알리고, 별도로 설정된 비밀번호를 입력받을 수 있다. 따라서, 제어부(140)는 홍채 인식이 실패하는 경우, 별도의 방법에 의해 사용자 단말(100)의 잠금을 해제할 수 있다.
한편, 도 8a 내지 도 8l은 본 발명의 다양한 실시 예에 따른, 자가 진단 UI를 도시한 도면들이다. 제어부(140)는 사용자가 자가 진단을 통해 구체적인 질환의 내용을 알 수 있도록 하기 위한 다양한 형태의 자가 진단 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수도 있다.
전술한 바와 같이, 홍채 인식을 수행한 결과, 인식 성공률이 기설정된 인식 성공률보다 낮은 경우, 동공 주기 시간(PCT)이 정상 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우 또는 홍채 인식에 실패하고, 사용자 명령에 의해 홍채 인식이 아닌 다른 방법으로 사용자 단말(100)의 잠금이 해제된 경우, 제어부(140)는 도 8a에 도시된 바와 같은 자가 진단 UI(800)를 디스플레이하도록 디스플레이부(131)를 제어할 수도 있다.
즉, 사용자 단말(100)은 자가 진단 UI(800)를 통해 사용자의 눈 건강에 이상이 발견하였음을 알리고, 구체적인 검사를 하기 위한 자가 진단을 실행할 것을 제안할 수 있다.
도 8b 내지 도 8d는, 자가 진단 UI(800)를 통해, 자가 진단을 실행하는 사용자 명령이 입력된 경우, 자가 진단 가이드를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
도 8b에 도시된 바와 같이, 사용자 단말(100)은 자가 진단이 실행됨을 사용자에게 알릴 수 있다.
그리고 도 8c에 도시된 바와 같이, 제어부(140)는 자가 진단을 위해, 홍채 이미지를 획득하기 위한 안내 UI를 디스플레이하도록 디스플레이부(131)를 제어할 수 있다.
그리고 홍채 이미지 획득부(110)를 통해 사용자의 홍채 이미지가 획득되는 동안, 도 8d에 도시된 바와 같이, 제어부(140)는 디스플레이부(131)를 오프하도록 제어할 수 있다. 즉, 홍채 이미지를 획득하는 동안, 디스플레이부(131)의 조명에 의한 영향을 최소화하기 위해, 디스플레이부(131)는 오프될 수 있다.
다만, 사용자의 홍채 이미지를 촬영하고, 촬영된 홍채 이미지를 분석한 결과, 사용자의 눈 건강에 문제가 있는 것으로 판단되어 자가 진단 단계가 실행된 경우에는 도 8c 에 도시된 바와 같은 안내 UI의 디스플레이는 생략될 수도 있다.
도 8c 에 도시된 바와 같은 안내 UI의 디스플레이는 생략되는 경우, 도 8d에 도시된 바와 같은 디스플레이부(131)가 오프되는 단계도 생략가능하다.
도 8e는 자가 진단 중 사용자의 시력을 측정하기 위한, 시력 검사 UI(810)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다. 시력 검사 UI(810)를 통해, 사용자는 사용자 단말(100)을 일정거리에 위치시키고, 시력 검사 UI(810)에 디스플레이된 숫자가 보이는지 여부를 판단하여, 시력을 측정할 수 있다.
또한, 시력 검사를 원거리에서 수행하는 경우, 사용자는 사용자 단말(100)을 제어하기 위한 외부의 제어 장치(미도시)를 이용하여, 시력 검사 UI(810)에 디스플레이된 숫자를 선택할 수 있다.
한편, 도 8f는 자가 진단 중 사용자의 난시 여부를 판단하기 위한, 난시 검사 UI(820)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다. 즉, 사용자는 난시 검사 UI(820)에 디스플레이된 난시 검사를 위한 질문에 대답하여, 난시 여부를 판단할 수 있다.
도 8g는 자가 진단 중 사용자의 난시 여부를 판단하기 위한, 망막 검사 UI(830)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다. 즉, 사용자는 난시 검사 UI(820)에 디스플레이된 망막 검사를 위한 질문에 대답하여, 망막에 문제가 있는지 여부를 판단할 수 있다.
한편, 도 8h 및 도 8i는 자가 진단 중 사용자의 적녹 색맹 또는 색맹 여부를 판단하기 위한, 색맹 검사 UI(840, 850)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
도 8h에 도시된 바와 같은, 적녹 시표 검사를 하기 위한 색맹 검사 UI(840)를 통해, 사용자의 적녹 색맹 여부를 판단할 수 있다. 그리고 도 8i에 도시된 바와 같은 색맹 여부를 판단하기 위한, 색맹 검사 UI(850)를 통해, 사용자의 색맹 여부를 판단할 수 있다.
도 8j는 본 발명의 일 실시 예에 따른, 자가 진단 결과 UI(860)를 디스플레이하는 사용자 단말(100)을 도시한 도면이다.
전술한 방법 등에 의해, 자가 진단 결과 사용자의 눈에 이상이 있는 것으로 판단되면, 사용자 단말(100)은 자가 진단 결과 UI(860)를 통해, 의심되는 질환을 제공할 수 있다.
별도의 자가 진단이 없더라도, 사용자 단말(100)은 동공 주기 시간(PCT)을 측정할 수 있다. 따라서, 측정된 동공 주기 시간이 정상 동공 주기 시간 범위 내에 해당하지 않는 경우, 사용자 단말(100)은 자가 진단 결과 UI(860)를 통해, 동공 주기 시간이 정상 범위에 해당하지 않음을 알릴 수 있다.
그리고 사용자 단말(100)은 자가 진단 결과 UI(860)를 통해, 사용자 단말(100)의 위치에서 기설정된 범위 내에 위치하는 병원을 검색하기 위한 사용자 명령을 입력받을 수 있다.
병원을 검색하기 위한 사용자 명령이 입력된 경우, 사용자 단말(100)은 도 8k에 도시된 바와 같은, 병원 검색 결과(870)를 디스플레이할 수 있다.
한편, 일 실시 예에 따라, 사용자 단말(100)은 자가 진단 결과를 병원으로 전송할 수도 있다.
즉, 도 8l에 도시된 바와 같이, 제어부(140)는 자가 진단 결과를 전송할 병원을 선택하는 사용자 명령을 입력받기 위한 UI(880)를 디스플레이할 수 있다. 또한, 사용자 명령이 없는 경우라도, 제어부(140)는 설정에 따라, 혹은 문제가 발생한 경우에 즉시, 기설정된 병원으로 건강 상태 판단 결과를 제공하도록 통신부(160)를 제어할 수 있다.
한편, 도 9는 본 발명의 일 실시 예에 따른, 사용자 단말의 제공 방법을 나타내는 흐름도이다. 먼저, 사용자 단말(100)은 홍채 이미지를 획득한다(S900). 사용자 단말(100)은 사용자의 홍채를 촬영하거나 촬영된 사용자의 홍채 이미지를 수신하여 홍채 이미지를 획득할 수 있다.
사용자 단말(100)은 홍채 이미지의 촬영 조건을 판단한다(S910). 즉, 사용자 단말(100)은 홍채 인식을 위한 홍채 이미지 등록 당시에, 촬영 조건을 판단하여, 홍채 이미지 및 촬영 조건을 매칭하여 저장하고 있다. 따라서, 사용자 단말(100)은 동일거나 유사한 촬영 조건을 만족하는 경우의 홍채 이미지를 검색하기 위해, 획득한 홍채 이미지의 촬영 조건을 판단한다.
사용자 단말(100)은 획득한 홍채 이미지를 홍채 코드로 변환하고(S920), 변환된 홍채 코드 및 기등록된 홍채 코드 중 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행한다(S930). 그리고 사용자 단말(100)은 홍채 인식 성공률이 기설정된 범위 이내인지 여부를 판단한다(S940).
홍채 인식 성공률이 기설정된 범위 내인 경우란, 홍채 이미지를 이용하여 홍채가 인식 가능하고, 사용자 단말(100)의 잠금이 해제될 수 있는 범위 내를 의미할 수 있다. 예를 들면, 기설정된 범위 내는 홍채 인식에 성공하여 사용자 단말(100)의 잠금은 해제되었으나, 홍채 인식 성공률은 기설정된 성공률(예를 들면, 95%) 이하인 경우를 의미한다.
사용자 단말(100)은 홍채 인식 결과를 바탕으로 홍채 인식을 수행한 사용자의 건강 상태를 판단한다(S950). 즉, 사용자 단말(100)은 홍채 인식을 위해 획득한 홍채 이미지를 기저장된 다양한 질병에 따른 홍채 이미지들과 비교하여, 대응되는 홍채 이미지를 검출할 수 있다. 따라서, 사용자 단말(100)은 홍채 이미지를 이용하여 사용자가 가진 안과 질환을 판단할 수 있다.
그리고 사용자 단말(100)은 판단된 건강 상태 결과를 제공한다(S960). 예를 들면, 홍채 인식이 성공하여 사용자 단말(100)의 잠금이 해제된 경우, 디스플레이부(131)는 판단된 건강 상태 결과를 제공하는 UI를 디스플레이할 수 있다.
건강 상태 결과를 제공하는 UI는, 사용자 건강에 문제가 있음을 알리는 UI, 사용자 단말(100)로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나를 포함할 수 있다.
한편, 도 10은 본 발명의 일 실시 예에 따른, 동공 주기 시간(PCT)을 측정하고, 자가 진단 UI를 제공하는 방법을 나타내는 흐름도이다.
사용자 단말(100)은 홍채 이미지를 분석하고(S1000), 동공 주기 시간(PCT)을 측정한다(S1010). 사용자 단말(100)은 홍채 인식을 수행하면서, 동공 주기 시간(PCT)을 측정하여, 측정된 동공 주기 시간이 정상 동공 주기 시간 범위 내에 해당하는지 여부를 판단한다. 그리고 측정된 동공 주기 시간이 정상 동공 주기 시간 범위 내에 해당하지 않는 경우, 사용자 단말(100)은 다양한 자가 진단 UI를 디스플레이한다.
구체적으로, 사용자 단말(100)은 시력 검사 UI를 디스플레이하고(S1020), 난시 검사 UI를 디스플레이한다(S1030). 사용자 단말(100)은 적녹 색맹 또는 색맹 여부를 판단하기 위해, 색맹 검사 UI를 디스플레이한다(S1040). 그리고 사용자 단말(100)은 망막 검사 UI를 디스플레이한다(S1050).
전술한 각종 자가 진단 UI는 사용자 설정 또는 홍채 이미지 분석 결과에 따라 순서가 달라지거나, 다른 진단이 추가되거나, 일 진단이 생략될 수도 있다.
사용자 단말(100)은 검사 결과를 분석하여(S1060), 검사 결과를 출력한다(S1070). 즉, 사용자 단말(100은 사용자의 눈에 발생한 질환 또는 시력 저하와 같은 문제점을 판단하고, 판단 결과를 출력할 수 있다.
또한, 사용자 단말(100)은 검사 결과에 따른 부가 서비스를 연결한다(S1080). 예를 들면, 사용자 단말(100)은 사용자 단말(100)의 위치를 바탕으로, 임계 거리 이내에 존재하는 병원을 검색하고, 검색 결과에 따라 병원 목록 UI를 디스플레이할 수 있다.
또는, 사용자 명령이 입력된 경우 또는 기설정된 주기마다, 사용자 단말(100)은 검사 결과를 병원으로 전송할 수도 있다.
상술한 바와 같은, 사용자 단말(100)의 제공 방법에 의해, 사용자는 홍채 인식을 이용하여 사용자 단말(100)의 잠금을 해제할 뿐만 아니라, 사용자 눈에 대한 건강 검진을 수행하고, 수행 결과를 제공받을 수 있게 된다.
한편, 상술한 사용자 단말(100)의 구성요소들은 소프트웨어로 구현될 수 있다. 가령, 사용자 단말(100)은 플래시 메모리나 기타 비휘발성 메모리를 더 포함할 수 있다. 이러한 비휘발성 메모리에는 사용자 단말(100)의 각 구성요소에 대응되는 프로그램이 저장될 수 있다.
또한, 사용자 단말의 제어부는 CPU 및 RAM(Random Access Memory)을 포함하는 형태로 구현될 수 있다. 제어부의 CPU는 비휘발성 메모리에 저장된 상술한 프로그램들을 RAM으로 복사한 후, 복사한 프로그램들을 실행시켜 상술한 바와 같은 사용자 단말의 기능을 수행할 수 있다.
제어부는 일반적으로 장치의 제어를 담당하는 구성이다. 제어부는 중앙처리장치, 마이크로 프로세서, 프로세서 등과 동일한 의미로 혼용되어 사용될 수 있다. 또한, 사용자 단말의 제어부는 사용자 단말에 포함된 통신부 등의 다른 기능부와 함께 단일칩 시스템 (System-on-a-chip 또는 System on chip, SOC, SoC)로 구현될 수 있다.
한편, 상술한 다양한 실시 예들에 따른 사용자 단말의 제어 방법은 소프트웨어로 코딩되어 비일시적 판독 가능 매체(non-transitory readable medium)에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
100: 사용자 단말 110: 홍채 이미지 획득부
120: 저장부 130: 출력부

Claims (20)

  1. 사용자 단말의 제공 방법에 있어서,
    홍채 이미지를 획득하는 단계;
    상기 홍채 이미지의 촬영 조건을 판단하는 단계;
    상기 획득한 홍채 이미지를 홍채 코드로 변환하고, 상기 변환된 홍채 코드 및 기등록된 홍채 코드 중 상기 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행하는 단계;
    상기 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 상기 홍채 인식 결과를 바탕으로 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 단계; 및
    상기 판단된 건강 상태 결과를 제공하는 단계; 를 포함하는 제공 방법.
  2. 제1항에 있어서,
    상기 촬영 조건을 판단하는 단계는,
    상기 홍채 이미지가 촬영된 환경의 조도값, 상기 홍채 이미지를 촬영한 사용자와 상기 사용자 단말 간의 거리, 상기 홍채 이미지에 포함된 상기 사용자의 눈의 형태 및 상기 홍채 이미지가 촬영된 당시의 사용자의 주변의 색상 중 적어도 하나를 판단하여, 상기 촬영 조건을 판단하는 것을 특징으로 하는 제공 방법.
  3. 제1항에 있어서,
    상기 홍채 이미지에 대한 정보 및 상기 홍채 이미지의 촬영 조건을 매칭하여 저장하는 단계; 를 더 포함하고,
    상기 건강 상태를 판단하는 단계는,
    기저장된 촬영 조건에서 상기 판단된 촬영 조건에 대응되는 기저장된 홍채 이미지에 대한 정보를 획득하고, 상기 기저장된 홍채 이미지에 대한 정보를 바탕으로 상기 건강 상태를 판단하는 것을 특징으로 하는 제공 방법.
  4. 제1항에 있어서,
    상기 건강 상태를 판단하는 단계는,
    상기 홍채 이미지에 포함된 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 상기 제거된 홍채 이미지를 기저장된 홍채 이미지와 비교하여, 상기 건강 상태를 판단하는 것을 특징으로 하는 제공 방법.
  5. 제1항에 있어서,
    상기 홍채 인식 성공률이 기설정된 범위 내인 경우는,
    상기 홍채 이미지를 이용하여 상기 홍채가 인식 가능하고, 상기 사용자 단말의 잠금이 해제될 수 있는 범위 내인 것을 특징으로 하는 제공 방법.
  6. 제5항에 있어서,
    상기 제공하는 단계는,
    상기 홍채 인식이 성공하여 상기 사용자 단말의 잠금이 해제된 경우, 상기 판단된 건강 상태 결과를 제공하는 UI를 디스플레이하는 단계; 를 더 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 건강 상태 결과를 제공하는 UI는,
    상기 사용자 건강에 문제가 있음을 알리는 UI, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나인 것을 특징으로 하는 제공 방법.
  8. 제1항에 있어서,
    상기 건강 상태 결과를 제공하는 단계는,
    상기 사용자의 건강 상태를 자가 진단하기 위한 자가 진단 UI를 디스플레이하는 단계;
    상기 자가 진단 UI를 통해 수행된 자가 진단 결과를 제공하는 단계; 및
    상기 자가 진단 결과에 따라, 사용자의 건강 상태가 나쁜 것으로 판단되면, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI를 디스플레이하는 단계; 를 더 포함하는 것을 특징으로 하는 제공 방법.
  9. 제1항에 있어서,
    상기 홍채 인식을 수행하는 단계는,
    동공 주기 시간(Pupil cycle time, PCT)을 측정하는 단계; 를 더 포함하고,
    상기 건강 상태를 판단하는 단계는,
    상기 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 단계; 를 포함하는 것을 특징으로 하는 제공 방법.
  10. 제1항에 있어서,
    상기 홍채 이미지를 획득하는 단계는,
    사용자의 눈을 포함하는 영역을 촬영하는 단계; 를 더 포함하고,
    상기 제공하는 단계는,
    상기 촬영된 사용자의 눈의 이미지에 상기 판단된 건강 상태를 표시하여, 상기 건강 상태 결과를 제공하는 단계; 를 더 포함하는 것을 특징으로 하는 제공 방법.
  11. 사용자 단말에 있어서,
    홍채 이미지를 획득하는 홍채 이미지 획득부;
    홍채 코드 및 촬영 조건을 저장하는 저장부;
    상기 홍채 이미지의 촬영 조건을 판단하고, 상기 획득한 홍채 이미지를 홍채 코드로 변환하여, 상기 변환된 홍채 코드 및 상기 저장부에 기등록된 홍채 코드 중 상기 촬영 조건에 대응되는 홍채 코드를 비교하여 홍채 인식을 수행하고, 상기 홍채 인식을 수행한 결과, 홍채 인식 성공률이 기설정된 범위 내인 경우, 상기 홍채 인식 결과를 바탕으로 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 제어부; 및
    상기 판단된 건강 상태 결과를 제공하는 출력부; 를 포함하는 사용자 단말.
  12. 제11항에 있어서,
    복수의 센서 및 카메라 중 적어도 하나를 포함하는 감지부; 를 더 포함하고,
    상기 제어부는,
    상기 감지부를 통해 상기 홍채 이미지가 촬영된 환경의 조도값, 상기 홍채 이미지를 촬영한 사용자와 상기 사용자 단말 간의 거리, 상기 홍채 이미지에 포함된 상기 사용자의 눈의 형태 및 상기 홍채 이미지가 촬영된 당시의 사용자의 주변의 색상 중 적어도 하나를 판단하여, 상기 촬영 조건을 판단하는 것을 특징으로 하는 사용자 단말.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 홍채 이미지에 대한 정보 및 상기 홍채 이미지의 촬영 조건을 매칭하여 저장하도록 상기 저장부를 제어하고,
    기저장된 촬영 조건에서 상기 판단된 촬영 조건에 대응되는 기저장된 홍채 이미지에 대한 정보를 획득하고, 상기 기저장된 홍채 이미지에 대한 정보를 바탕으로 상기 건강 상태를 판단하는 것을 특징으로 하는 사용자 단말.
  14. 제11항에 있어서,
    상기 제어부는,
    상기 홍채 이미지에 포함된 눈꺼풀 영역 및 빛 반사 영역을 제거하고, 상기 제거된 홍채 이미지를 기저장된 홍채 이미지와 비교하여, 상기 건강 상태를 판단하는 것을 특징으로 하는 사용자 단말.
  15. 제11항에 있어서,
    상기 홍채 인식 성공률이 기설정된 범위 내인 경우는,
    상기 홍채 이미지를 이용하여 상기 홍채가 인식 가능하고, 상기 사용자 단말의 잠금이 해제될 수 있는 범위 내인 것을 특징으로 하는 사용자 단말.
  16. 제15항에 있어서,
    상기 출력부는,
    디스플레이부; 를 더 포함하고,
    상기 제어부는,
    상기 홍채 인식이 성공하여 상기 사용자 단말의 잠금이 해제된 경우, 상기 판단된 건강 상태 결과를 제공하는 UI를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 사용자 단말.
  17. 제16항에 있어서,
    상기 건강 상태 결과를 제공하는 UI는,
    상기 사용자 건강에 문제가 있음을 알리는 UI, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI 및 자가 진단 UI 중 적어도 하나인 것을 특징으로 하는 사용자 단말.
  18. 제11항에 있어서,
    상기 출력부는,
    디스플레이부; 를 더 포함하고,
    상기 제어부는,
    상기 사용자의 건강 상태를 자가 진단하기 위한 자가 진단 UI를 디스플레이하고, 상기 자가 진단 UI를 통해 수행된 자가 진단 결과를 제공하며, 상기 자가 진단 결과에 따라, 사용자의 건강 상태가 나쁜 것으로 판단되면, 상기 사용자 단말로부터 기설정된 거리 이내에 존재하는 병원을 알리는 UI를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 사용자 단말.
  19. 제11항에 있어서,
    상기 제어부는,
    동공 주기 시간(Pupil cycle time, PCT)을 측정하고, 상기 동공 주기 시간이 기설정된 동공 주기 시간의 임계 범위 이내에 해당하지 않는 경우, 상기 홍채 인식을 수행한 사용자의 건강 상태를 판단하는 것을 특징으로 하는 사용자 단말.
  20. 제11항에 있어서,
    상기 홍채 이미지 획득부는,
    홍채 촬영 모듈; 을 더 포함하고,
    상기 제어부는,
    사용자의 눈을 포함하는 영역을 촬영하여 상기 홍채 이미지를 획득하도록 상기 홍채 촬영 모듈을 제어하고,
    상기 촬영된 사용자의 눈의 이미지에 상기 판단된 건강 상태를 표시하여, 상기 건강 상태 결과를 제공하도록 상기 출력부를 제어하는 것을 특징으로 하는 사용자 단말.

KR1020150020070A 2015-02-10 2015-02-10 사용자 단말 및 이의 제공 방법 KR102103286B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150020070A KR102103286B1 (ko) 2015-02-10 2015-02-10 사용자 단말 및 이의 제공 방법
CN201680009697.6A CN107209857A (zh) 2015-02-10 2016-02-05 用户终端及其提供方法
EP16749457.4A EP3257436A4 (en) 2015-02-10 2016-02-05 User terminal and providing method therefor
PCT/KR2016/001362 WO2016129917A1 (ko) 2015-02-10 2016-02-05 사용자 단말 및 이의 제공 방법
US15/019,028 US9916504B2 (en) 2015-02-10 2016-02-09 User terminal and method of providing information to a user thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150020070A KR102103286B1 (ko) 2015-02-10 2015-02-10 사용자 단말 및 이의 제공 방법

Publications (2)

Publication Number Publication Date
KR20160097786A true KR20160097786A (ko) 2016-08-18
KR102103286B1 KR102103286B1 (ko) 2020-04-22

Family

ID=56566915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150020070A KR102103286B1 (ko) 2015-02-10 2015-02-10 사용자 단말 및 이의 제공 방법

Country Status (5)

Country Link
US (1) US9916504B2 (ko)
EP (1) EP3257436A4 (ko)
KR (1) KR102103286B1 (ko)
CN (1) CN107209857A (ko)
WO (1) WO2016129917A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019189972A1 (ko) * 2018-03-30 2019-10-03 주식회사 홍복 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
WO2019189971A1 (ko) * 2018-03-30 2019-10-03 주식회사 홍복 당뇨병 및 전조 증상을 진단하기 위해 홍채 영상 및 망막 영상을 인공지능으로 분석하는 방법
KR20200126802A (ko) * 2019-04-30 2020-11-09 전수진 아기 두상 성장 관리 시스템
KR20210020318A (ko) * 2019-08-14 2021-02-24 한국과학기술원 안구 건강 모니터링 방법 및 이를 이용한 안구 건강 모니터링용 디바이스

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102255351B1 (ko) * 2014-09-11 2021-05-24 삼성전자주식회사 홍채 인식 방법 및 장치
USD806096S1 (en) * 2015-06-04 2017-12-26 Jade S. Schiffman Mobile device with fixation point grid series for multi-part eye test
JP7001672B2 (ja) * 2016-07-14 2022-01-19 マジック リープ， インコーポレイテッド 虹彩識別のためのディープニューラルネットワーク
US10275610B2 (en) 2016-11-28 2019-04-30 Stmicroelectronics, Inc. Time of flight sensing for providing security and power savings in electronic devices
CN107451546A (zh) 2017-07-14 2017-12-08 广东欧珀移动通信有限公司 虹膜识别方法及相关产品
FI20175960A1 (en) * 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
KR102469720B1 (ko) * 2017-10-31 2022-11-23 삼성전자주식회사 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
CN107669252A (zh) * 2017-11-09 2018-02-09 京东方科技集团股份有限公司 一种可穿戴设备及其控制方法
RU2670798C9 (ru) * 2017-11-24 2018-11-26 Самсунг Электроникс Ко., Лтд. Способ аутентификации пользователя по радужной оболочке глаз и соответствующее устройство
CN111867447B (zh) * 2018-03-26 2023-12-05 三星电子株式会社 用于监测用户眼部健康的电子设备及其操作方法
CN108538263B (zh) * 2018-03-30 2020-07-03 合肥京东方显示光源有限公司 一种色温调节方法和装置
NL2022598B1 (en) * 2019-02-19 2020-08-31 Easee Health B V A method of performing an eye examination test for examining eyes of a user as well as a corresponding computing device.
CN111832344B (zh) * 2019-04-17 2023-10-24 深圳熙卓科技有限公司 一种动态瞳孔检测方法及装置
CN111985275A (zh) * 2019-05-23 2020-11-24 北京眼神科技有限公司 基于虹膜识别设备的健康检测方法、装置及设备
CN110534107A (zh) * 2019-09-11 2019-12-03 北京安云世纪科技有限公司 智能设备的语音控制方法、装置、系统及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080064680A (ko) * 2007-01-05 2008-07-09 주식회사 대우일렉트로닉스 홍채검진 디스플레이 장치 및 홍채검진 방법
KR101160681B1 (ko) * 2011-10-19 2012-06-28 배경덕 이동 통신 단말기의 활성화 시에 특정 동작이 수행되도록 하기 위한 방법, 이동 통신 단말기 및 컴퓨터 판독 가능 기록 매체

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
KR100376415B1 (ko) 2000-11-27 2003-03-19 주식회사 알파엔지니어링 눈 영상을 이용한 동공추출방법
US20060072793A1 (en) * 2004-10-05 2006-04-06 Honeywell International, Inc. Security alarm notification using iris detection systems
KR20060082195A (ko) 2005-01-11 2006-07-18 주식회사 팬택앤큐리텔 홍채 인식 및 분석 기능이 부가된 이동통신단말기
JP2007029333A (ja) * 2005-07-26 2007-02-08 Yajima Brains Management:Kk 眼部情報処理システム、眼部情報処理方法、眼部情報処理プログラムおよび撮影用アタッチメント
KR20080077886A (ko) 2006-12-05 2008-08-26 한국전자통신연구원 이동통신 단말을 활용한 홍채 정보 기반의 건강관리 서비스방법 및 시스템
KR20090065716A (ko) * 2007-12-18 2009-06-23 (주)매트론 홍채를 이용한 유비쿼터스형 보안 및 헬스케어 시스템
KR20080109695A (ko) * 2008-10-31 2008-12-17 주식회사 비즈모델라인 사용자 생체정보 비교를 통한 정보제공 시스템
CN102429637B (zh) 2011-08-17 2015-09-16 北京百纳威尔科技有限公司 移动终端虹膜检测装置
CN104065817A (zh) * 2014-06-16 2014-09-24 惠州Tcl移动通信有限公司 一种基于虹膜识别的移动终端身份认证处理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080064680A (ko) * 2007-01-05 2008-07-09 주식회사 대우일렉트로닉스 홍채검진 디스플레이 장치 및 홍채검진 방법
KR101160681B1 (ko) * 2011-10-19 2012-06-28 배경덕 이동 통신 단말기의 활성화 시에 특정 동작이 수행되도록 하기 위한 방법, 이동 통신 단말기 및 컴퓨터 판독 가능 기록 매체
US20130102273A1 (en) * 2011-10-19 2013-04-25 Jae Lark JUNG Method, system, and mobile communication terminal for performing specific function when mobile communication terminal is activated

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019189972A1 (ko) * 2018-03-30 2019-10-03 주식회사 홍복 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
WO2019189971A1 (ko) * 2018-03-30 2019-10-03 주식회사 홍복 당뇨병 및 전조 증상을 진단하기 위해 홍채 영상 및 망막 영상을 인공지능으로 분석하는 방법
KR20200126802A (ko) * 2019-04-30 2020-11-09 전수진 아기 두상 성장 관리 시스템
KR20210020318A (ko) * 2019-08-14 2021-02-24 한국과학기술원 안구 건강 모니터링 방법 및 이를 이용한 안구 건강 모니터링용 디바이스

Also Published As

Publication number Publication date
EP3257436A1 (en) 2017-12-20
US20160232408A1 (en) 2016-08-11
CN107209857A (zh) 2017-09-26
WO2016129917A1 (ko) 2016-08-18
KR102103286B1 (ko) 2020-04-22
EP3257436A4 (en) 2018-01-03
US9916504B2 (en) 2018-03-13

Similar Documents

Publication Publication Date Title
KR102103286B1 (ko) 사용자 단말 및 이의 제공 방법
US10678897B2 (en) Identification, authentication, and/or guiding of a user using gaze information
JP5609970B2 (ja) 無線端末の機能への制御アクセス
CN107995979B (zh) 用于对用户进行认证的系统、方法和机器可读介质
US20170070680A1 (en) Display control method, terminal device, and storage medium
US8988519B2 (en) Automatic magnification of data on display screen based on eye characteristics of user
TWI528213B (zh) 手持式身分驗證裝置、身分驗證方法與身分驗證系統
KR102469720B1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
KR20180014624A (ko) 홍채 인증 시스템 및 방법
CN109285602B (zh) 用于自我检查用户眼睛的主模块、系统和方法
CN110114777B (zh) 使用注视信息进行的用户的识别、认证和/或导引
US20170243063A1 (en) Authentication method, electronic device, and storage medium
EP3739482B1 (en) Facial recognition device
EP4095744A1 (en) Automatic iris capturing method and apparatus, computer-readable storage medium, and computer device
KR102189783B1 (ko) 이석증의 질병예측정보 표시방법
JP2015228096A (ja) 電子機器
KR20150104767A (ko) 눈동자 위치 및 정지 시간에 기반한 잠금 해제를 수행하는 사용자 장치, 눈동자 위치 및 정지 시간에 기반한 사용자 장치의 잠금 해제 방법 및 컴퓨터 프로그램이 기록된 기록매체
JP2020201988A (ja) 顔認証装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant