KR102438110B1 - 사용자 단말 장치 및 이의 홍채 인식 방법 - Google Patents

사용자 단말 장치 및 이의 홍채 인식 방법 Download PDF

Info

Publication number
KR102438110B1
KR102438110B1 KR1020150080137A KR20150080137A KR102438110B1 KR 102438110 B1 KR102438110 B1 KR 102438110B1 KR 1020150080137 A KR1020150080137 A KR 1020150080137A KR 20150080137 A KR20150080137 A KR 20150080137A KR 102438110 B1 KR102438110 B1 KR 102438110B1
Authority
KR
South Korea
Prior art keywords
iris
user
image
terminal device
detected
Prior art date
Application number
KR1020150080137A
Other languages
English (en)
Other versions
KR20160044403A (ko
Inventor
손병준
유진우
백성욱
조현근
곽병훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to TW104132314A priority Critical patent/TWI696110B/zh
Priority to US14/883,084 priority patent/US9928422B2/en
Priority to EP21172145.1A priority patent/EP3885986B1/en
Priority to PCT/KR2015/010873 priority patent/WO2016060486A1/en
Priority to CN201510666512.6A priority patent/CN105528573B/zh
Priority to EP15189970.5A priority patent/EP3009960B1/en
Priority to CN201910336953.8A priority patent/CN110070054A/zh
Publication of KR20160044403A publication Critical patent/KR20160044403A/ko
Priority to US15/896,748 priority patent/US10262204B2/en
Priority to US16/364,825 priority patent/US10628670B2/en
Application granted granted Critical
Publication of KR102438110B1 publication Critical patent/KR102438110B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Input (AREA)

Abstract

사용자 단말 장치 및 이의 홍채 인식 방법이 제공된다. 본 사용자 단말 장치는 사용자를 촬영하는 촬영부, 촬영된 영상을 디스플레이하는 디스플레이부 및 촬영된 영상에서 사용자 눈을 검출하고, 촬영된 영상 중 검출된 사용자 눈이 존재하는 위치에 가이드 이미지를 디스플레이하도록 디스플레이부를 제어하며, 상기 검출된 사용자 눈에 포함된 홍채의 크기와 상기 가이드 이미지의 크기의 차이가 기설정된 범위 이내인 경우, 홍채 인식을 수행하는 제어부를 포함한다.

Description

사용자 단말 장치 및 이의 홍채 인식 방법{User Terminal Device and Method for Iris Recognition thereof}
본 발명은 사용자 단말 장치 및 이의 홍채 인식 방법에 관한 것으로, 더욱 상세하게는 사용자 홍채를 인식하기 위해 가이드 이미지를 디스플레이하는 단말 장치 및 이의 홍채 인식 방법에 관한 것이다.
개인이 사용하는 사용자 단말 장치에 다양한 개인 정보나 컨텐츠 정보가 저장되면서, 사용자 단말 장치의 보안에 대한 요구가 점점 증가하고 있다. 특히, 기존에는 사용자 단말 장치의 보안을 위해, 패스워드를 입력하는 방식을 이용하였으나, 근래에 들어서, 지문 인식, 음성 인식, 홍채 인식과 같은 다양한 인증 방식이 도입되고 있다.
특히, 홍채 인식의 경우, 종래의 사용자 단말 장치에서는 대부분 사용자가 콜드 미러(cold mirror)라 불리는 거울 형태의 적외선 통과 필터를 바라보고 눈을 맞추어 홍채 인식을 시도하고 있다. 그러나, 사용자 단말 장치가 홍채 인식을 하기 위하여 사용자 단말 장치가 인식할 수 있는 홍채의 위치 및 크기가 존재하나, 종래에는 사용자가 사용자 단말 장치를 인식할 수 있는 홍채의 위치 및 크기를 알 수 없어 홍채 인식에 어려움이 존재하였다. 특히, 자동 초점 조절이 안 되는 촬영부가 장착된 사용자 단말 장치의 경우, 홍채 인식을 위한 적절한 인식 거리를 판단하기 어려운 문제점이 발생한다.
또한, 홍채 인식을 위하여 사용자 단말 장치는 사용자 홍채 코드를 등록하기 위한 과정이 필요로 한다. 특히 사용자 홍채 코드를 등록할 때, 높은 품질의 홍채 영상을 얻기 위해서 여러 장의 홍채 영상을 취득하고 취득된 영상을 분석하여 높은 품질의 영상이라고 판단되는 하나 이상의 홍채 영상으로부터 얻어진 홍채 코드 데이터 베이스에 저장한다. 여러 장의 홍채 영상을 취득하여 선택된 홍채 영상 중 사용자 홍채 코드를 저장하더라도 눈꺼풀, 눈썹에 의해서 가려진 부분 때문에 정확한 홍채 인식에 방해를 주는 문제점이 발생하게 된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자가 더욱 편리하고 정확하게 홍채 인식을 수행할 수 있는 사용자 단말 장치 및 이의 홍채 인식 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 단말 장치는, 사용자를 촬영하는 촬영부; 상기 촬영된 영상을 디스플레이하는 디스플레이부; 및 상기 촬영된 영상에서 사용자 눈을 검출하고, 상기 촬영된 영상 중 상기 검출된 사용자 눈이 존재하는 위치에 가이드 이미지를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 검출된 사용자 눈에 포함된 홍채의 크기와 상기 가이드 이미지의 크기의 차이가 기설정된 범위 이내인 경우, 홍채 인식을 수행하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 검출된 사용자 눈에서 홍채 경계선을 검출하며, 상기 검출된 홍채 경계선을 바탕으로 홍채 지름을 추정하고, 상기 인식된 사용자 눈 및 홍채 지름을 바탕으로 상기 사용자 눈 및 홍채에 대응되는 위치에 가이드 이미지를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 가이드 이미지는, 사용자 눈에 대응되는 눈 가이드 이미지 및 사용자 홍채에 대응되는 홍채 가이드 이미지를 포함할 수 있다.
그리고, 상기 가이드 이미지는, 상기 촬영부의 초점거리에 맞는 위치에 존재하는 사용자 눈 및 홍채의 크기에 대응되는 이미지일 수 있다.
또한, 상기 제어부는, 상기 촬영된 영상에서 사용자 홍채를 검출하고, 상기 검출된 사용자 홍채의 크기와 홍채에 대응되는 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 상기 검출된 사용자 홍채가 기등록된 홍채와 일치하는지 여부를 판단하여 사용자의 홍채 인식을 수행할 수 있다.
그리고, 상기 제어부는, 상기 촬영된 영상에서 사용자 홍채를 검출하고, 상기 검출된 사용자 홍채의 크기와 홍채에 대응되는 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 홍채 인식을 수행함을 안내하는 피드백 메시지를 출력할 수 있다.
또한, 촬영된 영상을 처리하는 영상 처리부;를 더 포함하며, 상기 제어부는, 홍채 인식을 수행하는 동안 사용자 홍채의 패턴을 확인할 수 없도록 상기 촬영된 영상을 처리하도록 상기 영상 처리부를 제어하며, 상기 처리된 영상을 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 검출된 홍채 영역을 직사각형 모양으로 정규화하여 홍채 코드를 생성하고, 상기 직사각형으로 정규화된 홍채 코드 중 눈썹 또는 눈꺼풀에 의해 가려진 영역을 마스킹하며, 상기 마스킹된 영역을 제외한 나머지 영역을 기 등록된 홍채 코드와 비교하여 사용자의 홍채 인식을 수행할 수 있다.
또한, 상기 제어부는, 상기 검출된 홍채 영역이 기등록된 사용자로 인식된 경우, 상기 검출된 홍채 영역 중 상기 마스킹된 영역을 제외한 나머지 영역을 이용하여 상기 기등록된 사용자의 홍채 코드를 업데이트할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 단말 장치의 홍채 인식 방법은, 사용자를 촬영하는 단계; 상기 촬영된 영상을 디스플레이하는 단계; 상기 촬영된 영상에서 사용자 눈을 검출하는 단계; 상기 촬영된 영상 중 상기 검출된 사용자 눈이 존재하는 위치에 가이드 이미지를 디스플레이하는 단계; 및 상기 검출된 사용자 눈에 포함된 홍채의 크기와 상기 가이드 이미지의 크기의 차이가 기설정된 범위 이내인 경우, 홍채 인식을 수행하는 단계;를 포함한다.
그리고, 상기 사용자 눈을 검출하는 단계는, 상기 검출된 사용자 눈에서 홍채 경계선을 검출하는 단계; 상기 검출된 홍채 경계선을 바탕으로 홍채 지름을 추정하는 단계;를 더 포함하고, 상기 가이드 이미지를 디스플레이하는 단계는, 상기 인식된 사용자 눈 및 홍채 지름을 바탕으로 상기 사용자 눈 및 홍채에 대응되는 위치에 가이드 이미지를 디스플레이할 수 있다.
또한, 상기 가이드 이미지는,　 사용자 눈에 대응되는 눈 가이드 이미지 및 사용자 홍채에 대응되는 홍채 가이드 이미지를 포함할 수 있다.
그리고, 상기 가이드 이미지는, 촬영부의 초점거리에 맞는 위치에 존재하는 사용자 눈 및 홍채의 크기에 대응되는 이미지일 수 있다.
또한, 상기 수행하는 단계는, 상기 촬영된 영상에서 사용자 홍채를 검출하고, 상기 검출된 사용자 홍채의 크기와 홍채에 대응되는 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 상기 검출된 사용자 홍채가 기등록된 홍채와 일치하는지 여부를 판단하여 사용자의 홍채 인식을 수행할 수 있다.
그리고, 상기 수행하는 단계는, 상기 촬영된 영상에서 사용자 홍채를 검출하고, 상기 검출된 사용자 홍채의 크기와 홍채에 대응되는 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 사용자의 홍채 인식을 수행함을 안내하는 피드백 메시지를 출력하는 단계;를 더 포함할 수 있다.
또한, 상기 촬영된 영상을 디스플레이하는 단계는, 홍채 인식을 수행하는 동안 사용자 홍채의 패턴을 확인할 수 없도록 상기 촬영된 영상을 처리하는 단계; 및 상기 처리된 영상을 디스플레이하는 단계;를 포함할 수 있다.
그리고, 상기 수행하는 단계는, 검출된 홍채 영역을 직사각형 모양으로 정규화하여 홍채 코드를 생성하고, 상기 직사각형으로 정규화된 홍채 코드 중 눈썹 또는 눈꺼풀에 의해 가려진 영역을 마스킹하며, 상기 마스킹된 영역을 제외한 나머지 영역을 기 등록된 홍채 코드와 비교하여 사용자의 홍채 인식을 수행할 수 있다.
또한, 상기 검출된 홍채 영역이 기등록된 사용자로 인식된 경우, 상기 검출된 홍채 영역 중 상기 마스킹된 영역을 제외한 나머지 영역을 이용하여 상기 기등록된 사용자의 홍채 코드를 업데이트하는 단계;를 포함한다.
상술한 바와 같은 본 발명의 다양한 실시예에 따라, 사용자는 더욱 편리하고 정확하게 홍채 인식을 수행할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 사용자 단말 장치의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시예에 따른, 사용자 단말 장치의 구성을 상세히 도시한 블럭도,
도 3a 및 도 3b는 본 발명의 일 실시예에 따른, 홍채 인식을 위한 가이드 이미지를 도시한 도면,
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른, 눈꺼풀 및 속눈썹을 고려하여 홍채 특징을 추출하는 방법을 설명하기 위한 흐름도,
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른, 보안을 위해 촬영된 영상에 대한 영상 처리를 수행한 도면,
도 6a 및 도 6b는 본 발명의 일 실시예에 따른, 눈꺼풀 또는 눈썹에 의해 홍채가 가려진 경우를 도시한 도면들,
도 7은 본 발명의 일 실시예에 따른, 홍채 코드를 생성하는 방법을 설명하기 위한 도면,
도 8a 내지 도 10은 본 발명의 다양한 실시예에 따른, 홍채 영역을 정규화하는 방법을 설명하기 위한 도면,
도 11은 본 발명의 일 실시예에 따른, 홍채 코드를 업데이트하는 방법을 설명하기 위한 도면
도 12는 본 발명의 일 실시예에 따른, 사용자 단말 장치의 홍채 인식 방법을 설명하기 위한 흐름도,
도 13은 본 발명의 일 실시예에 따른, 사용자 단말 장치의 홍채 코드 저장 및 업데이트 방법을 설명하기 위한 흐름도,
도 14a 내지 도 18은 본 발명의 다른 실시예에 따른, 사용자 단말 장치의 홍채 인식을 통해 화면을 전환하는 실시예를 설명하기 위한 도면들,
도 19a 내지 도 22는 본 발명의 일 실시예에 따른, 눈(eye) 모양의 응시 UI를 통해 홍채 인식을 수행하는 실시예를 설명하기 위한 도면들, 그리고,
도 23 내지 도 29는 본 발명의 다른 실시예에 따른, 사용자 단말 장치가 촬영 조건에 따라 획득된 복수의 참조 영상을 이용하여 홍채 인식을 수행하는 실시예를 설명하기 위한 도면들이다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
실시예에 있어서 사용자 단말 장치는 UE(User Equipment), MS(Mobile Station), AMS(Advanced Mobile Station), 디바이스 등 이동 혹은 고정형의 사용자단 기기를 통칭하는 것으로 가정한다.
이하, 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른, 사용자 단말 장치(100)의 구성을 간략히 도시한 블럭도이다. 도 1에 도시된 바와 같이, 사용자 단말 장치(100)는 촬영부(110), 디스플레이부(120) 및 제어부(130)를 포함한다.
촬영부(110)는 사용자를 촬영한다. 특히, 촬영부(110)는 사용자의 홍채를 인식하기 위하여 사용자의 얼굴 영역을 촬영할 수 있다.
디스플레이부(120)는 제어부(130)의 제어에 의해 영상을 디스플레이한다. 특히, 디스플레이부(120)는 촬영부(110)에 의해 촬영된 영상을 디스플레이할 수 있다. 또한, 디스플레이부(120)는 촬영된 영상에 홍채 인식을 위한 가이드 이미지를 디스플레이할 수 있다.
제어부(130)는 사용자 단말 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(130)는 촬영부(110)에 의해 촬영된 영상에서 사용자 눈을 검출하고, 촬영된 영상 중 검출된 사용자 눈이 존재하는 위치에 가이드 이미지를 디스플레이하도록 디스플레이부(120)를 제어하며, 사용자 눈에서 검출된 홍채의 크기와 가이드 이미지의 크기의 차이가 기설정된 값 이내인 경우, 홍채 인식을 수행할 수 있다.
구체적으로, 제어부(130)는 검출된 사용자 눈에서 홍채 경계선을 검출하며, 검출된 홍채 경계선을 바탕으로 홍채 지름을 추정하고, 인식된 사용자 눈 및 홍채 지름을 바탕으로 사용자 눈 및 홍채에 대응되는 위치에 가이드 이미지를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 이때, 가이드 이미지는 사용자 눈에 대응되는 눈 가이드 이미지 및 사용자 홍채에 대응되는 홍채 가이드 이미지를 포함하며, 눈 가이드 이미지는 사용자 눈에 대응되는 위치에 디스플레이되고, 홍채 가이드 이미지는 사용자 홍채에 대응되는 위치에 디스플레이될 수 있다.
특히, 가이드 이미지는 촬영부(110)의 초점거리에 맞는 위치에 존재하는 사용자 눈 및 홍채의 크기에 대응되는 이미지일 수 있다. 즉, 사용자가 촬영부(110)의 초점거리보다 멀리 위치하는 경우, 눈 가이드 이미지 및 홍채 가이드 이미지는 실제 사용자 눈 및 홍채보다 클 수 있으며, 사용자가 촬영부(110)의 초점거리보다 가깝게 위치하는 경우, 눈 가이드 이미지 및 홍채 가이드 이미지는 실제 사용자 눈 및 홍채보다 작을 수 있다. 따라서, 사용자는 가이드 이미지를 통해 촬영부(110)와의 거리를 조절하여 홍채 인식을 수행할 수 있게 된다.
또한, 촬영된 영상에서 사용자 홍채를 검출하고, 검출된 사용자 홍채의 크기와 홍채에 대응되는 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 즉, 사용자가 홍채 인식이 가능한 거리에 위치한 경우, 제어부(130)는 검출된 사용자 홍채가 기등록된 홍채와 일치하는지 여부를 판단하여 사용자의 홍채 인식을 수행할 수 있다. 특히, 제어부(130)는 검출된 사용자 홍채에서 홍채 코드를 검출하고, 기 등록된 홍채 코드들과 비교하여 사용자 인증을 수행할 수 있다.
이때, 촬영된 영상에서 사용자 홍채를 검출하고, 상기 검출된 사용자 홍채의 크기와 홍채에 대응되는 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 즉, 사용자가 홍채 인식이 가능한 거리에 위치하는 경우, 제어부(130)는 홍채 인식을 수행함을 안내하는 피드백 메시지를 출력할 수 있다. 이때, 피드백 메시지는 시각 피드백 메시지(예를 들어, 영상), 청각 피드백 메시지(예를 들어, 오디오), 촉각 피드백 메시지(예를 들어, 진동) 중 적어도 하나로 구현될 수 있다.
또한,　 홍채 인식 도중 보안 강화를 위하여, 제어부(130)는 사용자가 홍채 인식을 수행하는 동안 사용자 홍채의 패턴을 확인할 수 없도록 촬영된 영상을 처리하며, 처리된 영상을 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.
또한, 제어부(130)는 검출된 홍채 영역을 직사각형 모양으로 정규화하여 홍채 코드를 생성할 수 있다. 그리고, 제어부(130)는 직사각형으로 정규화된 홍채 코드 중 눈썹 또는 눈꺼풀에 의해 가려진 영역을 마스킹하며, 마스킹된 영역을 제외한 나머지 영역을 기 등록된 홍채 코드와 비교하여 사용자의 홍채 인식을 수행할 수 있다.
또한, 검출된 홍채 영역이 기등록된 사용자로 인식된 경우, 제어부(130)는 검출된 홍채 영역 중 마스킹된 영역을 제외한 나머지 영역을 이용하여 기등록된 사용자의 홍채 코드를 업데이트할 수 있다.
상술한 바와 같은 사용자 단말 장치(100)에 의해, 사용자는 더욱 편리하고 정확하게 홍채 인식을 수행하여 사용자를 인증할 수 있다.
이하에서는 도 2 내지 도 7을 참조하여 본 발명의 다양한 실시예에 대해 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른, 사용자 단말 장치(200)의 구성을 상세히 도시한 블럭도이다. 도 2에 도시된 바와 같이, 사용자 단말 장치(200)는 통신부(210), 촬영부(220), 영상 처리부(230), 디스플레이부(240), 저장부(250), 입력부(260) 및 제어부(270)를 포함한다.
통신부(210)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(210)는 와이 파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩, IR 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩, IR 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식, IR 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
촬영부(220)는 촬영 동작을 수행한다. 이때, 촬영부(220)는 사용자 단말 장치(100)의 전면에 위치하여 사용자를 촬영할 수 있다. 또한, 촬영부(220)는 콜드 밀러(cold mirror)라 불리는 거울 형태의 적외선 통과 필터를 포함할 수 있다.
영상 처리부(230)는 촬영부(220)에 의해 촬영된 영상을 처리한다. 이때, 영상 처리부(230)는 보안성을 강화하기 위하여, 촬영부(220)에 의해 촬영된 영상에 대한 영상 처리를 수행할 수 있다.
디스플레이부(240)는 다양한 소스로부터 입력된 영상 및 UI를 디스플레이한다. 특히, 디스플레이부(240)는 촬영부(220)에 의해 촬영된 영상을 디스플레이할 수 있으며,　 촬영된 영상 중 사용자 눈에 대응되는 위치에 홍채 인식을 위한 가이드 이미지를 디스플레이할 수 있다.
저장부(250)는 사용자 단말 장치 장치(200)를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(250)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 사용자 단말 장치(200)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(250)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 사용자 단말 장치(200)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 사용자 단말 장치(200)가 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
또한, 저장부(250)는 적어도 하나의 사용자에 대응되는 홍채 코드를 저장한다. 이때, 홍채 코드는 사용자의 홍채 영역을 직사각형 모양으로 정규화한 데이터로서, 홍채 인식에 이용된다. 이때, 홍채 인식에 성공할 경우, 저장부(250)는 제어부(270)에 의해 사용자의 홍채 코드를 업데이트할 수 있다.
입력부(260)는 사용자 단말 장치(200)를 제어하기 위한 다양한 사용자 명령을 입력받는다. 이때, 입력부(260)는 터치 스크린으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 다양한 형태의 입력 장치(예를 들어, 리모컨, 키보드, 마우스, 포인팅 디바이스 등)로 구현될 수 있다.
제어부(270)는 저장부(250)에 저장된 각종 프로그램을 이용하여 사용자 단말 장치(200)의 전반적인 동작을 제어한다.
제어부(270)는 도 2에 도시된 바와 같이, RAM(271), ROM(272), 그래픽 처리부(273), 메인 CPU(274), 제1 내지 n 인터페이스(275-1 ~ 275-n), 버스(276)를 포함한다. 이때, RAM(271), ROM(272), 그래픽 처리부(273), 메인 CPU(274), 제1 내지 n 인터페이스(275-1 ~ 275-n) 등은 버스(276)를 통해 서로 연결될 수 있다.
ROM(272)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(274)는 ROM(272)에 저장된 명령어에 따라 저장부(250)에 저장된 O/S를 RAM(271)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(274)는 저장부(250)에 저장된 각종 어플리케이션 프로그램을 RAM(271)에 복사하고, RAM(271)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(273)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 포인터, 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(240)의 디스플레이 영역 내에 표시된다.
메인 CPU(274)는 저장부(250)에 액세스하여, 저장부(250)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(274)는 저장부(250)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(275-1 내지 275-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 제어부(270)는 촬영부(220)에 의해 촬영된 영상에서 사용자 눈을 검출하고, 촬영된 영상 중 검출된 사용자 눈이 존재하는 위치에 가이드 이미지를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
특히, 제어부(270)는 촬영부(220)를 통해 촬영된 영상에서 눈을 검출하고, 검출된 눈 위치를 기반으로 홍채 경계선을 검출할 수 있다.
구체적으로, 제어부(270)는 검출된 눈 영역으로부터 눈의 중심 좌표(x,y)를 산출할 수 있다. 이때, 제어부(270)는 눈 영역으로 추정되는 영역의 중심 좌표를 눈의 중심 좌표로 산출할 수도 있고, 눈 영역에 동공 영역에 맺히는 조명 반사광(즉, 글린트)를 눈의 중심 좌표로 산출할 수 있다.
그리고, 제어부(270)는 눈 중심점을 기준으로 픽셀 값의 변화도를 분석하여 홍채 경계선을 검출할 수 있다. 이때, 픽셀 값의 변화도는 단순히 인접한 픽셀의 휘도 차이뿐만 아니라 1차 미분값 또는 2차 미분값을 활용할 수 있다.
이때, 홍채 경계선을 검출하는 일 실시예로, 제어부(270)는 눈 중심 좌표를 기준으로 홍채 경계 검출을 위해 정해 놓은 특정 방향에 대해서 탐색이 이루어진다. 제어부(270)는 탐색과정에서 픽셀 값의 변화도를 분석하여 얻어진 특징점들에 근사한 원을 추정하는 방법이 사용할 수 있다. 픽셀 값의 변화도를 분석하여 특징점을 결정하는 방법은 픽셀 값의 변화도가 갑자기 커지거나 작아지는 부분을 특징점 위치로 결정할 수 있다. 또, 홍채 경계선을 검출하는 다른 실시예로, 제어부(270)는 눈 중심 좌표를 기준으로 원의 중심점과 크기를 변화시켜가며 원의 내부와 외부의 픽셀 값의 변화도가 최대가 되는 원을 찾아 홍채의 중심과 경계선을 검출할 수도 있다. 제어부(270)는 원이 아닌 타원을 이용할 경우에도 동일하게 눈 중심 좌표를 기준으로 타원의 중심과 타원의 장축과 단축을 변화시켜가면서 타원 내부와 외부의 픽셀 값의 변화도가 최대가 되는 타원으로 홍채의 중심과 경계선을 검출할 수도 있다.
그리고, 제어부(270)는 검출된 홍채 경계선을 바탕으로 홍채 지름을 추정할 수 있다.
그리고, 제어부(270)는 인식된 사용자 눈 및 홍채 지름을 바탕으로 사용자 눈 및 홍채에 대응되는 위치에 가이드 이미지를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 이때, 가이드 이미지라 함은 촬영부(220)의 초점거리에 맞는 위치에 존재하는 사용자 눈 및 홍채의 크기에 대응되는 이미지일 수 있다. 또한, 가이드 이미지는 사용자 눈에 대응되는 눈 가이드 이미지 및 사용자 홍채에 대응되는 홍채 가이드 이미지를 포함할 수 있다. 눈 가이드 이미지 및 홍채 가이드 이미지는 촬영부(220)의 초점거리에 맞는 위치에 사용자가 존재하는 경우, 통계적인 사용자의 눈 및 홍채의 크기를 가질 수 있다.
구체적인 실시예로, 도 3a에 도시된 바와 같이, 제어부(270)는 검출된 눈 주위에 눈 가이드 이미지(310)를 디스플레이하도록 디스플레이부(240)를 제어하고, 사용자의 홍채 주위에 홍채 가이드 이미지(320)를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 이때, 제어부(270)는 사용자가 눈을 맞춰야 하는 위치 및 거리를 확인하기 위하여 가이드 이미지(310,320)와 함께 실제 검출된 사용자의 홍채 라인(330)을 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
이때, 사용자는 홍채 라인(330)이 홍채 가이드 이미지(320)보다 작음을 확인할 수 있다. 따라서, 사용자는 가이드 이미지(310,320) 및 홍채 라인(330)을 바탕으로 사용자가 사용자 단말 장치(200)와 멀리 떨어져 있음을 확인하고 사용자 단말 장치(200)와 가까워지는 방향으로 사용자 단말 장치(200)를 움직일 수 있게 된다.
또 다른 실시예로, 도 3b에 도시된 바와 같이, 제어부(270)는 검출된 눈 주위에 눈 가이드 이미지(310)를 디스플레이하도록 디스플레이부(240)를 제어하고, 사용자의 홍채 주위에 홍채 가이드 이미지(320)를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 이때, 제어부(270)는 사용자가 눈을 맞춰야 하는 위치 및 거리를 확인하기 위하여 가이드 이미지(310,320)와 함께 실제 검출된 사용자의 홍채 라인(340)을 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
이때, 사용자는 홍채 라인(340)이 홍채 가이드 이미지(320)보다 큼을 확인할 수 있다. 따라서, 사용자는 가이드 이미지(310,320) 및 홍채 라인(340)을 바탕으로 사용자가 사용자 단말 장치(200)와 근접한 곳에 있음을 확인하고 사용자 단말 장치(200)와 멀어지는 방향으로 사용자 단말 장치(200)를 움직일 수 있게 된다.
다만, 홍채 영역이 검출되더라도 눈꺼풀이나 속눈섭에 의해 정확한 홍채 인식을 수행할 수 없는 경우도 존재한다. 도 4a는 본 발명의 일 실시예에 따른, 눈꺼풀 및 속눈썹을 고려하여 홍채 특징을 추출하는 방법을 설명하기 위한 흐름도이다.
우선, 제어부(270)는 검출된 영상으로부터 홍채 영역을 검출한다(S410). 그리고, 제어부(270)는 검출된 영상으로부터 눈꺼풀을 검출한다(S420). 그리고, 제어부(270)는 홍채 영역에서 눈꺼풀이 차지하는 눈꺼풀 비율이 제1 값 이상(예를 들어, 5%)인지 여부를 판단한다(S430). 눈꺼풀 비율이 제1값 미만인 경우(S430-N), 제어부(270)는 검출된 영상으로부터 속눈썹을 검출한다(S440). 그리고, 제어부(270)는 홍채 영역에서 속눈썹이 차지하는 속눈썹 비율이 제2 값 이상인지 여부를 판단한다(S450). 속눈썹 비율이 제2값 미만인 경우(S450-N), 제어부(270)는 홍채 인식을 위한 홍채 특징을 추출한다(S470). 즉, 제어부(270)는 속눈썹 및 눈꺼풀이 기설정된 값 이하일 경우일 때만 홍채 인식을 수행할 수 있다.
그러나, 눈꺼풀 비율이 제1 값 이상이거나(S430-Y), 속눈썹 비율이 제2 값 이상인 경우(S450-Y), 디스플레이부(240)는 원활한 홍채 인식을 위한 가이드 UI를 디스플레이한다(S460). 구체적으로, 디스플레이부(240)는 도 4b에 도시된 바와 같이,"눈을 크게 뜨세요"라는 안내 메시지가 포함된 가이드 UI(480)를 디스플레이할 수 있다. 즉, 사용자가 눈을 크게 뜨지 않아 눈꺼풀이나 속눈썹에 의해 원활한 홍채 인식을 수행할 수 없을 경우, 제어부(270)는 홍채 인식을 위한 가이드 UI(480)를 디스플레이할 수 있다.
또한, 도 4c에 도시된 바와 같이, 촬영된 사용자의 홍채 영역이 일부만 촬영된 경우, 제어부(270)는 홍채 인식을 수행하기 위한 가이드 이미지를 디스플레이하지 않을 수 있다.
한편, 홍채 영상은 사용자의 개인 정보로서 보안이 매우 중요하다. 특히, 홍채 영상을 그대로 디스플레이할 경우, 디스플레이된 화면을 캡쳐하거나 사진을 찍는 방식으로 사용자의 개인 정보인 홍채 정보가 외부로 유출된 가능성이 있다. 따라서, 제어부(270)는 촬영된 홍채 영상을 그래도 디스플레이하지 않고, 다양한 방법으로 사용자 홍채 정보를 확인할 수 없도록 촬영된 영상을 처리하도록 영상 처리부(230)를 제어하며, 영상 처리부(230)에 의해 처리된 영상을 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 예를 들어, 제어부(270)는 도 5a에 도시된 바와 같이, 촬영된 영상 중 홍채 영역을 제외한 나머지 부분은 그대로 디스플레이하고, 홍채 영역에는 가상의 홍채 이미지(510)를 디스플레이하도록 영상 처리부(230) 및 디스플레이부(240)를 제어할 수 있다.
또 다른 예로, 제어부(270)는 도 5b에 도시된 바와 같이, 눈 영역 및 홍채 영역을 검출하여 검출된 눈 영역 및 홍채 영역을 에지 정보로 디스플레이하고, 나머지 영역을 흑백 영상으로 처리하여 디스플레이하도록 영상 처리부(230) 및 디스플레이부(240)를 제어할 수 있다.
또 다른 예로, 제어부(270)는 도 5c에 도시된 바와 같이, 촬영된 영상 자체를 디스플레이하지 않고, 가이드 이미지(540,550)과 실제 사용자의 홍채 영역에 대응되는 홍채 라인(560)만을 디스플레이하도록 영상 처리부(230) 및 디스플레이부(240)를 제어할 수 있다. 이때, 가이드 이미지(540, 550)는 도 5c에 도시된 바와 같이, 실선으로 디스플레이되고, 홍채 라인(560)은 점선으로 디스플레이될 수 있다.
또한, 현재 홍채 크기를 나타내는 홍채 이미지를 표현할 때, 사용자 단말 장치(200)의 성능에 따라서 초당 프레임 수(FPS)가 떨어지는 문제가 발생할 수 있다. 이런 경우, 사용자 단말 장치(200)의 움직임에 따라 현재 사용자 홍채의 크기를 나타내는 홍채 이미지가 갑자기 작아지거나 커지는 등과 같은 급격한 변화가 발생할 수 있다. 따라서, 이러한 문제점을 완화하기 위하여, 이전 프레임에서의 홍채 크기 정보를 반영하여 아래의 수학식 1을 바탕으로 현재 프레임의 홍채 크기를 결정할 수 있다.
Figure 112015054589292-pat00001
이때, Iris_DiameterF는 홍채 이미지의 지름이며, Iris_DiameterC는 현재 프레임에서 추정되는 홍채의 지름이며, Iris_DiameterP는 이전 프레임에서 추정되는 홍채의 지름이다. 이때, a는 현재 프레임에 주어지는 가중치로 0과 1 사이의 값을 가진다.
한편, 상술한 실시예에서는 가이드 이미지가 타원 및 원으로 도시되었으나, 이는 일 실시예에 불과할 뿐, 사각형, 삼각형 등과 같은 다양한 도형으로 표현될 수 있다.
그리고, 사용자가 촬영부(220)의 초점거리에 위치하여 홍채 인식을 수행하기 적절한 위치에 존재하는 경우, 즉, 검출된 사용자 홍채의 크기와 홍채 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 제어부(270)는 홍채 인식을 수행하기 위해, 홍채 인식을 수행함을 안내하는 피드백 메시지를 출력할 수 있다. 예를 들어, 검출된 사용자 홍채의 크기와 홍채 가이드 이미지의 크기의 차이가 사용자 홍채 크기의 2% 이내인 경우, 제어부(270)는 홍채 인식을 수행하기 위해, 홍채 인식을 수행함을 안내하는 피드백 메시지를 출력할 수 있다.
구체적으로, 제어부(270)는 시각적인 피드백 메시지를 출력할 수 있다. 본 발명의 일 실시예로, 홍채 가이드 이미지(320)가 홍채 이미지(330)와 크기가 기설정된 값 이하를 가지는 경우, 제어부(270)는 홍채 이미지(330)의 색을 변경하거나 깜빡이도록 디스플레이부(240)를 제어할 수 있다. 또한, 제어부(270)는 화면 전체를 깜빡이거나 홍채 인식이 수행중임을 안내하는 별도의 UI를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
또한, 제어부(270)는 청각적인 피드백 메시지를 출력할 수 있다. 본 발명의 일 실시예로, 홍채 가이드 이미지(320)가 홍채 이미지(330)와 크기가 기설정된 값 이하를 가지는 경우, 제어부(270)는 알림음을 울리거나 홍채 인식이 수행중임을 안내하는 AUI를 출력할 수 있다.
그밖에, 제어부(270)는 진동과 같은 촉각적인 피드백 메시지를 출력할 수 있다.
그리고, 사용자가 촬영부(220)의 초점거리에 위치하여 홍채 인식을 수행하기 적절한 위치에 존재하는 경우, 즉, 검출된 사용자 홍채의 크기와 홍채 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 제어부(270)는 검출된 사용자 홍채가 저장부(250)에 기등록된 홍채와 일치하는지 여부를 판단하여 사용자의 홍채 인식을 수행할 수 있다.
이때, 제어부(270)는 홍채 인식을 수행함에 있어서, 도 6a에 도시된 바와 같이, 홍채 전부가 촬영될 수 있으나, 도 6b에 도시된 바와 같이, 눈썹 또는 눈꺼풀에 의해 홍채 일부가 가려질 수 있다. 도 6a에 도시된 바와 같이 홍채 전부가 노출되어 홍채 인식을 수행하는 경우에는 문제가 발생하지 않으나, 도 6b에 도시된 바와 같이, 눈썹 및 눈꺼풀에 의해 홍채가 가려지는 경우, 눈썹 및 눈꺼풀에 의해 홍채 인식의 성공률이 낮아지는 문제점이 발생할 수 있다.
이러한 문제점을 해결하기 위해, 제어부(270)는 검출된 홍채 영역(700)을 도 7에 도시된 바와 같이, 직사각형 모양으로 정규화하여 홍채 코드를 생성할 수 있다. 그리고, 제어부(270)는 직사각형으로 정규화된 홍채 코드 중 눈썹 또는 눈꺼풀에 의해 가려진 영역(710,720,730)을 마스킹할 수 있다.
이하에서는 도 8a 내지 도 10을 참조하여 홍채 영역을 정규화하여 홍채 코드를 생성하는 방법에 대해 설명하기로 한다.
도 8a는 본 발명의 일 실시예에 따른, 내안각 및 외안각을 추출하여 정규화하는 방법을 설명하기 위한 흐름도이다. 우선, 제어부(270)는 촬영된 사용자 눈 영역으로부터 홍채 경계를 검출한다(S810). 그리고, 제어부(270)는 홍채 중심점(P)의 좌표를 계산한다(S820). 그리고, 제어부(270)는 도 8b에 도시된 바와 같은, 내안각(880) 및 외안각(870)을 검출한다(S830). 그리고, 제어부(270)는 도 8b에 도시된 바와 같이, 내안각과 외안각을 잇는 직선(L)(890)을 계산한다(S840). 그리고, 제어부(270)는 홍채 중심점(P), 직선(L)과 수직인 직선(S)(895)를 계산한다(S850). 그리고, 제어부(270)는 기준선(S)을 바탕으로 홍채 영역을 극좌표 변환을 수행하여(S860) 정규화를 수행할 수 있다.
도 9a는 본 발명의 다른 실시예에 따른, 눈꺼풀 외각선을 추출하여 정규화하는 방법을 설명하기 위한 흐름도이다. 우선, 제어부(270)는 촬영된 사용자 눈 영역으로부터 홍채 경계를 검출한다(S910). 그리고, 제어부(270)는 홍채 중심점(P)의 좌표를 계산한다(S920). 그리고, 제어부(270)는 도 9b에 도시된 바와 같은, 눈꺼풀의 외각선(970-1,970-2) 을 검출한다(S930). 그리고, 제어부(270)는 홍채 중심점(P)에서 눈꺼풀까지의 거리를 측정한다(S940). 그리고, 제어부(270)는 홍채 중심점(P)으로부터 눈꺼풀까지의 거리가 최단거리에 있는 직선을 기준선(S)으로 선정한다(S950). 그리고, 제어부(270)는 기준선(S)을 바탕으로 홍채 영역을 극좌표 변환을 수행하여(S960) 정규화를 수행할 수 있다.
도 10은 본 발명의 본 발명의 또 다른 실시예에 따른, 도8a 및 도 9a에서 검출된 기준선 모두를 이용하여 홍채 영역을 정규화하는 방법을 설명하기 위한 흐름도이다. 우선, 제어부(270)은 도 8a에서 설명한 바와 같이 외안각 및 내안각을 이용한 기준선(S1)을 계산한다(S1010). 그리고, 제어부(270)는 도 9a에서 설명한 바와 같이 눈꺼풀을 이용한 기준선(S2)를 계산한다(S1020). 그리고, 제어부(270)는 기준선(S1)과 기준선(S2)를 이용하여 최종 기준선(S)를 계산한다(S1030). 이때, 제어부(270)는 기준선(S1)과 기준선(S2)의 평균을 최종 기준선(S)을 계산할 수 있으며, 특정 기준선에 가중치를 두어 최종 기준선(S)을 계산할 수 있다. 그리고, 제어부(270)는 최종 기준선(S)을 바탕으로 홍채 영역을 극좌표 변환을 수행하여(S940) 정규화를 수행할 수 있다.
다시 도 7에 대해 설명하면, 제어부(270)는 정규화된 홍채 코드 중 마스킹된 영역(710,720,730)을 제외한 나머지 영역을 기 등록된 홍채 코드와 비교하여 매칭 스코어를 기록하고, 기설정된 값(예를 들어, 97%) 이상의 매칭 스코어를 가지는 기 등록된 홍채 코드가 있는지 여부를 판단하여 사용자의 홍채 인식을 수행할 수 있다. 즉, 기설정된 값 이상의 매칭 스코어를 가지는 기등록된 홍채 코드가 존재하는 경우, 제어부(270)는 촬영부(220)에 의해 촬영된 사용자를 기설정된 값 이상의 매칭 스코어를 가지는 기등록된 홍채 코드와 대응되는 사용자로 인증할 수 있다. 예를 들어, 마스킹된 영역을 제외한 나머지 영역을 기 등록된 제1 사용자의 홍채 코드와 비교한 결과 매칭 스코어가 98%이고, 마스킹된 영역을 제외한 나머지 영역을 기 등록된 제2 사용자의 홍채 코드와 비교한 결과 매칭 스코어가 33%이고, 마스킹된 영역을 제외한 나머지 영역을 기 등록된 제3 사용자의 홍채 코드와 비교한 결과 매칭 스코어가 17%인 경우, 제어부(270)는 홍채 인식 결과, 촬영된 사용자가 제1 사용자임을 인증할 수 있다.
또한, 홍채 인식에 성공한 경우, 제어부(270)는 기등록된 홍채 코드와 인증에 사용된 홍채 코드의 마스킹된 영역을 분석한다. 분석과정에서 기 등록된 홍채 코드의 마스킹된 부분이 인증에 사용된 홍채 코드에서 마스킹되지 않았다면, 제어부(270)는 인증에 사용자 홍채 코드 중 마스킹 영역을 제외한 나머지 영역에 대한 정보를 이용하여 기 등록된 홍채 코드의 마스킹된 부분을 업데이트한다. 구체적으로, 도 11에 도시된 바와 같이, 기 등록된 홍채 코드(1110)의 마스킹된 영역 중 인증에 성공한 홍채 코드(1120)에서는 마스킹되지 않은 영역(빗금 영역)(1140)이 존재하는 경우, 제어부(270)는 인증에 성공한 홍채 코드 중 마스킹되지 않은 영역(1140)을 업데이트하여 저장할 수 있다.
상술한 바와 같이, 홍채 인식이 반복적으로 수행됨에 따라 저장부(250)에 등록된 홍채 코드의 마스킹된 영역이 점점 줄어들게 되고 인증시 매칭 가능한 홍채 코드 부분이 증가하게 된다. 따라서, 반복적인 홍채 인식을 통해 저장부(250)에 등록된 홍채 코드가 업데이트되어 홍채 인식의 성능이 향상되어 사용자의 신뢰도를 높일 수 있게 된다.
이하에서는 도 12 및 도 13을 참조하여 사용자 단말 장치(200)의 홍채 인식 방법 및 홍채 코드 업데이트 방법을 설명하기로 한다.
도 12는 본 발명의 일 실시예에 따른, 사용자 단말 장치(200)의 홍채 인식 방법을 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 사용자를 촬영하고(S1210), 촬영된 영상을 디스플레이한다(S1220).
그리고, 사용자 단말 장치(200)는 촬영된 영상으로부터 사용자 눈을 검출한다(S1230). 이때, 사용자 단말 장치(200)는 검출된 사용자 눈으로부터 사용자 홍채를 검출할 수 있다.
그리고, 사용자 단말 장치(200)는 검출된 사용자 눈에 대응되는 위치에 가이드 이미지를 디스플레이한다(S1240). 이때, 사용자 단말 장치(200)는 사용자 눈에 대응되는 위치에 눈 가이드 이미지를 디스플레이하고, 사용자 홍채에 대응되는 위치에 홍채 가이드 이미지를 디스플레이할 수 있다.
그리고, 사용자 단말 장치(200)는 홍채 인식을 수행한다(S1250). 이때, 홍채 가이드 이미지를 통해 사용자가 홍채 인식을 위해 적절한 거리에 위치한 경우, 즉, 검출된 사용자 눈에 포함된 홍채의 크기와 가이드 이미지의 크기의 차이가 기설정된 범위 이내인 경우, 사용자 단말 장치(200)는 홍채 인식을 수행할 수 있다.
상술한 바와 같이 검출된 눈 위치에 가이드 이미지를 디스플레이함으로써, 사용자는 더욱 편리하게 홍채 인식을 수행할 수 있게 된다.
도 13은 본 발명의 일 실시예에 따른, 사용자 단말 장치의 홍채 코드 저장 및 업데이트 방법을 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 사용자를 촬영한다(S1310).
그리고, 사용자 단말 장치(200)는 현재 모드가 홍채 코드 등록 모드 인지 홍채 인증 모드인지 여부를 판단한다(S1320).
홍채 코드 등록 모드인 경우, 사용자 단말 장치(200)는 촬영된 영상으로부터 홍채 코드를 생성한다(S1330). 구체적으로, 사용자 단말 장치(200)는 촬영된 영상으로부터 홍채 영역을 검출하고, 검출된 홍채 영역을 직사각형 형태로 정규화하고, 정규화된 홍채 영역 중 눈썹이나 눈꺼풀과 같은 영역을 마스킹하여 홍채 코드를 생성할 수 있다.
그리고, 사용자 단말 장치(200)는 생성된 홍채 코드를 데이터베이스(DB)에 저장한다(S1340).
홍채 인증 모드인 경우, 사용자 단말 장치(200)는 홍채 코드를 생성하고, 눈썹 또는 눈꺼풀과 같이 인증에 필요하지 않은 부분에 대한 마스킹 작업을 수행한다(S1350).
그리고, 사용자 단말 장치(200)는 마스킹 작업이 수행된 홍채 코드에 대해 인증이 성공되었는지 여부를 판단한다(S1360). 구체적으로, 사용자 단말 장치(200)는 데이터베이스(DB)에 기저장된 홍채 코드와 마스킹 작업이 수행된 코드를 비교하여 인증이 성공되었는지 여부를 판단할 수 있다.
인증이 성공된 경우(S1360-Y), 사용자 단말 장치(200)는 인증에 사용된 홍채 코드를 이용하여 기 등록된 홍채 코드를 업데이트한다(S1370). 구체적으로,　기 등록된 홍채 코드의 마스킹된 부분이 인증에 사용된 홍채 드에서 마스킹되지 않았다면, 사용자 단말 장치(200)는 인증에 사용자 홍채 코드 중 마스킹 영역을 제외한 나머지 영역에 대한 정보를 이용하여 데이터베이스(DB)에 기 등록된 홍채 코드의 마스킹된 부분을 업데이트할 수 있다.
상술한 바와 같이, 홍채 인식 성공시 기등록된 홍채 코드를 업데이트함으로써, 홍채 인식의 성능이 향상되어 사용자의 신뢰도를 높일 수 있게 된다.
이하에서는 도 14a 내지 도 18를 바탕으로 홍채 인식을 통해 화면을 전환하는 실시예를 설명하기로 한다. 제어부(270)는 사용자 인증이 필요한 다양한 화면에 응시 UI 및 가이드 이미지를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 그리고, 응시 UI 및 가이드 이미지를 통해 홍채 인식이 수행된 경우, 제어부(270)는 사용자 인증이 필요한 화면을 다른 화면으로 전환하도록 디스플레이부(240)를 제어할 수 있다. 이때, 제어부(270)는 응시 UI를 확대하여 다른 화면으로 전환하도록 디스플레이부(240)를 제어할 수 있다.
본 발명의 일 실시예로, 제어부(270)는 도 14a에 도시된 바와 같이, 대기 화면(1400)을 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 이때, 대기 화면(1400)에는 응시 UI(1410) 및 가이드 이미지(1420)를 포함할 수 있다. 이때, 응시 UI(1410)는 사용자가 쳐다보는 지점을 안내하는 UI이며, 가이드 이미지(1420)는 응시 UI(1410)와의 상대적인 위치 및 크기를 통해 사용자가 바라보는 눈의 위치 및 크기를 안내하는 이미지일 수 있다. 구체적으로, 도 15a에 도시된 바와 같이, 가이드 이미지(1520)가 응시 UI보다 크고, 오른쪽에 위치함을 확인할 수 있다. 이 경우, 사용자의 얼굴이 사용자 단말 장치(200)에 가까이 있고, 오른쪽에 위치함을 안내하는 것으로서, 사용자가 얼굴을 더욱 멀리하고, 왼쪽으로 이동하는 경우, 제어부(270)는 도 15b에 도시된 바와 같이, 응시 UI(1510) 및 가이드 이미지(1520)의 크기를 매칭시킬 수 있다.
도 14b에 도시된 바와 같이, 응시 UI(1410)와 가이드 이미지(1420)의 위치 및 크기가 대응되는 경우, 제어부(270)는 가이드 이미지(1420)의 형태(예를 들어, 색, 깜빡임, 투명도 등)을 변경하여 홍채 인식 수행이 시작됨을 안내할 수 있다. 홍채 인식을 통해 사용자 인증이 수행된 경우, 제어부(270)는 도 14c에 도시된 바와 같이, 응시 UI(1410)를 점점 확대하여 시작 화면(1430)의 일부를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 그리고, 제어부(170)는 응시 UI(1410)를 점점 더 확대시켜 도 14d에 도시된 바와 같이, 시작 화면을 전체 화면으로 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
또 다른 실시예로, 제어부(270)는 도 16a에 도시된 바와 같이, 로그인이 필요한 특정 어플리케이션의 시작 화면(1600)에 응시 UI(1610) 및 가이드 이미지(1620)를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 응시 UI(1610) 및 가이드 이미지(1620)를 통해 홍채 인식을 수행하여 사용자 인증이 성공된 경우, 제어부(270)는 도 16b에 도시된 바와 같이, 응시 UI(1610)를 확대하여 특정 어플리케이션의 로그인 후 화면(1630)으로 전환하도록 디스플레이부(240)를 제어할 수 있다.
또 다른 실시예로, 제어부(270)는 도 17a에 도시된 바와 같이, 결제 화면(1700)에 응시 UI(1710) 및 가이드 이미지(1720)를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 응시 UI(1710) 및 가이드 이미지(1720)를 통해 홍채 인식을 수행하여 사용자 인증이 성공된 경우, 제어부(270)는 도 17b에 도시된 바와 같이, 응시 UI(1710)를 확대하여 인증 성공 화면(1730)으로 전환하도록 디스플레이부(240)를 제어할 수 있다.
도 18은 본 발명의 다른 실시예에 따른, 사용자 단말 장치(200)의 홍채 인식 방법을 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 제1 화면에 응시 UI 및 가이드 이미지를 디스플레이한다(S1810). 이때, 제1 화면은 사용자 인증이 필요한 화면으로서, 대기 화면, 로그인 화면, 결제 화면 등일 수 있다. 그리고, 응시 UI는 사용자가 쳐다보는 지점을 안내하는 UI이며, 가이드 이미지는 응시 UI와의 상대적인 위치 및 크기를 통해 사용자가 바라보는 눈의 위치 및 크기를 안내하는 이미지일 수 있다.
그리고, 사용자 단말 장치(200)는 응시 UI 및 가이드 이미지를 이용하여 홍채 인식을 수행한다(S1820).
그리고, 사용자 단말 장치(200)는 홍채 인식을 통해 사용자 인증이 성공되었는지 여부를 판단한다(S1830).
사용자 인증이 성공된 경우(S1830-Y), 사용자 단말 장치(200)는 응시 UI를 확대하여 제2 화면으로 전환한다(S1840). 이때, 제2 화면은 사용자 인증 후 화면으로서, 시작 화면, 로그인 후 화면, 인증 성공 화면 등이 포함될 수 있다.
사용자 인증이 실패한 경우(S1830-N), 사용자 단말 장치(200)는 인증 실패 메시지를 출력한다(S1850).
상술한 바와 같이, 응시 UI 및 가이드 이미지를 통해 홍채 인식을 더욱 편하게 수행할 수 있으며, 화면 응시를 통해 다른 화면으로 전환하는 새로운 사용자 경험을 제공할 수 있게 된다.
이하에서는 도 19a 내지 도 22를 참조하여 사람 눈 모양의 응시 UI를 통해 홍채 인식을 수행하는 실시예를 설명하기로 한다.
홍채 인식의 성공률을 높이기 위해서는 사용자가 눈을 크게 오랫동안 응시해야 한다. 그러나, 이러한 행위자체가 사용자에게 다소 부자연스러운 행위일 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 사용자 단말 장치(200)는 눈 모양의 응시 UI를 디스플레이하여 사용자로 하여금 가상의 인물과 눈싸움을 유발하여 사용자가 눈을 크게 오랫동안 뜰 수 있도록 유도한다.
본 발명의 일 실시예로, 제어부(270)는 도 19a에 도시된 바와 같이, 디스플레이 화면에 사람 눈 모양의 응시 UI(1910)를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 이때, 제어부(270)는 눈 모양의 응시 UI(1910)를 크게 떳다 작게 떳다를 반복하면서 눈싸움을 유발할 수 있다.
홍채 인식이 수행되는 경우, 제어부(270)는 도 19b에 도시된 바와 같이, 눈 모양의 응시 UI(1910)의 색을 변경하거나, 도 19c에 도시된 바와 같이, 눈 모양의 응시 UI(1910)에 인식 진행률을 안내하는 UI(1920)를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
그리고, 홍채 인식이 수행되는 경우, 제어부(270)는 도 19d에 도시된 바와 같이, 눈 모양의 응시 UI(1930)가 눈을 감도록 하며, 홍채 인식 성공 메시지(1940)를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 이때, 홍채 인식 성공 메시지(1940)는 시각적인 형태로 디스플레이될 수 있으나, 이는 일 실시예에 불과할 분, 청각적인 형태 또는 진동 형태로 출력될 수 있다.
또한, 복수의 사람이 사용자 단말 장치(200)를 이용하는 경우, 제어부(270)는 사용자 단말 장치(200)를 제어하고자 하는 사람을 우선적으로 판단하고, 홍채 인식을 수행할 수 있다.
구체적으로, 도 20a에 도시된 바와 같이, 사용자 단말 장치(200)는 홍채 인식 및 제스처를 동시에 인식할 수 있는 카메라(2010)를 포함할 수 있다. 그리고, 도 20b에 도시된 바와 같이, 복수의 사용자가 사용자 단말 장치(200)를 이용하는 경우(예를 들어, 복수의 사용자가 동시에 영화 또는 웹페이지를 시청하는 경우), 제어부(270)는 우선적으로 사용자의 얼굴 움직임을 검출하여 디스플레이 화면을 쳐다보는 사용자를 검출할 수 있다. 그리고, 제어부(270)는 검출된 사용자에 대해 상술한 바와 같은 다양한 방법의 홍채 인식을 수행하여 사용자 단말 장치(200)의 인터렉션 우선권을 부여할 수 있다.
도 21은 본 발명의 또 다른 실시예에 따른, 사용자 단말 장치(200)의 홍채 인식 방법을 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 디스플레이 화면에 사람 눈 모양의 응시 UI를 디스플레이한다. 이때, 사람 눈 모양의 응시 UI에 포함된 사람 눈은 눈을 크게 떴다가 작게 떴다가를 반복하여 눈싸움을 유발할 수 있다.
그리고, 사용자 단말 장치(200)는 홍채 인식을 시작하는지 여부를 판단한다(S2120).
홍채 인식이 시작된 경우(S2120-Y), 사용자 단말 장치(200)는 홍채 인식이 수행 중임을 안내하기 위하여, 눈 모양의 응시 UI의 색을 변경하거나 인식 진행률을 디스플레이한다(S2130).
그리고, 사용자 단말 장치(200)는 홍채 인식을 수행한다(S2140).
도 22는 본 발명의 또 다른 실시예에 따른, 사용자 단말 장치(200)의 홍채 인식 방법을 설명하기 위한 흐름도이다.
사용자 단말 장치(200)는 복수의 사용자를 촬영한다(S2210).
그리고, 사용자 단말 장치(200)는 복수의 사용자의 얼굴 움직임을 검출한다(S2220). 이때, 사용자 단말 장치(200)는 복수의 사용자의 얼굴 움직임의 방향이 사용자 단말 장치(200)를 향하는지 여부를 판단할 수 있다. 또는, 사용자 단말 장치(200)는 사용자 단말 장치(200)의 정면에 위치하는 사용자를 검출할 수 있다.
사용자 단말 장치(200)는 검출된 사용자의 얼굴 움직임을 바탕으로 복수의 사용자 중 인터렉션 우선권자를 판단한다(S2230). 구체적으로, 사용자 단말 장치(200)는 사용자 단말 장치(200)를 응시하는 사용자를 판단할 수 있다.
그리고, 사용자 단말 장치(200)는 인터렉션 우선권자에 대한 홍채 인식을 수행한다(S2240).
홍채 인식을 수행하여 사용자 인증이 성공된 경우, 사용자 단말 장치(200)는 인터렉션 우선권자에게 인터렉션 우선권을 부여한다(S2250). 구체적으로, 사용자 단말 장치(200)는 인터렉션 우선권자가 입력한 음성, 모션 등을 바탕으로 사용자 단말 장치(200)의 기능을 제외하고, 다른 사용자가 입력한 음성, 모션 등을 무시할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 사용자 단말 장치(200)는 촬영 조건에 따라 복수의 참조 영상을 획득하고, 획득된 복수의 참조 영상을 이용하여 홍채 인식을 수행할 수 있다. 구체적으로, 제어부(240)는 촬영 조건에 따라 복수의 참조 영상을 획득할 수 있다. 여기서, 촬영 조건은 사용자 단말 장치(200)와 사용자 사이의 거리, 해상도, 조도, 초점 상태, IR 빛 반사 중 적어도 하나를 포함할 수 있다. 그리고, 홍채 인식을 수행하기 위하여 사용자를 촬영할 경우, 제어부(240)는 촬영된 영상에서 사용자 눈을 검출하고, 복수의 참조 영상 중 검출된 눈과 대응되는 촬영 조건을 가지는 참조 영상과 사용자 눈을 비교하여 홍채 인식을 수행할 수 있다.
특히, 복수의 참조 영상을 등록할 때, 제어부(270)는 복수의 참조 영상을 홍채 코드로 변환하여 저장부(250)에 저장할 수 있다. 그러나, 복수의 참조 영상을 홍채 코드로 변환하여 저장하는 것은 일 실시예에 불과할 뿐, 복수의 참조 영상의 로우(raw) 데이터를 저장부(250)에 저장할 수 있다.
또한, 복수의 참조 영상을 등록할 때, 제어부(240)는 복수의 참조 영상 각각에 대응되는 사용자와의 촬영 조건 정보(예를 들어, 거리 정보)를 복수의 참조 영상 각각에 함께 저장하여 등록할 수 있다. 그리고, 홍채 인식을 수행할 때, 제어부(270)는 감지부(미도시)를 통해 감지된 사용자와의 촬영 조건 정보를 획득하고, 획득된 촬영 조건 정보 및 복수의 참조 영상에 저장된 촬영 조건 정보를 바탕으로 복수의 참조 영상 중 홍채 인식을 수행하기 위한 참조 영상을 선택할 수 있다. 그리고, 제어부(270)는 선택된 참조 영상과 검출된 사용자 눈을 비교하여 홍채 인식을 수행할 수 있다.
한편, 제어부(270)는 복수의 참조 영상을 생성할 때, 촬영 조건 별로 복수의 참조 영상을 각각 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 이미지 리사이징(image resizing)이나 노이즈 애디션(noise addition)을 통해 복수의 참조 영상을 획득할 수 있다. 구체적으로, 제어부(270)는 촬영부(220)를 통해 제1 참조 영상을 획득하고, 제1 참조 영상에 대한 이미지 리사이징 또는 노이즈 애디션을 통해 촬영 조건에 따른 복수의 참조 영상을 생성하여 저장부(250)에 저장할 수 있다.
이하에서는 도 23 내지 도 29를 참조하여, 본 발명의 다른 실시예에 따른, 촬영 조건에 따라 획득된 복수의 참조 영상을 이용하여 홍채 인식을 수행하는 방법에 대해 설명하기로 한다. 도 23은 본 발명의 다른 실시예에 따른, 촬영 조건에 따라 획득된 복수의 참조 영상을 이용하여 홍채 인식을 수행하는 방법을 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 촬영 조건에 따른 복수의 참조 영상을 등록한다(S2310). 구체적으로, 사용자 단말 장치(200)는 촬영 조건에 따라 복수의 참조 영상을 획득할 수 있다. 예를 들어, 사용자 단말 장치(200)는 사용자 단말 장치(200)와 사용자 사이의 거리에 따라 복수의 참조 영상을 획득할 수 있다. 또 다른 예로, 사용자 단말 장치(200)는 해상도에 따라 복수의 참조 영상을 획득할 수 있다. 또 다른 예로, 사용자 단말 장치(200)는 주변 조도에 따라 복수의 참조 영상을 획득할 수 있다. 또 다른 예로, 사용자 단말 장치(200)는 초점 상태에 따라 복수의 참조 영상을 획득할 수 있다. 또 다른 예로, 사용자 단말 장치(200)는 IR 빛 반사가 발생된 지점에 따라 복수의 참조 영상을 획득할 수 있다. 이때, 사용자 단말 장치(200)는 촬영 조건 정보를 대응되는 복수의 참조 영상에 함께 저장하여 등록할 수 있다. 또한, 사용자 단말 장치(200)는 복수의 참조 영상을 촬영 조건 별로 촬영하여 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 하나의 참조 영상에 대한 이미지 리사이징이나 노이즈 애디션을 통해 촬영 조건 별 복수의 참조 영상을 생성할 수 있다.
그리고, 사용자 단말 장치(200)는 사용자 인증을 위한 사용자 눈을 촬영한다(S2320).
그리고, 사용자 단말 장치(200)는 촬영된 영상으로부터 사용자 눈을 검출하고, 촬영 조건을 검출한다(S2330). 이때, 사용자 단말 장치(200)는 촬영 영상으로부터 홍채의 내외측 경계를 검출하여 사용자 눈(특히, 홍채)을 검출할 수 있다. 그리고, 사용자 단말 장치(200)는 촬영 조건(예를 들어, 사용자 단말 장치(200)와 사용자 사이의 거리 등)을 검출할 수 있다. 이때, 사용자 단말 장치(200)는 거리 감지부를 통해 사용자 단말 장치(200)와 사용자 사이의 거리를 검출할 수 있다.
그리고, 사용자 단말 장치(200)는 검출된 눈과 참조 영상을 비교하여 사용자 인증을 수행한다(S2340). 구체적으로, 사용자 단말 장치(200)는 복수의 참조 영상 중 검출된 촬영 조건과 대응되는 촬영 조건을 가지는 참조 영상을 선택할 수 있다. 그리고, 사용자 단말 장치(200)는 검출된 촬영 조건과 대응되는 촬영 조건을 가지는 참조 영상과 검출된 눈을 비교하여 사용자 인증을 수행할 수 있다.
상술한 바와 같이, 촬영 조건에 따라 획득된 복수의 참조 영상을 이용하여 홍채 인식을 수행함으로써, 다양한 촬영 조건에 의해 사용자 눈이 촬영되더라도 더욱 신속하고 정확한 홍채이 가능해 질 수 있다.
도 24는 본 발명의 다른 실시예에 따른, 복수의 참조 영상을 등록하고, 복수의 참조 영상을 이용하여 인증하는 방법을 설명하기 위한 도면이다.
우선, 사용자 단말 장치(200)는 촬영 조건 정보 및 홍채 영상을 획득한다(S2410). 구체적으로, 사용자 단말 장치(200)는 사용자를 포함하는 영상을 촬영하여 홍채 영상을 획득하고, 다양한 센서(예를 들어, 거리 감지 센서, 조도 센서 등) 등을 통해 촬영 조건 정보를 획득할 수 있다.
그리고, 사용자 단말 장치(200)는 홍채의 내외측 경계를 검출한다(S2420). 즉, 사용자 단말 장치(200)는 홍채 영상에서 홍채의 내외측 경계를 검출하여 사용자 홍채를 검출할 수 있다.
그리고, 사용자 단말 장치(200)는 현 단계가 등록 단계인지 인증 단계인지 여부를 판단한다(S2430).
현 단계가 등록 단계인 경우, 사용자 단말 장치(200)는 참조 영상을 생성한다(S2440). 구체적으로, 사용자 단말 장치(200)는 획득된 사용자 홍채와 검출된 촬영 정보 조건을 함께 저장하여 참조 영상을 생성할 수 있다.
그리고, 사용자 단말 장치(200)는 참조 영상을 이용하여 홍채 코드를 생성한다(S2450). 홍채 코드를 생성하는 방법을 상술하였으므로, 자세한 설명은 생략한다.
그리고, 사용자 단말 장치(200)는 홍채 코드를 데이터베이스에 저장한다(S2460). 즉, 사용자 단말 장치(200)는 사용자 홍채 이미지를 데이터베이스에 저장하는 것이 아니라 홍채 코드를 데이터베이스에 저장할 수 있다.
한편, 현 단계가 인증 단계인 경우, 사용자 단말 장치(200)는 홍채 코드를 생성한다(S2470). 즉, 사용자 단말 장치(200)는 검출된 사용자 홍채를 통해 홍채 코드를 생성할 수 있다.
그리고, 사용자 단말 장치(200)는 데이터베이스에 저장된 홍채 코드와 생성된 홍채 코드를 비교한다(S2480). 구체적으로, 사용자 단말 장치(200)는 데이터베이스에 저장된 홍채코드 중 S2410 단계에서 획득한 촬영 조건 정보와 대응되는 촬영 조건 정보를 가지는 홍채 코드를 검색할 수 있다. 사용자 단말 장치(200)는 검색된 홍채 코드와 생성된 홍채 코드를 비교할 수 있다.
그리고, 사용자 단말 장치(200)는 비교 결과를 바탕으로 사용자 인증을 수행한다(S2490). 구체적으로, 데이터베이스에서 검색된 홍채 코드와 생성된 홍채 코드의 비교 결과, 유사도가 기설정된 값 이상이라고 판단한 경우, 사용자 단말 장치(200)는 사용자 인증을 수행하고, 유사도가 기설정된 값 미만이라고 판단한 경우, 사용자 단말 장치(200)는 사용자 인증 실패 메시지를 출력할 수 있다.
도 24와 같이, 참조 영상을 등록할 때 참조 영상 자체가 아닌 홍채 코드를 저장함으로써, 인증을 수행할 때마다 참조 영상을 홍채 코드로 변환하는 동작을 수행하지 않을 수 있다. 또한, 홍채 이미지 자체를 저장하지 않고 홍채 코드를 저장함으로써, 데이터베이스가 해킹되더라도 사용자 개인 정보가 보호될 수 있다.
도 25는 본 발명의 또 다른 실시예에 따른, 복수의 참조 영상을 등록하고, 복수의 참조 영상을 이용하여 인증하는 방법을 설명하기 위한 도면이다.
우선, 사용자 단말 장치(200)는 촬영 조건 정보 및 홍채 영상을 획득한다(S2510). 구체적으로, 사용자 단말 장치(200)는 사용자를 포함하는 영상을 촬영하여 홍채 영상을 획득하고, 다양한 센서(예를 들어, 거리 감지 센서, 조도 센서 등) 등을 통해 촬영 조건 정보를 획득할 수 있다.
그리고, 사용자 단말 장치(200)는 홍채의 내외측 경계를 검출한다(S2520). 즉, 사용자 단말 장치(200)는 홍채 영상에서 홍채의 내외측 경계를 검출하여 사용자 홍채를 검출할 수 있다.
그리고, 사용자 단말 장치(200)는 현 단계가 등록 단계인지 인증 단계인지 여부를 판단한다(S2530).
현 단계가 등록 단계인 경우, 사용자 단말 장치(200)는 참조 영상을 생성한다(S2540). 구체적으로, 사용자 단말 장치(200)는 획득된 사용자 홍채와 검출된 촬영 정보 조건을 함께 저장하여 참조 영상을 생성할 수 있다.
그리고, 사용자 단말 장치(200)는 생성된 참조 영상을 데이터베이스에 저장한다(S2550). 즉, 사용자 단말 장치(200)는 홍채 코드를 데이터베이스에 저장하는 것이 아니라 참조 영상 자체를 데이터베이스에 저장할 수 있다.
한편, 현 단계가 인증 단계인 경우, 사용자 단말 장치(200)는 제1 홍채 코드를 생성한다(S2560). 즉, 사용자 단말 장치(200)는 검출된 사용자 홍채를 통해 제1 홍채 코드를 생성할 수 있다.
그리고, 사용자 단말 장치(200)는 검출된 촬영 조건과 동일한 촬영 조건의 참조 영상에 대한 제2 홍채 코드를 생성한다(S2570). 구체적으로, 사용자 단말 장치(200)는 검출된 촬영 조건과 동일한 촬영 조건을 가지는 참조 영상을 검색한다. 그리고, 사용자 단말 장치(200)는 검색된 참조 영상을 이용하여 제2 홍채 코드를 생성할 수 있다.
그리고, 사용자 단말 장치(200)는 제1 홍채 코드와 제2 홍채 코드를 비교한다(S2580).
그리고, 사용자 단말 장치(200)는 비교 결과를 바탕으로 사용자 인증을 수행한다(S2590). 구체적으로, 제1 홍채 코드와 제2 홍채 코드의 비교 결과, 유사도가 기설정된 값 이상이라고 판단한 경우, 사용자 단말 장치(200)는 사용자 인증을 수행하고, 유사도가 기설정된 값 미만이라고 판단한 경우, 사용자 단말 장치(200)는 사용자 인증 실패 메시지를 출력할 수 있다.
도 25와 같이, 참조 영상을 등록할 때, 참조 영상 자체를 등록함으로써, 저장하는 데이터의 량을 감소시킬 수 있게 된다.
도 26 내지 28b는 본 발명의 다른 실시예에 따른, 적어도 하나의 참조 영상에 대한 이미지 리사이징을 통해 복수의 참조 영상을 생성하는 방법에 대해 설명하기로 한다.
우선, 사용자 단말 장치(200)는 촬영 조건 정보 및 홍채 영상을 획득한다(S2610). 그리고, 사용자 단말 장치(200)는 홍채의 내외측 경계를 검출한다(S2620). 그리고, 사용자 단말 장치(200)는 검출된 사용자 홍채를 참조 영상으로 등록한다(S2630).
그리고, 사용자 단말 장치(200)는 참조 영상의 개수가 1개 이상인지 여부를 판단한다(S2640). 참조 영상의 개수가 1개 이상인 경우(S2640-Y), 사용자 단말 장치(200)는 복수의 참조 영상을 저장한다(S2650). 그러나, 참조 영상의 개수가 1개인 경우(S2640-N), 사용자 단말 장치(200)는 단일 참조 영상을 저장한다(S2660).
그리고, 사용자 단말 장치(200)는 저장된 복수의 참조 영상 또는 단일 참조 영상을 이용하여 촬영 조건별 이미지 리사이징을 수행한다(S2670). 구체적으로, 도 27a에 도시된 바와 같이, 사용자 단말 장치(200)와 사용자 사이의 거리가 20cm에서 제1 참조 영상(2710)이 획득된 경우, 사용자 단말 장치(200)는 제1 참조 영상(2710)에 대한 이미지 리사이징을 수행하여 도 27b에 도시된 바와 같이, 사용자 단말 장치(200)와 사용자 사이의 거리가 50cm에서 촬영된 것과 같은 제2 참조 영상(2720-1), 사용자 단말 장치(200)와 사용자 사이의 거리가 40cm에서 촬영된 것과 같은 제3 참조 영상(2720-2), 사용자 단말 장치(200)와 사용자 사이의 거리가 20cm에서 촬영된 것과 같은 제4 참조 영상(2720-3)을 획득할 수 있다. 한편, 상술한 실시예에서는 10cm 단위로 이미지를 리사이징하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 10cm 이외의 단위(예를 들어, 5cm 등)로 이미지를 리사이징 할 수 있다. 또한, 도 28a에 도시된 바와 같이, 사용자 단말 장치(200)와 사용자 사이의 거리별로 제1 내지 제4 참조 영상(2810-1 내지 2810-4)이 획득된 경우, 사용자 단말 장치(200)는 도 28b에 도시된 바와 같이, 제1 참조 영상(2810-1)에 대한 이미지 리사이징을 수행하여, 사용자 단말 장치(200)와 사용자 사이의 거리가 45cm에서 촬영된 것과 같은 제5 참조 영상(2820-1)을 생성할 수 있다. 이와 마찬가지 방식으로, 사용자 단말 장치(200)는 제2 참조 영상(2810-2)에 대한 이미지 리사이징을 수행하여 사용자 단말 장치(200)와 사용자 사이의 거리가 35cm에서 촬영된 것과 같은 제6 참조 영상(2820-2)을 생성할 수 있다.
한편, 상술한 실시예에서는 촬영 조건이 사용자 단말 장치(200)와 사용자 사이의 거리인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 해상도 별로 이미지를 리사이징하여 복수의 참조 영상을 생성할 수 있다.
그리고, 사용자 단말 장치(200)는 생성된 복수의 참조 영상을 이용하여 복수의 홍채 코드를 생성한다(S2680). 그리고, 사용자 단말 장치(200)는 생성된 홍채 모드를 데이터베이스에 저장한다(S2690).
도 29는 본 발명의 일 실시예에 따른, 적어도 하나의 참조 영상에 대한 노이즈 애디션(noise addition)을 통해 복수의 참조 영상을 생성하는 방법에 대해 설명하기로 한다.
우선, 사용자 단말 장치(200)는 촬영 조건 정보 및 홍채 영상을 획득한다(S2910). 그리고, 사용자 단말 장치(200)는 홍채의 내외측 경계를 검출한다(S2920). 그리고, 사용자 단말 장치(200)는 검출된 사용자 홍채를 참조 영상으로 등록한다(S2930).
그리고, 사용자 단말 장치(200)는 참조 영상의 개수가 1개 이상인지 여부를 판단한다(S2940). 참조 영상의 개수가 1개 이상인 경우(S2940-Y), 사용자 단말 장치(200)는 복수의 참조 영상을 저장한다(S2950). 그러나, 참조 영상의 개수가 1개인 경우(S2940-N), 사용자 단말 장치(200)는 단일 참조 영상을 저장한다(S2960).
그리고, 사용자 단말 장치(200)는 저장된 복수의 참조 영상 또는 단일 참조 영상을 이용하여 촬영 조건별 노이즈 애디션(noise addition)을 수행한다(S2670). 구체적으로, 제1 조도값에서 제1 참조 영상이 획득된 경우, 사용자 단말 장치(200)는 제1 참조 영상(2710)에 대한 노이즈 애디션(예를 들어, 밝기 조절)을 수행하여 제2 조도값에 의해 촬영된 것과 같은 제2 참조 영상, 제3 조도값에서 촬영된 것과 같은 제3 참조 영상, 제4 조도값에서 촬영된 것과 같은 제4 참조 영상을 획득할 수 있다. 복수의 참조 영상이 획득된 경우에도 역시 노이즈 애디션을 통해 더욱 많은 참조 영상을 획득할 수 있다.
한편, 상술한 실시예에서는 촬영 조건이 조도인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, IR 빛 반사를 부가하는 노이즈 애디션을 통해 복수의 참조 영상을 생성할 수 있다.
그리고, 사용자 단말 장치(200)는 생성된 복수의 참조 영상을 이용하여 복수의 홍채 코드를 생성한다(S2980). 그리고, 사용자 단말 장치(200)는 생성된 홍채 모드를 데이터베이스에 저장한다(S2990).
도 26 내지 도 29에서 설명한 바와 같이, 이미지 리사이징 또는 노이즈 애디션을 통해 촬영 조건별 복수의 참조 영상을 획득함으로써, 적은 횟수의 홍채 등록을 수행하더라도 더욱 정확한 홍채 인식이 가능해 질 수 있게 된다.
본 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다.　 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다.　 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다.　 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.　 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다.　 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다.　 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.　 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.　 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.　 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다.　 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.　 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.　
본 명세서(특히 특허청구범위)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다.　 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.　 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다.　 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다.　 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다.　 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
110, 220: 촬영부　　　　　　　　　　　　　　　　　　　　120, 240: 디스플레이부
130, 270: 제어부　　　　　　　　　　　　　　　　　　　　210: 통신부
230: 영상 처리부　　　　　　　　　　　　　　　　　　　　250: 저장부
260: 입력부

Claims (26)

  1. 사용자 단말 장치에 있어서,
    카메라;
    디스플레이; 및
    상기 카메라를 통해 사용자를 촬영하여 이미지를 획득하고,
    상기 획득된 이미지를 표시하도록 상기 디스플레이를 제어하며,
    상기 이미지에서 사용자의 눈을 검출하고,
    상기 이미지에서 상기 검출된 사용자의 눈이 존재하는 위치에 가이드 이미지를 디스플레이하도록 상기 디스플레이를 제어하며,
    상기 검출된 사용자의 눈에 포함된 홍채의 크기와 상기 가이드 이미지의 크기의 차이가 기설정된 범위 이내인 경우, 홍채 인식을 수행하는 프로세서;를 포함하는 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 검출된 사용자의 눈에서 홍채 경계선을 검출하며, 상기 검출된 홍채 경계선을 바탕으로 홍채 지름을 추정하고, 상기 검출된 사용자의 눈 및 홍채 지름을 바탕으로 상기 사용자의 눈 및 홍채에 대응되는 위치에 가이드 이미지를 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 사용자 단말 장치.
  3. 제2항에 있어서,
    상기 가이드 이미지는,
    사용자의 눈에 대응되는 눈 가이드 이미지 및 사용자 홍채에 대응되는 홍채 가이드 이미지를 포함하는 것을 특징으로 하는 사용자 단말 장치.
  4. 제2항에 있어서,
    상기 가이드 이미지는,
    상기 카메라의 초점거리에 맞는 위치에 존재하는 사용자의 눈 및 홍채의 크기에 대응되는 이미지인 것을 특징으로 하는 사용자 단말 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 획득된 이미지에서 사용자 홍채를 검출하고, 상기 검출된 사용자 홍채의 크기와 홍채에 대응되는 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 상기 검출된 사용자 홍채가 기등록된 홍채와 일치하는지 여부를 판단하여 사용자의 홍채 인식을 수행하는 것을 특징으로 하는 사용자 단말 장치.
  6. 제4항에 있어서,
    상기 프로세서는,
    상기 획득된 이미지에서 사용자 홍채를 검출하고, 상기 검출된 사용자 홍채의 크기와 홍채에 대응되는 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 홍채 인식을 수행함을 안내하는 피드백 메시지를 출력하는 것을 특징으로 하는 사용자 단말 장치.
  7. 제1항에 있어서,
    획득된 이미지를 처리하는 이미지 처리부;를 더 포함하며,
    상기 프로세서는,
    홍채 인식을 수행하는 동안 사용자 홍채의 패턴을 확인할 수 없도록 상기 획득된 이미지를 처리하도록 상기 이미지 처리부를 제어하며, 상기 처리된 이미지를 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 사용자 단말 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    검출된 홍채 영역을 직사각형 모양으로 정규화하여 홍채 코드를 생성하고, 상기 직사각형으로 정규화된 홍채 코드 중 눈썹 또는 눈꺼풀에 의해 가려진 영역을 마스킹하며, 상기 마스킹된 영역을 제외한 나머지 영역을 기 등록된 홍채 코드와 비교하여 사용자의 홍채 인식을 수행하는 것을 특징으로 하는 사용자 단말 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 검출된 홍채 영역이 기등록된 사용자로 인식된 경우, 상기 검출된 홍채 영역 중 상기 마스킹된 영역을 제외한 나머지 영역을 이용하여 상기 기등록된 사용자의 홍채 코드를 업데이트하는 것을 특징으로 하는 사용자 단말 장치.
  10. 사용자 단말 장치의 홍채 인식 방법에 있어서,
    카메라를 통해 사용자를 촬영하여 이미지를 획득하는 단계;
    상기 획득된 이미지를 디스플레이하는 단계;
    상기 획득된 이미지에서 사용자의 눈을 검출하는 단계;
    상기 획득된 이미지 중 상기 검출된 사용자의 눈이 존재하는 위치에 가이드 이미지를 디스플레이하는 단계; 및
    상기 검출된 사용자의 눈에 포함된 홍채의 크기와 상기 가이드 이미지의 크기의 차이가 기설정된 범위 이내인 경우, 홍채 인식을 수행하는 단계;를 포함하는 홍채 인식 방법.
  11. 제10항에 있어서,
    상기 사용자의 눈을 검출하는 단계는,
    상기 검출된 사용자의 눈에서 홍채 경계선을 검출하는 단계;
    상기 검출된 홍채 경계선을 바탕으로 홍채 지름을 추정하는 단계;를 더 포함하고,
    상기 가이드 이미지를 디스플레이하는 단계는,
    상기 인식된 사용자의 눈 및 홍채 지름을 바탕으로 상기 사용자의 눈 및 홍채에 대응되는 위치에 가이드 이미지를 디스플레이하는 것을 특징으로 하는 홍채 인식 방법.
  12. 제11항에 있어서,
    상기 가이드 이미지는,
    사용자의 눈에 대응되는 눈 가이드 이미지 및 사용자 홍채에 대응되는 홍채 가이드 이미지를 포함하는 것을 특징으로 하는 홍채 인식 방법.
  13. 제11항에 있어서,
    상기 가이드 이미지는,
    카메라의 초점거리에 맞는 위치에 존재하는 사용자의 눈 및 홍채의 크기에 대응되는 이미지인 것을 특징으로 하는 홍채 인식 방법.
  14. 제13항에 있어서,
    상기 수행하는 단계는,
    상기 획득된 이미지에서 사용자 홍채를 검출하고, 상기 검출된 사용자 홍채의 크기와 홍채에 대응되는 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 상기 검출된 사용자 홍채가 기등록된 홍채와 일치하는지 여부를 판단하여 사용자의 홍채 인식을 수행하는 것을 특징으로 하는 홍채 인식 방법.
  15. 제13항에 있어서,
    상기 수행하는 단계는,
    상기 획득된 이미지에서 사용자 홍채를 검출하고, 상기 검출된 사용자 홍채의 크기와 홍채에 대응되는 가이드 이미지의 크기의 차이가 기설정된 값 이하인 경우, 사용자의 홍채 인식을 수행함을 안내하는 피드백 메시지를 출력하는 단계;를 더 포함하는 것을 특징으로 하는 홍채 인식 방법.
  16. 제10항에 있어서,
    상기 획득된 이미지를 디스플레이하는 단계는,
    홍채 인식을 수행하는 동안 사용자 홍채의 패턴을 확인할 수 없도록 상기 획득된 이미지를 처리하는 단계;및
    상기 처리된 이미지를 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 홍채 인식 방법.
  17. 제10항에 있어서,
    상기 수행하는 단계는,
    검출된 홍채 영역을 직사각형 모양으로 정규화하여 홍채 코드를 생성하고, 상기 직사각형으로 정규화된 홍채 코드 중 눈썹 또는 눈꺼풀에 의해 가려진 영역을 마스킹하며, 상기 마스킹된 영역을 제외한 나머지 영역을 기 등록된 홍채 코드와 비교하여 사용자의 홍채 인식을 수행하는 것을 특징으로 하는 홍채 인식 방법.
  18. 제17항에 있어서,
    상기 검출된 홍채 영역이 기등록된 사용자로 인식된 경우, 상기 검출된 홍채 영역 중 상기 마스킹된 영역을 제외한 나머지 영역을 이용하여 상기 기등록된 사용자의 홍채 정보를 업데이트하는 단계;를 포함하는 것을 특징으로 하는 홍채 인식 방법.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 제1항에 있어서,
    상기 가이드 이미지는 사용자의 눈에 대응되는 모양을 포함하는 눈 가이드 이미지 및 사용자의 홍채에 대응되는 모양을 포함하는 홍채 가이드 이미지를 포함하는 사용자 단말 장치.
  26. 제25항에 있어서,
    상기 사용자가 상기 카메라의 초점 거리와 매칭되는 위치에 존재하는 경우, 상기 눈 가이드 이미지 및 상기 홍채 가이드 이미지는 각각 상기 사용자의 눈과 상기 사용자의 홍채의 통계적인 크기를 가지는 사용자 단말 장치.
KR1020150080137A 2014-10-15 2015-06-05 사용자 단말 장치 및 이의 홍채 인식 방법 KR102438110B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
TW104132314A TWI696110B (zh) 2014-10-15 2015-10-01 使用者終端裝置及其虹膜辨識方法
US14/883,084 US9928422B2 (en) 2014-10-15 2015-10-14 User terminal apparatus and IRIS recognition method thereof
PCT/KR2015/010873 WO2016060486A1 (en) 2014-10-15 2015-10-15 User terminal apparatus and iris recognition method thereof
CN201510666512.6A CN105528573B (zh) 2014-10-15 2015-10-15 用户终端设备及其虹膜识别方法
EP21172145.1A EP3885986B1 (en) 2014-10-15 2015-10-15 User terminal apparatus and iris recognition method thereof
EP15189970.5A EP3009960B1 (en) 2014-10-15 2015-10-15 User terminal apparatus and iris recognition method thereof
CN201910336953.8A CN110070054A (zh) 2014-10-15 2015-10-15 用户终端设备及其虹膜识别方法
US15/896,748 US10262204B2 (en) 2014-10-15 2018-02-14 User terminal apparatus and iris recognition method thereof
US16/364,825 US10628670B2 (en) 2014-10-15 2019-03-26 User terminal apparatus and iris recognition method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140139306 2014-10-15
KR20140139306 2014-10-15

Publications (2)

Publication Number Publication Date
KR20160044403A KR20160044403A (ko) 2016-04-25
KR102438110B1 true KR102438110B1 (ko) 2022-08-31

Family

ID=55918797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150080137A KR102438110B1 (ko) 2014-10-15 2015-06-05 사용자 단말 장치 및 이의 홍채 인식 방법

Country Status (2)

Country Link
KR (1) KR102438110B1 (ko)
TW (1) TWI696110B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180006133A (ko) 2016-07-08 2018-01-17 삼성전자주식회사 전자 장치 및 그의 동작 방법
WO2018013200A1 (en) * 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
KR102627244B1 (ko) * 2016-11-30 2024-01-22 삼성전자주식회사 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
CN108734063A (zh) * 2017-04-20 2018-11-02 上海耕岩智能科技有限公司 一种虹膜识别的方法和装置
KR101865665B1 (ko) * 2017-09-08 2018-06-08 스케치온 주식회사 스킨 프린터
TWI735821B (zh) * 2018-04-12 2021-08-11 神盾股份有限公司 指紋註冊方法以及使用其的電子裝置
US10755068B2 (en) 2017-10-16 2020-08-25 Egis Technology Inc. Fingerprint registration method and electronic device using the same
KR102490561B1 (ko) * 2018-05-29 2023-01-19 엘지이노텍 주식회사 이동 단말기
CN111984954A (zh) * 2019-05-23 2020-11-24 北京眼神智能科技有限公司 提高人脸识别系统安全性的方法、装置、设备及存储介质
WO2024019293A1 (ko) * 2022-07-19 2024-01-25 삼성전자 주식회사 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120707A1 (en) * 2003-03-27 2006-06-08 Matsushita Electric Industrial Co., Ltd. Eye image pickup apparatus, iris authentication apparatus and portable terminal device having iris authentication function

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100506222B1 (ko) * 2002-11-11 2005-08-08 삼성전자주식회사 코드인식 장치 및 방법
KR101224408B1 (ko) * 2005-01-26 2013-01-22 허니웰 인터내셔널 인코포레이티드 원격 홍채 인식 시스템
KR100783113B1 (ko) * 2006-09-18 2007-12-07 삼성전자주식회사 이동 통신 단말기의 음악 파일 단축 저장 방법
US8364113B2 (en) * 2008-07-03 2013-01-29 Centurylink Intellectual Property Llc Data message service controller and method for handling emergency text messaging
KR101723642B1 (ko) * 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
KR101160681B1 (ko) * 2011-10-19 2012-06-28 배경덕 이동 통신 단말기의 활성화 시에 특정 동작이 수행되도록 하기 위한 방법, 이동 통신 단말기 및 컴퓨터 판독 가능 기록 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120707A1 (en) * 2003-03-27 2006-06-08 Matsushita Electric Industrial Co., Ltd. Eye image pickup apparatus, iris authentication apparatus and portable terminal device having iris authentication function

Also Published As

Publication number Publication date
TWI696110B (zh) 2020-06-11
TW201617836A (zh) 2016-05-16
KR20160044403A (ko) 2016-04-25

Similar Documents

Publication Publication Date Title
KR102438110B1 (ko) 사용자 단말 장치 및 이의 홍채 인식 방법
EP3009960B1 (en) User terminal apparatus and iris recognition method thereof
JP2024109668A (ja) 電子デバイスに組み込まれた認証システム
US9049983B1 (en) Ear recognition as device input
CN112585566B (zh) 用于与具有内置摄像头的设备进行交互的手遮脸输入感测
US9443307B2 (en) Processing of images of a subject individual
KR102354458B1 (ko) 디스플레이 장치 및 그의 제어방법
EP2787463A1 (en) Display apparatus for performing user certification and method thereof
WO2016177154A1 (zh) 一种切换移动终端工作模式的方法及装置
US9553874B2 (en) Programmable display apparatus, control method, and program with facial authentication
JP6096161B2 (ja) 情報処理装置および情報処理方法
JP2010016432A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
WO2021017843A1 (zh) 一种屏幕亮度调节方法及装置
JP6374514B2 (ja) 非接触式掌紋認証方法、装置及び携帯端末
WO2017206308A1 (zh) 拍照方法和装置
WO2017181842A1 (zh) 电子镜图像处理方法、装置和存储介质
US20190306334A1 (en) Communication system, image processing method, and recording medium
CN114175113A (zh) 提供头像的电子装置及其操作方法
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US8736705B2 (en) Electronic device and method for selecting menus
TWI528211B (zh) Non-contact palmprint authentication method, device and portable terminal
TWI595406B (zh) 顯示裝置及其傳遞訊息的方法
US11386719B2 (en) Electronic device and operating method therefor
CN112417998A (zh) 活体人脸图像的获取方法和装置、介质、设备
WO2024021251A1 (zh) 身份校验方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right