KR20150003501A - 전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법 - Google Patents

전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법 Download PDF

Info

Publication number
KR20150003501A
KR20150003501A KR1020130076422A KR20130076422A KR20150003501A KR 20150003501 A KR20150003501 A KR 20150003501A KR 1020130076422 A KR1020130076422 A KR 1020130076422A KR 20130076422 A KR20130076422 A KR 20130076422A KR 20150003501 A KR20150003501 A KR 20150003501A
Authority
KR
South Korea
Prior art keywords
feature extraction
fingerprint
finger
region
extraction region
Prior art date
Application number
KR1020130076422A
Other languages
English (en)
Inventor
손병준
홍태화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130076422A priority Critical patent/KR20150003501A/ko
Publication of KR20150003501A publication Critical patent/KR20150003501A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Collating Specific Patterns (AREA)
  • Telephone Function (AREA)

Abstract

지문 인식과 관련된 다양한 실시예들이 기술된 바, 한 실시예에 따르면, 전자 디바이스에 있어서, 렌즈의 초점을 손가락의 지문취득 부분을 중심으로 자동 조절하고, 조명 밝기를 주위 조도 환경에 맞게 조절하여 다중 지문 영상을 획득하는 카메라와, 상기 다중 지문 영상으로부터 손가락 영역과 배경을 분리하여 적어도 하나 이상의 지문 영역 에서의 특징 추출 영역을 검출하고, 상기 특징 추출 영역 각각에서 특징 정보를 추출하여 인증을 수행하는 제어부를 포함한다. 이외에도 다양한 다른 실시예들이 가능하다.

Description

전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법{ELECTRONIC DEVICE AND METHOD FOR AUTHENTICATION USING FINGERPRINT INFORMATION}
본 발명의 다양한 실시 예들은 전자 디바이스 및 지문 인식에 관한 것이다.
최근, 단순한 통화 기능 외에, 예를 들어, 사진 또는 동영상 촬영, 인터넷 통신, 라디오 또는 MP3(MPEG-1 Layer3) 오디오 파일 청취 등과 같이 보다 다양한 기능들을 더 포함하는 전자 디바이스들이 개발되고 있다. 이렇게 전자 디바이스들이 다양한 기능들을 포함하게 됨에 따라 개인 정보 보안에 대한 중요성이 더욱 대두되고 있다. 특히, 인터넷을 이용한 금융 결재와 같이, 타인에 의해 도용될 경우 매우 심각한 피해를 초래할 수 있는 기능들을 포함하는 전자 디바이스에서의 개인 정보 보안은 매우 중요하다. 종래의 보안 방법은 유저가 보안이 요구되는 전자 디바이스의 특정 기능들을 사용하려고 할 때마다 미리 등록되어 있는 비밀 번호를 입력하도록 하는 방식이다. 그러나 비밀 번호를 이용한 종래의 보안 방법은 누구라도 비밀 번호를 입력하기만 하면 전자 디바이스의 해당 기능들을 사용할 수 있으므로 그 안전성이 보장될 수 없다.
이를 해결하기 위해, 최근에는 생체 정보를 이용한 보안 방법들이 제안되고 있다. 생체 정보를 이용한 보안 방법은 타인과 구별되는 개인 특유의 생체 정보를 이용하여 사용자를 인증하는 것이므로, 그 안정성이 매우 높다. 생체 정보를 이용한 보안 방법의 대표적인 예로서 지문을 이용한 보안 방법이 있다. 지문은 개개인마다 각기 다르기 때문에 보안 시스템에서 가장 먼저 채택된 생체 조직들이다. 지문을 이용한 보안 방법은 지문 인식 장치에 의한 지문 인식률이 높고, 사용자가 쉽게 사용할 수 있기 때문에 가장 폭넓게 사용되고 있다. 또한 광학식, 전자 광학식(electro-optic), 초음파식, 압력식, 정전용량(capacitive) 식 등 다양한 방식의 지문 인식 센서가 지문을 인식하는 데 이용되고 있다.
특히 최근에는 지문 인식 기술이 휴대폰, 스마트폰 등과 같은 전자 디바이스에 적용되고 있다. 이러한 전자 디바이스는 사용자가 휴대하기 편하도록 소형화 및 경량화되어야 하기 때문에 전자 디바이스의 부피, 무게, 디자인 등이 고려되어야 하는 반면 다양한 방식의 지문 인식 센서들을 소형화 경량화하기가 어렵고, 디자인을 맞추기 어려워 탑재하려면 많은 비용이 든다. 그런데 최근 카메라가 소형화 경량화되어 휴대폰, 스마트 폰이 대체로 카메라를 구비하는 경우가 많다.
따라서 본 발명의 다양한 실시 예들에서는 전자 디바이스에 추가적인 비용이 발생하는 별도의 지문 인식을 위한 센서를 장착하지 않고도 기 장착된 카메라를 이용하여 지문을 인식하는 전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법을 제공할 수 있도록 하고자 한다.
또한 본 발명의 다양한 실시 예들에서는 카메라를 이용하여 지문을 인식할 경우 하나의 지문 영상을 이용하는 것이 아니라 다중 지문 영상을 이용하여 지문 인식 성공률을 높일 수 있는 전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법을 제공할 수 있도록 하고자 한다.
본 발명의 다양한 실시 예들은 전자 디바이스에 있어서, 입력 영상을 분석하여 지문이 가장 잘 취득될 수 있도록 렌즈의 초점을 조절하고, 주위 조명 환경에 맞춰 조명 밝기를 조절하여 다중 지문 영상을 획득하는 카메라와, 상기 다중 지문 영상으로부터 손가락 영역과 배경을 분리하여 적어도 하나 이상의 지문 영역과 적어도 하나 이상의 지문 영역 각각에서의 특징 추출 영역을 검출하고, 상기 특징 추출 영역 각각에서 특징 정보를 추출하여 인증을 수행하는 제어부를 포함하는 것을 특징으로 한다.
또한 본 발명의 다양한 실시 예들은 전자 디바이스에서 인증 방법에 있어서, 입력 영상을 분석하여 지문이 가장 잘 취득될 수 있도록 렌즈의 초점을 조절하는 동작과, 주위 조명 환경에 맞춰 조명 밝기를 조절하는 동작과, 다중 지문 영상을 획득하는 동작과, 상기 다중 지문 영상으로부터 손가락 영역과 배경을 분리하여 적어도 하나 이상의 지문 영역과 적어도 하나 이상의 지문 영역 각각에서의 특징 추출 영역을 검출하는 동작과, 상기 특징 추출 영역 각각에서 특징 정보를 추출하는 동작과, 상기 특징 정보를 미리 저장된 특징 정보와 매칭하여 인증을 수행하는 동작을 포함한다.
본 발명의 다양한 실시 예들은 별도의 추가적인 센서를 전자 디바이스 예컨대, 휴대 단말에 장착하지 않고도 카메라를 이용하여 지문 인식 및 인증을 수행할 수 있기 때문에 전자 디바이스 제품의 가격을 낮출 수 있어 사용자에게 제품 가격으로 인한 부담을 줄일 수 있다.
또한 본 발명의 실시 예들에 따르면, 다중 지문 영상을 이용하여 인증을 수행함으로써, 지문 인식 성능을 높일 수 있으므로 사용자에게 편리하고 높은 수준의 보안 서비스를 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 디바이스의 구성도
도 2는 본 발명의 실시 예에 따른 전자 디바이스에서 지문 인식 동작에 대한 흐름도
도 3은 본 발명의 실시 예에 따른 지문 인식을 위한 손가락 가이드 라인 표시 일예도
도 4는 본 발명의 실시 예에 따른 지문 영상 전처리 동작에 대한 흐름도
도 5는 본 발명의 실시 예에 따른 에지 정보를 이용하여 검출된 손가락 에지 영상을 나타낸 도면
도 6은 본 발명의 실시 예에 따라 피부색과 에지 정보를 이용하여 지문 영역을 검출하는 경우를 설명하기 위한 도면
도 7은 본 발명의 실시 예에 따른 특징 추출 영역을 나타낸 도면
도 8은 본 발명의 실시 예에 따른 손가락 영역에서 검출된 지문 영역들과 특징 추출 영역을 나타낸 도면
본 발명의 다양한 실시 예들에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 다양한 실시 예들에 대해 구체적으로 설명하기로 한다.
본 발명의 다양한 실시 예들에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 다양한 실시 예들의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명의 다양한 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 다양한 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
발명의 다양한 실시 예들에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 발명의 다양한 실시 예들에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 다양한 실시예들을 상세하게 설명한다. 다만, 본 발명이 다양한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 전자 디바이스의 개략적인 블록도이다. 본 발명의 실시 예에 따르면 전자 디바이스(100)는 스마트 폰 등의 휴대 단말(100)일 수 있다. 도 1을 참조하면, 휴대 단말(이하 '장치'라고도 함)(100)은 이동통신 모듈(120), 서브통신 모듈(130) 및 커넥터(165)를 이용하여 외부장치(도시되지 아니함)와 연결될 수 있다. '외부장치'는 다른 장치(도시되지 아니함), 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC(도시되지 아니함) 및 서버(도시되지 아니함)를 포함한다.
또한 휴대 단말(100)은 터치스크린(190) 및 터치스크린 컨트롤러(195)를 포함한다. 또한, 휴대 단말(100)은 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원공급부(180)를 포함한다. 서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166), 이어폰 연결잭(167), 입력 유닛(168) 중 적어도 하나를 포함한다.
제어부(110)는 CPU(Central Processor Unit)(111), 휴대 단말(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 휴대 단말(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 휴대 단말(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.
제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 터치스크린(190) 및 터치스크린 컨트롤러(195)를 제어할 수 있다. 즉, 제어부(110)는 휴대 단말(100)에 대한 전반적인 제어 기능을 수행하며, 상기 각 구성부들 간 신호 흐름을 제어한다.
특히 제어부(110)는 본 발명의 실시 예에 따라 지문 인식 모드에서 주위 환경에 따라 조명 및 초점을 제어하여 다중 지문 영상을 획득하도록 제어할 수 있다. 또한 제어부(110)는 획득된 다중 지문 영상에 대해 전처리를 수행할 수 있다. 제어부(110)는 획득된 다중 지문 영상에 대한 전처리 수행 시, 다중 지문 영상에서 손가락 영역과 배경을 분리하고, 지문 영역과 특징 추출 영역을 검출하며, 지문 영역과 특징 추출 영역에 대해 조명에 의한 빛 반사를 보정하고, 지문 영역의 사이즈를 정규화할 수 있다. 또한 제어부(110)는 특징 추출 영역의 분석 여부를 판단하여 특징 추출 영역을 분석하는 것으로 판단하면 특징 정보를 추출하여 특징 정보를 이용한 등록을 수행하거나 인증을 수행할 수 있다. 제어부(110)는 인증이 성공한 경우 인증 성공을 터치 스크린(190)에 표시하도록 제어할 수 있고, 인증이 실패한 경우 인증 실패를 터치 스크린(190)에 표시하도록 제어할 수 있다.
이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 휴대 단말(100)이 외부 장치와 연결되도록 한다. 이동통신 모듈(120)은 휴대 단말(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 휴대 단말(100)와 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 등이 포함될 수 있다.
휴대 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 휴대 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)는 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(100)에 포함될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지영상 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))를 포함할 수 있다.
본 발명의 실시 예에 따르면 제1 카메라(151) 및 제2 카메라(152) 중 적어도 어느 하나를 이용하여 지문 인식을 위한 촬영을 수행할 있다. 이를 위해 제1 카메라(151) 및 제2 카메라(152) 중 적어도 어느 하나는 렌즈 제어부(151-1), 렌즈부(151-2), 조명부(151-3), 영상 센서(151-4)를 포함할 수 있다. 본 발명의 실시 예에 서는 제1 카메라(151)가 렌즈 제어부(151-1), 렌즈부(151-2), 조명부(151-3), 영상 센서(151-4)를 포함하는 경우를 예를 들어 설명한다. 그러나 제2 카메라(152)도 상기 렌즈 제어부(151-1), 렌즈부(151-2), 조명부(151-3), 영상 센서(151-4)를 포함할 수 있음은 자명하다.
렌즈 제어부(151-1)는 제어부(110)에 의한 촬영 제어 신호에 응답하여 초점 조절 신호를 출력한다. 렌즈부(151-2)는 초점 조절 신호에 응답하여 내장된 렌즈의 초점을 조절한다. 렌즈부(151-2)는 피사체(미도시)로부터 반사되는 광신호(OPTS)를 투과시킨다. 조명부(151-3)는 제어부(110)에 의한 촬영 제어 신호에 응답하여 온 또는 오프 된다. 조명부(151-3)는 온 될 때, 상기 피사체가 배치될 설정된 위치에 빛을 조사한다. 조명부(151-3)는 온된 상태에서 제어부(110)에 의한 조명 제어 신호에 응답하여 조명 밝기를 조절한다. 영상 센서(151-4)는 렌즈부(151-2)를 투과하여 수신되는 광신호(OPTS)를 상기 영상 신호들로 변환하여 출력한다.
제1 카메라(151)는 상기 휴대 단말(100) 전면에 배치되고, 제2 카메라(152)는 상기 휴대 단말(100)의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라(151)와 제2 카메라(152)는 인접(예, 제1 카메라(151)와 제2 카메라(152)의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지영상 또는 3차원 동영상을 촬영할 수 있다.
GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 휴대 단말(100)까지 전파도달시간(Time of Arrival)을 이용하여 휴대 단말(100)의 위치를 산출할 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166), 이어폰 연결잭(167), 입력 유닛(168) 중 적어도 하나를 포함할 수 있다.
버튼(161)은 상기 휴대 단말(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원버튼(도시되지 아니함), 잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 휴대 단말(100) 외부로 출력할 수 있다. 스피커(163)는 휴대 단말(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 단말(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 휴대 단말(100)은 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 휴대 단말(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 휴대 단말(100)와 외부장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 휴대 단말(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원이 입력되거나 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 휴대 단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 휴대 단말(100)의 성능 또는 구조에 따라 제외될 수 있다.
이어폰 연결잭(Earphone Connecting Jack, 167)에는 이어폰(도시되지 아니함)이 삽입되어 상기 휴대 단말(100)에 연결될 수 있고, 입력 유닛(168)은 스타일러스 펜 등이 될 수 있으며, 휴대 단말(100) 내부에 삽입되어 보관될 수 있고, 사용시에는 상기 휴대 단말(100)로부터 인출 또는 탈착될 수 있다.
센서 모듈(170)은 휴대 단말(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 휴대 단말(100)에 대한 접근여부를 검출하는 근접센서, 휴대 단말(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 휴대 단말(100)의 동작(예, 휴대 단말(100)의 회전, 휴대 단말(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(도시되지 아니함)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 휴대 단말(100)의 성능에 따라 추가되거나 삭제될 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 휴대 단말(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
특히, 저장부(175)는 본 발명의 실시 예에 따라 휴대 단말(100)에서 제공되는 사용자 인터페이스에 관한 정보 등을 포함할 수 있다. 이러한 사용자 인터페이스에 관한 정보는, 적어도 하나 이상의 입력 타입, 적어도 하나 이상의 입력 타입 각각에 따른 입력 등을 포함한다.
'저장부'라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 휴대 단말(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원 공급부(180)는 제어부(110)의 제어에 따라 휴대 단말(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 휴대 단말(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 휴대 단말(100)로 공급할 수 있다.
터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 터치스크린(190)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력 받을 수 있다. 또한, 터치스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다.
특히 본 발명의 실시 예에 따라 터치 스크린(190)은 제어부(110)의 제어 하에 프리뷰 화면을 표시할 수 있고, 제어부(110)의 제어 하에 지문 영역과 특징 추출 영역을 표시할 수 있다. 또한 터치 스크린(190)은 제어부(110)의 제어 하에 지문을 이용한 인증 결과 인증 성공을 나타내는 화면 또는 인증 실패를 나타내는 화면을 표시할 수 있다.
본 발명에서 터치는 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉(예, 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과 검출 가능한 간격이 1 mm 이하)을 포함할 수 있다. 터치스크린(190)에서 검출 가능한 간격은 휴대 단말(100)의 성능 또는 구조에 따라 변경될 수 있다. 터치스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식, 전자기유도(EMR:Electronic Magnetic Resonance) 방식(이하 EMR 방식이라 칭함) 또는 초음파(acoustic wave) 등 다양한 방식으로 구현될 수 있으며, 하나 이상의 방식이 조합되어 구현될 수도 있다.
터치스크린 컨트롤러(195)는 터치스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치에 응답하여 터치스크린(190)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 터치스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.
또한, 제어부(110)는 상기 터치 스크린(190)뿐만 아니라 카메라 모듈(150), 입/출력 모듈(160), 및 센서모듈(170) 등을 통해 수신되는 다양한 사용자 입력을 검출할 수 있다. 상기 사용자 입력은 상기 터치뿐만 아니라, 사용자의 제스쳐, 음성, 눈동자 움직임, 생체신호 등 상기 휴대 단말(100) 내로 입력되는 다양한 형태의 정보를 포함할 수 있다. 제어부(110)는 상기 검출된 사용자 입력에 대응하는 미리 정해진 동작 또는 기능이 휴대 단말(100) 내에서 수행되도록 제어할 수 있다.
도 2는 본 발명의 실시 예에 따른 휴대 단말(100)의 지문을 이용한 인증 동작에 대한 흐름도이다. 도 2를 참조하면, 휴대 단말(100)은 202 동작에서 카메라를 구동하여 온 시킬 수 있다. 휴대 단말(100)은 사용자로부터 카메라 온 요청에 따라 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 온 시킬 수 있다. 본 발명의 실시 예에서는 제1 카메라(151)가 온된 경우를 예를 들어 설명한다. 휴대 단말(100)은 카메라가 온된 상태에서 피사체(미도시)로부터 반사되는 광신호가 렌즈부(151-2)를 통해 투과됨에 따라 프리뷰 영상을 획득하여 터치 스크린(190)을 통해 표시할 수 있다.
휴대 단말(100)은 204 동작에서, 지문 인식 모드인지 판단할 수 있다. 지문 인식 모드가 아니면 휴대 단말(100)은 206동작에서 일반 촬영 동작을 수행할 수 있다. 일반 촬영 동작은 지문 인식을 위한 지문 인식 모드가 아닌 일반 모드에서 피사체를 촬영하는 동작일 수 있다.
휴대 단말(100)은 지문 인식 모드이면 208동작에서 카메라(151-1)의 조명 및 초점을 제어할 수 있다. 이때 휴대 단말(100)은 지문 인식을 위한 손가락 가이드 라인을 표시하고 나서 카메라(151-1)의 조명 및 초점을 제어할 수 있다. 손가락 가이드 라인은 초기 특정 위치, 특정 방향, 특정 크기로 고정될 수 있다.
도 3은 본 발명의 실시 예에 따른 지문 인식을 위한 손가락 가이드 라인 표시 일예도이다. 도 3을 참조하면, 도 3의 (a)와 같이 휴대 단말(100)은 터치 스크린(190) 상에 손가락의 검지 내지 약지가 터치 스크린(190)의 방향과 수평하게 촬영될 수 있도록 하는 제1 손가락 가이드 라인(32)을 표시할 수 있다. 또한 도 3의 (b)와 같이 휴대 단말(100)은 터치 스크린(190) 상에 손가락의 검지 내지 약지가 터치 스크린(190)의 사선 방향과 같이 촬영될 수 있도록 하는 제2 손가락 가이드 라인(34)을 표시할 수 있다. 이 외에도 모든 손가락이 다 촬영될 수 있도록 하거나, 다른 방향으로 촬영될 수 있도록 하는 다른 실시 예에 따른 손가락 가이드 라인들도 얼마든지 가능하다. 이러한 손가락 가이드 라인의 위치 및 방향, 크기를 변경하고자 할 경우 사용자에 의한 화면 터치 또는 버튼입력에 따라 휴대 단말(100)은 손가락 가이드 라인의 위치 및 방향, 크기를 변경할 수 있다. 휴대 단말(100)은 상기한 바와 같은 손가락 가이드 라인을 조명 및 초점 조절 전에 표시할 수도 있고, 지문 인증 또는 지문 등록 시 표시할 수도 있다.
한편, 손가락 가이드 라인은 손가락 이미지 등록 시 카메라를 통해 입력된 손가락 이미지를 프리뷰 영상과 블렌딩하여 표시될 수 있다. 블렌딩 방법은 하기와 같은 [수학식 1]을 이용할 수 있다.
Figure pat00001
상기 수학식 1에서 π값은 블렌딩의 정도를 조절하기 위한 값이고, RImg는 등록 시 얻어진 손가락 이미지이고, PImg는 인증 시 카메라로부터 입력되는 이미지이고, GImg는 RImg와 PImg와 블렌딩되어 화면 프리뷰에 출력되는 이미지일 수 있다.
상기한 바와 같이 손가락 이미지 등록 시 사용된 손가락 이미지를 블렌딩하는 방법을 사용할 경우 각 개인별로 편하게 생각하는 손가락의 방향과 위치, 크기가 반영되어 사용자의 편의성을 높일 수 있다. 또한 블렌딩 방법과 등록 시 영상을 분석하여 배경과 손가락 영역을 분리한 정보를 사용하여 얻어진 손가락 외곽선을 함께 표시해 주는 방법도 사용될 수 있다. 또한 블렌딩 방법을 사용하지 않고 영상을 분석하여 배경과 손가락 영역을 분리한 정보를 사용하여 얻어진 손가락 외곽선만을 표시해 주는 방법이 사용될 수도 있다.
한편, 조명 조절 시 휴대 단말(100)의 조명부(151-3)는 제어부(110)에 의한 제어에 따라 온 또는 오프되며, 온된 상태에서 빛을 조사할 수 있고, 조명 밝기를 미리 정해진 밝기가 되도록 조절할 수 있다. 손가락 지문이 선명한 영상을 획득하기 위해서는 일정 밝기 이상의 조명이 필요하다. 상기 조명은 외부 조명이 아니라 휴대 단말(100)에 장착된 조명을 말하는 것으로, 휴대 단말(100)의 조명이 없이 외부 조명에만 의지해서 지문 영상을 취득할 경우 외부 조명의 밝기, 방향, 각도에 따라서 일정한 선명도의 지문 영상을 취득하기 어려울 수 있다. 또한 휴대 단말(100)에 장착된 조명을 있는 그대로 사용할 경우 그 밝기가 너무 밝아 주위 사람들에게 거부감을 줄 수도 있으며, 지문 영상에 빛 반사가 강하게 나타나 정확한 지문 영상을 얻을 수 없을 수 있다. 따라서 본 발명의 실시 예에서는 지문인식 모드로 카메라(151)가 구동될 경우 주위 사람들에게 거부감을 주지 않으면서 선명한 지문 영상의 취득이 가능한 수준의 밝기로 조명부(153-3)의 밝기를 조절할 수 있다.
또한, 초점 조절 시, 휴대 단말(100)의 렌즈 제어부(151-1)는 제어부(110)에 의한 제어에 따라 렌즈부(151-2)에 초점 조절 신호를 출력할 수 있다. 이때 초점 조절 신호는 프리뷰 영상에서 피사체 예컨대 손가락에 초점이 맞도록 미리 정해진 초점 조절 신호일 수 있다. 렌즈부(151-2)는 초점 조절 신호에 따라 렌즈의 초점을 조절할 수 있다. 이때 렌즈 제어부(151-1)에서는 선명한 지문 영상의 취득이 가능하도록 손가락 영역에 해당하는 관심영역 부분을 중심으로 초점을 자동으로 조정해 준다. 손가락 영역 기반의 자동 초점 조정을 위한 실시 예로, 화면상에 입력된 영상에서 피부색을 중심으로 관심영역을 설정하고 그 관심영역 내의 영상을 분석하여 영상의 선명도가 가장 높은 상태가 되는 방향으로 초점을 조정할 수 있다. 피부색을 이용하는 방법과 학술적으로 잘 알려진 ASM(Active Shape Model), AAM(Active Appearance Model)과 같이 손가락의 Shape 모델을 함께 사용하는 방법을 통하여 전체 영상으로부터 손가락에 해당하는 부분을 찾아 초점을 맞추기 위한 관심영역으로 사용할 수 있다. 또한 도 3의 (a) 및 도 3의 (b) 중 어느 하나 또는 다른 방식의 지문 취득을 위한 가이드 라인이 제공될 경우 가이드 라인 내부의 영상을 분석하여 초점을 조정할 수도 있다.
휴대 단말(100)은 210 동작에서 다중 지문 영상을 획득한다. 예를 들면 휴대 단말(100)은 상기 조명 및 초점이 제어된 상태에서 입력되는 영상으로부터 다중 지문 영상을 획득한다. 상기 다중 지문 영상 획득이란 하나 이상의 손가락으로부터 하나 이상의 지문 영상을 획득하는 것을 말한다. 구체적으로 예를 들면, 휴대 단말(100)은 초점이 자동으로 조정되는 중에 입력되는 영상들로부터 하나의 손가락에 대한 두 개 이상의 영상을 획득할 수 있고, 초점이 자동으로 조정되는 중에 입력되는 영상들로부터 두 개 이상의 손가락에 대한 하나 이상의 영상을 획득할 수 있다. 이때 휴대 단말(100)은 프리뷰 영상에서 손가락 가이드 라인 내의 영상으로부터 하나의 손가락에 대한 두 개 이상의 영상을 획득하거나, 두 개 이상의 손가락에 대한 하나 이상의 영상을 획득할 수 있다.
휴대 단말(100)은 212동작에서 상기 획득한 다중 지문 영상을 전처리할 수 있다. 다중 지문 영상을 전처리 하는 동작은 다중 지문 영상에서 실제 지문 영역을 획득하기 위한 동작이다. 이러한 다중 지문 영상 전처리 동작에 대해 좀더 구체적으로 설명하면, 도 4는 본 발명이 실시 예에 따른 다중 지문 영상 전처리 동작에 대한 흐름도이다.
도 4를 참조하면, 휴대 단말(100)은 410동작에서 다중 지문 영상에서 손가락 영역과 배경 영역을 분리할 수 있다.
휴대 단말(100)은 손가락 영역과 배경 영역을 분리하는 경우 손가락의 형상 모델(Shape model)을 사용할 수 있다. 휴대 단말(100은 손가락의 형상 모델을 이용하여 다중 지문 영상에서 배경 영역과 분리되는 손가락 영역을 검출할 수 있다. 다른 실시 예에 따르면 휴대 단말(100)은 에지(edge) 정보를 이용하여 다중 지문 영상에서 배경 영역과 분리되는 손가락 영역을 검출할 수 있다.
도 5는 본 발명의 실시 예에 따른 에지 정보를 이용하여 검출된 손가락 에지 영상을 나타낸 도면이다. 도 5를 참조하면, 휴대 단말(100)은 미리 정해진 에지 검출기와 손가락 영역의 화소들을 분석하여 손가락의 윤곽선을 세밀하게 검출하고 배경으로부터 손가락 영역을 분리할 수 있다.
손가락 영역이 검출되면, 휴대 단말(100)은 420 동작에서 손가락 영역에서 적어도 하나의 손가락에 대해 손가락 끝점에서 손가락의 첫번째 마디까지의 지문 영역을 검출할 수 있다.
본 발명의 실시 예에 따르면 휴대 단말(100)은 형상(Shape) 정보를 이용하여 지문 영역을 검출할 수도 있고, 피부색과 에지 정보를 이용하여 지문영역을 검출할 수도 있다. 형상 정보를 이용하여 지문 영역을 검출하는 경우 휴대 단말(100)은 미리 정해진 형상에 따라 손가락 영역에서 손끝 점과 손가락 끝점에서 손가락의 첫번째 마디까지의 지문 영역을 검출할 수 있다.
한편, 도 6은 본 발명의 실시 예에 따라 피부색과 에지 정보를 이용하여 지문 영역을 검출하는 경우를 설명하기 위한 도면이다. 도 6을 참조하면, 휴대 단말(100)은 피부색과 에지 정보를 이용하여 지문 영역을 검출하는 경우 손가락 영역(62)에서 에지의 방향성을 분석하여 적어도 하나 이상의 손가락 끝 점들(64-1 내지 64-4)을 검출하고 검출된 적어도 하나 이상의 손가락 끝점들(64-1 내지 64-4)로부터 첫 번째 손가락 마디에 해당하는 지문 영역들(66-1 내지 66-4)을 검출할 수 있다.
지문 영역들(66-1 내지 66-4)을 검출한 후 휴대 단말(100)은 430동작에서 특징 추출 영역을 검출할 수 있다.
도 7은 본 발명의 실시 예에 따른 특징 추출 영역을 나타낸 도면이고, 도 8은 본 발명의 실시 예에 따른 손가락 영상에 검출된 지문 영역들과 특징 추출 영역을 나타낸 도면이다. 도 7 및 도 8을 참조하면, 휴대 단말(100)은 검출된 지문 영역들(66-1 내지 66-4)에서 에지 정보를 기반으로 선명도를 측정하여 지문 특징 정보를 획득하기 위한 적어도 하나 이상의 특징추출 영역들(72-1 내지 72-4)을 검출할 수 있다.
이때 휴대 단말(100)은 에지 정보를 기반으로 선명도를 측정하는데 상기 검출된 지문 영역들(66-1 내지 66-4)에 해당하는 입력 영상의 컬러 정보 각각에서 얻어진 에지 정보들을 활용할 수 있다. 예를 들어 상기 검출된 지문 영역들(66-1 내지 66-4)에 해당하는 입력 영상의 칼라 도메인이 RGB 도메인이라면 R, G, B 각각에서 얻어진 에지 정보를 공통으로 포함하는 영역을 지문 특징 정보 획득을 위한 특징추출 영역으로 설정할 수 있다. 이러한 특징 추출 영역 설정 방법은 에지 정보를 보다 세밀하게 검출할 수 있는 에지 검출기를 사용할 경우 이용될 수 있다. 한편, 에지 정보가 대략적으로 검출되는 에지 검출기를 사용할 경우에는 R, G, B 각각에서 얻어진 에지를 모두 포함하는 영역을 지문 특징 정보 획득을 위한 특징추출 영역으로 설정할 수 있다. 한편, RGB 도메인뿐만 아니라 다른 컬러 도메인에서도 상기 특징 추출 영역 설정 방법이 활용될 수 있다.
휴대 단말(100)은 440 동작에서 지문 영역에서 조명에 의한 빛 반사를 보정한다. 손가락에 땀이 나거나 물기가 있는 경우 조명에 의한 빛 반사가 노이즈로 작용할 수 있기 때문이다.
휴대 단말(100)은 450 동작에서 지문 영역에 대한 사이즈 정규화를 수행할 수 있다. 이는 손가락 영상을 획득할 때 매번 일정한 사이즈의 지문 영역을 획득하기 어렵기 때문이다. 이에 따라 휴대 단말(100)은 지문 영역을 미리 정해진 일정한 사이즈로 조정할 수 있다.
상기한 바와 같은 지문 영상 전처리 동작에 따르면 휴대 단말(100)은 지문 영역 검출 후 특징추출 영역 검출, 조명에 의한 빛 반사 보정, 검출된 지문 영역 사이즈 정규화를 통해 지문 인식을 위한 영상 처리를 수행할 수 있다. 한편, 상기 지문 영상 전처리 동작에서의 각 지문 영역 검출 동작, 특징추출 영역 검출 동작, 조명에 의한 빛 반사 보정 동작, 검출된 지문 영역 사이즈 정규화 동작은 지문인식 시스템의 특성에 따라 그 순서가 서로 바뀔 수 있다.
다시 도 2를 참조하면, 휴대 단말(100)은 지문 영상 전처리 수행 후, 214 동작에서 특징추출 영역을 분석할지 여부를 판단할 수 있다. 예를 들면 휴대 단말(100)은 지문 영상 전처리 결과 검출된 적어도 하나 이상의 특징 추출 영역(72-1 내지 72-4) 각각을 분석할 지 여부를 판단할 수 있다. 이때 휴대 단말(100)은 사이즈가 정규화된 적어도 하나 이상의 지문 영역 각각에 해당하는 적어도 하나 이상의 특징 추출 영역에 대해 그 전체 특징 추출 영역의 크기가 미리 정해진 임계값 t보다 크면 적어도 하나 이상의 특징 추출 영역을 분석하는 것으로 판단할 수 있다. 한편, 전체 특징 추출 영역의 크기가 미리 정해진 임계값 t보다 작으면 적어도 하나 이상의 특징 추출 영역을 분석하지 않는 것으로 판단하고 210 동작으로 되돌아가 다시 다중 지문 영상을 획득할 수 있다.
본 발명의 일 실시 예에 따라 만약, 하나의 손가락에 대해서 두 개 이상의 영상들(예컨대 I1, I2, ..., In)을 다중 지문 영상으로 획득하여 사용하는 경우라면, 각 다중 지문 영상의 지문 영역에 대해서 추출된 특징추출 영역(예컨대 I1_F, I2_F, ..., In_F)이 미리 정해 놓은 임계값 t 보다 크면 특징 추출 영역을 분석하는 것으로 판단할 수 있고, 그렇지 않으면 210 동작으로 회귀하여 다중 지문 영상을 다시 획득할 수 있다. 이러한 본 발명의 실시 예에 따른 특징 추출 영역 분석 여부 판단 동작은 "Next Process = 특징 추출 if I1_F ∪ I2_F ∪ ... ∪ In_F > t, Next Process = 다중 지문 영상 재획득 if I1_F ∪ I2_F ∪ ... ∪ In_F = t" 와 같은 식으로 나타낼 수 있다.
한편, 본 발명의 다른 실시 예에 따르면 두 개 이상의 손가락에 대해서 하나 이상의 영상을 획득하여 다중 지문 영상으로 사용할 수 있다. 두 이상의 손가락에 대해서 하나의 영상을 획득하여 사용하는 경우 두 개 이상의 손가락 영역 각각에서 검출된 특징 추출 영역의 면적의 합이 미리 정해 놓은 임계값 t0 보다 크면 특징 추출 영역을 분석하는 것으로 판단할 수 있고, 그렇지 않으면 210 동작으로 회귀하여 다중 지문 영상을 다시 획득할 수 있다.
예를 들면, 두 개 이상의 손가락 F1, F2, ..., Fn (n은 손가락의 수)에 대해서 두 개 이상의 영상 I1, I2, ..., Im (m은 영상의 수)가 획득되었을 경우 추출된 특징 추출 영역은 Im_Fn으로 표현할 수 있다. 즉 Im_Fn은 m번째 영상에서 n번째 손가락의 특징 추출 영역을 나타낼 수 있다. 이 경우 각 손가락 영역 단위로 특징 추출 영역을 분석할 수 있으며 판단의 기준이 되는 미리 정해 놓은 임계치는 손가락 영역별로 각기 다르게 t1, t2, ..., tn 으로 설정할 수도 있고 동일한 임계값으로서 t1을 사용할 수도 있다. 동일한 임계값으로 t1을 사용할 경우를 예로 들어보면, 각 지문 영역별로 특징 추출 영역들이 임계값 t1을 넘는지를 분석하여 임계값 t1을 넘는 지문 영역이 하나라도 존재하면 임계값 t1을 넘는 지문 영역에 대해서 특징 추출 영역을 분석하는 것으로 판단하고, 임계값 t1을 넘는 지문 영역이 하나도 존재하지 않으면 다중 지문 영상을 다시 획득하는 것으로 판단하게 된다. 손가락 단위가 아닌 영상 단위로 특징 추출 영역을 분석할 수 있는데 이 경우에는 각 영상에서 포함되어있는 특징 추출 영역에 대한 면적의 합이 미리 정해 놓은 임계값 t2 보다 큰 영상이 있는지 분석하여, 임계값 t2를 넘는 영상이 하나라도 존재하면 임계치 t2를 넘는 영상에 대해서 특징 추출 영역을 분석하는 것으로 판단하고, 임계값 t2를 넘는 영상이 하나도 존재하지 않으면 210 동작으로 회귀하여 다중 지문 영상을 다시 획득할 수 있다.
한편, 특징 추출 영역을 분석하는 것으로 판단되면, 휴대 단말(100)은 216 동작에서 특징 추출 영역을 분석하여 특징 정보를 추출할 수 있다. 예를 들면 휴대 단말(100)은 특징 추출 영역에 대해서 융선(ridge)의 끊어지는 단점(endding point) 및 융선이 갈라지는 분기점(bifurcation) 등의 특징 정보를 추출한다.
휴대 단말(100)은 218동작에서 등록 모드인지 인증 모드인지 판단한다. 등록 모드는 특징 정보를 등록하는 모드이고, 인증 모드는 특징 정보를 이용하여 인증을 수행하는 보드이다.
휴대 단말(100)은 등록 모드이면 220 동작에서 상기 추출된 특징 정보와 특징추출 영역 정보를 함께 저장한다. 이때 추출된 특징 정보와 특징 추출 영역 정보를 휴대 단말(100) 내의 저장부(175)에 저장할 수도 있고, 외부 서버(미도시)로 전송하여 외부 서버에 저장되도록 할 수도 있다. 휴대 단말(100)은 이와 같이 특징 정보와 특징추출 영역 정보를 함께 저장함으로써, 불필요한 영역(즉, 특징 추출이 되지 않은 영역)에 대한 저장을 하지 않음으로써, 필요한 저장 공간을 줄일 수 있다.
휴대 단말(100)은 인증 모드이면 222 동작에서 상기 특징 추출 영역과 미리 저장된 사용자의 특징 추출 영역이 공통으로 포함하는 영역 내에서 상기 추출된 특징 정보와 미리 저장된 특징 정보를 비교하여 매칭할 수 있다. 이때 휴대 단말(100)은 매칭 결과, 상기 추출된 특징 정보와 미리 저장된 특징 정보가 미리 정해놓은 임계값 이상 유사하면 인증에 성공한 것으로 판단하고, 미리 정해놓은 임계값 이상 유사하지 않으면 인증이 실패한 것으로 판단한다. 이때 상기 인증 여부를 판단하는 기준이 되는 임계값은 보안의 정도에 따라서 유동적으로 사용자가 변경할 수 있다. 휴대 단말(100)은 매칭 결과를 이용한 인증 실패 또는 인증 성공에 따라 224 동작에서 인증 결과를 표시할 수 있다.
상기한 본 발명의 실시 예들에서는 복수개의 다중 지문 영상을 이용하여 인증을 수행하였지만, 다른 실시 예에 따르면 하나의 손가락에 대해서 하나의 영상을 취득하는 등 단일 지문 영상을 이용하여 인증을 수행할 수도 있다.
또한 상기한 바와 같은 본 발명의 실시 예들에 따르면, 별도의 추가적인 센서를 휴대 단말(100)에 장착하지 않고도 카메라(151)를 이용하여 지문 인식 및 인증을 수행할 수 있기 때문에 휴대 단말(100) 제품의 가격을 낮출 수 있어 사용자에게 제품 가격으로 인한 부담을 줄일 수 있다. 또한 본 발명의 실시 예들에 따르면, 다중 지문 영상을 이용하여 인증을 수행함으로써, 지문 인식 성능을 높일 수 있으므로 사용자에게 편리하고 높은 수준의 보안 서비스를 제공할 수 있다.
본 발명의 다양한 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다.
본 발명의 실시예들에 따른 지문 인식을 이용한 인식 동작에 따른 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 실시 예들에 따른 지문 인식을 이용한 인식 동작에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명의 실시 예들은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 본 발명의 실시예들에 따른 휴대 단말은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 본 발명의 다양한 실시 예들에 따른 지문 인식을 이용한 인식 동작에 따른 방법을 수행하도록 하는 지시들을 포함하는 프로그램을 저장하기 위한 메모리와, 상기 휴대 단말과 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 휴대 단말의 요청 또는 자동으로 해당 프로그램을 상기 통신부를 통하여 전송되도록 제어하는 제어부를 포함할 수 있다.

Claims (16)

  1. 전자 디바이스에 있어서,
    렌즈의 초점을 손가락의 지문 취득 부분을 중심으로 자동 조절하고, 조명 밝기를 주위 조도 환경에 맞게 조절하여 다중 지문 영상을 획득하는 카메라와,
    상기 다중 지문 영상으로부터 손가락 영역과 배경을 분리하여 적어도 하나 이상의 지문 영역에서 특징 추출 영역을 검출하고, 상기 특징 추출 영역에서 특징 정보를 추출하여 인증을 수행하는 제어부를 포함하는 것을 특징으로 하는 전자 디바이스.
  2. 제1항에 있어서,
    상기 인증 수행 결과 인증 성공 및 인증 실패 중 어느 하나를 표시하는 표시부를 더 포함하는 것을 특징으로 하는 전자 디바이스.
  3. 제2항에 있어서, 상기 표시부는
    상기 다중 지문 영상을 획득하기 위한 손가락 가이드를 표시하는 것을 특징으로 하는 전자 디바이스.
  4. 제1항에 있어서, 상기 제어부는,
    상기 적어도 하나 이상의 손가락 영역에 대해 조명에 의한 빛 반사를 보정하는 것을 특징으로 하는 전자 디바이스.
  5. 제1항에 있어서, 상기 제어부는,
    상기 적어도 하나 이상의 지문 영역 각각의 사이즈를 정규화 하는 것을 특징으로 하는 전자 디바이스.
  6. 제 1항에 있어서, 상기 제어부는,
    상기 특징 추출 영역에서 상기 특징 정보를 추출하여 등록을 수행하는 것을 특징으로 하는 전자 디바이스.
  7. 제1항에 있어서, 상기 제어부는,
    상기 특징 추출 영역의 분석 여부를 판단하여 상기 특징 추출 영역이 지문인식에 적합한 것으로 판단되면 상기 특징 정보를 추출하고, 상기 특징 추출 영역이 지문인식에 부적합한 것으로 판단되면 상기 다중 지문 영상을 다시 획득하는 것을 특징으로 하는 전자 디바이스.
  8. 제7항에 있어서, 상기 제어부는,
    상기 적어도 하나 이상의 지문 영역 각각의 특징 추출 영역에 대해 그 전체 특징 추출 영역의 크기가 미리 정해진 임계값보다 크면 적어도 하나 이상의 특징 추출 영역이 적합한 것으로 판단하고, 전체 특징 추출 영역의 크기가 미리 정해진 임계값보다 작으면 적어도 하나 이상의 특징 추출 영역이 부적합한 것으로 판단하고 상기 다중 지문 영상을 다시 획득하는 것을 특징으로 하는 전자 디바이스.
  9. 전자 디바이스에서 인증 방법에 있어서,
    렌즈의 초점을 지문 손가락의 지문취득 부분을 중심으로 자동 조절하는 동작과,
    조명 밝기를 주위 조도 환경에 맞게 조절하는 동작과,
    다중 지문 영상을 획득하는 동작과,
    상기 다중 지문 영상으로부터 손가락 영역과 배경을 분리하여 적어도 하나 이상의 지문 영역과 적어도 하나 이상의 지문 영역 각각에서의 특징 추출 영역을 검출하는 동작과,
    상기 특징 추출 영역 각각에서 특징 정보를 추출하는 동작과,
    상기 특징 정보를 미리 저장된 특징 정보와 매칭하여 인증을 수행하는 동작을 포함하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    상기 인증 수행 결과 인증 성공 및 인증 실패 중 어느 하나를 표시하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  11. 제9항에 있어서,
    상기 다중 지문 영상을 회득하기 위한 손가락 가이드를 표시하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  12. 제9항에 있어서,
    상기 적어도 하나 이상의 손가락 영역에 대해 조명에 의한 빛 반사를 보정하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  13. 제9항에 있어서,
    상기 적어도 하나 이상의 지문 영역 각각의 사이즈를 정규화하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  14. 제9항에 있어서,
    상기 특징 추출 영역에서 상기 특징 정보를 추출하여 등록을 수행하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  15. 제9항에 있어서,
    상기 특징 추출 영역의 분석 여부를 판단하여 상기 특징 추출 영역이 지문인식에 적합한 것으로 판단되면 상기 특징 정보를 추출하고, 상기 특징 추출 영역이 지문인식에 부적합한 것으로 판단되면 상기 다중 지문 영상을 다시 획득하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  16. 제15항에 있어서, 상기 동작은
    상기 적어도 하나 이상의 지문 영역 각각의 특징 추출 영역에 대해 그 전체 특징 추출 영역의 크기가 미리 정해진 임계값보다 크면 적어도 하나 이상의 특징 추출 영역이 적합한 것으로 판단하고, 전체 특징 추출 영역의 크기가 미리 정해진 임계값보다 작으면 적어도 하나 이상의 특징 추출 영역이 적합하지 않은 것으로 판단하고 상기 다중 지문 영상을 다시 획득하는 것을 특징으로 하는 방법.
KR1020130076422A 2013-07-01 2013-07-01 전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법 KR20150003501A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130076422A KR20150003501A (ko) 2013-07-01 2013-07-01 전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130076422A KR20150003501A (ko) 2013-07-01 2013-07-01 전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법

Publications (1)

Publication Number Publication Date
KR20150003501A true KR20150003501A (ko) 2015-01-09

Family

ID=52476194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130076422A KR20150003501A (ko) 2013-07-01 2013-07-01 전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법

Country Status (1)

Country Link
KR (1) KR20150003501A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101596298B1 (ko) * 2015-03-20 2016-02-24 이상훈 스마트폰을 활용한 비접촉식 지문인식방법
KR20160146081A (ko) * 2015-06-11 2016-12-21 삼성전자주식회사 생체 정보를 포함하는 영상의 전 처리 방법
CN106845407A (zh) * 2017-01-19 2017-06-13 深圳市百通信息技术有限公司 手机摄像头多指纹同步提取方法及系统
KR20170134356A (ko) * 2015-02-06 2017-12-06 베리디움 아이피 리미티드 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법
US10657347B2 (en) 2017-05-22 2020-05-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for capturing fingerprint and associated products
US10896313B2 (en) 2018-07-04 2021-01-19 Samsung Electronics Co., Ltd. Methods and devices for recognizing fingerprint
WO2023101202A1 (ko) * 2021-12-02 2023-06-08 (주)위닝아이 사용자의 이용이 편리한 비접촉식 지문인증방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170134356A (ko) * 2015-02-06 2017-12-06 베리디움 아이피 리미티드 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법
KR101596298B1 (ko) * 2015-03-20 2016-02-24 이상훈 스마트폰을 활용한 비접촉식 지문인식방법
WO2016153209A3 (ko) * 2015-03-20 2016-11-17 (주)위닝아이 스마트폰을 활용한 비접촉식 지문인식방법
US10922512B2 (en) 2015-03-20 2021-02-16 Winningi Co., Ltd. Contactless fingerprint recognition method using smartphone
KR20160146081A (ko) * 2015-06-11 2016-12-21 삼성전자주식회사 생체 정보를 포함하는 영상의 전 처리 방법
CN106845407A (zh) * 2017-01-19 2017-06-13 深圳市百通信息技术有限公司 手机摄像头多指纹同步提取方法及系统
US10657347B2 (en) 2017-05-22 2020-05-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for capturing fingerprint and associated products
US10896313B2 (en) 2018-07-04 2021-01-19 Samsung Electronics Co., Ltd. Methods and devices for recognizing fingerprint
WO2023101202A1 (ko) * 2021-12-02 2023-06-08 (주)위닝아이 사용자의 이용이 편리한 비접촉식 지문인증방법

Similar Documents

Publication Publication Date Title
US9870086B2 (en) Electronic device and method for unlocking in the electronic device
KR20150003501A (ko) 전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법
CN110222789B (zh) 图像识别方法及存储介质
US20110157009A1 (en) Display device and control method thereof
KR102090956B1 (ko) 지문 인식 방법 및 이를 위한 장치
CN108495045B (zh) 图像拍摄方法、装置、电子装置以及存储介质
KR20160071887A (ko) 이동단말기 및 그것의 제어방법
KR20160001263A (ko) 이동 단말기 및 이의 제어 방법
US20140204237A1 (en) User terminal and image processing method for recognizing user in user terminal
KR102090948B1 (ko) 대화 기록 장치 및 그 방법
CN112907725A (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN110096865B (zh) 下发验证方式的方法、装置、设备及存储介质
KR20150130188A (ko) 지문 인식을 이용한 휴대 단말장치의 제어 방법 및 그 휴대 단말 장치
WO2017140109A1 (zh) 压力检测方法和装置
US20170090603A1 (en) Mobile terminal and method for controlling the same
CN109284591B (zh) 人脸解锁方法及装置
KR20190135794A (ko) 이동 단말기
US20120206348A1 (en) Display device and method of controlling the same
CN111652624A (zh) 购票处理方法、检票处理方法、装置、设备及存储介质
US20110163954A1 (en) Display device and control method thereof
CN113095163B (zh) 视频处理方法、装置、电子设备和存储介质
CN113592874B (zh) 图像显示方法、装置和计算机设备
CN109426758A (zh) 皮肤特征信息的采集方法及装置、计算机可读存储介质
KR102084161B1 (ko) 이미지를 보정하는 전자 장치 및 그 제어 방법
KR20160087266A (ko) 이동단말기 및 그것의 제어방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid