KR101956071B1 - 사용자 인증 방법 및 장치 - Google Patents

사용자 인증 방법 및 장치 Download PDF

Info

Publication number
KR101956071B1
KR101956071B1 KR1020150005971A KR20150005971A KR101956071B1 KR 101956071 B1 KR101956071 B1 KR 101956071B1 KR 1020150005971 A KR1020150005971 A KR 1020150005971A KR 20150005971 A KR20150005971 A KR 20150005971A KR 101956071 B1 KR101956071 B1 KR 101956071B1
Authority
KR
South Korea
Prior art keywords
authentication
image
images
input image
user
Prior art date
Application number
KR1020150005971A
Other languages
English (en)
Other versions
KR20160087167A (ko
Inventor
서성주
최창규
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150005971A priority Critical patent/KR101956071B1/ko
Priority to US14/966,012 priority patent/US9798871B2/en
Publication of KR20160087167A publication Critical patent/KR20160087167A/ko
Application granted granted Critical
Publication of KR101956071B1 publication Critical patent/KR101956071B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2129—Authenticate client device independently of the user

Abstract

사용자 인증 방법 및 장치가 개시된다. 일 실시예에 따른 방법은 입력 영상에 기초하여 선택된 적어도 하나의 기 인증 영상에 기초하여 인증용 영상을 생성하는 단계, 및 생성된 인증용 영상에 기초하여 인증을 수행하는 단계를 포함한다.

Description

사용자 인증 방법 및 장치{METHOD AND APPARATUS FOR VERIFYING A USER}
아래 실시예들은 사용자 인증 방법 및 장치에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품이 사용되고, 전자 제품에서 제공되는 서비스의 종류 역시 매우 다양해지고 있다. 이에 따라, 사용자에 따라서 서비스를 제한적으로 제공하여야 하는 경우가 발생하며, 사용자 인증을 통하여 인증된 특정 사용자만이 서비스를 이용할 수 있도록 하는 기술에 대한 필요성이 대두되었다.
종래에는 패스워드 입력 방식으로 사용자 인증이 수행되었다. 하지만, 이러한 방식은 사용자가 항상 패스워드를 숙지하여야 하며, 패스워드가 한번 유출되면 사용 권한이 없는 사용자도 인증 받을 수 있다는 위험성이 있었다.
이에 따라, 얼굴 인식 기술을 이용하여 사용자를 인증하고자 하는 연구가 이루어지고 있다. 하지만, 종래의 얼굴 인식 기술은 사용자를 정확하게 인증하기 어렵다는 한계가 있다. 특히, 사용자가 선글라스, 안경, 마스크 등을 착용함으로써 사용자의 얼굴 일부가 가려지는 경우, 얼굴 인식의 정확도가 현저하게 감소되는 문제가 발생된다.
일 측에 따른 인증 방법은 입력 영상을 수신하는 단계; 상기 입력 영상에 기초하여, 기 인증 영상들 중 적어도 하나를 선택하는 단계; 상기 선택된 적어도 하나의 기 인증 영상에 기초하여, 인증용 영상을 생성하는 단계; 및 상기 인증용 영상에 기초하여, 인증을 수행하는 단계를 포함한다. 상기 입력 영상은 일부가 가려진 얼굴을 포함할 수 있다.
상기 선택하는 단계는 상기 입력 영상과 선택되는 기 인증 영상들 사이의 유사도와 관련된 제1 요소 및 상기 선택되는 기 인증 영상들의 수와 관련된 제2 요소에 기초하여, 상기 선택되는 기 인증 영상들을 위한 가중치들을 결정하는 단계를 포함할 수 있다. 상기 생성하는 단계는 상기 기 인증 영상들을 위한 가중치들에 기초하여, 상기 기 인증 영상들의 특징 값들을 가중 합산하는 단계를 포함할 수 있다.
상기 인증을 수행하는 단계는 등록 영상과 상기 인증용 영상을 비교하여 제1 비교 결과를 생성하는 단계; 및 상기 입력 영상과 상기 인증용 영상을 비교하여 제2 비교 결과를 생성하는 단계 중 적어도 하나를 포함할 수 있다. 상기 인증을 수행하는 단계는 상기 제1 비교 결과 및 상기 제2 비교 결과 중 적어도 하나에 기초하여, 인증 여부를 판단하는 단계를 더 포함할 수 있다.
다른 일 측에 따른 인증 장치는 사용자의 얼굴을 포함하는 입력 영상을 수신하는 수신부; 데이터베이스에 저장된 기 인증 영상들 및 타인 영상들 중 선택된 적어도 일부의 영상들을 이용하여 상기 입력 영상에 대응하는 인증용 영상을 생성하는 생성부; 및 상기 인증용 영상에 기초하여, 상기 사용자를 인증하는 인증부를 포함한다.
상기 생성부는 상기 입력 영상과 상기 적어도 일부의 영상들 사이의 유사도와 관련된 제1 요소 및 상기 적어도 일부의 영상들의 수와 관련된 제2 요소에 기초하여, 상기 적어도 일부의 영상들을 선택할 수 있다. 상기 생성부는 상기 인증용 영상을 생성하기 위하여, 선택된 기 인증 영상들 및 선택된 타인 영상들 중 상기 선택된 기 인증 영상들의 특징 값들을 가중 합산할 수 있다.
도 1은 일 실시예에 따른 인증 장치의 동작을 설명하는 도면.
도 2는 일 실시예에 따른 등록 영상 및 가려짐 영상을 비교하는 도면.
도 3은 일 실시예에 따른 인증 장치를 나타낸 블록도.
도 4는 일 실시예에 따른 입력 영상을 벡터로 변환하는 동작을 설명하는 도면.
도 5는 일 실시예에 따른 기 인증 영상들을 매트릭스로 변환하는 동작을 설명하는 도면.
도 6은 일 실시예에 따른 사용자의 얼굴 공간에 따라 기 인증 영상들이 선택되는 동작을 설명하는 도면.
도 7은 일 실시예에 따른 인증용 영상을 생성하는 동작을 설명하는 도면.
도 8은 일 실시예에 따른 사용자의 얼굴 공간에 따라 인증을 수행하는 동작을 설명하는 도면.
도 9는 일 실시예에 따른 인증용 영상, 등록 영상, 및 입력 영상을 비교하는 동작을 설명하는 도면.
도 10은 일 실시예에 따른 유사도와 복원 오차를 이용하여 인증을 수행하는 동작을 나타낸 동작 흐름도.
도 11은 실시예들에 따른 인증 결과를 설명하는 도면.
도 12는 영상 데이터베이스에 저장된 기 인증 영상들 및 타인의 영상들을 이용하는 실시예를 설명하는 도면.
도 13 및 도 14는 실시예들에 따른 인증 방법을 나타낸 동작 흐름도들.
도 15는 일 실시예에 따른 인증 장치의 구체적인 구성들을 설명하는 블록도.
도 16은 일 실시예에 따른 전자 시스템을 나타내는 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 사용자 얼굴을 인증하는 데 사용될 수 있다. 실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.
도 1은 일 실시예에 따른 인증 장치의 동작을 설명하는 도면이다. 도 1을 참조하면, 일 실시예에 따른 인증 장치(110)는 사용자(120)를 인증한다. 인증 장치(110)는 사용자(120)가 기 등록된 사용자인지 여부를 판단할 수 있다. 인증 장치(110)는 사용자(120)를 촬영한 입력 영상과 등록 영상(130)을 이용하여 사용자(120)의 얼굴을 인증할 수 있다.
인증 장치(110)는 비전 센서 등을 이용하여 사용자(120)를 직접 촬영함으로써 입력 영상을 생성할 수 있고, 경우에 따라 유무선으로 연결된 외부기기로부터 사용자(120)를 촬영한 입력 영상을 수신할 수도 있다. 등록 영상(130)은 기 등록된 사용자의 얼굴을 포함한다. 인증 장치(110)는 등록 영상(130)을 메모리 등 미리 구비된 저장 공간에 저장할 수 있다. 경우에 따라, 등록 영상(130)은 서버에 저장되고, 인증 장치(110)의 요청에 따라 서버로부터 인증 장치(110)로 전송될 수도 있다. 인증 장치(110)는 입력 영상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역을 정규화할 수 있다. 이하, 입력 영상은 정규화된 얼굴 영역을 지칭할 수 있다.
사용자(120)는 선글라스, 안경, 마스크, 헤어 밴드 등을 착용할 수 있다. 이 경우, 선글라스, 안경, 마스크, 헤어 밴드 등으로 인하여 사용자(120)의 얼굴 중 일부가 가려질 수 있다. 사용자(120)의 얼굴 중 일부가 가려지는 경우, 입력 영상과 등록 영상의 단순 비교만으로는 사용자(120)가 기 등록 사용자와 동일 인물인지 여부를 판단하기 어렵다.
예를 들어, 도 2를 참조하면, 기 등록 사용자가 선글라스를 쓰고 있는 경우, 인증 장치(110)는 제1 입력 영상(210)을 획득할 수 있다. 선글라스로 인하여 눈 주변 부위가 가려지므로, 인증 장치(110)는 제1 입력 영상(210)에 포함된 사용자와 등록 영상(130)에 포함된 사용자가 서로 일치하는지 여부를 판단하기 어렵다. 또는, 타인이 선글라스를 쓰고 있는 경우, 인증 장치(110)는 제2 입력 영상(220)을 획득할 수 있다. 선글라스로 인하여 눈 주변 부위가 가려지므로, 인증 장치(110)는 제2 입력 영상(220)에 포함된 사용자와 등록 영상(130)에 포함된 사용자가 서로 다른지 여부를 판단하기 어렵다.
입력 영상 내 얼굴 영역에 존재하는 가려짐(occlusion)으로 인하여, 동일 인물간의 변화를 나타내는 인트라-클래스 변화(Intra-class variations)가 타인간의 변화를 나타내는 인터-클래스 변화(Inter-class variations)보다 커질 수도 있다. 이처럼 입력 영상 내 얼굴 영역에 가려짐(occlusion)이 존재하는 경우, 얼굴 인식 성능이 감소된다.
인증 장치(110)는 영상 데이터베이스(140)에 저장된 영상들을 이용하여 인증용 영상을 생성함으로써, 입력 영상에 가려짐이 존재하는 경우에도 사용자(120)를 인증하는 기술을 제공할 수 있다. 일 예로, 영상 데이터베이스(140)는 기 인증 영상들을 저장할 수 있다. 기 인증 영상들은 사전에 인증에 성공한 기 등록 사용자의 영상들일 수 있다. 기 인증 영상들은 가려짐을 포함하지 않을 수 있다. 등록 영상(130)도 영상 데이터베이스(140)에 저장된 기 인증 영상들 중 하나로 이용될 수 있다.
인증 장치(110)는 영상 데이터베이스(140)에 저장된 기 인증 영상들 중 사용자(120)를 촬영한 입력 영상에 대응하는 최적의 영상들을 선택할 수 있다. 인증 장치(110)는 선택된 영상들을 조합함으로써, 인증용 영상을 생성할 수 있다. 기 인증 영상들은 가려짐을 포함하지 않으므로, 인증용 영상도 가려짐을 포함하지 않을 수 있다. 인증 장치(110)는 이전 인증에 성공한 영상들을 이용하여 가려짐이 없는 인증용 영상을 복원할 수 있다.
인증 장치(110)는 인증용 영상을 등록 영상(130)과 비교함으로써, 사용자(120)를 인증할 수 있다. 또한, 인증 장치(110)는 인증 성능을 향상시키기 위하여, 인증용 영상을 입력 영상과도 비교할 수 있다. 인증 장치(110)는 가려짐이 없는 인증용 영상을 복원한 뒤, 인증용 영상을 등록 영상(130) 또는 입력 영상과 비교하므로, 정보 손실 없이 얼굴 인증을 수행할 수 있다.
다른 예로, 영상 데이터베이스(140)는 기 인증 영상들뿐 아니라, 타인 영상들을 더 저장할 수 있다. 이 경우, 인증 장치(110)는 기 인증 영상들 및 타인 영상들을 이용하여 인증용 영상을 생성할 수 있다. 인증 장치(110)는 인증용 영상을 생성하기 위하여 타인 영상이 선택되었는지 여부에 기초하여, 사용자(120)를 인증할 수 있다.
영상 데이터베이스(140)는 지속적으로 업데이트될 수 있다. 예를 들어, 인증 장치(110)는 입력 영상에 가려짐이 존재하는지 여부를 판단할 수 있다. 입력 영상에 가려짐이 존재하지 않는다고 판단되면, 인증 장치(110)는 인증용 영상을 별도로 생성하지 않고 입력 영상과 등록 영상(130)를 비교할 수 있다. 비교 결과 인증에 성공하는 경우, 인증 장치(110)는 입력 영상을 기 인증 영상으로 영상 데이터베이스(140)에 저장할 수 있다. 비교 결과 인증에 실패하는 경우, 인증 장치(110)는 입력 영상을 타인 영상으로 영상 데이터베이스(140)에 저장할 수 있다.
도 3은 일 실시예에 따른 인증 장치를 나타낸 블록도이다. 도 3을 참조하면, 일 실시예에 따른 인증 장치(110)는 선택부(111), 생성부(112), 및 인증부(113)를 포함한다. 선택부(111)는 입력 영상을 수신한다. 입력 영상은 사용자를 촬영한 영상으로, 사용자가 착용한 선글라스, 안경, 마스크, 헤어 밴드 등으로 인하여 일부가 가려진 얼굴을 포함하는 영상일 수 있다.
선택부(111)는 수신된 입력 영상에 기초하여 영상 데이터베이스(140)에 저장된 기 인증 영상들 중 적어도 하나를 선택한다. 기 인증 영상들은 사전에 인증에 성공한 기 등록 사용자의 얼굴을 포함하는 영상들이다. 기 인증 영상들은 가려짐을 포함하지 않을 수 있다. 일 예로, 기 등록 사용자가 선글라스, 안경, 마스크, 헤어 밴드 등을 착용하지 않은 상태에서 인증을 시도하는 경우, 영상 데이터베이스(140)가 업데이트될 수 있다.
선택부(111)는 입력 영상과 선택되는 기 인증 영상들 사이의 유사도와 관련된 제1 요소 및 선택되는 기 인증 영상들의 수와 관련된 제2 요소에 기초하여, 영상 데이터베이스(140)에 저장된 기 인증 영상들 중 적어도 하나를 선택할 수 있다. 예를 들어, 선택부(111)는 수학식 1을 이용하여, 선택된 기 인증 영상들의 가중치들을 결정할 수 있다.
Figure 112015003383108-pat00001
여기서,
Figure 112015003383108-pat00002
는 제1 요소에 해당한다. 제1 요소는 복원 에러를 감소시키기 위한 요소일 수 있다. y는 입력 영상에 해당하는 벡터이다. 도 4를 참조하면, 입력 영상(410)은 벡터(420)로 변환될 수 있다. 예를 들어, 입력 영상(410) 내 2차원으로 배치된 픽셀 값들이 미리 정해진 경로(411)를 따라 1차원으로 선형화됨으로써, 입력 영상(410)은 벡터(420)로 변환될 수 있다. 또는, 입력 영상(410)은 미리 정해진 크기의 블록들로 분할되고, 블록들로부터 추출된 특징 값들이 벡터(420)의 원소들로 포함될 수 있다. 각 블록으로부터 추출되는 특징으로 블록 내 픽셀 값들의 평균, 로컬 바이너리 패턴(local binary patter, LBP) 특징 등이 이용될 수 있다.
D는 기 인증 영상들에 해당하는 매트릭스이다. 도 5를 참조하면, 복수의 기 인증 영상들(510)은 매트릭스(520)로 변환될 수 있다. 예를 들어, 제1 기 인증 영상(511)은 제1 벡터(521)로 변환되고, 제2 기 인증 영상(512)은 제2 벡터(522)로 변환되며, 제n 기 인증 영상(513)은 제n 벡터(523)로 변환될 수 있다. 매트릭스(520)는 제1 벡터(521) 내지 제n 벡터(523)를 포함할 수 있다.
x는 기 인증 영상들을 위한 가중치들에 해당하는 벡터일 수 있다. x는 선형 조합 계수일 수 있다. x에 포함된 각 원소들은 매트릭스 D에 포함된 각 벡터들에 대응할 수 있다. 선택부(111)는 기 인증 영상들에 해당하는 매트릭스 D와 가중치들에 해당하는 벡터 x를 곱한 결과가 입력 영상에 해당하는 벡터 y와 유사해지도록, 가중치들에 해당하는 벡터 x를 결정할 수 있다.
또한,
Figure 112015003383108-pat00003
는 제2 요소에 해당한다. 제2 요소는 선택되는 기초(basis) 영상들의 수를 감소시키기 위한 요소일 수 있다.
Figure 112015003383108-pat00004
는 스칼라 계수(scalar coefficient)로, 제1 요소와 제2 요소 사이의 상대적 비중을 결정할 수 있다.
Figure 112015003383108-pat00005
는 가중치들에 해당하는 벡터 x 내 0이 아닌 원소들의 수일 수 있다. 선택부(111)는 선택되지 않은 기 인증 영상들의 가중치들을 0으로 결정할 수 있다. 선택부(111)는 선택되는 기 인증 영상들의 수가 적어지도록, 가중치들에 해당하는 벡터 x를 결정할 수 있다.
선택부(111)는 제1 요소와 제2 요소의 합이 최소가 되도록 하는 벡터 x를 결정할 수 있다. 이 경우, 수학식 1의 우변을 만족하는 x가 최종 가중치들에 해당하는 벡터
Figure 112015003383108-pat00006
로 결정될 수 있다.
수학식 1에 따르면, 선택부(111)는 최소한의 기 인증 영상들의 조합으로 입력 영상과 유사한 영상이 생성되도록 기 인증 영상들을 선택할 수 있다. 도 6을 참조하면, 동일한 사용자의 얼굴들이 존재하는 공간은 해당 사용자의 얼굴 공간이라고 지칭될 수 있다. 동일한 사용자의 얼굴이더라도 상이한 표정, 상이한 각도, 상이한 조명 등으로 인하여 상이하게 보일 수 있다. 반면, 상이한 사용자의 얼굴이더라도 동일한 표정, 동일한 각도, 동일한 조명 등으로 인하여 유사하게 보일 수 있다. 설명의 편의를 위하여, 도 6은 사용자의 얼굴 공간을 2차원 평면 상에서 표현하였으나, 사용자의 얼굴 공간은 복수 차원의 공간 상에 표현될 수 있다.
제1 사용자가 기 등록 사용자이고 제2 사용자는 타인인 경우를 가정하면, 기 등록 영상들은 제1 사용자의 얼굴 공간(610)에 존재하는 복수의 영상들(611 내지 617)일 수 있다. 일 예로, 입력 영상으로 제1 사용자의 가려짐 영상(630)이 수신되는 경우, 선택부(111)는 최소한의 기 인증 영상들의 조합으로 입력 영상과 유사한 영상이 생성되도록 제3 기 인증 영상(613)과 제4 기 인증 영상(614)을 선택할 수 있다. 제1 사용자의 가려짐 영상(630)은 선글라스, 안경, 마스크, 헤어 밴드 등으로 인하여 얼굴의 일부가 가려진 제1 사용자를 촬영한 영상이다.
다른 예로, 입력 영상으로 제2 사용자의 가려짐 영상(640)이 수신되는 경우, 선택부(111)는 제2 기 인증 영상(612)과 제5 기 인증 영상(615)을 선택할 수 있다. 제2 사용자의 가려짐 영상(640)은 선글라스, 안경, 마스크, 헤어 밴드 등으로 인하여 얼굴의 일부가 가려진 제2 사용자를 촬영한 영상이다.
생성부(112)는 선택된 적어도 하나의 기 인증 영상에 기초하여 인증용 영상을 생성한다. 예를 들어, 생성부(112)는 선택부(111)에 의하여 결정된 기 인증 영상들을 위한 가중치들에 기초하여, 선택된 기 인증 영상들의 특징 값들을 가중 합산할 수 있다.
도 7을 참조하면, 매트릭스(720)는 영상 데이터베이스(140)에 저장된 복수의 기 인증 영상들에 대응한다. 매트릭스(720)는 기 인증 영상들에 해당하는 벡터들(721 내지 723)을 포함할 수 있다. 벡터(730)는 선택부(111)에 의하여 결정된 가중치들에 대응한다. 벡터(730)는 기 인증 영상들을 위한 가중치들에 해당하는 원소들(731 내지 733)을 포함한다. 선택부(111)는 매트릭스(720)와 벡터(730)를 곱함으로써, 인증용 영상에 해당하는 벡터(710)를 생성할 수 있다.
인증부(113)는 생성된 인증용 영상에 기초하여, 인증을 수행한다. 기 등록 사용자의 얼굴 일부가 가려진 입력 영상이 수신되는 경우, 생성되는 인증용 영상은 기 등록 사용자의 얼굴 공간 상에 존재할 수 있다. 또한, 생성되는 인증용 영상과 입력 영상 사이의 오차는 작을 수 있다. 기 등록 사용자의 얼굴 일부가 가려지더라도 영상 데이터베이스에 저장된 기 등록 사용자의 기 인증 영상들 각각은 기 등록 사용자의 얼굴을 표현하기 때문이다. 이 경우, 생성되는 인증용 영상은 가려짐이 존재하는 입력 영상과 유사한 형태의 기 등록 사용자의 얼굴을 표현할 수 있다.
반면, 타인의 얼굴 일부가 가려진 입력 영상이 수신되는 경우, 생성되는 인증용 영상은 기 등록 사용자의 얼굴 공간 상에 존재하지 않을 수 있다. 또한, 생성되는 인증용 영상과 입력 영상 사이의 오차는 클 수 있다. 영상 데이터베이스에 저장된 기 등록 사용자의 기 인증 영상들은 타인의 얼굴을 표현하지 않기 때문이다.
인증부(113)는 생성된 인증용 영상이 기 등록 사용자의 얼굴 공간 상에 존재하는지 여부에 기초하여, 인증을 수행할 수 있다. 도 8을 참조하면, 제1 사용자가 기 등록 사용자이고 입력 영상이 제1 사용자의 가려짐 영상(630)인 경우, 제3 기 인증 영상(613)과 제4 기 인증 영상(614)이 선택될 수 있다. 제3 기 인증 영상(613)과 제4 기 인증 영상(614)의 조합으로 생성되는 인증용 영상(810)은 제1 사용자의 얼굴 공간 상에 존재할 수 있다.
인증부(113)는 인증용 영상(810)이 제1 사용자의 얼굴 공간 상에 존재하는지 여부를 판단하고, 인증용 영상(810)이 제1 사용자의 얼굴 공간 상에 존재한다는 판단에 따라 인증에 성공했다고 판단할 수 있다. 예를 들어, 인증부(113)는 인증용 영상(810)과 등록 영상(830) 사이의 거리를 계산할 수 있다. 여기서, 거리는 제1 사용자의 얼굴 공간을 표현하는 곡선에 기반한 거리일 수 있다. 등록 영상(830)은 제1 사용자의 얼굴 공간 상에 위치하고, 인증용 영상(810)은 제1 사용자의 얼굴 공간을 표현하는 곡선과 인접한 지점에 위치한다. 이 경우, 인증용 영상(810)과 등록 영상(830) 사이의 거리는 인증용 영상(810)이 제1 사용자의 얼굴 공간 상에 존재한다고 판단되기에 충분히 작은 값으로 계산될 수 있다.
반면, 입력 영상이 제2 사용자의 가려짐 영상(640)인 경우, 제2 기 인증 영상(612)과 제5 기 인증 영상(615)이 선택될 수 있다. 제2 기 인증 영상(612)과 제5 기 인증 영상(615)의 조합으로 생성된 인증용 영상(820)은 제1 사용자의 얼굴 공간 상에 존재하지 않을 수 있다. 인증부(113)는 인증용 영상(820)이 제1 사용자의 얼굴 공간 상에 존재하는지 여부를 판단하고, 인증용 영상(820)이 제1 사용자의 얼굴 공간 상에 존재하지 않는다는 판단에 따라 인증에 실패했다고 판단할 수 있다. 예를 들어, 인증부(113)는 인증용 영상(820)과 등록 영상(830) 사이의 거리를 계산할 수 있다. 여기서, 거리는 제1 사용자의 얼굴 공간을 표현하는 곡선에 기반한 거리일 수 있다. 인증용 영상(820)은 제1 사용자의 얼굴 공간을 표현하는 곡선으로부터 일정 거리 이상 떨어진 지점에 위치할 수 있다. 이 경우, 인증용 영상(820)과 등록 영상(830) 사이의 거리는 인증용 영상(820)이 제1 사용자의 얼굴 공간 상에 존재하지 않는다고 판단되기에 충분히 큰 값으로 계산될 수 있다.
인증부(113)는 인증용 영상과 등록 영상 사이의 제1 비교 결과 및/또는 인증용 영상과 입력 영상 사이의 제2 비교 결과에 기초하여, 인증용 영상이 기 등록 사용자의 얼굴 공간 상에 존재하는지 여부를 판단할 수 있다. 예를 들어, 도 9를 참조하면, 인증부(113)는 인증용 영상(910)과 등록 영상(920)을 비교하여 제1 비교 결과(940)를 생성할 수 있다. 예를 들어, 인증부(113)는 인증용 영상(910)의 픽셀과 등록 영상(920)의 대응 픽셀을 비교함으로써, 인증용 영상(910)과 등록 영상(920) 사이의 유사도를 계산할 수 있다. 여기서, 등록 영상(920)의 대응 픽셀의 좌표와 인증용 영상(910)의 픽셀의 좌표는 서로 대응될 수 있다. 또는, 인증부(113)는 인증용 영상(910)을 복수의 블록들로 분할하고, 분할된 블록들 각각의 특징과 등록 영상(920)의 대응 특징을 비교할 수도 있다.
인증부(113)는 제1 비교 결과(940)를 생성하기 위하여, 다양한 유형의 거리를 이용할 수 있다. 일 예로, 인증부(113)는 코사인 거리를 이용하여 제1 비교 결과(940)를 생성할 수 있다. 코사인 거리는 벡터 간 거리를 계산하기 위한 유형의 거리로, 대응하는 벡터 간 각도의 차이가 계산될 수 있다.
유사도가 미리 정해진 제1 임계값보다 큰 경우, 인증부(113)는 인증용 영상이 기 등록 사용자의 얼굴 공간 상에 존재한다고 판단할 수 있다. 유사도가 제1 임계값보다 작은 경우, 인증부(113)는 인증용 영상이 기 등록 사용자의 얼굴 공간 상에 존재하지 않는다고 판단할 수 있다.
유사도가 제1 임계값과 같은 경우, 인증부(113)는 미리 정해진 방식에 따라 인증용 영상이 기 등록 사용자의 얼굴 공간 상에 존재하는지 여부를 판단할 수 있다. 일 예로, 유사도가 제1 임계값과 같은 경우 유사도가 제1 임계값보다 큰 경우와 동일하게, 인증용 영상이 기 등록 사용자의 얼굴 공간 상에 존재한다고 판단되도록 미리 정해질 수 있다. 다른 예로, 유사도가 제1 임계값과 같은 경우 유사도가 제1 임계값보다 작은 경우와 동일하게, 인증용 영상이 기 등록 사용자의 얼굴 공간 상에 존재하지 않는다고 판단되도록 미리 정해질 수 있다.
인증부(113)는 인증용 영상(910)과 입력 영상(930)을 비교하여 제2 비교 결과(950)를 생성할 수 있다. 예를 들어, 인증부(113)는 인증용 영상(910)의 픽셀과 입력 영상(930)의 대응 픽셀을 비교함으로써, 입력 영상(930)으로부터 생성된 인증용 영상(910)의 복원 오차를 계산할 수 있다. 또는, 인증부(113)는 인증용 영상(910)을 복수의 블록들로 분할하고, 분할된 블록들 각각의 특징과 입력 영상(930)의 대응 특징을 비교할 수도 있다.
인증부(113)는 제2 비교 결과(950)를 생성하기 위하여, 다양한 유형의 거리를 이용할 수 있다. 일 예로, 인증부(113)는 유클리드 거리를 이용하여 제2 비교 결과(950)를 생성할 수 있다. 유클리드 거리는 유클리드 공간 상 거리를 계산하기 위한 유형의 거리로, 대응하는 픽셀 값 또는 특징 값 사이의 차이가 계산될 수 있다. 유클리드 공간은 얼굴 공간에 해당할 수 있다.
복원 오차가 미리 정해진 제2 임계값보다 작은 경우, 인증부(113)는 인증용 영상이 기 등록 사용자의 얼굴 공간 상에 존재한다고 판단할 수 있다. 복원 오차가 제2 임계값보다 큰 경우, 인증부(113)는 인증용 영상이 기 등록 사용자의 얼굴 공간 상에 존재하지 않는다고 판단할 수 있다. 복원 오차가 제2 임계값과 같은 경우, 인증부(113)는 미리 정해진 방식에 따라 인증용 영상이 기 등록 사용자의 얼굴 공간 상에 존재하는지 여부를 판단할 수 있다.
인증부(113)는 제1 비교 결과와 제2 비교 결과를 함께 이용하여, 인증 성공 여부를 판단할 수 있다. 예를 들어, 인증부(113)는 제1 비교 결과와 관련된 제1 조건과 제2 비교 결과와 관련된 제2 조건이 모두 만족되는 경우에 한하여, 인증에 성공했다고 판단할 수 있다.
도 10을 참조하면, 인증부(113)는 단계(1010)에서 제1 비교 결과와 관련된 제1 조건이 만족되는지 여부를 판단할 수 있다. 예를 들어, 인증부(113)는 인증용 영상과 등록 영상 사이의 유사도가 제1 임계값보다 큰지 여부를 판단할 수 있다. 인증부(113)는 단계(1020)에서 제2 비교 결과와 관련된 제2 조건이 만족되는지 여부를 판단할 수 있다. 예를 들어, 인증부(113)는 입력 영상으로부터 생성된 인증용 영상의 복원 오차가 제2 임계값보다 작은지 여부를 판단할 수 있다.
인증부(113)는 단계(1030)에서 제1 비교 결과와 관련된 제1 조건 및 제2 비교 결과와 관련된 제2 조건이 모두 만족되는 경우, 인증에 성공했다고 판단할 수 있다. 인증부(113)는 단계(1040)에서 제1 비교 결과와 관련된 제1 조건 및 제2 비교 결과와 관련된 제2 조건 중 어느 하나라도 만족되지 않는 경우, 인증에 실패했다고 판단할 수 있다.
도 11은 실시예들에 따른 인증 결과를 설명하는 도면이다. 도 11을 참조하면, 기 등록 사용자의 가려짐 영상(1110), 타인의 가려짐 영상(1120), 및 타인의 가려짐 영상(1130)이 수신되는 각각의 경우에서, 기 등록 사용자의 등록 영상(130)과 단순 비교를 통하여 계산되는 유사도들은 서로 큰 차이가 없다. 예를 들어, 기 등록 사용자의 가려짐 영상(1110)과 등록 영상(130) 사이의 유사도는 0.6497이고, 타인의 가려짐 영상(1120)과 등록 영상(130) 사이의 유사도는 0.6342이며, 타인의 가려짐 영상(1130)과 등록 영상(130) 사이의 유사도는 0.6428일 수 있다. 따라서, 가려짐 영상과 등록 영상(130)을 단순 비교하는 경우, 가려짐 영상에 포함된 사용자와 등록 영상(130)에 포함된 사용자가 동일한지 여부를 판단할 수 없다.
일 실시예에 따르면, 기 등록 사용자의 가려짐 영상(1110), 타인의 가려짐 영상(1120), 및 타인의 가려짐 영상(1130)이 수신되는 각각의 경우에서, 인증용 영상과 등록 영상 사이의 유사도 및 입력 영상으로부터 생성된 인증용 영상의 복원 오차가 계산될 수 있다. 이하, 유사도와 관련된 제1 임계값은 0.7이고, 복원 오차와 관련된 제2 임계값은 40일 수 있다.
기 등록 사용자의 가려짐 영상(1110)이 수신되는 경우, 인증용 영상(1115)이 생성될 수 있다. 이 경우, 인증용 영상(1115)과 등록 영상(130) 사이의 유사도는 0.7259로 계산될 수 있다. 또한, 기 등록 사용자의 가려짐 영상(1110)으로부터 생성된 인증용 영상(1115)의 복원 오차는 32.6858로 계산될 수 있다. 유사도가 제1 임계값인 0.7보다 크고, 복원 오차가 제2 임계값인 40보다 작으므로, 인증 장치는 인증에 성공했다고 판단할 수 있다.
타인의 가려짐 영상(1120)이 수신되는 경우, 인증용 영상(1125)이 생성될 수 있다. 이 경우, 인증용 영상(1125)과 등록 영상(130) 사이의 유사도는 0.7143으로 계산될 수 있다. 또한, 타인의 가려짐 영상(1120)으로부터 생성된 인증용 영상(1125)의 복원 오차는 47.3428로 계산될 수 있다. 유사도가 제1 임계값인 0.7보다 크나, 복원 오차가 제2 임계값인 40보다 크므로, 인증 장치는 인증에 실패했다고 판단할 수 있다.
타인의 가려짐 영상(1130)이 수신되는 경우, 인증용 영상(1135)이 생성될 수 있다. 이 경우, 인증용 영상(1135)과 등록 영상(130) 사이의 유사도는 0.6424로 계산될 수 있다. 또한, 타인의 가려짐 영상(1130)으로부터 생성된 인증용 영상(1135)의 복원 오차는 37.5371로 계산될 수 있다. 복원 오차가 제2 임계값인 40보다 작으나, 유사도가 제1 임계값인 0.7보다 작으므로, 인증 장치는 인증에 실패했다고 판단할 수 있다.
도 12는 영상 데이터베이스에 저장된 기 인증 영상들 및 타인의 영상들을 이용하는 실시예를 설명하는 도면이다. 도 12를 참조하면, 일 실시예에 따른 영상 데이터베이스(1210)는 기 등록 사용자의 기 인증 영상들(1211)뿐 아니라 타인 영상들(1212)도 저장할 수 있다. 타인 영상들(1212)은 기 등록 사용자가 아닌 타인의 영상들일 수 있다. 이 때, 타인 영상들(1212)을 결정하는 데 있어서, 타인이 정확히 누구인지 여부는 고려될 필요가 없고, 기 등록 사용자가 아니라는 점만 고려될 수 있다. 기 인증 영상들(1211)과 타인 영상들(1212)은 가려짐이 존재하지 않는 영상들일 수 있다.
영상 데이터베이스(1210)는 지속적으로 업데이트될 수 있다. 예를 들어, 인증 장치는 입력 영상에 가려짐이 존재하는지 여부를 판단할 수 있다. 입력 영상에 가려짐이 존재하지 않는다고 판단되면, 인증 장치는 입력 영상과 등록 영상을 비교할 수 있다. 비교 결과 인증에 성공하는 경우, 인증 장치는 입력 영상을 기 인증 영상으로 영상 데이터베이스(1210)에 저장할 수 있다. 비교 결과 인증에 실패하는 경우, 인증 장치는 입력 영상을 타인 영상으로 영상 데이터베이스(1210)에 저장할 수 있다.
인증 장치는 영상 데이터베이스(1210)에 저장된 기 인증 영상들(1211)과 타인 영상들(1212)을 함께 이용하여, 사용자 인증을 수행할 수 있다. 예를 들어, 인증 장치는 가려짐 영상이 수신되면, 가려짐 영상에 기초하여 영상 데이터베이스(1210)에 저장된 기 인증 영상들(1211)과 타인 영상들(1212) 중 적어도 일부의 영상들을 선택할 수 있다.
인증 장치는 수학식 1에 기초하여 영상들을 선택할 수 있다. 이 경우, 매트릭스(1220)는 기 인증 영상들에 해당하는 벡터들(1221) 및 타인 영상들에 해당하는 벡터들(1222)을 포함할 수 있다. 인증 장치는 수학식 1에 기초하여 벡터(1230)를 결정할 수 있다. 벡터(1230)는 기 인증 영상들을 위한 가중치들(1231) 및 타인 영상들을 위한 가중치들(1232)을 포함할 수 있다. 인증 장치는 선택되지 않은 영상들의 가중치들을 0으로 결정할 수 있다.
인증 장치는 선택된 기 인증 영상들과 선택된 타인 영상들 중 선택된 기 인증 영상들만을 이용하여 인증용 영상을 생성할 수 있다. 예를 들어, 인증 장치는 영상 데이터베이스(1210) 내 영상들의 선택이 완료되면, 타인 영상들을 위한 가중치들(1232)을 0으로 설정할 수 있다. 인증 장치는 인증용 영상을 생성하기 위하여, 선택된 기 인증 영상들의 가중치들에 기초하여 선택된 기 인증 영상들의 특징 값들을 가중 합산할 수 있다.
만약 입력 영상이 기 등록 사용자의 가려짐 영상인 경우, 주로 기 등록 사용자의 기 인증 영상들(1211)로부터 영상들이 선택될 수 있다. 기 인증 영상들(1211)은 기 등록 사용자의 얼굴 공간 상에 존재하며, 기 등록 사용자의 얼굴은 기 인증 영상들(1211)의 조합으로 표현될 수 있기 때문이다. 이 경우, 인증용 영상은 등록 영상 및/또는 입력 영상에 부합한 특징들을 포함하므로, 인증 장치는 인증에 성공했다고 판단할 수 있다.
반면, 입력 영상이 타인의 가려짐 영상인 경우, 기 인증 영상들(1211)뿐 아니라 타인 영상들(1212)로부터 영상들이 선택될 수 있다. 타인의 얼굴은 기 등록 사용자의 기 인증 영상들(1211)의 조합만으로는 표현될 수 없기 때문이다. 인증용 영상은 선택된 타인 영상들을 이용하지 않고, 선택된 기 인증 영상들만을 이용하여 생성되므로, 인증용 영상은 등록 영상 및/또는 입력 영상에 부합한 특징들을 포함하지 않을 수 있다. 인증 장치는 인증에 실패했다고 판단할 수 있다.
또는, 인증 장치는 선택된 적어도 일부의 영상들에 타인 영상이 포함된 비율에 기초하여, 사용자 인증 여부를 판단할 수 있다. 예를 들어, 인증 장치는 선택된 영상들 내 타인 영상의 비율이 미리 정해진 임계값보다 큰 경우, 인증에 실패했다고 판단할 수 있다.
도 13 및 도 14는 실시예들에 따른 인증 방법을 나타낸 동작 흐름도들이다. 도 13을 참조하면, 단계(1310)에서 입력 영상이 수신된다. 단계(1320)에서 영상 데이터베이스로부터 영상들이 선택된다. 단계(1330)에서 인증용 영상이 생성된다. 단계(1340)에서 인증이 수행된다. 도 13에 도시된 각 단계들에는 도 1 내지 도 12를 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 14을 참조하면, 단계(1410)에서 입력 영상에 포함된 얼굴이 검출된다. 단계(1410)에는 다양한 얼굴 검출 알고리즘들이 적용될 수 있다. 예를 들어, 얼굴 영역을 검출하기 위하여, Haar 필터 기반 학습을 통하여 도출된 얼굴의 주요 패턴들이 이용될 수 있다. 입력 영상에서 얼굴의 주요 패턴들이 존재하는지 여부가 스캔 되고, 주요 패턴들을 포함하는 영역이 얼굴 영역으로 검출될 수 있다.
단계(1420)에서 검출된 얼굴에 해당하는 영역이 정규화된다. 단계(1420)에는 다양한 정규화 알고리즘들이 적용될 수 있다. 예를 들어, 단계(1420)에서 기하학적 정규화 알고리즘이 적용될 수 있다. 사용자를 촬영하는 환경에 따라 입력 영상에 포함된 얼굴의 크기, 각도 등이 달라지므로, 검출된 얼굴 영역이 기하학적으로 정규화될 수 있다. 검출된 얼굴 영역의 크기, 양 눈의 중심 사이의 거리, 코와 입 사이의 거리 등 다양한 인자에 기초하여 얼굴 영역의 크기, 각도 등이 정규화될 수 있다. 또한, 조명 처리가 수행될 수도 있다. 조명으로 인하여 얼굴이 상이하게 표현될 수 있으므로, 조명 성분으로 인한 노이즈가 제거될 수 있다.
단계(1430)에서 정규화된 얼굴 영역에 가려짐이 존재하는지 여부가 판단될 수 있다. 단계(1430)에는 다양한 가려짐 존재 여부 판단 알고리즘들이 적용될 수 있다. 예를 들어, 랜드마크 디텍터(landmark detector)를 통하여 정규화된 얼굴 영역 내 눈, 눈썹, 코, 입 등 랜드마크의 위치가 검출될 수 있다. 각 랜드마크의 위치에서 특징들이 추출되고, 해당 특징들의 신뢰도가 계산될 수 있다. 얼굴 영역 내 가려짐이 존재하는 경우, 가려짐이 존재하는 영역에서 추출된 특징들의 신뢰도는 낮게 계산될 수 있다. 만약 사용자가 선글라스를 착용하고 있다면, 눈 위치에서 추출된 특징들의 신뢰도가 낮게 계산될 수 있다. 이 경우, 눈 위치에 가려짐이 존재한다고 판단될 수 있다.
정규화된 얼굴 영역에 가려짐이 존재한다고 판단되면, 단계(1440)에서 인증용 영상이 생성된다. 단계(1440)에는 전술한 실시예들에 따른 인증용 영상 생성 알고리즘들이 그대로 적용될 수 있다. 단계(1450)에서 인증이 수행된다. 단계(1450)에는 전술한 실시예들에 따른 인증 수행 알고리즘들이 그대로 적용될 수 있다.
도 15는 일 실시예에 따른 인증 장치의 구체적인 구성들을 설명하는 블록도이다. 도 15를 참조하면, 일 실시예에 따른 인증 장치(1500)는 선 처리부(1510), 판별부(1520), 생성부(1530), 인증부(1540), 및 저장부(1550)를 포함한다. 선 처리부(1510), 판별부(1520), 생성부(1530), 인증부(1540), 및 저장부(1550)는 각각 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 조합으로 구현될 수 있다.
선 처리부(1510)는 입력 영상을 수신하고, 입력 영상으로부터 얼굴 영역을 검출하며, 검출된 얼굴 영역을 정규화할 수 있다. 경우에 따라서, 선 처리부(1510)는 입력 영상을 정규화한 뒤 얼굴 영역을 검출할 수도 있다.
판별부(1520)는 정규화된 얼굴 영역에 가려짐이 존재하는지 여부를 판단할 수 있다. 예를 들어, 판별부(1520)는 정규화된 얼굴 영역으로부터 특징점들을 추출할 수 있다. 판별부(1520)는 눈, 코, 입, 눈썹 등 주요 구성에 해당하는 특징점들이 추출되지 않는 경우, 해당 구성이 가려진 것으로 판단할 수 있다.
정규화된 얼굴 영역에 가려짐이 존재한다고 판단되면, 생성부(1530)는 인증용 영상을 생성할 수 있다. 생성부(1530)는 영상 데이터베이스(1560)에 저장된 기 인증 영상들 및/또는 타인 영상들 중 입력 영상을 표현하기 적합한 영상들을 선택하고, 선택된 영상들을 조합함으로써 인증용 영상을 생성할 수 있다.
인증부(1540)는 인증용 영상을 이용하여 인증을 수행할 수 있다. 인증부(1540)는 인증용 영상과 등록 영상(1570)을 비교할 수 있다. 인증부(1540)는 인증용 영상과 입력 영상을 비교할 수도 있다. 정규화된 얼굴 영역에 가려짐이 존재하지 않는다고 판단되면, 인증부(1540)는 입력 영상과 등록 영상(1570)을 비교할 수 있다.
저장부(1550)는 지속적으로 영상 데이터베이스(1560)를 갱신할 수 있다. 정규화된 얼굴 영역에 가려짐이 존재하지 않는다고 판단되면, 저장부(1550)는 입력 영상 또는 정규화된 얼굴 영역을 영상 데이터베이스(1560)에 저장할 수 있다. 저장부(1550)는 인증에 성공한 경우 입력 영상 또는 정규화된 얼굴 영역을 기 인증 영상으로 저장하고, 인증에 실패한 경우 입력 영상 또는 정규화된 얼굴 영역을 타인 영상으로 저장할 수 있다.
도 16은 일 실시예에 따른 전자 시스템을 나타내는 블록도이다. 도 16을 참조하면, 일 실시예에 따른 전자 시스템은 이미지 센서(1610), 이미지 신호 프로세서(image signal processor, ISP)(1620), 메모리(1630), 및 디스플레이(1640)를 포함한다. 이미지 센서(1610), 이미지 신호 프로세서(1620), 메모리(1630), 및 디스플레이(1640)는 버스(1650)를 통하여 서로 통신한다.
이미지 센서(1610)는 이미지를 캡쳐함으로써, 이미지 데이터를 생성할 수 있다. 예를 들어, 이미지 센서(1610)는 광학 정보를 전자 신호로 변환함으로써 이미지 데이터를 생성할 수 있다. 이미지 데이터는 이미지 신호 프로세서(1620)로 출력된다. 이미지 신호 프로세서(1620)는 도 1 내지 도 15를 통하여 전술한 장치를 포함하거나, 도 1 내지 도 15를 통하여 전술한 방법을 수행할 수 있다. 이미지 신호 프로세서(1620)는 도 1 내지 도 15를 통하여 전술한 얼굴 인증 동작을 수행하는 얼굴 인증 회로를 포함할 수 있다.
메모리(1630)는 이미지 센서(1610)에 의하여 생성된 이미지 데이터를 저장하거나, 이미지 신호 프로세서(1620)에 의하여 생성된 각종 데이터들을 저장할 수 있다. 메모리(1630)는 휘발성 메모리이거나, 비 휘발성 메모리일 수 있다. 디스플레이(1640)는 도 1 내지 도 15를 통하여 전술한 얼굴 인증 동작을 위한 각종 사용자 인터페이스를 표시할 수 있다. 이미지 신호 프로세서(1620)는 프로그램을 실행하고, 전자 시스템을 제어할 수 있다. 이미지 신호 프로세서(1620)에 의하여 실행되는 프로그램 코드는 메모리(1630)에 저장될 수 있다.
전자 시스템은 입출력 장치(도면 미 표시)를 통하여 퍼스널 컴퓨터 또는 네트워크 등 외부 기기와 연결될 수 있다. 전자 시스템은 외부 기기와 데이터를 교환할 수 있다. 전자 시스템은 모바일 폰, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치; 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치; 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등에 내장될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (25)

  1. 입력 영상을 수신하는 단계;
    상기 입력 영상에 기초하여, 기 인증 영상들 중 적어도 하나를 선택하는 단계;
    상기 선택된 적어도 하나의 기 인증 영상에 기초하여, 인증용 영상을 생성하는 단계; 및
    상기 인증용 영상에 기초하여, 인증을 수행하는 단계
    를 포함하는, 인증 방법.
  2. 제1항에 있어서,
    상기 입력 영상은
    일부가 가려진 얼굴을 포함하는, 인증 방법.
  3. 제1항에 있어서,
    상기 선택하는 단계는
    상기 입력 영상과 선택되는 기 인증 영상들 사이의 유사도와 관련된 제1 요소 및 상기 선택되는 기 인증 영상들의 수와 관련된 제2 요소에 기초하여, 상기 선택되는 기 인증 영상들을 위한 가중치들을 결정하는 단계
    를 포함하는, 인증 방법.
  4. 제3항에 있어서,
    상기 선택하는 단계는
    선택되지 않은 기 인증 영상들을 위한 가중치들을 0으로 결정하는 단계
    를 더 포함하는, 인증 방법.
  5. 제1항에 있어서,
    상기 선택하는 단계는
    하기 수학식
    Figure 112015003383108-pat00007

    에 기초하여, 상기 기 인증 영상들을 위한 가중치들을 결정하는 단계
    를 포함하고,
    상기 y는 상기 입력 영상이며, 상기 D는 상기 기 인증 영상들이고, 상기
    Figure 112015003383108-pat00008
    는 스칼라 계수(scalar coefficient)이며, 상기
    Figure 112015003383108-pat00009
    는 상기 기 인증 영상들을 위한 가중치들인, 인증 방법.
  6. 제1항에 있어서,
    상기 생성하는 단계는
    상기 기 인증 영상들을 위한 가중치들에 기초하여, 상기 기 인증 영상들의 특징 값들을 가중 합산하는 단계
    를 포함하는, 인증 방법.
  7. 제1항에 있어서,
    상기 인증을 수행하는 단계는
    등록 영상과 상기 인증용 영상을 비교하여 제1 비교 결과를 생성하는 단계; 및
    상기 입력 영상과 상기 인증용 영상을 비교하여 제2 비교 결과를 생성하는 단계
    중 적어도 하나를 포함하는, 인증 방법.
  8. 제7항에 있어서,
    상기 인증을 수행하는 단계는
    상기 제1 비교 결과 및 상기 제2 비교 결과 중 적어도 하나에 기초하여, 인증 여부를 판단하는 단계
    를 더 포함하는, 인증 방법.
  9. 제1항에 있어서,
    상기 입력 영상으로부터 얼굴 영역을 검출하는 단계; 및
    상기 얼굴 영역 내 가려진 영역(occlusion region)이 존재하는지 여부를 판단하는 단계
    를 더 포함하는, 인증 방법.
  10. 제9항에 있어서,
    상기 선택하는 단계는
    상기 얼굴 영역 내 가려진 영역이 존재한다는 판단에 따라, 상기 얼굴 영역에 기초하여 기 인증 영상들 중 적어도 하나를 선택하는 단계
    를 포함하는, 인증 방법.
  11. 제9항에 있어서,
    상기 얼굴 영역 내 가려진 영역이 존재하지 않는다는 판단에 따라, 상기 입력 영상과 등록 영상을 비교함으로써 인증 여부를 판단하는 단계
    를 더 포함하는, 인증 방법.
  12. 제11항에 있어서,
    인증에 성공하는 경우, 상기 입력 영상을 기 인증 영상으로 저장하는 단계
    를 더 포함하는, 인증 방법.
  13. 하드웨어와 결합되어 제1항 내지 제12항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  14. 사용자의 얼굴을 포함하는 입력 영상을 수신하는 수신부;
    데이터베이스에 저장된 기 인증 영상들 및 타인 영상들 중 선택된 적어도 일부의 영상들을 이용하여 상기 입력 영상에 대응하는 인증용 영상을 생성하는 생성부; 및
    상기 인증용 영상에 기초하여, 상기 사용자를 인증하는 인증부
    를 포함하는, 인증 장치.
  15. 제14항에 있어서,
    상기 사용자의 얼굴은
    일부가 가려진, 인증 장치.
  16. 제14항에 있어서,
    상기 생성부는
    상기 입력 영상과 상기 적어도 일부의 영상들 사이의 유사도와 관련된 제1 요소 및 상기 적어도 일부의 영상들의 수와 관련된 제2 요소에 기초하여, 상기 적어도 일부의 영상들을 선택하는, 인증 장치.
  17. 제16항에 있어서,
    상기 생성부는
    상기 적어도 일부의 영상들을 제외한 나머지 영상들을 위한 가중치들을 0으로 결정하는, 인증 장치.
  18. 제14항에 있어서,
    상기 생성부는
    하기 수학식
    Figure 112015003383108-pat00010

    에 기초하여, 상기 적어도 일부의 영상들을 선택하고,
    상기 y는 상기 입력 영상이며, 상기 D는 상기 기 인증 영상들 및 상기 타인 영상들이고, 상기
    Figure 112015003383108-pat00011
    는 스칼라 계수(scalar coefficient)이며, 상기
    Figure 112015003383108-pat00012
    는 상기 기 인증 영상들 및 상기 타인 영상들을 위한 가중치들인, 인증 장치.
  19. 제14항에 있어서,
    상기 생성부는
    상기 인증용 영상을 생성하기 위하여, 선택된 기 인증 영상들 및 선택된 타인 영상들 중 상기 선택된 기 인증 영상들의 특징 값들을 가중 합산하는, 인증 장치.
  20. 제14항에 있어서,
    상기 인증부는
    등록 영상과 상기 인증용 영상 사이의 유사도 및 상기 입력 영상과 상기 인증용 영상 사이의 복원 오차 중 적어도 하나에 기초하여, 상기 사용자의 인증 여부를 판단하는, 인증 장치.
  21. 제14항에 있어서,
    상기 인증부는
    상기 적어도 일부의 영상들에 상기 타인 영상들이 포함되는지 여부에 기초하여, 상기 사용자의 인증 여부를 판단하는, 인증 장치.
  22. 제14항에 있어서,
    상기 생성부는
    상기 입력 영상으로부터 얼굴 영역을 검출하고, 상기 얼굴 영역 내 가려진 영역(occlusion region)이 존재하는지 여부를 판단하는, 인증 장치.
  23. 제22항에 있어서,
    상기 생성부는
    상기 얼굴 영역 내 가려진 영역이 존재한다는 판단에 따라, 상기 적어도 일부의 영상들을 이용하여 상기 인증용 영상을 생성하는, 인증 장치.
  24. 제22항에 있어서,
    상기 인증부는
    상기 얼굴 영역 내 가려진 영역이 존재하지 않는다는 판단에 따라, 상기 입력 영상과 등록 영상을 비교함으로써 상기 사용자를 인증하는, 인증 장치.
  25. 제24항에 있어서,
    상기 사용자의 인증에 성공하는 경우 상기 입력 영상을 추가적인 기 인증 영상으로 상기 데이터베이스에 저장하고, 상기 사용자의 인증에 실패하는 경우 상기 입력 영상을 추가적인 타인 영상으로 상기 데이터베이스에 저장하는 저장부
    를 더 포함하는, 인증 장치.
KR1020150005971A 2015-01-13 2015-01-13 사용자 인증 방법 및 장치 KR101956071B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150005971A KR101956071B1 (ko) 2015-01-13 2015-01-13 사용자 인증 방법 및 장치
US14/966,012 US9798871B2 (en) 2015-01-13 2015-12-11 Method and apparatus for authenticating user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150005971A KR101956071B1 (ko) 2015-01-13 2015-01-13 사용자 인증 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160087167A KR20160087167A (ko) 2016-07-21
KR101956071B1 true KR101956071B1 (ko) 2019-03-08

Family

ID=56367756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150005971A KR101956071B1 (ko) 2015-01-13 2015-01-13 사용자 인증 방법 및 장치

Country Status (2)

Country Link
US (1) US9798871B2 (ko)
KR (1) KR101956071B1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101956071B1 (ko) * 2015-01-13 2019-03-08 삼성전자주식회사 사용자 인증 방법 및 장치
CN106407912B (zh) * 2016-08-31 2019-04-02 腾讯科技（深圳）有限公司 一种人脸验证的方法及装置
US11010595B2 (en) 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
KR102380426B1 (ko) * 2017-03-23 2022-03-31 삼성전자주식회사 얼굴 인증 방법 및 장치
KR102359558B1 (ko) * 2017-03-28 2022-02-09 삼성전자주식회사 얼굴 인증 방법 및 장치
CN108664782B (zh) 2017-03-28 2023-09-12 三星电子株式会社 面部验证方法和设备
CN107358187A (zh) * 2017-07-04 2017-11-17 四川云物益邦科技有限公司 一种证件照片识别方法
US20190332848A1 (en) * 2018-04-27 2019-10-31 Honeywell International Inc. Facial enrollment and recognition system
CN108960215B (zh) * 2018-08-30 2023-08-04 武汉华星光电技术有限公司 内嵌式面部识别显示面板、方法及液晶显示装置
TWI702570B (zh) 2018-08-31 2020-08-21 雲云科技股份有限公司 選取使用者之代表性影像之影像偵測方法以及影像偵測裝置
TWI676136B (zh) 2018-08-31 2019-11-01 雲云科技股份有限公司 使用雙重分析之影像偵測方法以及影像偵測裝置
TWI680440B (zh) * 2018-08-31 2019-12-21 雲云科技股份有限公司 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
JP2020057201A (ja) * 2018-10-02 2020-04-09 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN110070017B (zh) * 2019-04-12 2021-08-24 北京迈格威科技有限公司 一种人脸假眼图像生成方法及装置
US11356723B2 (en) 2019-09-06 2022-06-07 Tencent America LLC In-manifest update event
CN113761997B (zh) * 2020-08-27 2024-04-09 北京沃东天骏信息技术有限公司 生成半遮挡人脸识别器的方法和装置
US11822639B2 (en) 2020-09-09 2023-11-21 Santa Clara Holdings LLC System and method for facial recognition authentication for mask wearers
KR102548770B1 (ko) * 2020-11-02 2023-06-28 주식회사 카카오뱅크 매트릭스 연산을 이용한 안면유사도 산출 시스템 및 방법
DE102022208822A1 (de) * 2021-08-30 2023-03-02 Apple Inc. Anzeigen von bilddaten basierend auf umgebungslicht

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734849B1 (ko) * 2005-11-26 2007-07-03 한국전자통신연구원 얼굴 인식 방법 및 그 장치
KR101308347B1 (ko) * 2011-04-06 2013-09-17 아주대학교산학협력단 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100456619B1 (ko) * 2001-12-05 2004-11-10 한국전자통신연구원 에스.브이.엠(ｓｖｍ)을 이용한 얼굴 등록/인증 시스템 및방법
KR100473598B1 (ko) 2002-11-04 2005-03-11 삼성전자주식회사 가려진 얼굴영상을 판단하는 시스템 및 방법
JP4365189B2 (ja) * 2003-02-05 2009-11-18 富士フイルム株式会社 認証装置
US7693308B2 (en) * 2004-03-24 2010-04-06 Fujifilm Corporation Authentication system, authentication method, machine readable medium storing thereon authentication program, certificate photograph taking apparatus, and certificate photograph taking method
JP5008269B2 (ja) * 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
WO2007016936A1 (en) * 2005-07-29 2007-02-15 Telecom Italia, S.P.A. Automatic biometric identification based on face recognition and support vector machines
JP2007148872A (ja) 2005-11-29 2007-06-14 Mitsubishi Electric Corp 画像認証装置
JP5012247B2 (ja) * 2007-06-21 2012-08-29 ソニー株式会社 認証装置、入場管理装置、入退場管理装置、入場管理システム、入退場管理システム、認証処理方法およびプログラム
JP4506801B2 (ja) * 2007-09-25 2010-07-21 カシオ計算機株式会社 画像認識装置、画像認識方法、画像認識プログラム
JP5531963B2 (ja) 2008-11-19 2014-06-25 日本電気株式会社 認証システム、装置、認証方法及びプログラム
JP5359266B2 (ja) 2008-12-26 2013-12-04 富士通株式会社 顔認識装置、顔認識方法及び顔認識プログラム
US8194938B2 (en) 2009-06-02 2012-06-05 George Mason Intellectual Properties, Inc. Face authentication using recognition-by-parts, boosting, and transduction
US8655027B1 (en) * 2011-03-25 2014-02-18 The United States of America, as represented by the Director, National Security Agency Method of image-based user authentication
KR101956071B1 (ko) * 2015-01-13 2019-03-08 삼성전자주식회사 사용자 인증 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734849B1 (ko) * 2005-11-26 2007-07-03 한국전자통신연구원 얼굴 인식 방법 및 그 장치
KR101308347B1 (ko) * 2011-04-06 2013-09-17 아주대학교산학협력단 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법

Also Published As

Publication number Publication date
US20160203305A1 (en) 2016-07-14
US9798871B2 (en) 2017-10-24
KR20160087167A (ko) 2016-07-21

Similar Documents

Publication Publication Date Title
KR101956071B1 (ko) 사용자 인증 방법 및 장치
US11915515B2 (en) Facial verification method and apparatus
CN108664782B (zh) 面部验证方法和设备
US11023757B2 (en) Method and apparatus with liveness verification
US20230015107A1 (en) Method and apparatus with image fusion
US9922237B2 (en) Face authentication system
US11790494B2 (en) Facial verification method and apparatus based on three-dimensional (3D) image
KR102434562B1 (ko) 위조 지문 검출 방법 및 장치, 지문 인식 방법 및 장치
US11625954B2 (en) Method and apparatus with liveness testing
KR20180050861A (ko) 지문 등록 방법 및 장치
US20180075291A1 (en) Biometrics authentication based on a normalized image of an object
KR102476016B1 (ko) 안구 위치 정보 확정 방법 및 장치
KR102349059B1 (ko) 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
KR102558741B1 (ko) 사용자 등록 장치 및 방법
KR20180006838A (ko) 복수의 생체 인증기들을 이용한 사용자 인증 방법 및 그 장치
KR20170055393A (ko) 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
KR20200083119A (ko) 사용자 인증 장치 및 방법
US10445546B2 (en) Authentication method and authentication apparatus using synthesized code for iris
KR20160126842A (ko) 지문 인증 방법 및 장치
US20240037995A1 (en) Detecting wrapped attacks on face recognition
JP2006277146A (ja) 照合方法および照合装置
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치
KR20230075538A (ko) 객체 추적 장치 및 방법
KR20230040848A (ko) 신분증 인식 방법 및 장치
KR20210001270A (ko) 블러 추정 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant