KR101240901B1 - 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 - Google Patents

얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101240901B1
KR101240901B1 KR1020110105547A KR20110105547A KR101240901B1 KR 101240901 B1 KR101240901 B1 KR 101240901B1 KR 1020110105547 A KR1020110105547 A KR 1020110105547A KR 20110105547 A KR20110105547 A KR 20110105547A KR 101240901 B1 KR101240901 B1 KR 101240901B1
Authority
KR
South Korea
Prior art keywords
face
face image
input
storage unit
identification symbol
Prior art date
Application number
KR1020110105547A
Other languages
English (en)
Inventor
이형수
제홍모
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Priority to KR1020110105547A priority Critical patent/KR101240901B1/ko
Application granted granted Critical
Publication of KR101240901B1 publication Critical patent/KR101240901B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

본 발명은 얼굴 인식 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 본 발명의 일 태양에 따르면, (a) 촬상 소자를 통하여 프리뷰(preview) 상태로 입력되는 입력 얼굴 이미지에 대한 정보와 주 저장부에 기저장된 얼굴 이미지들 각각에 대한 정보를 비교하여 얼굴 인식 동작을 수행하고 얼굴 인식 결과를 발생하는 단계; 및 (b) 상기 얼굴 인식 결과가 상기 입력 얼굴 이미지와 상기 기저장된 얼굴 이미지들 중 하나의 얼굴 이미지가 일치하는 것을 나타내면 상기 입력 얼굴 이미지에 대한 정보를 부 저장부에 저장하는 단계; 및 (c) 상기 입력 얼굴 이미지가 추가적으로 새롭게 입력되면, 상기 새롭게 입력된 입력 얼굴 이미지에 대한 정보와 상기 부 저장부에 저장된 얼굴 이미지에 대한 정보를 비교하여 얼굴 인식 동작을 수행하여 상기 새롭게 입력된 입력 얼굴 이미지에 대한 얼굴 인식 결과를 발생하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법이 제공된다. 본 발명에 따르면, 입력 얼굴 이미지가 저장된 얼굴 이미지들 중의 하나의 얼굴 이미지와 동일한 이미지인 것으로 판단된 경우에, 이 얼굴 이미지에 대한 정보를 부 저장부에 저장하고, 주 저장부의 얼굴 이미지에 대한 정보를 부 저장부의 얼굴 이미지에 대한 정보로 업데이트하여 얼굴 인식 동작을 수행함으로써 빠른 인식 속도를 달성하면서도 얼굴 인식력을 향상시킬 수 있다.

Description

얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 {FACE RECOGNITION METHOD, APPARATUS, AND COMPUTER-READABLE RECORDING MEDIUM FOR EXECUTING THE METHOD}
본 발명은 저장된 얼굴 이미지를 인식력이 좋은 새로운 얼굴 이미지가 효율적으로 저장되도록 하여 우선적으로 인식 동작에 사용되도록 함으로써 얼굴 인식력을 개선할 수 있는 얼굴 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
생체 인식 기술은 개인마다 다른 지문, 얼굴, 홍채, 정맥 등의 신체 특징을 인식하는 기술이다. 이와 같은 신체 특징은 열쇠나 비밀번호처럼 타인에게 도용이나 복제될 수 없으며, 변경되거나 분실할 위험성이 없어 보안 분야 등에 활용될 수도 있다.
이중 얼굴 인식 기술은 비디오 혹은 사진 이미지에서 얼굴 영역을 검출한 후 검출된 얼굴 영역에 포함된 얼굴의 신원을 식별하는 기술을 포함하므로, 보안 분야뿐만 아니라 스마트폰 시대에 발맞추어 다양한 애플리케이션 등에도 활용될 수 있다.
일반적으로, 얼굴 인식 기술은 비디오 혹은 사진 이미지에서 얼굴 영역이 검출된 후 검출된 얼굴 이미지를 데이터베이스와 같은 저장부에 기저장된 얼굴 이미지와 일일이 비교함으로써 얼굴을 정확하게 인식하게 된다.
그런데, 저장부에 저장된 얼굴 이미지의 저장 시점이 오래된 경우에, 검출된 얼굴 이미지의 인식력이 현저하게 떨어지게 되는 문제가 있었다. 즉, 동일한 사람의 얼굴이라도 시간의 경과에 따라 혹은 인위적인 시술 등에 따라 변화하는 것이 가능하기 때문에 검출된 얼굴 이미지의 사람과 동일한 사람의 얼굴 이미지가 저장부에 저장되어 있는 경우에도 이를 동일인으로 인식하지 못하게 되거나, 인식하는데 시간이 오래 걸리게 된다는 문제점이 있었다.
뿐만 아니라, 예를 들어 국내 등록번호 제10-0904916호에 공개된 기술은 얼굴 인식을 위해서 검출된 얼굴 이미지의 특징 정보를 저장부에 기저장된 수 많은 얼굴 이미지의 특징 정보와 일일이 비교하게 되는바, 이러한 종래 기술에 따르면 얼굴 인식을 위하여 소요되는 시간이 상당히 길어지게 된다는 문제점이 있었다.
본 발명은 상술한 문제점들을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 기저장된 얼굴 이미지보다 인식력이 높은 새로운 입력 얼굴 이미지 중 얼굴 매칭에 성공한 특정 입력 얼굴 이미지를 저장하고, 상기 특정 입력 얼굴 이미지와 추후 또다시 입력되는 새로운 얼굴 이미지 사이의 인식 동작을 우선적으로 수행하여 얼굴을 인식하는데 소요되는 시간을 감소할 수 있는 것을 다른 목적으로 한다.
본 발명은 주 저장부에 기저장된 얼굴 이미지를 부 저장부에 저장된 인식력이 높은 얼굴 이미지를 통해 업데이트함으로써 얼굴 인식력을 향상시킬 수 있는 것을 또 다른 목적으로 한다.
본 발명의 일 태양에 따르면, (a) 촬상 소자를 통하여 프리뷰(preview) 상태로 입력되는 입력 얼굴 이미지에 대한 정보와 주 저장부에 기저장된 얼굴 이미지들 각각에 대한 정보를 비교하여 얼굴 인식 동작을 수행하고 얼굴 인식 결과를 발생하는 단계; 및 (b) 상기 얼굴 인식 결과가 상기 입력 얼굴 이미지와 상기 기저장된 얼굴 이미지들 중 하나의 얼굴 이미지가 일치하는 것을 나타내면 상기 입력 얼굴 이미지에 대한 정보를 부 저장부에 저장하는 단계; 및 (c) 입력 얼굴 이미지가 추가적으로 새롭게 입력되면, 상기 새롭게 입력된 입력 얼굴 이미지에 대한 정보와 상기 부 저장부에 저장된 얼굴 이미지에 대한 정보를 비교하여 상기 새롭게 입력된 입력 얼굴 이미지에 대한 얼굴 인식 동작을 수행하여 상기 얼굴 인식 결과를 발생하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법이 제공된다.
본 발명의 다른 태양에 따르면, 복수의 얼굴 이미지들에 대한 정보를 저장하기 위한 공간에 해당하는 주 저장부; 얼굴 인식 결과가 촬상 소자로부터 입력되는 입력 얼굴 이미지와 상기 주 저장부에 기저장된 상기 복수의 얼굴 이미지들 중 하나의 얼굴 이미지가 일치하는 것을 나타내면 상기 입력 얼굴 이미지에 대한 정보를 저장하기 위한 공간에 해당하는 부 저장부; 및 상기 입력 얼굴 이미지에 대한 정보와 상기 주 저장부에 상기 기저장된 얼굴이미지들 각각에 대한 정보를 비교하여 상기 얼굴 인식 동작을 수행하여 상기 얼굴 인식 결과를 발생하고, 입력 얼굴 이미지가 새롭게 입력되면, 상기 새롭게 입력된 입력 얼굴 이미지에 대한 정보와 상기 부 저장부에 저장된 얼굴 이미지에 대한 정보를 비교하여 상기 얼굴 인식 동작을 수행하여 상기 새롭게 입력된 입력 얼굴 이미지에 대한 얼굴 인식 결과를 발생하는 얼굴 인식부를 포함하는 것을 특징으로 하는 얼굴 인식 장치가 제공된다.
이 외에도, 본 발명을 구현하기 위한 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 따르면, 입력 얼굴 이미지가 기저장된 얼굴 이미지들 중의 하나의 얼굴 이미지와 동일한 이미지인 것으로 판단된 경우에, 이 얼굴 이미지에 대한 정보를 부 저장부에 저장하고, 소정 기간 동안 부 저장부에 저장된 얼굴 이미지들이 소정의 조건을 만족하는 경우 주 저장부의 얼굴 이미지에 대한 정보를 부 저장부의 얼굴 이미지에 대한 정보로 업데이트하여 얼굴 인식 동작을 수행함으로써 얼굴 인식력을 향상시킬 수 있다.
본 발명에 따르면, 얼굴 인식 동작 시에 입력 얼굴 이미지와 적은 용량의 부 저장부에 저장된 얼굴 이미지들 사이의 인식 동작을 수행하여 동일한 얼굴 이미지가 있는 것으로 판단된 경우에, 입력 얼굴 이미지와 큰 용량의 주 저장부에 저장된 얼굴 이미지들 사이의 인식 동작을 일일이 수행하지 않아도 되기 때문에 인식 동작에 소요되는 시간이 감소될 수 있다.
은 본 발명의 일 실시예의 얼굴 인식 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예의 얼굴 인식 장치의 업데이트 동작을 설명하기 위한 것이다.
도 3은 본 발명의 일 실시예의 얼굴 검출 장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예의 얼굴 인식부의 구성을 나타내는 블록도이다.
도 5는 본 발명의 다른 실시예의 얼굴 인식부의 구성을 나타내는 블록도이다.
도 6은 도 5의 매칭부의 일 실시예의 동작을 설명하기 위한 것이다.
도 7은 도 5의 매칭부의 다른 실시예의 동작을 설명하기 위한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예의 얼굴 인식 장치(100)의 구성을 나타내는 블록도이다.
도 1을 참조하면, 얼굴 인식 장치(100)는 얼굴 인식부(110) 및 저장부(120)를 포함하고, 저장부(120)는 주저장부(120-1) 및 부저장부(120-2)를 포함할 수 있다.
도 1에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
얼굴 인식부(110)는 카메라와 같은 촬상 소자를 통하여 입력되는 입력 얼굴 이미지에 대한 정보와 저장부(120)에 저장된 복수의 얼굴 이미지들 각각에 대한 정보를 비교하여 얼굴 인식 결과를 출력한다. 즉, 입력 얼굴 이미지가 기저장된 복수의 얼굴 이미지들 중 적어도 하나의 이미지와의 동일(또는 유사) 여부를 검출하여 일치하는 것으로 판단되면 일치임을 나타내는 신호를, 불일치하는 것으로 판단되면 불일치임을 나타내는 신호를 얼굴 인식 결과로서 출력할 수 있다. 또한, 저장부(120)에 저장된 복수의 얼굴 이미지들 각각은 식별 기호를 가질 수 있으며, 얼굴 인식부(110)는 일치임을 나타내는 신호로서 복수의 얼굴 이미지들 중 일치하는 얼굴 이미지의 식별 기호를 출력할 수 있다.
주 저장부(120-1)는 기저장된 복수의 얼굴 이미지들 각각에 대한 정보를 저장할 수 있다. 부 저장부(120-2)는 얼굴 인식 결과에 따라 입력 얼굴 이미지에 대한 정보를 저장할 수 있는데, 구체적으로, 일치임을 나타내는 신호로서, 주 저장부(120-1) 또는 부 저장부(120-2)에 기저장된 복수의 얼굴 이미지들 중 입력 얼굴 이미지와 일치하는 특정 얼굴 이미지에 대한 식별 기호가 얼굴 인식부(110)로부터 출력되면, 새로운 입력 얼굴 이미지에 대한 정보를 식별 기호와 함께 부 저장부(120-2)에 저장할 수 있다.
그리고, 부 저장부(120-2)에 저장된 정보는 가장 최근의 새로운 얼굴 이미지에 대한 정보를 포함할 수 있기 때문에, 부 저장부(120-2)에 저장된 정보가 있는 경우에는, 얼굴 인식부(110)가 인식 동작을 수행 시에 부 저장부(120-2)에 저장된 얼굴 이미지들과의 인식 동작을 우선적으로 수행하여 얼굴 인식률을 높이고자 한 후, 부 저장부(120-2)에 일치하는 얼굴 이미지가 없는 것으로 판단된 경우에야, 주 저장부(120-1)에 저장된 얼굴 이미지들과의 인식 동작을 수행할 수 있다.
또한, 부 저장부(120-2)에 정보를 저장할 여유 공간이 없는 것으로 판단된 경우, 또는 부 저장부(120-2)에 추가적으로 얼굴 이미지가 저장되면 기설정된 여유 공간이 확보될 수 없을 것으로 판단된 경우에, 주 저장부(120-1)의 정보를 부 저장부(120-2)의 정보로 업데이트하는 업데이트 동작을 수행할 수도 있다.
부 저장부(120-2)는 예를 들어 캐쉬 메모리일 수 있으며, 부 저장부(120-2)의 저장 용량은 주 저장부(120-1)의 저장 용량에 비해서 작을 수 있다. 따라서, 부 저장부(120-2)에 입력 얼굴 이미지와 동일한 얼굴 이미지가 있는 것으로 판단되면, 주 저장부(120-1)에 대한 인식 동작을 수행할 필요가 없게 되어, 인식 동작에 소요되는 시간이 크게 감소될 수 있다. 더구나, 부 저장부(120-2)에 기록된 얼굴 이미지들은 상당 부분이 최근에 입력 받은 이미지일 가능성이 높으므로, 부 저장부(120-2)에 저장된 이미지들을 비교 대상으로 하여 추후 새롭게 입력될 얼굴 이미지를 매칭할 경우 얼굴 인식률이 극도로 높아질 수 있게 된다. 즉, 얼굴 인식에 소요되는 시간은 크게 감소시키면서도 얼굴 인식률을 크게 증가시킬 수 있게 된다.
얼굴 인식부(110)로 입력되는 얼굴 이미지는 저장부(120)에 저장되는 얼굴 이미지와 동일한 크기의 얼굴 이미지일 수 있다. 그리고, 저장부(120)에 저장되는 얼굴 이미지에 대한 정보는 얼굴 인식부(110)에서 입력 얼굴 이미지에 대하여 수행되는 동작과 동일한 동작, 예를 들면, 특징추출 동작을 수행함에 의해서 얻어진 특징 정보일 수도 있다.
도 1에서, 도시하지는 않았지만, 얼굴 인식부(110)로 입력되는 얼굴 이미지에 대한 정보, 가령, 얼굴 이미지에 대하여 얼굴 인식부(110)에 의해서 검출된 특징 정보를 저장하기 위한 별도의 저장부를 저장부(120)에 추가적으로 구비할 수 있다. 또한, 인식 동작을 수행한 후 일치하는 것으로 판단된 경우에, 별도의 저장부에 저장된 얼굴 이미지에 대한 정보를 기저장된 얼굴 이미지들 중 일치하는 것으로 판단된 얼굴 이미지의 식별 기호와 함께 부 저장부(120-2)에 저장할 수 있다.
또한, 도시하지는 않았지만, 소정 조건을 만족하는 경우 제어부의 제어 하에 부 저장부(120-2)로부터 주 저장부(120-1)로의 업데이트 동작이 이루어질 수 있다. 마찬가지로, 제어부의 제어 하에 얼굴 인식부(110), 주 저장부(120-1), 부 저장부(120-2), 및 미도시된 별도의 저장부의 동작이 이루어질 수 있다.
도 2는 본 발명의 일 실시예의 얼굴 인식 장치의 업데이트 동작을 설명하기 위한 것이다.
도 2를 참조하면, (a)는 입력 얼굴 이미지(IN1 ~ INn)를, (b)는 주 저장부(120-1)에 저장된 얼굴 이미지들(S1 ~ Sx)을, (c)는 부 저장부(120-2)에 저장된 얼굴 이미지들(S1, S2)을 나타낼 수 있다.
(a)는 소정 시간(예를 들면, 1분 동안) 카메라와 같은 촬상 소자를 통하여 입력되는 동일인에 대한 서로 다른 n개의 시점의 얼굴 이미지를 나타낸다. 가령, 카메라를 통하여 프리뷰(preview) 상태 또는 동영상 녹화 상태에서 입력되는 동일인에 대한 서로 다른 n개의 시점의 얼굴 이미지일 수도 있다. (b)는 주 저장부(120-1)에 미리 저장되는 x개의 얼굴 이미지들(S1 ~ Sx)을 나타내며, 주 저장부(120-1)는 x개의 얼굴 이미지들(S1 ~ Sx)에 대한 식별 기호와 인식 동작 시에 사용을 위한 얼굴 이미지들(S1 ~ Sx) 또는 이들에 대한 정보를 저장할 수 있다. (c)는 부 저장부(120-2)에 저장되는 새로운 얼굴 이미지들(S1, S2)을 나타내며, 새로운 얼굴 이미지들(S1, S2)에 대한 식별 기호와 인식 동작 시에 사용을 위한 얼굴 이미지들(S1, S2) 또는 이들에 대한 정보를 저장할 수 있다.
만약, 새롭게 입력된 얼굴 이미지가 부 저장부(120-2)에 저장된 얼굴 이미지 중 어느 하나로 인식되었다면, 주 저장부(120-1)에 저장된 얼굴 이미지들과의 인식 동작은 수행할 필요가 없다.
도 3은 본 발명의 일 실시예의 얼굴 검출 장치의 구성을 나타내는 블록도이다.
도 3을 참조하면, 얼굴 검출부(210)는 얼굴을 포함한 입력 이미지로부터 얼굴을 검출할 수 있다. 얼굴 검출부(210)는 얼굴의 검출을 위하여, 눈을 검출할 수 있으며, 추가적으로, 눈썹, 코, 입 등을 검출할 수도 있다. 이와 같이 검출하는 이유 중에는 저장된 얼굴 이미지와 동일한 방향으로 입력 얼굴 이미지를 배열하기 위한 것도 있을 수 있다.
정규화부(220)는 검출된 얼굴 이미지를 미리 정해진 크기의 그레이(gray) 이미지로 정규화할 수 있다. 이와 같이 정규화된 이미지는 도 1의 얼굴 인식부(110)로 입력되는 입력 얼굴 이미지가 될 수 있다.
도 3의 얼굴 검출 장치(200)는 입력 이미지가 도 1의 저장부(120)에 저장된 얼굴 이미지들과 다른 크기 및 배열을 가지고, 얼굴 이미지 이외의 다른 이미지를 포함하는 경우에 저장된 얼굴 이미지들과 동일한 크기와 배열을 가지는 얼굴 이미지를 대상으로 검출 작업을 수행하기 위한 것일 수 있다.
도 4는 본 발명의 일 실시예의 얼굴 인식부의 구성을 나타내는 블록도이다.
도 4를 참조하면, 얼굴 인식부(110)는 특징 추출부(310) 및 매칭부(320)를 포함할 수 있다.
특징 추출부(310)는 얼굴 이미지로부터 얼굴 특징을 추출할 수 있다. 매칭부(320)는 얼굴 이미지의 특징 정보와 도 1의 저장부(120)에 저장된 얼굴 이미지들의 특징 정보를 비교하여 얼굴 이미지가 저장된 얼굴 이미지에 대응하는지를 판단할 수 있다.
특징 정보를 검출하기 위하여 히스토그램(Histogram)을 이용한 방법, 주성분 분석(PCA; Principal Component Analysis)를 이용한 방법, 및 아다부스트(Adaboost) 학습 알고리즘을 이용한 방법 중 적어도 일부를 이용할 수 있다.
결정부(330)는 소정 시간 동안 입력되는 n개의 동일인의 얼굴 이미지에 대한 얼굴 인식 결과를 투표(vote)함에 의해서 최종 얼굴 인식 결과를 출력한다. 즉, 결정부(330)는 n개의 동일인의 얼굴 이미지들에 대해서 얻어진 식별 기호들 중 가장 많이 할당된 식별 기호를 입력 얼굴 이미지의 식별 기호로 결정할 수 있다. 도 2를 이용하여 설명하면, 소정 시간 동안 입력되는 30개의 동일인에 대한 입력 얼굴 이미지에 대해 인식 동작을 수행하여 5개의 입력 얼굴 이미지는 식별 기호가 S2로, 25개의 입력 얼굴 이미지는 식별 기호가 S1인 것으로 판단되었다면, 입력 얼굴 이미지의 식별 기호는 S1으로 판단할 수 있다. 이와 같이 판단되면, 도 2에 도시된 것처럼, 입력 얼굴 이미지가 부 저장부(120-2)에 저장될 수 있다. 이때 부 저장부(120-2)에 저장되는 이미지는 식별 기호가 S1인 것으로 판단된 20개의 입력 얼굴 이미지 중에서 S1을 대표할 수 있는 적어도 하나의 얼굴 이미지일 수 있다.
결정부(330)는 하나의 입력 얼굴 이미지만을 입력하는 경우에는 필요하지 않은 구성일 수 있다. 그러나, 하나의 입력 얼굴 이미지만을 이용하여 인식 동작을 수행하는 것보다 많은 수의 입력 얼굴 이미지를 이용하여 인식 동작을 수행하는 경우 인식 효율이 더 높아지기 때문에, 결정부(330)를 구비하여 동작하는 것이 바람직할 수는 있다.
도 5는 본 발명의 다른 실시예의 얼굴 인식부의 구성을 나타내는 블록도이다.
도 5를 참조하면, 얼굴 인식부(110)는 키포인트 위치 설정부(410), 키포인트 기술자 추출부(420), 및 매칭부(430)를 포함할 수 있다.
키포인트 위치 설정부(410)는 정규화된 얼굴 이미지의 고정된 위치들에 키포인트들을 설정할 수 있다.
키포인트 기술자 추출부(420)는 키포인트들 각각에서 키포인트들 각각의 근방 영역 내의 각 이미지 샘플 포인트에서 기울기 크기(gradient magnitude) 및 방향(orientation)을 계산함에 의해서 키포인트들 각각의 기술자(descriptor)들을 추출할 수 있다. 키포인트들 각각의 기술자들을 추출하는 방법은 D. Lowe에 의해서 개발되고, “International Journal of Computer Vision, Volume 60, Issue 2”에 공개된 “Distinctive image features from scale-invariant Keypoints”이라는 논문에 기재된 내용을 참조할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 다양한 방법을 적용하여 구현할 수 있을 것이다.
매칭부(430)는 얼굴 이미지로부터 얻어진 키포인트들 각각의 기술자들과 저장부(120)에 얼굴 이미지들로부터 얻어진 키포인트에 대응하는 기저장된 얼굴 이미지들 각각의 키포인트를 포함하는 지정된 영역의 키포인트들의 기술자들을 이용하여 입력 얼굴 이미지와 기저장된 얼굴 이미지들 사이의 매칭 여부를 판단할 수 있다.
좀 더 상세하게, 매칭부(430)는 얼굴 이미지로부터 얻어진 키포인트들 각각의 기술자들과 입력 이미지의 정규화된 얼굴 이미지로부터 얻어진 키포인트에 대응하는 기저장된 얼굴 이미지들 각각의 키포인트를 포함하는 지정된 영역 내의 키포인트들의 기술자들을 이용하여 입력 얼굴 이미지 및 기저장된 얼굴 이미지의 키포인트들 사이의 거리를 계산하여 비교함에 의해서, 입력 이미지의 정규화된 얼굴 이미지로부터 얻어진 키포인트들 각각에 식별 기호를 할당하고, 가장 많이 할당된 식별 기호를 입력 이미지의 정규화된 얼굴 이미지의 식별 기호로서 할당할 수 있다.
이를 위해, 저장된 얼굴 이미지들은 입력 얼굴 이미지와 동일한 크기의 그레이 이미지일 수 있으며, 저장된 얼굴 이미지에 기설정된 키포인트들의 위치와 동일한 위치들에 키포인트들을 설정하고, 설정된 키포인트들의 기술자들을 미리 추출하여 얼굴 이미지들 각각에 대한 정보를 저장할 수 있다.
결정부(440)는 도 4의 결정부(330)와 동일한 기능을 수행하므로, 도 4의 결정부(330)에 대한 설명을 참조하면 쉽게 이해될 것이다.
도 6은 도 5의 매칭부의 일 실시예의 동작을 설명하기 위한 것으로, (a)는 얼굴 이미지(IN)의 키포인트들을, (b)는 주 저장부(120-1) 또는 부 저장부(120-2)에 기저장된 M개의 얼굴 이미지들(S1 ~ SM)의 키포인트들을 나타내고 있다. 그리고, g11 ~ gij는 얼굴 이미지들(IN, S1 ~ SM)의 가령 4ⅹ4 크기의 그리드 블록들을 나타내고, f1 ~ f16은 그리드 블록들(g11 ~ gij) 각각 내에서의 가령 16개의 키포인트들을 나타내고 있다. 참고로, 도 3에서 블록당 포인트 수를 16개라고 하였지만, 이에 한정되는 것이 아님은 물론이라 할 것이다.
도 5의 매칭부(430)는 입력 얼굴 이미지(IN)의 그리드 블록(g11)의 키포인트(f1)의 기술자와 기저장된 얼굴 이미지들(S1 ~ SM)의 그리드 블록들(g11) 각각의 키포인트들(f1 ~ f16)의 기술자들을 이용하여 키포인트들(f1과 f1, f1과 f2, …, f1과 f16) 각각 사이의 거리(여기에서, 거리는 유클리드 거리(Euclidean distance)를 포함하는 개념일 수 있으나 이에 한정되는 것은 아니다)를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 입력 얼굴 이미지(IN)의 키포인트(f1)에 할당한다. 그리고, 그리드 블록(g11)의 키포인트(f2)의 기술자와 기저장된 얼굴 이미지들(S1 ~ SM)의 그리드 블록들(g11) 각각의 키포인트들(f1 ~ f16)의 기술자들을 이용하여 키포인트들(f2와 f1, f2와 f2, …, f2와 f16) 각각 사이의 거리를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 입력 얼굴 이미지(IN)의 키포인트(f2)에 할당한다. 이와 같은 방법으로, 입력 얼굴 이미지(IN)의 그리드 블록들(g11 ~ gij) 각각의 키포인트들(f1 ~ f16) 각각에 대하여 기저장된 얼굴 이미지들(S1 ~ SM)의 식별 기호들 중의 하나의 식별 기호가 할당되도록 한다. 즉, 입력 얼굴 이미지(IN)의 키포인트들(f1 ~ f16) 각각에 대하여 기저장된 얼굴 이미지들(S1 ~ SM)의 식별 기호들 중 하나의 식별 기호를 할당하되, 입력 얼굴 이미지(IN)의 각 키포인트의 기술자와 입력 얼굴 이미지(IN)의 각 키포인트가 포함된 그리드 블록과 대응되는 모든 기저장된 얼굴 이미지들(S1 ~ SM)의 그리드 블록 내의 키포인트들의 기술자들을 이용하여 키포인트들 각각의 거리를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 입력 얼굴 이미지(IN)의 그리드 블록들(g11 ~ gij) 각각의 키포인트들(f1 ~ f16) 각각에 대하여 키포인트의 식별 기호로서 할당할 수 있다.
그리고, 매칭부(430)는 입력 얼굴 이미지(IN)의 모든 키포인트들에 할당된 식별 기호들을 투표(vote)할 수 있는데, 이때 기저장된 얼굴 이미지들(S1 ~ SM)의 식별 기호들 중 하나의 식별 기호를 입력 얼굴 이미지(IN)에 할당할 수 있다. 즉, 입력 얼굴 이미지(IN)의 모든 키포인트들에 할당된 식별 기호들 중 가장 많이 할당된 식별 기호를 입력 얼굴 이미지(IN)의 식별 기호로서 할당할 수 있을 것이다. 이때, 각 그리드 블록별로 가장 많이 할당된 식별 기호를 선정한 후 전체 이미지로 볼 때 가장 많이 선정된 식별 기호를 입력 얼굴 이미지(IN)의 식별 기호로서 할당할 수도 있을 것이나 반드시 이에 한정되는 것은 아닐 것이다. 상기와 같은 프로세스를 거치면, 최종적으로, 입력 얼굴 이미지(IN)의 얼굴을 할당된 식별 기호와 동일한 식별 기호를 가지는 기저장된 얼굴 이미지의 얼굴과 동일한 것으로 인식하게 된다.
도 7은 도 5의 매칭부의 다른 실시예의 동작을 설명하기 위한 것으로, (a)는 정규화된 입력 얼굴 이미지(IN)의 키포인트들을, (b)는 정규화된 기저장된 M개의 얼굴 이미지들(S1 ~ SM)의 키포인트들을 나타내고 있다. 그리고, f11 ~ flk는 얼굴 이미지들(IN, S1 ~ SM) 각각의 키포인트들을 나타내고, N1 ~ N3는 키포인트들(f22, f35, …, f(l-1)(k-2)) 각각의 주변 영역을 지정하는 가령 3ⅹ3 크기의 주변 블록들을 나타내고 있으며, 이와 같이 모든 키포인트들에 대하여 주변 블록들이 지정될 수 있다. 참고로, 도 4에서 주변 영역을 3x3 크기라고 하였지만, 이에 한정되는 것이 아님은 물론이라 할 것이다.
도 5의 매칭부(430)는 입력 얼굴 이미지(IN)의 키포인트(f22)의 기술자와 기저장된 얼굴 이미지들(S1 ~ SM) 각각의 키포인트(f22)의 주변 블록(N1) 내의 키포인트들의 기술자들을 이용하여 키포인트들 각각 사이의 거리를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 할당한다. 이와 같은 방법으로, 입력 얼굴 이미지(IN)의 모든 키포인트들 각각의 기술자와 입력 얼굴 이미지(IN)에 대응되는 위치의 기저장된 얼굴 이미지들(S1 ~ SM) 각각의 키포인트를 포함하는 주변 블록 내의 키포인트들의 기술자들을 이용하여 키포인트들 각각 사이의 거리를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 할당한다. 즉, 입력 얼굴 이미지(IN)의 키포인트들(f11 ~ flk) 각각에 대하여 기저장된 얼굴 이미지들(S1 ~ SM)의 식별 기호들 중 하나의 식별 기호를 할당하되, 입력 얼굴 이미지(IN)의 각 키포인트의 기술자와 입력 얼굴 이미지(IN)의 각 키포인트에 대응하는 위치의 키포인트를 포함하는 모든 기저장된 얼굴 이미지들(S1 ~ SM)의 주변 블록의 키포인트들의 기술자를 이용하여 키포인트들 각각 사이의 거리를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 입력 얼굴 이미지(IN)의 키포인트의 식별 기호로 할당한다.
그리고, 매칭부(430)는 입력 얼굴 이미지(IN)의 모든 키포인트들에 할당된 식별 기호들을 투표(vote)함에 의해서 입력 얼굴 이미지(IN)를 기저장된 얼굴 이미지들(S1 ~ SM)의 식별 기호들 중 하나의 식별 기호를 할당하게 된다. 즉, 입력 얼굴 이미지(IN)의 모든 키포인트들에 할당된 식별 기호들 중 가장 많이 할당된 식별 기호를 입력 얼굴 이미지(IN)의 식별 기호로서 할당할 수 있을 것이다. 이때, 각 주변 블록별로 가장 많이 할당된 식별 기호를 선정한 후 전체 이미지로 볼 때 가장 많이 선정된 식별 기호를 입력 얼굴 이미지(IN)의 식별 기호로서 할당할 수도 있을 것이나 반드시 이에 한정되는 것은 아닐 것이다. 상기와 같은 프로세스를 거치면, 최종적으로, 입력 얼굴 이미지(IN)의 얼굴을 할당된 식별 기호와 동일한 식별 기호를 가지는 기저장된 얼굴 이미지의 얼굴과 동일한 것으로 인식하게 된다.
즉, 본 발명의 매칭부(430)는 입력 얼굴 이미지(IN)의 모든 키포인트들에 식별 기호를 할당하고, 모든 키포인트들에 할당된 식별 기호들을 투표함에 의해서 가장 많이 할당된 식별 기호를 입력 얼굴 이미지(IN)의 식별 기호로서 할당하게 된다.
도 6 및 도 7에서 입력 얼굴 이미지(IN)의 키포인트들은 제1키포인트들이라는 용어로 표현할 수 있고, 기저장된 얼굴 이미지(S1 ~ SM)의 키포인트들은 제2키포인트들이라는 용어로 표현할 수 있으며, 이와 같은 용어를 사용하여 이하 청구항에 기재하였음을 밝혀둔다.
그리고, 본 발명에서 사용되는 얼굴 이미지에 대한 정보는 얼굴 이미지 자체를 포함하는 정보일 수도 있고, 얼굴 이미지 자체가 아닌 얼굴 이미지의 식별 기호 및 얼굴 인식 동작을 위하여 요구되는 소정 정보(가령, 특징 정보)만을 포함하는 정보일 수도 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 추천한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 추천한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 추천한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 추천한 것일 수도 있다. 컴퓨터 판독 추천한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 얼굴 인식 장치
110: 얼굴 인식부
120: 저장부
120-1: 주 저장부
120-2: 부 저장부
200: 얼굴 검출 장치
210: 얼굴 검출부
220: 정규화부
310: 특징 추출부
320, 430: 매칭부
330, 440: 결정부
410: 키포인트 위치 설정부
420: 키포인트 기술자 추출부

Claims (41)

  1. (a) 촬상 소자를 통하여 프리뷰(preview) 상태로 입력되는 입력 얼굴 이미지에 대한 정보와 주 저장부에 기저장된 얼굴 이미지들 각각에 대한 정보를 비교하여 얼굴 인식 동작을 수행하고 얼굴 인식 결과를 발생하는 단계; 및
    (b) 상기 얼굴 인식 결과가 상기 입력 얼굴 이미지와 상기 기저장된 얼굴 이미지들 중 하나의 얼굴 이미지가 일치하는 것을 나타내면 상기 입력 얼굴 이미지에 대한 정보를 부 저장부에 저장하는 단계;
    (c) 입력 얼굴 이미지가 추가적으로 새롭게 입력되면, 상기 새롭게 입력된 얼굴 이미지에 대한 정보와 상기 부 저장부에 저장된 얼굴 이미지에 대한 정보를 비교하여 얼굴 인식 동작을 수행하여 상기 새롭게 입력된 입력 얼굴 이미지에 대한 얼굴 인식 결과를 발생하는 단계; 및
    (d) 상기 (c) 단계에서의 얼굴 인식 결과가 불일치임을 나타내면 상기 새롭게 입력된 입력 얼굴 이미지에 대한 정보와 상기 기저장된 얼굴 이미지들 각각에 대한 정보를 비교하여 상기 얼굴 인식 결과를 발생하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  2. 삭제
  3. 제1항에 있어서,
    (e) 상기 기저장된 얼굴 이미지들 중 적어도 하나의 얼굴 이미지에 대한 정보를 상기 부 저장부에 저장된 입력 얼굴 이미지에 대한 정보를 사용하여 업데이트하는 업데이트 동작을 수행하는 단계를 추가적으로 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  4. 제1항에 있어서,
    상기 (a) 단계 이전에
    (d) 입력 이미지로부터 얼굴 이미지를 검출하는 단계; 및
    (e) 상기 검출된 얼굴 이미지를 정해진 크기의 얼굴 이미지로 정규화하여 상기 입력 얼굴 이미지를 발생하는 단계를 추가적으로 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  5. 제4항에 있어서,
    상기 기저장된 얼굴 이미지와 동일한 방향으로 상기 검출된 얼굴 이미지를 배열하기 위하여 상기 입력 얼굴 이미지로부터 얼굴의 특징 정보를 추출하는 것을 특징으로 하는 얼굴 인식 방법.
  6. 제5항에 있어서,
    상기 특징 정보는 눈, 코, 입 중 적어도 하나의 특징 정보를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  7. 제1항에 있어서,
    상기 얼굴 인식 동작은
    (e) 상기 입력 얼굴 이미지 또는 상기 새롭게 입력된 입력 얼굴 이미지로부터 얼굴 특징 정보를 추출하는 단계; 및
    (f) 상기 입력 얼굴 이미지 또는 상기 새롭게 입력된 입력 얼굴 이미지의 특징 정보와 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들 각각의 특징 정보를 비교하여 상기 얼굴 인식 결과를 발생하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  8. 제7항에 있어서,
    상기 입력 얼굴 이미지는
    소정 시간 동안 서로 다른 시점에 입력되는 동일인에 대한 복수의 얼굴 이미지들을 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  9. 제8항에 있어서,
    상기 얼굴 인식 동작은
    상기 동일인의 복수의 얼굴 이미지들 각각에 대한 상기 얼굴 인식 결과에 기초하여 상기 입력 얼굴 이미지와 일치하는 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들 중 적어도 하나의 얼굴 이미지에 대한 식별 기호를 출력하는 것을 특징으로 하는 얼굴 인식 방법.
  10. 제9항에 있어서,
    상기 식별 기호를 출력함에 있어서, 상기 동일인의 복수의 얼굴 이미지들에 대하여 할당된 식별 기호들 중 가장 많이 할당된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로 결정하여 출력하는 것을 특징으로 하는 얼굴 인식 방법.
  11. 제1항에 있어서,
    상기 얼굴 인식 동작은
    (e) 상기 입력 얼굴 이미지의 정해진 위치들에 키포인트를 설정하는 단계;
    (f) 상기 키포인트들 각각의 기술자를 추출하는 단계; 및
    (g) 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트들 각각의 기술자들, 및 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트에 대응하는 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들 각각의 해당 제2키포인트와 상기 해당 제2키포인트에 인접한 인접 제2키포인트를 포함하는 지정된 영역 내의 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여 상기 입력 얼굴 이미지와 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들의 매칭 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  12. 제11항에 있어서,
    상기 입력 얼굴 이미지는
    소정 시간 동안 서로 다른 시점에 입력되는 동일인의 복수의 얼굴 이미지들을 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  13. 제12항에 있어서,
    상기 얼굴 인식 동작은
    상기 동일인의 복수의 얼굴 이미지들 각각에 대한 상기 얼굴 인식 결과에 기초하여 상기 입력 얼굴 이미지와 일치하는 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들 중 적어도 하나의 얼굴 이미지의 최종 인식 결과를 출력하는 것을 특징으로 하는 얼굴 인식 방법.
  14. 제13항에 있어서,
    상기 얼굴 인식 결과는 식별 기호를 포함하고, 상기 동일인의 복수 개의 얼굴 이미지들에 대하여 할당된 식별 기호들 중 가장 많이 할당된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로 결정하는 것을 특징으로 하는 얼굴 인식 방법.
  15. 제11항에 있어서,
    상기 (g) 단계는
    상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 상기 부 저장부 또는 상기 주 저장부에 저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 가장 많이 할당된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 방법.
  16. 제15항에 있어서,
    상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트, 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산할 때, 유클리드 거리(Euclidean distance)로서 계산하는 것을 특징으로 하는 얼굴 인식 방법.
  17. 제11항에 있어서,
    상기 (g) 단계는
    상기 얼굴 이미지에 그리드 블록들을 형성하고, 상기 그리드 블록을 상기 지정된 영역으로 설정하는 것을 특징으로 하는 얼굴 인식 방법.
  18. 제17항에 있어서,
    상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 기저장된 얼굴 이미지 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 상기 각 그리드 블록별로 가장 많이 할당된 식별 기호를 선정한 후 상기 가장 많이 선정된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 방법.
  19. 제11항에 있어서,
    상기 (g)단계에서
    상기 지정된 영역은 지정된 크기를 가지는 블록이고, 상기 블록 내의 중심에상기 제1키포인트에 대응하는 상기 해당 제2키포인트가 위치하고, 상기 블록 내에 상기 인접 제2키포인트들이 위치하는 것을 특징으로 하는 얼굴 인식 방법.
  20. 제19항에 있어서,
    상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 상기 각 블록별로 가장 많이 할당된 식별 기호를 선정한 후 상기 가장 많이 선정된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 방법.
  21. 복수의 얼굴 이미지들에 대한 정보를 저장하기 위한 공간에 해당하는 주 저장부;
    촬상 소자를 통해 프리뷰 상태로 입력되는 입력 얼굴 이미지에 대한 정보와 상기 주 저장부에 기저장된 상기 복수의 얼굴 이미지들 중 하나의 얼굴 이미지에 대한 정보가 일치하는 것으로 얼굴 인식 결과가 나타나는 경우 상기 입력 얼굴 이미지에 대한 정보를 저장하기 위한 공간에 해당하는 부 저장부; 및
    상기 입력 얼굴 이미지에 대한 정보와 상기 주 저장부에 상기 기저장된 얼굴이미지들 각각에 대한 정보를 비교하여 상기 얼굴 인식 동작을 수행하여 상기 얼굴 인식 결과를 발생하고, 입력 얼굴 이미지가 새롭게 입력되면, 상기 새롭게 입력된 입력 얼굴 이미지에 대한 정보와 상기 부 저장부에 저장된 얼굴 이미지에 대한 정보를 비교하여 상기 얼굴 인식 동작을 수행하여 상기 새롭게 입력된 입력 얼굴 이미지에 대한 얼굴 인식 결과를 발생하는 얼굴 인식부를 포함하고,
    상기 새롭게 입력된 입력 얼굴 이미지에 대한 상기 얼굴 인식 결과가 불일치임을 나타내면 상기 새롭게 입력된 입력 얼굴 이미지에 대한 정보와 상기 주 저장부에 저장된 상기 기저장된 얼굴 이미지들 각각에 대한 정보를 비교하여 상기 얼굴 인식 결과를 발생하는 것을 특징으로 하는 얼굴 인식 장치.
  22. 삭제
  23. 제21항에 있어서,
    상기 주 저장부에 기저장된 얼굴 이미지들 중 적어도 하나의 얼굴 이미지에 대한 정보를 상기 부 저장부에 저장된 입력 얼굴 이미지에 대한 정보를 사용하여 업데이트하는 것을 특징으로 하는 얼굴 인식 장치.
  24. 제21항에 있어서,
    상기 입력 이미지로부터 얼굴 이미지를 검출하는 얼굴 검출부; 및
    상기 검출된 얼굴 이미지를 정해진 크기의 얼굴 이미지로 정규화하여 상기 입력 얼굴 이미지를 발생하는 정규화부를 추가적으로 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  25. 제24항에 있어서,
    상기 얼굴 검출부는
    상기 기저장된 얼굴 이미지와 동일한 방향으로 상기 검출된 얼굴 이미지를 배열하기 위하여 상기 입력 얼굴 이미지로부터 얼굴의 특징 정보를 추출하는 것을 특징으로 하는 얼굴 인식 장치.
  26. 제25항에 있어서,
    상기 특징 정보는 눈, 코, 입 중 적어도 하나의 특징 정보를 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  27. 제21항에 있어서,
    상기 얼굴 인식부는
    상기 입력 얼굴 이미지 또는 상기 새롭게 입력된 입력 얼굴 이미지로부터 얼굴 특징 정보를 추출하는 특징 추출부; 및
    상기 입력 얼굴 이미지 또는 상기 새롭게 입력된 입력 얼굴 이미지의 특징 정보와 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들 각각의 특징 정보를 비교하여 상기 얼굴 인식 결과를 발생하는 매칭부를 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  28. 제27항에 있어서,
    상기 입력 얼굴 이미지는
    소정 시간 동안 서로 다른 시점에 입력되는 동일인에 대한 복수의 얼굴 이미지들을 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  29. 제28항에 있어서,
    상기 얼굴 인식부는
    상기 동일인의 복수의 얼굴 이미지들 각각에 대한 상기 얼굴 인식 결과에 기초하여 상기 입력 얼굴 이미지와 일치하는 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들 중 적어도 하나의 얼굴 이미지에 대한 식별 기호를 출력하는 결정부를 추가적으로 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  30. 제29항에 있어서,
    상기 결정부는
    상기 식별 기호를 출력함에 있어서, 상기 동일인의 복수의 얼굴 이미지들에 대하여 할당된 식별 기호들 중 가장 많은 수의 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로 결정하여 출력하는 것을 특징으로 하는 얼굴 인식 장치.
  31. 제21항에 있어서,
    상기 얼굴 인식부는
    상기 입력 얼굴 이미지의 정해진 위치들에 키포인트를 설정하는 키포인트 위치 설정부;
    상기 키포인트들 각각의 기술자를 추출하는 키포인트 기술자 추출부; 및
    상기 입력 얼굴 이미지로부터 얻어진 제1키포인트들 각각의 기술자, 및 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트에 대응하는 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들 각각의 제2키포인트와 상기 해당 제2키포인트에 인접한 인접 제2키포인트들을 포함하는 지정된 영역 내의 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여 상기 입력 얼굴 이미지와 상기 주 저장부 또는 상기 부 저장부에 저장된 얼굴 이미지들의 매칭 여부를 판단하는 매칭부를 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  32. 제31항에 있어서,
    상기 입력 얼굴 이미지는
    소정 시간 동안 서로 다른 시점에 입력되는 동일인의 복수의 얼굴 이미지들을 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  33. 제32항에 있어서,
    상기 얼굴 인식부는
    상기 동일인의 복수의 얼굴 이미지들 각각에 대한 상기 얼굴 인식 결과에 기초하여 상기 입력 얼굴 이미지와 일치하는 상기 부 저장부 또는 상기 주 저장부에 저장된 얼굴 이미지들 중 적어도 하나의 얼굴 이미지의 최종 인식 결과를 출력하는 결정부를 추가적으로 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  34. 제33항에 있어서,
    상기 결정부는
    상기 얼굴 인식 결과는 식별 기호를 포함하고, 상기 동일인의 복수 개의 얼굴 이미지들에 대하여 할당된 식별 기호들 중 가장 많은 수의 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로 결정하는 것을 특징으로 하는 얼굴 인식 장치.
  35. 제31항에 있어서,
    상기 매칭부는
    상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 상기 부 저장부 또는 상기 주 저장부에 기저장된 얼굴 이미지들 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 가장 많이 할당된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 장치.
  36. 제35항에 있어서,
    상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산할 때, 유클리드 거리(Euclidean distance)로서 계산하는 것을 특징으로 하는 얼굴 인식 장치.
  37. 제31항에 있어서,
    상기 매칭부는
    상기 얼굴 이미지에 그리드 블록들을 형성하고, 상기 그리드 블록을 상기 지정된 영역으로 설정하는 것을 특징으로 하는 얼굴 인식 장치.
  38. 제 37항에 있어서,
    상기 매칭부는
    상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 상기 부 저장부 또는 상기 주저장부에 기저장된 얼굴 이미지 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 상기 각 그리드 블록별로 가장 많이 할당된 식별 기호를 선정한 후 상기 가장 많이 선정된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 장치.
  39. 제31항에 있어서,
    상기 매칭부는
    상기 지정된 영역은 지정된 크기를 가지는 블록이고, 상기 블록 내의 중심에상기 제1키포인트에 대응하는 상기 해당 제2키포인트가 위치하고, 상기 블록 내에 상기 인접 제2키포인트들이 위치하는 것을 특징으로 하는 얼굴 인식 장치.
  40. 제39항에 있어서,
    상기 매칭부는
    상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 상기 부 저장부 또는 상기 주 저장부에 기저장된 얼굴 이미지 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 상기 각 주변 블록별로 가장 많이 할당된 식별 기호를 선정한 후 상기 가장 많이 선정된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 장치.
  41. 제1항 및 제3항 내지 제20항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020110105547A 2011-10-14 2011-10-14 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 KR101240901B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110105547A KR101240901B1 (ko) 2011-10-14 2011-10-14 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110105547A KR101240901B1 (ko) 2011-10-14 2011-10-14 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
KR101240901B1 true KR101240901B1 (ko) 2013-03-18

Family

ID=48181372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110105547A KR101240901B1 (ko) 2011-10-14 2011-10-14 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR101240901B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179242A1 (en) * 2018-03-18 2019-09-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and electronic device
US11295114B2 (en) 2014-04-28 2022-04-05 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100840011B1 (ko) * 2006-07-11 2008-06-20 엠텍비젼 주식회사 3차원 그래픽 연산을 위한 캐쉬 메모리 장치 및 3차원그래픽 연산 처리 방법
KR20090057796A (ko) * 2007-12-03 2009-06-08 삼성전자주식회사 복수의 얼굴 인식 방법 및 장치, 및 얼굴 등록 방법 및장치, 및 영상 촬영 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100840011B1 (ko) * 2006-07-11 2008-06-20 엠텍비젼 주식회사 3차원 그래픽 연산을 위한 캐쉬 메모리 장치 및 3차원그래픽 연산 처리 방법
KR20090057796A (ko) * 2007-12-03 2009-06-08 삼성전자주식회사 복수의 얼굴 인식 방법 및 장치, 및 얼굴 등록 방법 및장치, 및 영상 촬영 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295114B2 (en) 2014-04-28 2022-04-05 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
WO2019179242A1 (en) * 2018-03-18 2019-09-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and electronic device
US10769416B2 (en) 2018-03-18 2020-09-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, electronic device and storage medium

Similar Documents

Publication Publication Date Title
KR101130817B1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR102455633B1 (ko) 라이브니스 검사 방법 및 장치
US9864756B2 (en) Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
US11790494B2 (en) Facial verification method and apparatus based on three-dimensional (3D) image
KR102415509B1 (ko) 얼굴 인증 방법 및 장치
US9563821B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
US11625473B2 (en) Method and apparatus with selective combined authentication
CN112364827B (zh) 人脸识别方法、装置、计算机设备和存储介质
JP2018045309A (ja) 特徴量抽出装置および認証システム
CN110647955A (zh) 身份验证方法
US11281922B2 (en) Face recognition system, method for establishing data of face recognition, and face recognizing method thereof
KR102286571B1 (ko) 영상에서 다수의 객체를 인식하는 방법
JP6128910B2 (ja) 学習装置、学習方法及びプログラム
KR20170045813A (ko) 사용자 인증을 위한 생체 영역을 검출하는 방법 및 장치
KR20170123950A (ko) 얼굴 인식을 이용한 출입 관리 방법 및 시스템
JP2013065118A (ja) 顔認識装置、及び顔認識方法
US20230252820A1 (en) Authentication method, information processing device, and non-transitory computer-readable recording medium storing authentication program
KR102225623B1 (ko) 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법
KR101240901B1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR102326185B1 (ko) 딥러닝을 이용한 얼굴 매칭 방법 및 장치
KR102495360B1 (ko) 복합 인증을 수행하는 방법 및 장치
JP2008217688A (ja) 照合装置
KR20210050226A (ko) 모바일 기기의 컴파운드 인증 수행 방법
Kaur A New Hybrid Technique for Iris Recognition

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160303

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee