KR20170140519A - 포즈 변화에 강인한 얼굴 인식 시스템 및 방법 - Google Patents

포즈 변화에 강인한 얼굴 인식 시스템 및 방법 Download PDF

Info

Publication number
KR20170140519A
KR20170140519A KR1020160072901A KR20160072901A KR20170140519A KR 20170140519 A KR20170140519 A KR 20170140519A KR 1020160072901 A KR1020160072901 A KR 1020160072901A KR 20160072901 A KR20160072901 A KR 20160072901A KR 20170140519 A KR20170140519 A KR 20170140519A
Authority
KR
South Korea
Prior art keywords
face
graph
image
target user
user
Prior art date
Application number
KR1020160072901A
Other languages
English (en)
Other versions
KR102610035B1 (ko
Inventor
김계경
강상승
김재홍
지수영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160072901A priority Critical patent/KR102610035B1/ko
Publication of KR20170140519A publication Critical patent/KR20170140519A/ko
Application granted granted Critical
Publication of KR102610035B1 publication Critical patent/KR102610035B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G06K9/00248—
    • G06K9/00288—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

본 발명의 일예와 관련된 얼굴 인식 시스템은 대상 사용자 얼굴 영상을 획득하는 영상 획득부, 표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고, 상기 대상 사용자 얼굴 영상에서 상기 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 상기 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성하는 얼굴 그래프 생성부 및 상기 대상 사용자 얼굴 영상에서 상기 최적 얼굴 그래프의 노드가 위치한 지점별 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 상기 대상 사용자를 인식하는 사용자 인식부를 포함할 수 있다.

Description

포즈 변화에 강인한 얼굴 인식 시스템 및 방법{SYSTEM AND METHOD FOR RECOGNIZING POSE INVARIANT FACE}
본 발명은 포즈 변화에 강인한 얼굴 인식 시스템 및 방법에 관한 것이다.
얼굴 인식 기술을 이용한 사용자 인식 기술은 편의성, 사용자 맞춤형 서비스 제공 및 다양한 분야에서의 엔터테인먼트 제공 기술로 활용이 가능하다는 장점 때문에 활용 범위가 점점 넓어지고 있는 추세이다. 특히, 최근 출입 통제, 인증 자동화, 지능형 보안 등 다양한 분야에서 얼굴 인식 기술을 적용하려는 움직임이 활발하다.
기존의 얼굴을 인식하는 방법은 입력 얼굴 영상에 대해서 두 눈 좌표를 기준으로 얼굴의 피쳐를 추출하기 위한 영역을 결정하고 얼굴 인식을 시도한다.
두 눈 좌표를 추출하는 알고리즘의 정확성에 따라 얼굴 인식 성능이 저하되는 문제점을 해결하기 위하여 얼굴 영상에서 두 눈을 찾는 과정과 얼굴을 인식하는 과정이 결합된 얼굴 인식 알고리즘이 제안되어 얼굴 영상에서 두 눈 뿐만 아니라 얼굴 특징을 추출할 얼굴의 각 특징 위치들을 상호 연관성 있게 동시에 탐색하도록 하는 방법도 제안되었다.
그러나 기존의 얼굴 인식 방법은 실제 환경에서 조명, 포즈, 배경 변화 때문에 인식률이 낮다는 문제점이 있었다.
특히, 포즈 변화가 일어난 사용자의 얼굴 영상을 인식했을 때 동일한 사용자 얼굴 영상에 대한 얼굴 인식 유사도 보다 다른 사용자 얼굴 영상에 대한 얼굴 인식 유사도가 더 높게 나타나는 경우가 발생하여 포즈 변화는 얼굴 인식 기술의 현장 적용시 인식 오류의 주요 요인으로 작용하였다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 실제 환경에서 얼굴 오인식의 원인인 포즈 변화에도 얼굴 인식 성능을 저하시키지 않는 얼굴 인식 시스템 및 방법을 제공하는 데 그 목적이 있다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 얼굴 인식 시스템은 대상 사용자 얼굴 영상을 획득하는 영상 획득부, 표준 얼굴 그래프, 상기 표준 얼굴 그래프의 특징 벡터 및 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 저장하는 메모리, 상기 표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고, 상기 대상 사용자 얼굴 영상에서 상기 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 상기 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성하는 얼굴 그래프 생성부 및 상기 대상 사용자 얼굴 영상에서 상기 최적 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 상기 대상 사용자를 인식하는 사용자 인식부를 포함할 수 있다.
일 실시예에서 상기 얼굴 그래프 생성부는 상기 대상 사용자 얼굴 영상의 눈 및 코의 위치를 기준으로 상기 표준 얼굴 그래프 노드의 위치를 보정할 수 있다.
일 실시예에서 상기 대상 사용자 얼굴 영상으로부터 상기 대상 사용자 얼굴의 포즈를 검출하는 포즈 검출부를 더 포함하고, 상기 메모리는 포즈별 표준 얼굴 그래프를 저장하며, 상기 얼굴 그래프 생성부는 상기 포즈별 표준 얼굴 그래프 중 상기 검출된 포즈와 가장 근사한 포즈를 갖는 표준 얼굴 그래프를 상기 대상사용자 얼굴 영상에 정합할 수 있다.
일 실시예에서 상기 포즈 검출부는 상기 대상 사용자 얼굴에 포함된 복수의 특징점을 검출하고, 검출한 복수의 특징점을 이용하여 상기 대상 사용자 얼굴의 포즈를 검출할 수 있다.
일 실시예에서 상기 대상 사용자 얼굴 영상에서 상기 대상 사용자를 제외한 영역을 제거하는 영상 전처리부를 더 포함할 수 있다.
일 실시예에서 상기 대상 사용자 얼굴 영상에서 상기 대상 사용자의 얼굴 영역을 추출하는 얼굴 영역 추출부를 더 포함할 수 있다.
일 실시예에서 상기 대상 사용자 얼굴 영상의 상기 대상 사용자의 양쪽 눈 사이의 거리를 기초로 상기 대상 사용자 얼굴 영상의 크기를 정규화하는 영상 정규화부를 더 포함할 수 있다.
본 발명의 실시예들은 실제 환경에서 포즈 변화가 있는 얼굴의 인식률을 향상시킬 수 있다.
본 발명의 실시예들은 조명, 배경의 변화에도 얼굴 인식 성능을 유지할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다양한 각도에서 얼굴 영상이 획득되는 것을 나타내는 도면이다.
도 3a는 본 발명의 일 실시예에 따라 표준 얼굴 그래프가 대상 사용자 얼굴 영상에 정합된 것을 나타내는 도면이다.
도 3b는 본 발명의 일 실시예에 따라 대상 사용자 얼굴 영상에 정합된 표준 얼굴 그래프의 노드가 보정된 것을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 포즈별 대상 사용자 얼굴 영상에 최적 얼굴 그래프가 생성된 것을 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 얼굴 인식 시스템의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 얼굴 인식 방법을 나타내는 순서도이다.
도 7는 본 발명의 일 실시예에 따른 얼굴 인식 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 블록도이다. 도 2는 본 발명의 일 실시예에 따른 다양한 각도에서 얼굴 영상이 획득되는 것을 나타내는 도면이다. 도 3a는 본 발명의 일 실시예에 따라 표준 얼굴 그래프가 대상 사용자 얼굴 영상에 정합된 것을 나타내는 도면이다. 도 3b는 본 발명의 일 실시예에 따라 대상 사용자 얼굴 영상에 정합된 표준 얼굴 그래프의 노드가 보정된 것을 나타내는 도면이다.
도 1을 참조하면, 얼굴 인식 시스템(100)은 영상 획득부(110), 메모리(120), 얼굴 그래프 생성부(130) 및 사용자 인식부(140) 등을 포함할 수 있다.
다만, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 얼굴 인식 시스템이 구현될 수도 있다.
영상 획득부(110)은 인식 대상이 되는 대상 사용자의 얼굴 영상을 획득할 수 있다. 영상 획득부(110)은 사용자의 얼굴을 촬영하는 카메라 또는 카메라로부터 대상 사용자의 얼굴 영상을 수신하는 영상 수신부일 수 있다.
또한, 영상 획득부(110)이 획득한 영상에서 사용자 얼굴의 포즈는 정면 포즈, 측면 포즈, 상면 포즈 및 하면 포즈 등일 수 있고, 영상 내에는 사용자의 얼굴뿐만 아니라 배경영상이 존재할 수 있으며, 영상들 각각은 사용자 얼굴이 촬영되는 조명 환경에 의해 영상의 밝기가 다를 수 있다.
메모리(120)은 표준 얼굴 그래프, 표준 얼굴 그래프의 특징 벡터 및 복수의 사용자 얼굴 그래프의 노드별 특징 벡터 등을 저장할 수 있다.
표준 얼굴 그래프는 후술할 얼굴 그래프 생성부(130)에 의해 대상 사용자 얼굴 영상에 정합되는 얼굴 그래프이다. 표준 얼굴 그래프는 다른 성별 및 인종 등 다양한 얼굴로부터 추출된 것일 수 있다. 또한, 표준 얼굴 그래프는 도 2에 나타난 것 같이 다양한 각도에서 획득된 얼굴 영상으로부터 추출되어 포즈별로 메모리(120)에 저장될 수 있다.
포즈별 표준 얼굴 그래프를 구성하는 특징점 노드는 도 3에 나타난 것과 같이 복수개의 특징점들로 구성될 수 있다. 이러한 특징점들은 얼굴 영상에서 눈, 눈썹, 코, 입술, 턱, 얼굴 윤곽선 등과 같이 얼굴에서 두드러지는 지점일 수 있다.
표준 얼굴 그래프의 특징 벡터는 표준 얼굴 그래프의 각 노드가 위치한 지점의 특징 벡터로서, 표준 얼굴 그래프가 추출된 얼굴 영상의 특징점에서의 특징 벡터이다.
복수의 사용자 얼굴 그래프의 노드별 특징 벡터는 인식 대상이 되는 복수의 사용자의 얼굴 영상 각각으로부터 추출된 얼굴 그래프의 노드별 특징 벡터이다. 즉, 영상 획득부(110)이 대상 사용자 얼굴 영상을 획득하고, 후술할 사용자 인식부(140)이 대상 사용자 얼굴 영상의 특징 벡터를 비교하는 대상이 복수의 사용자 얼굴 그래프의 노드별 특징 벡터이다.
이러한 복수의 사용자 얼굴 그래프의 노드별 특징 벡터는 표준 얼굴 그래프와 마찬가지로 포즈별로 획득된 복수의 사용자 얼굴 영상으로부터 추출된 것일 수 있다.
얼굴 그래프 생성부(130)은 대상 사용자 얼굴 영상의 최적 얼굴 그래프를 생성할 수 있다. 구체적으로, 얼굴 그래프 생성부(130)은 메모리(120)에 저장된 표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고, 상기 대상 사용자 얼굴 영상에서 상기 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 상기 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성할 수 있다.
도 3a를 참조하면, 표준 얼굴 그래프가 대상 사용자 얼굴 영상에 정합되어 있지만 대상 사용자의 얼굴은 좌측으로 틀어진 포즈이고, 표준 얼굴 그래프의 최우측 노드(a)는 대상 사용자 얼굴의 특징점에 위치하지 않는다.
얼굴 그래프 생성부(130)은 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터를 추출하고, 표준 얼굴 그래프의 특징 벡터와 비교하여 차이가 기 설정된 차이 초과인 노드의 위치를 보정할 수 있다.
도 3a에서는 표준 얼굴 그래프의 최우측 노드(a)가 대상 사용자 얼굴 영상의 뺨 위치에 있으므로 최우측 노드(a)에서 추출된 특징 벡터는 이에 대응하는 메모리(120)에 저장된 표준 얼굴 그래프의 특징 벡터의 값과의 차이가 기 설정된 차이를 초과할 것이다.
얼굴 그래프 생성부(130)은 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 최우측 노드(a)의 위치를 조절하여 도 3b과 같은 최적 얼굴 그래프를 생성할 수 있다.
얼굴 그래프 생성부(130)은 표준 얼굴 그래프 노드의 위치를 보정할 때 대상 사용자 얼굴 영상의 눈 및 코의 위치를 기준으로 보정할 수 있다.
얼굴 그래프 생성부(130)은 이와 같은 방법으로 최적 얼굴 그래프를 생성할 수 있으며, 도 4와 같이 정면 포즈가 아닌 다른 포즈의 대상 사용자 얼굴 영상에서도 최적 얼굴 그래프를 생성할 수 있다.
사용자 인식부(140)은 대상 사용자 얼굴 영상에서 최적 얼굴 그래프의 노드가 위치한 지점별 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 대상 사용자를 인식할 수 있다.
최적 얼굴 그래프는 대상 사용자 얼굴 영상에 최적화 되어 있으므로 최적 얼굴 그래프의 노드는 대상 사용자 얼굴 영상의 특징점에 위치할 것이다.
사용자 인식부(140)은 대상 사용자 얼굴 영상에서 최적 얼굴 그래프의 노트가 위치한 지점, 즉 대상 사용자 얼굴 영상의 특징점에서 특징 벡터를 추출할 수 있다. 사용자 인식부(140)은 특징 벡터를 추출하는 방법으로 가버 변환(Gabor transform) 등의 방법을 사용할 수 있다.
사용자 인식부(140)은 추출한 특징 벡터와 메모리(120)에 저장된 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 대상 사용자를 인식할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 얼굴 인식 시스템의 블록도이다.
도 5를 참조하면, 본 발명의 다른 실시예에 따라 얼굴 인식 시스템(200)은 영상 획득부(210), 메모리(220), 얼굴 그래프 생성부(230), 사용자 인식부(240), 포즈 검출부(250), 영상 전처리부(260), 얼굴 영역 추출부(270) 및 영상 정규화부(280) 등을 포함할 수 있다.
영상 획득부(210), 메모리(220), 얼굴 그래프 생성부(230) 및 사용자 인식부(240)는 도 1을 참조하여 설명한 영상 획득부(110), 메모리(120), 얼굴 그래프 생성부(130) 및 사용자 인식부(140)와 동일하므로 이에 대한 설명은 생략한다.
포즈 검출부(250)는 대상 사용자 얼굴 영상으로부터 대상 사용자 얼굴의 포즈를 검출할 수 있다.
포즈 검출부(250)는 대상 사용자 얼굴 영상에 포함된 복수의 특징점을 검출하고, 검출한 복수의 특징점을 이용하여 대상 사용자 얼굴의 포즈를 검출할 수 있다.
얼굴에 포함된 특징점은 눈썹, 눈, 코, 입, 턱 등의 윤곽 영역에 위치하는 것일 수 있다. 포즈 검출부(250)는 대상 사용자 얼굴 영상의 텍스처 정보를 이용할 수 있고, 관련 기술 분야에서 일반적으로 알려진 ASM(Active Shape Model), AAM(Active Appearance Model) 또는 SDM(Supervised Descent Method) 등의 방식을 이용하여 영상에서 얼굴의 특징점을 검출할 수 있다.
얼굴 그래프 생성부(130)은 표준 얼굴 그래프를 대상 사용자 얼굴 영상에 정합할 때 포즈별 표준 얼굴 그래프 중 포즈 검출부(250)가 검출한 대상 사용자 얼굴 영상의 포즈와 가장 근사한 포즈를 갖는 표준 얼굴 그래프를 대상 사용자 얼굴 영상에 정합할 수 있다. 대상 사용자 얼굴 영상의 포즈를 검출한 후, 검출한 포즈에 따른 표준 얼굴 그래프를 정합시킴으로써 최적 그래프 생성의 오차를 줄일 수 있다.
영상 전처리부(260)는 대상 사용자 얼굴 영상에서 대상 사용자를 제외한 영역을 제거할 수 있다. 영상 전처리부(260)는 얼굴을 제외한 영역을 제거함으로써 대상 사용자의 얼굴 영역만으로부터 대상 사용자의 얼굴 영역을 정확히 검출할 수 있고, 얼굴 인식률을 향상시킬 수 있다.
얼굴 영역 추출부(270)는 대상 사용자 얼굴 영상에서 대상 사용자의 얼굴 영역을 추출할 수 있다. 사용자 인식부(140)이 인식하는 대상은 사용자의 얼굴이므로 사용자의 얼굴 영역만을 추출하고, 추출된 영역만을 이용함으로써 인식 오류를 줄일 수 있다.
영상 정규화부(280)는 획득된 대상 사용자 얼굴 영상의 크기를 정규화할 수 있다. 예를 들어, 영상 정규화부(280)는 대상 사용자의 양쪽 눈 사이의 거리를 기초로 대상 사용자 얼굴 영상의 크기를 정규화할 수 있다. 다만, 영상 정규화부(280)가 얼굴 영상의 크기를 정규화하는 방법은 이에 한정되지 않는다.
영상 정규화부(280)는 영상의 크기를 정규화 하는 것뿐만 아니라, 영상의 밝기를 정규화 할 수 있다. 대상 사용자 얼굴이 촬영되는 조명 환경은 다를 수 있기 때문이다.
이하에서는 도 6을 참조하여 전술한 구성들을 기초로 얼굴 인식 방법에 대해 구체적으로 설명한다.
도 6은 본 발명의 일 실시예에 따른 얼굴 인식 방법을 나타내는 순서도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 얼굴 인식 방법은 대상 사용자 얼굴 영상을 획득하는 단계(S110), 표준 얼굴 그래프를 이용하여 대상 사용자 얼굴 영상의 최적 얼굴 그래프를 생성하는 단계(S120) 및 최적 얼굴 그래프를 이용하여 대상 사용자 얼굴 영상의 특징 벡터를 추출하고, 추출한 특징 벡터를 이용하여 사용자를 인식하는 단계(S130)을 포함할 수 있다.
S110 단계에서, 영상 획득부(110, 210)은 대상 사용자 얼굴 영상을 획득할 수 있다.
영상 획득부(110, 210)은 카메라로서 직접 대상 사용자 얼굴을 촬영하거나, 영상 수신부로서 카메라로부터 대상 사용자 얼굴 영상을 수신할 수 있다.
S120 단계에서, 얼굴 그래프 생성부(130, 230)은 표준 얼굴 그래프를 대상 사용자 얼굴 영상에 정합하고, 대상 사용자 얼굴 영상에서 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성할 수 있다.
전술한 바와 같이 얼굴 그래프 생성부(130, 230)은 대상 사용자 얼굴 영상의 눈 및 코의 위치를 기준으로 보정할 수 있다.
S130 단계에서, 사용자 인식부(140, 240)은 대상 사용자 얼굴 영상에서 최적 얼굴 그래프의 노드가 위치한 지점별 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 대상 사용자를 인식할 수 있다.
사용자 인식부(140, 240)은 대상 사용자 얼굴 영상에서 최적 얼굴 그래프의 노트가 위치한 지점, 즉 대상 사용자 얼굴 영상의 특징점에서 특징 벡터를 추출할 수 있고, 추출한 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 대상 사용자를 인식할 수 있다.
한편, 본 발명의 일 실시예에 따른 얼굴 인식 방법은 S110 단계 후, 대상 사용자 얼굴 영상에서 대상 사용자를 제외한 영역을 제거하는 단계를 더 포함할 수 있다. 얼굴을 제외한 영역을 제거함으로써 대상 사용자의 얼굴 영역만으로부터 대상 사용자의 얼굴 영역을 정확히 검출할 수 있고, 얼굴 인식률을 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 얼굴 인식 방법은 S110 단계 후, 대상 사용자 얼굴 영상에서 대상 사용자의 얼굴 영역을 추출하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 얼굴 인식 방법은 S110 단계 후, 획득된 대상 사용자 얼굴 영상의 크기를 정규화하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 얼굴 인식 방법은 S120 단계 전, 대상 사용자 얼굴 영상으로부터 대상 사용자 얼굴의 포즈를 검출하는 단계를 더 포함할 수 있다.
포즈 검출부(250)가 대상 사용자 얼굴 영상에 포함된 복수의 특징점을 검출하고, 검출한 복수의 특징점을 이용하여 대상 사용자 얼굴의 포즈를 검출할 수 있다.
S120 단계에서 얼굴 그래프 생성부(130, 230)은 표준 얼굴 그래프를 대상 사용자 얼굴 영상에 정합할 때 포즈별 표준 얼굴 그래프 중 포즈 검출부(250)가 검출한 대상 사용자 얼굴 영상의 포즈와 가장 근사한 포즈를 갖는 표준 얼굴 그래프를 대상 사용자 얼굴 영상에 정합할 수 있다. 대상 사용자 얼굴 영상의 포즈를 검출한 후, 검출한 포즈에 따른 표준 얼굴 그래프를 정합시킴으로써 최적 그래프 생성의 오차를 줄일 수 있다.
도 7은 본 발명의 일 실시예에 따른 얼굴 인식 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.
도 7을 참조하면, 컴퓨팅 시스템(1100)은 버스(1120)을 통해 연결되는 적어도 하나의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1110)은 중앙 처리 장치(CPU) 또는 메모리(1130) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저 조세호는 왜 얼굴도 안비추냐장 매체를 포함할 수 있다. 예를 들어, 메모리(1130)은 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1110)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1130) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1110)에 커플링되며, 그 프로세서(1110)은 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1110)과 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
상기와 같이 설명된 얼굴 인식 시스템 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110, 210 : 영상 획득부
120, 220 : 메모리
130, 230 : 얼굴 그래프 생성부
140, 240 : 사용자 인식부
250 : 포즈 검출부
260 : 영상 전처리부
270 : 얼굴 영역 추출부
280 : 영상 정규화부
1100: 컴퓨팅 시스템
1110: 프로세서
1120: 시스템 버스
1130: 메모리
1310: ROM
1320: RAM
1140: 사용자 인터페이스

Claims (1)

  1. 대상 사용자 얼굴 영상을 획득하는 영상 획득부;
    표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고, 상기 대상 사용자 얼굴 영상에서 상기 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 상기 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성하는 얼굴 그래프 생성부; 및
    상기 대상 사용자 얼굴 영상에서 상기 최적 얼굴 그래프의 노드가 위치한 지점별 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 상기 대상 사용자를 인식하는 사용자 인식부를 포함하는 얼굴 인식 시스템.
KR1020160072901A 2016-06-13 2016-06-13 포즈 변화에 강인한 얼굴 인식 시스템 및 방법 KR102610035B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160072901A KR102610035B1 (ko) 2016-06-13 2016-06-13 포즈 변화에 강인한 얼굴 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160072901A KR102610035B1 (ko) 2016-06-13 2016-06-13 포즈 변화에 강인한 얼굴 인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170140519A true KR20170140519A (ko) 2017-12-21
KR102610035B1 KR102610035B1 (ko) 2023-12-06

Family

ID=60936198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160072901A KR102610035B1 (ko) 2016-06-13 2016-06-13 포즈 변화에 강인한 얼굴 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102610035B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208869A1 (ko) * 2018-04-27 2019-10-31 연세대학교 산학협력단 학습을 이용한 얼굴 특징점 검출 방법 및 장치
WO2021182670A1 (ko) * 2020-03-10 2021-09-16 연세대학교 산학협력단 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법
KR20210114308A (ko) 2020-03-10 2021-09-23 연세대학교 산학협력단 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130072058A (ko) * 2011-12-21 2013-07-01 한국전자통신연구원 가버 특징과 ｓｖｍ 분류기를 이용하여 위변조 얼굴을 인식하기 위한 시스템 및 그 방법
KR20150127381A (ko) * 2014-05-07 2015-11-17 포항공과대학교 산학협력단 얼굴 특징점 추출 방법 및 이를 수행하는 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130072058A (ko) * 2011-12-21 2013-07-01 한국전자통신연구원 가버 특징과 ｓｖｍ 분류기를 이용하여 위변조 얼굴을 인식하기 위한 시스템 및 그 방법
KR20150127381A (ko) * 2014-05-07 2015-11-17 포항공과대학교 산학협력단 얼굴 특징점 추출 방법 및 이를 수행하는 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208869A1 (ko) * 2018-04-27 2019-10-31 연세대학교 산학협력단 학습을 이용한 얼굴 특징점 검출 방법 및 장치
WO2021182670A1 (ko) * 2020-03-10 2021-09-16 연세대학교 산학협력단 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법
KR20210114308A (ko) 2020-03-10 2021-09-23 연세대학교 산학협력단 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법

Also Published As

Publication number Publication date
KR102610035B1 (ko) 2023-12-06

Similar Documents

Publication Publication Date Title
US9916494B2 (en) Positioning feature points of human face edge
US10621454B2 (en) Living body detection method, living body detection system, and computer program product
US8891819B2 (en) Line-of-sight detection apparatus and method thereof
US10423848B2 (en) Method, system, and computer-readable recording medium for long-distance person identification
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
KR101901591B1 (ko) 얼굴 인식 장치 및 그 제어방법
KR102357340B1 (ko) 얼굴 인식 방법 및 장치
US9665803B2 (en) Image processing apparatus and image processing method
Phan et al. FACE spoofing detection using LDP-TOP
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
US9626552B2 (en) Calculating facial image similarity
US10311287B2 (en) Face recognition system and method
KR20160066380A (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
WO2019011073A1 (zh) 人脸活体检测方法及相关产品
KR101724971B1 (ko) 광각 카메라를 이용한 얼굴 인식 시스템 및 그를 이용한 얼굴 인식 방법
KR101202448B1 (ko) 홍채 인식 장치 및 홍채 인식 방법
JP6157165B2 (ja) 視線検出装置及び撮像装置
US20210174067A1 (en) Live facial recognition system and method
WO2013122009A1 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
WO2022103684A1 (en) Face-aware person re-identification system
KR102610035B1 (ko) 포즈 변화에 강인한 얼굴 인식 시스템 및 방법
US11244150B2 (en) Facial liveness detection
KR20150089370A (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
KR101795264B1 (ko) 얼굴 랜드마크 검출 장치 및 그 검증 방법
CN108875488B (zh) 对象跟踪方法、对象跟踪装置以及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right