KR102189405B1

KR102189405B1 - 실시간 영상에서 안면을 인식하는 시스템

Info

Publication number: KR102189405B1
Application number: KR1020200043900A
Authority: KR
Inventors: 고경호; 전주천
Original assignee: 주식회사 센스비전
Priority date: 2020-04-10
Filing date: 2020-04-10
Publication date: 2020-12-11

Abstract

본 발명은 안면 인식 시스템에 관한 것이다. 그러한 안면 인식 시스템은, 촬영된 동영상이 입력되는 입력부(3)와; 입력부(3)를 통해 실시간 입력되는 영상을 분석하여, 하나 이상의 얼굴 데이터를 동시에 추출하고, 추출된 하나 이상의 얼굴 데이터를 백터화하여 함수처리하는 추출부(5)와; 추출부(5)에서 처리된 얼굴 데이터에서 반사광, 화각, Dust 및 노이즈 제거를 진행함으로써 후처리를 하는 전처리부(7)와; 전처리부(7)에서 처리된 얼굴 데이터의 유사도를 판단함으로써 정의된 특징점 파라미터에 의하여 하나 이상의 얼굴 특징점을 동시에 분석하고 검출하는 특징 검출부(10)와; 특징 검출부(10)에서 검출된 하나 이상의 얼굴 이미지를 학습된 데이터베이스(13)에 등록하거나 또는 기존에 등록된 얼굴 특징점과 비교 분석하여 얼굴을 인식하는 얼굴 인식부(15)와; 인식된 결과를 출력하는 출력부(11)와; 그리고 상기 구성요소들을 제어하여 안면 인식을 진행하는 제어부(9)를 포함한다.

Description

실시간 영상에서 안면을 인식하는 시스템{System for recognizing face in real-time video}

본 발명은 안면 인식 시스템에 관한 것으로서, 보다 상세하게는 실시간으로 입력되는 영상에서 다수의 얼굴을 동시에 추출하고, 추출된 얼굴을 알고리즘에 의하여 특징점을 추출함으로써 신속하게 특정 얼굴을 검색할 수 있는 기술에 관한 것이다.

최근 IOT 기술을 적용한 스마트 홈 및 스마트 시티 서비스의 발전에 따라 기존에 사용하던 도용, 분실, 복제 등의 위험성이 있는 보안성이 낮은 열쇠나 RF카드 같은 출입증을 대신하여, 보다 보안성이 뛰어나고 도용이나, 분실 및 복제의 위험성이 없는 개인 식별기술들에 대한 연구 및 성과가 많이 이루어지고 있다.

최근 스마트폰 기술의 발전에 따른 개인 식별기술들도 현저히 빠른 속도로 변화하고 있다. 이러한 개인 식별기술 중 가장 빠르게 상용화 기술로 생체인식 기술이 많이 적용되고 있으며 관련 기술들도 급속히 발전하고 있다.

생체인식 기술에는 개인마다 다른 지문, 얼굴, 홍채, 지정맥 등의 신체 특징을 인식하는 기술이다. 이와 같은 신체 특징은 열쇠나 비밀번호처럼 타인에게 도용되거나 복제될 수 없으며, 신체가 훼손되지 않는 이상 변형되거나 분실할 위험성이 없어 금융, 개인정보 및 보안 분야 등에 활용될 수 있다.

그 중, 지문 인식은 그 사람의 직업이나 건강 상태 등에 따라 지문의 상태도 변화하며 이에 따른 인식율의 차이가 크며, 접촉 방식에 따른 비위생적인 면이 존재하고 있다.

홍채의 경우에는 보안성은 뛰어나지만 근접거리에서만 인식 가능하다는 단점이 존재한다. 이와는 달리 얼굴 인식 기술은 지문이나 홍채 인식 등의 생체 인식 기술들에 비해서 정지 상태 혹은 걸어서 움직이는 사이에도 인식할 수 있으며 그 인식 절차가 복잡하지 않다.

사용자 또한 보편적으로 사용하는 카메라에 대하여 자연스러우며 거부감을 주지 않는다는 특징이 있다. 또한 얼굴 인식 기술은 보안 분야 이외의 여러 분야에 적용될 수 있으며, 스마트폰 시대에 발맞추어 다양한 애플리케이션 등에도 활용될 수 있다.

그러나, 종래의 안면 인식기술은 다수의 인물들이 짧은 시간에 등장하는 동영상에서 특정 인물을 검출하기 어려운 문제점이 있다.

특허출원 10-2013-7005335호(각 감지 픽셀에 기초한 이미지 처리 시스템, 방법 및 응용들)

따라서, 본 발명은 이와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 실시간으로 입력되는 영상에서 다수의 얼굴을 동시에 추출하고, 추출된 얼굴을 알고리즘에 의하여 특징을 추출함으로써 신속하게 특정 얼굴을 검색할 수 있는 안면 인식 시스템을 제공하는 것이다.

본 발명의 다른 목적은 얼굴 인식을 신속하게 진행할 필요가 있는 경우, 일반모드를 신속모드로 전환함으로써 얼굴의 일부 영역만을 검출하여 특정 얼굴을 검색할 수 있는 안면 인식 시스템을 제공하는 것이다.

상기한 목적을 달성하기 위하여, 본 발명의 일 실시예는,

촬영된 동영상이 입력되는 입력부(3)와; 입력부(3)를 통해 실시간 입력되는 영상을 분석하여, 하나 이상의 얼굴 데이터를 동시에 추출하고, 추출된 하나 이상의 얼굴 데이터를 백터화하여 함수처리하는 추출부(5)와; 추출부(5)에서 처리된 얼굴 데이터에서 반사광, 화각, Dust 및 노이즈 제거를 진행함으로써 후처리를 하는 전처리부(7)와; 전처리부(7)에서 처리된 얼굴 데이터의 유사도를 판단함으로써 정의된 특징점 파라미터에 의하여 하나 이상의 얼굴 특징점을 동시에 분석하고 검출하는 특징 검출부(10)와; 특징 검출부(10)에서 검출된 하나 이상의 얼굴 이미지를 학습된 데이터베이스(13)에 등록하거나 또는 기존에 등록된 얼굴 특징점과 비교 분석하여 얼굴을 인식하는 얼굴 인식부(15)와; 인식된 결과를 출력하는 출력부(11)와; 그리고 상기 구성요소들을 제어하여 안면 인식을 진행하는 제어부(9)를 포함하는 안면 인식 시스템(1)을 제공한다.

본 발명의 다른 실시예는 안면 인식 시스템(1)에 의하여 얼굴을 인식하는 방법에 관한 것으로서, 촬영된 동영상이 입력부(3)로 입력되는 단계와(S10); 입력부(3)를 통해 실시간 입력되는 영상을 추출부(5)에 의하여 분석하여, 하나 이상의 얼굴 데이터를 추출하고 백터화하여 함수처리하는 추출단계(S20)와; 추출된 하나 이상의 얼굴 데이터에서 전처리부(7)에 의하여 반사광, 화각, 등의 Dust 및 노이즈 제거를 거치는 전처리 단계(S25)와; 제어부(9)에서 일반모드로 설정된 경우, 추출된 하나 이상의 얼굴 데이터의 유사도를 판단함으로써 정의된 특징점 파라미터에 의하여 하나 이상의 얼굴 특징점을 동시에 분석하고 검출하는 특징 검출단계(S30)와; 전처리부(7)에서 검출된 하나 이상의 얼굴 이미지를 얼굴 인식부(15)에 의하여 데이터베이스(13)에 등록된 얼굴 데이터와 비교 분석하여 인식 결과를 출력하는 단계(S40)와; 제어부(9)에서 신속모드로 설정된 경우, 얼굴을 복수개의 영역으로 구분하여 단수개의 영역부터 순차적으로 특징을 검출하여 매칭하되, 특정 얼굴이 매칭되지 않는 경우에는 대칭적으로 배치된 영역을 제외한 다른 영역의 특징을 검출하여 매칭되는 얼굴 데이터를 비교함으로써 얼굴 인식을 신속하게 실시할 수 있는 신속 인식단계(S45)를 포함한다.

상기한 바와 같이 본 발명의 일 실시예에 따른 안면 인식 시스템은, 카메라를 이용하여 실시간 수신되는 영상으로부터 하나 이상의 얼굴을 인식함으로써, 많은 사람들이 출입을 하는 장소에서 동시에 하나 이상의 많은 사람의 얼굴을 검출하고 동시에 하나 이상의 얼굴을 동시에 인식할 수 있는 장점이 있다.

그리고, 본 발명의 안면 인식 시스템은 일반모드와 신속모드를 구비하고, 얼굴 인식을 신속하게 할 필요가 있는 경우 신속모드를 설정함으로써 얼굴을 복수개의 영역으로 구분하여 단수개의 영역부터 순차적으로 특징을 검출하여 매칭하되, 특정 얼굴이 매칭되지 않는 경우에는 대칭적으로 배치된 영역을 제외한 다른 영역의 특징을 검출하여 매칭되는 얼굴 데이터를 비교함으로써 얼굴 인식을 신속하게 실시할 수 있다.

도 1은 본 발명의 일 실시예에 따른 안면 인식 시스템의 구조를 개략적으로 보여주는 도면이다.
도 2는 도 1에 도시된 추출부의 구조를 개략적으로 보여주는 블록도이다.
도 3은 도 1에 도시된 안면 인식 시스템에 의하여 안면을 인식하기 위하여 얼굴 데이터를 1차적으로 영역 분할하는 상태를 보여주는 도면이다.
도 4는 도 3에 도시된 영역 분할된 얼굴 데이터를 2차적으로 연산하여 픽셀별 밝기에 의하여 분석하는 상태를 보여주는 도면이다.
도 5(a)는 얼굴 데이터에서 윤곽에 기준점들을 다수 분포시킴으로써 위치, 크기, 비율을 인식하는 상태를 보여주는 도면이고, 도 5(b)는 얼굴 안쪽에 기준점들을 다수 분포시키는 상태를 보여주는 도면이다.
도 6은 도 1에 도시된 얼굴인식부의 CPU 구조를 보여주는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 안면 인식 방법을 보여주는 순서도이다.
도 8은 도 7에 도시된 안면 인식 방법중 신속모드에 의하여 얼굴을 인식하는 과정을 보여주는 순서도이다.

이하, 본 발명에 따른 안면 인식 시스템에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.

도 1 내지 도 7에 도시된 바와 같이, 본 발명이 제안하는 안면 인식 시스템(1)은, 촬영된 동영상이 입력되는 입력부(3)와; 입력부(3)를 통해 실시간 입력되는 영상을 분석하여, 하나 이상의 얼굴 데이터를 동시에 추출하고, 추출된 하나 이상의 얼굴 데이터를 백터화하여 함수처리하는 추출부(5)와; 추출부(5)에서 처리된 얼굴 데이터에서 반사광, 화각, Dust 및 노이즈 제거를 진행함으로써 후처리를 하는 전처리부(7)와; 전처리부(7)에서 처리된 얼굴 데이터의 유사도를 판단함으로써 정의된 특징점 파라미터에 의하여 하나 이상의 얼굴 특징점을 동시에 분석하고 검출하는 특징 검출부(10)와; 특징 검출부(10)에서 검출된 하나 이상의 얼굴 이미지를 학습된 데이터베이스(13)에 등록하거나 또는 기존에 등록된 얼굴 특징점과 비교 분석하여 얼굴을 인식하는 얼굴 인식부(15)와; 인식된 결과를 출력하는 출력부(11)와; 그리고 상기 구성요소들을 제어하여 안면 인식을 진행하는 제어부(9)를 포함한다.

이러한 안면 인식 시스템(1)에 있어서,

입력부(3)는 카메라를 포함하는 바, 예를 들면 IP카메라, IR카메라, HD카메라, Depth 카메라 등을 의미한다.

그리고, 추출부(5)는 입력된 동영상 데이터에서 얼굴 데이터를 추출하게 된다.

도 2에 도시된 바와 같이, 이러한 추출부(5)는 얼굴을 다수개의 영역으로 분할하는 얼굴 분할모듈(20)과; 픽셀의 형상을 인식하는 로컬 형상분석모듈(Local feature analysis;22)과; 픽셀의 밝기에 대한 벡터를 연산하는 백터 연산모듈(Vector feature analysis;24)과; 얼굴의 표면에 대한 질감을 분석하는 모듈(Surface texture analysis;26)을 포함한다.

이러한 추출과정을 설명하면, 도 3에 도시된 바와 같이, 실시간으로 입력되는 영상에서 얼굴 영역을 사각형 또는 타원형의 모양으로 추출한다.

그리고, 추출된 얼굴영역을 얼굴 분할모듈(20)에 의하여 다수개의 영역으로 분할한 후, 얼굴 이미지에서 P점(Peak Point)을 추출하고, 이 P점을 중심으로 눈,코,입,귀를 인식하게 된다.

즉, 영상에서 물체를 추적하거나 인식할 때, 영상에서 주요 특징점(key-point)을 추출하여 매칭하는 바, 이 경우 코너점(Corner point)을 추출하는 것이 중요하다. 코너점을 추출하는 방식은 FAST 기법 등 다양하다.

따라서, 임의의 P점이 코너점인지 여부를 판단하여야 하는 바, 아래와 같은 과정에 의하여 판단한다.

도 4에 도시된 바와 같이, 먼저 추출된 얼굴 데이터에서 로컬 형상분석모듈(22)에 의하여 임의의 픽셀을 선택한다. 이때 선택한 픽셀 P의 밝기는 Ip, threshold값은 t로 정의한다.

그리고, P점을 중심으로 가상의 원을 형성하며, 이때 원의 반지름은 픽셀 3개 정도로 가정하고, 이 원에 접하는 16개 픽셀값을 추출한다. 물론 반지름의 크기를 적절하게 변경될 수 있다.

그리고, 백터 연산모듈(24)에 의하여 16개 픽셀로 이루어진 원의 내부에 Ip+t 보다 일정값 이상 밝은(>p+t) 픽셀들이 n개 이상 연속되어 있거나, 또는 Ip-t 보다 일정값 이상 어두운 (<p-t) 픽셀들이 n개 이상 연속되어 있으면 p를 코너점으로 판단한다.

예를 들면, 1번 및 9번 픽셀이 P보다 더 밝은지 여부를 먼저 연산하고, 5번 및 13번 픽셀을 연산한다. 만약 P가 코너라면 연산한 4개의 픽셀,즉 1,5,9,13번 픽셀중 적어도 3개는 IP+t 보다 더 밝거나 IP-t보다 더 어둡다.

이때, P를 중심으로 연속되는 픽셀의 수는 3개 뿐만 아니라, 4개, 9개, 12개 등 다양하게 변동하여 적용할 수 있다.

그리고, 상기한 인식과정에 있어서, n의 수가 적은 경우, 예를 들면 12보다 적은 경우에는 P를 선택하려는 픽셀 후보 수가 적어서 많이 제거하지 못하는 문제점이 있다. 또한, 얼굴 이미지의 특징을 검출하는 경우 코너 모양의 분포 등에 의존적이므로 픽셀 선택이 최적이 아닐 수 있다.

그리고, 코너가 아니라고 판단된 픽셀들은 분석에서 제외된다. 또한, 코너 주위에 다중 특징이 검출될 수도 있어서 코너 판단이 어려운 경우도 있다.

따라서, 이러한 단점을 보완하기 위하여 다음과 같은 과정을 거치게 된다.

즉, 머신 러닝 혹은 딥러닝에 의하여 코너점을 검출한다.

보다 상세하게 설명하면, 상기한 바와 같이 얼굴 이미지로부터 코너점을 검출하기 위한 과정을 동일하게 실행한다.

그리고, 검출된 모든 픽셀에 대해 픽셀 주위로 16개 픽셀의 각픽셀(x)을 벡터로 저장한다.

이때, 픽셀의 밝기값을　백터 연산모듈(24)에 의하여 아래 수식과 같이 백터(P)로 나타내는 경우, P보다 훨씬 밝은 경우(Pb), P보다 훨씬 어두운 경우(Pd), P와 유사한 경우(Ps)의 3가지 값으로 분류한다. 그리고, 이를 이용하여 원주 상의 픽셀들의 밝기분포를 16차원의 터네리 백터(ternary)로 표현한다.

--식1

상기 식 1에 새로운 불린변수(Boolean)를 Kp로 정의하는 바, Kp는 P가 코너이면 트루(True), 아니면 폴스(False)이다.

따라서, 상기 수식에 Kp변수를 적용하여 의사결정 트리(decision tree)를 기반으로 처리한다.

Kp의 엔트로피가 0이 될 때까지 상기 수식 Pd, Ps, Pb에 반복하여 적용한다.

이와 같은 과정을 통하여 각 코너를 검출할 수 있는 의사결정트리가 생성된다.

이때, 어떤 점 P가 꼭지점으로 인식되면 P와 인접한 주변 점들도 같이 꼭지점으로 검출되는 경우가 많다.

따라서, 이 문제를 해결하기 위해 비 최대 억제(non-maximal suppression) 방법을 이용하여 전처리 단계를 진행한다.

비 최대 억제법은 인접한 여러 점들이 꼭지점으로 검출된 경우 그중 피크성이 극대인 점만을 남기고 나머지를 제거하는 방식이다.

그리고, 결정트리에 의하여 P를 결정하는 방식은 꼭지점 여부를 온(On)/오프(Off) 방식으로 결정하게 되므로, 깊이(depth) 정도를 수치화 하기 어려운 바, 다음과 같은 별도의 수치화된 스코어 함수(V)를 적용한다.(식2)

------식(2)

{V: 스코어 함수, x: 픽셀값, P: 코너점}

상기 비 최대 억제법에 의하여 P점을 산출할 때, 결정트리를 통해 검출된 각각의, 코너점들을 상기 식(2)에 입력하여 V를 연산한다.

즉, V는 p와 이를 둘러싼 16개의 픽셀값(x)의 차에 대한 절대값(｜x-p｜)을 모두 합산한 값을 의미한다. 그리고, 근접한 2개의 p값에 대해 V를 연산하고, V값이 작은쪽을 버리는 방식으로 코너성이 극대인 점들을 파악한다.

이러한 방법으로 코너라고 파악된 기준점들에 의하여 눈, 코 끝, 눈썹, 입 양끝, 귀 등의 형상 및 위치가 결정된다. 이런 점들은 개인마다 형태가 크게 다르고 주변 형태도 복잡해 각 개인을 구분하는데 유용하다.

그 외의 기준점들은 볼이나 이마의 한가운데 등에 위치시키는데 이런 점들은 개인마다의 특징은 별로 없지만 얼굴 전체 형상을 파악하기 위하여 필요하다.

이와 같이 얼굴 특징 검출부(10)에서 추출된 하나 이상의 얼굴 데이터는 전처리부(7)에서 처리되는 바, 전처리부(7)는 얼굴 데이터에서 반사광, 화각, 등의 Dust 및 노이즈 제거를 실시한다.

이와 같이 P점들을 파악한 후, 도 5a 및 도 5b에 도시된 바와 같이, 얼굴의 위치, 크기, 비율을 찾는데 P점들을 세부 기준점들로서 사용하게 된다.

즉, 얼굴 특징 검출부(10)에 의하여 각 기준점을 무작위 순서로 선택해 백터화 하여 유사도 함수에 적용하되 그 위치를 조금씩 바꿔가며 얼굴 영상 이미지의 유사도를 올린다. 이 과정에서 백터 크기를 focus 1에서 5까지 점진적으로 올린다.

도 5a에 도시된 바와 같이, 얼굴의 형상에 기준점들을 많이 분포시켰고 비교적 기준점의 수가 적다. 도 5b에 도시된 바와 같이, 얼굴 안쪽에 기준점들이 비슷한 간격으로 다수 분포되어 있다.

위의 과정에서 focus 1의 경우 앞에서 설정한 수치들을 그대로 쓴다면 8 픽셀이 위치 차이 벡터의 최대 크기가 될 것이다. 다만 training set이나 원하는 성능의 정도에 따라 wavelet의 방향, 주파수들은 사용자가 임의로 설정할 수 있으므로 step 1, 2에서의 픽셀 단위들도 그에 맞춰 조정을 하여 각각의 정의 된 P점들 사이의 픽셀 간격에 의하여 얼굴의 특징점을 검출한다.

그리고, 필요시 질감 분석모듈(26)에 의하여 얼굴의 표면에 대한 질감도 분석하게 된다.

이와 같이, 얼굴 특징 검출부(10)에 의하여 얼굴 이미지의 다수 픽셀에 대한 형상, 밝기, 질감 등의 특징을 백터화 하여 함수에 의하여 처리하여 추출한 후, 서로 조합함으로써 특징점 파라미터에 의하여 하나 이상의 얼굴 특징점을 동시에 분석하고 검출하게 된다.

한편, 전처리부(7)에서 처리된 얼굴 이미지에 대한 인식시간을 단축하기 위하여 얼굴 이미지의 일부만 검출한 후, 특정 얼굴이 매칭되지 않는 경우 나머지 검출하지 않은 얼굴 이미지를 추가로 검출하여 인식과정을 진행할 수도 있다.

즉, 제어부(9)에 의하여 일반모드를 신속모드로 변경 설정하는 경우, 얼굴 분할모듈(20)에 의하여 얼굴을 일정 영역씩 분할한 후, 얼굴 특징 검출부(10)에 의하여 해당 영역의 얼굴 특징을 검출한 후, 얼굴 인식부(15)에 의하여 데이터베이스(13)로부터 매칭되는 얼굴 데이터를 인출하여 비교하게 된다.

보다 상세하게 설명하면, 얼굴의 코를 중심으로 가로 및 세로선을 형성하여 복수개의 영역, 예를 들면 대칭 가능한 짝수개의 영역인 4구역으로 분할하고, 좌상단 영역에서 시계방향으로 제 1, 제2, 제3, 제4영역으로 설정한다.

그리고, 제 1영역인 좌측 눈 부위의 특징을 먼저 검출한다. 그리고, 데이터베이스(13)에서 해당 영역과 매칭되는 부분이 있는지를 연산한다.

만약 매칭되는 부분이 없으면 제 4영역, 즉 좌측 눈 부위의 바로 아래 영역의 특징을 검출하여 매칭되는 얼굴 이미지를 검색한다.

즉, 제 1영역과 대칭되는 제 2영역은 미러(Mirror) 기법에 의하여 특징을 처리할 수 있음으로 대칭되지 않는 제 4영역의 특징을 검출하는 것이 바람직하다.

그리고, 제 4영역에서도 검출되지 않는 경우에는 얼굴 전체 영역에 대한 검출을 실시한다.

이와 같이, 얼굴을 복수개의 영역으로 구분하여 단수개의 영역부터 순차적으로 특징을 검출하여 매칭하되, 특정 얼굴이 매칭되지 않는 경우에는 대칭적으로 배치된 영역을 제외한 다른 영역의 특징을 검출하여 매칭되는 얼굴 데이터를 비교함으로써 얼굴 인식을 신속하게 실시할 수 있다.

한편, 얼굴 인식부(15)에서는 전처리부(7)에서 검출된 하나 이상의 얼굴 이미지를 데이터베이스(13)에 등록된 얼굴 데이터와 비교하여 해당 얼굴을 특정하게 된다.

보다 상세하게 설명하면,

얼굴 인식부(15)는 얼굴의 형상을 분석함으로써 얼굴의 특징을 추출하여 다른 얼굴과 구분하게 된다. 이러한 얼굴 인식부(15)는 얼굴인식분석엔진이 탑재된 중앙처리장치(CPU)에 의하여 처리될 수 있다.

참고로, 중앙처리장치는 도 6에 도시된 바와 같이, 얼굴분석엔진과, GPU와, ISP(Image Signal Processor), ALSA(Advanced Linux Sound Architecture), RTSP(Real Time Streaming Protocol), 통신모듈에 의하여 신호를 송수신하게 된다.

이러한 얼굴 인식부(15)에서는 얼굴의 형태 분석을 다양한 알고리즘을 사용할 수 있는 바, 예를 들면 딥러닝(Deep learning) 방식에 의하여 얼굴의 형상 등을 비교하여 그 유사도를 판단함으로써 형태을 분석하는 방식이다.

즉, 딥러닝은 컴퓨터가 여러 데이터를 이용해 인간처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 한 기계 학습방법이다.

인공 신경망을 이용하면 얼굴 데이터의 분류(classification) 및 군집화(clustering)가 가능한 바, 분류나 군집화를 원하는 데이터 위에 여러 가지 층(layer)을 얹어서 유사도 판단을 실시할 수 있다.

즉, 인공 신경망으로 얼굴 데이터의 형상 특징을 추출하고 그 특징을 다시 다른 기계학습 알고리즘의 입력값으로 사용하여 형상 별로 분류나 군집화를 함으로써 유사도를 판단할 수 있다.

이러한 인공 신경망은 심층 신경망을 포함하는 바, 심층 신경망은 신경망 알고리즘 중에서 여러 개의 층으로 이루어진 신경망을 의미한다.

즉, 인공 신경망은 다층으로 구성되는 바, 각각의 층은 여러 개의 노드로 구성되고, 각 노드에서는 실제로 형상을 분류하는 연산이 일어나며, 이 연산 과정은 인간의 신경망을 구성하는 뉴런에서 일어나는 과정을 모사하도록 설계된다.

노드는 일정 크기 이상의 자극을 받으면 반응을 하는데, 그 반응의 크기는 입력 값과 노드의 계수(또는 가중치, weights)를 곱한 값과 대략 비례한다.

일반적으로 노드는 여러 개의 입력을 받으며 입력 갯수만큼의 계수를 갖는다. 따라서, 이 계수를 조절함으로써 여러 입력에 서로 다른 가중치를 부여할 수 있다.

최종적으로 곱한 값들은 전부 더해지고 그 합은 활성 함수(activation function)의 입력으로 들어가게 된다. 활성 함수의 결과가 노드의 출력에 해당하며 이 출력값이 궁극적으로 분류나 회귀 분석에 쓰인다.

각 층은 여러 개의 노드로 이루어지며 입력값에 따라 각 노드의 활성화/비활성화 여부가 결정된다. 이때, 입력 데이터는 첫 번째 층의 입력이 되며, 그 이후엔 각 층의 출력이 다시 다음 층의 입력이 되는 방식이다.

모든 계수는 얼굴 데이터의 형상 학습 과정에서 계속 조금씩 변하는데, 결과적으로 각 노드가 어떤 입력을 중요하게 여기는지를 반영한다. 그리고 신경망의 학습(training)은 이 계수를 업데이트하는 과정이다.

얼굴 데이터의 형상 학습시 이러한 심층 신경망에서는 각 층마다 서로 다른 층위의 특징이 학습된다.

즉, 낮은 층위의 특징은 단순하고 구체적인 특징이 학습되며 {예: 얼굴 데이터의 형상을 구성하는 형상}, 높은 층위의 특징은 더욱 복잡하고 추상적인 특징이 학습된다. {예: 코 높이, 눈썹형상, 눈매}

이런 추상화 학습과정을 통해 심층 신경망이 고차원의 데이터를 이해하며, 이 과정에는 수 억, 수 십억 개의 계수가 관여하게 된다. (이 과정에서 비선형함수가 사용된다.)

또한, 심층 신경망은 데이터를 이용해 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 얼굴 데이터의 윤곽, 코 높이, 눈매, 입술형상, 눈썹 형상, 이마 형상 등 잠재적인 구조를 파악할 수 있다. 이를 통해 데이터가 라벨링되어 있지 않아도 데이터간의 유사성을 효과적으로 파악할 수 있으며, 결과적으로 심층 신경망은 얼굴 데이터의 군집화에 효과적이다.

예를 들어, 신경망을 이용해 대량의 얼굴 데이터를 입력받아 비슷한 얼굴 데이터끼리 모아서 분류할 수 있다.

이러한 심층 신경망이 일반적인 기계 학습과 다른 점은 특징 추출(feature extraction)이 자동적으로 이루어진다는 점이다.

기존에는 효과적인 특징을 추출하기 위해 관련 분야 전문가가 오랜 시간동안 직접 특징을 추출하는 수식이나 방법을 고안해서 적용해야 했다. 이 방법은 개발, 평가 및 보완에 많은 시간이 걸리는 문제점이 있다.

심층 신경망은 이런 과정을 컴퓨터가 대신 하도록 알고리즘을 짠 것으로, 사람에 비해 훨씬 빠르고 효과적으로 수행하도록 학습시킨다.

라벨링이 되어있지 않은 데이터를 학습하는 경우에도 신경망은 얼굴 데이터의 특징을 자동적으로 추출할 수 있다. 이 자동 추출은 여러 가지 방법이 있는데, 보통 이 과정은 신경망을 통과시켰을 때의 출력이 입력과 같아지도록 학습하게 된다.

라벨이 어떤 종류이든지(입력을 그대로 사용/별도의 라벨을 사용) 신경망은 입력과 출력의 상관관계를 찾는다. 경우에 따라서는 라벨링된 데이터로 신경망을 어느 정도 학습시킨 뒤 라벨링이 되어있지 않은 데이터를 추가하여 계속 학습시킬 수도 있다. 이 방법을 이용하면 신경망의 성능을 극대화할 수 있다.

심층 신경망의 마지막 층은 출력층이다. 출력층의 활성 함수는 로지스틱(logistic) 혹은 소프트 맥스(softmax)인 경우가 대부분이며 출력층에서는 최종적으로 특정 라벨의 확률을 구할 수 있다. 예를 들어 얼굴 데이터를 입력하였을 때 얼굴 윤곽이 상하로 긴지, 좌우로 긴지, 코의 높낮이, 눈꼬리의 처짐 등을 각각의 확률로 구할 수 있다.

우선 학습이 시작되기 전에 뉴럴넷의 모든 계수를 초기화한다. 그리고 얼굴 데이터를 반복적으로 입력하여 학습을 진행한다. 만일 학습이 원활하게 진행되었다면 계수는 적절한 값으로 업데이트 되어 있을 것이고, 이 인공 신경망으로 각종 분류와 예측이 가능하다.

학습 과정 내부에선 이러한 계수의 업데이트 과정이 반복적으로 일어난다.

계수 업데이트의 원리는 우선 계수를 추정하고 그 계수를 사용했을 때 발생하는 에러를 측정한 뒤 그 에러에 기반해서 계수를 약간씩 업데이트 하는 방식이다.

이때, 신경망의 여러 계수를 합쳐서 모델이라고 부르며, 모델은 초기화 된 상태일 수도 있고, 학습이 완료된 상태일 수도 있다.

초기화된 모델은 의미있는 작업을 못하지만 학습이 진행될수록 모델은 임의의 값이 아닌, 실제와 유사한 결과를 출력하게 된다.

이는 인공 신경망이 데이터가 입력되기 전에는 아무것도 모르는 상태이기 때문이며, 계수를 임의의 값으로 초기화하는 이유도 마찬가지이다. 그리고 데이터를 읽어가면서 계수를 조금씩 올바른 방향으로 업데이트하게 된다.

이러한 업데이트 과정을 통하여 인공 신경망은 입력된 얼굴 데이터들을 분류함으로써 유사한 얼굴 데이터들을 군집화할 수 있다. 그리고, 군집화된 얼굴 데이터는 데이터 베이스(13)에 등록된다.

그리고, 출력부는 이와 같이 인식된 얼굴에 대응되는 사용자에 대한 식별 정보 등을 연산 및 출력한다.

이하, 본 발명의 바람직한 실시예에 따른 안면 인식 시스템의 작동과정을 첨부된 도면에 의하여 더욱 상세하게 설명한다.

도 1 내지 도 7에 도시된 바와 같이, 안면 인식 시스템(1)에 의하여 얼굴을 인식하는 방법은, 촬영된 동영상이 입력부(3)로 입력되는 단계와(S10);

입력부(3)를 통해 실시간 입력되는 영상을 추출부(5)에 의하여 분석하여, 하나 이상의 얼굴 데이터를 추출하고 백터화하여 함수처리하는 추출단계(S20)와;

추출된 하나 이상의 얼굴 데이터에서 전처리부(7)에 의하여 반사광, 화각, 등의 Dust 및 노이즈 제거를 거치는 전처리 단계(S25)와;

제어부(9)에서 일반모드로 설정된 경우, 추출된 하나 이상의 얼굴 데이터의 유사도를 판단함으로써 정의된 특징점 파라미터에 의하여 하나 이상의 얼굴 특징점을 동시에 분석하고 검출하는 특징 검출단계(S30)와;

전처리부(7)에서 검출된 하나 이상의 얼굴 이미지를 얼굴 인식부(15)에 의하여 데이터베이스(13)에 등록된 얼굴 데이터와 비교 분석하여 인식 결과를 출력하는 단계(S40)와;

제어부(9)에서 신속모드로 설정된 경우, 얼굴을 복수개의 영역으로 구분하여 단수개의 영역부터 순차적으로 특징을 검출하여 매칭하되, 특정 얼굴이 매칭되지 않는 경우에는 대칭적으로 배치된 영역을 제외한 다른 영역의 특징을 검출하여 매칭되는 얼굴 데이터를 비교함으로써 얼굴 인식을 신속하게 실시할 수 있는 신속 인식단계(S45)를 포함한다.

이러한 안면 인식방법에 있어서,

입력단계(S10)에서는 카메라에 의하여 동영상 등을 촬영함으로써 얼굴 영상을 실시간으로 획득한다.

그리고, 얼굴 데이터 추출 단계(S20)에서는 실시간으로 입력되는 영상에서 얼굴 데이터를 추출한다.

즉, 우선 얼굴 데이터를 도 3에 도시된 바와 같이, 사각형 또는 타원형의 모양으로 추출한다.

그리고, 추출된 얼굴영역에서 P점(Peak Point)을 추출하고, 이 P점을 중심으로 눈,코,입,귀를 인식하게 된다.

즉, 영상에서 물체를 추적하거나 인식할 때, 영상에서 주요 특징점(keypoint)을 추출하여 매칭하는 바, 이 경우 코너점(Corner point)을 추출하는 것이 중요하다.

따라서, 임의의 P점이 코너점인지 여부를 판단하여야 하는 바, 아래와 같은 정에 의하여 판단한다.

도 4에 도시된 바와 같이, 먼저 추출된 얼굴 데이터에서 임의의 픽셀을 선택한다. 이때 선택한 픽셀 P의 밝기는 Ip, threshold값은 t로 정의한다.

그리고, 16개 픽셀로 이루어진 원의 내부에 Ip+t 보다 일정값 이상 밝은(>p+t) 픽셀들이 n개 이상 연속되어 있거나, 또는 Ip-t 보다 일정값 이상 어두운 (<p-t) 픽셀들이 n개 이상 연속되어 있으면 p를 코너점으로 판단한다.

그리고, 상기한 인식과정에 있어서, n의 수가 적은 경우, 예를 들면 12보다 적은 경우에는 P를 선택하려는 픽셀 후보 수가 적어서 많이 제거하지 못하는 문제점이 있다. 또한, 얼굴 이미지의 특징을 검출하는 경우 코너 모양의 분포 등에 의존적이므로 픽셀 선택이 최적이 아닐 수 있다. 그리고, 코너가 아니라고 판단된 픽셀들은 분석에서 제외된다. 또한, 코너 주위에 다중 특징이 검출될 수도 있어서 코너 판단이 어려운 경우도 있다.

즉, 머신 러닝 혹은 딥러닝에 의하여 코너점을 검출한다.

그리고, 검출된 모든 픽셀에 대해 픽셀 주위로 16개 픽셀을 벡터로 저장한다.

이때, 픽셀의 밝기값을　아래 수식과 같이 P보다 훨씬 밝은 경우, P보다 훨씬 어두운 경우, P와 유사한 경우의 3가지 값으로 분류한다. 그리고, 이를 이용하여 원주 상의 픽셀들의 밝기분포를 16차원의 터네리 백터(ternary)로 표현한다.

상기 수식에 새로운 불린변수(Boolean)를 Kp로 정의하는 바, Kp는 P가 코너이면 트루(True), 아니면 폴스(False)이다.

따라서, 이 문제를 해결하기 위해 비 최대 억제(non-maximal suppression) 방법을 이용하여 후처리를 진행한다.

그리고, 결정트리에 의하여 P를 결정하는 방식은 꼭지점 여부를 온(On)/오프(Off) 방식으로 결정하게 되므로, 깊이(depth) 정도를 수치화하기 어려운 바, 다음과 같은 별도의 수치화 함수를 적용한다.

------식(2)

즉, V는 p와 이를 둘러싼 16개의 픽셀값의 차에 대한 절대값을 모두 합산한 값을 의미한다. 그리고, 근접한 2개의 p값에 대해 V를 연산하고, V값이 작은쪽을 버리는 방식으로 코너성이 극대인 점들을 파악한다.

이러한 방법으로 기준점들을 정의할 때 기본적으로 눈, 코 끝, 눈썹, 입 양끝, 귀 등의 형상 및 위치가 결정된다. 이런 점들은 개인마다 형태가 크게 다르고 주변 형태도 복잡해 각 개인을 구분하는데 유용하다.

전처리 단계(S25)에서는 전처리부(7)에 의하여 얼굴 데이터에서 반사광, 화각, 등의 Dust 및 노이즈 제거, 보정의 전처리 단계를 진행한다.

그리고, 얼굴특징 검출단계(S25)에서는 이와 같이 P점들을 파악한 후, 도 5a 및 도 5b에 도시된 바와 같이, 얼굴의 위치, 크기, 비율을 찾는데 P점들을 세부 기준점들로서 사용하게 된다.

즉, 무작위 순서로 각 기준점을 택해 위치를 조금씩 바꿔가며 얼굴 영상 이미지의 유사도를 올린다. 이 과정에서 focus를 1에서 5까지 점진적으로 올린다.

도 5a의 경우, 얼굴의 형상에 기준점들을 많이 분포시켰고 비교적 기준점의 수가 적다. 도 5b의 그래프들은 얼굴 안쪽에 기준점들이 비슷한 간격으로 다수 분포되어 있다.

위의 과정에서 focus 1의 경우 앞에서 설정한 수치들을 그대로 쓴다면 8 픽셀이 위치 차이 벡터의 최대 크기가 될 것이다. 다만 training set이나 원하는 성능의 정도에 따라 wavelet의 방향, 주파수들은 사용자가 임의로 설정할 수 있으므로 step 1, 2에서의 픽셀 단위들도 그에 맞춰 조정을 하여 각각의 정의 된 Peak사이의 픽셀 간격에 의하여 얼굴의 특징점을 검출한다.

이와 같이 얼굴 특징 검출단계(S25)가 완료되면, 얼굴 인식 단계(S40)가 진행된다.

얼굴 인식 단계(S40)에서는 전처리부(7)에서 검출된 하나 이상의 얼굴 이미지를 얼굴 인식부(15)에 의하여 데이터베이스(13)에 등록된 얼굴 데이터와 비교하여 해당 얼굴을 특정하게 된다.

즉, 얼굴 인식부(15)는 얼굴의 형상을 분석함으로써 얼굴의 특징을 추출하여 다른 얼굴과 구분하게 된다. 이러한 얼굴 인식부(15)는 얼굴인식분석엔진이 탑재된 중앙처리장치(CPU)에 의하여 처리될 수 있다.

즉, 얼굴 데이터의 형상 학습시 심층 신경망에서는 각 층마다 서로 다른 층위의 특징이 학습된다.

이러한 방식에 의하여 그리고 얼굴 데이터를 반복적으로 입력하여 학습을 진행한다. 만일 학습이 원활하게 진행되었다면 계수는 적절한 값으로 업데이트 되어 있을 것이고, 이 인공 신경망으로 각종 분류와 예측이 가능하다.

그리고, 이와 같이 인식된 얼굴에 대응되는 사용자에 대한 식별 정보 등을 연산부에 의하여 매칭한 후 출력한다(S40).

한편, 신속 인식단계(S45)는 추출부(5)에서 추출된 얼굴 이미지에 대한 인식시간을 단축하기 위하여 얼굴 이미지의 일부만 검출한 후, 특정 얼굴이 매칭되지 않는 경우 나머지 검출하지 않은 얼굴 이미지를 추가로 검출하여 인식과정을 신속하게 진행한다.

이러한 신속 인식단계(S45)는, 도 8에 도시된 바와 같이, 제어부(9)에 의하여 일반모드를 신속모드로 변경 설정하는 제 1단계(S100)와; 얼굴 분할모듈(20)에 의하여 얼굴을 복수개의 짝수 영역으로 분할하는 제 2단계(S110)와; 얼굴 특징 검출부(10)에 의하여 단수개의 영역부터 순차적으로 얼굴 특징을 1차적으로 검출하는 제 3단계(S120)와; 매칭되지 않는 경우 대칭적으로 배치되지 않은 영역의 특징을 2차적으로 검출하는 제 4단계(S130)와; 제 4단계(S130)에서 매칭되지 않았을 경우 3차적으로 얼굴 전체의 특징을 검출하여 매칭하는 제 5단계(S140)를 포함한다.

보다 상세하게 설명하면, 제 1단계(S100)에서는 사용자가 얼굴 인식을 신속하게 진행할 필요가 있을 경우, 제어부(9)의 모드를 일반모드에서 신속모드로 전환함으로써 얼굴 인식을 신속하게 진행할 수 있다.

제 2단계(S110)에서는 얼굴 분할모듈(20)에 의하여 얼굴을 복수개의 영역으로 분할한다. 즉, 얼굴의 코를 중심으로 가로 및 세로선을 형성하여 복수개의 영역, 예를 들면 대칭 가능한 짝수개의 영역인 4구역으로 분할하고, 좌상단 영역에서 시계방향으로 제 1, 제2, 제3, 제4영역으로 설정한다.

제 3단계(S120)에서는 얼굴 특징 검출부(10)에 의하여 단수개의 영역부터 순차적으로 얼굴 특징을 1차적으로 검출한다. 즉, 제 1영역인 좌측 눈 부위의 특징을 먼저 검출한다. 그리고, 데이터베이스(13)에서 해당 영역과 매칭되는 부분이 있는지를 연산한다.

만약 매칭되는 부분이 없으면 제 4단계(S130)로서, 제 4영역, 즉 좌측 눈 부위의 바로 아래 영역의 특징을 검출하여 매칭되는 얼굴 이미지를 검색한다.

그리고, 제 4영역에서도 검출되지 않는 경우에는 제 5단계(S140)로서 얼굴 전체 영역에 대한 검출을 실시한다.

Claims

촬영된 동영상이 입력되는 입력부(3)와;
입력부(3)를 통해 실시간 입력되는 영상을 분석하여, 하나 이상의 얼굴 데이터를 동시에 추출하고, 추출된 하나 이상의 얼굴 데이터를 백터화하여 함수처리하는 추출부(5)와;
추출부(5)에서 처리된 얼굴 데이터에서 반사광, 화각, Dust 및 노이즈 제거를 진행함으로써 후처리를 하는 전처리부(7)와;
전처리부(7)에서 처리된 얼굴 데이터의 유사도를 판단함으로써 정의된 특징점 파라미터에 의하여 하나 이상의 얼굴 특징점을 동시에 분석하고 검출하는 특징 검출부(10)와;
특징 검출부(10)에서 검출된 하나 이상의 얼굴 이미지를 학습된 데이터베이스(13)에 등록하거나 또는 기존에 등록된 얼굴 특징점과 비교 분석하여 얼굴을 인식하는 얼굴 인식부(15)와;
인식된 결과를 출력하는 출력부(11)와; 그리고
상기 입력부(3), 추출부(5), 전처리부(7), 특징 검출부(10), 얼굴 인식부(15), 출력부(11)를 제어하여 안면 인식을 진행하는 제어부(9)를 포함하며,
추출부(5)는, 얼굴을 다수개의 영역으로 분할하는 얼굴 분할모듈(20)과; 픽셀의 형상을 인식하는 로컬 형상분석모듈(Local feature analysis;22)과; 픽셀의 밝기에 대한 벡터를 연산하는 백터 연산모듈(Vector feature analysis;24)과; 얼굴의 표면에 대한 질감을 분석하는 모듈(Surface texture analysis;26)을 포함하며,
추출부(5)는, 실시간으로 입력되는 영상에서 얼굴 영역을 다수개의 사각형 또는 타원형의 모양으로 구획하고,
추출된 얼굴영역에서 P점(Peak Point)을 추출하고, 이 P점을 중심으로 눈,코,입,귀를 인식하는 바,
P점이 코너점인지 여부를 판단할 때, P점을 중심으로 소정 픽셀 반지름인 가상의 원을 형성하고, 이 원에 접하는 픽셀값에 의하여 판단하는 바,
P점 보다 일정값 이상 밝은(>p+t) 픽셀들이 n개 이상 연속되어 있거나 또는 일정값 이상 어두운 (<p-t) 픽셀들이 n개 이상 연속되어 있으면 p를 코너점으로 판단하는 안면 인식 시스템(1).
삭제
삭제
제 1항에 있어서,
P가 꼭지점인지 여부를 판단하기 위해 결정트리(decision tree) 방식에 의하여 판단하는 바,
픽셀의 밝기값을　P보다 훨씬 밝은 경우, P보다 훨씬 어두운 경우, P와 유사한 경우의 3가지 값으로 분류하고, 원주 상의 픽셀들의 밝기분포를 16차원의 터네리 백터(ternary)로 표현한 후, 이 백터를 결정트리에 입력하여 P점 여부를 판단하고,
비 최대 억제(non-maximal suppression) 방법을 이용하여 처리함으로써 꼭지점을 인식하는 안면 인식 시스템(1).
제 4항에 있어서,
결정트리에 의하여 P를 결정하는 방식은 꼭지점 여부를 온(On)/오프(Off) 방식으로 결정하게 되므로, 아래의 식에 의하여 함수를 적용하며,
비 최대 억제법에 의하여 P점을 산출할 때, 결정트리를 통해 검출된 각각의, 코너점들을 식(1)에 입력하여 V를 연산한 후, 인접한 코너점들 중 해당 P점보다 높은 V값을 갖는 코너점을 순차적으로 제거하는 방식으로 코너성이 극대인 점들을 파악하는 안면 인식 시스템(1).

------식
{V: 스코어 함수, x: 픽셀값, P: 코너점}
제 1항에 있어서,
제어부(9)는 일반모드를 신속모드로 변경 설정하여 얼굴 인식을 실시할 수 있는 바, 얼굴 분할모듈(20)에 의하여 얼굴을 복수개의 짝수 영역으로 분할하고, 얼굴 특징 검출부(10)에 의하여 단수개의 영역부터 순차적으로 얼굴 특징을 1차적으로 검출하고, 매칭되지 않는 경우 대칭적으로 배치되지 않은 영역의 특징을 2차적으로 검출하며, 매칭되지 않았을 경우 3차적으로 얼굴 전체의 특징을 검출하여 매칭하는 안면 인식 시스템(1).
삭제
삭제