KR20200094844A - 딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법 - Google Patents

Abstract

본 발명에 따른 딥러닝을 이용한 얼굴 인식 장치의 동작 방법은, 공개 얼굴 데이터베이스를 통하여 감독 학습(supervised learning) 방식으로 제 1 학습을 수행하는 단계, 및 상기 제 1 학습을 수행한 후에, 카메라로부터 수집된 얼굴 이미지에 대하여 비감독 학습(unsupervised learning) 방식으로 제 2 학습을 수행하는 단계를 포함할 수 있다.

Description

딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법{FACE RECOGNITION APPARATUS USING DEEP LEARNING AND OPERATING METHOD THEREOF}

본 발명은 딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법에 관한 것이다.

최근, 지능형 영상감시기술 분야에서 딥러닝(deep learning) 기술의 활용이 급증하고 있다. 일부 응용에 있어서 인간의 인식 능력을 뛰어넘는 성공적인 기술 개발이 이루어지고 있다. 특히 딥러닝 기술의 도입으로 얼굴 인식 기술의 성능이 고도화됨에 따라 도시 곳곳에 설치된 CCTV(closed circuit television)를 이용하여 범죄 용의자를 찾는 지능형 얼굴 인식 기술이 많은 관심을 받고 있다. 하지만 딥러닝에 기반한 얼굴 인식 기술을 개발하기 위해서는 방대한 얼굴 학습 DB(database)가 필요하다. 하지만 범죄 용의자 추적시 활용할 수 있는 용의자 얼굴 정보가 공개수배 전단지의 사진이나 경찰 시스템에 저장되어 있는 Mugshot 이미지 몇장 정도이므로, 용의자 얼굴 학습용으로 사용하기에는 절대 부족한 상황이다. 따라서 학습할 얼굴 이미지가 절대 부족한 상황에서도 인식 성능을 보장할 수 있는 기술적 대안 마련이 필요하다.

등록특허: 10-1793510, 등록일: 2017년 10월 30일, 제목: 얼굴 학습 및 인식 시스템과 그 방법. 등록특허: 10-1850286, 등록일: 2018년 4월 13일, 제목: 딥 러닝 기반 CCTV용 영상 인식 방법. 공개특허: 10-2018-0107930, 공개일: 2018년 10월 4일, 제목: 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템.

본 발명의 목적은, 찾고자 하는 대상의 얼굴 이미지가 적어 학습이 어려운 문제와 학습 얼굴의 프라이버시 침해 문제를 해결하는 딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법을 제공 하는데 있다.

또한, 본 발명의 목적은, 찾고자 하는 용의자 얼굴을 학습하지 않고 카메라를 통해 실시간 수집되는 지나가는 사람들의 얼굴들을 실시간 학습한 후 찾고자 하는 얼굴 이미지와 비교하는 방식으로 실시간 얼굴 학습하는 딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법을 제공 하는데 있다.

본 발명의 실시 예에 따른 딥러닝을 이용한 얼굴 인식 장치의 동작 방법은, 공개 얼굴 데이터베이스를 통하여 감독 학습(supervised learning) 방식으로 제 1 학습을 수행하는 단계; 및 상기 제 1 학습을 수행한 후에, 카메라로부터 수집된 얼굴 이미지에 대하여 비감독 학습(unsupervised learning) 방식으로 제 2 학습을 수행하는 단계를 포함할 수 있다.

실시 예에 있어서, 상기 제 2 학습을 통한 얼굴 특징 정보와 용의자의 얼굴 특징 정보를 비교하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 카메라로부터 지나가는 사람의 복수의 얼굴 이미지들을 입력 받는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 제 2 학습을 수행하는 단계는, 상기 복수의 얼굴 이미지들의 각각으로부터 얼굴 특징 정보를 추출하는 단계; 및 상기 얼굴 특징 정보를 이용하여 동일 얼굴 특징을 갖는 지를 분류하는 단계를 포함할 수 있다.

실시 예에 있어서, 상기 얼굴 특징 정보를 추출하는 단계는, 특징 추출기 딥러닝 네트워크를 이용하여 상기 복수의 얼굴 이미지들로부터 얼굴 특징값들을 추출하는 단계를 포함하고, 상기 추출된 특징값들 사이의 차이가 사전에 결정된 값 이하가 될 때까지 상기 특징값들을 추출하는 단계가 반복되는 것을 특징으로 한다.

실시 예에 있어서, 상기 동일 얼굴 특징을 갖는 지를 분류하는 단계는, 분류기 딥러닝 네트워크를 이용하여 상기 추출된 특징값들에 대응하는 얼굴 특징 정보를 추출하는 단계; 및 상기 추출된 얼굴 특징 정보가 동일인인 지를 판별하는 단계를 포함할 수 있다.

실시 예에 있어서, 상기 추출된 얼굴 특징 정보가 동일인이 될 때까지 상기 얼굴 특징 정보를 추출하는 단계가 반복되는 것을 특징으로 한다.

실시 예에 있어서, 상기 수집된 얼굴 이미지, 상기 제 2 학습을 수행할 때 추출된 얼굴 이미지, 상기 제 2 학습을 수행한 결과에 대응하는 얼굴 특징 정보를 삭제하는 단계를 더 포함할 수 있다.

본 발명의 실시 예에 따른 딥러닝을 이용하는 얼굴 인식 장치는: 카메라를 통하여 지나가는 사람을 검출하는 객체 검출부; 상기 검출된 사람의 얼굴 영역을 연속적으로 추적하는 얼굴 검출 및 추적부; 상기 연속적으로 추적된 얼굴 이미지를 복수로 추출하는 얼굴 이미지 추출부; 및 상기 복수의 얼굴 이미지들에 대한 학습을 수행함으로써 상기 사람에 대한 얼굴 특징 정보를 실시간으로 생성하고, 상기 생성된 얼굴 특징 정보와 용의자의 얼굴 특징 정보를 비교하는 딥러닝 기반 얼굴 인식기를 포함할 수 있다.

실시 예에 있어서, 상기 딥러닝 기반 얼굴 인식기는 공개 얼굴 데이터베이스를 통하여 감독 학습 방식으로 학습을 수행하는 것을 특징으로 한다.

실시 예에 있어서, 상기 딥러닝 기반 얼굴 인식기는, 상기 복수의 얼굴 이미지들을 동시에 수신하고, 제 1 딥러닝 네트워크를 통하여 상기 수신된 얼굴 이미지들에 대응하는 특징값들을 추출하고, 상기 추출된 특징값들 사이의 차이가 사전에 결정된 값 이하가 되도록 상기 제 1 딥러닝 네트워크를 반복하는 특징 추출기를 포함할 수 있다.

실시 예에 있어서, 상기 딥러닝 기반 얼굴 인식기는, 상기 특징 추출기로부터 출력된 특징값들을 수신하고, 제 2 딥러닝 네트워크를 통하여 상기 수신된 특징값들의 얼굴 특징 정보를 추출하고, 상기 추출된 얼굴 특징 정보가 동일인이 될 때까지 상기 제 2 딥러닝 네트워크를 실시간 반복하는 분류기를 포함할 수 있다.

실시 예에 있어서, 상기 딥러닝 기반 얼굴 인식기는, 상기 생성된 얼굴 특징 정보와 용의자의 얼굴 특징 정보를 비교한 후에, 상기 복수의 얼굴 이미지들, 상기 특징값들, 및 상기 얼굴 특징 정보를 삭제하는 것을 특징으로 한다.

실시 예에 있어서, 상기 딥러닝 기반 얼굴 인식기는 상기 용의자의 얼굴 특징 정보를 저장하는 것을 특징으로 한다.

본 발명은 찾고자 하는 대상의 얼굴 이미지가 적어 학습이 어려운 문제와 학습 얼굴의 프라이버시 침해 문제를 해결하는 발명으로, 설치된 카메라를 통해 실시간 수집되는 지나가는 사람들의 얼굴들을 실시간 학습한 후 찾고자 하는 얼굴 이미지와 비교하는 방식의 실시간 얼굴 학습 기술 및 그 방법에 관한 것이다.

본 발명에 의해 얼굴 이미지들이 적절하게 학습될 경우, 용의자의 사진 한장을 갖고도 용의자 얼굴을 판별할 수 있을 만큼 고도화된 얼굴 인식 성능을 확보할 수 있으며, 지나가는 사람이 많을 수록, 설치된 시간이 길어질 수록 얼굴인식 성능은 더욱 고도화되는 장점을 갖게 된다.

또한 학습에 사용된 얼굴 이미지나 추출된 얼굴 특징정보들은 학습에 사용 후 삭제가 되므로 프라이버시 침해 문제를 해결할 수 있어 딥러닝 얼굴 인식 장치 개발 시 프라이버시 문제로 인한 학습 DB의 제한성을 해결할 수 있는 기술적 대안이라고 판단된다.

이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 얼굴 인식 장치(100)를 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 특징 추출기(142)의 딥러닝 네트워크가 n개의 얼굴 이미지를 통해 최선의 얼굴특징 값을 추출하도록 학습하는 과정을 예시적으로 보여주는 흐름도이다.
도 3은 본 발명의 실시 예에 따른 분류기(144)의 딥러닝 네트워크가 n개의 얼굴 특징값을 통해 최선의 얼굴 인식 기능이 제공하도록 학습하는 과정을 예시적으로 보여주는 흐름도이다.
도 4는 본 발명의 실시 예에 따른 딥러닝을 이용하는 얼굴 인식 장치(100)의 동작 방법을 예시적으로 보여주는 흐름도이다.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

일반적으로 딥러닝 기반 지능형 얼굴 인식 장치의 정확성을 높이기 위해서는 찾고자 하는 사람에 대한 다양한 얼굴 이미지들이 학습되어야 한다. 학습을 통해 개발된 얼굴 인식 장치는 야외에 설치된 CCTV 등에 연동되어, CCTV를 통해 실시간 수집되는 얼굴 영상과 찾고자 하는 얼굴을 비교하고, 비교 결과로써 동일인을 찾는 형태로 현장에서 활용하고 있다.

지능형 얼굴 인식 장치의 학습을 위해서 기존에 구축된 공개 얼굴 DB나 지자체 CCTV 등을 통해 수집한 실증 DB를 사용하고 있다. 하지만, 프라이버시 침해 문제로 공개 얼굴 DB 외에는 실증용 얼굴 DB의 확보가 어려운 상황이다. 더욱이 용의자 수배용으로 지능형 얼굴 인식 장치가 사용되는 경우에, 용의자 얼굴 사진 수의 제한으로 충분한 학습이 불가능함으로 만족할 만한 얼굴인식 성능을 얻기가 어려운 실정이다.

따라서, 지능형 얼굴 인식기의 개발을 위해서는 프라이버시 침해문제를 해소하면서 학습용 얼굴 DB가 구축되고, 동시에 추적하고자 하는 얼굴의 이미지 개수가 적어 학습 데이터가 부족한 문제 등을 해결되어야 한다.

본 발명의 실시 예에 따른 얼굴 인식 장치 및 그것의 동작 방법은, 찾고자 하는 대상의 얼굴 이미지가 적어 학습이 어려운 문제와 학습 얼굴의 프라이버시 침해 문제를 해결하기 위하여, 찾고자 하는 용의자 얼굴을 학습하지 않고 카메라를 통해 실시간 수집되는 지나가는 사람들의 얼굴들을 실시간 학습한 후, 찾고자 하는 얼굴 이미지와 비교하는 실시간 얼굴 학습 기술을 포함할 수 있다.

일반적인 얼굴 인식 장치의 얼굴 인식 방법은 찾고자 하는 얼굴 이미지들을 학습한 후, CCTV 등 카메라를 통해 지나가는 사람들의 얼굴과 비교하여 용의자를 찾는다. 반면에, 본 발명의 실시 예에 따른 얼굴 인식 장치는 지나가는 사람들의 얼굴을 실시간 학습하여 딥러닝 인식기를 업데이트함으로써, 학습이 끝난 해당 얼굴과 찾고자 하는 용의자 얼굴을 비교할 수 있다.

도 1은 본 발명의 실시 예에 따른 얼굴 인식 장치(100)를 예시적으로 보여주는 도면이다. 도 1을 참조하면, 얼굴 인식 장치(100)는 객체 검출부(110), 얼굴 검출 및 추적부(120), 얼굴 이미지 추출부(130), 및 딥러닝 기반 얼굴 인식기(140)를 포함할 수 있다. 본 발명의 실시 예에 다른 얼굴 인식 장치(100)는 카메라를 통하여 수집된 영상으로부터 실시간으로 얼굴 인식에 대한 실시간 학습과정을 진행할 수 있다.

객체 검출부(110)는 카메라로부터 수집된 영상으로부터 적어도 하나의 사람을 검출하도록 구현될 수 있다. 예를 들어, 객체 검출부(110)는 CCTV 카메라를 통해 지나가는 사람의 모습이 촬영이 되면, 주변 환경으로부터 움직이는 사람만을 검출할 수 있다.

얼굴 검출 및 추적부(120)는 검출된 사람의 얼굴을 검출하고 및 검출된 얼굴에서 관심 영역(ROI; range of interest) 추적하도록 구현될 수 있다. 예를 들어, 얼굴 검출 및 추적부(120)는 객체 검출부(110)에서 검출된 객체로부터 얼굴 영역만을 검출하고, 계속해서 객체의 움직임을 따라가며 얼굴 영역만을 연속적으로 추적할 수 있다.

얼굴 이미지 추출부(130)는 추적된 관심 영역(ROI)으로부터 검출된 객체에 대한 얼굴 이미지를 추출하도록 구현될 수 있다. 여기서 추출된 얼굴 이미지는 복수 개(n)일 수 있다. 예를 들어, 얼굴 이미지 추출부(130)는 연속 추적된 얼굴 영역에 대해 파일 형태로 얼굴 이미지를 캡쳐하고, 딥러닝 기반 얼굴 인식기(140)에 사용 가능한 입력으로 전처리 과정을 수행할 수 있다.

실시 예에 있어서, 얼굴 이미지 추출부(130)는 카메라 시야 안에서 객체가 이동하는 동안에 최대한 양질의 많은 얼굴 이미지를 추출하도록 동작할 수 있다.

실시 예에 있어서, n개의 얼굴 이미지가 추출되면, 얼굴 이미지 추출부(130)는 n개 얼굴 이미지를 동시에 딥러닝 기반 얼굴 인식 장치(140)로 전송할 수 있다. 이로써, 해당 객체에 대한 실시간 학습 과정이 수행되도록 한다.

딥러닝 기반 얼굴 인식기(140)는 추출된 얼굴 이미지에 대하여 딥러닝을 이용하여 학습을 수행하도록 구현될 수 있다. 예를 들어, 딥러닝 기반 얼굴 인식기(140)는 추출된 얼굴 이미지로부터 특징을 추출하는 특징 추출기(142) 및 추출된 특징으로부터 얼굴을 분류하는 분류기(144)를 포함할 수 있다.

실시 예에 있어서, 딥러닝 기반 얼굴 인식 장치(140)는 실시간 학습 과정을 수행하기 전에 대용량 공개 얼굴 DB(database) 등을 기반으로 Supervised Learning(감독 학습) 방식의 1 차 학습을 경험함으로써 만족할 만한 성능을 확보할 수 있다. 여기서 감독 학습은 예제 입출력 쌍을 기반으로 입력을 출력에 맵핑하는 함수를 학습하는 것이다.

실시 예에 있어서, 공개 DB를 통해 학습이 완료된 얼굴 인식 장치(140)를 야외 장소에 설치함으로써, 딥러닝 기반 얼굴 인식 장치(140)는 지나다니는 사람의 얼굴 이미지를 사용하여 2차 학습하는 Unsupervised Learning(비감독 학습) 방식의 실시간 학습함으로써 성능을 고도화시킬 수 있다.

실시 예에 있어서, 상술된 2차 학습이 종료 되면, 딥러닝 기반 얼굴 인식 장치(140)는 저장되어 있는 용의자의 얼굴 특징 정보와 실시간 학습이 종료된 지나가는 사람의 얼굴 특징 정보를 비교함으로써, 동일인 인지를 판별할 수 있다.

실시 예에 있어서, 딥러닝 기반 얼굴 인식기(140)는 얼굴 이미지로부터 얼굴 특징을 추출하는 특징 추출기(Feature Extractor, 142)과 얼굴 특징 정보를 이용하여 동일 얼굴 특징을 갖고 있는지를 판별하는 분류기(Classifier, 144)을 포함할 수 있다.

실시 예에 있어서, 특징 추출기(142) 및 분류기(144) 모두 각각의 딥러닝 모델을 사용하여 구현이 될 수 있다. 실시 예에 있어서, 특징 추출기(142)에 대한 딥러닝 네트워크는 입력된 얼굴 이미지에 대해 최선의 얼굴 특징 값을 추출하도록 학습할 수 있다. 실시 예에 있어서, 분류기(144)에 대한 딥러닝 네트워크는 입력된 얼굴 이미지가 찾고자 하는 얼굴 이미지와 동일한지 여부를 판단하기 위해 최선의 얼굴 인식 기능을 제공되도록 학습할 수 있다.

한편, 본 발명의 실시 예에 따른 얼굴 인식 장치(100)의 용의자와의 얼굴 비교 과정은, 미리 저장되어 있는 용의자의 얼굴 특징 정보와 지나가는 사람으로부터 추출한 특징 정보를 분류기(144)에 동시 입력 및 비교하고, 비교 결과로써 동일인 인지를 판별할 수 있다.

본 발명의 실시 예에 따른 얼굴 인식 장치(100)는 찾고자 하는 대상의 얼굴 이미지가 적어 학습이 어려운 문제와 학습 얼굴의 프라이버시 침해 문제를 해결하기 위하여 설치된 카메라를 통해 실시간 수집되는 지나가는 사람들의 얼굴들을 실시간 학습한 후 찾고자 하는 얼굴 이미지와 비교할 수 있다.

또한, 본 발명의 실시 예에 따른 얼굴 인식 장치(100)는 얼굴 이미지들이 적절하게 학습될 경우, 용의자의 사진 한장을 갖고도 용의자 얼굴을 판별할 수 있을 만큼 고도화된 얼굴 인식 성능을 확보할 수 있다.

또한, 본 발명의 실시 예에 따른 얼굴 인식 장치(100)는 지나가는 사람이 많을 수록 설치된 시간이 길어질 수록 얼굴인식 성능을 더욱 고도화시킬 수 있다.

또한, 본 발명의 실시 예에 따른 얼굴 인식 장치(100)는 학습에 사용된 얼굴 이미지나 추출된 얼굴 특징정보들을 학습에 사용 후 삭제함으로써 프라이버시 침해 문제를 해결할 수 있다. 이로써, 본 발명의 실시 예에 따른 얼굴 인식 장치(100)는 딥러닝 얼굴 인식 장치 개발 시 프라이버시 문제로 인한 학습 DB의 제한성을 해결할 수 있다.

도 2는 본 발명의 실시 예에 따른 특징 추출기(142)의 딥러닝 네트워크가 n개의 얼굴 이미지를 통해 최선의 얼굴특징 값을 추출하도록 학습하는 과정을 예시적으로 보여주는 흐름도이다. 도 1 및 도 2를 참조하면, 특징 추출기(142)의 학습 과정을 다음과 같이 진행될 수 있다.

얼굴 이미지 추출부(130)로부터 추출 얼굴 이미지가 입력될 수 있다(S110). n개의 얼굴 이미지가 동시에 얼굴 추출기 딥러닝 네트워크(혹은 제 1 딥러닝 네트워크)에 입력되고, 얼굴 추출기 딥러닝 네트워크는 학습을 수행할 수 있다(S120). 이러한 학습 결과로써 출력되는 각 얼굴 특징 정보인 특징값들(f1, f2, f3, ... , fn)이 추출될 수 있다(S130). 이후, 추출된 특징값들(f1, f2, f3, …, fn)이 모두 근사한 값이 되는지를 판별함으로써 특징 정보 비교 동작 수행될 수 있다(S140).

만일, 특징값들(f1, f2, f3, …, fn)이 모두 근사한 값이 되지 않았다면, S120 단계가 진행될 수 있다. 즉, 얼굴 특징값 간의 차이인 손실(loss)가 최소화되는 방향으로 특징 추출기 딥러닝 네트워크(제 1 딥러닝 네트워크)를 실시간 반복 업데이트함으로써 딥러닝 모델의 학습이 진행될 수 있다. 반면에, 특징값들(f1, f2, f3, …, fn)이 모두 근사한 값이 되었다면, 특징 추출기(142)의 딥러닝 모델 구성이 완료될 수 있다(S150).

도 3은 본 발명의 실시 예에 따른 분류기(144)의 딥러닝 네트워크가 n개의 얼굴 특징값을 통해 최선의 얼굴 인식 기능이 제공하도록 학습하는 과정을 예시적으로 보여주는 흐름도이다. 도 1 내지 도 3을 참조하면, 분류기(144)의 실시간 학습과정은 다음과 같이 진행될 수 있다.

특징 추출기(142)로부터 출력된 특징값들(f1, f2,..., fn ) 등 n개의 얼굴 이미지에 대한 얼굴 특징 정보가 입력될 수 있다(S210). 분류기 딥러닝 네트워크(혹은 제 2 딥러닝 네트워크)는 각 얼굴특징 값들을 입력으로 사용하여 학습을 진행할 수 있다(S220). 분류기 딥러닝 네트워크의 출력이 동일인 인지가 판별될 수 있다(S230). 만일, 분류기 딥러닝 네트워크의 출력이 동일인 아니라면, S220 단계가 진행될 수 있다. 즉, 분류기 딥러닝 네트워크의 출력이 모두 동일인으로 결과가 나오도록 분류기 딥러닝 네트워크(제 2 딥러닝 네트워크)의 실시간 반복 학습이 진행될 수 있다. 반면에, 분류기 딥러닝 네트워크의 출력이 모두 동일인이라면, 분류기(144)의 딥러닝 모델 구성이 완료될 수 있다(S240).

도 4는 본 발명의 실시 예에 따른 딥러닝을 이용하는 얼굴 인식 장치(100)의 동작 방법을 예시적으로 보여주는 흐름도이다. 도 1 내지 도 4를 참조하면, 얼굴 인식 장치(100)의 동작 방법은 다음과 같이 진행될 수 있다.

얼굴 인식 장치(100)는 공개 DB를 통해 감독 학습(Supervised Learning) 방식으로 제 1 학습을 수행할 수 있다(S310). 얼굴 인식 장치(100)는 추출된 얼굴 이미지에 대한 비감독 학습(Unsupervised Learning) 방식으로 제 2 학습을 수행할 수 있다(S320). 이 후에, 얼굴 인식 장치(100)는 제 2 학습에서 사용된 얼굴 이미지 및 추출된 특징 정보를 삭제할 수 있다.

실시 예에 따라서는, 단계들 및/혹은 동작들의 일부 혹은 전부는 하나 이상의 비-일시적 컴퓨터-판독가능 매체에 저장된 명령, 프로그램, 상호작용 데이터 구조(interactive data structure), 클라이언트 및/혹은 서버를 구동하는 하나 이상의 프로세서들을 사용하여 적어도 일부가 구현되거나 혹은 수행될 수 있다. 하나 이상의 비-일시적 컴퓨터-판독가능 매체는 예시적으로 소프트웨어, 펌웨어, 하드웨어, 및/혹은 그것들의 어떠한 조합일 수 있다. 또한, 본 명세서에서 논의된 "모듈"의 기능은 소프트웨어, 펌웨어, 하드웨어, 및/혹은 그것들의 어떠한 조합으로 구현될 수 있다.

본 발명의 실시 예들의 하나 이상의 동작들/단계들/모듈들을 구현/수행하기 위한 하나 이상의 비-일시적 컴퓨터-판독가능 매체 및/혹은 수단들은 ASICs(application-specific integrated circuits), 표준 집적 회로들, 마이크로 컨트롤러를 포함하는, 적절한 명령들을 수행하는 컨트롤러, 및/혹은 임베디드 컨트롤러, FPGAs(field-programmable gate arrays), CPLDs(complex programmable logic devices), 및 그와 같은 것들을 포함할 수 있지만, 여기에 한정되지는 않는다.

본 발명에서 얼굴 인식기의 실시간 학습을 위해 사용하는 추출된 얼굴 이미지들은 휘발성 메모리에 저장한 후 Feature Extractor 딥러닝 네트워크의 학습용으로만 사용하고 학습이 완료된 이후에는 삭제를 하게 되고, 얼굴 특징정보들 또한 휘발성 메모리에 저장하여 Classifier 학습에 사용한 후에는 삭제하므로 프라이버시 침해 문제 소지가 없다고 할 수 있다.

또한 학습된 Feature Extractor 딥러닝 네트워크와 Classifier 딥러닝 네트워크로부터 얼굴 이미지나 얼굴 특징정보를 유출할 수 없으므로 프라이버시 침해문제는 발생하지 않는다.

본 발명은 찾고자 하는 대상의 얼굴 이미지가 적어 학습이 어려운 문제와 학습 얼굴의 프라이버시 침해 문제를 해결하는 발명으로, 설치된 카메라를 통해 실시간 수집되는 지나가는 사람들의 얼굴들을 실시간 학습한 후 찾고자 하는 얼굴 이미지와 비교하는 방식의 실시간 얼굴 학습 기술 및 그 방법에 관한 것이다.

본 발명에 의해 얼굴 이미지들이 적절하게 학습될 경우, 용의자의 사진 한장만으로도 용의자 얼굴을 판별할 수 있을 만큼 고도화된 얼굴 인식 성능을 확보할 수 있으며, 지나가는 사람이 많을 수록, 설치된 시간이 길어질 수록 얼굴인식 성능은 더욱 고도화되는 장점을 갖게 된다. 또한 학습에 사용된 얼굴 이미지나 추출된 얼굴 특징정보들은 학습에 사용 후 삭제가 되므로 프라이버시 침해 문제를 해결할 수 있어 딥러닝 얼굴 인식 장치 개발시 프라이버시 문제로 인한 학습 DB의 제한성을 해결할 수 있다.

본 발명의 실시 예에 따른 얼굴 인식 장치 및 그것의 동작 방법은, 학습용 얼굴 이미지 수가 적어 효과적인 얼굴 인식 장치 학습이 어려운 경우, 얼굴 인식 장치의 성능 고도화를 위해 지나가는 사람의 얼굴 정보를 이용해서 얼굴 인식 장치를 실시간 학습할 수 있다.

본 발명은 찾고자 하는 대상의 얼굴 이미지가 적어 학습이 어려운 문제와 학습 얼굴의 프라이버시 침해 문제를 해결하는 발명으로, 찾고자 하는 용의자 얼굴을 학습하지 않고 카메라를 통해 실시간 수집되는 지나가는 사람들의 얼굴들을 실시간 학습한 후 찾고자 하는 얼굴 이미지와 비교하는 방식의 실시간 얼굴 학습 기술을 개시한다.

일반적인 이미지 인식 장치는 공개 DB를 사용하지 않고 카메라를 통해 수집한 얼굴 이미지들로만 supervised learning 방식으로 학습한다. 반면에, 본 발명은 공개 DB를 통해 학습이 완료된 얼굴 인식 장치를 실제 환경에 설치하여 카메라를 통해 수집되는 지나가는 사람의 얼굴 이미지를 기반으로 unsupervised learning 방식으로 실시간 학습함으로써 얼굴 인식 장치의 성능을 고도화시킬 수 있다. 또한, 본 발명은 추가적으로 수집된 얼굴 정보를 저장하지 않아 프라이버시 침해 문제를 해결할 수 있다.

한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.

100: 얼굴 인식 장치
110: 객체 검출부
120: 얼굴 검출 및 추적부
130: 얼굴 이미지 추출부
140: 딥러닝 기반 얼굴 인식기
142: 특징 추출기
144: 분류기

Claims (14)

1. 딥러닝을 이용한 얼굴 인식 장치의 동작 방법에 있어서,
   공개 얼굴 데이터베이스를 통하여 감독 학습(supervised learning) 방식으로 제 1 학습을 수행하는 단계; 및
   상기 제 1 학습을 수행한 후에, 카메라로부터 수집된 얼굴 이미지에 대하여 비감독 학습(unsupervised learning) 방식으로 제 2 학습을 수행하는 단계를 포함하는 방법.
2. 제 1 항에 있어서,
   상기 제 2 학습을 통한 얼굴 특징 정보와 용의자의 얼굴 특징 정보를 비교하는 단계를 더 포함하는 방법.
3. 제 1 항에 있어서,
   카메라로부터 지나가는 사람의 복수의 얼굴 이미지들을 입력 받는 단계를 더 포함하는 방법.
4. 제 3 항에 있어서,
   상기 제 2 학습을 수행하는 단계는,
   상기 복수의 얼굴 이미지들의 각각으로부터 얼굴 특징 정보를 추출하는 단계; 및
   상기 얼굴 특징 정보를 이용하여 동일 얼굴 특징을 갖는 지를 분류하는 단계를 포함하는 방법.
5. 제 4 항에 있어서,
   상기 얼굴 특징 정보를 추출하는 단계는,
   특징 추출기 딥러닝 네트워크를 이용하여 상기 복수의 얼굴 이미지들로부터 얼굴 특징값들을 추출하는 단계를 포함하고,
   상기 추출된 특징값들 사이의 차이가 사전에 결정된 값 이하가 될 때까지 상기 특징값들을 추출하는 단계가 반복되는 것을 특징으로 하는 방법.
6. 제 5항에 있어서,
   상기 동일 얼굴 특징을 갖는 지를 분류하는 단계는,
   분류기 딥러닝 네트워크를 이용하여 상기 추출된 특징값들에 대응하는 얼굴 특징 정보를 추출하는 단계; 및
   상기 추출된 얼굴 특징 정보가 동일인인 지를 판별하는 단계를 포함하는 방법.
7. 제 6 항에 있어서,
   상기 추출된 얼굴 특징 정보가 동일인이 될 때까지 상기 얼굴 특징 정보를 추출하는 단계가 반복되는 것을 특징으로 하는 방법.
8. 제 1 항에 있어서,
   상기 수집된 얼굴 이미지, 상기 제 2 학습을 수행할 때 추출된 얼굴 이미지, 상기 제 2 학습을 수행한 결과에 대응하는 얼굴 특징 정보를 삭제하는 단계를 더 포함하는 방법.
9. 딥러닝을 이용하는 얼굴 인식 장치에 있어서:
   카메라를 통하여 지나가는 사람을 검출하는 객체 검출부;
   상기 검출된 사람의 얼굴 영역을 연속적으로 추적하는 얼굴 검출 및 추적부;
   상기 연속적으로 추적된 얼굴 이미지를 복수로 추출하는 얼굴 이미지 추출부; 및
   상기 복수의 얼굴 이미지들에 대한 학습을 수행함으로써 상기 사람에 대한 얼굴 특징 정보를 실시간으로 생성하고, 상기 생성된 얼굴 특징 정보와 용의자의 얼굴 특징 정보를 비교하는 딥러닝 기반 얼굴 인식기를 포함하는 얼굴 인식 장치.
10. 제 9 항에 있어서,
    상기 딥러닝 기반 얼굴 인식기는 공개 얼굴 데이터베이스를 통하여 감독 학습 방식으로 학습을 수행하는 것을 특징으로 하는 얼굴 인식 장치.
11. 제 9 항에 있어서,
    상기 딥러닝 기반 얼굴 인식기는,
    상기 복수의 얼굴 이미지들을 동시에 수신하고, 제 1 딥러닝 네트워크를 통하여 상기 수신된 얼굴 이미지들에 대응하는 특징값들을 추출하고, 상기 추출된 특징값들 사이의 차이가 사전에 결정된 값 이하가 되도록 상기 제 1 딥러닝 네트워크를 반복하는 특징 추출기를 포함하는 얼굴 인식 장치.
12. 제 11 항에 있어서,
    상기 딥러닝 기반 얼굴 인식기는,
    상기 특징 추출기로부터 출력된 특징값들을 수신하고, 제 2 딥러닝 네트워크를 통하여 상기 수신된 특징값들의 얼굴 특징 정보를 추출하고, 상기 추출된 얼굴 특징 정보가 동일인이 될 때까지 상기 제 2 딥러닝 네트워크를 실시간 반복하는 분류기를 포함하는 얼굴 인식 장치.
13. 제 11 항에 있어서,
    상기 딥러닝 기반 얼굴 인식기는,
    상기 생성된 얼굴 특징 정보와 용의자의 얼굴 특징 정보를 비교한 후에, 상기 복수의 얼굴 이미지들, 상기 특징값들, 및 상기 얼굴 특징 정보를 삭제하는 것을 특징으로 하는 얼굴 인식 장치.
14. 제 11 항에 있어서,
    상기 딥러닝 기반 얼굴 인식기는 상기 용의자의 얼굴 특징 정보를 저장하는 것을 특징으로 하는 얼굴 인식 장치.

Images