KR20230136288A - 얼굴의 부분영역으로 얼굴인증을 수행하는 방법 - Google Patents

Abstract

본 발명은 얼굴의 부분영역으로 얼굴인증을 수행하는 방법에 관한 것으로, 더욱 상세하게는 온전한 얼굴에 대한 학습을 통해 온전하지 않은 얼굴의 부분영역으로 얼굴인증을 수행하는 방안에 관한 것이다.
이를 위해 얼굴의 부분영역으로 얼굴을 인증하는 방법은 입력받은 영상을 분석하여 얼굴을 검출하고, 검출된 얼굴로부터 얼굴 랜드마크를 검출하는 단계; 검출된 얼굴 랜드마크를 기준으로 얼굴을 세우는 정규화 절차를 수행하는 단계; 정규화 절차를 수행한 얼굴의 랜드마크를 기준으로 온전한 얼굴인지 손상된 얼굴인지 판단하는 단계; 온전한 얼굴이면 온전한 얼굴에 대한 특징점 1a 추출하며, 손상된 얼굴이면 손상된 얼굴에 대한 특징점 2를 추출하는 단계; 및 추출한 특징점 1a와 등록된 온전한 얼굴에 대한 특징점 1a를 비교하여 인증 절차를 진행하거나, 추출한 특징점 2와 손상된 얼굴에 대한 특징점 1b 또는 특징점 2와 비교하여 인증 절차를 진행하는 단계;를 포함한다.

Description

얼굴의 부분영역으로 얼굴인증을 수행하는 방법{How to perform face authentication with a partial area of the face}

본 발명은 얼굴의 부분영역으로 얼굴인증을 수행하는 방법에 관한 것으로, 더욱 상세하게는 온전한 얼굴에 대한 학습을 통해 온전하지 않은 얼굴의 부분영역으로 얼굴인증을 수행하는 방안에 관한 것이다.

딥러닝(Deep Learning) 기술의 발달에 힙입어 영상인식 기술이 매우 빠른 속도로 발전하고 있으며, 딥러닝 기술은 매우 많은 수의 층(Layer)으로 구성된 깊은 신경망 구조를 대용량의 데이터를 이용하여 학습시키는 기술로써, 비선형의 계층적 특징 학습 능력은 사람의 인지 메커니즘과 유사하다고 알려져 있다. 이러한 딥러닝 기술이 얼굴인식에 접목됨에 따라 다양한 데이터 환경에서 고성능의 얼굴인식이 가능하게 되고, 사람의 인지수준을 능가하는 연구 사례 또한 나타나고 있다.

얼굴 인식 기술은 현재 금융권을 비롯한 유통, 교통, 통신 등 고도의 보안성이 요구되는 분야에서 많이 응용되어 활용되고 있다. 이렇듯 다양한 분야에서 얼굴인식 기술은 보완성과 편리상을 인정받으며 폭넓게 사용되고 있으나, 2020년 초부터 코로나19가 빠르게 퍼짐에 따라 개인위생과 전염 방지 목적으로 개개인이 얼굴에 마스크를 착용하는 이슈가 발생하게 되었다. 얼굴인식은 얼굴에서 눈, 코, 입 등을 분석해 특징점을 추출하여 유사도가 비교하는 것인데, 마스크를 쓰는 등 얼굴 영역 일부가 손상되게 되면, 코를 비롯해 입, 좌우 측면 영역 등 얼굴을 특징지을 수 있는 많은 부분을 사용할 수 없게 된다. 얼굴을 특징지을 수 있는 부분의 유실로 인해 얼굴인식에 많은 제약사항이 발생하는 것이다.

한국등록특허 제10-1837153호(발명의 명칭; 가변 키패드와 얼굴인식을 이용한 본인 인증 방법 및 시스템) 한국등록특허 제10-1668958호(발명의 명칭: 휴대용 스마트 단말기 및 안면인식을 이용한 보완시스템)

본 발명이 해결하고자 하는 과제는 마스크 착용 또는 기타 원인으로 얼굴 전체를 인식하지 못하는 경우에도 얼굴 인증을 수행하는 방안을 제안함에 있다.

본 발명이 해결하고자 하는 다른 과제는 얼굴 등록 및 얼굴 인증시에 입력된 얼굴을 검출하여 온전한 얼굴 이미지인지, 일부가 식별 불가능한 얼굴 이미지인지를 판별하는 방안을 제안함에 있다.

본 발명이 해결하고자 하는 또 다른 과제는 온전한 얼굴 이미지 및 일부 식별이 불가능한 얼굴 이미지를 구분하여 등록 및 인증을 수행하여 인증률을 향상시키는 방안을 제안함에 있다.

이를 위해 본 발명의 얼굴의 부분영역으로 얼굴을 등록하는 방법은 입력받은 영상을 분석하여 얼굴을 검출하고, 검출된 얼굴로부터 얼굴 랜드마크를 검출하는 단계; 검출된 얼굴 랜드마크를 기준으로 얼굴을 세우는 정규화 절차를 수행하는 단계; 정규화 절차를 수행한 얼굴의 랜드마크를 기준으로 온전한 얼굴인지 손상된 얼굴인지 판단하는 단계; 및 온전한 얼굴이면 온전한 얼굴에 대한 특징점 1a 및 온전한 얼굴을 가공하여 생성된 손상된 얼굴에 대한 특징점 1b를 매칭하여 등록하며, 손상된 얼굴이면 손상된 얼굴에 대한 특징점 2를 등록하는 단계를 포함한다.

이를 위해 얼굴의 부분영역으로 얼굴을 인증하는 방법은 입력받은 영상을 분석하여 얼굴을 검출하고, 검출된 얼굴로부터 얼굴 랜드마크를 검출하는 단계; 검출된 얼굴 랜드마크를 기준으로 얼굴을 세우는 정규화 절차를 수행하는 단계; 정규화 절차를 수행한 얼굴의 랜드마크를 기준으로 온전한 얼굴인지 손상된 얼굴인지 판단하는 단계; 온전한 얼굴이면 온전한 얼굴에 대한 특징점 1a 추출하며, 손상된 얼굴이면 손상된 얼굴에 대한 특징점 2를 추출하는 단계; 및 추출한 특징점 1a와 등록된 온전한 얼굴에 대한 특징점 1a를 비교하여 인증 절차를 진행하거나, 추출한 특징점 2와 손상된 얼굴에 대한 특징점 1b 또는 특징점 2와 비교하여 인증 절차를 진행하는 단계;를 포함한다.

본 발명에 따른 얼굴의 부분영역으로 얼굴인증을 수행하는 방법은 마스크 착용 또는 기타 원인으로 얼굴 전체를 인식하지 못하는 경우에도 미리 등록된 손상된 얼굴에 대한 특징점을 이용하여 얼굴 인식을 진행할 수 있다는 장점이 있다. 또한, 본 발명은 특정인에 대해 온전한 얼굴에 대한 특징점과 손상된 얼굴에 대한 특징점을 모두 등록하고 있으므로 인증에 소요되는 시간을 단축할 수 있으며, 인증률 역시 향상시킬 수 있는 장점이 있다.

도 1은 얼굴인증을 위한 온전한 얼굴 이미지를 도시하고 있다.
도 2는 온전한 이미지를 가공하여 온전하지 않은 얼굴 이미지를 생성하는 예를 도시하고 있다.
도 3은 본 발명의 일실시 예에 따른 인증에 사용할 얼굴을 등록하는 절차를 도시하고 있다.
도 4는 본 발명의 일실시 예에 따른 얼굴 랜드마크를 검출한 예를 도시하고 있다.
도 5는 본 발명의 일실시 예에 따른 얼굴을 똑바로 세우는 정규화의 예를 도시하고 있다.
도 6은 본 발명의 일실시 예에 따른 얼굴 인증 절차를 도시하고 있다.
도 7은 온전한 얼굴에서 추출한 얼굴 랜드마크를 도시하고 있다.
도 8은 온전한 얼굴에서 추출한 얼굴 랜드마크에서 하단 부분을 손상시킨 예를 도시하고 있다.
도 9는 본 발명의 일실시 예에 따른 얼굴인식의 제1 단계를 도시하고 있다.
도 10은 본 발명이 일실시 예에 따른 얼굴인식의 제2 단계를 도시하고 있다.
도 11은 본 발명의 일실시 예에 따른 얼굴인식의 제3 단계를 도시하고 있다.
도 12는 본 발명의 일실시 예에 따른 얼굴인식 절차를 도시하고 있다.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

본 발명은 온전하지 않은 손상된 얼굴을 이용해 정확도와 신뢰도가 높은 얼굴 인식을 수행하는 방법을 제안한다. 얼굴 등록시 영상을 분석하여 얼굴을 검출하고, 검출된 얼굴로부터 랜드마크를 검출하고, 이후 정규화 과정을 거친 얼굴이 손상된(온전하지 않은) 얼굴인지, 온전한 얼굴인지를 판단한다. 손상된 얼굴이라고 판단되면, 손상된 얼굴 그대로의 모습에서 특징점을 추출하여 등록한다. 또한, 온전한 얼굴이라고 판단되면, 온전한 얼굴의 특징점과 온전한 얼굴을 가공하여 생성된 손상된 얼굴로부터 추출한 특징점을 매칭하여 등록한다. 즉, 손상된 얼굴이라고 판단되는 경우에는 손상된 얼굴에 대한 특징점만을 등록하는 반면, 온전한 얼굴이라고 판단되는 경우에는 온전한 얼굴에 대한 특징점 및 온전한 얼굴로부터 가공된 손상된 얼굴에 대한 특징점을 등록한다.

특징점 등록 이후, 얼굴 인증시에는 입력된 영상을 분석하여 얼굴을 검출한 후 랜드마크를 추출하고, 정규화 과정을 수행한 후, 손상된 얼굴 여부를 판단하여 손상된 얼굴이라면 손상된 얼굴 특징점과 비교하여 인증 절차를 진행하며, 온전한 얼굴이라면 온전한 얼굴 특징점과 비교하여 인증 절차를 진행한다. 물론 인증기준은 상황에 맞게 변경 가능하다.

이하에서는 상술한 본 발명의 기술적 특징에 대해 도면을 이용하여 설명하기로 한다.

도 1은 얼굴 등록 또는 인증을 위한 온전한 얼굴 이미지를 도시하고 있으며, 도 2는 온전한 얼굴 이미지를 가공하여 손상된 얼굴 이미지를 생성하는 예를 도시하고 있다.

얼굴인증을 수행하기 위해서는 얼굴 데이터를 학습하는 과정을 수행한다. 얼굴 데이터의 학습은 MTCNN 등 cnn 계열의 고성능 신경망 추론 프레임워크를 이용하여 학습하나, 이외에도 다른 알고리즘을 이용하여 얼굴 데이터를 학습할 수 있다. 본 발명의 목적은 상술한 바와 같이 손상된(온전하지 않은) 얼굴 이미지를 이용하여 얼굴인증을 수행하는 방법이므로 온전한 얼굴 이미지는 물론 온전하지 않은 얼굴(또는 온전하지 않게 가공한 얼굴) 이미지를 학습한다.

이를 위해 도 1에 도시된 바와 같이 온전한 얼굴 이미지를 확보하며, 확보한 온전한 얼굴 이미지를 가공한 온전하지 않은 얼굴 이미지를 생성하는 절차를 수행한다. 도 2는 도 1의 온전한 얼굴 이미지에서 하단의 입 부분을 마스킹 처리한 온전하지 않은 얼굴 이미지이다. 도 2는 얼굴의 하단 부분을 마스킹 처리한 온전하지 않은 얼굴 이미지이지만, 얼굴 하단 이외에 다른 부분을 마스킹 처리하여 다수의 온전하지 않은 얼굴 이미지를 생성하는 것이 바람직하다. 부연하여 설명하면 온전하지 않은 얼굴 이미지는 온전한 얼굴 이미지에서 얼굴의 하단 부분 또는 다른 부분을 임의로 손상시켜 생성하므로, 온전하지 않은 얼굴 이미지는 하나 이상 생성된다.

본 발명과 관련하여 학습을 위한 온전한 얼굴 이미지와 온전하지 않은 얼굴 이미지는 사용자가 입력한다. 즉, 사용자는 학습 대상이 되는 얼굴 이미지가 온전한 얼굴 이미지인지 온전하지 않은 얼굴 이미지인지 입력한 후 해당 얼굴 이미지를 학습시킨다. 서버는 입력된 정보와 얼굴 이미지를 이용하여 온전한 얼굴 이미지 또는 온전하지 않은 얼굴 이미지에 대한 학습을 반복적으로 수행한다. 이하에서 인증을 위한 얼굴 등록 절차에 대해 알아보기로 한다.

도 3은 본 발명의 일실시 예에 따른 얼굴인증에 사용할 얼굴을 등록하는 절차를 도시하고 있다. 이하 도 3을 이용하여 본 발명의 일실시 예에 따른 얼굴인증에 사용할 얼굴을 등록하는 절차에 대해 상세하게 알아보기로 한다.

S300단계에서 등록 서버(또는 서버)는 얼굴이 포함된 영상을 입력받는다. 얼굴이 포함된 영상은 카메라로부터 입력받거나, 저장공간에 저장된 이미지를 입력받을 수 있다. 이외에도 등록 서버는 얼굴이 포함된 영상을 네트워크 등을 통해 입력받을 수 있다.

S302단계에서 등록 서버는 입력받은 영상을 분석한다. 부연하여 설명하면 등록 서버는 입력받은 영상에 얼굴 이미지가 포함되어 있는지 분석한다.

S304단계에서 등록 서버는 분석한 영상으로부터 얼굴을 검출한다. 얼굴 검출은 학습 데이터를 활용하여 입력된 영상 이미지를 분석하여 얼굴을 검출한다. 얼굴 검출 역시 상술한 바와 같이 cnn 계열 고성능 신경망 추론 컴퓨팅 프레임워크를 이용한다. 얼굴인식 엔진을 이용하여 얼굴을 인식한 후 얼굴 랜드마크를 통해 눈, 코, 입 등 얼굴의 윤곽을 68개의 점으로 나타낸다.

S306단계에서 등록 서버는 검출한 얼굴로부터 얼굴 랜드마크를 검출한다. 얼굴 랜드마크는 얼굴을 특정할 수 있는 포인트이며, 눈, 코 및 입 등 얼굴을 구분할 수 있는 주위에 다양하게 분포한다. 얼굴 검출 알고리즘에 대해서는 후술하기로 한다.

도 4는 본 발명의 일실시 예에 따른 얼굴 랜드마크를 검출한 예를 도시하고 있다. 도 4에 도시된 바와 같이 얼굴 랜드마크는 눈, 코 및 입의 주위에 다수 분포하고 있음을 알 수 있다.

S308단계에서 등록 서버는 검출한 얼굴 랜드마크를 기준으로 정규화 과정을 진행한다. 정규화란 얼굴을 똑바로 세우는 과정을 의미한다. 얼굴 등록이나 인증을 수행할 때 얼굴 이미지가 똑바르지 않다면 얼굴 인증의 정확성이 낮아지게 된다. 즉, S308단계에서 기울어지거나 틀어진 얼굴을 똑바로 세워서 정면 얼굴로 변환하는 단계이다.

도 5는 본 발명의 일실시 예에 따른 얼굴을 똑바로 세우는 정규화의 예를 도시하고 있다. 도 5에 도시된 바와 같이 정규화 과정을 통해 기울어지거나 틀어진 얼굴을 똑바로 세워짐을 알 수 있다. 정규화 과정은 얼굴을 구성하는 랜드마크의 좌표를 이용하여 얼굴을 세우는 과정이다.

S310단계에서 등록서버는 정규화 절차를 진행한 이후의 얼굴이 온전한 얼굴인지, 온전하지 않은 얼굴인지 판단한다. 등록서버는 정규화 절차를 진행한 얼굴이 온전한 얼굴인지, 온전하지 않은 얼굴인지 여부에 따라 상이한 프로세스에 따라 특징점 등록 절차를 수행한다.

S312단계에서 등록서버는 정규화 과정을 진행한 얼굴이 온전하지 않은 얼굴인 경우에는 손상된 얼굴에서 특징점(특징점 2)을 추출한다.

S314단계에서 등록서버는 손상된 얼굴에서 추출한 특징점 2를 등록한다. 이와 같이 본 발명에서 제안하는 등록서버는 손상된 얼굴에서도 얼굴을 특징할 수 있는 특징점 2를 추출하여 등록한다.

S320단계에서 등록서버는 온전한 얼굴에서 특징점(특징점 1a)을 추출한다.

S322단계에서 등록서버는 온전한 얼굴을 가공하여 손상된 얼굴을 생성한다. 본 발명은 온전한 얼굴에 대해서는 온전한 얼굴뿐만 아니라 손상된 얼굴을 별도로 생성하는 과정을 수행한다.

S324단계에서 등록서버는 가공한 손상된 얼굴에서 특징점(특징점 1b)을 추출한다.

S326단계에서 등록서버는 추출한 특징점 1a 및 특징점 1b를 각각 등록한다. 이와 같이 본 발명에서 제안하는 등록서버는 입력받은 영상에 온전한 얼굴 이미지가 포함된 경우에는 특징점 1a 및 특징점 1b를 등록하는 반면, 입력받은 영상에 온전하지 않은 얼굴 이미지가 포함된 경우에는 특징점 2를 등록하는 방안을 제안한다.

도 6은 본 발명의 일실시 예에 따른 얼굴 인증 절차를 도시하고 있다. 이하, 도 6을 이용하여 본 발명의 일실시 예에 다른 얼굴 인증 절차에 대해 상세하게 알아보기로 한다.

S600단계에서 등록 서버(또는 서버)는 얼굴이 포함된 영상을 입력받는다. 얼굴이 포함된 영상은 카메라로부터 입력받거나, 저장공간에 저장된 이미지를 입력받을 수 있다. 이외에도 등록 서버는 얼굴이 포함된 영상을 네트워크 등을 통해 입력받을 수 있다.

S602단계에서 등록 서버는 입력받은 영상을 분석한다. 부연하여 설명하면 등록 서버는 입력받은 영상에 얼굴 이미지가 포함되어 있는지 분석한다.

S604단계에서 등록 서버는 분석한 영상으로부터 얼굴을 검출한다. 얼굴 검출은 학습 데이터를 활용하여 입력된 영상 이미지를 분석하여 얼굴을 검출한다. 얼굴 검출 역시 상술한 바와 같이 cnn 계열 고성능 신경망 추론 컴퓨팅 프레임워크를 이용한다.

S606단계에서 등록 서버는 검출한 얼굴로부터 얼굴 랜드마크를 검출한다. 얼굴 랜드마크는 얼굴을 특정할 수 있는 포인트이며, 눈, 코 및 입 등 얼굴을 구분할 수 있는 주위에 다양하게 분포한다.

S608단계에서 등록서버는 검출한 얼굴 랜드마크를 기준으로 정규화 과정을 진행한다.

S610단계에서 등록서버는 정규화 절차를 진행한 이후의 얼굴이 온전한 얼굴인지, 온전하지 않은 얼굴인지 판단한다. 등록서버는 정규화 절차를 진행한 얼굴이 온전한 얼굴인지, 온전하지 않은 얼굴인지 여부에 따라 상이한 프로세스를 진행한다.

S612단계에서 등록서버는 정규화 절차를 진행한 얼굴이 온전하지 않은 얼굴인 경우에는 손상된 얼굴에서 특징점(인증용 특징점 2)을 추출한다.

S614단계에서 등록서버는 등록된 특징점 2, 특징점 1b와 추출한 인증용 특징점 2를 비교하여 유사도를 판단하며, S616단계에서 등록서버는 판단한 유사도에 따라 인증절차를 완료한다.

S620단계에서 등록서버는 정규화 절차를 진행한 얼굴이 온전한 얼굴인 경우에는 온전한 얼굴에서 특징점(인증용 특징점 1a)을 추출한다.

S622단계에서 등록서버는 등록된 특징점 1a와 추출한 인증용 특징점 1a을 비교하여 유사도를 판단하며, S616단계에서 등록서버는 판단한 유사도에 따라 인증절차를 완료한다.

이외에도 등록서버는 정규화 절차를 진행한 얼굴이 온전한 얼굴인 경우에는 등록된 특징점 1a와 추출한 인증용 특징점 1a을 비교하여 유사도를 판단하는 동시에 등록된 특징점 1b와 정규화 절차를 진행한 얼굴을 가공하여 생성한 온전하지 않은 얼굴로부터 추출한 인증용 특징점 1b를 비교하여 유사도를 판단할 수 있다.

물론 상술한 바와 같이 등록서버는 정규화 절차를 진행한 얼굴이 온전한 얼굴인 경우에는 등록된 특징점 1a과 추출한 인증용 특징점 1a을 비교하여 유사도를 판단하며, 정규화 절차를 진행한 얼굴이 온전하지 않은 얼굴인 경우에는 등록된 특징점 2와 추출한 인증용 특징점 2를 비교하여 유사도를 판단할 수 있다.

유사도 비교는 ResNet 모델을 이용해 랜드마크 주위에서 얼굴 템플릿 추출 후, 유클리디안, 카이 제곱, 코사인 거리와 같은 특징거리 비교를 통해 유사도를 측정할 수 있다.

이하에서는 온전한 얼굴 이미지에서 온전하지 않은 얼굴 이미지를 가공하는 방안에 대해 알아보기로 한다.

도 7은 온전한 얼굴에서 추출한 얼굴 랜드마크를 도시하고 있다. 추출한 얼굴 랜드마크의 위치를 기준으로 얼굴의 하단 부분을 모두 손상시키는 방법으로 처리한다. 도 8은 온전한 얼굴에서 추출한 얼굴 랜드마크에서 하단 부분을 손상시킨 예를 도시하고 있다. 도 8에 도시되어 있는 바와 같이 좌측 랜드마크 3번 아래, 우측 랜드마크 15번 및 중간 랜드마크 31번을 기준으로 아래 영역은 모두 손상시켰음을 알 수 있다. 이렇게 손상된 얼굴 이미지에서 특징점을 추출하고, 인증시 손상된 이미지가 입력되었을 경우, 인증용으로 사용한다.

본 발명에서 제안하는 얼굴인식 엔진을 이용하여 얼굴검출 및 랜드마크를 검출하는 방안에 대해 살펴보기로 한다. 본 발명과 관련하여 얼굴검출은 1단계 내지 3단계로 이루어진다. 이하에서는 얼굴을 검출하는 단계에 대해 순차적으로 살펴보기로 한다.

1단계는 상대적으로 사이즈가 작은 얼굴도 검출하기 위해 입력된 이미지를 단계별로 리사이즈(resize)하여 이미지 피라미드를 생성한다. 예를 들어 300x200 크기를 갖는 이미지가 입력되면 이를 200x166, 100x66, 30x20등의 크기로 리사이즈한 이미지의 리스트를 생성한다.

도 9는 본 발명의 일실시 예에 따른 얼굴검출의 1단계를 도시하고 있다. 도 9에 도시된 바와 같이 12x12x3 크기의 작은 이미지를 입력받는다. 그리고 컨벌루션을 수행하여 해당 영역이 얼굴 영역에 해당하는지 각각 나타내는 얼굴 분류(face classification), 얼굴 영역을 나타내는 좌측 상단 꼭지점의 x, y 좌표와 박스의 너비, 크기를 나타내는 4개의 경계 상자 회귀분석(bounding box regression) 값, 그리고 양쪽 눈, 코, 양쪽 입고리의 x, y 좌표를 나타내는 10개의 랜드마크 로컬리케이션(landmark localization) 값을 결과를 도출한다.

부연하여 설명하면 얼굴검출의 1단계는 입력된 이미지를 신경망을 통과시켜 얼굴로 추정되는 모든 영역을 검출한다.

도 10은 얼굴검출의 2단계를 도시하고 있다. 1단계를 통해 얼굴로 추정되는 박스들의 리스트를 얻었으면, 2단계의 역할은 이 박스들 중에서도 진짜 얼굴에 해당하는 영역들을 도출하고, bounding box regression을 더욱 정교하게 수행하는 것이다. 먼저 앞서 구한 박스들을 모두 24x24 크기로 resize 하며, 이후 1단계와 유사한 프로세스를 수행한다. 2단계에서는 더욱 정교한 값을 추출하는 역할을 수행한다.

부연하여 설명하면 얼굴검출의 2단계는 1단계에서 검출된 영역의 이미지를 신경망을 통과시켜 정교해진 영역을 검출한다.

도 11은 얼굴검출의 3단계를 도시하고 있다. 3단계는 점점 필터의 크기를 키우면서 얼굴에 해당하는 더 추상적인 정보를 찾아내기 위한 의도로 2단계를 통해 찾아낸 박스들을 모두 48x48 크기로 resize한 것을 입력으로 받는다. 이후 여러 레이어를 거친 뒤 출력을 내게 되며, 이것이 최종 얼굴검출 결과이다.

부연하여 설명하면, 얼굴검출이 3단계는 2단계에서 검출된 영역의 이미지를 신경망을 통과시켜 정확한 얼굴과 얼굴 랜드마크를 검출한다.

이하에서는 얼굴 랜드마크 검출 방법에 대해 간략하게 알아보기로 한다. 백본 네트워크와 보조 네트워크로 구성된 일반적인 CNN 기반 모델과 유사한 얼굴검출 엔진에서 입력된 이미지로부터 convolution layer를 통해 얼굴과 얼굴 랜드마크를 추출한다.

본 발명과 관련하여 온전하지 않은 얼굴을 이용하여 얼굴인증을 수행하는 경우, 온전하지 않은 얼굴 중 랜드마크가 상대적으로 많이 분포된 부분은 확보되어야 한다. 즉, 얼굴 중 상대적으로 랜드마크가 가장 많이 분포된 눈 부분은 온전해야 얼굴인증을 진행할 수 있으나, 분 부분이 손상된 경우에는 얼굴인증을 진행할 수 없다.

이에 비해 랜드마크가 상대적으로 적게 분포된 입 또는 코의 경우 손상되더라도 얼굴인증을 진행할 수 있다. 따라서 본 발명은 랜드마크가 상대적으로많이 분포된 눈을 제외한 나머지 부분이 온전하지 않은 얼굴을 이용하여 얼굴 인증을 수행한다.

본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

Claims (7)

1. 입력받은 영상을 분석하여 얼굴을 검출하고, 검출된 얼굴로부터 얼굴 랜드마크를 검출하는 단계;
   검출된 얼굴 랜드마크를 기준으로 얼굴을 세우는 정규화 절차를 수행하는 단계;
   정규화 절차를 수행한 얼굴의 랜드마크를 기준으로 온전한 얼굴인지 손상된 얼굴인지 판단하는 단계; 및
   온전한 얼굴이면 온전한 얼굴에 대한 특징점 1a 및 온전한 얼굴을 가공하여 생성된 손상된 얼굴에 대한 특징점 1b를 매칭하여 등록하며, 손상된 얼굴이면 손상된 얼굴에 대한 특징점 2를 등록하는 단계를 포함함을 특징으로 하는 얼굴의 부분영역으로 얼굴을 등록하는 방법.
   
2. 제 1항에 있어서, 얼굴 랜드마크는,
   눈, 코, 입 중 적어도 어느 하나임을 특징으로 하는 얼굴의 부분영역으로 얼굴을 등록하는 방법.
   
3. 제 2항에 있어서, 온전한 얼굴을 가공하여 손상된 얼굴을 생성하는 단계는,
   얼굴 랜드마크 중 적어도 하나를 손상시킴을 특징으로 하는 얼굴의 부분영역으로 얼굴을 등록하는 방법.
   
4. 제 3항에 있어서, 온전한 얼굴을 가공하여 손상된 얼굴을 생성하는 단계는,
   상이하게 얼굴 랜드마크를 손상시킨 적어도 두 개의 손상된 얼굴을 생성함을 특징으로 하는 얼굴의 부분영역으로 얼굴을 등록하는 방법.
   
5. 입력받은 영상을 분석하여 얼굴을 검출하고, 검출된 얼굴로부터 얼굴 랜드마크를 검출하는 단계;
   검출된 얼굴 랜드마크를 기준으로 얼굴을 세우는 정규화 절차를 수행하는 단계;
   정규화 절차를 수행한 얼굴의 랜드마크를 기준으로 온전한 얼굴인지 손상된 얼굴인지 판단하는 단계;
   온전한 얼굴이면 온전한 얼굴에 대한 특징점 1a 추출하며, 손상된 얼굴이면 손상된 얼굴에 대한 특징점 2를 추출하는 단계; 및
   추출한 특징점 1a와 등록된 온전한 얼굴에 대한 특징점 1a를 비교하여 인증 절차를 진행하거나, 추출한 특징점 2와 손상된 얼굴에 대한 특징점 1b 또는 특징점 2와 비교하여 인증 절차를 진행하는 단계;를 포함함을 특징으로 하는 얼굴의 부분영역으로 얼굴을 인증하는 방법.
   
6. 제 5항에 있어서, 얼굴 랜드마크는,
   눈, 코, 입 중 적어도 어느 하나임을 특징으로 하는 얼굴의 부분영역으로 얼굴을 인증하는 방법.
   
7. 제 6항에 있어서, 손상된 얼굴에 대한 특징점과 온전한 얼굴에 대한 특징점은 상이한 공간에 등록되어 있음을 특징으로 하는 얼굴의 부분영역으로 얼굴을 인증하는 방법.