KR101066097B1

KR101066097B1 - 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치 및 이를 이용한 안경 착용자에 대한 얼굴 오인식 최소화 방법

Info

Publication number: KR101066097B1
Application number: KR1020100030807A
Authority: KR
Inventors: 신현삼
Original assignee: 주식회사 미래인식
Priority date: 2010-04-05
Filing date: 2010-04-05
Publication date: 2011-09-20

Abstract

본 발명은, 얼굴 인식을 시도하는 사용자가 안경을 착용하고 있거나 안경을 벗고 있는 모든 경우에 있어서도 정확한 얼굴 인식이 가능한, 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치 및 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 방법을 제공한다.

Description

안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치 및 이를 이용한 안경 착용자에 대한 얼굴 오인식 최소화 방법{FACE IDENTIFYING DEVICE AND FACE IDENTIFYING METHOD}

본 발명은 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치 및 이를 이용한 안경 착용자에 대한 얼굴 오인식 최소화 방법에 관한 것으로서, 더욱 상세하게는, 얼굴을 촬영한 영상을 이용한 얼굴 인식을 행함에 있어서 안경을 착용한 사용자가 안경을 착용한 채로 인식을 시도하거나 안경을 벗고 인식을 시도하더라도 높은 정확도로 얼굴 인식을 행할 수 있는 얼굴 인식 장치 및 이러한 얼굴 인식 장치를 이용하여 수행되는 얼굴 인식에 있어서의 안경 착용자에 대한 얼굴 오인식 최소화 방법에 관한 것이다.

사람을 대신해 사람의 얼굴을 구별하는 얼굴 인식 시스템은 사용자의 편의성 면에서 생체 인식 시스템 중 가장 탁월하다고 할 수 있다. 즉, 사용자는 패스워드나 비밀번호를 손으로 입력하는 절차가 필요 없이 단지 카메라를 바라보기만 하면 되고, 특히 지문이나 홍채 인식 등과는 달리 카메라 등에 대하여 신체적 접촉을 행할 필요가 없다는 점에서 시스템을 이용하는 사용자들에게 거부감을 줄일 수 있다.

이에 따라 여러 선진국에서는 은행 등 금융기관에서 고객들의 신원을 확인하기 위하여 비밀번호나 지문 등을 사용하던 방식을 개선하여 얼굴 형태의 특징을 이용하여 신분을 확인하는 얼굴 인식 기술을 사용하고 있으며, 이미 상용화 단계에 들어갔다.

얼굴 인식 시스템은 공항이나 항만 등에서의 패스워드 제어 시스템으로도 활용될 수 있으며, 엄격한 출입 통제를 요구하는 시설의 출입 관리 시스템이나 초고속 통신망을 이용한 전자 결재, 전자상거래에서 결제권자나 사용자를 인식하는 수단 등 여러 분야에 널리 적용될 수 있다는 장점이 있다.

이와 같이, 광범위한 응용 범위를 지닌 얼굴 인식 기술을 실제로 사용하는 데에는 몇 가지 문제들이 있는데, 그 중의 하나가 사용자가 안경을 착용한 경우, 안경으로 인해 얼굴 영상이 달라져 얼굴 인식 결과가 부정확해지는 문제가 그 중 대표적이다.

이러한 문제점을 해결하기 위하여, 종래에는 안경을 포함하는 얼굴 영상이 획득된 경우, 획득된 영상에서 안경을 제거한 후 얼굴 인식을 행하도록 하고 있다. 이를 위하여 획득된 영상에서 안경을 제거하기 위한 영상 처리 방법으로서, 변형가능한 윤곽선을 사용하여 안경 부분을 추출하고 추출된 안경 부분을 얼굴 영상에서 제거하는 방법, 액티브 어피어런스 모델(active appearance model)로 알려진 플렉서블 모델을 이용하여 안경과 같은 작은 오클루젼(occlusion) 영역(즉, 안경에 의해 가려진 얼굴 부분)을 제거하는 방법, PCA 알고리즘을 이용한 영상 처리 방법 등이 제안되었다.

또한, 한국등록특허 10-461030호에서는, 안경테뿐만 아니라 안경 렌즈에 빛이 반사되어 생성되는 영역과 안경 때문에 얼굴에 생긴 그림자 영역 등과 같이 칼라 얼굴 영상 내에서 오클루젼이 있는 영역 모두를 찾아 제거함으로써, 최초에 입력된 안경을 포함하는 칼라 얼굴 영상과 유사하면서도 안경이 제거된 우수한 품질의 칼라 얼굴 영상을 획득할 수 있는 반복적인 PCA 재구성 알고리즘을 사용한 영상 처리 방법을 제공하고 있다.

하지만, 이러한 방법들은, 논리적인 연산을 행하는 소프트웨어를 통해 획득된 얼굴 영상에서 안경의 형태를 예측하여 제거하게 되므로 실제 얼굴의 형태가 왜곡될 가능성이 있으며, 이렇게 얼굴 형태가 왜곡되는 경우 때문에 얼굴 인식에 있어서의 정확도가 낮아질 가능성이 크다.

본 발명은, 상술한 바와 같은 문제점을 해결하기 위한 것으로서, 얼굴 인식을 시도하는 사용자가 안경을 착용하고 있거나 안경을 벗고 있는 모든 경우에 있어서도 정확한 얼굴 인식이 가능하도록 하는 얼굴 인식 장치 및 방법을 제공하고자 하는 것을 목적으로 한다.

또한, 본 발명은 이미 등록되어 있는 사전 등록자에 대하여 얼굴 인식이 실패한 경우라도 사용자 얼굴 인식 처리를 불편함 없이 완료할 수 있도록 한 얼굴 인식 장치 및 방법을 제공하고자 하는 것을 또다른 목적으로 한다.

상술한 과제를 달성하기 위한 본 발명은, 얼굴 인식 장치로서: 접근한 인물의 얼굴을 촬영하는 영상 획득부; 상기 접근한 인물을 향하여 소정의 안내 메시지를 시각적으로 또는 청각적으로 출력하는 안내부; 인식 완료된 등록자를 촬영하여 획득한 등록 영상을 저장하는 저장부; 상기 등록자에 대하여 안경을 착용한 얼굴을 m회 촬영하여 획득한 m개의 안경 착용 등록 영상 및 상기 등록자에 대하여 안경을 벗도록 안내한 후 안경을 벗은 얼굴을 n회 촬영하여 획득한 n개의 안경 미착용 등록 영상을 상기 등록자의 식별 정보와 함께 등록 영상으로서 저장하도록 제어하고, 얼굴 인식을 시도하는 인식 시도자를 촬영하여 하나 또는 복수의 시도 영상을 생성하고, 상기 하나 또는 복수의 시도 영상 중 어느 하나의 시도 영상과 상기 저장하고 있는 모든 상기 안경 착용 등록 영상과의 유사도 점수가 높은 순서로 M1개의 안경 착용 등록 영상을 선별하고, 상기 선별된 M1개의 안경 착용 등록 영상 각각의 식별 정보를 확인하여 가장 많은 횟수로 나타난 등록자(Mn_person)를 확인하고, 또한, 상기 어느 하나의 시도 영상과 상기 저장하고 있는 모든 상기 안경 미착용 등록 영상과의 유사도 점수가 높은 순서로 N1개의 안경 미착용 등록 영상을 선별하고, 상기 선별된 N1개의 안경 미착용 등록 영상 각각의 식별 정보를 확인하여 가장 많은 횟수로 나타난 등록자(Nn_person)를 확인하고, 상기 Mn_person과 상기 Nn_person이 동일인물인 경우에 상기 인식 시도자를 상기 Mn_person인 것으로 특정하여 얼굴 인식 처리를 성공으로 판정하는 얼굴 인식 처리부를 포함하는 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치를 제공한다.

또한, 상기 얼굴 인식 처리부는, 상기 선별된 M1개의 안경 착용 등록 영상 중 가장 많은 횟수로 나타난 등록자가 복수로 확인되는 경우, 상기 확인된 복수의 등록자 중 상기 유사도 점수가 가장 높게 산출된 등록자를 Mn_person으로 선택하여 얼굴 인식 처리를 행한다.

또한, 상기 얼굴 인식 처리부는, 상기 선별된 M1개의 안경 착용 등록 영상 중 Mn_person의 나타난 횟수(Mn)를 계수하고, 상기 선별된 N1개의 안경 미착용 등록 영상 중 Nn_person의 나타난 횟수(Nn)를 계수하고, 상기 Mn과 상기 Nn의 합이 인식 기준 개수 이상인 경우에 상기 인식 시도자의 얼굴 인식 처리를 성공으로 판정한다.

또한, 상기 얼굴 인식 처리부는, 상기 Mn 및 상기 Nn 중 적어도 하나가 미리 설정된 기준 개수 이상인 경우에 얼굴 인식 처리를 실행한다.

또한, 상기 얼굴 인식 처리부는, 상기 Mn_person과 상기 Nn_person이 동일인물이 아닌 경우, 상기 어느 하나의 시도 영상에 상기 인식 시도자의 얼굴의 전체 영역이 촬영되었는지를 판정하고, 상기 인식 시도자의 얼굴의 전체 영역이 촬영된 것으로 판정되었다면, 상기 인식 시도자에게 비밀 번호를 입력하도록 안내하고, 입력된 비밀 번호와 미리 설정된 비밀 번호를 비교하고, 서로 일치하는 경우 상기 인식 시도자에 대한 얼굴 인식 처리를 성공으로 판정한다.

또한, 상기 M1과 상기 N1은 동일한 개수로 설정되는 것을 특징으로 한다.

또한, 본 발명은, 얼굴 인식 장치에 의한 얼굴 인식 방법에 있어서: 안경을 착용한 등록자의 얼굴을 m회 촬영하여 m개의 안경 착용 등록 영상을 획득하는 단계; 상기 등록자에게 안경을 벗도록 안내한 후, 안경을 벗은 상기 등록자를 n회 촬영하여 n개의 안경 미착용 등록 영상을 획득하는 단계; 획득한 m개의 상기 안경 착용 등록 영상 및 n개의 상기 안경 미착용 등록 영상을 상기 등록자의 식별 정보와 함께 등록 영상으로서 저장하는 단계; 복수의 상기 등록자에 대하여 상기 등록 영상을 획득하여 저장하는 단계; 접근한 상기 인식 시도자의 얼굴을 촬영하여 하나 또는 복수의 시도 영상을 생성하는 단계; 상기 하나 또는 복수의 시도 영상 중 어느 하나의 시도 영상과 저장하고 있는 상기 복수의 등록자에 대한 모든 상기 안경 착용 등록 영상과의 유사도 점수가 높은 순서로 M1개의 안경 착용 등록 영상을 선별하는 단계; 상기 선별된 M1개의 안경 착용 등록 영상 각각의 상기 식별 정보를 확인하여, 가장 많은 횟수로 나타난 등록자(Mn_person)를 확인하는 단계; 상기 어느 하나의 시도 영상과 저장하고 있는 상기 복수의 등록자에 대한 모든 상기 안경 미착용 등록 영상과의 유사도 점수가 높은 순서로 N1개의 안경 미착용 등록 영상을 선별하는 단계; 상기 선별된 N1개의 안경 미착용 등록 영상 각각의 상기 식별 정보를 확인하여, 가장 많은 횟수로 나타난 등록자(Nn_person)를 확인하는 단계; 상기 Mn_person과 상기 Nn_person이 동일인물인 경우에 상기 인식 시도자를 상기 Mn_person인 것으로 특정하여 얼굴 인식 처리를 성공으로 판정하는 단계를 포함하는 안경 착용자에 대한 얼굴 오인식 최소화 방법을 제공한다.

또한, 상기 선별된 M1개의 안경 착용 등록 영상 중 가장 많은 횟수로 나타난 등록자가 복수로 확인되는 경우, 상기 확인된 복수의 등록자 중 상기 유사도 점수가 가장 높게 산출된 등록자를 Mn_person으로 선택하여 얼굴 인식 처리를 실행한다.

또한, 상기 선별된 M1개의 안경 착용 등록 영상 중 상기 Mn_person이 나타난 횟수(Mn)를 계수하는 단계; 상기 선별된 N1개의 안경 미착용 등록 영상 중 상기 Nn_person이 나타난 횟수(Nn)를 계수하는 단계; 상기 Mn과 상기 Nn의 합이 인식 기준 개수 이상인 경우에 상기 인식 시도자의 얼굴 인식 처리를 성공으로 판정하는 단계를 더 포함한다.

또한, 상기 Mn 및 상기 Nn에 대하여 개별적으로 설정될 수 있는 기준 개수가 설정되고, 상기 Mn 또는 상기 Nn이 상기 각각의 기준 개수 이상인 경우에 얼굴 인식 처리를 실행한다.

또한, 상기 인식 시도자에 대한 상기 어느 하나의 시도 영상을 분석하여 안경 착용 여부를 판단하는 단계를 더 포함하고, 상기 인식 시도자가 안경을 착용한 것으로 판정된 경우에는 상기 M1에 대한 기준 개수를 상기 N1에 대한 기준 개수보다 크게 설정하고, 상기 인식 시도자가 안경을 착용하지 않은 것으로 판정된 경우에는 상기 M1에 대한 기준 개수를 상기 N1에 대한 기준 개수보다 작게 설정한다.

또한, 상기 Mn_person과 상기 Nn_person이 동일인물이 아닌 것으로 판정된 경우, 상기 어느 하나의 시도 영상에 상기 인식 시도자의 얼굴의 전체 영역이 촬영되었는지를 판정하는 단계; 상기 인식 시도자의 얼굴의 전체 영역이 촬영된 것으로 판정되면, 상기 인식 시도자에게 비밀 번호를 입력하도록 안내하고, 입력된 비밀 번호를 수신하는 단계; 상기 수신된 비밀 번호와 미리 설정된 비밀 번호를 비교하여, 서로 일치하는 경우, 상기 인식 시도자에 대한 얼굴 인식 처리를 성공으로 판정하는 단계를 더 포함한다.

상술한 바와 같은 본 발명에 따른 얼굴 인식 장치 및 얼굴 인식 방법에 의하면, 얼굴 인식을 시도하는 사용자가 안경을 착용하고 있거나 안경을 벗고 있는 모든 경우에 있어서도 정확한 얼굴 인식이 가능하게 된다.

또한, 상술한 얼굴 인식 장치 및 얼굴 인식 방법에 의하면, 인식 시도자의 얼굴을 촬영한 영상에 의한 얼굴 인식이 실패한 경우라도 번호 입력을 통한 인식 처리를 보완적으로 사용함으로써, 얼굴 인식 실패에 따른 인식 처리의 불편함을 줄일 수 있게 된다.

도 1은, 본 발명의 일 실시예에 따른 얼굴 인식 장치의 구성을 간략하게 나타낸 도면이다.
도 2는, 본 발명에 따른 얼굴 인식 장치에 있어서, 저장부에 저장되는 등록 영상의 구조를 설명하기 위한 도면이다.
도 3은, 본 발명의 일 실시예에 따른 얼굴 인식 방법에 있어서, 등록자를 등록하는 절차를 나타낸 흐름도이다.
도 4는, 본 발명의 일 실시예에 따른 얼굴 인식 방법에 있어서, 인식 시도자에 대응하는 등록자를 확인하여 얼굴 인식 처리를 행하는 절차를 나타낸 흐름도이다.
도 5는, 본 발명의 얼굴 인식 방법에 있어서, 인식 시도자에 대응하는 등록자를 선택하는 또다른 방법을 설명하기 위한 도면이다.
도 6은, 본 발명의 얼굴 인식 방법에 있어서, 인식 시도자에 대응하는 등록자를 확인하여 얼굴 인식 처리를 행하는 또다른 절차를 나타낸 흐름도이다.
도 7은, 본 발명의 얼굴 인식 방법에 있어서, 얼굴 인식 정확도를 향상시키기 위한 방법을 나타낸 도면이다.
도 8은, 본 발명의 얼굴 인식 방법에 있어서, 얼굴 인식과 더불어 번호 인식 절차에 의해 사용자를 인식하는 방법을 설명하는 도면이다.
도 9 및 도 10은, 본 발명의 얼굴 인식 방법에 있어서, 얼굴 인식의 과정을 설명하기 위한 도면이다.

이하, 첨부한 도면을 참조하여, 본 발명에 따른 얼굴 인식 장치 및 얼굴 인식 방법을 상세하게 설명한다.

도 1은, 본 발명의 일 실시예에 따른 얼굴 인식 장치의 구성을 간략하게 나타낸 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치(100)는, 영상 획득부(110)와, 안내부(120)와, 저장부(130)와, 얼굴 인식 처리부(140)를 포함하여 이루어진다.

영상 획득부는, 카메라를 포함하고 얼굴 인식을 위하여 카메라의 촬영 영역에 위치하는 인물의 얼굴을 촬영하여 얼굴 영상을 생성하여 출력한다.

안내부는, 입력되는 안내 메시지에 포함된 안내 영상 정보 또는 안내 음성 정보 등을 얼굴 인식을 시도하는 인물에 대하여 시각적 또는 청각적으로 출력함으로써 안내를 실시한다.

저장부는, 영상 획득부에서 촬영하여 획득한 하나 또는 다수의 얼굴 영상을 각 인물별로 구분하여 저장한다. 본 발명에서는, 하나의 인물(등록자 또는 등록자)에 대하여 복수의 얼굴 영상(등록 영상)을 저장하게 되며, 각 등록 영상은 또한, 안경을 착용한 상태를 촬영한 안경 착용 등록 영상과 안경을 벗은 상태를 촬영한 안경 미착용 등록 영상을 포함한다. 이러한 구성은 도 2를 참조하여 후술한다.

얼굴 인식 처리부는, 얼굴 인식 장치에 대하여 얼굴 인식을 시도하는 인물인 인식 시도자가 얼굴 인식을 개시하면, 영상 획득부를 제어하여 인식 시도자의 얼굴을 촬영하여 시도 영상을 획득하고, 획득된 시도 영상과 얼굴 인식 장치에 대하여 사전 등록된 등록자로부터 획득하여 저장하고 있는 모든 등록 영상을 비교함으로써 시도 영상에 촬영된 인식 시도자를 등록자 중에서 특정하고, 인식 시도자가 등록자 중에서 특정된 경우에 인식 시도자를 얼굴 인식이 성공한 것으로 처리한다.

얼굴 인식 처리부는, 얼굴 인식의 성공 또는 실패를 나타내는 인식 결과를 외부(예를 들면, 보안 통신 장치 또는 보안 관리자 등)로 출력하거나 저장부에 저장할 수 있다.

도 2는, 이와 같은 구성의 얼굴 인식 장치에 있어서, 저장부에 저장되는 등록 영상 세트의 구조에 대하여 설명한다. 본 발명의 일 실시예에 따른 얼굴 인식 장치는, 각각의 등록자마다 등록 영상 세트를 저장하게 되는데, 안경을 착용한 상태에서 등록자를 복수 회 촬영하여 m개의 안경 착용 등록 영상을 획득하고 안경을 벗도록 하는 안내 메시지를 따라 안경을 벗은 상태의 등록자를 복수 회 촬영하여 n개의 안경 미착용 등록 영상을 획득하고, 촬영에 의해 획득한 등록 영상들을 각 등록자마다 구분하여 저장한다. 이때, 각 영상을 촬영하는 횟수인 m 및 n은 임의로 설정될 수 있다. 복수의 등록자를 각각 구분하기 위해서는, 등록자마다 고유의 식별 정보가 부여되며, 등록 영상에는 각 식별 정보가 부가되는 것으로 한다.

도 3은, 본 발명의 일 실시예에 따른 얼굴 인식 방법에 있어서, 얼굴 인식 장치에 하나 또는 복수의 등록자의 등록 영상을 등록하는 절차를 나타낸 흐름도이다.

먼저, 정당한 관리자 등에 의해 얼굴 인식 장치가 조작되어 등록자를 등록하기 위한 절차가 실행되면, 얼굴 인식 장치는 카메라 앞에 위치한 인물을 등록자인 것으로 간주하고, 또한, 이 등록자가 안경을 착용하고 있는 것으로 간주하고, 등록자의 얼굴을 m회 촬영하여 m개의 안경 착용 등록 영상을 획득한다(S12, S13).

그리고 등록자에게 착용하고 있는 안경을 잠시 벗어줄 것을 시각적 또는 청각적으로 안내한 후(S15), 안경을 벗은 상태의 등록자의 얼굴을 n회 촬영하여 n개의 안경 미착용 등록 영상을 획득한다(S15, S16).

m개의 안경 착용 등록 영상 및 n개의 안경 미착용 등록 영상이 획득되면, 획득된 등록 영상들을 저장부에 저장하여 유지한다(S17). 이때, 각 등록자별로 고유하게 설정된 식별 정보를 입력받는 절차를 추가하고, 입력받은 식별 정보를 획득된 등록 영상들에 각각 부가하여 저장하는 것이 바람직하다.

얼굴 인식 장치에 등록하고자 하는 등록자가 복수 명인 경우에는, 상술한 단계(S12) 내지 단계(S17)를 반복 실시하여, 각각의 등록자별 등록 영상들을 획득하고 유지한다(S18).

한편, 상기 등록 절차를 실시할 때, 등록자를 촬영하기 전에 등록자에게 안경 착용 여부를 문의할 수도 있으며, 등록자의 입력에 의해 안경을 착용하고 있는 것으로 확인되면 상술한 바와 같은 과정을 실시하는 것으로 하고, 등록자가 안경을 착용하고 있지 않은 것으로 확인되면 단계(S12) 내지 단계(14)를 생략하고 안경을 착용하지 않은 상태에서 복수 회 촬영하여 복수 개의 안경 미착용 등록 영상을 획득하도록 할 수도 있다. 이때 m+n개의 안경 미착용 등록 영상을 획득하도록 할 수 있다.

도 4는, 본 발명의 일 실시예에 따른 얼굴 인식 방법에 있어서, 도 3에서와 같이 복수의 등록자 각각에 대한 등록 영상들이 유지된 상태에서, 인식 시도자에 대응하는 등록자의 존재 여부를 확인함으로써 얼굴 인식 처리를 행하는 절차를 나타낸 흐름도이다. 즉, 인식 시도자가 등록자 중 어느 하나와 동일 인물인 것으로 판정되면 인식 시도자를 인식 성공 처리하고, 인식 시도자와 일치하는 등록자가 없는 것으로 판정되면 인식 시도자를 인식 실패 처리하게 된다.

먼저, 인식 시도자가 카메라의 전방에 위치하여 얼굴 인식을 시도하면, 카메라가 구동하여 인식 시도자의 얼굴을 촬영하여 시도 영상을 획득한다(S22). 이때, 시도 영상은 1개의 영상인 것으로 한다.

시도 영상이 획득되면, 먼저, 획득된 시도 영상과 저장부에 저장된 모든 등록자의 모든 안경 착용 등록 영상들을 하나씩 비교하게 되고, 각각의 안경 착용 등록 영상들과 시도 영상과의 유사도 점수를 산출한다. 모든 안경 착용 등록 영상들에 대하여 유사도 점수가 산출되면, 산출된 유사도 점수가 높은 순서로 M1개의 안경 착용 등록 영상을 선별한다(S23).

이때, 유사도 점수를 산출하기 위한 비교 방법은, 상용화된 얼굴 인식 방법에서 널리 사용되고 있는 비교 알고리즘일 수 있으며, 이러한 방법에 대해서는 설명을 생략한다.

다음, M1개의 안경 착용 등록 영상이 선별되면, 선별된 안경 착용 등록 영상들 각각의 등록자를 식별한다. 그리고 식별된 하나 또는 복수의 등록자 중 가장 많이 나타난 등록자(Mn_person)를 확인한다(S24).

이어서 또는 단계(S23)와 동시에, 획득된 시도 영상과 저장부에 저장된 모든 등록자의 모든 안경 미착용 등록 영상들을 하나씩 비교하고, 각각의 안경 미착용 등록 영상들과 시도 영상과의 유사도 점수를 산출한다. 모든 안경 미착용 등록 영상들에 대하여 유사도 점수가 산출되면, 산출된 유사도 점수가 높은 순서로 N1개의 안경 미착용 등록 영상을 선별한다(S25).

N1개의 안경 미착용 등록 영상이 선별되면, 선별된 안경 미착용 등록 영상들 각각의 등록자를 식별한다. 그리고 식별된 하나 또는 복수의 등록자 중 가장 많이 나타난 등록자(Nn_person)를 확인한다(S26).

이러한 단계들에 의해, M1개의 선별된 안경 착용 등록 영상 중 가장 많이 나타난 등록자(Mn_person)와 N1개의 선별된 안경 미착용 등록 영상 중 가장 많이 나타난 등록자(Nn_person)가 각각 확인되면, Mn_person과 Nn_person이 동일 인물인지 비교하게 되고, 양자가 동일 인물로 확인되는 경우, 인식 시도자가 확인된 인물(즉, Mn_person 또는 Nn_person)인 것으로 간주하여 얼굴 인식이 성공한 것으로 판정하게 된다(S27).

Mn_person과 Nn_person이 동일 인물이 아닌 것으로 확인되면, 인식 시도자가 등록자 중 하나가 아닌 것으로 간주하여 인식 실패 처리한다.

한편, Mn_person 및/또는 Nn_person을 선택하기 위한 M1 및/또는 N1의 개수는 임의로 설정될 수 있는데, 예를 들면, 인식 시도자가 안경을 착용한 상태로 인식을 시도하고 있다면 M1의 개수를 N1보다 더 크게 설정할 수 있으며, 인식 시도자가 안경을 벗은 상태로 얼굴 인식을 시도하고자 한다면 N1의 개수를 M1보다 크게 설정할 수 있다. 이러한 설정에 의해, 인식 시도자가 안경을 착용한 상태에서 얼굴 인식을 시도하는 경우에는 등록 영상 중 안경을 착용한 상태에서 획득한 안경 착용 등록 영상에 의한 얼굴 인식 처리에 가중치를 줄 수 있게 되고, 인식 시도자가 안경을 벗고 얼굴 인식을 시도하거나 인식 시도자가 원래 안경을 쓰지 않는 사람인 경우에는 안경을 벗은 상태에서 획득한 등록 영상에 의한 얼굴 인식 처리에 가중치를 줄 수 있게 된다. 따라서, 인식 시도자의 안경 착용 여부에 대응하여 정확한 얼굴 인식 처리를 행할 수 있게 된다.

또한, M1개의 안경 착용 등록 영상을 선별할 때, 및/또는 N1개의 안경 미착용 등록 영상을 선별할 때에는, 시도 영상과 각 등록 영상과의 유사도 점수의 하한을 설정하는 것이 바람직하다. 즉, 유사도 점수가 임의의 하한(예를 들면, 80/100점(80%) 등의 값) 이상일 때 시도 영상과 해당 등록 영상의 인물이 동일한 것으로 간주하도록 함으로써, 일치의 정확도를 설정할 수 있도록 한다.

도 5는, 본 발명의 얼굴 인식 방법에 있어서, 인식 시도자에 대응하는 등록자를 선택하는 또다른 방법을 설명하기 위한 도면이다.

즉, 도 4의 절차에 있어서, 유사도 점수가 높은 순서로 선별된 M1개의 안경 착용 등록 영상 중 가장 많이 나타난 등록자(Mn_person)를 확인하여 선택하고 있지만(Nn_person의 경우는 설명을 생략함), M1개의 안경 착용 등록 영상 중 가장 많이 나타난 등록자가 두 명 이상일 수도 있는데, 이러한 경우에 Mn_person을 선정하는 방법을 설명한다.

먼저, 단계(S24)에서 선별된 M1개의 안경 착용 등록 영상 중 가장 많이 나타난 등록자를 확인했을 때, 두 명 이상의 등록자가 동일한 횟수로 나타난 경우(S242), 확인된 복수의 등록자마다의 산출된 유사도 점수를 검사하고, 유사도 점수가 가장 크게 나타난 등록자를 Mn_person으로 선택하고(S243), 선택된 Mn_person을 이용하여 이어지는 얼굴 인식 절차를 계속한다(S244).

이러한 절차에 의하면, 도 4에 도시된 얼굴 인식 절차에서 하나의 시도 영상에 대하여 일치하는 얼굴이 복수 명 나타나는 특수한 경우에 대해서도 원활한 처리가 가능하게 된다.

도 6은, 본 발명의 얼굴 인식 방법에 있어서, 도 4에 설명된 얼굴 인식 절차와 동시에 또는 개별적으로 사용될 수 있는, 인식 시도자에 대응하는 등록자를 확인하여 얼굴 인식 처리를 행하는 또다른 절차를 나타낸 흐름도이다.

먼저, 시도 영상을 획득한 후, 시도 영상과 모든 안경 착용 등록 영상을 비교하여 유사도 점수가 높은 순서로 M1개의 안경 착용 등록 영상을 선별하고, 선별된 M1개의 안경 착용 등록 영상 중 가장 많이 나타난 등록자(Mn_person)를 확인하고, Mn_person의 나타난 횟수(Mn)를 계수한다(S32).

Mn이 계수되면, 계수된 Mn이 미리 설정된 기준 개수 이상인지를 검토하게 되고(S33), 기준 개수 이상인 것으로 확인되면 이어지는 단계(S34)로 진행하고, Mn이 기준 개수 미만인 것으로 확인되면 인식 시도자와 안경을 착용하고 있는 등록자들 중에서는 일치하는 등록자가 없는 것으로 간주하여 얼굴 인식을 실패 처리하게 된다(S38).

한편, 단계(S34)에서는, 안경 미착용 등록 영상을 이용하여 시도 영상과 유사도 점수가 높은 등록자를 선택하게 된다. 즉, 시도 영상과 모든 안경 미착용 등록 영상을 비교하여 유사도 점수가 높은 순서로 N1개의 안경 미착용 등록 영상을 선별하고, 선별된 N1개의 안경 미착용 등록 영상 중 가장 많은 횟수로 나타난 등록자(Nn_person)를 확인하고, Nn_person의 나타난 횟수(Nn)를 계수한다.

그리고 계수된 Nn이 미리 설정된 기준 개수 이상인지의 여부를 검토하게 되고(S35), Nn이 기준 개수 이상이면 이어지는 단계(S36)로 진행하고, Nn이 기준 개수 미만이면 시도 영상에 촬영된 인식 시도자와 안경을 벗고 촬영된 등록자 중 일치하는 인물이 없는 것으로 간주하여 얼굴 인식을 실패 처리하게 된다(S38).

단계(S36)는, Mn과 Nn이 각각의 기준 개수 이상인 것으로 밝혀진 경우에 이루어지는 절차로서, Mn과 Nn을 합산한 값과 인식 기준 개수를 비교하게 되고, Mn과 Nn의 합이 인식 기준 개수보다 큰 경우에는 인식 시도자가 등록자 중 한 사람인 것으로 간주하여 얼굴 인식을 성공 처리하고, Mn과 Nn의 합이 인식 기준 개수보다 작은 경우에는 인식 시도자가 등록자 중에 포함되지 않는 것으로 간주하여 얼굴 인식을 실패 처리하게 된다.

한편, Mn과 비교되는 기준 개수와 Nn과 비교되는 기준 개수는 서로 동일한 수일 수도 있으며 각각 다른 수치로 설정될 수도 있다.

예를 들면, 인식 시도자가 안경을 착용한 상태로 인식을 시도하고 있다면 Mn과 비교되는 기준 개수를 더 크게 설정할 수 있으며, 인식 시도자가 안경을 벗은 상태로 얼굴 인식을 시도하고자 한다면 Nn과 비교되는 기준 개수를 Mn에 대한 기준 개수보다 크게 설정할 수 있는 것이다.

도 7은, 본 발명의 얼굴 인식 방법에 있어서, 얼굴 인식 정확도를 향상시키기 위한 방법을 나타낸 도면이다.

즉, 인식 시도자가 얼굴 인식을 실행하는 경우, 획득한 시도 영상을 분석하여 인식 시도자의 얼굴에서 안경 착용 여부를 검사하고(S42), 인식 시도자가 안경을 착용하고 있는 경우와 안경을 착용하고 있지 않은 경우마다에 대하여, M1 또는 N1의 개수를 크기를 조정하거나, Mn에 대해 적용되는 기준 개수 또는 N1에 대해 적용되는 기준 개수를 조정한다(S43).

이러한 개수 조정 방법에 의하면, 인식 시도자가 안경을 착용하고 있거나 안경을 벗고 있는 상태를 자동으로 감지하고, 각각의 경우에 대하여 이용되는 등록 영상의 개수를 변경함으로써, 더욱 정확도 높은 얼굴 인식 처리의 실행이 가능하게 된다.

도 8은, 본 발명의 얼굴 인식 방법에 있어서, 얼굴 인식과 더불어 등록자의 식별 정보, 예를 들면 비밀 번호 등에 의해 사용자를 인식하는 방법을 설명하는 도면이다. 번호 인식 절차는, 인식 시도자의 얼굴을 촬영한 시도 영상에 의한 얼굴 인식이 실패하였을 때 보완적으로 사용될 수 있다.

인식 시도자에 대한 얼굴 인식이 실패한 경우, 얼굴 인식 장치는 인식 시도자에게 번호 인식 절차를 실시할 것인지 안내할 수 있으며, 인식 시도자의 번호 입력에 의해 번호 인식 절차가 개시될 수 있다. 번호 인식 절차는 인식 시도자의 얼굴의 전체 영역이 정확하게 촬영된 경우에만 개시될 수 있도록 하는 것이 바람직하다. 이는, 인식 시도자에 대한 감시 및 추후 관리자의 육안에 의한 확인 등을 가능하게 하기 위함이다.

먼저, 얼굴 인식이 실패로 판정되면, 시도 영상에 인식 시도자의 얼굴의 전체 영역이 올바르게 촬영되었는지를 검사하고(S52), 얼굴 전체가 촬영된 경우 안내부 등을 통해 비밀 번호를 입력할 것을 안내하고(S53), 인식 시도자에 의해 입력된 비밀 번호와 미리 저장되어 있던 비밀 번호를 비교하고(S54), 양자가 서로 동일한 경우에 인식 시도자에 대하여 인식 성공 처리하도록 한다(S55).

이러한 절차에 의하면, 인식 시도자의 일시적인 얼굴 형태의 변형, 액세서리 착용, 주변 조명의 변경, 카메라 상태의 열화 등에 정확한 얼굴 인식이 행해지지 못한 경우에도, 보완적인 방법으로 인식 시도자를 인식 처리할 수 있게 된다.

다음, 도 9 및 도 10은, 본 발명의 얼굴 인식 방법에 있어서, 얼굴 인식의 과정을 안경 착용 등록 영상과 안경 미착용 등록 영상을 직접 예로 들어 설명하기 위한 것이다.

먼저, 도 9는, 안경을 착용하고 있는 인식 시도자로부터 한 개의 시도 영상을 획득하고, 획득된 시도 영상과 안경 착용 등록 영상을 비교하여 유사도 점수가 기준 점수(예를 들면, 80점)를 넘는 것 중에서 높은 점수의 순서로 4개(M1=4)의 안경 착용 등록 영상을 선별하고, 시도 영상과 안경 미착용 등록 영상을 비교하여 유사도 점수가 기준 점수(예를 들면, 70점)를 넘는 것 중에서 높은 순서로 3개(N1=3)의 안경 미착용 등록 영상을 선별한 것을 보여주고 있다.

각 도면에서 등록자의 얼굴 영상의 하단에는, 각 등록자의 식별 정보와 시도 영상과의 유사도 점수가 표시되어 있다.

도 9 및 도 10의 예에서는, 인식 시도자가 안경을 착용하고 있으므로, 선별되는 안경 착용 등록 영상의 개수(M1)를 선별되는 안경 미착용 등록 영상의 개수(N1)보다 크게 설정하고 있는 것을 확인할 수 있다.

한편, 위와 같이 4개의 안경 착용 등록 영상이 선별되면, 선별된 각각의 안경 착용 등록 영상의 등록자를 확인한다. 이때, 등록자A가 3번 나타나고 등록자B가 1번 나타난 것으로 확인되므로, Mn_person은 등록자A가 된다.

또한, 3개의 안경 미착용 등록 영상이 선별되면, 선별된 각각의 안경 착용 등록 영상의 등록자를 확인하게 되는데, 등록자A가 2번 나타나고 등록자B가 1번 나타났으므로, Nn_person은 등록자A가 된다.

이러한 경우, Mn_person과 Nn_person이 등록자A로 동일인물이므로, 촬영된 시도 영상의 인식 시도자는 등록자A인 것으로 간주하여 얼굴 인식 처리가 성공으로 판정되게 되는 것이다.

도 10은, 4개의 안경 착용 등록 영상이 선별되고, 선별된 안경 착용 등록 영상 중 등록자A가 2번 나타나고 등록자B도 2번 나타난 경우를 보여주고 있다. 이러한 경우에는 단순히 가장 많이 나타난 등록자를 Mn_person으로 선택할 수 없기 때문에, 각 등록 영상의 유사도 점수를 검사하게 된다. 그리고 첫번째 영상에서 유사도 점수가 98점으로 최대이므로, 안경 착용 등록 영상으로부터 선택되는 Mn_person은 등록자A가 된다.

상술한 바와 같은 얼굴 인식 장치 및 얼굴 인식 방법에 의하면, 얼굴 인식을 시도하는 사용자가 안경을 착용하고 있거나 안경을 벗고 있는 모든 경우에 있어서도 정확한 얼굴 인식이 가능하게 된다.

또한, 상술한 얼굴 인식 장치 및 얼굴 인식 방법에 의하면, 인식 시도자의 얼굴을 촬영한 영상에 의한 얼굴 인식이 실패한 경우라도 번호 입력을 통한 인식 처리를 보완적으로 사용함으로써, 일시적인 또는 장기적인 변화(예를 들면, 인식 시도자의 일시적인 얼굴 형태의 변형, 액세서리 착용, 주변 조명의 변경, 카메라 상태의 열화 등)에 의한 얼굴 인식 실패에 따른 불편함을 줄일 수 있게 된다.

100 : 얼굴 인식 장치
110 : 영상 획득부
120 : 안내부
130 : 저장부
140 : 얼굴 인식 처리부

Claims

얼굴 인식 장치로서,
접근한 인물의 얼굴을 촬영하는 영상 획득부;
상기 접근한 인물을 향하여 소정의 안내 메시지를 시각적으로 또는 청각적으로 출력하는 안내부;
인식 완료된 등록자를 촬영하여 획득한 등록 영상을 저장하는 저장부;
상기 등록자에 대하여 안경을 착용한 얼굴을 m회 촬영하여 획득한 m개의 안경 착용 등록 영상 및 상기 등록자에 대하여 안경을 벗도록 안내한 후 안경을 벗은 얼굴을 n회 촬영하여 획득한 n개의 안경 미착용 등록 영상을 상기 등록자의 식별 정보와 함께 등록 영상으로서 저장하도록 제어하고, 얼굴 인식을 시도하는 인식 시도자를 촬영하여 하나 또는 복수의 시도 영상을 생성하고, 상기 하나 또는 복수의 시도 영상 중 어느 하나의 시도 영상과 상기 저장하고 있는 모든 상기 안경 착용 등록 영상과의 유사도 점수가 높은 순서로 M1개의 안경 착용 등록 영상을 선별하고, 상기 선별된 M1개의 안경 착용 등록 영상 각각의 식별 정보를 확인하여 가장 많은 횟수로 나타난 등록자(Mn_person)를 확인하고, 또한, 상기 어느 하나의 시도 영상과 상기 저장하고 있는 모든 상기 안경 미착용 등록 영상과의 유사도 점수가 높은 순서로 N1개의 안경 미착용 등록 영상을 선별하고, 상기 선별된 N1개의 안경 미착용 등록 영상 각각의 식별 정보를 확인하여 가장 많은 횟수로 나타난 등록자(Nn_person)를 확인하고, 상기 Mn_person과 상기 Nn_person이 동일인물인 경우에 상기 인식 시도자를 상기 Mn_person인 것으로 특정하여 얼굴 인식 처리를 성공으로 판정하는 얼굴 인식 처리부를 포함하는 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치.
제1항에 있어서,
상기 얼굴 인식 처리부는,
상기 선별된 M1개의 안경 착용 등록 영상 중 가장 많은 횟수로 나타난 등록자가 복수로 확인되는 경우, 상기 확인된 복수의 등록자 중 상기 유사도 점수가 가장 높게 산출된 등록자를 Mn_person으로 선택하여 얼굴 인식 처리를 행하는 것을 특징으로 하는 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치.
제1항 또는 제2항에 있어서,
상기 얼굴 인식 처리부는,
상기 선별된 M1개의 안경 착용 등록 영상 중 Mn_person의 나타난 횟수(Mn)를 계수하고, 상기 선별된 N1개의 안경 미착용 등록 영상 중 Nn_person의 나타난 횟수(Nn)를 계수하고, 상기 Mn과 상기 Nn의 합이 인식 기준 개수 이상인 경우에 상기 인식 시도자의 얼굴 인식 처리를 성공으로 판정하는 것을 특징으로 하는 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치.
제3항에 있어서,
상기 얼굴 인식 처리부는,
상기 Mn 및 상기 Nn 중 적어도 하나가 미리 설정된 기준 개수 이상인 경우에 얼굴 인식 처리를 실행하는 것을 특징으로 하는 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치.
제1항에 있어서,
상기 얼굴 인식 처리부는,
상기 Mn_person과 상기 Nn_person이 동일인물이 아닌 경우, 상기 어느 하나의 시도 영상에 상기 인식 시도자의 얼굴의 전체 영역이 촬영되었는지를 판정하고, 상기 인식 시도자의 얼굴의 전체 영역이 촬영된 것으로 판정되었다면, 상기 인식 시도자에게 비밀 번호를 입력하도록 안내하고, 입력된 비밀 번호와 미리 설정된 비밀 번호를 비교하고, 서로 일치하는 경우 상기 인식 시도자에 대한 얼굴 인식 처리를 성공으로 판정하는 것을 특징으로 하는 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치.
제1항에 있어서,
상기 M1과 상기 N1은 동일한 개수로 설정되는 것을 특징으로 하는 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치.
얼굴 인식 장치에 의한 얼굴 인식 방법에 있어서,
안경을 착용한 등록자의 얼굴을 m회 촬영하여 m개의 안경 착용 등록 영상을 획득하는 단계;
상기 등록자에게 안경을 벗도록 안내한 후, 안경을 벗은 상기 등록자를 n회 촬영하여 n개의 안경 미착용 등록 영상을 획득하는 단계;
획득한 m개의 상기 안경 착용 등록 영상 및 n개의 상기 안경 미착용 등록 영상을 상기 등록자의 식별 정보와 함께 등록 영상으로서 저장하는 단계;
복수의 상기 등록자에 대하여 상기 등록 영상을 획득하여 저장하는 단계;
접근한 상기 인식 시도자의 얼굴을 촬영하여 하나 또는 복수의 시도 영상을 생성하는 단계;
상기 하나 또는 복수의 시도 영상 중 어느 하나의 시도 영상과 저장하고 있는 상기 복수의 등록자에 대한 모든 상기 안경 착용 등록 영상과의 유사도 점수가 높은 순서로 M1개의 안경 착용 등록 영상을 선별하는 단계;
상기 선별된 M1개의 안경 착용 등록 영상 각각의 상기 식별 정보를 확인하여, 가장 많은 횟수로 나타난 등록자(Mn_person)를 확인하는 단계;
상기 어느 하나의 시도 영상과 저장하고 있는 상기 복수의 등록자에 대한 모든 상기 안경 미착용 등록 영상과의 유사도 점수가 높은 순서로 N1개의 안경 미착용 등록 영상을 선별하는 단계;
상기 선별된 N1개의 안경 미착용 등록 영상 각각의 상기 식별 정보를 확인하여, 가장 많은 횟수로 나타난 등록자(Nn_person)를 확인하는 단계;
상기 Mn_person과 상기 Nn_person이 동일인물인 경우에 상기 인식 시도자를 상기 Mn_person인 것으로 특정하여 얼굴 인식 처리를 성공으로 판정하는 단계를 포함하는 안경 착용자에 대한 얼굴 오인식 최소화 방법.
제7항에 있어서,
상기 선별된 M1개의 안경 착용 등록 영상 중 가장 많은 횟수로 나타난 등록자가 복수로 확인되는 경우, 상기 확인된 복수의 등록자 중 상기 유사도 점수가 가장 높게 산출된 등록자를 Mn_person으로 선택하여 얼굴 인식 처리를 실행하는 것을 특징으로 하는 안경 착용자에 대한 얼굴 오인식 최소화 방법.
제7항 또는 제8항에 있어서,
상기 선별된 M1개의 안경 착용 등록 영상 중 상기 Mn_person이 나타난 횟수(Mn)를 계수하는 단계;
상기 선별된 N1개의 안경 미착용 등록 영상 중 상기 Nn_person이 나타난 횟수(Nn)를 계수하는 단계;
상기 Mn과 상기 Nn의 합이 인식 기준 개수 이상인 경우에 상기 인식 시도자의 얼굴 인식 처리를 성공으로 판정하는 단계를 더 포함하는 것을 특징으로 하는 안경 착용자에 대한 얼굴 오인식 최소화 방법.
제9항에 있어서,
상기 Mn 및 상기 Nn에 대하여 개별적으로 설정될 수 있는 기준 개수가 설정되고, 상기 Mn 또는 상기 Nn이 상기 각각의 기준 개수 이상인 경우에 얼굴 인식 처리를 실행하는 것을 특징으로 하는 안경 착용자에 대한 얼굴 오인식 최소화 방법.
제10항에 있어서,
상기 인식 시도자에 대한 상기 어느 하나의 시도 영상을 분석하여 안경 착용 여부를 판단하는 단계를 더 포함하고,
상기 인식 시도자가 안경을 착용한 것으로 판정된 경우에는 상기 M1에 대한 기준 개수를 상기 N1에 대한 기준 개수보다 크게 설정하고, 상기 인식 시도자가 안경을 착용하지 않은 것으로 판정된 경우에는 상기 M1에 대한 기준 개수를 상기 N1에 대한 기준 개수보다 작게 설정하는 것을 특징으로 하는 안경 착용자에 대한 얼굴 오인식 최소화 방법.
제7항에 있어서,
상기 Mn_person과 상기 Nn_person이 동일인물이 아닌 것으로 판정된 경우, 상기 어느 하나의 시도 영상에 상기 인식 시도자의 얼굴의 전체 영역이 촬영되었는지를 판정하는 단계;
상기 인식 시도자의 얼굴의 전체 영역이 촬영된 것으로 판정되면, 상기 인식 시도자에게 비밀 번호를 입력하도록 안내하고, 입력된 비밀 번호를 수신하는 단계;
상기 수신된 비밀 번호와 미리 설정된 비밀 번호를 비교하여, 서로 일치하는 경우, 상기 인식 시도자에 대한 얼굴 인식 처리를 성공으로 판정하는 단계를 더 포함하는 것을 특징으로 하는 안경 착용자에 대한 얼굴 오인식 최소화 방법.