KR102665968B1 - 블러 추정 방법 및 장치 - Google Patents

Abstract

블러 추정 방법 및 장치가 개시된다. 블러 추정 방법은 입력 영상을 타겟 영상으로 리사이징하고 리사이징된 타겟 영상의 블러를 측정하고, 측정된 타겟 영상의 블러와 입력 영상의 크기 정보에 기초하여 입력 영상의 블러를 추정할 수 있다.

Description

블러 추정 방법 및 장치{METHOD AND APPARATUS FOR BLUR ESTIMATION}

아래의 설명들은 블러 추정 기술에 관한 것이다.

사용자 인증 시스템(user verification system)에서 컴퓨팅 장치는 사용자에 의해 제공되는 인증 정보에 기초하여 해당 컴퓨팅 장치에 대한 액세스를 허용할지 여부를 결정할 수 있다. 인증 정보는 사용자에 의해 입력되는 패스워드 또는 사용자의 생체 정보(biometric information) 등을 포함할 수 있다. 사용자 인증 시스템을 위한 보안 방법으로서, 입력 영상에 대한 블러 추정을 통해 라이브니스 검사를 수행하는 기술의 연구가 증가하고 있다.

일 실시예에 따르면, 입력 영상의 크기 정보를 획득하는 단계; 상기 입력 영상을 미리 설정된 크기의 타겟 영상으로 리사이징하는 단계; 상기 리사이징된 타겟 영상의 블러를 측정하는 단계; 및 상기 입력 영상의 상기 크기 정보에 기초하여, 상기 입력 영상의 블러(Blur)를 추정하는 단계를 포함하는, 블러 추정 방법일 수 있다.

상기 입력 영상의 크기 정보를 획득하는 단계는, 상기 입력 영상에서 관심 영역(Region of Interest, ROI)의 크기 정보를 획득하는 단계인, 블러 추정 방법일 수 있다.

상기 입력 영상의 블러(Blur)를 추정하는 단계는, 상기 입력 영상의 상기 크기 정보와 상기 타겟 영상의 크기 정보의 비율에 기초하여, 상기 입력 영상의 상기 블러를 보정하는 단계를 포함하는, 블러 추정 방법일 수 있다.

상기 입력 영상과 상기 타겟 영상의 크기 정보는, 넓이, 높이, 폭을 포함하는, 블러 추정 방법일 수 있다.

상기 추정된 입력 영상의 상기 블러와 임계치(Threshold) 간의 비교 결과에 기초하여, 상기 입력 영상에 대한 라이브니스 검사하는 단계를 포함하는, 블러 추정 방법일 수 있다.

상기 임계치(Threshold)는, 상기 입력 영상의 상기 크기 정보에 기초하여 적응적(adaptive)으로 변화하는, 블러 추정 방법일 수 있다.

상기 입력 영상의 크기 정보에 기초하여 추정된 상기 입력 영상의 블러가 상기 임계치 이상인 경우 상기 입력 영상에 대한 상기 라이브니스 검사가 인증 실패하거나, 또는 상기 입력 영상의 크기 정보에 기초하여 추정된 상기 입력 영상의 블러가 상기 임계치 미만인 경우 상기 입력 영상에 대한 상기 라이브니스 검사가 인증 성공하는, 블러 추정 방법일 수 있다.

상기 입력 영상의 블러(Blur)를 추정하는 단계는, 상기 입력 영상의 상기 크기 정보와 상기 타겟 영상의 결정된 상기 블러를 조합하여, 상기 입력 영상의 상기 블러를 보정하는 단계를 포함하는, 블러 추정 방법일 수 있다.

상기 입력 영상의 블러(Blur)를 추정하는 단계는, 뉴럴 네트워크 기반의 블러 추정 모델을 이용하여 상기 입력 영상에 대한 상기 블러를 추정하는 단계를 포함하는, 블러 추정 방법일 수 있다.

일 실시예에 따르면, 어느 하나의 항의 방법을 실행하기 위한 인스트럭션들을 저장하는 컴퓨터 판독 가능한 저장 매체일 수 있다.

일 실시예에 따르면, 프로세서 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는, 입력 영상의 크기 정보를 획득하고, 상기 입력 영상을 미리 설정된 크기의 타겟 영상으로 리사이징하고, 상기 리사이징된 타겟 영상의 블러를 측정하고, 상기 입력 영상의 상기 크기 정보에 기초하여, 상기 입력 영상의 블러(Blur)를 추정하는, 블러 추정 장치일 수 있다.

상기 프로세서는, 상기 입력 영상의 크기 정보를 획득할 때, 상기 입력 영상에서 관심 영역(Region of Interest, ROI)의 크기 정보를 획득하는, 블러 추정 장치일 수 있다.

상기 프로세서는, 상기 입력 영상의 블러(Blur)를 추정할 때, 상기 입력 영상의 상기 크기 정보와 상기 타겟 영상의 크기 정보의 비율에 기초하여 상기 입력 영상의 상기 블러를 보정하는, 블러 추정 장치일 수 있다.

상기 입력 영상과 상기 타겟 영상의 크기 정보는, 넓이, 높이, 폭을 포함하는, 블러 추정 장치일 수 있다.

상기 프로세서는, 상기 추정된 입력 영상의 상기 블러와 임계치(Threshold) 간의 비교 결과에 기초하여, 상기 입력 영상에 대한 라이브니스 검사하는, 블러 추정 장치일 수 있다.

상기 임계치(Threshold)는, 상기 입력 영상의 상기 크기 정보에 기초하여 적응적(adaptive)으로 변화하는, 블러 추정 장치일 수 있다.

상기 입력 영상의 크기 정보에 기초하여 추정된 상기 입력 영상의 블러가 상기 임계치 이상인 경우 상기 입력 영상에 대한 상기 라이브니스 검사가 인증 실패하거나, 또는 상기 입력 영상의 크기 정보에 기초하여 추정된 상기 입력 영상의 블러가 상기 임계치 미만인 경우 상기 입력 영상에 대한 상기 라이브니스 검사가 인증 성공하는, 블러 추정 장치일 수 있다.

상기 프로세서는, 상기 입력 영상의 블러(Blur)를 추정할 때, 상기 입력 영상의 상기 크기 정보와 상기 타겟 영상의 결정된 상기 블러를 조합하여, 상기 입력 영상의 상기 블러를 보정하는, 블러 추정 장치일 수 있다.

상기 프로세서는, 상기 입력 영상의 블러(Blur)를 추정할 때, 뉴럴 네트워크 기반의 블러 추정 모델을 이용하여 상기 입력 영상에 대한 상기 블러를 추정하는, 블러 추정 장치일 수 있다.

도 1 및 도2 는 일 실시예에 따른, 블러 추정을 통한 라이브니스 검사를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른, 블러 추정 방법의 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른, 입력 영상에 대한 리사이징에 따른 블러의 변화를 나타낸 도면이다.
도 5는 일 실시예에 다른, 고정된 임계치와 적응적으로 변화하는 임계치를 나타낸 도면이다.
도 6은 일 실시예에 따른, 블러 추정 장치의 구성을 도시한 도면이다.
도 7은 일 실시예에 따른 컴퓨팅 장치의 구성을 도시하는 도면이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1 및 도2 는 일 실시예에 따른, 블러 추정을 통한 라이브니스 검사를 설명하기 위한 도면이다.

라이브니스 검사는 검사 대상(test subject)인 객체가 살아있는 객체인지 여부를 검사하는 것으로, 예를 들어 카메라에 의해 촬영된 영상에 나타난 얼굴이 사람의 실제 얼굴(true face)인지 아니면 거짓 얼굴(fake face)인지 여부를 검사하는 것이다. 일실시예에 따르면, 라이브니스 검사는 사용자 로그인, 결제 서비스 또는 출입 통제 등에서 수행되는 사용자 인증(user verification)과 관련하여 인증 대상(검사 대상과 동일)의 라이브니스 여부를 검사하는데 이용될 수 있다. 라이브니스 검사는, 예를 들어 사용자 인증 시스템에서 살아있지 않은 객체(예를 들어, 위조 수단으로서 사용된 사진, 종이, 영상 및 모형 등)와 살아있는 객체(예를 들어, 살아있는 사람 등) 사이를 구별하는데 이용된다.

유효하지 않은 사용자는 위조 기술(spoofing techniques)을 이용하여 사용자 인증 시스템의 오인증(false acceptance)을 유발하기 위한 시도를 수행할 수 있다. 예를 들어, 얼굴 인증에서, 유효하지 않은 사용자는 오인증을 유발하기 위해 유효한 사용자의 얼굴이 나타난 컬러 사진, 동영상 또는 유효한 사용자의 얼굴 형상을 묘사한 모형을 카메라에 제시할 수 있다. 라이브니스 검사는 이러한 사진, 동영상, 마스크 또는 모형과 같은 대체물을 이용한 인증 시도(다시 말해, 스푸핑 공격)를 걸러내어 오인증을 방지하는 역할을 한다. 라이브니스 검사 결과, 인증 대상이 살아있지 않은 객체로 결정된 경우, 사용자 인증 단계로 넘어가지 않거나 또는 사용자 인증의 결과와 관계 없이 최종적으로 사용자 인증이 실패한 것으로 결정될 수 있다.

도 2에는 일실시예에 따라 거짓 얼굴(210)과 실제 얼굴(220)의 예시가 도시된다. 라이브니스 검사를 수행하는 장치인 라이브니스 검사 장치는 실제 사용자 얼굴이 촬영된 검사 대상 영상에서 실제 얼굴(220)을 식별하고, 스마트폰 스크린이나 PC 스크린에 디스플레이된 사용자 얼굴, 사진에 나타난 사용자 얼굴 또는 종이에 프린팅된 사용자 얼굴 등이 촬영된 검사 대상 영상에서 거짓 얼굴(210)을 구분할 수 있다. 여기서, 라이브니스 검사 장치는 입력 영상에 대한 블러 추정을 수행하는 블러 추정 장치를 포함할 수 있다.

이때, 스마트폰과 같은 사용자 단말은 초점 거리가 고정되어 있기 때문에 입력 영상에 대해 블러(Blur)가 추정될 수 있고, 추정된 블러의 잘못된 적용으로 인해 입력 영상에 포함된 얼굴이 실제 얼굴로 판단하거나 또는 입력 영상에 포함된 얼굴이 거짓 얼굴로 판단될 수 있다. 이와 같이, 입력 영상에 대한 블러에 기초하여 라이브니스 검사가 수행될 수 있다.

예를 들면, 사진, 동영상과 같은 거짓 얼굴이 초점 거리가 고정되어 있는 스마트폰과 같은 사용자 단말에서 촬영된 경우 촬영된 영상에 대해 추정된 블러의 잘못된 적용으로 인해 실제 얼굴로 인식될 수 있거나, 또는 실제 얼굴이 사용자 단말에서 촬영된 경우 촬영된 영상에 대해 추정된 블러의 잘못된 적용으로 인해 거짓 얼굴로 인식될 수 있다.

도 1에서, 블러 추정 장치는 컴퓨팅 장치(120)에 포함되어 동작할 수 있다. 컴퓨팅 장치(120)는 예를 들어, 스마트폰, 웨어러블 기기(wearable device), 태블릿 컴퓨터, 넷북, 랩탑, 데스크탑, PDA(personal digital assistant), 셋탑 박스, 가전 기기, 생체 도어락, 보안 장치 또는 차량 시동 장치 등일 수 있다.

일실시예에 따르면, 사용자는 얼굴 인증을 통해 컴퓨팅 장치(120)에 대한 사용자 인증을 시도할 수 있다. 예를 들어, 사용자(110)가 컴퓨팅 장치(120)의 잠금 상태를 해제하고자 컴퓨팅 장치(120)에 얼굴 인증을 시도하는 경우, 컴퓨팅 장치(120)는 카메라(130)를 이용하여 사용자(110)의 얼굴 영상을 획득하고, 획득된 얼굴 영상을 분석하여 컴퓨팅 장치(120)의 잠금 상태를 해제할지 여부를 결정할 수 있다. 사용자 인증이 성공한 경우, 컴퓨팅 장치(120)는 잠금 상태를 해제하고, 사용자(110)의 액세스를 허용할 수 있다. 이와 반대로, 사용자 인증이 실패한 경우, 컴퓨팅 장치(120)는 계속적으로 잠금 상태로 동작할 수 있다.

또는, 다른 예로, 사용자(110)가 컴퓨팅 장치(120)를 결제 서비스를 수행하고자 컴퓨팅 장치(120)에 얼굴 인증을 수행하는 경우, 컴퓨팅 장치(120)는 사용자(110)의 얼굴 영상을 획득하고, 얼굴 영상의 분석 결과 정당한 사용자로 인식된 경우 결제 요청을 승인하고, 그 외의 경우에는 결제 요청을 거부할 수 있다.

일실시예에서, 위와 같은 사용자 인증 과정에서, 사용자 인증 결과가 결정되기 이전 또는 이후에 블러 추정 장치에 의해 블러 추정될 수 있고, 블러 추정 결과에 기초하여 라이브니스 검사 장치는 사용자 인증의 객체가 살아있는 객체인지 여부를 결정하는 라이브니스 검사를 수행할 수 있다. 라이브니스 검사 결과 인증 대상이 살아있는 객체인 것으로 결정되고, 인증 결과 정당한 사용자로 인식된 경우, 컴퓨팅 장치(120)는 잠금 상태를 해제하거나 또는 결제 요청을 승인할 수 있다. 이와 반대로, 인증 대상이 살아있지 않은 객체인 것으로 결정되거나, 또는 정당한 사용자로 인식되지 않은 경우, 컴퓨팅 장치(120)는 계속적으로 잠금 상태로 동작하거나 또는 결제 요청을 거부할 수 있다. 즉, 사용자 인증 과정이 라이브니스 검사 과정보다 먼저 수행되는 경우에서 사용자 인증의 결과가 성공이더라도 라이브니스 검사 결과가 실패한 것으로 결정(즉, 인증 대상이 살아있지 않은 객체로 결정)되면, 사용자 인증의 최종 결과가 실패한 것으로 결정될 수 있다.

라이브니스 검사 장치는 라이브니스 검사를 수행할 때에 뉴럴 네트워크(neural network) 기반의 라이브니스 검사 모델을 이용한다. 라이브니스 검사 모델은, 예를 들어 입력된 데이터에 기반하여 검사 대상이 실제 얼굴 또는 거짓 얼굴에 해당할 확률을 나타내는 스코어 정보를 제공할 수 있다. 일 실시예에서, 라이브니스 검사 장치는 라이브니스 검사 모델로부터 획득한 스코어가 임계 값보다 크면 검사 대상을 실제 얼굴로 결정하고, 이와 다르게 해당 스코어가 임계 값 이하이면 검사 대상을 거짓 얼굴로 결정할 수 있다.

도 3은 일 실시예에 따른, 블러 추정 방법의 동작을 설명하기 위한 도면이다. 블러 추정 장치는 블러 추정 방법을 수행할 수 있고, 블러 추정 장치는 라이브니스 검사 장치에 포함될 수 있다.

블러 추정 장치는 입력 영상(310)을 식별할 수 있다. 입력 영상은 블러 추정이 필요한 영상으로, 디지털 카메라, 비디오 카메라와 같은 영상 획득 장치에 의해 획득될 수 있다. 여기서, 영상 획득 장치는 블러 추정 장치 내부에 포함되거나 또는 블러 추정 장치 외부에 별도로 존재할 수 있다.

블러 추정 장치는 식별된 입력 영상(310)에서 관심 영역(Region of Interest, ROI)을 검출(320)할 수 있다. 여기서, 관심 영역의 일례로서 얼굴 영역을 포함할 수 있다. 블러 추정 장치는 뉴럴 네트워크, Haar 기반의 캐스케이드 에이다부스트 분류기(Haar-based cascade adaboost classifier), 또는 Viola-Jones 검출기 등을 이용하여 입력 영상으로부터 얼굴 영역을 검출할 수 있다. 다만, 실시예의 범위가 이에 한정되는 것은 아니고, 블러 추정 장치는 다양한 얼굴 영역 검출 기법을 이용하여 입력 영상에서 얼굴 영역을 검출할 수 있다. 예를 들어, 블러 추정 장치는 입력 영상에서 얼굴의 랜드마크들(facial landmarks)을 검출하고, 검출된 랜드마크들을 포함하는 바운딩(bounding) 영역을 얼굴 영역으로서 검출할 수도 있다.

블러 추정 장치는 입력 영상으로부터 검출된 얼굴 영역에 대응하는 크기 정보를 획득할 수 있다. 구체적으로, 블러 추정 장치는 입력 영상으로부터 얼굴 영역을 검출할 수 있고, 검출된 얼굴 영역의 크기 정보를 획득할 수 있다.

블러 추정 장치는 검출된 얼굴 영역을 리사이징(330)할 수 있다. 구체적으로, 블러 추정 장치는 검출된 얼굴 영역을 미리 설정된 크기의 타겟 영상으로 리사이징할 수 있다. 여기서, 미리 설정된 크기는 블러 추정 장치가 포함되는 컴퓨팅 장치의 성능에 따라 사전에 결정될 수 있다. 예를 들면, 블러 추정 장치는 입력 영상으로부터 검출된 얼굴 영역의 크기가 640*480인 경우, 얼굴 영역의 크기가 사전에 설정된 128*128로 리사이징된 타겟 영상을 생성할 수 있다. 이때, 크기는 해상도(resolution)을 나타낼 수 있다.

블러 추정 장치는 리사이징된 타겟 영상의 블러를 측정(340)할 수 있다. 이때, 측정된 타겟 영상의 블러는 입력 영상의 블러와 상이할 수 있다. 예를 들면, 획득된 입력 영상의 블러가 A이고, 입력 영상으로부터 리사이징된 타겟 영상의 블러는 A와 상이한 B일 수 있다. 즉, 입력 영상과 타겟 영상의 크기 차이로 인해, 입력 영상과 타겟 영상의 블러는 상이할 수 있다.

블러 추정 장치는 입력 영상의 크기 정보와 타겟 영상의 측정된 블러(Blur)에 기초하여, 입력 영상의 블러(Blur)를 추정(350)할 수 있다. 이때, 입력 영상의 크기 정보는 관심 영역의 크기 정보를 나타낼 수 있다. 예를 들면, 입력 영상으로부터 관심 영역인 얼굴 영역이 검출된 경우, 검출된 얼굴 영역의 크기 정보와 타겟 영상의 측정된 블러에 기초하여, 입력 영상의 블러가 추정될 수 있다. 입력 영상의 추정된 블러는 아래의 수학식 1을 만족할 수 있다.

수학식 1에서, 은 타겟 영상의 측정된 블러(340)을 나타내고, 는 입력 영상으로부터 검출된 관심 영역의 크기를 나타내고, 는 입력 영상의 추정된 블러(350)를 나타낸다.

구체적으로, 블러 추정 장치는 입력 영상으로부터 검출된 관심 영역의 크기 정보와 타겟 영상의 크기 정보의 비율에 기초하여, 입력 영상의 블러를 추정할 수 있다. 예를 들어, 리사이징에 따라 타겟 영상의 블러는 입력 영상의 블러와 상이하므로, 타겟 영상의 크기와 관심 영역의 크기의 비율에 기초하여 입력 영상의 블러가 추정될 수 있다. 이때, 크기 정보는 관심 영역과 타겟 영상의 넓이, 높이, 폭등을 포함할 수 있으며, 이에 한정되지 않는다.

블러 추정 장치는 뉴럴 네트워크 기반의 블러 추정 모델을 이용할 수 있다. 블러 추정 모델은, 예를 들어 깊은 컨볼루션 뉴럴 네트워크(Deep Convolutional Neural Network, DCNN) 모델에 기초할 수 있다. DCNN 모델은 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하고, 각 레이어에 의해 수행되는 연산 과정을 통해 블러 추정 모델에 입력되는 정보로부터 블러의 추정을 위한 정보를 제공할 수 있다. 위 DCNN 모델은 일 실시예에 불과하며, 라이브니스 검사 모델은 DCNN 모델 이외의 다른 구조의 뉴럴 네트워크 모델에 기초할 수도 있다.

블러 추정 장치는 추정된 입력 영상의 블러(350)과 임계치(Threshold)를 비교(360)하고, 라이브니스 검사 장치는 비교 결과(360)을 이용하여 입력 영상에 대해 라이브니스 검사를 수행할 수 있다. 구체적으로, 추정된 입력 영상의 블러가 임계치 이상인 경우 라이브니스 검사가 인증 실패할 수 있다. 또는 추정된 입력 영상의 블러가 임계치 미만인 경우 라이브니스 검사가 인증 성공할 수 있다.

이때, 임계치(Threshold)는 적응적으로 변화할 수 있다. 즉, 임계치는 고정되지 않고, 적응적으로 변화할 수 있다. 예를 들면, 입력 영상으로부터 검출된 관심 영역의 크기 정보와 타겟 영상의 크기 정보의 비율에 기초하여, 임계치는 고정된 값이 아니라 적응적으로 변화하는 값일 수 있다.

일 실시예에 따르면, 입력 영상의 크기가 클 경우 블러 추정에 있어 메모리 및 속도 저하 문제가 발생될 수 있다. 따라서, 입력 영상을 타겟 영상으로 리사이징하고 리사이징된 타겟 영상의 블러를 추정하고, 추정된 블러를 입력 영상의 크기 정보에 기초하여 보정할 경우 메모리 및 속도의 효율이 향상될 수 있다.

도 4는 일 실시예에 따른, 입력 영상에 대한 리사이징에 따른 블러의 변화를 나타낸 도면이다.

그림(410)은 입력 영상으로부터 관심 영역인 얼굴 영역을 검출한 것으로서, 블러(blur)는 2.0이다. 그림(420)은 검출된 관심 영역인 얼굴 영역을 0.5배 크기의 타겟 영상으로 리사이징한 것으로서 블러(blur)는 1.0이고, 그림(430)은 검출된 관심 영역인 얼굴 영역을 0.25배 크기의 타겟 영상으로 리사이징한 것으로서 블러(blur)는 0.5이다. 즉, 같은 얼굴 영역에 대한 영상이지만, 크기에 따라 블러(blur)가 서로 상이하다.

만약, 임계치(Threshold)가 1.5라면, 블러가 임계치 이상인 그림(410)에 대한 라이브니스 검사 결과와 블러가 임계치 미만인 그림(420, 430)에 대한 라이브니스 검사 결과는 서로 상이할 수 있다.

따라서, 서로 상이한 결과를 보정하기 위해, 블러 추정 장치는 리사이징된 타겟 영상의 크기와 관심 영역의 크기의 비율에 기초하여 입력 영상으로부터 검출된 관심 영역의 블러(blur)을 추정할 수 있다. 뿐만 아니라, 블러 추정 장치는 검출된 관심 영역의 크기에 따라 적응적으로 변화하는 임계치를 이용하여 입력 영상에 블러 정도를 판단할 수 있고, 라이브니스 검사 장치는 판단 결과에 기초하여 라이브니스 검사를 수행할 수 있다.

도 5는 일 실시예에 다른, 고정된 임계치와 적응적으로 변화하는 임계치를 나타낸 도면이다. 여기서, y축은 임계치를 나타내고, x축은 입력 영상에서 검출된 얼굴 영역의 height, width를 나타낸다. 이때, x축의 height, width는 일실시예로서, 입력 영상과 타겟 영상 간의 크기를 비교할 수 있는 다른 인덱스가 포함될 수 있다.

그래프(510)은 임계치가 1.3으로 고정된 경우를 나타내며, 그래프(520)은 임계치가 아래의 수학식 2와 같이 적응적으로 변화하는 경우를 나타낸다.

예를 들면, 리사이징된 타겟 영상의 블러가 1.24인 경우 그래프(510)과 같은 고정된 임계치 1.3에 따르면 입력 영상은 non blur로 판단될 수 있지만, x=250인 경우 그래프(520)과 같은 적응적으로 변화하는 임계치 0.775에 따르면 입력 영상은 blur로 판단될 수 있다.

도 6은 일 실시예에 따른, 블러 추정 장치의 구성을 도시한 도면이다.

라이브니스 검사 장치는 입력 영상에 나타난 검사 대상의 라이브니스 여부를 검사하고, 검사 결과를 출력할 수 있다. 라이브니스 검사 장치는 라이브니스 검사와 관련하여 본 명세서에 기술되거나 또는 도시된 하나 이상의 동작을 수행할 수 있고, 라이브니스 검사 결과를 사용자에게 제공할 수 있다.

블러 추정 장치(600)은 라이브니스 검사 장치에 포함될 수 있고, 블러 추정 장치의 결과에 기초하여 라이브니스 검사 장치는 검사 대상의 라이브니스 여부를 검사할 수 있다.

도 6을 참조하면, 블러 추정 장치(600)는 하나 이상의 프로세서(610) 및 메모리(620)를 포함할 수 있다. 메모리(620)는 프로세서(610)에 연결되고, 프로세서(610)에 의해 실행 가능한 인스트럭션들, 프로세서(610)가 연산할 데이터 또는 프로세서(610)에 의해 처리된 데이터를 저장할 수 있다.

프로세서(610)는 도 1 내지 도 5를 참조하여 설명된 블러 추정과 관련된 하나 이상의 동작을 수행할 수 있다. 예를 들어, 프로세서(610)는 블러 추정의 대상이 되는 입력 영상을 타겟 영상으로 크기를 리사이징하고, 리사이징된 타겟 영상의 블러를 결정하고, 입력 영상의 크기 정보에 기초하여 블러 값을 추정할 수 있다. 프로세서(610)는 추정된 블러 값에 기초하여 입력 영상이 non blur인지 blur인지 결정할 수 있고, 라이브니스 검사 장치는 non blur 및 blur에 따라 서로 상이한 결과를 도출할 수 있다.

일 실시예에 따르면, 입력 영상의 크기가 클 경우 블러 추정에 있어 메모리 및 속도 저하 문제가 발생될 수 있다. 따라서, 입력 영상을 타겟 영상으로 리사이징하고 리사이징된 타겟 영상의 블러를 추정하고, 추정된 블러를 입력 영상의 크기 정보에 기초하여 보정할 경우 메모리 및 속도의 효율이 향상될 수 있다.

도 7은 일 실시예에 따른 컴퓨팅 장치의 구성을 도시하는 도면이다.

도 7을 참조하면, 컴퓨팅 장치(700)는 입력 영상에 대해 블러를 추정하여, 검사 대상의 라이브니스 검사 및/또는 사용자 인증을 수행할 수 있다. 컴퓨팅 장치(700)는 도 1의 컴퓨팅 장치(120)에 대응할 수 있고, 도 6의 블러 추정 장치(600)의 기능을 수행할 수 있다.

도 7을 참조하면, 컴퓨팅 장치(700)는 하나 이상의 프로세서(710), 메모리(720), 카메라(730), 저장 장치(740), 입력 장치(750), 출력 장치(760) 및 네트워크 인터페이스(770)를 포함할 수 있다. 프로세서(710), 메모리(720), 카메라(730), 저장 장치(730), 입력 장치(750), 출력 장치(760) 및 네트워크 인터페이스(770)는 통신 버스(communication bus; 780)를 통해 서로 통신할 수 있다.

프로세서(710)는 블러 추정 및/또는 라이브니스 검사 및/또는 사용자 인증을 수행하기 위한 기능 및 인스트럭션들을 실행할 수 있다. 예를 들어, 프로세서(710)는 메모리(720) 또는 저장 장치(740)에 저장된 인스트럭션들을 처리할 수 있다. 프로세서(710)는 도 1 내지 도 6을 통하여 전술한 하나 이상의 동작을 수행할 수 있다.

메모리(720)는 블러 추정 및/또는 라이브니스 검사 및/또는 사용자 인증을 수행하기 위한 정보를 저장한다. 메모리(720)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함할 수 있다. 메모리(720)는 프로세서(710)에 의해 실행하기 위한 인스트럭션들과 라이브니스 검사의 수행에 필요한 정보를 저장할 수 있다.

카메라(730)는 블러 추정 및/또는 라이브니스 검사 및/또는 사용자 인증의 대상이 나타난 정지 영상, 비디오 영상, 또는 이들 모두를 획득할 수 있다. 카메라(730)에 의해 획득된 영상은 본 명세서에서 설명된 입력 영상에 대응할 수 있다.

저장 장치(740)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함한다. 일 실시예에 따르면, 저장 장치(740)는 메모리(720)보다 더 많은 양의 정보를 저장하고, 정보를 장기간 저장할 수 있다. 예를 들어, 저장 장치(740)는 자기 하드 디스크, 광 디스크, 플래쉬 메모리, 전기적으로 프로그래밍가능한 메모리(EPROM), 플로피 디스크 또는 이 기술 분야에서 알려진 다른 형태의 비휘발성 메모리를 포함할 수 있다.

입력 장치(750)는 촉각, 비디오, 오디오 또는 터치 입력을 통해 사용자로부터 입력을 수신할 수 있다. 예를 들어, 입력 장치(750)는 키보드, 마우스, 터치 스크린, 마이크로폰, 또는 사용자로부터 입력을 검출하고, 검출된 입력을 컴퓨팅 장치(700)에 전달할 수 있는 임의의 다른 장치를 포함할 수 있다.

출력 장치(760)는 시각적, 청각적 또는 촉각적인 채널을 통해 사용자에게 컴퓨팅 장치(700)의 출력을 제공할 수 있다. 출력 장치(760)는 예를 들어, 디스플레이, 터치 스크린, 스피커, 진동 발생 장치 또는 사용자에게 출력을 제공할 수 있는 임의의 다른 장치를 포함할 수 있다. 네트워크 인터페이스(770)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (19)

1. 입력 영상의 크기 정보를 획득하는 단계;
   상기 입력 영상에서 입력 영상에서 관심 영역(Region of Interest, ROI)을 검출하는 단계;
   상기 관심 영역을 미리 설정된 크기의 타겟 영상으로 리사이징하는 단계;
   상기 리사이징된 타겟 영상의 블러를 측정하는 단계;
   상기 입력 영상의 상기 크기 정보와 상기 리사이징된 타겟 영상의 블러에 기초하여, 상기 입력 영상의 블러(Blur)를 추정하는 단계; 및
   상기 추정된 입력 영상의 상기 블러와 임계치(Threshold) 간의 비교 결과에 기초하여, 상기 입력 영상에 대한 라이브니스 검사하는 단계
   를 포함하고,
   상기 임계치(Threshold)는,
   상기 입력 영상의 상기 크기 정보에 기초하여 적응적(adaptive)으로 변화하는,
   블러 추정 방법.
   
2. 제1항에 있어서,
   상기 입력 영상의 크기 정보를 획득하는 단계는,
   상기 입력 영상에서 상기 관심 영역의 크기 정보를 획득하는 단계인,
   블러 추정 방법.
   
3. 제1항에 있어서,
   상기 입력 영상의 블러(Blur)를 추정하는 단계는,
   상기 입력 영상의 상기 크기 정보와 상기 타겟 영상의 크기 정보의 비율에 기초하여, 상기 입력 영상의 상기 블러를 보정하는 단계
   를 포함하는, 블러 추정 방법.
   
4. 제3항에 있어서,
   상기 입력 영상과 상기 타겟 영상의 크기 정보는, 넓이, 높이, 폭을 포함하는, 블러 추정 방법.
   
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 입력 영상의 크기 정보에 기초하여 추정된 상기 입력 영상의 블러가 상기 임계치 이상인 경우 상기 입력 영상에 대한 상기 라이브니스 검사가 인증 실패하거나, 또는 상기 입력 영상의 크기 정보에 기초하여 추정된 상기 입력 영상의 블러가 상기 임계치 미만인 경우 상기 입력 영상에 대한 상기 라이브니스 검사가 인증 성공하는,
   블러 추정 방법.
   
8. 제1항에 있어서,
   상기 입력 영상의 블러(Blur)를 추정하는 단계는,
   상기 입력 영상의 상기 크기 정보와 상기 타겟 영상의 결정된 상기 블러를 조합하여, 상기 입력 영상의 상기 블러를 보정하는 단계
   를 포함하는, 블러 추정 방법.
   
9. 제1항에 있어서,
   상기 입력 영상의 블러(Blur)를 추정하는 단계는,
   뉴럴 네트워크 기반의 블러 추정 모델을 이용하여 상기 입력 영상에 대한 상기 블러를 추정하는 단계
   를 포함하는, 블러 추정 방법.
   
10. 제1항 내지 제4항 및 제7항 내지 제9항 중 어느 하나의 항의 방법을 실행하기 위한 인스트럭션들을 저장하는 컴퓨터 판독 가능한 저장 매체.
    
11. 프로세서 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고,
    상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는,
    입력 영상의 크기 정보를 획득하고, 상기 입력 영상에서 입력 영상에서 관심 영역(Region of Interest, ROI)을 검출하고, 상기 관심 영역을 미리 설정된 크기의 타겟 영상으로 리사이징하고, 상기 리사이징된 타겟 영상의 블러를 측정하고, 상기 입력 영상의 상기 크기 정보와 상기 리사이징된 타겟 영상의 블러에 기초하여, 상기 입력 영상의 블러(Blur)를 추정하고, 상기 추정된 입력 영상의 상기 블러와 임계치(Threshold) 간의 비교 결과에 기초하여, 상기 입력 영상에 대한 라이브니스 검사하고,
    상기 임계치(Threshold)는,
    상기 입력 영상의 상기 크기 정보에 기초하여 적응적(adaptive)으로 변화하는,
    블러 추정 장치.
    
12. 제11항에 있어서,
    상기 프로세서는,
    상기 입력 영상의 크기 정보를 획득할 때, 상기 입력 영상에서 상기 관심 영역의 크기 정보를 획득하는,
    블러 추정 장치.
    
13. 제11항에 있어서,
    상기 프로세서는,
    상기 입력 영상의 블러(Blur)를 추정할 때, 상기 입력 영상의 상기 크기 정보와 상기 타겟 영상의 크기 정보의 비율에 기초하여 상기 입력 영상의 상기 블러를 보정하는,
    블러 추정 장치.
    
14. 제13항에 있어서,
    상기 입력 영상과 상기 타겟 영상의 크기 정보는, 넓이, 높이, 폭을 포함하는, 블러 추정 장치.
    
15. 삭제
16. 삭제
17. 제11항에 있어서,
    상기 입력 영상의 크기 정보에 기초하여 추정된 상기 입력 영상의 블러가 상기 임계치 이상인 경우 상기 입력 영상에 대한 상기 라이브니스 검사가 인증 실패하거나, 또는 상기 입력 영상의 크기 정보에 기초하여 추정된 상기 입력 영상의 블러가 상기 임계치 미만인 경우 상기 입력 영상에 대한 상기 라이브니스 검사가 인증 성공하는,
    블러 추정 장치.
    
18. 제11항에 있어서,
    상기 프로세서는,
    상기 입력 영상의 블러(Blur)를 추정할 때, 상기 입력 영상의 상기 크기 정보와 상기 타겟 영상의 결정된 상기 블러를 조합하여, 상기 입력 영상의 상기 블러를 보정하는,
    블러 추정 장치.
    
19. 제11항에 있어서,
    상기 프로세서는,
    상기 입력 영상의 블러(Blur)를 추정할 때, 뉴럴 네트워크 기반의 블러 추정 모델을 이용하여 상기 입력 영상에 대한 상기 블러를 추정하는,
    블러 추정 장치.