KR20180084085A - 얼굴 위치 추적 방법, 장치 및 전자 디바이스 - Google Patents

Abstract

본 출원은 얼굴 위치 추적 방법, 장치, 및 전자 디바이스를 제공한다. 방법은: 현재 이미지 프레임에서 얼굴 영역을 획득하는 것; 현재 이미지 프레임에서의 얼굴 영역에 기초하여 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 결정하는 것; 사전 결정된 요건을 충족하는 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역에 대해 예측 영역을 검색하는 것; 다음 이미지 프레임에서 얼굴 영역을 검출하는 것; 및 제1 사전 선택된 영역, 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하는 것을 포함한다. 본 출원의 구현예에 따르면, 이미지 프레임에서의 얼굴 영역은 강한 광 간섭 또는 빠른 얼굴 움직임과 같은 복잡한 시나리오에서 정확하게 위치 결정되고 추적될 수 있고, 그에 의해, 얼굴 추적 효과 및 유저 경험을 향상시키게 된다.

Description

얼굴 위치 추적 방법, 장치 및 전자 디바이스

본 출원은 2015년 11월 12일자로 출원된 발명의 명칭이 "FACE LOCATION TRACKING METHOD, APPARATUS, AND ELECTRONIC DEVICE"인 중국 특허 출원 제201510772348.7호에 대한 우선권을 주장하는데, 이 중국 특허 출원은 참조에 의해 그 전체가 본원에 통합된다.

본 출원은 이미지 정보 데이터 프로세싱의 분야에 관한 것으로, 특히, 얼굴 위치 추적 방법, 장치 및 전자 디바이스에 관한 것이다.

얼굴 추적은 일반적으로 비디오 또는 이미지 시퀀스에서 얼굴의 움직임 및 사이즈의 변화를 결정하는 프로세스이다. 얼굴 추적은 항상 중요한 역할을 하며 이미지 분석 및 인식, 이미지 모니터링 및 검색, 인스턴트 비디오 통신(instant video communication), 등등에서 널리 사용된다.

일반적으로, 얼굴 추적 프로세싱은 비디오에서 얼굴 위치를 식별하는 것을 주로 포함할 수 있다. 비디오 녹화 동안, 얼굴이 움직이는 경우, 입자 시프트(particle shift) 또는 평균 시프트(mean shift)와 같은 특정한 알고리즘이 사용되어 비디오에서 얼굴의 특정한 위치를 추적할 수 있다. 현재, 현존하는 기술에서 사용되는 얼굴 추적 방법 프로세싱은 주로 다음을 포함한다: 각각의 이미지 프레임에 대해 얼굴 검출을 수행하는 것, 즉, 각각의 프레임이 별개의 이미지로 간주될 수 있고, 그 다음, 계산에 의해 각각의 이미지 프레임에서 얼굴 위치를 획득하도록, 각각의 이미지 프레임에 대해 얼굴 검출이 수행된다. 그러나, 실제 구현에서는, 예를 들면, 유저가 셀피(selfie)를 찍기 위해 이동 전화기의 전면 카메라를 사용하는 과정에서는, 급격한 광 또는 장면 변화, 강한 광 또는 계량 간섭(metering interference), 빠른 얼굴 움직임, 등등으로 인해 얼굴 추적 손실 또는 검출 에러가 발생한다. 결과적으로, 추적된 얼굴 이미지는 일반적으로 유저 비디오 모니터링 프로세스 또는 비디오 통화 프로세스에서 불연속적이고, 실시간의 부드러운 추적 효과가 달성될 수 없고, 그에 의해, 특히 상대적으로 열악한 프로세싱 성능을 갖는 단말 디바이스에서는 유저 경험을 크게 손상시키게 된다. 물론, 현존하는 기술에서의 얼굴 추적 방법은 상대적으로 높은 유저의 얼굴 추적 요건을 충족할 수 없다.

현존하는 기술에서의 얼굴 추적 방법의 경우, 얼굴 추적 손실 또는 에러는, 특히 급격한 광 변화, 광 간섭, 또는 빠른 얼굴 움직임과 같은 복잡한 시나리오에서 발생하는데, 얼굴 추적 손실 또는 에러는 비디오에서 흐릿하게 된 얼굴 이미지 또는 불연속적인 추적된 얼굴 이미지로 나타날 수 있다. 얼굴 검출 및 추적의 효율성, 및 유저 경험이 손상될 수도 있다.

본 출원은 얼굴 위치 추적 방법, 장치 및 전자 디바이스를 제공하며, 그 결과, 급격한 광 변화, 광 간섭, 또는 빠른 얼굴 움직임과 같은 복잡한 시나리오에서 이미지 프레임에서의 얼굴 영역이 정확하게 위치 결정되어, 얼굴 추적의 효율성을 향상시킬 수 있다. 또한, 얼굴 추적 손실이 방지될 수 있고, 그에 의해, 얼굴 위치 추적 효율성 및 유저 경험을 향상시킬 수 있다.

본 출원에서 제공되는 얼굴 위치 추적 방법, 장치 및 전자 디바이스는 다음과 같이 구현된다:

얼굴 위치 추적 방법이 제공되며, 그 방법은 다음을 포함한다:

현재 이미지 프레임에서 얼굴 영역을 획득하는 것;

현재 이미지 프레임에서의 얼굴 영역에 기초하여 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 결정하는 것;

사전 결정된 요건을 충족하는 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역에 대해 예측 영역을 검색하는 것; 및

다음 이미지 프레임에서 얼굴 영역을 검출하고, 제1 사전 선택된 영역, 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하는 것.

얼굴 위치 추적 장치가 제공되며, 그 장치는 다음을 포함한다:

현재 이미지 프레임에서 얼굴 영역을 검출하도록 구성되는 검출 모듈;

현재 이미지 프레임 내에 있으며 검출 모듈에 의해 검출되는 얼굴 영역에 기초하여 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 계산하도록 구성되는 예측 영역 계산 모듈;

사전 결정된 요건을 충족하는 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역에 대해 예측 영역을 검색하도록 구성되는 사전 선택된 영역 계산 모듈; 및

제1 사전 선택된 영역, 검출 모듈에 의해 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여, 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하도록 구성되는 추적 결과 선택 모듈.

얼굴 위치 추적 전자 디바이스가 제공되며, 그 전자 디바이스는 다음을 포함한다:

프로세싱되도록 대기 중인 현재 이미지 프레임을 획득하도록 구성되는 정보 획득 유닛;

프로세싱 유닛 - 프로세싱 유닛은: 현재 이미지 프레임에서 얼굴 영역을 검출하도록; 현재 이미지 프레임에서의 검출된 얼굴 영역에 기초하여 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 계산하고, 사전 결정된 요건을 충족하는 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역에 대해 예측 영역을 검색하도록; 그리고 제1 사전 선택된 영역, 프로세싱 유닛에 의해 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하도록 구성됨 - ; 및

프로세싱 유닛에 의해 획득되는 얼굴 위치 추적 결과를 디스플레이하도록 구성되는 디스플레이 유닛.

본 출원에서 제공되는 얼굴 위치 추적 방법, 장치, 및 전자 디바이스에서, 현재 이미지 프레임에서의 얼굴 영역에 기초하여 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역의 범위가 예측될 수 있다. 그 다음, 예측 영역의 범위 내에서, 사전 결정된 요건(예를 들면, 가장 높은 유사도)을 충족하는 이전 이미지 프레임에서의 얼굴 영역에 대한 유사도를 갖는 얼굴 영역의 사전 선택된 영역이 발견될 수 있다. 이와 같이, 이전 이미지 프레임에 기초하여 현재 프레임의 다음 이미지 프레임으로부터 사전 선택된 얼굴에 관한 정보가 획득될 수 있다. 또한, 본 출원의 솔루션에서는, 다음 이미지 프레임에서 얼굴 영역이 검출될 수 있다. 다음 이미지 프레임으로부터 얼굴 영역이 검출되지 않으면, 이전 이미지 프레임에 기초하여 계산에 의해 획득되는 사전 선택된 영역이 다음 이미지 프레임에서 얼굴 영역으로서 사용될 수 있다. 얼굴 영역이 검출될 수 있으면, 다음 이미지 프레임은 적어도 두 개의 얼굴 영역을 포함하고, 사전 결정된 선택 규칙에 기초하여 다음 이미지 프레임의 최종 얼굴 위치 추적 결과로서, 요건을 충족하는 얼굴 영역이 선택될 수 있다. 따라서, 본 출원에서는, 급격한 광 변화와 같은 복잡한 시나리오로 인해 현재의 이미지 프레임으로부터 얼굴 영역이 검출되지 않는 경우에도, 이전 이미지 프레임에서의 얼굴 영역에 기초한 예측에 의해 획득되는 사전 선택된 영역을 사용하는 것에 의해 얼굴 위치가 위치 결정 및 추적될 수 있다. 이와 같이, 얼굴 검출 및 추적의 연속성이 보장될 수 있고, 얼굴 검출 및 추적이 더욱 효과적일 수 있고, 얼굴 추적의 유저 경험이 향상될 수 있다.

본 출원의 구현예의 또는 종래 기술의 기술적 솔루션을 더욱 명확하게 설명하기 위해, 다음의 내용은 구현예 또는 현존하는 기술을 설명하기 위해 사용되는 첨부의 도면을 간단히 소개한다. 명백하게, 다음의 설명에서의 첨부의 도면은 단지 본 출원의 몇몇 구현예를 나타내는 것에 불과하며, 기술 분야에서 통상의 기술을 가진 자는 창조적인 노력 없이도 이들 첨부의 도면으로부터 다른 도면을 여전히 유도할 수도 있다.
도 1은, 본 출원의 구현예에 따른, 얼굴 위치 추적 방법을 예시하는 방법 플로우차트이다;
도 2는 현재 이미지 프레임에서의 얼굴 영역에 기초하여 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 결정하는 것을 예시하는 개략도이다;
도 3은, 본 출원에 따른, 제1 사전 선택된 영역에 대해 예측 영역을 검색하는 것을 예시하는 개략도이다;
도 4는, 본 출원에 따른, 얼굴 위치 추적 결과를 결정하는 선택 시나리오를 예시하는 개략도이다;
도 5는, 본 출원의 구현예에 따른, 제2 사전 선택된 영역에 대한 추가 검색을 예시하는 개략도이다;
도 6은, 본 출원의 구현예에 따른, 얼굴 위치 추적 장치의 모듈 구조를 예시하는 개략도이다;
도 7은, 본 출원의 구현예에 따른, 사전 선택된 영역 계산 모듈의 모듈 구조를 예시하는 개략도이다;
도 8은, 본 출원의 다른 구현예에 따른, 사전 선택된 영역 계산 모듈의 모듈 구조를 예시하는 개략도이다;
도 9는, 본 출원의 구현예에 따른, 추적 결과 선택 모듈의 모듈 구조를 예시하는 개략도이다; 그리고
도 10은, 본 출원의 구현예에 따른, 얼굴 위치 추적 전자 장치를 예시하는 개략적인 구조도이다.

기술 분야의 숙련된 자가 본 출원의 기술적 솔루션을 더욱 잘 이해하게 만들기 위해, 다음의 내용은, 본 출원의 구현예의 첨부의 도면을 참조하여 본 출원의 구현예의 기술적 솔루션을 명확하고 완전하게 설명한다. 명백하게, 설명된 구현예는 본 출원의 구현예의 전체가 아닌 일부에 불과하다. 창의적인 노력 없이 본 출원의 구현예에 기초하여 기술 분야에서 통상의 기술을 가진 자에 의해 획득되는 다른 모든 구현예는 본 출원의 보호 범위 내에 속할 것이다.

다음의 내용은, 첨부의 도면을 참조하여 본 출원에서의 기본적인 데이터 프로세싱 방법을 상세히 설명한다. 도 1은, 본 출원의 구현예에 따른, 얼굴 위치 추적 방법을 예시하는 방법 플로우차트이다. 비록 본 출원이 다음의 구현예 또는 첨부의 도면에서 방법의 동작 단계를 제공하지만, 그 방법은 종래의 또는 비 창조적인 노력에 기초한 더 많은 또는 더 적은 동작 단계를 포함할 수 있다. 로직에서 필수적인 인과 관계가 없는 단계에서, 이들 단계의 실행 순서는 본 출원의 구현예에서 제공되는 실행 시퀀스로 제한되지 않는다. 방법이 실제 응용에서 장치 또는 단말 제품에 의해 실행될 때, 방법은 구현예 또는 첨부의 도면에서의 방법의 시퀀스에 기초하여 실행될 수 있거나, 또는 병렬로(예를 들면, 병렬 프로세서 또는 멀티스레드 프로세싱 환경에서) 실행될 수 있다.

구체적으로는, 도 1에서 도시되는 바와 같이, 본 출원은 얼굴 위치 추적 방법의 구현예를 제공하고, 그 방법은 다음의 단계를 포함할 수 있다.

S1: 현재 이미지 프레임에서 얼굴 영역을 획득함.

일반적으로, 얼굴 위치 추적은 카메라 장치, 예를 들면, 모니터링 디바이스, 또는 유저의 이동 전화기의 카메라에 의해 기록되는 비디오 스트림 정보 프로세싱에서 주로 사용된다. 본 출원에서 제공되는 얼굴 위치 추적 방법은 비디오 스트림 정보 프로세싱을 포함할 수 있지만, 그러나 이것으로 제한되는 것은 아니며, 본 출원에서의 솔루션은 다른 응용 시나리오에서 연속하는 이미지 또는 영화 필름 디지털 정보의 얼굴 추적을 위해 여전히 사용될 수 있다. 본 출원에서의 솔루션을 명확하게 설명하기 위해, 이 구현예는, 유저가 셀피를 찍기 위해 이동 전화기의 전면 카메라를 사용할 수 있는 응용 시나리오를 사용하는 것에 의해 설명될 수 있다. 이 구현예에서, 현재 비디오의 현재 이미지 프레임에서의 얼굴 영역이 먼저 획득될 수 있다. 구체적으로는, 비디오 스트림의 시작에서 비디오 이미지 프레임에 대해 얼굴 검출이 수행될 수 있다. 일반적으로, 얼굴 검출은, 얼굴이 검출될 때까지, 각각의 이미지 프레임에 대해 수행되는 것을 필요로 한다. 일반적으로, 현재 이미지 프레임으로부터 얼굴이 검출되면, 이미지 컬러 파라미터, 이미지 사이즈, 및 프레임 거리와 같은, 얼굴 이미지에 관련되는 정보가 획득될 수 있다. 얼굴 위치는 일반적으로 특정한 영역에 의해 나타내어질 수 있다. 예를 들면, 얼굴이 검출되는 영역을 나타내기 위해, 직사각형 박스가 일반적으로 사용될 수 있다.

이동 통신 단말 또는 차량 대시보드 비디오 레코더의 데이터 프로세싱 능력이 퍼스널 컴퓨터(personal computer; PC)의 데이터 프로세싱 능력보다 더 낮은 단말 제품 응용 시나리오에서, 본 출원은 얼굴 영역을 검출하는 구현예를 제공할 수 있다. 한 구현예에서, 현재 이미지 프레임에서 얼굴 영역을 획득하는 것은 다음을 포함할 수 있다:

분류 레벨의 양을 감소시키기 위해 아다부스트(Adaboost) 방법을 사용하는 것에 의해 현재 이미지 프레임에서 얼굴 영역을 검출 및 획득하는 것.

아다부스트는 반복 알고리즘이다. 아다부스트의 기본 프로세스는, 동일한 트레이닝 세트에 대해 상이한 분류자(약한 분류자(weak classifier))를 트레이닝시키는 것, 및 약한 분류자를 더 강한 최종 분류자 (강한 분류자(strong classifier))로 결합하는 것을 포함한다. 아다부스트 알고리즘은 일반적으로, 각각의 트레이닝 세트의 각각의 샘플의 분류가 올바른지의 여부 및 이전 전체 분류의 정확도에 기초하여 각각의 샘플의 가중된 값을 결정하기 위해 사용될 수 있다. 그 다음, 자신의 가중된 값이 수정된 새로운 데이터 세트가 트레이닝을 위해 다음 계층 분류자로 전송될 수 있고, 각각의 트레이닝 동안 획득되는 분류자는 최종 결정 분류자로 결합된다. 아다부스트 종속 접속 구조(Adaboost cascade structure)에서의 분류자는 일반적으로 일련의 직렬 분류자로 구성된다. 식별될 샘플을 결정할 때, 이전 레벨에서 분류자에 의해 포지티브(positive)로 결정되는 샘플만이 추가적인 프로세싱을 위해 다음 분류자로 전송된다. 그 외의 경우, 네거티브(negative) 샘플은 바로 거절된다. 종속 접속 구조에서, 이전의 분류자는 구조적으로 더 간단하고, 더 적은 피쳐 데이터를 사용하지만, 그러나 더 높은 검출률을 갖는다. 목표 대상(target object)과는 크게 상이한 네거티브 샘플이 가능한 한 많이 필터링될 수 있다. 후속하는 분류자는 더 많은 피쳐 데이터를 사용하고 더 복잡한 구조를 가지며, 그 결과, 목표 대상과 유사한 네거티브 샘플이 목표 대상으로부터 구별될 수 있다.

본 구현예에서, 아다부스트 방법을 사용하는 것에 의해 현재 이미지 프레임에서의 얼굴 영역이 검출되는 과정에서, 얼굴 검출에서의 계산 복잡도를 감소시키고 빠른 얼굴 검출을 수행하도록, 분류 레벨의 양이 필요에 따라 적절하게 감소될 수 있다는 것을 유의해야 한다.

본 출원의 얼굴 위치 추적 방법의 구현예에서, 유저가 이동 전화기의 전면 카메라 또는 후방 카메라를 사용하는 것에 의해 능동적 촬영을 수행할 때, 한 명보다 많은 사람이 촬영되는 경우, 스크린 또는 디스플레이 상에서의 주요 촬상 얼굴의 비율이 일반적으로 크다. 이 경우, 카메라에 가장 가까운 얼굴이 주요 목표일 수 있다. 따라서, 보다 정확하게 얼굴 위치를 추적하고 유저의 얼굴 위치 추적 기대를 충족하기 위해, 본 출원의 다른 구현예에서는, 카메라에 가장 가까운 얼굴만이 얼굴 위치 추적 동안 추적될 수도 있다. 구현 프로세스에서, 현재 이미지 프레임의 가장 큰 얼굴 영역이 얼굴 추적 대상(face tracking object)으로서 선택될 수 있다. 따라서, 본 출원의 다른 구현예에서, 현재 이미지 프레임에서 얼굴 영역을 획득하는 것은 다음을 포함할 수 있다:

현재 이미지 프레임으로부터 적어도 두 개의 얼굴이 검출되는 경우, 현재 이미지 프레임에서 가장 큰 면적을 갖는 얼굴에 대응하는 영역을 현재 이미지 프레임에서의 얼굴 영역으로서 선택하는 것.

이 구현예에서, 비디오의 현재 이미지 프레임에서의 얼굴 영역이 획득될 수 있다.

S2: 현재 이미지 프레임에서의 얼굴 영역에 기초하여 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 결정함.

현재 이미지 프레임에서의 얼굴 영역이 획득된 이후, 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역은 현재 이미지 프레임에서의 얼굴 영역에 기초하여 결정될 수 있다. 예측 영역은, 특정한 알고리즘 또는 규칙에 기초하여 현재 이미지 프레임의 다음 이미지 프레임에서 결정되는 얼굴 영역의 범위를 포함할 수 있다. 도 2는, 현재 이미지 프레임에서의 얼굴 영역에 기초하여 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 결정하는 것을 예시하는 개략도이다. 도 2에서 도시되는 바와 같이, 현재 이미지 프레임 N에서, 직사각형 박스 A는 현재 이미지 프레임의 검출된 얼굴 영역이다. 다음 이미지 프레임 N+1에서, 이전 이미지 프레임 N(즉, 현재 이미지 프레임 N)의 얼굴 영역의 직사각형 박스 A의 길이 및 폭이 개별적으로 K 픽셀만큼 확장된 이후 획득되는 직사각형 박스 B는, 다음의 이미지 프레임 N+1에서 얼굴을 포함하는 예측 영역으로서 사용된다. 물론, 다른 구현예에서, 예측 영역은 다른 방법을 사용하여 결정될 수 있다. 예를 들면, 현재 이미지 프레임에서의 얼굴 영역의 직사각형 박스 A의 길이 및 폭이 1.5 배만큼 개별적으로 확장된 이후 획득되는 직사각형 박스가 예측 영역으로서 사용될 수 있다.

현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역은 현재 이미지 프레임에서의 얼굴 영역 및 특정한 규칙에 기초하여 결정된다.

S3: 사전 결정된 요건을 충족하는 얼굴 영역에 대한 유사도를 갖는 제1의 사전 선택된 영역에 대해 예측 영역을 검색함.

다음 이미지 프레임에서 얼굴을 포함할 수도 있는 예측 영역이 결정된 이후, 얼굴 영역에 대해 높은 유사도를 갖는 제1 사전 선택된 영역이 예측 영역의 범위 내에서 검색되고 매칭될 수 있다. 얼굴 영역은 이전 이미지 프레임(즉, S2에서의 현재 이미지 프레임 N)으로부터 획득될 수 있다.

이 구현예에서, 다음 이미지 프레임의 제1 사전 선택된 영역과 얼굴 영역 사이의 유사도를 계산하기 위해, 템플릿 매칭 방법이 제공될 수 있다. 한 구현 프로세스에서, 현재 이미지 프레임에서의 얼굴 영역은 원래의 템플릿으로 사용될 수 있고, 얼굴 영역의 경계는 움직이는 윈도우로서 설정될 수 있다. 각각의 윈도우 이동 동안 새로운 매칭 템플릿이 획득될 수 있다. 예측 영역의 범위 내에서, 예측 영역이 1 스텝만큼 이동할 때마다, 새로운 이동하는 윈도우 영역의 데이터가 획득될 수 있고, 이동하는 윈도우 영역과 얼굴 영역 사이의 유사도가 계산된다. 본 출원에서, 두 개의 영역 사이의 유사도를 계산 또는 결정하는 것은 특정한 방법으로 제한되지 않으며, 동일한 또는 유사한 기능을 구현할 수 있는 다른 방법이 본 출원에 적용될 수 있다. 구체적으로, 현재 이미지 프레임에서의 얼굴 영역에 기초하여 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 결정하는 것은 다음을 포함할 수 있다:

S301: 얼굴 영역의 비교 영역을 획득하기 위해 제1 스텝 사이즈에 기초하여 예측 영역을 횡단함.

제1 스텝 사이즈는 실제의 얼굴 위치 추적에서의 프로세싱 속도 또는 프로세싱 정밀도 요건에 기초하여 설정될 수 있다. 옵션적인 구현예에서, 데이터 계산량은 데이터 프로세싱 속도를 향상시키기 위해 감소될 수 있고, 얼굴 위치 추적 정확도 요건이 보장될 수 있다. 이 구현예에서, 제1 이동 스텝의 값 범위는 2 픽셀 이상일 수 있다.

S302: 얼굴 영역과 비교 영역 사이의 유사도를 계산함.

상이한 응용 시나리오 또는 상이한 데이터 프로세싱 요건에 기초하여 상이한 이미지 영역 사이의 유사도를 계산하기 위해, 대응하는 계산 방법 및 대응하는 계산 파라미터가 선택될 수 있다. 예를 들면, 얼굴 영역과 비교 영역 사이의 유사도는, 상이한 영역의 이미지 컬러, 이미지 텍스쳐, 또는 이미지 그래디언트에 기초하여 계산될 수 있다. 본 출원은 유사도를 계산하는 구현예를 제공한다. 구체적으로, 본 출원의 구현예에서, dis로서 나타내어지는, 얼굴 영역과 비교 영역 사이의 유사도는 다음 식을 사용하는 것에 의해 계산될 수 있다:

상기 식에서,

,

,

및

는, 각각, 얼굴 영역의 좌측 경계 위치, 현재 비교 영역의 좌측 경계 위치, 얼굴 영역의 상부 경계 위치, 및 현재 비교 영역의 상부 경계 위치를 나타낼 수 있다. 가변 width는 얼굴 영역의 폭을 나타낼 수 있고, height는 얼굴 영역의 높이를 나타낼 수 있고, f(i,j)는, 자신의 좌표가, 현재 이미지 프레임(즉, 다음 프레임 K+1에 선행하는 프레임 K)에서의 얼굴 영역 내의 (i,j)인 픽셀의 그레이스케일 값을 나타낼 수 있고, g(i,j)는, 자신의 좌표가 다음 이미지 프레임에서의 비교 영역 내의 (i,j)인 픽셀의 그레이스케일 값을 나타낼 수 있고, x는 명시된 경험적 임계치를 나타낼 수 있고, dis는 얼굴 영역과 비교 영역 사이의 유사도이다. 상기의 식에서, max(a,b)는 a와 b 중 더 큰 값이 선택되는 것을 나타낼 수 있고, min(a,b)는 a와 b 중 더 작은 값이 선택되는 것을 나타낼 수 있다.

S303: 다음 이미지 프레임에서 사전 결정된 요건을 충족하는 유사도를 갖는 비교 영역을, 다음 이미지 프레임에서의 제1 사전 선택된 영역으로서 사용함.

이 구현예에서, 사전 결정된 요건이 설정될 수도 있고 예측 영역에서 예측 요건을 충족하는 비교 영역을 선택하도록 사용될 수 있다. 예를 들면, 사전 결정된 요건은 다음과 같이 설정될 수도 있다: 비교 영역과 얼굴 영역 사이의 유사도가 90 %를 초과함 또는 유사도 정렬 이후 어떤 비율 이내의 비교 영역이 지정됨. 예를 들면, 처음 세 개의 가장 높은 유사도의 비교 영역. 본 출원의 옵션적인 구현예에서, 사전 결정된 요건을 충족하는 유사도를 갖는 비교 영역은 다음을 포함할 수 있다:

다음 이미지 프레임에서의 비교 영역 중 가장 큰 유사도를 갖는 비교 영역.

도 3은, 본 출원에 따른, 제1 사전 선택된 영역에 대해 예측 영역을 검색하는 것을 예시하는 개략도이다. 도 3에서 도시되는 바와 같이, 다음 이미지 프레임 N+1의 예측 영역 B에서, 요건을 충족하는 현재 이미지 프레임 N에서의 얼굴 영역 A에 대한 유사도를 갖는 제1 사전 선택된 영역 C가 발견될 수 있다. 이 구현예에서, 다음 프레임의 비교 영역 내에 있는 그리고 현재 이미지 프레임에서의 얼굴 영역에 대해 가장 높은 유사도를 갖는 영역만이 제1 사전 선택된 영역으로서 선택될 수 있다. 이 경우, 다수의 사전 선택된 영역을 선택하는 것과 비교하여, 데이터 프로세싱 양이 감소될 수 있고, 사전 선택된 영역이 더 빠르게 선택될 수 있고, 얼굴 위치 프로세싱 속도가 향상될 수 있다.

이 구현예에서, 제1 사전 선택된 영역을 계산하기 위해 템플릿 매칭 방법이 사용되는 경우, 특정한 영역 내의 픽셀의 그레이스케일 값에 대해 가산 및 감산이 수행될 수 있다. 다른 현존하는 추적 알고리즘과 비교하여, 대규모 프로세싱 및 저장을 수행할 필요가 없고, 시간 복잡도 및 공간 복잡도가 낮다. 이 구현예의 응용은 더 폭넓고, 약한 정보 데이터 프로세싱 성능을 갖는 중저가 이동 전화 및 모니터링 디바이스의 경우 특히 그렇다. 따라서, 계산량이 효과적으로 감소될 수 있고, 얼굴 추적 정밀도가 향상될 수 있다. 또한, 단거리 비디오 녹화의 얼굴 추적 환경에서, 예를 들면, 이동 전화의 전면 카메라의 응용 시나리오에서, 유저가 셀피를 찍을 때 스크린에서의 얼굴의 비율은 일반적으로 크다. 이 구현예에서의 템플릿 매칭 방법에서, 비디오 스크린의 더 큰 비율의 얼굴 영역의 유효 정보가 획득될 수 있고, 다른 추적 알고리즘과 비교하여 추적 결과가 더욱 신뢰 가능할 수 있다.

이 구현예에서, 사전 결정된 요건을 충족하는 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역은, 특정한 계산 방법을 사용하는 것에 의해 예측 영역에서 검색될 수 있다.

S4: 다음 이미지 프레임에서 얼굴 영역을 검출하고, 제1 사전 선택된 영역, 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정함.

현재 이미지 프레임이 다음 이미지 프레임으로 전환되면, 다음 이미지 프레임에 얼굴 영역이 존재하는지의 여부가 검출될 수 있다. 다음 이미지 프레임으로부터 얼굴 영역이 검출되면, 다음 이미지 프레임으로부터 적어도 두 개의 얼굴 영역, 즉, 얼굴 추적 예측에 기초하여 획득되는 제1 사전 선택된 영역 및 검출된 얼굴 영역이 획득된다. 본 출원에서, 다음 이미지 프레임의 최종 얼굴 추적 결과는, 적어도 두 개의 얼굴 영역에 기초하여, 특정한 공동 계산 및 분석에 의해 획득될 수 있다.

본 출원에서, 사전 결정된 선택 규칙은, 최종 얼굴 위치 추적 결과로서 어떤 얼굴 영역이 사용되는지를 결정하기 위해 사용될 수 있다. 이 구현예에서의 선택 규칙은, 다음 이미지 프레임에서의 얼굴 영역 또는 제1 사전 선택된 영역 중 어느 하나에서의 다음 이미지 프레임에서의 얼굴 영역과 제1 사전 선택된 영역 사이의 중첩 면적의 비율에 따라, 다음 이미지 프레임에서의 얼굴 영역 또는 제1 사전 선택된 영역을 선택하기 위한 선택 규칙을 포함할 수 있다. 이 구현예에서, 다음 이미지 프레임의 얼굴 영역 또는 제1 사전 선택된 영역에서의 얼굴 영역과 제1 사전 선택된 영역 사이의 중첩 면적의 비율은 중첩 계수(Q)로서 정의될 수 있다.

도 4는, 본 출원에 따른, 얼굴 위치 추적 결과를 결정하는 선택 시나리오를 예시하는 개략도이다. 도 4에서 도시되는 바와 같이, 직사각형 박스 D는 다음 이미지 프레임에서의 검출된 얼굴 영역을 나타낼 수 있고, 본원에서 검출 결과로 지칭된다. 직사각형 박스 C는 다음 이미지 프레임에서의 제1 사전 선택된 영역을 나타낼 수 있고 단계 S1 내지 S3에서의 계산을 추적하는 것에 의해 또는 다른 구현예에 의해 획득될 수 있으며, 본원에서 추적 결과로서 지칭된다. 음영 영역은 다음 이미지 프레임의 최종 결정된 얼굴 위치 추적 결과이다. 검출 결과 및 추적 결과 둘 모두가 다음 이미지 프레임에 존재할 때, 검출 결과가 추적 결과와 중첩하지 않는 경우, 즉 중첩 계수(Q)가 0인 경우, 추적 결과는, 도 4의 4-1에서 도시되는 바와 같이, 얼굴 위치 추적 결과로서 사용될 수 있다. 검출 결과와 추적 결과 사이에 중첩 영역이 있지만, 그러나 중첩 면적이 상대적으로 작고 명시된 중첩 요건을 충족하지 못하는 경우, 추적 결과는, 도 4의 4-2에서 도시되는 바와 같이, 얼굴 위치 추적 결과로서 사용될 수 있다. 다른 경우에, 검출 결과와 추적 결과 사이에 중첩 영역이 있고, 중첩 면적이 크고, 지정된 중첩 요건, 예를 들면, 영역의 95%가 중첩되는 경우, 검출 결과는, 도 4의 4-3에서 도시되는 바와 같이, 얼굴 위치 추적 결과로서 선택될 수 있다. 물론, 다음 이미지 프레임으로부터 얼굴 영역이 감지되지 않으면, 추적 결과는, 도 4의 4-4에서 도시되는 바와 같이, 얼굴 위치 추적 결과로서 직접적으로 사용될 수 있다.

따라서, 옵션적인 구현예에서, 다음 이미지 프레임에서 얼굴 영역을 검출하는 것 및 사전 결정된 선택 규칙에 기초하여 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하는 것은 다음을 포함할 수 있다:

다음 이미지 프레임에서 얼굴 영역을 검출하는 결과가, 얼굴 영역이 검출되지 않는 것인 경우, 제1 사전 선택된 영역을, 다음 이미지 프레임의 얼굴 위치 추적 결과로서 사용함;

다음 이미지 프레임에서의 검출된 얼굴 영역과 제1 사전 선택된 영역 사이의 중첩의 계수가 0인 경우, 제1 사전 선택된 영역을, 다음 이미지 프레임의 얼굴 위치 추적 결과로서 사용함;

다음 이미지 프레임에서의 검출된 얼굴 영역과 제1 사전 선택된 영역 사이의 중첩의 계수가 사전 결정된 임계치보다 더 작은 경우, 제1 사전 선택된 영역을, 다음 이미지 프레임의 얼굴 위치 추적 결과로서 사용함; 또는

다음 이미지 프레임에서의 검출된 얼굴 영역과 제1 사전 선택된 영역 사이의 중첩의 계수가 사전 결정된 임계치 이상인 경우, 다음 이미지 프레임에서의 검출된 얼굴 영역을, 다음 이미지 프레임의 얼굴 위치 추적 결과로서 사용함.

이 구현예는, 검출 결과 및 추적 결과로부터 최종 얼굴 위치 추적 결과를 선택하기 위한 구현 방법을 제공한다. 본 출원의 이 구현예에서, 빠른 얼굴 움직임, 급격한 광 변화, 또는 강한 광 간섭과 같은 복잡한 환경에서, 얼굴 위치가 정확하고 신속하게 추적될 수 있다. 구현예에서, 이미지 프레임에서 프레임 손실이 발생하고 얼굴이 검출되지 않는 경우, 얼굴 위치가 여전히 추적 및 결정될 수 있고, 그 결과, 얼굴 위치의 연속적인 추적 효과가 구현될 수 있고, 얼굴 추적이 원활해질 수 있다. 프레임 손실이 발생하지 않더라도, 얼굴 추적 효과의 효율성 및 유저 경험을 향상시키도록, 사전 결정된 선택 규칙에 기초하여 이미지 프레임에서의 추적 결과와 검출 결과 사이에서 더 적합한 영역이 얼굴 위치 추적 결과로서 선택될 수 있다.

본 출원에서의 현재 프레임, 다음 프레임, 이전 프레임, 이전 프레임에 선행하는 프레임은, 실제의 애플리케이션에서 이미지 프레임 정보 프로세싱 대상을 설명하기 위한 상대적인 개념으로서 간주될 수 있다는 것을 유의해야 한다. 비디오 스트림의 한 순간의 이미지 프레임이 현재 이미지 프레임 N으로 표시될 수 있다면, 대응하는 다음 프레임은 (N+1) 번째 이미지 프레임일 수도 있고, 이전 프레임은 (N-1) 번째 이미지 프레임일 수도 있다. (N+1) 번째 이미지 프레임에 대한 추적이 완료된 이후, (N+2) 번째 이미지 프레임에서의 얼굴 위치가 추가로 추적되어 프로세싱될 수 있다. 이 경우, 현재 이미지 프레임은 (N+1) 번째 이미지 프레임이고, 대응하여, 현재 이미지 프레임 N+1의 다음 이미지 프레임은 (N+2) 번째 이미지 프레임일 수도 있다.

연속적인 이미지 프레임 프로세싱 동안, 현재 이미지 프레임에서의 얼굴 위치에 대한 추적 프로세싱이 완료된 이후, 현재 이미지 프레임의 프로세싱 결과를, 다음 이미지 프레임에서의 얼굴 위치를 추적하기 위한 참조 정보 또는 초기화 정보로서 사용하는 것에 의해, 다음 이미지 프레임에서의 얼굴 위치가 추가로 추적될 수 있다. 몇몇 응용 시나리오에서, 비디오 스트림에서 초당 프로세싱될 필요가 있는 이미지 프레임의 양은 일반적으로 열두 개보다 많은 프레임 또는 심지어 수십 개의 프레임일 수도 있다. 얼굴 위치 추적 동안, 급격한 광 변화 또는 빠른 얼굴 움직임에 의해 야기되는 프레임 N에서의 얼굴 추적 손실 때문에 얼굴이 검출되지 않으면, 이전 프레임 N-1을 검출 또는 프로세싱하는 결과로부터 획득되는 얼굴 영역이, 얼굴 추적 손실이 발생하는 프레임 N으로부터 추적되는 얼굴 영역으로서 사용될 수 있다. 관련된 구현예에서, 또한, 이전 프레임 N-1로부터 얼굴이 검출 또는 추적되지 않으면, 프레임 N-2를 검출 또는 프로세싱하는 것에 의해 획득되는 얼굴 영역 결과가 여전히 사용될 수 있고, 계속 그런 식일 수 있다. 물론, 사전 결정된 결정 규칙에 기초하여 다수의 연속적인 프레임에서 얼굴이 검출되지 않으면, 비디오 녹화 범위 내에서 얼굴이 캡쳐되지 않았다는 것이 결정될 수 있다.

상기 구현예에서, 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역이 검색될 때, 필요에 따라 제1 스텝 사이즈의 값이 결정될 수 있다. 예를 들면, 예측 영역은 매번 2 픽셀 또는 5 픽셀만큼 이동될 수 있다. 일반적으로, 더 큰 스텝 사이즈는 이전 이미지 프레임의 얼굴 영역과 유사한 영역을 검색하는 더 빠른 속도를 나타낼 수 있고, 더 적은 데이터가 프로세싱될 필요가 있다. 더 작은 스텝 사이즈는 더 높은 검색 정확도를 나타낼 수 있다. 제1 이동 스텝의 값 범위가 2 픽셀 이상인 구현예에서, 제1 사전 선택된 영역을 검색하는 정확도를 더 향상시키기 위해, 본 출원에서 제공되는 다른 바람직한 구현예에서, 방법은 다음을 더 포함할 수 있다:

단계 S304: 제1 사전 선택된 영역을 둘러싸는 제2 스텝 사이즈의 범위 내에서 얼굴 영역에 대해 가장 높은 유사도를 갖는 제2 사전 선택된 영역을 검색함, 여기서 제2 스텝 사이즈는 제1 스텝 사이즈보다 더 작음. 이 경우, 정밀한 검색에 의해 획득되는 제2 사전 선택된 영역은, 다음 이미지 프레임의 얼굴 위치 영역 추적 결과로서 사용될 수 있다. 검출 결과 및 제2 사전 선택된 영역 중 어느 하나가 최종 얼굴 위치 추적 결과로서 후속하여 결정될 수도 있다.

대응하여, 제1 사전 선택된 영역, 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하는 것은 다음을 포함한다: 제2 사전 선택된 영역, 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하는 것.

특정한 애플리케이션에서, 예를 들면, 제1 스텝은 2 픽셀이고, 가장 높은 유사도를 갖는 영역을 획득하도록, 제1 사전 선택된 영역을 둘러싸는 픽셀의 범위 내의 얼굴 영역과 이전 이미지 프레임에서의 얼굴 영역 사이의 유사도가 이 구현예에서 계산될 수도 있다. 구체적으로는, 이 구현예에서, 제2 사전 선택된 영역은 단계 S302에서의 유사도 계산 방법을 사용하는 것에 의해 계산될 수 있다. 물론, 두 영역 사이의 유사도를 결정하기 위한 다른 계산 방법이 배제되는 것은 아니다. 이들 계산 방법에 대한 세부 사항은 여기서는 설명되지 않는다. 도 5는, 본 출원의 구현예에 따른, 제2 사전 선택된 영역에 대한 추가 검색을 예시하는 개략도이다. 도 5에서 도시되는 바와 같이, 직사각형 박스 C는, 예측 영역의 스텝 사이즈로서 두 픽셀을 사용하는 것에 의해 결정되는 얼굴 영역의 제1 사전 선택된 영역이고, 직사각형 박스 D는, 제1 사전 선택된 영역 C의 우측 상부 픽셀의 비교 영역 C_ru이다. 물론, 제1 사전 선택된 영역을 둘러싸는 픽셀의 범위는, 제1 사전 선택된 영역을 하나의 픽셀만큼 하방으로 이동시키는 것에 의해 형성되는 비교 영역 C_d, 제1 사전 선택된 영역을 하나의 픽셀만큼 상방으로 이동시키는 것에 의해 형성되는 비교 영역 C_u, 제1 사전 선택된 영역을 좌측 하방 코너를 향해 하나의 픽셀만큼 이동시키는 것에 의해 형성되는 비교 영역 C_ld, 및 등등을 포함할 수 있다. 그 다음, 제1 사전 선택된 영역을 둘러싸는 픽셀의 비교 영역과 얼굴 영역 사이의 유사도가 계산될 수 있고, 가장 높은 유사도를 갖는 비교 영역이 제2 사전 선택된 영역으로서 선택될 수 있다.

이 구현예에서, 제1 사전 선택된 영역은, 이미지 비교 및 검색에서 계산량을 효과적으로 감소시켜 얼굴 위치 추적의 데이터 프로세싱 속도를 향상시키기 위해, 상대적으로 큰 제1 스텝 사이즈를 설정하는 것에 의해 계산된다. 이 구현예에서, 제1 사전 선택된 영역의 결과에 기초하여, 더욱 정확한 추적 결과를 갖는 제2 사전 선택된 영역을 획득하기 위해, 제1 스텝 사이즈보다 더 작은 제2 스텝 사이즈를 사용하여 부근에서 더욱 정확한 검색이 수행될 수 있다. 이와 같이, 신속한 검색이 구현될 수 있고, 얼굴 추적의 정확도가 향상될 수 있고, 그에 의해, 얼굴 추적의 효율성을 향상시키게 된다.

본 출원에서의 얼굴 위치 추적 방법에 기초하여, 본 출원은 얼굴 위치 추적 장치를 제공한다. 도 6은, 본 출원의 구현예에 따른, 얼굴 위치 추적 장치의 모듈 구조를 예시하는 개략도이다. 도 6에서 도시되는 바와 같이, 장치는 다음을 포함할 수 있다:

현재 이미지 프레임에서 얼굴 영역을 검출하도록 구성되는 검출 모듈(101);

현재 이미지 프레임 내에 있으며 검출 모듈(101)에 의해 검출되는 얼굴 영역에 기초하여 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 계산하도록 구성되는 예측 영역 계산 모듈(102);

사전 결정된 요건을 충족하는 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역에 대해 예측 영역을 검색하도록 구성되는 사전 선택된 영역 계산 모듈(103); 및

제1 사전 선택된 영역, 검출 모듈(101)에 의해 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여, 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하도록 구성되는 추적 결과 선택 모듈(104).

본 출원의 얼굴 위치 추적 장치의 구현예에서, 검출 모듈(101)은 카메라 장치에 의해 획득되는 이미지 프레임에서 얼굴 영역을 시간의 경과에 따라 연속적으로 검출할 수 있다. 예를 들면, 비디오 스트림에서 초당 15 프레임의 비디오 이미지가 촬영되고, 이미지의 현재 프레임(N 번째 프레임)에서의 얼굴 영역이 얼굴 위치 추적 동안 검출될 수 있다. 이미지의 현재 프레임(N 번째 프레임)의 정보 데이터에 대한 검출 및 추적 프로세싱이 완료된 이후에, 이미지의 다음 프레임((N+1) 번째 프레임)에서의 얼굴 영역이 추가로 검출될 수 있다.

본 출원의 장치의 검출 모듈(101)의 구현예에서, 분류 레벨의 양을 감소시키기 위한 아다부스트 방법을 사용하는 것에 의해 현재 이미지 프레임에서의 얼굴 영역이 검출 및 획득될 수 있다. 이와 같이, 얼굴 검출 동안의 데이터 계산량이 감소될 수 있고, 얼굴 위치 추적의 위치 결정 및 프로세싱 속도가 향상될 수 있다.

본 출원의 장치의 다른 구현예에서, 카메라에 가장 가까운 얼굴만이 얼굴 위치 추적 프로세싱 동안 추적될 수 있다. 구현 프로세스에서, 현재 이미지 프레임의 가장 큰 얼굴 영역이 얼굴 추적 대상으로서 선택될 수 있다. 따라서, 본 출원의 장치의 다른 구현예에서, 검출 모듈(101)은 현재 이미지 프레임에서 얼굴 영역을 검출하는 것은 다음을 포함한다:

현재 이미지 프레임으로부터 적어도 두 개의 얼굴이 검출되는 경우, 현재 이미지 프레임에서 가장 큰 면적을 갖는 얼굴에 대응하는 영역을 현재 이미지 프레임에서의 얼굴 영역으로서 선택하는 것.

본 출원은 계산에 기초하여 사전 선택된 영역 계산 모듈(103)에 의해 제1 사전 선택된 영역을 검색하는 방법으로 제한되는 것은 아니다. 도 7은, 본 출원의 구현예에 따른, 장치의 사전 선택된 영역 계산 모듈(103)의 모듈 구조를 예시하는 개략도이다. 도 7에서 도시되는 바와 같이, 사전 선택된 영역 계산 모듈(103)은, 비교 영역 모듈(1031), 유사도 계산 모듈(1032), 및 제1 사전 선택 모듈(1033)을 포함할 수 있다.

비교 영역 모듈(1031)은, 얼굴 영역의 비교 영역을 획득하기 위해 명시된 제1 스텝에 기초하여 예측 영역을 횡단하도록 구성된다.

유사도 계산 모듈(1032)은 얼굴 영역과 비교 영역 사이의 유사도를 계산하도록 구성된다.

본 출원의 장치의 구현예에서, 유사도 계산 모듈(1032)은 다음의 식을 사용하는 것에 의해 얼굴 영역과 비교 영역 사이의 유사도(dis)를 계산할 수 있다:

상기 식에서,

,

,

및

는, 각각, 얼굴 영역의 좌측 경계 위치, 현재 비교 영역의 좌측 경계 위치, 얼굴 영역의 상부 경계 위치, 및 현재 비교 영역의 상부 경계 위치를 나타낸다. 가변 width는 얼굴 영역의 폭을 나타내고, height는 얼굴 영역의 높이를 나타내고, f(i,j)는, 자신의 좌표가, 현재 이미지 프레임에서의 얼굴 영역 내의 (i,j)인 픽셀의 그레이스케일 값을 나타내고, g(i,j)는, 자신의 좌표가 다음 이미지 프레임에서의 비교 영역 내의 (i,j)인 픽셀의 그레이스케일 값을 나타내고; x는 명시된 경험적 임계치를 나타내고, dis는 얼굴 영역과 비교 영역 사이의 유사도이다.

제1 사전 선택 모듈(1033)은, 다음 이미지 프레임에서 사전 결정된 요건을 충족하는 유사도를 갖는 비교 영역을, 다음 이미지 프레임에서의 제1 사전 선택된 영역으로서 사용하도록 구성된다.

장치에 포함되는 유사도 계산 모듈(1032)에 의해 사용되는 식은, 컴퓨터 판독가능 프로그램 언어, 예를 들면, C 언어를 사용하는 것에 의해 장치/모듈 상의 특정한 구현 프로세스에서 구현될 수 있거나, 또는 필요에 따라 소정의 하드웨어 구조를 사용하는 하드웨어 및 소프트웨어의 형태로 구현될 수 있다.

옵션적인 구현예에서, 제1 사전 선택 모듈(1033)에 의해 명시되는 사전 결정된 요건은, 얼굴 영역에 대해 가장 높은 유사도를 가지고 설정될 수도 있다. 따라서, 다른 구현예에서, 제1 사전 선택 모듈(1033)에서 사전 결정된 요건을 충족하는 유사도를 갖는 비교 영역은 다음을 포함할 수 있다:

다음 이미지 프레임에서의 비교 영역 중 가장 큰 유사도를 갖는 비교 영역.

상기 구현예에서, 비교 영역 모듈(1031)에 의해 명시되는 제1 스텝은, 본 출원에서의 얼굴 위치 추적 장치의 프로세싱 속도 또는 프로세싱 정확도에 대한 요건에 따라 설정될 수 있다. 본 출원에서의 장치의 구현예에서, 제1 스텝 사이즈의 값 범위는 두 픽셀 이상으로 설정될 수 있다.

본 출원은 또한 얼굴 위치 추적 장치의 바람직한 구현예를 제공할 수 있다. 도 8은, 본 출원의 다른 구현예에 따른, 사전 선택된 영역 계산 모듈의 모듈 구조를 예시하는 개략도이다. 도 8에서 도시되는 바와 같이, 사전 선택된 영역 계산 모듈(103)은 다음을 더 포함할 수 있다:

제1 사전 선택된 영역을 둘러싸는 제2 스텝 사이즈의 범위 내에서 얼굴 영역에 대해 가장 높은 유사도를 갖는 제2 사전 선택된 영역을 검색하도록 구성되는 제2 사전 선택 모듈(1034), 제2 스텝 사이즈는 상기 제1 스텝 사이즈보다 작음.

대응하여, 추적 결과 선택 모듈(104)이, 제1 사전 선택된 영역, 검출 모듈(101)에 의해 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여, 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하는 것은 다음을 포함한다: 추적 결과 선택 모듈(104)이, 제2 사전 선택된 영역, 검출 모듈(101)에 의해 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여, 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정한다.

이 구현예에서의 얼굴 위치 추적 장치에서는, 제1 사전 선택된 영역의 결과에 기초하여, 제1 스텝 사이즈보다 더 작은 제2 스텝 사이즈의 범위 내에서 더 정확한 검색이 수행될 수 있고, 더 정확한 추적 결과를 갖는 제2 사전 선택된 영역이 획득된다. 이와 같이, 빠른 검색 프로세싱이 구현될 수 있고, 얼굴 위치 추적의 정확도가 향상될 수 있고, 그에 의해, 얼굴 추적의 효율성을 향상시키게 된다.

도 9는, 본 출원의 구현예에 따른, 추적 결과 선택 모듈(104)의 모듈 구조를 예시하는 개략도이다. 도 9에서 도시되는 바와 같이, 추적 결과 선택 모듈(104)은 검출 및 계산 모듈(1041) 및 선택 모듈(1042)을 포함할 수 있다.

검출 및 계산 모듈(1041)은: 다음 이미지 프레임에서 얼굴 영역을 검출하도록, 그리고 다음 이미지 프레임에서의 얼굴 영역이 검출되는 경우 다음 이미지 프레임의 얼굴 영역과 제1 사전 선택된 영역 사이의 중첩의 계수(Q)를 계산하도록 구성된다. 이 구현예에서, 중첩 계수(Q)는, 얼굴 영역 또는 제1 사전 선택된 영역 중 어느 하나에서의 다음 이미지 프레임에서의 얼굴 영역과 제1 사전 선택된 영역 사이의 중첩 면적의 비율로서 나타내어질 수 있다.

선택 모듈(1042)은, 다음의 조건 중 적어도 하나가 충족될 때, 제1 사전 선택된 영역을, 다음 이미지 프레임의 얼굴 위치 추적 결과로서 사용하도록 구성된다: 다음 이미지 프레임으로부터 검출 및 계산 모듈(1041)에 의해 얼굴 영역이 검출되지 않음, 검출 및 계산 모듈(1041)에 의해 계산되는 중첩 계수가 0임, 또는 검출 및 계산 모듈(1041)에 의해 계산되는 중첩 계수가 사전 결정된 임계치 미만임. 또는, 선택 모듈(1042)은, 검출 및 계산 모듈(1041)에 의해 계산되는 중첩 계수가 사전 결정된 임계치 이상인 경우, 다음 이미지 프레임 내에 있으며 검출 모듈(101)에 의해 검출되는 얼굴 영역을, 다음 이미지 프레임의 얼굴 위치 추적 결과로서 사용하도록 구성된다.

이 구현예는 검출 결과 및 추적 결과로부터 최종 얼굴 위치 추적 결과를 선택하기 위한 솔루션을 제공한다. 본 출원의 이 구현예에서, 빠른 얼굴 움직임, 급격한 광 변화, 또는 강한 광 간섭과 같은 복잡한 환경에서, 얼굴 위치가 정확하고 신속하게 추적될 수 있다. 이 구현예에서, 이미지 프레임에서 프레임 손실이 발생하고 얼굴이 검출되지 않는 경우, 얼굴 위치가 여전히 추적 및 결정될 수 있고, 그 결과, 얼굴 위치의 연속적인 추적 효과가 구현되어 원활한 얼굴 추적을 보장할 수 있다. 프레임 손실이 발생하지 않더라도, 얼굴 추적의 효율성 및 유저 경험을 향상시키도록, 사전 결정된 선택 규칙에 기초하여 이미지 프레임에서의 추적 결과와 검출 결과 사이에서 더 적합한 영역이 얼굴 위치 추적 결과로서 선택될 수 있다.

본 출원의 얼굴 위치 추적 방법 또는 장치는 더 빠르고, 정확하며, 원활한 얼굴 위치 추적을 수행하기 위해 다수의 단말 디바이스에 적용될 수 있다. 예를 들면, 이러한 디바이스는, 비디오 카메라 디바이스, 모니터링 디바이스, 및 안드로이드 시스템 또는 iOS 시스템에 기초한 이동 통신 단말의 연속적인 이미지 프레임에 대한 얼굴 위치 추적 디바이스를 포함할 수 있다. 따라서, 본 출원은 또한 얼굴 위치 추적 전자 디바이스를 제공하며, 전자 디바이스는, 비디오 이미지 프레임을 검출 및 획득하기 위한 카메라 장치, 비디오 재생을 위한 디스플레이, 정보 데이터 프로세싱을 위한 프로세싱 유닛, 등등을 포함할 수 있다. 구체적으로, 도 10은 본 출원의 구현예에 따른, 얼굴 위치 추적 전자 장치를 예시하는 개략적인 구조도이다. 도 10에서 도시되는 바와 같이, 전자 디바이스는 다음을 포함할 수 있다:

프로세싱되도록 대기 중인 현재 이미지 프레임을 획득하도록 구성되는 정보 획득 유닛(1);

프로세싱 유닛(2) - 프로세싱 유닛(2)은: 현재 이미지 프레임에서 얼굴 영역을 검출하도록; 현재 이미지 프레임에서의 검출된 얼굴 영역에 기초하여 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 계산하고, 사전 결정된 요건을 충족하는 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역에 대해 예측 영역을 검색하도록; 그리고 제1 사전 선택된 영역, 프로세싱 유닛에 의해 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하도록 구성됨 - ; 및

프로세싱 유닛(2)에 의해 획득되는 얼굴 위치 추적 결과를 디스플레이하도록 구성되는 디스플레이 유닛(3).

본 출원의 전자 디바이스의 정보 획득 유닛(1)은, 모바일 단말의 전방 카메라, 후방 카메라, 또는 모니터링 카메라 장치를 포함할 수 있다. 다른 응용 시나리오에서, 실시간으로 획득되는 또는 이전에 획득된 이미지 정보 데이터를 컴퓨터가 프로세싱하는 구현예가 또한 포함되는데, 예를 들면, 컴퓨터는 비디오 정보에 대해 얼굴 위치 추적 프로세싱을 수행한다. 프로세싱 유닛(2)은, 중앙 프로세싱 유닛(central processing unit; CPU)을 포함할 수 있고, 물론, 로직 프로세싱 성능을 갖는 단일 칩 마이크로컴퓨터, 로직 게이트 회로, 집적 회로, 등등을 더 포함할 수 있다. 디스플레이 유닛(3)은 일반적으로 디스플레이, 모바일 단말 디스플레이 스크린, 프로젝션 디바이스, 등등을 포함할 수 있다.

비록 본 출원의 내용에서는, 얼굴 검출 방법, 모듈 유닛 사이의 데이터 교환과 같은 데이터 프로세싱, 및 정보 디스플레이가 설명되지만, 본 출원은 표준 또는 본 구현예에서 언급되는 데이터 프로세싱 및 정보 디스플레이로 제한되는 것은 아니다. 본 출원의 구현예에서의 상기 설명은 단지 본 출원의 몇몇 구현예의 적용에 불과하고, 몇몇 표준 및 방법에 기초하여 약간 수정되는 프로세싱 방법도 또한 본 출원의 구현예에서 솔루션을 구현하기 위해 사용될 수 있다. 물론, 본 출원의 구현예에서의 프로세싱 방법의 단계에 따른 다른 비 창조적인 변경도 동일한 애플리케이션을 구현하는 데 여전히 사용될 수 있다. 세부 사항은 여기서는 설명되지 않는다.

비록 본 출원이 구현예 또는 흐름도에서 방법의 동작 단계를 제공하지만, 방법은, 종래의 또는 비 창조적인 노력에 기초한 더 많은 또는 더 적은 동작 단계를 포함할 수 있다. 구현예에서 열거되는 단계의 시퀀스는 단계의 실행 시퀀스 중 하나에 불과하며, 고유한 실행 시퀀스를 나타내는 것은 아니다. 방법이 실제 응용에서 장치 또는 클라이언트 제품에 의해 실행될 때, 방법은 구현예 또는 첨부의 도면에서의 방법의 시퀀스에 기초하여 실행될 수 있거나 또는 병렬로(예를 들면, 병렬 프로세서 또는 멀티스레드 프로세싱 환경에서) 실행될 수 있다.

상기 구현예에서 설명되는 유닛 또는 모듈은 구체적으로 컴퓨터 칩 또는 엔티티에 의해 구현될 수 있거나, 또는 소정의 기능을 갖는 제품에 의해 구현될 수 있다. 설명의 편의상, 상기 장치 및 디바이스는 다양한 모듈 및 다양한 유닛을 사용하는 것에 의해 설명된다. 물론, 본 출원의 구현 동안, 다수의 모듈의 기능은 소프트웨어 및/또는 하드웨어의 하나 이상의 조각(piece), 예를 들면, 제1 사전 선택 모듈 및 제2 사전 선택 모듈에서 구현될 수 있거나, 또는 동일한 기능을 구현하는 모듈은 다수의 서브모듈 또는 서브유닛의 조합을 사용하여 구현될 수 있다.

기술 분야의 숙련된 자는 또한, 컴퓨터 판독가능 프로그램 코드를 사용하는 것에 의해 컨트롤러를 구현하는 것 이외에, 컨트롤러가 로직 게이트, 스위치, 전용 집적 회로, 프로그래머블 로직 컨트롤러, 및 임베딩된 마이크로컨트롤러의 형태로 동일한 기능을 구현하는 것을 가능하게 하기 위해, 방법 단계에 대해 로직 프로그래밍이 수행될 수 있다는 것을 알고 있다. 따라서, 컨트롤러는 하드웨어 컴포넌트로서 간주될 수 있고, 컨트롤러에 포함되며 다양한 기능을 구현하기 위해 사용되는 장치도 하드웨어 컴포넌트에서의 구조체로서 또한 간주될 수 있다. 또는, 다양한 기능을 구현하기 위한 장치는, 심지어, 방법을 구현하기 위한 소프트웨어 모듈 및 하드웨어 컴포넌트에서의 구조체 둘 다로서 간주될 수 있다.

본 출원은 C 언어와 같은, 컴퓨터에 의해 실행되는 컴퓨터 실행 가능 명령어, 또는 안드로이드 설계 플랫폼 또는 iOS 설계 플랫폼에 기초한 프로그램 모듈의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈은, 특정한 태스크를 실행하는 또는 특정한 추상 데이터 타입을 구현하기 위한 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조, 타입, 또는 등등을 포함한다. 본 출원은 또한, 통신 네트워크를 사용하는 것에 의해 연결되는 원격 프로세싱 디바이스에 의해 태스크가 실행되는 분산 컴퓨팅 환경에도 적용될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 스토리지 디바이스를 포함하는 로컬 및 원격 컴퓨터 저장 매체에 위치될 수 있다.

상기의 구현예의 설명으로부터, 기술 분야의 숙련된 자는, 필수적인 범용 하드웨어 플랫폼에 부가하여, 본 출원이 소프트웨어를 사용하는 것에 의해 구현될 수 있다는 것을 명확히 이해할 수 있다는 것을 알 수 있다. 이러한 이해에 기초하여, 본질적으로 본 출원에서의 기술적 솔루션, 또는 종래 기술에 기여하는 부분은, 소프트웨어 제품의 형태로 구현될 수 있다. 소프트웨어 제품은, ROM/RAM, 자기 디스크, 또는 광학 디스크와 같은 저장 매체에 저장될 수 있고, 컴퓨터 디바이스(이것은 퍼스널 컴퓨터, 모바일 단말, 서버, 또는 네트워크 디바이스일 수 있음)에게 본 출원의 구현예에서 또는 구현예의 몇몇 부분에서 설명되는 방법을 수행할 것을 지시하기 위한 여러가지 명령어를 포함한다.

본 명세서의 구현예는 모두 점진적인 방식으로 설명된다. 구현예에서 동일한 또는 유사한 부분의 경우, 이들 구현예에 대해 참조가 이루어질 수 있고, 각각의 구현예는 다른 구현예와의 차이에 초점을 맞춘다. 본 출원은 많은 범용 또는 전용 컴퓨터 시스템 환경 또는 구성, 예를 들면, 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 디바이스 또는 휴대용 디바이스, 태블릿 디바이스, 이동 통신 단말, 멀티프로세서 시스템, 마이크로프로세서 시스템, 프로그래머블 전자 디바이스, 네트워크 PC, 소형 컴퓨터, 메인프레임 컴퓨터, 및 상기 시스템 또는 디바이스 중 임의의 것을 포함하는 분산 컴퓨팅 환경에 적용될 수 있다.

비록 본 출원이 구현예를 사용하는 것에 의해 묘사되지만, 본 출원은 본 출원의 취지를 벗어나지 않으면서 많은 변형예 및 변경예를 가지며, 첨부된 청구범위는 본 출원의 취지를 벗어나지 않는 이들 변형예 및 변경예를 포함한다는 것을 기술 분야에서 통상의 기술을 가진 자는 알고 있다.

Claims (17)

1. 얼굴 위치 추적 방법으로서,
   현재 이미지 프레임에서 얼굴 영역을 획득하는 단계;
   상기 현재 이미지 프레임에서의 상기 얼굴 영역에 기초하여 상기 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 결정하는 단계;
   사전 결정된 요건을 충족하는 상기 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역에 대해 상기 예측 영역을 검색하는 단계; 및
   상기 다음 이미지 프레임에서 얼굴 영역을 검출하고, 상기 제1 사전 선택된 영역, 상기 다음 이미지 프레임에서 상기 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 상기 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하는 단계
   를 포함하는, 얼굴 위치 추적 방법.
2. 제1항에 있어서,
   사전 결정된 요건을 충족하는 상기 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역에 대해 상기 예측 영역을 검색하는 단계는:
   상기 얼굴 영역의 비교 영역을 획득하기 위해 제1 이동 스텝에 기초하여 상기 예측 영역을 횡단하는 단계;
   상기 얼굴 영역과 상기 비교 영역 사이의 유사도를 계산하는 단계; 및
   상기 다음 이미지 프레임에서 상기 사전 결정된 요건을 충족하는 유사도를 갖는 비교 영역을, 상기 다음 이미지 프레임에서의 상기 제1 사전 선택된 영역으로서 사용하는 단계
   를 포함하는 것인, 얼굴 위치 추적 방법.
3. 제2항에 있어서,
   상기 얼굴 영역과 상기 비교 영역 사이의 상기 유사도는 다음의 식:
   

   

   
   을 사용하는 것에 의해 계산되고,
   상기 식에서,

   

   ,

   

   ,

   

   및

   

   는, 각각, 상기 얼굴 영역의 좌측 경계 위치, 현재 비교 영역의 좌측 경계 위치, 상기 얼굴 영역의 상부 경계 위치, 및 상기 현재 비교 영역의 상부 경계 위치를 나타내고; width는 상기 얼굴 영역의 폭을 나타내고, height는 상기 얼굴 영역의 높이를 나타내고, f(i,j)는, 자신의 좌표가, 상기 현재 이미지 프레임에서의 상기 얼굴 영역 내의 (i,j)인 픽셀의 그레이스케일 값을 나타내고, g(i,j)는, 자신의 좌표가 상기 다음 이미지 프레임에서의 비교 영역 내의 (i,j)인 픽셀의 그레이스케일 값을 나타내고; x는 명시된 경험적 임계치를 나타내고, dis는 상기 얼굴 영역과 상기 비교 영역 사이의 유사도인 것인, 얼굴 위치 추적 방법.
4. 제2항에 있어서,
   상기 사전 결정된 요건을 충족하는 유사도를 갖는 상기 비교 영역은:
   상기 다음 이미지 프레임에서의 비교 영역 중 가장 큰 유사도를 갖는 비교 영역을 포함하는 것인, 얼굴 위치 추적 방법.
5. 제2항에 있어서,
   상기 제1 이동 스텝의 값 범위는 2 픽셀 이상인 것인, 얼굴 위치 추적 방법.
6. 제2항 내지 제5항 중 어느 한 항에 있어서,
   상기 제1 사전 선택된 영역을 둘러싸는 제2 스텝 사이즈 - 상기 제2 스텝 사이즈는 상기 제1 스텝 사이즈보다 더 작음 - 의 범위 내에서 상기 얼굴 영역에 대해 가장 높은 유사도를 갖는 제2 사전 선택된 영역을 검색하는 단계; 및
   대응하여, 상기 제1 사전 선택된 영역, 상기 다음 이미지 프레임에서 상기 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 상기 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하는 단계는: 상기 제2 사전 선택된 영역, 상기 다음 이미지 프레임에서 상기 얼굴 영역을 검출하는 상기 결과, 및 상기 사전 결정된 선택 규칙에 기초하여 상기 다음 이미지 프레임의 상기 얼굴 위치 추적 결과를 결정하는 단계
   를 더 포함하는, 얼굴 위치 추적 방법.
7. 제1항에 있어서,
   상기 제1 사전 선택된 영역, 상기 다음 이미지 프레임에서 상기 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 상기 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하는 단계는:
   상기 다음 이미지 프레임에서 상기 얼굴 영역을 검출하는 상기 결과가, 얼굴 영역이 검출되지 않았을 때, 상기 제1 사전 선택된 영역을, 상기 다음 이미지 프레임의 상기 얼굴 위치 추적 결과로서 사용하는 단계;
   상기 다음 이미지 프레임에서의 상기 검출된 얼굴 영역과 상기 제1 사전 선택된 영역 사이의 중첩의 계수가 0일 때, 상기 제1 사전 선택된 영역을, 상기 다음 이미지 프레임의 상기 얼굴 위치 추적 결과로서 사용하는 단계;
   상기 다음 이미지 프레임에서의 상기 검출된 얼굴 영역과 상기 제1 사전 선택된 영역 사이의 상기 중첩의 상기 계수가 사전 결정된 임계치보다 더 작을 때, 상기 제1 사전 선택된 영역을, 상기 다음 이미지 프레임의 상기 얼굴 위치 추적 결과로서 사용하는 단계; 또는
   상기 다음 이미지 프레임에서의 상기 검출된 얼굴 영역과 상기 제1 사전 선택된 영역 사이의 상기 중첩의 상기 계수가 상기 사전 결정된 임계치 이상일 때, 상기 다음 이미지 프레임에서의 상기 검출된 얼굴 영역을, 상기 다음 이미지 프레임의 상기 얼굴 위치 추적 결과로서 사용하는 단계
   를 포함하는 것인, 얼굴 위치 추적 방법.
8. 제1항에 있어서,
   현재 이미지 프레임에서 얼굴 영역을 획득하는 단계는:
   상기 현재 이미지 프레임으로부터 적어도 두 개의 얼굴이 검출되었을 때, 상기 현재 이미지 프레임에서 가장 큰 면적을 갖는 얼굴에 대응하는 영역을 상기 현재 이미지 프레임에서의 상기 얼굴 영역으로서 선택하는 단계를 포함하는 것인, 얼굴 위치 추적 방법.
9. 얼굴 위치 추적 장치로서:
   현재 이미지 프레임에서 얼굴 영역을 검출하도록 구성되는 검출 모듈;
   상기 현재 이미지 프레임 내에 있으며 상기 검출 모듈에 의해 검출되는 상기 얼굴 영역에 기초하여 상기 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 계산하도록 구성되는 예측 영역 계산 모듈;
   사전 결정된 요건을 충족하는 상기 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역에 대해 상기 예측 영역을 검색하도록 구성되는 사전 선택된 영역 계산 모듈; 및
   상기 제1 사전 선택된 영역, 상기 검출 모듈에 의해 상기 현재 이미지 프레임의 상기 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여, 상기 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하도록 구성되는 추적 결과 선택 모듈
   을 포함하는, 얼굴 위치 추적 장치.
10. 제9항에 있어서,
    상기 사전 선택된 영역 계산 모듈은:
    상기 얼굴 영역의 비교 영역을 획득하기 위해 명시된 제1 스텝에 기초하여 상기 예측 영역을 횡단하도록 구성되는 비교 영역 모듈;
    상기 얼굴 영역과 상기 비교 영역 사이의 유사도를 계산하도록 구성되는 유사도 계산 모듈; 및
    상기 다음 이미지 프레임에서 상기 사전 결정된 요건을 충족하는 유사도를 갖는 비교 영역을, 상기 다음 이미지 프레임에서의 상기 제1 사전 선택된 영역으로서 사용하도록 구성되는 제1 사전 선택 모듈
    을 포함하는 것인, 얼굴 위치 추적 장치.
11. 제10항에 있어서,
    상기 얼굴 영역과 상기 비교 영역 사이의 상기 유사도는 다음의 식:
    

    

    
    을 사용하는 것에 의해 계산되고,
    상기 식에서,

    

    ,

    

    ,

    

    및

    

    는, 각각, 상기 얼굴 영역의 좌측 경계 위치, 현재 비교 영역의 좌측 경계 위치, 상기 얼굴 영역의 상부 경계 위치, 및 상기 현재 비교 영역의 상부 경계 위치를 나타내고; width는 상기 얼굴 영역의 폭을 나타내고, height는 상기 얼굴 영역의 높이를 나타내고, f(i,j)는, 자신의 좌표가, 상기 현재 이미지 프레임에서의 상기 얼굴 영역 내의 (i,j)인 픽셀의 그레이스케일 값을 나타내고, g(i,j)는, 자신의 좌표가 상기 다음 이미지 프레임에서의 비교 영역 내의 (i,j)인 픽셀의 그레이스케일 값을 나타내고; x는 명시된 경험적 임계치를 나타내고, dis는 상기 얼굴 영역과 상기 비교 영역 사이의 유사도인 것인, 얼굴 위치 추적 장치.
12. 제10항에 있어서,
    상기 제1 사전 선택 모듈에서 상기 사전 결정된 요건을 충족하는 유사도를 갖는 상기 비교 영역은:
    상기 다음 이미지 프레임에서의 비교 영역 중 가장 큰 유사도를 갖는 비교 영역을 포함하는 것인, 얼굴 위치 추적 장치.
13. 제10항에 있어서,
    상기 제1 이동 스텝의 값 범위는 2 픽셀 이상인 것인, 얼굴 위치 추적 장치.
14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 사전 선택된 영역 계산 모듈은:
    상기 제1 사전 선택된 영역을 둘러싸는 제2 스텝 사이즈 - 상기 제2 스텝 사이즈는 상기 제1 스텝 사이즈보다 작음 - 의 범위 내에서 상기 얼굴 영역에 대해 가장 높은 유사도를 갖는 제2 사전 선택된 영역을 검색하도록 구성되는 제2 사전 선택 모듈을 더 포함하고;
    대응하여, 상기 추적 결과 선택 모듈이, 상기 제1 사전 선택된 영역, 상기 검출 모듈에 의해 상기 현재 이미지 프레임의 상기 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여, 상기 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하는 것은: 상기 추적 결과 선택 모듈이, 상기 제2 사전 선택된 영역, 상기 검출 모듈에 의한 상기 현재 이미지 프레임의 상기 다음 이미지 프레임에서 상기 얼굴 영역을 검출하는 상기 결과, 및 상기 사전 결정된 선택 규칙에 기초하여, 상기 다음 이미지 프레임의 상기 얼굴 위치 추적 결과를 결정하는 것을 포함하는 것인, 얼굴 위치 추적 장치.
15. 제9항에 있어서,
    상기 추적 결과 선택 모듈은:
    상기 다음 이미지 프레임에서 상기 얼굴 영역을 검출하도록, 그리고 상기 다음 이미지 프레임에서의 상기 얼굴 영역이 검출되었을 때 상기 다음 프레임의 얼굴 영역과 상기 제1 사전 선택된 영역 사이의 중첩의 계수를 계산하도록 구성되는 검출 및 계산 모듈; 및
    다음의 조건, 상기 검출 및 계산 모듈에 의해 상기 다음 이미지 프레임으로부터 얼굴 영역이 검출되지 않음, 상기 검출 및 계산 모듈에 의해 계산되는 상기 중첩 계수가 0임, 또는 상기 검출 및 계산 모듈에 의해 계산되는 상기 중첩 계수가 사전 결정된 임계치보다 더 작음 중 적어도 하나가 충족될 때, 상기 제1 사전 선택된 영역을 상기 다음 이미지 프레임의 상기 얼굴 위치 추적 결과로서 사용하도록; 또는 상기 검출 및 계산 모듈에 의해 계산되는 상기 중첩 계수가 상기 사전 결정된 임계치 이상일 때, 상기 다음 이미지 프레임 내에 있으며 상기 검출 모듈에 의해 검출되는 상기 얼굴 영역을 상기 다음 이미지 프레임의 상기 얼굴 위치 추적 결과로서 사용하도록 구성되는 선택 모듈
    을 포함하는 것인, 얼굴 위치 추적 장치.
16. 제9항에 있어서,
    상기 검출 모듈이 현재 이미지 프레임에서 얼굴 영역을 검출하는 것은:
    상기 현재 이미지 프레임으로부터 적어도 두 개의 얼굴이 검출되었을 때, 상기 현재 이미지 프레임에서 가장 큰 면적을 갖는 얼굴에 대응하는 영역을 상기 현재 이미지 프레임에서의 상기 얼굴 영역으로서 선택하는 것을 포함하는 것인, 얼굴 위치 추적 장치.
17. 얼굴 위치 추적 전자 디바이스로서,
    프로세싱되도록 대기 중인 현재 이미지 프레임을 획득하도록 구성되는 정보 획득 유닛;
    프로세싱 유닛 - 상기 프로세싱 유닛은: 상기 현재 이미지 프레임에서 얼굴 영역을 검출하도록; 상기 현재 이미지 프레임에서의 상기 검출된 얼굴 영역에 기초하여 상기 현재 이미지 프레임의 다음 이미지 프레임에서 얼굴을 포함하는 예측 영역을 계산하고, 사전 결정된 요건을 충족하는 상기 얼굴 영역에 대한 유사도를 갖는 제1 사전 선택된 영역에 대해 상기 예측 영역을 검색하도록; 상기 제1 사전 선택된 영역, 상기 프로세싱 유닛에 의해 상기 현재 이미지 프레임의 상기 다음 이미지 프레임에서 얼굴 영역을 검출하는 결과, 및 사전 결정된 선택 규칙에 기초하여 상기 다음 이미지 프레임의 얼굴 위치 추적 결과를 결정하도록 구성됨 - ; 및
    상기 프로세싱 유닛에 의해 획득되는 상기 얼굴 위치 추적 결과를 디스플레이하도록 구성되는 디스플레이 유닛
    을 포함하는, 얼굴 위치 추적 전자 디바이스.

Images