KR102604424B1 - 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치 및 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 물리적 기록매체 - Google Patents

Abstract

본 발명에 따른 영상처리 방법은, 2차원 얼굴 영상으로부터 2차원 제1 특징점을 추출하는 단계, 표준 얼굴의 기하학적 모델에 기초하여, 2차원 제1 특징점에 상응하는 3차원 제1 특징점을 포함하는 3차원 특징점 집합을 도출하는 단계, 3차원 특징점 집합을 포함하는 3차원 얼굴 모델을 생성하는 단계, 입력되는 2차원 얼굴 영상의 포즈를 추정하여 3차원 특징점 집합의 갱신 여부를 결정하는 단계, 결정된 갱신 여부에 따라 3차원 제1 특징점을 2차원 제1 특징점에 따라 재배치하여 3차원 특징점 집합을 갱신하는 단계, 및 3차원 얼굴 모델을 2차원 얼굴 영상에 투영하는 단계를 포함한다. 본 발명은 영상처리 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한, 컴퓨터로 읽을 수 있는 물리적 기록매체를 포함한다.

Description

표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치 및 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 물리적 기록매체

본 발명의 다양한 실시 예들은 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치 및 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 물리적 기록매체와 관련된다.

실시간으로 입력되는 영상에서 얼굴을 탐지하고 추적하는 기술은 오랫동안 연구되어 왔다. 최근에는 이러한 기술을 이용한 다양한 서비스들이 출시되어 이용되고 있다. 예를 들어, 스마트 폰의 카메라로부터 취득된 사용자의 얼굴을 증강현실(Augmented Reality) 아바타로 바꾸어 보여주는 서비스, 얼굴을 인식하여 스마트 폰의 잠금을 해제하거나 다양한 인증에 활용하는 서비스, 얼굴의 표정을 인식하여 웃는 표정을 지었을 때 사진을 촬영하는 서비스 등이 제공되고 있다.

이러한 서비스를 구현하기 위해서는 일반적으로 얼굴을 검출(Face detection) 및 추적(Face tracking)하고 얼굴의 특징점을 검출(Facial Landmark Detection)하는 기술들이 필요하다.

일반적으로 얼굴의 특징점 검출은 기계학습을 이용하여 구현되는데, 이때 얼굴 특징점에 대해 어노테이션(Annotation)을 수행한 학습용 얼굴 데이터가 필요하다. 어노테이션을 수행한다는 것은, 데이터를 표기한다거나 주석 작업을 수행한다고도 한다. 데이터 표기, 주석 작업, 또는 어노테이션은, 데이터에 대하여 메타데이터(metadata)를 추가하거나 데이터의 특정 부분에 레이블링(labeling) 하는 등의 작업을 포함할 수 있다. 본 명세서에서는 데이터 표기 또는 주석 작업을 얼굴 특징점을 표기하는 것이라고 설명하며, 얼굴 영상의 특정한 위치(예를 들어 눈, 코, 귀, 입 등)에 특징점을 표기 또는 표시하는 것을 일컫는다.

기계학습을 위해 사용될 얼굴 데이터에서 특징점의 위치와 개수는 어플리케이션의 기능에 따라 다양할 수 있다. 예를 들어, 얼굴의 눈, 코, 그리고 입의 위치가 필요한 어플리케이션에 대해서는 눈, 코 및 입의 위치에 수 개에서 수십 개의 특징점을 표기한 얼굴 데이터가 필요하다. 이와는 달리, 턱선을 포함한 얼굴 전체와 입 모양이 필요한 어플리케이션에 대해서는 얼굴 전체의 세밀한 부분을 표현할 수 있는 수십 개에서 수백 개의 특징점을 표기한 얼굴 데이터가 필요할 수 있다.

따라서, 어플리케이션이 제공하는 기능에 따라서 상이한 특징점의 위치와 개수를 미리 정의한 후에 다량의 얼굴 데이터를 모으고 특징점을 표기하는 작업을 통해 학습 데이터를 수집한다. 이로 인해, 어플리케이션의 기능이 조금만 바뀌어도 새로운 학습 데이터를 수집해야 하는 번거로움이 있다.

본 발명은 획득한 2차원 얼굴 영상에서 추출하지 못한 특징점을 표준 얼굴의 기하학적 모델에 기초하여 추정함에 따라, 추정하고자 하는 특징점이 표기(Annotation)되지 않은 얼굴 데이터를 이용해 기계학습을 한 경우에도, 해당 특징점 추정을 수행할 수 있는 영상 처리장치 및 영상 처리방법을 수행하기 위한 프로그램이 저장된 물리적 기록매체를 제공한다.

본 발명은 어플리케이션에서 요구하는 종류의 특징점 정보를 포함하는 영상 데이터가 없는 경우에도, 표준 얼굴의 기하학적 모델에 기초하여 특징점을 추정할 수 있기 때문에 다양한 종류의 어플리케이션에 적용될 수 있는 영상 처리방법을 수행하기 위한 프로그램이 저장된 물리적 기록매체 및 영상 처리장치를 제공한다.

본 발명은 2차원 얼굴 영상에 대하여 표준 얼굴 모델을 기반으로 하여 얼굴 특징점을 추정하는 영상 처리를 수행하는 컴퓨터가 읽을 수 있는 물리적 기록매체에 대해, 아래의 단계들을 실행시키기 위한 프로그램이 기록된 것을 포함한다. 상기 프로그램은 2차원 얼굴 영상으로부터 2차원 제1 특징점을 추출하는 단계, 표준 얼굴의 기하학적 모델에 기초하여, 상기 2차원 제1 특징점에 상응하는 3차원 제1 특징점을 포함하는 3차원 특징점 집합을 도출하는 단계, 상기 2차원 얼굴 영상의 포즈를 추정하여 상기 3차원 특징점 집합의 갱신 여부를 결정하는 단계, 상기 결정된 갱신 여부에 따라 상기 3차원 제1 특징점을 상기 2차원 제1 특징점에 따라 재배치함에 따라 상기 3차원 특징점 집합을 갱신하는 단계, 및 상기 3차원 얼굴 모델을 상기 2차원 얼굴 영상에 투영하는 단계를 포함한다.

일 실시예에 있어서, 상기 3차원 특징점 집합은, 상기 3차원 제1 특징점과 상이한 특징점을 정의하는 3차원 제2 특징점을 포함할 수 있다.

일 실시예에 있어서, 상기 3차원 특징점 집합의 갱신 여부를 결정하는 단계는, 상기 2차원 얼굴 영상 포즈(pose)의 피치(pitch) 및 요(yaw)에 기초하여 3차원 특징점 집합의 갱신 여부를 결정할 수 있다.

일 실시예에 있어서, 상기 3차원 특징점 집합을 갱신하는 단계는, 상기 3차원 제1 특징점을 2차원 평면에 투영하여 2차원 제2 특징점을 도출하는 단계, 상기 2차원 제2 특징점과 상기 2차원 제1 특징점의 유사성에 기초하여 상기 2차원 제2 특징점을 상기 2차원 제1 특징점에 상응하도록 재배치함에 따라 2차원 제3 특징점을 도출하는 단계, 상기 2차원 제3 특징점에 기초하여 상기 3차원 특징점 집합을 갱신하는 단계, 및 상기 갱신된 3차원 특징점 집합에 기초하여 상기 3차원 얼굴 모델을 생성하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 2차원 제3 특징점을 도출하는 단계는, 상기 2차원 제1 특징점으로부터 상기 2차원 제2 특징점으로의 유사 변환을 산출하는 단계, 및 상기 2차원 제1 특징점과 상기 유사 변환에 대한 벡터 내적을 통해 상기 2차원 제3 특징점을 도출하는 단계를 포함할 수 있다.

본 발명에 따른 상기 프로그램은 상기 2차원 제3 특징점과 표준 얼굴의 기하학적 모델에 기초하여 상기 3차원 얼굴 모델을 생성하는 단계를 더 수행할 수 있다.

일 실시예에 있어서, 상기 표준 얼굴의 기하학적 모델은, 눈, 코, 입 및 귀들 중 적어도 둘 이상의 사이의 거리 정보를 포함할 수 있다.

실시예에 따라, 본 발명에 따른 프로그램은, 2차원 평면의 얼굴 중심선을 기준으로 마주보는 두 개의 2차원 제3 특징점들에 대해서, 해당 2차원 제3 특징점과 그에 상응하는 2차원 제2 특징점 사이의 거리 차이가 작은 하나의 2차원 제3 특징점을 선택하는 단계, 및 상기 선택된 하나의 2차원 제3 특징점을 상기 얼굴 중심선을 기준으로 대칭시켜 다른 하나의 2차원 제3 특징점을 대체하는 단계를 더 수행할 수 있다.

2차원 얼굴 영상에 대하여 3차원 얼굴 모델을 적용하는 컴퓨터에 대하여, 아래의 단계를 수행하기 위해 상기 컴퓨터로 읽을 수 있는 물리적 기록매체에 프로그램이 기록될 수 있다. 프로그램이 기록된 물리적 기록매체와 물리적 기록매체에 기록된 프로그램은 모두 본 발명의 범위에 속할 수 있다. 상기 프로그램은 2차원 얼굴 영상으로부터 2차원 제1 특징점을 추출하는 단계, 표준 얼굴의 기하학적 모델에 기초하여, 상기 2차원 제1 특징점에 상응하는 3차원 제1 특징점을 포함하는 3차원 특징점 집합을 도출하는 단계, 상기 3차원 제1 특징점을 2차원 평면에 투영하여 2차원 제2 특징점으로 도출하는 단계, 상기 2차원 제2 특징점과 상기 2차원 제1 특징점의 유사성에 기초하여 상기 2차원 제2 특징점을 2차원 제3 특징점으로 재배치하는 단계, 및 상기 2차원 제3 특징점에 기초하여 상기 3차원 특징점 집합을 재도출하는 단계를 실행한다.

일 실시예에 있어서, 상기 물리적 기록매체에 기록된 프로그램은 상기 3차원 특징점 집합을 상기 2차원 얼굴 영상에 투영하는 단계를 실행할 수 있다.

일 실시예에 있어서, 상기 물리적 기록매체에 기록된 프로그램은 상기 3차원 특징점 집합 중 적어도 하나의 특징점에 대해 시각적 객체를 표시하는 단계를 수행할 수 있다.

일 실시예에 있어서, 상기 3차원 특징점 집합은, 상기 3차원 제1 특징점과 상이한 3차원 제2 특징점을 포함하며, 상기 2차원 제3 특징점에 기초하여 상기 3차원 특징점 집합을 재도출하는 단계는, 상기 2차원 제3 특징점에 대하여 상기 3차원 제1 특징점의 z좌표를 삽입하는 단계, 및 상기 z좌표가 삽입된 3차원 제3 특징점에 대해 표준 얼굴의 기하학적 모델에 기초하여 3차원 제4 특징점을 도출하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 물리적 기록매체에 기록된 프로그램은 상기 3차원 제2 특징점을 선정하기 위한 입력을 수신하는 단계를 더 수행할 수 있다.

일 실시예에 있어서, 상기 2차원 제2 특징점과 상기 2차원 제1 특징점의 유사성에 기초하여 상기 2차원 제2 특징점을 2차원 제3 특징점으로 재배치하는 단계는, 상기 2차원 제1 특징점으로부터 상기 2차원 제2 특징점으로의 유사 변환을 산출하는 단계, 및 상기 2차원 제1 특징점과 상기 유사 변환에 대한 벡터 내적을 통해 상기 2차원 제3 특징점을 도출하는 단계를 포함할 수 있다.

본 발명에 따른 영상 처리장치는, 2차원 얼굴 영상으로부터 2차원 제1 특징점을 추출하고, 상기 2차원 얼굴 영상에 대하여 3차원 얼굴 모델을 투영하는 2차원 영상 처리부, 표준 얼굴의 기하학적 모델에 기초하여, 상기 2차원 제1 특징점에 상응하는 3차원 제1 특징점을 포함하는 3차원 특징점 집합을 도출하는 3차원 모델 생성부, 및 상기 2차원 얼굴 영상에 기초하여 상기 3차원 특징점 집합의 갱신여부를 결정하고, 상기 3차원 모델 생성부에 대하여 상기 3차원 제1 특징점 및 상기 2차원 제1 특징점을 비교하여 상기 3차원 특징점 집합을 선택적으로 갱신하도록 제어하는 제어부를 포함할 수 있다.

일 실시예에 있어서, 상기 3차원 모델 생성부는, 상기 3차원 상기 3차원 제1 특징점과 상이한 3차원 제2 특징점을, 상기 표준 얼굴의 기하학적 모델에 기초하여 산출하여 상기 3차원 특징점 집합을 생성할 수 있다.

일 실시예에 있어서, 상기 3차원 모델 생성부는, 상기 3차원 제1 특징점을 2차원 평면에 투영하여 2차원 제2 특징점으로 정의하고, 상기 2차원 제1 특징점으로부터 상기 2차원 제2 특징점으로의 유사변환에 기초하여 상기 2차원 제2 특징점을 2차원 제3 특징점으로 재배치하며, 상기 재배치된 2차원 제3 특징점에 기초하여 상기 3차원 특징점 집합을 갱신할 수 있다.

본 문서에 개시되는 다양한 실시 예들에 따르면, 2차원 얼굴 영상으로부터 획득한 특징점에 기초하여 표준 얼굴의 기하학적 모델을 통해 부가적인 특징점들을 도출하여 3차원 얼굴 모델을 생성한다. 이에 따라 얼굴의 특정 위치에 대한 특징점이 표기(Annotation)되지 않은 얼굴 데이터로 학습이 된 경우에도 얼굴의 특정 부분의 위치 정보를 추정할 수 있다. 따라서 상이한 목적을 가진 어플리케이션에 대해서도 적응적으로 기존의 데이터를 토대로 특정 얼굴 부위의 특징점 위치를 추정할 수 있다.

본 문서에 개시되는 다양한 실시 예들에 따르면, 기계학습을 위한 데이터를 확보할 때에 유연성을 제공할 수 있는 영상처리 장치 및 영상처리 방법을 수행하기 위한 프로그램이 기록된 물리적 기록매체를 제공할 수 있다. 본 발명에 따라 특징점을 추정하는 경우에는 기존의 얼굴 데이터에 표기된 특징점 이외에도 추정된 특징점을 추가할 수 있는 데이터 증강 서비스 등을 제공할 수 있기 때문에 더욱 풍부한 데이터 확보가 가능해질 수 있다.

아울러 본 문서에 개시되는 다양한 실시 예들은 예시를 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리방법과 영상 처리장치에서 수행하는 영상 처리를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리방법을 수행하는 영상 처리장치의 예시적인 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리방법을 설명하는 도면이다.
도 4는 3차원 제2 특징점을 도출하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 생성된 3차원 특징점 집합을 2차원에 투영하여 제공되는 어플리케이션 화면을 예시적으로 나타내는 도면이다.

이하, 첨부한 도면을 참조하여 본 발명의 다양한 실시 예들에 대해 상세히 설명하고자 한다. 본 문서에서 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대한 중복된 설명은 생략한다.

본 문서에 개시되어 있는 본 발명의 다양한 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 다양한 실시 예들은 여러 가지 형태로 실시될 수 있으며 본 문서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리방법과 영상 처리장치에서 수행하는 영상 처리를 설명하기 위한 개념도이다.

도 1의 (a)는 획득한 2차원 얼굴 영상이고, (b)는 3차원 얼굴 모델이다. 우선, (a)와 같은 2차원 얼굴 영상으로부터 얼굴 특징점 탐지 알고리즘을 사용하여 2차원 제1 특징점(DP1)을 추출할 수 있다.

추출된 2차원 제1 특징점(DP1)은 얼굴의 코끝점, 입술 끝점, 턱끝점, 그리고 눈끝점을 포함할 수 있다. 그런데 이와 같이 추출된 2차원 제1 특징점(DP1) 이외에 사용자가 획득하고자 원하는 눈썹 궤적을 표시하는 2차원 제4 특징점(DP4)과 같은 다른 특징점을 얻고자 하는 경우가 있을 수 있다. 또한 실시예에 따라 2차원 얼굴 영상에서 추출된 것과는 다른 특징점에 대한 정보를 요구하는 어플리케이션이 있을 수 있다.

본 발명에서는 2차원 얼굴 영상에서 얼굴 특징점 탐지 알고리즘을 사용하여 추출되지 않은 특징점을 획득하는 방법을 제공한다. 이에 따라 추출하고자 하는 특징점을 포함한 기계 학습 데이터가 없더라도 3차원 표준 얼굴 모델을 이용하여 얻고자 하는 얼굴의 특징점을 높은 정확성을 가지고 생성할 수 있는 영상 처리장치 및 영상 처리방법을 제공한다. 또한 본 발명에 따른 영상 처리장치 및 영상 처리 방법은 다양한 어플리케이션들이 요구하는 다양한 특징점 정보에 대해서도 적용이 가능하다.

이에 따라, 본 발명에서는 각각의 2차원 얼굴 영상에서 추출된 2차원 제1 특징점(DP1)과 동일한 얼굴 객체의 위치에 대한 3차원 제1 특징점(TP1)을 포함하면서, 사용자가 획득하고자 원하는 눈썹 궤적에 대한 3차원 제2 특징점(TP2)을 포함하는 3차원 얼굴 모델을 도 1의 (b)와 같이 생성할 수 있다.

본 발명에서는 3차원 제1 특징점(TP1)과 3차원 제2 특징점(TP2)을 포괄하여 3차원 특징점 집합이라 일컫는다. 3차원 제1 특징점(TP1)은 2차원 얼굴 영상으로부터 획득된 2차원 제1 특징점(DP1)에 상응하는 특징점이고, 3차원 제2 특징점(TP2)은, 2차원 얼굴 영상에서 2차원 제1 특징점(DP1) 이외에 얻고자 하는 특징점인, 2차원 제4 특징점(DP4)에 대응하는 특징점이다. 3차원 제2 특징점(TP2)은 3차원 표준 얼굴 모델을 기반으로 3차원 제1 특징점(TP1)에 기초하여 추정될 수 있다. 3차원 제1 특징점(TP1)은 "Non Missing Point", 3차원 제2 특징점(TP2)은 "Missing Point"라고 일컬을 수도 있다.

실시예에 따라 3차원 제1 특징점(TP1)에 기초하여 추정되는 3차원 제2 특징점(TP2)은 사용자의 선택에 따라 지정되거나, 3차원 제1 특징점(TP1)의 종류에 따라 결정될 수 있다. 예를 들어, 눈끝점에 대한 2차원 제1 특징점(DP1)이 추출되고 그에 대응되는 눈끝점 3차원 제1 특징점(TP1)이 도출된 이후, 사용자가 눈썹의 일정 부분을 선택함에 따라 정확한 3차원 제2 특징점(TP2)을 추정할 것을 요구할 수 있다.

3차원 얼굴 모델은 2차원 제1 특징점(DP1)이 지시하는 얼굴의 위치, 그리고 표준 얼굴에 대한 기하학적 정보를 토대로 생성될 수 있다. 따라서 3차원 얼굴 모델은 도 1의 (a)와 같이 획득된 2차원 얼굴 영상에 최적화된 모델이라기 보다는, 일반적으로 모두 적용될 수 있는 3차원 모델일 수도 있다. 다만 추출하고자 하는 특징점은 사용자의 선택에 따라, 또는 외부 어플리케이션의 요청에 따라 결정될 수 있다.

생성된 3차원 얼굴 모델이 그대로 2차원 얼굴 영상에 투영됨에 따라, 3차원 제2 특징점(TP2)이 2차원 제4 특징점(DP4)으로 도출될 수도 있을 것이다. 다만, 실시예에 따라 2차원 얼굴 영상에 대하여 3차원 얼굴 모델을 적합하게 변형/갱신할 수 있다.

예를 들어, 새로운 사용자가 등록한 경우, 사용자로부터 획득한 2차원 제1 특징점(DP1)의 기하학적 관계가 종전의 얼굴과 상이한 얼굴로 판별되는 경우, 사용자가 정면을 응시한 경우, 기 설정된 시간이 경과한 경우에 등에 따라 3차원 얼굴 모델이 변형/갱신될 수 있다.

본 발명에 있어서, 3차원 제1 특징점(TP1)과 2차원 제1 특징점(DP1) 사이의 관계에 기초하여 3차원 특징점 집합을 갱신하고 그에 따라 3차원 얼굴 모델을 생성할 수 있다. 3차원 특징점 집합을 갱신하여 3차원 얼굴 모델을 생성하는 것은 실질적으로 동일한 개념으로 이해될 수 있다.

3차원 얼굴 모델의 갱신 방법에 대해서는 이하 도 3을 참조하여 구체적으로 설명하도록 한다.

필요에 따라 이미 획득한 2차원 얼굴 영상에서 추출된 2차원 제1 특징점(DP1)에 상응하도록 특정된 3차원 제1 특징점(TP1)을 2차원 얼굴 영상에 2차원 제2 특징점(미도시)으로 투영한 후, 2차원 제1 특징점(DP1)과 유사성을 가지도록 2차원 제3 특징점(미도시)으로 재배치할 수 있다. 재배치된 2차원 제3 특징점을 토대로 3차원 얼굴 모델이 다시 생성될 수 있다.

3차원 얼굴 모델의 재생성(갱신 또는 재도출)은 2차원 제1 특징점(DP1)과 3차원 제1 특징점(TP1) 사이의 관계에 따라, 2차원에 투영된 2차원 제2 특징점을 2차원 제3 특징점으로 변환시키고, 변환된 2차원 제3 특징점을 3차원으로 옮겨 3차원 제2 특징점을 다시 얻어내는 과정에 따라 이루어진다. 여기서 3차원으로 옮겨진 2차원 제3 특징점은, 실질적으로는 재생성되기 이전의 3차원 제1 특징점(TP1)과 동일한 얼굴 객체의 특징점에 상응하지만 2차원 얼굴 영상에 보다 적응적으로 재배치된 위치에 있는 특징점으로 이해할 수 있다.

이후 변경/갱신된 3차원 얼굴 모델을 다시 2차원 얼굴 영상에 투영시키게 되면, 표준 얼굴의 기하학적 모델에 기초하면서도 획득한 2차원 얼굴 영상에 적합한 2차원 제4 특징점(DP4)을 획득하게 된다.

또한, 3차원 얼굴 모델을 2차원 얼굴 영상에 투영하는 과정에서, 2차원 제1 특징점(DP1)의 상응하는 위치도, 재성성된 3차원 얼굴 모델의 3차원 제1 특징점(TP1)에 따라 상이해질 수 있다.

물론, 3차원 얼굴 모델을 갱신하지 않고 곧바로 3차원 제2 특징점(TP2)을 2차원 얼굴 영상에 투영하여 2차원 제4 특징점(DP4)을 획득할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 영상 처리방법을 수행하는 영상 처리장치의 예시적인 구성을 나타내는 도면이다.

도 2를 참조하면, 영상 처리장치(10)는, 2차원 영상 처리부(100), 3차원 모델 생성부(200), 및 제어부(300)를 포함할 수 있다.

2차원 영상 처리부(100)는 2차원 얼굴 영상을 획득하여 얼굴 특징점 추출(Face landmark detection) 알고리즘에 따라 2차원 제1 특징점(DP1)을 추출할 수 있다.

한편 2차원 영상 처리부(100)는 3차원 모델 생성부(200)에서 생성된 3차원 얼굴 모델을 2차원 얼굴 영상에 투영할 수 있다.

3차원 모델 생성부(200)는 표준 얼굴의 기하학적 모델에 기초하여 2차원 제1 특징점에 상응하는 3차원 제1 특징점을 도출한다. 그런데 획득한 2차원 제1 특징점 만으로는 원하는 얼굴을 모두 완성하지 못할 수 있다. 예를 들어, 2차원 얼굴 영상에서 일부 얼굴 영상이 잘려지거나 정면의 2차원 얼굴 영상을 획득했으나 고개를 좌우로 돌리는 3차원 이동을 하는 경우에는 귀의 위치를 감지할 필요가 있을 수 있다.

3차원 모델 생성부(200)는 표준 얼굴의 기하학적 모델에 기초하여 3차원 제1 특징점과 상이한 3차원 제2 특징점을 도출할 수 있다. 3차원 제2 특징점은, 내부나 외부의 데이터베이스에 구비된 표준 얼굴의 기하학적 모델에 기초하여 사용자가 지정한 특징점(예를 들어, 눈썹, 귀 상단 및 귀 하단 점), 또는 사용자가 지정한 영역(예를 들어, 귀 전체 영역)에 위치한 특징점을 포함할 수 있다. 따라서 3차원 제2 특징점은 외부로부터 수신된 신호에 응답하여 결정될 수 있다.

실시예에 따라, 3차원 모델 생성부(200)에서 활용하는 표준 얼굴의 기하학적 모델은 깊이(depth)에 따라 특정 영역에 상이한 개수의 특징점 정보를 포함할 수 있다. 깊이가 깊을 수록 동일한 영역에 포함되는 특징점의 개수가 증가할 수 있다. 즉 표준 얼굴의 기하학적 모델의 깊이는 정밀도와 연관될 수 있다. 사용자의 선택에 따라, 또는 영상 처리장치가 활용될 프로그램의 종류에 따라 표준 얼굴의 기하학적 모델의 깊이가 결정될 수 있다. 다른 실시예에 있어서, 3차원 모델 생성부(200)는 상이한 도메인(예를 들어, 동양 또는 서양, 남성 또는 여성, 또는 연령별)에 대하여 상이한 높이, 넓이, 및 깊이를 가지는 3차원 얼굴 모델을 활용할 수 있다. 각 도메인별로 3차원 얼굴 모델을 관리하고 2차원 얼굴 영상을 분석하여 적합한 3차원 얼굴 모델의 도메인을 선택하거나 사용자의 지정에 따라 결정된 3차원 얼굴 모델을 활용할 수 있다.

3차원 모델 생성부(200)는 3차원 제1 특징점 및 3차원 제2 특징점을 포함하여 3차원 특징점 집합을 도출할 수 있다. 3차원 특징점 집합들을 통해 3차원 얼굴 모델을 생성하는 것이다.

제어부(300)는 2차원 얼굴 영상으로부터 포즈를 추정하여 3차원 특징점 집합의 갱신 여부를 결정할 수 있다. 갱신이 필요한 경우, 제어부(300)는 3차원 모델 생성부(200)에 대하여 3차원 얼굴 모델을 갱신하도록 한다. 본명세서에서는 3차원 특징점 집합의 갱신, 3차원 특징점 집합의 재도출을 실질적으로 동일한 의미로 사용한다. 3차원 특징점 집합이 갱신 또는 재도출됨에 따라 3차원 얼굴 모델은 자연스럽게 갱신 또는 재도출될 수 있다.

실시예에 따라, 제어부(300)는 갱신여부를 판단하지 않고 초기 단계에서는 곧바로 3차원 특징점 집합을 2차원 얼굴 영상과 정합도를 높일 수 있도록 2차원 투영 및 재배치 등의 과정을 거쳐 3차원 얼굴 모델을 갱신하는 것과 동일한 과정을 거치도록 3차원 모델 생성부(200)를 제어할 수 있다.

실시예에 따라, 본 발명에 따른 영상 처리장치(10)는 영상 통합 처리부(400)를 더 포함할 수 있다. 영상 통합 처리부(400)는 2차원 영상 처리부(100)를 통해 2차원 얼굴 영상에 대하여 3차원 얼굴 모델을 투영시키되, 3차원 얼굴 모델로부터 획득하게 된 특징점들을 활용하여 2차원 얼굴 영상에 대해 가상의 객체를 함께 표시할 수 있다. 즉 영상 통합 처리부(400)는 일종의 증강 현실을 표현하는 것으로도 이해할 수 있다.

영상 통합 처리부(400)는 실시간으로 획득되는 2차원 얼굴 영상에 대하여 이미 생성된 3차원 얼굴 모델을 적용함에 따라 가상의 객체를 표시하는 데에 따른 위화감을 최소화할 수 있다.

실시예에 따라, 영상 처리장치(10)는 입출력부(500)를 더 포함할 수 있다. 입출력부(500)는 사용자의 2차원 얼굴 영상을 획득하거나 획득한 영상과 함께 시각 정보를 표시하는 시각 입출력 수단, 사용자의 음성 명령을 수신하거나 사용자에게 음성 피드백 또는 음성 효과를 제공하는 청각 입출력 수단, 및 사용자의 터치 입력을 수신하는 입력 수단, 사용자에게 진동과 같은 출력을 제공하는 수단 등을 포함할 수 있다. 예를 들어 입출력부(500)는 3차원 제2 특징점을 도출하기 위한 사용자 입력을 수신할 수 있다.

실시예에 따라, 영상 처리장치(10)는 저장부(600)를 더 포함할 수 있다. 저장부(600)는 2차원 얼굴 영상과 특징점 정보들을 저장할 수 있으며, 표준 얼굴의 기하학적 모델 정보를 저장하여 3차원 특징점을 도출하는 데에 활용될 수도 있다.

또한, 저장부(600)는 영상 처리장치(10)에 대하여 특정 사용자 별 3차원 얼굴 모델을 보관할 수도 있다. 이에 따라서 일부 사용자들에 대해서는 표준 얼굴의 기하학적 모델에서 변형된 3차원 얼굴 모델을 사용하여 영상 처리를 수행할 수 있도록 한다. 다른 실시예에 있어서, 연령, 성별, 국적 등에 따라 상이한 기하학적 특성을 가질 수 있는바, 저장부(600)는 복수 개의 표준 얼굴의 기하학적 모델을 선택적으로 적용하여 3차원 얼굴 모델을 생성할 수도 있다.

도 2에서는 기능을 수행하는 단위 별로 기재하였으나, 영상 처리장치(10)는 해당하는 기능을 수행하는 프로그램이 기록된 기록매체, 및 기록매체와 상호작용하기 위한 입출력 수단들로 구성될 수도 있다.

도 3은 본 발명의 일 실시예에 따른 영상 처리방법을 설명하는 도면이다. 도 2를 참조하여 설명한 영상 처리장치(10)를 통해 영상 처리방법이 수행될 수 있다.

도 3을 참조하면, 2차원 영상 처리부(100)가 2차원 얼굴 영상으로부터 2차원 제1 특징점을 추출한다(단계 S310). 도 1의 (a)의 2차원 얼굴 영상으로부터 2차원 제1 특징점(DP1)을 추출하는 단계에 상응할 수 있다. 본 발명에서 2차원 영상 처리부(100)는 알려진 얼굴 특징점 추출 알고리즘을 통해 2차원 제1 특징점(DP1)을 추출할 수 있다.

3차원 모델 생성부(200)는 2차원 제1 특징점에 상응하는 3차원 제1 특징점을 도출한다(단계 S320). 3차원 제1 특징점은 2차원 제1 특징점에 상응하는 얼굴 위치들에 대한 특징점으로 이해할 수 있다.

이와 같이 2차원 얼굴 영상으로부터 추출한 특징점만으로는 원하는 특징점을 모두 획득하지 못하였거나, 또는 이미 기계학습을 통해 획득한 얼굴 학습 데이터들이 구비되어 있는데 얼굴 학습 데이터에 원하는 특징점 정보가 누락되어 있을 수 있다.

3차원 모델 생성부(200)는 이와 같이 얻고자 하는 특징점을 도출하기 위해 표준 얼굴의 기하학적 모델을 동원하여 3차원 제2 특징점을 도출한다.

도 4는 3차원 제2 특징점을 도출하는 방법을 설명하기 위한 도면이다.

도 4의 (a)는 얼굴 정면(xy 평면), 도 4의 (b)는 얼굴 측면(yz 평면)을 나타낸다. 도 4는 3차원 얼굴 모델을 2차원의 각 방향에서 바라본 정면(a)과 측면(b)인 것임을 이해할 수 있다.

2차원 영상 처리부(100)가 2차원 얼굴 영상으로부터 코 끝점(NB)과 눈썹을 구성하는 세 특징점들(eb_1, eb_2, eb_3)을 추출하고, 얼굴 영역(F_w, F_h)을 검출한 것으로 가정한다. 이에 따라 앞서 설명한 바와 같이 추출한 2차원 특징점들에 상응하는 3차원 특징점들을 판별할 수 있다.

실시예에 따라 2차원 얼굴 영상에서 얻어낸 특징점의 종류에만 기초하여 3차원 특징점들이 판별될 수 있다. 즉 이 경우에는 획득된 2차원 얼굴 영상과 얼굴 특징은 동일하지 않으나 표준 얼굴에 있어서 그에 상응하는 종류의 특징점들이 선택될 수 있다. 또한 다른 실시예에 있어서는 2차원 얼굴 영상에 적응적으로 변환된 특징점이 3차원으로 변환되어 3차원 특징점들이 판별될 수도 있다.

추출된 특징점에 대해 표준 얼굴의 기하학적 모델을 사용하여 얼굴의 귀를 정의하는 특징점들을 도출할 수 있다. 실시예에 따라 표준 얼굴의 기하학적 모델은 얼굴의 각 부분이 차지하는 영역과 비율 정보, 각 객체들 사이의 거리 정보를 포함할 수 있다.

귀 상단 y좌표(Ear_Y_Top.y)는 눈썹을 구성하는 세 특징점들(eb_1, eb_2, eb_3)의 y좌표의 일정한 비율의 합을 통해서, 귀 하단 y좌표(Ear_Y_Bottom.y)는 코끝 점(NB)의 y좌표의 비율을 통해서 산출될 수 있다. 또한, 얼굴 방향의 귀 전단 z좌표(Ear_Z_Near.z)는 얼굴 영역의 너비(F_w) 만큼의 z좌표를 가지는 것으로, 뒤통수 방향의 귀 후단의 z좌표(Ear_Z_Far.z)는 얼굴 방향의 귀 전단 z좌표(Ear_Z_Near.z)와 얼굴 영역 너비(F_w)의 비율을 통해서 산출될 수 있다. 이와 같이 특정한 지점의 좌표를 획득한 경우, 표준 얼굴의 기하학적 모델을 통해 다른 좌표를 도출해낼 수 있다. 이는 결국 Non Missing Point에 기초하여 Missing Point를 도출하는 것이라고도 할 수 있다.

초기에 무조건 3차원 제1 특징점을 갱신하는 경우, 즉 2차원 얼굴 영상에 맞도록 3차원 제1 특징점을 변형하는 경우, 3차원 제2 특징점을 도출하는 과정은 생략하고, 3차원 제1 특징점을 2차원 제1 특징점에 맞도록 변형시켜 3차원 제3 특징점으로 생성한 이후 3차원 제4 특징점을 도출하는 과정을 수행할 수도 있다(단계 S355에서 구체적으로 설명한다.).

다시 도 3으로 돌아와서, 이와 같이 표준 얼굴의 기하학적 모델에 기초하여 3차원 제1 특징점과, 또한 3차원 제1 특징점으로부터 도출된 3차원 제2 특징점을 포함하여 3차원 특징점 집합을 생성할 수 있다(단계 S340).

3차원 특징점 집합 자체가 3차원 얼굴 모델을 구성하는 것으로 이해할 수 있다.

실시예에 따라 제어부(300)는 3차원 특징점 집합의 갱신 여부를 판단할 수 있다(단계 S350). 예를 들어, 제어부(300)는 얼굴 포즈 추정 알고리즘을 통해 추출된 2차원 제1 특징점(DP1)을 이용하여 얼굴 포즈를 계산할 수 있다. 제어부(300)가 계산한 얼굴 포즈에 따라 얼굴의 피치(pitch) 및 요(yaw)가 0 도에 가까운 경우에 3차원 얼굴 모델을 갱신하여야 하는 경우라 판단할 수 있다. 예를 들어 피치(pitch)와 요(yaw)가 0도에 가까운 경우에는 사용자가 정면을 응시한 것이라 판단할 수 있다. 물론, 실시예에 따라 3차원 특징점 집합의 갱신 조건이 상이해질 수 있다.

3차원 특징점을 갱신하기 위하여 3차원 제1 특징점(TP1)을 2차원 얼굴 영상의 롤(Roll) 축으로 2차원 평면에 투영하여 2차원 제2 특징점(

)을 도출할 수 있다 (단계 S531).

2차원 제1 특징점(DP1)은 n개의 특징점들로 구성될 수 있으며 다음과 같이 표현될 수 있다.

2차원 제1 특징점(DP1)에 상응하는 3차원 제1 특징점(TP1)은 다음과 같이 표현할 수 있으며, 3차원 특징점 집합(B)은 다음과 같이 표현할 수 있다. 본 발명에서는 2차원 얼굴 영상으로부터 추출한 특징점이 n(n은 자연수)개, 그리고 추출한 특징점으로부터 표준 얼굴의 기하학적 모델을 통해 도출한 특징점까지 포함하여 m(m>n인 자연수)개의 3차원 특징점 집합을 생성할 수 있는 것이다.

이 중에서 3차원 제1 특징점(TP1)을 얼굴 영상의 롤(Roll) 축으로 2차원 평면에 투영한 2차원 제2 특징점(

)은 다음과 같이 표현될 수 있다.

본 발명에서는 2차원 제1 특징점(DP1)과 2차원 제2 특징점(

)사이의 유사성에 기초하여 2차원 제2 특징점(

)을 2차원 제3 특징점으로 재배치한다 (단계 S353).

구체적으로, 3차원 모델 생성부(200)는 2차원 제1 특징점(DP1)으로부터 2차원 제2 특징점(

)으로의 유사변환(similarity transformation; S)을 산출한다.

유사변환(S)은 수학식 1과 같이 표현될 수 있다. 수학식 1에서 T는 변환 벡터이고 c는 스케일, 그리고 R은 회전 매트릭스를 나타낸다.

2차원 제1 특징점(DP1)에서 2차원 제2 특징점(

)으로의 유사 변환 매트릭스는 수학식 2를 계산함에 따라 도출될 수 있다. 수학식 2에서

와

는 각각

와 DP1의 i번째 특징점을 나타낸다.

3차원 모델 생성부(200)는 수학식 3과 같이 산출한 유사변환(S)과 2차원 제1 특징점(DP1)을 벡터 내적하여 2차원 제3 특징점(DP3)을 획득한다. 2차원 제3 특징점(DP3)은 2차원 얼굴 영상에서 획득된 얼굴의 특징을 유지하는 한편 2차원 제2 특징점(

)과 같은 포즈와 스케일을 가진다.

2차원 제3 특징점(DP3)은 다음과 같이 나타낼 수 있다.

3차원 모델 생성부(200)는 2차원 제3 특징점(DP3)에 기초하여 3차원 특징점 집합을 갱신한다.

실시예에 따라, 3차원 모델 생성부(200)는 2차원 제3 특징점(DP3)에 대하여 대칭 강제 규칙(symmetric enforcing rule)을 이용하여 특징점의 위치 정확성을 높일 수 있다.

2차원 제1 특징점(DP1)은 실제 획득한 2차원 얼굴 영상으로부터 추출한 정보이며, 이에 대하여 표준 얼굴의 기하학적 모델을 사용하여 3차원 제1 특징점을 획득하였으나 이를 2차원 얼굴 영상과 정합시키기 위하여 2차원으로 투영한 후에 얼굴 특징점에 가장 가까운 거리를 가진 2차원 제3 특징점(DP3)으로 변환하였다.

2차원 제2 특징점(

)과 2차원 제3 특징점(DP3)과의 거리 D는 수학식 4와 같이 표현될 수 있다.

대칭 강제 규칙에 따라 조정된 2차원 제3 특징점(DP3')은 수학식 5와 같은 원칙으로 획득될 수 있다. 수학식 5에서

와

는 각각 얼굴 왼쪽과 오른쪽의 특징점으로 구성된 인덱스 벡터

와

의 k번째 요소들이다. 또한 수학식 5에서 f함수는 얼굴의 왼쪽 특징점을 오른쪽으로 또는 얼굴의 오른쪽 특징점을 왼쪽으로 투영하여 대칭 강제 규칙(symmetric enforcing rule)을 수행하는 함수이다.

즉, 3차원 모델 생성부(200)는 2차원 제2 특징점(

)과 2차원 제3 특징점(DP3)과의 거리 D 가 작을수록 정확도가 높은 것으로 판단하여 정확도가 높은 특징점을 선택한 후에 좌우 대칭을 시킴에 따라 조정된 2차원 제3 특징점(DP3')을 생성할 수 있다.

다시 말하면, 2차원 평면의 얼굴 중심선을 기준으로 마주보는 두 개의 2차원 제3 특징점들을 상정한다. 이 중에서 2차원 제2 특징점(

)와 2차원 제3 특징점(DP3)사이의 거리 D가 큰 경우는 오차가 큰 것으로 보아, D가 작은 2차원 제3 특징점(DP3)를 선택하여 좌우 대칭을 시키면서 다른 점으로 대체하는 것을 표현한 것이 수학식 5이다.

3차원 특징점 집합은, 조정된 2차원 제3 특징점(DP3')을 포함하여, 기존의 3차원 얼굴 모델의 z축 좌표 정보를 활용하여 생성될 수 있다. 구체적으로, 2차원 제2 특징점(

)으로 투영되었던 3차원 제1 특징점(TP1)이, 조정된 2차원 제3 특징점(DP3')에 대응되는바, 3차원 제1 특징점(TP1)의 z좌표가 2차원 제3 특징점(DP3')의 상응하는 점들의 z좌표 값으로 입력될 수 있다.

실시예에 따라 조정된 2차원 제3 특징점(DP3')의 수는 2차원 제1 특징점(DP1) 및 3차원 제1 특징점(TP1)의 개수와 동일할 수 있다. 이와 같이 복원된 3차원 특징점을 3차원 제3 특징점(TP3)이라 일컫는다. 3차원 제3 특징점(TP3)은 3차원 제1 특징점(TP1)이 2차원 얼굴 영상에 맞도록 조정된 특징점들이다.

조정된 3차원 제3 특징점(TP3)에 대하여 마찬가지로 표준 얼굴의 기하학적 모델을 활용하여 3차원 제4 특징점(TP4)을 도출할 수 있다. 3차원 제3 특징점(TP3)에 기초하여 3차원 제4 특징점(TP4)을 도출하는 과정은 도 4를 참조하여 설명한 과정과 실질적으로 동일할 수 있다. 도 1을 참조하여 설명한 3차원 제1 특징점(TP1)과 3차원 제2 특징점(TP2)은, 3차원 특징점 집합이 갱신되었을 경우에는 각각 3차원 제3 특징점(TP3)과 3차원 제4 특징점(TP4)에 상응할 수 있다.

3차원 제3 특징점(TP3)과 3차원 제4 특징점(TP4)을 합하여 3차원 특징점 모델이 다음과 같이 갱신될 수 있다.

다시 도 3으로 돌아가서, 3차원 얼굴 모델을 2차원 얼굴 영상에 투영한다 (단계 S360). 3차원 특징점으로부터 2차원 특징점으로의 변환은 수학식 6에 따라 이루어질 수 있다.

수학식 6에서 F는 3차원 모델 X에 대한 2차원 투영 결과, K는 카메라 고유의 행렬, P는 외적 파라미터(3차원 회전 및 변환 행렬), 그리고 X는 갱신된 3차원 얼굴 모델(B')의 값을 포함한다.

본 발명에 있어서 2차원 얼굴 영상에서 획득하지 못한 특징점에 대해서도 표준 얼굴의 기하학적 모델을 통해 도출한 특징점들이 부여되기 때문에, 2차원 얼굴 영상이 부정확한 경우에도 높은 정합성을 가지는 특징점 매칭이 가능해진다.

실시예에 따라, 투영된 영상에 포함된 적어도 하나의 특징점에 대해 가상 객체를 표시할 수 있다(단계 S370). 가상 객체는 얼굴의 특정 영역을 인식함으로써 얼굴의 일부에 대해 겹쳐지는 형태로 표시되는 다양한 객체들을 포함할 수 있다. 예를 들어, 가상 객체를 표시함에 따라 얼굴에 메이크업을 한 모습을 표현하거나, 안경이나 귀걸이 등을 착용한 모습을 표현하는 데에 활용될 수 있다.

본 발명에서는 2차원 얼굴 영상에서 획득하지 못한 특징점에 대해 추정된 특징점이 포함된 3차원 얼굴 모델을 2차원 얼굴 영상에 투영하기 때문에, 2차원 얼굴 영상에서 특징점이 획득되지 않은 부분에 대해서도 자연스럽게 가상 객체를 표시할 수 있다.

도 5는 본 발명의 일 실시예에 따라 생성된 3차원 특징점 집합을 2차원에 투영하여 제공되는 어플리케이션 화면을 예시적으로 나타내는 도면이다. 귀 부분의 특징점이 표기(Annotation)되지 않은 얼굴 데이터만을 가지고 얼굴 특징점 검출을 수행하는 경우, 본 발명을 이용하여 얼굴 데이터에 표기(Annotation)되지 않은 귀 부분의 특징점을 추정하고, 해당 위치에 가상 객체로서 귀걸이를 표시한 모습을 보여주고 있는 도면이다.

도 5를 참조하면, 2차원 얼굴 영상에 대하여 가상 객체(AO)인 귀걸이가 표시될 수 있다. 가상 객체(AO)는 2차원 얼굴 영상에서 획득되기 어려운 특징점을 도출해내어 표시되거나, 2차원 얼굴 영상이 3차원 이동을 할 때에 쉽게 도출되기 어려운 정보일 수 있다.

예를 들어, 정면을 바라보는 2차원 얼굴 영상에 대하여 2차원 모델을 사용하는 경우, 사용자가 고개를 좌우로 돌리는 경우에는 특징점을 제대로 예측하기 어려울 수 있다.

본 발명에서는 귀 영역의 영상이 획득되지 않은 경우에도 귀 부분에 대한 특징점을 도출해낼 수 있으며, 3차원 특징점을 2차원 얼굴 영상에 적합하게 보정함에 따라서, 사용자에게 귀걸이의 착용 모습을 보다 정확하게 제공하여 줄 수 있다.

이와 같이 본 발명에 따른 영상 처리방법은, 2차원 얼굴 영상에 기초하여 획득하지 못한 특징점들을 3차원에서 표준 얼굴의 기하학적 모델을 통해 도출하여 2차원 얼굴 영상에 다시 적용시킴에 따라 2차원 얼굴 영상의 다양한 특징점들에 대하여 유연하게 적용될 수 있다.

본 발명에 있어서, 상술한 영상 처리방법을 수행하는 프로그램을 기록한 컴퓨터로 독출가능한 물리적 기록매체도 본 발명의 범위에 포함될 수 있다.

다양한 실시 예들에 따른 시스템은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 그리고 본 문서에 개시된 실시 예는 개시된 기술 내용의 설명 및 이해를 위해 제시된 것이며 본 발명의 범위를 한정하는 것은 아니다. 따라서 본 문서의 범위는 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (17)

1. 2차원 얼굴 영상에 대하여 표준 얼굴 모델을 기반하여 얼굴 특징점을 추정하는 영상 처리를 수행하는 컴퓨터에 대하여,
   2차원 얼굴 영상으로부터 2차원 제1 특징점을 추출하는 단계;
   표준 얼굴의 기하학적 모델에 기초하여, 상기 2차원 제1 특징점에 상응하는 3차원 제1 특징점을 포함하는 3차원 특징점 집합을 도출하는 단계;
   상기 2차원 얼굴 영상의 포즈를 추정하여 상기 3차원 특징점 집합의 갱신 여부를 결정하는 단계;
   상기 결정된 갱신 여부에 따라 상기 3차원 제1 특징점을 상기 2차원 제1 특징점에 따라 재배치함에 따라 상기 3차원 특징점 집합을 갱신하는 단계; 및
   상기 3차원 특징점 집합에 기초하여 3차원 얼굴 모델을 생성하고, 상기 3차원 얼굴 모델을 상기 2차원 얼굴 영상에 투영하는 단계를 실행시키기 위한 프로그램으로서,
   상기 3차원 특징점 집합은, 상기 3차원 제1 특징점과 상이한 특징점을 정의하는 3차원 제2 특징점을 포함하고,
   상기 3차원 제2 특징점은 상기 3차원 제1 특징점에 대하여 상기 표준 얼굴 모델에 포함된 얼굴의 각 부분이 차지하는 영역과 비율 정보 및 각 개체들 사이의 거리 정보를 기초로 추출되는 것을 특징으로 하는 프로그램을 기록한, 컴퓨터로 읽을 수 있는 물리적 기록매체.
2. 삭제
3. 제1 항에 있어서,
   상기 3차원 특징점 집합의 갱신 여부를 결정하는 단계는,
   상기 2차원 얼굴 영상 포즈(pose)의 피치(pitch) 및 요(yaw)에 기초하여 3차원 특징점 집합의 갱신 여부를 결정하는 것을 특징으로 하는, 컴퓨터로 읽을 수 있는 물리적 기록매체.
4. 제3 항에 있어서,
   상기 3차원 특징점 집합을 갱신하는 단계는,
   상기 3차원 제1 특징점을 2차원 평면에 투영하여 2차원 제2 특징점을 도출하는 단계;
   상기 2차원 제2 특징점과 상기 2차원 제1 특징점의 유사성에 기초하여 상기 2차원 제2 특징점을 상기 2차원 제1 특징점에 상응하도록 재배치함에 따라 2차원 제3 특징점을 도출하는 단계;
   상기 2차원 제3 특징점에 기초하여 상기 3차원 특징점 집합을 갱신하는 단계; 및
   상기 갱신된 3차원 특징점 집합에 기초하여 상기 3차원 얼굴 모델을 생성하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 물리적 기록매체.
5. 제4 항에 있어서,
   상기 2차원 제3 특징점을 도출하는 단계는,
   상기 2차원 제1 특징점으로부터 상기 2차원 제2 특징점으로의 유사 변환을 산출하는 단계; 및
   상기 2차원 제1 특징점과 상기 유사 변환에 대한 벡터 내적을 통해 상기 2차원 제3 특징점을 도출하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 물리적 기록매체.
6. 제5 항에 있어서,
   상기 2차원 제3 특징점과 표준 얼굴의 기하학적 모델에 기초하여 상기 3차원 얼굴 모델을 생성하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 물리적 기록매체.
7. 제6 항에 있어서,
   상기 표준 얼굴의 기하학적 모델은, 눈, 코, 입 및 귀들 중 적어도 둘 이상의 사이의 거리 정보를 포함하는, 컴퓨터로 읽을 수 있는 물리적 기록매체.
8. 제5 항에 있어서,
   2차원 평면의 얼굴 중심선을 기준으로 마주보는 두 개의 2차원 제3 특징점들에 대해서, 해당 2차원 제3 특징점과 그에 상응하는 2차원 제2 특징점 사이의 거리 차이가 작은 하나의 2차원 제3 특징점을 선택하는 단계; 및
   상기 선택된 하나의 2차원 제3 특징점을 상기 얼굴 중심선을 기준으로 대칭시켜 선택되지 않은 다른 하나의 2차원 제3 특징점을 대체하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 물리적 기록매체.
9. 2차원 얼굴 영상에 대하여 표준 얼굴 모델을 기반하여 얼굴 특징점을 추정하는 영상 처리를 수행하는 컴퓨터에 대하여,
   2차원 얼굴 영상으로부터 2차원 제1 특징점을 추출하는 단계;
   표준 얼굴의 기하학적 모델에 기초하여, 상기 2차원 제1 특징점에 상응하는 3차원 제1 특징점을 포함하는 3차원 특징점 집합을 도출하는 단계;
   상기 3차원 제1 특징점을 2차원 평면에 투영하여 2차원 제2 특징점으로 도출하는 단계;
   상기 2차원 제2 특징점과 상기 2차원 제1 특징점의 유사성에 기초하여 상기 2차원 제2 특징점을 2차원 제3 특징점으로 재배치하는 단계; 및
   상기 2차원 제3 특징점에 기초하여 상기 3차원 특징점 집합을 재도출하는 단계를 실행시키기 위한 프로그램으로서,
   상기 3차원 특징점 집합은, 상기 3차원 제1 특징점과 상이한 3차원 제2 특징점을 포함하고,
   상기 3차원 제2 특징점은 상기 3차원 제1 특징점에 대하여 상기 표준 얼굴 모델에 포함된 얼굴의 각 부분이 차지하는 영역과 비율 정보 및 각 개체들 사이의 거리 정보를 기초로 추출되는 것을 특징으로 하는 프로그램을 기록한, 컴퓨터로 읽을 수 있는 물리적 기록매체.
10. 제9 항에 있어서,
    상기 3차원 특징점 집합을 상기 2차원 얼굴 영상에 투영하는 단계를 실행시키기 위한 프로그램을 기록한, 컴퓨터로 읽을 수 있는 물리적 기록매체.
11. 제10 항에 있어서,
    상기 3차원 특징점 집합 중 적어도 하나의 특징점에 대해 시각적 객체를 표시하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 물리적 기록매체.
12. 제10 항에 있어서,
    상기 2차원 제3 특징점에 기초하여 상기 3차원 특징점 집합을 재도출하는 단계는,
    상기 2차원 제3 특징점에 대하여 상기 3차원 제1 특징점의 z좌표를 삽입하는 단계; 및
    상기 z좌표가 삽입된 3차원 제3 특징점에 대해 표준 얼굴의 기하학적 모델에 기초하여 3차원 제4 특징점을 도출하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 물리적 기록매체.
13. 제12 항에 있어서,
    상기 3차원 제2 특징점을 선정하기 위한 입력을 수신하는 단계를 더 포함하는, 컴퓨터로 읽을 수 있는 물리적 기록매체.
14. 제12 항에 있어서,
    상기 2차원 제2 특징점과 상기 2차원 제1 특징점의 유사성에 기초하여 상기 2차원 제2 특징점을 2차원 제3 특징점으로 재배치하는 단계는,
    상기 2차원 제1 특징점으로부터 상기 2차원 제2 특징점으로의 유사 변환을 산출하는 단계; 및
    상기 2차원 제1 특징점과 상기 유사 변환에 대한 벡터 내적을 통해 상기 2차원 제3 특징점을 도출하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 물리적 기록매체.
15. 2차원 얼굴 영상으로부터 2차원 제1 특징점을 추출하고, 상기 2차원 얼굴 영상에 대하여 3차원 얼굴 모델을 투영하는 2차원 영상 처리부;
    표준 얼굴의 기하학적 모델에 기초하여, 상기 2차원 제1 특징점에 상응하는 3차원 제1 특징점을 포함하는 3차원 특징점 집합을 도출하는 3차원 모델 생성부; 및
    상기 2차원 얼굴 영상에 기초하여 상기 3차원 특징점 집합의 갱신 여부를 결정하고, 상기 3차원 모델 생성부에 대하여 상기 3차원 제1 특징점 및 상기 2차원 제1 특징점을 비교하여 상기 3차원 특징점 집합을 선택적으로 갱신하도록 제어하는 제어부를 포함하고,
    상기 3차원 특징점 집합은, 상기 3차원 제1 특징점과 상이한 특징점을 정의하는 3차원 제2 특징점을 포함하고,
    상기 3차원 모델 생성부는 상기 3차원 제1 특징점에 대하여 표준 얼굴 모델에 포함된 얼굴의 각 부분이 차지하는 영역과 비율 정보 및 각 개체들 사이의 거리 정보를 기초로 상기 3차원 제2 특징점을 추출하는 것을 특징으로 하는, 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치.
16. 삭제
17. 제15 항에 있어서,
    상기 3차원 모델 생성부는,
    상기 3차원 제1 특징점을 2차원 평면에 투영하여 2차원 제2 특징점으로 정의하고, 상기 2차원 제1 특징점으로부터 상기 2차원 제2 특징점으로의 유사변환에 기초하여 상기 2차원 제2 특징점을 2차원 제3 특징점으로 재배치하며, 상기 재배치된 2차원 제3 특징점에 기초하여 상기 3차원 특징점 집합을 갱신하는, 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치.

Images