KR102072721B1 - 얼굴 영상 처리 방법 및 장치 - Google Patents

얼굴 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR102072721B1
KR102072721B1 KR1020180079585A KR20180079585A KR102072721B1 KR 102072721 B1 KR102072721 B1 KR 102072721B1 KR 1020180079585 A KR1020180079585 A KR 1020180079585A KR 20180079585 A KR20180079585 A KR 20180079585A KR 102072721 B1 KR102072721 B1 KR 102072721B1
Authority
KR
South Korea
Prior art keywords
face
facial
mesh data
standard
image
Prior art date
Application number
KR1020180079585A
Other languages
English (en)
Other versions
KR20200005945A (ko
Inventor
한진용
김시균
신승호
송형주
윤찬민
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180079585A priority Critical patent/KR102072721B1/ko
Publication of KR20200005945A publication Critical patent/KR20200005945A/ko
Application granted granted Critical
Publication of KR102072721B1 publication Critical patent/KR102072721B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

개시된 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하는 단계, 복수의 얼굴구성점을 포함하는 얼굴뼈를 표준 얼굴 메시 데이터에 리깅하는 단계, 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계, 복수의 특징점을 기초로 복수의 얼굴구성점을 이동하여 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성하는 단계, 개인 얼굴 메시 데이터를 기초로 영상에서 얼굴 부위를 분리하는 단계를 포함한다.

Description

얼굴 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING FACE IMAGE}
본 발명은 얼굴 영상 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상 내의 얼굴 부위를 분리하는 얼굴 영상 처리 방법 및 장치에 관한 것이다.
인간의 커뮤니케이션(communication) 방법에는 여러 가지가 있다. 그 중의 하나는 얼굴 표정이다. 커뮤니케이션의 상대방은 발화자의 얼굴 표정으로부터 발화자의 감정이나 의도 등을 파악할 수 있다.
얼굴 표정을 이용한 커뮤니케이션 방법은 영화나 애니메이션에 등장하는 가상의 캐릭터에 대해서도 동일하게 적용될 수 있다. 즉 관람객은 캐릭터의 얼굴 표정으로부터 캐릭터의 감정이나 의도 또는 주변 상황과 같은 정보를 파악할 수 있다. 나아가, 캐릭터의 얼굴 부위를 관람객의 얼굴 영상으로 대체하여 서비스를 제공할 수 있으며, 이 경우에는 자신의 얼굴이 영화나 애니메이션에 등장하기 때문에 그만큼 관람객의 몰입도가 향상된다.
그런데, 이처럼 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체하는 서비스를 위해서는 임의의 영상 내에서 서비스 대상 얼굴을 정확하고 신속하게 분리할 수 있는 기술이 요구된다.
대한민국 공개특허공보 제10-2018-0070688호, 공개일자 2018년 06월 26일.
본 발명의 실시예에 의하면, 서비스 대상 얼굴의 개인 특성이 반영된 개인 얼굴 메시 데이터를 이용하여 임의의 영상 내에서 서비스 대상 얼굴을 정확히 분리할 수 있는 얼굴 영상 처리 방법 및 장치를 제공한다.
또, 임의의 영상 내에서 추정된 정수리 위치와 턱선을 기초로 서비스 대상 얼굴을 신속하게 분리할 수 있는 얼굴 영상 처리 방법 및 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 관점에 따른 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하는 단계; 복수의 얼굴구성점을 포함하는 얼굴뼈를 상기 표준 얼굴 메시 데이터에 리깅(rigging)하는 단계; 임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계; 상기 복수의 특징점을 기초로 상기 복수의 얼굴구성점을 이동하여 상기 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성하는 단계; 상기 개인 얼굴 메시 데이터를 기초로 상기 영상에서 얼굴 부위를 분리하는 단계를 포함한다.
본 발명의 다른 관점에 따른 컴퓨터 프로그램은 상기 얼굴 영상 처리 방법에 따른 각각의 단계를 수행하는 명령어가 컴퓨터 판독가능 기록매체에 기록된다.
본 발명의 또 다른 관점에 따른 얼굴 영상 처리 장치는, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하고, 복수의 얼굴구성점을 포함하는 얼굴뼈를 상기 표준 얼굴 메시 데이터에 리깅하는 모델링부; 임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 영상 처리부; 상기 복수의 특징점을 기초로 상기 복수의 얼굴구성점을 이동하여 상기 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성하고, 상기 개인 얼굴 메시 데이터를 기초로 상기 영상에서 얼굴 부위를 분리하는 개인화 처리부를 포함한다.
본 발명의 실시예에 의하면, 서비스 대상 얼굴의 개인 특성이 반영된 개인 얼굴 메시 데이터를 생성할 때에 표준 얼굴 메시 데이터에 리깅(rigging)된 얼굴뼈가 포함하고 있는 얼굴구성점을 이용한다. 따라서, 개인 얼굴 메시 데이터를 생성하기 위해 사전에 영상 내에서 서비스 대상 얼굴의 특징점을 추출할 때에 정확성이 높지 않게 나타난 경우라 할지라도, 개인 얼굴 메시 데이터의 신뢰성을 향상시킨다.
또, 임의의 영상 내에서 추정된 정수리 위치와 턱선을 기초로 생성한 얼굴윤곽선에 따른 마스크를 이용하여 얼굴 부위 이외를 제거함으로써, 임의의 영성 내에서 서비스 대상 얼굴을 신속하게 분리할 수 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치의 구성도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도들이다.
도 5 내지 도 9은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에서 얼굴 영상 처리 방법을 수행함에 따라 제공할 수 있는 얼굴 메시 데이터 및 서비스 대상 얼굴 영상의 다양한 예를 보인 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치의 구성도이다.
도 1에 나타낸 바와 같이 일 실시예에 따른 얼굴 영상 처리 장치(100)는 모델링부(110), 영상 처리부(120) 및 개인화 처리부(130)를 포함한다.
모델링부(110)는 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성한다. 그리고, 모델링부(110)는 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성할 수 있다. 예컨대, 모델링부(110)는 복수의 블렌드 쉐이프(Blend Shape)를 제작하여 표정 데이터를 생성할 수 있다. 여기서, 블렌드 쉐이프는 메시 안에서 정점이 이동해야 하는 타깃의 거리 및 방향(Displacement) 값이다. 아울러, 모델링부(110)는 복수의 얼굴구성점을 포함하는 얼굴뼈를 표준 얼굴 메시 데이터에 리깅(rigging)할 수 있다. 여기서, 모델링부(110)는 표준 얼굴 메시 데이터의 정점들을 복수의 얼굴구성점 중 적어도 하나의 얼굴구성점에 리깅하여, 얼굴뼈가 리깅된 표준 얼굴 메시 데이터를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터에 포함된 정점들의 수와 얼굴구성점의 수는 동일할 수 있지만 이에 한정되지 않는다. 그리고, 모델링부(110)는 표준 얼굴 메시 데이터의 정점들 중 적어도 일부는 얼굴뼈에 포함된 복수의 얼굴구성점 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅할 수 있다.
영상 처리부(120)는 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출한다. 예를 들어, 영상 처리부(120)는 공지의 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다.
개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 복수의 얼굴구성점을 이동하여 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성한다. 그리고, 개인화 처리부(130)는 개인 얼굴 메시 데이터를 기초로 서비스 대상 얼굴이 포함된 영상에서 얼굴 부위를 분리한다. 그리고, 개인화 처리부(130)는 개인화 처리부(130)는 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 개인 얼굴 메시 데이터의 표정 데이터를 생성할 수 있다.
위와 같이 일 실시예에 따른 얼굴 영상 처리 장치(100)를 구성하는 모델링부(110), 영상 처리부(120) 및 개인화 처리부(130)는 각각 마이크로프로세서(Microprocessor)를 포함할 수 있으며, 이들의 동작은 아래에서 좀 더 자세히 설명하기로 한다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도들이다.
도 2 내지 도 4에 나타낸 바와 같이 일 실시예에 따른 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하는 단계(S201), 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계(S203), 복수의 얼굴구성점을 포함하는 얼굴뼈를 표준 얼굴 메시 데이터에 리깅하는 단계(S205), 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계(S207), 복수의 특징점을 기초로 복수의 얼굴구성점을 이동하여 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성하는 단계(S209), 개인 얼굴 메시 데이터를 기초로 임의 사용자에 대한 영상에서 얼굴 부위를 분리하는 단계(S211), 분리된 얼굴 부위에 대한 텍스처 정보를 개인 얼굴 메시 데이터에 추가하는 단계(S213), 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 개인 얼굴 메시 데이터의 표정 데이터를 생성하는 단계(S215)를 포함한다. 여기서, 얼굴뼈를 표준 얼굴 메시 데이터에 리깅할 때에, 표준 얼굴 메시 데이터의 정점들을 복수의 얼굴구성점 중 적어도 하나의 얼굴구성점에 리깅하고, 정점들 중 적어도 일부는 복수의 얼굴구성점 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅할 수 있다.
한편, 단계 S203 및 S215는 서비스 대상 얼굴 영상에 대해 다양한 표정 영상을 서비스하기 위한 것으로서, 단일 표정을 서비스하는 경우라면 제외될 수 있다.
그리고, 임의 사용자에 대한 영상에서 얼굴 부위를 분리하는 단계(S211)는, 영상 내 얼굴의 정수리 위치를 가로와 세로간 비율을 기초로 추정하는 단계(S301), 복수의 특징점을 기초로 영상 내 얼굴의 턱선을 추출하는 단계(S303), 정수리 위치 및 턱선을 기초로 얼굴윤곽선을 생성하는 단계(S305), 얼굴윤곽선에 따른 마스크를 이용하여 영상에서 얼굴 부위 이외를 제거하는 단계(S307)를 더 포함할 수 있다.
아울러, 분리된 얼굴 부위에 대한 텍스처 정보를 개인 얼굴 메시 데이터에 추가하는 단계(S213)는, 개인 얼굴 메시 데이터에서 혀와 치아의 위치를 추정하는 단계(S401), 추정된 위치에 혀와 치아를 렌더링하여 삽입하는 단계(S403), 분리된 얼굴 부위와 혀 및 치아에 대한 텍스처 정보를 개인 얼굴 메시 데이터에 추가하는 단계(S405)를 더 포함할 수 있다.
이하, 도 1에 나타낸 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치(100)에서 도 2 내지 도 4에 나타낸 바와 같은 얼굴 영상 처리 방법을 수행하는 과정들에 대해, 도 5 내지 도 9에 나타낸 다양한 예를 참조하여 자세히 살펴보기로 한다.
먼저, 얼굴 영상 처리 장치(100)의 모델링부(110)는 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성한다. 이러한 모델링부(110)는 도 5에 예시한 바와 같이 적어도 세 개의 정점이 하나의 메시를 이루는 표준 얼굴 메시 데이터(501)를 생성할 수 있다(S201).
그리고, 모델링부(110)는 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성할 수 있다. 예컨대, 모델링부(110)는 도 5에 예시한 바와 같이 복수의 블렌드 쉐이프(502, 503, 504, 505)를 제작하여 표정 데이터를 생성할 수 있다(S203).
아울러, 모델링부(110)는 복수의 얼굴구성점을 포함하는 얼굴뼈를 표준 얼굴 메시 데이터에 리깅(rigging)한다. 여기서, 모델링부(110)는 도 5에 예시한 바와 같이 표준 얼굴 메시 데이터(501)의 정점들을 복수의 얼굴구성점(506) 중 적어도 하나의 얼굴구성점에 리깅하여, 얼굴뼈가 리깅된 표준 얼굴 메시 데이터(507)를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터(501)에 포함된 정점들의 수와 얼굴구성점(506)의 수는 동일할 수 있지만 이에 한정되지 않는다. 그리고, 모델링부(110)는 표준 얼굴 메시 데이터(501)의 정점들 중 적어도 일부는 얼굴뼈에 포함된 복수의 얼굴구성점 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅한다. 예를 들어, 표준 얼굴 메시 데이터(501)의 하나의 정점을 얼굴뼈에 포함된 세 개의 얼굴구성점에 리깅한다는 것은 해당 정점이 세 개의 얼굴구성점에 의존한다는 것이다. 하나의 정점이 복수의 얼굴구성점 중 어떤 얼굴구성점에 얼마만큼 의존하는가는 가중치로 나타낼 수 있고, 하나의 정점이 가지는 가중치의 합은 1이다. 예컨대, 하나의 정점을 얼굴뼈의 3개의 얼굴구성점 또는 4개의 얼굴구성점에 리깅함으로써, 얼굴뼈에 의한 폴리곤 변형이 부드럽게 나타나게 하면서 폴리곤이 겹쳐지는 현상이 발생하기 않도록 함과 아울러 연산량이 과도하게 상승하지 않도록 할 수 있다(S205).
얼굴 영상 처리 장치(100)의 영상 처리부(120)는 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출한다. 이러한 영상 처리부(120)는 도 6에 예시한 바와 같이 서비스 대상 얼굴이 포함된 영상(601)이 입력되면 서비스 대상 얼굴이 갖는 복수의 특징점(602)을 추출할 수 있다. 예를 들어, 영상 처리부(120)는 공지의 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다. 이러한 얼굴 특징점 검출 알고리즘은 딥러닝 기반의 이미지 프로세싱 기술로서, 얼굴의 눈, 코, 입, 턱 등의 특징점을 분석하여 약 68개의 특징점을 추출할 수 있다(S207).
얼굴 영상 처리 장치(100)의 개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 복수의 얼굴구성점을 이동하여 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성한다. 이러한 개인화 처리부(130)는 도 6에 예시한 바와 같이 얼굴뼈가 리깅된 표준 얼굴 메시 데이터(507)를 이용하여 개인 얼굴 메시 데이터(603)를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터(507)의 복수의 얼굴구성점을 서비스 대상 얼굴이 포함된 영상(601)의 복수의 특징점 위치로 이동시켜 변형시킴으로써 표준 얼굴 메시 데이터(507)가 변형된 개인 얼굴 메시 데이터(603)를 생성할 수 있다(S209).
그리고, 개인화 처리부(130)는 개인 얼굴 메시 데이터를 기초로 서비스 대상 얼굴이 포함된 영상에서 얼굴 부위를 분리한다. 이러한 개인화 처리부(130)는 도 7에 예시한 바와 같이 영상 내 얼굴의 정수리 위치를 복수의 특징점에 기초한 가로와 세로간 비율을 기초로 추정할 수 있다. 예컨대, 얼굴이 포함된 영상에서 추출된 복수의 특징점에 기초하면 가로 길이를 추정할 수 있으며, 도 7에 예시된 701처럼 사람 얼굴의 가로와 세로간 비율은 개인차가 있으나 평균값을 이용해도 될 만큼 크게 차이가 나지 않는다. 더욱이, 정수리쪽은 일반적으로 머리카락이 있기 때문에 실제 정수리 위치와 추정된 정수리 위치간의 일부 차이가 있더라도 정보의 소실량 측면에서는 무시할 수도 있다(S301). 이어서, 개인화 처리부(130)는 영상 내에서 추출된 얼굴의 복수의 특징점을 기초로 영상 내 얼굴의 턱선을 추출하며(S303), 정수리 위치 및 턱선을 기초로 얼굴윤곽선을 생성하고(S305), 얼굴윤곽선에 따른 마스크를 제작한다. 예를 들어, 개인화 처리부(130)는 표준 얼굴윤곽선을 갖는 마스크(702)를 이용하여 표준 얼굴윤곽선을 서비스 대상 얼굴의 정수리 위치 및 턱선에 맞게 조정함으로써, 서비스 대상 얼굴에 맞는 맞춤형 마스크를 제작할 수 있다. 이후, 개인화 처리부(130)는 서비스 대상 얼굴이 포함된 영상에 대해 앞서 제작한 맞춤형 마스크를 이용하여 얼굴 부위 이외를 제거함으로써(S307), 영상에서 얼굴 부위를 분리할 수 있다. 예컨대, 도 7에 예시한 바와 같이 서비스 대상의 얼굴 영상(704)을 획득할 수 있다(S211).
한편, 개인화 처리부(130)는 서비스 대상 얼굴이 포함된 영상에서 얼굴 부위를 분리하여 획득한 얼굴 영상의 표정을 변화시킬 수 있다. 앞서 설명한 바와 같이 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성한 바 있기 때문에, 이러한 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 개인 얼굴 메시 데이터의 표정 데이터를 생성할 수 있다.
그런데, 영상 처리부(120)가 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출할 때에, 혀와 치아와 관련된 특징점이 추출되지 않을 확률이 높다. 한 장의 영상만 이용하여 얼굴의 특징점을 추출하는 경우라면 혀와 치아와 관련된 특징점이 추출되지 않을 확률이 더욱 상승할 것이다. 이 때, 얼굴 표정의 변화에 따라 입모양이 바뀌어 입안까지 표현하여야 하는 경우가 발생할 수 있지만 입안의 정보가 존재하지 않아 부자연스럽게 표현될 수 있다. 이에, 개인화 처리부(130)는 개인 얼굴 메시 데이터의 표정 데이터를 생성하기에 앞서, 개인 얼굴 메시 데이터에 혀와 치아를 렌더링하여 삽입할 수 있다. 예를 들어, 도 8에 예시한 바와 같이 개인화 처리부(130)는 얼굴뼈가 리깅된 개인 얼굴 메시 데이터에서 치아의 위치(801)와 혀의 위치(802)를 추정한다(S401). 그리고, 개인화 처리부(130)는 추정된 위치에 혀와 치아를 렌더링하여 삽입한 후(S403), 영상 내에서 분리된 얼굴 부위와 혀 및 치아에 대한 텍스처 정보를 개인 얼굴 메시 데이터에 추가한다(S213, S405). 그러면, 도 8에 예시한 바와 같이 서비스 대상의 얼굴 영상(704)에 치아 영상(803)과 혀 영상(805) 또한 표현할 수 있다.
다음으로, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 개인 얼굴 메시 데이터의 표정 데이터를 생성할 수 있다. 앞서 도 5를 참조하여 설명한 바와 같이 모델링부(110)는 표준 얼굴 메시 데이터(501)에 대한 복수의 블렌드 쉐이프(502, 503, 504, 505)를 제작하여 표정 데이터를 생성할 수 있다. 이 경우에, 개인화 처리부(130)는 도 8에 예시한 바와 같이 복수의 블렌드 쉐이프(502, 503, 504, 505)를 서비스 대상의 얼굴 영상(704)에 적용함으로써, 서비스 대상 얼굴의 다양한 표정 영상(806, 807, 808, 809)을 생성할 수 있다(S215).
지금까지 설명한 바와 같은 본 발명의 일 실시예에 따른 영상 처리 장치(100) 및 그 영상 처리 방법은 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체하는 서비스에 적용할 수 있다. 도 9에 예시한 바와 같이 애니메이션 화면(901) 내 등장물의 얼굴 부위를 단계 S215에서 생성한 서비스 대상 얼굴의 표정 영상(806)으로 대체함으로써, 관람객의 몰입도를 향상시킬 수 있다.
본 발명의 실시예에 의하면, 서비스 대상 얼굴의 개인 특성이 반영된 개인 얼굴 메시 데이터를 생성할 때에 표준 얼굴 메시 데이터에 리깅된 얼굴뼈가 포함하고 있는 얼굴구성점을 이용한다. 따라서, 개인 얼굴 메시 데이터를 생성하기 위해 사전에 영상 내에서 서비스 대상 얼굴의 특징점을 추출할 때에 정확성이 높지 않게 나타난 경우라 할지라도, 개인 얼굴 메시 데이터의 신뢰성을 향상시킨다.
또, 임의의 영상 내에서 추정된 정수리 위치와 턱선을 기초로 생성한 얼굴윤곽선에 따른 마스크를 이용하여 얼굴 부위 이외를 제거함으로써, 임의의 영성 내에서 서비스 대상 얼굴을 신속하게 분리할 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 따르면, 서비스 대상 얼굴의 개인 특성이 반영된 개인 얼굴 메시 데이터에 대한 신뢰성이 향상되며, 이러한 개인 얼굴 메시 데이터를 이용하여 임의의 영성 내에서 서비스 대상 얼굴을 신속하게 분리할 수 있다. 이러한 본 발명은 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체하여 서비스하는 기술 분야에 적용할 수 있다.
100 : 얼굴 영상 처리 장치
110 : 모델링부
120 : 영상 처리부
130 : 개인화 처리부

Claims (11)

  1. 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법으로서,
    표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하는 단계;
    복수의 얼굴구성점을 포함하는 얼굴뼈를 상기 표준 얼굴 메시 데이터에 리깅(rigging)하는 단계;
    입력된 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계;
    상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터에 리깅된 얼굴뼈에 포함된 상기 복수의 얼굴구성점을 이동하여 상기 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성하는 단계; 및
    상기 개인 얼굴 메시 데이터를 기초로 상기 영상에서 얼굴 부위를 분리하는 단계를 포함하는
    얼굴 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 리깅하는 단계는, 상기 표준 얼굴 메시 데이터의 정점들을 상기 복수의 얼굴구성점 중 적어도 하나의 얼굴구성점에 리깅하고, 상기 정점들 중 적어도 일부는 상기 복수의 얼굴구성점 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅하는
    얼굴 영상 처리 방법.
  3. 제 1 항에 있어서,
    상기 영상에서 얼굴 부위를 분리하는 단계는, 상기 영상 내 얼굴의 정수리 위치를 상기 복수의 특징점에 기초한 가로와 세로간 비율을 기초로 추정하는 단계;
    상기 복수의 특징점을 기초로 상기 영상 내 얼굴의 턱선을 추출하는 단계;
    상기 정수리 위치 및 상기 턱선을 기초로 얼굴윤곽선을 생성하는 단계; 및
    상기 얼굴윤곽선에 따른 마스크를 이용하여 상기 영상에서 상기 얼굴 부위 이외를 제거하는 단계를 포함하는
    얼굴 영상 처리 방법.
  4. 제 1 항에 있어서, 상기 얼굴 영상 처리 방법은,
    상기 개인 얼굴 메시 데이터에서 혀와 치아의 위치를 추정하는 단계;
    상기 추정된 위치에 혀와 치아를 렌더링하여 삽입하는 단계; 및
    상기 분리된 얼굴 부위와 혀 및 치아에 대한 텍스처 정보를 상기 개인 얼굴 메시 데이터에 추가하는 단계를 더 포함하는
    얼굴 영상 처리 방법.
  5. 제 4 항에 있어서, 상기 얼굴 영상 처리 방법은,
    상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계; 및
    상기 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 상기 개인 얼굴 메시 데이터의 표정 데이터를 생성하는 단계를 더 포함하는
    얼굴 영상 처리 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 기재된 얼굴 영상 처리 방법에 따른 각각의 단계를 수행하는 명령어가
    컴퓨터 판독가능 기록매체에 기록된 컴퓨터 프로그램.
  7. 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하고, 복수의 얼굴구성점을 포함하는 얼굴뼈를 상기 표준 얼굴 메시 데이터에 리깅(rigging)하는 모델링부;
    입력된 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 영상 처리부; 및
    상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터에 리깅된 얼굴뼈에 포함된 상기 복수의 얼굴구성점을 이동하여 상기 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성하고, 상기 개인 얼굴 메시 데이터를 기초로 상기 영상에서 얼굴 부위를 분리하는 개인화 처리부를 포함하는
    얼굴 영상 처리 장치.
  8. 제 7 항에 있어서,
    상기 모델링부는, 상기 표준 얼굴 메시 데이터의 정점들을 상기 복수의 얼굴구성점 중 적어도 하나의 얼굴구성점에 리깅하고, 상기 정점들 중 적어도 일부는 상기 복수의 얼굴구성점 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅하는
    얼굴 영상 처리 장치.
  9. 제 7 항에 있어서,
    상기 개인화 처리부는, 상기 영상 내 얼굴의 정수리 위치를 상기 복수의 특징점에 기초한 가로와 세로간 비율을 기초로 추정하고, 상기 복수의 특징점을 기초로 상기 영상 내 얼굴의 턱선을 추출하며, 상기 정수리 위치 및 상기 턱선을 기초로 얼굴윤곽선을 생성하고, 상기 얼굴윤곽선에 따른 마스크를 이용하여 상기 영상에서 상기 얼굴 부위 이외를 제거하는
    얼굴 영상 처리 장치.
  10. 제 7 항에 있어서,
    상기 개인화 처리부는, 상기 개인 얼굴 메시 데이터에서 혀와 치아의 위치를 추정하고, 상기 추정된 위치에 혀와 치아를 렌더링하여 삽입하며, 상기 분리된 얼굴 부위와 혀 및 치아에 대한 텍스처 정보를 상기 개인 얼굴 메시 데이터에 추가하는
    얼굴 영상 처리 장치.
  11. 제 10 항에 있어서,
    상기 모델링부는, 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하고,
    상기 개인화 처리부는, 상기 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 상기 개인 얼굴 메시 데이터의 표정 데이터를 생성하는
    얼굴 영상 처리 장치.
KR1020180079585A 2018-07-09 2018-07-09 얼굴 영상 처리 방법 및 장치 KR102072721B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180079585A KR102072721B1 (ko) 2018-07-09 2018-07-09 얼굴 영상 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180079585A KR102072721B1 (ko) 2018-07-09 2018-07-09 얼굴 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200005945A KR20200005945A (ko) 2020-01-17
KR102072721B1 true KR102072721B1 (ko) 2020-02-03

Family

ID=69370127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180079585A KR102072721B1 (ko) 2018-07-09 2018-07-09 얼굴 영상 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102072721B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113865791B (zh) * 2021-09-28 2024-05-03 江苏省纺织产品质量监督检验研究院 一种口罩鼻夹密闭性测试方法
KR102437212B1 (ko) * 2021-10-15 2022-08-29 주식회사 엔닷라이트 딥러닝 기반의 캐릭터 리깅 자동 생성 방법 및 장치
CN115497615B (zh) * 2022-10-24 2023-09-01 北京亿家老小科技有限公司 一种远程医疗方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101102778B1 (ko) 2010-04-22 2012-01-05 한국과학기술원 리깅 복제를 통한 캐릭터 리깅 자동화 방법 및 장치
KR101794731B1 (ko) * 2016-11-10 2017-11-08 한국과학기술연구원 2차원 캐릭터 그림데이터를 애니메이션이 가능한 3차원 모델로 변형하는 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180446B (zh) 2016-03-10 2020-06-16 腾讯科技（深圳）有限公司 人物面部模型的表情动画生成方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101102778B1 (ko) 2010-04-22 2012-01-05 한국과학기술원 리깅 복제를 통한 캐릭터 리깅 자동화 방법 및 장치
KR101794731B1 (ko) * 2016-11-10 2017-11-08 한국과학기술연구원 2차원 캐릭터 그림데이터를 애니메이션이 가능한 3차원 모델로 변형하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Garrido, Pablo, et al. "Reconstruction of personalized 3D face rigs from monocular video." ACM Transactions on Graphics (TOG) 35.3 (2016).*

Also Published As

Publication number Publication date
KR20200005945A (ko) 2020-01-17

Similar Documents

Publication Publication Date Title
KR102109818B1 (ko) 얼굴 영상 처리 방법 및 장치
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
KR102072721B1 (ko) 얼굴 영상 처리 방법 및 장치
CN110402425B (zh) 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
Jörg et al. Data-driven finger motion synthesis for gesturing characters
KR101514327B1 (ko) 얼굴 아바타 생성 장치 및 방법
KR20240050463A (ko) 얼굴 재연을 위한 시스템 및 방법
CN113272870A (zh) 用于逼真的实时人像动画的系统和方法
KR101819535B1 (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
KR101788626B1 (ko) 화상처리장치, 화상처리방법 및 프로그램
US20170011556A1 (en) Information processing apparatus, control method, and storage medium storing program
KR102689515B1 (ko) 얼굴 정보를 처리하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체
KR20100138648A (ko) 영상 처리 장치 및 방법
CN109696953B (zh) 虚拟现实文字显示的方法、装置和虚拟现实设备
CN112419144B (zh) 人脸图像的处理方法、装置、电子设备及存储介质
KR100900823B1 (ko) 캐릭터 애니메이션 시 피부의 주름 실시간 표현 방법 및장치
JP2022527370A (ja) 毛の外観の変更
KR20200019296A (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CA2959309C (en) Method, apparatus and computer-readable medium for generating rendering instructions
KR102170445B1 (ko) 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법
JP2012164152A (ja) 画像生成装置および画像生成プログラム
Schroeder et al. Facial aging using image warping
Serra et al. Behavioural facial animation using motion graphs and mind maps
KR20160107655A (ko) 패턴 이미지 기반 얼굴 마스크 제작 장치 및 방법
Sheng et al. PDE-based facial animation: making the complex simple

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant