KR20200048153A - 얼굴 영상 처리 방법 및 장치 - Google Patents

얼굴 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20200048153A
KR20200048153A KR1020180129897A KR20180129897A KR20200048153A KR 20200048153 A KR20200048153 A KR 20200048153A KR 1020180129897 A KR1020180129897 A KR 1020180129897A KR 20180129897 A KR20180129897 A KR 20180129897A KR 20200048153 A KR20200048153 A KR 20200048153A
Authority
KR
South Korea
Prior art keywords
face
mesh data
image
standard
face mesh
Prior art date
Application number
KR1020180129897A
Other languages
English (en)
Inventor
한진용
김시균
임국찬
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180129897A priority Critical patent/KR20200048153A/ko
Publication of KR20200048153A publication Critical patent/KR20200048153A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개시된 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법은, 사용자에 대한 영상을 분석하여 영상 내 얼굴 부위의 특징점 및 특성을 추출하는 단계, 추출된 특성에 기초하여, 기저장된 복수의 표준 얼굴 메쉬 데이터 중 하나의 표준 얼굴 메쉬 데이터를 선정하는 단계, 선정된 표준 얼굴 메쉬 데이터를 추출된 특징점을 기초로 변형하여 개인 얼굴 메쉬 데이터를 생성하는 단계를 포함한다.

Description

얼굴 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING FACE IMAGE}
본 발명은 얼굴 영상 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상 내 얼굴의 표정을 변화시키는 얼굴 영상 처리 방법 및 장치에 관한 것이다.
인간의 커뮤니케이션(communication) 방법에는 여러 가지가 있다. 그 중의 하나는 얼굴 표정이다. 커뮤니케이션의 상대방은 발화자의 얼굴 표정으로부터 발화자의 감정이나 의도 등을 파악할 수 있다.
얼굴 표정을 이용한 커뮤니케이션 방법은 영화나 애니메이션에 등장하는 가상의 캐릭터에 대해서도 동일하게 적용될 수 있다. 즉 관람객은 캐릭터의 얼굴 표정으로부터 캐릭터의 감정이나 의도 또는 주변 상황과 같은 정보를 파악할 수 있다. 나아가, 캐릭터의 얼굴 부위를 관람객의 얼굴 영상으로 대체하여 서비스를 제공할 수 있으며, 이 경우에는 자신의 얼굴이 영화나 애니메이션에 등장하기 때문에 그만큼 관람객의 몰입도가 향상된다.
그런데, 이처럼 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체할 경우에는 일반적인 리타게팅(retargeting) 기법과는 다르게, 영상물 내에 삽입되는 얼굴 영상의 표정을 자연스럽게 변화시킬 수 있는 기술이 요구된다.
대한민국 공개특허공보 제10-2018-0070688호, 공개일자 2018년 06월 26일.
일 실시예에 의하면, 서비스 대상 얼굴의 개인 특성을 고려하여 개인 표정 영상을 생성하는 얼굴 영상 처리 방법 및 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 관점에 따른 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법은, 사용자에 대한 영상을 분석하여 상기 영상 내 얼굴 부위의 특징점 및 특성을 추출하는 단계; 상기 추출된 특성에 기초하여, 기저장된 복수의 표준 얼굴 메쉬 데이터 중 하나의 표준 얼굴 메쉬 데이터를 선정하는 단계; 상기 선정된 표준 얼굴 메쉬 데이터를 상기 추출된 특징점을 기초로 변형하여 개인 얼굴 메쉬 데이터를 생성하는 단계를 포함한다.
본 발명의 다른 관점에 따른 컴퓨터 프로그램은 상기 얼굴 영상 처리 방법에 따른 각각의 단계를 수행하는 명령어가 컴퓨터 판독가능 기록매체에 기록된다.
본 발명의 또 다른 관점에 따른 얼굴 영상 처리 장치는, 사용자에 대한 영상을 분석하여 상기 영상 내의 얼굴 부위에 존재하는 특징점 및 특성을 추출하는 영상 분석부; 상기 추출된 특성에 기초하여, 기저장된 복수의 표준 얼굴 메쉬 데이터 중 하나의 표준 얼굴 메쉬 데이터를 선정하고, 상기 선정된 표준 얼굴 메쉬 데이터를 상기 추출된 특징점을 기초로 변형하여 개인 얼굴 메쉬 데이터를 생성하는 개인화 처리부를 포함한다.
본 발명의 실시예에 의하면, 서비스 대상 얼굴의 개인 특성을 고려하여 개인 얼굴 메쉬 데이터 및 개인 표정 영상을 생성하기 때문에 서비스 대상 얼굴과 개인 표정 영상 간의 이질감을 낮춰서 높은 품질의 개인 표정 영상을 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법에 이용하기 위해 표준 얼굴 모델을 생성하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에서 생성하는 복수의 표준 얼굴 모델 및 표준 표정을 예시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치의 구성도이다.
도 1에 나타낸 바와 같이 일 실시예에 따른 얼굴 영상 처리 장치(100)는 모델링부(110), 데이터 저장부(120), 영상 분석부(130) 및 개인화 처리부(140)를 포함한다.
모델링부(110)는 복수의 표준 얼굴을 모델링하여 복수의 메쉬를 포함하는 복수의 표준 얼굴 메쉬 데이터를 생성하며, 복수의 표준 얼굴 메쉬 데이터에 대한 각각의 표준 표정 데이터를 생성한다. 예를 들어, 모델링부(110)는 복수의 서비스 대상 얼굴에 대하여 다양한 특성별로 맞춤형 서비스를 제공할 수 있도록 성별과 연령대 중 하나 이상을 고려하여 다양한 특성을 갖는 복수의 표준 얼굴 메쉬 데이터를 생성할 수 있다. 그리고, 모델링부(110)는 복수의 표준 얼굴 메쉬 데이터에 대해 각각 복수의 블렌드 쉐이프(Blend Shape)를 제작하여 표준 표정 데이터를 생성할 수 있다. 블렌드 쉐이프는 메쉬 안에서 정점이 이동해야 하는 타깃의 거리 및 방향(Displacement) 값이다.
데이터 저장부(120)에는 모델링부(110)에 의해 생성된 복수의 표준 얼굴 메쉬 데이터 및 복수의 표준 얼굴 메쉬 데이터에 대한 각각의 표준 표정 데이터가 저장된다.
영상 분석부(130)는 서비스 대상인 임의 사용자에 대한 영상을 분석하여 영상 내 얼굴 부위의 특징점 및 특성을 추출하여 개인화 처리부(140)에 제공한다. 예를 들어, 영상 분석부(130)는 공지의 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다. 그리고, 영상 분석부(130)는 복수의 얼굴 영상과 각각 대응하는 얼굴 특성값을 사전 학습한 딥 러닝(Deep Learning) 알고리즘을 통해 임의 사용자의 성별 또는 연령대 중 하나 이상을 임의 사용자의 얼굴 특성으로서 추정하여 개인화 처리부(140)에 제공할 수 있다.
개인화 처리부(140)는 영상 분석부(130)에 의해 추출된 얼굴 특성에 기초하여, 데이터 저장부(120)에 기저장된 복수의 표준 얼굴 메쉬 데이터 중 하나의 표준 얼굴 메쉬 데이터를 선정한다. 그리고, 개인화 처리부(130)는 선정된 하나의 표준 얼굴 메쉬 데이터를 추출된 얼굴 부위의 특징점을 기초로 변형하여 개인 얼굴 메쉬 데이터를 생성한다. 아울러, 개인화 처리부(130)는 선정된 하나의 표준 얼굴 메쉬 데이터의 표준 표정 데이터에 기초하여 개인 얼굴 메쉬 데이터의 개인 표정 영상을 생성한다. 여기서, 개인화 처리부(140)는 하나의 표준 얼굴 메쉬 데이터를 선정할 때에, 임의 사용자의 성별 또는 연령대에 따라 복수의 표준 얼굴 메쉬 데이터 중 하나의 표준 얼굴 메쉬 데이터를 선택할 수 있다. 그리고, 개인화 처리부(140)는 개인 표정 영상을 생성할 때에, 개인 얼굴 메쉬 데이터를 기초로 임의 사용자에 대한 영상에서 얼굴 영상을 분리할 수 있고, 선정된 표준 얼굴 메쉬 데이터의 표준 표정 데이터를 분리된 얼굴 영상에 반영하여 개인 표정 영상을 생성할 수 있다.
위와 같이 일 실시예에 따른 얼굴 영상 처리 장치(100)를 구성하는 모델링부(110), 영상 분석부(120) 및 개인화 처리부(140)는 각각 마이크로프로세서(Microprocessor)를 포함할 수 있으며, 이들의 동작은 아래에서 좀 더 자세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법에 이용하기 위해 표준 얼굴 모델을 생성하는 방법을 설명하기 위한 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도이며, 도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치(100)에서 생성하는 복수의 표준 얼굴 모델 및 표준 표정을 예시한 것이다.
먼저, 도 1, 도 2 및 도 4를 참조하여 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치(100)에서 표준 얼굴 모델을 생성하는 과정에 대해 살펴보기로 한다.
얼굴 영상 처리 장치(100)의 모델링부(110)는 복수의 표준 얼굴을 모델링하여 복수의 메쉬를 포함하는 복수의 표준 얼굴 메쉬 데이터를 생성하여 데이터 저장부(120)에 저장한다. 예를 들어, 모델링부(110)는 복수의 서비스 대상 얼굴에 대하여 다양한 특성별로 맞춤형 서비스를 제공할 수 있도록 성별과 연령대 중 하나 이상을 고려하여 다양한 특성을 갖는 복수의 표준 얼굴 메쉬 데이터를 적어도 세 개의 정점이 하나의 메쉬를 이루도록 생성할 수 있다. 이를 위해, 모델링부(110)는 성별에 따라 여성과 남성을 구분한 후 여성 및 남성에 대해 다양한 연령대별로 표준 얼굴 메쉬 데이터를 생성할 수 있다. 예컨대, 모델링부(110)는 도 4에 예시한 바와 같이 남녀 아동 연령대(왼쪽에서 첫 번째), 남성 청년/중년 연령대(왼쪽에서 두 번째), 여성 청년/중년 연령대(왼쪽에서 세 번째), 남성 장년/노년 연령대(왼쪽에서 네 번째) 및 여성 장년/노년 연령대(왼쪽에서 다섯 번째)에 각각 대응하는 표준 얼굴 메쉬 데이터를 생성할 수 있다(S210).
그리고, 모델링부(110)는 복수의 표준 얼굴 메쉬 데이터에 대한 각각의 표준 표정 데이터를 생성하며, 생성된 각각의 표준 표정 데이터를 해당 표준 얼굴 메쉬 데이터에 대응하여 데이터 저장부(120)에 저장한다. 예를 들어, 모델링부(110)는 복수의 표준 얼굴 메쉬 데이터에 대해 각각 복수의 블렌드 쉐이프(Blend Shape)를 제작하여 표준 표정 데이터를 생성할 수 있다. 예컨대, 도 4에 예시한 바와 같이 남녀 아동 연령대(왼쪽에서 첫 번째), 남성 청년/중년 연령대(왼쪽에서 두 번째), 여성 청년/중년 연령대(왼쪽에서 세 번째), 남성 장년/노년 연령대(왼쪽에서 네 번째) 및 여성 장년/노년 연령대(왼쪽에서 다섯 번째)에 각각 대응하는 표준 얼굴 메쉬 데이터의 다양한 표준 표정 데이터를 생성할 수 있다(S220).
다음으로, 도 1, 도 3 및 도 4를 참조하여 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치(100)에서 개인 얼굴 모델을 생성하는 과정에 대해 살펴보기로 한다.
얼굴 영상 처리 장치(100)의 영상 분석부(130)는 추후 S320에서 임의 사용자의 얼굴 영상을 분석하여 임의 사용자의 얼굴 특성을 추출하여야 하기에, 복수의 얼굴 영상과 각각 대응하는 얼굴 특성값을 사전 학습하여야 한다. 여기서, 영상 분석부(130)는 딥 러닝 알고리즘을 이용할 수 있다. 예를 들어, 영상 분석부(130)는 남녀 아동 연령대의 다양한 인물들의 얼굴 영상 데이터, 남성 청년/중년 연령대의 다양한 인물들의 얼굴 영상 데이터, 여성 청년/중년 연령대의 다양한 인물들의 얼굴 영상 데이터, 남성 장년/노년 연령대의 다양한 인물들의 얼굴 영상 데이터, 여성 장년/노년 연령대의 다양한 인물들의 얼굴 영상 데이터를 입력 받고, 입력된 얼굴 영상 데이터들에 대해 각각의 연령대별로 평균적인 얼굴 특성값을 추출하며, 복수의 얼굴 영상과 각각 대응하는 얼굴 특성값의 학습 데이터를 자체 내장 메모리나 데이터 저장부(120)에 저장할 수 있다.
이처럼, 복수의 얼굴 영상과 각각 대응하는 얼굴 특성값이 사전 학습된 상태에서, 영상 분석부(130)는 사전에 입력되었거나 실시간 입력되는 서비스 대상인 임의 사용자에 대한 영상을 분석하여 영상 내의 얼굴 부위에 존재하는 특징점 및 특성을 추출하여 개인화 처리부(140)로 제공한다. 예를 들어, 영상 분석부(130)는 공지의 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다. 이러한 얼굴 특징점 검출 알고리즘은 딥 러닝 기반의 이미지 프로세싱 기술로서, 얼굴의 눈, 코, 입, 턱 등을 분석하여 약 68개의 특징점을 추출할 수 있다(S310). 아울러, 얼굴 부위의 특성은 임의 사용자의 성별과 연령대 중 하나 이상을 추정하는 데에 기준으로 사용할 수 있는 정보라고 할 수 있다. 영상 분석부(130)는 자체 내장 메모리나 데이터 저장부(120)에 저장된 복수의 얼굴 영상과 각각 대응하는 얼굴 특성값의 학습 데이터를 이용한 딥 러닝 알고리즘을 수행하여 임의 사용자의 성별에 대한 정보와 연령대에 대한 정보 중 하나 이상을 임의 사용자의 얼굴 특성으로서 추정할 수 있고, 이렇게 추정된 임의 사용자의 얼굴 특성을 개인화 처리부(140)에 제공할 수 있다(S320).
다음으로, 개인화 처리부(140)는 영상 분석부(130)에 의해 추출된 얼굴 부위의 특성에 기초하여, 데이터 저장부(120)에 저장된 복수의 표준 얼굴 메쉬 데이터 중 하나의 표준 얼굴 메쉬 데이터를 선정한다. 예를 들어, 개인화 처리부(140)는 영상 분석부(130)에 의해 제공되는 임의 사용자의 성별에 대한 정보와 연령대에 대한 정보 중 하나 이상을 기초로 데이터 저장부(120)에서 하나의 표준 얼굴 메쉬 데이터를 선택할 수 있다. 예컨대, 개인화 처리부(140)는 임의 사용자의 성별에 대한 정보 및 연령대에 대한 정보를 종합하여 도 3에 예시한 바와 같이 남녀 아동 연령대(왼쪽에서 첫 번째), 남자 청년/중년 연령대(왼쪽에서 두 번째), 여성 청년/중년 연령대(왼쪽에서 세 번째), 남성 장년/노년 연령대(왼쪽에서 네 번째) 및 여성 장년/노년 연령대(왼쪽에서 다섯 번째) 중에서 적합한 표준 얼굴 메쉬 데이터를 선택할 수 있다(S330).
그리고, 개인화 처리부(140)는 선정된 하나의 표준 얼굴 메쉬 데이터를 단계 S230에서 추출된 얼굴 부위의 특징점을 기초로 변형하여 개인 얼굴 메쉬 데이터를 생성한다. 예를 들어, 개인화 처리부(140)는 영상 분석부(130)에 의해 추출된 복수의 특징점을 기초로 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성한다. 예컨대, 개인화 처리부(140)는 표준 얼굴 메시 데이터의 메시를 구성하는 정점들을 단계 S230에서 추출된 얼굴 부위의 특징점의 위치로 이동시켜 변형시킴으로써 표준 얼굴 메쉬 데이터가 변형된 개인 얼굴 메쉬 데이터를 생성할 수 있다(S340).
이어서, 개인화 처리부(140)는 개인 얼굴 메쉬 데이터를 기초로 서비스 대상인 임의 사용자의 영상 내에서 얼굴 부위의 얼굴 영상을 분리한다. 예를 들어, 개인화 처리부(140)는 영상 내 얼굴의 정수리 위치를 복수의 특징점에 기초한 가로와 세로 간 비율을 기초로 추정할 수 있고, 영상 내에서 추출된 얼굴의 복수의 특징점을 기초로 영상 내 얼굴의 턱선을 추출할 수 있다. 이어서, 정수리 위치 및 턱선을 기초로 얼굴윤곽선을 생성할 수 있고, 얼굴윤곽선에 따른 마스크를 제작한 후, 임의 사용자의 영상에서 마스크를 이용하여 얼굴 부위 이외를 제거함으로써, 영상에서 얼굴 부위를 분리할 수 있다(S350).
다음으로, 개인화 처리부(140)는 단계 S250에서 선정된 하나의 표준 얼굴 메쉬 데이터의 표준 표정 데이터에 기초하여 개인 얼굴 메쉬 데이터의 개인 표정 영상을 생성한다. 예를 들어, 개인화 처리부(140)는 표준 얼굴 메쉬 데이터의 표준 표정 데이터를 단계 S270에서 분리된 얼굴 영상에 반영하여 개인 표정 영상을 생성할 수 있다. 앞서 설명한 바와 같이 모델링부(110)는 표준 얼굴 메쉬 데이터에 대한 복수의 블렌드 쉐이프를 제작하여 표준 표정 데이터를 생성할 수 있다. 이 경우에, 개인화 처리부(140)는 모델링부(110)에 의해 제작된 복수의 블렌드 쉐이프를 서비스 대상의 얼굴 영상에 적용함으로써, 서비스 대상 얼굴의 다양한 표정 영상을 생성할 수 있다(S360).
지금까지 설명한 바와 같은 본 발명의 일 실시예에 따른 영상 처리 장치(100) 및 그 영상 처리 방법은 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체하는 서비스에 적용할 수 있다. 애니메이션 화면 내 등장물의 얼굴 부위를 단계 S280에서 생성한 서비스 대상 얼굴의 표정 영상으로 대체함으로써, 관람객의 몰입도를 향상시킬 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특징에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 따르면, 서비스 대상 얼굴의 개인 특성을 고려하여 개인 얼굴 메쉬 데이터 및 개인 표정 영상을 생성하기 때문에 높은 품질의 개인 표정 영상을 제공한다.
이러한 본 발명은 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체하여 서비스하는 기술 분야에 적용할 수 있다.
100: 얼굴 영상 처리 장치
110: 모델링부
120: 데이터 저장부
130: 영상 분석부
140: 개인화 처리부

Claims (7)

  1. 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법으로서,
    사용자에 대한 영상을 분석하여 상기 영상 내 얼굴 부위의 특징점 및 특성을 추출하는 단계;
    상기 추출된 특성에 기초하여, 기저장된 복수의 표준 얼굴 메쉬 데이터 중 하나의 표준 얼굴 메쉬 데이터를 선정하는 단계;
    상기 선정된 표준 얼굴 메쉬 데이터를 상기 추출된 특징점을 기초로 변형하여 개인 얼굴 메쉬 데이터를 생성하는 단계
    를 포함하는 얼굴 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 특성은 상기 사용자의 성별 또는 연령대를 포함하고,
    상기 표준 얼굴 메쉬 데이터를 선정하는 단계는,
    상기 성별 또는 상기 연령대에 따라 상기 하나의 표준 얼굴 메쉬 데이터를 선정하는
    얼굴 영상 처리 방법.
  3. 제 1 항에 있어서,
    상기 개인 얼굴 메쉬 데이터를 기초로 상기 사용자에 대한 영상에서 얼굴 영상을 분리하는 단계; 및
    상기 선정된 표준 얼굴 메쉬 데이터의 표준 표정 데이터를 상기 분리된 얼굴 영상에 반영하여 개인 표정 영상을 생성하는 단계를 더 포함하는
    얼굴 영상 처리 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 기재된 얼굴 영상 처리 방법에 따른 각각의 단계를 수행하는 명령어가
    컴퓨터 판독가능 기록매체에 기록된 컴퓨터 프로그램.
  5. 사용자에 대한 영상을 분석하여 상기 영상 내의 얼굴 부위에 존재하는 특징점 및 특성을 추출하는 영상 분석부; 및
    상기 추출된 특성에 기초하여, 기저장된 복수의 표준 얼굴 메쉬 데이터 중 하나의 표준 얼굴 메쉬 데이터를 선정하고, 상기 선정된 표준 얼굴 메쉬 데이터를 상기 추출된 특징점을 기초로 변형하여 개인 얼굴 메쉬 데이터를 생성하는 개인화 처리부를 포함하는
    얼굴 영상 처리 장치.
  6. 제 5 항에 있어서,
    상기 특성은 상기 사용자의 성별 또는 연령대를 포함하고,
    상기 개인화 처리부는, 상기 성별 또는 상기 연령대에 따라 상기 하나의 표준 얼굴 메쉬 데이터를 선정하는
    얼굴 영상 처리 장치.
  7. 제 5 항에 있어서,
    상기 개인화 처리부는, 상기 개인 얼굴 메쉬 데이터를 기초로 상기 사용자에 대한 영상에서 얼굴 영상을 분리하고, 상기 선정된 표준 얼굴 메쉬 데이터의 표준 표정 데이터를 상기 분리된 얼굴 영상에 반영하여 개인 표정 영상을 생성하는
    얼굴 영상 처리 장치.
KR1020180129897A 2018-10-29 2018-10-29 얼굴 영상 처리 방법 및 장치 KR20200048153A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180129897A KR20200048153A (ko) 2018-10-29 2018-10-29 얼굴 영상 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180129897A KR20200048153A (ko) 2018-10-29 2018-10-29 얼굴 영상 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200048153A true KR20200048153A (ko) 2020-05-08

Family

ID=70677270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180129897A KR20200048153A (ko) 2018-10-29 2018-10-29 얼굴 영상 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20200048153A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180070688A (ko) 2016-03-10 2018-06-26 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 인물 얼굴 모델의 표정 애니메이션 생성 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180070688A (ko) 2016-03-10 2018-06-26 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 인물 얼굴 모델의 표정 애니메이션 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
CN111508064B (zh) 基于音素驱动的表情合成方法、装置和计算机存储介质
US8698796B2 (en) Image processing apparatus, image processing method, and program
CN112927712B (zh) 视频生成方法、装置和电子设备
KR20240050463A (ko) 얼굴 재연을 위한 시스템 및 방법
CN110633748B (zh) 一种鲁棒的自动人脸融合方法
US20160134840A1 (en) Avatar-Mediated Telepresence Systems with Enhanced Filtering
KR102109818B1 (ko) 얼굴 영상 처리 방법 및 장치
KR20210119441A (ko) 텍스트 및 오디오 기반 실시간 얼굴 재연
JP2022513858A (ja) 顔画像生成用のデータ処理方法、データ処理機器、コンピュータプログラム、及びコンピュータ機器
Cunningham et al. The components of conversational facial expressions
Saunders et al. Anonysign: Novel human appearance synthesis for sign language video anonymisation
CN115914505B (zh) 基于语音驱动数字人模型的视频生成方法及系统
CN113850169A (zh) 一种基于图像分割和生成对抗网络的人脸属性迁移方法
KR102072721B1 (ko) 얼굴 영상 처리 방법 및 장치
Upadhyay et al. Facial expression recognition: A review
KR102131923B1 (ko) 가상 피팅을 위한 실시간 3d 아바타 생성 방법 및 시스템
KR102108422B1 (ko) Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
KR20220054955A (ko) 사용자 얼굴을 대상 얼굴로 교체하는 장치, 방법 및 컴퓨터 프로그램
KR20200048153A (ko) 얼굴 영상 처리 방법 및 장치
CN116524087A (zh) 融合神经辐射场的音频驱动的说话人视频合成方法及系统
KR20200029968A (ko) 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법
KR20200019296A (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN115578298A (zh) 一种基于内容感知的深度肖像视频合成方法
CN114419177A (zh) 个性化表情包生成方法、系统、电子设备及可读介质
CN115278106A (zh) 基于草图的深度人脸视频编辑方法及系统

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination