KR102422779B1 - 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체 - Google Patents

랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR102422779B1
KR102422779B1 KR1020190179927A KR20190179927A KR102422779B1 KR 102422779 B1 KR102422779 B1 KR 102422779B1 KR 1020190179927 A KR1020190179927 A KR 1020190179927A KR 20190179927 A KR20190179927 A KR 20190179927A KR 102422779 B1 KR102422779 B1 KR 102422779B1
Authority
KR
South Korea
Prior art keywords
landmark
person
expression
information
transformation matrix
Prior art date
Application number
KR1020190179927A
Other languages
English (en)
Other versions
KR20210086905A (ko
Inventor
안상일
하성주
김동영
마틴 커스너
김범수
서석준
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Priority to KR1020190179927A priority Critical patent/KR102422779B1/ko
Priority to JP2020185991A priority patent/JP2021077376A/ja
Priority to US17/092,486 priority patent/US20210142440A1/en
Publication of KR20210086905A publication Critical patent/KR20210086905A/ko
Priority to US17/658,620 priority patent/US20220237945A1/en
Priority to US17/658,623 priority patent/US20220253970A1/en
Application granted granted Critical
Publication of KR102422779B1 publication Critical patent/KR102422779B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체가 개시된다. 본 발명의 일 실시예에 따른 랜드마크 분리 방법은, 제1 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크 정보를 수신하는 단계, 상기 랜드마크 정보에 대응하는 변환 행렬을 추정하는 단계, 상기 변환 행렬을 이용하여 상기 제1 인물의 표현 랜드마크를 산출하는 단계 및 상기 표현 랜드마크를 이용하여 상기 제1 인물의 고유 랜드마크를 산출하는 단계를 포함한다.

Description

랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체{Landmarks Decomposition Apparatus, Method and Computer Readable Recording Medium Thereof}
본 발명은 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것으로, 보다 구체적으로는 하나의 프레임 혹은 적은 수의 프레임으로부터 랜드마크를 분리할 수 있는 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것이다.
얼굴 랜드마크(facial landmark)는 얼굴의 주요 요소의 기점(key point)을 추출하거나 기점을 연결하여 그린 윤곽선을 추출하는 분석 방법이다. Facial landmark는 얼굴 표정 분류, 포즈 분석, 합성 및 변형 등 얼굴 영상의 analysis, synthesis, morphing, reenactment, classification 등의 기술의 가장 밑단에서 활용되고 있다.
Facial landmark를 기반으로 하는 기존의 얼굴 영상 분석 및 활용 기술은 facial landmark를 처리할 때 대상의 외모적 특성과 표정 등의 감정에 의한 특성을 구분하지 않아 이로 인한 성능 하락을 동반한다. 예를 들어, 눈썹의 위치가 남들보다 높이 있는 외모적 특성을 가지고 있는 사람의 감정을 분류하는 경우 실제로 무표정 하더라도 놀란 표정을 짓고 있는 것으로 잘못 분류될 수 있다.
본 발명은 적은 양의 데이터만 있는 대상에 대해서도 랜드마크 분리를 수행할 수 있는 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 랜드마크 분리 방법은, 제1 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크 정보를 수신하는 단계, 상기 랜드마크 정보에 대응하는 변환 행렬을 추정하는 단계, 상기 변환 행렬을 이용하여 상기 제1 인물의 표현 랜드마크를 산출하는 단계 및 상기 표현 랜드마크를 이용하여 상기 제1 인물의 고유 랜드마크를 산출하는 단계를 포함한다.
또한, 상기 변환 행렬을 추정하는 단계에서는 임의의 얼굴 이미지와 상기 임의의 얼굴 이미지에 대응하는 랜드마크 정보로부터 PCA 변환 행렬을 추정하도록 학습된 학습 모델을 사용할 수 있다.
또한, 상기 학습 모델은 복수의 랜드마크 정보를 복수의 시맨틱 그룹(semantic group)으로 분류하고, 상기 복수의 시맨틱 그룹 각각에 대응하는 PCA 변환 계수를 출력할 수 있다.
또한, 상기 표현 랜드마크를 산출하는 단계에서는, 상기 추정된 변환 행렬과 상기 PCA 단위 벡터를 연산하여 상기 제1 인물의 표현 랜드마크를 산출할 수 있다.
또한, 상기 랜드마크 정보는 상기 표현 랜드마크, 상기 고유 랜드마크 및 충분히 많은 사람의 얼굴의 평균 랜드마크의 합으로 정의될 수 있다.
또한, 상기 고유 랜드마크를 산출하는 단계에서는, 상기 랜드마크 정보에서 상기 표현 랜드마크 및 상기 평균 랜드마크를 연산하여 상기 제1 인물의 고유 랜드마크를 산출할 수 있다.
한편, 본 발명에 따른 랜드마크 분리 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 랜드마크 분리 장치는, 제1 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크 정보를 수신하는 수신부, 상기 랜드마크 정보에 대응하는 변환 행렬을 추정하는 변환 행렬 추정부 및 상기 변환 행렬을 이용하여 상기 제1 인물의 표현 랜드마크를 산출하고, 상기 표현 랜드마크를 이용하여 상기 제1 인물의 고유 랜드마크를 산출하는 연산부를 포함한다.
또한, 상기 변환 행렬 추정부는 임의의 얼굴 이미지와 상기 임의의 얼굴 이미지에 대응하는 랜드마크 정보로부터 PCA 변환 행렬을 추정하도록 학습된 학습 모델을 사용할 수 있다.
또한, 상기 학습 모델은 상기 랜드마크 정보를 복수의 시맨틱 그룹(semantic group)으로 분류하고, 상기 복수의 시맨틱 그룹 각각에 대응하는 PCA 변환 계수를 출력할 수 있다.
또한, 상기 연산부는, 상기 추정된 변환 행렬과 상기 PCA 단위 벡터를 연산하여 상기 제1 인물의 표현 랜드마크를 산출할 수 있다.
또한, 상기 랜드마크 정보는 상기 표현 랜드마크, 상기 고유 랜드마크 및 충분히 많은 사람의 얼굴의 평균 랜드마크의 합으로 정의될 수 있다.
또한, 상기 제1 인물의 고유 랜드마크를 산출하는 단계에서는, 상기 랜드마크 정보에서 상기 표현 랜드마크 및 상기 평균 랜드마크를 연산하여 상기 제1 인물의 고유 랜드마크를 산출할 수 있다.
본 발명은 적은 양의 데이터만 있는 대상에 대해서도 랜드마크 분리를 수행할 수 있는 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
도 1은 본 발명에 따른 랜드마크 분리 장치가 동작하는 환경을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 랜드마크 분리 방법을 개략적으로 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 변환 행렬을 연산하는 방법을 개략적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 랜드마크 분리 장치의 구성을 개략적으로 나타내는 도면이다.
도 5는 본 발명을 이용하여 얼굴을 재현하는 방법을 예시적으로 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명에 따른 랜드마크 분리 장치가 동작하는 환경을 개략적으로 나타내는 도면이다. 도 1을 참조하면, 제1 단말기(10), 및 제2 단말기(200)가 동작하는 환경은 서버(100) 및 서버(100)와 서로 연결된 제1 단말기(10), 및 제2 단말기(20)를 포함할 수 있다. 설명의 편의를 위해 도 1에는 두 개의 단말기, 즉 제1 단말기(10), 및 제2 단말기(20) 만을 도시하고 있으나, 두 개 보다 더 많은 수의 단말기가 포함될 수 있다. 추가될 수 있는 단말기에 대하여, 특별히 언급될 설명을 제외하고, 제1 단말기(10), 및 제2 단말기(20)에 대한 설명이 적용될 수 있다.
서버(100)는 통신망에 연결될 수 있다. 서버(100)는 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 서버(100)는 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
서버(100)와 연결된 통신망은 유선 통신망, 무선 통신망, 또는 복합 통신망을 포함할 수 있다. 통신망은 3G, LTE, 또는 LTE-A 등과 같은 이동 통신망을 포함할 수 있다. 통신망은 와이파이(Wi-Fi), UMTS/GPRS, 또는 이더넷(Ethernet) 등과 같은 유선 또는 무선 통신망을 포함할 수 있다. 통신망은 마그네틱 보안 전송(MST, Magnetic Secure Transmission), RFID(Radio Frequency Identification), NFC(Near Field Communication), 지그비(ZigBee), Z-Wave, 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), 또는 적외선 통신(IR, InfraRed communication) 등과 같은 근거리 통신망을 포함할 수 있다. 통신망은 근거리 네트워크(LAN, Local Area Network), 도시권 네트워크(MAN, Metropolitan Area Network), 또는 광역 네트워크(WAN, Wide Area Network) 등을 포함할 수 있다.
서버(100)는 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나로부터 데이터를 수신할 수 있다. 서버(100)는 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나로부터 수신된 데이터를 이용하여 연산을 수행할 수 있다. 서버(100)는 상기 연산 결과를 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나에 전송할 수 있다.
서버(100)는 제1 단말기(10), 및 제2 단말기(20) 중 적어도 하나의 단말기로부터 중개 요청을 수신할 수 있다. 서버(100)는 중개 요청을 전송한 단말을 선택할 수 있다. 예를 들어, 서버(100)는 제1 단말기(10), 및 제2 단말기(20)를 선택할 수 있다.
서버(100)는 상기 선택된 제1 단말기(10), 및 제2 단말기(20) 사이의 통신 연결을 중개할 수 있다. 예컨대, 서버(100)는 제1 단말기(10), 및 제2 단말기(20) 사이의 영상 통화 연결을 중개하거나, 텍스트 송수신 연결을 중개할 수 있다. 서버(100)는 제1 단말기(10)에 대한 연결 정보를 제2 단말기(20)에 전송할 수 있고, 제2 단말기(20)에 대한 연결 정보를 제1 단말기(10)에 전송할 수 있다.
제1 단말기(10)에 대한 연결 정보는 예를 들어, 제1 단말기(10)의 아이피(IP) 주소 및 포트(port) 번호를 포함할 수 있다. 제2 단말기(20)에 대한 연결 정보를 수신한 제1 단말기(10)는 상기 수신된 연결 정보를 이용하여 제2 단말기(20)에의 연결을 시도할 수 있다.
제1 단말기(10)의 제2 단말기(20)에의 연결 시도 또는 제2 단말기(20)의 제1 단말기(10)에의 연결 시도가 성공함으로써, 제1 단말기(10) 및 제2 단말기(20) 사이의 영상 통화 세션이 수립될 수 있다. 상기 영상 통화 세션을 통해 제1 단말기(10)는 제2 단말기(20)에 영상 또는 소리를 전송할 수 있다. 제1 단말기(10)는 영상 또는 소리를 디지털 신호로 인코딩하고, 상기 인코딩 된 결과물을 제2 단말기(20)에 전송할 수 있다.
또한, 상기 영상 통화 세션을 통해 제1 단말기(10)는 제2 단말기(20)로부터 영상 또는 소리를 수신할 수 있다. 제1 단말기(10)는 디지털 신호로 인코딩 된 영상 또는 소리를 수신하고, 상기 수신된 영상 또는 소리를 디코딩할 수 있다.
상기 영상 통화 세션을 통해 제2 단말기(20)는 제1 단말기(10)에 영상 또는 소리를 전송할 수 있다. 또한, 상기 영상 통화 세션을 통해 제2 단말기(20)는 제1 단말기(10)로부터 영상 또는 소리를 수신할 수 있다. 이로써, 제1 단말기(10)의 사용자 및 제2 단말기(20)의 사용자는 서로 영상 통화를 할 수 있다.
제1 단말기(10), 및 제2 단말기(20)는, 예를 들어, 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 등일 수 있다. 제1 단말기(10), 및 제2 단말기(20)는 프로그램 또는 애플리케이션을 실행할 수 있다. 제1 단말기(10), 및 제2 단말기(200) 각각은 서로 동일한 종류의 장치일 수 있고, 서로 다른 종류의 장치일 수도 있다.
도 2는 본 발명의 일 실시예에 따른 랜드마크 분리 방법을 개략적으로 나타내는 순서도이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 랜드마크 분리 방법은 얼굴 이미지와 랜드마크 정보를 수신하는 단계(S110), 변환 행렬을 추정하는 단계(S120), 표현 랜드마크를 산출하는 단계(S130), 및 고유 랜드마크를 산출하는 단계(S140)를 포함한다.
단계(S110)에서는 제1 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크(landmark) 정보를 수신한다. 여기서, 상기 랜드마크는 상기 얼굴의 랜드마크(facial landmark)로 이해할 수 있다. 상기 랜드마크는 얼굴의 주요 요소, 예컨대, 눈, 눈썹, 코, 입, 턱선 등을 의미할 수 있다.
그리고, 상기 랜드마크 정보는 상기 얼굴의 주요 요소의 위치, 크기, 또는 모양에 관한 정보를 포함할 수 있다. 또한, 상기 랜드마크 정보는 상기 얼굴의 주요 요소의 색상 또는 질감에 관한 정보를 포함할 수 있다.
상기 제1 인물은 임의의 인물을 의미하며, 단계(S110)에서는 임의의 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크 정보를 수신한다. 상기 랜드마크 정보는 공지의 기술을 통해 획득 가능하며, 공지된 방법 중 어떤 방법을 사용하더라도 무방하다. 또한, 상기 랜드마크를 획득하는 방법에 의하여 본 발명이 제한되는 것은 아니다.
단계(S120)에서는 상기 랜드마크 정보에 대응하는 변환 행렬을 추정한다. 상기 변환 행렬은 미리 정해진 단위 벡터(unit vector)와 함께 상기 랜드마크 정보를 구성할 수 있다. 예를 들어, 제1 랜드마크 정보는 상기 단위 벡터와 제1 변환 행렬의 곱으로 연산될 수 있다. 또한, 제2 랜드마크 정보는 상기 단위 벡터와 제2 변환 행렬의 곱으로 연산될 수 있다.
상기 변환 행렬은 고차원의 랜드마크 정보를 저차원의 데이터로 변환하는 행렬로서, 주성분분석(Principal Component Analysis, PCA)에서 활용될 수 있다. PCA는 데이터의 분산을 최대한 보존하면서 서로 직교하는 새 축을 찾아 고차원 공간의 변수들을 저차원 공간의 변수로 변환하는 차원 축소 기법이다. PCA는 먼저 데이터에 가장 가까운 초평면(hyperplane)을 구한 뒤에 데이터를 저차원의 초평면에 투영(projection)시켜 데이터의 차원을 축소한다.
PCA에서 i 번째 축을 정의하는 단위 벡터를 i 번째 주성분(Principal Component, PC)라고 하고, 이러한 축들을 선형 결합하여 고차원 데이터를 저차원 데이터로 변환할 수 있다.
Figure 112019136259662-pat00001
여기서, X는 고차원의 랜드마크 정보, Y는 저차원의 주성분, 그리고 α는 변환 행렬을 의미한다.
앞서 설명한 바와 같이, 상기 단위 벡터, 즉 주성분은 미리 결정되어 있을 수 있다. 따라서, 새로운 랜드마크 정보가 수신되면, 이에 대응하는 변환 행렬이 결정될 수 있다. 이 때, 하나의 랜드마크 정보에 대응하여 복수 개의 변환 행렬이 존재할 수 있다.
한편, 단계(S120)에서는 상기 변환 행렬을 추정하도록 학습된 학습 모델을 사용할 수 있다. 상기 학습 모델은 임의의 얼굴 이미지와 상기 임의의 얼굴 이미지에 대응하는 랜드마크 정보로부터 PCA 변환 행렬을 추정하도록 학습된 모델로 이해할 수 있다.
상기 학습 모델은 서로 다른 사람들의 얼굴 이미지와, 각각의 얼굴 이미지에 대응하는 랜드마크 정보로부터 상기 변환 행렬을 추정하도록 학습될 수 있다. 하나의 고차원 랜드마크 정보에 대응하는 변환 행렬은 여러 개가 존재할 수 있는데, 상기 학습 모델은 여러 개의 변환 행렬 중 하나의 변환 행렬만을 출력하도록 학습될 수 있다.
상기 학습 모델에 입력으로 사용되는 상기 랜드마크 정보는 얼굴 이미지로부터 랜드마크 정보를 추출하여 이를 이미지화(visualization)하는 공지의 방법을 통해 획득될 수 있다.
따라서, 단계(S120)에서는 상기 제1 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크 정보를 입력으로 수신하고, 이로부터 하나의 변환 행렬을 추정하여 출력하게 된다.
한편, 상기 학습 모델은 랜드마크 정보를 우안, 좌안, 코, 입에 각각 대응하는 복수의 시맨틱 그룹(semantic group)으로 분류하고, 상기 복수의 시맨틱 그룹 각각에 대응하는 PCA 변환 계수를 출력하도록 학습될 수 있다.
이 때, 상기 시맨틱 그룹은 반드시 우안, 좌안, 코, 입에 대응하도록 분류되는 것은 아니며, 눈썹, 눈, 코, 입, 턱선에 대응하도록 분류하거나, 눈썹, 우안, 좌안, 코, 입, 턱선, 귀에 대응하도록 분류하는 것도 가능하다. 단계(S120)에서는 상기 학습 모델에 따라 상기 랜드마크 정보를 세분화된 단위의 시맨틱 그룹으로 분류하고, 분류된 시맨틱 그룹에 대응하는 PCA 변환 계수를 추정할 수 있다.
단계(S130)에서는 상기 변환 행렬을 이용하여 상기 제1 인물의 표현(expression) 랜드마크를 산출한다. 랜드마크 정보는 복수의 서브 랜드마크(sub landmark) 정보로 분리(decompose)될 수 있는데, 본 발명에서는 상기 랜드마크 정보가 다음과 같이 표현될 수 있음을 상정한다.
Figure 112019136259662-pat00002
여기서, l(c, t)는 인물 c 가 포함된 비디오의 t 번째 프레임에서의 랜드마크 정보, lm은 인간의 평균 랜드마크(mean facial landmark) 정보, lid(c)는 인물 c 개인의 고유 랜드마크(facial landmark of identity geometry) 정보, lexp(c, t)는 인물 c 가 포함된 비디오의 t 번째 프레임에서의 상기 인물 c 의 표현 랜드마크(facial landmark of expression geometry)를 의미한다.
즉, 특정 인물의 특정 프레임에서의 랜드마크 정보는, 모든 사람의 얼굴의 평균적인 랜드마크 정보, 상기 특정 인물만의 고유의 랜드마크 정보, 그리고 상기 특정 프레임에서 상기 특정 인물의 표정 및 움직임 정보의 합으로 표현될 수 있다.
상기 평균 랜드마크 정보는 다음의 수학식과 같이 정의할 수 있고, 사전에 수집 가능한 다량의 비디오를 바탕으로 계산할 수 있다.
Figure 112019136259662-pat00003
여기서, T는 비디오의 전체 프레임 수를 의미하며, 따라서 lm은 사전에 수집한 비디오에 등장하는 모든 인물의 랜드마크 l(c, t)의 평균을 의미한다.
한편, 상기 표현 랜드마크는 다음의 수학식을 이용하여 산출할 수 있다.
Figure 112019136259662-pat00004
위 수학식은 인물 c 의 시맨틱 그룹 각각에 대한 PCA 수행 결과를 나타낸다. nexp는 모든 시맨틱 그룹의 expression basis 수의 합, b exp는 PCA의 basis인 expression basis, α는 PCA의 계수를 의미한다.
다시 말해, b exp는 앞서 설명한 고유 벡터를 의미하며, 고차원의 표현 랜드마크는 저차원의 고유 벡터들의 조합으로 정의될 수 있다. 그리고, nexp는 인물 c 가 우안, 좌안 코, 입 등을 통해 표현할 수 있는 표정 및 움직임의 총 개수를 의미한다.
따라서, 상기 제1 인물의 표현 랜드마크는 얼굴의 주요 부위 즉, 상기 우안, 좌안, 코, 입 각각에 대한 표현 정보의 집합으로 정의할 수 있다. 그리고, αk(c, t)는 각각의 고유 벡터에 대응하여 존재할 수 있다.
앞서 설명한 학습 모델은 수학식 2와 같이 랜드마크 정보를 분리하고자 하는 인물 c 의 사진 x(c, t)와 랜드마크 정보 l(c, t)를 입력으로 하여 PCA 계수 α(c, t)를 추정하도록 학습시킬 수 있다. 이러한 학습을 통해 상기 학습 모델은 특정한 인물의 이미지와 이에 대응하는 랜드마크 정보로부터 PCA 계수를 추정할 수 있고, 상기 저차원의 고유 벡터를 추정할 수 있게 된다.
학습된 뉴럴 네트워크(neural network)를 적용할 때는 랜드마크 분리를 수행하고자 하는 인물 c` 의 사진 x(c`, t)와 랜드마크 정보 l(c`, t)를 뉴럴 네트워크의 입력으로 하고, PCA 변환 행렬을 추정한다. 이 때, b exp는 학습 데이터로부터 구한 값을 사용하고 예측(추정)된 PCA 계수와 b exp를 이용하여 다음과 같이 표현 랜드마크를 추정할 수 있다.
Figure 112019136259662-pat00005
여기서,
Figure 112019136259662-pat00006
는 추정된 표현 랜드마크,
Figure 112019136259662-pat00007
는 추정된 PCA 변환 행렬을 의미한다.
단계(S140)에서는 상기 표현 랜드마크를 이용하여 상기 제1 인물의 고유(identity) 랜드마크를 산출한다. 수학식 2를 참조로 하여 설명한 바와 같이, 랜드마크 정보는 평균 랜드마크 정보, 고유 랜드마크 정보 및 표현 랜드마크 정보의 합으로 정의될 수 있으며, 상기 표현 랜드마크 정보는 단계(S130)에서 수학식 5를 통해 추정될 수 있다.
따라서, 상기 고유 랜드마크는 다음과 같이 산출할 수 있다.
Figure 112019136259662-pat00008
상기 수학식은 수학식 2로부터 도출될 수 있으며, 단계(S130)에서 표현 랜드마크가 산출되면, 단계(S140)에서는 수학식 6을 통해 고유 랜드마크를 산출할 수 있다. 평균 랜드마크 정보 lm은 사전에 수집 가능한 다량의 비디오를 바탕으로 계산할 수 있다.
따라서, 임의의 인물의 얼굴 이미지가 주어지면 이로부터 랜드마크 정보를 획득할 수 있고, 상기 얼굴 이미지와 랜드마크 정보로부터 표현 랜드마크 정보 및 고유 랜드마크 정보를 산출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 변환 행렬을 연산하는 방법을 개략적으로 나타내는 도면이다. 도 3을 참조하면, 인공 신경망(neural network)은 임의의 인물의 얼굴 이미지(input image)를 입력으로 수신한다. 상기 인공 신경망은 공지의 인공 신경망 중 일부를 적용할 수 있는데, 일 실시예에서 상기 인공 신경망은 ResNet 일 수 있다. ResNet 은 CNN(Convolution Neural Network)의 일종이며, 본 발명이 특정한 인공 신경망의 종류로 제한되는 것은 아니다.
MLP(Multi Layer Perceptron)는 단층 Perceptron의 한계를 극복하기 위해 여러 층의 Perceptron을 쌓아올린 형태의 인공 신경망의 일종이다. 도 3을 참조하면, MLP는 상기 인공 신경망의 출력과 상기 얼굴 이미지에 대응하는 랜드마크 정보(landmark)를 입력으로 수신한다. 그리고, MLP는 변환 행렬(transformation matrix)을 출력한다.
도 3에서 상기 인공 신경망과 MLP가 전체로서 하나의 학습된 인공 신경망을 구성하는 것으로도 이해할 수 있다.
학습된 인공 신경망을 통해 상기 변환 행렬이 추정되면, 도 2를 참조로 하여 설명한 바와 같이, 표현 랜드마크 정보와 고유 랜드마크 정보를 산출할 수 있다. 본 발명에 따른 랜드마크 분리 방법은 매우 적은 수의 얼굴 이미지만 존재하거나 단 한 프레임의 얼굴 이미지만 존재하는 경우에도 적용될 수 있다.
상기 학습된 인공 신경망은 수 많은 얼굴 이미지와 그에 대응하는 랜드마크 정보로부터 저차원의 고유 벡터 및 변환 계수를 추정하도록 학습되어 있으며, 이렇게 학습된 인공 신경망은 한 프레임의 얼굴 이미지만 주어지더라도 상기 고유 벡터와 변환 계수를 추정할 수 있다.
이러한 방법으로 임의의 인물의 표현 랜드마크와 고유 랜드마크가 분리되면 facial landmark를 기반으로 한 face reenactment, face classification, face morphing 등의 얼굴 영상 처리 기술의 품질을 향상시킬 수 있다.
Face reenactment (얼굴 재연) 기술은 타겟(target) 얼굴과 드라이버(driver)의 얼굴이 주어졌을 때 드라이버 얼굴의 움직임을 따르지만 타겟 얼굴의 특성 (identity)을 지닌 얼굴 영상 및 사진을 합성하는 기술이다.
Face morphing (얼굴 모핑) 기술은 인물 1과 인물 2의 얼굴 영상 혹은 사진이 주어졌을 때 인물 1과 인물 2의 특성을 따르는 제3의 인물의 얼굴 영상 또는 사진을 합성하는 기술이다. 전통적인 morphing 알고리즘은 얼굴의 기점(face key point)을 찾은 뒤, 상기 기점을 기준으로 겹치지 않는 삼각형 혹은 사각형 조각으로 얼굴을 나눈다. 그 후, 인물 1과 인물 2의 사진을 합쳐 제3의 인물의 사진을 합성하는데, 인물 1과 인물 2의 기점의 위치가 서로 다르기 때문에 인물 1과 인물 2의 사진을 pixel-wise로 합쳐 제3의 인물의 사진을 만들 경우 위화감이 크게 느껴질 수 있다. 기존의 face morphing 기술은 대상의 외모적 특성과 표정 등의 감정에 의한 특성을 구분하지 않기 때문에 morphing 결과물의 품질이 낮을 수 있다.
본 발명에 따른 랜드마크 분리 방법은 하나의 랜드마크 정보로부터 표현 랜드마크 정보와 고유 랜드마크 정보를 각각 분리해낼 수 있으므로, facial landmark를 활용하는 얼굴 영상 처리 기술의 결과를 향상시키는데 기여할 수 있다. 특히, 본 발명에 따른 랜드마크 분리 방법은, 매우 적은 양의 얼굴 이미지 데이터만 주어지는 경우에도 랜드마크를 분리할 수 있으므로 활용도가 매우 높다.
도 4는 본 발명의 일 실시예에 따른 랜드마크 분리 장치의 구성을 개략적으로 나타내는 도면이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 랜드마크 분리 장치(100)는 수신부(110), 변환 행렬 추정부(120), 및 연산부(130)를 포함한다.
수신부(110)는, 제1 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크 정보를 수신한다. 여기서 상기 랜드마크는 상기 얼굴의 랜드마크(facial landmark)로서 얼굴의 주요 요소, 예컨대, 눈, 눈썹, 코, 입, 턱선 등을 포함하는 개념으로 이해할 수 있다.
그리고, 상기 랜드마크 정보는 상기 얼굴의 주요 요소의 위치, 크기, 또는 모양에 관한 정보를 포함할 수 있다. 또한, 상기 랜드마크 정보는 상기 얼굴의 주요 요소의 색상 또는 질감에 관한 정보를 포함할 수 있다.
상기 제1 인물은 임의의 인물을 의미하며, 수신부(110)는 임의의 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크 정보를 수신한다. 상기 랜드마크 정보는 공지의 기술을 통해 획득 가능하며, 공지된 방법 중 어떤 방법을 사용하더라도 무방하다. 또한, 상기 랜드마크를 획득하는 방법에 의하여 본 발명이 제한되는 것은 아니다.
변환 행렬 추정부(120)는, 상기 랜드마크 정보에 대응하는 변환 행렬을 추정한다. 상기 변환 행렬은 미리 정해진 단위 벡터(unit vector)와 함께 상기 랜드마크 정보를 구성할 수 있다. 예를 들어, 제1 랜드마크 정보는 상기 단위 벡터와 제1 변환 행렬의 곱으로 연산될 수 있다. 또한, 제2 랜드마크 정보는 상기 단위 벡터와 제2 변환 행렬의 곱으로 연산될 수 있다.
상기 변환 행렬은 고차원의 랜드마크 정보를 저차원의 데이터로 변환하는 행렬로서, 주성분분석(Principal Component Analysis, PCA)에서 활용될 수 있다. PCA는 데이터의 분산을 최대한 보존하면서 서로 직교하는 새 축을 찾아 고차원 공간의 변수들을 저차원 공간의 변수로 변환하는 차원 축소 기법이다. PCA는 먼저 데이터에 가장 가까운 초평면(hyperplane)을 구한 뒤에 데이터를 저차원의 초평면에 투영(projection)시켜 데이터의 차원을 축소한다.
PCA에서 i 번째 축을 정의하는 단위 벡터를 i 번째 주성분(Principal Component, PC)라고 하고, 이러한 축들을 선형 결합하여 고차원 데이터를 저차원 데이터로 변환할 수 있다.
앞서 설명한 바와 같이, 상기 단위 벡터, 즉 주성분은 미리 결정되어 있을 수 있다. 따라서, 새로운 랜드마크 정보가 수신되면, 이에 대응하는 변환 행렬이 결정될 수 있다. 이 때, 하나의 랜드마크 정보에 대응하여 복수 개의 변환 행렬이 존재할 수 있다.
한편, 변환 행렬 추정부(120)는 상기 변환 행렬을 추정하도록 학습된 학습 모델을 사용할 수 있다. 상기 학습 모델은 임의의 얼굴 이미지와 상기 임의의 얼굴 이미지에 대응하는 랜드마크 정보로부터 PCA 변환 행렬을 추정하도록 학습된 모델로 이해할 수 있다.
상기 학습 모델은 서로 다른 사람들의 얼굴 이미지와, 각각의 얼굴 이미지에 대응하는 랜드마크 정보로부터 상기 변환 행렬을 추정하도록 학습될 수 있다. 하나의 고차원 랜드마크 정보에 대응하는 변환 행렬은 여러 개가 존재할 수 있는데, 상기 학습 모델은 여러 개의 변환 행렬 중 하나의 변환 행렬만을 출력하도록 학습될 수 있다.
상기 학습 모델에 입력으로 사용되는 상기 랜드마크 정보는 얼굴 이미지로부터 랜드마크 정보를 추출하여 이를 이미지화(visualization)하는 공지의 방법을 통해 획득될 수 있다.
따라서, 변환 행렬 추정부(120)는 상기 제1 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크 정보를 입력으로 수신하고, 이로부터 하나의 변환 행렬을 추정하여 출력하게 된다.
한편, 상기 학습 모델은 랜드마크 정보를 우안, 좌안, 코, 입에 각각 대응하는 복수의 시맨틱 그룹(semantic group)으로 분류하고, 상기 복수의 시맨틱 그룹 각각에 대응하는 PCA 변환 계수를 출력하도록 학습될 수 있다.
이 때, 상기 시맨틱 그룹은 반드시 우안, 좌안, 코, 입에 대응하도록 분류되는 것은 아니며, 눈썹, 눈, 코, 입, 턱선에 대응하도록 분류하거나, 눈썹, 우안, 좌안, 코, 입, 턱선, 귀에 대응하도록 분류하는 것도 가능하다. 변환 행렬 추정부(120)는 상기 학습 모델에 따라 상기 랜드마크 정보를 세분화된 단위의 시맨틱 그룹으로 분류하고, 분류된 시맨틱 그룹에 대응하는 PCA 변환 계수를 추정할 수 있다.
연산부(130)는, 상기 변환 행렬을 이용하여 상기 제1 인물의 표현 랜드마크를 산출하고, 상기 표현 랜드마크를 이용하여 상기 제1 인물의 고유 랜드마크를 산출한다. 랜드마크 정보는 복수의 서브 랜드마크(sub landmark) 정보로 분리(decompose)될 수 있는데, 예를 들어, 평균 랜드마크 정보, 고유 랜드마크 정보 및 표현 랜드마크 정보로 분리될 수 있다.
즉, 특정 인물의 특정 프레임에서의 랜드마크 정보는, 모든 사람의 얼굴의 평균적인 랜드마크 정보, 상기 특정 인물만의 고유의 랜드마크 정보, 그리고 상기 특정 프레임에서 상기 특정 인물의 표정 및 움직임 정보의 합으로 표현될 수 있다.
상기 평균 랜드마크 정보는 다음의 수학식과 같이 정의할 수 있고, 사전에 수집 가능한 다량의 비디오를 바탕으로 계산할 수 있다.
앞서 설명한 학습 모델은 수학식 2와 같이 랜드마크 정보를 분리하고자 하는 인물 c 의 사진 x(c, t)와 랜드마크 정보 l(c, t)를 입력으로 하여 PCA 계수 α(c, t)를 추정하도록 학습시킬 수 있다. 이러한 학습을 통해 상기 학습 모델은 특정한 인물의 이미지와 이에 대응하는 랜드마크 정보로부터 PCA 계수를 추정할 수 있고, 상기 저차원의 고유 벡터를 추정할 수 있게 된다.
학습된 뉴럴 네트워크(neural network)를 적용할 때는 랜드마크 분리를 수행하고자 하는 인물 c` 의 사진 x(c`, t)와 랜드마크 정보 l(c`, t)를 뉴럴 네트워크의 입력으로 하고, PCA 변환 행렬을 추정한다. 이 때, b exp는 학습 데이터로부터 구한 값을 사용하고 예측(추정)된 PCA 계수와 b exp를 이용하여 수학식 5와 같이 표현 랜드마크를 추정할 수 있다.
한편, 수학식 2를 참조로 하여 설명한 바와 같이, 랜드마크 정보는 평균 랜드마크 정보, 고유 랜드마크 정보 및 표현 랜드마크 정보의 합으로 정의될 수 있으며, 상기 표현 랜드마크 정보는 단계(S130)에서 수학식 5를 통해 추정될 수 있다.
따라서, 상기 고유 랜드마크는 수학식 6과 같이 산출할 수 있으며, 임의의 인물의 얼굴 이미지가 주어지면 이로부터 랜드마크 정보를 획득할 수 있고, 상기 얼굴 이미지와 랜드마크 정보로부터 표현 랜드마크 정보 및 고유 랜드마크 정보를 산출할 수 있다.
도 5는 본 발명을 이용하여 얼굴을 재연하는 방법을 예시적으로 나타내는 도면이다. 도 5를 참조하면, 타겟(target) 이미지(41)와 드라이버(driver) 이미지(42)가 도시되고 타겟 이미지(41)는 드라이버 이미지(42)에 대응하는 모습을 재연될 수 있다.
재연된 이미지(43)는 타겟 이미지(41)의 특성을 갖고 있으나 그 표정은 드라이버 이미지(42)에 대응하는 것을 알 수 있다. 즉, 재연된 이미지(43)는 타겟 이미지(41)의 고유 랜드마크를 갖되, 표현 랜드마크는 드라이버 이미지(42)에 대응하는 특징을 갖는다.
따라서, 자연스러운 얼굴 재연을 위해서는 하나의 랜드마크에서 고유 랜드마크와 표현 랜드마크를 적절하게 분리하는 것이 중요함을 알 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 서버, 랜드마크 분리 장치
110: 수신부
120: 변환 행렬 추정부
130: 연산부

Claims (13)

  1. 제1 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크 정보를 수신하는 단계;
    상기 랜드마크 정보에 대응하는 변환 행렬을 추정하는 단계;
    상기 변환 행렬을 이용하여 상기 제1 인물의 표정 및 움직임 정보를 포함하는 표현 랜드마크를 산출하는 단계; 및
    상기 표현 랜드마크를 이용하여 상기 제1 인물의 외모적 특성과 관련된 정보를 포함하는 고유 랜드마크를 산출하는 단계;
    를 포함하는 랜드마크 분리 방법.
  2. 제1항에 있어서,
    상기 변환 행렬을 추정하는 단계에서는 임의의 얼굴 이미지와 상기 임의의 얼굴 이미지에 대응하는 랜드마크 정보로부터 PCA 변환 행렬을 추정하도록 학습된 학습 모델을 사용하는 랜드마크 분리 방법.
  3. 제2항에 있어서,
    상기 학습 모델은 복수의 랜드마크 정보를 복수의 시맨틱 그룹(semantic group)으로 분류하고, 상기 복수의 시맨틱 그룹 각각에 대응하는 PCA 변환 계수를 출력하는 랜드마크 분리 방법.
  4. 제3항에 있어서,
    상기 표현 랜드마크를 산출하는 단계에서는, 상기 추정된 변환 행렬과 PCA 단위 벡터를 연산하여 상기 제1 인물의 표현 랜드마크를 산출하는 랜드마크 분리 방법.
  5. 제1항에 있어서,
    상기 랜드마크 정보는 상기 표현 랜드마크, 상기 고유 랜드마크 및 충분히 많은 사람의 얼굴의 평균 랜드마크의 합으로 정의되는 랜드마크 분리 방법.
  6. 제5항에 있어서,
    상기 고유 랜드마크를 산출하는 단계에서는, 상기 랜드마크 정보에서 상기 표현 랜드마크 및 상기 평균 랜드마크를 연산하여 상기 제1 인물의 고유 랜드마크를 산출하는 랜드마크 분리 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  8. 제1 인물의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 랜드마크 정보를 수신하는 수신부;
    상기 랜드마크 정보에 대응하는 변환 행렬을 추정하는 변환 행렬 추정부; 및
    상기 변환 행렬을 이용하여 상기 제1 인물의 표정 및 움직임 정보를 포함하는 표현 랜드마크를 산출하고, 상기 표현 랜드마크를 이용하여 상기 제1 인물의 외모적 특성과 관련된 정보를 포함하는 고유 랜드마크를 산출하는 연산부;
    를 포함하는 랜드마크 분리 장치.
  9. 제8항에 있어서,
    상기 변환 행렬 추정부는 임의의 얼굴 이미지와 상기 임의의 얼굴 이미지에 대응하는 랜드마크 정보로부터 PCA 변환 행렬을 추정하도록 학습된 학습 모델을 사용하는 랜드마크 분리 장치.
  10. 제9항에 있어서,
    상기 학습 모델은 상기 랜드마크 정보를 복수의 시맨틱 그룹(semantic group)으로 분류하고, 상기 복수의 시맨틱 그룹 각각에 대응하는 PCA 변환 계수를 출력하는 랜드마크 분리 장치.
  11. 제10항에 있어서,
    상기 연산부는, 상기 추정된 변환 행렬과 PCA 단위 벡터를 연산하여 상기 제1 인물의 표현 랜드마크를 산출하는 랜드마크 분리 장치.
  12. 제8항에 있어서,
    상기 랜드마크 정보는 상기 표현 랜드마크, 상기 고유 랜드마크 및 충분히 많은 사람의 얼굴의 평균 랜드마크의 합으로 정의되는 랜드마크 분리 장치.
  13. 제12항에 있어서,
    상기 제1 인물의 고유 랜드마크를 산출하는 단계에서는, 상기 랜드마크 정보에서 상기 표현 랜드마크 및 상기 평균 랜드마크를 연산하여 상기 제1 인물의 고유 랜드마크를 산출하는 랜드마크 분리 장치.
KR1020190179927A 2019-11-07 2019-12-31 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체 KR102422779B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190179927A KR102422779B1 (ko) 2019-12-31 2019-12-31 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체
JP2020185991A JP2021077376A (ja) 2019-11-07 2020-11-06 画像変換装置及び方法、並びにコンピュータ読み取り可能な記録媒体
US17/092,486 US20210142440A1 (en) 2019-11-07 2020-11-09 Image conversion apparatus and method, and computer-readable recording medium
US17/658,620 US20220237945A1 (en) 2019-11-07 2022-04-08 Method and Apparatus for Generating Reenacted Image
US17/658,623 US20220253970A1 (en) 2019-11-07 2022-04-08 Method and Apparatus for Generating Landmark

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179927A KR102422779B1 (ko) 2019-12-31 2019-12-31 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20210086905A KR20210086905A (ko) 2021-07-09
KR102422779B1 true KR102422779B1 (ko) 2022-07-21

Family

ID=76865230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179927A KR102422779B1 (ko) 2019-11-07 2019-12-31 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체

Country Status (1)

Country Link
KR (1) KR102422779B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271955A (ja) * 2009-05-21 2010-12-02 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置
JP2013228765A (ja) 2012-04-24 2013-11-07 General Electric Co <Ge> イメージ位置合わせのための最適勾配追求
JP2018200690A (ja) * 2017-05-27 2018-12-20 富士通株式会社 情報処理方法及び情報処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101624808B1 (ko) * 2011-08-09 2016-05-26 인텔 코포레이션 파라미터화된 3d 얼굴 생성
US8593452B2 (en) * 2011-12-20 2013-11-26 Apple Inc. Face feature vector construction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271955A (ja) * 2009-05-21 2010-12-02 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置
JP2013228765A (ja) 2012-04-24 2013-11-07 General Electric Co <Ge> イメージ位置合わせのための最適勾配追求
JP2018200690A (ja) * 2017-05-27 2018-12-20 富士通株式会社 情報処理方法及び情報処理装置

Also Published As

Publication number Publication date
KR20210086905A (ko) 2021-07-09

Similar Documents

Publication Publication Date Title
KR102380333B1 (ko) 이미지 변형 장치, 방법 및 컴퓨터 판독 가능한 기록매체
US10372991B1 (en) Systems and methods that leverage deep learning to selectively store audiovisual content
CN110889672B (zh) 一种基于深度学习的学生打卡及上课状态的检测系统
KR102174595B1 (ko) 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
US20210142440A1 (en) Image conversion apparatus and method, and computer-readable recording medium
CN107203745B (zh) 一种基于跨域学习的跨视角动作识别方法
JP7101749B2 (ja) 仲介装置及び方法、並びにコンピュータ読み取り可能な記録媒体｛ｍｅｄｉａｔｉｎｇ ａｐｐａｒａｔｕｓ、ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｒｅｃｏｒｄｉｎｇ ｍｅｄｉｕｍ ｔｈｅｒｅｏｆ｝
US20230252687A1 (en) Systems and methods for facial attribute manipulation
Agarwal et al. Facial expression recognition through adaptive learning of local motion descriptor
US20160071287A1 (en) System and method of tracking an object
KR102160128B1 (ko) 인공지능 기반 스마트 앨범 생성 방법 및 장치
CN112101087A (zh) 一种面部图像身份去识别方法、装置及电子设备
CN111160119A (zh) 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法
CN114187166A (zh) 图像处理方法、智能终端及存储介质
KR102422779B1 (ko) 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102389457B1 (ko) 이미지 변환 장치, 방법 및 컴퓨터 판독 가능한 기록매체
WO2021181991A1 (ja) アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム
CN113947803A (zh) 模型训练、用于人脸识别的样本数据生成方法及电子设备
Xu et al. Robust Gaze Point Estimation for Metaverse With Common Mode Features Suppression Network
US20220237945A1 (en) Method and Apparatus for Generating Reenacted Image
US20220253970A1 (en) Method and Apparatus for Generating Landmark
Chopade et al. Human emotion recognition based on block patterns of image and wavelet transform
US20240104180A1 (en) User authentication based on three-dimensional face modeling using partial face images
KR102422778B1 (ko) 랜드마크 데이터 분리 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
Bobe et al. Emotion Recognition System for Human-Robot Interface: Comparison of Two Approaches

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right