KR101725808B1 - 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치 - Google Patents

얼굴 영상의 얼굴 나이 변환 방법 및 그 장치 Download PDF

Info

Publication number
KR101725808B1
KR101725808B1 KR1020150121178A KR20150121178A KR101725808B1 KR 101725808 B1 KR101725808 B1 KR 101725808B1 KR 1020150121178 A KR1020150121178 A KR 1020150121178A KR 20150121178 A KR20150121178 A KR 20150121178A KR 101725808 B1 KR101725808 B1 KR 101725808B1
Authority
KR
South Korea
Prior art keywords
image
age
face
difference
conversion
Prior art date
Application number
KR1020150121178A
Other languages
English (en)
Other versions
KR20170025162A (ko
Inventor
김재희
최성은
고준범
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020150121178A priority Critical patent/KR101725808B1/ko
Publication of KR20170025162A publication Critical patent/KR20170025162A/ko
Application granted granted Critical
Publication of KR101725808B1 publication Critical patent/KR101725808B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴 영상을 변환하는 방법에 관한 것이다. 특히 본 발명은 얼굴 영상을 변환하여 얼굴의 나이를 변화시키는 방법에 관한 것이다.
본 발명에 따른 얼굴 영상 나이 변환 방법은, 나이 변환 대상 얼굴 영상을 입력받고, 상기 대상 얼굴 영상을 미리 정해진 AAM(Active Appearance Model)을 이용하여 모델링하고, 상기 모델링하여 복원한 얼굴 영상과 상기 대상 얼굴 영상 간의 차분 영상을 생성하는 단계; 상기 차분 영상을 미리 정해진 부위 별로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 변환 목표 나이에 따른 나이 변환 함수를 적용하여 영상 변환하는 단계; 및 상기 변환한 상기 부분 차분 영상에 상기 변환 목표 나이에 따라 산출된 가중치를 적용하여 상기 복원한 얼굴 영상과 합성하는 단계를 포함한다.
본 발명에 따른 얼굴 영상 나이 변환 방법에 따르면, 얼굴의 상세 정보를 나타내는 차분 영상에 대하여 각 부위별 고유의 나이 변환 함수를 적용한 나이 변환을 수행함으로써, 종래의 얼굴 영상 나이 변환 방법보다 더 효과적으로 사용자가 원하는 나이의 얼굴 영상을 세밀하게 표현할 수 있는 효과가 있다. 즉 본 발명에 따르면 얼굴 영상을 사용자가 원하는 나이로 변환할 때 얼굴의 세부적인 특징들을 효과적으로 변환시켜주고 각 개인이 가지고 있는 고유한 얼굴 특징들을 유지하여 표현해 주는 효과가 있다.

Description

얼굴 영상의 얼굴 나이 변환 방법 및 그 장치{Method and Apparatus for Transforming Facial Age on Facial Image}
본 발명은 얼굴 영상을 변환하는 방법과 그 장치에 관한 것이다. 특히 본 발명은 얼굴 영상을 변환하여 얼굴의 나이를 변화시키는 방법과 그 장치에 관한 것이다.
사람의 얼굴 영상은 나이, 성별, 인종 등과 같은 개인의 특징들을 나타내는 많은 정보들을 포함하고 있다. 따라서 사람의 얼굴 영상을 기반으로 하여 사용자 인증을 비롯한 다양한 HCI(Human-Computer Interaction) 기술들이 연구되고 개발되어 사용되고 있다. 또한, 컴퓨터 그래픽이나 컴퓨터 비전 분야에서는 사람 얼굴을 모델링하고 분석하여, 원하는 조건에 맞게 얼굴을 표현 및 생성하거나 또는 사람의 얼굴을 인식하는 기술이 개발되고 있다. 특히 얼굴 영상을 변환은 그 응용 분야가 다양하기 때문에 점점 더 중요해지고 있는 상황이다.
그런데 사람의 얼굴은 나이에 따라 기본 구조가 변형되고, 또한 피부의 노화에 따른 주름과 같은 변화가 일어난다. 또한 나이에 의한 얼굴 변화에는 사람들 간에 공통적으로 변화하는 부분도 있는 반면, 개인별로 얼굴 변화의 차이가 큰 부분들도 존재하게 된다. 사람 얼굴 영상 인식 및 변환 분야에서는 위와 같은 특성을 반영하여, 입력받은 사람 얼굴 영상에 대하여 나이의 변화에 따른 얼굴 영상 변화를 수행하여, 특정한 나이에 해당하는 사람 얼굴 영상을 생성하는 기술이 연구되어 왔다.
종래에 사람 얼굴 영상의 나이 변환 기법들은 나이의 변화에 따른 얼굴의 구조 변화와 피부 변화를 나타내기 위하여 AAM(Active Appearance Model)을 사용하였다. AAM 기법은 주성분 분석 등을 이용하여 얼굴 영상의 주된 특징을 추출하고, 해당 특징에 나이 변환 함수를 적용하여, 특정 나이의 얼굴 영상을 복원하는 기법이다.
그러나 이와 같은 기존의 얼굴 영상 나이 변환 방법에서는, 나이 변환을 수행하기 위하여 얼굴 영상에서 주 성분을 추출하는 과정에서 정보의 차원 감소가 일어나게 되고, 그에 따라 얼굴의 세부적인 특징을 나타내는 고주파 성분들이 삭제되는 한계점이 존재한다. 그런데 얼굴에서 점, 흉터 등과 같이 고주파 성질을 가지고 있는 세부 특징들은 각 개인에 대한 주요 정보를 담고 있는 성분이라는 점에서, 해당 성분들을 제외하고 얼굴 영상의 나이를 변환하는 기존의 방법에는 문제점이 있다. 따라서 종래 얼굴 나이 변환 방법들의 경우 얼굴 영상을 취득하여 사용자가 원하는 나이로 변환 했을 때, 해당 나이보다 좀 더 어려보이거나 원 영상에 존재하는 얼굴 특징들이 사라져 본래의 얼굴과 다르게 표현되는 문제가 발생하게 된다.
한국 공개특허공보 제10-2008-0111325호 (2008.12.23.)
본 발명이 해결하고자 하는 과제는, 종래의 얼굴 영상 나이 변환 방법에서 나이 변환시 얼굴의 세부 특징이 사라지고 해당 나이보다 좀 더 어려보이는 문제점을 해결하기 위하여, 변환 대상 얼굴 영상과 변환 대상 얼굴 영상을 주성분 분석하여 복원한 얼굴 영상 간의 차분 영상을 이용함으로써 얼굴의 상세 정보를 유지시키면서 나이 변환을 수행하는 얼굴 영상 나이 변환 방법을 제공하는 것이다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 얼굴 영상 나이 변환 방법은, 얼굴 모델링부가 나이 변환 대상 얼굴 영상을 입력받고, 상기 나이 변환 대상 얼굴 영상을 미리 정해진 얼굴 모델링 알고리즘을 이용하여 모델링한 얼굴 영상을 생성하는 얼굴 모델링 단계; 차분 영상 생성부가 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차인 차분 영상을 생성하는 차분 영상 생성 단계; 영상 변환부가 상기 차분 영상을 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 영상 변환하여 차분 변환 영상을 생성하는 차분 영상 나이 변환 단계; 및 영상 합성부가 상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득하는 얼굴 영상 합성 단계를 포함할 수 있다.
여기서 상기 얼굴 모델링 단계는 상기 미리 정해진 얼굴 모델링 알고리즘으로 AAM(Active Appearance Model)을 이용해 상기 나이 변환 대상 얼굴 영상을 모델링하여, 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 할 수 있다.
상기 얼굴 모델링 단계는 주성분 분석(Principle Component Analysis)를 이용하여 미리 정해진 복수개의 학습 얼굴 영상들로부터 추출한 주성분에 따라 상기 나이 변환 대상 얼굴 영상을 모델링하여 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 할 수 있다.
여기서 상기 차분 영상 나이 변환 단계는 상기 차분 영상을 적어도 하나 이상으로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 미리 설정된 부분 나이 변환 함수를 적용하여 상기 부분 차분 영상을 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성하는 것을 특징으로 할 수 있다.
여기서 상기 차분 영상 나이 변환 단계는 상기 차분 영상을 미리 정해진 얼굴 분할 지도에 따라 분할하여 상기 부분 차분 영상을 생성하는 것을 특징으로 할 수 있다.
여기서 상기 얼굴 분할 지도는 얼굴 영상의 코 부분, 좌우 각 눈 부분, 좌우 각 뺨 부분, 입 부분을 서로 다른 부분으로 분할한 지도인 것을 특징으로 할 수 있다.
여기서 상기 부분 나이 변환 함수는, 적어도 하나 이상의 얼굴 영상을 상기 얼굴 분할 지도에 따라 분할하고, 상기 분할한 얼굴 영상 중 상기 부분 나이 변환 함수에 대응하는 각 부분 영상들을 학습하여, 상기 부분 나이 변환 함수의 파라미터 값을 설정한 것을 특징으로 할 수 있다.
여기서 상기 얼굴 영상 합성 단계는 상기 차분 영상에 상기 변환 목표 나이에 따른 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득하는 것을 특징으로 할 수 있다.
여기서 상기 가중치는 상기 변환 목표 나이가 클수록 더 큰 값을 가지도록 설정되는 것을 특징으로 할 수 있다.
여기서 상기 모델링한 얼굴 영상에 대한 나이 변환 영상은, 상기 모델링한 얼굴 영상에 미리 설정된 제2 나이 변환 함수를 적용하여 영상 변환하여 생성한 영상인 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 얼굴 영상 나이 변환 장치는, 나이 변환 대상 얼굴 영상을 입력받고, 상기 나이 변환 대상 얼굴 영상을 미리 정해진 얼굴 모델링 알고리즘을 이용하여 모델링한 얼굴 영상을 생성하는 얼굴 모델링부; 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차인 차분 영상을 생성하는 차분 영상 생성부; 상기 차분 영상을 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 영상 변환하여 차분 변환 영상을 생성하는 영상 변환부; 및 상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득하는 영상 합성부를 포함할 수 있다.
여기서 상기 얼굴 모델링부는 상기 미리 정해진 얼굴 모델링 알고리즘으로 AAM(Active Appearance Model)을 이용해 상기 나이 변환 대상 얼굴 영상을 모델링하여, 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 할 수 있다.
여기서 상기 영상 변환부는 상기 차분 영상을 적어도 하나 이상으로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 미리 설정된 부분 나이 변환 함수를 적용하여 상기 부분 차분 영상을 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성하는 것을 특징으로 할 수 있다.
여기서 상기 영상 합성부는 상기 차분 영상에 상기 변환 목표 나이에 따른 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득하는 것을 특징으로 할 수 있다.
본 발명에 따른 얼굴 영상 나이 변환 방법에 따르면, 얼굴의 상세 정보를 나타내는 차분 영상에 대하여 각 부위별 고유의 나이 변환 함수를 적용한 나이 변환을 수행함으로써, 종래의 얼굴 영상 나이 변환 방법보다 더 효과적으로 사용자가 원하는 나이의 얼굴 영상을 세밀하게 표현할 수 있는 효과가 있다. 즉 본 발명에 따르면 얼굴 영상을 사용자가 원하는 나이로 변환할 때 얼굴의 세부적인 특징들을 효과적으로 변환시켜주고 각 개인이 가지고 있는 고유한 얼굴 특징들을 유지하여 표현해 주는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 나이 변환 장치의 블록도이다.
도 2는 본 발명의 또 다른 실시예에 따른 얼굴 영상 나이 변환 방법의 흐름도이다.
도 3은 본 발명에 따른 차분 영상의 생성 예시를 나타내는 참고도이다.
도 4는 본 발명에 따른 얼굴 분할 지도를 나타내는 참고도이다.
도 5는 차분 영상의 각 부위 별로 적용되는 나이 변환 함수를 나타내는 참고도이다.
도 6은 본 발명의 또 다른 실시예에 따른 얼굴 영상 나이 변환 장치의 블록도이다.
도 7은 변환 목표 나이가 나이 변환 대상 얼굴 영상의 나이보다 많은 경우, 종래의 AAM만을 사용한 나이 변환 방법과 본 발명에 따른 나이 변환 방법의 각 결과를 비교하는 예시를 나타내는 참고도이다.
도 8은 변환 목표 나이가 나이 변환 대상 얼굴 영상의 나이보다 적은 경우, 종래의 AAM만을 사용한 나이 변환 방법과 본 발명에 따른 나이 변환 방법의 각 결과를 비교하는 예시를 나타내는 참고도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
사람의 얼굴은 나이에 따라 기본 구조가 변형되고, 또한 피부의 노화에 따른 주름과 같은 변화가 일어난다. 또한 나이에 의한 얼굴 변화에는 사람들 간에 공통적으로 변화하는 부분도 있는 반면, 개개인별로 얼굴 변화의 차이가 큰 부분들도 존재하게 된다. 종래에 사람 얼굴 영상의 나이 변환 기법들은 나이의 변화에 따른 얼굴의 구조 변화와 피부 변화를 나타내기 위하여 AAM(Active Appearance Model)을 사용하였다. AAM 기법은 주성분 분석 등을 이용하여 얼굴 영상의 주된 특징을 추출하고, 해당 특징에 나이 변환 함수를 적용하여, 특정 나이의 얼굴 영상을 복원하는 기법이다.
그러나 이와 같은 기존의 얼굴 영상 나이 변환 방법에서는, 나이 변환을 수행하기 위하여 얼굴 영상에서 주 성분을 추출하는 과정에서 정보의 차원 감소가 일어나게 되고, 그에 따라 얼굴의 세부적인 특징을 나타내는 고주파 성분들이 삭제되는 한계점이 존재한다. 그런데 얼굴에서 점, 흉터 등과 같이 고주파 성질을 가지고 있는 세부 특징들은 각 개인에 대한 주요 정보를 담고 있는 성분이라는 점에서, 해당 성분들을 제외하고 얼굴 영상의 나이를 변환하는 기존의 방법에는 문제점이 있다. 따라서 종래 얼굴 나이 변환 방법들의 경우 얼굴 영상을 취득하여 사용자가 원하는 나이로 변환 했을 때, 해당 나이보다 좀 더 어려보이거나 원 영상에 존재하는 얼굴 특징들이 사라져 본래의 얼굴과 다르게 표현되는 문제가 발생하게 된다.
본 발명은 사람의 얼굴 영상을 이용해서 사용자가 원하는 나이의 얼굴로 해당 영상을 변환하기 위한 방법에 관한 것으로, 위와 같은 기존 기술들의 문제점을 해결하여, 사람의 얼굴 영상물로부터 피부, 얼굴의 형태 같은 얼굴 특징들을 추출하고 이 추출된 얼굴 특징들을 과거 또는 미래의 특정한 나이로 변환할 때, 유실되지 않고 나이에 따라 표현되도록 하는 구체적인 수단을 개시한다.
이를 위하여 본 발명은 첫째로 입력 얼굴 영상을 주성분 분석(Principle Component Analysis, PCA)하여 추출한 주성분에 따라 모델링한 영상과 입력 얼굴 영상 간의 차분 영상(residual image)을 생성하여 이를 얼굴 나이 변환에 이용하고, 둘째로 인간의 얼굴이 나이가 증가하거나 감소함에 따라 피부의 잡티, 기미 등의 피부적 특성이 변화하는 현상을 세밀하게 표현하기 위하여 시간의 흐름에 따른 피부 특성의 변화를 나이 변환 함수(aging function)로 모델링하여 상기 생성한 차분 영상(residual image)에 적용하고, 셋째로 얼굴의 부위마다 나이에 따른 변화가 다르다는 특징을 반영하기 위해서 상기 차분 영상을 여러 영역으로 분할하여 각 영역마다 나이 변환 함수를 모델링하는 수단들을 개시한다.
이상과 같은 수단을 통하여 본 발명은 얼굴 영상을 사용자가 원하는 나이로 변환할 때 얼굴의 세부적인 특징과 각 개인이 가지고 있는 고유한 얼굴 특징들을 유지하면서 나이의 변화에 따른 얼굴 영상을 표현해 주는 것을 가능하게 한다.
이하에서는 본 발명에 따른 얼굴 영상 나이 변환 방법과 얼굴 영상 나이 변환 장치에 대하여 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 나이 변환 장치의 블록도이다.
본 발명에 따른 얼굴 영상 나이 변환 장치는 얼굴 모델링부(100), 차분 영상 생성부(200), 영상 변환부(300), 영상 합성부(400)를 포함할 수 있다. 또는 본 발명에 따른 얼굴 영상 나이 변환 장치는 아래에서 설명할 바, 도 6과 같이 구성될 수도 있다.
이하에서는 본 발명에 따른 얼굴 영상 나이 변환 방법에 관한 실시예에 대하여 먼저 설명한 다음, 본 발명에 따른 얼굴 영상 나이 변환 장치에 대하여 다시 간략히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영상 나이 변환 방법의 흐름도이다.
상기 본 발명에 따른 얼굴 영상 나이 변환 방법은 얼굴 모델링 단계(S100), 차분 영상 생성 단계(S200), 차분 영상 나이 변환 단계(S300), 얼굴 영상 합성 단계(S400)를 포함할 수 있다.
얼굴 모델링 단계(S100)는 얼굴 모델링부(100)가 나이 변환 대상 얼굴 영상을 입력받고, 상기 대상 얼굴 영상을 미리 정해진 얼굴 모델을 이용하여 모델링하여 모델링한 얼굴 영상을 생성한다.
차분 영상 생성 단계(S200)는 차분 영상 생성부(200)가 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차분 영상을 생성한다.
차분 영상 나이 변환 단계(S300)는 영상 변환부(300)가 상기 차분 영상을 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 변환하여 차분 변환 영상을 생성한다. 여기서 차분 영상 나이 변환 단계(S300)는 상기 차분 영상을 미리 정해진 부위 별로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 부분 나이 변환 함수를 적용하여 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성할 수도 있다.
얼굴 영상 합성 단계(S400)는 영상 합성부(400)가 상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득한다. 여기서 얼굴 영상 합성 단계(S400)는 상기 차분 영상에 상기 변환 목표 나이에 따라 산출된 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득할 수도 있다.
이하에서는 본 발명에 따른 얼굴 영상 나이 변환 방법의 각 단계에 대하여 보다 상세히 설명한다.
먼저 얼굴 모델링 단계(S100)는 얼굴 모델링부(100)가 나이 변환 대상 얼굴 영상을 입력받고, 상기 대상 얼굴 영상을 미리 정해진 얼굴 모델을 이용해 모델링하여 모델링한 얼굴 영상을 생성한다.
여기서 나이 변환 대상 얼굴 영상은 미리 정해진 다양한 종류의 얼굴 모델에 따라 모델링될 수 있다. 예를 들어 나이 변환 대상 얼굴 영상은 AAM(Active Appearance Model)을 이용하여 모델링될 수 있고, 일예로 주성분 분석(PCA, Principle Component Analysis)를 이용하여 추출된 주성분을 이용하여 모델링될 수도 있다. 즉 얼굴 모델링 단계(S100)는 주성분 분석(Principle Component Analysis)를 이용하여 미리 정해진 복수개의 학습 얼굴 영상들로부터 추출한 주성분에 따라 상기 나이 변환 대상 얼굴 영상을 모델링하여 상기 모델링한 얼굴 영상을 생성할 수 있다.
얼굴 영상에서 AAM(Active Appearance Model)을 이용하여 얼굴의 형태(shape)과 모습(appearance) 특징을 추출하여 나이를 변환하는 방법은 기존 연구에서 많이 사용되었다. 여기서 얼굴의 형태(shape)라 함은 얼굴의 눈, 코, 입, 귀, 턱, 이미 등을 포함하는 얼굴의 형태, 형상, 외형을 나타내는 의미이고, 얼굴의 모습(appearance)는 얼굴의 텍스쳐 성분을 포함하는 의미로 이하에서 사용한다.
예를 들어 Lanitis et al.는 AAM 특징과 나이와의 관계를 나이 함수(aging function)으로 학습하여 나이를 변환하는 방법을 제안하였고(Andreas Lanitis, Christopher J. Taylor, Timothy F. Cootes, "Toward Automatic Simulation of Aging Effects on Face Images," IEEE Transac-tions on Pattern Analysis and Machine Intelligence, vol. 24, no.4, pp.442-455, April 2002.), Patterson et al.은 AAM 특징과 2차원 aging function을 사용하여 나이 변환하는 방법을 제안하였다(E. Patterson, A. Sethuram, M. Albert, and K. Ricanek, "Automatic Representation of Adult Aging in Facial Images," International Conference on Visualization, Imaging and Image Processing, p. 612, 2006.).
이와 같이 얼굴을 AAM(Active Appearance Model)으로 모델링하는 방법은 나이 변환 연구에서 많이 사용되었다. 그러나 AAM에서 특징 추출 시 주성분 분석(PCA)으로 차원을 축소하는 과정에서 사라지는 얼굴의 상세한 부분을 나이 변환에 있어서 표현하기 위한 방법들은 기존의 연구들에서 제시되어 있지 않다. 본 발명의 얼굴 모델링 단계(S100)는 이와 같이 기존의 방법들을 이용하여 얼굴을 모델링하되, 기존의 방법들과는 다르게 이하 차분 영상 생성 단계(S200), 차분 영상 나이 변환 단계(S300), 얼굴 영상 합성 단계(S400)에서 상술하는 구성을 통하여 주성분 분석(PCA)으로 차원을 축소하는 과정에서 사라지는 얼굴의 상세한 부분을 나이 변환에 있어서 표현하는 방법을 제시한다.
상술한 바와 같이 본 발명에 따른 얼굴 모델링 단계(S100)는 상기 미리 정해진 얼굴 모델링 알고리즘으로 AAM(Active Appearance Model)을 이용해 상기 나이 변환 대상 얼굴 영상을 모델링하여, 상기 모델링한 얼굴 영상을 생성할 수 있다. 그리고 이때 주성분 분석(Principle Component Analysis)를 이용하여 미리 정해진 복수개의 학습 얼굴 영상들로부터 추출한 주성분에 따라 상기 나이 변환 대상 얼굴 영상을 모델링하여 상기 모델링한 얼굴 영상을 생성할 수 있다.
이하에서는 먼저 미리 추출된 얼굴 영상의 주성분을 이용하여 상기 나이 변환 대상 얼굴 영상을 모델링하여 상기 모델링한 얼굴 영상을 생성하는 방법을 설명한다.
얼굴 모델링 단계(S100)는 입력 영상인 나이 변환 대상 얼굴 영상(
Figure 112015083441875-pat00001
)을 미리 추출된 얼굴 영상의 주성분에 따른 주성분 분석 공간에 투영하여, 얼굴 모습 파라미터(appearance parameter)를 산출할 수 있다. 이는 하기 수학식 1과 같이 산출할 수 있다.
Figure 112015083441875-pat00002
여기서 λ 는 얼굴 모습 파라미터이고, A 0 는 평균 얼굴 영상이고, A는 얼굴 영상의 주성분 Ai들을 포함하는 주성분 벡터이고, i는 주성분의 인덱스이다.
그리고 평균 얼굴 영상(A 0 )과 미리 추출된 주성분(Ai)들과 위와 같이 산출한 얼굴 모습 파라미터(appearance parameter)(λ)를 이용하여 나이 변환 대상 얼굴 영상을 모델링한 얼굴 영상을 생성할 수 있다. 이는 하기 수학식 2와 같이 평균 얼굴 영상과 주성분에 따른 얼굴 성분 영상의 선형합으로 생성할 수 있다.
Figure 112015083441875-pat00003
여기서 m은 주성분의 개수이고, i는 주성분의 인덱스이고, A 0 는 평균 얼굴 영상이고, Ai는 인덱스 i번째의 주성분에 해당하는 얼굴 성분 영상이고, λi는 Ai에 대응하는 λ의 i번째 얼굴 모습 파라미터이고, AR 는 상기 모델링한 얼굴 영상이다. 즉 상기 수학식 2에 따라 생성된 상기 모델링한 얼굴 영상은 나이 변환 대상 얼굴 영상을 미리 추출된 주성분들을 이용하여 가중합하여 복원한 영상이다.
여기서 얼굴 모델링 단계(S100)는 미리 생성된 상기 주성분(Ai)과 평균 얼굴 영상(A 0 )을 이용하여 위와 같이 나이 변환 대상 얼굴 영상으로부터 상기 모델링한 얼굴을 생성할 수 있다. 즉 얼굴 모델링 단계(S100)는 상기 주성분(Ai)과 평균 얼굴 영상(A 0 )을 생성하는 과정을 포함하지 않고 미리 생성된 값들을 이용할 수 있다. 다만 필요에 따라 얼굴 모델링 단계(S100)는 상기 주성분(Ai)과 평균 얼굴 영상(A 0 )을 생성하는 과정을 포함할 수도 있고, 또는 주성분(Ai)과 평균 얼굴 영상(A 0 )을 생성하는 과정은 얼굴 모델링 단계(S100) 이전에 미리 수행될 수도 있다. 이하에서는 상기 주성분(Ai)과 평균 얼굴 영상(A 0 )을 생성하는 방법에 대하여 설명한다.
먼저 일정한 수의 학습 얼굴 영상들을 이용하여 상기 주성분(Ai)과 평균 얼굴 영상(A 0 )을 생성하는 방법에 대하여 설명한다. 여기서 학습 얼굴 영상들은 동일한 화소수를 가지고 규격화된 프레임 내에 얼굴 영상을 가지도록 정규화된 얼굴 영상들인 것이 바람직하다. 만일 학습 얼굴 영상들이 정규화되지 않은 경우 학습 얼굴 영상들에 대하여 워핑(warping)을 수행하여 정규화하는 과정을 수행할 수 있다. 그리고 이때 정규화 과정은 학습 얼굴 영상을 이하에서 설명하는 평균 얼굴 형태(S0)에 워핑하는 과정을 통해 수행할 수 있다. 이와 같이 정규화가 수행된 학습 얼굴 영상들을 I i 라고 하면, 상기 평균 얼굴 영상(A 0 )은 하기 수학식 3과 같이 생성될 수 있다.
Figure 112015083441875-pat00004
여기서 N은 학습 얼굴 영상의 수이다.
다음으로는 학습 얼굴 영상들에 대하여 주성분 분석을 수행하여 얼굴 영상의 주성분(Ai)을 생성하는 과정에 대하여 설명한다.
먼저 학습 얼굴 영상(I i )과 평균 얼굴 영상의 차(Φi)를 식
Figure 112015083441875-pat00005
과 같이 구한 다음, 위에서 구한 차(Φi)들의 공분산 행렬(Ca)을 하기 수학식 4과 같이 구한다.
Figure 112015083441875-pat00006
다음으로는 공분산 행렬(Ca)의 고유값(μai : μa1 > μa2 > ... > μaM)과 고유 벡터(Ai : A 1, A 2 , ... ,A M )를 산출한다. 예를 들면 여기서 고유값과 고유 벡터는 하기 수학식 5와 같이 산출될 수 있다. 여기서 M은 고유 벡터와 고유값의 수이다.
Figure 112015083441875-pat00007
여기서 Da는 공분산 행렬(Ca)의 고유값(μai)의 대각 행렬(diagonal matrix of eigenvalues)이고, Va는 공분산 행렬(Ca)의 고유 벡터(A i )의 행렬이다.
여기서 위와 같이 산출된 고유 벡터(A i )중 미리 정해진 수 m(< M) 만큼의 고유 벡터(A i )가 상기 얼굴 영상의 주성분(Ai)이 된다.
이상과 같이 생성한 평균 얼굴 영상과 얼굴 영상의 주성분을 이용하여 AAM 방식에 따라 얼굴 영상의 텍스쳐(texture)로부터 상기 수학식 1과 같이 얼굴 모습 파라미터(appearance parameter)를 추출할 수 있는 것이다. 즉 나이 변환 대상 얼굴 영상(TI)을 포함하는 입력 영상을 주성분 분석 공간에 투영하여, 상기 수학식 1과 같이 고유 벡터(eigenvector)들의 가중치 λ를 얼굴 모습 파라미터(appearance parameter)로 추출할 수 있다.
AAM 방법을 이용하여 얼굴의 나이를 변환하는 방법에서는 얼굴을 얼굴 형태(shape)와 텍스쳐를 나타내는 얼굴 모습(appearance)로 나누어 표현하고, 각각에 대하여 특징을 기반으로 나이 변환을 수행한 후, 나이 변환된 얼굴 형태(shape)와 나이 변환된 얼굴 모습(appearance)에 따른 텍스쳐를 합성하여 최종 나이 변환 얼굴을 생성할 수 있다. 위에서 수학식 1 내지 5를 참조하면서 설명한 부분은 먼저 얼굴 모습(appearance)에 대한 나이 변환에 관한 것이다. 본 발명에 의하면 특히 AAM 방식에서 얼굴 모습(appearance) 특징으로 표현하지 못하는 얼굴의 특징을 차분 영상(residual image)을 이용하여 보완할 수 있는 효과가 있다. 다음에서는 참고로 수학식 6 내지 11을 참조하면서 얼굴 형태(shape)의 나이를 변환하기 위하여 얼굴 형태(shape)의 특징을 추출하는 과정에 대하여 설명한다. 아래 상술하는 과정에서 얻어지는 평균 특징점(s0)은 얼굴 모습(appeareance) 특징을 추출할 때, 얼굴의 텍스쳐(texture)를 정규화하는데 사용될 수 있다.
얼굴의 형상(shape)에 대한 특징을 추출하기 위해서, 얼굴 영상에서 v개의 주요 특징점들을 포함하는 특징점 s 을 획득하여 이용한다. 특징점 s는 하기 수학식 6과 같이 표현될 수 있다.
Figure 112015083441875-pat00008
여기서 x, y는 특징점들의 좌표이다.
여기서 학습 얼굴 영상들에서 획득된 특징점 s 는 프로크루스테스 분석(procrustes analysis) 방법을 이용하여 변환(translation), 회전(rotation), 크기 변환(scale) 등을 거쳐 정규화를 수행할 수 있다.
다음으로 위와 같이 정규화된 특징점 s 을 주성분 분석(PCA, Principle Component Analysis)하는 방법은 다음과 같다.
먼저 N개의 학습 얼굴 영상들 각각에 대하여 획득한 특징점(
Figure 112015083441875-pat00009
)들로부터 얼굴의 평균 특징점(s0)을 구한다. 이는 하기 수학식 7과 같이 구할 수 있다.
Figure 112015083441875-pat00010
여기서 특징점(
Figure 112015083441875-pat00011
)은 i번째 학습 얼굴 영상에 대하여 획득한 특징점을 나타낸다.
다음으로는 특징점(si)과 평균 특징점(s0)의 차(Zi)를 식
Figure 112015083441875-pat00012
와 같이 구한다. 다음으로는 위에서 구한 차(Zi)들의 공분산 행렬(Cs)을 하기 수학식 8과 같이 구한다.
Figure 112015083441875-pat00013
그리고 위와 같이 구한 공분산 행렬(Cs)의 고유값(eigenvalue)(μsi : μs1 > μs2 > ... > μsK)와 고유 벡터(eigenvector)(Si : S 1, S 2 , ... ,S K )를 구한다. 여기서 고유값과 고유 벡터는 하기 수학식 9와 같이 산출될 수 있다.
Figure 112015083441875-pat00014
여기서 Ds는 C s 의 고유값(μsi)의 대각 행렬(diagonal matrix of eigenvalues)이고, Vs 는 고유 벡터(S i )의 행렬이다.
다음으로는 나이 변환 대상 얼굴 영상의 특징점(ts)을 주성분 분석 공간에 투영하여, 고유 벡터(eigenvector)들의 가중치(p)를 얼굴 형태(shape) 특징으로 추출한다. 이는 하기 수학식 10과 같이 추출될 수 있다.
Figure 112015083441875-pat00015
여기서 S는 상기 고유 벡터 중 주성분으로 선정된 고유 벡터들(Si : S 1, S 2 , ... ,S k )을 연결하여 표현한 행렬이다. 여기서 k 는 주성분으로 선정된 고유 벡터의 수이다(k<K).
여기서 정규화된 얼굴 특징점 rs는 평균 특징점 s0와 위와 같이 추출된 가중치(p)를 적용한 고유 벡터 Si 의 선형합으로 표현할 수 있다. 이는 하기 수학식 11과 같이 표현될 수 있다.
Figure 112015083441875-pat00016
여기서 상기 수학식 11과 같이 표현된 얼굴 형태(shape)는 얼굴 형태(shape) 특징에 대한 나이 변환 함수
Figure 112015083441875-pat00017
에 의해 수식
Figure 112015083441875-pat00018
과 같이 나이 변환을 수행할 수 있다. 또한 얼굴 모습(appearance) 특징과 차분 영상에 의해 나이 변환된 얼굴의 텍스쳐(texture)는 위 수식으로 나이 변환된 얼굴의 형태(shape)에 합성되어 - 예를 들면 워핑 과정을 통한 합성을 통하여 - 최종 나이 변환 얼굴로 생성될 수 있다.
기존의 얼굴 나이 변환 방법은 이와 같이 상기 모델링한 얼굴 영상에 대하여 나이 변환을 위한 영상 변환을 수행하여, 나이 변환된 얼굴 영상을 생성하는 방법을 이용하였다. 일예로 주성분 분석을 이용한 기존의 얼굴 나이 변환 방법은 위와 같이 각 주성분에 대응하는 얼굴 성분 영상
Figure 112015083441875-pat00019
에 대하여 나이 변환을 위한 영상 변환을 수행한 후 이를 합성하여 나이 변환된 얼굴 영상을 생성하는 방법을 이용하였다.
하기 수학식 12는 주성분 분석을 이용한 기존의 얼굴 나이 변환 방법에 따라 나이 변환된 얼굴 영상을 나타내는 식이다.
Figure 112015083441875-pat00020
여기서 Fi()는 각 주성분에 대응하는 얼굴 성분 영상을 나이 변환하는 함수이고, B는 상기 나이 변환된 얼굴 영상이다.
하지만 위와 같이 기존의 방법대로 나이 변환된 얼굴 영상의 경우 모델링된 성분에 대하여만 나이 변환이 수행되기 때문에, 모델링 과정에서 제외된 세부 성분들이 소실되어 얼굴의 세부적인 특징들이 사라지는 한계점이 있다. 일예로 상술한 주성분 분석을 이용한 얼굴 나이 변환 방법의 경우, 주성분 분석 과정에서 차원이 감소함에 따라 고주파 성분이 제거된 주성분들만을 이용하여 나이를 변환함으로 인하여, 얼굴의 세부적인 특징들이 사라지는 문제가 발생하게 된다.
따라서 본 발명에 따른 얼굴 영상 나이 변환 방법은 나이 변환 대상 얼굴 영상과 상기 모델링한 얼굴 영상과의 차분 영상(residual image)을 생성하고, 차분 영상에 대하여도 나이 변환을 수행한 후 상기 모델링한 얼굴 영상을 나이 변환한 영상과 합성함으로써, 얼굴의 세부적인 특징을 보존하도록 한다.
이를 위하여 먼저 차분 영상 생성 단계(S200)는 차분 영상 생성부(200)가 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차분 영상을 생성한다.
하기 수학식 13은 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차에 따라 상기 차분 영상을 생성하는 과정을 나타내는 식이다.
Figure 112015083441875-pat00021
여기서 D는 상기 차분 영상이고 I는 상기 나이 변환 대상 얼굴 영상이다. 필요에 따라 상기 차분 영상을 산출하는 과정에서 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차를 산출하는 순서는 바뀔 수 있고, 이에 가중치가 적용될 수도 있다.
도 3은 상기 차분 영상(residual image)의 생성 예시를 나타내는 참고도이다.
도 3의 (a)는 상기 나이 변환 대상 얼굴 영상이고, (b)는 상기 나이 변환 대상 얼굴 영상을 주성분 분석 방법을 이용하여 모델링한 얼굴 영상이고, (c)는 (a)와 (b)영상 간의 차이에 해당하는 상기 차분 영상을 나타낸다. 상술한 바와 같이 상기 모델링한 얼굴 영상인 (b) 에서는 상기 나이 변환 대상 얼굴 영상인 (a)와 비교했을 때 점, 흉터와 같은 얼굴의 상세한 특징들을 제거되었다는 것을 확인할 수 있다. 따라서 이런 영향으로 인해 상기 모델링한 얼굴 영상만을 이용하여 기존의 방식과 같이 나이 변환을 수행할 경우, 나이 변환된 얼굴 영상에서 세부 특징들이 제거되어 설정한 나이보다 어려보이는 문제가 발생한다. 따라서 본 발명에 따른 얼굴 영상 나이 변환 방법에서는 위와 같은 문제를 해결하기 위해, 상술한 바와 같이 생성한 상기 차분 영상을 이용함으로써, 최종적으로 획득하는 나이 변환된 얼굴 합성 영상에 얼굴의 고유한 세부 특징이 유지될 수 있도록 한다.
다음으로 차분 영상 나이 변환 단계(S300)는 영상 변환부(300)가 상기 차분 영상을 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 영상 변환하여 차분 변환 영상을 생성한다.
여기서 차분 영상 나이 변환 단계(S300)는 상기 차분 영상을 적어도 하나 이상으로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 미리 설정된 부분 나이 변환 함수를 적용하여 상기 부분 차분 영상을 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성할 수 있다.
사람의 얼굴은 얼굴의 근육 구조와 두개골의 구조에 따라 각 부위로 영역이 분할될 수 있다. 얼굴의 각 영역은 이와 같이 인체 해부학적으로 서로 다른 특성을 가지기 때문에 나이에 따라 변화되는 정도나 특징이 상이하다. 본 발명에서는 이와 같은 얼굴의 각 부위별 차이점을 반영하기 위하여 상기 차분 영상을 미리 정해진 얼굴 분할 지도에 따라 분할하여 각 부위별로 부분 차분 영상을 생성할 수 있다. 그리고 각 부분 차분 영상 별로 각 얼굴 부위의 특성을 반영할 수 있는 부분 나이 변환 함수를 적용하여 영상을 변환할 수 있다.
여기서 상기 얼굴 분할 지도는 얼굴의 코 부분, 좌우 각 눈의 상, 하 옆 부분, 좌우 각 뺨 부분, 입의 상, 하, 좌, 우 부분을 서로 다른 부분으로 분할한 지도가 될 수 있다. 또는 상기 미리 정해진 얼굴 분할 지도는 얼굴의 코 부분, 좌우 각 눈 부분, 좌우 각 뺨 부분, 입 부분을 서로 다른 부분으로 분할한 지도가 될 수도 있다. 본 발명에서 상기 얼굴 분할 지도는 다양한 구조로 얼굴을 분할한 지도를 모두 포함할 수 있다.
도 4는 상기 얼굴 분할 지도를 나타내는 참고도이다.
여기서 상기 얼굴 분할 지도는 도 4와 같이 18개의 부분으로 얼굴 영상을 분할한 지도가 될 수 있다.
여기서 상기 차분 영상에는 얼굴 부위별로 다양한 성분들이 존재한다. 예를 들어, 턱 부위에는 수염, 양 볼 부위에는 기미, 반점 등의 정보가 주로 분포한다. 본 발명에서는 이와 같은 차분 영상의 지역적인 특징을 이용하기 위하여 도 4와 같이 얼굴을 영역별로 나누어 차분 영상을 분석한다.
차분 영상 나이 변환 단계(S300)에서는 상술한 바와 같이 미리 정해진 부위 별로 상기 차분 영상을 분할하고, 각 부분 차분 영상 별로 설정된 부분 나이 변환 함수를 적용하여 각 부분 차분 영상을 변환할 수 있다. 그리고 이와 같이 변환하여 생성한 상기 부분 차분 변환 영상을 합쳐 전체 얼굴에 해당하는 상기 차분 변환 영상을 생성할 수 있다.
차분 영상에 존재하는 여러 성분들은 표현되는 값의 크기가 다르다. 예를 들어, 진한 점, 흉터 등의 경우에는 차분 영상에서 상대적으로 큰 값으로 표현되고, 흐린 점, 흉터 등의 경우에는 작은 값으로 표현된다. 본 발명에서는 이와 같이 차분 영상에 존재하는 성분의 특성에 따라 크기값이 다르게 표현되는 정보들을 세분화하여 분석한다. 예를 들어, 차분 영상의 절대값 크기가 5보다 작은 영역, 5와 10 사이의 영역, 10과 15사이의 영역 등으로 절대값의 크기를 기준으로 영역을 다시 세분화한다.
다음으로 본 발명에서는 이와 같이 얼굴 부위와 차분 영상의 절대값 크기로 세분화하여 차분 영상의 절대값의 합을 계산한다. 각 세분화된 영역에서의 차분 영상의 절대값 합과 나이와의 관계를 함수로 모델링하여 차분 영상의 나이 변환 함수들을 생성한다. 입력 영상의 차분 영상을 얼굴 부위, 절대값 크기에 따라 세분화된 영역의 절대값 합을 변환하려는 나이에 맞는 가중치(weight)를 나이 변환 함수로 계산하여, 입력 영상의 차분 영상에 가중치(weight)를 적용한다. 나이 변환 함수에 의해 나이가 증가하는 경우에는 큰 가중치(weight)를 적용하여 차분 영상에 존재하는 점, 흉터, 기미, 검버섯 등의 상세한 피부 정보들을 진하게 표현한다. 반대로 나이가 감소하는 경우에는 작은 가중치(weight)를 적용하여 차분 영상에 존재하는 상세한 피부 정보들을 연하게 표현한다. 최종적으로는 얼굴 영상 합성 단계(S400)에서 나이 변화에 따른 가중치(weight)가 적용되어 변환된 차분 변환 영상을 AAM의 appearance feature로 나이 변환된 결과 즉 상기 모델링한 얼굴 영상에 대한 나이 변환 영상에 더하여, 나이 변환된 얼굴 합성 영상을 획득하게 된다.
도 5는 차분 영상의 각 부위 별로 적용되는 부분 나이 변환 함수(aging function)를 나타내는 참고도이다. 도 5와 같이 얼굴의 부위 별로 설정된 부분 나이 변환 함수가 이용될 수 있다.
상기 부분 나이 변환 함수는, 적어도 하나 이상의 얼굴 영상을 상기 얼굴 분할 지도에 따라 분할하고, 상기 분할한 얼굴 영상 중 상기 부분 나이 변환 함수에 대응하는 각 부분 영상들을 학습하여, 상기 부분 나이 변환 함수의 파라미터 값을 설정한 것이 될 수 있다.
다음으로 얼굴 영상 합성 단계(S400)는 영상 합성부(400)가 상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득한다. 여기서 합성은 양 영상을 더하는 방식으로 수행될 수 있고, 필요에 따라 가중치를 적용한 가중합을 수행할 수도 있다.
여기서 상기 모델링한 얼굴 영상에 대한 나이 변환 영상은, 상기 모델링한 얼굴 영상을 기존의 모델링 기반 나이 변환 방법을 이용하여 변환하여 획득한 영상이 될 수 있다.
예를 들어 상기 모델링한 얼굴 영상에 대한 나이 변환 영상은 상술한 기존의 AAM 방법을 이용하여 얼굴 영상을 나이 변환하는 방법에 따라 획득된 영상이 될 수 있다. 또한 상기 수학식 12와 같이 생성한 나이 변환된 얼굴 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상으로 이용할 수 있다. 여기서 영상 변환부(300)는 상기 모델링한 얼굴 영상을 입력받아 기존의 AAM 방법을 이용하여 변환하여 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 생성할 수 있고, 영상 합성부(400)는 위와 같이 영상 변환부(300)가 생성한 영상을 입력받아 상술한 합성 과정을 수행할 수 있다.
또는 여기서 필요에 따라 영상 영상 합성 단계(S400)는 위와 같이 영상 변환부(300)를 이용하는 대신 영상 합성부(400)가 외부로부터 별도로 상기 모델링한 영상을 나이 변환한 영상을 입력받아 상술한 합성 과정을 수행할 수도 있다. 도 6은 이와 같이 영상 합성부(400)가 외부로부터 별도로 상기 모델링한 영상을 나이 변환한 영상을 입력받아 상술한 합성 과정을 수행하는 경우의 본 발명에 따른 얼굴 나이 변환 장치의 블록도이다.
또한 얼굴 영상 합성 단계(S400)는 상기 차분 영상에 상기 변환 목표 나이에 따른 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득할 수도 있다. 예를 들면 상기 변환 목표 나이에 따라 산출된 가중치를 상기 차분 변환 영상에 곱한 후 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 합성할 수 있다.
사람은 나이가 들면 얼굴에 주름, 검버섯, 기미 등과 같은 특징들이 증가하게 되고 나이가 어려지면 반대로 이런 특징들이 감소하게 된다. 따라서 동일한 사람에 해당하는 얼굴 영상일지라도 나이에 따라서 적용시켜야 하는 차분 영상(residual image)의 가중치를 다르게 하는 것이 바람직하다. 이에 얼굴 영상 합성 단계(S400)에서는 나이 변환 대상 얼굴 영상의 나이보다 변환 목표 나이가 어릴 경우에는 차분 영상의 가중치를 작게 하고, 나이가 많은 경우에는 차분 영상의 가중치를 크게 함으로써, 해당 나이에 맞는 얼굴 정보들을 잘 표현할 수 있도록 한다.
이를 위하여 얼굴 영상 합성 단계(S400)는 변환 목표 나이가 나이 변환 대상 얼굴 영상의 나이보다 작은 경우는 상기 가중치를 작게, 큰 경우는 상기 가중치를 크게 설정할 수 있다. 이처럼 상기 가중치는 상기 변환 목표 나이가 클수록 더 큰 값을 가지도록 설정될 수 있다. 또는 얼굴 영상 합성 단계(S400)는 변환 목표 나이가 증가함에 따라 상기 가중치의 크기도 증가하도록 설정된 함수를 이용하여 변환 목표 나이를 입력으로 하여 상기 가중치를 산출할 수도 있다. 또는 얼굴 영상 합성 단계(S400)는 변환 목표 나이에 따라 각 가중치의 값이 미리 설정된 테이블을 이용하여 변환 목표 나이에 따른 상기 가중치를 산출할 수도 있다.
하기 수학식 14는 차분 영상에 적용되는 가중치를 산출하는 식이고, 하기 수학식 15는 가중치를 적용한 차분 영상을 합산하여 상기 나이 변환된 얼굴 합성 영상을 생성하는 과정을 나타내는 식이다.
Figure 112015083441875-pat00022
여기서 w는 가중치이고 a cur 는 나이 변환 대상 얼굴 영상의 나이이고, a si 는 변환 목표 나이이고, f res 는 나이 변환 함수이고, ∑I res 는 차분 영상의 절대값의 합산이다.
Figure 112015083441875-pat00023
여기서 W는 상기 가중치, D는 상기 차분 영상, B는 상기 모델링한 얼굴 영상에 대한 나이 변환 영상, T는 상기 나이 변환된 얼굴 합성 영상이다.
여기서 상기 모델링한 얼굴 영상에 대한 나이 변환 영상은, 상기 모델링한 얼굴 영상을 상술한 기존의 AAM 방법 또는 주성분 분석 방법을 이용한 얼굴 나이 변환 방법을 이용하여 나이 변환한 영상이 될 수 있다. 상술한 바와 같이 일예로 주성분 분석을 이용한 기존의 얼굴 나이 변환 방법은 각 주성분에 대응하는 얼굴 성분 영상에 대하여 나이 변환을 위한 영상 변환을 수행한 후 이를 합성하여 나이 변환된 얼굴 영상을 생성할 수 있다. 예를 들면 여기서 상기 모델링한 얼굴 영상에 대한 나이 변환 영상은, 상기 모델링한 얼굴 영상에 미리 설정된 제2 나이 변환 함수를 적용하여 영상 변환하여 생성한 영상이 될 수 있다.
도 7은 변환 목표 나이가 나이 변환 대상 얼굴 영상의 나이보다 많은 경우, 종래의 AAM 방법만을 사용한 나이 변환 방법과 본 발명에 따른 나이 변환 방법의 각 결과를 비교하는 예시이다. 도 7의 (a)는 나이 변환 대상 얼굴 영상, (b)는 종래의 AAM 방법만을 사용한 나이 변환 방법에 따라 미래의 나이로 얼굴을 변환한 결과, (c)는 본 발명에 따른 나이 변환 방법을 이용하여 미래의 나이로 얼굴을 변환한 결과 영상이다. (a) 영상을 참조하면 나이 변환 대상 얼굴 영상은 눈 밑점과 같은 개인의 고유한 얼굴 특징 정보들이 존재하는데, (b) 영상에서 종래의 방법을 사용하여 나이 변환한 결과에서는 이런 개인의 고유한 특징들이 전부 사라졌다는 것을 알 수 있다. 하지만 본 발명에 따른 결과인 (c) 영상을 확인하면 눈 밑 점뿐만 아니라 코 주위의 세부적인 얼굴 특징들 또한 유지한 채 나이 변환이 된 것을 확인할 수 있다.
도 8은 변환 목표 나이가 나이 변환 대상 얼굴 영상의 나이보다 적은 경우, 종래의 AAM 방법만을 사용한 나이 변환 방법과 본 발명에 따른 나이 변환 방법의 각 결과를 비교하는 예시이다. 도 8의 (a)는 나이 변환 대상 얼굴 영상, (b)는 종래의 AAM 방법만을 사용한 나이 변환 방법에 따라 과거의 나이로 얼굴을 변환한 결과, (c)는 본 발명에 따른 나이 변환 방법을 이용하여 과거의 나이로 얼굴을 변환한 결과 영상이다. 도 7과 마찬가지로 종래의 방법을 사용하여 나이 변환한 (b) 영상과 달리 본 발명의 결과인 (c) 영상에서는 (a) 얼굴 영상이 가지고 있는 고유한 얼굴 특징들이 잘 표현이 되어있음을 확인할 수 있다. 여기서 도 8의 경우는 나이 변환 대상 얼굴 영상보다 어린 나이에 해당하는 얼굴로 변환되었기 때문에, (c) 영상에서 점과 같은 세부적인 피부 특징들이 나이 변환 대상 얼굴 영상에 비해 옅어지게 변환되었다는 것을 볼 수 있다.
이와 같이 본 발명에 따른 얼굴 영상 나이 변환 방법은 상술한 구성들을 통해 종래의 얼굴 영상 나이 변환 방법과 비교하였을 때 뚜렷한 성능의 개선점이 있다고 할 것이다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 얼굴 모델링부
200 : 차분 영상 생성부
300 : 영상 변환부
400 : 영상 합성부
S100 : 얼굴 모델링 단계
S200 : 차분 영상 생성 단계
S300 : 차분 영상 나이 변환 단계
S400 : 얼굴 영상 합성 단계

Claims (14)

  1. 얼굴 영상 나이 변환 방법에 있어서,
    얼굴 모델링부가 나이 변환 대상 얼굴 영상을 입력받고, 상기 나이 변환 대상 얼굴 영상을 미리 정해진 얼굴 모델링 알고리즘을 이용하여 모델링한 얼굴 영상을 생성하는 얼굴 모델링 단계;
    차분 영상 생성부가 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차인 차분 영상을 생성하는 차분 영상 생성 단계;
    영상 변환부가 상기 차분 영상을 적어도 하나 이상으로 분할하여 부분 차분 영상을 생성하고, 상기 부분 차분 영상 및 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 영상 변환하여 차분 변환 영상을 생성하는 차분 영상 나이 변환 단계; 및
    영상 합성부가 상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득하는 얼굴 영상 합성 단계를 포함하며,
    상기 차분 영상 나이 변환 단계는 각 상기 부분 차분 영상 별로 미리 설정된 부분 나이 변환 함수를 적용하여 상기 부분 차분 영상을 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 방법.
  2. 제1항에 있어서
    상기 얼굴 모델링 단계는 상기 미리 정해진 얼굴 모델링 알고리즘으로 AAM(Active Appearance Model)을 이용해 상기 나이 변환 대상 얼굴 영상을 모델링하여, 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 방법.
  3. 제1항에 있어서
    상기 얼굴 모델링 단계는 주성분 분석(Principle Component Analysis)를 이용하여 미리 정해진 복수개의 학습 얼굴 영상들로부터 추출한 주성분에 따라 상기 나이 변환 대상 얼굴 영상을 모델링하여 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 방법.
  4. 삭제
  5. 제1항에 있어서
    상기 차분 영상 나이 변환 단계는 상기 차분 영상을 미리 정해진 얼굴 분할 지도에 따라 분할하여 상기 부분 차분 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 방법
  6. 제5항에 있어서
    상기 얼굴 분할 지도는 얼굴 영상의 코 부분, 좌우 각 눈 부분, 좌우 각 뺨 부분, 입 부분을 서로 다른 부분으로 분할한 지도인 것을 특징으로 하는 얼굴 영상 나이 변환 방법
  7. 제5항에 있어서
    상기 부분 나이 변환 함수는, 적어도 하나 이상의 얼굴 영상을 상기 얼굴 분할 지도에 따라 분할하고, 상기 분할한 얼굴 영상 중 상기 부분 나이 변환 함수에 대응하는 각 부분 영상들을 학습하여, 상기 부분 나이 변환 함수의 파라미터 값을 설정한 것을 특징으로 하는 얼굴 영상 나이 변환 방법
  8. 제1항에 있어서,
    상기 얼굴 영상 합성 단계는 상기 차분 영상에 상기 변환 목표 나이에 따른 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득하는 것을 특징으로 하는 얼굴 영상 나이 변환 방법
  9. 제8항에 있어서,
    상기 가중치는 상기 변환 목표 나이가 클수록 더 큰 값을 가지도록 설정되는 것을 특징으로 하는 얼굴 영상 나이 변환 방법
  10. 제8항에 있어서,
    상기 모델링한 얼굴 영상에 대한 나이 변환 영상은, 상기 모델링한 얼굴 영상에 미리 설정된 제2 나이 변환 함수를 적용하여 영상 변환하여 생성한 영상인 것을 특징으로 하는 얼굴 영상 나이 변환 방법
  11. 얼굴 영상 나이 변환 장치에 있어서,
    나이 변환 대상 얼굴 영상을 입력받고, 상기 나이 변환 대상 얼굴 영상을 미리 정해진 얼굴 모델링 알고리즘을 이용하여 모델링한 얼굴 영상을 생성하는 얼굴 모델링부;
    상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차인 차분 영상을 생성하는 차분 영상 생성부;
    상기 차분 영상을 적어도 하나 이상으로 분할하여 부분 차분 영상을 생성하고, 상기 부분 차분 영상 및 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 영상 변환하여 차분 변환 영상을 생성하는 영상 변환부; 및
    상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득하는 영상 합성부를 포함하며,
    상기 영상 변환부는 각 상기 부분 차분 영상 별로 미리 설정된 부분 나이 변환 함수를 적용하여 상기 부분 차분 영상을 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 장치.
  12. 제11항에 있어서
    상기 얼굴 모델링부는 상기 미리 정해진 얼굴 모델링 알고리즘으로 AAM(Active Appearance Model)을 이용해 상기 나이 변환 대상 얼굴 영상을 모델링하여, 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 장치.
  13. 삭제
  14. 제11항에 있어서,
    상기 영상 합성부는 상기 차분 영상에 상기 변환 목표 나이에 따른 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득하는 것을 특징으로 하는 얼굴 영상 나이 변환 장치
KR1020150121178A 2015-08-27 2015-08-27 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치 KR101725808B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150121178A KR101725808B1 (ko) 2015-08-27 2015-08-27 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150121178A KR101725808B1 (ko) 2015-08-27 2015-08-27 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20170025162A KR20170025162A (ko) 2017-03-08
KR101725808B1 true KR101725808B1 (ko) 2017-04-26

Family

ID=58404241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150121178A KR101725808B1 (ko) 2015-08-27 2015-08-27 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101725808B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102266165B1 (ko) * 2021-03-26 2021-06-17 인하대학교 산학협력단 적대적 생성신경망에서의 개인별 변조를 이용한 얼굴 연령 편집 방법 및 장치
KR102574021B1 (ko) 2023-06-19 2023-09-04 이가람 인공지능 모델을 활용하여 영상 데이터 히스토리로부터 추출된 개인화된 이미지 기반으로 반응형 이미지 콘텐츠를 생성하는 방법, 장치 및 시스템

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101918119B1 (ko) * 2017-03-10 2019-02-08 주식회사 모르페우스 얼굴에 관한 해부학적 레이어를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018164329A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018164328A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018164394A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018164327A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 얼굴에 관한 해부학적 레이어를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
EP3503023B1 (en) * 2017-12-22 2022-11-23 Chanel Parfums Beauté Improved age modelling method
CN109886099B (zh) * 2019-01-11 2020-11-10 西安电子科技大学 一种年龄评估评判标准模型的建立方法
CN111860041B (zh) * 2019-04-26 2024-06-11 北京陌陌信息技术有限公司 人脸转换模型训练方法、装置、设备及介质
KR102247481B1 (ko) * 2019-08-12 2021-05-03 한국과학기술연구원 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
KR102288001B1 (ko) * 2020-02-13 2021-08-11 한국과학기술연구원 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 이를 포함한 포토 부스
CN111861954B (zh) * 2020-06-22 2024-10-18 北京百度网讯科技有限公司 编辑人脸的方法、装置、电子设备和可读存储介质
CN115984426B (zh) * 2023-03-21 2023-07-04 美众(天津)科技有限公司 发型演示图像的生成的方法、装置、终端及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128171A (ja) * 2005-11-01 2007-05-24 Advanced Telecommunication Research Institute International 顔画像合成装置、顔画像合成方法および顔画像合成プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896643B1 (ko) 2007-06-18 2009-05-08 에스케이 텔레콤주식회사 Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128171A (ja) * 2005-11-01 2007-05-24 Advanced Telecommunication Research Institute International 顔画像合成装置、顔画像合成方法および顔画像合成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sung Eun Choi et al., Age estimation using a hierarchical classifier based on global and local facial features, Pattern Recognition 44, 1262-1281p, 2011.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102266165B1 (ko) * 2021-03-26 2021-06-17 인하대학교 산학협력단 적대적 생성신경망에서의 개인별 변조를 이용한 얼굴 연령 편집 방법 및 장치
KR102574021B1 (ko) 2023-06-19 2023-09-04 이가람 인공지능 모델을 활용하여 영상 데이터 히스토리로부터 추출된 개인화된 이미지 기반으로 반응형 이미지 콘텐츠를 생성하는 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR20170025162A (ko) 2017-03-08

Similar Documents

Publication Publication Date Title
KR101725808B1 (ko) 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치
US8565518B2 (en) Image processing device and method, data processing device and method, program, and recording medium
US8548230B2 (en) Image processing device and method, data processing device and method, program, and recording medium
US8605995B2 (en) Image processing device and method, data processing device and method, program, and recording medium
JP5161845B2 (ja) 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5178662B2 (ja) 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5684488B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101758825B1 (ko) 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2004008391A1 (ja) パターン特徴抽出方法及びその装置
JP2010272109A (ja) 画像処理装置、画像処理方法およびプログラム
JP5193931B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101994390B1 (ko) 가중치 보간 맵을 이용한 표정 합성 장치 및 방법
KR100723417B1 (ko) 얼굴 인식 방법, 그 장치, 이를 위한 얼굴 영상에서 특징추출 방법 및 그 장치
KR20080106596A (ko) 가상 얼굴 생성 방법
Chetty et al. Robust face-voice based speaker identity verification using multilevel fusion
KR100360486B1 (ko) 가버 필터링 반응값의 차원 공간 변환을 이용한 얼굴 인식방법 및 그 장치
KR20110131947A (ko) 영상 처리 장치 및 방법
Yu et al. Facial video coding/decoding at ultra-low bit-rate: a 2D/3D model-based approach
Tsuji et al. Makeup Transfer Using Support Vector Regression
US20230057235A1 (en) Computer-readable recording medium storing determination program, determination device, and determination method
Park et al. Face Aging Modeling
JP2023092254A (ja) 顔表面テクスチャの経時変化特性判定方法
JP2009273117A (ja) 画像処理システム、画像処理方法、およびプログラム
Chetty A novel shape transformation approach for quantizing facial expressions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant