KR20170025162A - Method and Apparatus for Transforming Facial Age on Facial Image - Google Patents
Method and Apparatus for Transforming Facial Age on Facial Image Download PDFInfo
- Publication number
- KR20170025162A KR20170025162A KR1020150121178A KR20150121178A KR20170025162A KR 20170025162 A KR20170025162 A KR 20170025162A KR 1020150121178 A KR1020150121178 A KR 1020150121178A KR 20150121178 A KR20150121178 A KR 20150121178A KR 20170025162 A KR20170025162 A KR 20170025162A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- age
- face
- difference
- conversion
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 얼굴 영상을 변환하는 방법과 그 장치에 관한 것이다. 특히 본 발명은 얼굴 영상을 변환하여 얼굴의 나이를 변화시키는 방법과 그 장치에 관한 것이다.The present invention relates to a method and apparatus for converting facial images. In particular, the present invention relates to a method and apparatus for changing a face age by converting a face image.
사람의 얼굴 영상은 나이, 성별, 인종 등과 같은 개인의 특징들을 나타내는 많은 정보들을 포함하고 있다. 따라서 사람의 얼굴 영상을 기반으로 하여 사용자 인증을 비롯한 다양한 HCI(Human-Computer Interaction) 기술들이 연구되고 개발되어 사용되고 있다. 또한, 컴퓨터 그래픽이나 컴퓨터 비전 분야에서는 사람 얼굴을 모델링하고 분석하여, 원하는 조건에 맞게 얼굴을 표현 및 생성하거나 또는 사람의 얼굴을 인식하는 기술이 개발되고 있다. 특히 얼굴 영상을 변환은 그 응용 분야가 다양하기 때문에 점점 더 중요해지고 있는 상황이다.Human facial images contain a lot of information about individual characteristics such as age, gender, race, and so on. Therefore, various HCI (Human-Computer Interaction) technologies including user authentication based on human face images have been researched and developed and used. Also, in the fields of computer graphics and computer vision, techniques for modeling and analyzing human faces, expressing and generating faces according to desired conditions, or recognizing human faces have been developed. In particular, facial image conversion is becoming more and more important because of its diverse applications.
그런데 사람의 얼굴은 나이에 따라 기본 구조가 변형되고, 또한 피부의 노화에 따른 주름과 같은 변화가 일어난다. 또한 나이에 의한 얼굴 변화에는 사람들 간에 공통적으로 변화하는 부분도 있는 반면, 개인별로 얼굴 변화의 차이가 큰 부분들도 존재하게 된다. 사람 얼굴 영상 인식 및 변환 분야에서는 위와 같은 특성을 반영하여, 입력받은 사람 얼굴 영상에 대하여 나이의 변화에 따른 얼굴 영상 변화를 수행하여, 특정한 나이에 해당하는 사람 얼굴 영상을 생성하는 기술이 연구되어 왔다.However, the basic structure of a person's face changes with age, and changes such as wrinkles are caused by skin aging. In addition, there are some common changes among people in age-based face changes, but there are also differences in face change among individuals. In the field of human face image recognition and conversion, there has been studied a technique of generating a human face image corresponding to a specific age by performing a face image change according to a change in age with respect to the input human face image, reflecting the above characteristics .
종래에 사람 얼굴 영상의 나이 변환 기법들은 나이의 변화에 따른 얼굴의 구조 변화와 피부 변화를 나타내기 위하여 AAM(Active Appearance Model)을 사용하였다. AAM 기법은 주성분 분석 등을 이용하여 얼굴 영상의 주된 특징을 추출하고, 해당 특징에 나이 변환 함수를 적용하여, 특정 나이의 얼굴 영상을 복원하는 기법이다.Conventionally, age transformation techniques of human face images use AAM (Active Appearance Model) to show the change of face structure and skin change with age. The AAM technique extracts the main features of the facial image using principal component analysis and applies the age conversion function to the feature to restore the facial image of a certain age.
그러나 이와 같은 기존의 얼굴 영상 나이 변환 방법에서는, 나이 변환을 수행하기 위하여 얼굴 영상에서 주 성분을 추출하는 과정에서 정보의 차원 감소가 일어나게 되고, 그에 따라 얼굴의 세부적인 특징을 나타내는 고주파 성분들이 삭제되는 한계점이 존재한다. 그런데 얼굴에서 점, 흉터 등과 같이 고주파 성질을 가지고 있는 세부 특징들은 각 개인에 대한 주요 정보를 담고 있는 성분이라는 점에서, 해당 성분들을 제외하고 얼굴 영상의 나이를 변환하는 기존의 방법에는 문제점이 있다. 따라서 종래 얼굴 나이 변환 방법들의 경우 얼굴 영상을 취득하여 사용자가 원하는 나이로 변환 했을 때, 해당 나이보다 좀 더 어려보이거나 원 영상에 존재하는 얼굴 특징들이 사라져 본래의 얼굴과 다르게 표현되는 문제가 발생하게 된다.However, in the conventional facial image age conversion method, in order to perform the age conversion, in the process of extracting the main component from the facial image, the dimensionality of the information decreases, and the high frequency components representing the detailed features of the face are deleted There is a limit. However, there are problems in the conventional method of converting the age of the facial image except for the components, because the detailed features having high frequency properties such as points, scars in the face contain the main information for each individual. Therefore, when the facial image is acquired and converted into a desired age by a user, the facial features existing in the original image are slightly different from the original facial features, .
한국 공개특허공보 제10-2008-0111325호 (2008.12.23.)Korean Patent Laid-Open No. 10-2008-0111325 (Dec. 23, 2008)
본 발명이 해결하고자 하는 과제는, 종래의 얼굴 영상 나이 변환 방법에서 나이 변환시 얼굴의 세부 특징이 사라지고 해당 나이보다 좀 더 어려보이는 문제점을 해결하기 위하여, 변환 대상 얼굴 영상과 변환 대상 얼굴 영상을 주성분 분석하여 복원한 얼굴 영상 간의 차분 영상을 이용함으로써 얼굴의 상세 정보를 유지시키면서 나이 변환을 수행하는 얼굴 영상 나이 변환 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The object of the present invention is to solve the problem that the detailed features of a face disappear in age conversion in the conventional face image age conversion method and appear to be a little younger than a corresponding age, And performing age conversion while maintaining detailed information of the face by using a difference image between the restored face images.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 얼굴 영상 나이 변환 방법은, 얼굴 모델링부가 나이 변환 대상 얼굴 영상을 입력받고, 상기 나이 변환 대상 얼굴 영상을 미리 정해진 얼굴 모델링 알고리즘을 이용하여 모델링한 얼굴 영상을 생성하는 얼굴 모델링 단계; 차분 영상 생성부가 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차인 차분 영상을 생성하는 차분 영상 생성 단계; 영상 변환부가 상기 차분 영상을 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 영상 변환하여 차분 변환 영상을 생성하는 차분 영상 나이 변환 단계; 및 영상 합성부가 상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득하는 얼굴 영상 합성 단계를 포함할 수 있다.According to one aspect of the present invention, there is provided a face image age converting method, wherein a face modeling unit receives an age-transforming face image and models the age-transforming face image using a predetermined face modeling algorithm A face modeling step of generating a face image; A difference image generation step of generating a difference image in which a difference image generation unit is a difference between the modeled face image and the age conversion target face image; A difference image age transforming step of transforming the difference image by using an age conversion function set according to a conversion target age to generate a difference transformed image; And a face image synthesizing step of synthesizing the difference conversion image and the age-converted image of the modeled face image to obtain an age-converted face composite image.
여기서 상기 얼굴 모델링 단계는 상기 미리 정해진 얼굴 모델링 알고리즘으로 AAM(Active Appearance Model)을 이용해 상기 나이 변환 대상 얼굴 영상을 모델링하여, 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 할 수 있다.Here, the face modeling step may model the face image to be converted using the AAM (Active Appearance Model) with the predetermined face modeling algorithm, and generate the modeled face image.
상기 얼굴 모델링 단계는 주성분 분석(Principle Component Analysis)를 이용하여 미리 정해진 복수개의 학습 얼굴 영상들로부터 추출한 주성분에 따라 상기 나이 변환 대상 얼굴 영상을 모델링하여 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 할 수 있다.Wherein the face modeling step models the age-transforming face image according to a principal component extracted from a plurality of learning face images determined in advance using principal component analysis, and generates the modeled face image have.
여기서 상기 차분 영상 나이 변환 단계는 상기 차분 영상을 적어도 하나 이상으로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 미리 설정된 부분 나이 변환 함수를 적용하여 상기 부분 차분 영상을 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성하는 것을 특징으로 할 수 있다.Wherein the difference image age conversion step comprises the steps of generating a partial difference image by dividing the difference image into at least one or more images and applying a predetermined partial age conversion function for each of the partial difference images to convert the partial difference image, Converted image, and generates the differential-transformed image by adding the generated partial differential-transformed images.
여기서 상기 차분 영상 나이 변환 단계는 상기 차분 영상을 미리 정해진 얼굴 분할 지도에 따라 분할하여 상기 부분 차분 영상을 생성하는 것을 특징으로 할 수 있다.The difference image age conversion step may divide the difference image according to a predetermined face division map to generate the partial difference image.
여기서 상기 얼굴 분할 지도는 얼굴 영상의 코 부분, 좌우 각 눈 부분, 좌우 각 뺨 부분, 입 부분을 서로 다른 부분으로 분할한 지도인 것을 특징으로 할 수 있다.Here, the face division map is a map obtained by dividing a nose portion, left and right eye portions, left and right cheeks, and mouth portions of a facial image into different portions.
여기서 상기 부분 나이 변환 함수는, 적어도 하나 이상의 얼굴 영상을 상기 얼굴 분할 지도에 따라 분할하고, 상기 분할한 얼굴 영상 중 상기 부분 나이 변환 함수에 대응하는 각 부분 영상들을 학습하여, 상기 부분 나이 변환 함수의 파라미터 값을 설정한 것을 특징으로 할 수 있다.Wherein the partial age transformation function divides at least one face image according to the face division map and learns each partial image corresponding to the partial age transformation function of the divided face images, And a parameter value is set.
여기서 상기 얼굴 영상 합성 단계는 상기 차분 영상에 상기 변환 목표 나이에 따른 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득하는 것을 특징으로 할 수 있다.The face image synthesizing step may include acquiring the age-converted face composite image by summing an image generated by applying a weight based on the conversion target age to the difference image, and an age-converted image of the modeled face image, .
여기서 상기 가중치는 상기 변환 목표 나이가 클수록 더 큰 값을 가지도록 설정되는 것을 특징으로 할 수 있다.Wherein the weight is set to have a larger value as the conversion target age is larger.
여기서 상기 모델링한 얼굴 영상에 대한 나이 변환 영상은, 상기 모델링한 얼굴 영상에 미리 설정된 제2 나이 변환 함수를 적용하여 영상 변환하여 생성한 영상인 것을 특징으로 할 수 있다.Here, the age-transformed image of the modeled face image may be an image generated by applying a predetermined second age conversion function to the modeled face image.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 얼굴 영상 나이 변환 장치는, 나이 변환 대상 얼굴 영상을 입력받고, 상기 나이 변환 대상 얼굴 영상을 미리 정해진 얼굴 모델링 알고리즘을 이용하여 모델링한 얼굴 영상을 생성하는 얼굴 모델링부; 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차인 차분 영상을 생성하는 차분 영상 생성부; 상기 차분 영상을 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 영상 변환하여 차분 변환 영상을 생성하는 영상 변환부; 및 상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득하는 영상 합성부를 포함할 수 있다.According to another aspect of the present invention, there is provided a facial image age converting apparatus for receiving an age-transforming facial image and subjecting the age-transforming facial image to a facial image modeling using a predetermined facial modeling algorithm A face modeling unit for generating a face modeling unit; A difference image generation unit that generates a difference image that is a difference between the modeled face image and the face image to be converted; An image transform unit for transforming the difference image using an age conversion function set according to a conversion target age to generate a difference transformed image; And an image synthesizer for synthesizing the difference-transformed image and the age-transformed image of the modeled face image to obtain an age-converted face composite image.
여기서 상기 얼굴 모델링부는 상기 미리 정해진 얼굴 모델링 알고리즘으로 AAM(Active Appearance Model)을 이용해 상기 나이 변환 대상 얼굴 영상을 모델링하여, 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 할 수 있다.Here, the face modeling unit may model the face image to be converted using the AAM (Active Appearance Model) with the predetermined face modeling algorithm, and generate the modeled face image.
여기서 상기 영상 변환부는 상기 차분 영상을 적어도 하나 이상으로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 미리 설정된 부분 나이 변환 함수를 적용하여 상기 부분 차분 영상을 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성하는 것을 특징으로 할 수 있다.Here, the image conversion unit may generate a partial difference image by dividing the difference image into at least one or more images, and apply a predetermined partial age conversion function for each of the partial difference images to convert the partial difference image, And generating the difference transformed image by summing the generated partial difference transformed images.
여기서 상기 영상 합성부는 상기 차분 영상에 상기 변환 목표 나이에 따른 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득하는 것을 특징으로 할 수 있다.Wherein the image synthesizing unit acquires the age-converted face composite image by summing an image generated by applying a weight based on the conversion target age to the difference image, and an age-converted image of the modeled face image .
본 발명에 따른 얼굴 영상 나이 변환 방법에 따르면, 얼굴의 상세 정보를 나타내는 차분 영상에 대하여 각 부위별 고유의 나이 변환 함수를 적용한 나이 변환을 수행함으로써, 종래의 얼굴 영상 나이 변환 방법보다 더 효과적으로 사용자가 원하는 나이의 얼굴 영상을 세밀하게 표현할 수 있는 효과가 있다. 즉 본 발명에 따르면 얼굴 영상을 사용자가 원하는 나이로 변환할 때 얼굴의 세부적인 특징들을 효과적으로 변환시켜주고 각 개인이 가지고 있는 고유한 얼굴 특징들을 유지하여 표현해 주는 효과가 있다.According to the face image age converting method of the present invention, by performing the age conversion using the age conversion function inherent to each part of the difference image representing the detailed information of the face, There is an effect that the facial image of a desired age can be expressed in detail. That is, according to the present invention, when the face image is converted into the user's desired age, it effectively transforms the detailed features of the face and maintains and expresses unique facial features possessed by each individual.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 나이 변환 장치의 블록도이다.
도 2는 본 발명의 또 다른 실시예에 따른 얼굴 영상 나이 변환 방법의 흐름도이다.
도 3은 본 발명에 따른 차분 영상의 생성 예시를 나타내는 참고도이다.
도 4는 본 발명에 따른 얼굴 분할 지도를 나타내는 참고도이다.
도 5는 차분 영상의 각 부위 별로 적용되는 나이 변환 함수를 나타내는 참고도이다.
도 6은 본 발명의 또 다른 실시예에 따른 얼굴 영상 나이 변환 장치의 블록도이다.
도 7은 변환 목표 나이가 나이 변환 대상 얼굴 영상의 나이보다 많은 경우, 종래의 AAM만을 사용한 나이 변환 방법과 본 발명에 따른 나이 변환 방법의 각 결과를 비교하는 예시를 나타내는 참고도이다.
도 8은 변환 목표 나이가 나이 변환 대상 얼굴 영상의 나이보다 적은 경우, 종래의 AAM만을 사용한 나이 변환 방법과 본 발명에 따른 나이 변환 방법의 각 결과를 비교하는 예시를 나타내는 참고도이다.1 is a block diagram of a face image age converting apparatus according to an embodiment of the present invention.
2 is a flowchart of a face image age converting method according to another embodiment of the present invention.
3 is a reference diagram showing an example of generation of a difference image according to the present invention.
4 is a reference diagram showing a face division map according to the present invention.
5 is a reference diagram showing an age conversion function applied to each part of the difference image.
6 is a block diagram of a face image age converting apparatus according to another embodiment of the present invention.
7 is a reference view showing an example of comparing the results of the age conversion method using only the conventional AAM and the results of the age conversion method according to the present invention when the conversion target age is larger than the age of the face image to be converted.
8 is a reference diagram showing an example of comparing the results of the age conversion method using only the conventional AAM and the results of the age conversion method according to the present invention when the conversion target age is smaller than the age of the face image to be converted.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.
사람의 얼굴은 나이에 따라 기본 구조가 변형되고, 또한 피부의 노화에 따른 주름과 같은 변화가 일어난다. 또한 나이에 의한 얼굴 변화에는 사람들 간에 공통적으로 변화하는 부분도 있는 반면, 개개인별로 얼굴 변화의 차이가 큰 부분들도 존재하게 된다. 종래에 사람 얼굴 영상의 나이 변환 기법들은 나이의 변화에 따른 얼굴의 구조 변화와 피부 변화를 나타내기 위하여 AAM(Active Appearance Model)을 사용하였다. AAM 기법은 주성분 분석 등을 이용하여 얼굴 영상의 주된 특징을 추출하고, 해당 특징에 나이 변환 함수를 적용하여, 특정 나이의 얼굴 영상을 복원하는 기법이다.The face of a person changes its basic structure according to age, and changes such as wrinkles due to aging of the skin occur. In addition, there are some common changes in people's face changes due to age, but there are also differences in face changes among individuals. Conventionally, age transformation techniques of human face images use AAM (Active Appearance Model) to show the change of face structure and skin change with age. The AAM technique extracts the main features of the facial image using principal component analysis and applies the age conversion function to the feature to restore the facial image of a certain age.
그러나 이와 같은 기존의 얼굴 영상 나이 변환 방법에서는, 나이 변환을 수행하기 위하여 얼굴 영상에서 주 성분을 추출하는 과정에서 정보의 차원 감소가 일어나게 되고, 그에 따라 얼굴의 세부적인 특징을 나타내는 고주파 성분들이 삭제되는 한계점이 존재한다. 그런데 얼굴에서 점, 흉터 등과 같이 고주파 성질을 가지고 있는 세부 특징들은 각 개인에 대한 주요 정보를 담고 있는 성분이라는 점에서, 해당 성분들을 제외하고 얼굴 영상의 나이를 변환하는 기존의 방법에는 문제점이 있다. 따라서 종래 얼굴 나이 변환 방법들의 경우 얼굴 영상을 취득하여 사용자가 원하는 나이로 변환 했을 때, 해당 나이보다 좀 더 어려보이거나 원 영상에 존재하는 얼굴 특징들이 사라져 본래의 얼굴과 다르게 표현되는 문제가 발생하게 된다.However, in the conventional facial image age conversion method, in order to perform the age conversion, in the process of extracting the main component from the facial image, the dimensionality of the information decreases, and the high frequency components representing the detailed features of the face are deleted There is a limit. However, there are problems in the conventional method of converting the age of the facial image except for the components, because the detailed features having high frequency properties such as points, scars in the face contain the main information for each individual. Therefore, when the facial image is acquired and converted into a desired age by a user, the facial features existing in the original image are slightly different from the original facial features, .
본 발명은 사람의 얼굴 영상을 이용해서 사용자가 원하는 나이의 얼굴로 해당 영상을 변환하기 위한 방법에 관한 것으로, 위와 같은 기존 기술들의 문제점을 해결하여, 사람의 얼굴 영상물로부터 피부, 얼굴의 형태 같은 얼굴 특징들을 추출하고 이 추출된 얼굴 특징들을 과거 또는 미래의 특정한 나이로 변환할 때, 유실되지 않고 나이에 따라 표현되도록 하는 구체적인 수단을 개시한다.The present invention relates to a method for converting a corresponding image into a face of a desired age by using a face image of a human. Specific means for extracting features and converting the extracted facial features to a specific age of the past or future without causing loss and being expressed according to age.
이를 위하여 본 발명은 첫째로 입력 얼굴 영상을 주성분 분석(Principle Component Analysis, PCA)하여 추출한 주성분에 따라 모델링한 영상과 입력 얼굴 영상 간의 차분 영상(residual image)을 생성하여 이를 얼굴 나이 변환에 이용하고, 둘째로 인간의 얼굴이 나이가 증가하거나 감소함에 따라 피부의 잡티, 기미 등의 피부적 특성이 변화하는 현상을 세밀하게 표현하기 위하여 시간의 흐름에 따른 피부 특성의 변화를 나이 변환 함수(aging function)로 모델링하여 상기 생성한 차분 영상(residual image)에 적용하고, 셋째로 얼굴의 부위마다 나이에 따른 변화가 다르다는 특징을 반영하기 위해서 상기 차분 영상을 여러 영역으로 분할하여 각 영역마다 나이 변환 함수를 모델링하는 수단들을 개시한다.To this end, the present invention firstly generates a residual image between an input facial image and an input facial image modeled according to a principal component extracted by Principle Component Analysis (PCA) Second, in order to express the phenomenon that the skin characteristics such as the dullness and the spots of the skin change as the age of the human face increases or decreases, the aging function of the skin characteristic changes with the passage of time, And then applying the same to the generated residual image. Third, to reflect the feature that the change depending on the age is different in each part of the face, the difference image is divided into several regions, and an age conversion function is modeled for each region Lt; / RTI >
이상과 같은 수단을 통하여 본 발명은 얼굴 영상을 사용자가 원하는 나이로 변환할 때 얼굴의 세부적인 특징과 각 개인이 가지고 있는 고유한 얼굴 특징들을 유지하면서 나이의 변화에 따른 얼굴 영상을 표현해 주는 것을 가능하게 한다.Through the above-mentioned means, the present invention can express facial images according to the change of age while maintaining the detailed characteristics of facial features and unique facial characteristics of each individual when converting the facial image to a desired age .
이하에서는 본 발명에 따른 얼굴 영상 나이 변환 방법과 얼굴 영상 나이 변환 장치에 대하여 보다 상세히 설명한다.Hereinafter, a face image age converting method and a face image age converting apparatus according to the present invention will be described in detail.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 나이 변환 장치의 블록도이다.1 is a block diagram of a face image age converting apparatus according to an embodiment of the present invention.
본 발명에 따른 얼굴 영상 나이 변환 장치는 얼굴 모델링부(100), 차분 영상 생성부(200), 영상 변환부(300), 영상 합성부(400)를 포함할 수 있다. 또는 본 발명에 따른 얼굴 영상 나이 변환 장치는 아래에서 설명할 바, 도 6과 같이 구성될 수도 있다.The face image age converting apparatus according to the present invention may include a
이하에서는 본 발명에 따른 얼굴 영상 나이 변환 방법에 관한 실시예에 대하여 먼저 설명한 다음, 본 발명에 따른 얼굴 영상 나이 변환 장치에 대하여 다시 간략히 설명하기로 한다.Hereinafter, an embodiment of a face image age converting method according to the present invention will be described first, and then a face image age converting apparatus according to the present invention will be briefly described.
도 2는 본 발명의 일 실시예에 따른 얼굴 영상 나이 변환 방법의 흐름도이다.2 is a flowchart of a face image age converting method according to an embodiment of the present invention.
상기 본 발명에 따른 얼굴 영상 나이 변환 방법은 얼굴 모델링 단계(S100), 차분 영상 생성 단계(S200), 차분 영상 나이 변환 단계(S300), 얼굴 영상 합성 단계(S400)를 포함할 수 있다.The face image age converting method according to the present invention may include a face modeling step S100, a difference image generating step S200, a difference image age converting step S300, and a face image synthesizing step S400.
얼굴 모델링 단계(S100)는 얼굴 모델링부(100)가 나이 변환 대상 얼굴 영상을 입력받고, 상기 대상 얼굴 영상을 미리 정해진 얼굴 모델을 이용하여 모델링하여 모델링한 얼굴 영상을 생성한다.In the face modeling step S100, the
차분 영상 생성 단계(S200)는 차분 영상 생성부(200)가 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차분 영상을 생성한다.In the difference image generation step S200, the difference
차분 영상 나이 변환 단계(S300)는 영상 변환부(300)가 상기 차분 영상을 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 변환하여 차분 변환 영상을 생성한다. 여기서 차분 영상 나이 변환 단계(S300)는 상기 차분 영상을 미리 정해진 부위 별로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 부분 나이 변환 함수를 적용하여 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성할 수도 있다.In the difference image age conversion step S300, the
얼굴 영상 합성 단계(S400)는 영상 합성부(400)가 상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득한다. 여기서 얼굴 영상 합성 단계(S400)는 상기 차분 영상에 상기 변환 목표 나이에 따라 산출된 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득할 수도 있다.In the face image synthesizing step S400, the
이하에서는 본 발명에 따른 얼굴 영상 나이 변환 방법의 각 단계에 대하여 보다 상세히 설명한다.Hereinafter, each step of the face image age converting method according to the present invention will be described in detail.
먼저 얼굴 모델링 단계(S100)는 얼굴 모델링부(100)가 나이 변환 대상 얼굴 영상을 입력받고, 상기 대상 얼굴 영상을 미리 정해진 얼굴 모델을 이용해 모델링하여 모델링한 얼굴 영상을 생성한다.First, in the face modeling step S100, the
여기서 나이 변환 대상 얼굴 영상은 미리 정해진 다양한 종류의 얼굴 모델에 따라 모델링될 수 있다. 예를 들어 나이 변환 대상 얼굴 영상은 AAM(Active Appearance Model)을 이용하여 모델링될 수 있고, 일예로 주성분 분석(PCA, Principle Component Analysis)를 이용하여 추출된 주성분을 이용하여 모델링될 수도 있다. 즉 얼굴 모델링 단계(S100)는 주성분 분석(Principle Component Analysis)를 이용하여 미리 정해진 복수개의 학습 얼굴 영상들로부터 추출한 주성분에 따라 상기 나이 변환 대상 얼굴 영상을 모델링하여 상기 모델링한 얼굴 영상을 생성할 수 있다.Here, the age-transforming face image can be modeled according to predetermined various kinds of face models. For example, the age-transformed face image may be modeled using an AAM (Active Appearance Model), and may be modeled using a principal component extracted using Principal Component Analysis (PCA). That is, the face modeling step S100 may generate the modeled face image by modeling the age-transforming face image according to a principal component extracted from a plurality of learning face images determined in advance using principal component analysis .
얼굴 영상에서 AAM(Active Appearance Model)을 이용하여 얼굴의 형태(shape)과 모습(appearance) 특징을 추출하여 나이를 변환하는 방법은 기존 연구에서 많이 사용되었다. 여기서 얼굴의 형태(shape)라 함은 얼굴의 눈, 코, 입, 귀, 턱, 이미 등을 포함하는 얼굴의 형태, 형상, 외형을 나타내는 의미이고, 얼굴의 모습(appearance)는 얼굴의 텍스쳐 성분을 포함하는 의미로 이하에서 사용한다.A method of extracting facial shape and appearance features using AAM (Active Appearance Model) in facial images and converting the age is widely used in previous studies. Here, the shape of the face refers to the shape, shape and appearance of the face including the eyes, nose, mouth, ear, jaw, and the like of the face, and the appearance of the face refers to the texture component Is used herein to mean inclusive.
예를 들어 Lanitis et al.는 AAM 특징과 나이와의 관계를 나이 함수(aging function)으로 학습하여 나이를 변환하는 방법을 제안하였고(Andreas Lanitis, Christopher J. Taylor, Timothy F. Cootes, "Toward Automatic Simulation of Aging Effects on Face Images," IEEE Transac-tions on Pattern Analysis and Machine Intelligence, vol. 24, no.4, pp.442-455, April 2002.), Patterson et al.은 AAM 특징과 2차원 aging function을 사용하여 나이 변환하는 방법을 제안하였다(E. Patterson, A. Sethuram, M. Albert, and K. Ricanek, "Automatic Representation of Adult Aging in Facial Images," International Conference on Visualization, Imaging and Image Processing, p. 612, 2006.). For example, Lanitis et al. Proposed a method of converting age by learning age-related relationships between AAM characteristics and age (Andreas Lanitis, Christopher J. Taylor, and Timothy F. Cootes, "Toward Automatic 24, no. 4, pp. 442-455, April 2002.) Patterson et al. Have described AAM features and 2D aging function, and a method of converting the age by using a function (E. Patterson, A. Sethuram, M. Albert, and K. Ricanek, "Automatic Representation of Adult Aging in Facial Images," International Conference on Visualization, Imaging and Image Processing, p. 612, 2006.).
이와 같이 얼굴을 AAM(Active Appearance Model)으로 모델링하는 방법은 나이 변환 연구에서 많이 사용되었다. 그러나 AAM에서 특징 추출 시 주성분 분석(PCA)으로 차원을 축소하는 과정에서 사라지는 얼굴의 상세한 부분을 나이 변환에 있어서 표현하기 위한 방법들은 기존의 연구들에서 제시되어 있지 않다. 본 발명의 얼굴 모델링 단계(S100)는 이와 같이 기존의 방법들을 이용하여 얼굴을 모델링하되, 기존의 방법들과는 다르게 이하 차분 영상 생성 단계(S200), 차분 영상 나이 변환 단계(S300), 얼굴 영상 합성 단계(S400)에서 상술하는 구성을 통하여 주성분 분석(PCA)으로 차원을 축소하는 과정에서 사라지는 얼굴의 상세한 부분을 나이 변환에 있어서 표현하는 방법을 제시한다.As such, the method of modeling the face as an AAM (Active Appearance Model) has been widely used in age conversion research. However, the methods for expressing the details of the disappearing faces in the age transformation in the process of reducing the dimension by PCA are not presented in the previous studies. In the face modeling step S100 of the present invention, the face is modeled using existing methods as described above. However, unlike the existing methods, the difference image generation step S200, the difference image age conversion step S300, (S400), a method of expressing a detailed portion of a face disappearing in the process of reducing the dimension by PCA is described in the age conversion.
상술한 바와 같이 본 발명에 따른 얼굴 모델링 단계(S100)는 상기 미리 정해진 얼굴 모델링 알고리즘으로 AAM(Active Appearance Model)을 이용해 상기 나이 변환 대상 얼굴 영상을 모델링하여, 상기 모델링한 얼굴 영상을 생성할 수 있다. 그리고 이때 주성분 분석(Principle Component Analysis)를 이용하여 미리 정해진 복수개의 학습 얼굴 영상들로부터 추출한 주성분에 따라 상기 나이 변환 대상 얼굴 영상을 모델링하여 상기 모델링한 얼굴 영상을 생성할 수 있다.As described above, the face modeling step S100 according to the present invention can generate the modeled face image by modeling the age-transforming face image using the AAM (Active Appearance Model) with the predetermined face modeling algorithm . At this time, the model image can be generated by modeling the age-transforming facial image according to a principal component extracted from a plurality of predetermined learning facial images using Principle Component Analysis.
이하에서는 먼저 미리 추출된 얼굴 영상의 주성분을 이용하여 상기 나이 변환 대상 얼굴 영상을 모델링하여 상기 모델링한 얼굴 영상을 생성하는 방법을 설명한다.Hereinafter, a method of generating the modeled face image by modeling the age-transforming face image using the principal component of the facial image extracted in advance will be described.
얼굴 모델링 단계(S100)는 입력 영상인 나이 변환 대상 얼굴 영상(
여기서 λ 는 얼굴 모습 파라미터이고, A 0 는 평균 얼굴 영상이고, A는 얼굴 영상의 주성분 Ai들을 포함하는 주성분 벡터이고, i는 주성분의 인덱스이다.Where λ is the face shape parameters, A 0 is the average facial image, A is a main component including a main component of the face image vector Ai, i is the index of the main component.
그리고 평균 얼굴 영상(A 0 )과 미리 추출된 주성분(Ai)들과 위와 같이 산출한 얼굴 모습 파라미터(appearance parameter)(λ)를 이용하여 나이 변환 대상 얼굴 영상을 모델링한 얼굴 영상을 생성할 수 있다. 이는 하기 수학식 2와 같이 평균 얼굴 영상과 주성분에 따른 얼굴 성분 영상의 선형합으로 생성할 수 있다.The facial image modeling the age-transforming facial image can be generated using the average facial image A 0 , the principal components A i extracted in advance, and the facial appearance parameter λ calculated as above . This can be generated as a linear sum of an average facial image and a facial component image according to principal components as shown in
여기서 m은 주성분의 개수이고, i는 주성분의 인덱스이고, A 0 는 평균 얼굴 영상이고, Ai는 인덱스 i번째의 주성분에 해당하는 얼굴 성분 영상이고, λi는 Ai에 대응하는 λ의 i번째 얼굴 모습 파라미터이고, AR 는 상기 모델링한 얼굴 영상이다. 즉 상기 수학식 2에 따라 생성된 상기 모델링한 얼굴 영상은 나이 변환 대상 얼굴 영상을 미리 추출된 주성분들을 이용하여 가중합하여 복원한 영상이다.Where m is the number of main components, i is the index of the main component, A 0 is the average facial image, and, Ai is the face component that corresponds to the main component of the index i-th image and, λi is the i-th face image of λ corresponding to Ai And AR is the modeled face image. That is, the modeled face image generated according to Equation (2) is a reconstructed image obtained by weighting an age-transforming face image using principal components extracted in advance.
여기서 얼굴 모델링 단계(S100)는 미리 생성된 상기 주성분(Ai)과 평균 얼굴 영상(A 0 )을 이용하여 위와 같이 나이 변환 대상 얼굴 영상으로부터 상기 모델링한 얼굴을 생성할 수 있다. 즉 얼굴 모델링 단계(S100)는 상기 주성분(Ai)과 평균 얼굴 영상(A 0 )을 생성하는 과정을 포함하지 않고 미리 생성된 값들을 이용할 수 있다. 다만 필요에 따라 얼굴 모델링 단계(S100)는 상기 주성분(Ai)과 평균 얼굴 영상(A 0 )을 생성하는 과정을 포함할 수도 있고, 또는 주성분(Ai)과 평균 얼굴 영상(A 0 )을 생성하는 과정은 얼굴 모델링 단계(S100) 이전에 미리 수행될 수도 있다. 이하에서는 상기 주성분(Ai)과 평균 얼굴 영상(A 0 )을 생성하는 방법에 대하여 설명한다. The face modeling step (S100) may generate the main components (Ai) and the average facial image (A 0) by the model from the age of a face image to be converted as described above by using pre-generated face. I.e. face modeling step (S100) may use the pre-generated value does not include the step of generating the main component (Ai) and the average facial image (A 0). However, if necessary, the face modeling step S100 may include the step of generating the principal component Ai and the average face image A 0 , or the main component Ai and the average face image A 0 The process may be performed before the face modeling step S100. Hereinafter, a method of generating the principal component Ai and the average facial image A 0 will be described.
먼저 일정한 수의 학습 얼굴 영상들을 이용하여 상기 주성분(Ai)과 평균 얼굴 영상(A 0 )을 생성하는 방법에 대하여 설명한다. 여기서 학습 얼굴 영상들은 동일한 화소수를 가지고 규격화된 프레임 내에 얼굴 영상을 가지도록 정규화된 얼굴 영상들인 것이 바람직하다. 만일 학습 얼굴 영상들이 정규화되지 않은 경우 학습 얼굴 영상들에 대하여 워핑(warping)을 수행하여 정규화하는 과정을 수행할 수 있다. 그리고 이때 정규화 과정은 학습 얼굴 영상을 이하에서 설명하는 평균 얼굴 형태(S0)에 워핑하는 과정을 통해 수행할 수 있다. 이와 같이 정규화가 수행된 학습 얼굴 영상들을 I i 라고 하면, 상기 평균 얼굴 영상(A 0 )은 하기 수학식 3과 같이 생성될 수 있다.First, a method of generating the principal component Ai and the average face image A 0 using a predetermined number of learning face images will be described. Here, the learning face images are preferably normalized face images having the same number of pixels and having the face images in the normalized frame. If the learning face images are not normalized, the learning face images may be warped and normalized. At this time, the normalization process can be performed through a process of warping the learning face image to the average face shape S0 described below. If the normalized face images are normalized as I i , the average face image A 0 can be generated as shown in Equation (3).
여기서 N은 학습 얼굴 영상의 수이다. Where N is the number of learning facial images.
다음으로는 학습 얼굴 영상들에 대하여 주성분 분석을 수행하여 얼굴 영상의 주성분(Ai)을 생성하는 과정에 대하여 설명한다.Next, the process of generating the principal component ( Ai ) of the facial image by performing principal component analysis on the learning facial images will be described.
먼저 학습 얼굴 영상(I i )과 평균 얼굴 영상의 차(Φi)를 식 
다음으로는 공분산 행렬(Ca)의 고유값(μai : μa1 > μa2 > ... > μaM)과 고유 벡터(Ai : A 1, A 2 , ... ,A M )를 산출한다. 예를 들면 여기서 고유값과 고유 벡터는 하기 수학식 5와 같이 산출될 수 있다. 여기서 M은 고유 벡터와 고유값의 수이다.Followed by the eigenvalues of the covariance matrix (Ca) calculates a:: (A 1, A 2 , ..., A M Ai) (μ ai μ a1> μ a2>...> μ aM) and eigenvectors . For example, the eigenvalue and the eigenvector can be calculated by Equation (5) below. Where M is the number of eigenvectors and eigenvalues.
여기서 Da는 공분산 행렬(Ca)의 고유값(μai)의 대각 행렬(diagonal matrix of eigenvalues)이고, Va는 공분산 행렬(Ca)의 고유 벡터(A i )의 행렬이다.Where Da is a diagonal matrix (diagonal matrix of eigenvalues) of the eigenvalues of the covariance matrix (Ca) (μ ai), V is a matrix of a covariance matrix (Ca) specific vector (A i) of the.
여기서 위와 같이 산출된 고유 벡터(A i )중 미리 정해진 수 m(< M) 만큼의 고유 벡터(A i )가 상기 얼굴 영상의 주성분(Ai)이 된다.Where the eigenvectors of (A i) calculated as above is a predetermined number m (<M) eigenvectors (A i) is the main component (Ai) of said face images for.
이상과 같이 생성한 평균 얼굴 영상과 얼굴 영상의 주성분을 이용하여 AAM 방식에 따라 얼굴 영상의 텍스쳐(texture)로부터 상기 수학식 1과 같이 얼굴 모습 파라미터(appearance parameter)를 추출할 수 있는 것이다. 즉 나이 변환 대상 얼굴 영상(TI)을 포함하는 입력 영상을 주성분 분석 공간에 투영하여, 상기 수학식 1과 같이 고유 벡터(eigenvector)들의 가중치 λ를 얼굴 모습 파라미터(appearance parameter)로 추출할 수 있다.The facial appearance parameters can be extracted from the texture of the facial image according to the AAM method using the principal components of the facial image and the facial image generated as described above. That is, an input image including the age-transforming face image TI may be projected into the principal component analysis space, and the weighting factor? Of the eigenvectors may be extracted as an appearance parameter, as shown in Equation (1).
AAM 방법을 이용하여 얼굴의 나이를 변환하는 방법에서는 얼굴을 얼굴 형태(shape)와 텍스쳐를 나타내는 얼굴 모습(appearance)로 나누어 표현하고, 각각에 대하여 특징을 기반으로 나이 변환을 수행한 후, 나이 변환된 얼굴 형태(shape)와 나이 변환된 얼굴 모습(appearance)에 따른 텍스쳐를 합성하여 최종 나이 변환 얼굴을 생성할 수 있다. 위에서 수학식 1 내지 5를 참조하면서 설명한 부분은 먼저 얼굴 모습(appearance)에 대한 나이 변환에 관한 것이다. 본 발명에 의하면 특히 AAM 방식에서 얼굴 모습(appearance) 특징으로 표현하지 못하는 얼굴의 특징을 차분 영상(residual image)을 이용하여 보완할 수 있는 효과가 있다. 다음에서는 참고로 수학식 6 내지 11을 참조하면서 얼굴 형태(shape)의 나이를 변환하기 위하여 얼굴 형태(shape)의 특징을 추출하는 과정에 대하여 설명한다. 아래 상술하는 과정에서 얻어지는 평균 특징점(s0)은 얼굴 모습(appeareance) 특징을 추출할 때, 얼굴의 텍스쳐(texture)를 정규화하는데 사용될 수 있다.In the method of converting the face age using the AAM method, the face is divided into a face shape representing a shape and a texture, an age conversion is performed based on the feature for each face, And the final age converted face can be generated by synthesizing the texture according to the face shape and the age converted face appearance. The parts described above with reference to equations (1) to (5) above relate to the age transformation for the facial appearance first. According to the present invention, a feature of a face which can not be expressed by an appearance feature in the AAM system can be supplemented by using a residual image. Hereinafter, a process of extracting features of a face shape to convert the age of a face will be described with reference to Equations (6) to (11). The average feature point s 0 obtained in the process described below can be used to normalize the texture of the face when extracting the appeareance feature.
얼굴의 형상(shape)에 대한 특징을 추출하기 위해서, 얼굴 영상에서 v개의 주요 특징점들을 포함하는 특징점 s 을 획득하여 이용한다. 특징점 s는 하기 수학식 6과 같이 표현될 수 있다.In order to extract the features of the face shape, feature points s including v major feature points in the face image are acquired and used. The minutiae point s can be expressed as Equation (6) below.
여기서 x, y는 특징점들의 좌표이다.Where x and y are the coordinates of the feature points.
여기서 학습 얼굴 영상들에서 획득된 특징점 s 는 프로크루스테스 분석(procrustes analysis) 방법을 이용하여 변환(translation), 회전(rotation), 크기 변환(scale) 등을 거쳐 정규화를 수행할 수 있다. Here, the feature points s obtained from the learning face images can be normalized through translation, rotation, scale, and the like using a procrastes analysis method.
다음으로 위와 같이 정규화된 특징점 s 을 주성분 분석(PCA, Principle Component Analysis)하는 방법은 다음과 같다.Next, the method of Principal Component Analysis (PCA) of the normalized feature point s is as follows.
먼저 N개의 학습 얼굴 영상들 각각에 대하여 획득한 특징점(
여기서 특징점(
다음으로는 특징점(si)과 평균 특징점(s0)의 차(Zi)를 식 
그리고 위와 같이 구한 공분산 행렬(Cs)의 고유값(eigenvalue)(μsi : μs1 > μs2 > ... > μsK)와 고유 벡터(eigenvector)(Si : S 1, S 2 , ... ,S K )를 구한다. 여기서 고유값과 고유 벡터는 하기 수학식 9와 같이 산출될 수 있다.And eigenvalues of the covariance matrix (C s) determined as described above (eigenvalue) (μ si: μ s1> μ s2>...> μ sK) and eigenvectors (eigenvector) (Si: S 1 ,
여기서 Ds는 C s 의 고유값(μsi)의 대각 행렬(diagonal matrix of eigenvalues)이고, Vs 는 고유 벡터(S i )의 행렬이다.Where Ds is a diagonal matrix of eigenvalues (μ si ) of C s , and V s is a matrix of eigenvectors ( S i ).
다음으로는 나이 변환 대상 얼굴 영상의 특징점(ts)을 주성분 분석 공간에 투영하여, 고유 벡터(eigenvector)들의 가중치(p)를 얼굴 형태(shape) 특징으로 추출한다. 이는 하기 수학식 10과 같이 추출될 수 있다.Next, the feature point (ts) of the face image to be converted is projected to the principal component analysis space, and the weight (p) of the eigenvectors is extracted as the shape feature. This can be extracted as shown in Equation (10) below.
여기서 S는 상기 고유 벡터 중 주성분으로 선정된 고유 벡터들(Si : S 1, S 2 , ... ,S k )을 연결하여 표현한 행렬이다. 여기서 k 는 주성분으로 선정된 고유 벡터의 수이다(k<K).Here, S is a matrix expressing eigenvectors ( Si: S 1, S 2 ,..., S k ) selected as principal components of the eigenvectors by connecting them. Where k is the number of eigenvectors selected as the principal component (k <K).
여기서 정규화된 얼굴 특징점 rs는 평균 특징점 s0와 위와 같이 추출된 가중치(p)를 적용한 고유 벡터 Si 의 선형합으로 표현할 수 있다. 이는 하기 수학식 11과 같이 표현될 수 있다.Here, the normalized facial feature point rs can be expressed as a linear sum of the eigen feature vector s 0 and the eigenvector S i using the extracted weight (p). This can be expressed by the following equation (11).
여기서 상기 수학식 11과 같이 표현된 얼굴 형태(shape)는 얼굴 형태(shape) 특징에 대한 나이 변환 함수 
기존의 얼굴 나이 변환 방법은 이와 같이 상기 모델링한 얼굴 영상에 대하여 나이 변환을 위한 영상 변환을 수행하여, 나이 변환된 얼굴 영상을 생성하는 방법을 이용하였다. 일예로 주성분 분석을 이용한 기존의 얼굴 나이 변환 방법은 위와 같이 각 주성분에 대응하는 얼굴 성분 영상 
하기 수학식 12는 주성분 분석을 이용한 기존의 얼굴 나이 변환 방법에 따라 나이 변환된 얼굴 영상을 나타내는 식이다.Equation (12) is an expression representing an age-transformed face image according to a conventional face age conversion method using principal component analysis.
여기서 Fi()는 각 주성분에 대응하는 얼굴 성분 영상을 나이 변환하는 함수이고, B는 상기 나이 변환된 얼굴 영상이다. Here, Fi () is a function for converting age of a face component image corresponding to each principal component, and B is a face image of the age conversion.
하지만 위와 같이 기존의 방법대로 나이 변환된 얼굴 영상의 경우 모델링된 성분에 대하여만 나이 변환이 수행되기 때문에, 모델링 과정에서 제외된 세부 성분들이 소실되어 얼굴의 세부적인 특징들이 사라지는 한계점이 있다. 일예로 상술한 주성분 분석을 이용한 얼굴 나이 변환 방법의 경우, 주성분 분석 과정에서 차원이 감소함에 따라 고주파 성분이 제거된 주성분들만을 이용하여 나이를 변환함으로 인하여, 얼굴의 세부적인 특징들이 사라지는 문제가 발생하게 된다. However, in the case of age-transformed facial images as described above, since the age conversion is performed only for the modeled components, the detailed features that are excluded from the modeling process are lost and the detailed features of the face disappear. For example, in the case of the face age conversion method using the principal component analysis described above, since the dimension is reduced in the principal component analysis process, the detailed features of the face disappear due to the conversion of the age using only the principal components with high frequency components removed .
따라서 본 발명에 따른 얼굴 영상 나이 변환 방법은 나이 변환 대상 얼굴 영상과 상기 모델링한 얼굴 영상과의 차분 영상(residual image)을 생성하고, 차분 영상에 대하여도 나이 변환을 수행한 후 상기 모델링한 얼굴 영상을 나이 변환한 영상과 합성함으로써, 얼굴의 세부적인 특징을 보존하도록 한다.Therefore, the face image age conversion method according to the present invention generates a residual image between the age-transformed face image and the modeled face image, performs age conversion on the difference image, With the age-transformed image to preserve the detailed features of the face.
이를 위하여 먼저 차분 영상 생성 단계(S200)는 차분 영상 생성부(200)가 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차분 영상을 생성한다.To this end, the difference image generation step (S200) generates a difference image between the modeled face image and the age-converted face image by the difference image generation unit (200).
하기 수학식 13은 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차에 따라 상기 차분 영상을 생성하는 과정을 나타내는 식이다.Equation (13) represents a process of generating the difference image according to a difference between the modeled facial image and the age-transforming facial image.
여기서 D는 상기 차분 영상이고 I는 상기 나이 변환 대상 얼굴 영상이다. 필요에 따라 상기 차분 영상을 산출하는 과정에서 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차를 산출하는 순서는 바뀔 수 있고, 이에 가중치가 적용될 수도 있다.Where D is the difference image and I is the age-transforming face image. If necessary, the order of calculating the difference between the modeled face image and the age-transforming face image in the process of calculating the difference image may be changed, and a weight may be applied thereto.
도 3은 상기 차분 영상(residual image)의 생성 예시를 나타내는 참고도이다.3 is a reference diagram showing an example of generation of the residual image.
도 3의 (a)는 상기 나이 변환 대상 얼굴 영상이고, (b)는 상기 나이 변환 대상 얼굴 영상을 주성분 분석 방법을 이용하여 모델링한 얼굴 영상이고, (c)는 (a)와 (b)영상 간의 차이에 해당하는 상기 차분 영상을 나타낸다. 상술한 바와 같이 상기 모델링한 얼굴 영상인 (b) 에서는 상기 나이 변환 대상 얼굴 영상인 (a)와 비교했을 때 점, 흉터와 같은 얼굴의 상세한 특징들을 제거되었다는 것을 확인할 수 있다. 따라서 이런 영향으로 인해 상기 모델링한 얼굴 영상만을 이용하여 기존의 방식과 같이 나이 변환을 수행할 경우, 나이 변환된 얼굴 영상에서 세부 특징들이 제거되어 설정한 나이보다 어려보이는 문제가 발생한다. 따라서 본 발명에 따른 얼굴 영상 나이 변환 방법에서는 위와 같은 문제를 해결하기 위해, 상술한 바와 같이 생성한 상기 차분 영상을 이용함으로써, 최종적으로 획득하는 나이 변환된 얼굴 합성 영상에 얼굴의 고유한 세부 특징이 유지될 수 있도록 한다.FIG. 3 (a) is a face image of the age conversion target, FIG. 3 (b) is a face image modeled by using principal component analysis method, The difference image corresponding to the difference between the two images. As described above, in the modeled face image (b), it can be seen that the detailed features of the face such as the point and the scar are removed when compared with the face image of the age conversion target (a). Therefore, when the age conversion is performed using only the modeled face image as in the conventional method due to such an influence, the details of the age-transformed face image are removed and the problem appears to be smaller than the set age. Therefore, in order to solve the above problem, in the face image age conversion method according to the present invention, by using the difference image generated as described above, .
다음으로 차분 영상 나이 변환 단계(S300)는 영상 변환부(300)가 상기 차분 영상을 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 영상 변환하여 차분 변환 영상을 생성한다. Next, in the difference image age transforming step S300, the
여기서 차분 영상 나이 변환 단계(S300)는 상기 차분 영상을 적어도 하나 이상으로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 미리 설정된 부분 나이 변환 함수를 적용하여 상기 부분 차분 영상을 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성할 수 있다.Here, the difference image age conversion step S300 may include converting the partial difference image into a partial difference image by dividing the difference image into at least one or more images to generate a partial difference image, applying a predetermined partial age conversion function for each of the partial difference images, A partial difference transformed image is generated, and the generated partial difference transformed images are combined to generate the difference transformed image.
사람의 얼굴은 얼굴의 근육 구조와 두개골의 구조에 따라 각 부위로 영역이 분할될 수 있다. 얼굴의 각 영역은 이와 같이 인체 해부학적으로 서로 다른 특성을 가지기 때문에 나이에 따라 변화되는 정도나 특징이 상이하다. 본 발명에서는 이와 같은 얼굴의 각 부위별 차이점을 반영하기 위하여 상기 차분 영상을 미리 정해진 얼굴 분할 지도에 따라 분할하여 각 부위별로 부분 차분 영상을 생성할 수 있다. 그리고 각 부분 차분 영상 별로 각 얼굴 부위의 특성을 반영할 수 있는 부분 나이 변환 함수를 적용하여 영상을 변환할 수 있다.The face of a person can be divided into regions according to the structure of the muscles of the face and the structure of the skull. Since each area of the face has different characteristics in human anatomy as described above, the degree and characteristics vary with age. In the present invention, the difference image may be divided according to a predetermined face division map to generate a partial difference image for each part in order to reflect the difference of each part of the face. In addition, each partial difference image can be transformed by applying a partial age transformation function that can reflect characteristics of each face region.
여기서 상기 얼굴 분할 지도는 얼굴의 코 부분, 좌우 각 눈의 상, 하 옆 부분, 좌우 각 뺨 부분, 입의 상, 하, 좌, 우 부분을 서로 다른 부분으로 분할한 지도가 될 수 있다. 또는 상기 미리 정해진 얼굴 분할 지도는 얼굴의 코 부분, 좌우 각 눈 부분, 좌우 각 뺨 부분, 입 부분을 서로 다른 부분으로 분할한 지도가 될 수도 있다. 본 발명에서 상기 얼굴 분할 지도는 다양한 구조로 얼굴을 분할한 지도를 모두 포함할 수 있다.Here, the face division map may be a map obtained by dividing the nose portion of the face, the upper and lower side portions of the left and right eyes, the cheek portions of the left and right cheeks, the upper, lower, left, and right portions of the mouth into different portions. Alternatively, the predetermined face division map may be a map obtained by dividing a nose portion of a face, left and right eye portions, right and left cheeks, and mouth portions into different portions. In the present invention, the face division map may include all of the maps obtained by dividing the face into various structures.
도 4는 상기 얼굴 분할 지도를 나타내는 참고도이다.4 is a reference view showing the face division map.
여기서 상기 얼굴 분할 지도는 도 4와 같이 18개의 부분으로 얼굴 영상을 분할한 지도가 될 수 있다.Here, the face division map may be a map obtained by dividing a face image into 18 parts as shown in FIG.
여기서 상기 차분 영상에는 얼굴 부위별로 다양한 성분들이 존재한다. 예를 들어, 턱 부위에는 수염, 양 볼 부위에는 기미, 반점 등의 정보가 주로 분포한다. 본 발명에서는 이와 같은 차분 영상의 지역적인 특징을 이용하기 위하여 도 4와 같이 얼굴을 영역별로 나누어 차분 영상을 분석한다. Here, the difference image includes various components for each face region. For example, beard in the jaw area, spots in the both ball areas, and spots are mainly distributed. In order to utilize the local features of the difference image, the present invention divides the face into regions and analyzes the difference image as shown in FIG.
차분 영상 나이 변환 단계(S300)에서는 상술한 바와 같이 미리 정해진 부위 별로 상기 차분 영상을 분할하고, 각 부분 차분 영상 별로 설정된 부분 나이 변환 함수를 적용하여 각 부분 차분 영상을 변환할 수 있다. 그리고 이와 같이 변환하여 생성한 상기 부분 차분 변환 영상을 합쳐 전체 얼굴에 해당하는 상기 차분 변환 영상을 생성할 수 있다.In the difference image age conversion step (S300), the difference image may be divided for each predetermined region as described above, and each partial difference image may be transformed by applying a partial age transformation function set for each partial difference image. Then, the partial difference transformed images generated by the transform are combined to generate the difference transformed image corresponding to the entire face.
차분 영상에 존재하는 여러 성분들은 표현되는 값의 크기가 다르다. 예를 들어, 진한 점, 흉터 등의 경우에는 차분 영상에서 상대적으로 큰 값으로 표현되고, 흐린 점, 흉터 등의 경우에는 작은 값으로 표현된다. 본 발명에서는 이와 같이 차분 영상에 존재하는 성분의 특성에 따라 크기값이 다르게 표현되는 정보들을 세분화하여 분석한다. 예를 들어, 차분 영상의 절대값 크기가 5보다 작은 영역, 5와 10 사이의 영역, 10과 15사이의 영역 등으로 절대값의 크기를 기준으로 영역을 다시 세분화한다. The various components present in the difference image are different in the magnitude of the value to be represented. For example, a dark point, a scar, or the like is expressed as a relatively large value in a difference image, and a blurred point, a scar or the like is expressed as a small value. According to the present invention, information having different magnitude values according to characteristics of components existing in the difference image is segmented and analyzed. For example, the region is subdivided based on the magnitude of the absolute value with the absolute value magnitude of the difference image being smaller than 5, between 5 and 10, between 10 and 15, and so on.
다음으로 본 발명에서는 이와 같이 얼굴 부위와 차분 영상의 절대값 크기로 세분화하여 차분 영상의 절대값의 합을 계산한다. 각 세분화된 영역에서의 차분 영상의 절대값 합과 나이와의 관계를 함수로 모델링하여 차분 영상의 나이 변환 함수들을 생성한다. 입력 영상의 차분 영상을 얼굴 부위, 절대값 크기에 따라 세분화된 영역의 절대값 합을 변환하려는 나이에 맞는 가중치(weight)를 나이 변환 함수로 계산하여, 입력 영상의 차분 영상에 가중치(weight)를 적용한다. 나이 변환 함수에 의해 나이가 증가하는 경우에는 큰 가중치(weight)를 적용하여 차분 영상에 존재하는 점, 흉터, 기미, 검버섯 등의 상세한 피부 정보들을 진하게 표현한다. 반대로 나이가 감소하는 경우에는 작은 가중치(weight)를 적용하여 차분 영상에 존재하는 상세한 피부 정보들을 연하게 표현한다. 최종적으로는 얼굴 영상 합성 단계(S400)에서 나이 변화에 따른 가중치(weight)가 적용되어 변환된 차분 변환 영상을 AAM의 appearance feature로 나이 변환된 결과 즉 상기 모델링한 얼굴 영상에 대한 나이 변환 영상에 더하여, 나이 변환된 얼굴 합성 영상을 획득하게 된다.Next, in the present invention, the sum of the absolute values of the difference images is calculated by subdividing the absolute values of the face region and the difference image. The age conversion functions of the difference image are generated by modeling the relationship between the absolute value sum and the age of the difference image in each subdivided region as a function. The weight of the input image is calculated by the age transform function and the weight of the input image is weighted by the age transform function. To be applied. When the age is increased by the age conversion function, a large weight is applied to deeply express detailed skin information such as points, scars, spots, and black spots in the difference image. On the other hand, when the age decreases, a small weight is applied to express the detailed skin information present in the difference image. Finally, in the face image synthesis step (S400), the weighted weight according to the age change is applied, and the converted difference transformed image is added to the age-converted result of the appearance feature of the AAM, that is, , The age-converted face composite image is obtained.
도 5는 차분 영상의 각 부위 별로 적용되는 부분 나이 변환 함수(aging function)를 나타내는 참고도이다. 도 5와 같이 얼굴의 부위 별로 설정된 부분 나이 변환 함수가 이용될 수 있다.5 is a reference diagram showing a partial age converting function (aging function) applied to each part of the difference image. As shown in FIG. 5, a partial age conversion function set for each part of the face can be used.
상기 부분 나이 변환 함수는, 적어도 하나 이상의 얼굴 영상을 상기 얼굴 분할 지도에 따라 분할하고, 상기 분할한 얼굴 영상 중 상기 부분 나이 변환 함수에 대응하는 각 부분 영상들을 학습하여, 상기 부분 나이 변환 함수의 파라미터 값을 설정한 것이 될 수 있다.Wherein the partial age transformation function divides at least one face image according to the face division map, and learns each partial image corresponding to the partial age transformation function among the divided face images, It can be set to a value.
다음으로 얼굴 영상 합성 단계(S400)는 영상 합성부(400)가 상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득한다. 여기서 합성은 양 영상을 더하는 방식으로 수행될 수 있고, 필요에 따라 가중치를 적용한 가중합을 수행할 수도 있다.Next, in the face image synthesizing step S400, the
여기서 상기 모델링한 얼굴 영상에 대한 나이 변환 영상은, 상기 모델링한 얼굴 영상을 기존의 모델링 기반 나이 변환 방법을 이용하여 변환하여 획득한 영상이 될 수 있다.The age-transformed image of the modeled face image may be an image obtained by converting the modeled face image using a conventional modeling-based age conversion method.
예를 들어 상기 모델링한 얼굴 영상에 대한 나이 변환 영상은 상술한 기존의 AAM 방법을 이용하여 얼굴 영상을 나이 변환하는 방법에 따라 획득된 영상이 될 수 있다. 또한 상기 수학식 12와 같이 생성한 나이 변환된 얼굴 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상으로 이용할 수 있다. 여기서 영상 변환부(300)는 상기 모델링한 얼굴 영상을 입력받아 기존의 AAM 방법을 이용하여 변환하여 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 생성할 수 있고, 영상 합성부(400)는 위와 같이 영상 변환부(300)가 생성한 영상을 입력받아 상술한 합성 과정을 수행할 수 있다.For example, the age-transformed image of the modeled face image may be an image obtained according to a method of converting the face image using the existing AAM method. Also, the age-transformed face image generated as in Equation (12) can be used as an age-transformed image for the modeled face image. Here, the
또는 여기서 필요에 따라 영상 영상 합성 단계(S400)는 위와 같이 영상 변환부(300)를 이용하는 대신 영상 합성부(400)가 외부로부터 별도로 상기 모델링한 영상을 나이 변환한 영상을 입력받아 상술한 합성 과정을 수행할 수도 있다. 도 6은 이와 같이 영상 합성부(400)가 외부로부터 별도로 상기 모델링한 영상을 나이 변환한 영상을 입력받아 상술한 합성 과정을 수행하는 경우의 본 발명에 따른 얼굴 나이 변환 장치의 블록도이다.Alternatively, the image synthesizing step (S400) according to the present invention may be realized by the image synthesizing unit (400) instead of using the image converting unit (300) as described above, . ≪ / RTI > FIG. 6 is a block diagram of a face age converting apparatus according to the present invention, in which the
또한 얼굴 영상 합성 단계(S400)는 상기 차분 영상에 상기 변환 목표 나이에 따른 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득할 수도 있다. 예를 들면 상기 변환 목표 나이에 따라 산출된 가중치를 상기 차분 변환 영상에 곱한 후 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 합성할 수 있다.In addition, the facial image synthesis step S400 may include adding an age-converted image of the modeled facial image to an image obtained by applying a weight based on the conversion target age to the difference image, and acquiring the age-converted face composite image It is possible. For example, a weighted value calculated according to the conversion target age may be multiplied by the difference-transformed image, and the weighted image may be added to an age-converted image of the modeled face image to synthesize the age-converted face composite image.
사람은 나이가 들면 얼굴에 주름, 검버섯, 기미 등과 같은 특징들이 증가하게 되고 나이가 어려지면 반대로 이런 특징들이 감소하게 된다. 따라서 동일한 사람에 해당하는 얼굴 영상일지라도 나이에 따라서 적용시켜야 하는 차분 영상(residual image)의 가중치를 다르게 하는 것이 바람직하다. 이에 얼굴 영상 합성 단계(S400)에서는 나이 변환 대상 얼굴 영상의 나이보다 변환 목표 나이가 어릴 경우에는 차분 영상의 가중치를 작게 하고, 나이가 많은 경우에는 차분 영상의 가중치를 크게 함으로써, 해당 나이에 맞는 얼굴 정보들을 잘 표현할 수 있도록 한다. As people get older, features such as wrinkles, black spots, and spots on the face increase. Therefore, it is preferable that the weight of the residual image to be applied according to the age is different even if the face image corresponds to the same person. In the face image synthesizing step (S400), the weight of the difference image is smaller when the conversion target age is smaller than the age of the face image to be converted, and the weight of the difference image is increased when the age is larger. Make it possible to express information well.
이를 위하여 얼굴 영상 합성 단계(S400)는 변환 목표 나이가 나이 변환 대상 얼굴 영상의 나이보다 작은 경우는 상기 가중치를 작게, 큰 경우는 상기 가중치를 크게 설정할 수 있다. 이처럼 상기 가중치는 상기 변환 목표 나이가 클수록 더 큰 값을 가지도록 설정될 수 있다. 또는 얼굴 영상 합성 단계(S400)는 변환 목표 나이가 증가함에 따라 상기 가중치의 크기도 증가하도록 설정된 함수를 이용하여 변환 목표 나이를 입력으로 하여 상기 가중치를 산출할 수도 있다. 또는 얼굴 영상 합성 단계(S400)는 변환 목표 나이에 따라 각 가중치의 값이 미리 설정된 테이블을 이용하여 변환 목표 나이에 따른 상기 가중치를 산출할 수도 있다.To this end, the face image synthesizing step (S400) may set the weight to be smaller if the conversion target age is smaller than the age of the face image to be converted, and may set the weight to a larger value if the conversion target age is larger. Thus, the weight may be set to have a larger value as the conversion target age is larger. Or the facial image synthesizing step S400 may calculate the weight using the conversion target age as an input using a function set such that the size of the weight increases as the conversion target age increases. Or the face image synthesizing step S400 may calculate the weight value according to the conversion target age using a table in which the values of the weight values are preset according to the conversion target age.
하기 수학식 14는 차분 영상에 적용되는 가중치를 산출하는 식이고, 하기 수학식 15는 가중치를 적용한 차분 영상을 합산하여 상기 나이 변환된 얼굴 합성 영상을 생성하는 과정을 나타내는 식이다.Equation (14) is a formula for calculating the weight applied to the difference image, and Equation (15) is a formula for generating the age-converted face composite image by summing the weighted difference images.
여기서 w는 가중치이고 a cur 는 나이 변환 대상 얼굴 영상의 나이이고, a si 는 변환 목표 나이이고, f res 는 나이 변환 함수이고, ∑I res 는 차분 영상의 절대값의 합산이다.Where w is the weight, a cur is the age of the age-transformed facial image, a si is the transformation target age, f res is the age transform function, and ΣI res is the sum of the absolute values of the difference images.
여기서 W는 상기 가중치, D는 상기 차분 영상, B는 상기 모델링한 얼굴 영상에 대한 나이 변환 영상, T는 상기 나이 변환된 얼굴 합성 영상이다.Where W is the weight, D is the difference image, B is the age-transformed image of the modeled face image, and T is the age-transformed face composite image.
여기서 상기 모델링한 얼굴 영상에 대한 나이 변환 영상은, 상기 모델링한 얼굴 영상을 상술한 기존의 AAM 방법 또는 주성분 분석 방법을 이용한 얼굴 나이 변환 방법을 이용하여 나이 변환한 영상이 될 수 있다. 상술한 바와 같이 일예로 주성분 분석을 이용한 기존의 얼굴 나이 변환 방법은 각 주성분에 대응하는 얼굴 성분 영상에 대하여 나이 변환을 위한 영상 변환을 수행한 후 이를 합성하여 나이 변환된 얼굴 영상을 생성할 수 있다. 예를 들면 여기서 상기 모델링한 얼굴 영상에 대한 나이 변환 영상은, 상기 모델링한 얼굴 영상에 미리 설정된 제2 나이 변환 함수를 적용하여 영상 변환하여 생성한 영상이 될 수 있다.Here, the age-transformed image of the modeled face image may be an age-transformed image using the existing AAM method or the face age converting method using the principal component analysis method described above. As described above, for example, an existing face age converting method using principal component analysis can generate an age-converted face image by performing image conversion for age conversion on a face component image corresponding to each principal component, . For example, the age-transformed image of the modeled face image may be an image generated by applying a predetermined second age transformation function to the modeled face image.
도 7은 변환 목표 나이가 나이 변환 대상 얼굴 영상의 나이보다 많은 경우, 종래의 AAM 방법만을 사용한 나이 변환 방법과 본 발명에 따른 나이 변환 방법의 각 결과를 비교하는 예시이다. 도 7의 (a)는 나이 변환 대상 얼굴 영상, (b)는 종래의 AAM 방법만을 사용한 나이 변환 방법에 따라 미래의 나이로 얼굴을 변환한 결과, (c)는 본 발명에 따른 나이 변환 방법을 이용하여 미래의 나이로 얼굴을 변환한 결과 영상이다. (a) 영상을 참조하면 나이 변환 대상 얼굴 영상은 눈 밑점과 같은 개인의 고유한 얼굴 특징 정보들이 존재하는데, (b) 영상에서 종래의 방법을 사용하여 나이 변환한 결과에서는 이런 개인의 고유한 특징들이 전부 사라졌다는 것을 알 수 있다. 하지만 본 발명에 따른 결과인 (c) 영상을 확인하면 눈 밑 점뿐만 아니라 코 주위의 세부적인 얼굴 특징들 또한 유지한 채 나이 변환이 된 것을 확인할 수 있다.7 is an example of comparing the results of the age conversion method using only the conventional AAM method and the results of the age conversion method according to the present invention when the conversion target age is larger than the age of the face image to be converted. FIG. 7A shows a face image to be converted into an age, FIG. 7B shows a result of converting a face to a future age according to an age converting method using only the conventional AAM method, FIG. 7C shows a result of converting an age conversion method according to the present invention It is the result image that the face is converted into the future age by using. (a) When the image is referenced, the age-transformed facial image has individual facial feature information such as the undersurface. (b) In the result of converting the age using the conventional method in the image, All of them have disappeared. However, when the image (c) obtained according to the present invention is confirmed, it can be confirmed that the age conversion is performed while maintaining the detailed facial features around the nose as well as the under eye.
도 8은 변환 목표 나이가 나이 변환 대상 얼굴 영상의 나이보다 적은 경우, 종래의 AAM 방법만을 사용한 나이 변환 방법과 본 발명에 따른 나이 변환 방법의 각 결과를 비교하는 예시이다. 도 8의 (a)는 나이 변환 대상 얼굴 영상, (b)는 종래의 AAM 방법만을 사용한 나이 변환 방법에 따라 과거의 나이로 얼굴을 변환한 결과, (c)는 본 발명에 따른 나이 변환 방법을 이용하여 과거의 나이로 얼굴을 변환한 결과 영상이다. 도 7과 마찬가지로 종래의 방법을 사용하여 나이 변환한 (b) 영상과 달리 본 발명의 결과인 (c) 영상에서는 (a) 얼굴 영상이 가지고 있는 고유한 얼굴 특징들이 잘 표현이 되어있음을 확인할 수 있다. 여기서 도 8의 경우는 나이 변환 대상 얼굴 영상보다 어린 나이에 해당하는 얼굴로 변환되었기 때문에, (c) 영상에서 점과 같은 세부적인 피부 특징들이 나이 변환 대상 얼굴 영상에 비해 옅어지게 변환되었다는 것을 볼 수 있다. 8 is an example of comparing the results of the age conversion method using only the conventional AAM method and the results of the age conversion method according to the present invention when the conversion target age is smaller than the age of the face image to be converted. 8A is a face image for an age conversion target, FIG. 8B is a result of converting a face to a past age according to an age conversion method using only the conventional AAM method, FIG. 8C is a result of converting an age conversion method according to the present invention It is the result image that the face is converted to the past age by using. As shown in FIG. 7, unlike the (b) image obtained by the conventional method, it can be seen that (a) the result of the present invention, (a) have. In this case, since the case of FIG. 8 is transformed into a face corresponding to the younger age than the face image of the age conversion target, (c) the detailed skin features such as a point in the image are transformed to be thinner than the face image of the age- have.
이와 같이 본 발명에 따른 얼굴 영상 나이 변환 방법은 상술한 구성들을 통해 종래의 얼굴 영상 나이 변환 방법과 비교하였을 때 뚜렷한 성능의 개선점이 있다고 할 것이다. As described above, the face image age converting method according to the present invention has a remarkable improvement in performance compared to the conventional face image age converting method through the above-described configurations.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like can be included.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, all terms including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined in the Detailed Description. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
100 : 얼굴 모델링부
200 : 차분 영상 생성부
300 : 영상 변환부
400 : 영상 합성부
S100 : 얼굴 모델링 단계
S200 : 차분 영상 생성 단계
S300 : 차분 영상 나이 변환 단계
S400 : 얼굴 영상 합성 단계100: face modeling unit
200: difference image generating unit
300:
400:
S100: Face modeling step
S200: Step of generating difference image
S300: Difference image age conversion step
S400: Face image synthesis step
Claims (14)
얼굴 모델링부가 나이 변환 대상 얼굴 영상을 입력받고, 상기 나이 변환 대상 얼굴 영상을 미리 정해진 얼굴 모델링 알고리즘을 이용하여 모델링한 얼굴 영상을 생성하는 얼굴 모델링 단계;
차분 영상 생성부가 상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차인 차분 영상을 생성하는 차분 영상 생성 단계;
영상 변환부가 상기 차분 영상을 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 영상 변환하여 차분 변환 영상을 생성하는 차분 영상 나이 변환 단계; 및
영상 합성부가 상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득하는 얼굴 영상 합성 단계를 포함하는 얼굴 영상 나이 변환 방법.In the face image age converting method,
A facial modeling step of receiving a facial modeling facial image to be converted and generating a facial image modeled by using a predetermined facial modeling algorithm;
A difference image generation step of generating a difference image in which a difference image generation unit is a difference between the modeled face image and the age conversion target face image;
A difference image age transforming step of transforming the difference image by using an age conversion function set according to a conversion target age to generate a difference transformed image; And
And a face image synthesis step of synthesizing an age-transformed image of the modeled face image with the difference-transformed image to acquire an age-converted face composite image.
상기 얼굴 모델링 단계는 상기 미리 정해진 얼굴 모델링 알고리즘으로 AAM(Active Appearance Model)을 이용해 상기 나이 변환 대상 얼굴 영상을 모델링하여, 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 방법.The method of claim 1, wherein
Wherein the face modeling step models the age-transforming face image using an AAM (Active Appearance Model) with the predetermined face modeling algorithm, and generates the modeled face image.
상기 얼굴 모델링 단계는 주성분 분석(Principle Component Analysis)를 이용하여 미리 정해진 복수개의 학습 얼굴 영상들로부터 추출한 주성분에 따라 상기 나이 변환 대상 얼굴 영상을 모델링하여 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 방법.The method of claim 1, wherein
Wherein the face modeling step models the age-transforming face image according to a principal component extracted from a plurality of learning face images determined in advance using principal component analysis, and generates the modeled face image Video age conversion method.
상기 차분 영상 나이 변환 단계는 상기 차분 영상을 적어도 하나 이상으로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 미리 설정된 부분 나이 변환 함수를 적용하여 상기 부분 차분 영상을 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 방법The method of claim 1, wherein
Wherein the difference image age conversion step comprises the steps of generating a partial difference image by dividing the difference image into at least one or more images and applying a predetermined partial age conversion function for each of the partial difference images to convert the partial difference image, And generating the difference transformed image by summing the generated partial difference transformed images,
상기 차분 영상 나이 변환 단계는 상기 차분 영상을 미리 정해진 얼굴 분할 지도에 따라 분할하여 상기 부분 차분 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 방법 The method of claim 4, wherein
Wherein the difference image age conversion step divides the difference image according to a predetermined face division map to generate the partial difference image
상기 얼굴 분할 지도는 얼굴 영상의 코 부분, 좌우 각 눈 부분, 좌우 각 뺨 부분, 입 부분을 서로 다른 부분으로 분할한 지도인 것을 특징으로 하는 얼굴 영상 나이 변환 방법The method of claim 5, wherein
Wherein the face division map is a map obtained by dividing a nose portion of a face image, left and right eye portions, right and left cheeks, and mouth portions into different portions,
상기 부분 나이 변환 함수는, 적어도 하나 이상의 얼굴 영상을 상기 얼굴 분할 지도에 따라 분할하고, 상기 분할한 얼굴 영상 중 상기 부분 나이 변환 함수에 대응하는 각 부분 영상들을 학습하여, 상기 부분 나이 변환 함수의 파라미터 값을 설정한 것을 특징으로 하는 얼굴 영상 나이 변환 방법The method of claim 5, wherein
Wherein the partial age transformation function divides at least one face image according to the face division map, and learns each partial image corresponding to the partial age transformation function among the divided face images, A face image age conversion method
상기 얼굴 영상 합성 단계는 상기 차분 영상에 상기 변환 목표 나이에 따른 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득하는 것을 특징으로 하는 얼굴 영상 나이 변환 방법The method according to claim 1,
Wherein the face image synthesizing step acquires the age-converted face composite image by summing an image generated by applying a weight based on the conversion target age to the difference image, and an age-converted image of the modeled face image, Face Image Age Conversion Method
상기 가중치는 상기 변환 목표 나이가 클수록 더 큰 값을 가지도록 설정되는 것을 특징으로 하는 얼굴 영상 나이 변환 방법9. The method of claim 8,
And the weight is set to have a larger value as the conversion target age is larger.
상기 모델링한 얼굴 영상에 대한 나이 변환 영상은, 상기 모델링한 얼굴 영상에 미리 설정된 제2 나이 변환 함수를 적용하여 영상 변환하여 생성한 영상인 것을 특징으로 하는 얼굴 영상 나이 변환 방법9. The method of claim 8,
Wherein the age-transformed image of the modeled face image is a generated image by applying a second age conversion function set in advance to the modeled face image,
나이 변환 대상 얼굴 영상을 입력받고, 상기 나이 변환 대상 얼굴 영상을 미리 정해진 얼굴 모델링 알고리즘을 이용하여 모델링한 얼굴 영상을 생성하는 얼굴 모델링부;
상기 모델링한 얼굴 영상과 상기 나이 변환 대상 얼굴 영상 간의 차인 차분 영상을 생성하는 차분 영상 생성부;
상기 차분 영상을 변환 목표 나이에 따라 설정된 나이 변환 함수를 이용하여 영상 변환하여 차분 변환 영상을 생성하는 영상 변환부; 및
상기 차분 변환 영상과 상기 모델링한 얼굴 영상에 대한 나이 변환 영상을 합성하여 나이 변환된 얼굴 합성 영상을 획득하는 영상 합성부를 포함하는 것을 특징으로 하는 얼굴 영상 나이 변환 장치A face image age converting apparatus,
A face modeling unit receiving a face image to be converted and generating a face image modeled by using a predetermined face modeling algorithm;
A difference image generation unit that generates a difference image that is a difference between the modeled face image and the face image to be converted;
An image transform unit for transforming the difference image using an age conversion function set according to a conversion target age to generate a difference transformed image; And
And an image synthesis unit for synthesizing the age-transformed image of the modeled face image and the difference-transformed image to obtain an age-converted face synthesis image,
상기 얼굴 모델링부는 상기 미리 정해진 얼굴 모델링 알고리즘으로 AAM(Active Appearance Model)을 이용해 상기 나이 변환 대상 얼굴 영상을 모델링하여, 상기 모델링한 얼굴 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 장치.The method of claim 1, wherein
Wherein the face modeling unit models the face image to be converted using the AAM (Active Appearance Model) with the predetermined face modeling algorithm, and generates the modeled face image.
상기 영상 변환부는 상기 차분 영상을 적어도 하나 이상으로 분할하여 부분 차분 영상을 생성하고, 각 상기 부분 차분 영상 별로 미리 설정된 부분 나이 변환 함수를 적용하여 상기 부분 차분 영상을 영상 변환하여 부분 차분 변환 영상을 생성하고, 상기 생성한 부분 차분 변환 영상을 합쳐 상기 차분 변환 영상을 생성하는 것을 특징으로 하는 얼굴 영상 나이 변환 장치The method of claim 1, wherein
The image conversion unit generates a partial difference image by dividing the difference image into at least one or more images, and applying a predetermined partial age conversion function for each of the partial difference images to convert the partial difference image to generate a partial difference image Transforms the generated partial difference transformed images, and generates the differential transformed images by summing the generated partial difference transformed images.
상기 영상 합성부는 상기 차분 영상에 상기 변환 목표 나이에 따른 가중치를 적용하여 생성한 영상을 상기 모델링한 얼굴 영상에 대한 나이 변환 영상과 합산하여 상기 나이 변환된 얼굴 합성 영상을 획득하는 것을 특징으로 하는 얼굴 영상 나이 변환 장치The method according to claim 1,
Wherein the image synthesizing unit acquires the age-converted face composite image by summing an image generated by applying a weight based on the conversion target age to the difference image, and an age-converted image of the modeled face image, Video age converter
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150121178A KR101725808B1 (en) | 2015-08-27 | 2015-08-27 | Method and Apparatus for Transforming Facial Age on Facial Image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150121178A KR101725808B1 (en) | 2015-08-27 | 2015-08-27 | Method and Apparatus for Transforming Facial Age on Facial Image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170025162A true KR20170025162A (en) | 2017-03-08 |
| KR101725808B1 KR101725808B1 (en) | 2017-04-26 |
Family
ID=58404241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150121178A KR101725808B1 (en) | 2015-08-27 | 2015-08-27 | Method and Apparatus for Transforming Facial Age on Facial Image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101725808B1 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018164329A1 (en) * | 2017-03-10 | 2018-09-13 | 주식회사 모르페우스 | Method and system for providing information on face by using anatomical layer, and non-transitory computer-readable recording medium |
| WO2018164328A1 (en) * | 2017-03-10 | 2018-09-13 | 주식회사 모르페우스 | Method and system for estimating face by using anatomical layer, and non-transitory computer-readable recording medium |
| WO2018164327A1 (en) * | 2017-03-10 | 2018-09-13 | 주식회사 모르페우스 | Method and system for estimating anatomical layer of face, and non-transitory computer-readable recording medium |
| WO2018164394A1 (en) * | 2017-03-10 | 2018-09-13 | 주식회사 모르페우스 | Method and system for providing information on result of procedure, and non-transitory computer-readable recording medium |
| KR20180103672A (en) * | 2017-03-10 | 2018-09-19 | 주식회사 모르페우스 | Method, system and non-transitory computer-readable recording medium for providing result information about a procedure |
| CN109886099A (en) * | 2019-01-11 | 2019-06-14 | 西安电子科技大学 | A kind of method for building up of age assessment judgment criteria model |
| KR20190076858A (en) * | 2017-12-22 | 2019-07-02 | 샤넬 파르퓜 보트 | Improved age modelling method |
| CN111860041A (en) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | Face conversion model training method, device, equipment and medium |
| KR20210019182A (en) * | 2019-08-12 | 2021-02-22 | 한국과학기술연구원 | Device and method for generating job image having face to which age transformation is applied |
| KR102288001B1 (en) * | 2020-02-13 | 2021-08-11 | 한국과학기술연구원 | Device for generating job image having face to which age transformation is applied and photo booth including the same |
| US20210398335A1 (en) * | 2020-06-22 | 2021-12-23 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Face editing method, electronic device and readable storage medium thereof |
| CN115984426A (en) * | 2023-03-21 | 2023-04-18 | 美众(天津)科技有限公司 | Method, device, terminal and storage medium for generating hair style demonstration image |
| KR102574021B1 (en) * | 2023-06-19 | 2023-09-04 | 이가람 | Method, apparatus and system for generating responsive image content based on personalized images extracted from image data history using artificial intelligence model |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102266165B1 (en) * | 2021-03-26 | 2021-06-17 | 인하대학교 산학협력단 | Method and Apparatus for Editing of Personalized Face Age via Self-Guidance in Generative Adversarial Networks |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080111325A (en) | 2007-06-18 | 2008-12-23 | 에스케이 텔레콤주식회사 | Method and system for modeling face in three dimension by means of aam, and apparatus applied to the same |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4682373B2 (en) * | 2005-11-01 | 2011-05-11 | 株式会社国際電気通信基礎技術研究所 | Face image synthesis device, face image synthesis method, and face image synthesis program |
-
2015
- 2015-08-27 KR KR1020150121178A patent/KR101725808B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080111325A (en) | 2007-06-18 | 2008-12-23 | 에스케이 텔레콤주식회사 | Method and system for modeling face in three dimension by means of aam, and apparatus applied to the same |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018164329A1 (en) * | 2017-03-10 | 2018-09-13 | 주식회사 모르페우스 | Method and system for providing information on face by using anatomical layer, and non-transitory computer-readable recording medium |
| WO2018164328A1 (en) * | 2017-03-10 | 2018-09-13 | 주식회사 모르페우스 | Method and system for estimating face by using anatomical layer, and non-transitory computer-readable recording medium |
| WO2018164327A1 (en) * | 2017-03-10 | 2018-09-13 | 주식회사 모르페우스 | Method and system for estimating anatomical layer of face, and non-transitory computer-readable recording medium |
| WO2018164394A1 (en) * | 2017-03-10 | 2018-09-13 | 주식회사 모르페우스 | Method and system for providing information on result of procedure, and non-transitory computer-readable recording medium |
| KR20180103672A (en) * | 2017-03-10 | 2018-09-19 | 주식회사 모르페우스 | Method, system and non-transitory computer-readable recording medium for providing result information about a procedure |
| KR20180103659A (en) * | 2017-03-10 | 2018-09-19 | 주식회사 모르페우스 | Method, system and non-transitory computer-readable recording medium for providing information on face by using anatomical layers |
| KR20180103658A (en) * | 2017-03-10 | 2018-09-19 | 주식회사 모르페우스 | Method, system and non-transitory computer-readable recording medium for estimating a face by using anatomical layers |
| KR20190076858A (en) * | 2017-12-22 | 2019-07-02 | 샤넬 파르퓜 보트 | Improved age modelling method |
| CN109886099A (en) * | 2019-01-11 | 2019-06-14 | 西安电子科技大学 | A kind of method for building up of age assessment judgment criteria model |
| CN109886099B (en) * | 2019-01-11 | 2020-11-10 | 西安电子科技大学 | Method for establishing age evaluation standard model |
| CN111860041A (en) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | Face conversion model training method, device, equipment and medium |
| CN111860041B (en) * | 2019-04-26 | 2024-06-11 | 北京陌陌信息技术有限公司 | Face conversion model training method, device, equipment and medium |
| KR20210019182A (en) * | 2019-08-12 | 2021-02-22 | 한국과학기술연구원 | Device and method for generating job image having face to which age transformation is applied |
| KR102288001B1 (en) * | 2020-02-13 | 2021-08-11 | 한국과학기술연구원 | Device for generating job image having face to which age transformation is applied and photo booth including the same |
| US20210398335A1 (en) * | 2020-06-22 | 2021-12-23 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Face editing method, electronic device and readable storage medium thereof |
| KR20210157877A (en) * | 2020-06-22 | 2021-12-29 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method, device, electronic equipment and readable storage medium for editing human face |
| CN115984426A (en) * | 2023-03-21 | 2023-04-18 | 美众(天津)科技有限公司 | Method, device, terminal and storage medium for generating hair style demonstration image |
| CN115984426B (en) * | 2023-03-21 | 2023-07-04 | 美众(天津)科技有限公司 | Method, device, terminal and storage medium for generating hairstyle demonstration image |
| KR102574021B1 (en) * | 2023-06-19 | 2023-09-04 | 이가람 | Method, apparatus and system for generating responsive image content based on personalized images extracted from image data history using artificial intelligence model |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101725808B1 (en) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101725808B1 (en) | Method and Apparatus for Transforming Facial Age on Facial Image | |
| US8548230B2 (en) | Image processing device and method, data processing device and method, program, and recording medium | |
| US8565518B2 (en) | Image processing device and method, data processing device and method, program, and recording medium | |
| US8605995B2 (en) | Image processing device and method, data processing device and method, program, and recording medium | |
| Lamb et al. | Discriminative regularization for generative models | |
| JP5161845B2 (en) | Image processing apparatus and method, data processing apparatus and method, and program | |
| JP5178662B2 (en) | Image processing apparatus and method, data processing apparatus and method, and program | |
| JP5684488B2 (en) | Image processing apparatus, image processing method, and program | |
| KR101758825B1 (en) | Method for facial age simulation based on age of each part and environmental factors, recording medium and device for performing the method | |
| JP2004005622A (en) | Face recognizing method using face descriptor based on face element and its device | |
| JP6207210B2 (en) | Information processing apparatus and method | |
| KR101994390B1 (en) | Apparatus and method for synthesizing facial expression using weighted interpolation map | |
| KR100723417B1 (en) | Apparatuses and methods for recognizing face, and apparatus and method for extracting face from multiple face images | |
| KR20080106596A (en) | Virtual face generating method | |
| Juefei-Xu et al. | Facial ethnic appearance synthesis | |
| Martin et al. | Face aging simulation with a new wrinkle oriented active appearance model | |
| Chetty et al. | Robust face-voice based speaker identity verification using multilevel fusion | |
| KR20010087487A (en) | Face recognizing method and apparatus using dimensional space transformation of Gabor filtering response | |
| Ramírez-Valdez et al. | 3D-facial expression synthesis and its application to face recognition systems | |
| Yu et al. | Facial video coding/decoding at ultra-low bit-rate: a 2D/3D model-based approach | |
| Tsuji et al. | Makeup Transfer Using Support Vector Regression | |
| US20230057235A1 (en) | Computer-readable recording medium storing determination program, determination device, and determination method | |
| Tin et al. | Fast Facial Recognition System | |
| Jafari et al. | Disguised face recognition by using local phase quantization and singular value decomposition | |
| Park et al. | Face Aging Modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |