WO2017052153A1 - 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
WO2017052153A1
WO2017052153A1 PCT/KR2016/010464 KR2016010464W WO2017052153A1 WO 2017052153 A1 WO2017052153 A1 WO 2017052153A1 KR 2016010464 W KR2016010464 W KR 2016010464W WO 2017052153 A1 WO2017052153 A1 WO 2017052153A1
Authority
WO
WIPO (PCT)
Prior art keywords
age
face
environmental factors
conversion
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/010464
Other languages
English (en)
French (fr)
Inventor
김익재
최성은
안상철
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Institute of Science and Technology KIST
Original Assignee
Korea Institute of Science and Technology KIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Institute of Science and Technology KIST filed Critical Korea Institute of Science and Technology KIST
Priority to CN201680058221.1A priority Critical patent/CN108140110B/zh
Priority to JP2018514817A priority patent/JP6694504B2/ja
Publication of WO2017052153A1 publication Critical patent/WO2017052153A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Definitions

  • the present invention relates to an age conversion method based on age and environmental factors for each facial part, and a recording medium and apparatus for performing the same. More particularly, the present invention uses age and individual environmental information measured for each facial part. The present invention relates to an age conversion method for obtaining an age conversion result, and a recording medium and apparatus for performing the same.
  • the entire face is set to the same as the actual age and the age is converted.
  • the aging process for each part of the face may be combined with environmental factors to make a difference. For example, a person with a lot of work in the open air, the overall shape of the face will change according to his age, but the skin will be affected by UV rays, so aging will progress faster. Can be.
  • the skin age can be measured more than the present age.
  • aging of the skin may be delayed compared to the person who does not.
  • the age of the face is converted without considering the age measured for each face and the environment information of the individual, it may be difficult to obtain an accurate age conversion result.
  • an object of the present invention is to provide an age conversion method based on age and environmental factors for each facial part in order to derive an accurate age conversion result.
  • Another object of the present invention is to provide a recording medium having a computer program recorded thereon for performing an age conversion method based on age and environmental factors for each facial region.
  • Still another object of the present invention is to provide an apparatus for performing an age conversion method based on age and environmental factors for each facial region.
  • an age conversion method based on age and environmental factors for each face part may include: measuring age for each face part based on an input face image; Specifying environmental factors of the individual; Converting age for each of the face parts by applying an age conversion model according to the age for each face part and the environmental factors; Restoring the converted image for each face part; And synthesizing the reconstructed image to generate an age-converted face.
  • the measuring of the age for each face part based on the input face image may include: subdividing the input face image by face parts; Extracting the site-specific features; And measuring age from the site-specific features.
  • the step of measuring the age from the site-specific features, the shape (shape) and texture (texture) of each part of the face eye, nose, mouth, chin, forehead, wrinkles, skin, etc.
  • the extracting of the feature by region may include extracting the feature by region using at least one of a statistical analysis method, a frequency analysis based filter, and a local binary pattern analysis method. .
  • the step of converting the age for each of the face parts by applying an age conversion model according to the age for each face and the environmental factors, each part of the face (eye, nose, mouth, chin Age, age, shape, and texture.
  • the step of synthesizing the reconstructed image to generate an age-converted face may include the operation of each of the parts (eyes, nose, mouth, chin, forehead, wrinkles, skin, etc.) of the age-converted face. Synthesizing the reconstructed image for the texture; And bending the synthesized image by combining with the shape of the age-converted face.
  • the step of designating the environmental factors of the individual may specify at least one of the individual's health, body type, occupation, lifestyle, race, and region.
  • an age conversion method based on age and environmental factors for each facial part may include: constructing a database that classifies face images according to environmental factors; And learning an aging function for each environment using the database.
  • the step of converting the age for each face part by applying an age conversion model according to the age for each face part and the environmental factors may use the aging function for each environment.
  • the age conversion method based on age and environmental factors for each facial part may be based on an age conversion result generated based on the age and environmental factors for each facial part and other environmental factors.
  • the method may further include visually comparing the generated age conversion results with ages measured for each facial part of the two results.
  • a computer program for performing an age conversion method based on age and environmental factors for each facial part is recorded.
  • an age conversion apparatus based on age and environmental factors for each facial part is used to measure age for each facial part based on an input facial image. part; An environmental selection unit for designating an environmental factor of an individual; An age converting unit for converting age for each face part by applying an age conversion model according to the age for each face part and the environmental factor; An image restoration unit for restoring the converted image for each face part; And a simulation unit configured to synthesize the reconstructed image to generate an age-converted face.
  • the age measuring unit may include: a division unit for subdividing an input face image by face parts; Feature extraction unit for extracting the feature for each part; And an age estimating unit estimating age from the site-specific features.
  • the age estimating unit includes: a face shape measuring unit measuring an age for shapes of respective parts of the face (eyes, nose, mouth, chin, forehead, wrinkles, skin, etc.); And it may include a texture measuring unit for measuring the age for the texture (texture) of each part of the face (eyes, nose, mouth, chin, forehead, wrinkles, skin, etc.).
  • the feature extractor may extract a feature of each region using at least one of a statistical analysis technique, a frequency analysis based filter, and a local binary pattern analysis method.
  • the age estimating unit may use at least one of an age recognizer and a skin measurement sensor.
  • the age converting unit may convert an age for shapes and textures of respective parts of the face (eyes, nose, mouth, chin, forehead, wrinkles, skin, etc.). Can be.
  • the simulation unit synthesizes the reconstructed image for the texture of each of the parts (eyes, nose, mouth, chin, forehead, wrinkles, skin, etc.) of the age-converted face. part; And a warping warping portion which is bent by combining the synthesized image with the age-converted face shape.
  • the environment selection unit may designate at least one of an individual's health, body type, occupation, lifestyle, race, and region.
  • an age conversion apparatus based on age and environmental factors for each facial region may include a database constructing unit for constructing a database that classifies face images according to environmental factors; And a learning unit learning an aging function for each environment by using the database.
  • the age conversion unit may use the aging function for each environment.
  • the age conversion apparatus based on age and environmental factors for each facial part may visually compare the results of the simulation unit and the age conversion results generated based on other environmental factors or two results.
  • the comparison unit may further include a comparison unit for the age measured for each facial region.
  • the age conversion method based on the age and environmental factors for each facial part, by dividing the face into various parts to convert the age in detail, the age is converted based on the measured age for each facial part. In addition, age is converted by using environmental variables that are applied differently according to facial parts.
  • the present invention measures the age for each face region using a face image, and based on this, if there is a difference between the actual age and the measured age for each face region as a method of generating an age-converted face, the actual age conversion is compared with the conventional method. You can get the result.
  • the proposed method can obtain a personalized age conversion result by using environmental factors (health, body type, occupation, lifestyle, etc.) that affect the age conversion process for each facial part.
  • the present invention visually compares age conversion results generated based on age and environmental factors for each facial part and age conversion results generated based on other environmental factors, or ages measured for each facial part of two results. Thus, it can be used to identify and improve the environmental factors of the individual affecting aging of the face.
  • FIG. 1 is a block diagram of an age conversion apparatus according to an embodiment of the present invention.
  • FIG. 2 is a detailed block diagram of the age measuring unit of FIG. 1.
  • FIG. 3 is a detailed block diagram of the simulation unit of FIG. 1.
  • FIG. 4 is a flowchart of an age conversion method according to an embodiment of the present invention.
  • FIG. 5 is a detailed flowchart of the age conversion method of FIG. 4.
  • FIG. 1 is a block diagram of an age conversion apparatus according to an embodiment of the present invention.
  • FIG. 2 is a detailed block diagram of the age measuring unit of FIG. 1.
  • 3 is a detailed block diagram of the simulation unit of FIG. 1.
  • the age converting apparatus 10 divides a face into various parts, converts an age based on age information of each face part, and uses an age using an environment variable that affects the age conversion process of each face part. Convert
  • the age conversion apparatus 10 may construct a database in an offline process, and may include an offline unit 100 for learning an aging function for each environment and a face image input through an online process.
  • the on-line unit 300 for outputting the age-converted image based on the.
  • the age converting apparatus 10 of the present invention may be installed and executed by software (application) for performing age conversion based on age and environmental factors for each facial part, and the offline part 100 and the online part
  • the configuration of 300 may be controlled by software for performing age conversion executed in the age converting apparatus 10.
  • the age converting apparatus 10 may be a separate terminal or some module of the terminal.
  • each configuration of the offline unit 100 and the online unit 300 may be formed as an integrated module, or may be composed of one or more modules. However, on the contrary, each component may be formed as a separate module.
  • the age converting device 10 may be mobile or fixed.
  • the age converting apparatus 10 may be in the form of a server or an engine, and may include a device, an apparatus, a terminal, a user equipment, a mobile station (MS), It may be called other terms such as wireless device, handheld device.
  • MS mobile station
  • the age converting apparatus 10 may execute or produce various software based on an operating system (OS), that is, a system.
  • OS operating system
  • the operating system is a system program for enabling the software to use the hardware of the device, and the mobile computer operating system such as Android OS, iOS, Windows Mobile OS, Sea OS, Symbian OS, Blackberry OS, Windows, Linux, Unix, It can include any computer operating system, such as MAC, AIX, or HP-UX.
  • the offline unit 100 includes a database construction unit 130 and a learning unit 150.
  • the offline unit 100 may be formed as a separate module or device from the online unit 300, or conversely, may be formed as a single module or device.
  • the database construction unit 130 collects face images, examines various environmental factors such as health, body type, occupation, lifestyle, gender, and race of the main character of each face image, and classifies the face images by environment. Build a database. Lifestyle factors of the environmental factors may include skin care, drinking, smoking, exercise, diet and the like. The environmental factor may be automatically generated by collecting a face image by designating a questionnaire of the main character of the face image or by designating a special group such as a body type and a profession.
  • the learning unit 150 learns an age for each face part and an aging function for each environment using the database.
  • the aging function is defined as a function of a feature of each part of the face, environmental information, and age as a function. Accordingly, an age conversion model may be generated based on age and environmental factors of each part of the face.
  • the online unit 300 includes an age measuring unit 310, an environment selecting unit 330, an age converting unit 350, an image restoring unit 370, and a simulation unit 390.
  • the age measuring unit 310 measures the age for each face part based on the input face image.
  • the human face image is composed of the shape and texture information of various components such as eyes, nose and mouth, and there are differences in the aging process according to each component.
  • the face of a person is affected by not only a change in time but also many environmental factors (health, occupation, lifestyle, etc.), there is a difference in the actual age and the age measured by the face part. For example, a person with a lot of work in the open air, the overall shape of the face changes to suit his age, but the age of the skin is affected by UV rays so Can proceed.
  • age conversion is attempted on the basis of the same age for all parts of the face, but in the present invention, it is based on individual characteristics based on the age measured for each face part.
  • the age measuring unit 310 divides the input face image into face parts 311, a feature extractor 313 for extracting features of each part, and age from the feature of each part. And an age estimator 315 for estimating.
  • the dividing unit 311 may divide the input face image into subdivided segments of the face (eyes, nose, mouth, chin, forehead, wrinkles, skin, etc.).
  • the feature extractor 313 may extract each feature vector from the refined features. For example, features such as shape and texture of the eyes, nose, mouth, etc. of the face are extracted through statistical analysis techniques, and wrinkles, skin, etc. are frequency analyzed. Features can be extracted using a base filter and a local binary pattern analysis method.
  • the age estimator 315 is a face shape measuring unit for measuring the age of the shape of the eyes, nose, mouth, etc. of the face and the texture, wrinkles (wrinkle), such as eyes, nose, mouth of the face And it may include a texture measuring unit for measuring the age for the texture of some or all of the skin (skin).
  • the age estimator 315 may learn age through each SVR (Support Vector Regression) between the extracted feature and the age information, to measure the age for each part.
  • the age estimator 315 may utilize the information collected by the subjective evaluation performed by the experimenter as a supplementary data.
  • the age estimator 315 may use a separate module such as an age recognizer or a skin measurement sensor.
  • the environment selection unit 330 designates an environmental factor of an individual. It may specify at least one of an individual's health, body type, occupation, lifestyle, race, or region. Lifestyle factors of the environmental factors may include skin care, drinking, smoking, exercise, diet and the like.
  • This environment selection may be based on data collected through questionnaire preparation for the face image model.
  • the age converting unit 350 converts the age for each face part by applying an age conversion model according to the age for each face part and the environmental factors.
  • the aging function learned by the learning unit 150 of the offline unit 100 may be used.
  • the age transformation model is trained using the age function, and the age function is applied based on the age information measured for each face part.
  • the age function for each environment is learned, and the age is transformed using an age function suitable for the environmental factor of the input image.
  • the site-specific age conversion may convert the age for the shape and texture of each part of the face (eyes, nose, mouth, chin, forehead, wrinkles, skin, etc.).
  • features can be extracted by frequency analysis-based filters and age-converted into age functions
  • features can be extracted and localized to age functions by local binary pattern analysis. have.
  • the image restoration unit 370 restores the converted image for each face part. For example, transformed images of shapes, textures, wrinkles, and skin of eyes, nose, and mouth of a face may be reconstructed according to each restoration technique.
  • the image may be reconstructed by using a local image table including wrinkles of the training data, skin feature vectors and wrinkles, and skin image patches.
  • a local image table including wrinkles of the training data, skin feature vectors and wrinkles, and skin image patches.
  • the simulation unit 390 synthesizes an image restored by each region in the image restoration unit 370 to generate an age-converted face and outputs a result.
  • the simulation unit 390 may include shapes of shapes (eyes, noses, mouths, chins, foreheads, wrinkles, skins, and the like) of the face that are age-changed. It may include a synthesizer 391 for synthesizing the reconstructed image for the texture and a warping portion 393 which combines the synthesized image with the age-converted face shape. .
  • the synthesis unit 391 extracts only a wrinkle part using a wrinkle mask made of a frequency analysis based filter, synthesizes it on an age-converted face texture, and generates a skin mask through binarization to generate only points, blemishes, and the like. Can be composited to age-converted face textures.
  • the warping unit 393 generates a final age-converted face by wiping the age-converted texture to match the age-converted face shape.
  • the age converting apparatus 10 may have an environment different from a result derived from the simulation unit 390, that is, an age conversion result generated based on an age and an environmental factor for each face part of an individual.
  • the comparison unit may further include a comparison unit that provides a visual comparison of the age conversion result generated based on the enemy factor, or compares the result of the two ages by the age measured for each facial region.
  • the present invention measures the age for each face part, and based on this, if there is a difference between the actual age and the age measured for each face part as a method of generating an age-converted face, a realistic age conversion result can be obtained compared to the existing method. .
  • the proposed method can obtain a personalized age conversion result by using environmental factors (health, body type, occupation, lifestyle, etc.) that affect the age conversion process for each facial part.
  • the present invention compares the age conversion result generated on the basis of age and environmental factors for each facial part and the age conversion result generated on the basis of other environmental factors, such as age measured visually or for each facial part, It can be used to identify and improve an individual's environmental factors that affect aging.
  • FIG. 4 is a flowchart of an age conversion method according to an embodiment of the present invention.
  • 5 is a detailed flowchart of the age conversion method of FIG. 4.
  • the age conversion method according to the present embodiment may proceed in substantially the same configuration as the age conversion apparatus 10 of FIG. 1. Therefore, the same components as those of the age converting apparatus 10 of FIG. 1 are given the same reference numerals, and repeated descriptions are omitted.
  • the age conversion method according to the present embodiment may be executed by software (application) for performing age conversion based on age and environmental factors for each facial region.
  • step S00 in the age conversion method according to the present embodiment, a face image and an environmental factor are input and age conversion is performed based on this (step S00).
  • the age is measured for each face part based on the input face image (step S10).
  • the human face image is composed of the shape and texture information of various components such as eyes, nose and mouth, and there are differences in the aging process according to each component. Therefore, in the past, the age conversion is attempted based on the year of birth of the individual, but in the present invention, based on the unique characteristics of the individual based on the measured age of each facial region, not the actual age of the entire face.
  • step S10 Measuring the age for each face part based on the input face image (step S10), subdividing the input face image for each face part (step S11), and extracting the feature for each part (step S12). And it may include the step of measuring the age from the site-specific features (step S13).
  • the step of subdividing the input face image into face parts may include dividing the face image into shapes and textures such as eyes, nose, mouth, chin, forehead, skin, and wrinkles (step S11). .
  • the extracting of the feature by region may use at least one of a statistical analysis technique, a frequency analysis based filter, and a local binary pattern analysis method (step S12).
  • statistical analysis is used for the shape and texture of the eyes, nose and mouth of the face, frequency analysis based filters are used for the wrinkles, and skin is used.
  • frequency analysis based filters are used for the wrinkles
  • skin is used.
  • the age of the shape and texture of each part of the face is measured (step S13).
  • the face of a person is affected by not only a change in time but also many environmental factors (health, occupation, lifestyle, etc.), there is a difference in the age and aging process measured for each face area. For example, a person with a lot of work in the open air, the overall shape of the face changes to suit his age, but the age of the skin is affected by UV rays so Can proceed.
  • an environmental factor of the individual is designated (step S00). It may specify at least one of an individual's health, body type, occupation, lifestyle, race, or region. Lifestyle factors of the environmental factors may include skin care, drinking, smoking, exercise, diet and the like. These environmental choices can be based on data collected from surveys.
  • the age is converted for each face part by applying an age conversion model according to the age for each face part and the environmental factors (step S50).
  • step S50 the shape and texture of each part of the face (eyes, nose, mouth, chin, forehead, wrinkles, skin, etc.) are performed for each part.
  • the age conversion step (step S50) may use the aging function previously learned.
  • face images are collected, various environmental factors such as health, body type, occupation, lifestyle, gender, and race of the main character of each face image are investigated, and the face images are classified by environment to build a database.
  • Lifestyle factors of the environmental factors may include skin care, drinking, smoking, exercise, diet and the like.
  • the environmental factor may be automatically generated by collecting a face image by designating a questionnaire of the main character of the face image or by designating a special group such as a body type and a profession.
  • the age of each facial region and the aging function of each environment are learned using the database.
  • the aging function is defined as a function of a feature of each part of the face, environmental information, and age as a function. Accordingly, an age conversion model may be generated based on age and environmental factors of each part of the face.
  • the age transformation model is trained using the age function, and the age function is applied based on the age information measured for each face part.
  • the age function for each environment is learned, and the age is transformed using an age function suitable for the environmental factor of the input image.
  • the age conversion for each facial part may convert age for shape and texture of each part of the face (eye, nose, mouth, chin, forehead, wrinkle, skin, etc.).
  • features may be extracted and age-converted by frequency analysis-based filters, and for skin, features may be extracted and age-converted as a function of age by a local binary pattern analysis method.
  • each reconstruction technique may reconstruct a converted image of each shape of a shape, texture, wrinkle, and skin of eyes, nose, mouth, and the like of the face.
  • the reconstructed image is synthesized to generate an age-converted face (step S90). Specifically, synthesizing a reconstructed image for the texture of each of the parts of the face (eyes, nose, mouth, chin, forehead, wrinkles, skin, etc.) that are age-converted, and age-converting the synthesized image And a warping step in combination with the face shape.
  • the method may further include comparing age conversion results generated based on age and environmental factors for each facial part and age conversion results generated based on other environmental factors, such as visually or age measured for each facial part. have.
  • the facial image is divided into shapes and textures such as eyes, nose, mouth, chin, forehead, wrinkles, and skin, and feature extraction and age conversion are performed. You can add, delete or change.
  • the present invention proposed a method for converting age in consideration of the age and environmental factors measured for each part of the face.
  • Personalized age conversion results can be obtained by converting age by using age information that is differently measured for each face area and personal environment information. Accordingly, a more accurate age conversion face can be generated than in the conventional method.
  • the present invention compares the age conversion results generated based on age and environmental factors for each facial part and the age conversion results generated based on other environmental factors by visually or age measured for each facial part. It can be used to identify and improve an individual's environmental factors that affect aging.
  • the age conversion method based on age and environmental factors for each facial region may be implemented in an application form or in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer-readable recording medium are those specially designed and configured for the present invention, and may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.
  • the present invention can be useful in the cosmetic industry because it can be used to develop and recommend customized products for consumers by generating an age-converted face according to age and environmental factors for each facial part of the consumer.
  • the functional cosmetics it is possible to evaluate the effectiveness of the cosmetics, and to effectively use the product for advertising to consumers.
  • the present invention in the public society field can be used to more accurately predict the current state from the past photographs, and to find missing children and long-term missing persons.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법은, 입력되는 얼굴 영상을 기초로 얼굴 부위별로 나이를 측정하는 단계; 개인의 환경적인 요인을 지정하는 단계; 상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환하는 단계; 상기 얼굴 부위별로 변환된 영상을 복원하는 단계; 및 복원된 영상을 합성하여 나이 변환된 얼굴을 생성하는 단계를 포함한다. 이에 따라, 얼굴 부위별로 측정된 나이 및 환경적 요인을 기초로 사실적인 얼굴 변환이 가능하다.

Description

얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치
본 발명은 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 얼굴 부위별로 측정된 나이와 개인의 환경 정보를 이용하여 사실적인 나이 변환 결과를 얻을 수 있는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것이다.
얼굴의 나이를 자동으로 인식하고, 특정 나이로 변환하는 연구는 실생활에서의 응용 분야가 늘어나면서, 그에 대한 관심이 증가하고 있다. 특히, 얼굴 영상의 나이를 특정 나이로 변환하는 연구는 다양한 분야에서 많이 사용되고 있다.
기존의 많은 연구에서 입력 영상의 나이로부터 원하는 나이로 변환하고자 할 때, 얼굴 전체 나이를 실제 나이로 동일하게 설정하고 나이를 변환하였다. 그러나, 얼굴의 부위별 노화 과정은 환경적인 요인과 결합되어 차이가 있을 수 있다. 예를 들어, 야외에서 활동을 많이 하는 직업을 가진 사람의 경우, 얼굴의 전체 형태(shape)는 실제 본인의 나이에 맞게 변화되지만, 피부의 경우에는 자외선의 영향을 많이 받기 때문에 노화가 더 빨리 진행될 수 있다.
따라서, 본 나이에 비해 피부 나이가 더 많게 측정될 수 있다. 또한, 기능성 화장품, 피부 미용 등으로 꾸준히 피부를 관리하는 사람의 경우, 그렇지 않은 사람에 비해 피부의 노화가 지연될 수 있다. 이와 같이, 얼굴 부위별로 측정되는 나이와 개인의 환경 정보를 고려하지 않고 얼굴의 나이를 변환했을 때, 정확한 나이 변환 결과를 얻기 어려운 경우가 발생한다.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 정확한 나이 변환 결과를 도출하기 위해 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법은, 입력되는 얼굴 영상을 기초로 얼굴 부위별로 나이를 측정하는 단계; 개인의 환경적인 요인을 지정하는 단계; 상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환하는 단계; 상기 얼굴 부위별로 변환된 영상을 복원하는 단계; 및 복원된 영상을 합성하여 나이 변환된 얼굴을 생성하는 단계를 포함한다.
본 발명의 실시예에서, 상기 입력되는 얼굴 영상을 기초로 얼굴 부위별로 나이를 측정하는 단계는, 입력되는 얼굴 영상을 얼굴 부위별로 세분화하는 단계; 상기 부위별 특징을 추출하는 단계; 및 상기 부위별 특징으로부터 나이를 측정하는 단계를 포함할 수 있다.
본 발명의 실시예에서, 상기 부위별 특징으로부터 나이를 측정하는 단계는, 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 형태(shape)와 텍스쳐(texture)에 대한 나이를 측정할 수 있다.
본 발명의 실시예에서, 상기 부위별 특징을 추출하는 단계는, 통계적 분석 방법, 주파수 분석 기반 필터 및 지역적 이진 패턴 분석 방법(Local Binary Pattern) 중 적어도 하나를 이용하여 부위별 특징을 추출할 수 있다.
본 발명의 실시예에서, 상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환하는 단계는, 상기 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 형태(shape)와 텍스쳐(texture)에 대한 나이를 변환할 수 있다.
본 발명의 실시예에서, 상기 복원된 영상을 합성하여 나이 변환된 얼굴을 생성하는 단계는, 나이 변환된 상기 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 텍스쳐(texture)에 대해 복원된 영상을 합성하는 단계; 및 상기 합성된 영상을 나이 변환된 상기 얼굴의 형태(shape)와 결합하여 구부리는(warping) 단계를 포함할 수 있다.
본 발명의 실시예에서, 상기 개인의 환경적인 요인을 지정하는 단계는, 개인의 건강, 체형, 직업, 생활 습관, 인종, 지역 중 적어도 하나를 지정할 수 있다.
본 발명의 실시예에서, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법은, 환경적 요인에 따라 얼굴 영상을 분류한 데이터베이스를 구축하는 단계; 및 상기 데이터베이스를 이용하여 환경별 나이 함수(aging function)를 학습하는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환하는 단계는, 상기 환경별 나이 함수(aging function)를 이용할 수 있다.
본 발명의 실시예에서, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법은, 상기 얼굴 부위별 나이와 환경적 요인을 기반으로 생성된 나이 변환 결과와, 다른 환경적 요인을 기반으로 생성된 나이 변환 결과를 시각적으로 비교하거나 또는 두 결과의 얼굴 부위별로 측정된 나이로 비교하는 단계를 더 포함할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치는, 입력되는 얼굴 영상을 기초로 얼굴 부위별로 나이를 측정하는 나이 측정부; 개인의 환경적인 요인을 지정하는 환경 선택부; 상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환하는 나이 변환부; 상기 얼굴 부위별로 변환된 영상을 복원하는 영상 복원부; 및 복원된 영상을 합성하여 나이 변환된 얼굴을 생성하는 시뮬레이션부를 포함한다.
본 발명의 실시예에서, 상기 나이 측정부는, 입력되는 얼굴 영상을 얼굴 부위별로 세분화하는 분할부; 상기 부위별 특징을 추출하는 특징 추출부; 및 상기 부위별 특징으로부터 나이를 추정하는 나이 추정부를 포함할 수 있다.
본 발명의 실시예에서, 상기 나이 추정부는, 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 형태(shape)에 대한 나이를 측정하는 얼굴 형태 측정부; 및 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 텍스쳐(texture)에 대한 나이를 측정하는 텍스쳐 측정부를 포함할 수 있다.
본 발명의 실시예에서, 상기 특징 추출부는, 통계적 분석 기법, 주파수 분석 기반 필터 및 지역적 이진 패턴 분석 방법(Local Binary Pattern) 중 적어도 하나를 이용하여 부위별 특징을 추출할 수 있다.
본 발명의 실시예에서, 상기 나이 추정부는, 나이 인식기 및 피부 측정 센서 중 적어도 하나를 이용할 수 있다.
본 발명의 실시예에서, 상기 나이 변환부는, 상기 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 형태(shape) 및 텍스쳐(texture)에 대한 나이를 변환할 수 있다.
본 발명의 실시예에서, 상기 시뮬레이션부는, 나이 변환된 상기 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 텍스쳐(texture)에 대해 복원된 영상을 합성하는 합성부; 및 상기 합성된 영상을 나이 변환된 상기 얼굴 형태(shape)와 결합하여 구부리는(warping) 와핑부를 포함할 수 있다.
본 발명의 실시예에서, 상기 환경 선택부는, 개인의 건강, 체형, 직업, 생활 습관, 인종, 지역 중 적어도 하나를 지정할 수 있다.
본 발명의 실시예에서, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치는, 환경적 요인에 따라 얼굴 영상을 분류한 데이터베이스를 구축하는 데이터베이스 구축부; 및 상기 데이터베이스를 이용하여 환경별 나이 함수(aging function)를 학습하는 학습부를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 나이 변환부는, 상기 환경별 나이 함수(aging function)를 이용할 수 있다.
본 발명의 실시예에서, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치는, 상기 시뮬레이션부의 결과와, 다른 환경적 요인을 기반으로 생성된 나이 변환 결과를 시각적으로 비교하거나 또는 두 결과의 얼굴 부위별로 측정된 나이로 비교하는 비교부를 더 포함할 수 있다.
이와 같은 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법에 따르면, 얼굴을 다양한 부위로 나누어 세부적으로 나이를 변환하며, 얼굴 부위별 측정된 나이를 기반으로 나이를 변환한다. 또한, 얼굴 부위에 따라 다르게 적용하는 환경 변수를 활용하여 나이를 변환한다.
본 발명은 얼굴 영상을 이용하여 얼굴 부위별 나이를 측정하고, 이를 기반으로 나이 변환 얼굴을 생성하는 방법으로 실제 나이와 얼굴 부위별 측정된 나이의 차이가 있는 경우, 기존 방법에 비해 사실적인 나이 변환 결과를 얻을 수 있다.
또한, 본 제안 방법은 얼굴 부위별 나이 변환 과정에 영향을 주는 환경적 요인(건강, 체형, 직업, 생활습관 등)을 함께 사용함으로써 개인 맞춤형 나이 변환 결과를 얻을 수 있다.
본 발명은 얼굴 부위별 나이와 환경적 요인을 기반으로 생성한 나이 변환 결과와 다른 환경적 요인을 기반으로 생성한 나이 변환 결과를 시각적으로 비교하거나 또는 두 결과의 얼굴 부위별로 측정된 나이 등으로 비교함으로써, 얼굴의 노화에 영향을 주는 개인의 환경적 요인을 확인하고 이를 개선하는데 사용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 나이 변환 장치의 블록도이다.
도 2는 도 1의 나이 측정부의 상세 블록도이다.
도 3은 도 1의 시뮬레이션부의 상세 블록도이다.
도 4는 본 발명의 일 실시예에 따른 나이 변환 방법의 흐름도이다.
도 5는 도 4의 나이 변환 방법의 상세한 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 나이 변환 장치의 블록도이다. 도 2는 도 1의 나이 측정부의 상세 블록도이다. 도 3은 도 1의 시뮬레이션부의 상세 블록도이다.
본 발명에 따른 나이 변환 장치(10)는 얼굴을 다양한 부위로 나누고, 각 얼굴 부위별 나이 정보를 기반으로 나이를 변환하고, 또한 각 얼굴 부위별 나이 변환 과정에 영향을 주는 환경 변수를 이용하여 나이를 변환한다.
도 1을 참조하면, 본 발명에 따른 나이 변환 장치(10)는, 오프라인 과정에서 데이터베이스를 구축하고, 환경별 나이 함수(aging function)를 학습하는 오프라인부(100) 및 온라인 과정으로 입력되는 얼굴 영상을 기초로 나이 변환된 영상을 출력하는 온라인부(300)를 포함한다.
본 발명의 상기 나이 변환 장치(10)는 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 오프라인부(100) 및 상기 온라인부(300)의 구성은 상기 나이 변환 장치(10)에서 실행되는 나이 변환을 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 나이 변환 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 오프라인부(100) 및 상기 온라인부(300)의 각 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
상기 나이 변환 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 나이 변환 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 나이 변환 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
아래에서는 상기 나이 변환 장치(10)의 각 구성에 대해 간단히 설명하고, 본 발명에 따른 나이 변환 방법의 구체적인 내용은 도 4 이하를 참조하여 자세히 설명한다.
상기 오프라인부(100)는 데이터베이스 구축부(130) 및 학습부(150)를 포함한다. 상기 오프라인부(100)는 상기 온라인부(300)와 별도의 모듈 또는 장치로 형성될 수 있고, 이와 반대로 하나의 모듈 또는 장치로 형성될 수도 있다.
상기 데이터베이스 구축부(130)는 얼굴 영상을 수집하고, 각 얼굴 영상의 주인공의 건강, 체형, 직업, 생활습관, 성별, 인종 등 여러 가지 환경적 요인을 조사하고, 상기 얼굴 영상을 환경 별로 분류하여 데이터베이스를 구축한다. 상기 환경적 요인의 생활 습관에는 피부관리, 음주, 흡연, 운동, 식이요법 등이 포함될 수 있다. 상기 환경적 요인은 얼굴 영상의 주인공의 설문 작성을 통해 이루어지거나, 체형, 직업 등의 특수 그룹을 지정하여 얼굴 영상을 수집함으로써 자동으로 조사될 수도 있다.
상기 학습부(150)는 상기 데이터베이스를 이용하여 얼굴 부위별 나이와 환경 별 나이 함수(aging function)를 학습한다. 상기 나이 함수(aging function)는 얼굴의 부위별 특징 및 환경 정보와 나이와의 관계를 함수로 정의한 것으로, 이에 따라 얼굴 부위별 나이와 환경적 요인을 기반으로 나이 변환 모델을 생성할 수 있다.
상기 온라인부(300)는 나이 측정부(310), 환경 선택부(330), 나이 변환부(350), 영상 복원부(370) 및 시뮬레이션부(390)를 포함한다.
상기 나이 측정부(310)는 입력되는 얼굴 영상을 기초로 얼굴 부위별로 나이를 측정한다. 사람의 얼굴 영상은 눈, 코, 입 등의 다양한 구성 요소들의 형태와 텍스처 정보로 구성되어 있으며, 각 구성 요소에 따라 노화 과정에 차이가 있다.
또한, 사람의 얼굴은 시간의 변화뿐만 아니라 많은 환경적 요인(건강, 직업, 생활습관 등)에 영향을 받기 때문에 실제 나이와 얼굴 부위별로 측정되는 나이에 차이가 존재한다. 예를 들어, 야외에서 활동을 많이 하는 직업을 가진 사람의 경우, 얼굴의 전체 형태(shape)는 실제 본인의 나이에 맞게 변화되지만, 피부 나이의 경우에는 자외선의 영향을 많이 받기 때문에 노화가 더 빨리 진행될 수 있다.
따라서, 기존에는 얼굴 모든 부위에 동일한 나이를 기준으로 나이 변환을 시도하나, 본 발명에서는 얼굴 부위별로 각각 측정된 나이를 기준으로 하여 개인 고유의 특징을 기반으로 한다.
도 2를 참조하면, 상기 나이 측정부(310)는 입력되는 얼굴 영상을 얼굴 부위별로 세분화하는 분할부(311), 상기 부위별 특징을 추출하는 특징 추출부(313) 및 상기 부위별 특징으로부터 나이를 추정하는 나이 추정부(315)를 포함한다.
상기 분할부(311)는 입력 받은 얼굴 영상을 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)로 세분화하여 구분할 수 있다.
상기 특징 추출부(313)는 상기 세분화된 특징들로부터 각 특징 벡터를 추출 수 있다. 예를 들어, 얼굴의 눈, 코, 입 등의 형태(shape)와 텍스쳐(texture) 등의 특징에 대해서는 통계적 분석 기법을 통해 특징을 추출하고, 주름(wrinkle), 피부(skin) 등은 주파수 분석 기반 필터 및 지역적 이진 패턴 분석 방법(Local Binary Pattern) 등을 이용하여 특징을 추출할 수 있다.
상기 나이 추정부(315)는 얼굴의 눈, 코, 입 등의 형태(shape)에 대한 나이를 측정하는 얼굴 형태 측정부 및 얼굴의 눈, 코, 입 등의 텍스쳐(texture), 주름(wrinkle) 및 피부(skin)의 일부 또는 모두의 텍스쳐(texture) 대한 나이를 측정하는 텍스쳐 측정부를 포함할 수 있다.
일 실시예로서, 상기 나이 추정부(315)는 추출된 특징과 나이 정보와의 SVR(Support vector regression)을 통해 학습하여, 각 부위별 나이를 측정할 수 있다. 또한, 상기 나이 추정부(315)는 실험자를 대상으로 실시하는 주관적 평가에 의해 수집된 정보를 보완자료로 활용할 수 있다.
다른 실시예로서, 상기 나이 추정부(315)는 나이 인식기, 피부 측정 센서 등의 별도 모듈을 이용할 수도 있다.
상기 환경 선택부(330)는 개인의 환경적인 요인을 지정한다. 이는 개인의 건강, 체형, 직업, 생활 습관, 인종, 지역 중 적어도 하나를 지정할 수 있다. 상기 환경적 요인의 생활 습관에는 피부관리, 음주, 흡연, 운동, 식이요법 등이 포함될 수 있다.
이러한 환경 선택은 얼굴 영상 모델에 대해 설문 작성을 통해 수집된 자료를 기초로 할 수 있다.
상기 나이 변환부(350)는 상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환한다. 이때, 상기 오프라인부(100)의 학습부(150)에서 학습한 상기 나이 함수(aging function)를 이용할 수 있다.
구체적으로, 나이 함수를 이용하여 나이 변환 모델을 학습하고, 얼굴 부위별 측정된 나이 정보를 기반으로 나이 함수를 적용한다. 또한, 환경적 요인으로 분류된 데이터베이스를 이용하여, 각 환경 별 나이 함수를 학습하고, 입력 영상의 환경적 요인에 맞는 나이 함수를 이용하여 나이 변환한다.
부위별 나이 변환은, 상기 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 형태(shape) 및 텍스쳐(texture)에 대한 나이를 변환할 수 있다.
예를 들어, 주름에 대해서는 주파수 분석 기반 필터에 의해 특징을 추출하고 나이 함수로 나이 변환하며, 피부에 대해서는 지역적 이진 패턴 분석 방법(Local Binary Pattern)에 의해 특징을 추출하고 나이 함수로 나이 변환할 수 있다.
상기 영상 복원부(370)는 상기 얼굴 부위별로 변환된 영상을 복원한다. 예를 들어, 얼굴의 눈, 코, 입 등의 형태(shape)와 텍스쳐(texture), 주름(wrinkle) 및 피부(skin)의 각 부위에 대한 변환 영상을 각 복원 기법에 따라 복원할 수 있다.
예를 들어, 학습 데이터(training data)의 주름, 피부 특징 벡터들과 주름, 피부 영상 패치들로 구성된 지역적 영상 테이블(local image table)을 이용하여 영상으로 복원할 수 있다. 또한, 주름 및 피부 특징의 유사성과 환경적 요인을 이용하여 지역적 영상 테이블에서 주름, 피부 영상 패치를 선택하는 방법으로 부위별 영상 복원이 가능하다.
상기 시뮬레이션부(390)는 상기 영상 복원부(370)에서 각 부위별로 복원된 영상을 합성하여 나이 변환된 얼굴을 생성하고, 결과물을 출력한다.
도 3을 참조하면, 상기 시뮬레이션부(390)는 나이 변환된 상기 얼굴의 각 부위들 (눈, 코, 입, 턱, 이마, 주름(wrinkle) 및 피부(skin) 등)의 형태(shape)와 텍스쳐(texture)에 대해 복원된 영상을 합성하는 합성부(391) 및 상기 합성된 영상을 나이 변환된 상기 얼굴 형태(shape)와 결합하여 구부리는(warping) 와핑부(393)를 포함할 수 있다.
예를 들어, 상기 합성부(391)는 주파수 분석 기반 필터로 만든 주름 마스크를 이용하여 주름 부분만 추출한 후, 나이 변환 얼굴 텍스쳐에 합성하고, 이진화를 통해 피부 마스크를 생성하여 점, 기미 등 특징만을 나이 변환 얼굴 텍스쳐에 합성할 수 있다.
상기 와핑부(393)는 나이 변환된 텍스쳐를 나이 변환된 얼굴 형태에 맞게 와이핑하여 최종 나이 변환 얼굴을 생성한다.
다른 실시예로, 본 발명에 따른 상기 나이 변환 장치(10)는 상기 시뮬레이션부(390)에서 도출된 결과, 즉 개인의 얼굴 부위별 나이와 환경적 요인을 기반으로 생성된 나이 변환 결과와 다른 환경적 요인을 기반으로 생성된 나이 변환 결과를 시각적으로 비교하거나 또는 두 결과의 얼굴 부위별로 측정된 나이 등으로 비교하여 제공하는 비교부를 더 포함할 수 있다.
본 발명은 얼굴 부위별 나이를 측정하고, 이를 기반으로 나이 변환 얼굴을 생성하는 방법으로 실제 나이와 얼굴 부위별로 측정된 나이의 차이가 있는 경우, 기존 방법에 비해 사실적인 나이 변환 결과를 얻을 수 있다. 또한, 본 제안 방법은 얼굴 부위별 나이 변환 과정에 영향을 주는 환경적 요인(건강, 체형, 직업, 생활습관 등)을 함께 사용함으로써 개인 맞춤형 나이 변환 결과를 얻을 수 있다.
또한, 본 발명은 얼굴 부위별 나이와 환경적 요인을 기반으로 생성된 나이 변환 결과와 다른 환경적 요인을 기반으로 생성된 나이 변환 결과를 시각적으로 또는 얼굴 부위별로 측정된 나이 등으로 비교하여, 얼굴의 노화에 영향을 주는 개인의 환경적 요인을 확인하고 이를 개선하는데 사용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 나이 변환 방법의 흐름도이다. 도 5는 도 4의 나이 변환 방법의 상세한 흐름도이다.
본 실시예에 따른 나이 변환 방법은, 도 1의 나이 변환 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 나이 변환 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또한, 본 실시예에 따른 나이 변환 방법은 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
도 4 및 도 5를 참조하면, 본 실시예에 따른 나이 변환 방법은, 얼굴 영상, 환경적 요인을 입력 받아 이를 기반으로 나이 변환을 수행한다(단계 S00).
먼저, 입력되는 얼굴 영상을 기초로 얼굴 부위별로 나이를 측정한다(단계 S10). 사람의 얼굴 영상은 눈, 코, 입 등의 다양한 구성 요소들의 형태와 텍스처 정보로 구성되어 있으며, 각 구성 요소에 따라 노화 과정에 차이가 있다. 따라서, 기존에는 개인의 태어난 해를 기준으로 나이 변환을 시도하나, 본 발명에서는 얼굴 전체의 실제 나이가 아닌 얼굴 부위별 측정된 나이를 기준으로 하여 개인 고유의 특징을 기반으로 한다.
상기 입력되는 얼굴 영상을 기초로 얼굴 부위별로 나이를 측정하는 단계(단계 S10)는, 입력되는 얼굴 영상을 얼굴 부위별로 세분화하는 단계(단계 S11), 상기 부위별 특징을 추출하는 단계(단계 S12) 및 상기 부위별 특징으로부터 나이를 측정하는 단계(단계 S13)를 포함할 수 있다.
상기 입력되는 얼굴 영상을 얼굴 부위별로 세분화하는 단계는, 얼굴 영상을 눈, 코, 입, 턱, 이마, 피부, 주름 등의 형태(shape)와 텍스쳐(texture)로 분할할 수 있다(단계 S11).
상기 부위별 특징을 추출하는 단계는 통계적 분석 기법, 주파수 분석 기반 필터 및 지역적 이진 패턴 분석 방법(Local Binary Pattern) 중 적어도 하나를 이용할 수 있다(단계 S12).
일 실시예로, 얼굴의 눈, 코, 입 등의 형태(shape)와 텍스쳐(texture)에 대해서는 통계적 분석 기법을 사용하고, 주름(wrinkle) 에 대해서는 주파수 분석 기반 필터를 사용하고, 피부(skin)에 대해서는 지역적 이진 패턴 분석 방법(Local Binary Pattern)을 사용할 수 있다.
이어, 상기 추출한 특징을 이용하여, 상기 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 형태(shape) 및 텍스쳐(texture)에 대한 나이를 측정한다(단계 S13).
또한, 사람의 얼굴은 시간의 변화뿐만 아니라 많은 환경적 요인(건강, 직업, 생활습관 등)에 영향을 받기 때문에 얼굴 부위별로 측정되는 나이와 노화 과정에 차이가 존재한다. 예를 들어, 야외에서 활동을 많이 하는 직업을 가진 사람의 경우, 얼굴의 전체 형태(shape)는 실제 본인의 나이에 맞게 변화되지만, 피부 나이의 경우에는 자외선의 영향을 많이 받기 때문에 노화가 더 빨리 진행될 수 있다.
따라서, 개인의 환경적인 요인을 지정한다(단계 S00). 이는 개인의 건강, 체형, 직업, 생활 습관, 인종, 지역 중 적어도 하나를 지정할 수 있다. 상기 환경적 요인의 생활 습관에는 피부관리, 음주, 흡연, 운동, 식이요법 등이 포함될 수 있다. 이러한 환경 선택은 설문 작성을 통해 수집된 자료를 기초로 할 수 있다.
이후, 상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환한다(단계 S50).
마찬가지로, 나이 변환 단계(단계 S50)에서도, 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 형태(shape) 및 텍스쳐(texture)에 대해 부위별로 수행된다.
상기 나이 변환 단계(단계 S50)는 미리 학습한 상기 나이 함수(aging function)를 이용할 수 있다. 이를 위해 얼굴 영상을 수집하고, 각 얼굴 영상의 주인공의 건강, 체형, 직업, 생활습관, 성별, 인종 등 여러 가지 환경적 요인을 조사하고, 상기 얼굴 영상을 환경 별로 분류하여 데이터베이스를 구축한다. 상기 환경적 요인의 생활 습관에는 피부관리, 음주, 흡연, 운동, 식이요법 등이 포함될 수 있다. 상기 환경적 요인은 얼굴 영상의 주인공의 설문 작성을 통해 이루어지거나, 체형, 직업 등의 특수 그룹을 지정하여 얼굴 영상을 수집함으로써 자동으로 조사될 수도 있다.
상기 데이터베이스를 이용하여 얼굴 부위별 나이와 환경 별 나이 함수(aging function)를 학습한다. 상기 나이 함수(aging function)는 얼굴의 부위별 특징 및 환경 정보와 나이와의 관계를 함수로 정의한 것으로, 이에 따라 얼굴 부위별 나이와 환경적 요인을 기반으로 나이 변환 모델을 생성할 수 있다.
구체적으로, 나이 함수를 이용하여 나이 변환 모델을 학습하고, 얼굴 부위별 측정된 나이 정보를 기반으로 나이 함수를 적용한다. 또한, 환경적 요인으로 분류된 데이터베이스를 이용하여, 각 환경 별 나이 함수를 학습하고, 입력 영상의 환경적 요인에 맞는 나이 함수를 이용하여 나이 변환한다.
얼굴 부위별 나이 변환은, 상기 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 형태(shape) 및 텍스쳐(texture)에 대한 나이를 변환할 수 있다.
예를 들어, 주름에 대해서는 주파수 분석 기반 필터에 의해 특징을 추출하고 나이 변환하며, 피부에 대해서는 지역적 이진 패턴 분석 방법(Local Binary Pattern)에 의해 특징을 추출하고 나이 함수로 나이 변환할 수 있다.
얼굴의 부위별 나이 변환이 완료되면, 상기 얼굴 부위별로 변환된 영상을 복원한다(단계 S70). 예를 들어, 얼굴의 눈, 코, 입 등의 형태(shape) 및 텍스쳐(texture), 주름(wrinkle) 및 피부(skin)의 각 부위에 대한 변환 영상을 각 복원 기법이 따라 복원할 수 있다.
최종적으로, 복원된 영상을 합성하여 나이 변환된 얼굴을 생성한다(단계 S90). 구체적으로, 나이 변환된 상기 얼굴의 각 부위들(눈, 코, 입, 턱, 이마, 주름, 피부 등)의 텍스쳐(texture)에 대해 복원된 영상을 합성하는 단계 및 상기 합성된 영상을 나이 변환된 상기 얼굴 형태(shape)와 결합하여 구부리는(warping) 단계를 포함한다.
또한, 얼굴 부위별 나이와 환경적 요인을 기반으로 생성된 나이 변환 결과와 다른 환경적 요인을 기반으로 생성된 나이 변환 결과를 시각적으로 또는 얼굴 부위별로 측정된 나이 등으로 비교하는 단계가 추가적으로 포함될 수 있다.
본 실시예에서는 얼굴 영상을 눈, 코, 입, 턱, 이마, 주름, 피부 등의 형태(shape)와 텍스쳐(texture)로 세분화하여 특징 추출 및 나이변환을 하였으나, 상기 세분화된 요소들은 필요에 따라 추가, 삭제, 변경이 가능하다.
본 발명에서는 얼굴의 부위별로 측정된 나이와 환경적 요인을 고려하여 나이를 변환하는 방법을 제안하였다. 얼굴 부위별로 다르게 측정되는 나이 정보와 개인의 환경 정보를 이용하여 나이를 변환함으로써 개인 맞춤형 나이 변환 결과를 얻을 수 있다. 이에 따라, 기존 방법에 비해 더 정확한 나이 변환 얼굴을 생성할 수 있다. 또한, 본 발명은 얼굴 부위별 나이와 환경적 요인을 기반으로 생성된 나이 변환 결과와 다른 환경적 요인을 기반으로 생성된 나이 변환 결과를 시각적으로 또는 얼굴 부위별로 측정된 나이 등으로 비교함으로써, 얼굴의 노화에 영향을 주는 개인의 환경적 요인을 확인하고 이를 개선하는데 사용할 수 있다.
이와 같은, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
2014년 한국보건산업진흥원의 보고서에 의하면, 국제 화장품 시장 규모는 연평균 3.9 %씩 증가하고 있으며, 2013년 2,495억 달러 규모이다. 본 발명을 통해 소비자의 얼굴 부위별 나이 및 환경적 요인에 따른 나이 변환 얼굴을 생성하여 소비자 맞춤형 제품 개발 및 추천에 활용할 수 있으므로 화장품 산업 분야에 유용하게 활용될 수 있다. 또한, 기능성 화장품을 사용하기 전과 후의 나이 변환 결과를 생성하여 비교함으로써, 화장품의 효과를 평가하고, 해당 제품을 소비자에게 효율적으로 광고하는데 활용할 수 있다.
나아가, 공공 사회 분야에서 본 발명을 통해 과거 사진으로부터 현재 모습을 보다 정확하게 예측하여, 미아, 장기 실종자 등을 찾는데 활용할 수 있을 것으로 예상된다.

Claims (20)

  1. 입력되는 얼굴 영상을 기초로 얼굴 부위별 나이를 측정하는 단계;
    개인의 환경적인 요인을 지정하는 단계;
    상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환하는 단계;
    상기 얼굴 부위별로 변환된 영상을 복원하는 단계; 및
    복원된 영상을 합성하여 나이 변환된 얼굴을 생성하는 단계를 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법.
  2. 제1항에 있어서, 상기 입력되는 얼굴 영상을 기초로 얼굴 부위별로 나이를 측정하는 단계는,
    입력되는 얼굴 영상을 얼굴 부위별로 세분화하는 단계;
    상기 부위별 특징을 추출하는 단계; 및
    상기 부위별 특징으로부터 나이를 측정하는 단계를 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법.
  3. 제2항에 있어서, 상기 부위별 특징으로부터 나이를 측정하는 단계는,
    얼굴의 각 부위들의 형태(shape)와 텍스쳐(texture)에 대한 나이를 측정하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법.
  4. 제3항에 있어서, 상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환하는 단계는,
    얼굴의 각 부위들의 형태(shape)와 텍스쳐(texture)에 대한 나이를 변환하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법.
  5. 제4항에 있어서, 상기 복원된 영상을 합성하여 나이 변환된 얼굴을 생성하는 단계는,
    나이 변환된 상기 얼굴의 각 부위들의 텍스쳐(texture)에 대해 복원된 영상을 합성하는 단계; 및
    상기 합성된 영상을 나이 변환된 상기 얼굴 형태(shape)와 결합하여 구부리는(warping) 단계를 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법.
  6. 제1항에 있어서, 상기 개인의 환경적인 요인을 지정하는 단계는,
    개인의 건강, 체형, 직업, 생활 습관, 인종, 지역 중 적어도 하나를 지정하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법.
  7. 제1항에 있어서,
    환경적 요인에 따라 얼굴 영상을 분류한 데이터베이스를 구축하는 단계; 및
    상기 데이터베이스를 이용하여 환경별 나이 함수(aging function)를 학습하는 단계를 더 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법.
  8. 제7항에 있어서, 상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환하는 단계는,
    상기 환경별 나이 함수(aging function)를 이용하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법.
  9. 제1항에 있어서,
    상기 얼굴 부위별 나이와 환경적 요인을 기반으로 생성된 나이 변환 결과와, 다른 환경적 요인을 기반으로 생성된 나이 변환 결과를 시각적으로 비교하거나 또는 두 결과의 얼굴 부위별로 측정된 나이로 비교하는 단계를 더 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법.
  10. 제1항에 따른 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  11. 입력되는 얼굴 영상을 기초로 얼굴 부위별로 나이를 측정하는 나이 측정부;
    개인의 환경적인 요인을 지정하는 환경 선택부;
    상기 얼굴 부위별 나이와 상기 환경적인 요인에 따른 나이 변환 모델을 적용하여 상기 얼굴 부위별로 나이를 변환하는 나이 변환부;
    상기 얼굴 부위별로 변환된 영상을 복원하는 영상 복원부; 및
    복원된 영상을 합성하여 나이 변환된 얼굴을 생성하는 시뮬레이션부를 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치.
  12. 제11항에 있어서, 상기 나이 측정부는,
    입력되는 얼굴 영상을 얼굴 부위별로 세분화하는 분할부;
    상기 부위별 특징을 추출하는 특징 추출부; 및
    상기 부위별 특징으로부터 나이를 추정하는 나이 추정부를 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치.
  13. 제12항에 있어서, 상기 나이 추정부는,
    얼굴의 각 부위들의 형태(shape)에 대한 나이를 측정하는 얼굴 형태 측정부; 및
    얼굴의 각 부위들의 텍스쳐(texture)에 대한 나이를 측정하는 텍스쳐 측정부를 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치.
  14. 제12항에 있어서, 상기 나이 추정부는,
    나이 인식기 및 피부 측정 센서 중 적어도 하나를 이용하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치.
  15. 제13항에 있어서, 상기 나이 변환부는,
    상기 얼굴의 각 부위들의 형태(shape) 및 텍스쳐(texture)에 대한 나이를 변환하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치.
  16. 제15항에 있어서, 상기 시뮬레이션부는,
    나이 변환된 상기 얼굴의 각 부위들의 텍스쳐(texture)에 대해 복원된 영상을 합성하는 합성부; 및
    상기 합성된 영상을 나이 변환된 상기 얼굴 형태(shape)와 결합하여 구부리는(warping) 와핑부를 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치.
  17. 제11항에 있어서, 상기 환경 선택부는,
    개인의 건강, 체형, 직업, 생활 습관, 인종, 지역 중 적어도 하나를 지정하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치.
  18. 제11항에 있어서,
    환경적 요인에 따라 얼굴 영상을 분류한 데이터베이스를 구축하는 데이터베이스 구축부; 및
    상기 데이터베이스를 이용하여 환경별 나이 함수(aging function)를 학습하는 학습부를 더 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치.
  19. 제18항에 있어서, 상기 나이 변환부는,
    상기 환경별 나이 함수(aging function)를 이용하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치.
  20. 제11항에 있어서,
    상기 시뮬레이션부의 결과와, 다른 환경적 요인을 기반으로 생성된 나이 변환 결과를 시각적으로 비교하거나 또는 두 결과의 얼굴 부위별 측정된 나이로 비교하는 비교부를 더 포함하는, 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 장치.
PCT/KR2016/010464 2015-09-22 2016-09-20 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치 Ceased WO2017052153A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680058221.1A CN108140110B (zh) 2015-09-22 2016-09-20 年龄转换方法、用于执行该方法的存储介质及装置
JP2018514817A JP6694504B2 (ja) 2015-09-22 2016-09-20 顔部位別の年齢と環境的要因に基づく年齢変換方法、これを遂行するための記録媒体、及び装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020150133608A KR101758825B1 (ko) 2015-09-22 2015-09-22 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치
KR10-2015-0133608 2015-09-22
US15/259,645 2016-09-08
US15/259,645 US10593083B2 (en) 2015-09-22 2016-09-08 Method for facial age simulation based on age of each part and environmental factors, recording medium and device for performing the method

Publications (1)

Publication Number Publication Date
WO2017052153A1 true WO2017052153A1 (ko) 2017-03-30

Family

ID=58282779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/010464 Ceased WO2017052153A1 (ko) 2015-09-22 2016-09-20 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (5)

Country Link
US (1) US10593083B2 (ko)
JP (1) JP6694504B2 (ko)
KR (1) KR101758825B1 (ko)
CN (1) CN108140110B (ko)
WO (1) WO2017052153A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491747A (zh) * 2017-08-08 2017-12-19 西南大学 基于回归分析和小波变换的人脸预测方法
CN107483636A (zh) * 2017-09-22 2017-12-15 百度在线网络技术（北京）有限公司 用于推送信息的方法和装置
CN108898587A (zh) * 2018-06-19 2018-11-27 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
CN108932493B (zh) * 2018-06-29 2022-01-28 东北大学 一种面部皮肤质量评价方法
KR102132275B1 (ko) * 2018-08-21 2020-07-09 주식회사 더마프로 딥러닝 기반 주름 평가 장치
CN109285205A (zh) * 2018-10-29 2019-01-29 重庆中科云丛科技有限公司 一种人脸互换方法、系统、计算机可读存储介质及设备
US11127176B2 (en) * 2019-01-31 2021-09-21 L'oreal Systems and methods for visualizing future skin trends based on biomarker analysis
CN109994206A (zh) * 2019-02-26 2019-07-09 华为技术有限公司 一种容貌预测方法及电子设备
KR102720807B1 (ko) * 2019-03-21 2024-10-23 김종호 개인 저장소 기반 미아추적 시스템과 방법
CN111507890B (zh) * 2020-04-13 2022-04-19 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113761985B (zh) * 2020-06-05 2025-03-04 中国科学院上海营养与健康研究所 用于确定影响面部衰老程度的局部区域的方法和装置
KR102498384B1 (ko) 2020-10-08 2023-02-10 (주)가시 나이변화에 따른 얼굴예측 및 ai를 활용한 cctv 기반의 실종자 검색방법
KR102942162B1 (ko) * 2021-09-16 2026-03-23 주식회사 엘지생활건강 인지 나이 예측 장치
KR102555166B1 (ko) * 2022-10-04 2023-07-12 인하대학교 산학협력단 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법 및 시스템
CN116228571B (zh) * 2023-01-29 2026-01-30 厦门美图之家科技有限公司 一种人像视频皱纹祛除方法、装置以及设备
CN121811460A (zh) * 2024-09-29 2026-04-07 株式会社资生堂 人脸衰老预测方法、装置、电子设备、存储介质和程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130049099A (ko) * 2011-11-03 2013-05-13 한국전자통신연구원 얼굴 영상을 이용하여 나이 또는 성별을 추정하는 방법 및 장치
US20140099029A1 (en) * 2012-10-05 2014-04-10 Carnegie Mellon University Face Age-Estimation and Methods, Systems, and Software Therefor
KR101507081B1 (ko) * 2014-05-23 2015-04-01 동국대학교 산학협력단 나이 추정 장치 및 방법
KR20150061914A (ko) * 2013-11-28 2015-06-05 고려대학교 산학협력단 피부 나이 예측 방법 및 장치
KR20150089370A (ko) * 2014-01-27 2015-08-05 주식회사 에스원 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6437866B1 (en) * 1999-07-07 2002-08-20 Fd Management, Inc. System for assisting customers in selecting an optimum color cosmetic product
JP2001212087A (ja) * 2000-01-31 2001-08-07 Axiom Co Ltd 肌年齢算出装置および肌年齢算出方法
US20060274071A1 (en) 2004-09-29 2006-12-07 L'oreal Method of predicting the appearance of at least a portion of an individual's body
CN100386778C (zh) * 2006-06-15 2008-05-07 西安交通大学 基于平均脸和衰老比例图的人脸图像年龄变换方法
US8290257B2 (en) * 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
JP2008242963A (ja) 2007-03-28 2008-10-09 Fujifilm Corp 健康分析表示方法及び健康分析表示装置
US8391639B2 (en) * 2007-07-23 2013-03-05 The Procter & Gamble Company Method and apparatus for realistic simulation of wrinkle aging and de-aging
AU2009289519B2 (en) 2008-09-04 2013-12-05 Elc Management Llc An objective model of apparent age, methods and use
CN101425138B (zh) * 2008-11-18 2011-05-18 北京航空航天大学 一种基于人脸超分辨率处理的人脸老化模拟方法
US9195815B2 (en) * 2011-06-17 2015-11-24 Dell Products Lp. Systems and methods for automated selection of a restricted computing environment based on detected facial age and/or gender
JP2015114946A (ja) 2013-12-13 2015-06-22 沖電気工業株式会社 画像処理装置、プログラムおよび画像処理方法
CN103984948B (zh) * 2014-06-03 2017-04-05 南京大学 一种基于人脸图像融合特征的软双层年龄估计方法
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
JP2016161830A (ja) * 2015-03-03 2016-09-05 カシオ計算機株式会社 コンテンツ出力装置、コンテンツ出力方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130049099A (ko) * 2011-11-03 2013-05-13 한국전자통신연구원 얼굴 영상을 이용하여 나이 또는 성별을 추정하는 방법 및 장치
US20140099029A1 (en) * 2012-10-05 2014-04-10 Carnegie Mellon University Face Age-Estimation and Methods, Systems, and Software Therefor
KR20150061914A (ko) * 2013-11-28 2015-06-05 고려대학교 산학협력단 피부 나이 예측 방법 및 장치
KR20150089370A (ko) * 2014-01-27 2015-08-05 주식회사 에스원 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
KR101507081B1 (ko) * 2014-05-23 2015-04-01 동국대학교 산학협력단 나이 추정 장치 및 방법

Also Published As

Publication number Publication date
KR101758825B1 (ko) 2017-07-18
JP2018531449A (ja) 2018-10-25
US20170084069A1 (en) 2017-03-23
CN108140110A (zh) 2018-06-08
CN108140110B (zh) 2022-05-03
JP6694504B2 (ja) 2020-05-13
US10593083B2 (en) 2020-03-17
KR20170035050A (ko) 2017-03-30

Similar Documents

Publication Publication Date Title
WO2017052153A1 (ko) 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치
CN109730701B (zh) 一种情绪数据的获取方法及装置
JP2018531449A6 (ja) 顔部位別の年齢と環境的要因に基づく年齢変換方法、これを遂行するための記録媒体、及び装置
CN105138954B (zh) 一种图像自动筛选查询识别系统
KR20230054286A (ko) 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법
CN108937407A (zh) 一种智能镜子化妆指导方法及系统
CN111814738A (zh) 基于人工智能的人脸识别方法、装置、计算机设备及介质
Pampouchidou et al. Video-based depression detection using local curvelet binary patterns in pairwise orthogonal planes
Büchner et al. Let's Get the FACS Straight--Reconstructing Obstructed Facial Features
WO2023063772A1 (ko) 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법
WO2023075137A1 (en) Apparatus and method of multimodal contactless vital sign monitoring
CN104850225B (zh) 一种基于多层次融合的活动识别方法
CN115553779A (zh) 一种情绪识别方法、装置、电子设备及存储介质
WO2023060720A1 (zh) 情绪状态展示方法、装置及系统
CN114783023A (zh) 一种融合ai面部表情识别和主观打分的满意度评价系统
CN115223214A (zh) 合成嘴型人脸的识别方法、模型获取方法、装置和设备
CN117093075A (zh) 一种辅助用户化妆的方法、装置、设备和可读存储介质
CN111325139B (zh) 一种唇语识别方法及装置
Shimada et al. Real-time system for horizontal asymmetry analysis on facial expression and its visualization
Nikolaevna et al. Bioengineering system for research on human emotional response to external stimuli
Takeda et al. Exploring the potential for age estimation using facial image sensing technology for postmortem investigation
JP7840772B2 (ja) 鼻唇側影分析方法
Rabashette et al. Emotion Based Music System
CN109509144A (zh) 一种基于对抗生成网络的与职业相关的人脸老化方法
HK40074959A (en) Method for recognizing face with synthetic mouth-shape, model acquisition method, apparatus, and device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848879

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018514817

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16848879

Country of ref document: EP

Kind code of ref document: A1