KR102272975B1 - 메이크업 제품의 현실적인 렌더링을 시뮬레이션하는 방법 - Google Patents

메이크업 제품의 현실적인 렌더링을 시뮬레이션하는 방법 Download PDF

Info

Publication number
KR102272975B1
KR102272975B1 KR1020190158100A KR20190158100A KR102272975B1 KR 102272975 B1 KR102272975 B1 KR 102272975B1 KR 1020190158100 A KR1020190158100 A KR 1020190158100A KR 20190158100 A KR20190158100 A KR 20190158100A KR 102272975 B1 KR102272975 B1 KR 102272975B1
Authority
KR
South Korea
Prior art keywords
image
feature values
makeup
subject
color feature
Prior art date
Application number
KR1020190158100A
Other languages
English (en)
Other versions
KR20200067102A (ko
Inventor
빅토르 마르탱
Original Assignee
샤넬 파르퓜 보트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤넬 파르퓜 보트 filed Critical 샤넬 파르퓜 보트
Publication of KR20200067102A publication Critical patent/KR20200067102A/ko
Application granted granted Critical
Publication of KR102272975B1 publication Critical patent/KR102272975B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 피험자의 얼굴의 이미지 상에 메이크업 제품의 렌더링을 시뮬레이션하는 방법을 개시하고, 상기 방법은, 컴퓨터, 및 복수의 기준 개인 각각에 대해, 메이크업을 하지 않은 기준 개인의 이미지와, 메이크업 제품으로 메이크업을 한 동일한 기준 개인의 이미지를 포함하는 기준 이미지들의 데이터베이스를 저장하는 메모리를 포함하는 시스템에 의해 구현되고,
상기 방법은,
a. 메이크업을 하지 않은 피험자의 얼굴의 이미지를 획득하는 단계,
b. 상기 이미지의 복수의 공간 주파수 범위 각각의 복수의 공간 영역 각각에 대해, 상기 공간 영역의 제 1 색상 특징 값들을 추출하기 위해 상기 이미지를 처리하는 단계,
c. 상기 기준 이미지들의 데이터베이스 중에서, 메이크업을 하지 않았을 때, 상기 피험자의 상기 제 1 색상 특징 값들과 유사한 색상 특징 값들을 갖는 기준 개인의 세트를 결정하는 단계,
d. 상기 피험자의 제 1 색상 특징 값들로부터, 그리고 메이크업 제품을 사용했을 때와 사용하지 않았을 때를 포함하는 기준 개인들의 세트의 색상 특징 값들로부터, 제 2 색상 특징 값들을 결정하는 단계, 및
e. 상기 제 2 색상 특징 값들을 기초로 상기 피험자의 얼굴의 수정된 이미지를 생성하는 단계를 포함한다.

Description

메이크업 제품의 현실적인 렌더링을 시뮬레이션하는 방법{METHOD FOR SIMULATING THE REALISTIC RENDERING OF A MAKEUP PRODUCT}
본 발명은 피험자의 얼굴의 이미지 상에 메이크업 제품의 렌더링을 시뮬레이션하는 방법 및 상기 방법을 구현하기 위한 시스템에 관한 것이다. 본 발명은 파운데이션 메이크업 제품의 렌더링을 시뮬레이션하는데 특히 적합하다.
사람의 혈색에 맞는 파운데이션의 선택은 여러 가지 문제로 인해 항상 어렵다. 첫째, 사람의 피부에 적용된 파운데이션의 색상은 벌크 파운데이션 제품의 색상과 다르고, 사람의 피부색에 따라 사람마다 다르다. 둘째, 사람이 자신의 피부색을 정확하게 알고 어떤 파운데이션이 가장 적합한지를 선택하는 것도 어렵다.
이 문제를 해결하기 위해, 피험자의 얼굴의 이미지 상에 파운데이션의 렌더링을 시뮬레이션하기 위한 해결책이 이미 제안되어 있다. 이 유형의 해결책에서 이미지 상의 렌더링 시뮬레이션은 시뮬레이션 알고리즘 개발자가 설정하고 메이크업 전문가가 검증한 미리 정의된 규칙을 적용한 결과이다. 이러한 미리 정의된 규칙은 예를 들어 벌크 파운데이션 제품의 색상 파라미터들로부터, 파운데이션의 렌더링을 시뮬레이션하는 이미지의 색상 파라미터들을 계산하기 위한 규칙이다.
이 유형의 해결책의 단점은 메이크업 제품의 렌더링이 피험자의 피부색에 의존하지 않기 때문에 시뮬레이션된 렌더링이 완전히 현실적일 수 없다는 것이다.
더 일반적으로, 이 유형의 해결책에서 설정되는 미리 정의된 규칙은, 제한된 양의 파라미터들을 기반으로 하며, 렌더링에 영향을 줄 수 있는, 피부의 모든 특성을 고려하지 않는다는 것이다.
따라서 이러한 유형의 해결책을 사용하는 사용자는, 피부에 적용된, 파운데이션 렌더링의 시뮬레이션과 실제 렌더링을 비교할 때 실망할 수 있다.
이미지 상에 메이크업 제품의 렌더링을 시뮬레이션하는 방법은, Kristina Scherbaum 등의 “Computer-Suggested Facial Makeup”, Computer Graphic Forum, vol 30, n°2, pages 485-492 (2007); Wai-Shun Tong 등의 “Example-Based Cosmetic transfer”, 15th Pacific Conference of Computer Graphics and Applications, pages 211-218 (2011)에서 알려져 있다.
상기를 고려하여, 본 발명은 피험자의 얼굴의 이미지 상에 메이크업 제품의 렌더링을 시뮬레이션하기 위한 보다 현실적인 방법을 제공하는 것을 목적으로 한다.
특히, 본 발명의 하나의 목적은 렌더링의 시뮬레이션에서 피험자의 피부색을 고려하는 것이다.
본 발명의 다른 목적은, 고주파 세부 사항들과 같은, 렌더링을 시뮬레이션하기 위해 채색되는 다른 피부 정보를 고려하는 것이다.
본 발명의 다른 목적은 실제 데이터, 즉 사람에게 메이크업 제품을 렌더링하는 실제 이미지에 기초하는 것이다.
피험자의 얼굴의 이미지 상에 메이크업 제품의 렌더링을 시뮬레이션하는 방법으로서, 상기 방법은, 컴퓨터, 및 복수의 기준 개인 각각에 대해, 메이크업을 하지 않은 기준 개인의 이미지와, 메이크업 제품으로 메이크업을 한 동일한 기준 개인의 이미지를 포함하는 기준 이미지들의 데이터베이스를 저장하는 메모리를 포함하는 시스템에 의해 구현되고,
상기 방법은,
a. 메이크업을 하지 않은 피험자의 얼굴의 이미지를 획득하는 단계,
b. 상기 이미지의 복수의 공간 주파수 범위 각각의 복수의 공간 영역 각각에 대해, 상기 공간 영역의 제 1 색상 특징 값들을 추출하기 위해 상기 이미지를 처리하는 단계,
c. 상기 기준 이미지들의 데이터베이스 중에서, 메이크업을 하지 않았을 때, 상기 피험자의 상기 제 1 색상 특징 값들과 유사한 색상 특징 값들을 갖는 기준 개인들의 세트를 결정하는 단계,
d. 상기 피험자의 제 1 색상 특징 값들로부터, 그리고 메이크업 제품을 사용했을 때와 사용하지 않았을 때를 포함하는 기준 개인들의 세트의 색상 특징 값들로부터, 제 2 색상 특징 값들을 결정하는 단계, 및
e. 상기 제 2 색상 특징 값들을 기초로 상기 피험자의 얼굴의 수정된 이미지를 생성하는 단계를 포함한다.
실시예들에서, 상기 단계 b.는,
- 복수의 2차 이미지를 획득하기 위해, 상기 피험자의 얼굴의 이미지를 복수의 공간 주파수 범위들로 분해하는 단계로서, 각각의 2차 이미지가 공간 주파수 범위들 중 하나에 대응하는, 분해하는 단계,
- 각각의 2차 이미지에 대해 복수의 공간 영역을 획득하기 위해 상기 복수의 2차 이미지 각각에 대해 공간 분해를 수행하는 단계, 및
- 각각의 2차 이미지의 각 공간 영역의 제 1 색상 특징 값들을 추출하는 단계를 포함한다.
실시예들에서, 상기 얼굴의 이미지를 복수의 공간 주파수 범위들로 분해하는 단계는, DoG(Difference of Gaussians)에 의해 수행된다.
실시예들에서, 각가의 이미지는 색상 파라미터들을 갖는 복수의 픽셀을 포함하고, 공간 영역의 색상 특징 값들은, 공간 영역의 픽셀들의 각각의 색상 파라미터들의 평균 값 및 표준 편차를 포함한다.
실시예들에서, 상기 단계 e.는, 각각의 주파수 범위의 각각의 공간 영역이 제 2 색상 특징 값들을 나타내도록 각 주파수 범위의 각 공간 영역의 색상 파라미터들을 수정하는 단계, 및 상기 피험자의 이미지의 픽셀들의 색상 파라미터들을 모든 주파수 범위들에 걸친 상기 수정된 색상 파라미터들의 합으로 대체하는 단계를 포함한다.
실시예들에서, 상기 데이터베이스의 각각의 이미지는, 이미지 상에 상기 단계 b의 처리를 구현함으로써 결정되는 색상 특징 값들과 연관되고, 그리고 상기 단계 c. 는, 상기 피험자의 제 1 색상 특징 값들과 메이크업을 하지 않은 기준 개인의 각 이미지의 색상 특징 값들 사이의 거리를 계산하는 단계, 및 상기 피험자와의 가장 작은 계산된 거리를 갖는 세트의 기준 개인들을 선택하는 단계를 포함한다.
상기 단계 c.는, 상기 단계 b.의 처리를 이미지 상에 구현함으로써 데이터베이스의 각 이미지에 색상 특징 값들을 연관시키는 예비 단계를 더 포함할 수 있다.
실시예들에서, 상기 단계 d.는, 메이크업을 하지 않은 기준 개인들의 세트의 특징 값들의 중심 값(centroid)으로 상기 피험자의 제 1 색상 특징 값들을 표현하는 단계, 및 메이크업을 한 기준 개인들의 세트의 특징 값들의 동일한 중심 값으로 제 2 특징 값들을 결정하는 단계를 포함할 수 있다.
실시예들에서, 상기 방법은, 상기 단계 b. 이전에, 상기 피험자의 얼굴의 획득된 이미지를 평균 형상으로 왜곡시키는 단계, 및 상기 단계 e. 이후에 상기 생성된 수정된 이미지를 상기 피험자의 얼굴의 초기 형상으로 다시 왜곡시키는 단계를 포함한다.
다른 목적에 따라, 컴퓨터에 의해 구현될 때, 상기 설명에 따른 방법을 구현하기 위한 코드 명령어들을 포함하는, 컴퓨터 프로그램 제품이 개시된다.
다른 목적에 따라, 피험자의 얼굴의 이미지 상에 메이크업 제품의 렌더링을 시뮬레이션하기 위한 시스템이 개시되고, 해당 시스템은, 컴퓨터 및 복수의 기준 개인 각각에 대해, 메이크업을 하지 않은 기준 개인의 이미지와, 메이크업 제품으로 메이크업을 한 동일한 기준 개인의 이미지를 포함하는 기준 이미지들의 데이터베이스를 저장하는 메모리를 포함하고, 해당 시스템은, 상기 설명에 따른 방법을 구현하기 위해 구성된다.
기준 이미지들의 데이터베이스를 구축하는, 컴퓨터에 의해 구현되는 방법이 개시되고, 해당 방법은,
- 복수의 기준 개인 각각에 대해, 메이크업을 하지 않은 기준 개인의 얼굴의 이미지와 메이크업 제품으로 메이크업을 한 동일한 기준 개인의 얼굴의 이미지를 획득하는 단계,
- 상기 이미지의 복수의 주파수 범위 각각의 복수의 공간 영역 각각에 대해, 상기 공간 영역의 색상 특징 값들을 추출하기 위해 상기 이미지를 처리하는 단계, 및
- 상기 이미지로부터 추출된 색상 특징 값들과 연관지어 각 이미지를 메모리에 저장하는 단계를 포함한다.
이 방법의 실시예들에서, 상기 이미지를 처리하는 단계는,
- 복수의 2차 이미지를 획득하기 위해, 상기 피험자의 얼굴의 이미지를 복수의 주파수 범위들로 분해하는 단계로서, 각각의 2차 이미지가 주파수 범위들 중 하나에 대응하는, 분해하는 단계,
- 각각의 2차 이미지에 대해, 복수의 공간 영역을 획득하기 위해 상기 복수의 2차 이미지 각각에 대해 공간 분해를 수행하는 단계, 및
- 각각의 2차 이미지의 각 공간 영역의 제 1 색상 특징 값들을 추출하는 단계를 포함할 수 있다.
일시예들에서, 각각의 이미지는 색상 파라미터들을 포함하는 복수의 픽셀을 포함하고, 공간 영역의 색상 특징 값들은, 공간 영역의 픽셀들의 각 색상 파라미터들의 평균 값 및 표준 편차를 포함한다.
또한, 컴퓨터에 의해 실행될 때, 기준 이미지들의 데이터베이스를 구축하는 방법의 구현을 위한 코드 명령어들을 포함하는 컴퓨터 프로그램 제품이 개시된다.
본 발명에 따른 방법은, 피험자의 피부색, 및 피부의 질감(texture)과 같은 고주파 세부 사항을 고려하므로, 메이크업 제품의 렌더링의 현실적 시뮬레이션을 가능하게 하고, 따라서 동일한 메이크업 제품을 서로 다른 두 사람에 대해 다르게 렌더링을 할 수 있고 더 현실적으로 렌더링을 할 수 있다.
또한, 메이크업 제품의 렌더링의 시뮬레이션은, 실제 데이터, 즉 기준 인물에 대한 메이크업 제품의 렌더링의 실제 이미지에 기초한다. 따라서 모든 피부 정보가 고려되고 더 나은 시뮬레이션 결과를 제공한다.
본 발명의 다른 특징들 및 장점은 첨부 도면을 참조하여 비제한적인 예로서 주어진 다음의 상세한 설명으로부터 명확해질 것이다.
도 1은 본 발명의 일 실시 예에 따른 메이크업 제품의 렌더링을 시뮬레이션하는 방법의 주요 단계를 개략적으로 나타낸다.
도 2a 및 2b는 2개의 실시 예에 따른 방법을 구현하기 위한 시스템의 예를 개략적으로 나타낸다.
도 3은 이미지를 주파수 범위들로 분해한 예를 나타낸다.
도 4는 이미지의 공간 분해의 예를 나타낸다.
도 5는 메이크업 적용 전후의 피험자 및 기준 개인들의 색상 특징 값들의 투영의 예를 나타내고, 메이크업 적용 후의 피험자의 색상 특징 값들은 시뮬레이션 방법으로부터 얻어진 값이다.
도 6a는 메이크업을 하지 않은 사람의 예시적인 이미지를 도시한다.
도 6b는 파운데이션 제품을 화장한 도 6a의 사람의 이미지를 도시한다.
도 6c는 파운데이션 제품의 렌더링이 시뮬레이션된 도 6a의 사람의 시뮬레이션된 이미지를 나타낸다.
도 7은 이미지들의 데이터베이스를 구축하는 방법의주요 단계를 개략적으로 나타낸다.
도 1을 참조하여, 피험자의 얼굴의 이미지 상에 메이크업 제품의 렌더링을 시뮬레이션하기 위한 방법의 주요 단계가 설명될 것이다. 이 방법은 도 2a 및 2b에 개략적으로 도시된 시스템(1)에 의해 구현되며, 적어도 컴퓨터(10) 및 기준 이미지들의 데이터베이스를 저장하는 메모리(11)를 포함한다. 선택적으로, 시스템(1)은 피험자의 얼굴의 이미지를 캡처하기에 적합한 적어도 하나의 카메라(12)를 더 포함할 수 있으며, 그 이미지에 대해 메이크업 제품의 렌더링이 시뮬레이션된다. 시스템(1)은 또한 바람직하게는 메이크업 제품의 렌더링이 시뮬레이션되는 수정된 이미지를 디스플레이할 수 있는 디스플레이(13)를 포함한다.
도 2a에 도시된 제 1 실시 예에 따르면, 방법은 스마트폰 또는 디지털 태블릿과 같은 피험자의 개인 전자 장치의 소프트웨어 애플리케이션으로 이용 가능하게 된다. 이 경우, 시스템(1)은 통신 네트워크(인터넷, 3G, 4G 등)에 대한 적어도 하나의 연결 인터페이스(14)를 포함하여 개인 전자 장치와 통신할 수 있다. 시스템(1) 자체는 카메라 또는 디스플레이를 포함하지 않을 수 있지만, 아래에서 더 상세히 논의되는 바와 같이 개인 전자 장치의 카메라 및 디스플레이에 의존한다. 대안으로, 시스템은 개인 전자 장치에 완전히 통합되어, 기준 이미지들의 데이터베이스는 개인 전자 장치의 메모리에 저장되고, 컴퓨터(10)는 프로세서, 마이크로 프로세서 등과 같은 장치의 구성 요소로 될 수 있다.
다른 실시 예에 따르면, 방법은 미용실 또는 상점에서 구현될 수 있다. 이 경우에, 시스템은 미용실 또는 상점의 구내에 물리적으로 설치될 수 있고, 예를 들어 도 2b에 도시된 바와 같이, 미용실 또는 상점에 위치한 스크린(13) 및 카메라(12)를 포함할 수 있다. 대안으로, 시스템(1)은 미용실 또는 상점으로부터 원격에 위치될 수 있고 미용실에 위치한 카메라 및 디스플레이에 대한 연결 인터페이스(14)를 포함할 수 있다.
메모리(11)에 의해 저장된 데이터베이스는, 복수의 기준 개인 각각에 대해, 기준 개인의 누드 피부를 갖는, 즉 임의의 메이크업 제품으로 메이크업하지 않은 얼굴의 하나의 이미지와, 렌더링이 시뮬레이션되어야 하는 메이크업 제품으로 메이크업된, 해당 동일한 개인의 얼굴의 적어도 하나의 이미지를 포함한다. 바람직하게는, 데이터베이스는 복수의 메이크업 제품의 렌더링을 시뮬레이션하기 위해, 복수의 메이크업 제품 각각에 대한, 복수의 기준 개인의 이들 이미지 쌍을 포함한다.
바람직하게는, 렌더링이 시뮬레이션되는 메이크업 제품은 파운데이션이다. 대안으로, 메이크업 제품은 아이 섀도우, 립스틱 또는 블러시(blush)일 수 있다.
도 1로 돌아가서, 방법의 제 1 단계(100)는 메이크업을 하지 않은 피험자의 얼굴의 이미지의 획득이다. 시스템(1)이 카메라를 포함한다면, 이 단계는 바람직하게는 카메라에 의해 수행된다.
대안으로, 예를 들어, 방법이 카메라를 내장한 스마트폰 또는 디지털 태블릿과 같은 개인 전자 장치의 소프트웨어 애플리케이션으로 이용 가능하다면, 이미지의 캡처는 개인 전자 장치의 카메라에 의해 이루어질 수 있고, 이미지는 개인 전자 장치에 의해 시스템(1)으로 전송될 수 있다. 컴퓨터(10) 및 메모리(11)를 포함하는 시스템(1)에 의해 수행되는 이미지의 획득 단계는 이 경우 시스템에 의한 이미지의 수신이다.
다른 예에 따르면, 시스템(1)이 상점 또는 미용실에 위치하는 카메라로부터 원격에 위치하고 방법이 상점 또는 미용실에서 구현된다면, 이미지의 캡처는 상기 카메라에 의해 수행된 후 시스템(1)으로 전송된다. 시스템(1)에 의한 이미지의 획득 단계는 이 경우에도 역시 시스템에 의한 이미지의 수신이다.
바람직하게는, 피험자가 카메라로부터 고정된 거리에서 카메라의 정면을 바라본 상태에서, 얼굴의 이미지는 제어된 조명 환경에서 획득된다. 피험자의 헤어는 얼굴의 영역(zone)에서 멀리 떨어져 있어야 한다. 또한, 이미지는 당업자에게 알려진 방법에 따라 비색 보정(colorimetrically calibration)되는 것이 바람직하다.
단계 200 동안, 획득된 이미지 상에 명백한 피험자의 얼굴은, 바람직하게는 이전에 계산되었던, 평균 형상으로 왜곡(warping)되고, 메모리(11)에 저장될 수 있다. 이 왜곡(warping)을 수행하기 위해, 얼굴의 다수의 특징점들의 위치가 획득될 수 있고, 각각의 특징점의 위치가 상기 평균 형상에 따른 동일한 점의 위치에 대응하도록 이미지에 변환이 적용될 수 있다. 예를 들어, Goshtasby 등의 “Piecewise linear mapping functions for image registration”(1986)의 논문을 참조할 수 있다.
단계 300 동안, 컴퓨터(10)는 이미지의 복수의 주파수 범위들 각각의 복수의 공간 영역 각각에 대해, 공간 영역의 제 1 색상 특징 값들을 추출하기 위해 이미지의 처리를 수행한다.
이 단계는 이미지를 복수의 주파수 범위들로 분해하여 피험자의 얼굴의 복수의 2차 이미지를 획득하는 서브 단계 310을 포함한다. 이때 각 2차 이미지는 주파수 범위들 중 하나에 대응한다. 이 서브 단계 310은 바람직하게는 DoG(Difference of Gaussians) 알고리즘을 구현함으로써 수행된다. 이 알고리즘에 따르면, 피험자의 얼굴 이미지를 I라 하고 표준 편차 σ의 가우스 커널을 Gσ라 하면, 초기 이미지의 고주파수들 및 저주파수들에 각각 대응하는 2 개의 2 차 이미지가 다음 동작을 수행함으로써 얻어진다 :
HF = I-I*Gσ
LF = I*Gσ
여기서 HF는 고주파수 범위에서의 2 차 이미지에 해당하고, LF는 저주파수 범위의 2 차 이미지에 해당하며, *는 컨볼루션 연산자를 나타낸다.
LF와 HF의 합은 초기 이미지 I와 정확히 일치한다는 것을 알 수 있다.
이 동작은 각 2차 이미지에 대해 반복적으로 반복될 수 있다. 이 경우 두 번째부터 반복할 때마다 다른 파라미터 dσ를 정의해야 한다.
HF의 분해는 다음과 같이 계산하여 수행될 수 있다:
HF_HF = HF-HF*Gσ21
HF_LF = HF*Gσ21
여기서, HF_HF는 (HF에 의해 커버되는 주파수 범위의) 고주파수 범위에서의 HF의 부분에 대응하고, HF_LF는 저주파수 범위에서의 HF의 부분에 대응하며, 및
σ21 = σ - dσ/2이다.
LF의 분해는 다음과 같이 계산하여 수행될 수 있다:
LF_HF = LF-LF*Gσ22
LF_LF = LF*Gσ22
여기서, LF_HF는 (LF에 의해 커버되는 주파수 범위의) 고주파수 범위에서의 LF의 부분에 해당하고, LF_LF는 저주파수 범위에서의 LF의 부분에 해당하며, 및
σ22 = σ + dσ/2이다.
I의 분해는 4 개의 이미지 세트 {HF_HF, HF_LF, LF_HF, LF_LF}를 만들어낸다. 이미지들의 합은 I가 된다. 이 예시적인 분해는, 도 3에 도시되어 있고, 좌측에서 가장 높은 주파수 범위 및 우측에서 더 낮은 주파수 범위를 갖는다. 물론, 분해는 이어서 연속적으로 8, 16 개 등의 2차 이미지들을 얻기 위해 반복될 수 있다. 이 구현에 따르면, 2 차 이미지들의 수는 항상 2의 거듭 제곱이다.
주파수 분해는, 예를 들어 렌더링이 시뮬레이션 되어야 하는 메이크업 제품의 유형에 따라 조정될 수 있다.
주파수 분해(310)가 달성되면, 주파수 범위에 대응하는 각각의 2 차 이미지는 서브 단계 320 동안 공간적으로 분해되어 각각의 2 차 이미지에 대한 복수의 공간 영역들이 얻어진다. 이 단계를 수행하기 위해, 그리드(grid)가 각 2 차 이미지에 중첩되고, 그리드의 셀들은 2 차 이미지의 공간 영역들을 정의한다. 따라서, 공간 영역들은 중첩되지 않고 나란히 배열되어 2 차 이미지의 임의의 픽셀이 단일 공간 영역에 속한다.
추가 계산을 허용하기 위해, 모든 2 차 이미지에, 동일한 그리드가 동일한 위치에 적용되어, 2 차 이미지의 공간 영역이 피험자의 얼굴의 동일한 부분에 정확히 대응하고 또한 다른 모든 2차 이미지의 대응하는 공간 영역에 정확히 대응한다.
렌더링이 시뮬레이션 되어야 하는 메이크업 제품의 유형에 따라, 공간 영역들 중 일부는, 관심 영역에 해당하는 공간 영역들만을 유지하기 위해 삭제된다. 파운데이션의 예에서, 메이크업될 피부와는 다른 것(예를 들어, 헤어, 눈썹, 입, 눈)을 포함하는 얼굴의 영역들에 해당하는 공간 영역이 제거된다. 파운데이션을 렌더링하는데 전용되는 어플리케이션에 대해 정의되고 선택된 일련의 공간 영역들의 세트의 예가 도 4에 도시되어 있다. 그리드 셀들의 크기 역시 시뮬레이션을 해야 하는 메이크업 제품의 유형에 따라 결정된다.
단계 300은 각각의 2 차 이미지에 대해 정의된 각각의 공간 영역에 대해, 제 1 색상 특징 값을 추출하는 서브 단계 330을 포함한다. 제 1 색상 특징 값은 공간 영역의 각 픽셀의 색 파라미터로부터 계산된다. 다음 예에서 픽셀의 색상 파라미터는 RGB 파라미터, 즉 빨간색 값, 녹색 값 및 파란색 값이다. 대안으로, 색상 파라미터는 CIE L * a * b * 색상 공간과 같은 다른 비색 시스템에서 선택 될 수 있다.
공간 영역의 제1 색상 특징 값들은 색상 파라미터들의 평균 및 표준 편차 값이다. 따라서 각 2 차 이미지의 각 공간 영역에 대해, 모든 평균 및 표준 편차 값의 연결을 포함하는 벡터가 생성된다:
Figure 112019124134942-pat00001
그런 다음, 모든 2 차 이미지들의 모든 공간 영역들에 대해 생성된 벡터를 연결하여 단일 디스크립션 벡터가 생성된다.
단지 예시로서, 전술한 예에 따르면, 4 개의 2 차 이미지가 생성되고, 각각의 2 차 이미지에 대해 350 개의 공간 영역들이 유지되면, 단계 300의 끝에서 4 * 350 * 6 = 8400 개의 파라미터를 포함하는 벡터가 얻어진다.
이 방법은 기준 이미지들의 데이터베이스 중에서, 메이크업을 하지 않을 때, 피험자의 제 1 특징 값들과 유사한 색상 특징 값들을 갖는 기준 개인들의 세트를 결정하는 단계 400를 포함한다.
이를 위해, 데이터베이스의 각각의 이미지는, 바람직하게는 상술한 바와 동일한 방식으로, 즉 데이터베이스의 각 이미지는 단계 100 내지 300에 따라 처리되어 계산되는 각각의 색상 특징 값들의 세트와 관련되어 저장되고, 또한 동일한 파라미터들과 관련되어 저장된다.
예를 들어, 동일한 조건에서 이미지들이 획득되어 평균 형상으로 왜곡되고, 이미지들이 분해되는 주파수 범위들의 수는 동일하며, 공간 영역들의 수 및 크기는 전술한 바와 같이 동일하다.
바람직한 실시 예에 따르면, 각각의 이미지의 처리는 데이터베이스를 구축하는 동안, 메이크업 제품의 렌더링을 시뮬레이션하기 위한 방법을 구현하는 컴퓨터(10)와 반드시 동일하지는 않은 컴퓨터에 의해 수행될 수 있다. 이 경우, 데이터베이스의 기준 이미지들의 색상 특징 값들이 쉽게 이용 가능하기 때문에 이 실시 예가 바람직하다. 이 실시 예는 단계 100, 200 등의 설명에 각각 대응하는 단계 100', 200' 등을 갖는 데이터베이스 구축의 주요 단계를 나타내는 도 7에 개략적으로 도시되어 있지만, 피험자의 이미지 대신에 기준 이미지들에 적용된다. 단계 300 다음에, 각각의 획득된 이미지를 대응하는 색상 특징 값들과 관련하여 저장하는 단계 900'이 이어진다.
대안으로, 색상 특징 값들을 추출하기 위한 데이터베이스의 각각의 이미지의 처리는 또한 메이크업 제품의 렌더링을 시뮬레이션하기 위한 방법의 구현 동안 컴퓨터(10)에 의해 수행될 수 있다.
피험자의 색상 특징 값들과 유사한 색상 특징 값들을 갖는 기준 개인들의 세트의 결정은 피험자의 색 특징 값들과 데이터베이스의 기준 개인들 각각의 메이크업되지 않은 이미지들로부터 추출된 색 특징 값들 사이의 거리, 바람직하게는 유클리드 거리(Euclidian distance)를 계산함으로써 수행된다. 물론, 데이터베이스가 복수의 메이크업 제품에 대해 메이크업을 하고 그리고 메이크업을 하지 않은 이미지 쌍을 포함하는 경우, 시뮬레이션될 메이크업 제품에 대해 한 쌍의 이미지가 존재하는 기준 개인들만이 선택된다.
그 후 계산된 거리가 가장 작은 기준 개인들이 선택된다. 대안으로, 계산된 거리가 임계값 미만인 다수의 기준 개인들이 선택된다. 선택된 기준 개인들의 세트는 적어도 2 개의 기준 개인, 예를 들어 2 내지 10 개의 기준 개인들을 포함한다. 바람직한 예로서, 세트는 3 명의 기준 개인들을 포함한다.
본 방법은 이어서 피험자의 제 1 색상 특징 값들로부터, 및 메이크업을 했을 때와 하지 않았을 때를 포함하는 기준 개인들의 세트의 색상 특징 값들로부터, 메이크업 제품을 사용한 피험자의 색상 특징 값들의 시뮬레이션에 대응하는, 피험자의 제2색상 특징 값들을 결정하는 단계 500을 포함한다.
이 단계 500은, 피험자의 제 1 색상 특징 값들을, 메이크업을 하지 않은 상기 세트의 기준 개인들의 특징 값들의 중심 값(centroid)으로 표현하는 제 1서브 단계 510을 포함한다. 예를 들어, 세트가 3 명의 기준 개인을 포함하고, P가 피험자의 제 1 색상 특징 값들을 나타내며, P1, P2 및 P3이 메이크업을 하지 않은 기준 개인들의 색상 특징 값을 나타내는 경우, 서브 단계 510은 P = A.P1 + B.P2 + C.P3 이 되도록 가중치 A, B 및 C를 결정하는 것을 포함한다.
이어서, 메이크업 제품이 적용되면, 피험자 및 기준 개인들의 색상 특징 값들 간의 관계가 동일하게 유지된다는 것을 고려함으로써, 피험자의 제 2 색상 특징 값들이 서브 단계 520 동안 결정된다. 따라서, 제 2 색상 특징 값들은 서브 단계 510 동안 계산된 것처럼 동일한 기준 개인들 사이의 중심 값에 대응하는 것으로 계산된다.
따라서 Q가 피험자의 제2 색상 특징 값을 나타내고, Q1, Q2 및 Q3이 상기 세트에서 시뮬레이션될 메이크업 제품을 사용한 기준 개인들의 색상 특징 값을 나타내는 경우, 그러면 Q = A.Q1 + B.Q2 + C.Q3 이다.
도 5를 참조하면, 보다 용이한 이해를 위해 2 차원 공간에 색상 특징 값들이 투영된 예가 도시되어 있다. 도 5는 P, P1, P2, P3, Q1, Q2 및 Q3의 각각의 위치 및 그로부터 추정되는 Q의 위치를 도시한다.
이 방법은 이어서 제 2 색상 특징 값들에 기초하여 얼굴의 수정된 이미지를 생성하는 단계 600을 포함한다. 이 단계는 각 주파수 범위의 각 공간 영역의 픽셀들의 색상 파라미터의 값들을 변경함으로써 수행되고, 고려된 공간 영역의 픽셀들의 수정된 특징 값들이 제 2 색상 특징 값들에 대응한다.
일 예에 따르면, Ri1 및 Ri2는 각각 (시뮬레이션된) 메이크업을 하지 않았을 때와 메이크업을 했을 때의 피험자의 이미지의 픽셀 i의 빨간색 값이다.
Figure 112019124134942-pat00002
및
Figure 112019124134942-pat00003
는 메이크업을 하지 않았을 때와 메이크업을 했을 때의 픽셀 i를 포함하는 공간 영역의 픽셀들의 평균 빨간색 값이다. 그리고 σ1 및 σ2는 메이크업을 하지 않았을 때와 메이크업을 했을 때의 동일한 공간 영역의 픽셀들의 표준 편차이다. 이 경우, Ri2는 다음과 같이 계산 될 수 있다.
Figure 112019124134942-pat00004
각 공간 영역의 픽셀들의 색상 파라미터들이 수정되면, 초기 이미지가 분해되었던 주파수 범위들에 대응하는 모든 2 차 이미지를 합산함으로써 이미지가 재구성된다. 그 후, 획득된 이미지는 단계 700 동안, 이 이미지를 얼굴의 평균 형상으로 왜곡(warping)하기 위해 초기 이미지에 대해 수행된 동작에 대해 반대인 동작에 의해 피험자의 얼굴 형상으로 반대로 왜곡된다.
수정된 이미지는 메모리에 저장될 수 있다. 그것은 예를 들어 시스템이 상점 또는 미용실의 구내에 위치한다면, 시스템에 속할 수 있는 디스플레이에 의해 단계 800 동안 표시되는 것이 바람직하다. 대안으로, 시스템(1)은 수정된 이미지를 개인 전자 장치 또는 상점 또는 미용실로 전송할 수 있으며, 그에 따라 수정된 이미지는 개인 전자 장치 또는 상점 또는 미용실의 디스플레이에 의해 디스플레이 된다.
도 6a 내지 6c는 전술한 방법의 예시적인 적용을 도시하며,도 6a는 메이크업을 하지 않은 피험자의 원본 이미지이고, 도 6b는 파운데이션 메이크업을 한 피험자의 실제 이미지이며, 도 6c는 동일한 파운데이션 제품의 렌더링이 상기 개시된 방법에 따라 시뮬레이션된 수정된 이미지이다. 도 6c의 현실적인 렌더링은 도 6b의 실제 렌더링에 매우 근접함을 알 수 있다. 여기서 미용 반점과 같은 점들이 도 6a의 초기 이미지에 비해 크게 감소된다.
1 : 시스템
10 : 컴퓨터
11 : 메모리
12 : 카메라
13 : 디스플레이
14 : 연결 인터페이스

Claims (15)

  1. 피험자의 얼굴의 이미지 상에 메이크업 제품의 렌더링을 시뮬레이션하는 방법으로서, 상기 방법은, 컴퓨터(10), 및 복수의 기준 개인 각각에 대해, 메이크업을 하지 않은 기준 개인의 이미지와, 메이크업 제품으로 메이크업을 한 동일한 기준 개인의 이미지를 포함하는 기준 이미지들의 데이터베이스를 저장하는 메모리(11)를 포함하는 시스템(1)에 의해 구현되고,
    상기 방법은,
    a. 메이크업을 하지 않은 피험자의 얼굴의 이미지를 획득하는 단계(100),
    b. 상기 이미지의 복수의 공간 주파수 범위 각각의 복수의 공간 영역 각각에 대해, 상기 공간 영역의 제 1 색상 특징 값들을 추출하기 위해 상기 이미지를 처리하는 단계(300),
    c. 상기 기준 이미지들의 데이터베이스 중에서, 메이크업을 하지 않았을 때, 상기 피험자의 상기 제 1 색상 특징 값들과 유사한 대응하는 공간 영역에서의 색상 특징 값들을 갖는 복수의 기준 개인을 포함하는 세트를 결정하는 단계(400),
    d. 상기 피험자의 제 1 색상 특징 값들로부터, 그리고 메이크업 제품을 사용했을 때와 사용하지 않았을 때를 포함하는 기준 개인들의 세트의 대응하는 공간 영역에서의 색상 특징 값들로부터, 제 2 색상 특징 값들을 결정하는 단계(500), 및
    e. 상기 제 2 색상 특징 값들을 기초로 상기 피험자의 얼굴의 수정된 이미지를 생성하는 단계(600)를 포함하는 방법.
  2. 제1항에 있어서,
    상기 단계 b.는,
    - 복수의 2차 이미지를 획득하기 위해 상기 피험자의 얼굴의 이미지를 복수의 공간 주파수 범위들로 분해하는 단계로서, 각각의 2차 이미지가 공간 주파수 범위들 중 하나에 대응하는, 분해하는 단계(310),
    - 각각의 2차 이미지에 대해 복수의 공간 영역을 획득하기 위해 상기 복수의 2차 이미지 각각에 대해 공간 분해를 수행하는 단계(320), 및
    - 각각의 2차 이미지의 각 공간 영역의 제 1 색상 특징 값들을 추출하는 단계(330)를 포함하는 방법.
  3. 제2항에 있어서,
    상기 얼굴의 이미지를 복수의 공간 주파수 범위들로 분해하는 단계(310)는, DoG(Difference of Gaussians)에 의해 수행되는 방법.
  4. 제1항에 있어서,
    각가의 이미지는 색상 파라미터들을 갖는 복수의 픽셀을 포함하고,
    공간 영역의 색상 특징 값들은, 공간 영역의 픽셀들의 각각의 색상 파라미터들의 평균 값 및 표준 편차를 포함하는 방법.
  5. 제 2 항 또는 제 4 항에 있어서,
    상기 단계 e. (600)는,
    각각의 공간 주파수 범위의 각각의 공간 영역이 제 2 색상 특징 값들을 나타내도록 각 공간 주파수 범위의 각 공간 영역의 색상 파라미터들을 수정하는 단계, 및
    상기 피험자의 이미지의 픽셀들의 색상 파라미터들을 모든 공간 주파수 범위들에 걸친 상기 수정된 색상 파라미터들의 합으로 대체하는 단계를 포함하는 방법.
  6. 제4항에 있어서,
    상기 데이터베이스의 각각의 이미지는, 이미지 상에 상기 단계 b의 처리를 구현함으로써 결정되는 색상 특징 값들과 연관되고,
    상기 단계 c. (400)는,
    상기 피험자의 제 1 색상 특징 값들과 메이크업을 하지 않은 기준 개인의 각 이미지의 색상 특징 값들 사이의 거리를 계산하는 단계, 및
    상기 피험자와의 가장 작은 계산된 거리를 갖는 세트의 기준 개인들을 선택하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 단계 c.는,
    상기 단계 b.의 처리를 이미지 상에 구현함으로써 데이터베이스의 각 이미지에 색상 특징 값들을 연관시키는 예비 단계를 더 포함하는 방법.
  8. 제6항에 있어서,
    상기 단계 d. (500)는,
    메이크업을 하지 않은 기준 개인들의 세트의 특징 값들의 중심 값(centroid)으로 상기 피험자의 제 1 색상 특징 값들을 표현하는 단계(510), 및
    메이크업을 한 기준 개인들의 세트의 특징 값들의 동일한 중심 값으로 제 2 특징 값들을 결정하는 단계(520)를 포함하는 방법.
  9. 제1항에 있어서,
    상기 단계 b. 이전에, 상기 피험자의 얼굴의 획득된 이미지를 평균 형상으로 왜곡시키는 단계(200), 및
    상기 단계 e. (600) 이후에 상기 생성된 수정된 이미지를 상기 피험자의 얼굴의 초기 형상으로 다시 왜곡시키는 단계(700)를 포함하는 방법.
  10. 컴퓨터(10)에 의해 구현될 때, 제1항에 따른 방법을 구현하기 위한 코드 명령어들을 포함하는, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  11. 피험자의 얼굴의 이미지 상에 메이크업 제품의 렌더링을 시뮬레이션하기 위한 시스템(1)으로서,
    컴퓨터(10) 및
    복수의 기준 개인 각각에 대해, 메이크업을 하지 않은 기준 개인의 이미지와, 메이크업 제품으로 메이크업을 한 동일한 기준 개인의 이미지를 포함하는 기준 이미지들의 데이터베이스를 저장하는 메모리(11)를 포함하고,
    제1항에 따른 방법을 구현하기 위해 구성되는, 시스템.
  12. 기준 이미지들의 데이터베이스를 구축하는, 컴퓨터에 의해 구현되는 방법으로서,
    - 복수의 기준 개인 각각에 대해, 메이크업을 하지 않은 기준 개인의 얼굴의 이미지와 메이크업 제품으로 메이크업을 한 동일한 기준 개인의 얼굴의 이미지를 획득하는 단계(100'),
    - 상기 이미지의 복수의 공간 주파수 범위 각각의 복수의 공간 영역 각각에 대해, 상기 공간 영역의 색상 특징 값들을 추출하기 위해 상기 이미지를 처리하는 단계(300'), 및
    - 상기 이미지로부터 추출된 색상 특징 값들과 연관지어 각 이미지를 메모리에 저장하는 단계(900')를 포함하는 방법.
  13. 제12항에 있어서,
    상기 이미지를 처리하는 단계는,
    - 복수의 2차 이미지를 획득하기 위해, 상기 기준 개인의 얼굴의 이미지를 복수의 공간 주파수 범위들로 분해하는 단계로서, 각각의 2차 이미지가 공간 주파수 범위들 중 하나에 대응하는, 분해하는 단계(310'),
    - 각각의 2차 이미지에 대해, 복수의 공간 영역을 획득하기 위해 상기 복수의 2차 이미지 각각에 대해 공간 분해를 수행하는 단계(320'), 및
    - 각각의 2차 이미지의 각 공간 영역의 제 1 색상 특징 값들을 추출하는 단계(330')를 포함하는 방법.
  14. 제12항에 있어서,
    각각의 이미지는 색상 파라미터들을 포함하는 복수의 픽셀을 포함하고,
    공간 영역의 색상 특징 값들은, 공간 영역의 픽셀들의 각 색상 파라미터들의 평균 값 및 표준 편차를 포함하는 방법.
  15. 컴퓨터에 의해 실행될 때, 제12항에 따른 방법을 구현하기 위한 코드 명령어들을 포함하는, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020190158100A 2018-12-03 2019-12-02 메이크업 제품의 현실적인 렌더링을 시뮬레이션하는 방법 KR102272975B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18306600.0 2018-12-03
EP18306600.0A EP3664035B1 (en) 2018-12-03 2018-12-03 Method for simulating the realistic rendering of a makeup product

Publications (2)

Publication Number Publication Date
KR20200067102A KR20200067102A (ko) 2020-06-11
KR102272975B1 true KR102272975B1 (ko) 2021-07-02

Family

ID=64900824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190158100A KR102272975B1 (ko) 2018-12-03 2019-12-02 메이크업 제품의 현실적인 렌더링을 시뮬레이션하는 방법

Country Status (4)

Country Link
US (1) US11594071B2 (ko)
EP (1) EP3664035B1 (ko)
JP (1) JP7127004B2 (ko)
KR (1) KR102272975B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023018285A1 (ko) * 2021-08-13 2023-02-16 주식회사 에이아이네이션 다각도 이미지 인식 처리 기술을 활용한 인공지능 가상 화장 방법 및 장치
KR102515436B1 (ko) 2022-08-01 2023-03-29 주식회사 어썸커머스 인공지능 기반 얼굴 메이크업 처리 방법, 장치 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100407111B1 (ko) * 2000-08-22 2003-11-28 (주)버추얼미디어 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
JP2014217456A (ja) 2013-05-02 2014-11-20 日本メナード化粧品株式会社 素肌または化粧肌の質感評価方法
KR101554403B1 (ko) 2011-03-10 2015-09-18 오므론 가부시키가이샤 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체
KR101713086B1 (ko) * 2013-06-07 2017-03-07 후지필름 가부시키가이샤 투명감 평가 장치, 투명감 평가 방법 및 투명감 평가 프로그램

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3912834B2 (ja) 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
JP4506245B2 (ja) 2004-03-31 2010-07-21 花王株式会社 肌のシミュレーション画像形成方法
KR101397045B1 (ko) * 2008-02-13 2014-05-20 엘지전자 주식회사 영상 상태에 따른 화질 개선 장치 및 방법
JP2010198382A (ja) 2009-02-25 2010-09-09 Kao Corp シミュレーション装置、シミュレーション方法、及びコンピュータプログラム
JP2011059960A (ja) * 2009-09-09 2011-03-24 Kao Corp 画像処理装置、シミュレーション装置、画像処理方法、シミュレーション方法、及びプログラム
JP2015507241A (ja) * 2011-12-04 2015-03-05 デジタル メイクアップ リミテッドＤｉｇｉｔａｌ Ｍａｋｅｕｐ Ｌｔｄ デジタルメイクアップ
JP6132232B2 (ja) 2013-02-01 2017-05-24 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
US10162997B2 (en) * 2015-12-27 2018-12-25 Asustek Computer Inc. Electronic device, computer readable storage medium and face image display method
JP2017123015A (ja) 2016-01-06 2017-07-13 株式会社リコー 情報処理装置、画像処理方法およびプログラム
CN109195481B (zh) * 2016-06-30 2021-06-01 松下知识产权经营株式会社 图像处理装置以及图像处理方法
US11315173B2 (en) * 2016-09-15 2022-04-26 GlamST LLC Applying virtual makeup products
EP3590385A4 (en) * 2017-02-28 2020-03-25 Panasonic Intellectual Property Management Co., Ltd. MAKEUP SIMULATION DEVICE, METHOD AND NON-TRANSITORIAL STORAGE MEDIUM
US10210381B1 (en) * 2017-08-01 2019-02-19 Apple Inc. Multiple enrollments in facial recognition
US20190214127A1 (en) * 2018-01-10 2019-07-11 International Business Machines Corporation Sub-optimal health detection and alert generation using a time series of images
US11257142B2 (en) * 2018-09-19 2022-02-22 Perfect Mobile Corp. Systems and methods for virtual application of cosmetic products based on facial identification and corresponding makeup information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100407111B1 (ko) * 2000-08-22 2003-11-28 (주)버추얼미디어 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
KR101554403B1 (ko) 2011-03-10 2015-09-18 오므론 가부시키가이샤 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체
JP2014217456A (ja) 2013-05-02 2014-11-20 日本メナード化粧品株式会社 素肌または化粧肌の質感評価方法
KR101713086B1 (ko) * 2013-06-07 2017-03-07 후지필름 가부시키가이샤 투명감 평가 장치, 투명감 평가 방법 및 투명감 평가 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kristina Scherbaum et al., "Computer-Suggested Facial Makeup", EUROGRAPHICS 2011 Volume 30 (2011), Number 2, p1-8 (2011.12.31.)*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023018285A1 (ko) * 2021-08-13 2023-02-16 주식회사 에이아이네이션 다각도 이미지 인식 처리 기술을 활용한 인공지능 가상 화장 방법 및 장치
KR102515436B1 (ko) 2022-08-01 2023-03-29 주식회사 어썸커머스 인공지능 기반 얼굴 메이크업 처리 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR20200067102A (ko) 2020-06-11
JP7127004B2 (ja) 2022-08-29
US20200170383A1 (en) 2020-06-04
EP3664035B1 (en) 2021-03-03
JP2020091852A (ja) 2020-06-11
EP3664035A1 (en) 2020-06-10
US11594071B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
US10839575B2 (en) User-guided image completion with image completion neural networks
US9142054B2 (en) System and method for changing hair color in digital images
CN111632374B (zh) 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
US9449412B1 (en) Adaptive, calibrated simulation of cosmetic products on consumer devices
CN102074040B (zh) 图像处理设备、图像处理方法
CN109712080A (zh) 图像处理方法、图像处理装置及存储介质
CN109754375B (zh) 图像处理方法、系统、计算机设备、存储介质和终端
US11576478B2 (en) Method for simulating the rendering of a make-up product on a body area
CN112419144B (zh) 人脸图像的处理方法、装置、电子设备及存储介质
KR102272975B1 (ko) 메이크업 제품의 현실적인 렌더링을 시뮬레이션하는 방법
US20240029345A1 (en) Methods and system for generating 3d virtual objects
CN113240760B (zh) 一种图像处理方法、装置、计算机设备和存储介质
Xiao et al. Example-based color transfer for gradient meshes
CN113052783A (zh) 一种基于人脸关键点的人脸图像融合方法
Jang et al. Spectrum‐Based Color Reproduction Algorithm for Makeup Simulation of 3D Facial Avatar
CN113223128B (zh) 用于生成图像的方法和装置
Xiao et al. Optimization‐Based Gradient Mesh Colour Transfer
AU2020368983B2 (en) Method and system for rendering
CN114140580B (zh) 一种手部三维模型的纹理调节方法及设备
CN116778107B (zh) 表情模型的生成方法、装置、设备及介质
Ghodeswar et al. CAMOUFLAGE PATTERN GENERATION USING LAB COLOR MODEL
US11380048B2 (en) Method and system for determining a spectral representation of a color
Schneider et al. Photo-Realistic Exemplar-Based Face Ageing
KR20170099632A (ko) 유전자 정보를 이용한 게임 캐릭터 생성시스템
Mirjalili et al. A Neural Approach for Skin Spectral Reconstruction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant