KR102330470B1 - 뎁스 카메라를 이용한 ai 스타일링 제공 방법 및 장치 - Google Patents

뎁스 카메라를 이용한 ai 스타일링 제공 방법 및 장치 Download PDF

Info

Publication number
KR102330470B1
KR102330470B1 KR1020190136323A KR20190136323A KR102330470B1 KR 102330470 B1 KR102330470 B1 KR 102330470B1 KR 1020190136323 A KR1020190136323 A KR 1020190136323A KR 20190136323 A KR20190136323 A KR 20190136323A KR 102330470 B1 KR102330470 B1 KR 102330470B1
Authority
KR
South Korea
Prior art keywords
user
information
face
personal color
determining
Prior art date
Application number
KR1020190136323A
Other languages
English (en)
Other versions
KR20210051273A (ko
Inventor
조용석
Original Assignee
주식회사 포켓메모리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포켓메모리 filed Critical 주식회사 포켓메모리
Priority to KR1020190136323A priority Critical patent/KR102330470B1/ko
Publication of KR20210051273A publication Critical patent/KR20210051273A/ko
Application granted granted Critical
Publication of KR102330470B1 publication Critical patent/KR102330470B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G06K9/00234—
    • G06K9/00255—
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 뎁스 카메라를 이용한 AI 스타일 제공 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 뎁스 카메라를 이용한 AI 스타일 제공 방법은 (a) 사용자의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 거리 정보를 포함하는 뎁스 이미지(depth image)를 획득하는 단계; (b) 상기 사용자의 얼굴 이미지와 뎁스 이미지로부터 상기 사용자의 얼굴 형태 정보를 추출하는 단계; 및 (c) 상기 얼굴 형태 정보를 이용하여 상기 사용자의 퍼스널 컬러를 결정하는 단계;를 포함할 수 있다.

Description

뎁스 카메라를 이용한 AI 스타일링 제공 방법 및 장치{A method and apparatus for providing artificial intelligence styling using depth camera}
본 발명은 뎁스 카메라를 이용한 AI 스타일링 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 뎁스 이미지로부터 획득된 사용자의 얼굴 구성요소의 형태를 이용한 퍼스널 컬러 제공 방법 및 장치에 관한 것이다.
퍼스널 컬러(personal color)는 개인이 가지고 있는 신체 색(body color)과 조화를 이루어 생기가 돌고 활기차게 보이도록 하는 개인별 컬러를 의미한다. 퍼스널 컬러는 신체 색과 조화를 이룰 때 얼굴에 생기가 돌고 활기차 보이는 이미지를 연출할 수 있도록 한다.
반면, 개인의 고유한 신체 색과 어울리지 않는 퍼스널 컬러를 적용할 경우 피부가 거칠어 보이고 투명감이 사라져 피부의 결점이 부각되기 때문에 자신의 신체 색을 인지하고 신체 색에 적합한 퍼스널 컬러를 의류, 액세서리, 화장, 렌즈색, 모발색 등에 적용함으로써 보다 효율적으로 개인별 이미지 관리를 수행할 수 있다.
그러나, 신체 색과 조화를 이루는 퍼스널 컬러는 개인이 객관적으로 인지 및 발견하기 어렵기 때문에 적합한 퍼스널 컬러를 개인이 결정하기 어려운 문제점을 갖는다.
[특허문헌 1] 한국등록특허 제10-1563124호
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 뎁스 카메라를 이용한 AI 스타일링 제공 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 사용자의 얼굴 구성요소 정보뿐만 아니라, 사용자에 대한 거리 정보를 포함하는 뎁스 이미지를 적응적으로 반영하여, 사용자의 감정 상태에 따른 최적의 퍼스널 컬러를 출력하고, 사용자의 화장 방식을 출력하기 위한 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 뎁스 카메라를 이용한 AI 스타일 제공 방법은 (a) 사용자의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 거리 정보를 포함하는 뎁스 이미지(depth image)를 획득하는 단계; (b) 상기 사용자의 얼굴 이미지와 뎁스 이미지로부터 상기 사용자의 얼굴 형태 정보를 추출하는 단계; 및 (c) 상기 얼굴 형태 정보를 이용하여 상기 사용자의 퍼스널 컬러를 결정하는 단계;를 포함할 수 있다.
실시예에서, 상기 (b) 단계는, (d) 상기 사용자의 얼굴 이미지로부터 얼굴 구성요소 정보를 추출하는 단계; 및 (e) 상기 뎁스 이미지를 이용하여 상기 얼굴 구성요소 정보에 대응하는 상기 얼굴 형태 정보를 추출하는 단계;를 포함할 수 있다.
실시예에서, 상기 얼굴 형태 정보는, 상기 사용자의 얼굴 구성요소 정보에 대한 3D 형태 정보를 포함할 수 있다.
실시예에서, 상기 뎁스 카메라를 이용한 AI 스타일 제공 방법은 상기 (c) 단계 이후에, 상기 얼굴 구성요소 정보에 대한 3D 형태 정보에 따라 상기 사용자에 대한 화장 종류를 결정하는 단계; 상기 사용자에 대한 화장 종류에 따라 상기 사용자의 퍼스널 컬러에 대응하는 화장 색상을 결정하는 단계; 및 상기 화장 종류와 화장 색상에 기반한 상기 사용자의 화장 이미지를 출력하는 단계;를 포함할 수 있다.
실시예에서, 상기 (c) 단계는, (f) 상기 사용자의 얼굴 구성요소 정보를 기저장된 얼굴 데이터베이스와 비교하여 상기 사용자의 퍼스널 컬러 타입을 결정하는 단계; 및 (g) 상기 얼굴 형태 정보에 따라 상기 사용자의 퍼스널 컬러 타입에서 상기 퍼스널 컬러를 결정하는 단계;를 포함할 수 있다.
실시예에서, 상기 (g) 단계는, 상기 얼굴 형태 정보 및 얼굴 구성요소 정보를 이용하여 상기 사용자의 표정 정보를 추출하는 단계; 상기 사용자의 표정 정보에 따라 상기 사용자의 감정 상태를 판단하는 단계; 및 상기 사용자의 감정 상태에 따라 상기 사용자의 퍼스널 컬러 타입에서 상기 퍼스널 컬러를 결정하는 단계;를 포함할 수 있다.
실시예에서, 상기 퍼스널 컬러 타입은, 상기 사용자의 얼굴 구성요소 정보에 대응하는 명도(brightness), 채도(saturation) 및 톤(tone)을 나타내는 카테고리 정보를 포함할 수 있다.
실시예에서, 상기 (g) 단계는, 상기 얼굴 형태 정보에 따라 상기 퍼스널 컬러 타입의 명도, 채도 및 톤 중 적어도 하나를 조절하여 상기 퍼스널 컬러를 결정하는 단계;를 포함할 수 있다.
실시예에서, 상기 뎁스 카메라를 이용한 AI 스타일 제공 방법은 상기 (c) 단계 이후에, 상기 결정된 사용자의 퍼스널 컬러를 출력하는 단계;를 더 포함할 수 있다.
실시예에서, 뎁스 카메라를 이용한 AI 스타일 제공 장치는 사용자의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 거리 정보를 포함하는 뎁스 이미지(depth image)를 획득하는 촬영부; 상기 사용자의 얼굴 이미지와 뎁스 이미지로부터 상기 사용자의 얼굴 형태 정보를 추출하고, 상기 얼굴 형태 정보를 이용하여 상기 사용자의 퍼스널 컬러를 결정하는 제어부;를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 사용자의 얼굴 이미지로부터 얼굴 구성요소 정보를 추출하고, 상기 뎁스 이미지를 이용하여 상기 얼굴 구성요소 정보에 대응하는 상기 얼굴 형태 정보를 추출할 수 있다.
실시예에서, 상기 얼굴 형태 정보는, 상기 사용자의 얼굴 구성요소 정보에 대한 3D 형태 정보를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 얼굴 구성요소 정보에 대한 3D 형태 정보에 따라 상기 사용자에 대한 화장 종류를 결정하고, 상기 사용자에 대한 화장 종류에 따라 상기 사용자의 퍼스널 컬러에 대응하는 화장 색상을 결정하고, 상기 뎁스 카메라를 이용한 AI 스타일 제공 장치는 상기 화장 종류와 화장 색상에 기반한 상기 사용자의 화장 이미지를 출력하는 표시부; 를 더 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 사용자의 얼굴 구성요소 정보를 기저장된 얼굴 데이터베이스와 비교하여 상기 사용자의 퍼스널 컬러 타입을 결정하고, 상기 얼굴 형태 정보에 따라 상기 사용자의 퍼스널 컬러 타입에서 상기 퍼스널 컬러를 결정할 수 있다.
실시예에서, 상기 제어부는, 상기 얼굴 형태 정보 및 얼굴 구성요소 정보를 이용하여 상기 사용자의 표정 정보를 추출하고, 상기 사용자의 표정 정보에 따라 상기 사용자의 감정 상태를 판단하며, 상기 사용자의 감정 상태에 따라 상기 사용자의 퍼스널 컬러 타입에서 상기 퍼스널 컬러를 결정할 수 있다.
실시예에서, 상기 퍼스널 컬러 타입은, 상기 사용자의 얼굴 구성요소 정보에 대응하는 명도(brightness), 채도(saturation) 및 톤(tone)을 나타내는 카테고리 정보를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 얼굴 형태 정보에 따라 상기 퍼스널 컬러 타입의 명도, 채도 및 톤 중 적어도 하나를 조절하여 상기 퍼스널 컬러를 결정할 수 있다.
실시예에서, 상기 뎁스 카메라를 이용한 AI 스타일 제공 장치는 상기 결정된 사용자의 퍼스널 컬러를 출력하는 출력부;를 더 포함할 수 있다.
실시예에서, 상기 뎁스 카메라를 이용한 AI 스타일 제공 방법은 상기 (c) 단계 이후에, 상기 사용자의 얼굴 구성요소 정보에 대한 깊이값을 측정하는 단계; 상기 깊이값에 따라 상기 사용자의 얼굴 골격 정보를 포함하는 3D 형태 정보를 산출하는 단계; 및 상기 얼굴 골격 정보에 대응하는 상기 사용자의 색조 화장을 제공하는 단계;를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 사용자의 얼굴 구성요소 정보에 대한 깊이값을 측정하고, 상기 깊이값에 따라 상기 사용자의 얼굴 골격 정보를 포함하는 3D 형태 정보를 산출하며, 상기 얼굴 골격 정보에 대응하는 상기 사용자의 색조 화장을 제공할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 사용자의 얼굴 구성요소 정보뿐만 아니라, 사용자에 대한 거리 정보를 포함하는 뎁스 이미지를 적응적으로 반영하여, 사용자의 감정 상태에 따른 최적의 퍼스널 컬러를 출력하고, 사용자의 화장 방식을 출력하여, 사용자에게 최적의 뷰티 정보를 제공할 수 있다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 뎁스 카메라를 이용한 AI 스타일링 제공 방법을 도시한 도면이다.
도 2a는 본 발명의 일 실시예에 따른 사용자의 얼굴 정보의 예를 도시한 도면이다.
도 2b는 본 발명의 일 실시예에 따른 사용자의 얼굴 형태 정보의 예를 도시한 도면이다.
도 2c는 본 발명의 일 실시예에 따른 퍼스널 컬러 타입의 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 뎁스 카메라를 이용한 AI 스타일링 제공 장치의 기능적 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 뎁스 카메라를 이용한 AI 스타일링 제공 방법 및 장치를 설명한다.
도 1은 본 발명의 일 실시예에 따른 뎁스 카메라를 이용한 AI 스타일링 제공 방법을 도시한 도면이다.
도 1을 참고하면, S101 단계는, 사용자의 얼굴 이미지와 얼굴 이미지에 대응하는 거리 정보를 포함하는 뎁스 이미지를 획득하는 단계이다.
S103 단계는, 사용자의 얼굴 이미지와 뎁스 이미지로부터 사용자의 얼굴 형태 정보를 추출하는 단계이다.
일 실시예에서, 사용자의 얼굴 이미지로부터 얼굴 구성요소 정보를 추출하고, 뎁스 이미지를 이용하여 얼굴 구성요소 정보에 대응하는 얼굴 형태 정보를 추출할 수 있다.
예를 들어, 도 2a를 참고하면, 얼굴 구성요소 정보는, 사용자의 얼굴 구성요소의 색상 및 종류 중 적어도 하나를 포함할 수 있다. 예를 들어, 얼굴 구성요소는 사용자의 눈(eye), 코(nose), 입(mouth), 피부(skin), 머리(head) 및 머리카락(hair)을 포함할 수 있으나, 예시일 뿐이며 이에 제한되지 않는다.
S105 단계는, 얼굴 형태 정보를 이용하여 사용자의 퍼스널 컬러를 결정하는 단계이다. 일 실시예에서, 결정된 사용자의 퍼스널 컬러는 출력될 수 있다.
여기서, 얼굴 형태 정보는 사용자의 얼굴 구성요소 정보에 대한 3D(3-dimension) 형태 정보를 포함할 수 있다. 예를 들어, 도 2b를 참고하면, 얼굴 형태 정보로서 사용자의 얼굴 구성요소에 대한 외형 및 굴곡의 3D 정보를 획득할 수 있다.
일 실시예에서, 사용자의 얼굴 구성요소 정보를 기저장된 얼굴 데이터베이스와 비교하여 사용자의 퍼스널 컬러 타입을 결정할 수 있다. 이후, 얼굴 형태 정보에 따라 사용자의 퍼스널 컬러 타입에서 퍼스널 컬러를 결정할 수 있다.
여기서, 퍼스널 컬러 타입은 사용자의 얼굴 구성요소 정보에 대응하는 명도(brightness), 채도(saturation) 및 톤(tone)을 나타내는 카테고리 정보를 포함할 수 있다.
예를 들어, 도 2c를 참고하면, 퍼스널 컬러 타입은 웜톤에 해당하는 봄 타입, 쿨톤에 해당하는 여름 타입, 웜톤에 해당하는 가을 타입 및 쿨톤에 해당하는 겨울 타입을 포함할 수 있다.
이 경우, 얼굴 형태 정보에 따라 퍼스널 컬러 타입의 명도, 채도 및 톤 중 적어도 하나를 조절하여 퍼스널 컬러를 결정할 수 있다.
일 실시예에서, 얼굴 형태 정보 및 얼굴 구성요소 정보를 이용하여 사용자의 표정 정보를 추출하고, 사용자의 표정 정보에 따라 사용자의 감정 상태를 판단하며, 사용자의 감정 상태에 따라 사용자의 퍼스널 컬러 타입에서 퍼스널 컬러를 결정할 수 있다.
예를 들어, 미소(smile)를 나타내는 표정 정보가 추출되는 경우, 사용자의 감정 상태를 기분 좋음으로 판단하며, 사용자의 퍼스널 컬러 타입에서 퍼스널 컬러의 명도, 채도 및 톤을 높게 조절함으로써, 사용자의 퍼스널 컬러를 적응적으로 결정할 수 있다.
또한, 울음(cry)을 나타내는 표정 정보가 추출되는 경우, 사용자의 감정 상태를 슬픔으로 판단하며, 사용자의 퍼스널 컬러 타입에서 퍼스널 컬러의 명도, 채도 및 톤을 낮게 조절함으로써, 사용자의 퍼스널 컬러를 적응적으로 결정할 수 있다.
일 실시예에서, 얼굴 구성요소 정보에 대한 3D 형태 정보에 따라 사용자에 대한 화장 종류를 결정하고, 사용자에 대한 화장 종류에 따라 사용자의 퍼스널 컬러에 대응하는 화장 색상을 결정하며, 화장 종류와 화장 색상에 기반한 사용자의 화장 이미지를 출력할 수 있다.
예를 들어, 사용자의 턱밑에 대한 3D 형태 정보가 큰 값을 나타내는 경우, 사용자에 대한 화장 종류를 쉐이딩(shading)으로 결정하고, 사용자의 퍼스널 컬러에 대응하는 화장 색상을 결정하며, 사용자의 턱밑이 쉐이딩 화장을 통해 갸름해 보이는 화장 이미지를 출력할 수 있다.
일 실시예에서, 사용자의 얼굴 구성요소 정보에 대한 깊이값을 측정하고, 상기 깊이값에 따라 사용자의 얼굴 골격 정보를 포함하는 3D 형태 정보를 산출하며, 얼굴 골격 정보에 대응하는 사용자의 색조 화장을 제공할 수 있다.
즉, 본 발명의 다양한 실시예들에 따른 AI 스타일 제공 방법은 사용자의 얼굴 구성요소 정보뿐만 아니라, 사용자에 대한 거리 정보를 포함하는 뎁스 이미지를 적응적으로 반영하여, 사용자의 감정 상태에 따른 최적의 퍼스널 컬러를 제공하고, 사용자의 화장 방식을 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 뎁스 카메라를 이용한 AI 스타일링 제공 장치(300)의 기능적 구성을 도시한 도면이다.
도 3을 참고하면, AI 스타일 제공 장치(300)는 촬영부(310), 제어부(320), 저장부(330) 및 표시부(340)를 포함할 수 있다.
촬영부(310)는 사용자의 얼굴 이미지와 얼굴 이미지에 대응하는 거리 정보를 포함하는 뎁스 이미지(depth image)를 획득할 수 있다.
일 실시예에서, 촬영부(310)는 사용자의 얼굴 이미지를 획득하는 제1 카메라와 사용자의 뎁스 이미지를 획득하는 제2 카메라로 구성될 수 있다.
일 실시예에서, 촬영부(310)는 카메라, 비디오 등 다양한 장치를 포함할 수 있으나, 이에 제한되지 않는다.
제어부(320)는 사용자의 얼굴 이미지와 뎁스 이미지로부터 사용자의 얼굴 형태 정보를 추출하고, 얼굴 형태 정보를 이용하여 사용자의 퍼스널 컬러를 결정할 수 있다.
일 실시예에서, 제어부(320)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(320)는 CP(communication processor)라 지칭될 수 있다. 제어부(320)는 본 발명의 다양한 실시예에 따른 AI 스타일 제공 장치(300)의 동작을 제어할 수 있다.
저장부(330)는 다수의 사용자들에 의해 선택된 다수의 얼굴 데이터와 퍼스널 컬러의 매칭 데이터를 포함하는 얼굴 데이터베이스를 저장할 수 있다.
일 실시예에서, 저장부(330)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(330)는 제어부(320)의 요청에 따라 저장된 데이터를 제공할 수 있다.
표시부(340)는 결정된 퍼스널 컬러를 출력할 수 있다. 일 실시예에서, 표시부(340)는 화장 종류와 화장 색상에 기반한 사용자의 화장 이미지를 출력할 수 있다. 예를 들어, 표시부(340)는 퍼스널 컬러 및 화장 이미지 중 적어도 하나를 디스플레이할 수 있다.
일 실시예에서, 표시부(340)는 AI 스타일 제공 장치(300)에서 처리되는 정보를 나타낼 수 있다. 예를 들면, 표시부(340)는 액정 디스플레이(LCD; Liquid Crystal Display), 발광 다이오드(LED; Light Emitting Diode) 디스플레이, 유기 발광 다이오드(OLED; Organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; Micro Electro Mechanical Systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이 중 적어도 어느 하나를 포함할 수 있다.
도 3을 참고하면, AI 스타일 제공 장치(300)는 촬영부(310), 제어부(320), 저장부(330) 및 표시부(340)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 AI 스타일 제공 장치(300)는 도 3에 설명된 구성들이 필수적인 것은 아니어서, 도 3에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
300: AI 스타일 제공 장치
310: 촬영부
320: 제어부
330: 저장부
340: 표시부

Claims (20)

  1. 사용자의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 거리 정보를 포함하는 뎁스 이미지(depth image)를 획득하는 단계;
    상기 사용자의 얼굴 이미지로부터 얼굴 구성요소 정보를 추출하는 단계;
    상기 뎁스 이미지를 이용하여 상기 얼굴 구성요소 정보에 대응하는 얼굴 형태 정보를 추출하는 단계;
    상기 얼굴 형태 정보 및 얼굴 구성요소 정보를 이용하여 상기 사용자의 표정 정보를 추출하는 단계;
    상기 사용자의 표정 정보에 따라 상기 사용자의 감정 상태를 판단하는 단계; 및
    상기 사용자의 감정 상태에 따라 상기 사용자의 퍼스널 컬러 타입에서 상기 퍼스널 컬러를 결정하는 단계;
    를 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 얼굴 형태 정보는,
    상기 사용자의 얼굴 구성요소 정보에 대한 3D 형태 정보를 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 방법.
  4. 제3항에 있어서,
    상기 퍼스널 컬러를 결정하는 단계 이후에,
    상기 얼굴 구성요소 정보에 대한 3D 형태 정보에 따라 상기 사용자에 대한 화장 종류를 결정하는 단계;
    상기 사용자에 대한 화장 종류에 따라 상기 사용자의 퍼스널 컬러에 대응하는 화장 색상을 결정하는 단계; 및
    상기 화장 종류와 화장 색상에 기반한 상기 사용자의 화장 이미지를 출력하는 단계;
    를 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 방법.
  5. 제1항에 있어서,
    상기 퍼스널 컬러를 결정하는 단계는,
    상기 사용자의 얼굴 구성요소 정보를 기저장된 얼굴 데이터베이스와 비교하여 상기 사용자의 퍼스널 컬러 타입을 결정하는 단계; 및
    상기 얼굴 형태 정보에 따라 상기 사용자의 퍼스널 컬러 타입에서 상기 퍼스널 컬러를 결정하는 단계;
    를 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 퍼스널 컬러 타입은,
    상기 사용자의 얼굴 구성요소 정보에 대응하는 명도(brightness), 채도(saturation) 및 톤(tone)을 나타내는 카테고리 정보를 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 방법.
  8. 제7항에 있어서,
    상기 퍼스널 컬러를 결정하는 단계는,
    상기 얼굴 형태 정보에 따라 상기 퍼스널 컬러 타입의 명도, 채도 및 톤 중 적어도 하나를 조절하여 상기 퍼스널 컬러를 결정하는 단계;
    를 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 방법.
  9. 제1항에 있어서,
    상기 퍼스널 컬러를 결정하는 단계 이후에,
    상기 결정된 사용자의 퍼스널 컬러를 출력하는 단계;
    를 더 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 방법.
  10. 사용자의 얼굴 이미지와 상기 얼굴 이미지에 대응하는 거리 정보를 포함하는 뎁스 이미지(depth image)를 획득하는 촬영부;
    상기 사용자의 얼굴 이미지로부터 얼굴 구성요소 정보를 추출하고,
    상기 뎁스 이미지를 이용하여 상기 얼굴 구성요소 정보에 대응하는 얼굴 형태 정보를 추출하고,
    상기 얼굴 형태 정보 및 얼굴 구성요소 정보를 이용하여 상기 사용자의 표정 정보를 추출하고,
    상기 사용자의 표정 정보에 따라 상기 사용자의 감정 상태를 판단하며,
    상기 사용자의 감정 상태에 따라 상기 사용자의 퍼스널 컬러 타입에서 상기 퍼스널 컬러를 결정하는 제어부;
    를 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 장치.
  11. 삭제
  12. 제10항에 있어서,
    상기 얼굴 형태 정보는,
    상기 사용자의 얼굴 구성요소 정보에 대한 3D 형태 정보를 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 얼굴 구성요소 정보에 대한 3D 형태 정보에 따라 상기 사용자에 대한 화장 종류를 결정하고,
    상기 사용자에 대한 화장 종류에 따라 상기 사용자의 퍼스널 컬러에 대응하는 화장 색상을 결정하고,
    상기 화장 종류와 화장 색상에 기반한 상기 사용자의 화장 이미지를 출력하는 표시부;
    를 더 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 장치.
  14. 제10항에 있어서,
    상기 제어부는,
    상기 사용자의 얼굴 구성요소 정보를 기저장된 얼굴 데이터베이스와 비교하여 상기 사용자의 퍼스널 컬러 타입을 결정하고,
    상기 얼굴 형태 정보에 따라 상기 사용자의 퍼스널 컬러 타입에서 상기 퍼스널 컬러를 결정하는,
    뎁스 카메라를 이용한 AI 스타일 제공 장치.
  15. 삭제
  16. 제14항에 있어서,
    상기 퍼스널 컬러 타입은,
    상기 사용자의 얼굴 구성요소 정보에 대응하는 명도(brightness), 채도(saturation) 및 톤(tone)을 나타내는 카테고리 정보를 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 장치.
  17. 제16항에 있어서,
    상기 제어부는,
    상기 얼굴 형태 정보에 따라 상기 퍼스널 컬러 타입의 명도, 채도 및 톤 중 적어도 하나를 조절하여 상기 퍼스널 컬러를 결정하는,
    뎁스 카메라를 이용한 AI 스타일 제공 장치.
  18. 제10항에 있어서,
    상기 결정된 사용자의 퍼스널 컬러를 출력하는 출력부;
    를 더 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 장치.

  19. 제3항에 있어서,
    상기 퍼스널 컬러를 결정하는 단계 이후에,
    상기 사용자의 얼굴 구성요소 정보에 대한 깊이값을 측정하는 단계;
    상기 깊이값에 따라 상기 사용자의 얼굴 골격 정보를 포함하는 3D 형태 정보를 산출하는 단계; 및
    상기 얼굴 골격 정보에 대응하는 상기 사용자의 색조 화장을 제공하는 단계;
    를 포함하는,
    뎁스 카메라를 이용한 AI 스타일 제공 방법.
  20. 제12항에 있어서,
    상기 제어부는,
    상기 사용자의 얼굴 구성요소 정보에 대한 깊이값을 측정하고,
    상기 깊이값에 따라 상기 사용자의 얼굴 골격 정보를 포함하는 3D 형태 정보를 산출하며,
    상기 얼굴 골격 정보에 대응하는 상기 사용자의 색조 화장을 제공하는,
    뎁스 카메라를 이용한 AI 스타일 제공 장치.
KR1020190136323A 2019-10-30 2019-10-30 뎁스 카메라를 이용한 ai 스타일링 제공 방법 및 장치 KR102330470B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190136323A KR102330470B1 (ko) 2019-10-30 2019-10-30 뎁스 카메라를 이용한 ai 스타일링 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190136323A KR102330470B1 (ko) 2019-10-30 2019-10-30 뎁스 카메라를 이용한 ai 스타일링 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210051273A KR20210051273A (ko) 2021-05-10
KR102330470B1 true KR102330470B1 (ko) 2021-11-24

Family

ID=75917844

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190136323A KR102330470B1 (ko) 2019-10-30 2019-10-30 뎁스 카메라를 이용한 ai 스타일링 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102330470B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902790B (zh) * 2021-12-09 2022-03-25 北京的卢深视科技有限公司 美容指导方法、装置、电子设备和计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987189B1 (ko) * 2018-12-21 2019-06-10 주식회사 트위니 메이크업 제안 키오스크

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101563124B1 (ko) 2014-02-07 2015-10-27 정연아 퍼스널 컬러 매칭 시스템 및 방법
KR20180077680A (ko) * 2016-12-29 2018-07-09 재단법인대구경북과학기술원 얼굴 표정 인식 기반의 서비스 제공 장치 및 그 방법
KR102037166B1 (ko) * 2018-01-31 2019-10-28 문완묵 시지각과 청지각을 통한 퍼스널 컬러 분석시스템 및 이를 이용한 패션 페르소나 컬러 메칭방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987189B1 (ko) * 2018-12-21 2019-06-10 주식회사 트위니 메이크업 제안 키오스크

Also Published As

Publication number Publication date
KR20210051273A (ko) 2021-05-10

Similar Documents

Publication Publication Date Title
US20220124140A1 (en) Communication assistance system, communication assistance method, and image control program
US20160042557A1 (en) Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
CN108875462A (zh) 眉毛造型指引装置及其方法
CN109857311A (zh) 生成人脸三维模型的方法、装置、终端及存储介质
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
JP6675384B2 (ja) 化粧支援システム、計測装置、携帯端末装置およびプログラム
KR101979355B1 (ko) 뷰티 큐레이션을 위한 큐레이터 미러 및 그의 제어방법
CN105069180A (zh) 一种发型设计方法及系统
CN104331564A (zh) 基于终端设备的妆饰指导方法和终端设备
CN108932654A (zh) 一种虚拟试妆指导方法及装置
WO2015152028A1 (ja) 化粧支援装置および記録媒体
KR102330470B1 (ko) 뎁스 카메라를 이용한 ai 스타일링 제공 방법 및 장치
KR102330483B1 (ko) 생활패턴정보분석 ai를 통한 스타일 제안 방법 및 장치
CN105095917A (zh) 图像处理方法、装置及终端
KR102136137B1 (ko) 맞춤형 led 마스크 팩의 제조 장치
KR101507410B1 (ko) 모바일 단말의 라이브 메이크업 촬영 방법 및 장치
CN111354478B (zh) 整形模拟信息处理方法、整形模拟终端和整形服务终端
KR20160128275A (ko) 얼굴 인식 추론 기반 서비스 시스템, 그의 얼굴 인식 추론 방법 및 기록 매체
KR20210062274A (ko) 이미지 자동 생성 장치 및 생성 방법
EP2827589A1 (en) Display device and device for adapting an information
CN111178560A (zh) 一种基于ar技术的理发推荐预约系统
US11517498B2 (en) System, devices, and methods for long lasting lip plumping
KR20170092806A (ko) 입체 메이크업 테스팅 시스템
CN117389676B (zh) 一种基于显示界面的智能发型适配展示方法
US11847198B2 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant