KR101799174B1 - 피부 진단 및 화상 처리 시스템, 장치 및 물품 - Google Patents

피부 진단 및 화상 처리 시스템, 장치 및 물품 Download PDF

Info

Publication number
KR101799174B1
KR101799174B1 KR1020157031681A KR20157031681A KR101799174B1 KR 101799174 B1 KR101799174 B1 KR 101799174B1 KR 1020157031681 A KR1020157031681 A KR 1020157031681A KR 20157031681 A KR20157031681 A KR 20157031681A KR 101799174 B1 KR101799174 B1 KR 101799174B1
Authority
KR
South Korea
Prior art keywords
image
skin
user
data
component
Prior art date
Application number
KR1020157031681A
Other languages
English (en)
Other versions
KR20150141989A (ko
Inventor
필립 커민스
가렛 더블유. 반더로버
리세 더블유. 요르겐센
데이비드 엠. 아담스
Original Assignee
이엘씨 매니지먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이엘씨 매니지먼트 엘엘씨 filed Critical 이엘씨 매니지먼트 엘엘씨
Publication of KR20150141989A publication Critical patent/KR20150141989A/ko
Application granted granted Critical
Publication of KR101799174B1 publication Critical patent/KR101799174B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G06F19/321—
    • G06F19/3437—
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Abstract

피부 진단 기술이 화상 처리 기술과 함께 이용된다. 예를 들어, 사용자 정보 모듈은 사용자 피부 화상을 캡처한다. 그래픽 사용자 인터페이스가 복수의 피부 관련 애플리케이션으로부터 피부 관련 애플리케이션의 선택을 가능하게 한다. 프로세서는 사용자 피부 화상으로부터 사용자 피부 화상 데이터를 결정하고, 피부 관련 애플리케이션에 의해 식별된 하나 이상의 파라미터에 기초하여 사용자 피부 화상 데이터에 대응하는 피부 화상 데이터베이스 내의 피부 화상 데이터의 하나 이상의 세트를 식별한다. 프로세서는 피부 화상 데이터베이스로부터 피부 화상 데이터의 하나 이상의 식별된 세트에 대응하는 적어도 하나의 화상 처리 필터를 사용자 피부 화상에 적용하여 시뮬레이션된 사용자 피부 화상을 생성한다. 출력 디스플레이가 시뮬레이션된 사용자 피부 화상을 표시한다.

Description

피부 진단 및 화상 처리 시스템, 장치 및 물품 {SKIN DIAGNOSTIC AND IMAGE PROCESSING SYSTEMS, APPARATUS AND ARTICLES}
관련 특허 출원의 상호 참조
본 출원은 2013년 4월 9일 출원된 미국 특허 출원 제13/859,384호를 우선권 주장하고, 2013년 4월 9일 출원된 미국 특허 출원 제13/859,359호에 관련되고, 이들 미국 출원은 그대로 본 명세서에 참조로서 합체되어 있다.
분야
본 발명의 실시예는 일반적으로 피부 진단 기술(skin diagnostic techniques)에 관한 것으로서, 더 구체적으로는 화상 처리 기술(image processing techniques)과 함께 이용되는 피부 진단 기술에 관한 것이다.
스킨케어(skincare) 또는 미용 시각화(cosmetic visualizations)는 어떻게 소비자의 용모가 스킨케어 제품 또는 미용 치료의 사용과 관련하여 변화할 수도 있는지를 예측하여 소비자에게 예시하는 것을 목표로 한다. 그러나, 이러한 실습의 추론적 성질은 시각화된 소비자 결과의 정확성 및 일관성과 관련하여 현존하는 접근법에 있어서 과제를 제시한다.
즉, 시각화는 또한 시각화가 그로부터 유도되는 데이터만큼만 정확하다. 시각화에 표현된 소비자 결과가 단지 추론에만 기초하여 피상적으로 결정되면, 이러한 결과는 정확하지 않을 것이고, 소비자는 스킨케어 제품 또는 미용 치료에 대한 환상을 깨우치게 될 수도 있다.
시각화에 표현된 계획된 소비자 결과가 실제 결과에 우연히 근접하게 되더라도, 얼마나 정확하게 결과가 시각화되는지는 또한 소비자가 스킨케어 제품 또는 미용 치료를 구매하기로 결정하는지 여부에 대한 상당한 영향을 미칠 수 있다.
본 발명의 실시예는 화상 처리 기술과 함께 이용된 피부 진단 기술을 제공한다.
일 실시예에서, 방법은 이하의 단계를 포함한다. 하나 이상의 진단 동작이 사용자 피부 화상 데이터를 생성하기 위해 사용자 피부 화상의 적어도 하나의 부분에 수행되고, 하나 이상의 진단 동작은 식별된 피부 관련 애플리케이션과 연계된다. 사용자 피부 화상 데이터가 식별된 피부 관련 애플리케이션에 따라 처리된다. 처리는 피부 관련 애플리케이션에 의해 지정된 하나 이상의 파라미터에 기초하여 사용자 피부 화상 데이터에 대응하는 데이터베이스 내의 피부 화상 데이터의 하나 이상의 세트를 식별하는 것, 및 데이터베이스로부터 식별된 피부 화상 데이터의 하나 이상의 세트에 기초하여 적어도 하나의 화상 처리 필터를 결정하는 것을 포함한다. 방법은 시뮬레이션된 사용자 피부 화상을 생성하기 위해 사용자 피부 화상의 적어도 하나의 부분에 적어도 하나의 화상 처리 필터를 적용하는 단계를 더 포함한다.
다른 실시예에서, 시스템은 사용자 정보 모듈, 그래픽 사용자 인터페이스, 피부 화상 데이터베이스, 프로세서 및 출력 디스플레이를 포함한다. 사용자 정보 모듈은 사용자 피부 화상을 캡처한다. 그래픽 사용자 인터페이스는 복수의 피부 관련 애플리케이션으로부터 피부 관련 애플리케이션의 선택을 가능하게 한다. 프로세서는 사용자 정보 모듈, 그래픽 사용자 인터페이스, 및 피부 화상 데이터베이스에 결합된다. 부가적으로, 프로세서는 사용자 피부 화상으로부터 사용자 피부 화상 데이터를 결정하고, 피부 관련 애플리케이션에 의해 지정된 하나 이상의 파라미터에 기초하여 사용자 피부 화상 데이터에 대응하는 피부 화상 데이터베이스 내의 피부 화상 데이터의 하나 이상의 세트를 식별하도록 구성된다. 프로세서는 또한 시뮬레이션된 사용자 피부 화상을 생성하기 위해 피부 화상 데이터베이스로부터 피부 화상 데이터의 하나 이상의 식별된 세트에 대응하는 적어도 하나의 화상 처리 필터를 사용자 피부 화상에 적용하도록 구성된다. 프로세서에 결합된 출력 디스플레이는 시뮬레이션된 사용자 피부 화상을 표시한다.
본 발명의 실시예는 또한 실행시, 하나 이상의 컴퓨팅 디바이스가 본 명세서에 설명된 바와 같은 방법 단계를 수행하게 하는 컴퓨터 판독가능 명령을 유형적으로 구현하는 제조 물품의 형태로 또한 구현될 수 있다. 더욱이, 다른 실시예는 메모리 및 메모리에 결합되고 방법 단계를 수행하도록 동작 가능한 적어도 하나의 프로세서 디바이스를 포함하는 장치의 형태로 구현될 수 있다.
본 발명의 다른 실시예는 본 명세서에 설명된 방법 단계를 수행하기 위한 수단, 또는 이들의 요소의 형태로 구현될 수 있다. 수단은 예를 들어 하드웨어 모듈(들) 또는 하드웨어 및 소프트웨어 모듈의 조합을 포함할 수 있고, 소프트웨어 모듈은 유형적 컴퓨터 판독가능 저장 매체(또는 다수의 이러한 매체)에 저장된다.
유리하게는, 본 발명의 예시적인 실시예는 소비자를 위한 정확한 시각적 평가를 생성하기 위해 화상 처리 기능에 대해 상세한 피부 및 제품 정보를 레버리지(leverage)하는 기술을 제공한다.
본 발명의 이들 및 다른 목적, 특징 및 장점은 첨부 도면과 관련하여 숙독되는 그 예시적인 실시예의 이하의 상세한 설명으로부터 명백해질 것이다.
도 1은 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템을 도시한다.
도 2는 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템에 의해 이용된 데이터베이스 환경의 상세를 도시한다.
도 3은 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 개인 정보 캡처 모듈의 상세를 도시한다.
도 4는 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 그래픽 사용자 인터페이스의 제1 부분을 도시한다.
도 5는 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 그래픽 사용자 인터페이스의 제2 부분을 도시한다.
도 6a는 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 애플리케이션 모듈의 상세를 도시한다.
도 6b는 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 서브애플리케이션 선택 모듈의 상세를 도시한다.
도 7은 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 화상 처리 모듈의 상세를 도시한다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른, 특정 시점에 걸쳐 특정 피부 파라미터의 퍼센트 변화의 그래픽 표현을 도시한다.
도 9는 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 화상 처리 모듈의 화상 합성 프로세스를 도시한다.
도 10은 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 파운데이션 매칭 서브애플리케이션을 실행하는 애플리케이션 모듈을 도시한다.
도 11은 그에 따라 본 발명의 하나 이상의 실시예가 구현될 수 있는 컴퓨터 시스템을 도시한다.
도 12는 그에 따라 본 발명의 하나 이상의 실시예가 구현될 수 있는 분산형 통신/컴퓨팅 네트워크를 도시한다.
본 발명의 실시예는 예시적인 컴퓨팅 및 화상형성 시스템 아키텍처를 참조하여 본 명세서에 설명될 것이다. 그러나, 본 발명의 실시예는 이들 예시적인 아키텍처에 한정되도록 의도된 것은 아니고, 오히려 더 일반적으로는 정확한 시각적 추정이 소정의 대상의 피부에 대해 생성되도록 피부 진단 기술이 화상 합성 기술의 사용에 의해 향상될 수 있는 임의의 시스템 아키텍처에 적용 가능하다는 것이 이해되어야 한다.
본 명세서에 사용될 대, 용어 "화상"은 렌더링된 화상(예를 들어, 스크린 상에 표시된 화상), 화상을 표현하는 데이터 세트(예를 들어, 메모리 내에 저장되거나 저장 가능한 데이터 세트), 또는 이들의 몇몇 조합을 칭하도록 의도된다. 따라서, 예를 들어, 구문 "사용자 피부 화상"은 사용자 피부의 부분의 렌더링된 화상, 사용자 피부의 부분을 표현하는 대응 저장된 데이터, 또는 이들의 몇몇 조합을 포함한다. 이어지는 상세한 설명에서, 화상이 소정의 시간 순간에 저장되는지 렌더링되는지 여부는 설명되는 특정 예시적인 실시예의 맥락으로부터 명백해질 것이다.
본 명세서에 사용될 때, 구문 "피부 관련 애플리케이션"은 소정의 대상의 피부와 연계된 진단 기능 또는 다른 프로세스를 칭하도록 의도된다. 단지 예로서, 본 명세서에 설명되는 바와 같은 피부 진단 및 화상 합성 시스템에 의해 구체화되는 이러한 피부 관련 애플리케이션은, 파운데이션 매칭 애플리케이션(foundation matching application), 라인 및 주름 애플리케이션(line and wrinkle application), 피부 미백 애플리케이션(skin lightening application), 피부 균일도 애플리케이션(skin evenness application), 피부 탈황색 애플리케이션(skin de-yellowing application), 및 노화방지 애플리케이션(de-aging application)을 포함할 수도 있지만, 이들에 한정되는 것은 아니다. 시스템의 애플리케이션 모듈에 의해 수행되는 특정 애플리케이션은 사용자에 의해 선택 가능하거나 또는 시스템에 의해 얻어지고 그리고/또는 유도된 맥락 정보로부터 시스템에 의해 자동으로 결정될 수도 있다.
본 명세서에 사용될 때, 용어 "모듈"은 일반적으로, 시스템 내의 하나 이상의 특정 기능을 수행하도록 구성된 하드웨어, 소프트웨어 또는 이들의 몇몇 조합을 칭하도록 의도된다. 모듈이 하드웨어 또는 소프트웨어로서 특정하게 구현되도록 의도되면, 본 명세서에서 하드웨어 모듈 또는 소프트웨어 모듈로서 각각 언급될 것이다.
도면의 맥락에서 이하에 예시적인 상세로 설명되는 바와 같이, 본 발명의 실시예는 특히 대응 사용자 피부 화상 데이터를 생성하기 위해 사용자 피부 화상을 얻는 것, 피부 관련 애플리케이션에 따라 데이터베이스에 대해 사용자 피부 화상 데이터를 처리하는 것, 및 식별된 화상 처리 필터(들)의 애플리케이션에 기초하여 시뮬레이션된 사용자 피부 화상을 생성하는 것을 포함하는 피부 진단 및 화상 합성 기술을 제공한다. 부가적으로, 본 발명의 하나 이상의 실시예는 하나 이상의 관련 스킨케어 제품 및/또는 치료 방법의 추천과 함께 업데이트되거나 시뮬레이션된 사용자 피부 화상을 표시하는 것을 또한 포함할 수도 있다.
도 1을 먼저 참조하면, 본 발명의 일 실시예에 따른 피부 진단 및 화상 합성 시스템(100)이 도시되어 있다. 본 실시예에서, 시스템(100)은 사용자(102)가 시스템에 액세스하여 시각적으로 인터페이스하는 것을 가능하게 하는 그래픽 사용자 인터페이스(GUI)(104)(도 4 및 도 5와 관련하여 더 상술됨)를 포함한다. 사용자(102)는 통상적으로 그 피부 화상(들)이 시스템(100)에 의해 캡처되어 처리될 소정의 대상이다. GUI(104)는 본 발명의 적어도 하나의 실시예에서, 복수의 피부 관련 애플리케이션으로부터 피부 관련 애플리케이션의 선택, 뿐만 아니라 다른 시스템 선택을 보조한다. 시스템(100)은 사용자 피부 화상을 캡처하고 다른 사용자 입력 데이터를 캡처하는 것이 가능한 개인 정보 캡처 모듈(106)(도 3과 관련하여 더 상술됨)을 또한 포함한다. 또한, 시스템(100)은 애플리케이션(앱) 모듈(108)(도 7, 도 8a 내지 도 8c 및 도 9와 관련하여 더 상술됨), 데이터베이스(110)(도 2와 관련하여 더 상술됨), 및 사용자(102)로의 GUI(104) 및 임의의 화상 및 다른 데이터의 제시를 위한 출력 디스플레이(112)를 포함하는데, 이들의 기능의 각각은 이하에 더 설명될 것이다.
본 발명의 적어도 하나의 실시예에서, 개인 정보 캡처 모듈(106)은 하나 이상의 사용자 피부 화상 및 다른 사용자 정보의 취득을 가능하게 한다. 모듈(106)은 화상을 취득하기 위한 하나 이상의 화상 캡처 디바이스를 포함할 수도 있다. 하나 이상의 캡처 디바이스는 상이한 범위의 전자기 스펙트럼에 따라 화상을 캡처하는 것이 가능한 화상 캡처 디바이스를 포함할 수도 있다.
단지 예시로서, 캡처된 화상은 가시 화상, 적외선(IR) 화상 및 자외선(UV) 화상을 포함할 수도 있지만, 이들에 한정되는 것은 아니다. 구문 "가시 화상"은 전자기 스펙트럼의 가시 파장 범위에서 에너지를 캡처하도록 구성된 디바이스에 의해 캡처된 화상을 칭한다. 유사하게, "적외선 또는 IR 화상" 및 "자외선 또는 UV 화상"은 전자기 스펙트럼의 IR 파장 범위 및 UV 파장 범위에서 에너지를 각각 캡처하도록 구성된 디바이스에 의해 캡처된 화상을 각각 칭한다. 구문 UV 화상은 또한 "근 UV" 화상을 포함할 수도 있다는 것이 이해되어야 한다. 또한, 구문 "스펙트럼 화상"은 이들에 한정되는 것은 아니지만, 가시, IR 및 UV 범위를 포함하는 다중 파장 범위에서의 화상을 칭한다.
또한, 구문 "RGB 화상" 및 "Lab 화상"이 본 명세서에 사용된다. RGB 화상은 적색, 녹색 및 청색광 성분이 상이한 지정된 비율로 함께 가산되어 넓은 색의 배열을 재현하는 가산 혼합(additive color) 모델인 RGB 색 공간 모델에 기초하여 생성된 화상이다. Lab 화상은 L이 밝기에 대한 차원을, a 및 b 성분이 색 대립(color-opponent) 차원을 표현하는 색 공간 모델에 기초하여 생성된 화상이다. Lab 색 공간 모델은 비선형 압축 CIE(International Commission on Illumination: 국제 조명 위원회) XYZ 색 공간 좌표에 기초한다. RGB 화상 및 Lab 화상은 가시 화상으로 고려될 수도 있다. 하나 이상의 실시예에서, 이하에 더 설명되는 바와 같이, RGB 값은 공지의 방식으로 Lab 값으로 변환되고, 그 반대도 마찬가지이다.
공지된 바와 같이, 통상의 백색(가시)광은 모든 가능한 각도에서 진행할 수 있는 파로 이루어진다. 광은 단지 하나의 특정 평면에서만 진행하는 파로 구성될 때 "선편광"되는 것으로 고려된다. 따라서, 기준 진행 평면에 평행한 평면으로 진행하는 광파는 평행 광파로 고려되고, 반면에 기준 진행 평면에 수직인 평면에서 진행하는 광파는 수직 광파로 고려된다. 따라서, 본 명세서에 사용될 때, 구문 "편광된 화상"은 "수직 광 화상 성분" 및 "평행 광 화상 성분"을 포함하는 구성 선편광 성분으로 분리되는 화상을 칭한다. 대조적으로, 구문 "비편광 화상"은 이러한 구성 선편광 성분으로 분리되지 않는 화상을 칭한다.
본 명세서에서 또한 사용될 때, 구문 "교차 편광"은 화상이 2개의 성분: "정반사 성분(specular component)" 및 "언더톤 성분(undertone component)"으로 분리되는 편광 조건을 칭한다. 정반사 성분은 피부의 표면으로부터 반사하는 광을 표현하고, 언더톤 성분은 피부의 표면을 횡단하고 표면하로부터 반사하는 광을 표현한다. 일 실시예에서, 평행광 화상 성분은 정반사 성분과 절반의 언더톤 성분으로 구성되고, 반면에 수직광 화상 성분은 다른 절반의 언더톤 성분으로 구성된다.
캡처 모듈(106)은 또한 사용자(102)가 다른 정보를 입력하고, 뿐만 아니라 시스템(100)에 의해 처리를 위해 하나 이상의 이전에 캡처된 화상[GUI(104)를 거쳐 뷰잉가능한]을 선택할 수 있게 한다. 부가적으로, 사용자(102)는 캡처된 피부 화상에 대응하는 데이터의 후속의 분석을 안내하기 위해 일련의 질문에 응답하도록 시스템에 의해[예를 들어, GUI(104)를 거쳐] 질의될 수 있다. 이러한 분석은 애플리케이션 모듈(108)을 거쳐 선택된 애플리케이션에 따라 수행된다. 애플리케이션은 GUI(104)를 거쳐 사용자(102)에 의해 선택될 수 있고 또는 언급된 질의에 대한 사용자 응답에 기초하여 자동으로 결정될 수 있다.
선택된 또는 결정된 애플리케이션에 기초하여, 데이터베이스(110)의 하나 이상의 관련 부분이 분석을 수행하는 것을 보조하기 위해 액세스된다. 도 2와 관련하여 본 명세서의 다른 부분에서 더 설명되는 바와 같이, 데이터베이스(110)는 피부 데이터 뿐만 아니라 스킨케어 제품 데이터에 속하는 데이터를 포함한다. 이에 따라, 데이터베이스(110)는 본 발명의 적어도 하나의 실시예에 따르면, 사용자 피부 화상 데이터의 맥락 내에서 시간 기간에 걸친 특정 스킨케어 제품 또는 치료의 거동을 결정하기 위해 하나 이상의 대응하는 사용자 파라미터에 따라 초기 사용자 피부 화상 데이터의 처리를 가능하게 한다.
또한, 본 명세서에 더 설명되는 바와 같이, 애플리케이션 모듈(108)은 개인 정보 캡처 모듈(106)에 결합된 프로세서 모듈(도 1에는 명시적으로 도시되어 있지 않지만, 도 11 및 도 12와 관련하여 이하에 더 설명됨), GUI(104), 데이터베이스(110) 및 출력 디스플레이(112)를 포함한다. 본 발명의 적어도 하나의 실시예에서, 이러한 프로세서 모듈은 사용자 피부 화상으로부터 사용자 피부 화상 데이터를 결정하고, 피부 관련 애플리케이션에 의해 지정된 파라미터에 기초하여 사용자 피부 화상 데이터에 대응하는 데이터베이스 내의 피부 화상 데이터의 세트를 식별하고, 시뮬레이션된 사용자 피부 화상을 생성하기 위해 피부 화상 데이터의 식별된 세트(피부 화상 데이터베이스로부터의)를 사용자 피부 화상에 대응하는 적어도 하나의 화상 처리 필터를 적용하도록 구성된다.
분석의 출력은 출력 디스플레이(112) 상에 제시를 위해 생성되고, 업데이트된/시뮬레이션된 화상 및/또는 변화하는 일련의 시뮬레이션된 화상을 포함한다. 이러한 출력은, 연령, 인종, 성별 등과 같은 대응 파라미터와 관련하여 관련 데이터베이스 내의 이들 변수의 심각도(severity)에 대해 대조되는 사용자 화상 내의 질의된 변수의 심각도에 기초하여, 초기 사용자 피부 화상[예를 들어, 시스템(100)에 의해 수행되는 피부 진단 동작 전의 사용자 피부 화상]의 시각화 뿐만 아니라 어떻게 화상이 선택된 시간 기간에 걸쳐 변화할 것인지를 표현하는 시각화를 포함할 수 있다. 상이한 변수가 초기 심각도 및 하나 이상의 대응 파라미터에 따라 상이한 속도로 변화하거나 또는 진화할 수도 있기 때문에, 이러한 분석은 선형 프로세스를 제시하지 않을 수도 있다는 것이 주목된다. 이와 같이, 본 발명의 실시예는 하나 이상의 데이터베이스로 사용자 피부 화상을 처리하는 것과 관련하여 관련 비선형 곡선을 생성하여 레버리징하는(leveraging) 것을 포함한다.
이에 따라, 시스템(100)은 일반적으로 피부 화상을 취득하거나 선택하고, 관련 피부 화상 데이터를 얻기 위해 피부 화상을 처리하고, 선택된 진단 애플리케이션에 대응하는 관련 피부 화상 데이터를 결정하기 위해 하나 이상의 관련 데이터베이스에 대해 피부 화상 데이터를 처리하고, 시뮬레이션된 피부 화상 데이터의 최종 세트를 디스플레이에 출력하도록 구성된다.
어떻게 시스템(100)이 이들 및 다른 단계 및 동작을 수행하는 것이 가능한지의 상세가 도 2 내지 도 12와 관련하여 이하에 설명된다.
도 2는 본 발명의 일 실시예에 따른 피부 진단 및 화상 합성 시스템에 의해 이용될 수도 있는 데이터베이스 환경을 도시하고 있다. 도 2는 상이한 기능적 라벨을 갖는 상이한 유형의 개별의 데이터베이스를 도시하고 있지만, 이는 단지 예시적인 목적이라는 것이 이해되어야 한다. 즉, 데이터베이스 환경(110)의 부분인 것으로서 본 명세서에 설명된 데이터는 데이터의 특정 기능 목적과 관련하지 않고 하나 이상의 통상의 데이터베이스 구조체에 저장되고, 액세스되고, 다른 방식으로 관리될 수도 있다.
예로서, 도 2는 이들에 한정되는 것은 아니지만, 기초 과학 데이터(202), 제품 임상 성능 데이터(212), 및 화상형성 과학 데이터(222)를 포함하는 데이터베이스(110)(도 1)를 도시하고 있다. 이하에 더 상술되는 바와 같이, 기초 과학 데이터베이스(202)는 색의 연속체(continuum) 데이터(205), 및 텍스처 과학 데이터(207)를 또한 포함하는 컬러 과학 데이터(203)에 속하는 데이터베이스를 포함한다. 구문 "색의 연속체"는 이하에 더 설명되는 바와 같이, 모든 공지의 유형의 피부색을 포함하는 색 팔레트(color palette)를 칭한다. 유사하게, 제품 임상 성능 데이터베이스(212)는 외견상 연령 데이터(213) 및 전용 제품 효능 데이터(215)에 속하는 데이터베이스를 포함한다. 구문 "외견상 연령(apparent age)"은 이하에 더 설명되는 바와 같이, 연령 및 민족의 결과로서 피부와 관련하여 보여지는 변화를 칭하고, 구문 "역연령(chronological age)"에 대조된다. 또한, 화상형성 과학 데이터베이스(222)는 교차 편광 화상 데이터(223), 사진 데이터(225), 스펙트럼 화상형성 데이터(227) 및 화상 분석 데이터(229)에 속하는 데이터베이스를 포함한다. 화상형성 과학 데이터베이스(222)는 제품 색 정보를 또한 포함할 수도 있다.
상기 데이터베이스(110) 내의 데이터의 적어도 일부는 다수의 인간 피시험 대상으로부터 캡처된 화상(예를 들어, 이에 한정되는 것은 아니지만, 얼굴 화상)으로부터 컴파일링된다는 것이 이해되어야 한다. 화상은 예를 들어, 연령, 인종, 민족, 성별, 지리학적 기원 등과 같은 광범위한 다양한 인간 인구통계를 커버하는 화상을 포함한다. 이들 화상으로부터 컴파일링된 데이터는 이하에 더 설명되는 바와 같이, 피부색 데이터, 피부 텍스처 데이터 등을 포함할 수 있다. 따라서, 데이터베이스(110) 내의 데이터는 화상, 이러한 화상으로부터 유도된 정보, 및 시스템(100)에 의해 사용 가능한 다른 정보를 유도하는 데 사용되는 정보를 포함한다.
데이터베이스(110) 내의 데이터는 시스템(100)의 사용자로부터 캡처되거나 다른 방식으로 얻어진 데이터와 구별될 것이다. 즉, 데이터베이스(110) 내의 데이터는 주로 시스템(100)의 현재 사용자(102)에 의해 제공된 피부 화상에 선택된 진단 동작을 수행하는데 사용을 위해 컴파일링된 피시험 대상 및 다른 소스로부터 미리 얻어진 데이터이다. 그러나, 현재 사용자(102)로부터의 데이터는, 이들의 승인을 받아, 데이터베이스(110) 내의 데이터의 부분이 되고 후속의 사용자(102)를 위해 사용될 수도 있다는 것이 이해되어야 한다.
부가적으로, 데이터베이스(110) 내의 화상은 특정 피부 조건에 링크된 화상, 뿐만 아니라 특정 스킨케어 제품 및/또는 치료에 링크된 화상을 포함할 수도 있다. 본 발명의 적어도 하나의 실시예에서, 피부 관련 애플리케이션은 피부 제품 및/또는 피부 제품 분류의 사양(데이터베이스 중 하나 이상에 저장된 그와 연계된 데이터)을 통해 식별된다. 스킨케어 제품 데이터는 예를 들어, 연령 관련 피부 화상 데이터 및 스킨케어 제품 효능 데이터를 포함할 수 있다. 부가적으로, 피부 관련 애플리케이션에 의해 지정된 파라미터는 예로서, 정보에 기초하는 심각도-시간 파라미터[예를 들어, 제품 임상 성능 데이터베이스(212) 내에 저장된]를 포함할 수 있다.
더욱이, 데이터베이스(110)는 스펙트럼 화상형성 데이터[예를 들어, 스펙트럼 화상형성 데이터베이스(227)에 저장됨]를 포함한다. 스펙트럼 화상형성 데이터는 다양한 인간 대상으로부터 캡처되고 데이터베이스에 저장된(그리고, 분류됨) 인간 피부의 복수의 2차원 디지털 스펙트럼 화상을 포함하지만, 이들에 한정되는 것은 아니다. 전술된 바와 같은 스펙트럼 화상은 전자기 스펙트럼을 가로지르는 상이한 파장 범위에서 캡처된 화상 데이터를 칭한다. 이러한 스펙트럼 화상은 전술된 바와 같이, 가시 화상, 뿐만 아니라 예를 들어, 적외선 화상, 자외선 화상 등과 같은, 육안으로는 적색, 녹색 및 청색(RGB) 광 성분을 위한 그 수용체로 캡처하는데 실패하는 부가의 정보의 추출을 허용하는 파장에서 캡처된 화상을 포함할 수 있다. 데이터베이스 내에 저장된 각각의 스펙트럼 화상은 피부의 타겟 영역을 형성한다. 단지 예로서, 이러한 디지털 스펙트럼 화상은 2011년 3월 3일 출원되고, 본 출원의 양수인에 의해 공동으로 소유되어 있는, 발명의 명칭이 "3D RGB 모델을 생성하기 위해 스펙트럼 화상 데이터를 사용하는 피부 치료 분석용 시스템(System for Skin Treatment Analysis Using Spectral Image Data to Generate 3D RGB Model)"인 국제 공개 WO2011/112422호에 설명된 방식으로 캡처되고 저장될 수도 있는데, 이 국제 공개의 개시내용은 그대로 본 명세서에 참조로서 합체되어 있다.
따라서, 대응하는 복수의 2차원 디지털 RGB(적색, 녹색, 청색) 색 모델 화상이 캡처되어 데이터베이스(110)[예를 들어, 화상 분석 데이터베이스(229)]에 저장된다. 각각의 RGB 화상은 피부의 타겟 영역을 형성하는 스펙트럼 화상 중 적어도 하나에 적어도 부분적으로 대응한다. 사용자(102)를 위한 처리 중에, 이하에 더 설명되는 바와 같이, 복수의 스펙트럼 화상의 일부(또는 모두)는 각각의 스펙트럼 화상 내에서 하나 이상의 스펙트럼 화상 데이터세트를 식별하도록 분석된다. 본 명세서에 사용될 때, 스펙트럼 화상 데이터세트는 예를 들어, 피부 타입, 혈색 또는 멜라닌 레벨, 산소 포화도, 퍼센트 헤모글로빈, 퍼센트 물 또는 수분 함량 등과 같은 특정 변수 또는 파라미터와 관련된 바와 같은 피부의 조건을 고유하게 규정하도록 요구된 최소량의 스펙트럼 화상 디지털 데이터를 칭한다.
본 발명의 하나 이상의 실시예와 관련하여 본 명세서에 설명되는 바와 같이, 선택된 또는 규정된 피부 조건은 치료 또는 교정을 필요로 하지 않는 피부 조건일 수도 있고, 또는 피부 조건은 예를 들어, 건조, 지성, 손상된 및 다른 치료 가능한, 교정 가능한 피부 조건과 같은 치료 가능한 또는 교정 가능한 피부 조건일 수도 있다. 임의의 경우에, 스펙트럼 화상 데이터세트는 하나 이상의 이러한 피부 조건을 규정한다.
언급된 바와 같이, 각각의 화상 내의 각각의 요소는, 예를 들어 화상 위의 화소 좌표, 화소의 RGB 값 및/또는 화소의 스펙트럼 콘텐트, 및 그 화소에서의 피부 조건의 타입에 기초하여 기록되고 인덱싱된다. 이에 따라, 각각의 피부 조건이 각각의 화상 내의 하나 이상의 화소에 맵핑된다. 더 구체적으로, 각각의 스펙트럼 화상 데이터세트는 각각의 스펙트럼 화상 내의 위치(본 명세서에서 스펙트럼 위치라 칭함)에 맵핑된다. 즉, 스펙트럼 위치는 스펙트럼 화상 데이터세트를 위한 스펙트럼 화상 내의 화소 좌표 위치를 포함한다. 각각의 스펙트럼 화상에 대응하는 RGB 화상에서, 각각의 스펙트럼 위치에 대응하는 위치가 맵핑된다. RGB 화상 내의 위치는 본 명세서에서 RGB 위치, 즉 각각의 스펙트럼 화상 내의 스펙트럼 위치에 대응하는 RGB 화상 내의 화소 좌표 위치라 칭한다.
부가적으로, 본 명세서에 사용될 때, RGB 데이터세트는 그 각각의 위치와 연계된 RGB 색 프로파일을 고유하게 식별하도록 요구되는 최소량의 디지털 RGB 데이터를 칭한다. 이에 따라, 본 발명의 적어도 하나의 실시예에서, 스펙트럼 화상 데이터세트는 상기 스펙트럼 화상 데이터세트에 의해 규정된 적어도 하나의 알려진 피부 조건에 대응하는 RGB 데이터세트에 효과적으로 상관된다. 또한, RGB 데이터세트는 각각의 최종 곡선 아래의 면적이 RGB 데이터세트를 제공하도록 합산되는 변환 함수를 통해 스펙트럼 화상 데이터를 통과시킴으로써 각각의 스펙트럼 화상 데이터세트로부터 화소 단위로 생성된다. 특정 서브세트를 위한 스펙트럼 화상 데이터세트 내의 각각의 화소를 위한 스펙트럼 곡선은 피부 생물학 및 화학의 상세를 드러내기 위해, 공지의 곡선 적합법(curve fitting method)을 사용하여 적합된다. 일 파라미터인, 멜라닌 농도가 특정 제품의 화이트닝(whitening) 거동에 고유하게 결합된다. 피부 내의 멜라닌 농도의 변경에 의해 제품의 이러한 화이트닝 효과를 시뮬레이션하기 위해, 각각의 화소에서의 스펙트럼 화상 데이터세트는 먼저 그 대상에 대한 멜라닌(x)의 특정 농도에서 멜라닌의 반사율을 기술하는 함수 Rmel(λ)로 나눠진다. 이는 함수 RNmel(λ)에 의해 발견되는 새로운 멜라닌 곡선으로 곱해진 "무멜라닌(melaninless)" 스펙트럼 곡선을 생성한다. RNmel(λ)이 계산될 수 있기 전에, 멜라닌 농도의 변화는, 도 7 내지 도 9의 맥락에서 이하에 더 설명되는 바와 같이, 제품 사용에 기인하는 멜라닌의 변화를 표현하는 데이터 차트(예를 들어, 이하에 더 상세히 설명될 도 8a의 것과 같은)에 의해 발견되는데, 이는 이어서 x로 곱해져서 새로운 x를 생성하는데, 즉 x = x * % 변화이다.
Rmel(λ) 및 RNmel(λ)를 기술하는 함수는 EXP^(0.012x * MUAmelλ * (4.51-Log10(x * MUAmelλ)이고, 여기서 x는 특정 관심 시점에서의 평균 멜라닌 농도이고, MUAmel은 멜라닌의 공지의 흡수 곡선을 표현한다. 이 새로운 곡선은 이어서 "무멜라닌" 곡선으로 곱해져서 새로운 멜라닌 농도에서 새로운 스펙트럼 곡선을 생성한다. 이 프로세스는 변경된 멜라닌 농도를 갖는 스펙트럼 화상 데이터세트를 산출한다. 스펙트럼 화상 데이터세트는 이어서 RGB 화상 데이터세트로 변환된다.
스펙트럼 화상 데이터세트를 RGB 데이터세트로 변환하기 위한 변환 함수는 스펙트럼 화상 데이터세트에 R, G 및 B 스펙트럼 응답 함수로 곱하고, 이후에 각각에 대한 곡선 아래의 면적을 합산하고, 이어서 각각의 대응 스펙트럼 응답 곡선의 곡선 아래의 각각의 면적으로 각각을 나누는 것을 수반한다. 이는 RGB 색 공간 내의 컬러 화상을 산출하는 R, G 및 B에 대한 값을 생성한다. 스펙트럼 응답 함수는 스펙트럼 카메라에 의해 표준 R, G 및 B 색 기준 타겟의 스펙트럼 화상형성에 의해 얻어진다. 이 방식으로, 멜라닌 농도에 관련된 시간 경과에 따른 제품 사용량으로부터 화이트닝의 효과를 시뮬레이션하는 일련의 화상이 생성된다. 각각의 시점에서 화이트닝을 위한 일반적인 RGB 변환은 이어서 각각의 시뮬레이션된 화상 내의 대응 평균 면적에 의해 시작 화상의 평균 면적의 평균 RGB 값을 나눔으로써, 즉 멜라닌 퍼센트 변화 차트(예를 들어, 도 8a) 내의 데이터로부터 계산된 특정 x를 사용하여, 간단한 방식으로 발견된다. 일단 이들 변환 인자가 알려지면, 이들 변환 인자는 그 시작 평균 멜라닌 농도가 풀 스펙트럼 화상형성을 받게 되었던 기준 대상의 것들에 유사한 대상들에 대한 화이트닝 효과를 시뮬레이션하는데 사용된다.
변환 함수는 RGB 공간 내의 측정된 RGB 값과 스펙트럼 데이터세트의 변환 RGB로부터 계산된 이들 값 사이의 차이의 최소화로부터 최적화된다. 이에 따라, 본 발명의 적어도 하나의 예시적인 실시예에서, 모든 스펙트럼 화상 데이터세트를 가로질러 표현되는 RGB 데이터세트와 스펙트럼 화상 데이터세트 사이의 가상 룩업 테이블(virtual look-up table: LUT)이 설정된다. 이러한 맵핑 및 LUT는 데이터베이스(110) 내에 저장된다[예를 들어, 스펙트럼 화상형성 데이터베이스(227), 화상 분석 데이터베이스(229), 또는 이들의 조합에 저장됨].
유리하게는, 상이한 피부 조건은 스펙트럼 데이터베이스에 목록화되고(catalogued) 결정가능한 기준 RGB 데이터세트에 대응한다. 캡처된 스펙트럼 화상 및 대응하는 캡처된 RGB 화상은 컴파일링되어 피부 조건, 스펙트럼 위치, RGB 위치 및 기준 RGB 데이터세트를 표현하는 스펙트럼 화상 데이터세트와 함께 저장된다.
또한, 하나 이상의 실시예에서, RGB 데이터세트는 상이한 피부 조건이 결정가능한 기준 Lab 데이터세트에 대응하는 스펙트럼 데이터세트에 목록화되도록 Lab 데이터세트로 변환된다.
도 2를 계속 참조하면, 데이터세트(110)는 광범위한 인종 및 민족에 대응하는 RGB/Lab 값[예를 들어, 색의 연속체 데이터베이스(205)에 저장됨]을 포함한다. 이러한 데이터는 하나의 지리학적 지역으로부터 다른 지리학적 지역으로의 RGB/Lab 분포, 어떻게 특정 RGB/Lab 값이 연령에 따라 변화하는지 등을 표현한다. 부가적으로, 데이터베이스(110)는 주름, 모공, 미세 라인, 다크 서클, 뺨의 홍조, 피부의 탄력 등과 같은 물리적 특성이 상이한 인구통계 그룹[예를 들어, 텍스처 과학 데이터베이스(207)에 저장됨]에서 어떻게 변화하고 변동하는지를 지시하는 데이터를 포함한다.
또한 전술된 바와 같이, 데이터베이스(110)는 제품 임상 성능[예를 들어, 데이터베이스(213, 215)에 저장됨]에 속하는 데이터를 포함한다. 외견상 연령 데이터[예를 들어, 데이터베이스(213)에 저장됨]는 역연령에 비교할 때 외견상 연령을 사람에게 할당하는데 사용되는 데이터 및 모델을 포함한다. 구문 "역연령" 또는 실제 연령은 사람의 실제 수명의 견지에서 사람의 연령을 칭한다. 구문 "외견상 연령"은 사람이 이들의 물리적 용모, 특히 얼굴의 전체 용모에 기초하여, 시각적으로 추정되거나 인식되는 연령을 칭한다. 역연령 및 외견상 연령은 일반적으로 년 단위 및 그 부분으로 측정된다. 노화 방지 스킨케어 제품의 일 목표는 역연령에 대해 외견상 연령을 감소시켜, 바람직하게는 역연령 미만으로 외견상 연령을 감소시켜, 사람이 이들의 실제 연령보다 젊어보이게 하는 것이다. 이 목표를 성취하는 제품은 피부 손상을 방지하고 그리고/또는 연령 촉진 인자에 의해 유도된 손상을 제거하는 것이 가능하다. 단지 예로서, 이러한 겉보기 연령 데이터 및 모델은 2009년 9월 4일 출원되고, 본 출원의 양수인에 의해 공동으로 소유된, 발명의 명칭이 "외견상 연령의 목표 모델, 방법 및 사용(An Objective Model of Apparent Age, Methods and Use)"인 국제 공개 WO2010/028247호에 설명된 방식으로 생성되어 저장될 수도 있는데, 이 국제 출원의 개시내용은 본 명세서에 그대로 참조로서 합체되어 있다.
제품 효능 데이터[예를 들어, 데이터베이스(215)에 저장됨]는 어떻게 특정 스킨케어 제품 및 치료가 다양한 시간 기간 및 치료 체계에 걸쳐 다양한 타입의 인간 피부와 관련하여 거동되고 그리고/또는 반응하는지를 지시하는 데이터를 포함한다. 더 구체적으로, 스킨케어 제품 및 치료는 하나 이상의 특정 피부 조건을 타겟화하고 그리고/또는 치료하기 위해(예를 들어, 주름을 감소시키거나 제거하고, 피부톤을 밝게하고, 피부톤을 고르게 하는 등) 특정 성분 또는 조성의 세트를 갖고 특정 방식으로 합성되고 그리고/또는 배열된다. 이러한 정보는 제품 또는 치료의 대응하는 타겟화된 목표에 속하는 데이터와 함께, 제품 효능 데이터베이스(215)에 포함된다.
피부의 균일성, 광채, 또는 잡티(dullness), 또는 검버섯(age spot), 주근깨 등(피부 아래의)을 포함하는 상이한 타입의 반점(spot)의 위치 및 크기를 기술하는 데이터가 데이터베이스(110)[예를 들어, 교차 평탄화 데이터베이스(223)]에 저장된다. 주름의 위치, 크기, 심각도, 및 길이와, 모공의 위치, 크기, 심각도 및 직경을 기술하는 데이터가 데이터베이스(110)[예를 들어, 사진 데이터베이스(225)]에 또한 저장된다.
도 3은 본 발명의 일 실시예에 따른 피부 진단 및 화상 합성 시스템의 개인 정보 캡처 모듈을 도시하고 있다. 예시로서, 도 3은 화상 캡처 모듈(302) 및 텍스트 캡처 모듈(304)을 포함하는 개인 정보 캡처 모듈[도 1에 모듈(106)로서 도시된 것과 같은]을 도시하고 있다.
본 발명의 적어도 하나의 실시예에서, 화상 캡처 모듈(302)은 예를 들어, 화상을 취득하기 위한 하나 이상의 화상 캡처 디바이스를 포함한다. 예를 들어, 하나 이상의 캡처 디바이스는 예를 들어, 가시 화상, 적외선 화상, 및 자외선 화상과 같은, 상이한 범위의 전자기 스펙트럼에 따라 화상을 캡처하는 것이 가능한 화상 캡처 디바이스를 포함할 수도 있다. 즉, 모듈(302)은 가시 화상을 캡처하는 것이 가능한 하나 이상의 디지털 카메라, 및 다른 전자기 스펙트럼 파장 영역(예를 들어, 적외선, 자외선 등)의 화상을 캡처하는 것이 가능한 하나 이상의 카메라, 디바이스 및 센서를 포함한다. 일 실시예에서, 카메라는 3개의 화상 성분, 평행, 수직 및 비편광을 캡처하도록 구성된 편광 사용가능 카메라(polarization-enabled camera)이다. 화상 캡처 디바이스 중 하나 이상은 또한 바람직하게는, 교차 편광 실시예와 관련하여 본 명세서에 설명된 바와 같이, 정반사 화상 성분 및 언더톤 화상 성분을 캡처하도록 구성된다.
부가적으로, 텍스처 캡처 모듈(304)은 예를 들어 수동 텍스트 입력을 위한 키보드 또는 키패드, 및/또는 음성 텍스트 변환(speech-to-text: STT) 모듈과 같은 자동 음성 인식(automatic speech recognition: ASR)을 위해 구성된 디바이스를 포함할 수 있다.
캡처된 및/또는 컴파일링된 정보는 화상으로부터 유도된 데이터세트를 도 2에 도시된 데이터베이스(110) 내의 기준 데이터세트에 비교함으로써 개별 대상 또는 사용자의 피부 조건을 분석하는데 사용된다. 부가적으로, 정보의 캡처시에 그리고/또는 캡처와 함께(도 3에 도시된 바와 같이), 본 발명의 하나 이상의 실시예는 진단 프로세스를 시작하기 위해 사용자에게 특정 세트의 질의(예를 들어, 질의의 디폴트 세트 및/또는 사용자에 맞춤화된 질의의 맞춤화 세트)를 제공하는 것을 포함한다. 이러한 질의는 예를 들어 도 1에 도시된 GUI(104)를 거쳐 출력 디스플레이(112) 상에 제시된다. 질의는 애플리케이션 모듈(108)의 예시적인 실시예와 관련하여 이하에 더 상세히 각각 설명되는 하나 이상의 진단 영역, 하나 이상의 스킨케어 제품 또는 서비스, 하나 이상의 시점, 하나 이상의 평균 방법/모드, 하나 이상의 매치 모드, 하나 이상의 애플리케이션 모드, 및 하나 이상의 색 음영을 선택하도록 사용자를 안내하는 질의 및/또는 다른 형태의 프롬프트를 포함할 수도 있지만, 이들에 한정되는 것은 아니다.
도 4 및 도 5는 GUI(104) 상에서 시스템(100)에 의해 사용자에게 표시되는 스크린샷의 예이다. 이들 GUI 예는 시스템의 특징 및 기능의 부분을 단지 예시하기 위한 것이고, 임의의 방식으로 한정이 되도록 의도된 것은 아니라는 것이 이해되어야 한다. 본 명세서의 발명적 교시에 따라, 통상의 기술자는 간단한 방식으로 GUI(104)를 거쳐 사용자에게 제시될 수 있는 다수의 다른 다양한 특징 및 기능을 실현할 수 있을 것이다.
도 4는 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 그래픽 사용자 인터페이스(104-1)의 제1 부분을 도시하고 있다. 본 명세서에 상술된 바와 같이, 본 발명의 예시적인 실시예는 키오스크 환경(kiosk environment)에서 구현된다. 이러한 실시예에서, 키오스크는 예를 들어, 소매점 위치 또는 카운터에서 사용을 위해 설계될 수 있고, 더 대형 기업 운영의 환경 내에서 포함될 수 있다. 키오스크 환경의 예는 조명 디바이스(화상을 캡처하기 위한 적절한 조명을 제공하기 위한), 화상 캡처링 디바이스를 제어하기 위한 하나 이상의 애플리케이션을 실행하는 프로세서(카메라와 같은), 및 도 4의 GUI(104-1)에 도시된 바와 같은 디스플레이(터치스크린을 갖는)를 포함할 수도 있다. 재차, 소매점 위치에서 키오스크 기반 시스템은 백엔드(backend) 시스템과 통신할 수도 있다. 키오스크 기반 시스템을 실현하기 위한 예시적인 처리 플랫폼이 도 12의 맥락에서 이하에 더 설명될 것이다.
도시된 바와 같이, GUI(104-1)는 터치스크린 사용가능 선택 특징부(402, 404, 406)를 포함한다. 이러한 특징부는 사용자가 시스템이 특징부(402)를 거쳐 그/그녀 자신의 화상(또는 "사진")을 캡처하고, 또는 시스템 데이터베이스에 접속하고, 모듈(405)의 세트[특징부(404)를 거쳐] 또는 다른 키오스크 사용자[특징부(406)를 거쳐]로부터 미리 존재하는 화상을 업로드하도록 명령할 수 있게 한다.
이에 따라, 소매점 위치의 예시적인 구현예에서, 사용자 또는 소비자는 키오스크에서 촬영된 그 또는 그녀의 사진을 갖고, 사진은 시스템(100)에 따라 분석되고, 조언자 또는 다른 기업 직원이 이후에 기업 선호도 또는 사양에 따라 구성된 태블릿 또는 다른 디바이스를 거쳐 키오스크로부터 이격하여 시스템(100)에 의해 발생된 진단 결과 및/또는 추천을 제공한다. 물론, 결과 및/또는 추천은 조언자 또는 다른 직원을 위한 필요 없이 사용자 또는 소비자에 직접 제시될 수도 있다.
도 5는 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 그래픽 사용자 인터페이스(104-2)의 제2 부분을 도시하고 있다. 도시된 바와 같이, 단지 예로서, GUI 특징부는 전/후 스와이퍼 특징부(502) 중 적어도 하나를 거쳐 사용자 피부 화상의 조작과 같은 기능을 제공한다. 스와이퍼 특징부에 의해, 사용자는 그/그녀의 얼굴의 일 부분이 특정 스킨케어 제품 치료 전에 어떻게 보이는지 및 그/그녀의 얼굴의 다른 부분이 특정 치료 후에 어떻게 보이는지를 동시에 볼 수 있는데, 예를 들어 비교 피부 조건을 제공하는 사용자의 얼굴을 따라 연장하는 수직 라인(502)을 볼 수 있다. 사용자는 얼굴의 어느 부분이 치료되는 것으로 보여지는지 어느 부분이 그렇지 않은지를 변경하기 위한 스와이핑 모션으로 라인(502)을 이동할 수 있다.
부가적으로, 다른 GUI 특징부는 사용자 피부 화상의 부분을 축소하거나 확대하고, 화상의 국소 검사를 위한 줌인 및/또는 줌아웃 특징부를 포함한다. 즉, 사용자는 화상 내의 특정 얼굴 영역을 포인팅하는 것이 가능하고, 504로 표기된 원형 윈도우와 같은 윈도우 내에서 확대된(그리고 이어서 재차 축소된) 위치를 갖는다.
또한, GUI 특징부는 대조 특징부, 뿐만 아니라 예를 들어 일광 또는 백열광 조명을 시뮬레이션하기 위해 조명 시뮬레이션 특징부를 또한 포함할 수도 있다. 또한, GUI 특징부는 파운데이션 음영을 결정하기 위한 진단 샘플링 영역을 재규정하기 위한 파운데이션 파인더 "막대기(wand)" 또는 선택 특징부를 포함할 수도 있다. GUI(104)는 시스템의 진단 동작을 보조할 뿐만 아니라 사용자가 시스템에 의해 갖는 포지티브 경험을 증가시키는 것을 보조할 것인 임의의 공지의 화상 조작 특징부(명시적으로 도시되어 있지는 않음)를 사용자(102)에게 제공할 수도 있다는 것이 이해되어야 한다.
이러한 GUI 특징부는 예를 들어, 사용자 인터페이스 상의 활성 버튼의 형태, 사용자 인터페이스 상의 팝업 툴바 등을 거쳐 등과 같이 구현될 수 있다. 또한, 본 발명의 적어도 하나의 실시예에서, GUI 상의 부가의 옵션은 다양한 전자상거래 기업, 글로벌 포지셔닝 시스템, 소셜 네트워크 등과 같은 외부 사이트 및 소스로의 링크를 포함한다.
도 6a는 본 발명의 일 실시예에 따른, 피부 진단 및 화상 합성 시스템의 애플리케이션 모듈(108)의 상세를 도시하고 있다. 도시된 바와 같이, 애플리케이션 모듈(108)은 진단 모듈(602), 서브애플리케이션 선택 모듈(604), 화상 처리 모듈(606), 및 시뮬레이션된 용모 변화 디스플레이 모듈(608)을 포함한다. 더 구체적으로, 도 6a는 시스템(100)의 현재 사용자(102)로부터 캡처되거나 다른 방식으로 얻어진 데이터를 처리할 때 어떻게 애플리케이션 모듈(108)이 동작하는지의 상세를 도시하고 있다.
도 6a의 도시와 관련하여, 본 발명의 적어도 하나의 실시예는 복수의 피부 관련 애플리케이션으로부터 피부 관련 애플리케이션의 선택을 가능하게 하는 것을 포함한다(예를 들어, 도 6b 참조). 용어 "애플리케이션" 및 "서브애플리케이션"은 본 명세서에서 사용되는 바와 같이 상호교환 가능하다는 것이 이해되어야 한다. 본 예에서, 도 6a 및 도 6b를 참조하여 서브애플리케이션은 피부 관련 애플리케이션이고, 애플리케이션 모듈(108)에서 선택가능한 애플리케이션이면 서브애플리케이션이라 칭한다. 도 6b에 도시된 바와 같이, 서브애플리케이션의 예는 파운데이션 매칭 애플리케이션(612), 라인 및 주름 애플리케이션(614), 피부 미백 애플리케이션(616), 피부 탈황색 애플리케이션(618), 및 노화방지 애플리케이션(620)을 포함하지만, 이들에 한정되는 것은 아니다. 이들 서브애플리케이션의 각각은 이하에 더 상세히 설명될 것이다. 그러나, 본 발명의 실시예는 임의의 특정 서브애플리케이션 또는 서브애플리케이션의 세트에 한정되도록 의도된 것은 아니다.
이에 따라, 진단 모듈(602)은 서브애플리케이션 선택 모듈(604)과 함께, 사용자의 캡처된 하나 이상의 화상으로부터 사용자의 피부에 교정을 필요로 하는 하나 이상의 조건을 결정하도록 구성된다. 다음에, 진단된 문제점에 기초하여, 적절한 서브애플리케이션이 선택된다. 사용자는 그/그녀가 시스템에 의해 진단되기를 원하는 피부 영역을 지정할 수 있다. 대안적으로, 시스템은 문제 영역(들)을 자동으로 발견할 수 있다. 또한, 사용자는 그/그녀가 결합하기를 원하는 서브애플리케이션을 직접 지정할 수 있다. 임의의 경우에, 진단 영역이 선택되고, 서브애플리케이션은 모듈(602, 604)에 따라 선택된다.
일단 서브애플리케이션이 선택되면, 서브애플리케이션은 데이터베이스 환경(110) 내의 데이터와 함께 동작하여, 전술된 바와 같이, 선택된 서브애플리케이션에 따라 수행된 특정 진단 동작의 결과를 표현하는 화상 처리 모듈(606)을 거쳐 화상(또는 화상의 세트)을 생성한다. 화상(시뮬레이션된 용모 변화 화상)이 모듈(608)을 거쳐 표시된다[도 1의 GUI(104) 및 출력 디스플레이(112)를 통해].
도 7은 화상 처리 모듈(606)의 상세를 도시하고 있다. 일반적으로, 화상 처리 모듈(606)은 사용자에게 표시된 시뮬레이션된 사용자 화상을 생성하기 위해 화상(도 7의 좌측에 도시된 바와 같은 화상 성분)에 동작한다. 모듈(606)에 의해 동작되는 화상은 캡처 모듈(106)에 의해 캡처된 화상, 즉 사용자 피부 화상이다. 본 실시예에서, 사용자 피부 화상은 비편광 화상 성분(702), 평행광 화상("Para") 성분(704) 및 수직 광 화상("Perp") 성분(706)으로서 표현되는 것으로 가정된다. 대안적으로, 모듈(606)에 의해 동작된 화상은 사용자가 GUI(104)를 거쳐 선택하는[도 4의 GUI(104-1) 상에 모델 화상 선택 특징부를 상기하라] 샘플 화상일 수 있다. 아마도, 사용자가 그/그녀 자신의 화상을 제공하기보다는, 사용자는 샘플 화상에 몇몇 진단 동작의 결과를 뷰잉하기 위해 실연(demonstration)으로서 이 샘플 화상을 사용하도록 선택할 수도 있다. 화상이 사용자 화상인지 샘플 화상인지 여부에 무관하게, 이는 동일한 또는 유사한 방식으로 화상 처리 모듈(606)에 의해 동작된다. 또한, 일 실시예에서 전술된 바와 같이, 평행광 화상 성분(704)은 정반사 성분과 절반의 언더톤 성분으로 구성되고, 반면에 수직광 화상 성분(706)은 다른 절반의 언더톤 성분으로 구성된다. 이는 교차 편광이 사용자의 피부 화상을 캡처하여 처리하도록 이용될 때 해당한다.
도 7에 도시된 바와 같이, 화상 처리 모듈(606)은 비편광 화상 필터(708), 평행광 화상 필터(710), 및 수직광 화상 필터(712)를 결정한다. 도 7에 도시된 3개의 필터(708, 710, 712)는 집합적으로 "화상 처리 필터" 또는 개별적으로 개별 필터라 칭할 수도 있다는 것을 주목하라. 필터는 이하와 같이 결정된다. 데이터베이스(110)는 대상 모집단으로부터 시험 데이터를 컴파일링함으로써 미리 설정되어 있는 RGB 데이터세트에 상관된 스펙트럼 데이터세트의 하나 이상의 룩업 테이블(LUT)을 포함한다는 것을 상기하라. 따라서, 화상 처리 모듈(606)은 사용자(102)로부터 캡처된 RGB 화상을 얻고, 색, 강도 등을 캘리브레이팅하기 위해 RGB 화상을 정규화하고(또는 표준화함)(예를 들어, 표준 프로파일링 소프트웨어를 거쳐), 대응 스펙트럼 화상 데이터세트, 및 이어서 스펙트럼 화상 데이터세트와 연계된 피부 조건을 결정하기 위해 RGB 화상의 정규화된 데이터세트를 LUT에 비교한다. 일 실시예에서, LUT는 스펙트럼 화상 데이터세트에 대응하는 Lab 데이터세트를 저장한다는 것을 상기하라. 이러한 경우에, 사용자 화상의 RGB 값은 룩업 동작을 수행하기 전에 Lab 값으로 변환된다.
화상 처리 모듈(606)은 (i) 프로시니엄(proscenium) 화상 성분을 생성하기 위해 비편광 화상 필터(708)를 비편광 화상 성분(702)에, (ii) 시뮬레이션된 평행광 화상 성분을 생성하기 위해 평행광 화상 필터(710)를 평행광 화상 성분(704)에, 그리고 (iii) 시뮬레이션된 수직광 화상 성분을 생성하기 위해 수직광 화상 필터(712)를 수직광 화상 성분(706)에 적용한다. 시뮬레이션된 평행광 화상 성분 및 시뮬레이션된 수직광 화상 성분은 예를 들어, 피부 관련 애플리케이션을 위한 기본 시뮬레이션된 사용자 화상을 생성하기 위해, 식 (Para + Perp)/2를 사용하여, 제1 조합 모듈(714)에서 조합된다. 기초 시뮬레이션된 사용자 화상은 시뮬레이션된 사용자 피부 화상을 생성하기 위해 제2 조합 모듈(716)에서 프로시니엄 화상 성분과 조합된다. 조합 동작은 "화상 합성"이라 칭하고, 그 시각적 예가 도 9의 맥락에서 이하에 설명될 것이다. 시뮬레이션된 용모 변화 디스플레이 모듈(608)은 이후에 GUI(104)를 거쳐 사용자에게 제시하기 위해 도 1의 출력 디스플레이(112)에 시뮬레이션된 사용자 피부 화상을 출력한다.
데이터베이스(110)는 자연 노화 및 특정 제품의 함수로서, 큰 범위의 얼굴 특징(예를 들어, 모공 크기, 주름 길이 및 폭, 검버섯, 피부색, 피부 화이트닝/황변, 피부 균일도, 눈밑 다크 서클 등)을 기술하는 데이터를 포함한다는 것을 상기하라. 데이터는 연령의 함수로서 평균값 및 제품의 시간 효과의 평균값을 포함한다. 따라서, 이들 수치 시퀀스는 노화의 직접 함수로서 또는 특정 제품 적용 시간의 결과로서, 그 특정 특징부에 대해 어떻게 평균 피부가 변화하는지의 기록을 표현한다. 이 데이터는 물리적 측정(예를 들어, 사진 등) 및 사진 화상의 전문가 패널 평가를 사용하여 연구 및 임상 과학자에 의해 시간 경과에 따라 컴파일링되었다.
이와 같이, 화상 처리 모듈(606)은 대상 사용자를 위한 편광 화상 성분[평행광 화상 성분(704) 및 수직광 화상 성분(706)]을 얻고, 대응 필터(710, 712)는 이어서 결과적인 조합된 비편광 화상이 특정 제품의 예측된 전체 평균 시간 거동에 시각적으로 일치하도록 화소 단위 기초로 화상 성분을 변환한다. 화상 변환 필터(710, 712)는 데이터베이스(110)로부터 사진 기준 및 물리적 측정 정보를 사용하여 생성된다. 이들 필터는 결과적인 변환된 편광 화상이 비편광 화상 내로 조합될 때, 특정 시간의 제품의 평균 거동의 현실적 렌더링을 제공하도록 각각의 화소에 수학적 변환을 수행한다.
화상 필터(708)는 얼굴이 자동으로 로케이팅되고, 눈, 코, 입술, 머리카락, 및 얼굴의 가장자리가 이어서 로케이팅되는 얼굴 인식에 의해 구동된다는 것이 이해되어야 한다. 이들 로케이팅된 영역의 부분이 아닌 화상 성분의 모든 다른 부분은 투명하게 되고 프로시니엄 화상을 생성하는데, 이는 배경 뿐만 아니라 피부 치료 적용 중에 변화하지 않는 귀, 콧구멍, 및 입술이 일정하게 유지되는 것을 허용한다. 일 실시예에서, 필터링된 평행 및 수직 화상 성분은 식 (Para + Perp)/2의 사용에 의해 조합되어 표시가능한 얼굴 화상을 생성한다.
예로서, 화이트닝 스킨케어 제품의 시간 가변 거동을 기술하는 함수는 시간 경과에 따른 피부색의 변화를 결정하는 물리적 척도에 의존한다. 사진 화상의 전문가 패널 평가는 이들 제품을 위해 요구되어 왔는데, 이는 물리적 척도에 정량적으로 유사한 경향을 산출한다. 그러나, 정확한 색 척도가 사용될 수 있다. 이들 화이트닝 제품에 있어서, L, a 및 b의 평균값은 소정의 피부 파라미터에 대한 평균 변화를 기술하는 함수를 산출하는 시간 경과에 따른 변조를 나타낸다, 도 8a(즉, 피부 파라미터로서 멜라닌), 도 8b(즉, 피부 파라미터로서 밝기), 및 도 8c(즉, 피부 파라미터로서 황색도) 참조. 예로서, 도 8a는 특정 연구 그룹에 대한 멜라닌의 평균 변화를 도시하고 있다. 각각의 대상은 각각의 시점에 계산된 멜라닌값을 갖는다. 다음에, 식 퍼센트 변화 = ((시점 - 기준선)/기준선) * 100을 사용하여, 각각의 대상에 대한 멜라닌의 특정 변화가 계산된다. 전체 그룹은 이어서 평균화되고, 데이터는 이어서 전술된 데이터베이스(110)에 저장된다. 이 정보는 이어서 그/그녀의 캡처된 화상으로부터 결정된 그/그녀 자신의 값으로부터 시작하여 대상 사용자에 대한 편광 화상 성분(704, 706) 내의 시간 경과에 따른 색을 직접 변조하는데 사용된다. 캡처된 편광 화상 성분의 Lab 값은 데이터베이스(110) 내의 RGB/Lab-대-스펙트럼 화상 데이터 LUT에 의해 제공된 임의의 소정의 시점에서 평균 변화량을 사용하여 직접 조정된다. 일 실시예에서, 수직 화상 성분(706)에 대한 Lab 값은 LUT 내에 제공된 정확한 변화에 의해 조정되고, 반면에 평행 화상 성분에 대한 Lab 값은 시각적으로 현실적 및 대응 비편광 화상에 대응하도록 정확한 변화의 분율에 의해 조정된다. 이러한 분율 성분 분포는 RGB 데이터세트 내의 3개의 색층(color layer)의 각각에 대해 결정된다. 일 실시예에서, 미백을 위한 실험값이 교차 편광 방식으로(전술된 바와 같이) 결정되고, 따라서 단지 수직 성분에 대한 정보만이 드러난다. 변환된 비편광 화상을 위한 현실적 표현을 생성하기 위해, 투과하는 광(즉, 수직 편광 성분)에 대해 측정된 바와 같은 변화의 절반만큼 평행 화상 성분을 변조함으로써 바람직한 대응이 성취된다는 것이 실험적으로 발견되었다.
본 발명의 대안 실시예에 따르면, 스크롤링과 유사한 화상의 시퀀스 또는 재생 영화의 시퀀스로서 시간 경과에 따른 얼굴 용모의 연속적인 변화(노화 방지 또는 제품 효과)의 시뮬레이션을 생성하기 위한 방법론이 제공된다. 방법론은 일 실시예에서, 5개의 시점 변화를 구비하지만, 이는 임의의 수의 시점일 수 있다. 이 대안적인 방법에서, 초기 캡처된 편광 화상 성분("Para initial" 및 "Perp initial")은 편광 화상 성분("Para final" 및 "Perp final")과 혼합되고, 이후에 조합되어 임의의 소정의 시점에 대한 비편광 화상을 형성한다. "Para final" 및 "Perp final"은, 전체 제품 종단점을 반영하도록 화상 성분을 변화함으로써, 또는 이들의 노화전 젊은 상태로 사람을 복귀시키도록 특정 얼굴 특징을 제거함으로써(zeroing out) 초기 편광 화상 성분으로부터 생성된다. 제1 근사를 위해, 화상의 선형 혼합이 사용된다. "Para Initial"은 식 ParaInitial(1-T) + ParaFinal(T) = ParaTransformed at timepoint T에 따라 "Para Final"과 조합된다. "Perp Initial"은 식 PerpInitial(1-T) + PerpFinal(T) = PerpTransformed at timepoint T에 따라 "Perp Final"과 조합된다. T는 정규화된 시간에 대응하고, 0과 1 사이에 있는데, T=1은 최종 시간이다. 이 선형 혼합 함수는 또한 데이터베이스(110)에 저장된 제품 시간 함수 거동 또는 외견상 연령에 설명된 바와 같이 비선형 함수 형태로 제공될 수 있다. 그러나, 제품 거동 및 노화 방지의 시각적으로 현실적 시뮬레이션이 선형 관계를 사용하여 성취되고, 이는 제품 또는 연령에 기인하는 용모의 시각적 변화에 정확하게 일치하도록 이후에 조정될 수 있다.
도 9는 본 발명의 일 실시예에 따른, 화상 합성 프로세스를 도시하고 있다. 도 9의 화상 합성 프로세스는 도 7의 맥락에서 전술된 화상 처리 모듈(606)에 의해 수행된 화상 성분 조합 동작의 시각적 예라는 것이 이해되어야 한다.
전술된 바와 같이, 3개의 화상 성분이 캡처되고 입력으로서 처리되고, 단일의 화상이 생성되어 시뮬레이션된 사용자 피부 화상으로서 표시된다. 도 9에 도시된 바와 같이, 비편광 화상 성분(902-1)은 하위의 층을 위한 프로시니엄으로서 기능하는 구조적 템플레이트층을 표현한다. 평행광 화상 성분(902-2)은 화소 벤더 필터[예를 들어, 도 7의 필터(710)에 의해 제공된 바와 같은 50% 불투명도]에 기초하여 전술된 바와 같이 처리된 평행층을 표현한다. 또한, 수직광 화상 성분(902-3)은 화소 벤더 필터[예를 들어, 도 7의 필터(712)에 의해 제공된 바와 같은 100% 불투명도]에 기초하여 전술된 바와 같이 처리된 수직층을 표현한다.
조합된 시뮬레이션된 사용자 피부 화상(904)은 최종 화상을 형성하도록 합성된 모든 3개의 층(902-1, 902-2, 902-3)을 표현한다. 또한, 예시로서, 도 9의 하부 화상은 2.5차원 뷰에서 3개의 층(902-1, 902-2, 902-3)을 표현한다.
도 7의 맥락에서 전술된 바와 같이, 화상 성분(902-1)은 필터(708)를 통해 비편광 화상 성분(702)을 통과시킴으로써 생성되는데, 이는 화상 내의 피부의 영역을 결정하고, 이들 화소 영역은 투명하게 되고, 반면에 모든 다른 화소 영역은 불변 유지되어 프로시니엄을 생성한다. 화상 성분(902-2) 및 화상 성분(902-3)은 각각의 필터(710, 712)를 통해 평행광 화상 성분(704) 및 수직광 화상 성분(706)을 통과시킴으로써 생성되는데, 이들의 특성은 전술된 바와 같이 상이한 시점에 임상 제품 거동에 의해 결정된 파라미터에 의해 제어된다. 따라서, 도 9에 표현된 바와 같이, 평행 화상 성분 및 수직 화상 성분은 조합되어 대상 또는 사용자를 위한 비편광 제품 거동 화상을 형성하는데, 이 화상은 프로시니엄과 조합되어 표시된 화상을 형성한다. 부가적으로, 본 발명의 적어도 하나의 실시예에서, 예를 들어 모바일 디바이스(예를 들어, 휴대폰 또는 태블릿)로 캡처된 단일의 화상에 대해, 캡처된 화상은 시스템의 비편광, 평행, 및 수직 입력으로 복사되고, 기술은 이후에 상기에 상술된 바와 같이 진행한다.
도 10은 도 1의 피부 진단 및 화상 합성 시스템(100)에 따른 파운데이션 매칭 서브애플리케이션을 실행하는 애플리케이션 모듈(108)을 도시하고 있다. 즉, 복수의 서브애플리케이션(612 내지 620)(도 6b)으로부터의 선택 모듈(604)에 따라 선택된 서브애플리케이션은 파운데이션 매치 서브애플리케이션(612)인 것으로 가정된다. 더 구체적으로, 모듈(1002 내지 1008)은 도 1의 시스템의 애플리케이션 모듈(108)에 의해 수행된 단계를 표현한다.
적어도 하나의 사용자 피부 화상이 얻어지는 것으로 가정된다. GUI(104)를 거쳐, 사용자(102)는 제품 타입을 선택하고, 그/그녀가 시스템에 의해 진단되거나 다른 방식으로 처리되는 사용자 피부 화상 내의 영역을 또한 선택한다, "평균 선택법"이라 칭함(도 10). 동시에, 선택된 제품 타입 선택(본 예에서, 파운데이션 스킨케어 제품)으로부터 사용자의 선택과 연계된 데이터는 데이터베이스(110)로부터 검색되고 모듈(1002) 내에 입력된다. 모듈(1002)에 의해 얻어지고 그리고/또는 처리된 데이터는 모듈(1004)로 통과되고, 이 모듈은 이어서 도 6a의 맥락에서 이하에 설명되는 바와 같은 가장 근접한 매치를 결정한다. 초기 시각화 후에, 사용자(102)(그/그녀가 이렇게 원하면)는 제품 효과를 시각화하기 위해 사용자 피부 화상 내의 다른 위치를 선택할 수 있다. 이는 특정 선택된 제품 타입 서브애플리케이션 내에 있고 서브애플리케이션이 얼굴 위의 다른 위치에 제품 시각화를 표시하는 것을 가능하게 하는 "평균 선택 모드"(도 10)라 칭한다.
따라서, 본 특정 예에서, 모듈(1002)은 사용자 피부 화상을 얻고, 사용자에 의해 선택된 화상의 소정의 영역에 대해 평균 색값을 결정하는데, 즉 피부 화상으로부터 피부 화상 데이터를 생성한다. 모듈(1004)은 모듈(1002)에 의해 생성된 사용자 피부 화상 데이터에 일치하거나 대응하는 데이터베이스(110) 내의 피부 화상 데이터의 하나 이상의 세트를 식별한다. 모듈(1006)은 데이터베이스로부터 식별된 피부 화상 데이터의 하나 이상의 세트에 기초하여 적절한 화상 처리 필터(예를 들어, 도 7의 708, 710, 712)를 결정하도록 화상을 처리한다. 모듈(1006)은 이어서 시뮬레이션된 사용자 피부 화상을 생성하도록 사용자 피부 화상의 선택된 영역에 화상 처리 필터를 적용한다. 시뮬레이션된 사용자 피부 화상은 모듈(1008) 및 GUI(104)를 거쳐 사용자에게 표시된다.
부가적으로, 모듈(1008)과 함께, 사용자(102)[GUI(104)를 거쳐]는 일치 모드("일치 선택 모드") 및 애플리케이션 모드("애플리케이션 선택 모드"), 뿐만 아니라 적용 가능하면 하나 이상의 특정 음영 또는 톤("음영 선택")을 선택할 수도 있다. 애플리케이션 모드는 사용자가 피부 상에 특정 음영을 적용하고, 얼마나 많이 적용되는지를 조정할 수 있게 하고, 사용자가 다른 절반(또는 나머지 퍼센트)이 그/그녀의 원래 화상인 동안 얼굴 위에 제품이 있는 얼굴의 절반(또는 소정의 다른 퍼센트)을 볼 수 있게 한다. 음영 선택 옵션은 사용자가 소비자 선호도를 고려하기 위해 자연적인 일치 음영 이외의 다른 음영을 선택할 수 있게 한다. 애플리케이션은 자연적인 음영에 비교할 때 더 밝고, 더 어둡고, 더 황색이거나, 더 적색이지만, 사용자에게 여전히 적절할 것인 음영을 표시할 수 있다. 일치 모드 선택은 가장 근접한 일치를 발견하기 위해 서브애플리케이션에 의해 사용된 파라미터를 선택하는 것을 허용한다.
본 명세서에 설명된 바와 같이, 서브애플리케이션의 진단 동작은 사용자 피부 화상의 선택된 또는 식별된 부분의 하나 이상의 영역에 대한 사용자 RGB 색 공간값을 결정하는 것을 포함한다는 것이 이해되어야 한다. 부가적으로, 서브애플리케이션은 사용자 피부 화상의 선택된 부분의 영역에 대한 사용자 RGB 색 공간값의 평균 RGB 색 공간값을 계산하는 것과, 평균 RGB 색 공간값을 사용자 L, a, b 색 공간값으로 변환하는 것을 포함한다. 또한, 사용자 L, a, b 색 공간값에 대략적으로 일치하는 데이터베이스 내의 하나 이상의 L, a, b 색 공간값을 식별하는 것을 통해 사용자 피부 화상 데이터에 대응하는 피부 화상 데이터의 하나 이상의 세트가 데이터베이스 내에서 식별된다. 적절한 화상 처리 필터는 데이터베이스로부터 하나 이상의 식별된 L, a, b 색 공간값에 기초하여 결정되고 그리고/또는 설정된다. 또한, 본 명세서에 설명된 바와 같이, 서브애플리케이션은 하나 이상의 스펙트럼 특징값으로부터 하나 이상의 L, a, b 색 공간값을 식별하기 위해 룩업 테이블(LUT)에 액세스하는 것을 포함한다.
따라서, 유리하게는 도 10에 도시된 파운데이션 매칭예에서, 평균색은 사용자 피부 화상의 국부적인 영역에서 샘플링되고, LUT 내에[데이터베이스(110) 내에] 저장된 실제 제품색으로부터의 편차가 계산된다. 미리 결정된 수의 가장 근접한 일치가 리턴된다. 본 발명의 예시적인 실시예에서, 저, 중 또는 고 불투명도 커버리지(예를 들어, 약 0.3 내지 약 0.8 불투명도)가 선택될 수도 있다. 또한, 사용자 화상의 상이한 영역이 리샘플링될 수 있어, 원래 영역을 위한 일치를 리턴한다. 본 명세서에 설명된 바와 같이, 화상 처리 필터는 임상 제품 시험을 통해 얻어진 특정 제품 거동에 일치하도록 선택된다.
더 구체적으로, 일 실시예에서, 사용자는 화상의 영역(예를 들어, 얼굴의 뺨 부분)을 터치하고 그리고/또는 선택한다. RGB 값은 화상의 선택된 또는 터치된 영역의 영역(예를 들어, 50×50 화소 영역)에 걸쳐 평균화된다. Ravg, Gavg, Bavg 값은 통상의 색 모델 변환 기술을 사용하여 Lavg, Aavg, Bavg 색 공간값으로 변환되고, 데이터베이스(110) 내에 저장된 제품 색으로부터의 Lavg, Aavg, Bavg 값의 편차가 식 E = sqrt((L-Lavg)2+((A-Aavg)2+((B-Bavg)2)을 사용하여 계산된다. 데이터베이스로부터 미리 정해진 수(예를 들어, 5개)의 가장 근접한 일치가 리턴되고, 관련 음영을 위한 RGB 값이 리턴되고, 화상 처리를 위한 적절한 필터를 설정하는데, 즉 적절한 파운데이션 음영을 위한 필터를 생성하여 적용하는데 사용된다.
이러한 기술 및 이러한 예시적인 용례는 예를 들어 분말 파운데이션의 용례를 시뮬레이션하기 위해 유용하고, 임상적으로 결정된 거동으로 조정될 수 있다. 또한, 다른 애플리케이션에서와 같이, 파운데이션 일치 애플리케이션은 사용자가 GUI 선택 특징을 사용하여 샘플링 영역을 재규정하는 것을 가능하게 한다.
도 10은 파운데이션 매칭 애플리케이션을 도시하고 있지만, 시스템(100)은 선택된 사용자 피부 화상 영역으로부터 유도된 정보에 기초하여 하나 이상의 스킨케어 제품의 거동을 설정하기 위해 사용자 피부 화상의 선택된 영역으로부터 정보를 결정하도록 다른 진단 애플리케이션을 수행할 수 있다는 것이 이해되어야 한다.
다른 예로서, 피부 미백 애플리케이션[즉, 도 6b의 서브애플리케이션(616)]은 화이트닝 또는 미백 스킨케어 제품의 시점 제품 거동을 표시하는 것을 포함한다. 화상 처리 필터는 임상 제품 시험을 통해 얻어진 특정 제품 거동에 일치하도록 설정된다. 다른 예시적인 애플리케이션은 얼굴 영역 인식 및 마스킹 애플리케이션을 포함한다. 얼굴 마스킹은 선택된 피부의 색이 단지 특정의 색 범위 내에 있는 것을 실현함으로써 피부의 단지 수정된 영역만을 표시하는 것을 허용한다. 이에 따라, 임계 화소 벤더 필터가 화상을 마스킹하는데 사용된다.
라인 및 주름 애플리케이션[즉, 서브애플리케이션(614)]은 라인 및 주름 관련 스킨케어 제품의 시점 제품 거동을 표시하는 것을 포함한다. 화상 처리 필터는 임상 제품 시험을 통해 얻어진 특정 제품 거동에 일치하도록 설정된다. 더 구체적으로, 라인 및 주름 애플리케이션에 따르면, 화상은 데이터베이스 또는 라이브러리로부터 선택되고, 또는 사용자 화상이 캡처된다. 사용자는 화상의 영역(예를 들어, 얼굴의 뺨 부분)을 터치하고 그리고/또는 선택한다. 박스(예로서, 3"×3" 박스) 흐려짐이 관련 화상 처리 필터 내의 평행 화상에 적용되고, 결과는 원래 평행 화상과 조합된다. 흐린 화상의 불투명도는 캘리브레이션 매트릭스에 의해 제어되고, 일반적으로 초기 제품 사용 시간에서의 대략 0.1 불투명도로부터 후속의 제품 사용 시간에서의 대략 0.6 불투명도까지 다양할 수 있다.
유리하게는, 본 명세서에 제공된 소정의 처리 및 필터링 프레임워크에 의해, 통상의 기술자는 간단한 방식으로 피부 진단 및 화상 합성 시스템에 의해 구현될 수 있는 다수의 부가의 애플리케이션을 실현할 수 있을 것이다. 다른 예는 모공 애플리케이션, 피부 불균일성 애플리케이션, 및 눈밑 다크 서클 애플리케이션을 포함하지만, 이들에 한정되는 것은 아니다.
도 11은 그에 따라 피부 진단 및 화상 합성 시스템의 하나 이상의 실시예가 구현될 수 있는 컴퓨터 시스템(처리 플랫폼)(1100)을 도시하고 있다. 즉, 도 1 내지 도 10의 맥락에서 도시되고 설명된 하나, 하나 초과, 또는 모든 구성 요소는 도 11에 도시된 처리 플랫폼을 거쳐 구현될 수 있다.
예로서, 도 11은 프로세서(1102), 메모리(1104), 및 디스플레이(1106) 및 키보드/마우스/터치스크린(1108)에 의해 형성된 입출력(I/O) 인터페이스를 도시하고 있다. 더 많거나 적은 디바이스가 I/O 인터페이스의 부분일 수도 있다. 프로세서(1102), 메모리(1104) 및/또는 I/O 인터페이스는 데이터 처리 유닛 또는 시스템(1112)(범용 컴퓨터, 워크스테이션, 서버, 클라이언트 디바이스 등과 같은)의 부분으로서 컴퓨터 버스(1110)를 거쳐 상호접속된다. 컴퓨터 버스(1110)를 거친 상호접속은 또한 네트워크 인터페이스(1114) 및 매체 인터페이스(116)에 제공된다. 네트워크 인터페이스(1114)(예를 들어, 모뎀, 라우터 및 이더넷 카드를 포함할 수 있음)는 시스템이 중간 개인 또는 공개 컴퓨터 네트워크(유선 및/또는 무선)를 통해 다른 데이터 처리 시스템 또는 디바이스(원격 디스플레이 또는 다른 컴퓨팅 및 저장 디바이스와 같은)에 결합할 수 있게 한다. 매체 인터페이스(1116)(예를 들어, 이동식 디스크 드라이브를 포함할 수 있음)는 매체(1118)와 인터페이스한다.
본 명세서에 사용될 때, 용어 "프로세서"는 예를 들어, 중앙 처리 유닛(CPU), 마이크로프로세서, 마이크로콘트롤러, 응용 주문형 집적 회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA) 또는 다른 유형의 처리 회로, 뿐만 아니라 이러한 회로 소자의 부분 또는 조합을 포함하는 하나 이상의 개별 처리 디바이스를 칭한다.
부가적으로, 용어 "메모리"는 예를 들어 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 이동식 메모리 디바이스, 고정식 메모리 디바이스, 및/또는 플래시 메모리와 같은 프로세서와 연계된 메모리를 칭한다. 매체(1118)는 이동식 메모리의 예일 수도 있고, 반면에 다른 유형의 언급된 메모리가 메모리(1104)의 예일 수도 있다. 더욱이, 용어 "메모리" 및 "매체"는 더 일반적으로 "컴퓨터 프로그램 제품"이라 칭하는 것의 예로서 간주될 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 프로그램 코드(즉, 소프트웨어, 마이크로코드, 프로그램 명령 등)를 저장하도록 구성된다. 예를 들어, 컴퓨터 프로그램 코드는 메모리(1104) 및/또는 매체(118)로부터 로딩되고 프로세서(1102)에 의해 실행될 때 디바이스가 시스템(100)의 구성요소 및 기술 중 하나 이상과 연계된 기능을 수행하게 한다. 통상의 기술자는 본 명세서에 제공된 교시가 제공되면 이러한 컴퓨터 프로그램 코드를 구현하는 것이 즉시 가능할 것이다. 유사하게, 본 명세서에 설명된 구성 요소 및 기술은 "컴퓨터 판독가능 저장 매체"에 저장된 컴퓨터 프로그램 코드를 포함하는 컴퓨터 프로그램 제품을 거쳐 구현될 수도 있다. 본 발명의 실시예를 구체화하는 컴퓨터 프로그램 제품의 다른 예는 예를 들어, 광학 또는 자기 디스크를 포함할 수도 있다. 또한, 컴퓨터 프로그램 코드는 네트워크로부터[예를 들어, 네트워크 인터페이스(1114)를 통해] 다운로드되고, 시스템에 의해 실행될 수도 있다.
또한, 디바이스(1106, 1108)에 의해 형성된 I/O 인터페이스는 프로세서(1102)에 데이터를 입력하고, 프로세서(1102)와 연계된 초기, 중간 및/또는 최종 결과를 제공하기 위해 사용된다.
도 12는 그에 따라 본 발명의 하나 이상의 실시예가 구현될 수 있는 분산형 통신/컴퓨팅 네트워크(처리 플랫폼)를 도시하고 있다. 예로서, 도 12는 네트워크(1202)를 통해 서로 통신하도록 구성된 복수의 컴퓨팅 디바이스(1204-1 내지 1204-P)[본 명세서에서 집합적으로 컴퓨팅 디바이스(1204)라 칭함]를 포함하는 통신 시스템(1200)을 도시하고 있다.
도 12의 컴퓨팅 디바이스(1204) 중 하나, 하나 초과, 또는 모두는 도 11에 도시된 바와 같이 구성될 수도 있다는 것이 이해되어야 한다. 네트워크(1202)는 예를 들어, 인터넷과 같은 글로벌 컴퓨터 네트워크, 광대역 통신망(WAN), 근거리 통신망(LAN), 위성 네트워크, 전화 또는 케이블 네트워크, 또는 이들 및 다른 유형의 네트워크(유선 및/또는 무선 네트워크를 포함함)의 다양한 부분 또는 조합을 포함할 수도 있다.
본 명세서에 설명된 바와 같이, 컴퓨팅 디바이스(1204)는 매우 다양한 디바이스를 표현할 수도 있다. 예를 들어, 컴퓨팅 디바이스(1204)는 이동 전화, 스마트폰, 개인 휴대 정보 단말(PDA), 태블릿, 컴퓨터, 클라이언트 디바이스 등과 같은 휴대용 기기를 포함할 수 있다. 컴퓨팅 디바이스(1204)는 대안적으로, 데스크탑 또는 랩탑 퍼스널 컴퓨터(PC), 서버, 마이크로컴퓨터, 워크스테이션, 키오스크, 메인프레임 컴퓨터, 또는 본 발명의 하나 이상의 실시예에 따라 상술된 임의의 또는 모든 기술을 구현할 수 있는 임의의 다른 정보 처리 디바이스를 포함할 수도 있다.
컴퓨팅 디바이스(1204) 중 하나 이상은 또한 "사용자"로 고려될 수도 있다. 용어 "사용자"는 본 명세서에서 사용될 때, 한정이 아니라 예로서, 사용자 디바이스, 디바이스를 이용하거나 다른 방식으로 연계된 사람, 또는 양자의 조합을 포함하는 것으로 이해되어야 한다. 따라서, 사용자에 의해 수행되는 것으로서 본 명세서에 설명된 동작은 예를 들어, 사용자 디바이스, 디바이스를 이용하거나 다른 방식으로 연계된 사람에 의해, 또는 사람 및 디바이스의 모두의 조합에 의해 수행될 수도 있고, 그 맥락은 상세한 설명으로부터 명백하다.
부가적으로, 본 명세서에 언급된 바와 같이, 본 발명의 실시예와 관련하여 설명된 하나 이상의 모듈, 요소 또는 구성 요소는 하나 이상의 다른 모듈, 요소 또는 구성 요소로부터 지리학적으로 이격하여 위치될 수 있다. 즉, 예를 들어, 도 1 내지 도 10의 맥락에서 도시되고 설명된 모듈, 요소 또는 구성 요소는 인터넷 기반 환경, 이동 전화 기반 환경, 키오스크 기반 환경 및/또는 근거리 통신망 환경에서 분산될 수 있다. 피부 진단 및 화상 합성 시스템은 본 명세서에 설명된 바와 같이, 이들 구현 환경들 중 임의의 특정의 것에 한정되지 않는다. 그러나, 시스템에 의해 수행된 진단 동작에 따라, 일 구현 환경은 다른 구현 환경에 비해 소정의 기능적 및/또는 물리적 이익을 가질 수도 있다.
예로서, 인터넷 기반 및/또는 전화 기반 환경에서, 시스템은 사용자가 스마트폰 또는 모바일 디바이스[도 12의 컴퓨팅 디바이스(1204) 중 하나]를 거쳐 화상을 캡처(또는 선택)할 수 있게 하도록 구성되고, 화상은 본 명세서에 상술된 것과 같은 처리 및 분석을 위해 원격 서버[도 12의 컴퓨팅 디바이스(1204) 중 다른 하나]에 전송된다. 처리 및 분석의 적어도 일부는 사용자단에서 수행될 수도 있다.
부가적으로, 예를 들어, 키오스크 기반 환경에서, 디바이스[도 12의 컴퓨팅 디바이스(1204) 중 하나]는 화상을 캡처하거나 사용자가 화상을 선택하는 것을 가능하게 하고, 화상은 본 명세서에 설명된 바와 같은 처리 및 분석을 위해 서버[도 12의 컴퓨팅 디바이스(1204) 중 다른 하나]로의 유선 또는 무선 접속을 통해 전송된다. 재차, 처리 및 분석의 적어도 일부는 사용자단에서 수행될 수도 있다. 키오스크 환경은 도 4의 맥락에서 전술된 바와 같이 구성될 수도 있다.
LAN 기반 환경에서, 모든 화상 캡처, 처리 및 분석은 LAN에 로컬하게 결합된 하나 이상의 컴퓨팅 디바이스(도 12의 1204)에 의해 수행될 수 있다.
상이한 구현 환경의 조합이 본 발명의 실시예의 범주 내에 있는 것으로서 고려된다는 것이 이해되어야 한다. 통상의 기술자는 본 명세서에 제공된 예시적인 교시가 제공되면 대안 구현예를 실현할 수 있을 것이다.
본 명세서에 사용된 용어는 단지 특정 실시예를 설명하기 위한 것이고, 본 발명의 한정이 되도록 의도된 것은 아니다. 본 명세서에 사용될 때, 단수 형태의 표현은 문맥상 명백하게 달리 지시되지 않으면, 복수 형태를 마찬가지로 포함하도록 의도된다. 부가적으로, 용어 "포함한다" 및/또는 "포함하는"은 본 명세서에 사용될 때, 언급된 값, 특징, 단계, 동작, 모듈, 요소 및/또는 구성 요소의 존재를 설명하고, 다른 값, 특징, 단계, 동작, 모듈, 요소, 구성 요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하는 것은 아니다.
본 발명의 다양한 실시예의 설명은 예시의 목적으로 제시되어 있지만, 철저한 것으로서 의도되거나 개시된 실시예에 한정되는 것은 아니다. 다수의 수정예 및 변형예가 설명된 실시예의 범주 및 사상으로부터 벗어나지 않고 통상의 기술자에 명백할 것이다.

Claims (35)

  1. 사용자 피부 화상을 캡처하는 사용자 정보 모듈과,
    복수의 피부 관련 애플리케이션으로부터 피부 관련 애플리케이션의 선택을 가능하게 하는 그래픽 사용자 인터페이스와,
    피부 화상 데이터베이스와,
    상기 사용자 정보 모듈, 상기 그래픽 사용자 인터페이스, 및 상기 피부 화상 데이터베이스에 결합된 프로세서로서, 상기 프로세서는
    사용자 피부 화상으로부터 사용자 피부 화상 데이터를 결정하고,
    상기 피부 관련 애플리케이션에 의해 지정된 하나 이상의 파라미터에 기초하여 사용자 피부 화상 데이터에 대응하는 피부 화상 데이터베이스 내의 피부 화상 데이터의 하나 이상의 세트를 식별하고,
    상기 피부 화상 데이터베이스로부터 피부 화상 데이터의 하나 이상의 식별된 세트에 대응하는 적어도 하나의 화상 처리 필터를 사용자 피부 화상에 적용하여 시뮬레이션된 사용자 피부 화상을 생성하도록 구성되며,
    여기서 사용자 피부 화상은 평행광 화상 성분 및 수직광 화상 성분을 포함하고, 적어도 하나의 화상 처리 필터를 적용하는 것은 피부 화상 데이터의 적어도 일부의 식별된 세트를 기초로 하나 이상의 평행광 화상 성분 및 수직광 화상 성분의 분율 성분 분포를 결정하는 것을 포함하고,
    여기서 평행광 화상 성분은 정반사 성분 및 언더톤 성분의 제1 부분을 포함하고, 수직광 화상 성분은 언더톤 성분의 제2 부분을 포함하며,
    여기서 정반사 성분은 피부의 표면으로부터 반사하는 광을 표현하고, 제1 부분 및 제2 부분을 포함하는 언더톤 성분은 피부의 표면을 횡단하고 표면하로부터 반사하는 광을 표현하는 것인
    프로세서와,
    상기 시뮬레이션된 사용자 피부 화상을 표시하는 출력 디스플레이를 포함하는 시스템.
  2. 제1항에 있어서, 상기 사용자 정보 모듈은 가시 화상을 캡처하도록 구성된 장치를 포함하는 시스템.
  3. 제1항에 있어서, 상기 사용자 정보 모듈은 적외선 화상을 캡처하도록 구성된 장치를 포함하는 시스템.
  4. 제1항에 있어서, 상기 사용자 정보 모듈은 자외선 화상을 캡처하도록 구성된 장치를 포함하는 시스템.
  5. 제1항에 있어서, 상기 사용자 정보 모듈은 텍스트 입력 모듈을 포함하는 시스템.
  6. 제1항에 있어서, 상기 그래픽 사용자 인터페이스는 전/후 스와이퍼 특징부, 줌인 및/또는 줌아웃 특징부, 대조 특징부, 미백 시뮬레이션 특징부, 및 타겟 사이징 특징부 중 적어도 하나를 거쳐 사용자 피부 화상의 조작을 가능하게 하는 시스템.
  7. 제1항에 있어서, 상기 피부 화상 데이터베이스는 화상형성 데이터를 포함하는 시스템.
  8. 제7항에 있어서, 상기 화상형성 데이터는 편광 필터 데이터 및/또는 적색, 녹색, 청색(RGB) 색 모델/L, a, b 색 공간 변환 데이터를 포함하는 시스템.
  9. 제1항에 있어서, 상기 피부 화상 데이터베이스는 스킨케어 제품 데이터를 포함하는 시스템.
  10. 제9항에 있어서, 상기 스킨케어 제품 데이터는 연령 관련 피부 화상 데이터 및 스킨케어 제품 효능 데이터 중 적어도 하나를 포함하는 시스템.
  11. 제1항에 있어서, 상기 화상 데이터베이스는 피부 데이터를 포함하는 시스템.
  12. 제11항에 있어서, 상기 피부 데이터는 피부색 데이터 및 피부 텍스처 데이터 중 적어도 하나를 포함하는 시스템.
  13. 제1항에 있어서, 상기 프로세서는 진단 모듈, 애플리케이션 선택 모듈, 애플리케이션 실행 모듈, 및 화상 처리 모듈을 포함하는 시스템.
  14. 제13항에 있어서, 상기 진단 모듈은
    상기 사용자 피부 화상을 위한 사용자 적색, 녹색, 청색(RGB) 색 공간값을 결정하고,
    상기 사용자 피부 화상의 하나 이상의 영역을 위한 사용자 RGB 색 공간값을 위한 평균 RGB 색 공간값을 계산하고,
    상기 평균 RGB 색 공간값을 사용자 L, a, b 색 공간값으로 변환하는 시스템.
  15. 제13항에 있어서, 상기 애플리케이션 선택 모듈은 파운데이션 매칭 애플리케이션, 라인 및 주름 애플리케이션, 피부 미백 애플리케이션, 피부 탈황색 애플리케이션, 및 노화 방지 애플리케이션 중 하나를 포함하는 피부 관련 애플리케이션의 선택을 가능하게 하는 시스템.
  16. 제13항에 있어서, 상기 화상 처리 모듈은
    상기 사용자 피부 화상으로부터 비편광 화상 성분, 평행광 화상 성분 및 수직광 화상 성분을 얻고,
    데이터베이스로부터 식별된 피부 화상 데이터의 하나 이상의 세트에 기초하여 비편광 화상 필터, 평행광 화상 필터 및 수직광 화상 필터를 결정하고,
    상기 비편광 화상 성분에 비편광 화상 필터를 적용하여 프로시니엄 화상 성분을 생성하고,
    상기 평행광 화상 성분에 평행광 화상 필터를 적용하여 시뮬레이션된 평행광 화상 성분을 생성하고,
    상기 수직광 화상 성분에 수직광 화상 필터를 적용하여 시뮬레이션된 수직광 화상 성분을 생성하고,
    상기 시뮬레이션된 평행광 화상 성분과 시뮬레이션된 수직광 화상 성분을 조합하여 피부 관련 애플리케이션을 위한 기초 시뮬레이션된 사용자 화상을 생성하고,
    상기 기초 시뮬레이션된 사용자 화상을 프로시니엄 화상 성분과 조합하여 시뮬레이션된 사용자 피부 화상을 생성하고,
    상기 시뮬레이션된 사용자 피부 화상을 출력 디스플레이에 출력하는 시스템.
  17. 제1항에 있어서, 상기 사용자 정보 모듈, 상기 그래픽 사용자 인터페이스, 상기 피부 화상 데이터베이스, 상기 프로세서 및 상기 출력 디스플레이 중 적어도 하나는 상기 사용자 정보 모듈, 상기 그래픽 사용자 인터페이스, 상기 피부 화상 데이터베이스, 상기 프로세서 및 상기 출력 디스플레이 중 다른 것들로부터 지리학적으로 이격하여 위치되는 시스템.
  18. 제1항에 있어서, 상기 사용자 정보 모듈, 상기 그래픽 사용자 인터페이스, 상기 피부 화상 데이터베이스, 상기 프로세서 및 상기 출력 디스플레이 중 하나 이상은 인터넷 기반 환경에서 분산되는 시스템.
  19. 제1항에 있어서, 상기 사용자 정보 모듈, 상기 그래픽 사용자 인터페이스, 상기 피부 화상 데이터베이스, 상기 프로세서 및 상기 출력 디스플레이 중 하나 이상은 이동 전화 기반 환경에서 분산되는 시스템.
  20. 제1항에 있어서, 상기 사용자 정보 모듈, 상기 그래픽 사용자 인터페이스, 상기 피부 화상 데이터베이스, 상기 프로세서 및 상기 출력 디스플레이 중 하나 이상은 키오스크 기반 환경에서 분산되는 시스템.
  21. 제1항에 있어서, 상기 사용자 정보 모듈, 상기 그래픽 사용자 인터페이스, 상기 피부 화상 데이터베이스, 상기 프로세서 및 상기 출력 디스플레이 중 하나 이상은 근거리 통신망 환경에서 분산되는 시스템.
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
KR1020157031681A 2013-04-09 2014-02-05 피부 진단 및 화상 처리 시스템, 장치 및 물품 KR101799174B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/859,384 US9256963B2 (en) 2013-04-09 2013-04-09 Skin diagnostic and image processing systems, apparatus and articles
US13/859,384 2013-04-09
PCT/US2014/014886 WO2014168678A1 (en) 2013-04-09 2014-02-05 Skin diagnostic and image processing systems, apparatus and articles

Publications (2)

Publication Number Publication Date
KR20150141989A KR20150141989A (ko) 2015-12-21
KR101799174B1 true KR101799174B1 (ko) 2017-11-17

Family

ID=51655394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157031681A KR101799174B1 (ko) 2013-04-09 2014-02-05 피부 진단 및 화상 처리 시스템, 장치 및 물품

Country Status (7)

Country Link
US (1) US9256963B2 (ko)
EP (1) EP2983580A4 (ko)
JP (2) JP6271708B2 (ko)
KR (1) KR101799174B1 (ko)
AU (1) AU2014251372B2 (ko)
CA (1) CA2908735A1 (ko)
WO (1) WO2014168678A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252343B (zh) * 2013-06-27 2019-09-06 腾讯科技（深圳）有限公司 一种更换应用程序视觉控件的方法及设备
JP6112356B2 (ja) * 2013-08-09 2017-04-12 フリュー株式会社 画像編集装置、画像編集方法、およびプログラム
US10504228B2 (en) * 2015-05-15 2019-12-10 Sony Corporation Image processing system and method
KR102490438B1 (ko) * 2015-09-02 2023-01-19 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3414538A1 (en) 2016-02-08 2018-12-19 Equality Cosmetics, Inc. Apparatus and method for formulation and dispensing of visually customized cosmetics
KR102508831B1 (ko) * 2016-02-17 2023-03-10 삼성전자주식회사 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법
EP3433818A1 (en) 2016-03-21 2019-01-30 The Procter and Gamble Company Systems and methods for providing customized product recommendations
US11122206B2 (en) 2016-11-08 2021-09-14 Preh Holding, Llc Personal care device with camera
US10511777B2 (en) 2016-11-08 2019-12-17 Thomas Nichols Personal care device with camera
RU2657377C2 (ru) 2016-11-11 2018-06-13 Самсунг Электроникс Ко., Лтд. Интеллектуальная насадка на смартфон для определения чистоты, влажности и фотовозраста кожи
US10534953B2 (en) 2016-11-14 2020-01-14 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11222195B2 (en) 2016-11-14 2022-01-11 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
DE102016224397A1 (de) * 2016-12-07 2018-06-07 Henkel Ag & Co. Kgaa Verfahren und Vorrichtung zum Ermitteln eines Hautzustandes und Verfahren zum Ermitteln eines Kosmetikprodukts zur Hautbehandlung
DE102017202702A1 (de) * 2017-02-20 2018-08-23 Henkel Ag & Co. Kgaa Verfahren und Einrichtung zum Ermitteln einer Homogenität von Hautfarbe
US10621771B2 (en) 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation
US10614623B2 (en) 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation
RU177110U1 (ru) * 2017-04-17 2018-02-08 Государственное бюджетное учреждение здравоохранения г. Москвы "Московский научно-практический центр дерматовенерологии и косметологии Департамента здравоохранения г. Москвы" Устройство для динамического клинико-инструментального наблюдения за пациентами с поражениями кожи
KR102339915B1 (ko) 2017-05-31 2021-12-17 더 프록터 앤드 갬블 캄파니 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
WO2018222808A1 (en) 2017-05-31 2018-12-06 The Procter & Gamble Company Systems and methods for determining apparent skin age
CN109064438A (zh) 2017-06-09 2018-12-21 丽宝大数据股份有限公司 皮肤状态检测方法、电子装置与皮肤状态检测系统
CN109300164A (zh) 2017-07-25 2019-02-01 丽宝大数据股份有限公司 皮肤基底色调判断方法与电子装置
WO2019023225A1 (en) 2017-07-25 2019-01-31 Blee. Llc SYSTEM AND DEVICE FOR CUSTOMIZING COSMETIC PRODUCTS
KR102619221B1 (ko) * 2018-01-05 2023-12-28 로레알 머신 구현 안면 건강 및 미용 보조기
US10575623B2 (en) 2018-06-29 2020-03-03 Sephora USA, Inc. Color capture system and device
EP3808252B1 (en) * 2018-07-16 2022-06-01 Honor Device Co., Ltd. Pigment detection method and electronic device
CN109793498B (zh) 2018-12-26 2020-10-27 华为终端有限公司 一种皮肤检测方法及电子设备
KR102411108B1 (ko) 2019-03-20 2022-06-22 가부시키가이샤 코세 추정 방법, 추정 모델의 생성 방법, 프로그램, 및 추정 장치
JP7305517B2 (ja) * 2019-11-08 2023-07-10 株式会社 資生堂 プログラム、情報処理装置、シミュレート方法及び情報処理システム
USD1000624S1 (en) 2019-12-27 2023-10-03 Thomas Nichols Personal care device with camera
US20220000417A1 (en) * 2020-07-02 2022-01-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity
US10952519B1 (en) 2020-07-16 2021-03-23 Elyse Enterprises LLC Virtual hub for three-step process for mimicking plastic surgery results
US11160497B1 (en) * 2020-07-16 2021-11-02 Elyse Enterprises LLC Software configuration for virtual skincare assessment and virtual cues
WO2022035886A1 (en) * 2020-08-11 2022-02-17 Cortina Health, Inc. Systems and methods for using artificial intelligence for skin condition diagnosis and treatment options
CA3190693A1 (en) 2020-08-19 2022-02-24 Blee.LLC System and device for customization of cosmetics
RU205326U1 (ru) * 2020-09-22 2021-07-08 Государственное бюджетное учреждение здравоохранения города Москвы "Московский научно-практический Центр дерматовенерологии и косметологии города Москвы" Устройство для прицельной биопсии кожи
US11501873B2 (en) * 2021-03-19 2022-11-15 EntityMed Predictive visualization for aesthetic medical procedures
FR3134469A1 (fr) 2022-04-07 2023-10-13 L'oreal Procédé de recommandation de produits cosmétique utilisant un algorithme kNN
FR3134645A1 (fr) 2022-04-13 2023-10-20 L'oreal Prédiction du teint de la peau à l'aide d'un modèle de visage 3D

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211047A1 (en) * 2009-03-27 2011-09-01 Rajeshwar Chhibber Methods and Systems for Imaging and Modeling Skin Using Polarized Lighting

Family Cites Families (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69301239T2 (de) 1993-08-03 1996-08-14 Dior Christian Parfums Verfahren zur Bestimmung der Farbe einer Teintgrundierung zur sensitiven Wiederherstellung der Hautfarbe einer Person und Vorrichtung zu dessen Anwendung
WO1995005892A1 (en) 1993-08-23 1995-03-02 Unilever Plc Method and apparatus for customising facial foundation products
FR2719989B1 (fr) 1994-05-20 1996-07-05 Oreal Procédé pour la détermination de grandeurs caractéristiques du comportement d'une surface, notamment de la peau humaine, soumise à un rayonnnement lumineux, et appareil pour sa mise en Óoeuvre.
US5562109A (en) 1994-09-28 1996-10-08 Tobiason; Karin L. Method for matching cosmetics on an individual's skin to a desired cosmetic color
DE69627477T2 (de) 1995-01-03 2004-03-18 Non-Invasive Technology, Inc. Optische koppelvorrichtung zur in-vivo untersuchung von biologischen geweben
US5537211A (en) 1995-01-13 1996-07-16 Triliance Corporation Method and apparatus for selecting a wearable to match an object
EP0821565A1 (fr) 1996-02-16 1998-02-04 L'oreal Dispositif d'evaluation du plissement de la peau in vivo et procede pour sa mise en oeuvre
JP3529954B2 (ja) 1996-09-05 2004-05-24 株式会社資生堂 顔だち分類法及び顔だちマップ
US6009192A (en) * 1996-12-19 1999-12-28 Xerox Corporation Color correction of a compressed image
US5785960A (en) 1997-03-19 1998-07-28 Elizabeth Arden Co., Division Of Conopco, Inc. Method and system for customizing dermatological foundation products
US6111973A (en) 1997-05-29 2000-08-29 Holt; Kenneth Dale Method for producing color-comparable photographs with fleshtone color selections for prosthetic fabrication
AUPP400998A0 (en) 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
US7130454B1 (en) 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system
US6292575B1 (en) 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
US6571003B1 (en) 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
US6293284B1 (en) 1999-07-07 2001-09-25 Division Of Conopco, Inc. Virtual makeover
JP4396873B2 (ja) 1999-10-01 2010-01-13 株式会社資生堂 口紅又はアイシャドーの選択方法
US6297420B1 (en) 1999-10-29 2001-10-02 Arno J. Heincke Method of selecting an item to match a person's skin tone
US6807297B1 (en) 2000-01-28 2004-10-19 Nikolai Tankovich Cosmetic color determinate system
FR2812532B1 (fr) 2000-08-01 2003-07-04 Oreal Procede d'aquisition d'une image d'une zone non dermathoglyphique de la peau ou d'une zone des cheveux au moyen d'un dispositif d'acquisition comprenant un capteur non optique
US8543519B2 (en) 2000-08-07 2013-09-24 Health Discovery Corporation System and method for remote melanoma screening
AUPR541801A0 (en) 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
US6603550B1 (en) 2001-06-12 2003-08-05 Fd Management, Inc. Device, kit and method for selecting personalized color cosmetics
FR2826856B1 (fr) 2001-07-09 2004-03-12 Oreal Dispositif permettant de determiner le degre d'une carecteristique de la typologie corporelle
FR2826857B1 (fr) 2001-07-09 2004-03-12 Oreal Instrument pour observer la peau ou les cheveux
FR2829344B1 (fr) 2001-08-29 2004-10-01 Oreal Dispositif d'acquisition d'au moins une image d'au moins une partie du visage ou de la chevelure d'une personne
JP4578738B2 (ja) 2001-09-13 2010-11-10 株式会社資生堂 商品のカウンセリングシステム
US7437344B2 (en) 2001-10-01 2008-10-14 L'oreal S.A. Use of artificial intelligence in providing beauty advice
US20040146290A1 (en) * 2001-11-08 2004-07-29 Nikiforos Kollias Method of taking images of the skin using blue light and the use thereof
FR2840686B1 (fr) 2002-06-10 2008-11-14 Oreal Procede pour determiner l'aptitude a diffuser et/ou a absorber la lumiere d'un produit cosmetique
US20040125996A1 (en) * 2002-12-27 2004-07-01 Unilever Home & Personal Care Usa, Division Of Conopco, Inc. Skin diagnostic imaging method and apparatus
US7104800B2 (en) 2003-01-07 2006-09-12 Unilever Home & Personal Care Usa, Division Of Conopco, Inc. Article and method for selection of individualized personal care products
FR2849764B1 (fr) 2003-01-14 2012-12-14 Oreal Dispositif et procede visant notamment a evaluer l'hydratation de la peau ou des muqueuses
US7901355B2 (en) 2003-01-23 2011-03-08 L'oreal Skin analysis apparatus including an ultrasound probe
KR20060002923A (ko) 2003-04-04 2006-01-09 루미다임 인크. 다중 스펙트럼 생체인식 센서
US7460696B2 (en) * 2004-06-01 2008-12-02 Lumidigm, Inc. Multispectral imaging biometrics
US7233693B2 (en) 2003-04-29 2007-06-19 Inforward, Inc. Methods and systems for computer analysis of skin image
JP4347615B2 (ja) * 2003-06-11 2009-10-21 株式会社コーセー 画像のシミュレーション方法
US7336810B2 (en) 2003-06-11 2008-02-26 KOSé CORPORATION Skin evaluation method and image simulation method
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
JP2005078376A (ja) 2003-08-29 2005-03-24 Sony Corp 対象物検出装置、対象物方法、及びロボット装置
IL157786A (en) 2003-09-07 2010-11-30 Ahava Dead Sea Lab Ltd Personalized cosmetics
FR2861177A1 (fr) 2003-10-16 2005-04-22 Oreal Ensemble comportant un systeme d'analyse du niveau de clarte de la peau et des gammes de produits cosmetiques
FR2860970A1 (fr) 2003-10-16 2005-04-22 Oreal Systeme permettant d'analyser la peau
US20050106103A1 (en) 2003-11-13 2005-05-19 Unilever Home & Personal Care Usa, Division Of Conopco, Inc. Method and system for characterizing tactile perception
CA2569440A1 (en) * 2004-06-01 2006-09-08 Lumidigm, Inc. Multispectral imaging biometrics
KR100668303B1 (ko) 2004-08-04 2007-01-12 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
ATE459292T1 (de) * 2004-10-22 2010-03-15 Shiseido Co Ltd Diagnosesystem für hautzustände und schönheitsberatungssystem
US8026942B2 (en) 2004-10-29 2011-09-27 Johnson & Johnson Consumer Companies, Inc. Skin imaging system with probe
US20060129411A1 (en) 2004-12-07 2006-06-15 Nina Bhatti Method and system for cosmetics consulting using a transmitted image
GB0504279D0 (en) 2005-03-02 2005-04-06 Carroll Charles C Skin colour matching system and method
US8467583B2 (en) 2005-04-04 2013-06-18 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Medical imaging method and system
JP2006293563A (ja) 2005-04-07 2006-10-26 Pola Chem Ind Inc 美容情報提供システム
US20060239547A1 (en) 2005-04-20 2006-10-26 Robinson M R Use of optical skin measurements to determine cosmetic skin properties
KR101269533B1 (ko) 2005-04-28 2013-06-04 가부시키가이샤 시세이도 피부 상태 해석 방법, 피부 상태 해석 장치, 및 피부 상태해석 프로그램을 기록한 기록 매체
KR101303877B1 (ko) 2005-08-05 2013-09-04 삼성전자주식회사 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
JP5306651B2 (ja) 2005-09-02 2013-10-02 ポーラ化成工業株式会社 皮膚の状態の判定方法及び皮膚の厚みの予測方法
US20070058858A1 (en) 2005-09-09 2007-03-15 Michael Harville Method and system for recommending a product based upon skin color estimated from an image
US7522769B2 (en) 2005-09-09 2009-04-21 Hewlett-Packard Development Company, L.P. Method and system for skin color estimation from an image
US8131029B2 (en) 2005-09-20 2012-03-06 Brightex Bio-Photonics Llc Systems and methods for automatic skin-based identification of people using digital images
US7454046B2 (en) 2005-09-20 2008-11-18 Brightex Bio-Photonics, Llc Method and system for analyzing skin conditions using digital images
US7840064B2 (en) 2005-09-20 2010-11-23 Brightex Bio-Photonics Llc Method and system for automatic identification using digital images
GB2429385C (en) 2005-09-23 2008-04-24 Astron Clinica Ltd Image processing method and apparatus.
US8860748B2 (en) 2005-10-03 2014-10-14 Gary Lynn Campbell Computerized, personal-color analysis system
FR2891641B1 (fr) 2005-10-04 2007-12-21 Lvmh Rech Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique.
GB2429523B (en) 2005-12-23 2008-03-26 Astron Clinica Ltd Method and apparatus for detecting the presence of dermal melanin in epithelial tissue
EP1968428A2 (en) 2005-12-28 2008-09-17 Koninklijke Philips Electronics N.V. A non-invasive system and method for measuring skin hydration of a subject
CN101371272B (zh) 2006-01-17 2012-07-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法
US7761242B2 (en) 2006-02-27 2010-07-20 The Procter & Gamble Company Metabonomic methods to assess health of skin
US7602488B2 (en) 2006-06-12 2009-10-13 Neptec Optical Solutions, Inc. High-speed, rugged, time-resolved, raman spectrometer for sensing multiple components of a sample
KR100708319B1 (ko) 2006-09-18 2007-04-18 아람휴비스(주) 고객별 맞춤 화장품 제공방법 및 제공시스템
US7764303B2 (en) 2006-10-02 2010-07-27 Johnson & Johnson Consumer Companies, Inc. Imaging apparatus and methods for capturing and analyzing digital images of the skin
US7558416B2 (en) 2006-10-02 2009-07-07 Johnson & Johnson Consumer Companies, Inc. Apparatus and method for measuring photodamage to skin
US20080080766A1 (en) * 2006-10-02 2008-04-03 Gregory Payonk Apparatus and Method for Analyzing Skin Using L*a*b* Colorspace
US20110016001A1 (en) 2006-11-08 2011-01-20 24/8 Llc Method and apparatus for recommending beauty-related products
US8150192B2 (en) 2006-11-27 2012-04-03 Merge Cad Inc. System and method for feature score mapping and visualization of medical images
US8109875B2 (en) 2007-01-03 2012-02-07 Gizewski Theodore M Derma diagnostic and automated data analysis system
WO2010093503A2 (en) 2007-01-05 2010-08-19 Myskin, Inc. Skin analysis methods
EP2099363A4 (en) 2007-01-05 2012-01-04 Myskin Inc SYSTEM, APPARATUS AND METHOD FOR SKIN IMAGING
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8027505B2 (en) 2007-02-11 2011-09-27 Tcms Transparent Beauty Llc System and method for providing simulated images through cosmetic monitoring
US7894651B2 (en) 2007-03-02 2011-02-22 Mela Sciences, Inc. Quantitative analysis of skin characteristics
US8290257B2 (en) * 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
US8718336B2 (en) 2007-03-30 2014-05-06 Fujifilm Corporation Image correction apparatus, image correction method, skin diagnosis method, and computer program product
US8391639B2 (en) * 2007-07-23 2013-03-05 The Procter & Gamble Company Method and apparatus for realistic simulation of wrinkle aging and de-aging
BRPI0905668A2 (pt) * 2008-01-07 2015-07-07 Myskin Inc Sistema e método para análise da interação matéria-luz baseada na convulação espectral
US7720196B2 (en) 2008-01-07 2010-05-18 Accuray Incorporated Target tracking using surface scanner and four-dimensional diagnostic imaging data
WO2009142835A2 (en) 2008-04-08 2009-11-26 Reveal Sciences, Llc Method and apparatus for analyzing skin and hair
US8055066B2 (en) 2008-04-16 2011-11-08 Omnivision Technologies, Inc. Apparatus, system, and method for skin tone detection in a CMOS image sensor
US8358348B2 (en) 2008-05-09 2013-01-22 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
US20090327890A1 (en) 2008-06-26 2009-12-31 Raytheon Company Graphical user interface (gui), display module and methods for displaying and comparing skin features
US7944689B2 (en) 2008-09-02 2011-05-17 Jinette Mary Sulzbach Nelson Cosmetic computer
JP5639060B2 (ja) 2008-09-04 2014-12-10 イーエルシー マネージメント エルエルシー 見かけ年齢の客観的モデル、方法および使用
US8491926B2 (en) 2008-09-16 2013-07-23 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
WO2010048431A2 (en) 2008-10-22 2010-04-29 Reveal Sciences, Llc Device, method and apparatus for analysing skin and hair
US7916905B2 (en) 2009-02-02 2011-03-29 Kabushiki Kaisha Toshiba System and method for image facial area detection employing skin tones
EP2223650A1 (en) 2009-02-25 2010-09-01 The Provost, Fellows and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth near Dublin Method and apparatus for imaging tissue topography
JP2010198382A (ja) * 2009-02-25 2010-09-09 Kao Corp シミュレーション装置、シミュレーション方法、及びコンピュータプログラム
US8330807B2 (en) 2009-05-29 2012-12-11 Convergent Medical Solutions, Inc. Automated assessment of skin lesions using image library
US8498456B2 (en) 2009-07-13 2013-07-30 Stylecaster, Inc. Method and system for applying cosmetic and/or accessorial enhancements to digital images
TW201116257A (en) 2009-11-13 2011-05-16 Inst Information Industry System and method for analysis of facial defects and computer program product
US9602793B2 (en) 2009-12-09 2017-03-21 Imagination Technologies Limited Skin tone detection in a digital camera
US8498460B2 (en) 2010-02-22 2013-07-30 Canfield Scientific, Incorporated Reflectance imaging and analysis for evaluating tissue pigmentation
US8855751B2 (en) 2010-02-26 2014-10-07 Empire Technology Development Llc Multidirectional scan and algorithmic skin health analysis
CA2880604A1 (en) 2010-03-10 2011-09-15 Elc Management Llc System for skin treatment analysis using spectral image data to generat e 3d rgb model
US8837832B2 (en) 2010-05-18 2014-09-16 Skin Of Mine Dot Com, Llc Systems and methods for monitoring the condition of the skin
US8824747B2 (en) 2010-06-29 2014-09-02 Apple Inc. Skin-tone filtering
US20120041282A1 (en) 2010-08-13 2012-02-16 Conopco, Inc., D/B/A Unilever Device and system for evaluating condition of skin, scalp and hair
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
US8577079B2 (en) * 2011-09-02 2013-11-05 Molecular Devices, Llc Image processing system providing selective arrangement and configuration for an image analysis sequence

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211047A1 (en) * 2009-03-27 2011-09-01 Rajeshwar Chhibber Methods and Systems for Imaging and Modeling Skin Using Polarized Lighting

Also Published As

Publication number Publication date
US9256963B2 (en) 2016-02-09
JP6271708B2 (ja) 2018-01-31
JP6650423B2 (ja) 2020-02-19
EP2983580A1 (en) 2016-02-17
AU2014251372B2 (en) 2017-05-18
JP2017199384A (ja) 2017-11-02
WO2014168678A1 (en) 2014-10-16
KR20150141989A (ko) 2015-12-21
JP2016519608A (ja) 2016-07-07
CA2908735A1 (en) 2014-10-16
WO2014168678A9 (en) 2015-10-29
EP2983580A4 (en) 2016-12-21
AU2014251372A1 (en) 2015-11-12
US20140304629A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
KR101799174B1 (ko) 피부 진단 및 화상 처리 시스템, 장치 및 물품
KR101800102B1 (ko) 피부 진단 및 화상 처리 방법
US9449412B1 (en) Adaptive, calibrated simulation of cosmetic products on consumer devices
JP6473401B2 (ja) 肌の光沢評価装置、光沢評価方法および光沢評価プログラム
US20220026276A1 (en) System and Method for Creation of Topical Agents with Improved Image Capture
AU2011224691A1 (en) System for skin treatment analysis using spectral image data to generate 3D RGB model
KR20150098130A (ko) 사용자 피부 정보 기반 화장품 추천 장치 및 방법
KR20210032489A (ko) 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법
JP2020526756A (ja) 髪の状態の情報を管理するシステムと、美容コンサルテーションを最適化する方法
CN108135346B (zh) 皮肤评价装置、皮肤评价方法及记录介质
US20080144143A1 (en) Method for color characterization and related systems
KR20190074688A (ko) 발광 밀러를 이용한 피부분석에 의한 스킨케어와 색조화장 정보제공 방법 및 시스템
JP7173989B2 (ja) 情報処理装置、プログラム、及び、情報処理方法
KR102200011B1 (ko) 메이크업 재료가 도포된 표면 색상 시뮬레이션 장치 및 방법
Jang et al. Makeup color reproduction based on spectrum data
JP2022133792A (ja) 化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant