KR102619221B1

KR102619221B1 - 머신 구현 안면 건강 및 미용 보조기

Info

Publication number: KR102619221B1
Application number: KR1020207019230A
Authority: KR
Inventors: 셀리아 루드빈스키; 플로랑 발체스키니; 위안제 리; 지위안 송; 크리스틴 엘-파크리; 헤먼 조쉬
Original assignee: 로레알
Priority date: 2018-01-05
Filing date: 2019-01-07
Publication date: 2023-12-28
Also published as: WO2019136354A1; EP3718050A1; KR20200105480A; JP7407115B2; CN111868742A; JP2021510217A

Abstract

사용자의 안면 피부를 묘사하는 이미지가 사용자로부터 하나 이상의 프로세싱 회로에 의해 수용된다. 안면 피부 특성을 분류하기 위해 하나 이상의 메모리 회로에 저장된 머신 러닝 모델이 이미지에 적용된다. 분류된 안면 피부 특성에 기초하여 요법 추천이 사용자에게 제공된다.

Description

머신 구현 안면 건강 및 미용 보조기

이 출원은 양자 모두가 2018년 1월 5일자로 출원된 미국 가출원 제 62/614,001 호 및 미국 가출원 제 62/614,080 호에 관련되며 그들의 이익을 주장하고, 그것들 각각의 전체 내용들은 참조에 의해 본원에 통합된다.

건강 및 미용 산업은 그들의 제품 및 서비스에 대한 소비자 경험을 향상시키기 위해 기술에 있어서의 진보를 활용한다. 예를 들어 특정 웹사이트는 이제 모바일 디바이스를 통해 제공되는 사람 안면의 특징 (눈, 뺨, 코, 입술, 턱 등) 을 찾는 안면 인식 기법들을 이용할 수 있다. 이러한 컴퓨터 비전 기법은 특히 특정 소비자에 대한 커스텀화 (customization) 에 관심이 있는 경우 머신 러닝의 전체 능력들을 수용하지 못한다. 즉, 우선 한 가지 이유는, 기존의 건강 및 미용 포털은 인간 임상의가 권장하는 것과는 달리 기계가 요법을 권장하는 메커니즘이 부족하다. 일 실시형태에서, 요법은 인간 사용자의 건강 및/또는 아름다움을 개선하기 위한 조치의 체계적인 계획 또는 과정이다. 안면 건강 및 미용 영역에서, 요법은 특정 세정제로 피부를 세정하고 특정 크림을 적용하는 것, 특정 식이 제약을 준수하는 것, 수면 습관을 바꾸는 것 등을 포함할 수 있다.

종래의 건강 및 미용 포털들은 또한 권장된 요법의 효능을 관찰하기 위해 시간이 지남에 따라 사용자 피부의 특징을 추적할 수 있는 메커니즘이 부족하다. 그것들은 충분한 정보 설명 및 조언이 부족하고, 남성과 여성에 대해 별개로 타겟팅되지 않으며, 특정 조건들을 검출하는데 있어서 위양성 (false positive) 을 겪는다 (예를 들어, 주름으로 잘못 식별된 모발). 데이터 분석을 통해 건강 및/또는 미용 요법을 추천할 뿐아니라 데이터 분석으로 해당 요법을 통한 개별 사용자의 진행을 추적하는 능력이 그럼에도 불구하고 머신상에서 실현되어야 한다.

사용자의 안면 피부를 묘사하는 하나 이상의 이미지들이 사용자로부터 하나 이상의 프로세싱 회로에 의해 수용된다. 일 실시형태에서, 하나 이상의 메모리 회로에 저장된 머신 러닝 모델들이 안면 피부 특성을 분류하고, 중요한 오브젝트들을 식별하고, 뷰티 트렌드를 결정하는 등을 위해 그 하나 이상의 이미지들에 적용된다. 일 실시형태에서, 분류된 안면 피부 특성에 기초하여 요법 추천이 사용자에게 제공된다.

일 실시형태에서, 머신 러닝 모델을 저장하도록 구성된 하나 이상의 메모리 회로; 및 사용자의 안면 피부를 묘사하는 적어도 하나의 이미지를 사용자로부터 수용하고; 안면 피부 특징을 분류하기 위해 머신 러닝 모델을 이미지에 적용하고; 분류된 안면 피부 특성에 기초하여 사용자에게 요법 추천을 생성하도록 구성된 하나 이상의 프로세싱 회로를 포함하는 시스템이 제공된다.

일 실시형태에서, 하나 이상의 프로세싱 회로는 또한 사용자의 안면 피부를 묘사하는 다른 이미지를 사용자로부터 수용하고; 안면 피부 특성을 분류하기 위해 머신 러닝 모델을 그 다른 이미지에 적용하며; 그 다른 이미지의 분류된 안면 피부 특성에 기초하여 사용자에 대한 요법 추천을 업데이트하도록 구성된다.

일 실시형태에서, 하나 이상의 프로세서는 또한 사용자의 안면 피부를 시뮬레이팅된 미래 상태로 진행시키기 위해 이미지를 프로세싱하도록 구성된다.

일 실시형태에서, 시뮬레이팅된 미래 상태는 요법이 사용자에 의해 준수될 때 사용자의 안면 피부의 상태이다.

일 실시형태에서, 하나 이상의 프로세싱 회로는 통신 네트워크를 통해 통신 가능하게 커플링된 클라이언트 플랫폼과 서비스 플랫폼으로 물리적으로 분리된다.

일 실시형태에서, 하나 이상의 프로세서 회로는 추가로 제공된 트레이닝 이미지로부터 안면 피부 특성을 분류하는 복수의 사용자로부터의 입력을 수용하고; 수용된 입력을 사용하여 모델을 트레이닝하도록 구성된다.

일 실시형태에서, 사용자의 안면 피부를 묘사하는 적어도 하나의 이미지를 사용자로부터 수용하는 단계; 안면 피부 특징을 분류하기 위해 머신 러닝 모델을 이미지에 적용하는 단계; 분류된 안면 피부 특성에 기초하여 사용자에 대한 요법 추천을 생성하는 단계를 포함하는 방법이 제공된다.

일 실시형태에서, 사용자의 안면 피부를 묘사하는 적어도 하나의 이미지를 수용하는 프로세싱 회로; 수용된 이미지를 머신 러닝 모델로 전달하고 머신 러닝 모델로부터 요법 추천을 수신하는 통신 회로; 및 요법 추천을 사용자에게 제시하는 사용자 인터페이스 회로를 포함하는 장치가 제공된다.

일 실시형태에서, 프로세싱 회로는 또한 미리 정의된 스케줄에 따라 사용자의 안면 피부를 묘사하는 다른 이미지가 필요하다는 것을 사용자에게 경고하고; 사용자의 안면 피부를 묘사하는 다른 이미지를 사용자로부터 수용하도록 구성되고; 통신 회로는 또한 다른 이미지를 머신 러닝 모델로 전달하고 머신 러닝 모델로부터 업데이트된 요법 추천을 수신하도록 구성되고; 사용자 인터페이스 회로는 또한 업데이트된 요법 추천을 사용자에게 제시하도록 구성된다.

일 실시형태에서, 사용자 인터페이스 회로는 인간 안면의 이미지를 사용자에게 제시하도록 추가로 구성되고; 프로세싱 회로는 사용자 인터페이스 회로를 통해 제공된 이미지들로부터 안면 피부 특성들을 분류하는 사용자로부터의 입력을 수용하도록 추가로 구성되고; 상기 통신 인터페이스 회로는 사용자 입력을 트레이닝 데이터로서 머신 러닝 모델에 전달하도록 추가로 구성된다.

일 실시형태에서, 사용자 인터페이스 회로는 안면 피부 특성이 미리 결정된 스케일로 평가되는 (rated) 사용자 제어를 제시하도록 추가로 구성된다.

일 실시형태에서, 장치는 프로세싱 회로에 통신 가능하게 커플링되어 사용자로부터 그것에 이미지를 제공하는 카메라를 포함한다.

일 실시형태에서, 카메라, 프로세싱 회로, 사용자 인터페이스 회로 및 통신 회로는 스마트폰의 컴포넌트들이다.

일 실시형태에서, 사용자의 안면 피부를 묘사하는 적어도 하나의 이미지를 수용하는 단계; 수용된 이미지를 머신 러닝 모델로 전달하는 단계; 머신 러닝 모델로부터 요법 추천을 수신하는 단계; 및 요법 추천을 사용자에게 제시하는 단계를 포함하는 방법이 제공된다.

도 1 은 본 발명의 일반적인 개념이 구현될 수 있는 예시적인 시스템 구성의 개략 블록도이다.
도 2 는 본 발명의 일반적인 개념의 실시형태와의 간단한 사용자 상호 작용의 흐름도이다.
도 3 은 본 발명의 일반적인 개념의 실시형태의 예시적인 데이터 흐름의 개략 블록도이다.
도 4 는 본 발명의 일반적인 개념의 실시형태에 따른 머신 러닝 모델의 크라우드소싱된 트레이닝의 블록도이다.
도 5 는 본 발명의 일반적인 개념이 구현될 수 있는 예시적인 클라이언트 플랫폼 디바이스의 다이어그램이다.
도 6 은 본 발명의 일반적인 개념의 실시형태에 따른 머신 러닝 모델의 예시의 크라우드소싱된 트레이닝의 흐름도이다.
도 7 은 크라우드소싱된 머신 러닝 모델 트레이닝에 따른 테스트 동작을 나타내는 다이어그램이다.
본 발명의 개념은 첨부된 도면을 참조하여 본 명세서에 기술된 본 발명의 특정 실시형태를 통해 가장 잘 설명되며, 동일한 참조 번호는 전체에 걸쳐 유사한 특징을 지칭한다. 용어 발명은, 본 명세서에서 사용될 때, 단지 실시형태 자체가 아니라 후술되는 실시형태의 기초가 되는 본 발명의 개념을 의미하도록 의도된다. 일반적인 본 발명의 개념은 아래에 설명된 예시적인 실시형태로 제한되지 않으며, 다음의 설명은 그러한 관점에서 읽혀 져야한다는 것이 추가로 이해되어야한다.
또한, 단어 "예시적인" 은 "예, 실례, 또는 예시로서 작용하는" 을 의미하도록 본 명세서에서 사용된다. "예시적인" 것으로서 본 명세서에서 지정된 구성, 프로세스, 설계, 기법 등의 임의의 실시형태는 다른 그러한 실시형태들에 비해 반드시 선호되거나 유리한 것으로서 해석되지는 않아야 한다. 예시적인 것으로 여기에 표시된 예의 특정 품질 또는 적합성은 의도된 것이 아니며 유추되어서도 안된다.

도 1 은 네트워크 (130) 를 통해 통신 가능하게 커플링된 FHBA 클라이언트 플랫폼 (110) 및 FHBA 서비스 플랫폼 (120) 을 포함하는 예시적인 안면 건강 및 미용 보조기 (FHBA) 시스템 (100) 의 개략적인 블록도이다. 일 실시형태에서, FHBA 클라이언트 플랫폼 (110) 은 스마트 폰, 태블릿 컴퓨터 또는 다른 모바일 컴퓨팅 디바이스이지만, 본 발명은 이에 제한되지 않는다. 도 1 에 도시된 바와 같이, 예시적인 FHBA 클라이언트 플랫폼 (110) 은 FHBA 클라이언트 인터페이스 (150) 가 구현될 수 있는 프로세서 (112), 메모리 (114), 카메라 (115), 사용자 인터페이스 (116) 및 통신 인터페이스 (118) 를 포함한다. FHBA 클라이언트 인터페이스 (150) 는 사용자가 그것을 통해 FHBA 시스템 (100) 에 액세스하는 1 차 포털을 제공한다.

본 발명의 일 실시형태에서, FHBA 서비스 플랫폼 (120) 은 프로세서 (122), 메모리 (124), 사용자 인터페이스 (126) 및 통신 인터페이스를 각각 포함하는 하나 이상의 서버 컴퓨터를 포함한다. FHBA 서비스 플랫폼 (120) 의 이러한 자원들은 FHBA 서비스 인터페이스 (152), 머신 러닝 로직 (154) 및 저장 메모리 (156) 를 구현하기 위해 이용될 수 있다. 저장 메모리 (156) 는 본 발명을 구현하기에 충분한 양의 휘발성 및 영구 메모리를 나타낸다. 저장 메모리 (156) 는 단일 사용자의 개인 프로파일을 위한 공간뿐만 아니라 방대한 양의 인코딩된 인간 지식을 포함할 수 있다. 저장 메모리 (156) 는 하나 이상의 프로세서 (122) 에 의해 실행될 때 본 발명의 실시형태에 대한 일부 작업 또는 절차를 수행하는 프로세서 명령들을 추가로 저장할 수 있다. 저장 메모리 (156) 는 사용자를 위한 특정 요법을 처방하고 그 요법 하에서의 사용자의 진행을 추적하기 위해 머신 러닝 로직 (154) 과 함께 동작 가능한 사용자 모델 (계수, 가중치, 프로세서 명령 등) 을 추가로 저장할 수 있다.

예시적인 FHBA 서비스 인터페이스 (152) 는 FHBA 서비스에 대한 네트워크 액세스가 촉진되고 제어되는 인프라를 제공한다. FHBA 클라이언트 인터페이스 (150) 및 FHBA 서비스 인터페이스 (152) 는 통신 인터페이스 (118) 및 통신 인터페이스 (128) 가 구축되거나 다르게는 구성된 시그널링 및 데이터 전송 프로토콜을 사용하여 적절한 통신 링크 (145) 를 통해 통신한다. FHBA 서비스 인터페이스 (156) 는 인가된 사용자에게만 액세스를 허용하고 사용자의 개인 데이터를 보호하는 인증 및 다른 보안 메커니즘뿐만 아니라 적절한 인터넷 호스팅 서비스를 구현할 수 있다. 부가적으로, FHBA 서비스 인터페이스 (152) 는 예를 들어 머신 러닝 로직 (154) 과 FHBA 클라이언트 인터페이스 (150) 통신을 제공하는 애플리케이션 프로그래밍 인터페이스 (API) 를 실현할 수 있다. 당업자는 본 발명과 관련하여 사용될 수 있는 다른 프론트-엔드 서비스를 인식할 것이다.

머신 러닝 로직 (154) 은 명시적으로 그렇게 하도록 프로그래밍되지 않고 데이터로부터 학습하고 데이터에 대해 예측하기 위한 인프라를 제공한다. 특정 실시형태에서, 머신 러닝 로직 (154) 은 하나 이상의 컨벌루셔널 뉴럴 네트워크 (CNN) 를 구현하며, 이에 대한 모델은 후술하는 바와 같이 오픈 소스 데이터세트 또는 크라우드소싱된 데이터 세트를 사용하여 트레이닝될 수 있다. 결정 트리 학습, 연관 규칙 학습, 인공 신경망, 딥 러닝, 유도 논리 프로그래밍, 지원 벡터 머신, 클러스터링, 베이지안 네트워크, 강화 학습, 표현 학습, 유사성 및 메트릭 학습, 희소 사전 학습, 유전자 알고리즘, 규칙 기반 머신 러닝 및 학습 분류기를 포함하지만 이에 제한되지 않는 다른 머신 러닝 기법이 본 발명과 함께 사용될 수 있다. 모두 본원에 참조로 포함된 미국 특허 제 8,442,321 호, 미국 특허 제 9,015,083 호, 미국 특허 제 9,536,293 호, 미국 특허 제 9,324,022 호 및 미국 PG 공보 제 2014/0376819 A1 호에 기술된 추가의 기법들은 본 발명과 함께 사용될 수 있다. 이하의 설명에서, 머신 러닝 로직은 컨벌루셔널 뉴럴 네트워크를 구현한다고 가정하지만, 본 발명은 이에 제한되지 않는다. 인공 지능에 숙련된 자는 본 발명의 사상 및 의도된 범위를 벗어나지 않고 본 발명과 함께 사용될 수 있는 수많은 기법을 인식할 것이다.

본 발명의 실시형태는 FHBA 클라이언트 플랫폼 (110) 상의 카메라 (116) 에 의해 촬영된 사용자의 이미지에 기초하여 사용자에 대한 다양한 요법을 결정한다. 특정 실시형태에서, 사용자의 안면의 이미지는 바람직하게는 시간이 지남에 따라 일관된 균일한 조명의 조건들 하에서 획득된다. 이를 위해 그리고 도 1 을 참조하여, 본 발명의 실시형태는 링 조명기 (142) 에 의해 둘러싸인 거울 표면 (144) 을 포함하는 거울 장치 (140) 를 제공한다. 이 구성은 조명의 일시적으로 일정한 표준을 정의하기 위한 것이다. 본 발명이 그렇게 구현될 때, 사용자의 안면의 이미지에서의 시간적으로 변화하는 특성은 보다 쉽게 인식되고 라벨링된다.

도 2 는 본 발명의 실시형태와의 예시의 상호 작용이 설명될 수 있는 흐름도이다. 도 2 의 상호작용은 설계가 단순하며 제한하려는 의도는 없다. 도 2 의 설명은 도 1 에 도시된 구성의 기능을 설명하기 위한 것이다. 도 2 를 참조하여 설명된 것 이상의 본 발명의 다른 특징들이 아래에서 논의될 것이다.

동작 (210) 에서, 사용자는 예를 들어 FHBA 클라이언트 플랫폼 (110) 의 카메라 (116) 에 의해 그의 안면의 이미지를 생성할 수 있다. 이것은 위에서 논의된 조명 표준으로 또는 조명 표준 없이 달성될 수 있다. 동작 (215) 에서, 사용자의 이미지는 FHBA 서비스 플랫폼 (120) 으로 전송된다. 이것은 통신 링크 (145) 를 실현하기 위해 FHBA 클라이언트 플랫폼 (110) 과 FHBA 서비스 플랫폼 (120) 간에 공유되는 적절한 통신 프로토콜에 의해 달성될 수 있다.

동작 (220) 에서, 이미지로부터 사용자의 피부를 분석하기 위해 이미지 분석 및 머신 러닝이 수행된다. 머신 러닝 로직 (154) 은 무엇보다도 겉보기 연령, 즉 사용자의 안면의 시각적 외관으로부터 추정된 사용자의 주관적 연령; 안면 피부 색조의 균일성 (얼룩, 나이/태양 반점, 여드름 흉터 및 기타 흠이 존재하는지); 눈 밑 붓기, 다크 서클, 눈꺼풀/입의 코너에서 전체 톤 처짐에서 나타나는 스트레스의 존재; 창백함, 피부 박리, 칙칙함 및 잔주름의 부재로서 제시하는, 종종 통통한 또는 매끈한으로 지칭되는 수화도 (hydration level); 광택 - 이상적인 것은 적당한 양의 광택인 비선형 매개 변수; 모공의 상태 - 모공의 감소된 출연은 그것이 건강하고 젊고 부드러운 피부 질감을 제공하기 때문에 바람직함; 적색/염증 뾰루지 및 흉터가 특징인 여드름의 존재; 피부에의 주름, 움푹한 곳, 융기 또는 크리스 (crease) 의 존재는 분석을 통해 발견될 수 있으며; 처짐의 존재, 즉 탄력 감소 및 까마귀 발의 존재로 인한 연조직의 처진 외관, 특히 사람의 눈의 바깥 쪽 모서리에 위치한 분지 주름을 결정하는 분석을 수행할 수 있다. 피부의 다른 상태는 머신 러닝 로직 (154) 에 의해 결정될 수 있다. 분석에 대한 자세한 내용은 아래에 제공된다. 일단 분석이 완료되면, 동작 (225) 에서 결정된 바와 같이, 프로세스 (200) 는 동작 (220) 으로 이행하여, 분석 결과 및 규정된 요법 (제품 및 루틴) 및/또는 요법에 대한 업데이트가 FHBA 클라이언트 인터페이스 (150) 를 통해 사용자에게 전송된다.

동작 (225) 에서, 분석이 완료되었는지 여부가 결정되고, 그에 대한 긍정적 결정에 응답하여, 프로세스 (200) 는 동작 (230) 으로 이행할 수 있고, 이에 의해 FHBA 서비스 인터페이스 (152) 는 동작 (230) 에서 권장된 요법 또는 요법에 대한 업데이트를 FHBA 클라이언트 인터페이스 (150) 로 전송한다. 사용자는 동작 (235) 에서 표시된 바와 같이 요법을 따를 수 있으며, 동작 (240) 에서 새로운 간격이 시작되었는지 여부가 결정된다. 그렇다면, 프로세스 (200) 는 동작 (210) 으로부터 반복된다. FHBA 클라이언트 인터페이스 (150) 는 캘린더 및 타이머 (뿐만 아니라 GPS) 온보드 FHBA 클라이언트 플랫폼 (110) 에 액세스할 수 있을 뿐아니라 네트워크 (130) 상의 네트워크 액세스 가능한 캘린더에 액세스할 수 있다. 따라서, 일주일에 한 번, FHBA 클라이언트 인터페이스 (150) 는 사용자에게 자신의 안면의 사진을 찍도록 상기시킬 수 있으며, 즉, 그에게 새로운 간격을 상기시킬 수 있다. 시간이 지남에 따라, FHBA 시스템 (100) 은 추천된 요법이 작동하는지 여부를 각 간격에서 촬영된 이미지로부터 결정할 수 있고, 그렇지 않다면, FHBA 시스템 (100) 은 요법을 개정, 예를 들어, 제품을 변경, 추가 라이프스타일 변경을 추천, 의사의 예약, 등을 할 수 있다.

도 3 은 예시적인 FHBA 클라이언트 인터페이스 (150) 와 FHBA 서비스 플랫폼 (120) 의 서비스 사이의 데이터 흐름의 도면이다. 도 3 에서, FHBA 서비스 인터페이스 (152) 는 도면에서 불필요한 혼잡을 피하기 위해 생략되었다. 그러나, 관련 기술 분야의 통상의 기술자는 도 3 에 도시된 데이터 흐름을 제어하고 용이하게 하기 위해 FHBA 서비스 인터페이스 (152) 의 동작을 인식할 것이다.

도 3 에 도시된 바와 같이, 머신 러닝 로직 (154) 은 피부 분석기 (330), 안면 외모 진행 생성기 (335) 및 요법 추천 생성기 (340) 를 포함할 수 있고, 사용자 계정 데이터베이스 (310) 및 제품 데이터베이스 (320) 에 통신 가능하게 커플링될 수 있다. 머신 러닝 로직 (154) 은 요법을 추천하고 요법 하에서 사용자의 진행을 추적하기 위해 머신 러닝 모델 (370) 을 트레이닝 및 이용할 수 있다. 머신 러닝에 숙련된 사람들이 증명하듯이, 트레이닝은 특징들의 세트, 예를 들어 겉보기 연령, 균일성, 스트레스, 수화, 광택, 모공, 여드름, 주름, 처짐, 까마귀 발 등을 선택하는 것, 및 이들 특징들의 존재 또는 두드러짐을 반영하는 이미지 데이터에 라벨들을 할당하는 것을 수반할 수도 있다. 라벨의 할당은 주제 전문가에 의해, 또는 후술되는 바와 같이 크라우드소싱된 데이터를 통해 수행될 수 있다. 실제 사진 (ground truth) 으로서 할당된 라벨을 취하여, 머신 러닝 로직 (154) 은 시간에 따라 변할 수 있는, 테스트 이미지에서 특징이 존재하는 정도를 예측하도록 모델 (370) 을 구성할 수 있다. 본 발명은 이진 모델, 멀티클래스 분류 모델, 회귀 모델 등을 포함할 수 있는 특정 모델 표현으로 제한되지 않는다.

예시적인 사용자 계정 데이터베이스 (310) 는 안전한 방식으로 FHBA 시스템 (100) 의 모든 사용자의 데이터를 포함한다. 이것은 사용자 프로파일 데이터, 각 사용자에 대한 현재 및 과거 사용자 사진 (357), 각 사용자에 대한 현재 및 과거 피부 분석 (358), 현재 및 과거 제품 추천 (362) 및 각 사용자에 대한 현재 및 과거 루틴 추천 (364) 을 포함한다.

예시적인 제품 데이터베이스 (320) 는 요법에서 사용될 수 있는 상이한 제품의 데이터를 포함한다. 제품 데이터베이스 (320) 는 제품 이름, 활성 및 비활성 성분, 라벨 정보, 추천된 용도 등을 반영하는 레코드를 포함할 수 있다. 특정 실시형태에서, 제품 입력 (354) 으로 도시된 바와 같이, 사용자 (및 FHBA 시스템 (100) 의 다른 사용자) 는 상이한 제품에 대한 피드백을 제공할 수 있고 아직 제품 데이터베이스 (320) 에 없는 제품을 입력할 수 있다. 본 발명은 제품 데이터베이스 (320) 에 입력될 수 있는 특정 제품으로 제한되지 않는다.

피부 분석기 (330) 는 모델 (370) 에 대한 머신 러닝 기법을 사용하여 사용자의 안면의 이미지로부터 다양한 피부 상태 또는 아티팩트를 분류하도록 구축되거나 다르게는 구성된다. 특정 실시형태에서, 분석을 위해 사용자의 안면의 사진 이미지 (352) 가 피부 분석기 (330) 에 제공된다. 피부 분석기 (330) 는 분석 전에 입력 이미지의 크로핑, 회전, 등록 및 필터링을 포함하는 이미지 전처리 메커니즘을 구현할 수 있다. 임의의 이러한 전처리 후, 피부 분석기 (330) 는 모델 (370) 을 입력 이미지 (357) 에 적용하여 사용자의 안면 피부의 특성을 찾고 식별하고 분류할 수 있다.

안면 외모 진행 생성기 (335) 는 사용자의 안면이 미래의 언젠가에 어떻게 보일 것인지를 나타내기 위해 사용자의 안면 이미지에 대해 동작할 수 있다. 이러한 진행은 연령 진행 기법이 전개될 수 있는 연령에서 일 수도 있으며, 요법에 따른 결과로 나타나는 외모에서 일 수도 있다. 진행된 이미지 (356) 는 FHBA 클라이언트 인터페이스 (150) 를 통해 사용자에게 제공될 수 있다.

요법 추천 생성기 (340) 는 사용자에게 요법을 처방하기 위해 피부 분석기 (430) 로부터 획득된 분석 결과 (358) 에 대해 동작할 수 있다. 모델 (370) 은 피부 분석에서 식별된 안면 피부 특성과 관련하여 사용자의 목표를 달성하는데 어떤 제품 및 루틴 (치료, 화장품 및 라이프 스타일 추천 등) 이 효과적인지 예측하도록 트레이닝될 수 있다. 요법 추천 생성기 (340) 는 모델 (370) 에 대한 인코딩된 지식에 기초하여, 예를 들어, 제품 데이터베이스 (320) 에 피부 분석기 (330) 의 분석 결과 (358) 를 질의로서 포맷할 수 있다. 이에 응답하여, 제품 데이터베이스 (320) 는 제품 데이터 및 메타데이터 (366) 를 반환할 수 있고, 제품 추천 (362) 및 루틴 추천 (364) 이 FHBA 클라이언트 인터페이스 (150) 에 제공될 수 있다.

전술 한 바와 같이, 모델 (370) 의 트레이닝은 전문가에 의한 이미지 데이터의 라벨링에 의해 달성될 수 있다. 그러나, 전문가 대신에, 본 발명의 특정 실시형태는 크라우드소싱된 데이터를 트레이닝 데이터로서 이용한다. 도 4 는 본 발명의 그러한 실시형태의 다이어그램이다. 트레이닝 동안, 사용자 (410) 는 안면 피부 특성 및/또는 안면 특징을 특성화하도록 요청되는 트레이닝 이미지 (420) 의 세트를 제시 받는다. 일 실시형태에서, 사용자가 특징의 심각성 또는 현저성을 평가할 수 있는 적절한 스케일 (예를 들어, 정수 1 내지 10) 이 구성된다. 예를 들어, (시간이 지남에 따라) 각각의 사용자 (410) 는 다수의 안면 이미지를 제시 받고 이미지 내의 사람의 특징 및/또는 피부 특성에 관한 질문들의 세트를 통해 트레이닝된다. 스케일 (1-10) 을 사용하여, 각 사용자 (410) 는 각 특징 (예를 들어, 겉보기 연령, 균일성, 스트레스, 수화, 광택, 모공, 여드름, 주름, 처짐, 까마귀 발 등) 의 두드러짐을 평가하도록 요청 받는다. 질문들에 대한 답변들은 머신 러닝 로직 (154) 을 트레이닝시키기 위해 사용되는 라벨로서 기능할 수 있다.

도 5 를 참조하면, 사용자 인터페이스 (118) 로서 터치스크린 (510) 을 갖는 스마트폰 형태의 예시적인 FHBA 클라이언트 플랫폼 (110) 이 도시되어 있다. 예시적인 FHBA 클라이언트 인터페이스 (150) 는 도 1 을 참조하여 논의된 바와 같이 FHBA 클라이언트 플랫폼 (110) 의 계산 자원 상에서 구현된다. FHBA 클라이언트 인터페이스 (150) 는 이미지 영역 (520) 에 사람의 안면의 사진을 제시할 수 있고 텍스트 (142) 를 통해 "1-10 의 스케일로, 여기서 "1" 은 '보이지 않음' 을 의미하고 "10" '두드러지게 제시됨' 을 의미함, 이 사람의 까마귀 발의 존재를 어떻게 평가하시겠습니까?" 를 제시할 수 있다. 적합한 사용자 인터페이스 제어 (144) (도 5 에 도시된 슬라이더 제어) 가 사용자가 그것의 등급을 입력할 수 있게 하는 FHBA 클라이언트 인터페이스 (150) 에서 구현될 수 있다.

도 6 은 본 발명이 구현될 수 있는 크라우드소싱된 트레이닝 프로세스 (600) 의 흐름도이다. 동작 (610) 에서, 트레이닝 이미지가 FHBA 클라이언트 인터페이스 (150) 에 제공될 수 있다. 일 세트의 트레이닝 이미지 (420) 는 관심의 피부 특성의 예시적인 예를 포함하는 것으로 미리 선택되었을 수도 있다. 동작 (620) 에서, 사용자는 제 1 질문을 제공 받고 동작 (630) 에서 답변 (등급) 을 기다린다. 그러한 질문은 예를 들어 "1 내지 10 의 스케일로, 여기서 '1'은 '보이지 않음' 이고 '10' 은 '매우 두드러짐' 이며, 이러한 모델 여드름을 어떻게 평가하시겠습니까?" 일 수도 있다. 동작 (630) 에서 결정된 바와 같이, 사용자가 질문에 답변한 경우, 동작 (640) 에서 사용자의 답변은 머신 러닝 로직 (154) 의 머신 트레이닝에 적합한 라벨로 포맷될 수 있다. 동작 (650) 에서, 현재 표시된 이미지와 관련된 모든 질문들이 답변되었는지 여부가 결정된다. 만약 그렇지 않다면, 프로세스 (600) 는 동작 (620) 으로 되돌아 가서 다음 질문이 제시된다. 동작 (650) 에서 결정된 바와 같이 모든 질문들이 답변된 경우, 동작 (560) 에서 모든 트레이닝 이미지가 제시되었는지 여부가 결정된다. 그렇지 않다면, 프로세스 (600) 는 동작 (610) 으로 다시 천이하여, 다음 트레이닝 이미지가 제시된다. 동작 (660) 에서 결정된 바와 같이 모든 트레이닝 이미지가 제시되었다면, 라벨링된 이미지는 동작 (670) 에서 모델 (370) 을 트레이닝시키기 위해 사용될 수 있다.

예를 들어, 동작들 (620 및 650) 에서 다음 질문들을 제시하고 및/또는 동작들 (610 및 660) 에서 다음 이미지들을 제시하는, 프로세스 (600) 에서의 모든 반복들은 임의의 하나의 시팅 (sitting) 에 수행될 필요가 없음을 이해해야 한다. 예를 들어, 사용자는 한 번에 (예를 들어, 사용자가 로그온 할 때마다) 단일 질문에 대답하라고 프롬프트를 받을 수 있으며, 모든 질문 및 이미지가 임의의 한 사용자에게 제시되는 것은 단지 시간이 지남에 따라서 이다. 대안적으로, 사용자들은 단일의 시팅에 모든 이미지들에 대한 모든 질문들에 답변하도록 선택될 수 있다. 많은 수의 사용자 및/또는 안면 이미지에 걸쳐, 트레이닝 모델 (370) 에 대해 많은 라벨이 생성될 수 있으며, 여기서 이러한 트레이닝의 기초가 되는 통계적 경향은 인간 전문가의 견해와는 달리 대중의 견해를 반영한다.

도 7 은 위에서 논의된 크라우드소싱된 트레이닝에 따른 예시적인 테스트 동작을 도시한다. 테스트 이미지 (710), 즉, 사용자 자신의 이미지는 크라우드소싱된 데이터 (720) 에 대해 트레이닝된 모델 당 이미지를 분석하는 머신 러닝 로직 (154) 에 제시될 수 있다. 도면에 도시된 바와 같이, 722 로 표시된 바와 같이, 머신 러닝 로직 (154) 은 조사된 사람들의 80% 가 사용자의 까마귀 발을 두드러짐의 관점에서 10 중 7 로 평가할 것으로 추정한다. 따라서, 머신 러닝 로직 (154) 은 7 의 심각도 점수에 기초하여 요법 (예를 들어, 까마귀 발을 위해 특별히 제조된 크림 및 권장된 도포 지침) 을 추천할 수 있다.

당업자에 의해 이해될 바와 같이, 발명의 양태들은 시스템, 방법 또는 컴퓨터 프로그램 제품으로서 구현될 수도 있다. 이에 따라, 본 발명의 양태들은 완전히 하드웨어 실시형태, 완전히 소프트웨어 실시형태 (펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함함) 또는 소프트웨어 및 하드웨어 양태들을 조합한 실시형태의 형태를 취할 수 있으며, 이들 모두는 일반적으로 본 명세서에서 "회로", "모듈" 또는 "시스템" 으로 지칭될 수도 있다. 또한, 본 발명의 양태들은 컴퓨터 판독가능 프로그램 코드가 구현되는 하나 이상의 컴퓨터 판독가능 매체(들)에서 구현된 컴퓨터 프로그램 제품의 형태를 취할 수도 있다.

하나 이상의 컴퓨터 판독가능 매체(들)의 임의의 조합이 활용될 수도 있다. 컴퓨터 판독가능 매체는, 예를 들어, 전자적, 자기적, 광학적, 전자기적, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 전술한 것의 임의의 적합한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독가능한 저장 매체의 더 많은 구체예들 (비한정적인 목록) 은 다음: 하나 이상의 와이어를 갖는 전기 연결부, 휴대용 컴퓨터 디스켓, 하드 디스크, 솔리드 스테이트 디스크, 랜덤 액세스 메모리 (RAM), 읽기 전용 메모리 (ROM), 소거 및 프로그램 가능한 읽기 전용 메모리 (EPROM 또는 플래시 메모리), 광섬유, 및 휴대용 콤팩트 디스크 읽기 전용 메모리 (CDROM), 광학 저장 디바이스, 자기 저장 디바이스, 위상 변화 메모리 저장 디바이스 또는 위의 설명된 것의 임의의 적절한 조합을 포함할 것이다. 이 문서의 문맥에 있어서, 컴퓨터 판독가능 저장 매체는, 명령 실행 시스템, 장치 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위해 프로그램을 포함 또는 저장할 수 있는 임의의 유형의 매체일 수 있다.

본 발명의 양태에 대한 동작을 수행하기 위한 컴퓨터 프로그램 코드는 Java, 스콜토크, C++ 등과 같은 객체 지향 프로그래밍 언어 또는 종래의 절차적 프로그래밍 언어들, 이를 테면, "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어들을 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 프로그램 코드는 사용자의 컴퓨터상에서 전체적으로, 사용자의 컴퓨터상에서 부분적으로, 독립형 소프트웨어 패키지로서, 사용자의 컴퓨터상에서 부분적으로 및 원격 컴퓨터상에서 부분적으로 또는 원격 컴퓨터 또는 서버상에서 전체적으로 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 통신망 (LAN) 또는 광역 통신망 (WAN) 을 포함하는 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, 그 연결은 (예를 들어, 인터넷 서비스 제공자를 사용하여 인터넷을 통해) 외부 컴퓨터 대해 행해질 수 있다. 본 발명 실시형태들의 컴퓨터 시스템을 위한 소프트웨어는 명세서에 포함된 기능 설명 및 도면에 도시된 플로우 챠트들에 기초하여 컴퓨터 기술 분야의 당업자에 의해 개발될 수 있음을 이해해야 한다. 또한, 다양한 기능을 수행하는 소프트웨어에 대한 여기에서의 임의의 참조는 일반적으로 소프트웨어 제어 하에서 이러한 기능을 수행하는 컴퓨터 시스템 또는 프로세서를 지칭한다.

본 발명의 컴퓨터 시스템은 대안적으로 임의의 유형의 하드웨어 및/또는 다른 프로세싱 회로에 의해 구현될 수 있다. 컴퓨터 시스템의 다양한 기능은 임의의 양의 소프트웨어 모듈 또는 유닛, 프로세싱 또는 컴퓨터 시스템 및/또는 회로 사이에 임의의 방식으로 분배될 수 있으며, 여기서 컴퓨터 또는 프로세싱 시스템은 서로 로컬 또는 원격으로 배치되고 임의의 적합한 통신 매체 (예 : LAN, WAN, 인트라넷, 인터넷, 하드와이어, 모뎀 연결, 무선 등) 를 통해 통신할 수 있다.

상기 실시예는 본 발명의 실시형태들의 특정 기능에 대해 설명하며, 제한하려는 것이 아니다. 실제로, 다른 기능 및 다른 가능한 사용 사례는 본 개시를 검토 할 때 당업자에게 명백할 것이다.

Claims

시스템으로서,
머신 러닝 모델들을 저장하도록 구성된 하나 이상의 메모리 회로들; 및
하나 이상의 프로세싱 회로들을 포함하고,
상기 하나 이상의 프로세싱 회로들은,
제공된 트레이닝 이미지들로부터 안면 피부 특성들을 분류하는 복수의 사용자들로부터의 입력을 수용하되, 상기 안면 피부 특성들은 피부 특징의 두드러짐 (prominence) 를 포함하고; 및
수용된 상기 입력을 사용하여 상기 머신 러닝 모델들을 트레이닝시키도록 구성되고,
상기 하나 이상의 프로세싱 회로들은 또한,
사용자의 안면 피부를 묘사하는 상기 사용자로부터의 적어도 하나의 이미지를 수용하고;
상기 안면 피부 특성들을 분류하기 위해 상기 이미지에 상기 머신 러닝 모델들을 적용하며; 및
분류된 상기 안면 피부 특성들에 기초하여 상기 사용자에게 요법 추천을 생성하도록 구성되고,
상기 하나 이상의 프로세싱 회로들은 또한,
미리 결정된 스케줄에 따라 상기 사용자의 안면 피부를 묘사하는 다른 이미지가 필요하다는 것을 상기 사용자에게 경고하고;
상기 사용자의 안면 피부를 묘사하는 사용자로부터의 상기 다른 이미지를 수용하고;
안면 피부 특성들을 분류하기 위해 상기 다른 이미지에 상기 머신 러닝 모델들을 적용하며; 및
상기 다른 이미지의 상기 분류된 안면 피부 특성들에 기초하여 상기 사용자에 대한 상기 요법 추천을 업데이트하도록 구성되는, 시스템.
삭제
제 1 항에 있어서,
하나 이상의 프로세서들은 또한 상기 사용자의 안면 피부를 시뮬레이팅된 미래 상태로 진행시키도록 상기 이미지를 프로세싱하도록 구성되는, 시스템.
제 3 항에 있어서,
상기 시뮬레이팅된 미래 상태는 상기 요법이 상기 사용자에 의해 준수될 때 상기 사용자의 안면 피부의 상태인, 시스템.
제 1 항에 있어서,
상기 하나 이상의 프로세싱 회로들은 통신 네트워크를 통해 통신 가능하게 커플링된 클라이언트 플랫폼과 서비스 플랫폼으로 물리적으로 분리되는, 시스템.
삭제
방법으로서,
제공된 트레이닝 이미지들로부터 안면 피부 특성들을 분류하는 복수의 사용자들로부터의 입력을 수용하는 단계로서, 상기 안면 피부 특성들은 피부 특징의 두드러짐 (prominence) 을 포함하는, 상기 입력을 수용하는 단계; 및
수용된 상기 입력을 사용하여 머신 러닝 모델들을 트레이닝시키는 단계를 포함하고,
상기 방법은,
사용자의 안면 피부를 묘사하는 상기 사용자로부터의 적어도 하나의 이미지를 수용하는 단계;
상기 안면 피부 특성들을 분류하기 위해 상기 이미지에 상기 머신 러닝 모델들을 적용하는 단계; 및
분류된 상기 안면 피부 특성들에 기초하여 상기 사용자에게 요법 추천을 생성하는 단계를 더 포함하고,
상기 방법은,
미리 결정된 스케줄에 따라 상기 사용자의 안면 피부를 묘사하는 다른 이미지가 필요하다는 것을 상기 사용자에게 경고하는 단계;
상기 사용자의 안면 피부를 묘사하는 사용자로부터의 상기 다른 이미지를 수용하는 단계;
안면 피부 특성들을 분류하기 위해 상기 다른 이미지에 상기 머신 러닝 모델들을 적용하는 단계; 및
상기 다른 이미지의 상기 분류된 안면 피부 특성들에 기초하여 상기 사용자에 대한 상기 요법 추천을 업데이트하는 단계를 더 포함하는, 방법.
삭제
제 7 항에 있어서,
상기 사용자의 안면 피부를 시뮬레이팅된 미래 상태로 진행시키도록 상기 이미지를 프로세싱하는 단계를 더 포함하는, 방법.
제 9 항에 있어서,
상기 시뮬레이팅된 미래 상태는 상기 요법이 상기 사용자에 의해 준수될 때 상기 사용자의 안면 피부의 상태인, 방법.
삭제
장치로서,
사용자의 안면 피부를 묘사하는 적어도 하나의 이미지를 수용하는 프로세싱 회로;
수용된 상기 이미지를 머신 러닝 모델들로 전달하고 상기 머신 러닝 모델들로부터 요법 추천을 수신하는 통신 회로; 및
상기 요법 추천을 상기 사용자에게 제시하는 사용자 인터페이스 회로를 포함하고,
상기 사용자 인터페이스 회로는 또한 사람 안면들의 이미지들을 복수의 사용자들에게 제시하도록 구성되고;
상기 프로세싱 회로는 또한 상기 사용자 인터페이스 회로를 통해 제공된 상기 이미지들로부터 안면 피부 특성들을 분류하는 상기 복수의 사용자들로부터의 입력을 수용하도록 구성되고, 상기 안면 피부 특성들은 피부 특징의 두드러짐 (prominence) 를 포함하며;
상기 통신 회로는 또한 상기 사용자 입력을 트레이닝 데이터로서 상기 머신 러닝 모델들에 전달하도록 구성되고,
상기 프로세싱 회로는 추가로,
미리 결정된 스케줄에 따라 상기 사용자의 안면 피부를 묘사하는 다른 이미지가 필요하다는 것을 상기 사용자에게 경고하고;
상기 사용자의 안면 피부를 묘사하는 사용자로부터의 상기 다른 이미지를 수용하도록 구성되고;
상기 통신 회로는 또한 상기 다른 이미지를 상기 머신 러닝 모델들로 전달하고 상기 머신 러닝 모델들로부터 업데이트된 요법 추천을 수신하도록 구성되며; 및
상기 사용자 인터페이스 회로는 또한 상기 업데이트된 요법 추천을 상기 사용자에게 제시하도록 구성되는, 장치.
삭제
삭제
제 12 항에 있어서,
상기 사용자 인터페이스 회로는 또한 상기 안면 피부 특성들이 미리 결정된 스케일로 평가되는 (rated) 사용자 제어를 제시하도록 구성되는, 장치.
제 15 항에 있어서,
상기 프로세싱 회로에 통신 가능하게 커플링되어 상기 사용자로부터 상기 프로세싱 회로에 상기 이미지를 제공하는 카메라를 더 포함하는, 장치.
제 16 항에 있어서,
상기 카메라, 상기 프로세싱 회로, 상기 사용자 인터페이스 회로 및 상기 통신 회로는 스마트폰의 컴포넌트들인, 장치.
방법으로서,
사용자의 안면 피부를 묘사하는 적어도 하나의 이미지를 수용하는 단계;
수용된 상기 이미지를 머신 러닝 모델로 전달하는 단계;
상기 머신 러닝 모델들로부터 요법 추천을 수신하는 단계; 및
상기 요법 추천을 상기 사용자에게 제시하는 단계를 포함하고,
상기 방법은,
사람 안면들의 이미지들을 복수의 사용자들에게 제시하는 단계;
제공된 상기 이미지들로부터 안면 피부 특성들을 분류하는 상기 복수의 사용자들로부터의 입력을 수용하는 단계로서, 상기 안면 피부 특성들은 피부 특징의 두드러짐 (prominence) 를 포함하는, 상기 입력을 수용하는 단계; 및
트레이닝 데이터로서 상기 머신 러닝 모델들로 상기 사용자 입력을 전달하는 단계를 더 포함하고,
상기 방법은 추가로,
미리 결정된 스케줄에 따라 상기 사용자의 안면 피부를 묘사하는 다른 이미지가 필요하다는 것을 상기 사용자에게 경고하는 단계;
상기 사용자의 안면 피부를 묘사하는 사용자로부터의 상기 다른 이미지를 수용하는 단계;
상기 다른 이미지를 상기 머신 러닝 모델들로 전달하는 단계;
상기 머신 러닝 모델들로부터 업데이트된 요법 추천을 수신하는 단계; 및
상기 업데이트된 요법 추천을 상기 사용자에게 제시하는 단계를 포함하는, 방법.
삭제
삭제
제 18 항에 있어서,
상기 안면 피부 특성들이 미리 결정된 스케일로 평가되는 사용자 제어를 제시하는 단계를 더 포함하는, 방법.