KR20240037304A - 증강 현실 화장품 디자인 필터 - Google Patents

Abstract

증강 현실 화장품 디자인 필터를 생성, 공유 및 제시하기 위한 시스템, 장치 및 방법. 하나 이상의 비일시적 컴퓨터 메모리 장치는, 컴퓨팅 회로에 의해 실행될 때, 상기 컴퓨팅 회로가 증강 현실 화장품 디자인 필터들을 생성하기 위한 동작들을 수행하도록 하는 컴퓨터 판독가능 명령들을 저장할 수 있다. 상기 동작들은 하나 이상의 복사 센서들을 사용하여 생물학적 표면의 기준선 표현을 정의하는 단계를 포함할 수 있고, 상기 복사 센서들은 상기 컴퓨팅 회로와 전자적으로 커플링된다. 상기 동작들은 하나 이상의 상기 복사 센서들을 사용하여 상기 생물학적 표면에 대한 화장품 제제의 도포기를 식별하는 단계를 포함할 수 있다. 상기 동작들은 상기 기준선 표현을 참조하여 상기 도포기를 표현하는 트레이스(trace)을 생성하는 단계를 포함할 수 있다. 상기 동작들은 또한 상기 트레이스를 출력하는 단계를 포함할 수 있다.

Description

증강 현실 화장품 디자인 필터

본 출원은 2021년 9월 30일에 출원된 미국 특허 출원 제17/491,061호 및 2021년 12월 15일에 출원된 프랑스 특허 출원 제FR 2113547호에 대한 우선권을 주장하고; 그 내용 전체가 참조로서 여기에 포함된다.

증강 현실 화장품 디자인 필터를 생성, 공유 및 제시하기 위한 시스템, 장치 및 방법. 하나 이상의 비일시적 컴퓨터 메모리 장치는, 컴퓨팅 회로에 의해 실행될 때, 컴퓨팅 회로가 증강 현실 화장품 디자인 필터들을 생성하기 위한 동작들을 수행하도록 하는 컴퓨터 판독가능 명령들을 저장할 수 있다. 동작들은 하나 이상의 복사 센서들(radiation sensors)을 사용하여 생물학적 표면의 기준선 표현(baseline description)을 정의하는 단계를 포함할 수 있고, 복사 센서들은 컴퓨팅 회로와 전자적으로 커플링된다. 동작들은 복사 센서들 중 하나 이상을 사용하여 생물학적 표면에 대한 화장품 제제의 도포(application)를 식별하는 단계를 포함할 수 있다. 동작들은 기준선 표현을 참조하여 도포를 묘사하는(describing) 트레이스(trace)을 생성하는 단계를 포함할 수 있다. 동작들은 트레이스를 출력하는 단계를 포함할 수 있다.

일부 실시예에서, 화장품 제제의 도포를 식별하는 단계는 복사 센서들 및 기준선 표현 중 하나 이상을 사용하여 생물학적 표면에 대해 화장품 제제를 검출하는 단계를 포함한다. 트레이스를 생성하는 단계는 복수의 형상 유형을 묘사하는 정보를 수신하는 단계, 기준선 표현을 사용하여 생물학적 표면의 적어도 일부에 형상 유형들 중 제1 형상 유형을 부여하는 단계, 화장품 제제의 도포에 대한 수치 표현(numerical representation)을 생성하는 단계 -수치 표현은 기준선 표현에 관한 위치 정보를 묘사함-, 및 수치 표현을 제1 형상 유형으로부터 형상 유형들 중 제2 형상 유형으로 변환하는 단계를 포함할 수 있다. 생물학적 표면은 얼굴일 수 있다. 제1 형상 유형 및 제2 형상 유형은 얼굴 특징을 표현할 수 있다. 생물학적 표면의 기준선 표현을 정의하는 단계는 컴퓨팅 회로와 전자적으로 커플링된 복사 소스(radiation source)를 사용하여 생물학적 표면 상에 비가시 전자기 복사(invisible electromagnetic radiation)를 투사하는 단계를 포함할 수 있다. 하나 이상의 복사 센서들은 자외선, 가시광선, 또는 적외선 스펙트럼 범위, 또는 이들의 조합으로부터 전자기 복사를 검출하도록 구성된 카메라를 포함할 수 있다.

일부 실시예에서, 트레이스를 생성하는 단계는 생물학적 표면에 관한 도포의 모션을 트래킹하는 단계 및 기준선 표현에 관한 모션의 수치 표현을 생성하는 단계를 포함한다. 동작들은 화장품 제제를 식별하는 단계 및 화장품 제제의 식별 정보를 사용하여 화장품 제제의 색상을 정의하는 단계를 더 포함할 수 있다. 동작들은 생물학적 표면의 표면 톤을 추정하는 단계, 화장품 제제 사용의 제제 톤을 추정하는 단계, 및 표면 톤 및 제제 톤을 사용하여 화장품 제제의 색상을 결정하는 단계를 더 포함할 수 있다.

일부 실시예에서, 하나 이상의 비일시적 컴퓨터 메모리 장치는 스마트폰과 전자적으로 커플링된다. 트레이스를 출력하는 단계는 트레이스를 원격 컴퓨팅 시스템에 대해 통신하는 단계를 포함할 수 있다.

증강 현실 화장품 디자인 필터를 생성하는 방법은 하나 이상의 복사 소스들(radiation sources) 및 하나 이상의 복사 센서들을 사용하여 생물학적 표면의 기준선 표현을 정의하는 단계를 포함할 수 있다. 방법은 복사 센서들을 사용하여 생물학적 표면에 대한 화장품 제제의 도포를 식별하는 단계를 포함할 수 있다. 방법은 기준선 표현을 참조하여 도포를 묘사하는 트레이스를 생성하는 단계를 포함할 수 있다. 방법은 또한 트레이스를 출력하는 단계를 포함할 수 있다.

일부 실시예에서, 트레이스를 생성하는 단계는 복수의 형상 유형들을 묘사하는 형상 정보를 수신하는 단계, 형상 정보를 사용하여 생물학적 표면의 적어도 일부에 형상 유형들 중 제1 형상 유형을 부여하는 단계, 화장품 제제의 도포에 대한 수치 표현을 생성하는 단계 -수치 표현은 기준선 표현에 관한 위치 정보를 묘사함-, 수치 표현을 제1 형상 유형으로부터 형상 유형들 중 제2 형상 유형으로 변환하는 단계를 포함한다. 일부 실시예에서, 화장품 제제의 도포를 식별하는 단계는 화장품 제제의 어플리케이터(applicator)를 검출하는 단계, 생물학적 표면에 관한 화장품 제제의 어플리케이터의 위치를 추정하는 단계, 생물학적 표면에 관한 어플리케이터의 모션을 추적하는 단계, 및 기준선 표현에 관한 모션의 수치 표현을 생성하는 단계를 포함한다. 방법은 생물학적 표면의 표면 톤을 추정하는 단계, 화장품 제제의 제제 톤을 추정하는 단계 및 표면 톤 및 제제 톤을 사용하여 화장품 제제의 색상을 결정하는 단계를 더 포함한다.

이 요약은 아래의 상세한 설명에서 더 설명되는 단순화된 형태로 개념의 선택을 소개하기 위해 제공된다. 이 요약은 청구된 주제의 주요 특징을 식별하기 위한 것이 아니며 청구된 주제의 범위를 결정하는 데 도움을 주기 위한 것도 아니다.

도 1은 다양한 실시예에 따른 화장품 디자인을 추정하기 위한 시스템의 실시예를 도시하는 개략도이다.
도 2는 다양한 실시예에 따라 증강 현실 화장품 디자인 필터를 준비하기 위한 예시적인 기법을 도시하는 개략도이다.
도 3은 다양한 실시예에 따라 증강 현실 화장품 디자인 필터를 배치하기 위한 예시적인 기법을 도시하는 개략도이다.
도 4는 다양한 실시예에 따라 증강 현실 화장품 디자인 필터를 하나의 형상 유형으로부터 다른 형상 유형으로 변환하는 예시적인 기법을 도시하는 개략도이다.
도 5는 다양한 실시예에 따라 다중 레이어의 증강 현실 화장품 디자인 필터를 생성하기 위한 예시적인 기법을 도시하는 개략도이다.
도 6은 다양한 실시예에 따른 표면 톤 및 제제 톤을 사용하여 제제 색상을 결정하기 위한 예시적인 기법을 도시하는 개략도이다.
도 7은 다양한 실시예에 따른 도 1의 시스템의 컴포넌트를 포함하는 예시적인 시스템을 도시하는 블록도이다.
도 8은 다양한 실시예에 따른 예시적인 컴퓨팅 장치의 측면을 도시하는 블록도이다.
상술된 도면에 있어서, 동일한 참조번호는 특별히 명시하지 않는 한 각 도면 전체에 걸쳐 동일한 부분을 지칭한다. 해당하는 경우 도면을 단순화하기 위해 요소의 모든 인스턴스에 반드시 레이블이 지정되는 것은 아니다. 도면은 반드시 일정한 비율로 표시될 필요는 없으며 대신 설명되는 원리를 설명하는 데 중점을 두고 있다. 본 발명의 상술된 측면 및 그에 수반되는 많은 이점은 첨부 도면과 함께 다음의 상세한 설명을 참조하여 더 잘 이해됨에 따라 더 쉽게 인식될 것이다.

화장품과 메이크업을 손으로 패턴과 형상으로 도포하는 것은 어려울 수 있다. 예를 들어, 복잡한 디자인과 연극 메이크업은 일반적으로 인증된 메이크업 전문가가 도포한다. 또한 일반적으로 이동성이나 시력이 제한된 사람들에게는 자가 적용이 어려울 수 있다. 상대적으로 단순한 화장품 디자인에도 여러 화장품을 레이어링하고, 블렌딩하고, 얼굴 형상이나 얼굴 특징에 맞는 화장품을 도포하는 것이 포함될 수 있다. 예를 들어, 메이크업이나 기타 화장품은 직사각형 또는 오블롱(oblong) 얼굴에 도포하는 것과 다른 구성으로 타원형 얼굴에 일반적으로 도포된다. 이러한 방식으로, 단순히 텍스처 마스크와 같은 정적 텍스처 개체를 표면에 매핑하는 것만으로는 표면에 도포되는 것처럼 화장품 디자인의 미적 효과를 재현할 수 없다. 또한, 일반적으로 완성된 디자인의 이미지에서는 화장품 루틴을 메이크업하는 동작의 정확한 순서와 범위를 결정할 수 없다. 이를 위해, 메이크업 튜토리얼은 일반적으로 여러 중간 상태에서 디자인을 보여주는 이미지가 포함된 비디오 또는 단계별 가이드로 제공되어 최종 효과를 가져온다. 그럼에도 불구하고, 얼굴 형상별 튜토리얼과 피부 톤별 튜토리얼은 특정 화장품 디자인을 시연하는 데 일반 튜토리얼보다 더 효과적이다. 그러나 이러한 접근 방식은 사용되는 특정 기법과 화장품 제제에 대한 적절한 도구와 경험 없이는 보는 데 시간이 많이 걸리고 재현하기 어려울 수 있다.

대상의 얼굴 또는 기타 관심 영역과 같은 생물학적 대상의 목표 신체 표면에 도포되는 화장품 루틴으로부터 증강 현실 화장품 디자인 필터를 생성하기 위한 기법이 설명된다. 설명된 실시예는 목표 신체 표면의 하나 이상의 3D 윤곽 매핑을 정의하기 위해 이미지 센서를 사용한다. 이러한 응용과 관련하여, 설명된 실시예는 복잡한 수동 루틴에 비해 개선된 정확성과 더 큰 사용 편의성을 제공한다. 따라서, 이러한 기법은 형상 유형과 피부 톤에 맞게 자동으로(예를 들어, 사람의 개입 없이) 조정될 수 있는 동적 증강 현실 화장품 디자인 필터의 배포를 통해 화장품의 수동 도포를 개선시킨다. 필터는 증강 현실 필터 최종 사용자의 형상 유형과 피부 톤에 민감한 방식으로 특정 도구의 증강 현실 렌더링, 도포 트레이스 및 완성된 효과를 포함하는 단계별 화장품 루틴을 재현할 수 있다.

일 실시예에서, 스마트폰 사용자는 특별한 미적 효과를 만들어내는 메이크업 루틴 비디오를 생성한다. 비디오 제작의 일부로서 스마트폰은 사용자 얼굴의 이미지와 표면 매핑을 캡처한다. 초기 이미지는 파운데이션, 하이라이트, 필러, 아이섀도우, 블러셔, 마스카라 등과 같은 화장품의 후속 도포를 감지할 수 있는 기준선을 생성하는 데 사용된다. 비디오가 제작되는 동안 스마트폰은 각각의 새로운 도포를 화장품 디자인의 새로운 레이어로 정의하는 과정의 일부로서 기준선을 반복적으로 재정의하고 사용자 손의 모션을 감지하고, 새로운 도구나 제제 식별하고, 또는/추가로 업데이트된 기준선을 참조하여 사용자 얼굴의 색상 변화를 감지하여 새로운 도포를 인식한다. 루틴의 과정을 통해 모션, 텍스처 및/또는 투명도 정보를 포함하는 다중 레이어 동적 필터가 생성된다. 동적 필터는 메이크업 비디오 크리에이터의 얼굴 형상을 참조하여 분산된 저장 네트워크에 저장된다. 필터는 증강 현실 인터페이스를 통한 가상 프로젝션을 위해 다양한 사용자가 사용할 수 있다. 필터를 사용하면 레이어 효과를 재현하고, 화장품 디자인을 다양한 얼굴 형상에 현실적으로 매핑하고, 아래 단락에서 설명된 바와 같이, 뷰어의 얼굴 형상과 피부 톤에 맞는 방식으로 뷰어에게 화장품 루틴을 안내할 수 있다.

도 1은 다양한 실시예에 따라 증강 현실 화장품 디자인 필터(110)를 생성하기 위한 예시적인 시스템(100)의 실시예를 도시하는 개략도이다. 예시적인 시스템(100)은 하나 이상의 클라이언트 컴퓨팅 장치(130), 카메라(140), 서버(들)라고도 불리는 하나 이상의 원격 컴퓨터 시스템(160), 및 하나 이상의 사용자 장치(190)를 포함한다. 예시적인 시스템(100)의 일부로서, 구성 시스템 컴포넌트는 무선 통신 및/또는 유선 통신을 통해 동작 가능하게 커플링될 수 있다. 일부 실시예에서, 구성 컴포넌트는 무선 페어링(예를 들어, Bluetooth)을 통해 및/또는 로컬 무선 네트워크(예를 들어, 무선 라우터를 통해)를 통해 직접 통신할 수 있다. 일부 실시예에서, 구성 컴포넌트는 공용 네트워크(예를 들어, 인터넷) 또는 전용 네트워크(예를 들어, 인트라넷)이거나 이를 포함할 수 있는 하나 이상의 네트워크(170)를 통해 통신할 수 있다. 이러한 방식으로, 예시적인 시스템(100)은 무선 연결을 통해 전자 정보를 전달하도록 구성된 다수의 개별 장치를 포함할 수 있다. 추가적으로 또는 대안적으로, 구성 컴포넌트 중 일부는 단일 장치에 통합될 수 있다.

설명의 편의를 위해, 증강현실 화장품 디자인 필터(110)를 화장품 디자인(110)이라고도 칭한다. 화장품 디자인(110)은 클라이언트 컴퓨팅 장치(들)(130), 서버(들)(160) 및/또는 사용자 장치(들)(190)의 메모리에 저장되는 텍스처 세트, 매핑 데이터, 표면 정보 및 메타정보를 포함하는 화장품 루틴의 수치 표현이다. 평평한 평면에 투사되고 이후에 텍스처 마스크로서 사용되는 특정 얼굴 상의 메이크업 루틴의 최종 결과를 재현하는 단일 텍스처 대신, 화장품 디자인(110)은 얼굴 특징(120) 관련 윤곽 맵 및/또는 목표 영역의 기준선 특징(125)을 참조하는 하나 이상의 트레이스(115)를 포함한다. 화장품 디자인(110)은 또한 트레이스(115)의 동적 요소(117)를 묘사하는 데이터를 포함할 수 있다. 이러한 방식으로, 화장품 디자인(110)은 화장품 디자인(110)의 레이어별 도포를 단계별로 재생하는 애니메이션 증강 현실 필터로서 사용자 장치(190)에 배치될 수 있다.

예시적인 일 실시예로서, 클라이언트 컴퓨팅 장치(130)는 카메라(140)를 통합할 수 있다.

마찬가지로, 예시적인 시스템(100)은 다수의 클라이언트 컴퓨팅 장치(130)를 포함할 수 있으며, 여기서 제1 클라이언트 컴퓨팅 장치(130)는 사용자 인터페이스 요소를 호스팅하고 네트워크(들)(170)을 통한 서버(들)(160)에 연결하도록 구성되는 모바일 전자 장치(예를 들어, 태블릿, 스마트폰 또는 랩탑)이며, 반면에 제2 클라이언트 컴퓨팅 장치(130)는 카메라(140)와 통합되고 제1 클라이언트 컴퓨팅 장치(130)로 카메라(140)의 동작을 조정하도록 구성된다. 예시적인 시스템(100)의 구성 컴포넌트는 예시적인 시스템(100)의 하나 이상의 기능의 동작을 구현하고 조정하기 위한 컴퓨터 실행 가능 명령(예를 들어, 소프트웨어, 펌웨어 등)이 제공될 수 있다. 이러한 방식으로, 예시적인 시스템(100)의 동작은 하나 이상의 구성 컴포넌트를 통해 액세스되는 사용자 인터페이스를 통해 조정될 수 있다.

클라이언트 컴퓨팅 장치(들)(130)는 카메라(140), 하나 이상의 전자기(Electromagnetic; EM) 복사 소스(카메라(140)의 일부로 도시됨), 및 시각적 및/또는 청각적 프롬프트로 생물학적 표면(180)을 프롬프트하기 위한 하나 이상의 사용자 인터페이스 요소를 포함하는 특수 제작된 모바일 컴퓨팅 장치이거나 이를 포함할 수 있다. 예를 들어, 인터페이스 요소(131)는 화장품 디자인(110)의 시각적 표현을 생성하기 위한 디스플레이(133)이거나 이를 포함할 수 있다. 인터페이스 요소(131)는 또한 터치 스크린, 키보드, 트랙패드 또는 마우스를 포함하지만 이에 제한되지 않는 사용자 입력 구성요소를 포함할 수 있다. 이러한 예시에서, 클라이언트 컴퓨팅 장치(130)의 컴포넌트는 예를 들어 욕실 또는 화장 거울과 같은 소비자 화장품 제품과 유사한 하우징에 통합될 수 있다. 이러한 예시에서 하우징은 전원, 열 관리 시스템 및 기타 컴포넌트를 숨길 수 있다.

클라이언트 컴퓨팅 장치(130) 및 카메라(140)가 특정 구성으로 도시되어 있지만, 추가적인 및/또는 대안적인 폼 팩터가 고려된다. 예를 들어, 시스템(100)은 클라이언트 컴퓨팅 장치(130)와 통신하는 스마트폰 또는 태블릿 컴퓨터를 포함할 수 있어, 하나 이상의 컴퓨터 실행 가능 동작이 스마트폰 또는 태블릿 컴퓨터에 의해 수행될 수 있다. 이러한 방식으로, 이미지 생성 동작은 카메라(140)를 통합한 스마트폰에 의해 실행될 수 있고 이미지 처리 동작은 서버(들)(160)과 같은 별도의 장치에서 적어도 부분적으로 실행될 수 있다.

일부 실시예에서, 카메라(140)는 적외선 또는 근적외선 복사를 포함하지만 이에 제한되지 않는 비가시 EM 복사 소스(145), 깊이 센서(143) 및/또는 가시광 이미지 센서(141)를 포함하지만 이에 제한되지 않는 다수의 센서 및/또는 소스이거나 이를 포함할 수 있다. 클라이언트 컴퓨팅 장치(들)(130)과 마찬가지로, 카메라(140)는 무선 통신 및/또는 예시적인 시스템(100)의 다른 구성 컴포넌트와의 페어링을 가능하게 하는 통신 회로(147)를 포함할 수 있다. 카메라(140)는 예시적인 시스템(100)의 별도의 컴포넌트로서 도시되어 있지만, 카메라(140)는 예시적인 시스템(100)의 다른 구성 컴포넌트 중 하나에 통합될 수도 있다. 예를 들어, 클라이언트 컴퓨팅 장치(130)는 카메라(140)(예를 들어, 스마트폰 또는 태블릿)를 통합할 수 있다.

깊이 센서(143)는 생물학적 표면(180)의 목표 신체 표면(181)의 이미지를 포함하지만 이에 제한되지 않는 생물학적 표면(180)의 하나 이상의 이미지를 캡처할 수 있다. 도 1에 제공된 예시에서, 생물학적 표면(180)은 화장품 디자인(110)을 생성하기 위해 예시적인 시스템(100)을 사용하는 사람이고, 목표 신체 표면(181)은 눈과 눈썹 주위 영역에 있는 사람의 얼굴이다. 깊이 센서(143)는 목표 신체 표면(181)의 표면 매핑(183)을 생성할 수 있다. 목표 신체 표면(181)에 대한 윤곽 및 깊이 정보는 시간에 따라 또는 사용자 간에 변할 수 있고, 카메라는 클라이언트 컴퓨팅 장치(들)(130)에 의해 화장품 디자인(110)을 추론, 수정 및/또는 생성하기 위한 동작의 일부로서 표면 매핑(183)을 생성할 수 있다.

깊이 센서(185)는 이미지 센서일 수 있으며 목표 신체 표면(181)을 포함하는 시야(185) 내에서 이미지를 캡처할 수 있다. 깊이 센서(143)는 카메라(140)가 표면 매핑(183)을 생성하도록, 모션 센서 및 가시 이미지 카메라, 또는 초음파 기반 센서 어셈블리를 포함하는 vSLAM(Visual Simultaneous Localization and Mapping) 센서 어셈블리, 구조적 광 생성기, 비행 시간 카메라, 레이저 기반 센서(예를 들어, LiDAR)이거나 이를 포함할 수 있지만 이에 제한되지는 않는다.

예를 들어, 깊이 센서(143)가 적외선 깊이 감지 카메라인 경우, 비가시 EM 복사 소스(145)는 표적 신체 표면(181)을 포함하는 생물학적 표면(180)을 구조화된 비가시 적외선 복사에 노출시키는 적외선 소스이거나 이를 포함할 수 있다. 깊이 센서가 LiDAR 시스템 또는 비행 시간 카메라인 다른 예시에서, 비가시 EM 복사 소스(145)는 적외선 다이오드 레이저이거나 이를 포함할 수 있다. 이러한 방식으로, 비가시 EM 복사 소스(145)에 의해 생성된 EM 복사는 스캐닝되거나 각도 확산(187)으 걸쳐 목표 신체 표면(181)을 향해 지향될 수 있어, 목표 신체 표면(181)이 노출되도록 한다. 일부 실시예에서, 목표 신체 표면(181)의 검출은 가시광 센서(141)에 의해(예를 들어, vSLAM 기술에 의해) 캡처된 가시 스펙트럼(예를 들어, RGB) 이미지에 적용되는 특징 및/또는 에지 검출에 의해 촉진 및/또는 가능해진다.

표면 매핑(183)은 목표 신체 표면(181)의 특징에 대한 윤곽 정보 및/또는 위치 정보, 예를 들어 눈썹이 눈 등을 기준으로 시작하고 끝나는 곳의 콧등과 눈썹 능선의 상대적 위치에 대한 정확한 정보를 제공할 수 있다. 이러한 방식으로, 표면 매핑(183)은 사용자 장치(들)(190)을 통해 사용자에게 화장품 디자인(110)을 배포하기 위해 소셜 미디어 플랫폼 또는 다른 서비스에 배포하기 위해 화장품 디자인(110)을 생성 및/또는 추정하는 데 사용될 수 있다. 이러한 방식으로, 화장품 디자인(110)은 예를 들어 온라인 플랫폼 및/또는 화장품 디자인 데이터베이스의 일부로서 서버(들)(160)에 전달되는 데이터 파일로 표현될 수 있다.

표면 매핑(183)은 생물학적 표면(180) 특징의 형상 유형을 결정하고 화장품 디자인(110)을 다른, 상이한 형상 유형으로 변환함으로써 화장품 디자인(110)을 수정하는 데 사용될 수 있다. 일부 실시예에서, 화장품 디자인(110)을 생성하거나 수정하는 것의 일부로서 다중 레이어가 정의된다. 예시적인 시스템(100)은 목표 신체 표면(181)에 대한 다수의 화장품 제제의 도포를 검출하기 위해 도 2 내지 도 6을 참조하여 설명된 예시적인 기법을 구현할 수 있고, 화장품 디자인(110)을 함께 정의하는 공간적 및 시간적 도포를 묘사하는 하나 이상의 트레이스(115)를 생성할 수 있다.

유리하게는, 화장품 디자인(110)은 예를 들어 소셜 미디어와의 통합을 통해 증강 현실 필터로서 사용자 장치(들)(190)에 목표 신체 표면(181)과 사용자 장치(190)의 사용자의 신체의 상응 영역 모두를 매핑하고, 화장품 디자인(110) 또는 화장품 디자인(110)의 각 구성 레이어를 추정하여 해당 영역에 맞추도록 함으로써 개선된 정확도와 정밀도로 배포될 수 있다. 추가적으로, 화장품 디자인(110)은 튜토리얼 시각화의 형태로, 동적으로 제시될 수 있으며, 그에 따라 레이어와 트레이스 모두 애니메이션화되어 화장품 디자인(110)의 레이어, 모션, 색상 및 기타 화장품 측면을 보여준다. 이러한 방식으로, 화장품 디자인(110)은 크리에이터로부터 사용자까지 화장품 디자인(110)을 적용함으로써 사용자 경험의 개선을 나타내고, 또한 완전한 화장품 디자인(110)이 이미지 데이터가 아닌 마스크 데이터로 전송될 수 있으므로 시스템 성능의 개선을 나타낸다. 따라서, 네트워크(들)(170)을 통해 화장품 디자인(110)을 배포하고 서버(들)(160)에 저장하는 데 관련된 데이터 볼륨 및 계산 리소스가 감소된다.

도 2는 다양한 실시예에 따른 증강 현실 화장품 디자인 필터(110)를 준비하기 위한 예시적인 프로세스(200)를 도시하는 개략도이다. 예시적인 프로세스(200)는 도 1의 예시적인 시스템(100)의 구성 컴포넌트에 의해 실행되거나 달리 수행되는 다수의 동작으로서 구현될 수 있다. 이러한 방식으로, 동작은 컴퓨터 시스템의 비일시적 메모리에 저장된 컴퓨터 판독가능 명령의 실행에 응답하여 도 1의 클라이언트 컴퓨팅 장치(들)(130)과 같은 컴퓨터 시스템의 하나 이상의 프로세서에 의해 수행되는 동작이거나 이를 포함할 수 있다. 동작이 특정 순서로 예시되어 있지만, 예시적인 프로세스(200)는 더 많거나 더 적은 동작을 포함할 수 있으며, 동작 순서는 다양할 수 있다. 일부 실시예에서, 일부 동작은 도 1을 참조하여 더 자세히 설명된 바와 같이 서로 다른 물리적 컴퓨터에 의해 수행된다. 예를 들어, 일부 동작은 서로 다른 컴포넌트에 의해 상호 교환적으로 수행될 수 있거나 둘 이상의 컴포넌트의 협력 동작에 의해 수행될 수 있다.

동작(201)에서, 컴퓨터 시스템은 생물학적 표면(180)의 기준선 표현(210)을 정의한다. 일부 실시예에서, 기준선 표현(210)은 예를 들어 생물학적 표면(180)을 묘사하는 표면 윤곽 매핑 정보에 대한 가시적 색상 정보를 참조함으로써 표면 매핑(183)을 생성하는 부분으로서 정의된다. 이러한 방식으로, 기준선 표현(210)은 표면 매핑(183) 및 색상 정보를 모두 포함하는 생물학적 표면(180)의 수치 표현(예를 들어, 디지털 데이터)을 포함할 수 있다. 예시적인 프로세스(200)는 도 1의 목표 신체 표면(181)과 관련하여 도시되지만, 생물학적 표면(180)은 얼굴, 손, 얼굴의 일부, 또는 화장품 제제가 도포되는 다른 표면이거나 이를 포함할 수 있다는 것이 이해된다.

일부 실시예에서, 기준선 표현(210)을 정의하는 것은 카메라(140) 또는 가시광 또는 비가시 EM 방사선을 검출하도록 구성된 다른 복사 센서를 사용하여 생물학적 표면(180)의 하나 이상의 이미지를 생성하는 것을 포함한다. 비가시 EM 복사는 구조광 생성기, LiDAR 소스 또는 ToF 카메라 소스와 같은 카메라(140)의 복사 소스를 사용하여 생물학적 표면(180)에 투사될 수 있다. 예를 들어, 이미지는 생물학적 표면(180)의 얼굴 특징(120)뿐만 아니라 기준선 특징(125)도 묘사할 수 있다. 기준선 특징(125)은 예시적인 프로세스(200) 이전에 생물학적 표면(180)에 도포되는 물질이거나 이를 포함하여, 생물학적 표면(180)의 적어도 일부가 색소, 화장품 제제, 또는 카메라(140)에 의해 감지될 수 있는 다른 특징을 포함하도록 한다. 예를 들어, 기준선 특징(125)은 속눈썹 및 아이라이너로 예시되어 있다. 유사하게, 기준선 특징(125)은 얼굴 특징(120) 이외의 생물학적 표면(180)의 결점, 주름, 흉터 또는 기타 미적 측면을 포함할 수 있지만 이에 제한되지는 않는다. 대조적으로, 얼굴 특징(120)은 표면 매핑(183)을 정의하고 그림자, 원근감 등을 포함하지만 이에 제한되지 않는 물리적 효과를 통해 기준선 표현(210)에 영향을 미치는 생물학적 표면(180)의 기관, 머리카락 및 기타 지형적 특징을 나타낸다.

동작(203)에서, 컴퓨터 시스템은 생물학적 표면(180)에 대한 화장품 제제(들)(220)의 하나 이상의 도포(215)를 식별한다. 화장품 제제(들)(220)은 메이크업, 마스카라, 립스틱, 립라이너, 아이라이너, 글리터, 미용 크림, 연고, 또는 생물학적 표면(180)에 국소적으로 적용될 수 있는 기타 재료를 포함할 수 있지만 이에 제한되지는 않는다. 화장품 제형(들)(220)의 도포(들)(215)은 가시광 센서, 비가시 EM 복사 센서 등과 같은 복사 센서를 사용하여 카메라(140)에 의해 검출될 수 있다. 이러한 방식으로, 도포(들)(215)은 예를 들어 착색, 표면 반사율 또는 비가시 EM 복사의 흡광도/반사율 측면에서 기준선 표현에 대한 생물학적 표면의 이동으로 감지될 수 있다. 일 실시예에서, 광택 있는 립 코팅은 무시할 수 있는 정반사를 포함하는 기준선 표현에 관한 생물학적 표면(180)의 정반사 증가를 통해 검출될 수 있다. 마찬가지로, 무광택 파운데이션은 기준선 표현에 관한 정반사 감소와 확산 반사 증가를 통해 감지할 수 있다. 비제한적인 예시에서, 정반사는 가시 광선 이미지에서 휘도 채널을 정의하고 휘도 채널을 임계화함으로써 검출될 수 있으며, 여기서 정반사는 픽셀 단위로 임계치를 초과하는 휘도 값으로 정의된다.

일부 실시예에서, 컴퓨터 시스템은 생물학적 표면(180)에 근접한 브러시, 스펀지, 연필, 손가락 또는 기타 어플리케이터(225)와 같은 어플리케이터(225)를 감지한다. 일부 실시예에서, 컴퓨터 시스템은 어플리케이터(225)의 식별자를 인식한다. 예를 들어, 어플리케이터(225)는 바코드, QR 코드, RFID 태그, 또는 식별자 정보의 다른 표현과 같은 등록 표시를 포함한다. 이러한 방식으로, 컴퓨터 시스템은 공간적 및 시간적으로 도포(215)을 식별할 수 있고 화장품 제제(들)(220)을 식별할 수 있다. 이를 위해, 동작(203)은 선택적으로 화장품 제제(220)를 식별하고, 화장품 제제(220)의 식별자 정보를 이용하여 화장품 제제(220)의 색상을 정의하는 것을 포함할 수 있다. 예를 들어, 미식별 화장품 제제(220)의 색상은 도 6을 참조하여 더욱 자세히 설명된 바와 같이 카메라(140)를 사용하여 추정될 수 있지만, 어플리케이터(225)를 식별하면 컴퓨터 시스템이 화장품 제제(220)의 색상을 직접 결정하도록 허용할 수 있고, 여기서, 어플리케이터(225)는 다목적 어플리케이터(225)가 아닌 특정 화장품 제제(220)으로 로딩된다. 이러한 방식으로 화장품 제제(220)를 식별할 수 있는 어플리케이터(220)의 예시는 연필, 립스틱, 젤 어플리케이터 또는 준비된 화장품 제제(220)과 함께 이용 가능한 기타 어플리케이터(220)를 포함하지만 이에 제한되지는 않는다. 화장품 제제(220)의 도포(215)는 생물학적 표면(180)에 대한 어플리케이터(225)의 모션(230)을 포함할 수 있다. 모션(230)은 블렌딩 및 스머징 모션과 같은 전체 화장품 디자인(110)의 미적 효과에 관한 의미 있는 정보를 포함할 수 있다. 따라서, 어플리케이터(220)의 모션(230)은 트레이스를 생성하기 위한 작업 중에 검출되어 사용될 수 있다.

도포(215)는 또한 생물학적 표면(180)에 이미 배치된 제제(220)의 수정 또는 조작을 포함할 수 있다. 예를 들어, 화장품 제제(220)의 범위, 착색 및 반사율은 스무딩, 스머징, 블렌딩, 스프레딩 또는 기타 기법에 의해 수정될 수 있다. 생물학적 표면(180)에 새로운 제제(220)를 추가하는 것이 아니라 이미 배치된 제제(220)를 수정하는 이러한 도포(215)는 도구나 손가락을 감지하고, 기준선 표현(210)에 관한 생물학적 표면(180)의 변화를 감지함으로써 식별될 수 있다. 도 1을 참조하여 설명된 바와 같이, 기준선 표현(210)은 도포(215)가 계층화되고 및/또는 혼합되는 각각의 개별 도포(215)에 관련될 수 있다. 예를 들어, 제제(220)가 이미 도포된 생물학적 표면(180)의 특정 영역에 대한 기준선 표현(210)은 제제(220)를 포함하도록 재정의될 수 있다. 이러한 방식으로, 후속 도포(215)가 더 신중하고 정확하게 검출될 수 있다.

동작(205)에서, 컴퓨터 시스템은 동작(203)에서 식별된 도포(215)를 설명하는 하나 이상의 트레이스(115)를 생성한다. 트레이스(115)를 생성하는 것은 도포(215)의 범위(217), 레이어 순서(도 5 참조) 및 색상(도 6 참조)을 결정하는 것을 포함할 수 있어, 화장품 디자인(110)은 도포(215)의 미적 효과를 현실적으로 재현할 수 있고 도포(215)의 순서도 재현도록 한다. 범위(217), 색상 및 레이어 순서 정보뿐만 아니라 사용자 장치(들)(190)에서 트레이스(115)를 현실적으로 재생하는 것과 관련된 다른 정보는 기준선 표현(210)을 참조하는 강도 데이터세트와 같은 수치 표현으로 인코딩될 수 있다. 예를 들어, 도 2에 점선으로 도시된 도포(215)의 범위(217)는 기준선 표현에 관한 착색의 변화, 흡광도 및/또는 EM 복사의 반사율의 변화로서 검출될 수 있다. 이러한 방식으로, 트레이스(115)는 개별 도포(215)의 미적 효과를 재현할 수 있다.

일부 실시예에서, 컴퓨터 시스템은 카메라(140)에 의해 생성된 이미지 및/또는 윤곽 데이터를 사용하여 어플리케이터의 동작(230)을 트래킹한다. 따라서, 트레이스(115)를 생성하는 것은 기준선 표현에 설명된 바와 같이 생물학적 표면(180)에 관한 다양한 모션(230)의 수치 표현뿐만 아니라 도포(215)에 사용된 화장품 제제(220)를 설명하는 색상 정보를 생성하는 것을 포함할 수 있다. 일단 생성된 트레이스(115)는, 도 3을 참조하여 더욱 자세히 설명되는 사용자 장치(들)(190)을 통해 볼 때, 서로 다른 형상의 생물학적 표면(180)에 대한 화장품 디자인(110)의 미적 효과를 재현하도록 변환될 수 있다.

트레이스(115)는 레이어 블렌딩 및 레이어링 정보를 인코딩할 수 있으므로, 다중 트레이스(115)의 조합이 트레이스(115) 간의 상호 작용을 재현할 수 있다. 예를 들어, 눈과 눈썹 사이의 생물학적 표면(180) 영역에 대한 여러 아이섀도 색상의 도포 세트(215)를 혼합하여 아이섀도 영역에 색상 그라데이션을 부여할 수 있다. 이러한 예시에서, 예시적인 프로세스(200)는 동작(201-205)의 여러 반복을 포함하여, 눈썹과 눈 사이의 영역이 다중 트레이스(115)에 의해 설명되고 또한 다중 트레이스가 어떻게 관련되는지 설명하는 상호 작용 용어에 의해 설명된다. 일부 실시예에서, 트레이스(115)는 도포(215)의 착색 또는 기타 미적 효과의 국지적 투명도를 묘사하는 동적 요소(117)를 참조하는 알파 채널 정보와 같은 투명도 정보를 포함한다. 이러한 방식으로, 트레이스(115)는 블렌딩, 스머징, 스무딩 또는 전형적인 화장품 디자인의 다른 기법과 같은 화장품 제제(220)의 조작을 재현할 수 있다. 일 실시예에서, 트레이스(115) 및/또는 동적 요소(117)는 모션(230) 및 제제(220)을 참조하는 투명도 값의 벡터를 포함할 수 있어, 트레이스(115)는 모션(230)에 기초하여 제제(220)의 스무딩 또는 블렌딩을 재현한다.

동작(207)에서, 컴퓨터 시스템은 동작(201-205)의 일부로서 검출된 트레이스(들)(115)를 출력한다. 트레이스(들)(115)를 출력하는 것은 클라이언트 컴퓨팅 장치(130)의 로컬 데이터 저장부에 트레이스(들)(115)를 저장하는 것, 트레이스(들)(115)를 네트워크(170)를 통해 서버(들)(160)로 전송하는 것 및/또는 직접적으로(예를 들어, 전자 페어링을 통해) 또는 네트워크(180)를 통해 사용자 장치(들)(190)와 트레이스(들)(115)를 공유하는 것을 포함하지만 이에 제한되지 않는 전자 작업을 포함할 수 있다.

예시적인 프로세스(200)의 설명은 눈썹/눈 영역에 대한 화장품 디자인에 초점을 맞추었지만, 동작은 다른 표면에도 유사하게 적용될 수 있다. 예를 들어, 화장품 디자인(110)은 입술, 코, 뺨, 이마 또는 손을 포함하지만 이에 제한되지 않는 추가/대체 표면에 대한 화장품 제제(220)의 도포(215)를 묘사할 수 있다. 유사하게, 화장품 디자인(110)은 눈썹, 눈, 입술, 광대뼈, 턱선 또는 손을 포함하지만 이에 제한되지 않는 얼굴 특징(120)의 외관을 수정할 수 있다. 다른 실시예에서, 화장품 디자인(110)은 하나 이상의 화장품 제제(120)의 도포를 통해 광대뼈의 외관을 강조하기 위한 일련의 트레이스(117)를 포함할 수 있다.

도 3은 다양한 실시예에 따라 증강 현실 화장품 디자인 필터(110)를 배치하기 위한 예시적인 프로세스(300)를 도시하는 개략도이다. 도 2의 예시적인 프로세스(200)와 마찬가지로, 예시적인 프로세스(300)는 도 1의 예시적인 시스템(100)의 구성 컴포넌트에 의해 실행되거나 수행되는 다수의 동작으로서 구현될 수 있다. 이러한 방식으로, 동작은 컴퓨터 시스템의 비일시적 메모리에 저장된 컴퓨터 판독가능 명령의 실행에 응답하여 도 1의 사용자 장치(들)(190)과 같은 컴퓨터 시스템의 하나 이상의 프로세서에 의해 수행되는 동작이거나 이를 포함할 수 있다. 동작이 특정 순서로 예시되어 있지만, 예시적인 프로세스(300)는 더 많거나 더 적은 동작을 포함할 수 있으며, 동작 순서는 다양할 수 있다. 일부 실시예에서, 일부 동작은 도 1을 참조하여 더욱 자세히 설명된 바와 같이 서로 다른 물리적 컴퓨터에 의해 수행된다. 예를 들어, 일부 동작은 서로 다른 컴포넌트에 의해 상호교환적으로 수행될 수 있거나 사용자 장치(들)(190) 및 서버(들)(160)과 같은 둘 이상의 컴포넌트의 협력 동작에 의해 수행될 수 있다.

동작(301)에서, 사용자 장치(190)는 화장품 디자인(110)을 설명하는 데이터(310)를 수신한다. 데이터 수신(310)은 네트워크(170)(예를 들어, 인터넷, 셀룰러 네트워크 등)를 통한 전자 통신을 포함할 수 있지만, 페어링 또는 다른 접근 방식을 통한 직접 통신도 포함할 수 있다. 도 3에서는 사용자 장치(190)가 서버(들)(160)로부터 데이터(310)를 수신하는 것으로 예시되어 있지만, 데이터(310)는 클라이언트 컴퓨팅 장치(들)(130)로부터 수신될 수 있다는 것이 이해된다. 데이터(310)는 도 2를 참조하여 더욱 자세히 설명되는 바와 같이 예시적인 프로세스(200)의 하나 이상의 반복 동안 생성된 트레이스(115)를 포함할 수 있고, 또한 도 4를 참조하여 더둑 자세히 설명된 바와 같이 생물학적 표면(180)의 형상 유형과 같은 생물학적 표면(180)을 묘사하는 메타정보를 포함할 수 있다.

데이터(310)를 수신하기 위한 동작은 무선 통신 또는 유선 통신을 포함하지만 이에 제한되지 않는 하나 이상의 데이터 전송 기술을 포함할 수 있다. 예를 들어, 사용자 장치(190)는 무선 전송으로서 데이터(210)를 수신하기 위해 클라이언트 컴퓨팅 장치(130)와 무선으로 통신할 수 있다.

일부 실시예에서, 데이터 수신(310)은 추천 엔진과 같은 브라우저 환경을 포함할 수 있고, 이에 따라 사용자 장치(190)의 사용자는 디자인을 요청하기 위해 크리에이터와 직접 통신하는 대신, 한 명 이상의 크리에이터가 생성한 일련의 화장품 디자인(110)을 볼 수 있다. 추가적으로 또는 대안적으로, 데이터(310)는 예를 들어 사용자 장치(190)의 사용자가 등록, 팔로우 및/또는 구독할 수 있는 소셜 미디어 서비스의 일부로서 사용자 장치(190)에 푸시될 수 있다. 일부 실시예에서, 데이터(310)는 사용자 장치(190)의 사용자를 설명하는 식별자 정보에 적어도 부분적으로 기초하여 추천된다. 사용자 장치(190)의 사용자가, 트래픽 데이터 이력을 통해, 심미적인 선호도를 나타내는 경우, 그 선호도를 반영한 화장품 디자인(110)을 우선적으로 추천할 수 있다. 인구통계학적, 사회경제적, 생체인식 데이터도 화장품 디자인을 추천하는 데 사용될 수 있다. 예를 들어, 사용자 장치(190)의 사용자가 특정 지역에 거주하는 경우, 해당 지역의 트렌드를 반영하는 화장품 디자인(110)이 추천될 수 있다. 마찬가지로, 사용자 장치(190)의 사용자가 특정 연령 범위에 속하거나, 특정 필드 또는 분야에 종사하거나, 특정 소셜 네트워크에 속해 있는 경우, 각 카테고리에 해당하는 트렌드를 반영한 화장품 디자인을 식별하고 추천할 수 있다.

동작(303)에서, 사용자 장치(190)는 화장품 디자인(110)이 가상으로 도포될 생물학적 표면(180)에 상응하는 사용자 표면(315)을 매핑한다. 사용자 표면(315) 매핑은 구조화된 광 방법, LiDAR 또는 ToF 방법, vSLAM 방법, 초음파 방법 등을 포함하지만 이에 제한되지 않는 도 1의 표면 매핑(183) 생성과 관련하여 설명된 것과 유사한 작업을 포함할 수 있다. 표면(315)은 톤, 반사율, 온도 등을 포함하지만 이에 제한되지 않는 표면(315)의 상응 영역에 대한 다수의 특성을 각각 정의할 수 있는 다각형(317)의 메쉬로 설명될 수 있다.

사용자 장치(190)가 깊이 센서(319)를 포함하는 스마트폰인 경우, 동작(303)은 깊이 센서를 사용하여 표면을 매핑하기 위해 사용자 장치(190)의 메모리에 저장된 하나 이상의 도포를 실행하는 것을 포함할 수 있다. 이러한 방식으로, 사용자 표면(315)은 사용자 표면(315)의 표면 윤곽 및 얼굴 특징(320)을 묘사하는 데이터의 수치 표현으로 표현될 수 있다. 일부 실시예에서, 예시적인 프로세스(300)는 화장품 디자인(110)을 사용자 표면(315)의 기존 미적 외관과 통합하는 것을 포함한다. 이를 위해 메이크업, 마스카라, 속눈썹 등과 같은 미적 특징(321)이 표면 매핑 중에 포함된다.

사용자 표면(315)을 매핑하는 것은 또한 도 6을 참조하여 더욱 자세히 설명되는 바와 같이 로컬 표면 톤일 수 있는 표면 톤을 추정하는 것을 포함할 수 있다. 이러한 방식으로, 예시적인 프로세스(300)는 생물학적 표면(180)과 사용자 표면(315) 사이의 피부 톤의 차이를 설명할 수 있다. 예를 들어, 데이터(310)의 일부로서 제공되거나 대안적으로 서버(들)(160) 및/또는 사용자 장치(190)의 메모리에 저장된 메타데이터는 색상을 피부색과 상호 참조하는 참조 테이블 또는 조회 테이블을 포함할 수 있고, 따라서 화장품 디자인(110)이 문자 그대로 정확한 색상을 바꾸는 것이 아니라 화장품 디자인(110)의 미적 효과를 재현하도록 구성될 수 있다.

동작(305)에서, 데이터(310)의 일부로서 수신된 트레이스(115)는 동작(303)에서 생성된 사용자 표면(315)의 매핑을 참조하여 필터(325)를 생성하는 데 사용된다. 필터(325)는 사용자 표면(315)의 매핑과 결합되도록 포맷된 텍스처 객체와 같은 수치 표현이거나 이를 포함할 수 있다. 일 실시예에서, 사용자 표면(315)은 다각형(317)의 메쉬에 의해 묘사되고, 필터(325)는 다각형(317)을 참조하여, 각 다각형(317)이 필터(325)의 외양을 묘사하는 벡터 값을 정의하도록 한다.

일부 실시예에서, 필터(325)는 화장품 디자인(110)을 생성하는 데 사용되는 일련의 도포(215)을 입증하는 데 사용될 수 있는 애니메이션 효과 또는 레이어간(interlayer) 효과와 같은 동적 요소(330)를 포함한다. 동적 요소(330)는 도 1-2의 트레이스(115)를 참조하여 설명된 동적 요소(117)의 적어도 일부를 재생할 수 있다.

동작(307)에서 컴퓨터 시스템은 사용자 표면(315)의 이미지(335)와 통합된 필터(325)를 제공한다. 필터(325)를 제시하는 것은 스크린(337)을 통해 필터(325)를 표시하는 것을 포함할 수 있다. 예를 들어, 사용자 장치(190)는 터치스크린 디스플레이를 포함하는 스마트폰 또는 태블릿일 수 있다. 필터(325)는 특징 트레킹 또는 기타 증강 현실 기법을 사용하여 실시간으로 또는 거의 실시간으로 사용자 표면(315)에 매핑될 수 있고, 여기서 "거의 실시간"은 사용자 장치(190)의 사용자에 의한 질적 경험을 나타내며, 이에 따라 예시적인 프로세스(300)의 동작에 의해 야기되는 대기 시간은 효과적으로 감지할 수 없다.

필터(325)는 사용자 장치(190)의 사용자가 예를 들어 선택 또는 강조 표시를 통해 스크린(337)을 통해 조작할 수 있는 대화형 그래픽 요소로 표시될 수 있다. 일부 실시예에서, 필터(325)를 선택하면 선택적 동작(309)에서 동적 요소(330)의 애니메이션을 시작할 수 있다. 추가적으로 또는 대안적으로, 필터(325)에 애니메이션을 적용하는 것은 가상 튜토리얼을 시작하는 것을 포함할 수 있으며, 이로써 필터(325)가 레이어 순서에 따라 순차적으로 제시되어 도포(215)의 시퀀스가 사용자 표면(315)에 재생된다. 시퀀스는 사용자 장치(190)를 통해 일시 중지, 반전, 진행 또는 다른 방식으로 조작될 수 있으며 특정 동적 요소는 예를 들어 스크린(337)에서 사용자 동작(340)을 사용하여 필터(325)를 선택함으로써 활성화될 수 있다.

일부 실시예에서, 필터(325)가 제시되는 동안 스크린(337)과의 상호작용은 사용자 장치(190)의 사용자가 하나 이상의 필터(325)를 편집, 추가 또는 제거하는 것을 허용한다. 동적 요소를 활성화하는 대신 다양한 사용자 동작(340)은 하나 이상의 대체 프로세스를 시작할 수 있다. 예를 들어, 두 번 손가락 탭을 하면 사용자 장치(190)의 사용자가 어플리케이터(225), 화장품 제제(215)를 설명하는 정보, 또는 필터(325)를 설명하는 다른 정보를 볼 수 있게 하는 메뉴(341)가 열릴 수 있다. 유사하게, 필터(325)를 길게 누르면 사용자 장치(190)가 온라인 마켓플레이스에 액세스하여 사용자가 화장품 제제(220), 어플리케이터(225) 또는 다른 소비자 제품을 구매할 수 있게 할 수 있다. 일부 실시예에서, 소셜 미디어 컨트롤(343) 메뉴가 생성될 수 있어, 사용자 장치의 사용자는 이미지(335)를 필터(325)와 공유할 수 있고, 다른 사용자와 통신할 수 있거나, 피드백을 제공하거나 화장품 디자인(110)의 작성자와 통신할 수 있도록 한다. 설명된 사용자 동작의 유형은 예시적인 것으로 이해된다. 메뉴(341) 및/또는 소셜 미디어 메뉴(343)와 같은 사용자 인터페이스 요소는 대안 및/또는 추가 상호 작용에 의해 호출될 수 있다. 일부 실시예에서, 메뉴 요소는 기본적으로 디스플레이(337)에 표시된다.

도 4는 다양한 실시예에 따라 증강 현실 화장품 디자인 필터(110)를 하나의 형상 유형에서 다른 형상 유형으로 변환하기 위한 예시적인 프로세스(400)를 도시하는 개략도이다. 예시적인 프로세스(200 및 300)와 마찬가지로, 예시적인 프로세스(400)는 도 1의 예시적인 시스템(100)의 구성 요소에 의해 실행되거나 수행되는 다수의 동작으로 구현될 수 있다. 이러한 방식으로, 동작은, 컴퓨터 시스템의 비일시적 메모리에 저장된 컴퓨터 판독가능 명령의 실행에 응답하여, 도 1의 클라이언트 컴퓨팅 장치(들)(130), 서버(들)(160), 및/또는 사용자 장치(들)(190)과 같은 컴퓨터 시스템의 하나 이상의 프로세서에 의해 수행되는 동작이거나 이를 포함할 수 있다. 동작이 특정 순서로 예시되어 있지만, 예시적인 프로세스(400)는 더 많거나 더 적은 동작을 포함할 수 있으며, 동작 순서는 다양할 수 있다. 일부 실시예에서, 일부 동작은 도 1을 참조하여 더욱 자세히 설명된 바와 같이 서로 다른 물리적 컴퓨터에 의해 수행된다. 예를 들어, 일부 동작은 서로 다른 컴포넌트에 의해 상호 교환적으로 수행될 수 있거나 둘 이상의 컴포넌트의 협력 동작에 의해 수행될 수 있다.

트레이스(115)는 도 2를 참조하여 더욱 자세히 설명된 바와 같이 기준선 표현(210)을 참조하여 생성되며, 따라서 생물학적 표면(180)에 특정된다. 따라서, 예시적인 프로세스(400)는 트레이스(115) 및/또는 필터(325)를 생성하는 것의 일부로서 필터(325)를 제1 얼굴 형상으로부터 제2 얼굴 형상으로 추정하는 동작을 묘사한다. 도 4를 참조하면, 표현은 얼굴 형상에 초점을 두고 있지만, 눈 형상, 입 형상 또는 기타 특징 형상과 같은 개별 얼굴 특징의 형상에도 유사하게 동작이 적용될 수 있음이 이해된다. 따라서, 단순히 트레이스(115)을 사용자 표면(315)에 텍스처로 적용하는 것이 아니라 트레이스(115)의 미적 효과를 현실적으로 재현하도록 트레이스(115)가 변환된다.

동작(401)에서, 컴퓨터 시스템은 하나 이상의 트레이스(115)를 사용하여 마스크 데이터(410)를 생성한다. 트레이스(115)가 생물학적 표면을 설명하는 지형적 데이터와 관련된 경우, 마스크 데이터를 생성하는 단계(410)는 어플리케이션(215)을 설명하는 데이터를 생물학적 표면(180)을 설명하는 지형적 데이터에 투영하는 것을 포함한다. 이로써 트레이스(115)를 하나의 형상 유형(420)에서 다른 형상 유형(420)으로 수정하는 것이 허용된다.

동작(403)에서, 컴퓨터 시스템은 생물학적 표면(180)의 적어도 일부에 제1 형상 유형(420)을 부여한다. 예를 들어, 컴퓨터 시스템은 여러 형상 유형(420)을 설명하는 형상 정보를 참조할 수 있다. 형상 정보는 서버(들)(160) 또는 클라이언트 컴퓨팅 장치(들)(130)에 저장되거나, 액세스되거나, 그렇지 않으면 수신될 수 있다. 이러한 방식으로, 예시적인 프로세스(400)는 다중 형상 유형(420)을 묘사하는 정보를 수신하는 것을 포함할 수 있다.

생물학적 표면(180)에 형상 유형(420)을 부여하는 것은 기준선 표현(210)을 참조하여 형상 유형(420)을 나타내는 생물학적 표면(180)의 특징적인 치수, 간격 또는 기타 측면을 결정하는 것을 포함할 수 있다. 얼굴 형상의 실시예에서, 특징적인 측면은 기준선 표현(210)에 그리드 또는 다른 형태의 가이드(421)를 투영함으로써 정의될 수 있고, 따라서 형상 유형(420)은 기준선 표현(210)의 아웃라인(423)을 정의함으로써, 기준선 표현(210)의 하나 이상의 지점에서 특징적인 곡률(425)을 식별함으로써, 또는 특징들 사이의 특징적인 간격(427)을 식별함으로써 식별될 수 있다. 컴퓨터 이미지 처리 기술을 사용한 에지 감지 및 특징 감지와 관련된 접근 방식을 사용하여 형상 유형(420)을 속성화할 수 있다는 것이 이해된다.

동작(405)에서, 컴퓨터 시스템은 다양한 형상 유형(420)에 대한 하나 이상의 형상 필터(430)를 생성한다. 형상 필터(430) 생성의 일부로서, 동작(401)에서 생성된 마스크 데이터(410)는 제1 형상 유형(420-1)으로부터 제2 형상 유형(420-2), 제3 형상 유형(420-3), 또는 추가 또는 대체 형상 유형(420)으로 변환된다. 마스크 데이터(410)의 변환은 제1 형상 유형(420-1)의 마스크 데이터(410)를 제2 형상 유형(420-2)의 지형적 데이터에 투영하고 해당 변환을 트레이스(115)에 적용하는 것을 포함할 수 있지만 이에 제한되지는 않는다. 이러한 방식으로, 형상 필터(430)는 제1 형상 유형(420-1)과 다른 형상 유형(420)에 트레이스(115)의 미학적 형상 및 색상을 재현할 것이다.

일부 실시예에서, 서로 다른 형상 유형(420)에 대한 형상 필터(430)를 생성하는 것은 서로 다른 물리적 형상을 설명하기 위한 공간 투영을 넘어 마스크 데이터(410)에 대한 추가 수정을 포함할 수 있다. 예를 들어, 일부 형상 유형(420)은 눈썹 능선, 이마 곡률, 턱 모양, 광대뼈, 턱 모양 등과 같은 다소 뚜렷한 얼굴 특징을 특성화 한다. 이를 위해, 형상 필터(430)는 형상 필터(430) 생성의 일부로서 마스크 데이터(410)를 재배치하거나, 분할하거나, 생략하거나, 복제하거나, 미러링하거나, 다르게 변환할 수 있다. 예시적인 예에서, 하트 얼굴 형상에 상응하는 제1 형상 유형(420-1)으로부터 직사각형 얼굴 형상에 상응하는 제2 형상 유형(420-2)에 대한 형상 필터(430)를 생성하는 것은 이마 트레이스를 헤어라인을 향해 위쪽으로 재배치하고 이마 트레이스를 이마의 양쪽 가장자리로 넓히고, 턱선을 따라 턱 트레이스를 분할하고 미러링한다. 각 형상 유형(420)에 대한 형상 필터(430)를 생성하는 과정의 일부로서 각 트레이스(115)에 대한 마스크 데이터(410)에 상응하는 변환이 적용될 수 있다.

화장품 디자인(110)이 특정 얼굴 특징(예를 들어, 눈썹과 눈 사이의 아이섀도 디자인)에서 다루어지는 얼굴 특징의 맥락에서, 예시적인 프로세스(400)의 구성 동작은 유사한 원리에 기초하여 적용될 수 있다. 예를 들어, 둥근 눈 형상 유형(420)을 참조하여 화장품 디자인(110)이 생성되는 경우, 동작(405)에서 형상 필터(430)를 생성하는 것은 마스크 데이터(410)를 둥근 눈에서 아몬드형 눈 형상 유형(420) 또는 다른 눈 특정 형상 유형(420)으로 변환하는 것을 포함할 수 있다. 해당 동작은 입술, 손, 귀 또는 기타 생물학적 표면의 형상에 적용될 수 있음이 이해된다.

도 5는 다양한 실시예에 따라 다중 레이어의 증강 현실 화장품 디자인 필터(510)를 생성하기 위한 예시적인 프로세스(500)를 도시하는 개략도이다. 예시적인 프로세스(200, 300 및 400)와 마찬가지로, 예시적인 프로세스(500)는 도 1의 예시적인 시스템(100)의 구성 요소에 의해 실행되거나 수행되는 다수의 동작으로 구현될 수 있다. 이러한 방식으로, 동작은, 컴퓨터 시스템의 비일시적 메모리에 저장된 컴퓨터 판독가능 명령의 실행에 응답하여, 도 1의 클라이언트 컴퓨팅 장치(들)(130), 서버(들)(160) 및/또는 사용자 장치(들)(190)과 같은 컴퓨터 시스템의 하나 이상의 프로세서에 의해 수행되는 동작이거나 이를 포함할 수 있다. 동작이 특정 순서로 예시되어 있지만, 예시적인 프로세스(500)는 더 많거나 더 적은 동작을 포함할 수 있으며, 동작 순서는 다양할 수 있다. 일부 실시예에서, 일부 동작은 도 1을 참조하여 더욱 자세히 설명된 바와 같이 서로 다른 물리적 컴퓨터에 의해 수행된다. 예를 들어, 일부 동작은 서로 다른 컴포넌트에 의해 상호 교환적으로 수행될 수 있거나 둘 이상의 컴포넌트의 협력 동작에 의해 수행될 수 있다.

도 1-3을 참조하여 더욱 자세히 설명된 바와 같이, 트레이스(115)는 생물학적 표면(180)에 대한 다수의 화장품 제제(220)의 순차적 도포를 기록함으로써 생성될 수 있어, 증강 현실 화장품 디자인 필터(510)가 개별 레이어로 분할될 수 있도록 한다. 도 3을 참조하여 더욱 자세히 설명된 바와 같이, 필터(510)의 프리젠테이션은 도포의 레이어별 시퀀스를 재생할 수 있다. 유사하게, 예시적인 프로세스(400)는 또한 예시적인 프로세스(500)의 레이어별 측면을 통합할 수 있고, 여기서 서로 다른 형상 유형(420)은 서로 다른 레이어링 프로세스, 레이어간 블렌딩뿐만 아니라 형상 유형(420)의 차이로 인해 발생하는 더 복잡한 빛 및 그림자 효과를 의미한다.

동작(501-507)에서는 일련의 레이어가 정의되며, 여기서 각 레이어는 하나 이상의 트레이스(115)를 포함한다. 예를 들어, 동작(501)에서 이마 트레이스(515)와 광대뼈 트레이스(517)를 포함하는 제1 레이어가 정의된다. 동작(503)에서, 이마 트레이스(들)(520), 볼 트레이스(들)(521) 및 턱 흔적(들)(523)을 포함하는 제2 레이어가 정의된다. 동작(505)에서, 제1 및 제2 레이어 위에 놓이는 하나 이상의 얼굴 특징을 강조하거나 강조하기 위해 하이라이트 트레이스(들)(525)을 포함하는 하이라이트 레이어(들)가 정의된다. 동작(507)에서, 하이라이트 레이어, 제1 레이어 및 제2 레이어 위에 놓이는 아이섀도 트레이스(530) 및 눈 밑 트레이스(531)을 포함하는 아이 레이어(eye layer)(들)가 정의된다.

이러한 방식으로, 증강 현실 화장품 디자인 필터(510)는 사용자 장치(190)에 표시되는 동안 레이어를 동적으로 추가하거나 제거할 수 있다. 마찬가지로, 클라이언트 컴퓨팅 장치(130)는 하나 이상의 트레이스(115)를 다수의 레이어 각각과 연관시킬 수 있다. 예시적인 프로세스(500)에 설명된 바와 같이 레이어를 정의하는 것은 레이어간 블렌딩 규칙이 정의되는 것을 허용한다. 예를 들어, 고차순(higher-order) 레이어는 저차순(lower-order) 레이어를 덮을 수 있다. 고차순 레이어는 저차순 레이어를 완전히 덮을 수 있다. 예를 들어 마스크 데이터(410)의 알파 채널을 통해 정의된 투명도 또는 부분 투명도는 다중 레이어가 이미지(337)에 오버레이되어 다중 레이어로부터 동일 위치에 있는 기여(contributions)를 포함하는 넷 미적 효과(net aesthetic effect)를 생성하도록 허용할 수 있다.

도 6은 다양한 실시예에 따라 표면 톤 및 배합 톤을 사용하여 배합 색상을 결정하기 위한 예시적인 프로세스(600)를 도시하는 개략도이다.

도 2를 참조하여 더욱 상세히 기술된 바와 같이, 화장품 제제(220)의 도포(215)를 검출하는 단계는 색상 또는 화장품 제제(220)를 결정하는 단계 및/또는 화장품 제제(220)를 식별하는 단계를 포함할 수 있다. 색상을 결정하기 위한 기법이 카메라(140)에 의해 생성된 이미지에 기초한 이미지 처리 작업을 포함하는 경우, 다양한 화장품 제제(220)의 색상은 도포(215)를 위한 근접한 생물학적 표면(180)의 색조에 의해 영향을 받을 수 있다. 이러한 방식으로, 이미지 픽셀 값을 직접 판독하면 필터(325)에 사용될 때 부정확한 색상 렌더링이 발생할 수 있다.

동작(601)에서, 컴퓨터 시스템은 도포(215)에 상응하는 다수의 영역(610)을 측정하고 영역(610) 각각에 대한 생물학적 표면(180)의 표면 톤(615)을 추정한다. 일부 실시예에서, 예시적인 프로세스(600)의 동작은 예시적인 프로세스(200)와 병행하여 실행되지만, 기준선 표현(210), 트레이스(115) 생성 중에 기록된 이미지, 또는 예시 프로세스(200)를 시작하기 전에 생성된 이미지 보정 세트를 사용하여 다른 시간에 실행될 수도 있다. 표면 톤(615)은 예를 들어 얼굴 특징이 그림자를 드리우거나 표면이 하나 이상의 윤곽을 정의하는 영역(610) 사이에서 국부적으로 다를 수 있다는 것이 고려된다. 이를 위해, 동작(601)은 단일 도포(215)에 대한 다중 표면 톤(610)을 정의하는 것을 포함할 수 있다.

동작(603)에서, 컴퓨터 시스템은 도포(215)를 포함하는 이미지의 영역(610)을 측정하고 화장품 제제(220)의 하나 이상의 로컬 제제 톤(625)을 추정한다. 표면 톤(615) 및 제제 톤(625)을 추정하는 것은 영역(610) 각각에서 하나 이상의 픽셀을 샘플링하고 영역(610) 각각의 평균 착색을 결정하는 것을 포함할 수 있다. 제제 톤(625)은 기본 표면 톤(615)에 의해 영향을 받을 것이며, 따라서 표면 톤(615)이 피부 톤에 민감한 방식으로 제제 톤을 추정하기 위한 참조 기준선 값의 역할을 할 수 있다는 것이 이해된다. 유리하게는, 이러한 방식으로 표면 톤(615)을 추정하는 것을 포함하는 컴퓨터 이미지 처리 접근법을 구현하면 화장품 디자인(110)이 정적인 증강 현실 마스크를 제시하는 대신 사용자의 피부 톤에 반응할 수 있게 된다.

동작(605)에서, 컴퓨터 시스템은 표면 톤(615) 및 제제 톤(625)을 사용하여 화장품 제제의 색상(630)을 결정한다. 표면 톤(615) 및 제제 톤(625)과 대조적으로, 각각의 화장품 제제(220)는 균일하게 분산되거나 분포된 하나 이상의 색소를 포함하여, 가시광선의 확산 반사를 통해 단일 가시 색상을 표현하도록 하는 것이 고려된다. 이를 위해, 제제 색상(630)은 RGB 트라이어드(triad) 또는 다른 색상 표현 접근법과 같은 색상 구성요소의 벡터이거나 이를 포함할 수 있다.

동작(605)의 일부로서, 상응하는 표면 톤(615)과 제제 톤(625)이 비교될 수 있고, 제제 톤(625)에 대한 표면 톤(615)의 전체적인 효과는 화장품 제제(220)의 색상(630)을 결정하는 것의 일부로서 설명될 수 있다. 일 실시예에서, 서로 다른 영역(610)이 차등적으로 조명되는 경우, 예를 들어 표면 톤(615)을 사용하여 제제 톤(625)의 휘도 변화를 보정함으로써 표면 톤(615)과 제제 톤(625)을 비교하여, 색상 렌더링에 대한 조명의 효과를 제어할 수 있다.

제제 색상(630)을 결정하는 것은 다양한 생물학적 표면, 다양한 주변 조건 및 다양한 제제에 대한 화장품 디자인(110)의 미적 효과의 재현성을 향상시킬 수 있다는 것이 이해된다. 도 2를 참조하여 더욱 자세히 설명한 바와 같이, 제제 색상(630)은 크리에이터와 사용자 사이의 피부 톤 차이를 설명하기 위해 수정될 수 있다. 유사하게, 제제 색상(630)은 주변 조건에 기초하여 사실적인 색상 충실도를 향상시키기 위해 수정될 수 있다. 예를 들어, 밝은 조건에서는 색상 강도를 높일 수 있고, 어두운 조건에서는 색상 강도를 줄일 수 있다. 어떤 경우에는 빛과 모양을 고려하여 색조(tinting)가 동적으로 수정될 수 있다. 예를 들어, 예시적인 프로세스(300)의 일부로서, 제제 색상(630)은 상응하는 트레이스(115)가 음영에 있다는 것을 반영하기 위해 더 큰 블루 컴포넌트(blue component)를 포함하도록 수정될 수 있다. 반대로, 상응하는 트레이스(115)가 더 밝은 조명으로 이동하면 블루 컴포넌트 가 감소할 수 있다.

앞서 설명된 바와 같이, 트레이스(115) 및 필터(325)를 생성, 수정 및/또는 표시하기 위한 동작은 컴퓨터 회로, 통신 모듈 및 메모리에 저장된 컴퓨터 판독가능 명령을 포함하는 하나 이상의 전자 장치에 의해 실행되는 것으로 고려된다. 도 1의 예시적인 시스템(100)의 구성 요소들의 조화로운 동작을 통해, 증강 현실 필터가 생성되어 소셜 미디어 플랫폼에 통합된 사용자 장치(190)의 사용자에게 거의 실시간으로 제시될 수 있다. 증강현실 필터는 얼굴형, 피부톤, 주변 조건 등의 차이를 고려하여 화장품 디자인의 미적 효과를 사실적으로 재현할 수 있으며, 증강 현실이나 기존 소셜 미디어를 통해 현재 가능한 것 이상으로 화장품 루틴 시퀀스의 공유를 개선하기 위해 동적으로 제시될 수 있다.

도 7은 다양한 실시예에 따라 도 1의 시스템의 컴포넌트를 포함하는 예시적인 시스템(700)을 도시하는 블록도이다. 예시적인 시스템(700)은 원격 컴퓨터 시스템(160)과 전자 통신하는 (예를 들어, 네트워크(170)를 통해) 클라이언트 컴퓨팅 장치(130)를 포함한다. 예시적인 시스템(700)은 연관된 시스템 요소의 맥락에서 도 1의 시스템(100)의 예시를 도시하고, 따라서 도 2-6을 참조하여 설명된 바와 같이 전자 장치 및 소프트웨어 실행 동작을 설명한다. 도 7은 시스템 요소, 특징 및 구성의 비제한적인 예시를 도시한다; 다른 많은 특징 및 구성이 고려된다. 도 7에 도시된 예시에서, 도 1의 클라이언트 컴퓨팅 장치(130)는 컴퓨터 시스템(710), 생물학적 표면(180)과 상호작용하기 위한 다수의 컴포넌트(720), 컴퓨터 판독 가능 매체(730) 및 클라이언트 어플리케이션(740)을 포함하고, 이는 컴퓨터 판독 가능 매체(730)에 컴퓨터 실행 가능 명령으로 저장될 수 있고, 컴퓨터 시스템(710)에 의해 실행될 때, 도 1의 시스템(100)을 참조하여 설명된 동작과 도 2-3의 예시적인 기법의 동작을 구현할 수 있다.

클라이언트 컴퓨팅 장치(130)는 전원(711), 휴먼-머신 인터페이스(713), 하나 이상의 프로세서(715), 네트워크 인터페이스(717)를 포함하지만 이에 제한되지 않는 하위 컴포넌트를 통합하고, 컴퓨터 판독가능 매체(730)를 포함할 수 있다. 전원(711)은 직류 전원, 예를 들어 재충전 가능한 배터리 또는 라인 전원(예를 들어, 110VAC, 220VAC 등)에 연결되도록 구성된 정류 전원 공급 장치이다. HMI(Human-Machine Interface)(713)는 오디오 출력을 위한 스피커, 오디오 명령을 수신하기 위한 마이크, 푸시 버튼 스위치, 토글 스위치, 용량성 스위치, 로터리 스위치, 슬라이드 스위치, 로커 스위치 또는 터치 스크린과 같이 사용자 입력을 수신하거나 사용자에게 표시하기 위한 출력을 생성할 수 있는 모든 유형의 장치를 포함할 수 있다.

하나 이상의 프로세서(715)는 컴퓨터 판독가능 매체(730)에 저장된 컴퓨터 실행 가능 명령을 실행하도록 구성된다. 실시예에서, 프로세서(들)(715)는 예를 들어 클라이언트 어플리케이션(740) 실행의 일부로서 통신 버스 또는 다른 회로를 통해 컴포넌트(720)로 및/또는 컴포넌트(720)로부터 신호를 수신하고 전송하도록 구성된다. 네트워크 인터페이스(717)는 프로세서(715)를 대신하여 클라이언트 컴퓨팅 장치(130)(또는 다른 컴퓨팅 장치)와 신호를 송수신하도록 구성된다. 네트워크 인터페이스(717)는 블루투스, 적외선, 근거리 통신 및 Wi-Fi와 같은 단거리 무선 기술; WiMAX, 2G, 3G, 4G, LTE 및 10G와 같은 장거리 무선 기술; USB, FireWire, Thunderbolt 및/또는 이더넷과 같은 유선 기술을 포함하지만 이에 제한되지 않는 임의의 적합한 통신 기술을 구현할 수 있다. 컴퓨터 판독가능 매체(730)는 플래시 메모리(SSD), ROM, EPROM, EEPROM 및 FPGA 등 컴퓨터에서 실행 가능한 명령이 저장될 수 있는 모든 종류의 컴퓨터 판독가능 매체를 의미한다. 컴퓨터 판독가능 매체(730) 및 프로세서(들)(715)는 ASIC과 같은 단일 장치로 결합될 수 있거나, 컴퓨터 판독 가능 매체(730)는 캐시 메모리, 레지스터 또는 프로세서(715)의 다른 컴포넌트를 포함할 수 있다.

도시된 실시예에서, 컴퓨터 판독가능 매체(730)는 하나 이상의 프로세서(715)에 의한 실행에 응답하여 클라이언트 컴퓨팅 장치(130)가 컨트롤 엔진(731)을 구현하게 하는 컴퓨터 실행 가능 명령을 저장한다. 컨트롤 엔진(731)은 전술한 바와 같이 클라이언트 컴퓨팅 장치(130)의 하나 이상의 측면을 제어한다. 일부 실시예에서, 컴퓨터 실행 가능 명령은 클라이언트 컴퓨팅 장치(130)가 대상 표면의 표면 매핑을 생성하거나, 트레이스를 생성하거나, 서버(들)(160)에 트레이스를 출력하는 것과 같은 하나 이상의 동작을 수행하게 하도록 구성된다. 일부 실시예에서, 컨트롤 엔진(731)은 클라이언트 어플리케이션(740)에 따라 컴퓨터 시스템(710)과 컴포넌트(720) 사이의 상호 작용을 촉진함으로써 기본 기능을 제어한다. 일부 실시예에서, 컨트롤 엔진(731)은 화장품 루틴이 시작되어야 함을 나타내는 HMI(713)로부터의 입력을 검출하거나(예를 들어, 전원 스위치 또는 "시작" 버튼의 활성화 또는 도 1의 카메라(140) 앞의 얼굴 감지에 응답하여), 또는 클라이언트 컴퓨팅 장치(들)(130), 원격 컴퓨터 시스템(160) 또는 사용자 장치(들)(190)로부터 신호를 수신한다(예를 들어, Bluetooth 페어링 연결을 통해).

클라이언트 컴퓨팅 장치(130)의 컴포넌트는 어플리케이션에 맞게 조정될 수 있거나 어플리케이션(예를 들어, ASIC)에 특정될 수 있다. 예를 들어, 컴포넌트(720)는 도 1을 참조하여 더욱 자세히 설명된 바와 같이, 하나 이상의 카메라(721), 디스플레이(723), 하나 이상의 복사 소스(725), 및/또는 하나 이상의 복사 센서(727)를 포함할 수 있다. 일부 실시예에서, 컴포넌트(720)는 단일 장치에 통합된다. 이러한 방식으로, 클라이언트 컴퓨팅 장치(130)는 컴포넌트(720)와 협력하여 클라이언트 어플리케이션(740)을 실행하도록 구성된 특수 컴퓨팅 장치일 수 있다. 일부 실시예에서, 클라이언트 컴퓨팅 장치(130)는 클라이언트 어플리케이션(740)을 저장하는 태블릿 또는 스마트폰과 같은 범용 모바일 전자 장치이다.

일부 실시예에서, 클라이언트 어플리케이션(740)은 또한 입체 이미지, LiDAR 데이터 또는 다른 형태의 표면/깊이 감지 정보를 포함하지만 이에 제한되지 않는 컴포넌트(720) 중 하나 이상으로부터 획득한 디지털 이미지(예를 들어, 컬러 이미지, 적외선 이미지, 깊이 이미지 등)를 캡처하고 처리하도록 구성된 이미지 캡처/3D 스캐닝 엔진(741)을 포함한다. 일부 실시예에서, 이러한 데이터는 목표 신체 표면(예를 들어, 도 1의 목표 표면(181))의 깨끗하고 정확한 3D 윤곽 매핑을 얻는 데 사용된다. 일부 실시예에서, 디지털 이미지 또는 스캔은 클라이언트 컴퓨팅 장치(130)에 의해 처리되고 또는/추가로 3D 모델 엔진(781)에서의 처리를 위해 원격 컴퓨터 시스템(160)으로 전송된다. 일 실시예에서, 캡처된 이미지 데이터는 목표 신체 표면의 특징, 키 포인트 또는 에지의 위치를 결정하기 위해 위치 트래킹 엔진(743)에서 사용된다. 일부 실시예에서, 위치 트래킹 엔진(743)은 예를 들어 v-SLAM 기법을 구현함으로써 3D 공간에서 목표 신체 표면의 윤곽을 트래킹한다. 일부 실시예에서, 위치 추적 엔진(743)으로부터의 위치 정보는 컨트롤 엔진(731)으로 전송될 신호를 생성하는 데 사용되고, 이는 본 명세서에 설명된 기술에 따라, 예를 들어 소스(725) 또는 HMI(713)를 포함하는 컴퓨터 시스템(710)의 하나 이상의 컴포넌트(720) 또는 요소를 제어하는 데 사용된다.

일부 실시예에서, 본 명세서에 설명된 디지털 3D 모델은 클라이언트 컴퓨팅 장치(130)에서 획득된 센서 데이터에 기초하여 생성된다. 이와 같이, 디지털 3D 모델은 클라이언트 컴퓨팅 장치(130) 또는 클라우드 컴퓨팅 시스템과 같은 일부 다른 컴퓨팅 장치 또는 이들의 조합에 의해 생성된다. 일부 실시예에서, 디지털 3D 모델은, 도 1-6을 참조하여 더욱 자세히 설명된 바와 같이 얼굴 구조 및 피부 특징과 같은 신체 표면의 정확한 표현을 재현하는 데 사용될 수 있는 3D 토폴로지 및 텍스처 정보를 포함한다.

일부 실시예에서, 클라이언트 어플리케이션(740)은 사용자 인터페이스(745)를 포함한다. 일 실시예에서, 사용자 인터페이스(745)는 사용자가 화장품 디자인, 튜토리얼 비디오 또는 애니메이션을 선택하는 것을 돕기 위해 디스플레이를 통해 제시되는 그래픽 가이드 또는 프롬프트를 포함하지만 이에 제한되지 않는 인터랙티브(interactive) 기능을 포함한다. 일부 실시예에서, 사용자 인터페이스(745)는 매핑 및 프로젝션 엔진에 의해 사용되기 위해 충분한 데이터가 수집되는 것을 보장하기 위해 특정 조명 조건, 각도 등에서 사용자를 안내하기 위한 지침(예를 들어, 화살표 또는 대상과 같은 시각적 안내, 진행률 표시기, 오디오/촉각 피드백, 합성 음성 등)을 제공한다.

클라이언트 어플리케이션(740)은 매핑 모듈(747)을 포함할 수 있다. 매핑 모듈(747)은 화장품 디자인의 수치 표현을 증강 현실 화장품 디자인 필터로 변환하기 위한 컴퓨터 판독가능 명령(예를 들어, 소프트웨어, 드라이버 등)이거나 이를 포함할 수 있다. 매핑 모듈(747)의 동작의 일부로서, 클라이언트 어플리케이션(740)은 카메라(들)(721) 및 센서(727)로부터 실시간 데이터를 수신할 수 있고, 이는 3D 스캐닝 엔진(741), 위치 트래킹 엔진(743)에 의해 처리될 수 있으며, 대상 신체 표면에 일련의 도포를 진행하는 동안 발전되는 매핑과 화장품 디자인을 점진적으로 업데이트하는 데 사용할 수 있다. 이러한 방식으로, 매핑 모듈(747)은 목표 신체 표면의 모션에 응답할 수 있고, 그에 따라 화장품 디자인 필터에 대한 충실도를 잃지 않고 사용자 측의 모션에 대한 클라이언트 컴퓨팅 장치(130)의 허용치를 증가시킬 수 있다. 일부 실시예에서, 이러한 실시간 스캐닝/트래킹을 위한 계산 리소스 수요는 병렬화 또는 배포 루틴을 통해 원격 컴퓨터 시스템(160)과 같은 여러 장치에 분산될 수 있다.

클라이언트 어플리케이션(740)의 통신 모듈(749)은 전송을 위한 정보를 준비하거나, 도 1을 참조하여 더욱 자세히 설명된 바와 같은 원격 컴퓨터 시스템(160) 또는 사용자 장치(들)(190)과 같은 다른 장치 또는 시스템으로부터 정보를 수신 및 해석하는 데 사용될 수 있다. 이러한 정보에는 캡처된 디지털 이미지, 스캔 또는 비디오, 개인 관리 장치 설정, 맞춤형 관리 루틴, 사용자 기본 설정, 사용자 식별자, 장치 식별자 등이 포함될 수 있다. 일 실시예에서, 클라이언트 컴퓨팅 장치(130)는 관리 루틴의 실행을 설명하는 데이터, 신체 표면의 이미지 데이터, 또는 기타 데이터를 수집한다. 일 실시예에서, 이러한 데이터는 추가 처리 또는 저장을 위해 네트워크 인터페이스(717)를 통해 원격 컴퓨터 시스템(160)으로 전송된다(예를 들어, 제품 데이터 저장부(783) 또는 사용자 프로필 데이터 저장부(785)). 클라이언트 컴퓨팅 장치(130)는 원격 컴퓨터 시스템(160) 또는 사용자 장치(들)(190)과 같은 시스템(700)의 다른 컴포넌트와 상호 작용하기 위해 소비자, 개인 관리 전문가 또는 일부 다른 개체에 의해 사용될 수 있다. 일 실시예에서, 클라이언트 컴퓨팅 장치(130)는 컴포넌트(720) 및 클라이언트 어플리케이션(740)이 장착되거나 주변 장치와의 전자적 커플링을 통해 컴포넌트가 제공되는 스마트폰 또는 태블릿 컴퓨팅 장치와 같은 모바일 컴퓨팅 장치이다.

원격 컴퓨터 시스템(160)의 예시적인 컴포넌트 및 기능이 이제 설명될 것이다. 원격 컴퓨터 시스템(160)은 예시된 컴포넌트 중 하나 이상, 예를 들어 클라우드 컴퓨팅 배열로 구현하는 하나 이상의 서버 컴퓨터를 포함한다. 원격 컴퓨터 시스템(160)은 프로젝션 엔진(787), 3D 모델 엔진(781), 제품 데이터 저장부(783) 및 사용자 프로필 데이터 저장부(785)를 포함한다. 일 실시예에서, 3D 모델 엔진(781)은 이미지 데이터(예를 들어, 컬러 이미지 데이터, 적외선 이미지 데이터) 및 깊이 데이터를 사용하여 목표 신체 표면의 3D 모델을 생성한다. 이미지 데이터는 클라이언트 컴퓨팅 장치(130)로부터, 예를 들어 클라이언트 컴퓨팅 장치(130)와 통합되거나 전자적으로 커플링된 카메라(들)(721) 또는 센서(들)(727)로부터 획득된다. 일 실시예에서, 사용자와 관련된 이미지 데이터 및 깊이 데이터는 사용자 프로필 데이터 저장부(785)에 저장된다. 일 실시예에서, 사용자에게 사적이거나 사용자를 식별하는 데 사용될 수 있는 임의의 정보를 저장하기 전에 사용자 동의를 얻는다.

일 실시예에서, 매핑/프로젝션 엔진(787)은 이미지/센서 데이터를 사용하여 목표 표면의 매핑을 생성하고 또는/추가로 증강 현실 필터로서 화장품 루틴의 프로젝션을 생성하는 등 화장품 루틴과 관련된 데이터 처리를 수행하고, 이는 이후 사용자 장치(들)(190)로 전송될 수 있다. 일부 실시예에서, 프로젝션 엔진(787)은 사용자 프로필 데이터 저장부(785), 제품 데이터 저장부(783), 3D 모델 엔진(781), 또는 일부 다른 소스 또는 소스의 조합으로부터의 사용자 정보를 사용하여 화장품 디자인 데이터를 생성한다.

3D 모델 엔진(781)은 기계 학습 또는 인공 지능 기술(예를 들어, 템플릿 매칭, 특징 추출 및 매칭, 분류, 인공 신경망, 딥 러닝 아키텍처, 유전 알고리즘 등)을 사용할 수 있다. 예를 들어, 3D 모델 엔진(781)은 얼굴의 표면 매핑에 따른 화장품 디자인을 생성하기 위해, 3D 모델 엔진(781)에서 생성된 얼굴 매핑을 분석하여 대상 신체 표면의 얼굴의 윤곽선, 주름, 피부 텍스처 등을 측정 또는 매핑할 수 있다. 3D 모델 엔진(781)은 사용자 장치(들)(190)을 통해 사용자가 제공한 식별자 코드에 기초하여 화장품 디자인을 설명하는 데이터를 수신할 수 있다. 이러한 시나리오에서, 3D 모델 엔진(781)은 이러한 정보를 사용하여 증강 현실 화장품 디자인 필터를 사용하여 사용자의 해당 신체 표면의 이미지에 화장품 디자인(예를 들어, 도 1의 화장품 디자인(110))의 투영을 생성할 수 있다.

도 7에 도시된 장치들은 네트워크(170)를 통해 서로 통신할 수 있으며, 여기에는 DSL, 이더넷, 광섬유, USB, Firewire, Thunderbolt; WiFi, WiMAX, 3G, 4G, LTE, 5G, 10G 및 Bluetooth와 같은 무선 기술; 및 전용 네트워크(예를 들어, 인트라넷) 또는 공용 네트워크(예를 들어, 인터넷)와 같은 유선 기술을 포함하되 이에 제한되지 않는 적절한 통신 기술이 포함될 수 있다. 일반적으로, 도 7의 컴퓨팅 장치 또는 컴포넌트, 또는 설명된 실시예에 따라 사용되는 다른 컴포넌트 또는 컴퓨팅 장치 사이의 통신은 직접적으로 또는 중간 컴포넌트 또는 장치를 통해 발생한다.

도 1 및 도 7을 참조하여 개시되고 설명된 배치에 대한 대안이 가능하다. 예를 들어, 다수의 컴포넌트에서 구현되는 것으로 설명된 기능은 대신 단일 컴포넌트로 통합될 수 있거나, 또는 단일 컴포넌트에서 구현되는 것으로 설명된 기능은 다수의 도시된 컴포넌트, 또는 도 1 또는 도 7에 도시되지 않은 다른 컴포넌트에서 구현될 수 있다. 다른 예시로서, 특정 컴포넌트를 포함하는 것으로 도시된 도 1 및 도 7의 장치는 설명된 실시예의 범위를 벗어나지 않고 더 많은 컴포넌트, 더 적은 컴포넌트, 또는 다른 컴포넌트를 대신 포함할 수 있다. 다른 예시로서, 특정 장치 또는 하위 컴포넌트에 의해 수행되는 것으로 설명된 기능은 대신 시스템 내의 하나 이상의 다른 장치에 의해 수행될 수 있다. 예시로서, 3D 모델 엔진(714)은 클라이언트 컴퓨팅 장치(130) 또는 일부 다른 장치 또는 장치들의 조합에서 구현될 수 있다.

본 명세서의 다른 부분에서 설명된 실시예의 기술적 이점 외에도, 일부 실시예에서는 수많은 다른 기술적 이점이 달성된다. 예를 들어, 시스템(700)은 프로세스의 일부 측면이 개인 관리 장치 또는 클라이언트 컴퓨팅 장치에 의해 독립적으로 수행되도록 허용하는 반면, 다른 처리 부담은 원격 컴퓨터 시스템(160)(상대적으로 고성능이고 신뢰할 수 있는 컴퓨팅 시스템일 수 있음)으로 이동시키고, 따라서 개인 관리 장치 또는 클라이언트 컴퓨팅 장치가 제공하는 기능에 대한 성능을 향상하고 배터리 수명을 보존한다.

일반적으로, 본 명세서에 사용된 "엔진"이라는 단어는 C, C++, COBOL, JAVA™, PHP, Perl, HTML, CSS, JavaScript, VBScript , ASPX, Microsoft .NET™와 같은 프로그래밍 언어로 작성된 하드웨어 또는 소프트웨어 명령으로 구현된 논리를 의미한다. 엔진은 실행 가능한 프로그램으로 컴파일되거나 해석된 프로그래밍 언어로 작성될 수 있다. 소프트웨어 엔진은 다른 엔진이나 자체에서 호출할 수 있다. 일반적으로 여기에 설명된 엔진은 다른 엔진과 병합되거나 하위 엔진으로 분할될 수 있는 논리 모듈을 의미한다. 엔진은 모든 유형의 컴퓨터 판독가능 매체 또는 컴퓨터 저장 장치에 저장될 수 있으며 하나 이상의 범용 컴퓨터에 저장되고 실행될 수 있으므로, 엔진 또는 그 기능을 제공하도록 구성된 특수 목적 컴퓨터가 생성된다.

당업자가 이해하는 바와 같이, 본 명세서에 설명된 "데이터 저장부"는 컴퓨팅 장치에 의한 액세스를 위해 데이터를 저장하도록 구성된 임의의 적합한 장치일 수 있다. 데이터 저장부의 한 가지 예시로는 하나 이상의 컴퓨팅 장치에서 실행되고 고속 네트워크를 통해 액세스할 수 있는 매우 안정적인 고속 관계형 DBMS(Database Management System)이 있다. 데이터 저장부의 또 다른 예시는 키-값 저장부이다. 그러나 질의에 응답하여 저장된 데이터를 신속하고 안정적으로 제공할 수 있는 임의의 다른 적절한 저장 기술 및/또는 장치가 사용될 수 있으며, 컴퓨팅 장치는 네트워크를 통하지 않고 로컬로 액세스할 수 있거나 클라우드기반 서비스로 제공될 수 있다. 데이터 저장부는 또한 아래에 추가로 설명되는 바와 같이 컴퓨터 판독가능 저장 매체에 조직화된 방식으로 저장된 데이터를 포함할 수 있다. 당업자는 본 개시의 범위를 벗어나지 않으면서, 본 명세서에 설명된 개별 데이터 저장부가 단일 데이터 저장부로 결합될 수 있고, 또는/추가로 본 명세서에 설명된 단일 데이터 저장부가 다수의 데이터 저장부로 분리될 수 있다는 것을 인식할 것이다. .

도 8은 다양한 실시예에 따른 예시적인 컴퓨팅 장치(800)의 측면을 도시하는 블록도이다. 다양한 실시예를 참조하여 다수의 서로 다른 유형의 컴퓨팅 장치가 설명되어 있지만, 예시적인 컴퓨팅 장치(800)는 많은 서로 다른 유형의 컴퓨팅 장치에 공통적인 다양한 요소를 설명한다. 도 8은 네트워크 상의 장치로 구현되는 컴퓨팅 장치를 기준으로 설명하고 있으나, 이하의 설명은 서버, 개인용 컴퓨터, 휴대폰, 스마트폰, 태블릿 컴퓨터, 임베디드 컴퓨팅 장치 및 본 개시의 실시예의 일부를 구현하는 데 사용될 수 있는 기타 장치에 적용 가능하다. 더욱이, 당업자 및 기타 당업자는 컴퓨팅 장치(800)가 현재 이용 가능하거나 아직 개발될 장치 중 어느 하나일 수 있다는 것을 인식할 것이다.

가장 기본적인 구성에서, 예시적인 컴퓨팅 장치(800)는 통신 버스(806)에 의해 연결된 적어도 하나의 프로세서(802) 및 시스템 메모리(804)를 포함한다. 정확한 구성 및 장치 유형에 따라 시스템 메모리(804)는 읽기 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), EEPROM, 플래시 메모리 또는 유사한 메모리 기술과 같은 휘발성 또는 비휘발성 메모리일 수 있다. 당업자 및 기타 당업자는 시스템 메모리(804)가 일반적으로 프로세서(802)에 즉시 액세스 가능하고 또는/추가로 프로세서(802)에 의해 현재 동작 중인 데이터 및/또는 프로그램 모듈을 저장한다는 것을 인식할 것이다. 이와 관련하여, 프로세서(802)는 명령 실행을 지원함으로써 컴퓨팅 장치(800)의 계산 센터 역할을 할 수 있다.

도 8에 추가로 도시된 바와 같이, 컴퓨팅 장치(800)는 네트워크를 통해 다른 장치와 통신하기 위한 하나 이상의 컴포넌트를 포함하는 네트워크 인터페이스(810)를 포함할 수 있다. 본 개시의 실시예는 공통 네트워크 프로토콜을 사용하여 통신을 수행하기 위해 네트워크 인터페이스(810)를 활용하는 기본 서비스에 액세스할 수 있다. 네트워크 인터페이스(810)는 또한 WiFi, 2G, 3G, LTE, WiMAX, 블루투스, 블루투스 저에너지 등과 같은 하나 이상의 무선 통신 프로토콜을 통해 통신하도록 구성된 무선 네트워크 인터페이스를 포함할 수 있다. 당업자가 인식할 수 있는 바와 같이, 도 8에 도시된 네트워크 인터페이스(810)는 도 1의 시스템(100)의 특정 컴포넌트에 대해 위에 설명되고 예시된 하나 이상의 무선 인터페이스 또는 물리적 통신 인터페이스를 나타낼 수 있다.

도 8에 도시된 예시적인 실시예에서, 컴퓨팅 장치(800)는 저장 매체(808)도 포함한다. 그러나 로컬 저장 매체에 데이터를 유지하는 수단이 포함되지 않은 컴퓨팅 장치를 사용하여 서비스에 액세스할 수 있다. 따라서, 도 8에 도시된 저장 매체(808)는 저장 매체(808)가 선택적임을 나타내기 위해 점선으로 표시된다. 어떤 경우에도, 저장 매체(808)는 휘발성이거나 비휘발성일 수 있고, 제거 가능하거나 제거 불가능할 수 있으며, 하드 디스크 드라이브, 솔리드 스테이트 드라이브, CD ROM, DVD 또는 기타 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 등을 포함하지만 이에 제한되지 않는 정보를 저장할 수 있는 모든 기술을 사용하여 구현될 수 있다.

본 명세서에 사용된 용어 "컴퓨터 판독가능 매체"에는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장할 수 있는 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성 매체와 제거 가능 및 비분리 가능 매체가 포함된다. 이와 관련하여, 도 8에 도시된 시스템 메모리(804) 및 저장 매체(808)는 단지 컴퓨터 판독가능 매체의 예시일 뿐이다.

프로세서(802), 시스템 메모리(804), 통신 버스(806), 저장 매체(808) 및 네트워크 인터페이스(810)를 포함하는 컴퓨팅 장치의 적절한 구현이 알려져 있으며 상업적으로 이용 가능하다. 예시를 용이하게 하고 청구된 주제를 이해하는 데 중요하지 않기 때문에, 도 8은 많은 컴퓨팅 장치의 전형적인 구성요소 중 일부를 도시하지 않는다. 이와 관련하여, 예시적인 컴퓨팅 장치(800)는 키보드, 키패드, 마우스, 마이크, 터치 입력 장치, 터치 스크린 등과 같은 입력 장치를 포함할 수 있다. 이러한 입력 장치는 RF, 적외선, 직렬, 병렬, Bluetooth, Bluetooth 저에너지, USB, 또는 무선 또는 물리적 연결을 사용하는 기타 적절한 연결 프로토콜을 포함하는 유선 또는 무선 연결에 의해 예시적인 컴퓨팅 장치(800)에 연결될 수 있다. 마찬가지로, 예시적인 컴퓨팅 장치(800)는 디스플레이, 스피커, 프린터 등과 같은 출력 장치도 포함할 수 있다. 이들 장치는 당업계에 잘 알려져 있으므로, 본 명세서에서는 더 이상 예시되거나 설명되지 않는다.

예시적인 실시예가 도시되고 설명되었지만, 본 발명의 정신과 범위를 벗어나지 않고 다양한 변경이 이루어질 수 있다는 것이 이해될 것이다. 본 명세서에 설명된 방법 및 시스템은 특정 방법, 특정 컴포넌트 또는 특정 구현에 제한되지 않는다는 것이 이해되어야 한다. 또한, 본 명세서에 사용된 용어는 실시예를 설명하기 위한 것일 뿐 제한하려는 의도가 아니라는 점을 이해해야 한다.

명세서 및 첨부된 청구범위에 사용된 바와 같이, 단수형 "하나(a)", "하나(an)" 및 "상기(the)"는 문맥에서 달리 명시하지 않는 한 복수형을 포함한다. 범위는 본 명세서에서 하나의 특정 값 "대략(about)"으로부터 및/또는 또 다른 특정 값 "대략(about)까지 표현될 수 있다. 이러한 범위가 표현되는 경우, 다른 실시예는 하나의 특정 값으로부터 및/또는 다른 특정 값까지를 포함한다. 유사하게, 선행사 "약(about)"을 사용하여 값이 근사치로서 표현되는 경우, 특정 값이 또 다른 실시양태를 형성한다는 것이 이해될 것이다. 각 범위의 끝점(endpoint)은 다른 끝점과 관련하여 그리고 다른 끝점과 독립적으로 중요하다는 것이 추가로 이해될 것이다.

"선택적(optional)" 또는 "선택적으로(optionally)"는 이후 설명되는 이벤트 또는 상황이 발생할 수도 있고 발생하지 않을 수도 있음을 의미하며, 설명에는 해당 이벤트 또는 상황이 발생하는 경우와 발생하지 않는 경우가 포함된다.

본 명세서의 설명 및 청구범위 전반에 걸쳐, "포함하다(comprise)"라는 단어 및 "포함하는(comprising)" 및 "포함한다(comprises)"와 같은 단어의 변형은 "포함하지만 이에 제한되지 않는다"는 의미이며, 예를 들어 다른 컴포넌트, 정수 또는 단계를 배제하려는 의도는 아니다. "예시적인(exemplary)"은 "~의 예(an example of)"를 의미하며, 바람직하거나 이상적인 실시예의 표시를 전달하려는 의도는 아니다. "예시(such as)"는 제한적인 의미가 아니라 설명의 목적으로 사용된다.

배타적 재산 또는 특권이 청구되는 발명의 실시예들은 다음과 같이 정의된다:

Claims (15)

1. 컴퓨팅 회로에 의해 실행될 때, 상기 컴퓨팅 회로가 증강 현실 화장품 디자인 필터를 생성하기 위한 동작들을 수행하도록 하는 컴퓨터 판독가능 명령들을 저장하는 하나 이상의 비일시적 컴퓨터 메모리 장치에 있어서, 상기 동작들은:
   하나 이상의 복사 센서들(radiation sensors)을 사용하여 생물학적 표면의 기준선 표현(baseline description)을 정의하는 단계 -상기 복사 센서들은 상기 컴퓨팅 회로와 전자적으로 커플링 되고, 상기 기준선 표현은 표면 매핑 및 색상 정보를 모두 포함하는 상기 생물학적 표면의 수치 표현들을 포함함-;
   하나 이상의 상기 복사 센서들을 사용하여 상기 생물학적 표면에 대한 화장품 제제의 도포(application)를 식별하는 단계 -상기 도포는 어플리케이터의 모션 또는 상기 생물학적 표면에 배치된 화장품 제제의 수정을 포함함-;
   상기 기준선 표현을 참조하여 상기 도포를 묘사하는(describing) 트레이스(trace)을 생성하는 단계 -상기 트레이스는 도포되거나 수정될 상기 화장품 제제의 범위(extent), 착색, 레이어 순서 또는 반사율을 포함함-; 및
   상기 트레이스를 출력하는 단계 -상기 증강 현실 화장품 디자인 필터는 뷰어에게 화장품 루틴을 안내하기 위해 증강 현실 인터페이스를 통해 보여짐-
   를 포함하는 하나 이상의 비일시적 컴퓨터 메모리 장치.
2. 제1항에 있어서,
   상기 화장품 제제의 도포를 식별하는 단계는,
   상기 복사 센서들 및 상기 기준선 표현 중 하나 이상을 사용하여 상기 화장품 제제의 유형을 검출하는 단계
   를 포함하는 하나 이상의 비일시적 컴퓨터 메모리 장치.
3. 제1항에 있어서,
   상기 트레이스를 생성하는 단계는,
   얼굴 또는 얼굴 특징의 복수의 형상 유형들을 묘사하는 전자 정보를 수신하는 단계;
   상기 기준선 표현을 사용하여 상기 생물학적 표면의 적어도 일부에 상기 형상 유형들 중 제1 형상 유형을 부여하는 단계;
   상기 화장품 제제의 도포에 대한 디지털 데이터의 수치 표현(numerical representation)을 생성하는 단계 -상기 수치 표현은 상기 기준선 표현에 관한 위치 정보를 묘사함-; 및
   상기 수치 표현을 상기 제1 형상 유형으로부터 상기 형상 유형들 중 제2 형상 유형으로 변환하는 단계
   를 포함하는 하나 이상의 비일시적 컴퓨터 메모리 장치.
4. 제3항에 있어서,
   상기 생물학적 표면은 얼굴이고, 상기 제1 형상 유형 및 상기 제2 형상 유형은 얼굴 특징을 묘사하는
   하나 이상의 비일시적 컴퓨터 메모리 장치.
5. 제1항에 있어서,
   상기 생물학적 표면의 기준선 표현을 정의하는 단계는,
   상기 컴퓨팅 회로와 전자적으로 커플링된 복사 소스(radiation source)를 사용하여 상기 생물학적 표면 상에 비가시 전자기 복사(invisible electromagnetic radiation)을 투사하는 단계
   를 포함하는 하나 이상의 비일시적 컴퓨터 메모리 장치.
6. 제1항에 있어서,
   상기 하나 이상의 복사 센서들은 자외선, 가시광선 또는 적외선 스펙트럼 범위, 또는 이들의 조합으로부터 전자기 복사를 검출하도록 구성된 카메라를 포함하는
   하나 이상의 비일시적 컴퓨터 메모리 장치.
7. 제1항에 있어서,
   상기 트레이스를 생성하는 단계는:
   상기 생물학적 표면에 관한 도포의 모션을 트래킹하는 단계; 및
   상기 기준선 표현에 관한 모션의 수치 표현을 생성하는 단계
   를 포함하는 하나 이상의 비일시적 컴퓨터 메모리 장치.
8. 제1항에 있어서,
   상기 명령들은, 상기 컴퓨팅 회로에 의해 실행될 때, 상기 컴퓨팅 회로가:
   상기 화장품 제제를 식별하는 단계; 및
   상기 화장품 제제의 식별 정보를 사용하여 상기 화장품 제제의 색상을 정의하는 단계를 포함하는 추가 동작들을 수행하도록 하는
   하나 이상의 비일시적 컴퓨터 메모리 장치.
9. 제1항에 있어서,
   상기 명령들은, 상기 컴퓨팅 회로에 의해 실행될 때, 상기 컴퓨팅 회로가:
   상기 생물학적 표면의 표면 톤을 추정하는 단계;
   상기 화장품 제제 사용의 제제 톤을 추정하는 단계; 및
   상기 표면 톤 및 상기 제제 톤을 사용하여 상기 화장품 제제의 색상을 결정하는 단계를 포함하는 추가 동작들을 수행하도록 하는
   하나 이상의 비일시적 컴퓨터 메모리 장치.
10. 제1항에 있어서,
    상기 하나 이상의 비일시적 컴퓨터 메모리 장치들은 스마트폰과 전자적으로 커플링되는
    하나 이상의 비일시적 컴퓨터 메모리 장치.
11. 제1항에 있어서,
    상기 트레이스를 출력하는 단계는:
    상기 트레이스를 원격 컴퓨팅 시스템에 대해 통신하는 단계
    를 포함하는 하나 이상의 비일시적 컴퓨터 메모리 장치.
12. 증강 현실 화장품 디자인 필터를 생성하는 방법에 있어서,
    하나 이상의 복사 소스들(radiation sources) 및 하나 이상의 복사 센서들을 사용하여 생물학적 표면의 기준선 표현을 정의하는 단계 -상기 기준선 표현은 표면 매핑 및 색상 정보를 모두 포함하는 상기 생물학적 표면의 수치 표현들을 포함함;
    상기 복사 센서들을 사용하여 상기 생물학적 표면에 대한 화장품 제제의 도포를 식별하는 단계 -상기 도포는 어플리케이터의 모션 또는 상기 생물학적 표면에 배치된 화장품 제제의 수정을 포함함-;
    상기 기준선 표현을 참조하여 상기 도포를 묘사하는 트레이스를 생성하는 단계 -상기 트레이스는 도포되거나 수정될 상기 화장품 제제의 범위(extent), 착색, 레이어 순서 또는 반사율을 포함함-; 및
    상기 트레이스를 출력하는 단계 -상기 증강 현실 화장품 디자인 필터는 뷰어에게 화장품 루틴을 안내하기 위해 증강 현실 인터페이스를 통해 보여짐-
    를 포함하는 방법.
13. 제12항에 있어서,
    상기 트레이스를 생성하는 단계는:
    얼굴 또는 얼굴 특징의 복수의 형상 유형들을 묘사하는 전자 형상 정보를 수신하는 단계;
    상기 형상 정보를 사용하여 상기 생물학적 표면의 적어도 일부에 상기 형상 유형들 중 제1 형상 유형을 부여하는 단계;
    상기 화장품 제제의 도포에 대한 디지털 데이터의 수치 표현을 생성하는 단계 -상기 수치 표현은 상기 기준선 표현에 관한 위치 정보를 묘사함-; 및
    상기 수치 표현을 상기 제1 형상 유형으로부터 상기 형상 유형들 중 제2 형상 유형으로 변환하는 단계
    를 포함하는 방법.
14. 제12항에 있어서,
    상기 화장품 제제의 도포를 식별하는 단계는:
    상기 화장품 제제의 어플리케이터(applicator)를 검출하는 단계;
    상기 생물학적 표면에 관한 상기 화장품 제제의 어플리케이터의 위치를 추정하는 단계;
    상기 생물학적 표면에 관한 어플리케이터의 모션을 추적하는 단계; 및
    상기 기준선 표현에 관한 모션의 수치 표현을 생성하는 단계
    를 포함하는 방법.
15. 제12항에 있어서,
    상기 생물학적 표면의 표면 톤을 추정하는 단계;
    상기 화장품 제제의 제제 톤을 추정하는 단계; 및
    상기 표면 톤 및 상기 제제 톤을 사용하여 상기 화장품 제제의 색상을 결정하는 단계
    를 더 포함하는 방법.