KR102224596B1 - 식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법 - Google Patents

식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법 Download PDF

Info

Publication number
KR102224596B1
KR102224596B1 KR1020187033360A KR20187033360A KR102224596B1 KR 102224596 B1 KR102224596 B1 KR 102224596B1 KR 1020187033360 A KR1020187033360 A KR 1020187033360A KR 20187033360 A KR20187033360 A KR 20187033360A KR 102224596 B1 KR102224596 B1 KR 102224596B1
Authority
KR
South Korea
Prior art keywords
user
facial
digital
face
correction protocol
Prior art date
Application number
KR1020187033360A
Other languages
English (en)
Other versions
KR20190042493A (ko
Inventor
골든 로벋슨 죤
Original Assignee
골든 로벋슨 죤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 골든 로벋슨 죤 filed Critical 골든 로벋슨 죤
Publication of KR20190042493A publication Critical patent/KR20190042493A/ko
Application granted granted Critical
Publication of KR102224596B1 publication Critical patent/KR102224596B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00792—Plastic surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법이 제공된다. 상기 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법은, 상기 입력된 얼굴 이미지에 기초하여 상기 사용자의 디지털 사용자 얼굴 구조를 정의하는 단계, 액세스 가능한 데이터 저장 장치로부터 지정된 디지털 표준 얼굴 구조를 검색하는 단계, 상기 디지털 사용자 얼굴 구조와 상기 지정된 표준 얼굴 구조 사이의 구조적 편차를 계산하는 단계, 상기 액세스 가능한 데이터 저장 장치에서 상기 계산된 편차의 적어도 일부에 대응하는 프리셋 디지털 얼굴 교정 프로토콜 수정을 검색하는 단계로서, 상기 하나 이상의 프리셋 얼굴 교정 프로토콜 수정은 대응하는 구조적 편차의 시각적 외모를 적어도 부분적으로 감소시키기 위해 미리 설립되고, 상기 프리셋 디지털 메이크업 프로토콜 수정에 따라 디지털 교정 프로토콜을 출력하는 단계를 포함한다.

Description

식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법
본 발명은 얼굴 미적 특질 개선 시스템 및 방법에 관한 것으로서, 특히, 식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법에 관한 것이다.
성형 외과 수술, 메이크업 및 다른 미적 절차는, 예를 들어, 얼굴의 외모를 개선하기 위해, 또는 기본 미적, 인종적 및/또는 문화적 선호로 인해 발생할 수 있는 덜 바람직한 얼굴 특색을 해결하기 위해, 몇 가지 예를 들자면 사고나 부상 또는 다양한 선천적 얼굴 기형의 결과일 수 있는 더 중요한 특색을 위해 개인에 의해 세계의 여러 곳에서 공통적으로 사용되어 왔다. 침윤성 안면 재건 또는 구조적 교대 수술은 드문 일이 아니며, 특히 후자의 경우 크게 개선될 수 있지만 실제로는 만족스러운 결과를 얻지 못하는 경우가 많다. 이와 같이, 개인은 정기적으로 성형 외과 의사를 찾고, 메이크업 아티스트 또는 경락으로 얼굴 교정 계획을 고안한다. 이러한 계획은 일반적으로 증명되지 않는 특정 이론이나 아이디어에 의존하고 있고, 주로 주관적으로 피사체의 얼굴 모양을 향상시키는 방법에 의존한다.
아름다움의 본질과 결정 요인에 대한 최근 학술 연구는 사람의 얼굴 외모를 평가할 수 있는 훨씬 확고한 기반을 제공한다. 예를 들어 A. C. Little et al.의 "얼굴 매력: 진화 기반 연구" (Phil. Trans. R. Soc. B (2011) 366, 1638-1659)는 얼굴 매력의 결정 요인에 대한 현재 연구의 포괄적 개요를 제공한다. 그러나 그러한 연구의 상업적 의미는 특히 제한적이다.
최근에는, 얼굴 이미지를 캡처하고 디지털 방식으로 다양한 메이크업 스타일을 얼굴 이미지에 적용/오버레이 할 수 있는 다수의 컴퓨터 및 모바일 장치용 컴퓨터 애플리케이션을 상업적으로 이용할 수 있다. 사용자는 특정 메이크업 스타일을 선택하면 그들이 어떻게 보이는지 미리볼 수 있다. 그러나, 이들 애플리케이션은 사용자의 얼굴 이미지의 계층화된 얼굴 이미지 렌더링 및 적용된 메이크업 스타일 선택의 출력을 능가하는 지침 또는 유용성을 거의 제공하지 않는다.
이러한 배경 정보는 관련성이 있을 것이라고 출원인이 생각하는 정보를 나타내기 위해 제공된다. 위의 정보 중 하나가 선행 기술을 구성하거나 관련 기술의 일반적인 지식의 일부를 형성하는 것을 반드시 의미하는 것은 아니며, 이와 같이 해석할 수 없다.
이하에서는 발명의 일부 측면에 대한 기본적인 이해를 제공하기 위해 일반적인 발명 개념의 간략한 요약을 보여준다. 이러한 요약은 발명의 광범위한 개요가 아니다. 이것은 본 발명의 핵심 또는 중요한 요소를 제한하거나 다음의 설명 및 청구 범위에 의해 명시적 또는 암시적으로 기술된 것 이상의 본 발명의 범위를 기술하려는 것이 아니다.
예를 들어 얼굴 편차를 처리하고, 공지된 기술의 단점을 극복하거나 적어도 그에 대한 유용한 대안을 제공하는 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법에 대한 필요성이 존재한다. 본 명세서의 몇몇 실시예는 그러한 시스템 및 방법의 예를 제공한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따르면, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법이 제공되며, 상기 방법은, 상기 입력된 얼굴 이미지에 기초하여 상기 사용자의 디지털 사용자 얼굴 구조를 정의하는 단계; 액세스 가능한 데이터 저장 장치로부터 지정된 디지털 표준 얼굴 구조를 검색하는 단계; 상기 디지털 사용자 얼굴 구조와 상기 지정된 표준 얼굴 구조 사이의 구조적 편차를 계산하는 단계; 상기 액세스 가능한 데이터 저장 장치에서 상기 계산된 편차의 적어도 일부에 대응하는 프리셋 디지털 얼굴 교정 프로토콜 수정을 검색하는 단계로서, 상기 하나 이상의 프리셋 얼굴 교정 프로토콜 수정은 대응하는 구조적 편차의 시각적 외모를 적어도 부분적으로 감소시키기 위해 미리 설립되고; 및 상기 프리셋 디지털 메이크업 프로토콜 수정에 따라 디지털 교정 프로토콜을 출력하는 단계를 포함한다.
일 실시예에서, 상기 디지털 사용자 얼굴 구조를 정의하는 단계는, 상기 입력 얼굴 이미지로부터 프리셋 구조적 지표의 사용자 세트를 자동으로 식별하고 그 디지털 사용자 지표 대표를 정의하는 단계를 포함하고; 상기 지정된 디지털 표준 얼굴 구조는 프리셋 구조적 지표의 대응하는 표준 세트의 대응하는 표준 지표 대표를 포함하고; 상기 계산은 상기 사용자 지표 대표와 상기 표준 지표 대표 사이의 편차를 계산하는 것을 포함한다.
일 실시예에서, 상기 사용자 지표 대표는 구성 사용자 지표 비의 사용자 벡터에 의해 정의되고, 상기 표준 지표 대표는 구성 표준 지표 비의 표준 벡터에 의해 정의된다.
일 실시예에서, 상기 편차는 편차 벡터에 의해 표현된다. 그러한 일 실시예에서, 상기 편차는 상기 사용자 얼굴 구조로부터 식별된 계산된 비대칭을 나타내는 비대칭 벡터에 의해 더 표현된다.
일 실시예에서, 상기 구조적 편차는 자동적으로 정렬되고, 상기 편차의 가장 높이 정렬된 서브 세트를 처리하기 위해 상기 프리셋 디지털 메이크업 프로토콜 수정이 검색된다.
일 실시예에서, 상기 표준 얼굴 구조는 하나 이상의 사용자 인구 통계적 특성에 대응하도록 선택 가능하다.
일 실시예에서, 상기 하나 이상의 사용자 인구 통계적 특성은 사용자 나이, 사용자 연령 범위, 사용자 민족성 및 사용자 성별 중 적어도 하나를 포함한다.
일 실시예에서, 상기 표준 얼굴 구조는 상기 하나 이상의 인구 통계적 특성을 만족시키는 개인들의 샘플 얼굴 이미지 세트의 함수로서 정의된다.
일 실시예에서, 상기 표준 얼굴 구조는 상기 샘플 얼굴 이미지들의 세트 각각으로부터 추출된 하나 이상의 표준 지표의 평균 표현의 함수로서 정의된다.
일 실시예에서, 상기 얼굴 구조는 상기 샘플 얼굴 이미지들의 세트의 각각과 연관된 매력도 등급의 함수로서 정의된다.
일 실시예에서, 상기 방법은 선택 가능한 고객을 입력으로서 수신하는 단계를 더 포함하며, 상기 선택된 고객에 우선적으로 어필하기 위해 고객별 표준 얼굴 구조를 정의함에 있어서 상기 고객별 가중치가 상기 하나 이상의 표준 지표에 대해 적용된다.
일 실시예에서, 상기 출력 단계는 상기 디지털 얼굴 교정 프로토콜을 적용하여 얼굴 이미지를 디지털 방식으로 개선시키고, 개선된 디지털 이미지의 대표적인 것을 출력하는 것을 포함한다.
일 실시예에서, 상기 개선된 디지털 이미지는 상기 디지털 얼굴 교정 프로토콜의 점진적인 적용을 나타내는 개선된 디지털 이미지들의 정렬된 세트를 포함한다.
일 실시예에서, 상기 출력 단계는 상기 디지털 얼굴 교정 프로토콜을 구현하기 위한 순차적으로 작성된 지시문을 포함한다.
일 실시예에서, 상기 디지털 얼굴 교정 프로토콜의 강도는 상기 얼굴 교정 프로토콜의 점진적인 구현을 출력하도록 조정 가능하다.
일 실시예에서, 상기 이미지는 2D 이미지와 3D 이미지 중 하나이다.
일 실시예에서, 상기 얼굴 교정 프로토콜은 메이크업 애플리케이션 프로토콜로 구성된다.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따르면, 상기 언급된 방법들 중 어느 하나의 단계들을 구현하기 위해 하드웨어 프로세서에 의해 실행되는 명령문 및 지시문을 갖는 컴퓨터로 판독가능한 매체가 제공된다.
상기 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따르면, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터 시스템이 제공되며, 상기 시스템은, 이미지 입력 인터페이스; 얼굴 교정 프로토콜 출력 인터페이스; 하드웨어 프로세서; 및 상기 언급된 방법들 중 어느 하나의 단계들을 구현하기 위해 상기 하드웨어 프로세서에 의해 실행되는 명령문 및 지시문을 저장하는 데이터 저장 장치를 포함한다.
상기 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따르면, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터 시스템이 제공되며, 상기 시스템은, 이미지 입력 *?*인터페이스; 얼굴 교정 프로토콜 출력 인터페이스; 하드웨어 프로세서; 및 데이터 저장 장치를 포함하고, 상기 데이터 저장장치는, 선택 가능한 디지털 표준 얼굴 구조 세트; 대응하는 얼굴 지표 또는 대표의 시각적 외모를 적어도 부분적으로 조정하기 위해 미리 설립된, 프리셋 디지털 얼굴 교정 프로토콜 수정 세트; 및 상기 하드웨어 프로세서에 의한 실행을 위한 명령문 및 지시문을 포함하며, 상기 하드웨어 프로세서에서는 상기 이미지 입력 인터페이스로서 수신된 상기 입력된 얼굴 이미지에 기초하여 상기 사용자의 디지털 사용자 얼굴 구조를 정의하고; 상기 선택 가능한 표준 얼굴 구조 중 지정된 하나를 검색하고; 상기 디지털 사용자 얼굴 구조와 상기 표준 얼굴 구조 중 상기 지정된 하나 사이의 구조적 편차를 계산하고; 출력 디지털 메이크업 프로토콜로서 상기 계산된 편차들 중 적어도 일부에 대응하는 상기 프리셋 디지털 얼굴 교정 프로토콜 수정 세트의 서브 세트를 컴파일하고; 상기 디지털 얼굴 교정 프로토콜을 상기 출력 인터페이스로 출력하는 것을 실행한다.
일 실시예에서, 상기 시스템은 상기 입력 인터페이스에 동작 가능하게 결합된 이미지 캡처 장치를 더 포함한다.
일 실시예에서, 상기 입력 인터페이스 및 상기 출력 인터페이스 각각은 네트워크 액세스 가능한 인터페이스를 포함하며, 상기 사용자 이미지는 상기 입력 인터페이스를 통해 시스템에 업로드 가능하고, 상기 메이크업 프로토콜은 통신 네트워크를 통해 상기 출력 인터페이스로부터 검색 가능하다.
다른 양상들, 특징들 및/또는 이점들은 특정 실시예들에 대한 다음의 비 제한적 설명의 판독시에 더욱 명백해질 것이며, 참조를 위해 첨부된 도면들은 단지 예시로서 주어진다.
본 발명의 몇몇 실시예는 첨부된 도면을 참조하여 예시로서만 제공될 것이다.
도 1은 일 실시예에 따라, 얼굴 편차를 처리하기 위해 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하기 위한 시스템의 하이 레벨 다이어그램이다.
도 2는 일 실시예에 따라, 얼굴 편차를 처리하기 위해 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하기 위한 처리 장치의 개략도이다.
도 3a 및 도 3b는 각각, 일 실시예에 따라, 주어진 얼굴 구조를 기술하는데 사용 가능한 다양한 예시적인 해부학적 지표를 위치시킨 인간의 얼굴의 스케치 및 사진이다.
도 4는 일 실시예에 따라, 얼굴 편차를 처리하기 위해 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하기 위한 예시적인 시스템 데이터 흐름의 개략도이다.
본 명세서에 설명된 시스템 및 방법들은 상이한 실시예들, 상이한 예시들에 따라, 식별가능한 얼굴 편차(deviation)들을 처리하기 위해, 주어진 사용자에 대한 얼굴 교정 디자인(facial remediation design) 및 애플리케이션 프로토콜을 생성하기 위해 사용되는 자동화 또는 반자동화 시스템을 제공한다. 예를 들어, 구조적 편차(structural deviation)들은 하나 이상의 사용자 얼굴 이미지와 하나 이상의 고정된 또는 사용자 정의에 따른 이상화된 구조적 얼굴 모델과 비교하여 자동적으로 식별될 수 있다. 일반적으로, 얼굴 구조는 비율 및 피부 상태와는 관계없이, 오히려 인근 지표(landmark)간 거리 비율, 비대칭성, 및 상대적인 구조적 고려 사항에 관계된 얼굴의 특성 세트로 정의된다. 아래에 상세히 설명하는 바와 같이, 얼굴 교정 디자인 결과물 또는 계획에는 다양한 얼굴 해부학적 특징들을 이동시키거나 크기를 변화시키는 수술 계획 또는 프로토콜, 다양한 얼굴 해부학적 특징들의 명백한 크기 또는 명백한 위치를 변경하는 화장 계획 또는 프로토콜, 및 다른 기술들 예를 들어, 피사체의 얼굴과 표준 얼굴 사이의 실제 및 인식된 차이를 줄이기 위한 헤어 디자인과 같은 기술의 하나 이상의 조합이 포함된다.
몇몇 실시예에서, 사용자의 연령, 성별, 민족성, 개인 선호도 및/또는 통계적으로 통합되어 의도되는 또는 선호되는 고객 선호도, 및 이와 유사한 파라미터들이, 적절하게 및/또는 현실적으로 사용자에게 타겟팅될 수 있는 적절한 이상화된 구조적 모델을 정의하기 위해 고려될 수 있다. 사용자의 실제 및 자동적으로 특징화된 얼굴 구조(들)는 이러한 모델과 비교될 수 있으며, 사용자에게 고유한 구조적 편차들의 세트 및 이상화된 구조적 모델에 특별한, 자동적으로 생성된 교정 디자인 및 애플리케이션 프로토콜의 구현에 의해 처리될 수 있는 또는 적어도 완화될 수 있는 인식가능한 구조적 편차들을 확인할 수 있다. 즉, 교정 디자인 결과물 및 애플리케이션 프로토콜 실행시, 식별된 사용자 얼굴의 편차들의 시각적 출현이 상당히 감소될 수 있으므로, 예를 들어, 사용자는 일상적인 활동에 더 많은 자신감과 감소된 수줍음을 갖고 참여할 수 있다.
현재의 메이크업 스타일 시각화 애플리케이션과 달리 본 명세서에서 고려되는 실시예들은, 각 사용자의 특별한 구조들과 이러한 구조들이 이상화된 얼굴 구조적 모델과 어떻게 차이가 있는지를 구체적으로 및 자동적으로 처리하도록 구성되며, 하나 이상의 선택 가능한 표준의 이상화된 구조적 모델 또는 다양한 사용자 선호도, 특성, 목표 등에 기초한 선택 가능한 및/또는 커스터마이징 가능한(customizable) 이상화된 구조적 모델로 구성된다. 이에 따라, 상기 시스템은 이러한 구조적 편차를 자동적으로 처리할 수 있고, 그러한 편차의 출현을 줄여서 사용자의 외모를 긍정적으로 개선할 가능성이 더 큰 적절한 메이크업 디자인 및 애플리케이션 프로토콜을 렌더링할 수 있고, 자신과 다른 사람들에 의해 인식되는 것처럼, 검증되고 재현 가능한 얼굴 미용 및/또는 미적 요인 및 특성에 기초하고, 관심있는 미리 저장된 이상화된 얼굴 구조적 모델에 의해 구동된다.
이제 도 1을 참조하여, 일 실시예에 따른, 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동적으로 생성하는 시스템(100)에 대하여 설명한다. 이러한 실시예에서, 상기 시스템(100)은 주어진 사용자 얼굴의 하나 이상의 이미지(104)를 캡처하도록 동작하는 이미지 캡처 장치(102)의 출력을 직접적 또는 간접적으로 인터페이스하는 것을 포함하거나 실행할 수 있다. 일반적으로, 상기 시스템은 사용자 얼굴의 정면을 향한 이미지에서 가장 잘 동작할 것이지만, 이와 마찬가지로, 상기 의도한 프로세스를 실행하기 위해 이미지(들)로부터 사용자 얼굴의 다양한 구조적 특징이 충분히 식별되고 정량화될 수 있도록(예를 들어, 지표의 위치, 지표간 거리, 비율 등) 제공된 프로파일 이미지 등에 의해서도 부가적으로 또는 선택적으로 동작할 수 있다. 당업자가 용이하게 이해할 수 있는 바와 같이, 다른 얼굴 촬상 기술처럼, 사용자 얼굴의 3D 합성 이미지 또는 스캔이 또한 고려될 수 있다. 예를 들어, 본 명세서에서는 2D 이미지가 예시로서 일반적으로 고려되지만, 시스템(100)은 예를 들어 컴퓨터 단층 촬영 장치, 자기 공명 영상 장치, 레이저 표면 스캐닝 장치 및 당해 업계에서 쉽게 알려진 다른 3D 스캐닝 장치와 같은 3D 스캐너로부터 획득될 수 있는 3차원 이미지로부터 얼굴 지표 위치를 식별하고 처리하도록 동등하게 동작할 수 있다. 아래에서 더 자세히 설명되는 것처럼, 상기 시스템의 출력은 3차원에서 상기 제안된 교정 디자인 및 프로토콜을 보다 잘 보여주기 위해 3D로 동일하게 렌더링될 수 있다.
도시된 예에서, 상기 이미지(104)는 초기 처리(initial processing) 및 시각화(visualization)를 위해 로컬 컴퓨팅 장치(106) 또는 이와 같은 장치 등으로 로컬적으로 전송된다. 선택적으로, 상기 이미지와 교정 디자인 처리 중 일부는 도시된 바와 같이 적절한 네트워크 접속(108)을 통해 원격 처리 서버(110) 등에 오프로드되거나, 또는 오히려 로컬 처리 장치(106)에 의해 로컬하게 처리될 수 있다. 처리 결과는 사용자에게 시각화를 위해 하나 이상의 디지털 렌더링된 이미지(114)들(예를 들어, 제안된 교정 디자인 및/또는 프로토콜을 도시하는) 및/또는 제안된 교정 프로토콜을 실행하기 위한 단계들을 전달하는 구조화된 텍스트 명령어(116)들의 형태로 로컬 장치(106)와 운영적으로(operatively) 연관되는 디스플레이(112)에 로컬하게 또는 원격적으로 전달된다.
당업자라면 인식할 수 있는 바와 같이, 다른 시스템 아키텍처 및 중개 통신/네트워크 프로토콜이 적절할 수 있는 것처럼, 다른 이미지 캡처 장치(102)가 유사한 결과를 제공하기 위해 본 명세서에서 고려될 수 있다. 예를 들어, 일 실시예에서, 독립형 디지털 카메라는 유선 또는 무선 포트를 통해 로컬 컴퓨팅 장치(106) 및 선택적 다운스트림 서버(110)로의 후속 전송을 위해 캡처된 이미지를 로컬하게 저장하도록 동작할 수 있다. 동일하거나 다른 실시예에서, 웹캠은 예를 들어, 분산 및/또는 웹 구현된 교정 디자인 및 프로토콜 처리 애플리케이션에서, 통합 이미지 캡처 기능의 맥락에서 로컬의 일부를 형성하며, 사용자 이미지를 직접 캡처하고 컴퓨팅 장치(106) 및/또는 서버(110)로 전달하는데 사용될 수 있다. 또 다른 실시예에서, 카메라 내장형 핸드폰, 스마트폰 또는 태블릿을 사용하여 내부 저장 및 처리(예를 들어, 자체 장착된 모바일 애플리케이션의 맥락에서)를 위한 사용자 이미지를 캡처하고, 및/또는 적절한 네트워크 접속(예를 들어, Wi-Fi, 셀룰러 데이터, 블루투스 등)을 통해 로컬 처리 장치(106) 및/또는 원격 서버(110)로 전송할 수 있다. 당업자가 인식할 수 있는 바와 같이, 본 명세서 개시의 일반적인 범위 및 본질을 벗어나지 않고, 다른 시스템 아키텍처도 또한 고려 될 수 있다. 예를 들어, 자체 보유 및/또는 네트워크 가능 키오스크(kiosk) 등은 전문적인 고객 상담 등의 상황에서 전문가 및 고객에 의해 상업적 또는 임상적 환경에서 운영될 수 있다. 다른 실시예는 확장된 의학적 또는 외과적 치료 실습 등의 보다 큰 맥락에서 실행되는 자체 보유 및/또는 네트워크 보조 애플리케이션으로서 의료 시설 내에서 구현될 수 있다. 이들 및 다른 그러한 예시들은 본 명세서 개시의 범위 내에 속하는 것으로 이해될 것이다.
도 2를 더 참조하면, 상기 모바일, 로컬, 및/또는 원격 처리 장치(들) 중 단독 또는 이들의 조합은(도 2의 처리 장치(들)(200)로서 공동으로 식별됨) 캡처된 이미지(들)(104)를 처리하고, 자동화된 교정 디자인 및 프로토콜 생성 프로세스를 개시하고, 사용자에게 시각화를 위해 그 결과를 전송/출력하도록 구성된다. 일반적으로, 상기 처리 장치(들)는 전원 공급기(202), 관심있는 하나 이상의 이미지(104)를 입력으로서 수신하기 위한 통합된 로컬 및/또는 원격 데이터 입력 포트와 같은 다양한 입력/출력 포트(204), 적용 가능한 경우에 상기 시스템의 다양한 구성 요소 사이에서 이미지, 사용자 및 프로세싱 데이터를 전송하기 위한 하나 이상의 내부 또는 중개 통신 포트, 및 결과를 사용자에게 출력하기 위한 하나 이상의 출력 포트를 포함한다. 통합의, 로컬의, 네트워크, 및/또는 원격의 사용자 인터페이스(216)는 또한 일반적으로 시스템(100)의 사용자 실행 및 동작을 가능하게 하고, 다양한 사용자 선호도, 선택 및/또는 옵션의 입력을 제공하고, 그리고 경우에 따라 다양한 상호작용 결과의 출력을 사용자에게 제공한다. 이용가능한 사용자 인터페이스들의 예시는 키보드, 유선 또는 무선 키보드 포트, 유선 또는 무선 터치 패드, 터치 스크린, 유선 또는 무선 마우스 포트, 트랙볼 등을 포함할 수 있지만, 이에 한정되는 것은 아니며, 당해 기술 분야에서 용이하게 알려진 다른 사용자 인터페이스들을 포함할 수 있다.
또한, 상기 처리 장치(200)는 관심있는 자동화 메이크업 디자인 및 프로토콜 생성 프로세스를 실행하는 상기 시스템의 다양한 명령문(statements), 명령어(commands), 지시문(instructions), 및 입력(inputs)을 처리하기 위해 당해 업계에 일반적으로 알려진 하나 이상의 통합된, 로컬 및/또는 원격 하드웨어 프로세서(206)를 포함한다.
상기 처리 장치(200)는 또한 자동화 메이크업 디자인 및 프로토콜 생성 프로세스의 실행에 필요한 디지털 정보, 지시문(instructions) 및 프로세스 지시문(directives)을 저장하기 위한 하나 이상의 로컬 및/또는 원격 컴퓨터 판독 가능 매체(208)를 포함한다. 예를 들어, 데이터 저장 장치는, 다양하게 이용가능한 사용자 선택 가능 필드들 및/또는 옵션들, 및/또는 민족성, 성별, 연령 등을 기초로 발달 및/또는 커스터마이징 가능한 표준 얼굴 구조 유형들을 각각 미리 설정하여 다시 관련되는 사용자 선택 가능 필드들 및/또는 옵션들, 및/또는 공공의 얼굴 선호도 데이터 처리, 잘 알려진 유명인 또는 패션 스타일/경향 등에 기초한 선택 가능한 스타일 및/또는 경향들을 각각 미리 설정하여 다시 관련되는 사용자 선택 가능 필드들 및/또는 옵션들에 따라 조직적인 및/또는 상호 관련되는 다양한 얼굴 구조 표준, 선호도 및 인덱스(210)들을 저장하는 하나 이상의 데이터베이스를 포함한다.
데이터 저장 장치(208)는 또한 일반적으로 사용자 이미지(104)로부터 특별한 구조적 지표들을 자동적으로 식별하도록 동작하는 얼굴 구조 분석 모듈(212)을 포함하고, 상기 얼굴 구조 분석 모듈(212)은 그러한 특별한 구조적 지표들을 사용자에 의해 또는 사용자를 위해 선택된 이상화된 얼굴 구조적 모델과 관련되어 미리 저장된 지표 특징과 비교하고, 캡처된 사용자 데이터에서 대응하는 편차들을 계산한다. 상기 모듈(212)에 의해 계산되어 처리된 편차들로부터, 적절한 교정 디자인 및 프로토콜 생성 모듈(214)이 호출되어 원하는 결과를 생성할 수 있다. 이러한 효과에 대한 더 상세한 설명은 하기의 도 4를 참조하여 기술된 실시예를 참조하여 아래에서 제공될 것이다. 그런 다음, 교정 디자인 및 프로토콜 출력은 디스플레이 및 구현을 위해 전송될 수 있다.
당업자라면 인식할 수 있는 바와 같이, 상기 시스템의 다양한 얼굴 표준 구조 및 고객 선호도 데이터 세트를 계산하여 처리된 다수의 얼굴 샘플들을 특성화하고, 사용자 얼굴을 특성화하는데, 상이한 얼굴 특징들 및 특성들이 고려될 수 있다. 이하의 표는, 다양한 조합으로, 사용자의 전체적인 얼굴 외관과 하나 이상의 표준화 된 데이터 세트들로부터의 편차를 특징 짓기 위해 사용될 수 있는, 도 3a 및 도 3b에 도시된 것과 같은, 식별 가능한 얼굴 지표들의 몇몇 예시들을 제공한다. 당업자라면 인식할 수 있는 바와 같이, 이 표는 사용자, 기준 이미지 및/또는 표준의 얼굴 외관을 특징 짓기 위해 단독으로 또는 조합하여 사용될 수 있는 다양한 예시적인 얼굴 지표, 즉 얼굴상의 해부학적으로 식별가능한 지점을 개략적으로 나타내지만, 다른 지표들 및/또는 정의들도 본 명세서 내용의 일반적인 범위 및 본질을 벗어나지 않는다면 고려될 수 있다.
지표 약어 설명
Trichion Tr 헤어 라인과 얼굴의 수직 중심선의 교차점
Eyebrow Eb 동공 중심 바로 위의 눈썹의 아래쪽 여백
Upper eyelid Ue 동공 중심 바로 위의 위 눈꺼풀의 아래쪽 여백
Lower eyelid Le 동공 중심 바로 아래의 아래 눈꺼풀의 위쪽 여백
Exocanthion Ex 아래와 위 눈꺼풀의 측면 교차점
Endocanthion En 위와 아래 눈꺼풀의 내측 교차점
Nasion N 코의 가장 후방 지점
Pronasal Prn 코의 가장 앞부분
Alare Al 코의 가장 측면 지점
Zygoma Zy 광대뼈의 가장 측면 지점
Glabella G 수직 중심선과 미간의 교차점, nasion보다 더 길쭉하게 솟은 부분
Gonion Go 하악각의 가장 낮은, 후방의, 측면 지점
Subnasal Sn 인중의 상위 여백의 중심점
Upper lip Ul 인중의 하위 여백의 중심점
Lower Lip Ll 아랫입술의 하부 여백의 중심점
Chelion Ch 윗입술의 상부 여백과 아랫입술의 하부 여백의 교차점
Gnathion Gn 얼굴의 가장 아래 지점
전술한 바와 같이, 당업자가 쉽게 인식할 수 있는 바에 따라, 다른 식별가능한 지표들은 또한 유사한 효과를 생성하기 위해 또는 대안적으로 사용될 수 있으며, 따라서 상기 열거된 지표들은 단지 비제한적인 예시로서만 고려되어야 한다.다른 실시예에서, 지표 위치(예를 들어, 얼굴 좌표), 거리(예를 들어, 임의의 2개의 지표 사이의 얼굴 사진상의 직선 거리) 및/또는 비율(예를 들어, 한 쌍의 지표 사이의 지표 거리를 다른 쌍의 지표 사이의 지표 거리로 나눈 결과)들의 상이한 조합은 얼굴 외모 및/또는 편차를 정의할 때 고려될 수 있다. 예를 들어, 표준 얼굴 좌표계는 사용자 및 샘플링 된 얼굴의 얼굴 지표를 체계적으로 특성화하기 위해 정의될 수 있다. 그러한 일 예에서, 얼굴 좌표는 Gnathion의 수직 좌표의 값이 0이 되도록 원점을 갖는 직교 좌표의 세트에 의해 정의될 수 있고, 수직 중심선(얼굴을 대칭인 두 개의 반쪽으로 나누는 수직선)의 수평 좌표 값은 0이고, Trichion, nasion, pronasal 및 gnathion의 편차들의 절대값의 합에 대칭 쌍들의 수평 좌표들의 합의 절대값을 더한 값은 최소이다. 이러한 좌표는 단독으로 사용되거나, 지표들, 대칭 쌍들(예를 들어, 얼굴의 좌측 및 우측 모두에서 발생하는 쌍으로 된 해부학적 지점) 등을 특징 짓기 위해 다르게 정의된 얼굴 특징들과 조합하여 사용될 수 있다.
몇몇 실시예에 따라 상술한 바와 같이, 얼굴 벡터는 예를 들어, 하나 이상의 지표 거리 및/또는 그것을 나타내는 일차원 벡터로 표현된 비율에 기초하여 식별된 지표들/위치들의 함수로서 정의될 수 있다. 다른 지표-유도된 벡터들이 또한 또는 대안적으로 정의될 수 있으며, 예컨대 각 대칭 쌍으로부터 수직 중심선까지의 거리 대 nasion으로부터 Gnathion 또는 다른 쌍의 지표까지의 거리의 비율을 계산함으로써 형성되는 요소들인 일차원 벡터에 의해 정의되는 수평 쌍을 이루는 비대칭 벡터; 대칭 쌍의 각 요소 사이의 수직 거리 대 nasion으로부터 Gnathion 또는 다른 쌍의 지표까지의 거리의 비율을 계산함으로써 형성되는 요소들인 일차원 벡터에 의해 정의되는 수직 쌍을 이루는 비대칭 벡터; 및 자연스럽게 수직 중심선에 있어야 하는 지표들의 수직 중심선으로부터의 수평 변위 대 nasion으로부터 Gnathion 또는 다른 쌍의 지표까지의 거리의 비율을 계산함으로써 형성되는 요소들인 일차원 벡터에 의해 정의되는 중심선 비대칭 벡터 등이 있다.
상기 정의로부터, 그리고 일 실시예에 따르면, 표준 벡터는 평균 지표 비율(average landmark ratios) 및/또는 주어진 모집단의 상기 멤버들의 거리를 요소로 하는 일차원 벡터로서 정의될 수 있으며, 상기 모집단은 전체로서 선택되거나, 또는 순위가 부여된 개인 등의 무작위 샘플에 의해 가장 높은 순위와 연관되어 있는 모집단의 구성원으로부터의 하위 집단으로서 선택될 수 있다. 이러한 맥락에서, 주어진 모집단은 표준 모집단으로 특징지어 질 수 있는데, 아래에 예시된 것과 같이, 이 표준 모집단의 구성원들은 몇 가지 예를 들자면 성별, 연령대 및 민족성과 같은 하나 이상의 특성 세트를 공유하도록 식별된다. 유사하게, 표준 편차 벡터는 표준 벡터를 형성하도록 선택된 표준 모집단 구성원들의 얼굴 벡터들의 요소들의 표준 편차들을 계산함으로써 형성되는 요소들인 일차원 벡터로서 정의될 수 있다. 당업자가 알 수 있는 바와 같이, 본 발명의 일반적인 범위 및 본질을 벗어나지 않고, 다른 표준 집단 벡터 정의도 또한 고려될 수 있다.
이하에서 설명하는 바와 같이, 선택된 표준별 벡터 및 대응하는 사용자 벡터에 기초하여, 편차 벡터는 사용자의 얼굴 지표들과 관심있는 모집단을 위해 정의된 이상화된 지표들 사이의 편차들을 나타내기 위해 정의될 수 있으며, 이러한 편차들 중 일부를 처리하거나 적어도 부분적으로 완화하기 위해 제안된 교정 디자인 및 프로토콜을 수립하기 위한 기초로서 편차들이 사용될 수 있다.
관심있는 특정 얼굴의 외모를 더욱 개선하거나 두드러지게 하기 위해, 특정 대상 고객에 대해 원하는 결과를 향상시키거나 촉진시키기 위해 다수의 잠재 고객 관련 한정자(audience-specific qualifiers)가 고려될 수 있다. 예를 들어, 사용자는 자신의 인구 통계(예를 들어, 연령, 성별, 민족성)와 다소 일치할 수 있도록 선정된 표준 모집단을 위한 이상적이거나 평균화된 가장 높은 등급의 외형을 모방하고자 할 것이며, 또한 특정 고객에게 가장 매력적이거나 중요한 것으로 알려지거나 예측되는 특정 얼굴 특징들 및/또는 지표들을 위한 특별한 이상화(idealization)를 향상시키고자 할 것이다. 즉, 상기 특정 고객은 예를 들어 젊은 북아메리카 남성들, 30~35세의 한국 여성들 등과 같이 어떤 고객 인구 통계를 공유하는 개인들로 구성된다. 따라서, 고객 벡터는 또한 관심있는 표준 모집단을 위해 정의된 얼굴 벡터들의 각 요소의 상대적인 중요도로부터 형성되는 요소로 정의될 수 있다. 다시 말하면, 의도하는 고객 벡터는 대상 표준 모집단 벡터의 이상화된 얼굴 벡터 요소들에 적절한 가중치를 적용하도록 선택될 수 있고, 이에 따라 의도하는 관심대상 고객의 특정 선호도를 선호함에 있어 다른 표준 얼굴 벡터 요소보다 우위에 있는 특정 표준 얼굴 벡터 요소를 선호하게 된다. 일 실시예에서, 고객 벡터의 요소는 예측 변수 및 예측으로서의 매력도(attractiveness ratings)와 같은 샘플 얼굴의 얼굴 벡터 요소를 갖는 다중 회귀(multiple regression)의 다중 회귀 계수(multiple regression coefficients)와 동일하다.
예시
다음은 전술한 바와 같이, 얼굴 교정 디자인 및 프로토콜 생성 방법 및 시스템의 일 예시적인 실시예를 설명한다. 이 예시에서, 도 4에 도시된 시스템은, 각 주어진 사용자에 대한 교정 계획 출력(610)을 자동으로 생성하는 것을 제공하며, 그들의 외모가 하나 이상의 표준 얼굴 구조 및/또는, 그 사용자를 위해 및/또는 그 사용자에 의해 선택된 고객 얼굴 특징 데이터 세트에 의해 정의된 외모에 가깝게 되도록 그 사용자의 얼굴의 외모를 바꿀 수 있다.
일반적으로, 상기 시스템은 우선 표준화 프로세스의 실행을 요구할 것이며, 그에 따라 프리셋(preset) 표준들(490)의 시스템 데이터베이스(510)가 로컬, 공유 또는 네트워크 프로세서(410)에 의해 구축되고 채워질 수 있어, 선택된 또는 프리셋 이상(ideal)(들)로부터 사용자 외모 편차의 평가를 위한 비교 기반을 제공하고, 그러한 편차를 적어도 부분적으로 처리하기 위한 교정 디자인 및 프로토콜의 생성을 제공한다. 이 실례가 되는 예시에서, 상기 시스템 데이터 세트는 다음과 같이 채워진다.
샘플 얼굴 이미지의 모음(collection)은 우선, 각각의 목표 집단별 표준을 형성하기 위해 하나 이상의 표적 인구 통계로부터 수집되는데, 각 그룹은 특정 성별, 나이 범위, 민족 출신 등의 다수의 사람들에 의해 대표된다. 각각의 표준 모집단은 그러한 얼굴 이미지의 세트(M)을 형성하는 얼굴 이미지들의 다수의 샘플에 의해 일반적으로 대표될 것이다. 이러한 이미지들의 샘플 세트에 기초하여, 대응하는 얼굴 구조 세트가 정의되며, 각 세트(M)에서 각 샘플을 위해 컴파일될 수 있다. 예를 들어, 일 실시예에서, 이미지 처리 모듈은 일련의 무작위로 배향된 얼굴 이미지들을 선택적으로 포함시킨 각 이미지 상에 얼굴 지표를 자동으로 위치시키는데 사용될 수 있고, 그러한 지표에 대한 및/또는 그러한 지표들 사이의 얼굴 벡터로서 대응하는 얼굴 구조를 결정하는데 사용될 수 있다. 일부 구현예에서, 생성된 구조적 얼굴 벡터의 정확도를 최적화 하기 위하여, 자동으로 식별된 지표들의 위치를 사용자가 조정할 수 있도록(즉, 잘못 배치된 지표들의 위치를 조정하도록) 사용자 인터페이스가 제공될 수 있다. 다른 실시예에서, 대응하는 얼굴 벡터의 후속 처리를 위하여 이러한 인터페이스를 통해 사용자는 수동으로 특정 얼굴 지표를 식별할 수 있다.
주어진 세트(M)의 각 샘플이 처리되면, 임의의 고객이 선택될 수 있고, 각 샘플 이미지의 매력을 평가하고, 추가적인 처리를 위해 그것에 대응하는 매력도 등급을 부여한다. 컴파일된 고객 등급들로부터, 전체 매력도 점수는 세트 내의 각 얼굴 이미지 샘플에 대해 정의될 수 있다. 일 실시예에서, 이 점수는 H(R)로 정의되고, 여기서 R은 임의의 고객에 의해 특정 이미지에 할당된 매력도 등급의 세트고,
Figure 112018114524202-pct00001
이고, 여기서 n은 평가자의 수이고 ri는 i번째 평가자가 특정 얼굴에 부여한 등급이다. 이 세트에 대한 이상화된 표준 구조 특징을 정의하기 위해 전체 매력도 점수가 M내의 샘플의 서브 세트를 선택하는 데 사용될 수 있다. 당업자가 이해할 수 있는 바와 같이, 상기 서브 세트 내의 샘플들의 수는 의도하는 결과에 따라 달라질 수 있으며, 매력도 점수가 특히 중요한 역할을 하는 경우는 하나 또는 몇 개의 이상화된 표적 샘플들로부터, 매력도 점수가 최소한의 효과를 낼 수 있는 평균 또는 일반적인 모집단 이상을 생성하고자 할 때에는 전체 세트에 이르기까지 범위가 달라질 수 있다. 따라서, 상기 서브 세트는 매력도 임계치 또는 다시 요구되는 샘플의 프리셋 서브 세트 수에 의해 정의될 수 있고, 또는 더 높은 전반적인 매력도 점수를 받은 샘플에 더 큰 중요도를 적용하기 위해 가중된 또는 다른 상대적인 영향 척도에 택일적으로 의존할 수 있다.
이 특정 예시에서, M에서 가장 높은 점수를 받은 샘플 이미지의 서브 세트는 이 세트에 대해 정의된 주어진 모집단에 대한 구조적 얼굴 표준을 형성하는데 사용되며, 일 실시예에서 각각의 구조적 요소는 G(Si')로 정의되며, 여기서 Si'는 M 내의 각 얼굴에 대해 정의된 얼굴 구조의 i번째 요소이다. 이 특정 예시에서, G(Si')는 전체 서브 세트의 Si'의 평균 값으로 취해지며, 그렇지 않으면 다음과 같이 표현될 수 있다.
Figure 112018114524202-pct00002
여기에서, Si'는 M에서 가장 매력적인 얼굴의 얼굴 구조의 i번째 요소 세트고, k는 Si' 얼굴 벡터의 k번째 요소이다.
또 다른 예시에서, 특정 표준을 정의하는데 선호하는 구조적 특징의 선택에 대해 서로 다른 얼굴 구조들이 가질 수 있는 영향 또는 상대적 중요도를 보정하는데 하나 이상의 고객 특유의 선호도가 식별될 수 있으며, 이는 고객 특유, 가중치 또는 영향을 받은 표준의 확장된 세트가 될 수 있다. 따라서, 사용자는 나중에 이 사용자에 대한 교정 출력 프로토콜을 디자인 할 때 얼굴 특징, 외모 및/또는 스타일을 커스터마이징 하면서 이들 고객 선호도 중 하나 이상을 식별할 수 있다. 따라서, 서로 다른 이상화된 얼굴 구조 세트는 상이한 고객 특성에 기초하여 동일한 샘플 세트에 대해 특성화될 수 있다. 그렇게 함에 있어서, 상기 시스템은 표본 얼굴 각각에 대한 매력도 점수를 결정할 때 얼굴 구조의 각 요소의 상대적 중요성을 계산함으로써 고객 특성을 세트(M) 내의 이미지와 자동으로 계산하고 연관시킬 수 있다. 이러한 상대 값은, 예를 들어, 예측 변수로서의 얼굴 구조의 요소 및 예측으로서의 매력도와 같은 다중 회귀 분석의 계수일 수 있다. 예를 들어, 일 실시예에서, 주어진 표준의 각 구조적 요소의 상대적 중요도는 γ(β,α)로 계산될 수 있으며, γ(β,α)는 다중 회귀 식으로서, 예측 변수로서 M의 요소의 얼굴 구조들의 세트 β를 사용하고, 예측으로서 M의 요소에 대한 매력도 등급 α를 사용하며, 고객 특성의 세트(φ)을 형성하기 위해 γ(β,α)로부터의 계수를 요소로 하는 고객 벡터로 표현될 수 있다.
시스템의 모집단별 이상화된 매력적인 얼굴 구조 표준 및 선택적으로 고객에 영향을 받는 선호도를 계산하고 저장함으로써, 상기 시스템은 사용자 이미지를 자동으로 평가하도록 동작되어 표준 구조 및/또는 고객 선호도로부터의 편차를 식별하고, 그러한 식별된 편차를 처리하여 사용자의 얼굴 외모를 선택된 표준 및/또는 선호도와 잘 일치시키도록 제안된 교정 디자인 및 프로토콜을 생성할 수 있다.
위에서 소개된 바와 같이, 선택된 표준, 선택적 스타일 및/또는 선호하는 고객뿐만 아니라 피사체의 얼굴의 적합한 이미지는 입력 모듈(440)에 대한 입력(420)으로서 수신되며, 예를 들어 부분적으로, 통합된 또는 인터페이스 된 데이터 캡처 인터페이스(430)로부터 직접적으로 또는 간접적으로 전달된다. 사용자 옵션은 선택된 표준 모집단, 고객 및 선택적인 메이크업 스타일뿐만 아니라, 사용자에게 가장 근접한 얼굴 구조를 갖는 유명 인사 또는 유명인을 찾기 위해 하나 이상의 공지된 얼굴 구조(예를 들어, 유명인, 정치인, 운동 선수 등)를 검색 및 선택하는 것을 포함하는 다양한 선택적 사용자 환경 설정 옵션이 포함될 수 있지만, 이에 제한되는 것은 아니다. 이러한 검색 및 식별은 사용자 및/또는 대상에 의해 수동으로 실행될 수 있으며, 또는 검토를 위해 사용자에게 권장 사항을 제공하도록 자동적으로 다시 수행될 수 있다. 관심있는 표준 구조에 대한 영향 또는 기초로서 주어진 하나 이상의 유명인 구조를 선택시, 대상의 출력 교정 디자인 및 프로토콜은 선택된 유명 인사와 비슷한 외모를 나타내도록 제공될 수 있다.
이어서, 예를 들어 샘플 이미지 세트(들)에 대해 전술한 바와 같이, 획득된 이미지의 얼굴 구조가 결정되고 비교 목적으로 저장될 수 있도록 이미지 데이터(450)가 지표 위치 모듈(460)에 전달된다. 다시, 지표 조정 인터페이스(455)가 제공되어 사용자가 자동으로 식별된 지표(420)의 위치를 조정할 수 있게 하고, 얼굴 평가 모듈(520)에 의해 처리될 최적화 된 구조적 지표 데이터(480)를 출력할 수 있다.
일 실시예에서, 얼굴 평가 모듈(520)은 사용자의 얼굴 구조와 관심있는 표준 구조 사이의 차이를 결정하기 위해 실행되며, 그 세부 사항은 데이터베이스(510)로부터 액세스된다. 예를 들어, 선택된 표준의 대응하는 요소로부터 특정 사용자 편차를 정의하도록 i번째 요소 di가 계산되어 하나 이상의 편차 벡터(D)가 정의될 수 있다. 예를 들어 편차 벡터는 요소 di가 F(S,U)에 의해 형성되는 일차원 벡터로서 정의될 수 있으며, 여기서 S는 표준 벡터(Standard vector)이고 U는 사용자 벡터(user vector)이며, 다음과 같이 정의된다.
Figure 112018114524202-pct00003
여기서 예를 들어, di는 편차 벡터의 i번째 요소이고, Si는 표준 벡터의 i번째 요소 값이고, ui는 사용자 벡터의 i번째 요소 값이다. 택일적으로, 표준 편차 벡터는 표준 벡터를 형성하기 위해 선택된 표준 모집단 구성원의 얼굴 벡터의 요소의 표준 편차를 계산하여 오히려 요소 ti가 형성되는 일차원 벡터로서 정의될 수 있으며 다음과 같이 정의된다.
Figure 112018114524202-pct00004
여기서 예를 들어, ti는 사용자-표준 편차 벡터(D)의 i번째 요소(이하에서는 표준 편차 벡터라고 함)이고, Si는 표준 벡터의 i번째 요소 값이며, ui는 사용자 벡터의 i번째 요소이며, σi는 표준 기본 세트 표준 편차 벡터의 i번째 요소이다.
추가적인 또는 선택적인 얼굴 평가에는, 예를 들어, 수평 쌍의 비대칭 벡터(Horizontal Paired Asymmetry Vector)의 계산(즉, 각 대칭 쌍의 각 요소로부터 수직 중심선까지의 거리 대 nasion으로부터 Gnathion 또는 다른 쌍의 지표까지의 거리의 비율을 계산함으로써 요소가 형성된 일차원 벡터로 정의), 수직 쌍의 비대칭 벡터(Vertical Paired Asymmetry Vector)의 계산(즉, 대칭 쌍의 각 요소 사이의 수직 거리 대 nasion으로부터 Gnathion 또는 다른 쌍의 지표까지의 거리의 비율을 계산함으로써 요소가 형성되는 일차원 벡터로서 정의), 및 중심선 비대칭 벡터의 계산(즉, 자연스럽게 수직 중심선(예를 들어, nasion 및 pronasion)에 있어야 하는 지표의 수직 중심선으로부터의 수평 변위 대 nasion으로부터 Gnathion 또는 다른 쌍의 지표까지의 거리의 비율을 계산함으로써 요소가 형성되는 일차원 벡터로서 정의)이 포함될 수 있으며, 다만 이에 제한되는 것은 아니다.
일단 사용자의 다양한 구조 편차(530)가 계산되고 저장되면, 이들은 선택된 표준과 함께 얼굴 교정 계획 생성기(540)에 전달되어 적절한 얼굴 교정 계획(580)의 자동 구성이 호출되며, 사용자의 외모를 선택된 표준에 최대한 가깝게하기 위해 이러한 편차 중 일부를 부분적으로 처리한다. 다음 예시에서 보정 값은 세트 L(D,φ)로 주석 처리되며, 여기서 D는 표준에서 계산된 편차의 세트고, φ는 위에서 설명한 사용자가 선택한 선택적 고객별 특성(들)이다.
구조적 보정을 계산하기 위해, 편차 벡터(D)의 요소 di는 다음 방정식 중 하나를 적용하여 계산된 편차 차수 값 oi에 기초하여 정렬된다:
Figure 112018114524202-pct00005
여기서 oi는 i번째 편차의 차수, ai는 i번째 편차의 다중 회귀 계수, di는 식 (1)을 사용하여 계산된 편차 벡터(D)의 i번째 요소이며; 또한,
Figure 112018114524202-pct00006
여기서 Oi는 i번째 편차의 차수, ai는 i번째 편차의 다중 회귀 계수, ti는 식 (2)를 사용하여 계산된 편차 벡터(D)의 i번째 요소이며; 또한,
Figure 112018114524202-pct00007
여기서 Oi는 i번째 편차의 차수, ai는 i번째 편차의 다중 회귀 계수, si는 표준 벡터의 i번째 요소 값, ui는 사용자 벡터의 i번째 요소이고, σi는 표준 기본 세트 표준 편차 벡터의 i번째 요소이다.
또 다른 실시예에서, 상기 시스템은 수학식 3 내지 5에서 상술한 바와 같이 O(di, vi)의 값에 의해 편차 벡터 및 비대칭 벡터의 요소 모두를 정렬함으로써 계산된 비대칭 벡터를 호출할 수 있는데, 여기서 di는 편차 벡터의 i번째 요소이고, vi는 비대칭 벡터의 i번째 요소의 세트다.
위와 같이 편차 및/또는 비대칭이 정렬되면, 이러한 편차의 서브 세트는 이러한 선택된 편차를 처리하는데 도움이 될 수 있는 적절한 얼굴 교정 수정(fix)을 제안하도록 선택될 수 있다. 즉, 상기 시스템은 자동으로 출력을 커스터마이징 하여 가장 높은 순위의 편차를 처리하고, 대응하는 편차 또는 비대칭의 정도에 비례하여 얼굴 교정 수정의 적용을 지시하여, 사용자의 얼굴 외모에 가장 큰 영향을 미치도록 하고 선택한 표준 및 선택 사양 고객과 거의 일치하도록 한다. 즉, 제안된 교정 수정은 대상의 얼굴 (예: 눈, 턱, 광대뼈 등)의 해부학적 특징의 위치 또는 크기를 실제로 또는 효과적으로 시각적으로 변환시키는 효과를 가져, 선택한 표준 및/또는 고객과 보다 잘 일치하도록 한다.
하나의 특정 실시예에서, 상기 시스템은 교정 수정에 대한 정렬된 편차 및 비대칭의 비-전사함수, 비-단사함수 맵핑을 구현하며, 특정 편차 또는 비대칭으로부터 맵핑된 교정 수정의 적용이 실제 편차 또는 이 편차 또는 비대칭의 출현을 감소시킬 것이다. 그렇게 함에 있어서, 상기 시스템의 교정 어플리케이터 및 명령 생성기(590)는 이상화된 표준으로부터 처리된 편차(530)를 적어도 부분적으로 처리할 수 있는 데이터베이스(510)에 저장된 적절한 미리설정 된 교정 수정(550)을 효과적으로 요청(560)하고, 이 실시예에서, 제안된 교정 디자인 및 프로토콜이 사용자의 전반적인 얼굴 외모(610)에서 가져야 할 영향을 보여주기 위해, 교정 수정의 적용을 안내하는 구조화된 일련의 명령 세트 및 사용자의 원래 이미지의 강화된 렌더링을 출력한다(600). 예를 들어, 얼굴 교정 어플리케이터 및 명령 생성기(590)는 사용자에게 메이크업 플랜을 자신의 얼굴에 적용한 결과를 보여주기 위해 얼굴 교정 계획을 포함하도록 사용자의 얼굴 이미지를 자동으로 바꿀 수 있으며, 얼굴 교정 계획을 적용하기 위한 지침 목록과 함께 제공된다.
하나의 특정 실시예에서, 사용자의 이미지는 피사체의 얼굴의 구조와 일치하도록 메이크업 수정(550)의 출력을 디지털 방식으로 스트레칭하여 변경되며, 이어서 스트레칭된 메이크업 수정 각각을 피사체의 이미지와 순차적으로 결합하여 최종 이미지(600)를 출력(610)에 렌더링한다. 따라서, 메이크업 수정의 컬러 조합에 의해 정의된 결과적인 컬러링을 나타내는 동안, 결과적인 얼굴 이미지는 피사체의 얼굴과 동일한 기본 구조를 가질 수 있다. 따라서, 이러한 접근법은 상기 시스템이 이미지에 적용된 메이크업 수정과 함께 피사체의 얼굴 이미지를 구성하게 할 수 있으며, 사용자가 출력물을 평가하고 출력 디자인 및 프로토콜을 구현하는 방법을 배움으로써 피사체의 외모에 대해 메이크업 플랜이 미치는 영향을 보여줄 수 있다.
몇몇 실시예에서, 제안된 메이크업 수정은 몇몇 정도의 강도를 포함할 수 있고, 예를 들어, 피사체가 그에 따라 외모가 변하기 때문에 메이크업 효과를 단계적으로 적용할 수 있다.
본 발명은 다양한 예시적인 실시예를 기술하지만, 본 발명은 이에 제한되지 않는다. 반대로, 본 명세서는 본 명세서의 일반적 범위 내에 포함되는 다양한 변형예 및 동등한 배열을 포함하도록 의도된다.
104: 이미지
106: 컴퓨팅 장치
108: 네트워크 접속
110: 다운스트림 서버
112: 디스플레이
200: 처리 장치
202: 전원 공급기
206: 하드웨어 프로세서
208: 컴퓨터 판독 가능 매체
210: 인덱스
212: 얼굴 구조 분석 모듈
214: 얼굴 교정 디자인 및 프로토콜 생성 모듈

Claims (23)

  1. 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법으로서,
    상기 입력된 얼굴 이미지에 기초하여 상기 사용자의 디지털 사용자 얼굴 구조를 정의하는 단계;
    액세스 가능한 데이터 저장 장치로부터 지정된 디지털 표준 얼굴 구조를 검색하는 단계;
    상기 디지털 사용자 얼굴 구조와 상기 지정된 디지털 표준 얼굴 구조 사이의 구조적 편차를 계산하는 단계;
    상기 액세스 가능한 데이터 저장 장치에서 상기 계산된 편차의 적어도 일부에 대응하는 프리셋 디지털 얼굴 교정 프로토콜 수정을 검색하는 단계로서, 상기 하나 이상의 프리셋 디지털 얼굴 교정 프로토콜 수정은 대응하는 상기 구조적 편차에 관한 시각적 외모의 차이를 적어도 부분적으로 감소시키기 위해 미리 설립되고; 및
    상기 프리셋 디지털 얼굴 교정 프로토콜 수정에 따라 디지털 교정 프로토콜을 출력하는 단계를 포함하고,
    상기 디지털 사용자 얼굴 구조를 정의하는 단계는,
    상기 입력된 얼굴 이미지로부터 프리셋 구조적 지표의 사용자 세트를 자동으로 식별하고 그 디지털 사용자 지표 대표를 정의하는 단계를 포함하고;
    상기 지정된 디지털 표준 얼굴 구조는 프리셋 구조적 지표의 대응하는 표준 세트의 대응하는 표준 지표 대표를 포함하고;
    상기 계산은 상기 사용자 지표 대표와 상기 표준 지표 대표 사이의 편차를 계산하는 단계를 포함하는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 사용자 지표 대표는 구성 사용자 지표 비의 사용자 벡터에 의해 정의되고, 상기 표준 지표 대표는 구성 표준 지표 비의 표준 벡터에 의해 정의되는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  4. 제 3항에 있어서,
    상기 편차는 편차 벡터에 의해 표현되는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  5. 제 4항에 있어서,
    상기 편차는 상기 사용자 얼굴 구조로부터 식별된 계산된 비대칭을 나타내는 비대칭 벡터에 의해 더 표현되는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  6. 제 5항에 있어서,
    상기 구조적 편차는 자동적으로 정렬되고, 상기 편차의 가장 높이 정렬된 서브 세트를 처리하기 위해 상기 프리셋 디지털 메이크업 프로토콜 수정이 검색되는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  7. 제 1항에 있어서,
    상기 표준 얼굴 구조는 하나 이상의 사용자 인구 통계적 특성에 대응하도록 선택 가능한, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  8. 제 7항에 있어서,
    상기 하나 이상의 사용자 인구 통계적 특성은 사용자 나이, 사용자 연령 범위, 사용자 민족성 및 사용자 성별 중 적어도 하나를 포함하는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  9. 제 7항에 있어서,
    상기 표준 얼굴 구조는 상기 하나 이상의 인구 통계적 특성을 만족시키는 개인들의 샘플 얼굴 이미지 세트의 함수로서 정의되는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  10. 제 9항에 있어서,
    상기 표준 얼굴 구조는 상기 샘플 얼굴 이미지들의 세트 각각으로부터 추출된 하나 이상의 표준 지표의 평균 표현의 함수로서 정의되는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  11. 제 9항에 있어서,
    상기 얼굴 구조는 상기 샘플 얼굴 이미지들의 세트의 각각과 연관된 매력도 등급의 함수로서 정의되는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  12. 제 9항에 있어서,
    선택 가능한 고객을 입력으로서 수신하는 단계를 더 포함하며,
    상기 선택된 고객에 우선적으로 어필하기 위해 고객별 표준 얼굴 구조를 정의함에 있어서 고객별 가중치가 상기 하나 이상의 표준 지표에 대해 적용되는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  13. 제 1항에 있어서,
    상기 출력 단계는 상기 디지털 얼굴 교정 프로토콜을 적용하여 얼굴 이미지를 디지털 방식으로 개선시키고, 개선된 디지털 이미지의 대표적인 것을 출력하는 것을 포함하는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  14. 제 13항에 있어서,
    상기 개선된 디지털 이미지는 상기 디지털 얼굴 교정 프로토콜의 점진적인 적용을 나타내는 개선된 디지털 이미지들의 정렬된 세트를 포함하는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  15. 제 1항에 있어서,
    상기 출력 단계는 상기 디지털 얼굴 교정 프로토콜을 구현하기 위한 순차적으로 작성된 지시문을 포함하는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  16. 제 13항에 있어서,
    상기 디지털 얼굴 교정 프로토콜의 강도는 상기 얼굴 교정 프로토콜의 점진적인 구현을 출력하도록 조정 가능한, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  17. 제 1항에 있어서,
    상기 이미지는 2D 이미지와 3D 이미지 중 하나인, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  18. 제 1항에 있어서,
    상기 얼굴 교정 프로토콜은 메이크업 애플리케이션 프로토콜로 구성되는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터화된 방법.
  19. 제 1항 및 제 3항 내지 제 18항 중 어느 한 항의 단계들을 구현하기 위해 하드웨어 프로세서에 의해 실행되는 명령문 및 지시문을 갖는 컴퓨터로 판독가능한 매체.
  20. 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터 시스템으로서,
    이미지 입력 인터페이스;
    얼굴 교정 프로토콜 출력 인터페이스;
    하드웨어 프로세서; 및
    데이터 저장 장치를 포함하고,
    상기 데이터 저장장치는,
    선택 가능한 디지털 표준 얼굴 구조 세트;
    대응하는 얼굴 지표 또는 대표의 시각적 외모를 적어도 부분적으로 조정하기 위해 미리 설립된, 프리셋 디지털 얼굴 교정 프로토콜 수정 세트; 및
    상기 하드웨어 프로세서에 의한 실행을 위한 명령문 및 지시문을 포함하며,
    상기 하드웨어 프로세서에서는,
    상기 이미지 입력 인터페이스로서 수신된 상기 입력된 얼굴 이미지에 기초하여 상기 사용자의 디지털 사용자 얼굴 구조를 정의하고;
    상기 선택 가능한 디지털 표준 얼굴 구조 세트 중 지정된 하나를 검색하고;
    상기 디지털 사용자 얼굴 구조와 상기 디지털 표준 얼굴 구조 세트 중 상기 지정된 하나 사이의 구조적 편차를 계산하고;
    상기 계산된 편차들 중 적어도 일부에 대응하는 상기 프리셋 디지털 얼굴 교정 프로토콜 수정 세트의 서브 세트인 디지털 얼굴 교정 프로토콜을 컴파일하고; 및
    상기 디지털 얼굴 교정 프로토콜을 상기 출력 인터페이스로 출력하는 것을 실행하고,
    상기 구조적 편차를 계산하는 것은,
    상기 입력된 얼굴 이미지로부터 프리셋 구조적 지표의 사용자 세트를 자동으로 식별하고 그 디지털 사용자 지표 대표를 정의하는 단계를 포함하고;
    상기 디지털 표준 얼굴 구조 세트는 프리셋 구조적 지표의 대응하는 표준 세트의 대응하는 표준 지표 대표를 포함하고;
    상기 계산은 상기 사용자 지표 대표와 상기 표준 지표 대표 사이의 편차를 계산하는 단계를 포함하는,
    사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터 시스템.
  21. 제 20항에 있어서,
    상기 시스템은 상기 입력 인터페이스에 동작 가능하게 결합된 이미지 캡처 장치를 더 포함하는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터 시스템.
  22. 제 20항에 있어서,
    상기 입력 인터페이스 및 상기 출력 인터페이스 각각은 네트워크 액세스 가능한 인터페이스를 포함하며,
    상기 사용자 이미지는 상기 입력 인터페이스를 통해 시스템에 업로드 가능하고, 상기 메이크업 프로토콜은 통신 네트워크를 통해 상기 출력 인터페이스로부터 검색 가능한, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터 시스템.
  23. 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터 시스템으로서,
    이미지 입력 인터페이스;
    얼굴 교정 프로토콜 출력 인터페이스;
    하드웨어 프로세서; 및
    상기 제 1항 및 제 3항 내지 제 18항 중 어느 한 항의 단계들을 구현하기 위해 상기 하드웨어 프로세서에 의해 실행되는 명령문 및 지시문을 저장하는 데이터 저장 장치를 포함하는, 사용자의 입력된 얼굴 이미지에 기초한 사용자를 위한 얼굴 교정 프로토콜을 자동으로 개발하는 컴퓨터 시스템.
KR1020187033360A 2016-06-21 2017-05-16 식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법 KR102224596B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CA2933799 2016-06-21
CA2933799A CA2933799A1 (en) 2016-06-21 2016-06-21 System and method for automatically generating a facial remediation design and application protocol to address observable facial deviations
PCT/CA2017/050580 WO2017219123A1 (en) 2016-06-21 2017-05-16 System and method for automatically generating a facial remediation design and application protocol to address observable facial deviations

Publications (2)

Publication Number Publication Date
KR20190042493A KR20190042493A (ko) 2019-04-24
KR102224596B1 true KR102224596B1 (ko) 2021-03-09

Family

ID=60763707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187033360A KR102224596B1 (ko) 2016-06-21 2017-05-16 식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법

Country Status (5)

Country Link
US (1) US10751129B2 (ko)
KR (1) KR102224596B1 (ko)
CN (1) CN109310475A (ko)
CA (1) CA2933799A1 (ko)
WO (1) WO2017219123A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109806004A (zh) * 2019-03-18 2019-05-28 汪俊霞 一种基于云数据技术的手术机器人系统及操作方法
CN110335207B (zh) * 2019-06-04 2022-01-21 重庆七腾科技有限公司 一种基于群像选择的智能影像优化方法及其系统
KR20210081526A (ko) 2019-12-24 2021-07-02 엠더블유엔테크 주식회사 가상 미용 성형 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260198A (ja) * 2005-03-17 2006-09-28 Toshiba Corp 仮想化粧装置、仮想化粧方法および仮想化粧プログラム
US20130173235A1 (en) * 2010-05-21 2013-07-04 My Orthodontics Pty Ltd Prediction of post-procedural appearance

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659625A (en) * 1992-06-04 1997-08-19 Marquardt; Stephen R. Method and apparatus for analyzing facial configurations and components
DE19757773A1 (de) * 1997-12-24 1999-07-01 Bernward Maehner Verfahren zur dreidimensionalen, detaillierten Simulation plastischer Veränderungen an menschlichen Körperpartien
KR20010082779A (ko) * 2001-05-26 2001-08-31 이경환 이미지 데이터를 이용한 아바타 제작 방법 및 아바타를이용한 에이전트 시스템
US8107672B2 (en) * 2006-01-17 2012-01-31 Shiseido Company, Ltd. Makeup simulation system, makeup simulator, makeup simulation method, and makeup simulation program
KR100986101B1 (ko) * 2008-05-30 2010-10-08 이승철 얼굴 분석 서비스 제공 방법 및 장치
CN101673475B (zh) * 2009-09-15 2013-01-09 宇龙计算机通信科技(深圳)有限公司 一种在终端上实现化妆指导的方法、设备及系统
US10970655B2 (en) * 2010-05-03 2021-04-06 Technion Research & Development Foundation Ltd Surgery planning based on predicted results
EP2731072A4 (en) * 2011-07-07 2015-03-25 Kao Corp FINGER-PRINTED PRINT ANALYSIS METHOD, COSMETIC CONSULTATION METHOD, AND FACE IMAGE GENERATION METHOD
KR101385599B1 (ko) * 2012-09-26 2014-04-16 한국과학기술연구원 몽타주 추론 방법 및 장치
FR2998402B1 (fr) * 2012-11-20 2014-11-14 Morpho Procede de generation d'un modele de visage en trois dimensions
ITPD20130010A1 (it) * 2013-01-23 2014-07-24 Amato Dott Aldo Procedimento per l'analisi estetica della dentatura nell'area del sorriso e per il supporto all'individuazione di trattamenti estetici odontoiatrici ed odontotecnici
US10667697B2 (en) * 2015-06-14 2020-06-02 Facense Ltd. Identification of posture-related syncope using head-mounted sensors
CN105160312A (zh) * 2015-08-27 2015-12-16 南京信息工程大学 基于人脸相似度匹配的明星脸装扮推荐方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260198A (ja) * 2005-03-17 2006-09-28 Toshiba Corp 仮想化粧装置、仮想化粧方法および仮想化粧プログラム
US20130173235A1 (en) * 2010-05-21 2013-07-04 My Orthodontics Pty Ltd Prediction of post-procedural appearance

Also Published As

Publication number Publication date
WO2017219123A1 (en) 2017-12-28
US20190254748A1 (en) 2019-08-22
KR20190042493A (ko) 2019-04-24
US10751129B2 (en) 2020-08-25
CN109310475A (zh) 2019-02-05
CA2933799A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
CN109310196B (zh) 化妆辅助装置以及化妆辅助方法
Laurentini et al. Computer analysis of face beauty: A survey
EP3513761B1 (en) 3d platform for aesthetic simulation
US9330298B2 (en) Face impression analyzing method, aesthetic counseling method, and face image generating method
Zhang et al. Computer models for facial beauty analysis
Liu et al. Advances in computational facial attractiveness methods
US11069089B2 (en) Information processing apparatus, information processing method, and computer program product
US10911695B2 (en) Information processing apparatus, information processing method, and computer program product
KR102224596B1 (ko) 식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법
Cvetkoska et al. Smart mirror E-health assistant—Posture analyze algorithm proposed model for upright posture
US9877791B2 (en) System and method for virtual treatments based on aesthetic procedures
US9262669B2 (en) Systems and methods for using curvatures to analyze facial and body features
KR20230025906A (ko) 개선된 얼굴 속성 분류 및 그것의 사용을 위한 시스템들 및 방법들
Chi et al. A new parametric 3D human body modeling approach by using key position labeling and body parts segmentation
KR20220000851A (ko) 딥러닝 기술을 활용한 피부과 시술 추천 시스템 및 방법
Gaber et al. Comprehensive assessment of facial paralysis based on facial animation units
TW201945898A (zh) 資訊處理裝置及程式
JP2015219698A (ja) パーツの影響度に基づいて感情を推定する装置、プログラム及び方法
JP7080294B2 (ja) 情報処理装置、情報処理プログラム及び情報処理システム
CN117355875A (zh) 基于计算机的身体部位分析方法和系统
JP7093418B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
Magherini et al. CNN Approach for Monocular Depth Estimation: Ear Case Study
Zhang et al. Typical facial beauty analysis
CN113537155A (zh) 面部皮肤健康度的检测方法、装置、设备及存储介质
Sultan A Study on an Automatic System for Analyzing the Facial Beauty of Young Women

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant