KR20190037051A - 증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법 - Google Patents

증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법 Download PDF

Info

Publication number
KR20190037051A
KR20190037051A KR1020180005063A KR20180005063A KR20190037051A KR 20190037051 A KR20190037051 A KR 20190037051A KR 1020180005063 A KR1020180005063 A KR 1020180005063A KR 20180005063 A KR20180005063 A KR 20180005063A KR 20190037051 A KR20190037051 A KR 20190037051A
Authority
KR
South Korea
Prior art keywords
eyebrow
image
standard
feature points
eye
Prior art date
Application number
KR1020180005063A
Other languages
English (en)
Other versions
KR102045219B1 (ko
Inventor
샤이-용 센
민-창 치
부디만 고스노 에릭
Original Assignee
칼-콤프 빅 데이터, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 칼-콤프 빅 데이터, 인크. filed Critical 칼-콤프 빅 데이터, 인크.
Publication of KR20190037051A publication Critical patent/KR20190037051A/ko
Application granted granted Critical
Publication of KR102045219B1 publication Critical patent/KR102045219B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62B—DEVICES, APPARATUS OR METHODS FOR LIFE-SAVING
    • A62B35/00—Safety belts or body harnesses; Similar equipment for limiting displacement of the human body, especially in case of sudden changes of motion
    • A62B35/0006—Harnesses; Accessories therefor
    • A62B35/0012—Sit harnesses
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41F—GARMENT FASTENINGS; SUSPENDERS
    • A41F1/00—Fastening devices specially adapted for garments
    • A41F1/02—Buttonholes; Eyelets for buttonholes
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41F—GARMENT FASTENINGS; SUSPENDERS
    • A41F3/00—Braces
    • A41F3/04—Means for joining the strips, tongues, or the like, to the body of the braces
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41F—GARMENT FASTENINGS; SUSPENDERS
    • A41F9/00—Belts, girdles, or waistbands for trousers or skirts
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62B—DEVICES, APPARATUS OR METHODS FOR LIFE-SAVING
    • A62B35/00—Safety belts or body harnesses; Similar equipment for limiting displacement of the human body, especially in case of sudden changes of motion
    • A62B35/0006—Harnesses; Accessories therefor
    • A62B35/0025—Details and accessories
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04G—SCAFFOLDING; FORMS; SHUTTERING; BUILDING IMPLEMENTS OR AIDS, OR THEIR USE; HANDLING BUILDING MATERIALS ON THE SITE; REPAIRING, BREAKING-UP OR OTHER WORK ON EXISTING BUILDINGS
    • E04G21/00—Preparing, conveying, or working-up building materials or building elements in situ; Other devices or measures for constructional work
    • E04G21/32—Safety or protective measures for persons during the construction of buildings
    • E04G21/3204—Safety or protective measures for persons during the construction of buildings against falling down
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Textile Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Public Health (AREA)
  • Tourism & Hospitality (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법에 관한 것으로서, 그 중, 눈썹 모양 미리보기 방법은 얼굴 영상을 취득하는 단계; 얼굴 영상으로부터 눈 영상을 식별하는 단계; 눈 영상의 위치 및 눈썹 오프셋에 의하여 투영 위치를 계산하는 단계; 미리보기 모드에서 얼굴 영상을 표시하고 투영 위치에 표준 눈썹 영상을 표시하는 단계; 및, 보조 모드에서 얼굴 영상을 표시하고 투영 위치에 표준 눈썹 영상에 대응되는 눈썹 모양 윤곽 도안을 표시하는 단계; 를 포함하여 구성된다. 본 발명은 사용자가 눈썹 화장 후의 눈썹 모양에 불만족하는 현상을 효과적으로 방지할 수 있고, 더 나아가서 눈썹 화장의 기술 난이도를 낮추고 눈썹 화장의 성공 확율을 향상시킬 수 있다.

Description

증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법 {Body Information Analysis Apparatus Combining with Augmented Reality and Eyebrow Shape Preview Method thereof}
본 발명은 장치 및 방법에 관한 것으로서, 더욱 상세하게는 증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법에 관한 것이다.
눈썹 화장은 기술 난이도가 매우 높은 화장 항목 중의 하나이다. 성공적인 눈썹 화장은 남에게 가져 주는 얼굴형 감각을 변화시킬 수 있고, 더 나아가서 남에게 가져 주는 외모 인상을 개선시킬 수 있다.
일반적으로, 사용자는 거울 앞에 앉아서 눈썹 화장을 하거나, 또는 스마트폰의 카메라 및 스크린을 이용하여 거울을 대체하여 눈썹 화장을 하게 된다.
하지만, 사용자가 눈썹 화장을 하기 전에, 통상적으로 화장하고자 하는 눈썹 모양이 자신의 얼굴형에 적합한지 상상할 수 밖에 없다. 또한, 눈썹 화장을 할 때에도 상상에 따라 눈썹 화장을 할 수 밖에 없다. 따라서, 경험이 부족한 사용자는 자주 눈썹 화장 동작이 완성된 다음에야 눈썹 모양이 자신의 얼굴형에 부합되지 않는 것을 발견하게 된다. 또한, 눈썹 화장 기술에 능숙하지 못한 사용자들은 자주 눈썹 화장 속도가 너무 느리거나 또는 화장한 후의 눈썹 모양이 상상과 다른 문제를 겪게 된다.
이에 따라, 현재 경험이 부족하거나 눈썹 화장 기술에 능숙하지 못한 사용자에게 효과적으로 도움을 주어 적합한 눈썹 모양을 선택하고 빠른 속도로 눈썹 화장을 완성하도록 할 수 있는 보조 장치가 시급히 필요한 현황이다.
본 발명은 증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법을 제공함으로써 증강 현실 기술을 사용하여 사용자에게 도움을 주어 적합한 눈썹 모양을 선택하고 빠른 속도로 눈썹 화장을 완성하도록 할 수 있다.
일 실시예에 있어서, 증강 현실과 결합된 눈썹 모양 미리보기 방법은 신체 정보 분석 장치에 적용되고, 신체 정보 분석 장치의 영상 취득 모듈을 제어하여 얼굴 영상을 취득하는 단계; 신체 정보 분석 장치의 처리 유닛을 제어하여 얼굴 영상으로부터 눈 영상을 식별하는 단계; 처리 유닛이 눈 영상의 위치 및 눈썹 오프셋에 의하여 투영 위치를 계산하는 단계; 미리보기 모드에서 투영 위치에 의하여 얼굴 영상 및 표준 눈썹 영상을 합성하여 합성 영상을 생성하고 신체 정보 분석 장치의 디스플레이 모듈을 제어하여 합성 영상을 표시하는 단계; 및, 보조 모드에서 디스플레이 모듈을 제어하여 얼굴 영상을 표시하고 투영 위치에 표준 눈썹 영상에 대응되는 눈썹 모양 윤곽 도안을 표시하는 단계; 를 포함하여 구성된다.
일 실시예에 있어서, 증강 현실과 결합된 신체 정보 분석 장치는 영상 취득 모듈, 영상 취득 모듈에 전기적으로 연결되는 처리 유닛, 및 디스플레이 모듈을 포함하여 구성된다. 영상 취득 모듈은 외부 영상을 취득하기 위하여 사용된다. 처리 유닛은 얼굴 영상으로부터 눈 영상을 식별하고, 눈 영상의 위치 및 눈썹 오프셋에 의하여 투영 위치를 계산한다. 디스플레이 모듈은 미리보기 모드에서 합성 영상을 표시하되, 그 중, 합성 영상은 처리 유닛이 투영 위치에 의하여 얼굴 영상 및 표준 눈썹 영상을 합성하여 생성한 것이다. 또한, 디스플레이 모듈은 보조 모드에서 얼굴 영상을 표시하고, 투영 위치에 표준 눈썹 영상에 대응되는 눈썹 모양 윤곽 도안을 표시한다.
본 발명은 미리보기 모드를 통하여 사용자가 눈썹 화장 결과를 미리 확인할 수 있도록 함으로써 사용자가 눈썹 화장 후의 눈썹 모양에 불만족하는 현상을 효과적으로 방지할 수 있다. 또한, 본 발명은 보조 모드를 통하여 사용자가 직관적이고 정확하게 눈썹 화장을 실행할 수 있도록 하고, 더 나아가서 눈썹 화장의 기술 난이도를 낮추고 눈썹 화장의 성공 확율을 향상시킬 수 있다.
도 1은 본 발명의 제1 실시예에 따른 시스템 구성도이다.
도 2는 본 발명에 따른 신체 정보 분석 장치의 제1 예시도이다.
도 3은 본 발명에 따른 신체 정보 분석 장치의 제2 예시도이다.
도 4는 본 발명의 제1 실시예에 따른 신체 정보 분석 장치의 구성도이다.
도 5는 본 발명의 제1 실시예에 따른 처리 유닛의 예시도이다.
도 6은 본 발명의 제1 실시예에 따른 눈썹 모양 미리보기 방법의 흐름도이다.
도 7a는 본 발명의 제2 실시예에 따른 눈썹 모양 미리보기 방법의 제1 부분 흐름도이다.
도 7b는 본 발명의 제2 실시예에 따른 눈썹 모양 미리보기 방법의 제2 부분 흐름도이다.
도 8은 본 발명의 제3 실시예에 따른 눈썹 모양 미리보기 방법의 흐름도이다.
도 9는 얼굴 분석의 예시도이다.
도 10은 원시 얼굴 영상의 예시도이다.
도 11은 본 발명에 따른 미리보기 모드의 표시 화면의 예시도이다.
도 12는 본 발명에 따른 보조 모드의 표시 화면의 예시도이다.
도 13은 본 발명에 따른 투영 위치 계산의 제1 예시도이다.
도 14는 본 발명에 따른 투영 위치 계산의 제2 예시도이다.
도 15는 본 발명에 따른 투영 위치 계산의 제3 예시도이다.
도 16은 본 발명에 따른 특징 분석의 제1 예시도이다.
도 17은 본 발명에 따른 특징 분석의 제2 예시도이다.
도 18a는 본 발명에 따른 조절 전의 투영 위치의 예시도이다.
도 18b는 본 발명에 따른 조절 후의 투영 위치의 예시도이다.
도 19a는 본 발명에 따른 조절 전의 눈썹 모양의 예시도이다.
도 19b는 본 발명에 따른 조절 후의 눈썹 모양의 예시도이다.
이하, 첨부된 도면 및 구체적인 실시예를 참조하여 본 발명의 기술적 방안에 대하여 상세하게 설명함으로써 본 발명의 목적, 방안 및 효과를 더욱 명확하게 이해할 수 있도록 한다. 하지만, 이는 본 발명에 첨부된 청구항의 보호 범위를 한정하고자 하는 것은 아니다.
본 발명은 신체 정보 분석 장치(1)(이하 분석 장치(1)로 약함)를 공개한 것으로서, 상기 분석 장치(1)는 주로 하나의 눈썹 모양 미리보기 방법(이하 미리보기 방법으로 약함)을 실행하여 사용자가 손쉽게 다양한 유형의 눈썹 모양의 시각적 감각을 미리 확인하고 현재 눈썹 모양 및 특정 눈썹 모양 사이의 차이를 비교하여 사용자에게 도움을 주어 적합한 눈썹 모양을 선택하여 눈썹 화장 동작을 실행할 수 있도록 한다.
도 1을 참조하면, 도 1은 본 발명의 제1 실시예에 따른 시스템 구성도이다. 도 1에 도시된 실시예에 있어서, 사용자는 전자 장치(2)를 조작하여 분석 장치(1)에 대한 설정을 실행할 수 있다.
구체적으로 말하면, 전자 장치(2)의 메모리(미도시)에는 소프트웨어(21)가 설치되어 있다. 소프트웨어(21)는 분석 장치(1)와 연결(예를 들면 분석 장치(1)의 제조업체가 개발 및 제공한 응용 프로그램)하는데 사용된다. 또한, 사용자는 운영 소프트웨어(21)를 사용하여 분석 장치(1)에 대하여 다양한 설정 동작(예를 들면 사용자 정보의 입력, 사용자의 얼굴 영상의 등록 및/또는 다양한 사전 설정값의 설정 등)을 실행할 수 있다.
일 실시예에 있어서, 사용자는 또한 직접 분석 장치(1)의 입력 인터페이스(예를 들면 도 4에 도시된 입력 인터페이스(15))를 직접 조작하여 다양한 설정 동작을 실행할 수도 있다.
일 실시예에 있어서, 분석 장치(1)의 무선 송수신 모듈(16)은 Wi-Fi 통신 기술, 블루투스 통신 기술, Zigbee 통신 기술, 무선 주파수(RF) 통신 기술, 적외선 통신 기술, 광 통신 기술, 음성 통신 기술 및/또는 기타 무선 통신 기술을 통하여 전자 장치(2)와의 데이터 송수신을 실행한다.
일 실시예에 있어서, 분석 장치(1)는 소재 구역 상의 무선 라우터(3)에 연결하여 무선 라우터(3)를 통하여 인터넷(4)에 접속할 수 있다. 이에 따라, 분석 장치(1)는 인터넷(4)을 통하여 펌웨어 업데이트, 데이터 업로드 및 다운로드 등 동작을 실행할 수 있다. 또한, 분석 장치(1)는 인터넷(4)을 통하여 사용자의 신체 정보(예를 들면 후술되는 얼굴 영상, 눈썹 영상, 눈 영상 및/또는 눈썹 모양 윤곽 도안 등)를 원격 컴퓨터 장치(미도시)에 송신함으로써, 사용자가 원격으로 조회할 수 있도록 하거나 이를 통하여 원격 백업의 목적을 실현할 수도 있다.
도 2 및 도 3을 동시에 참조하면, 도 2는 본 발명에 따른 신체 정보 분석 장치의 제1 예시도이고, 도 3은 본 발명에 따른 신체 정보 분석 장치의 제2 예시도이다. 도 2 및 도 3의 실시예에 따른 분석 장치(1)는 주로 사용자의 침실 또는 화장실에 설치되어 사용자가 신체 정보(예를 들면 얼굴, 목 또는 손)를 검측 및 분석할 수 있도록 한다.
분석 장치(1)에는 거울면 스크린(11)이 구비된다. 분석 장치(1)가 시동(도 2에 도시된 바와 같이)되면 거울면 스크린(11)을 통하여 그래픽 유저 인터페이스(Graphical User Interface, GUI)를 표시하는 동시에 그래픽 유저 인터페이스를 통하여 사용자와의 대화를 실현할 수 있다. 한편, 분석 장치(1)가 꺼져(도 3에 도시된 바와 같이) 있을 때, 거울면 스크린(11)은 단순히 거울로 사용되어 사용자의 광학적 거울상(5)을 반사할 수도 있다.
본 발명은 주로 분석 장치(1)를 통하여 사용자가 화장 후의 결과를 미리 확인하도록 하고 사용자에게 도움을 주어 화장 동작(예를 들면 눈썹 화장)을 실행하기 때문에, 거울면 스크린(11)은 그래픽 사용자 인터페이스를 표시하는 동시에 사용자의 광학적 거울상(5)을 반사함으로써, 사용자가 화장을 진행할 때 사용자의 화장 상태를 분석하는 동시에 보조 작용을 일으키도록 할 수 있다(후술되는 내용에서 상세하게 설명).
일 실시예에 있어서, 분석 장치(1)에는 영상 취득 모듈(12)이 더 구비되되, 분석 장치(1)에 설치되고 각도에 대한 조절을 실행할 수 있다. 일 실시예에 있어서, 영상 취득 모듈(12)은 사용자에 대한 촬영을 통하여 고해상도 영상(예를 들면 얼굴 영상, 목 영상 또는 손 영상 등)을 취득할 수 있고, 분석 장치(1)는 상기 영상에 의하여 사용자의 신체 정보 및 화장 진도를 분석할 수 있다. 다른 실시예에 있어서, 영상 취득 모듈(12)은 외부 정보(예를 들면 바코드, QR 코드 등)를 취득한 다음 정보의 내용에 의하여 대응되는 데이터를 취득할 수 있다.
또한, 분석 장치(1)는 영상 취득 모듈(12)을 통하여 취득한 영상을 실시간으로 거울면 스크린(11)에 표시한다. 이에 따라, 거울면 스크린(11)이 꺼져 있지 않더라도, 사용자는 실시간으로 거울면 스크린(11)을 통하여 자신의 전자적 거울상(5)을 관찰할 수 있게 된다.
더 나아가서, 분석 장치(1)는 우선 취득한 영상에 대하여 실시간 처리(예를 들면 사용자가 선택한 표준 눈썹 영상, 후술되는 눈썹 모양 윤곽 도안 등 표기, 또는 기타 사용자에게 도움을 주어 눈썹 화장을 할 수 있도록 하는 그래픽 또는 문자 지시 정보를 영상으로 추가)를 실행한 다음, 처리 후의 영상을 거울면 스크린(11)에 표시할 수도 있다.
이에 따라, 분석 장치(1)는 증강 현실(Augmented Reality, AR)의 방식으로 사용자가 화장할 때 실시간 및 직관적으로 거울면 스크린(11) 상에 보조 정보를 제공함으로써 사용자 체험을 효과적으로 향상시킬 수 있다(후술되는 내용에서 상세하게 설명).
일 실시예에 있어서, 거울면 스크린(11)을 터치 스크린으로 구성함으로써 사용자는 거울면 스크린(11)을 통하여 분석 장치(1)에 대하여 데이터 입력 동작을 실행할 수 있다.
분석 장치(1)는 복수의 버튼(13)을 더 구비할 수 있다. 본 실시예에 있어서, 복수의 버튼(13)은 실체 버튼(button) 또는 터치 키(touch key)일 수 있으나 이에 한정되는 것은 아니다. 사용자는 버튼(13)을 촉발함으로써 상기 그래픽 유저 인터페이스를 제어(예를 들면 그래픽 유저 인터페이스를 제어하여 메인 페이지, 이전 페이지 또는 다음 페이지로 이동)하거나, 또는 분석 장치(1)가 대응되는 기능(예를 들면 거울면 스크린(11) 열기, 거울면 스크린(11) 닫기, 영상 취득 모듈(12) 시동 등)을 바로 실행하도록 할 수 있다.
분석 장치(1)는 하나 또는 복수의 센서(14)(예를 들면 온도 센서, 습도 센서 등)를 더 구비하여 분석 장치(1)가 위치한 환경의 환경 데이터를 감지함으로써 분석 장치(1)의 사용자 신체 정보 감지 및 분석 정확도를 향상시킬 수 있다. 일 실시예에 있어서, 상기 센서(14)는 동작 센서(motion sensor)로서 분석 장치(1)가 동작 센서를 통하여 사용자의 이동 손동작(예를 들면 왼쪽으로 이동, 오른쪽으로 이동, 위로 이동, 아래로 이동, 앞으로 이동 또는 뒤로 이동 등)을 감지하도록 할 수 있다. 이에 따라, 사용자는 손동작을 통하여 상기 거울면 스크린(11) 또는 버튼(13)에 대한 조작이 필요 없이 지문이 남겨지지 않는 상태로 분석 장치(1)에 대한 데이터 입력 동작을 실행할 수 있다.
이어서 도 4를 참조하면, 도 4는 본 발명의 제1 실시예에 따른 신체 정보 분석 장치의 구성도이다. 도 4에 도시된 바와 같이, 분석 장치(1)는 주로 처리 유닛(10), 그리고 처리 유닛(10)과 전기적으로 연결되는 디스플레이 모듈(111), 영상 취득 모듈(12), 입력 인터페이스(15), 무선 송수신 모듈(16) 및 메모리(17)를 포함하여 구성된다.
일 실시예에 있어서, 영상 취득 모듈(12)은 카메라 또는 비디오 카메라로 구성되어 외부 영상(예를 들면 사용자의 얼굴 영상) 및 외부 정보를 취득하기 위하여 사용된다. 분석 장치(1)는 외부 영상을 이용한 사용자 식별(예를 들면 눈썹 식별, 눈 식별, 얼굴 식별, 목 식별 또는 손 식별 등)을 통하여 사용자의 눈썹, 눈, 얼굴, 목 또는 손 등 부위에 대한 분석을 실행하거나, 또는 외부 정보의 내용에 의하여 대응되는 동작을 실행할 수 있다.
디스플레이 모듈(111)은 상기 그래픽 유저 인터페이스를 표시한다. 일 실시예에 있어서, 디스플레이 모듈(111)은 상기 거울면 스크린(11)에 설치된다. 디스플레이 모듈(111)이 활성화될 때, 디스플레이 모듈(111)의 광원은 거울면 스크린(11)의 단일 방향 유리(미도시)를 투과하여 사용자의 눈에 입사됨으로써 사용자가 거울면 스크린(11)을 통하여 그래픽 유저 인터페이스를 관찰할 수 있도록 한다. 디스플레이 모듈(111)이 비활성화될 때, 단일 방향 유리의 단일면 광 투과 특성으로 인하여, 사용자는 거울면 스크린(11)을 통하여 자신의 광학적 거울상(5)을 관찰할 수 있게 된다. 일 실시예에 있어서, 분석 장치(1)는 디스플레이 모듈(111)의 광원 세기 또는 디스플레이 구역을 조절함으로써 거울면 스크린(11)이 사용자의 광학적 거울상(5)을 반사하는 동시에 그래픽 유저 인터페이스를 표시하도록 할 수 있다.
분석 장치(1)는 입력 인터페이스(15)를 통하여 사용자의 외부 입력을 접수함으로써 사용자와 그래픽 유저 인터페이스 사이의 대화를 실현하거나 필요한 설정 동작을 실행하도록 할 수 있다. 일 실시예에 있어서, 입력 인터페이스(15)는 상기 센서(14)로 구성되어 사용자의 손동작 입력을 감지할 수 있다. 다른 실시예에 있어서, 입력 인터페이스(15)는 상기 영상 취득 모듈(12)로 구성되어 외부 영상 또는 외부 정보를 취득할 수 있다. 또 다른 실시예에 있어서, 입력 인터페이스(15)는 터치 스크린 또는 버튼(13)으로 구성되어 사용자의 입력 동작을 접수할 수 있다. 또 다른 실시예에 있어서, 입력 인터페이스(15)는 마이크로 구성되어 외부의 음성 정보를 접수할 수 있다.
무선 송수신 모듈(16)은 인터넷(4) 연결에 사용된다. 구체적으로 말하면, 사용자는 인터넷(4)을 통하여 분석 장치(1)로 원격 접속함으로써 분석 장치(1)에 기록된 다양한 정보(예를 들면 신체 정보)를 수시로 조회할 수 있다. 메모리(17)는 데이터를 저장하는데 사용된다.
처리 유닛(10)은 디스플레이 모듈(111), 영상 취득 모듈(12), 입력 인터페이스(15), 무선 송수신 모듈(16) 및 메모리(17)와 연결되고 메모리(17)(예를 들면 비일시적 저장 매체(Non-transient storage medium))에는 컴퓨터로 실행 가능한 프로그램 코드(미도시)가 저장된다. 처리 유닛(10)은 상기 컴퓨터로 실행 가능한 프로그램 코드를 통하여 본 발명에 따른 미리보기 방법을 실현할 수 있다.
동시에 도 5를 참조하면, 도 5는 본 발명의 제1 실시예에 따른 처리 유닛의 예시도이다. 구체적으로 말하면, 처리 유닛(10)은 주로 상기 컴퓨터로 실행 가능한 프로그램 코드를 통하여 본 발명에 따른 미리보기 방법 중의 각 기능을 실행하되, 다양한 기능에 따라서 상기 컴퓨터로 실행 가능한 프로그램 코드를 하기와 같은 기능 모듈로 구분할 수 있다.
1. 얼굴 비교 모듈(101), 영상 취득 모듈(12)을 통하여 취득한 얼굴 영상에 대하여 얼굴 식별 처리를 실행하기 위하여 사용된다. 구체적으로 말하면, 얼굴 식별 모듈(101)은 얼굴 영상으로부터 얼굴 각 부위의 영상(예를 들면 눈썹 영상, 눈 영상, 코 영상, 귀 영상 또는 입 영상 등)을 식별해낼 수 있다. 일 실시예에 있어서, 얼굴 식별 모듈(101)은 얼굴 영상에 대하여 얼굴 분석 처리를 실행함으로써 각 부위 영상의 복수개 특징점(예를 들면 도 9에 도시된 특징점(6))을 식별하되, 그 중, 각 특징점은 각각 사용자 얼굴의 특정 부위의 다양한 특징(예를 들면 눈썹의 눈썹머리, 눈썹꼬리 또는 눈썹융기, 코의 콧등, 콧마루 또는 비익, 눈의 눈머리 또는 눈꼬리)에 대응된다.
2. 계산 모듈(102), 사용자의 눈 및 눈썹 사이의 눈썹 오프셋을 계산하고 눈썹 오프셋에 의하여 사용자가 선택한 표준 눈썹 영상 또는 상기 특정 부위의 투영 도안의 투영 위치를 계산하기 위하여 사용된다.
3. 조절 모듈(103), 사용자 눈썹의 눈썹 모양 및 선택한 표준 눈썹 영상의 눈썹 모양에 의하여 한 조의 조절 파라미터 세트를 계산하고 조절 파라미터 세트에 의하여 표준 눈썹 영상의 크기, 각도 또는 위치를 계산함으로써, 조절 후의 표준 눈썹 영상 및 사용자의 눈썹 사이에 비교적 높은 유사도를 가져 더욱 자연스럽도록 하기 위하여 사용된다.
4. 제도 모듈(104), 상기 투영 도안을 제도하기 위하여 사용된다.
5. 합성 모듈(105), 복수개 영상을 단일 합성 영상으로 합성하기 위하여 사용된다.
일 실시예에 있어서, 얼굴 분석 모듈(101)은 얼굴 영상으로부터 각 눈썹 영상의 복수개 눈썹 특징점을 식별한다. 계산 모듈(102)은 눈썹 오프셋을 계산하고 눈썹 오프셋에 의하여 투영 위치를 계산한다. 조절 모듈(103)은 조절 파라미터 세트를 계산하고 조절 파라미터 세트에 의하여 표준 눈썹 영상을 조절한다. 제도 모듈(104)은 (조절 후의) 표준 눈썹 영상의 복수개 표준 특징점에 의하여 눈썹 모양 윤곽 도안(즉, 눈썹의 윤곽 또는 범위를 지시하기 위한 투영 도안)을 제도한다. 합성 모듈(105)은 투영 위치에 의하여 얼굴 영상 및 표준 눈썹 영상을 합성하여 합성 영상을 생성한다. 마지막으로, 처리 유닛(10)은 미리보기 모드에서 디스플레이 모듈(111)을 제어하여 합성 영상을 표시하고 보조 모드에서 디스플레이 모듈(111)을 제어하여 얼굴 영상 및 눈썹 모양 윤곽 도안을 동시에 표시한다.
이에 따라, 본 발명은 미리보기 모드에서 가상의 눈썹 화장 효과를 표시(즉, 표준 눈썹 영상을 표시)함으로써 사용자가 눈썹 모양 선택의 근거로 사용하도록 할 수 있다. 또한, 본 발명은 보조 모드에서 눈썹 모양 윤곽 도안을 적절한 위치에 투영함으로써 사용자가 화장의 근거로 사용하도록 할 수 있다.
이어서 도 6 및 도 9 내지 도 12를 참조하면, 도 6은 본 발명의 제1 실시예에 따른 눈썹 모양 미리보기 방법의 흐름도이고, 도 9는 얼굴 분석의 예시도이며, 도 10은 원시 얼굴 영상의 예시도이고, 도 11은 본 발명에 따른 미리보기 모드의 표시 화면의 예시도이며, 도 12는 본 발명에 따른 보조 모드의 표시 화면의 예시도이다. 본 발명에 따른 분석 장치(1)는 처리 유닛(10)을 통하여 상기 컴퓨터로 실행 가능한 프로그램 코드(예를 들면 상기 각 기능 모듈(101~105))을 실행함으로써 본 발명의 각 실시예에 따른 미리보기 방법의 각 단계를 실현한다.
본 실시예에 따른 미리보기 방법은 미리보기 기능 및 눈썹 모양 보조 비교 기능을 실현하기 위한 하기 단계를 포함하여 구성된다.
S100 단계 : 분석 장치(1)의 처리 유닛(10)은 한 조의 표준 눈썹 영상(예를 들면 도 11에 도시된 표준 눈썹 영상(81~82))을 취득하고 상기 표준 눈썹 영상에 대응되는 한 조의 눈썹 모양 윤곽 도안(예를 들면 도 12에 도시된 눈썹 모양 윤곽 도안(71~72))을 취득한다.
일 실시예에 있어서, 분석 장치(1)의 메모리(17)에는 다양한 복수개 표준 눈썹 영상이 미리 저장될 수 있고, 각 표준 눈썹 영상에 대응되는 눈썹 모양 윤곽 도안이 저장될 수 있으며, 그 중, 각 표준 눈썹 영상은 각각 다양한 눈썹 모양에 대응된다.
처리 유닛(10)은 디스플레이 모듈(111) 또는 전자 장치(2)를 통하여 복수개 표준 눈썹 영상을 표시하고, 또한 사용자는 입력 인터페이스(15)에 대한 조작을 통하여 복수개 표준 눈썹 영상 중의 하나를 선택하는 선택 조작을 입력하거나, 또는 전자 장치(2)데 대한 조작을 통하여 복수개 표준 눈썹 영상 중의 하나를 선택하는 선택 명령을 분석 장치(1)로 송신함으로써, 복수개 표준 눈썹 영상 중의 하나를 임의로 선택할 수 있다. 마지막으로, 처리 유닛(10)은 메모리(17)로부터 사용자가 선택한 표준 눈썹 영상 및 대응되는 눈썹 모양 윤곽 도안을 판독한다.
일 실시예에 있어서, 메모리(17)에는 각 표준 눈썹 영상에 대응되는 눈썹 모양 윤곽 도안이 저장되지 않을 수 있다. 처리 유닛(10)은 특정 표준 눈썹 영상이 선택된 다음, 상기 표준 눈썹 영상에 대응되는 눈썹 모양 윤곽 도안을 실시간으로 계산한다. 이에 따라, 메모리(17)의 저장 공간 사용량을 효과적으로 줄일 수 있다.
S12 단계 : 처리 유닛(10)은 영상 취득 모듈(12)을 제어하여 사용자의 얼굴에 대하여 촬영을 실행함으로써 사용자의 얼굴 영상(예를 들면 도 9에 도시된 얼굴 영상(51))을 취득한다.
일 실시예에 있어서, 처리 유닛(10)은 실시간으로 디스플레이 모듈(111)을 제어하여 취득한 얼굴 영상(51)(예를 들면 도 10에 도시된 바와 같은 표시 화면(52))을 표시함으로써 전자 거울 효과를 실현할 수 있다.
구체적으로 말하면, 본 발명에 있어서 분석 장치(1)는 선택적으로 S100 단계 또는 S102 단계를 먼저 실행(즉, 우선 사용자가 표준 눈썹 영상을 선택하도록 하거나 또는 우선 사용자의 얼굴 영상을 취득)할 수 있는 바, 상기 공개 순서에 제한되는 것이 아니다.
S104 단계 : 처리 유닛(10)은 취득한 얼굴 영상(51)에 대하여 얼굴 분석 처리를 실행함으로써 얼굴 영상(51)으로부터 눈 영상을 식별한다.
일 실시예에 있어서, 처리 유닛(10)은 얼굴 분석 모듈(101)을 통하여 얼굴 영상(51)에 대한 분석을 실행함으로써 얼굴의 복수개 부위(예를 들면 얼굴 윤곽, 눈, 눈썹, 코, 입, 귀 및 얼굴의 기타 부위)의 영상을 식별하고, 눈 영상을 선택하여 후속 처리를 실행할 수 있다.
일 실시예에 있어서, 상기 얼굴 분석 처리는 얼굴 표기(Face Landmark) 알고리즘을 통하여 얼굴 영상(51)에 대하여 분석을 실행함으로써 얼굴 영상(51) 중 얼굴의 특정 부위의 특징을 포지셔닝할 수 있으나, 이에 한정되는 것은 아니다. 더 나아가서, 상기 얼굴 표기 알고리즘은 Dlib 라이브러리(Library)를 사용하여 실현된다.
도 9을 참조하면, 얼굴 분석 처리를 실행할 때, 얼굴 분석 모듈(101)은 상기 얼굴 표기 알고리즘을 통하여 얼굴 영상(51)에 대한 분석을 실행할 수 있다. 상기 얼굴 표기 알고리즘은 본 기술 분야 중의 통상적인 기술적 수단으로서, 기계 학습(Machine Learning) 기술을 기준으로 얼굴 영상(51)에 대하여 얼굴 분석을 실행함으로써 얼굴의 하나 또는 복수개 특정 부위(예를 들면 눈썹, 눈, 코 또는 귀)의 복수개 특징점(6)을 식별하고, 각 특징점(6)은 각각 상기 특정 부위의 다양한 특징(예를 들면 눈썹융기 및 눈썹머리, 눈꼬리 및 눈머리, 콧등 및 비익, 귓바퀴 및 귓볼 등, 예를 들면 68개 특징점(6) 또는 198개 특징점(6)일 수 있음)에 대응된다. 또한, 상기 얼굴 표기 알고리즘은 더 나아가서 특정 부위의 복수개 특징점을 얼굴 영상(51)에 표기할 수 있다.
일 실시예에 있어서, 얼굴 분석 모듈(101)은 각 특징점(6)이 소속되는 부위 및 대응되는 특징에 의하여 각 특징점(6)에 번호를 매길 수 있다.
이에 따라, 본 발명은 복수개 특징점(6)의 번호, 형상, 순서 등 정보에 의하여 얼굴 영상(51) 중에서 각 부위의 위치를 확정함으로써 특정 부위를 식별할 수 있다. 본 발명에 있어서, 분석 장치(1)는 주로 복수개 특징점(6)을 통하여 적어도 얼굴 영상(51)으롯부터 왼쪽 눈썹 및 오른쪽 눈썹(눈썹 영상에 대응됨), 왼쪽 눈 및 오른쪽 눈(눈 영상에 대응됨) 등 부위를 식별하지만 이에 한정되는 것은 아니다.
다시 도 6을 참조하면, S106 단계를 실행, 즉, 눈 영상의 위치 및 한 조의 눈썹 오프셋에 의하여 표준 눈썹 영상 및 눈썹 모양 윤곽 영상의 투영 위치를 계산한다.
일 실시예에 있어서, 분석 장치(1)의 메모리(17)에는 복수개 눈썹 오프셋이 저장되고, 각 눈썹 오프셋은 각각 각 표준 눈썹 영상에 대응되며, 사용자가 S100 단계에서 그 중 한 조의 표준 눈썹 영상을 선택한 다음, 분석 장치(1)는 대응되는 눈썹 오프셋을 취득할 수 있다.
일 실시예에 있어서, 처리 유닛(10)은 계산 모듈(102)을 통하여 사용자의 눈썹 및 눈 사이의 거리(왼쪽 눈썹 및 왼쪽 눈 사이의 거리 및 오른쪽 눈썹 및 오른쪽 눈 사이의 거리를 포함)를 계산하고, 계산해낸 거리에 의하여 더 나아가서 눈썹 오프셋을 계산한다. 구체적으로 말하면, 처리 유닛(10)은 복수개 눈썹 특징점 중의 하나(예를 들면 눈썹꼬리에 대응되는 눈썹 특징점)를 선택하고, 복수개 눈 특징점 중의 하나(예를 들면 눈꼬리에 대응되는 눈 특징점)를 선택하여, 선택된 두개 특징점 사이의 거리를 계산하여 눈썹 오프셋으로 사용할 수 있다.
일 실시예에 있어서, 처리 유닛(10)은 선택된 눈 특징점의 위치로부터 계산된 눈썹 오프셋만큼 위 방향으로 수직 이동하여 다른 위치에 도달한 다음, 도달한 다른 위치를 투영 위치로 사용할 수 있다.
S108 단계 : 처리 유닛(10)은 분석 장치(1)가 미리보기 모드 또는 보조 모드로 진입하였는지 판단한다.
일 실시예에 있어서, 사용자는 전자 장치(2) 또는 입력 인터페이스(15)를 통하여 모드 변환 조작을 입력함으로써 분석 장치(1)를 제어하여 미리보기 모드로 진입하여 가상의 눈썹 모양 합성 영상을 관찰하거나, 또는 분석 장치(1)를 제어하여 보조 모드로 진입하여 눈썹 화장 동작에 보조 작용을 일으키도록 할 수 있다.
처리 유닛(10)은 분석 장치(1)가 미리보기 모드로 진입한 것으로 판단되었을 경우 S110 단계를 실행한다. 처리 유닛(10)은 분석 장치(1)가 보조 모드로 진입한 것으로 판단되었을 경우 S112 단계를 실행한다.
S110 단계 : 처리 유닛(10)은 분석 장치(1)가 미리보기 모드로 진입하였을 때, 디스플레이 모듈(111)을 통하여 사용자의 얼굴 영상을 표시하는 동시에 투영 위치에 표준 눈썹 영상을 표시함으로써 가상의 표준 눈썹 영상이 사용자의 진실한 얼굴 영상과 결합된 증강 현실 효과를 표시(예를 들면 도 11에 도시된 표시 화면(53))하되, 그 중, 표시된 표준 눈썹 영상은 표시된 얼굴 영상과 일부분 중첩되어 완전한 눈썹 양식을 표시한다.
일 실시예에 있어서, 처리 유닛(10)은 합성 모듈(105)을 통하여 표준 눈썹 영상을 얼굴 영상의 투영 위치로 합성시켜 합성 영상을 취득한다. 이어서, 처리 유닛(10)은 디스플레이 모듈(111)을 통하여 합성 영상을 표시한다.
더 나아가서, 합성 모듈(105)은 우선 얼굴 영상 중의 사용자의 눈썹 영상을 제거한 다음 표준 눈썹 영상 및 얼굴 영상을 합성하고, 표준 눈썹 영상 및 얼굴 영상 사이의 접합 위치에 대하여 영상 처리(예를 들면 소프트 에지 처리)를 실행할 수 있다. 이에 따라, 본 발명은 취득한 합성 영상에 사용자의 원시 눈썹 영상이 섞이지 않도록 확보하여 합성 영상의 진실도를 향상시킬 수 있다.
본 발명은 미리보기 모드를 통하여 사용자가 빠른 속도로 눈썹 화장 결과를 미리 확인하고 적합한 눈썹 모양을 선택할 수 있도록 함으로써 사용자가 눈썹 화장 후의 눈썹 모양에 불만족하는 현상을 효과적으로 방지할 수 있다. 사용자가 표시된 합성 영상에 불만족할 경우, 다시 분석 장치(1)를 제어하여 S100 단계 내지 S110 단계를 실행함으로써 다른 한 조의 표준 눈썹 영상을 선택하고, 다른 한 조의 표준 눈썹 영상에 의하여 새로운 합성 영상을 생성하며, 디스플레이 모듈(111)을 통하여 새로운 합성 영상을 표시하도록 할 수 있다.
처리 유닛(10)은 분석 장치(1)가 보조 모드로 진입한 것으로 판단되었을 경우 S112 단계를 실행, 즉, 처리 유닛(10)은 분석 장치(1)가 보조 모드로 진입하였을 때, 디스플레이 모듈(111)을 통하여 사용자의 얼굴 영상을 표시하는 동시에 투영 위치에 눈썹 모양 윤곽 도안(71~72)을 표시함으로써 가상의 눈썹 모양 윤곽 도안(71~72)이 사용자의 진실한 얼굴 영상과 결합된 증강 현실 효과를 표시(예를 들면 도 12에 도시된 표시 화면(54))하되, 그 중, 표시된 눈썹 모양 윤곽 도안(71~72)은 표시된 얼굴 영상과 일부분 중첩되어 대응되는 표준 눈썹 영상의 눈썹 모양 및 범위를 지시한다.
일 실시예에 있어서, 처리 유닛(10)은 합성 모듈(105)을 통하여 눈썹 모양 윤곽 도안(71~72)을 얼굴 영상의 투영 위치로 합성시켜 합성 영상을 취득한다. 이어서, 처리 유닛(10)은 디스플레이 모듈(111)을 통하여 합성 영상을 표시한다.
본 발명은 보조 모드를 통하여 사용자가 직관적이고 정확하게 눈썹 화장을 실행할 수 있도록 하고, 더 나아가서 눈썹 화장의 기술 난이도를 낮추고 눈썹 화장의 성공 확율을 향상시킬 수 있다.
더 나아가서, 본 발명에 따른 분석 장치(1)를 통하여, 사용자는 거울면 스크린(11)에서 자신의 실시간 얼굴 영상(52)과 선택된 눈썹 모양 윤곽 도안(71~72) 및 그 권장 위치를 동시에 관찰하면서 직관적이고 정확하게 눈썹 화장을 실행할 수 있도록 하고, 더 나아가서 눈썹 화장의 기술 난이도를 낮추고 눈썹 화장의 성공 확율을 향상시킬 수 있다.
이어서 도 7a, 도 7b 및 도 13 내지 도 15를 동시에 참조하면, 도 7a는 본 발명의 제2 실시예에 따른 눈썹 모양 미리보기 방법의 제1 부분 흐름도이고, 도 7b는 본 발명의 제2 실시예에 따른 눈썹 모양 미리보기 방법의 제2 부분 흐름도이며, 도 13은 본 발명에 따른 투영 위치 계산의 제1 예시도이고, 도 14는 본 발명에 따른 투영 위치 계산의 제2 예시도이며, 도 15는 본 발명에 따른 투영 위치 계산의 제3 예시도이다.
도 6에 도시된 실시예에 비하여, 본 실시예에 따른 눈썹 모양 미리보기 방법은 분석 장치(1)를 제어하여 우선 미리보기 모드로 진입하여 사용자가 마음에 드는 표준 눈썹 영상을 선택하도록 한 다음, 다시 자동으로 보조 모드로 진입하여 사용자의 눈썹 화장 동작에 도움을 줄 수 있도록 한다.
본 실시예에 따른 눈썹 모양 미리보기 방법은 하기와 같은 단계를 포함하여 구성된다.
S200 단계 : 분석 장치(1)의 처리 유닛(10)은 사용자의 조작 또는 미리 설정된 스케쥴(예를 들면 매일 오전 일곱시)에 의하여 미리보기 모드로 진입한다.
S202 단계 : 처리 유닛(10)은 사용자의 선택 조작, 선택 명령 또는 사전 설정값에 의하여 복수개 표준 눈썹 영상 중의 하나를 선택한다.
S204 단계 : 처리 유닛(10)은 영상 취득 모듈(12)을 제어하여 사용자의 얼굴에 대하여 촬영을 실행함으로써 사용자의 얼굴 영상을 취득한다.
S206 단계 : 처리 유닛(10)은 취득한 얼굴 영상(51)에 대하여 얼굴 분석 처리를 실행함으로써 얼굴 영상(51)으로부터 눈 영상을 식별한다.
S208 단계 : 처리 유닛(10)은 눈 영상의 위치에 의하여 눈썹 오프셋을 계산한다.
예를 들면, 도 13에 도시된 바와 같이, 얼굴 분석 처리를 실행한 다음, 처리 유닛(10)은 눈 영상의 복수개 눈 특징점(62) 및 눈썹 영상의 복수개 눈썹 특징점(61)을 식별하되, 그 중, 복수개 눈 특징점(62)은 각각 눈의 다양한 특징에 대응되고 복수개 눈썹 특징점(61)은 눈썹의 다양한 특징에 대응된다.
이어서, 도 14에 도시된 바와 같이, 처리 유닛(10)은 복수개 눈썹 특징점(61) 중의 하나(눈썹꼬리에 대응되는 눈썹꼬리 특징점(610)을 선택하는 경우를 예로 듦) 및 복수개 눈 특징점(62) 중의 하나(눈꼬리에 대응되는 눈꼬리 특징점(620)을 선택하는 경우를 예로 듦)를 선택하고, 선택된 눈썹꼬리 특징점(610) 및 선택된 눈꼬리 특징점(620) 사이의 거리를 계산하며, 계산해낸 거리를 눈썹 오프셋으로 사용한다.
일 실시예에 있어서, 처리 유닛(10)은 두개 특징점 사이의 수직 거리(D)를 계산하여 눈썹 오프셋으로 사용한다.
S210 단계 : 처리 유닛(10)은 눈 영상의 위치 및 한 조의 눈썹 오프셋에 의하여 표준 눈썹 영상 및 눈썹 모양 윤곽 영상의 투영 위치를 계산한다.
예를 들면, 도 15에 도시된 바와 같이, 처리 유닛(10)은 눈꼬리에 대응되는 눈꼬리 특징점(620)으로부터 눈썹 오프셋만큼 위 방향으로 수직 이동하고, 도달한 위치를 투영 위치(예를 들면 투영 위치(73))로 사용한다.
특별히 설명하여야 할 것은, 도 13 내지 도 15는 왼쪽 눈썹 및 왼쪽 눈 사이의 눈썹 오프셋을 예로 들어 설명하였으나, 오른쪽 눈썹 및 오른쪽 눈 사이의 눈썹 오프셋을 사용할 수도 있으며, 이를 한정하는 것이 아니다. 또한, 본 발명의 처리 유닛(10)은 선택적으로 왼쪽 눈썹 및 왼쪽 눈 사이의 눈썹 오프셋을 먼저 계산하거나, 또는 오른쪽 눈썹 및 오른쪽 눈 사이의 눈썹 오프셋을 먼저 계산하거나, 또는 멀티 태스킹 처리를 통하여 양 조의 눈썹 오프셋을 동시에 계산할 수 있는 바, 이를 한정하는 것이 아니다.
S212 단계 : 처리 유닛(10)은 표준 눈썹 영상을 얼굴 영상의 투영 위치로 합성시켜 합성 영상을 취득하고, 디스플레이 모듈(111)을 통하여 합성 영상을 표시함으로써 사용자가 현재 선택한 눈썹 모양이 자신에게 어울리는지 판단하도록 한다. 일 실시예에 있어서, 영상을 합성하는 단계는 영상 처리를 통하여 사용자의 원래 눈썹을 제거하고 표준 눈썹을 남겨 두는 단계를 더 포함하여 구성된다.
S214 단계 : 처리 유닛(10)은 분석 장치(1)가 미리보기 모드를 퇴출하였는지 판단한다.
사용자가 전자 장치(2)를 통하여 확인 명령을 송신하거나 또는 입력 인터페이스(15)를 통하여 확인 조작을 입력한 다음, 처리 유닛(10)은 사용자가 현재 선택한 표준 눈썹 영상에 의하여 눈썹 화장 동작을 실행하고자 하는 것으로 판단하고 자동으로 미리보기 모드를 퇴출한다. 그러지 아니하면, 처리 유닛(10)은 분석 장치(1)가 미리보기 모드를 퇴출하지 않은 것으로 판단하고 다시 S202~S212 단계를 실행하여 사용자가 다른 한 조의 표준 눈썹 영상을 선택 및 미리 확인할 수 있도록 한다.
S216 단계 : 처리 유닛(10)은 분석 장치(1)를 제어하여 보조 모드로 진입한다.
S218 단계 : 처리 유닛(10)은 확인된 표준 눈썹 영상에 대응되는 눈썹 모양 윤곽 도안을 취득한다.
일 실시예에 있어서, 표준 눈썹 영상에는 복수개 표준 특징점이 미리 설정되어 있고, 처리 유닛(10)은 제도 모듈(104)을 통하여 복수개 표준 특징점을 연결함으로써 대응되는 눈썹 모양 윤곽 도안을 제도할 수 있다.
이어서, 처리 유닛(10)은 S220~S226 단계를 실행한다. S220~S226 단계는 S204~210 단계와 동일하거나 유사하기 때문에, 상세한 설명은 생략하기로 한다.
이어서, 처리 유닛(10)은 S228 단계를 실행, 즉, 처리 유닛(10)은 디스플레이 모듈(111)을 통하여 사용자의 얼굴 영상을 표시하는 동시에, 투영 위치에 눈썹 모양 윤곽 도안을 표시한다.
S230 단계 : 처리 유닛(10)은 분석 장치(1)가 보조 모드를 퇴출하였는지 판단한다.
사용자가 눈썹 화장을 완성하고 전자 장치(2)를 통하여 비활성화 명령을 송신하거나 또는 입력 인터페이스(15)를 통하여 비활성화 조작을 입력한 다음, 처리 유닛(10)은 사용자가 눈썹 화장을 완성한 것으로 판단하고 자동으로 보조 모드를 퇴출한다. 그러지 아니하면, 처리 유닛(10)은 분석 장치(1)가 보조 모드를 퇴출하지 않은 것으로 판단하고 다시 S218~S228 단계를 실행하여 계속하여 사용자의 눈썹 화장 동작에 도움을 주도록 한다.
특별히 설명하여야 할 것은, 미리보기 모드에서 S200~S214 단계를 중복적으로 실행함으로써 본 발명은 사용자의 얼굴 위치가 이동될 때 새로운 투영 위치를 다시 계산하고 영상 합성을 다시 실행하여 합성 영상을 표시함으로써 거울면 스크린(11)을 통하여 표시되는 합성 영상이 사용자의 이동을 표시하도록 하여 증강 현실의 효과를 실현할 수 있다. 또한, 보조 모드에서 S218~S230 단계를 중복적으로 실행함으로써 본 발명은 사용자의 얼굴 위치가 이동될 때 새로운 투영 위치를 다시 계산하고 눈썹 모양 윤곽 도안을 다시 투영함으로써 거울면 스크린(11)을 통하여 표시되는 눈썹 모양 윤곽 도안이 사용자에 따라 이동하도록 하여 증강 현실의 효과를 실현할 수 있다.
특별히 설명하여야 할 것은, 통상적으로 매개인의 얼굴형 또는 크기는 완전히 동일하지 않다. 따라서, 서로 다른 사용자가 완전히 동일한 표준 눈썹 영상에 의하여 눈썹 화장을 실행할 때, 눈썹 화장 후의 눈썹 비례가 사용자의 얼굴형 또는 크기에 적합하지 않아 자연스럽지 못한 현상이 발생할 가능성이 있다.
상기와 같은 문제를 해결하기 위하여, 본 발명은 더 나아가서 표준 눈썹 영상의 수식 기능을 제공하는 바, 눈썹 화장 전의 눈썹의 형상, 각도 또는 위치에 의하여 표준 눈썹 영상 및 눈썹 모양 윤곽 도안의 형상 또는 각도를 조절하거나 또는 투영 위치를 조절함으로써 미리 확인되는 표준 눈썹 영상이 사용자에게 더욱 적합하여 눈썹 화장을 완성한 후의 눈썹이 더욱 자연스럽도록 할 수 있다.
이어서 도 6, 도 8 및 도 16 내지 도 19b를 동시에 참조하면, 도 8은 본 발명의 제3 실시예에 따른 눈썹 모양 미리보기 방법의 흐름도이고, 도 16은 본 발명에 따른 특징 분석의 제1 예시도이며, 도 17은 본 발명에 따른 특징 분석의 제2 예시도이고, 도 18a는 본 발명에 따른 조절 전의 투영 위치의 예시도이며, 도 18b는 본 발명에 따른 조절 후의 투영 위치의 예시도이고, 도 19a는 본 발명에 따른 조절 전의 눈썹 모양의 예시도이며, 도 19b는 본 발명에 따른 조절 후의 눈썹 모양의 예시도이다.
본 실시예에 있어서, 처리 유닛(10)은 얼굴 분석 모듈(101)을 통하여 얼굴 영상에 대하여 얼굴 분석 처리를 실행함으로써 얼굴 영상으로부터 제1 눈썹 영상(74)(예를 들면 오른쪽 눈썹)의 복수개 제1 눈썹 특징점(도 16에 도시된 바와 같음) 및 제2 눈썹 영상(75)(예를 들면 왼쪽 눈썹)의 복수개 제2 눈썹 특징점(도 17에 도시된 바와 같음)을 식별하고, 복수개 제1 눈썹 특징점에 의하여 제1 눈썹 데이터 세트를 생성하고 복수개 제2 눈썹 특징점에 의하여 제2 눈썹 데이터 세트를 생성한다.
또한, 처리 유닛(10)은 선택된 표준 영상 데이터의 복수개 표준 특징점(도 18a는 오른쪽 눈썹에 대응되는 표준 눈썹 영상의 표준 특징점(650~652)을 예로 들었는 바, 그 중, 표준 특징점(650)은 표준 눈썹 영상의 눈썹머리에 대응(즉 눈썹머리 표준 특징점)되고, 표준 특징점(651)은 표준 눈썹 영상의 눈썹융기에 대응(즉 눈썹융기 표준 특징점)되며, 표준 특징점(652)은 표준 눈썹 영상의 눈썹꼬리(즉 눈썹꼬리 표준 특징점)에 대응됨)을 취득하고, 복수개 표준 특징점(650~652)에 의하여 표준 데이터 세트를 생성할 수도 있다.
일 실시예에 있어서, 3개 제1 눈썹 특징점(630~632) 및 3개 제2 눈썹 특징점(640~642)은 각각 사용자의 눈썹의 눈썹머리, 눈썹융기 및 눈썹꼬리에 대응된다. 구체적으로 말하면, 제1 눈썹 특징점(630)(즉 제1 눈썹꼬리 특징점) 및 제2 눈썹 특징점(640)(즉 제2 눈썹꼬리 특징점)은 눈썹머리에 대응되고, 제1 눈썹 특징점(631)(즉 제1 눈썹융기 특징점) 및 제2 눈썹 특징점(641)(즉 제2 눈썹융기 특징점)은 눈썹융기에 대응되며, 제1 눈썹 특징점(632)(즉 제1 눈썹머리 특징점) 및 제2 눈썹 특징점(642)(즉 제2 눈썹머리 특징점)은 눈썹꼬리에 대응된다.
하기 설명에서, 오른쪽 눈썹에 대응되는 제1 눈썹 특징점(630~632)에 의하여 마찬가지로 오른쪽 눈썹에 대응되는 표준 특징점(650~652)에 대하여 조절하는 경우를 예로 들어 설명하지만 이에 한정되는 것은 아니고 하기 조절 단계는 마찬가지로 왼쪽 눈썹에 대하여 조절하는데 사용될 수도 있다.
또한, 본 실시예에 있어서, 조절 후의 복수개 표준 특징점의 위치는 상기 투영 위치를 계산하는데 사용될 수 있다. 본 실시예에 따른 미리보기 방법은 표준 눈썹 영상의 수식 기능을 실현하기 위한 S30~S34 단계를 포함하여 구성된다.
S30 단계 : 처리 유닛(10)은 표준 데이터 세트 및 기준으로 사용되는 눈썹 데이터 세트에 의하여 눈썹의 조절 파라미터 세트를 계산(본 실시예에 있어서, 오른쪽 눈썹에 대응되는 표준 데이터 세트 및 제1 눈썹 데이터 세트에 의하여 오른쪽 눈썹의 조절 파라미터 세트를 계산)한다.
일 실시예에 있어서, 상기 조절 파라미터 세트는 평행 이동(translation) 파라미터, 회전(rotation) 파라미터 및 스케일링(scaling) 파라미터를 포함하여 구성된다.
일 실시예에 있어서, 계산 모듈(102)은 Rigid Registration 시스템을 이용하여 Least-square estimation 알고리즘을 통하여 상기 조절 파라미터 세트를 계산한다. Rigid Registration 시스템 및 Least-square estimation 알고리즘은 본 기술 분야 중의 통상적인 기술적 수단으로서 두개 데이터(예를 들면 제1 눈썹 특징점(630~632) 및 표준 특징점(650~652))에 대한 분석으로 통하여 한 조의 조절 파라미터 세트를 계산해낼 수 있다. 계산해낸 조절 파라미터 세트 중의 하나의 데이터(예를 들면 표준 특징점(650~652))를 사용하여 변환 처리를 실행함으로써, 변환 후의 데이터(즉 표준 특징점(652'~652'))와 다른 데이터(즉 제1 눈썹 특징점(630~632))가 비교적 높은 유사도를 가지도록 할 수 있다.
일 실시예에 있어서, 계산 모듈(102)은 눈썹에 대응되는 동일한 특징의 각 눈썹 특징점 및 각 표준 특징점에 의하여 조절 파라미터 세트를 계산한다. 예를 들면, 계산 모듈(102)은 눈썹머리 특징점 및 눈썹머리 표준 특징점을 비교하고 눈썹융기 특징점 및 눈썹융기 표준 특징점을 비교하며 눈썹꼬리 특징점 및 눈썹꼬리 표준 특징점을 비교하고, 각 비교 결과에 의하여 조절 파라미터 세트를 계산한다.
S32 단계 : 처리 유닛(10)은 조절 모듈(103)을 통하여 계산해낸 조절 파라미터 세트에 의하여 표준 특징점(650~652)(도 18a에 도시된 바와 같음)의 위치를 조절함으로써 위치를 조절한 후의 표준 특징점(650'~652')(도 18b에 도시된 바와 같음) 및 대응되는 화장을 거치지 않은 눈썹의 제1 눈썹 특징점(630~632) 사이에 비교적 높은 유사도를 가지도록 할 수 있다.
일 실시예에 있어서, 조절 모듈(103)은 평행 이동 파라미터에 의하여 복수개 표준 특징점의 위치를 변환시킴으로써 복수개 표준 특징점에 의하여 둘러 싸인 도안을 평행 이동시키거나, 회전 파라미터에 의하여 복수개 표준 특징점의 위치를 변환시킴으로써 복수개 표준 특징점에 의하여 둘러 싸인 도안을 회전시키거나, 또는 스케일링 파라미터에 의하여 복수개 표준 특징점의 위치를 변환시킴으로써 복수개 표준 특징점에 의하여 둘러 싸인 도안을 스케일링 할 수 있다.
이어서 도 18a, 도 18b, 도 19a 및 도 19b를 참조한다. 도면에 도시된 바와 같이, 조절 파라미터 세트에 의하여 위치를 변환하기 전에, 표준 특징점(650~652)에 의하여 둘러 싸인 도안(90)과 제1 눈썹 특징점(630~632)(화장을 거치지 않은 눈썹에 대응됨)에 의하여 둘러 싸인 도안(91) 사이에는 매우 큰 차이가 있기 때문에, 사용자가 많은 눈썹 화장 동작을 실행하여야 한다. 또한, 눈썹 화장 동작을 완성한 후의 두 눈썹은 비례가 적합하지 않아 자연스럽지 않을 수도 있다.
조절 파라미터 세트에 의하여 위치를 변환한 다음, 변환을 거친 복수개 표준 특징점(650'~652')에 의하여 둘러 싸인 도안(92)과 도안(91)은 비교적 높은 유사도를 가지기 때문에 사용자가 많은 눈썹 화장 동작을 실행하지 않아도 된다. 또한, 눈썹 화장 동작을 완성한 후의 두 눈썹과 사용자의 원시 눈썹 모양이 비교적 유사하기 때문에 더욱 자연스러울 수 있다.
S34 단계 : 처리 유닛(10)은 변환을 거친 복수개 표준 특징점(650'~652')에 의하여 눈썹 모양 윤곽 도안을 제도한다. S34 단계 이후, 처리 유닛(10)은 보조 모드에서 복수개 표준 특징점(650'~652')에 의하여 제도된 눈썹 모양 윤곽 도안을 표시하여 사용자에게 도움을 주어 눈썹 화장 동작을 실행할 수 있다.
본 발명은 눈썹 모양 영상의 수식 기능을 효과적으로 실현함으로써 더욱 바람직한 권장 눈썹 모양을 제공하고 사용자가 눈썹 화장을 완성한 후의 눈썹이 더욱 자연스럽도록 할 수 있다.
본 발명이 기타 다양한 실시예를 통하여 구현될 수 있음은 당연한 것이고, 본 발명의 정신 및 그 실질을 벗어나지 않는 전제 하에, 본 분야에 익숙한 기술자는 본 발명에 대한 다양한 수정 및 변형을 실행할 수 있고, 대응되는 수정 및 변형은 모두 본 발명에 첨부된 청구항의 보호 범위에 속하는 것으로 해석되어야 할 것이다.
1 : 신체 정보 분석 장치
10 : 처리 유닛
101 : 얼굴 분석 모듈
102 : 계산 모듈
103 : 조절 모듈
104 : 제도 모듈
105 : 합성 모듈
11 : 거울면 스크린
111 : 디스플레이 모듈
12 : 영상 취득 모듈
13 : 버튼
14 : 센서
15 : 입력 인터페이스
16 : 무선 송수신 모듈
17 : 메모리
2 : 전자 장치
21 : 소프트웨어
3 : 무선 라우터
4 : 인터넷
5 : 거울상
51 : 얼굴 영상
52~54 : 표시 화면
6 : 특징점
61 : 눈썹 특징점
610 : 눈썹꼬리 특징점
62 : 눈 특징점
620 : 눈꼬리 특징점
630~632, 640~642 : 눈썹 특징점
650~652 : 표준 특징점
650'~652' : 조절 후의 표준 특징점
71~72 : 눈썹 모양 윤곽 도안
73 : 투영 위치
74~75 : 눈썹 영상
81~82 : 표준 눈썹 영상
90~92 : 도안
D : 수직 거리
S100~S112 : 제1 눈썹 미리보기 단계
S200~S230 : 제2 눈썹 미리보기 단계
S30~S34 : 조절 단계

Claims (15)

  1. 신체 정보 분석 장치에 적용되는 증강 현실과 결합된 눈썹 모양 미리보기 방법에 있어서,
    a) 상기 신체 정보 분석 장치의 하나의 영상 취득 모듈을 제어하여 하나의 얼굴 영상을 취득하는 단계;
    b) 상기 신체 정보 분석 장치의 하나의 처리 유닛을 제어하여 상기 얼굴 영상으로부터 하나의 눈 영상을 식별하는 단계;
    c) 상기 처리 유닛이 상기 눈 영상의 위치 및 하나의 눈썹 오프셋에 의하여 하나의 투영 위치를 계산하는 단계;
    d) 하나의 미리보기 모드에서 상기 투영 위치에 의하여 상기 얼굴 영상 및 하나의 표준 눈썹 영상을 합성하여 하나의 합성 영상을 생상하고, 상기 신체 정보 분석 장치의 하나의 디스플레이 모듈을 제어하여 상기 합성 영상을 표시하는 단계; 및
    e) 하나의 보조 모드에서 상기 디스플레이 모듈을 제어하여 상기 얼굴 영상을 표시하고, 상기 투영 위치에 상기 표준 눈썹 영상에 대응되는 하나의 눈썹 모양 윤곽 도안을 표시하는 단계; 를 포함하여 구성되는 증강 현실과 결합된 눈썹 모양 미리보기 방법.
  2. 제 1항에 있어서,
    그 중, 상기 b) 단계는,
    b1) 상기 눈 영상의 복수개 눈 특징점을 식별하되, 그 중, 상기 복수개 눈 특징점은 각각 눈의 다양한 특징에 대응되는 단계; 를 포함하여 구성되는 눈썹 모양 미리보기 방법.
  3. 제 2항에 있어서,
    그 중, 상기 복수개 눈 특징점은 눈꼬리에 대응되는 하나의 눈꼬리 특징점을 포함하여 구성되고, 또한 상기 c) 단계는,
    c1) 상기 눈썹 오프셋을 취득하는 단계; 및
    c2) 상기 눈꼬리 특징점으로부터 상기 눈썹 오프셋만큼 위 방향으로 수직 이동하여 상기 투영 위치를 취득하는 단계; 를 포함하여 구성되는 눈썹 모양 미리보기 방법.
  4. 제 3항에 있어서,
    그 중, 상기 c) 단계 이전에 f) 하나의 선택 명령 또는 하나의 선택 조작을 통하여 복수개 상기 표준 눈썹 영상 중의 하나를 선택하는 단계를 더 포함하여 구성되고, 그 중, 상기 d) 단계는 상기 선택 명형 또는 상기 선택 조작을 통하여 선택된 상기 표준 눈썹 영상을 표시하되, 그 중, 상기 복수개 표준 눈썹 영상은 각각 다양한 상기 눈썹 오프셋에 대응되는 눈썹 모양 미리보기 방법.
  5. 제 3항에 있어서,
    그 중, 상기 b) 단계는,
    b2) 상기 얼굴 영상으로부터 하나의 눈썹 영상의 복수개 눈썹 특징점을 식별하되, 그 중, 상기 복수개 눈썹 특징점은 각각 눈썹의 다양한 특징에 대응되는 단계; 를 더 포함하여 구성되는 눈썹 모양 보조 비교 방법.
  6. 제 5항에 있어서,
    그 중, 상기 복수개 눈썹 특징점은 눈썹꼬리에 대응되는 하나의 눈썹꼬리 특징점을 포함하여 구성되고, 또한 상기 c1) 단계는, c11) 상기 눈썹꼬리 특징점 및 상기 눈꼬리 특징점 사이의 거리를 계산하여 상기 눈썹 오프셋으로 사용하는 단계; 를 포함하여 구성되는 눈썹 모양 보조 비교 방법.
  7. 제 6항에 있어서,
    그 중, 상기 c11) 단계는 상기 눈썹꼬리 특징점 및 상기 눈꼬리 특징점 사이의 하나의 수직 거리를 계산하여 상기 눈썹 오프셋으로 사용하는 단계; 를 포함하여 구성되는 눈썹 모양 보조 비교 방법.
  8. 제 5항에 있어서,
    그 중, 상기 표준 눈썹 영상에는 각각 눈썹의 다양한 특징에 대응되는 복수개 표준 특징점이 설정되고, 상기 d) 단계 이전에,
    g1) 눈썹의 동일한 특징에 대응되는 각 상기 눈썹 특징점 및 각 상기 표준 특징점에 의하여 하나의 조절 파라미터 세트를 계산하되, 그 중, 상기 조절 파라미터 세트는 하나의 평행 이동 파라미터, 하나의 회전 파라미터 및 하나의 스케일링 파라미터를 포함하여 구성되는 단계;
    g2) 상기 조절 파라미터 세트에 의하여 상기 복수개 표준 특징점의 위치를 조절함으로써 상기 표준 눈썹 영상을 조절하는 단계; 및
    g3) 조절 후의 상기 복수개 표준 특징점의 위치에 의하여 상기 눈썹 모양 윤곽 도안을 제도하는 단계; 를 포함하여 구성되는 눈썹 모양 미리보기 방법.
  9. 제 8항에 있어서,
    그 중, 3개 상기 눈썹 특징점 및 3개 상기 표준 특징점은 각각 눈썹의 눈썹머리, 눈썹융기 및 눈썹꼬리에 대응되는 눈썹 모양 미리보기 방법.
  10. 증강 현실과 결합된 신체 정보 분석 장치에 있어서,
    하나의 얼굴 영상을 취득하는 하나의 영상 취득 모듈;
    상기 영상 취득 모듈에 전기적으로 연결되고, 상기 얼굴 영상으로부터 하나의 눈 영상을 식별하며, 상기 눈 영상의 위치 및 하나의 눈썹 오프셋에 의하여 하나의 투영 위치를 계산하는 하나의 처리 유닛; 및
    하나의 미리보기 모드에서 하나의 합성 영상을 표시하고, 그 중, 상기 합성 영상은 상기 처리 유닛을 통하여 상기 투영 위치에 의하여 상기 얼굴 영상 및 하나의 표준 눈썹 영상을 합성하여 생성하며, 또한, 하나의 보조 모드에서 상기 얼굴 영상을 표시하고 상기 투영 위치에 상기 표준 눈썹 영상에 대응되는 하나의 눈썹 모양 윤곽 도안을 표시하는 하나의 디스플레이 모듈; 을 포함하여 구성되는 증강 현실과 결합된 신체 정보 분석 장치.
  11. 제 10항에 있어서,
    그 중, 상기 처리 유닛은,
    상기 얼굴 영상으로부터 하나의 눈썹 영상의 복수개 눈썹 특징점을 식별하고 상기 눈 영상의 복수개 눈 특징점을 식별하되, 그 중, 상기 복수개 눈 특징점은 각각 눈의 다양한 특징에 대응되고, 상기 복수개 눈썹 특징점은 각각 눈썹의 다양한 특징에 대응되는 하나의 얼굴 분석 모듈; 및
    상기 투영 위치에 의하여 상기 얼굴 영상 및 상기 표준 눈썹 영상을 상기 합성 영상으로 합성하는 하나의 합성 모듈; 을 포함하여 구성되는 신체 정보 분석 장치.
  12. 제 11항에 있어서,
    그 중, 상기 복수개 눈 특징점은 눈썹꼬리에 대응되는 하나의 눈썹꼬리 특징점을 포함하고, 상기 처리 유닛은 상기 눈썹 특징점으로부터 상기 눈썹 오프셋만큼 위 방향으로 수직하여 상기 투영 위치를 취득하는 하나의 계산 모듈을 더 포함하여 구성되는 신체 정보 분석 장치.
  13. 제 11항에 있어서,
    상기 처리 유닛에 전기적으로 연결되고, 복수개 상기 표준 눈썹 영상이 저장되되, 그 중, 상기 복수개 표준 눈썹 영상은 각각 다양한 상기 눈썹 오프셋에 대응되는 하나의 메모리;
    상기 처리 유닛에 전기적으로 연결되고, 상기 복수개 표준 눈썹 영상 중의 하나를 선택하는 하나의 선택 조작을 접수하는 하나의 입력 인터페이스; 및
    하나의 전자 장치에 연결되고, 상기 전자 장치로부터 상기 복수개 표준 눈썹 영상 중의 하나를 선택하는 하나의 선택 명령을 접수하는 하나의 무선 송수신 모듈; 을 더 포함하여 구성되고,
    그 중, 상기 처리 유닛은 상기 디스플레이 모듈을 제어하여 상기 선택 조작 또는 상기 선택 명령을 통하여 선택된 상기 표준 눈썹 영상을 표시하는 신체 정보 분석 장치.
  14. 제 11항에 있어서,
    그 중, 상기 처리 유닛은 눈썹꼬리에 대응되는 상기 눈썹 특징점 및 눈꼬리에 대응되는 상기 눈 특징점 사이의 하나의 수직 거리를 계산하여 상기 눈썹 오프셋으로 사용하는 하나의 계산 모듈을 더 포함하여 구성되는 신체 정보 분석 장치.
  15. 제 11항에 있어서,
    그 중, 상기 표준 눈썹 영상에는 각각 눈썹의 다양한 특징에 대응되는 복수개 표준 특징점이 설정되고, 상기 처리 유닛은,
    눈썹의 동일한 특징에 대응되는 각 상기 눈썹 특징점 및 각 상기 표준 특징점에 의하여 하나의 조절 파라미터 세트를 계산하고, 상기 조절 파라미터 세트에 의하여 상기 복수개 표준 특징점의 위치를 조절함으로써 상기 표준 눈썹 영상을 조절하되, 그 중, 상기 조절 파라미터 세트는 하나의 평행 이동 파라미터, 하나의 회전 파라미터 및 하나의 스케일링 파라미터를 포함하여 구성되는 하나의 조절 모듈; 및
    조절 후의 상기 복수개 표준 특징점의 위치에 의하여 상기 눈썹 모양 윤곽 도안을 제도하는 하나의 제도 모듈; 을 포함하여 구성되고,
    그 중, 3개 상기 눈썹 특징점 및 3개 상기 표준 특징점은 각각 눈썹의 눈썹머리, 눈썹융기 및 눈썹꼬리에 대응되는 신체 정보 분석 장치.
KR1020180005063A 2017-09-28 2018-01-15 증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법 KR102045219B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710897603.X 2017-09-28
CN201710897603.XA CN109583263A (zh) 2017-09-28 2017-09-28 结合扩增实境的身体信息分析装置及其眉型预览方法

Publications (2)

Publication Number Publication Date
KR20190037051A true KR20190037051A (ko) 2019-04-05
KR102045219B1 KR102045219B1 (ko) 2019-11-15

Family

ID=61526554

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180005063A KR102045219B1 (ko) 2017-09-28 2018-01-15 증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법

Country Status (5)

Country Link
US (1) US10528796B2 (ko)
EP (1) EP3462375A1 (ko)
JP (1) JP6803348B2 (ko)
KR (1) KR102045219B1 (ko)
CN (1) CN109583263A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109288233A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示修容区域的身体信息分析装置
CN109002796B (zh) * 2018-07-16 2020-08-04 阿里巴巴集团控股有限公司 一种图像采集方法、装置和系统以及电子设备
CN109165571B (zh) * 2018-08-03 2020-04-24 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
CN111091610B (zh) * 2019-11-22 2023-04-11 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11403788B2 (en) 2019-11-22 2022-08-02 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, electronic device, and storage medium
US20210187765A1 (en) * 2019-12-18 2021-06-24 L'oreal Browblade adapter mechanism
CN113256694A (zh) * 2020-02-13 2021-08-13 北京沃东天骏信息技术有限公司 一种眉笔绘制方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011144A (ja) * 1998-06-18 2000-01-14 Shiseido Co Ltd 眉変形システム
JP2007293649A (ja) * 2006-04-26 2007-11-08 Megachips Lsi Solutions Inc メークアップアシスト装置および眉毛描画アシスト装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3671260B2 (ja) * 1995-05-10 2005-07-13 カシオ計算機株式会社 画像作成装置および画像作成制御方法
JP3444148B2 (ja) 1997-07-07 2003-09-08 株式会社ナビタイムジャパン 眉描画方法
JPH11143352A (ja) * 1997-11-13 1999-05-28 Onishi Netsugaku Kogyosho:Kk 化粧シミュレーション自動描画方法および装置
JP2006247012A (ja) * 2005-03-09 2006-09-21 Takako Aono 眉毛の化粧補助具、及び化粧方法
US20070047761A1 (en) * 2005-06-10 2007-03-01 Wasilunas Elizabeth A Methods Of Analyzing Human Facial Symmetry And Balance To Provide Beauty Advice
KR20100058280A (ko) * 2008-11-24 2010-06-03 삼성전자주식회사 휴대 단말기를 이용한 영상 촬영 방법 및 장치
EP3040939B1 (en) * 2013-08-30 2018-10-10 Panasonic Intellectual Property Management Co., Ltd. Makeup support device, makeup support method, and makeup support program
JP6287170B2 (ja) * 2013-12-20 2018-03-07 カシオ計算機株式会社 眉生成装置、眉生成方法及びプログラム
US9760935B2 (en) * 2014-05-20 2017-09-12 Modiface Inc. Method, system and computer program product for generating recommendations for products and treatments
CN107292220B (zh) * 2016-04-01 2020-11-03 掌赢信息科技（上海）有限公司 一种眉毛位置的初始化方法及电子设备
CN107292812A (zh) * 2016-04-01 2017-10-24 掌赢信息科技（上海）有限公司 一种表情迁移的方法及电子设备
US10292483B2 (en) * 2017-03-21 2019-05-21 Nisan Shlomov Eyebrow shaping method
CN107464253B (zh) * 2017-07-10 2020-11-20 北京小米移动软件有限公司 眉毛定位方法及装置
CN109427075A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 身体信息分析装置及其眼影分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011144A (ja) * 1998-06-18 2000-01-14 Shiseido Co Ltd 眉変形システム
JP2007293649A (ja) * 2006-04-26 2007-11-08 Megachips Lsi Solutions Inc メークアップアシスト装置および眉毛描画アシスト装置

Also Published As

Publication number Publication date
US10528796B2 (en) 2020-01-07
JP6803348B2 (ja) 2020-12-23
JP2019063480A (ja) 2019-04-25
KR102045219B1 (ko) 2019-11-15
US20190095697A1 (en) 2019-03-28
EP3462375A1 (en) 2019-04-03
CN109583263A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
KR20190037051A (ko) 증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법
KR102045218B1 (ko) 신체 정보 분석 장치 및 눈썹 모양 보조 비교 방법
US20210177124A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
US11908052B2 (en) System and method for digital makeup mirror
JP6547013B2 (ja) 生体情報解析装置及びその頬紅解析方法
JP6568606B2 (ja) 身体情報分析装置およびそのアイシャドウの分析方法
KR102065480B1 (ko) 신체 정보 분석 장치 및 입술 화장 분석 방법
KR102045228B1 (ko) 신체 정보 분석 장치 및 얼굴형 모의 방법
WO2016158729A1 (ja) 化粧支援システム、計測装置、携帯端末装置およびプログラム
WO2015152028A1 (ja) 化粧支援装置および記録媒体
KR102045217B1 (ko) 인체 정보 분석장치 및 메이크업 파운데이션 분석 방법
RU2703327C1 (ru) Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
JP6761407B2 (ja) 身体情報分析装置および顔形診断方法
CN117389676B (zh) 一种基于显示界面的智能发型适配展示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant