KR102065480B1 - 신체 정보 분석 장치 및 입술 화장 분석 방법 - Google Patents

신체 정보 분석 장치 및 입술 화장 분석 방법 Download PDF

Info

Publication number
KR102065480B1
KR102065480B1 KR1020180005053A KR20180005053A KR102065480B1 KR 102065480 B1 KR102065480 B1 KR 102065480B1 KR 1020180005053 A KR1020180005053 A KR 1020180005053A KR 20180005053 A KR20180005053 A KR 20180005053A KR 102065480 B1 KR102065480 B1 KR 102065480B1
Authority
KR
South Korea
Prior art keywords
image
lip
comparison
analysis
face
Prior art date
Application number
KR1020180005053A
Other languages
English (en)
Other versions
KR20190022274A (ko
Inventor
샤이-용 센
민-창 치
부디만 고스노 에릭
Original Assignee
칼-콤프 빅 데이터, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 칼-콤프 빅 데이터, 인크. filed Critical 칼-콤프 빅 데이터, 인크.
Publication of KR20190022274A publication Critical patent/KR20190022274A/ko
Application granted granted Critical
Publication of KR102065480B1 publication Critical patent/KR102065480B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G06K9/00288
    • G06K9/00308
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 신체 정보 분석 장치 및 입술 화장 분석 방법에 관한 것으로서, 그중 입술 화장 분석 방법은 신체 정보 분석 장치의 영상 취득 모듈을 통하여 외부 영상을 취득하고, 외부 영상으로부터 사람 얼굴이 식별되었을 때 사람 얼굴의 각 부위에 대하여 포지셔닝하는 단계; 포지셔닝을 완성한 다음 입술의 위치를 취득하는 단계; 입술 화장의 평균 색상 수치를 분석하는 단계; 입술 화장의 평균 색상 수치와 미리 설정된 색상 수치를 비교하는 단계; 신체 정보 분석 장치의 디스플레이 모듈에 비교 결과를 표시하는 단계; 및 보조 동작이 완성되기 전에 상기와 같은 단계들을 중복 실행하는 단계; 를 포함하여 구성된다.

Description

신체 정보 분석 장치 및 입술 화장 분석 방법 {Body information analysis apparatus and lip-makeup analysis method thereof}
본 발명은 분석 장치 및 분석 방법에 관한 것으로서, 더욱 상세하게는 신체 정보 분석 장치 및 입술 화장 분석 방법에 관한 것이다.
여성들에게 있어서, 화장은 거의 매일 하는 동작 중의 하나라고 볼 수 있다.
통상적으로, 사용자는 거울 앞에 앉아서 화장을 하거나 또는 스마트폰, 태블릿 PC 등 장치의 카메라 렌즈 및 스크린을 통하여 화장을 하게 된다.
하지만, 사용자 화장의 균일 여부, 색상의 적절 여부 등 문제는 통상적으로 사용자가 직접 육안을 통하여 관찰 및 확인하여야 한다. 따라서, 일부 경험이 부족한 사용자는 자주 화장 속도가 느리거나 화장 효과가 좋지 못한 문제에 봉착하게 된다.
이에 따라, 본 기술 분야에 있어서, 사용자에게 효과적으로 협조하여 빠른 속도로 화장 동작을 완성하고 경험이 부족한 사용자들도 높은 품질의 화장을 완성하도록 할 수 있는 보조 장치가 시급히 필요한 현황이다.
본 발명은 신체 정보 분석 장치 및 입술 화장 분석 방법을 제공하기 위한 것으로서, 사용자가 화장할 때 입술 부위의 영상 분석 및 지도를 제공함으로써 사용자에게 협조하여 빠르고 완벽하게 화장 동작을 실행할 수 있도록 한다.
본 발명에 따른 일 실시예에 있어서, 상기 입술 화장 분석 방법은 신체 정보 분석 장치의 영상 취득 모듈을 통하여 외부 영상을 취득하고, 외부 영상으로부터 사람 얼굴이 식별되었을 때 사람 얼굴의 각 부위에 대하여 포지셔닝하는 단계; 포지셔닝을 완성한 다음 입술의 위치를 취득하는 단계; 입술 화장의 평균 색상 수치를 분석하는 단계; 입술 화장의 평균 색상 수치와 미리 설정된 색상 수치를 비교하는 단계; 신체 정보 분석 장치의 디스플레이 모듈에 비교 결과를 표시하는 단계; 및 보조 동작이 완성되기 전에 상기와 같은 단계들을 중복 실행하는 단계; 를 포함하여 구성된다.
본 발명에 따른 일 실시예에 있어서, 상기 신체 정보 분석 장치는 적어도 영상 취득 모듈, 디스플레이 모듈 및 처리 유닛을 포함하여 구성되고, 그중 영상 취득 모듈은 외부 영상을 취득하는데 사용되며, 처리 유닛은 외부 영상을 식별하는데 사용된다. 상기 처리 유닛은 외부 영상으로부터 사람 얼굴을 식별할 때 사람 얼굴의 각 부위에 대하여 포지셔닝함으로써 입술의 위치를 취득한다. 이어서, 처리 유닛은 입술 화장의 평균 색상 수치를 분석하고 평균 색상 수치와 미리 설정된 색상 수치를 비교함으로써 비교 결과를 생성한다. 그중, 디스플레이 모듈은 비교 결과를 표시하는데 사용된다.
본 발명이 관련 종래 기술에 비하여 달성할 수 있는 기술적 효과는, 사용자가 신체 정보 분석 장치의 협조 하에 화장 동작을 실행할 때, 자신의 얼굴 모양을 관찰할 수 있는 동시에 직접 입술 부위의 영상 분석 결과를 얻어냄으로써 더욱 빠르고 완벽하게 화장 동작을 실행할 수 있는데 있다.
도 1은 본 발명의 제1 구체 실시예에 따른 시스템 구성도이다.
도 2는 본 발명의 제1 구체 실시예에 따른 분석 장치 예시도이다.
도 3은 본 발명의 제2 구체 실시예에 따른 분석 장치 예시도이다.
도 4는 본 발명의 제1 구체 실시예에 따른 분석 장치 블록도이다.
도 5는 본 발명의 제1 구체 실시예에 따른 처리 유닛 예시도이다.
도 6a는 본 발명의 제1 구체 실시예에 따른 제1 입술 화장 분석 흐름도이다.
도 6b는 본 발명의 제1 구체 실시예에 따른 제2 입술 화장 분석 흐름도이다.
도 7은 얼굴 포지셔닝 예시도이다.
도 8은 본 발명의 제1 구체 실시예에 따른 미리 설정된 수치의 분석 흐름도이다.
도 9는 본 발명의 제3 구체 실시예에 따른 분석 장치 예시도이다.
이하 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 제1 구체 실시예에 따른 시스템 구성도이다. 본 발명은 신체 정보 분석 장치(이하 분석 장치로 약함)를 공개한 것으로서, 상기 분석 장치는 주로 하나의 입술 화장 분석 방법(이하 분석 방법으로 약함)을 실행하여 사용자를 협조하여 빠르고 완벽하게 입술 부분의 화장 동작을 실행할 수 있도록 한다.
일 실시예에 있어서, 사용자는 모바일 장치(2)에 대한 조작을 통하여 분석 장치(1)에 대한 설정을 진행할 수 있다. 도 1에 도시된 바와 같이, 모바일 장치(2)의 내부에는 응용 프로그램(21)이 설치되고, 모바일 장치(2)는 분석 장치(1)와 유선 또는 무선 방식으로 연결될 수 있다. 구체적으로 말하면, 응용 프로그램(21)은 분석 장치(1)와 서로 연결되어 있는 응용 프로그램(21)(예를 들면 분석 장치(1)의 제조 업체에서 개발 및 제공한 응용 프로그램)일 수 있다. 본 발명에서, 사용자는 응용 프로그램(21)에 대한 조작을 통하여 분석 장치(1)에 연결함으로써 분석 장치(1) 상의 다양한 설정 동작(예를 들면 얼굴 정보의 등록 설정, 다양한 프리셋 값의 설정 등)을 완성할 수 있다.
일 실시예에 있어서, 분석 장치(1)는 소재 구역 상의 무선 라우터(3)에 연결하여 무선 라우터(3)를 통하여 인터넷(4)에 접속할 수 있다. 이에 따라, 분석 장치(1)는 인터넷(4)을 통하여 펌웨어의 업데이트, 데이터의 업로드 및 다운로드 등 동작을 실행할 수 있다. 또한, 분석 장치(1)는 인터넷(4)을 통하여 사용자의 신체 정보를 원격 컴퓨터 장치(미도시)에 전송함으로써, 사용자가 원격으로 조회할 수 있도록 하거나 이를 통하여 원격 백업의 목적을 실현할 수도 있다.
도 2 및 도 3은 본 발명의 제1 구체 실시예 및 제2 구체 실시예에 따른 분석 장치 예시도이다. 본 발명에 따른 분석 장치(1)는 주로 사용자(5)의 침실 또는 화장실에 설치되어 사용자(5)가 신체 정보(예를 들면 얼굴, 목, 손의 피부 상황)를 감지 및 분석할 수 있도록 한다.
분석 장치(1)에는 거울면 스크린(11)이 구비된다. 분석 장치(1)가 시동되면 거울면 스크린(11)을 통하여 그래픽 유저 인터페이스(Graphic User Interface, GUI)를 표시하는 동시에 그래픽 유저 인터페이스를 통하여 사용자(5)와의 대화를 실현할 수 있다. 다른 방면으로, 분석 장치(1)가 꺼져 있을 때, 거울면 스크린(11)은 단순히 거울로 사용되어 사용자(5)의 모습을 반사할 수도 있다. 본 발명은 주로 분석 장치(1)를 통하여 사용자(5)를 협조하여 화장 동작을 실행하기 때문에, 거울면 스크린(11)은 그래픽 사용자 인터페이스를 표시하는 동시에 사용자(5)의 모습을 반사함으로써, 사용자(5)가 화장을 진행할 때 사용자(5)의 화장 상태를 분석하는 동시에 보조 작용을 일으키도록 할 수 있다(후술되는 내용에서 상세하게 설명). 일 실시예에 있어서, 거울면 스크린(11)을 터치 스크린으로 구성함으로써 사용자(5)는 거울면 스크린(11)을 통하여 분석 장치(1)에 대하여 데이터 입력 동작을 실행할 수 있다.
분석 장치(1)에는 영상 취득 모듈(12)이 더 구비되되, 분석 장치(1)에 설치되고 각도에 대한 조절을 실행할 수 있다. 일 실시예에 있어서, 영상 취득 모듈(12)은 사용자(5)의 고해상도 영상(예를 들면 얼굴 영상, 목 영상, 손 영상 등)을 촬영할 수 있고, 분석 장치(1)는 상기 영상에 의하여 사용자(5)의 신체 정보 및 화장 진도를 분석할 수 있다. 다른 실시예에 있어서, 영상 취득 모듈(12)은 외부 정보(예를 들면 바코드, QR 코드 등)를 취득한 다음 정보의 내용에 의하여 대응되는 데이터를 취득할 수 있다.
분석 장치(1)는 복수의 버튼(13)을 더 구비할 수 있다. 본 실시예에 있어서, 복수의 버튼(13)은 실체 버튼(button) 또는 터치 키(touch key)일 수 있으나 이에 한정되는 것은 아니다. 사용자(5)는 버튼(13)을 촉발함으로써 상기 그래픽 유저 인터페이스를 제어(예를 들면 그래픽 유저 인터페이스를 제어하여 메인 페이지, 이전 페이지 또는 다음 페이지로 이동)하거나, 또는 분석 장치(1)가 대응되는 기능(예를 들면 거울면 스크린(11) 열기, 거울면 스크린(11) 닫기, 영상 취득 모듈(12) 시동 등)을 바로 실행하도록 할 수 있다.
분석 장치(1)는 하나 또는 복수의 센서(14)(예를 들면 온도 센서, 습도 센서 등)를 더 구비하여 분석 장치(1)가 위치한 환경의 환경 데이터를 감지함으로써 분석 장치(1)의 사용자(5) 신체 정보 감지 및 분석 정확도를 향상시킬 수 있다. 예를 들면, 상기 센서(14)가 하나의 초전기성 적외선 복사 센서(Pyroelectric Infrared Radial sensor, PIR sensor)일 때, 사용자(5)가 분석 장치(1)의 사용 구역으로 진입하는 동작을 수시로 감지하고 그에 따라 스탠바이 모드를 떠나 영상 취득 모듈(12)을 동작시킴으로써 사용자(5)의 얼굴 영상을 취득하여 분석 단계를 시작할 수 있다.
다른 실시예에 있어서, 상기 센서(14)는 동작 센서(motion sensor)로서 분석 장치(1)가 동작 센서를 통하여 사용자(5)의 이동 손동작(예를 들면 좌측으로 이동, 우측으로 이동, 위로 이동, 아래로 이동, 앞으로 이동 또는 뒤로 이동 등)을 감지하도록 할 수 있다. 이에 따라, 사용자(5)는 손동작을 통하여 상기 거울면 스크린(11) 또는 버튼(13)에 대한 조작이 필요 없이 지문이 남겨지지 않는 상태로 분석 장치(1)에 대한 데이터 입력 동작을 실행할 수 있다.
도 4는 본 발명의 제1 구체 실시예에 따른 분석 장치 블록도이다. 도 4에 도시된 바와 같이, 분석 장치(1)는 주로 처리 유닛(10), 그리고 처리 유닛(10)과 전기적으로 연결되는 디스플레이 모듈(111), 영상 취득 모듈(12), 입력 인터페이스(15) 및 무선 송수신 모듈(16)을 포함하여 구성된다.
일 실시예에 있어서, 영상 취득 모듈(12)은 카메라로 구성되어 외부 영상 및 외부 정보를 취득할 수 있다. 분석 장치(1)는 외부 영상을 이용한 사용자 식별(예를 얼굴 식별, 목 식별, 손 식별 등)을 통하여 사용자의 얼굴, 목, 손 등 부위에 대한 분석을 실행하거나, 또는 회부 정보의 내용에 의하여 대응되는 동작을 실행할 수 있다.
디스플레이 모듈(111)은 상기 그래픽 유저 인터페이스를 표시한다. 일 실시예에 있어서, 디스플레이 모듈(111)은 상기 거울면 스크린(11)에 설치된다. 디스플레이 모듈(111)이 활성화될 때, 디스플레이 모듈(111)의 광원은 거울면 스크린(11)을 투과하여 그래픽 유저 인터페이스를 거울면 스크린(11)에 표시할 수 있다. 디스플레이 모듈(111)이 비활성화될 때, 사용자는 거울면 스크린을 일반 거울로 사용할 수 있다.
분석 장치(1)는 입력 인터페이스(15)를 통하여 사용자의 외부 입력을 접수함으로써 사용자와 그래픽 유저 인터페이스 사이의 대화를 실현하거나 필요한 설정 동작을 실행하도록 할 수 있다. 일 실시예에 있어서, 입력 인터페이스(15)는 상기 센서(14)로 구성되어 사용자의 손동작 입력을 감지할 수 있다. 다른 실시예에 있어서, 입력 인터페이스(15)는 상기 영상 취득 모듈(12)로 구성되어 외부 영상 또는 외부 정보를 취득할 수 있다. 또 다른 실시예에 있어서, 입력 인터페이스(15)는 터치 스크린 또는 버튼(13)으로 구성되어 사용자의 입력 동작을 접수할 수 있다. 또 다른 실시예에 있어서, 입력 인터페이스(15)는 마이크로 구성되어 외부의 음성 정보를 접수할 수 있다.
무선 송수신 모듈(16)은 인터넷(4) 연결에 사용된다. 구체적으로 말하면, 사용자는 인터넷(4)을 통하여 분석 장치(1)로 원격 접속함으로써 분석 장치(1)에 기록된 다양한 정보(예를 들면 신체 정보)를 수시로 조회할 수 있다.
처리 유닛(10)은 디스플레이 모듈(111), 영상 취득 모듈(12), 입력 인터페이스(15) 및 무선 송수신 모듈(16)과 연결되고 처리 유닛(10)에는 컴퓨터로 실행 가능한 프로그램 코드(미도시)를 포함하여 구성된다. 컴퓨터로 실행 가능한 프로그램 코드를 실행함에 따라서, 처리 유닛(10)은 본 발명에 따른 분석 방법을 실현할 수 있다.
도 5는 본 발명의 제1 구체 실시예에 따른 처리 유닛 예시도이다. 구체적으로 말하면, 처리 유닛(10)은 주로 상기 컴퓨터로 실행 가능한 프로그램 코드를 통하여 본 발명에 따른 분석 방법 중의 각 기능을 실행하되, 다양한 기능에 따라서 상기 컴퓨터로 실행 가능한 프로그램 코드를 하기와 같은 기능 모듈로 구분할 수 있다.
1. 영상 취득 모듈(12)을 통하여 취득한 외부 영상에 대한 식별을 통하여 외부 영상 중 사람 얼굴의 존재 여부를 분석하는 얼굴 식별 모듈(101);
2. 특정 알고리즘을 통하여 외부 영상 중의 사람 얼굴을 포지셔닝함으로써 사람 얼굴 상의 각 부위(예를 들면 눈썹, 눈, 코, 입술 등)의 위치를 취득하되, 특히 본 발명에서는 주로 사람 얼굴에서 입술의 위치를 취득하는 포지셔닝 모듈(102);
3. 입술의 위치에 대한 영상 분석을 통하여 사용자의 현재 입술의 화장 상태(예를 들면 색상의 밝기, 색상의 분포율 등)를 취득하는 분석 모듈(103); 및
4. 사용자의 현재 입술의 화장 상태와 미리 설정된 값을 비교하여 사용자에게 비교 결과(예를 들면 색상이 너무 밝음, 색상이 너무 어두움, 색상이 균일하지 못함 등)을 알려 줌으로써 사용자의 화장 동작을 보조하는 비교 모듈(104).
도 6a 및 도 6b는 각각 본 발명의 제1 구체 실시예에 따른 제1 입술 화장 분석 흐름도 및 제2 입술 화장 분석 흐름도이다. 도 6a 및 도 6b는 본 발명에 따른 분석 방법의 각 단계를 설명하기 위한 것으로서, 주로 도 1 내지 도 5에 도시된 바와 같은 분석 장치(1)에 적용된다. 구체적으로 말하면, 본 발명에 따른 분석 장치(1)는 처리 유닛(10)을 통하여 상기 컴퓨터로 실행 가능한 프로그램 코드를 실행함으로써 하기와 같은 각 단계를 실현한다.
도 6a에 도시된 바와 같이, 본 발명에 따른 분석 장치(1)를 통하여 상기 분석 방법을 실행하여 사용자의 화장 동작에 협조를 제공하기 위하여, 우선 사용자가 분석 장치(1)를 켜야 한다(S10 단계). 일 실시예에 있어서, 사용자는 터치 스크린 혹은 버튼(13)을 촉발함으로써 분석 장치(1)를 켤 수 있다. 다른 실시예에 있어서, 분석 장치(1)는 전원을 연결한 후 자동으로 대기 모드로 진입하고, 사용자가 영상 취득 모듈(12) 또는 센서(14)를 통하여 손동작을 입력하였을 때 분석 장치(1)를 가동할 수 있지만, 이에 한정되는 것은 아니다.
구체적으로 말하면, 본 발명에 따른 분석 장치(1)는 서로 다른 기능을 제공하기 위한 다양한 모드를 가지고, 본 실시예는 분석 장치(1)가 켜진 다음 자동으로 사용자의 화장 동작을 협조하기 위한 협조 모드로 진입하는 경우이다. 다른 실시예에 있어서, 분석 장치(1)가 켜진 후 대기 모드로 진입하고, 사용자의 명령을 입력받았을 때 보조 모드로 진입할 수 있다.
분석 장치(1)가 켜진 다음, 영상 취득 모듈(12)을 통하여 지속적으로 외부 영상을 취득(S12 단계)하고, 처리 유닛(10)은 지속적으로 취득한 외부 영상 중 사람 얼굴의 존재 여부를 판단(S14 단계)한다. 일 실시예에 있어서, 처리 유닛(10)은 영상 취득 모듈(12)로부터 외부 영상을 취득하고, 상기 얼굴 식별 모듈(101)을 통하여 외부 영상에 대한 얼굴 식별을 실행함으로써 외부 영상 중 사람 얼굴의 존재 여부를 판단한다.
외부 영상 중 사람 얼굴이 존재하지 않을 때, 분석 장치(1)는 다시 S12 단계 및 S14 단계를 실행하여 지속적으로 외부 영상을 취득 및 분석한다. 예를 들면, 외부 영상 중에 침대, 문, 의자 등 물품밖에 없을(침실에 사람이 없음을 의미) 때, 또는 사용자의 신체 또는 배부밖에 없을(사용자가 화장 동작을 실행하지 않음을 의미) 때, 분석 장치(1)는 본 발명에 따른 분석 방법을 주동적으로 실행하지 않는다.
이어서 도 6b에 도시된 바와 같이, 처리 유닛(10)은 식별을 통하여 외부 영상 중에 사람 얼굴이 존재하는 것으로 판단되었을 때, 더 나아가서 사람 얼굴의 각 부위(주로는 사용자의 오관)에 대하여 포지셔닝(S16 단계)한다. 일 실시예에 있어서, 처리 유닛(10)은 외부 영상 중에 사람 얼굴이 존재하는 것으로 판단된 다음, 더 나아가서 사람 얼굴의 크기가 특정 비례 이상인지 판단(예를 들면 위부 영상 중의 40% 이상 차지)한다. 또한, 처리 유닛(10)은 사람 얼굴의 크기가 특정 비례 이상인 경우에만 사람 얼굴의 각 부위에 대하여 포지셔닝한다. 이에 따라서, 처리 유닛(10)의 작업량을 줄이고 사용자가 실수로 분석 장치(1)의 상기 보조 모드를 작동시키는 것을 효과적으로 방지할 수 있다.
일 실시예에 있어서, 처리 유닛(10)은 외부 영상 중에 사람 얼굴이 존재하는 것으로 판단된 다음, 사람 얼굴 영상을 상기 포지셔닝 모듈(102)로 송신하고 포지셔닝 모듈(102)을 통하여 사람 얼굴 영상에 대하여 포지셔닝 함으로써 사람 얼굴 상의 각 부위의 실제 위치를 취득한다. 본 실시예에 있어서, 포지셔닝 모듈(102)은 주로 포지셔닝을 완성한 다음 사람 얼굴에서 적어도 사용자의 입술 위치를 취득(S18 단계)한다.
특별히 설명하여야 할 것은, 본 실시예에 있어서, 포지셔닝 모듈(102)은 하나의 Dlib Face Landmark 시스템을 통하여 상기 사람 얼굴 상의 각 부위에 대하여 포지셔닝할 수 있지만, 이에 한정되는 것은 아니다.
도 7은 얼굴 포지셔닝 예시도이다. 처리 유닛(10)이 외부 영상 중의 사람 얼굴을 식별한 다음, 더 나아가서 상기 Dlib Face Landmark 시스템을 통하여 얼굴(51) 영상에 대한 분석을 실행한다. Dlib Face Landmard 시스템은 본 기술 분야의 통상적인 기술적 수단으로서, 분석이 완성되었을 때 얼굴(51) 영상에 복수의 포지셔닝 포인트(6)를 생성할 수 있다. 따라서, Dlib Face Landmark 시스템은 복수의 포지셔닝 포인트(6)의 번호, 형상, 배열 등 정보를 통하여 얼굴(51) 영상 중 각 부위의 위치를 확정하여 상기 포지셔닝 동작을 완성할 수 있다.
본 실시예에 있어서, 포지셔닝 모듈(102)은 포지셔닝을 완성한 다음 얼굴(51) 상에 분포된 입술(52) 주위의 복수개 포지셔닝 포인트(6)(예를 들면 119개 포지셔닝 포인트(6))를 취득한다. 이어서, 상기 복수개 포지셔닝 포인트(6)를 연결함으로써 하나 또는 복수개의 포지셔닝 보조선을 형성한다. 마지막으로, 상기 포지셔닝 보조선에 의하여 둘러 싸인 구역을 통하여 얼굴(51) 중의 입술(52)의 위치를 확정한다.
다시 도 6b를 참조한다. 본 발명에 따른 일 실시예에 있어서, 처리 유닛(10)은 주로 사용자의 입술 영상을 미리 설정된 영상과 비교함으로써 사용자의 현재 입술의 화장 상태를 판단한다. 따라서, 본 실시예에 있어서, 분석 장치(1)는 디스플레이 모듈(111)을 통하여 처리 유닛(10)이 사용한 하나의 비교 영상을 선택적으로 표시(S20 단계)할 수 있다. 본 실시예에 있어서, 상기 비교 영상은 예를 들어 분석 장치(1)에 미리 저장된 증강 현실(Augmented Reality, AR) 영상일 수 있으나, 이에 한정되는 것은 아니다.
다른 실시예에 있어서, 사용자는 분석 장치(1)에 미리 저장된 입술 화장품(예를 들면 립스틱 브랜드, 모델) 또는 입술 화장 효과를 스스로 선택하거나, 사용하고자 하는 입술 화장품을 스스로 입력함으로써 분석 장치(1)가 자동적으로 대응되는 효과를 생성하도록 할 수 있다. 상기 증강 현실 영상은 분석 장치(1)가 영상 취득 모듈(12)을 통하여 실시간으로 취득한 사용자의 현재 영상이고, 이와 동시에 상기 사용자가 스스로 선택한 대응되는 효과를 사용자의 입술 영상에 오버레이 표시한다. 또한, 사용자가 상기 선택에 대응되는 효과에 만족할 때, 더 나아가서 상기 대응되는 효과 및 증강 현실 영상을 분석 장치(1)에 저장하도록 선택할 수 있다.
일 실시예에 있어서, 분석 장치(1)는 생산할 때 복수개의 증강 현실 영상을 내장시킴으로써 사용자가 상기 입력 인터페이스(15)를 통하여 적어도 그중 하나를 선택하여 상기 비교 영상으로 사용하도록 할 수 있다. 다른 실시예에 있어서, 사용자는 주변 기기 또는 인터넷을 통하여 자신이 선호하는 증강 현실 영상을 분석 장치(1)로 입력하여 저장할 수 있고, 이에 따라 처리 유닛(10)은 사용자가 스스로 입력한 증강 현실 영상을 이용하여 상기 비교 동작을 실행할 수 있다. 본 실시예에 있어서, 상기 증강 현실 영상은 주로 얼굴 영상이거나 또는 적어도 입술 부위을 포함한 얼굴 국부 영상일 수 있으나, 이에 한정되는 것은 아니다.
또한, 다른 실시예에 있어서, 분석 장치(1)에는 비교를 진행하는데 사용되는 각 수치(예를 들면 후술하여 설명되는 미리 설정된 색상 수치)가 미리 저장될 수 있다. 상기 경우에 있어서, 분석 장치(1)는 상기 비교 영상을 저장할 필요가 없고, 또한 상기 S20 단계를 실행할 필요가 없게 된다.
S18 단계 이후, 처리 유닛(10)은 적어도 사용자의 입술 위치를 취득할 수 있다. 이어서, 처리 유닛(10)은 입술 영상에 의하여 입술 화장의 평균 색상 수치를 분석(S22 단계)하게 된다. 일 실시예에 있어서, 처리 유닛(10)은 입술 영상을 상기 분석 모듈(103)로 전송하여 분석 모듈(103)이 입술 상의 입술 화장의 평균 색상 수치를 분석해 내도록 한다. 일 실시예에 있어서, 분석 모듈(103)은 관련 기술 중의 하나 또는 복수개의 영상 분석 알고리즘을 사용하여 입술 영상으로부터 사용자의 현재 입술 화장의 평균 색상 수치를 분석해 낼 수 있다.
구체적으로 말하면, 상기 평균 색상 수치의 계산은 처리 유닛(10)이 취득한 입술 영상에 대하여 서로 다른 색 공간 형식으로 표시 및 분석하는 과정이다. 예를 들면, 상기 색 공간은 RGB 색 공간, HSV 색 공간, HSL 색 공간 등일 수 있으나, 이에 한정되는 것은 아니다. 더 나아가서, 처리 유닛(10)이 사용하는 분석 방법의 필요에 따라서, 동시에 두가지 색 공간 형식을 사용하여 표시 및 분석할 수도 있고, 또는 그 중에서 분량만 선택하여 분석에 사용할 수도 있다.
예를 들면, 컬러 영상의 색 공간 형식이 HSV 색 공간이라고 가정할 때, 영상 중의 각 픽셀의 색상은 "색상 분량(Hue)", "포화도 분량 (Saturation)", "명도 분량 (Value)"으로 표시할 수 있다. 컬러 영상의 색 공간 형식이 RGB 색 공간이라고 가정할 때, 영상 중의 각 픽셀의 색상은 "적색 분량(Red)", "녹색 분량 (Green)", "청색 분량 (Blue)"으로 표시할 수 있다.
S22 단계 이후, 처리 유닛(10)은 미리 설정된 색상 수치를 취득하고 상기 입술 화장의 평균 색상 수치와 미리 설정된 색상 수치를 비교함으로써 비교 결과를 생성(S24 단계)한다.
일 실시예에 있어서, 처리 유닛(10)은 분석 모듈(103)을 통하여 상기 비교 영상(예를 들면 사용자가 선택한 증강 현실 영상)에 대하여 영상 분석을 진행(주로는 입술 위치에 대하여 영상 분석 진행)함으로써 상기 미리 설정된 색상 수치를 취득하게 된다. 따라서, 처리 유닛(10)은 상기 입술 화장의 평균 색상 수치 및 미리 설정된 색상 정보를 비교 모듈(104)로 전송하고 비교 모듈(104)을 통하여 상기 평균 색상 수치와 미리 설정된 색상 수치를 비교함으로써 비교 결과를 생성한다.
다른 실시예에 있어서, 처리 유닛(10)은 직접 상기 비교 모듈(104)을 통하여 미리 설정된 색상 수치를 저장하고, S22 단계 이후 상기 평균 색상 수치를 비교 모듈(104)로 전송할 수 있다. 따라서, 상기 비교 모듈(104)은 직접 입술 화장의 평균 색상 수치와 미리 설정된 색상 수치를 비교하여 하나의 비교 결과를 생성할 수 있다. 본 실시예에 있어서, 미리 설정된 색상 수치는 직접 분석 장치(1)에 미리 저장된 표준 색상 또는 밝기를 기록하거나, 또는 사용자가 미리 설정한 이상적인 색상 또는 밝기를 기록할 수 있기 때문에, 분석 장치(1)에는 상기 비교 영상을 별도로 저장할 필요가 없어 분석 장치(1)의 저장 공간을 절약할 수 있다.
S24 단계 이후, 분석 장치(1)는 디스플레이 모듈(111)을 통하여 상기 비교 결과를 거울면 스크린(11)에 표시(S26 단계)함으로써, 사용자가 직접 거울면 스크린(11)을 통하여 현재 입술 상의 입술 화장 상태(예를 들면 색상이 표준 밝기 이상(비교 영상의 밝기 이상)이거나, 또는 색상이 표준 밝기 이하(비교 영상의 밝기 이하))를 확인할 수 있기 때문에 분석 장치(1)가 화장 보조 역할을 일으키게 된다.
일 실시예에 있어서, 상기 평균 색상 수치와 미리 설정된 색상 수치는 0~255의 픽셀값이고 비교 결과는 백분율이며, 비교 모듈(104)은 수학식 (
Figure 112018004605110-pat00001
)을 통하여 비교 결과를 생성한다. 단, 상기 내용은 본 발명의 그중 일 실시예일 뿐, 이에 한정되는 것은 아니다.
일 실시예에 있어서, 처리 유닛(10)은 또한 입술의 영상에 의하여 입술 화장의 표준 차이(Standard Deviation, SD)를 분석(S28 단계)한다. 일 실시예에 있어서, 처리 유닛(10)은 입술 영상을 분석 모듈(103)로 전송하여 분석 모듈(103)이 입술 상의 입술 화장의 표준 차이를 분석해 내도록 한다. 마찬가지로, 분석 모듈(103)은 관련 기술 중의 하나 또는 복수개의 영상 분석 알고리즘을 사용하여 입술 영상에 대하여 영상 분석을 진행함으로써 입술 화장의 표준 차이를 계산해 낼 수 있다. 구체적으로 말하면, 본 실시예에 있어서, 상기 표준 차이는 입술 화장의 색상의 표준 차이를 가리킨다.
S28 단계 이후, 처리 유닛(10)은 미리 설정된 표준 차이를 취득하고 상기 입술 화장의 표준 차이와 미리 설정된 표준 차이를 비교함으로써 제2 비교 결과를 생성(S30 단계)한다.
일 실시예에 있어서, 처리 유닛(10)은 분석 모듈(103)을 통하여 상기 비교 영상에 대하여 영상 분석을 진행함으로써 상기 미리 설정된 표준 차이를 취득하고, 이어서 상기 비교 모듈(104)을 통하여 상기 입술 화장의 평균 표준 차이 및 미리 설정된 표준 차이를 비교함으로써 상기 제2 비교 결과를 생성한다.
다른 실시예에 있어서, 처리 유닛(10)은 직접 상기 비교 모듈(104)을 통하여 미리 설정된 표준 차이를 저장하고, S28 단계 이후 입술 화장의 표준 차이를 비교 모듈(104)로 전송할 수 있다. 따라서, 비교 모듈(104)은 직접 입술 화장의 표준 차이와 저장된 미리 설정된 표준 차이를 비교함으로써 상기 제2 비교 결과를 생성한다.
S30 단계 이후, 분석 장치(1)는 디스플레이 모듈(111)을 통하여 상기 제2 비교 결과를 거울면 스크린(11)에 표시(S32 단계)함으로써, 사용자가 직접 입술 화장에 색상이 불균일한 현상(예를 들면 색상 분포 상황이 표준 분포 상황 이하(예를 들면 비교 영상 중의 입술 위치의 색상 분포 상황 이하))이 있는지 확인하여 그에 대한 수정을 할 수 있도록 한다.
특별히 셜명하여야 할 것은, S22 단계 내지 S26 단계 및 S28 단계 내지 S32 단계의 실행에 있어서 순서 관계가 없고, 분석 장치(1)는 선택적으로 상기 비교 결과 또는 상기 제2 비교 결과를 우선적으로 계산 및 표시하거나, 또는 멀티 프로세서 방식을 사용하여 상기 비교 결과 및 상기 제2 비교 결과를 동시에 계산 및 표시할 수 있으며, 도 6b에 도시된 단계의 순서에 제한되는 것은 아니다.
일 실시예에 있어서, 상기 표준 차이는 상기 평균 색상 수치와 유사하게 모두 0~255의 픽셀값일 수 있고 제2 비교 결과는 상기 비교 결과와 유사하게 모두 백분율일 수 있다. 본 실시예에 있어서, 비교 모듈(104)은 수학식(
Figure 112018004605110-pat00002
) 에 의하여 제2 비교 결과를 생성한다. 단, 상기 내용은 본 발명의 그중 일 실시예일 뿐, 이에 한정되는 것은 아니다.
이어서, 분석 장치(1)는 본 차례의 보조 동작이 완성되었는지 판단(S34 단계)하고, 보조 동작이 완성되기 전에는 S16 단계 내지 S32 단계를 중복 실행함으로써 지속적으로 사용자의 얼굴을 식별하고, 지속적으로 오관에 대한 포지셔닝을 진행하며, 지속적으로 입술의 위치 및 영상을 취득하고, 지속적으로 입술 상의 입술 화장의 평균 색상 수치 및 표준 차이를 분석하며, 지속적으로 비교 결과 및 제2 비교 결과를 생성 및 표시한다. 분석 장치(1)가 본 차례의 보조 동작이 완성되었다고 판단하였을 때, 본 차례의 분석 방법을 종료한다. 상기 S16 단계 내지 S32 단계를 중복 실행함으로써, 본 발명에 따른 분석 장치(1) 및 분석 방법은 실시간(real time) 화장 보조 기능을 실현할 수 있다.
예를 들면, 분석 장치(1)는 사용자의 얼굴(51)에 대하여 분석을 진행하고, 표시되는 비교 결과를 통하여 사용자의 입술 화장의 색상이 표준 색상보다 5% 어두움을 지적해 낼 수 있다. 비교 결과에 의하여, 사용자는 입술 화장에 대하여 수정을 진행할 수 있다. 사용자가 수정을 진행하는 동시에, 분석 장치(1)는 지속적으로 사용자의 얼굴(51)에 대하여 분석을 진행하고 비교 결과를 수정하여 사용자의 입술 화장의 색상이 표준 색상보다 3% 어두움을 표시할 수 있다.
상기 비교 결과에 의하여, 사용자는 지속적으로 입술 화장에 대하여 수정을 진행하고, 분석 장치(1)는 지속적으로 사용자의 얼굴(51)에 대하여 분석을 진행할 수 있다. 이어서, 분석 장치(1)는 또 다시 비교 결과를 수정하여 사용자의 입술 화장의 색상이 표준 색상보다 1.5% 어두움을 표시할 수 있으며, 그 이후에도 이러한 방식으로 유추한다. 따라서, 사용자는 입술 화장의 색상/밝기가 표준 색상/밝기와 동일하거나 유사할 때까지 지속적으로 입술 화장에 대하여 수정을 진행할 수 있다. 이곳에서 언급되는 표준 색상/밝기는 분석 장치(1)에 미리 저장된 색상/밝기 또는 사용자가 선택한 증강 현실 영상의 입술 위치 상의 색상/밝기일 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 있어서, 분석 장치(1)는 S34 단계에서 분석 장치(1)의 전원을 끌 것인지 판단한다. 본 실시예에 있어서, 분석 장치(1)는 전원을 끄기 전에는 S16 단계 내지 S32 단계를 중복 실행하고 전원을 끈 다음에는 본 차례의 분석 방법을 종료한다. 따라서, 분석 장치(1)는 전원을 켰을 때 실행할 수 있게 된다.
다른 실시예에 있어서, 분석 장치(1)는 S34 단계에서 상기 비교 결과(및 제2 비교 결과)가 화장 완성 표준에 부합되는지 판단한다. 예를 들면, 분석 장치(1)는 상기 비교 결과 및 제2 비교 결과에 의하여 입술 화장의 평균 색상 수치가 미리 설정된 색상 수치와 동일하거나 근사한지 판단하고 입술 화장의 표준 차이가 미리 설정된 표준 차이와 동일하거나 근사한지 판단한다. 또한, 분석 장치(1)는 입술 화장의 평균 색상 수치와 미리 설정된 색상 수치가 동일하거나 근사하고, 입술 화장의 표준 차이와 미리 설정된 색상 수치가 동일하거나 근사할 때, 상기 비교 결과(및 제2 비교 결과)가 화장 완성 표준에 부합되는 것으로 판단한다.
마찬가지로, 본 실시예에 있어서, 분석 장치(1)는 비교 결과(및 제2 비교 결과)가 화장 완성 표준에 부합되기 전에는 S16 단계 내지 S32 단계를 중복 실행하고 부합되었을 때에는 본 차례의 분석 방법을 종료한다.
도 8은 본 발명의 제1 구체 실시예에 따른 미리 설정된 수치의 분석 흐름도이다. 도 8은 상기 미리 설정된 색상 수치 및 미리 설정된 표준 차이에 대하여 더 상세하게 설명하기 위한 것이다.
구체적으로 말하면, 본 실시예에 있어서, 분석 장치(1)는 처리 유닛(10)을 통하여 상기 복수개 비교 영상(예를 들면 증강 현실 영상) 중의 하나를 판독(S40 단계)하고, 포지셔닝 모듈(102)은 선택된 비교 영상에 대하여 포지셔닝을 진행함으로써 비교 영상으로부터 입술 위치의 입술 영상을 취득(S42 단계)한다. 본 실시예에 있어서, 처리 유닛(10)이 S40 단계에서 판독한 비교 영상은 적어도 입술 영상을 포함한 얼굴 영상 또는 얼굴 국부 영상이다.
이어서, 처리 유닛(10)은 분석 모듈(103)을 통하여 입술 영상에 대하여 분석을 진행함으로써 입술 영상의 평균 색상 수치를 취득하고, 입술 영상의 평균 색상 수치를 상기 미리 설정된 색상 수치로 사용(S44 단계)한다. 또한, 처리 유닛(10)은 분석 모듈(103)을 통하여 입술 영상의 표준 차이를 분석 및 취득하고, 입술 영상의 표준 차이를 상기 미리 설정된 표준 차이로 사용(S46 단계)한다. 본 실시예에 있어서, 분석 모듈(103)은 관련 기술 중의 하나 또는 복수개의 영상 분석 알고리즘을 사용하여 입술 영상으로부터 상기 미리 설정된 색상 수치 및 미리 설정된 표준 차이를 분석해 낼 수 있다.
본 발명에 있어서, 사용자는 화장을 시작하기 전에 우선 분석 장치(1)에 대한 조작을 통하여 분석 장치(1)의 디스플레이 모듈(111)에 복수개의 비교 영상을 표시하고 입력 인터페이스(15)를 통하여 그 중의 하나를 선택할 수 있다. 따라서, 사용자는 화장을 시작하기 전에 우선 거울면 스크린(11)을 통하여 선택된 비교 영상을 관찰함으로써 화장이 완성된 후의 모습을 확인하고, 화장을 시작할 것인지 결정할 수 있다. 또한, 분석 장치(1)는 상기 보조 모드에 있어서 사용자의 현재 입술 화장을 선택된 비교 영상과 비교하기 때문에 사용자가 빠른 속도로 비교 영상과 동일한 입술 화장을 완성할 수 있도록 효과적으로 협조할 수 있다.
도 9는 본 발명의 제3 구체 실시예에 따른 분석 장치 예시도이다. 상기 내용에서 설명한 바와 같이, 본 발명에 따른 분석 장치(1)는 실시간으로 사용자(5)의 얼굴 영상을 취득하고 사용자(5)의 현재 입술(52) 상황을 분석하며, 분석 장치(1)는 거울면 스크린(11)에 비교 영상 표시 구역(1111)을 제공함으로써 사용자(5)의 입술(52)과 비교하는 비교 영상(7)(예를 들면 증강 현실 영상)을 실시간으로 표시할 수 있다.
구체적으로 말하면, 분석 장치(1)는 복수개의 비교 영상 중에서 사용자(5)가 선택하여 비교를 진행하고자 하는 비교 영상(7)에 대하여 처리(예를 들면 확대 처리)를 진행한 다음, 디스플레이 모듈(111)을 제어하여 비교 영상 표시 구역(1111)에 비교 영상(7)을 완전히 표시하거나, 또는 비교 영상(7) 중의 입술 위치의 클로즈업 영상을 국부적으로 표시할 수 있다.
도 9에 도시된 바와 같이, 거울면 스크린(11)에는 또한 정보 표시 구역(1112)을 구비하고, 분석 장치(1)는 디스플레이 모듈(111)을 제어하여 상기 비교 결과(및 제2 비교 결과)를 거울면 스크린(11)의 정보 표시 구역(1112)에 표시할 수 있다.
본 실시예에 있어서, 사용자(5)는 거울면 스크린(11)을 통하여 자신의 얼굴 및 입술(52)의 반사 영상을 관찰하고, 비교 영상 표시 구역(1111)을 통하여 비교에 사용되는 비교 영상(7)을 관찰하며, 정보 표시 구역(1112)을 통하여 현재 입술(52) 상의 입술 화장의 색상 및 분포 상황이 표준과 어긋(예를 들면, 표시되는 비교 영상(7)과 어긋남)나는지 파악할 수 있다.
예를 들면, 도 9에 표시된 실시예에 있어서, 비교 결과에는 현재 입술 화장의 색상 밝기가 비교 영상(7)의 밝기 보다 6.7% 높고, 또한 현재 입술 화장의 색상 분포율이 비교 영상(7)의 색상 분포율보다 2% 낮음을 표시하였다. 따라서, 분석 장치(1)는 사용자(5)의 입술(52) 부위의 화장 동작을 효과적으로 협조하여 사용자(5)의 화장 속도를 향상시키고 화장 효과를 최적화시킬 수 있다.
본 발명에 따른 분선 장치(1) 및 분석 방법을 통하여, 사용자(5)는 화장 동작을 실행할 때 거울면 스크린(11)을 통하여 자신의 얼굴 모습을 관찰하는 동시에 직접 입술(52) 부위의 영상 분석 결과를 직접 취득하여 더욱 빠르고 완벽하게 화장 동작을 실행할 수 있게 된다.
상기 내용은 본 발명에 따른 바람직한 구체 실시예일 뿐, 본 발명의 특허 청구 범위에 대한 한정이 아니다. 따라서, 본 발명의 내용을 기초로 한 동등 효과 변화는 모두 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
1 : 신체 정보 분석 장치
2 : 모바일 장치
3 : 무선 라우터
4 : 인터넷
5 : 사용자
6 : 포지셔닝 포인트
7 : 비교 영상
10 : 처리 유닛
11 : 거울면 스크린
12 : 영상 취득 모듈
13 : 버튼
14 : 센서
15 : 입력 인터페이스
16 : 무선 송수신 모듈
21 : 응용 프로그램
51 : 얼굴
52 : 입술
101 : 얼굴 식별 모듈
102 : 포지셔닝 모듈
103 : 분석 모듈
104 : 비교 모듈
111 : 디스플레이 모듈
1111 : 비교 영상 표시 구역
1112 : 정보 표시 구역
S10~S14 : 분석 단계
S16~S34 : 분석 단계
S40~S46 : 분석 단계

Claims (18)

  1. 신체 정보 분석 장치에 적용되고,
    a) 상기 신체 정보 분석 장치의 영상 취득 모듈이 외부 영상을 취득하는 단계;
    b) 상기 신체 정보 분석 장치의 처리 유닛이 상기 외부 영상에 사람 얼굴이 존재하는지 여부를 결정하는 단계;
    c) 상기 처리 유닛이 상기 외부 영상으로부터 사람 얼굴을 식별하였을 때, 상기 얼굴의 크기가 특정 비례 이상인지 여부를 판단하는 단계;
    d) 상기 얼굴의 크기가 상기 특정 비례 이상인 것으로 판단할 때, 상기 처리 유닛은 상기 얼굴의 각 부위에 대하여 포지셔닝하는 단계;
    e) d 단계 이후, 상기 사람 얼굴로부터 입술 위치를 취득하는 단계;
    f) 상기 처리 유닛을 통하여 상기 입술 상의 입술 화장의 평균 색상 수치를 분석하는 단계;
    g) 상기 평균 색상 수치와 미리 설정된 색상 수치를 비교하여 비교 결과를 생성하는 단계; 및
    h) 상기 신체 정보 분석 장치의 디스플레이 모듈을 통하여 상기 비교 결과를 표시하는 단계; 를 포함하여 구성되는 입술 화장 분석 방법.
  2. 제 1항에 있어서,
    상기 g 단계 이전에,
    g01) 비교 영상을 판독하되, 상기 비교 영상은 얼굴 영상인 단계;
    g02) 상기 얼굴 영상에 대한 포지셔닝을 통하여 입술 영상을 취득하는 단계;
    g03) 상기 입술 영상의 평균 색상 수치를 취득하여 상기 미리 설정된 색상 수치로 사용하는 단계; 를 더 포함하여 구성되는 입술 화장 분석 방법.
  3. 제 2항에 있어서,
    i) 상기 디스플레이 모듈을 통하여 상기 비교 영상을 표시하되, 상기 비교 영상은 증강 현실 영상인 단계; 를 더 포함하여 구성되는 입술 화장 분석 방법.
  4. 제 1항에 있어서,
    j1) 상기 신체 정보 분석 장치의 전원을 끌 것인지 판단하는 단계; 및
    j2) 상기 신체 정보 분석 장치의 전원을 끄기 전에는 a 단계 내지 h 단계를 중복 실행하는 단계; 를 더 포함하여 구성되는 입술 화장 분석 방법.
  5. 제 1항에 있어서,
    k1) 상기 비교 결과가 화장 완성 표준에 부합되는지 판단하는 단계; 및
    k2) 상기 비교 결과가 상기 화장 완성 표준에 부합되기 전에는 a 단계 내지 h 단계를 중복 실행하는 단계; 를 더 포함하여 구성되는 입술 화장 분석 방법.
  6. 제 1항에 있어서,
    l) 상기 처리 유닛을 통하여 상기 입술 상의 상기 입술 화장의 표준 차이(Standard Deviation, SD)를 분석하는 단계;
    m) 상기 표준 차이와 미리 설정된 표준 차이를 비교하여 제2 비교 결과를 생성하는 단계; 및
    n) 상기 디스플레이 모듈에 상기 제2 비교 결과를 표시하는 단계; 를 더 포함하여 구성되는 입술 화장 분석 방법.
  7. 제 6항에 있어서,
    상기 m 단계 이전에,
    m01) 비교 영상을 판독하되, 상기 비교 영상은 얼굴 영상인 단계;
    m02) 상기 얼굴 영상에 대한 포지셔닝을 통하여 입술 영상을 취득하는 단계;
    m03) 상기 입술 영상의 표준 차이를 취득하여 상기 미리 설정된 표준 차이로 사용하는 단계; 를 더 포함하여 구성되는 입술 화장 분석 방법.
  8. 제 7항에 있어서,
    o) 상기 디스플레이 모듈을 통하여 상기 비교 영상을 표시하되, 상기 비교 영상은 증강 현실 영상인 단계; 를 더 포함하여 구성되는 입술 화장 분석 방법.
  9. 제 1항에 있어서,
    d 단계는 Dlib Face Landmark 시스템을 통하여 상기 사람 얼굴 상의 각 부위에 대하여 포지셔닝하는 입술 화장 분석 방법.
  10. 제 1항에 있어서,
    상기 특정 비례는 상기 외부 영상의 40% 인, 입술 화장 분석 방법.
  11. 외부 영상을 취득하는 영상 취득 모듈;
    디스플레이 모듈;
    상기 영상 취득 모듈 및 상기 디스플레이 모듈과 전기적으로 연결되고, 상기 외부 영상에 대한 식별을 통하여 상기 외부 영상에 사람 얼굴이 존재하는지 여부를 결정하고, 상기 외부 영상으로부터 식별된 사람 얼굴의 크기가 특정 비례 이상인지 여부를 판단하고, 상기 사람 얼굴의 각 부위에 대하여 포지셔닝하여 상기 사람 얼굴으로부터 입술 위치를 취득하는 처리 유닛; 을 포함하여 구성되고,
    상기 처리 유닛은 상기 입술 상의 입술 화장의 평균 색상 수치를 분석하고 상기 평균 색상 수치와 미리 설정된 색상 수치를 비교함으로써 비교 결과를 생성하며;
    상기 디스플레이 모듈을 통하여 상기 비교 결과를 표시하는; 신체 정보 분석 장치.
  12. 제 11항에 있어서,
    상기 처리 유닛은,
    상기 외부 영상에 대한 식별을 통하여 상기 외부 영상에 상기 사람 얼굴이 포함되어 있는지 판단하는 얼굴 식별 모듈;
    상기 사람 얼굴에 대하여 포지셔닝을 진행함으로써 상기 입술의 위치를 취득하는 포지셔닝 모듈;
    알고리즘을 통하여 상기 입술 상의 상기 입술 화장의 상기 평균 색상 수치를 분석하는 분석 모듈; 및
    상기 평균 색상 수치와 상기 미리 설정된 색상 수치를 비교하여 비교 결과를 생성하는 비교 모듈; 을 포함하여 구성되는 신체 정보 분석 장치.
  13. 제 12항에 있어서,
    상기 처리 유닛은 비교 영상을 판독한 다음, 상기 포지셔닝 모듈을 제어하여 상기 비교 영상에 대하여 포지셔닝을 진행하도록 함으로써 입술 영상을 취득하고, 상기 분석 모듈을 제어하여 상기 입술 영상에 대하여 분석을 진행하도록 함으로써 상기 입술 영상의 평균 색상 수치를 취득하여 상기 미리 설정된 색상 수치로 사용하며, 상기 비교 영상은 얼굴 영상인 신체 정보 분석 장치.
  14. 제 13항에 있어서,
    상기 비교 영상은 증강 현실 영상인 신체 정보 분석 장치.
  15. 제 12항에 있어서,
    상기 처리 유닛은 더 나아가서 상기 분석 모듈을 제어하여 상기 입술 상의 상기 입술 화장의 표준 차이(Standard Deviation, SD)를 분석하도록 하고, 상기 표준 차이와 미리 설정된 표준 차이를 비교하여 제2 비교 결과를 생성하며, 상기 디스플레이 모듈을 제어하여 상기 제2 비교 결과를 표시하도록 하는 신체 정보 분석 장치.
  16. 제 15항에 있어서,
    상기 처리 유닛은 비교 영상을 판독한 다음, 상기 포지셔닝 모듈을 제어하여 상기 비교 영상에 대하여 포지셔닝을 진행하도록 함으로써 입술 영상을 취득하고, 상기 분석 모듈을 제어하여 상기 입술 영상에 대하여 분석을 진행하도록 함으로써 상기 입술 영상의 표준 편차를 취득하여 미리 설정된 표준 편차로 사용하며, 상기 비교 영상은 얼굴 영상인 신체 정보 분석 장치.
  17. 제 12항에 있어서,
    상기 포지셔닝 모듈은 Dlib Face Landmark 시스템을 통하여 상기 사람 얼굴 상의 각 부위에 대하여 포지셔닝하는 신체 정보 분석 장치.
  18. 제 12항에 있어서,
    상기 특정 비례는 상기 외부 영상의 40% 인, 신체 정보 분석 장치.
KR1020180005053A 2017-08-24 2018-01-15 신체 정보 분석 장치 및 입술 화장 분석 방법 KR102065480B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710735441.XA CN109427078A (zh) 2017-08-24 2017-08-24 身体信息分析装置及其唇妆分析方法
CN201710735441.X 2017-08-24

Publications (2)

Publication Number Publication Date
KR20190022274A KR20190022274A (ko) 2019-03-06
KR102065480B1 true KR102065480B1 (ko) 2020-02-11

Family

ID=61027479

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180005053A KR102065480B1 (ko) 2017-08-24 2018-01-15 신체 정보 분석 장치 및 입술 화장 분석 방법

Country Status (5)

Country Link
US (1) US10515260B2 (ko)
EP (1) EP3447726A1 (ko)
JP (1) JP2019037742A (ko)
KR (1) KR102065480B1 (ko)
CN (1) CN109427078A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414397A (zh) * 2019-07-19 2019-11-05 三星电子(中国)研发中心 卸妆方案推荐方法及装置
CN113450367A (zh) * 2020-03-24 2021-09-28 北京字节跳动网络技术有限公司 图像处理方法及装置
CN113496459A (zh) * 2020-04-01 2021-10-12 华为技术有限公司 辅助化妆方法、终端设备、存储介质及程序产品
US20210307492A1 (en) * 2020-04-01 2021-10-07 Magicom Inc. Smart-mirror display system
CN111932332B (zh) * 2020-06-04 2023-04-21 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备和计算机可读介质
ES2975860T3 (es) 2020-12-09 2024-07-16 Chanel Parfums Beaute Un método para identificar un producto de maquillaje de labios que aparece en una imagen
CN113837019B (zh) * 2021-08-31 2024-05-10 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216386A (ja) * 2000-02-02 2001-08-10 Nippon Telegr & Teleph Corp <Ntt> 化粧支援装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6293284B1 (en) 1999-07-07 2001-09-25 Division Of Conopco, Inc. Virtual makeover
JP4404650B2 (ja) * 2004-01-30 2010-01-27 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
US20070058858A1 (en) * 2005-09-09 2007-03-15 Michael Harville Method and system for recommending a product based upon skin color estimated from an image
KR101363691B1 (ko) * 2006-01-17 2014-02-14 가부시키가이샤 시세이도 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치,메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션프로그램
KR101204360B1 (ko) * 2010-05-13 2012-11-23 정운대 일회용 입술화장도구 및 그 입술화장방법
JP2012078469A (ja) * 2010-09-30 2012-04-19 Casio Comput Co Ltd 画像表示装置及び画像表示方法
JP4760999B1 (ja) 2010-10-29 2011-08-31 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP4831259B1 (ja) * 2011-03-10 2011-12-07 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP5273208B2 (ja) * 2011-06-07 2013-08-28 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
US8908904B2 (en) 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
JP6396890B2 (ja) * 2013-04-08 2018-09-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム
WO2015029392A1 (ja) * 2013-08-30 2015-03-05 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
KR20150093930A (ko) 2014-02-09 2015-08-19 주홍찬 증강현실을 이용한 메이크업 장치 및 방법
JP6470503B2 (ja) 2014-05-20 2019-02-13 キヤノン株式会社 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム
WO2016121329A1 (ja) * 2015-01-29 2016-08-04 パナソニックIpマネジメント株式会社 画像処理装置、スタイラス、および画像処理方法
JP6165187B2 (ja) 2015-02-18 2017-07-19 株式会社桃谷順天館 メイクアップの評価方法、メイクアップの評価システム、及びメイクアップ製品の推奨方法
JP6128356B2 (ja) 2016-01-22 2017-05-17 パナソニックIpマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
CN109242785A (zh) * 2018-08-10 2019-01-18 广州二元科技有限公司 一种基于神经网络和颜色筛选的精准人像上唇彩的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216386A (ja) * 2000-02-02 2001-08-10 Nippon Telegr & Teleph Corp <Ntt> 化粧支援装置

Also Published As

Publication number Publication date
CN109427078A (zh) 2019-03-05
US20190065831A1 (en) 2019-02-28
US10515260B2 (en) 2019-12-24
KR20190022274A (ko) 2019-03-06
JP2019037742A (ja) 2019-03-14
EP3447726A1 (en) 2019-02-27

Similar Documents

Publication Publication Date Title
KR102065480B1 (ko) 신체 정보 분석 장치 및 입술 화장 분석 방법
KR102045214B1 (ko) 신체 정보 분석 장치 및 아이섀도 분석 방법
JP6547013B2 (ja) 生体情報解析装置及びその頬紅解析方法
KR102045218B1 (ko) 신체 정보 분석 장치 및 눈썹 모양 보조 비교 방법
KR102045219B1 (ko) 증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법
KR20190028258A (ko) 신체 정보 분석 장치 및 손 피부 분석 방법
KR102045228B1 (ko) 신체 정보 분석 장치 및 얼굴형 모의 방법
JP2014023127A (ja) 情報表示装置、情報表示方法、制御プログラム、および記録媒体
US20190035126A1 (en) Body information analysis apparatus capable of indicating blush-areas
KR102045217B1 (ko) 인체 정보 분석장치 및 메이크업 파운데이션 분석 방법
KR20190032156A (ko) 신체 정보 분석 장치 및 얼굴형 검측 방법
US10824850B2 (en) Body information analysis apparatus capable of indicating shading-areas
Montanini et al. Real time message composition through head movements on portable Android devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant