KR20160039881A - 피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션 - Google Patents

피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션 Download PDF

Info

Publication number
KR20160039881A
KR20160039881A KR1020140133159A KR20140133159A KR20160039881A KR 20160039881 A KR20160039881 A KR 20160039881A KR 1020140133159 A KR1020140133159 A KR 1020140133159A KR 20140133159 A KR20140133159 A KR 20140133159A KR 20160039881 A KR20160039881 A KR 20160039881A
Authority
KR
South Korea
Prior art keywords
analysis
user
skin
camera
analysis item
Prior art date
Application number
KR1020140133159A
Other languages
English (en)
Other versions
KR101701210B1 (ko
Inventor
감동빈
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020140133159A priority Critical patent/KR101701210B1/ko
Publication of KR20160039881A publication Critical patent/KR20160039881A/ko
Application granted granted Critical
Publication of KR101701210B1 publication Critical patent/KR101701210B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Dermatology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 사용자의 피부 상태를 분석한 뒤, 분석 결과를 출력하는 방법 및 이를 위한 장치를 개시한다. 본 발명에 의한 장치는, 영상을 입력 받기 위한 제 1 카메라; 정보를 표시하기 위한 디스플레이부; 및 상기 카메라를 통해 획득한 사용자 영상을 기초로 적어도 하나의 분석 항목에 대한 피부 분석을 수행한 뒤, 상기 디스플레이부를 통해 각 분석 항목을 대표하는 적어도 하나의 도형 오브젝트가 출력되도록 제어하되, 상기 각 분석 항목의 평가 수치를 기초로 각 도형 오브젝트의 크기를 조절하는 제어부를 포함할 수 있다.

Description

피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션{METHOD FOR OUTPUTTING AN SKIN ANALYSING RESULT, APPARATUS AND APPLICATION THEREFOR}
본 발명은 사용자의 피부 상태를 분석한 뒤, 분석 결과를 출력하는 방법, 이를 위한 장치 및 어플리케이션에 관한 것이다.
미용에 대한 관심이 점차 증대함에 따라, 피부 관리에 대한 대중의 관심도 증가하고 있다. 각 개인은 의료 시술을 받거나, 피부 노화 또는 피부 트러블을 방지하기 위한 화장품을 사용하여, 최선의 피부 상태를 유지하기 위해 노력하고 있다.
다만, 개인이 피부 관리를 위하여, 피부과 또는 피부 관리실을 검색하여 의료 시술을 받는 것에는 상당한 비용 및 노력이 수반되어야 하고, 피부 노화를 방지하기 위한 화장품도 다양하게 출시되어 있어, 자신에게 적합한 화장품을 찾는 것이 어렵다는 문제점이 있다.
이에, 최근 보편화된 이동 단말기나 퍼스널 컴퓨터 등에 포함된 카메라를 통해 촬영된 사진으로부터 피부 상태를 점검할 수 있다면, 각 개인들은 때와 장소를 가리지 않고 자신들의 피부 상태를 점검할 수 있을 것이다.
다만, 이동 단말기나 퍼스널 컴퓨터 등에 포함된 카메라를 이용하여 피부 분석을 행한다 하더라도, 피부 분석 결과가 단순 수치로만 표현된다면, 피부 상태가 불량한 사용자에게 경각심을 심어주기 어렵다. 이에, 사용자의 피부 분석 결과, 사용자가 취약한 항목을 보다 손쉽게 인식할 수 있도록 함과 동시에, 취약한 항목에 대한 개선 방법을 알려주기 위한 유저 인터페이스 제공의 필요성이 높아지고 있다.
본 발명은 피부 분석 결과 출력 방법 및 이를 위한 장치를 제공하는 것에 목적이 있다.
구체적으로, 본 발명은 사용자의 피부 분석이 행하여지면, 사용자의 위크 포인트(Weak Point)를 강조할 수 있는 피부 분석 결과 출력 방법 및 이를 위한 장치를 제공하는 것에 목적이 있다.
또한, 본 발명은 사용자의 위크 포인트를 개선하기 위한 방법을 종합적으로 안내할 수 있는 피부 분석 결과 출력 방법 및 이를 위한 장치를 제공하는 것에 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일예에 따른 피부 분석을 위한 장치는, 영상을 입력 받기 위한 카메라; 정보를 출력하기 위한 디스플레이부; 및 소정 조건을 만족하는 프레임이 연속적으로 N개 검출된 경우, N번째 프레임을 피부 분석을 위한 이미지로서 추출하고, 상기 추출된 이미지 내 적어도 하나의 분석 영역을 설정한 뒤, 상기 분석 영역에 대한 피부 분석을 수행하는 제어부를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른예에 따른 피부 분석을 위한 장치는, 영상을 입력 받기 위한 카메라; 정보를 출력하기 위한 디스플레이부; 및 상기 카메라를 통해 입력되는 상기 영상으로부터 사용자의 얼굴이 인식되면, 상기 카메라를 통해 복수의 사진을 촬영하고, 상기 복수의 사진 중 어느 하나를 선택하고, 선택된 사진 속 상기 얼굴 내 적어도 하나의 분석 영역을 설정한 뒤, 상기 분석 영역에 대한 피부 분석을 수행하는 제어부를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일예에 따른 피부 분석 방법은, 카메라를 통해 영상을 입력받는 단계; 상기 카메라를 통해 입력되는 상기 영상을 분석하여, 소정 조건을 만족하는 프레임을 검출하는 단계; 상기 소정 조건을 만족하는 프레임이 연속적으로 N개 검출되면, N번째 프레임을 피부 분석을 위한 이미지로 선정하는 단계; 상기 추출된 이미지 내 내 적어도 하나의 분석 영역을 설정하는 단계; 및 상기 분석 영역에 대한 피부 분석을 수행하는 단계를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른예에 따른 피부 분석 방법은, 카메라를 통해 입력되는 영상으로부터 사용자의 얼굴을 인식하는 단계; 상기 사용자의 얼굴이 인식되면, 상기 카메라로 복수의 사진을 촬영하는 단계; 상기 복수의 사진 중 어느 하나를 선택하는 단계; 상기 선택된 사진 속 상기 얼굴 내 적어도 하나의 분석 영역을 설정하는 단계; 및 상기 분석 영역에 대한 피부 분석을 수행하는 단계를 포함할 수 있다.
본 발명에서 얻을 수 있는 기술적 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 피부 분석 결과 출력 방법 및 이를 위한 장치를 제공할 수 있는 효과가 있다.
구체적으로, 본 발명은 사용자의 피부 분석이 행하여지면, 사용자의 위크 포인트(Weak Point)를 강조할 수 있는 피부 분석 결과 출력 방법 및 이를 위한 장치를 제공할 수 있는 효과가 있다.
또한, 본 발명은 사용자의 위크 포인트를 개선하기 위한 방법을 종합적으로 안내할 수 있는 피부 분석 결과 출력 방법 및 이를 위한 장치를 제공할 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1 및 도 2는 피부 분석 방법이 적용될 수 있는 화장대를 도시한 도면이다.
도 3은 화장대에 실장되는 전자 부품의 블록도이다.
도 4는 본 발명에 적용 가능한 따른 피부 분석 방법을 도시한 도면이다.
도 5는 각 입력 영상 별 사용자가 화장대를 사용하고자 하는지 여부를 판단한 예를 도시한 도면이다.
도 6은 카메라로 입력되는 영상으로부터 피부 분석에 적합한 이미지를 추출하는 예를 도시한 도면이다.
도 7은 사용자의 얼굴에서 복수의 분석 영역이 설정되는 예를 도시한 도면이다.
도 8은 본 발명의 일예에 따른, 피부 분석 결과 출력 방법을 예시한 도면이다.
도 9는 적어도 하나 이상의 분석 항목에 대한 평가 결과가 출력되는 예를 도시한 도면이다.
도 10은 각 분석 항목의 평가 수치를 기초로, 각 분석 항목을 대표하는 도형의 크기 및 도형의 색상이 결정되는 예를 도시한 도면이다.
도 11은 도형 오브젝트가 자유롭게 이동하는 예를 도시한 도면이다.
도 12 내지 도 14는 도형 오브젝트들이 중첩 표시되는 예를 도시한 도면이다.
도 15는 도형 오브젝트가 터치됨에 따라, 상세 분석 결과가 출력되는 예를 도시한 도면이다.
도 16은 양 오브젝트가 중첩되는 영역에 포인터가 터치된 경우의 예를 도시한 도면이다.
도 17은 피부 관리 방법을 설명한 영상들의 목록이 출력되는 예시한 도면이다.
도 18은 추천 화장품 정보가 출력되는 예를 도시한 도면이다.
도 19는 추천 화장품을 구매하기 위한 구매창이 출력되는 예를 도시한 도면이다.
이하, 본 발명과 관련된 피부 분석 장치 및 이의 제어 방법에 대하여 도면을 참조하여 보다 상세하게 설명하기로 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
후술될 피부 분석 방법은 피부 분석을 위한 어플리케이션이 설치되고, 실행될 수 있는 다양한 단말기에 적용될 수 있다. 즉, 본 발명에 따른 피부 분석 방법은, 이동 단말기뿐만 아니라, 고정형 단말기에도 적용될 수 있다. 이동형 단말기는 휴대폰, 스마트폰, 디지털 카메라, PDA, 랩탑, MP3 등과 같이, 사용자가 소지하여 이동 가능한 단말기를 의미하는 것일 수 있고, 고정형 단말은 텔레비전, 데스크톱, 키오스크, 화장대 등과 같이, 사용자가 휴대하기 어려워 통상적으로 한 위치에서 고정적으로 사용되는 단말기를 의미하는 것일 수 있다. 설명의 편의를 위해, 후술되는 실시예에서는 피부 분석 방법이 적용되는 단말기로 고정형 단말기를 예시하기로 한다. 고정형 단말기 중에서도, 전자 부품이 실장되어 있는 화장대를 예로 하여 설명하기로 한다.
도 1 및 도 2는 피부 분석 방법이 적용될 수 있는 화장대(10)를 도시한 도면이다. 도 1에 도시된 예를 살펴보면, 화장대(10)의 전면부에는 거울(120)이 노출될 수 있다. 이때, 거울(120)의 적어도 일부는 정보를 출력하는 디스플레이부(125)로 활용될 수 있다. 이에, 사용자는 거울(120)에 자신의 모습을 비추어 보면서, 디스플레이부(125)를 통해 출력되는 다양한 정보를 확인할 수 있다.
화장대(10)에는 광원부(140)가 설치될 수 있다. 광원부(140)는 사용자가 화장대(10) 앞에 위치하였을 때, 사용자의 얼굴을 향해 빛을 비추도록 배치될 수 있다. 사용자의 얼굴을 밝게 비춤에 따라, 사용자의 피부톤 및 화장 상태가 거울에 보다 뚜렷이 비치는 효과가 발생할 수 있다. 도 1 및 도 2에서는 화장대(10)의 좌측 및 우측 테두리에 광원부(140)가 위치하는 것으로 예시하였으나, 광원부(140)의 위치는 도시된 예에 한정되는 것은 아니다.
거울(120)의 배면에는 전자 부품이 실장될 수 있는 케이스(12)가 위치할 수 있다. 케이스(12)에는 후술될 도 3에서 설명할 통신부(110), 카메라(130), 메모리(150), 제어부(170) 등의 전자 부품이 실장될 수 있다. 케이스(12)에 실장된 카메라(130)는 디스플레이부를 넘어 외부를 촬영하는 역할을 수행할 수 있다. 이를 위해, 거울(120)의 배면부(즉, 케이스(12)에 맞닿아 있는 면)는 빛의 투과가 가능한 상태인 것이 바람직하다.
본 발명에 따른 화장대(10)는 화장품을 수납할 수 있는 화장품 냉장고(20)와 결합한 형태를 띌 수도 있다. 이때, 화장품 냉장고(20)의 도어(190)에는 거울이 부착될 수도 있으나, 반드시 그래야 하는 것은 아니다. 화장품 냉장고(20)에는 냉장실(또는 냉동실)의 온도를 조절하기 위한 온도 제어부(170)가 포함될 수 있다. 온도 제어부(170)는 냉장실(또는 냉동실)의 온도를 적절히 관리하여, 화장품이 적정 온도에서 보관되도록 제어할 수 있다.
도시된 화장대(10)는 벽에 걸어 사용하도록 설계될 수 있다. 이를 위해, 케이스(12)의 뒤편에는 벽에 부착된 핀을 걸기 위한 홈이 형성되어 있을 수도 있다.
도 3을 참조하여, 도 1 및 도 2에 도시된 화장대(10)에 대해 더욱 상세히 살펴보기로 한다.
도 3은 화장대(10)에 실장되는 전자 부품의 블록도이다. 도 3을 참조하면, 본 발명에 따른 화장대(10)는 통신부(110), 디스플레이부(125), 카메라(130), 광원부(140), 메모리(150), 센싱부(160), 온도 조절부(180) 및 제어부(170)를 포함할 수 있다.
통신부(110)는 외부에서 데이터를 수신하거나, 외부로 데이터를 전송하는 역할을 수행한다. 통신부(110)를 통해 화장대(10)는 외부 서버 또는 외부 단말과 통신할 수 있다.
통신부(110)에는 근거리 무선 통신 기술(예컨대, Bluetooth, Zigbee 또는 NFC (Near Field Communication) 등), 이동 통신 기술(예컨대, LTE (Long Term Evolution), HSDPA (High Speed Downlink Packet Access) 또는 W-CDMA (Wide Code Division Multiple Access) 등), 무선 랜(Wireless LAN (Local Area Network), Wi-Fi (Wireless Fidelity) 등) 등의 무선 통신 기술이 적용될 수도 있고, 유선 통신 기술이 적용될 수도 있다.
디스플레이부(125)는 제어부(170)의 제어 하에 정보를 출력하는 역할을 수행한다. 이때, 디스플레이부(125)는 거울의 적어도 일부 영역에 부착할 수 있다. 이 경우, 거울(120)은 입사되는 빛의 반사를 이용하여 사용자를 비추는 역할을 수행함과 동시에, 적어도 일부 영역(즉, 디스플레이부(125)가 결합된 영역)을 통해서는 정보를 출력하는 역할을 수행할 수 있을 것이다.
디스플레이부(125)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구성될 수도 있다. 디스플레이부(125)가 터치 스크린으로 구성되는 경우, 디스플레이부(125)부는 사용자에게 입력 인터페이스를 제공하는 입력 장치로서 기능함과 동시에, 정보를 출력하는 출력 장치로서 기능할 수 있다.
카메라(130)는 거울(120) 전면부를 촬영할 수 있다. 일예로, 카메라(130)는 거울(120)을 바라보고 있는 사용자를 촬영할 수 있다. 카메라(130)가 거울(120)을 넘어 영상 신호를 입력 받도록 하기 위해, 거울(120)의 전면부(즉, 사용자와 마주보는 면)은 빛을 반사시키고, 배면부(즉, 케이스(12)와 마주보는 면)은 빛을 통과시키는 반투명 형태를 띌 수 있다. 빛을 반사시키는 반사면이 외부에 노출됨에 따라, 사용자는 거울에 자신의 모습을 비춰볼 수 있을 것이다. 빛을 통과시키는 투과면이 카메라(130)를 향하도록 설치됨에 따라, 카메라(130)는 화장대 외부를 촬영할 수 있을 것이다.
카메라(130)를 통해 수집된 이미지 데이터는 분석되어 사용자의 제어 명령으로 처리될 수도 있다. 아울러, 제어부(170)는 카메라(130)로 입력되는 영상 신호를 분석하여, 사용자가 화장대(10) 앞에 위치하는지 여부 및 영상 속 사용자가 기 등록된 사용자 인지 여부를 판단할 수 있다.
광원부(140)는 빛을 비출 수 있다. 광원부(140)는 LED(Light Emmiting Unit), 백열등, 형광등 등과 같이, 빛을 낼 수 있는 유닛을 포함할 수 있다. 광원부(140)의 점등 및 소등은 제어부(170)에 의해 제어될 수도 있고, 수동 입력(예컨대, 광원부(140)를 On/Off 하기 위한 스위치의 조작)에 의해 제어될 수도 있다. 사용자는 광원부(140)에서 비추는 빛을 이용하여 보다 손쉽게 화장을 할 수 있을 것이다.
메모리(150)는 단말기의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(150)는 이동 단말기에서 구동되는 다수의 응용 프로그램, 예컨대, 피부 분석을 위한 어플리케이션 등과 각종 데이터가 저장될 수 있다. 메모리(150)에 저장된 프로그램 및 데이터는 제어부(170)에 의해 동작할 수 있다. 아울러, 메모리(150)에는 화장대(10)를 사용하고자 하는 사용자의 정보가 기 등록되어 있을 수 있다.
센싱부(160)는 단말기의 상태를 센싱할 수 있다. 아울러, 센싱부(160)는 화장대(10)로 근접하는 사용자를 감지할 수도 있다. 화장대(10)로 사용자가 근접한 것이 감지되면, 제어부(170)는 카메라(130)를 활성화하고, 카메라(130)를 통해 입력되는 영상을 분석하여, 근접한 사용자가 화장대(10)를 이용하고자 하는 상태인지를 판단할 수 있다.
온도 조절부(180)는 화장품 수납부의 온도를 조절하는 역할을 한다. 온도 조절부(180)는 사용자의 제어에 의해 또는 제어부(170)의 제어에 의해 냉장실(또는 냉동고)의 온도를 조절할 수 있다.
제어부(170)는 화장대(10)의 전반적인 동작을 제어한다. 제어부(170)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나, 메모리(150)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
도 3에 도시된 통신부(110), 디스플레이부(125), 카메라(130), 메모리(150), 센싱부(160) 및 제어부(170) 등을 구성하는 전자 부품은 도 1 및 도 2에 도시된 케이스에 실장될 수 있다. 그리고, 도 3에 도시된 온도 조절부(190)를 구성하는 전자 부품은 도 1 및 도 2에 도시된 화장품 냉장고(20)에 실장될 수 있다.
도 1 내지 도 3에서는 디스플레이부(125)에 거울에 부착되는 것으로 예시되었다. 다만, 디스플레이부(125)가 반드시 거울(120)에 부착되어야 하는 것은 아니다. 디스플레이부(125)는 거울(120)과 독립된 형태로 화장대(10)의 전면부에 노출될 수도 있다.
제어부(170)는 사용자의 피부 분석을 위해, 피부 분석을 위한 어플리케이션을 실행할 수 있다. 추가로, 피부 분석 어플리케이션이 실행되면, 제어부(170)는 피부 분석 결과를 저장하기 위한 피부 분석 서버와 통신할 수도 있다.
사용자의 피부가 분석되면, 제어부(180)는 사용자의 디스플레이부(125)를 통해 사용자의 피부 분석 결과를 출력할 수 있다. 디스플레이부(125)를 통해 피부 분석 결과가 출력되는 것을 살펴보기에 앞서, 피부 분석 방법의 일예에 대해 살펴보기로 한다.
도 4는 본 발명에 적용 가능한 따른 피부 분석 방법을 도시한 도면이다. 먼저, 센싱부(160)를 통해 화장대(10)에 사용자의 근접이 감지되면(S401), 제어부(170)는 카메라(130)를 활성화하고(S402), 카메라(130)를 통해 입력되는 영상 신호를 분석하여, 사용자가 화장대(10)를 사용하고자 하는지 여부를 판단할 수 있다(S403). 일예로, 카메라(130)를 통해 입력되는 영상 신호에서 사람의 얼굴이 인식되면, 제어부(180)는 사용자가 화장대(10)를 사용하고자 하는 것으로 판단할 수 있다. 이때, 사용자가 단순히 화장대(10) 앞을 지나치는 경우와, 사용자가 화장대(10)를 사용하고자 하는 경우를 구분하기 위해, 제어부(170)는 영상 속 얼굴의 주요 요소(예컨대, 양 눈, 코, 입, 양 눈썹 등)이 모두 감지되는 경우에 있어서, 사용자가 화장대(10)를 사용하고자 하는 것으로 판단할 수 있다.
더불어, 사용자가 단순히 화장대(10) 앞을 지나치는 경우와, 사용자가 화장대(10)를 사용하고자 하는 경우를 구분하기 위해, 제어부(170)는 영상 속 얼굴의 크기가 소정 크기 이상인 경우에 있어서, 사용자가 화장대(10)를 사용하고자 하는 것으로 판단될 수 있다.
일예로, 도 5는 각 입력 영상 별 사용자가 화장대(10)를 사용하고자 하는지 여부를 판단한 예를 도시한 도면이다. 도 5의 (a)에 도시된 예에서와 같이, 사용자의 얼굴이 인식되고, 얼굴의 주요 요소(예컨대, 양 눈, 코, 입 등)이 모두 포착되며, 얼굴 크기도 소정 크기 이상이라면, 제어부(170)는 사용자가 화장대(10)를 사용하고자 하는 상태인 것으로 판단할 수 있다.
이와 달리, 도 5의 (b)에 도시된 예에서와 같이, 사용자의 얼굴이 인식되었으나, 얼굴의 주요 요소 중 일부가 포착되지 않은 경우라면, 제어부(170)는 사용자가 화장대(10)를 사용하고자 하는 상태는 아닌 것으로 판단할 수 있다.
도 5의 (c)에 도시된 예에서와 같이, 사용자의 얼굴 및 얼굴의 주요 요소가 모두 포착되었으나, 사용자의 얼굴 크기가 작은 경우라면, 사용자가 화장대(10)에 멀리 떨어져 있는 상태이므로, 사용자가 화장대(10)를 사용하고자 하는 상태가 아닌 것으로 판단할 수 있다.
상술한 실시예에서는 센싱부(160)를 통해 사용자의 근접이 감지된 경우에 있어서 카메라(130)가 활성화 되는 것으로 예시되었지만, 카메라(130)는 센싱부(160)의 감지 여부와 무관하게 항상 활성화 상태를 유지할 수도 있다.
사용자가 화장대(10)를 사용하고자 하는 상태인 것이라 판단되면(S403), 제어부(170)는 광원부(140)를 켤 수 있다(S404). 즉, 피부 분석 전에 광원부(140)가 사용자의 얼굴을 밝게 비춤으로써, 사용자의 피부 분석이 용이한 환경이 조성될 수 있다.
이후, 제어부(170)는 카메라(130)를 통해 입력되는 영상을 분석하여, 입력되는 영상으로부터 피부 분석에 적합한 이미지를 추출할 수 있다(S405).
구체적으로, 제어부(180)는 카메라(130)를 통해 입력되는 영상 속 사용자의 얼굴 크기, 사용자의 얼굴이 기울어진 정도, 사용자 얼굴의 밝기 등을 고려하여, 카메라(130)를 통해 입력되는 영상 으로부터 피부 분석에 적합한 이미지를 추출할 수 있다.
일예로, 도 6은 카메라로 입력되는 영상으로부터 피부 분석에 적합한 이미지를 추출하는 예를 도시한 도면이다.
제어부(180)는 사용자의 얼굴 크기가 소정 크기 이상인 경우, 사용자의 얼굴이 소정 각도 이상 기울어지지 않은 것으로 판단되는 경우, 사용자 얼굴의 밝기가 적정한 수준을 유지하는 경우 중 적어도 하나에 있어서, 사용자의 얼굴이 피부 분석에 적합한 상태인 것으로 판단할 수 있다.
도 6을 참조하면, 먼저, 제어부(170)는, 카메라(130)를 통해 입력되는 프레임 속 사용자 얼굴의 가로 길이 또는 세로 길이가 소정 크기 이상인지 여부를 판단할 수 있다(S601). 예컨대, 소정 크기가 세로 길이 1000 픽셀(pixel, px)로 정해진 경우, 제어부(170)는 사용자 얼굴의 세로 길이가 1000px 이상인 경우, 사용자의 얼굴이 소정 크기 이상인 것으로 판단할 수 있다.
이후, 제어부(170)는 카메라를 통해 입력되는 프레임 속 사용자의 코의 중심과 입술의 중심을 잇는 선이 디스플레이부(150)의 상단의 중심 및 하단의 중심 잇는 가상의 직선 대비 소정 각도 이상 틀어져 있는지 여부를 판단할 수 있다(S602). 코의 중심과 입술의 중심을 잇는 선이 가상선과 소정 각도(예컨대, 2도) 이하를 유지하는 경우, 제어부(170)는 사용자의 얼굴이 어느 한쪽으로 기울어지지 않은 것으로 판단할 수 있다.
이후, 제어부(170)는 영상 속 사용자 얼굴의 밝기(즉, 피부 톤)와 메모리(150)에 기 등록된 사용자의 사진 속 밝기(즉, 피부 톤) 사이의 차이가 소정 수치 이하인지 여부를 판단할 수 있다(S603). 영상 속 사용자 얼굴의 밝기와 메모리(150)에 기 등록된 사용자의 사진 속 밝기 차이가 소정 수치 이하인 경우, 제어부(180)는 사용자 얼굴의 밝기가 적정 수준을 유지하는 상태라 판단할 수 있다.
이후, 제어부(170)는 N회 연속으로 상기 열거된 조건을 만족하는 프레임이 검출될 때(S604), N번째 프레임을 사용자의 피부 분석을 위한 이미지로 결정할 수 있다(S605).
상기 열거된 조건을 만족하는 프레임이 N번째 프레임이 아닌 경우, 제어부(170)는 다음 프레임이 상기 열거된 조건을 만족하는지 여부를 판단할 수 있다. 상기 열거된 조건을 만족하지 않는 경우, 제어부(170)는 카메라(130)를 통해 입력되는 영상을 분석하여 상기 열거된 조건을 만족하는 연속되는 N개의 프레임을 검출한 뒤, N번째 프레임을 피부 분석을 위한 이미지로 결정할 수 있다.
도 6에서는 피부 분석에 적합한 이미지인지 여부를 판단하는 조건으로, 사용자의 얼굴 크기, 얼굴의 기울어짐 정도 및 얼굴의 밝기를 예시하였다. 다만, 상기 열거된 조건 모두가 피부 분석에 적합한 이미지인지 여부를 판단하는 데 사용되어야 하는 것은 아니며, 열거된 조건 중 일부 만이 적합한 이미지를 추출하는데 사용될 수도 있다. 아울러, 도 6에 도시된 S601 내지 S603 단계는 그 순서가 뒤바뀌어도 무관하다 할 것이다.
피부 분석을 위해 추출된 이미지의 선명도(sharpness)가 기 설정된 값 보다 낮다면(S406), 제어부(170)는 다시 피부 분석을 위한 이미지를 추출할 수도 있다. 사용자가 순간적으로 움직여, 이미지 속 사용자 얼굴의 선명도가 낮다면, 추출된 이미지로 피부 분석을 수행하기 여의치 않으므로, 피부 분석을 위한 이미지를 재 추출하여 신뢰성 있는 피부 분석 결과를 도출할 수 있다.
이후, 제어부(170)는 추출된 이미지에서, 얼굴의 주요 요소(예컨대, 눈, 코, 입 등)의 위치를 파악하고, 파악된 위치에 기초하여, 사용자의 얼굴 위 복수의 분석 영역을 설정할 수 있다(S407).
일예로, 도 7은 사용자의 얼굴에서 복수의 분석 영역이 설정되는 예를 도시한 도면이다. 제어부(170)는 추출된 이미지 속 사용자의 얼굴에서 양 눈, 코 및 입 등의 위치를 확인할 수 있다. 열거된 얼굴의 주요 요소들의 위치가 확인되면, 제어부(170)는 확인된 주요 요소들의 위치를 기초로 얼굴 위 복수의 분석 영역을 설정할 수 있다. 도 7에서는, 이마(710), 양 볼(720, 730), 콧등(740), 턱(750)이 분석 영역으로 설정된 것으로 예시되었다.
도시된 예보다 더 적은 개수의 분석 영역이 설정될 수도 있고, 도시된 예보다 더 많은 개수의 분석 영역이 설정될 수도 있음은 물론이다.
분석 영역이 설정되면, 제어부(170)는 각 분석 영역 별 피부 분석을 수행할 수 있다(S408). 구체적으로, 제어부(170)는 분석 영역 별로 모공, 멜라닌, 유분 지수, 수분 지수, 피부톤, 주름, 잡티 및 트러블 중 적어도 하나에 대한 분석을 수행할 수 있다.
피부 분석 수행 결과는 화장대(10)를 이용하는 사용자별로 개별 저장될 수 있다. 이에, 피부 분석을 수행하기에 앞서, 사용자 로그인을 수행하는 과정이 추가될 수 있다. 로그인 프로세스는 아이디 및 비밀번호를 이용하여 수행될 수도 있고, 얼굴 인식 또는 음성 인식 등을 통해 수행될 수도 있다(예컨대, 기 등록된 사용자 사진과 카메라를 통해 인식된 얼굴을 비교하여, 카메라를 통해 인식된 얼굴과 일치하는 사용자 계정으로 로그인).
상술한 실시예는 본 발명에 따른 화장대에 적용될 수 있는 다양한 피부 분석 방법 중 일예를 예시한 것에 불과하다. 상술한 실시예와 다른 방법으로 피부 분석이 행하여 졌다 하더라도, 후술되는 피부 분석 결과의 디스플레이 방법이 적용될 수 있다 하겠다.
이하에서는, 피부 분석이 행하여 진 뒤, 피부 분석 결과를 디스플레이하는 방법에 대해 설명하기로 한다.
도 8은 본 발명의 일예에 따른, 피부 분석 결과 출력 방법을 예시한 도면이다. 제어부는 사용자의 피부 상태를 진단한 뒤, 그 결과로, 적어도 하나 이상의 분석 항목에 대한 피부 분석 결과를 수치화할 수 있다(S801). 구체적으로, 제어부는 모공, 잡티, 트러블, 피부톤 및 주름 중 적어도 하나에 대한 피부 분석 결과를 수치로 산정할 수 있다.
일예로, 피부 상태가 가장 좋은 경우는 100으로 표현하고, 피부 상태가 가장 좋지 않은 경우를 0으로 표현하였을 때, 모공, 잡티, 트러블, 피부톤 및 주름 등의 분석 결과를 0에서 100 사이의 숫자로 수치화할 수 있다.
이 경우, 모공 분석 결과는, 모공의 크기가 클수록 0과 가까운 수치를 띄고, 모공의 크기가 작을수록 100과 가까운 수치를 띄게 될 것이다. 잡티 분석 결과는, 피부 위 잡티(예컨대, 점 또는 주근깨 등)가 점유하는 영역의 크기가 클수록 0과 가까운 수치를 띄고, 잡티가 점유하는 수치가 작을수록 100과 가까운 수치를 띄게 될 것이다. 트러블 분석 결과는, 피부 트러블(예컨대, 부스럼(frunkle) 또는 상처 등)의 수 또는 피부 트러블이 점유하는 영역의 크기가 클수록 0과 가까운 수치를 띄고, 피부 트러블의 수 또는 피부 트러블이 점유하는 영역의 크기가 작을수록 100과 가까운 수치를 띄게 될 것이다. 피부톤 분석 결과는, 피부 색상이 어두울수록 0과 가까운 수치를 띄고, 피부 색상이 밝을수록 100과 가까운 수치를 띄게 될 것이다. 주름 분석 결과는, 주름의 개수 또는 주름이 점유하는 면적의 크기가 클수록 0과 가까운 수치를 띄고, 주름의 개수 또는 주름이 점유하는 면적의 크기가 작을수록 100과 가까운 수치를 띄게 될 것이다.
설명한 바와 달리, 피부 상태가 가장 좋은 경우를 0으로 표현하고, 피부 상태가 가장 좋지 않은 경우를 100으로 표현할 수도 있고, 설명한 바와 다른 숫자 범위에서 각 분석 항목에 대한 분석 결과를 수치화할 수도 있음은 물론이다.
적어도 하나 이상의 분석 항목에 대한 평가 수치가 산정되면, 제어부는 디스플레이부를 통해 각 분석 항목에 대한 평가 수치를 출력할 수 있다. 이와 함께, 제어부는 디스플레이부를 통해 각 분석 항목을 대표하는 도형 오브젝트를 출력할 수도 있다(S802).
일예로, 도 9는 적어도 하나 이상의 분석 항목에 대한 평가 결과가 출력되는 예를 도시한 도면이다. 피부 분석이 완료되면, 제어부는 도 9에 도시된 예에서와 같이, 각 분석 항목별 평가 수치가 출력되도록 제어할 수 있다. 도 9에서는 모공(901), 트러블(903), 잡티(905), 피부톤(907) 및 주름(909) 등 5개 분석 항목에 대한 평가 수치가 출력되는 것으로 예시되었다.
평가 수치 이에외도, 제어부는 날씨 정보(910) 및 시간 정보(920) 등을 출력할 수 있다. 도시되지는 않았지만, 날씨 정보에는 날씨 및 기온 정보와 함께, UV 지수 정보 및 강수량 정보 등도 포함될 수 있다. 추가로, 제어부는 로그인된 사용자의 정보(도 9에서는 사용자의 사진이 출력되는 것으로 예시됨)(930)도 출력할 수 있다.
제어부는 각 분석 항목을 대표하는 도형 오브젝트(941, 943, 945, 947, 949)가 추가 출력되도록 제어할 수 있다. 각 도형 오브젝트에는 해당 도형 오브젝트에 매핑되는 분석 항목의 이름이 기재되어 있을 수 있다.
이때, 제어부는 각 분석 항목의 평가 수치를 기초로, 각 분석 항목을 대표하는 도형의 크기 및 도형의 색상을 결정할 수 있다.
일예로, 도 10은 각 분석 항목의 평가 수치를 기초로, 각 분석 항목을 대표하는 도형의 크기 및 도형의 색상이 결정되는 예를 도시한 도면이다.
평가 수치가 복수의 등급으로 분류되는 경우(도 10에서는 5개의 등급으로 분류되는 것으로 예시됨), 제어부는 각 분석 항목의 평가 수치가 해당되는 등급에 맞춰 도형 오브젝트의 크기 또는 색상이 결정되도록 제어할 수 있다.
도 10에서는, 평가 수치가 높을수록 낮은 등급에 배정되고, 평가 수치가 낮을수록 높은 등급에 배정되는 것으로 예시하였다. 아울러, 평가 수치가 높을수록(즉, 낮은 등급에 해당할수록) 도형 오브젝트의 크기는 작아지고, 평가 수치가 낮을수록(즉, 높은 등급에 해당할수록) 도형 오브젝트의 크기는 커지는 것으로 예시되었다. 또한, 평가 등급별로 RGB 색상표 상에서 서로 다른 색상이 할당되는 것으로 예시되었다.
도 10에서는 평가 수치가 총 5개의 등급으로 분류될 수 있는 것으로 예시하였지만, 이는 설명의 편의를 위해 예시한 것에 불과할 뿐, 본 발명을 한정하는 것은 아니라 할 것이다. 도시된 예보다 작은 수 또는 많은 수의 평가 등급이 존재할 수 있음은 물론이다.
도 10에서는 평가 수치가 낮은 등급에 해당할수록 도형 오브젝트의 크기는 작아지고, 평가 수치가 높은 등급에 해당할수록 도형 오브젝트의 크기는 커지는 것으로 예시하였다. 이 경우, 높은 등급에 해당하는 분석 항목의 도형 오브젝트가 낮은 등급에 해당하는 분석 항목의 도형 오브젝트에 비해 사용자의 주위를 끌게 될 것이다. 이에 따라, 사용자는 평가 수치가 낮은 분석 항목(즉, 평가 등급이 높은 분석 항목)을 보다 용이하게 인지할 수 있을 것이다.
도시된 예와 반대로, 평가 수치가 낮은 등급에 해당할수록 도형 오브젝트의 크기가 커지고, 평가 수치가 높은 등급에 해당할수록 도형 오브젝트의 크기가 작아지도록 설정할 수도 있다. 이 경우, 사용자는 평가 수치가 높은 분석 항목(즉, 평가 등급이 낮은 분석 항목)을 보다 용이하게 인지할 수 있을 것이다.
적어도 하나 이상의 도형 오브젝트가 출력되면, 제어부는 각 도형 오브젝트가 기 설정된 궤적 또는 임의의 궤적을 따라 자유롭게 이동하도록 제어할 수 있다. 이때, 제어부는 도형 오브젝트의 크기와 이동 속도가 반비례 관계를 띄도록 제어할 수 있다. 즉, 도형 오브젝트의 크기가 작으면, 도형 오브젝트가 빠르게 움직이도록 설정하고, 도형 오브젝트의 크기가 크면, 도형 오브젝트가 느리게 움직이도록 설정할 수 있다.
일예로, 도 11은 도형 오브젝트가 자유롭게 이동하는 예를 도시한 도면이다. 설명의 편의를 위해, 디스플레이부에는 2개의 도형 오브젝트 만을 예시하도록 한다. 이때, 두개의 도형 오브젝트 중 크기가 큰 도형 오브젝트는 1번 궤적을 따라 이동하고, 크기가 작은 오브젝트는 2번 궤적을 따라 이동한다고 가정한다.
제어부는 도형 오브젝트의 크기와 도형 오브젝트의 이동 속도가 상호 반비례하도록 제어할 수 있다. 즉, 도형 오브젝트가 클수록 이동 속도는 작아지고, 도형 오브젝트가 작을수록 이동 속도는 커질 수 있다.
이에 따라, 소정 시간이 경과한 뒤, 1번 궤적을 따라 이동하는 큰 도형 오브젝트의 이동 거리(d1)은, 2번 궤적을 따라 이동하는 작은 도형 오브젝트의 이동 거리(d2)에 비해 작은 값을 갖게 될 것이다.
도형 오브젝트의 이동 속도에 차등을 둠으로써, 사용자는 이동 속도가 작은 도형 오브젝트를 보다 용이하게 터치할 수 있을 것이다. 만약, 평가 수치가 낮을 수록(즉, 평가 등급이 높을 수록) 도형 오브젝트의 크기가 커 진다면, 사용자는 평가 수치가 낮은 분석 항목의 도형 오브젝트(즉, 평가 등급이 높은 분석 항목의 도형 오브젝트)를 보다 용이하게 터치할 수 있을 것이다.
도시된 예와 달리, 제어부는 도형 오브젝트의 크기와 도형 오브젝트의 이동 속도가 상호 비례하도록 제어할 수도 있다. 즉, 도형 오브젝트가 클수록 이동 속도는 커지고, 도형 오브젝트가 작을수록 이동 속도도 감소할 수 있다.
표시 공간의 절약을 위해, 제어부는 도형 오브젝트들이 중첩 표시되도록 제어할 수 있다. 이때, 제어부는 각 도형 오브젝트들의 배치 순서 또는 각 도형 오브젝트들의 크기에 따라, 어느 것을 위에 표시할 것인지 여부를 결정할 수 있다.
일예로, 도 12 내지 도 14는 도형 오브젝트들이 중첩 표시되는 예를 도시한 도면이다. 제어부는 각 도형 오브젝트들의 배치 순서에 따라, 중첩되는 도형 오브젝트 중 어느 것을 위에 표시할 것인지 여부를 결정할 수 있다. 예컨대, 도 12에 도시된 예에서와 같이, 도형 오브젝트들이 가로 방향으로 놓여 있다면, 제어부는 오른쪽에 배치된 도형 오브젝트(또는 왼쪽에 배치된 도형 오브젝트)가 왼쪽에 배치된 도형 오브젝트보다(또는 오른쪽에 배치된 도형 오브젝트보다) 위에 놓이도록 도형 오브젝트들을 배치할 수 있다. 도 12에서는 오른쪽에 배치된 도형 오브젝트가 왼쪽에 배치된 도형 오브젝트 위에 배치된 것으로 예시되었다.
다른 예로, 제어부는 도형 오브젝트들의 크기에 따라, 크기가 작은 도형 오브젝트(또는 크기가 큰 도형 오브젝트)가 크기가 큰 도형 오브젝트보다(또는 크기가 작은 도형 오브젝트보다) 위에 놓이도록 배치할 수도 있다. 도 13에서는, 크기가 작은 도형 오브젝트가 크기가 큰 도형 오브젝트 위에 배치된 것으로 예시되었다. 도형 오브젝트의 크기가 클수록 사용자의 눈에 띄기 쉬운 반면, 도형 오브젝트의 크기가 작을수록 사용자의 눈에 띄기 어렵다. 이를 고려하여, 도 13에 도시된 예에서와 같이, 크기가 작은 도형 오브젝트를 크기가 큰 도형 오브젝트 위에 배치한다면, 크기가 작은 도형 오브젝트에 대한 시인성 증가 효과도 기대할 수 있을 것이다.
제어부는 도형 오브젝트의 크기에 따라, 도 12를 통해 설명한 실시예를 적용할 것인지 또는 도 13을 통해 설명한 실시예를 적용할 것인지를 결정할 수도 있다. 예컨대, 각 도형 오브젝트들의 크기에 따른 배치를 우선 적용하되(도 13의 실시예), 중첩되는 양 도형 오브젝트들의 크기가 같은 경우에는 도형 오브젝트들의 위치에 따른 배치를 적용할 수 있다(도 12의 실시예).
제어부는 도형 오브젝트들을 중첩 표시하되, 도형 오브젝트들이 중첩된 영역에서는 도형 오브젝트들이 중첩되었음을 표시할 수도 있다. 일예로, 도 14에 도시된 예에서와 같이, 제 1 색상의 도형 오브젝트 및 제 2 색상의 도형 오브젝트들이 중첩 표시되는 경우, 제어부는 두 도형 오브젝트들이 중첩 표시되는 영역에 제 1 색상 및 제 2 색상을 합한 제 3 색상이 표시되도록 제어할 수 있다.
디스플레이부를 통해 출력되는 적어도 하나 이상의 도형 오브젝트 중 어느 하나를 터치하는 사용자 입력이 수신되면(S803), 제어부는 선택된 도형 오브젝트에 대응하는 분석 항목에 대한 상세 분석 결과가 출력되도록 제어할 수 있다(S804). 상세 분석 결과에는, 선택된 분석 항목에 대한 소정 기간 동안 누적된 평가 결과, 선택된 분석 항목에 대한 변화 추이, 선택된 분석 항목에 대한 사용자 또래 집단군의 평균치 및 선택된 분석 항목을 기초로 산정된 피부 나이 중 적어도 하나가 포함될 수 있다.
도 15는 도형 오브젝트가 터치됨에 따라, 상세 분석 결과가 출력되는 예를 도시한 도면이다. 디스플레이부를 자유롭게 이동하는 적어도 하나의 도형 오브젝트 중 어느 하나가 터치되는 경우, 제어부는 선택된 도형 오브젝트에 대응하는 분석 항목에 대한 상세 분석 결과를 출력할 수 있다.
일예로, 도 15의 (a) 및 (b)에서는, 분석 항목 '모공'에 대응하는 도형 오브젝트가 터치됨에 따라, '모공' 항목에 대한 상세 분석 결과가 출력되는 것으로 예시되었다. 구체적으로, 도 12의 (b)를 살펴보면, 상세 분석 결과에는, '모공' 항목에 대한 소정 기간(도 12의 (b)에서는 2014. 4. 11부터 2014. 6. 10까지의 2달간의 기간으로 예시됨) 동안의 누적 분석 결과(1510)가 포함되는 것으로 예시되었다.
도 15의 (b)에서는 '모공' 항목에 대한 소정 기간 동안의 누적 분석 결과(1510)가 꺾은선 그래프 형태로 출력되는 것으로 예시하였으나, 누적 분석 결과가 반드시 꺾은선 그래프 형태로 출력되어야 하는 것은 아니라 할 것이다. 도시된 예와 다른 형태의 그래프(예컨대, 막대 그래프)로 누적 분석 결과가 출력될 수도 있고, '모공' 항목에 대한 소정 기간 동안의 평가 수치가 도표 형태로 제공될 수도 있다.
추가로, 제어부는 선택된 분석 항목에 대해, 현재 피부 분석 결과 및 현재의 피부 분석을 수행하기에 앞서 가장 최근에 행하여졌던 피부 분석 결과를 비교한 결과(1520)도 출력되도록 제어할 수 있다. 도 15에서는, '모공' 항목에 대한 평가 수치가 7점 상승하고, 그 결과, 평가 등급은 2단계 상승하였음이 표시되는 것으로 예시되었다.
상세 분석 결과에는, 사용자와 동일한 연령대에서의 선택된 분석항목에 대한 평균 평가 수치(1530)를 포함할 수 있다. 이에, 선택된 분석항목에 대해, 사용자는 자기 또래들 대비 피부 상태가 좋은지 확인하여 볼 수 있다. 제어부는 무선 통신부를 통해 외부 서버로부터 사용자와 동일한 연령대에서의 선택된 분석 항목에 대한 평균 평가 수치를 수신하고, 이를 디스플레이할 수 있다.
상세 분석 결과에는, 선택된 분석 항목(또는 모든 분석 항목)의 평가 수치를 기초로 산정된 사용자의 피부 나이(1540)가 포함될 수 있다. 이때, 산정된 피부 나이가 사용자의 실제 나이보다 높다면, 제어부는 제 1 색상으로 피부 나이를 출력하고, 산정된 피부 나이가 사용자의 실세 나이 이하라면, 제어부는 제 2 색상으로 피부 나이를 출력할 수 있다.
도형 오브젝트들이 중첩 표시되어 있는 영역이 터치되면, 제어부는 중첩 표시되는 도형 오브젝트들 중 어느 하나에 대응되는 분석항목에 대한 피부 분석 결과를 출력할 수 있다.
일예로, 도 16은 양 오브젝트가 중첩되는 영역에 포인터가 터치된 경우의 예를 도시한 도면이다. 설명의 편의를 위해, '모공'에 해당하는 도형 오브젝트와 '잡티'에 해당하는 도형 오브젝트가 중첩 표시되는 상태라 가정한다. 두 도형 오브젝트가 중첩되어 표시되는 동안 두 도형 오브젝트가 중첩되는 영역이 터치된 경우, 제어부는 두 도형 오브젝트 중 위쪽에 표시되고 있는 도형 오브젝트에 대한 분석 결과가 출력되도록 제어할 수 있다. 도 16에서는, '모공'을 지시하는 도형 오브젝트보다 '잡티'를 지시하는 도형 오브젝트가 위쪽에 놓여 있으므로, 중첩 영역에 대한 사용자의 터치 입력에 대한 응답으로, '잡티'에 대한 분석 결과가 출력될 수 있을 것이다.
다른 예로, 제어부는 중첩 영역에 대한 사용자의 터치 입력에 대한 응답으로 두 도형 오브젝트 중 크기가 작은 도형 오브젝트(또는 크기가 큰 도형 오브젝트)에 대한 분석 결과가 출력되도록 제어할 수도 있다. 도 16에서는 '잡티'에 해당하는 도형 오브젝트의 크기가 '모공'에 해당하는 도형 오브젝트의 크기보다 작으므로, 중첩 영역에 대한 사용자의 터치 입력에 대한 응답으로, '잡티'에 대한 분석 결과가 출력될 수 있을 것이다.
상세 분석 결과가 출력되는 동안 소정의 사용자 입력(예컨대, 도 15에 도시된 '관련 케어 보기' 버튼을 터치하는 사용자 입력)이 수신되면(S805), 제어부는 선택된 분석 항목에 대한 피부 관리 방법을 설명한 영상들의 목록 또는 추천 화장품 정보가 출력되도록 제어할 수 있다(S806).
일예로, 도 17은 피부 관리 방법을 설명한 영상들의 목록이 출력되는 예시한 도면이다. 제어부는 도 17에 도시된 예에서와 같이, 각 영상의 제목 및 각 영상의 프리뷰 이미지를 포함하는 영상들의 목록을 출력할 수 있다. 이때, 영상 목록에 포함된 영상들은 외부 서버로부터 스트리밍 재생 가능한 것일 수도 있고, 메모리에 저장되어 로컬 재생 가능한 것일 수도 있다. 제어부는 인기가 높은 영상 순서대로 영상들을 배치하여 영상 목록을 구성할 수 있다.
영상 목록 중 어느 하나가 선택되면, 제어부는 선택된 영상을 재생할 수 있을 것이다.
도 18은 추천 화장품 정보가 출력되는 예를 도시한 도면이다. 제어부는 도 18에 도시된 예에서와 같이, 각 추천 화장품들의 이름, 각 추천 화장품들의 효능 및 각 추천 화장품들의 이미지를 포함하는 추천 화장품 목록을 출력할 수 있다. 추천 화장품들에 대한 정보는 메모리에 저장된 데이터베이스로부터 획득할 수도 있고, 외부 서버로부터 원격 수신할 수도 있다. 제어부는 인기가 높은 화장품 순서(또는 판매량이 높은 순서 또는 가격이 높은(또는 낮은) 순서)대로 추천 화장품들을 배치하여 추천 화장품 목록을 구성할 수 있다.
제어부는 화장품 냉장고에 보관되어 있는 화장품들 중 선택된 분석 항목에 알맞은 화장품 정보를 추가 출력할 수도 있다. 일예로, 분석 항목 '모공'에 대한 추천 화장품 목록이 출력 중인 상태라면, 제어부는 화장품 냉장고에 보관되어 있는 화장품들 중 '모공' 케어에 적합한 화장품 정보가 출력되도록 제어할 수 있다.
도 18에서는 추천 화장품 목록 위, 화장품 냉장고에 보관되어 있는 화장품들 중 선택된 분석 항목 '모공' 관리에 적합한 화장품 정보를 출력하는 표시 창(1810)이 추가 출력되는 것으로 예시되었다.
화장품 냉장고에 보관되어 있는 화장품들의 목록은 피부 분석 전 사용자가 입력한 화장품 정보(예컨대, 화장품 이름, 화장품 가격, 화장품 용량 및 효능 등)를 기초로 업데이트 될 수도 있고, 화장품 냉장고 내부를 촬영한 영상을 분석하여 자동으로 업데이트 될 수도 있다. 화장품 냉장고 내부를 촬영하기 위해, 화장품 냉장고에도 화장품 냉장고 내부를 촬영하기 위한 카메라가 포함될 수 있다.
추천 화장품 목록 중 어느 하나가 선택되면, 제어부는 선택된 화장품을 구매하기 위한 구매창이 출력되도록 제어할 수 있다.
일예로, 도 19는 추천 화장품을 구매하기 위한 구매창이 출력되는 예를 도시한 도면이다. 도 19의 (a)에 도시된 예에서와 같이, 추천 화장품 목록 중 어느 하나가 선택되면, 제어부는 도 19의 (b)에 도시된 예에서와 같이, 선택된 추천 화장품을 주문할 수 있는 구매 페이지가 출력되도록 제어할 수 있다. 사용자는 구매 페이지를 통해 선택된 추천 화장품을 구매할 수 있다.
본 발명의 일실시예에 의하면, 전술한 방법(동작 흐름도)들은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 화장대(10)는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
10 : 화장대
20 : 화장품 냉장고
110 : 통신부
120 : 거울
125 : 디스플레이부
130 : 카메라
140 : 광원부
150 : 메모리
160 : 센싱부
170 : 제어부
180 : 온도 조절부

Claims (36)

  1. 영상을 입력 받기 위한 제 1 카메라;
    정보를 표시하기 위한 디스플레이부; 및
    상기 카메라를 통해 획득한 사용자 영상을 기초로 적어도 하나의 분석 항목에 대한 피부 분석을 수행한 뒤,
    상기 디스플레이부를 통해 각 분석 항목을 대표하는 적어도 하나의 도형 오브젝트가 출력되도록 제어하되,
    상기 각 분석 항목의 평가 수치를 기초로 각 도형 오브젝트의 크기를 조절하는 제어부
    를 포함하는 장치.
  2. 제 1 항에 있어서,
    상기 분석 항목의 평가 수치가 작을수록 상기 도형 오브젝트의 크기는 증가하는 것을 특징으로 하는 장치.
  3. 제 1 항에 있어서,
    상기 각 도형 오브젝트는 기 설정된 궤적 또는 임의의 궤적을 따라 이동하는 것을 특징으로 하는 장치.
  4. 제 3 항에 있어서,
    상기 각 도형 오브젝트의 이동 속도는 각 도형 오브젝트의 크기와 반비례 하는 것을 특징으로 하는 장치.
  5. 제 1 항에 있어서,
    상기 제어부는 상기 각 분석 항목의 평가 수치를 기초로 상기 각 도형 오브젝트의 색상을 조절하는 것을 특징으로 하는 장치.
  6. 제 1 항에 있어서,
    상기 각 도형 오브젝트는 다른 도형 오브젝트와 중첩 표시되는 것을 특징으로 하는 장치.
  7. 제 6 항에 있어서,
    상기 제어부는 상기 각 도형 오브젝트의 배치 순서에 따라, 중첩되는 도형 오브젝트들 중 위에 놓일 도형 오브젝트를 결정하는 것을 특징으로 하는 장치.
  8. 제 6 항에 있어서,
    상기 제어부는 상기 각 도형 오브젝트의 크기에 따라, 중첩되는 도형 오브젝트들 중 위에 놓일 도형 오브젝트를 결정하는 것을 특징으로 하는 장치.
  9. 제 1 항에 있어서,
    상기 제어부는, 상기 적어도 하나의 도형 오브젝트 중 어느 하나가 선택되면, 선택된 도형 오브젝트에 대응하는 분석 항목에 대한 세부 평가 정보가 출력되도록 제어하는 것을 특징으로 하는 장치.
  10. 제 9 항에 있어서,
    상기 세부 평가 정보는 상기 분석 항목에 대해 소정 기간 동안 누적된 평가 결과를 포함하는 것을 특징으로 하는 장치.
  11. 제 10 항에 있어서,
    상기 세부 평가 정보는, 상기 분석 항목에 대한 가장 마지막 평가 수치 대비 현재 평가 수치의 증감폭에 대한 정보를 포함하는 것을 특징으로 하는 장치.
  12. 제 9 항에 있어서,
    상기 세부 평가 정보는, 상기 분석 항목에 대한 평가 수치를 기초로 산정된 상기 사용자의 피부 나이를 포함하는 것을 특징으로 하는 장치.
  13. 제 1 항에 있어서,
    상기 제어부는 상기 적어도 하나의 분석 항목 중 어느 하나가 선택되면, 선택된 분석 항목과 관련된 피부 관리 방법을 설명한 영상들로 구성된 동영상 목록이 출력되도록 제어하는 것을 특징으로 하는 장치.
  14. 제 1 항에 있어서,
    상기 제어부는 상기 적어도 하나의 분석 항목 중 어느 하나가 선택되면, 선택된 분석 항목과 관련된 추천 화장품 목록이 출력되도록 제어하는 것을 특징으로 하는 장치.
  15. 제 14 항에 있어서,
    상기 추천 화장품 목록 중 어느 하나가 선택되면, 상기 제어부는 선택된 추천 화장품을 구매하기 위한 구매 페이지가 출력되도록 제어하는 것을 특징으로 하는 장치.
  16. 제 1 항에 있어서,
    상기 제어부는 상기 적어도 하나의 분석 항목 중 어느 하나가 선택되면, 상기 사용자가 보유하고 있는 화장품 중 상기 선택된 분석 항목과 관련된 화장품의 정보가 출력되도록 제어하는 것을 특징으로 하는 장치.
  17. 제 16 항에 있어서,
    상기 장치는 화장품을 보관하기 위한 화장품 냉장고를 더 포함하는 것을 특징으로 하는 장치.
  18. 제 17 항에 있어서,
    상기 화장품 냉장고는, 상기 화장품 냉장고의 영상을 획득하기 위한 제 2 카메라를 더 포함하고,
    상기 제어부는 상기 제 2 카메라로부터 획득되는 영상을 기초로 상기 사용자가 보유하고 있는 화장품을 인지하는 것을 특징으로 하는 장치.
  19. 제 1 항에 있어서,
    상기 장치는 상기 사용자를 비추기 위한 거울을 더 포함하고,
    상기 디스플레이부는 상기 거울의 적어도 일부 영역에 형성되는 것을 특징으로 하는 장치.
  20. 제 19 항에 있어서,
    상기 거울의 일면은 빛을 반사하여 상을 맺히게 하기 위한 반사면이고, 다른 한면은 빛을 투과하기 위한 투과면인 것을 특징으로 하는 장치.
  21. 제 20 항에 있어서,
    상기 거울의 상기 반사면은 외부로 노출되고, 상기 거울의 상기 투과면은 상기 카메라와 맞닿아 있는 것을 특징으로 하는 장치.
  22. 제 1 카메라를 통해 영상을 입력 받는 단계;
    상기 제 1 카메라를 통해 획득한 사용자 영상을 기초로 적어도 하나의 분석 항목에 대한 피부 분석을 수행하는 단계; 및
    상기 피부 분석이 완료되면, 상기 각 분석 항목을 대표하는 적어도 하나의 도형 오브젝트를 출력하는 단계
    를 포함하되,
    상기 각 도형 오브젝트의 크기는 상기 각 분석 항목의 평가 수치를 기초로 결정되는 것을 특징으로 하는 피부 분석 결과 표시 방법.
  23. 제 22 항에 있어서,
    상기 분석 항목의 평가 수치가 작을수록 상기 도형 오브젝트의 크기는 증가하는 것을 특징으로 하는 피부 분석 결과 표시 방법.
  24. 제 22 항에 있어서,
    상기 각 도형 오브젝트는 디스플레이부 위 기 설정된 궤적 또는 임의의 궤적을 따라 이동하는 것을 특징으로 하는 피부 분석 결과 표시 방법.
  25. 제 24 항에 있어서,
    상기 각 도형 오브젝트의 이동 속도는 각 도형 오브젝트의 크기와 반비례 하는 것을 특징으로 하는 피부 분석 결과 표시 방법.
  26. 제 22 항에 있어서,
    상기 각 도형 오브젝트의 색상은 상기 각 분석 항목의 평가 수치를 기초로 결정되는 것을 특징으로 하는 피부 분석 결과 표시 방법.
  27. 제 22 항에 있어서,
    상기 적어도 하나의 도형 오브젝트 중 어느 하나가 선택되면, 선택된 도형 오브젝트에 대응하는 분석 항목에 대한 세부 평가 정보를 출력하는 단계를 더 포함하는 피부 분석 결과 표시 방법.
  28. 제 27 항에 있어서,
    상기 세부 평가 정보는 상기 분석 항목에 대해 소정 기간 동안 누적된 평가 결과를 포함하는 것을 특징으로 하는 피부 분석 결과 표시 방법.
  29. 제 28 항에 있어서,
    상기 세부 평가 정보는, 상기 분석 항목에 대한 가장 마지막 평가 수치 대비 현재 평가 수치의 증감폭에 대한 정보를 포함하는 것을 특징으로 하는 피부 분석 결과 표시 방법.
  30. 제 28 항에 있어서,
    상기 세부 평가 정보는, 상기 분석 항목에 대한 평가 수치를 기초로 산정된 상기 사용자의 피부 나이를 포함하는 것을 특징으로 하는 피부 분석 결과 표시 방법.
  31. 제 22 항에 있어서,
    상기 적어도 하나의 분석 항목 중 어느 하나가 선택되면, 선택된 분석 항목과 관련된 피부 관리 방법을 설명한 영상들로 구성된 동영상 목록을 출력하는 단계를 더 포함하는 피부 분석 결과 표시 방법.
  32. 제 22 항에 있어서,
    상기 적어도 하나의 분석 항목 중 어느 하나가 선택되면, 선택된 분석 항목과 관련된 추천 화장품 목록을 출력하는 단계를 더 포함하는 피부 분석 결과 표시 방법.
  33. 제 32 항에 있어서,
    상기 추천 화장품 목록 중 어느 하나가 선택되면, 선택된 추천 화장품을 구매하기 위한 구매 페이지를 출력하는 단계를 더 포함하는 피부 분석 결과 표시 방법.
  34. 제 22 항에 있어서,
    상기 적어도 하나의 분석 항목 중 어느 하나가 선택되면, 상기 사용자가 보유하고 있는 화장품 중 상기 선택된 분석 항목과 관련된 화장품의 정보를 출력하는 단계를 더 포함하는 피부 분석 결과 표시 방법.
  35. 제 34 항에 있어서,
    상기 사용자가 보유하고 있는 화장품은 화장품 냉장고 내부를 촬영하는 제 2 카메라로부터 획득된 영상을 분석함에따라 획득되는 것을 특징으로 하는 피부 분석 결과 표시 방법.
  36. 제 1 카메라를 통해 영상을 입력받는 기능;
    상기 제 1 카메라를 통해 획득한 사용자 영상을 기초로 적어도 하나의 분석 항목에 대한 피부 분석을 수행하는 기능; 및
    상기 피부 분석이 완료되면, 상기 각 분석 항목을 대표하는 적어도 하나의 도형 오브젝트를 출력하는 기능
    을 실행하되,
    상기 각 도형 오브젝트의 크기는 상기 각 분석 항목의 평가 수치를 기초로 결정되는 것을 특징으로 하는 피부 분석을 위한 어플리케이션
KR1020140133159A 2014-10-02 2014-10-02 피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션 KR101701210B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140133159A KR101701210B1 (ko) 2014-10-02 2014-10-02 피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140133159A KR101701210B1 (ko) 2014-10-02 2014-10-02 피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션

Publications (2)

Publication Number Publication Date
KR20160039881A true KR20160039881A (ko) 2016-04-12
KR101701210B1 KR101701210B1 (ko) 2017-02-01

Family

ID=55800996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140133159A KR101701210B1 (ko) 2014-10-02 2014-10-02 피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션

Country Status (1)

Country Link
KR (1) KR101701210B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101876125B1 (ko) * 2017-04-10 2018-07-06 경일대학교산학협력단 전자장치와 연동하는 미러 장치 및 그 동작 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102335591B1 (ko) * 2018-11-19 2021-12-03 박보현 인공지능을 이용하여 개인의 생활습관과 외부환경을 고려한 뷰티솔루션플랫폼을 제공하는 장치
JP7248820B2 (ja) 2019-04-23 2023-03-29 ザ プロクター アンド ギャンブル カンパニー 美容的皮膚属性を決定するための機器及び方法
EP3959724A1 (en) 2019-04-23 2022-03-02 The Procter & Gamble Company Apparatus and method for visualizing cosmetic skin attributes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002224049A (ja) * 2001-02-06 2002-08-13 Tadashi Goino 携帯端末装置、アドバイスシステム、肌診断評価方法、肌診断評価用プログラム、化粧アドバイス提供方法及び化粧アドバイス提供用プログラム
JP2004105748A (ja) * 2002-07-09 2004-04-08 Ric:Kk デジタルズーム肌診断装置
KR20130107848A (ko) * 2012-03-23 2013-10-02 김정열 스마트폰을 이용한 피부관리 서비스 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002224049A (ja) * 2001-02-06 2002-08-13 Tadashi Goino 携帯端末装置、アドバイスシステム、肌診断評価方法、肌診断評価用プログラム、化粧アドバイス提供方法及び化粧アドバイス提供用プログラム
JP2004105748A (ja) * 2002-07-09 2004-04-08 Ric:Kk デジタルズーム肌診断装置
KR20130107848A (ko) * 2012-03-23 2013-10-02 김정열 스마트폰을 이용한 피부관리 서비스 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101876125B1 (ko) * 2017-04-10 2018-07-06 경일대학교산학협력단 전자장치와 연동하는 미러 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR101701210B1 (ko) 2017-02-01

Similar Documents

Publication Publication Date Title
KR101668348B1 (ko) 피부 분석 방법 및 이를 위한 장치
KR101661588B1 (ko) 피부 분석 방법 및 이를 위한 장치
US9727996B2 (en) Modifying virtual object display properties to increase power performance of augmented reality devices
US9746918B2 (en) Eye tracking
US9844119B2 (en) Dynamic lighting for head mounted device
EP2583537B1 (en) Display and lighting arrangement for a fitting room
EP2664131B1 (en) Apparatus and method for compositing image in a portable terminal
US10617301B2 (en) Information processing device and information processing method
EP3047361B1 (en) A method and device for displaying a graphical user interface
KR101701210B1 (ko) 피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션
EP3033715A1 (en) Emotion and appearance based spatiotemporal graphics systems and methods
JP2010004118A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
KR20110057921A (ko) 사용자 적응형 디스플레이 장치 및 디스플레이 방법
US20200363903A1 (en) Engagement analytic system and display system responsive to interaction and/or position of users
KR20180080140A (ko) 개인화된 피부 진단 및 피부 케어
KR102178566B1 (ko) 전자 거울 장치 및 그 제어 방법
JP7314501B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
CN104461303A (zh) 调整界面的方法及装置
KR101648049B1 (ko) 화장대 및 이의 제어 방법
KR101720607B1 (ko) 영상 촬영 장치 및 그 동작 방법
KR102330368B1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
US11886647B2 (en) In-air gesture control method based on visible light signals
KR101684272B1 (ko) 단말 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191211

Year of fee payment: 6