KR20190136652A - 스마트 미러 디스플레이 장치 - Google Patents
스마트 미러 디스플레이 장치 Download PDFInfo
- Publication number
- KR20190136652A KR20190136652A KR1020180062640A KR20180062640A KR20190136652A KR 20190136652 A KR20190136652 A KR 20190136652A KR 1020180062640 A KR1020180062640 A KR 1020180062640A KR 20180062640 A KR20180062640 A KR 20180062640A KR 20190136652 A KR20190136652 A KR 20190136652A
- Authority
- KR
- South Korea
- Prior art keywords
- beauty
- user
- content
- image
- sub
- Prior art date
Links
- 230000003796 beauty Effects 0.000 claims abstract description 216
- 239000002537 cosmetic Substances 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 40
- 230000002159 abnormal effect Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 17
- 239000000049 pigment Substances 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 6
- 230000019612 pigmentation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008021 deposition Effects 0.000 claims description 5
- 102000001554 Hemoglobins Human genes 0.000 claims description 3
- 108010054147 Hemoglobins Proteins 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 11
- 206010013786 Dry skin Diseases 0.000 description 4
- 230000037336 dry skin Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 206010039792 Seborrhoea Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003020 moisturizing effect Effects 0.000 description 1
- 230000037312 oily skin Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G06K9/46—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/06—Electric actuation of the alarm, e.g. using a thermally-operated switch
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 실시예에 따라 스마트 미러 디스플레이 장치가 제공된다. 상기 장치는, 사용자를 촬영하는 카메라부; 상기 카메라부에서 촬영된 사용자의 영상 및 미용 컨텐츠를 디스플레이 하는 디스플레이부; 및 상기 카메라부에서 촬영된 사용자의 영상에서 상기 사용자의 미용 상태를 인식하고, 상기 인식된 미용 상태에 기초하여 상기 미용 컨텐츠의 서브 미용 컨텐츠를 전환하는 제어부를 포함하고, 상기 미용 컨텐츠는, 사용자에게 미용 정보를 제공하는 영상으로서 하나 이상의 서브 미용 컨텐츠를 포함하며, 상기 미용 컨텐츠는 화장, 피부 기초 관리 및 헤어 스타일링 중 적어도 하나에 관한 것일 수 있다.
Description
본 발명은 스마트 미러 디스플레이 장치에 관한 것으로, 보다 구체적으로 사용자의 영상과 상호작용하여 보다 개선된 미용 컨텐츠를 제공할 수 있는 스마트 미러 디스플레이 장치에 관한 것이다.
거울의 발명 이전에도 사람들은 물가에 비친 자신의 모습을 확인하고 싶어하였다. 거울의 발명 이후에는 사람들은 거울을 통해 자신의 모습을 확인하고 자신의 모습을 더 아름답게 꾸미고자 한다.
아름다워지고자 하는 사람들의 욕망은 다양한 화장 방법, 아름다워 지기 위한 방법들을 탄생시켰다. 최근에는 동영상 공유 플랫폼 등에서 아름다워 지기 위한 방법에 관한 정보를 제공하는 컨텐츠들이 유행하고 있다.
사용자는 아름다워 지기 위한 방법에 관한 정보를 제공하는 컨텐츠를 제공하여, 해당 컨텐츠에 포함된 정보를 자신에게 시도해 볼 수 있다. 예를 들어, 사용자는 미용 크리에이터(beauty creator)의 화장 방법에 관한 동영상 컨텐츠를 따라하여 자신도 동일한 화장 방법을 시도해 볼 수 있다. 그러나 이러한 과정에서 미용 크리에이터와 사용자와의 숙련도 차이로 인하여 상이한 결과가 도출될 수 있다.
따라서, 사용자가 미용 크리에이터의 아름다워 지기 위한 방법에 관한 정보를 제공하는 컨텐츠를 편리하게 따라할 수 있는 장치에 관한 수요가 존재한다.
본 발명은 상기 문제점을 해결하기 위한 것으로서, 사용자의 영상과 상호작용하여 보다 개선된 미용 컨텐츠를 제공할 수 있는 스마트 미러 디스플레이 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따라 스마트 미러 디스플레이 장치가 제공된다. 상기 장치는, 사용자를 촬영하는 카메라부; 상기 카메라부에서 촬영된 사용자의 영상 및 미용 컨텐츠를 디스플레이 하는 디스플레이부; 및 상기 카메라부에서 촬영된 사용자의 영상에서 상기 사용자의 미용 상태를 인식하고, 상기 인식된 미용 상태에 기초하여 상기 미용 컨텐츠의 서브 미용 컨텐츠를 전환하는 제어부를 포함하고, 상기 미용 컨텐츠는, 사용자에게 미용 정보를 제공하는 영상으로서 하나 이상의 서브 미용 컨텐츠를 포함하며, 상기 미용 컨텐츠는 화장, 피부 기초 관리 및 헤어 스타일링 중 적어도 하나에 관한 것일 수 있다.
바람직하게는, 상기 제어부는 상기 미용 정보를 제공하는 영상을 시간 단위, 미용에 따른 얼굴 이미지 변화 단위, 미용 도구 단위 또는 미용 스킬 단위에 따라 분리하여 상기 하나 이상의 서브 미용 컨텐츠를 생성할 수 있다.
또한, 바람직하게는, 상기 사용자의 미용 상태는, 상기 사용자가 상기 서브 미용 컨텐츠에 포함된 미용 단계를 수행하였는지에 관련한 정보를 포함하며, 상기 제어부는, 상기 사용자의 영상의 이미지 변화 값에 기초하여 상기 사용자의 미용 상태를 인식하고, 상기 인식된 미용 상태에 기초하여 상기 사용자가 상기 서브 미용 컨텐츠에 포함된 미용 단계를 수행하였는지 여부를 판단하고, 상기 사용자가 상기 서브 미용 컨텐츠에 포함된 미용 단계를 수행한 경우, 다음 서브 미용 컨텐츠를 디스플레이 할 것을 결정할 수 있다.
또한, 바람직하게는, 상기 제어부는 상기 카메라부에서 촬영된 사용자의 영상에서 사용자의 피부 상태를 인식하고, 상기 인식된 피부 상태에 적어도 부분적으로 기초하여 상기 미용 컨텐츠를 선택할 수 있다.
또한, 바람직하게는, 상기 사용자로부터 상기 사용자의 미용 목표에 대한 입력을 수신하기 위한 사용자 입력부를 더 포함하고, 상기 제어부는 추가적으로, 사용자로부터 입력된 미용 목표에 대한 입력에 기초하여, 상기 미용 목표에 대응되는 미용 컨텐츠를 선택할 수 있다.
또한, 바람직하게는, 상기 미용 목표는, 상기 사용자의 피부 상태, 상기 사용자의 미용 지향점, 상기 사용자가 참석하고자 하는 사회적 이벤트 및 상기 사용자의 개인정보 중 적어도 하나에 기초한 미용 목표일 수 있다.
또한, 바람직하게는, 상기 제어부가 상기 사용자의 피부 상태를 인식하도록 하기 위한 정보를 획득하기 위한 피부 상태 인식부를 더 포함할 수 있다.
또한, 바람직하게는, 상기 제어부는, 상기 카메라부에서 촬영된 사용자의 영상에서 상기 사용자의 얼굴의 각 부분을 인식하고, 상기 인식된 각 부분에 상기 서브 미용 컨텐츠의 미용 단계가 적용되었는지 여부를 판단할 수 있다.
또한, 바람직하게는, 상기 제어부가 상기 사용자의 피부 상태를 인식하도록 하기 위한 정보를 획득하기 위한 피부 상태 인식부를 더 포함할 수 있다.
또한, 바람직하게는, 상기 제어부는 소정의 기간에 걸쳐 상기 사용자의 상기 피부 상태를 판단하여, 상기 피부 상태의 변화를 추적하여, 상기 추천된 미용 컨텐츠의 유효성을 판단할 수 있다.
또한, 바람직하게는, 상기 제어부는, 상기 사용자의 영상으로부터 사용자의 피부 상태를 판단하고, 상기 피부 상태에 기초하여 상기 사용자에게 필요한 미용 컨텐츠를 추천할 수 있다.
또한, 바람직하게는, 상기 제어부는 상기 사용자의 영상으로부터 특정한 피부 영역을 추출하고, 추출된 피부 영역을 헤모글로빈 색소층 및 멜라닌의 색소층으로 분리한 후 각 색소의 침착 영역 및 정도를 정량화함으로써, 색소 침착 영역 및 정도를 포함하는 색소 침착에 관한 피부 상태를 판단할 수 있다.
또한, 바람직하게는, 외부 소리를 입력 받는 사용자 입력부를 더 포함하고, 상기 제어부는 상기 사용자 입력부로부터 입력된 외부 소리를 기저장된 이상 소음 데이터와 비교하여 이상 소음 여부를 결정할 수 있다.
또한, 바람직하게는, 화재의 발생을 감지하는 화재 감지부를 더 포함할 수 있다.
본 발명의 실시예에 따라, 스마트 미러 디스플레이 장치의 동작 방법이 제공된다. 상기 방법은, 사용자의 영상을 촬영하는 단계; 촬영된 사용자의 영상 및 미용 컨텐츠를 디스플레이 하는 단계; 촬영된 사용자의 영상에서 상기 사용자의 미용 상태를 인식하는 단계; 및 상기 인식된 미용 상태에 적어도 부분적으로 기초하여 상기 미용 컨텐츠의 서브 미용 컨텐츠를 전환하는 단계를 포함하고, 상기 미용 컨텐츠는, 사용자에게 미용 정보를 제공하는 영상으로서 하나 이상의 서브 미용 컨텐츠를 포함하며, 상기 미용 컨텐츠는 화장, 피부 기초 관리 및 헤어 스타일링 중 적어도 하나에 관한 것일 수 있다.
본 발명의 실시예에 따라 상기 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 실시예에 따라, 인코딩된 명령들을 포함하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램이 제공된다. 상기 프로그램은 컴퓨팅 장치의 하나 이상의 프로세서들에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 스마트 미러 디스플레이를 제공하기 위한 이하의 단계들을 수행하도록 하며, 상기 단계들은: 사용자의 영상을 촬영하는 단계; 촬영된 사용자의 영상 및 미용 컨텐츠를 디스플레이 하는 단계; 촬영된 사용자의 영상에서 상기 사용자의 미용 상태를 인식하는 단계; 및 상기 인식된 미용 상태에 적어도 부분적으로 기초하여 상기 미용 컨텐츠의 서브 미용 컨텐츠를 전환하는 단계를 포함하고, 상기 미용 컨텐츠는, 사용자에게 미용 정보를 제공하는 영상으로서 하나 이상의 서브 미용 컨텐츠를 포함하며, 상기 미용 컨텐츠는 화장, 피부 기초 관리 및 헤어 스타일링 중 적어도 하나에 관한 것일 수 있다.
본 발명에 따르면, 사용자 영상과 함께 미용 컨텐츠를 디스플레이 하여 사용자가 이를 비교 및 확인하면서 미용 단계를 학습하고 수행하도록 할 수 있다.
또한, 본 발명에 따르면, 미용 컨텐츠를 서브 미용 컨텐츠로 분할하여 사용자가 단계별로 따라할 수 있도록 할 수 있다.
또한, 본 발명의에 따르면, 사용자의 미용 상태 및/또는 미용 목적을 인식하여 미용 컨텐츠를 선택하도록 함으로써, 사용자에게 적합하고 사용자의 미용 지향점과 일치하는 미용 단계를 수행하도록 할 수 있다.
또한, 본 발명에 따르면, 사용자의 피부 상태를 판단 및 추적하면서, 사용자에게 적합한 미용 컨텐츠를 추천할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1 은 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치에서 디스플레이 되는 영상의 예시이다.
도 3 은 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 장치의 동작 방법을 도시한다.
도 4는 미러 디스플레이 장치의 이상 소음 감지 작동 구조도를 도시한다.
도 5는 미러 디스플레이 장치의 화재 감지 동작 구조도를 도시한다.
도 1 은 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치에서 디스플레이 되는 영상의 예시이다.
도 3 은 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 장치의 동작 방법을 도시한다.
도 4는 미러 디스플레이 장치의 이상 소음 감지 작동 구조도를 도시한다.
도 5는 미러 디스플레이 장치의 화재 감지 동작 구조도를 도시한다.
이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다. 한편, 이하에서 기재되는 편의상 상하좌우의 방향은 도면을 기준으로 한 것이며, 해당 방향으로 본 발명의 권리범위가 반드시 한정되는 것은 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
도 1 은 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치를 도시한다.
도 1을 참조하면, 스마트 미러 디스플레이 장치(100)는 카메라부(110), 피부 상태 인식부(120), 디스플레이부(130), 사용자 입력부(140), 제어부(150), 통신부(160), 메모리(170)를 포함할 수 있다. 도 1 에 도시된 컴포넌트들은 스마트 미러 디스플레이 장치(100)의 구성의 전부는 아니며 스마트 미러 디스플레이 장치(100)는 필요에 따라 임의의 컴포넌트들을 더 포함할 수 있다.
카메라부(110)는 하나 이상의 카메라 모듈로 구성될 수 있으며, 사용자의 영상을 촬영할 수 있다. 카메라부(110)는 임의의 카메라 모듈을 포함할 수 있다. 카메라부(110)에 의해 촬영된 사용자 영상에 기초하여 제어부(150)는 사용자의 미용 상태를 인식할 수 있다. 사용자의 미용 상태는 사용자의 화장 상태, 피부 상태, 헤어 상태 등 사용자의 미용에 관한 전반적인 정보를 포함하며, 또한, 서브 미용 컨텐츠에 포함된 미용 단계(예를 들어, 화장 단계 등)를 수행하였는지에 관한 정보를 포함할 수 있다. 예를 들어, 사용자의 미용 상태는 사용자가 화장 방법의 어떠한 단계를 수행하였는지에 관한 정보를 포함할 수 있다. 즉, 카메라부(110)에서 촬영된 촬영 영상에 기초하여 제어부(150)는 사용자가 현재 눈화장을 수행하였는지, 볼터치를 완료하였는지 등의 사용자의 미용 상태를 인식할 수 있다. 전술한 화장 단계에 관한 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
피부 상태 인식부(120)는 제어부(150)가 사용자의 피부 상태를 인식하도록 하기 위한 정보를 획득할 수 있다. 예를 들어, 피부 상태 인식부(120)는 카메라부(110)에서 획득할 수 있는 사용자의 영상보다 확대된 사용자의 피부 상태 영상을 획득할 수 있다. 또한, 피부 상태 인식부(120)는 피부 표면의 거칠기, 사용자 피부의 촉촉함의 정도, 피부결, 피부 나이 등을 제어부(150)가 판단할 수 있도록 사용자의 피부 표면을 확대 촬영할 수 있다. 또한, 피부 상태 인식부(120)는 전기자극을 이용하여 피부 수분 상태를 측정할 수 도 있다. 즉, 피부 상태 인식부(120)는 사용자의 전반적인 영상을 촬영하는 카메라부(110)보다 확대된 영상을 통해 제어부(150)가 사용자의 피부 상태를 인식하도록 할 수 있다. 다만 이는 예시적인 것으로서 카메라부(110) 또한 피부 상태 인식부(120) 로서 피부 상태를 인식하기 위한 정보를 획득할 수 있다. 또한, 피부 상태 인식부(120)는 영상뿐만 아니라 피부 상태를 판단하기 위한 임의의 정보를 획득할 수 있다.
디스플레이부(130)는 카메라부에서 촬영된 사용자의 영상(131) 및 미용 컨텐츠(133)를 디스플레이할 수 있다. 미용 컨텐츠(133)는 사용자에게 미용 방법에 관한 정보를 제공하는 영상을 포함할 수 있다. 여기서 상기 영상은 화장, 피부 기초 관리 및 헤어 스타일링 중 적어도 하나에 관한 것일 수 있으며, 예를 들어, 뷰티 크리에이터(beauty creator)의 화장 영상일 수 있다. 또한, 미용 컨텐츠(133)는 시간 단위, 미용에 따른 얼굴 이미지 변화 단위, 미용 도구 단위 또는 미용 스킬 단위에 따라 분리된 서브 미용 컨텐츠를 포함할 수 있다. 예를 들어, 미용 컨텐츠(133)가 화장에 관한 것이면, 서브 비용 컨텐츠는 화장에 따른 얼굴 이미지 변화 단위, 화장 도구 단위(아이라이너, 립스틱, 브러쉬 등) 또는 미용 스킬 단위에 따라 분리되어 생성될 수 있다.
이와 관련하여 도 2는 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치에서 디스플레이 되는 영상의 예시이다. 도 2 를 참조하여 설명하면, 디스플레이부(130)는 사용자의 영상(131)과 화장에 관한 미용 컨텐츠(133)를 디스플레이 할 수 있다. 도 2는 예시일 뿐이며, 디스플레이부(130)는 사용자의 영상(131)과 미용 컨텐츠(133)를 한 화면에 함께 표시할 수도 있고, 사용자의 영상(131) 또는 미용 컨텐츠(133)를 서로 전환하며 표시할 수도 있다.
사용자 입력부(140)는 사용자로부터 사용자의 미용 목표에 대한 입력을 수신할 수 있다. 미용 목표는 사용자의 피부 상태, 사용자의 미용 지향점, 사용자가 참석하고자 하는 사회적 이벤트 및 사용자의 개인정보 중 적어도 하나에 기초한 미용 목표일 수 있다. 사용자는 자신이 하고자 하는 미용 방법을 선택하기 위한 임의의 정보를 입력할 수 있다. 예를 들어, 사용자는 자신의 피부 상태가 건성이고 피부 톤이 하얗다는 것을 사용자 입력부를 통해 입력할 수 있다. 제어부(150)는 이 경우, 건성 피부의 하얀 톤에 어울리는 미용 컨텐츠를 선택할 수 있다. 또한 예를 들어, 사용자는 친한 친구의 결혼식 참석을 미용 목표로 입력할 수 있다. 이 경우, 제어부(150)는 친한 친구의 결혼식 참석에 적합한 화장, 헤어 스티일링을 포함하는 미용 컨텐츠를 선택할 수 있다. 또한 사용자는 자신의 나이를 입력할 수 있고, 이 경우 제어부(150)는 사용자의 나이대에 알맞은 화장, 피부 기초 관리를 포함하는 미용 컨텐츠를 선택할 수 있다. 사용자 입력부(140)는 또한 서브 미용 컨텐츠를 전환하기 위한 입력을 수신할 수 있다. 예를 들어, 사용자가 눈화장, 볼화장, 입술화장 순서로 진행되는 미용 컨텐츠를 디스플레이부(130)로 확인하며 화장을 따라하는 경우, 사용자는 볼화장이 자신에게 불필요한 경우 사용자 입력부(140)를 통해 눈화장에 관련한 서브 미용 컨텐츠를 스킵(skip)할 수 있다. 사용자 입력부(140)는 사용자의 서브 미용 컨텐츠 스킵에 관한 사용자 입력을 수신하고, 제어부(150)는 다음 서브 미용 컨텐츠인 입술화장을 디스플레이 할 것을 결정할 수 있다.
사용자 입력부(140)는 터치 디스플레이, 마이크, 키보드, 마우스 등의 임의의 입력 장치를 포함할 수 있으며, 제스처 입력 또한 처리할 수 있다. 예를 들어, 사용자가 화장 중에 손을 화면 왼쪽에서 오른쪽으로 두 번 빠르게 움직이는 경우 사용자 입력부(140)는 해당 사용자의 제스처를 서브 미용 컨텐츠 스킵에 관한 제스처로 인식할 수 있다. 전술한 사용자 입력부의 구체적인 구성과 제스처는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
제어부(150)는 하나 이상의 코어를 포함하는 프로세서로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 프로세서를 포함할 수 있다. 제어부(150)는 메모리(170)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 방법을 수행할 수 있다. 제어부(150)는 스마트 미러 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다.
제어부(150)는 카메라부(110)에서 촬영된 사용자의 영상에서 사용자의 미용 상태를 인식하고, 인식된 미용 상태에 적어도 부분적으로 기초하여 미용 컨텐츠의 서브 미용 컨텐츠를 전환할 수 있다. 예를 들어, 사용자의 미용 상태는 사용자가 미용 방법의 어떠한 단계를 수행하였는지에 관한 정보를 포함할 수 있다. 즉, 카메라부(110)에서 촬영된 촬영 영상에 기초하여 제어부(150)는 사용자가 예를 들어, 현재 눈화장을 수행하였는지, 볼터치를 완료하였는지 등의 사용자의 미용 상태를 인식할 수 있다. 전술한 화장 단계에 관한 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
제어부(150)는 사용자의 영상의 이미지 변화 값에 기초하여 사용자의 미용 상태를 인식하고, 인식된 미용 상태에 기초하여 사용자가 서브 미용 컨텐츠에 포함된 화장 단계를 수행하였는지 여부를 판단하고, 사용자가 서브 미용 컨텐츠에 포함된 화장 단계를 수행한 경우, 다음 서브 미용 컨텐츠를 디스플레이 할 것을 결정할 수 있다. 예를 들어, 사용자가 눈화장, 볼화장, 입술화장 순서로 진행되는 미용 컨텐츠를 디스플레이부(130)로 확인하며 화장을 따라하는 경우, 제어부(150)는 카메라부(110)에서 촬영되는 사용자의 영상을 인식하여 사용자가 눈화장을 완료한 것으로 판단되는 경우, 볼화장에 관련한 서브 미용 컨텐츠를 디스플레이 할 것을 결정할 수 있다.
제어부(150)는 사용자의 영상을 인식하여 사용자의 미용 상태로부터 특정한 미용 단계가 완료되지 않았다고 판단되는 경우, 서브 미용 컨텐츠를 반복 재생할 수 있다. 해당 미용 단계를 진행하는 동안 서브 미용 컨텐츠를 지속적으로 시청하도록 하기 위함이다. 이때, 제어부는 실시예에 따라, 서브 비용 컨텐츠를 2차 서브 미용 컨텐츠로 분할할 수 있다. 2차 서브 미용 컨텐츠는 서브 미용 컨텐츠를 생성하는 것과 동일/유사한 기준에 따라 분할 생성될 수 있으며, 제어부는 사용자의 미용 상태를 고려하여 2차 서브 미용 컨텐츠 중에서 사용자가 수행하는 미용 단계와 연관된 2차 서브 미용 컨텐츠를 사용자에게 제공할 수 있다.
제어부(150)는 카메라부(110)에서 촬영된 사용자의 영상에서 사용자의 얼굴의 각 부분을 인식하고, 인식된 각 부분에 서브 미용 컨텐츠의 미용 단계가 적용되었는지 여부를 판단할 수 있다. 제어부(150)는 촬영된 영상에서 먼저 사용자의 얼굴 부분을 인식할 수 있다. 제어부(150)는 이미지 처리기술, CNN(Convolutional Neural Network) 등의 이미지 프로세싱 알고리즘을 이용하여 사용자의 얼굴의 윤곽(edge)을 인식할 수 있다. 그리고 제어부(150)는 이미지 프로세싱 알고리즘을 이용하여 얼굴의 눈, 코, 입, 귀 등의 특징부분들을 인식할 수 있다. 제어부(150)는 얼굴의 특징 부분들의 위치관계에 기초하여 얼굴의 각 부분을 인식할 수 있다. 예를 들어 제어부(150)는 볼화장에 관련한 서브 미용 컨텐츠가 디스플레이 되는 경우에 촬영된 사용자의 영상에서 볼 부분의 색상 변경을 인식하고 이에 따라 사용자가 볼 화장을 완료했는지 여부를 감지하여 다음 서브 미용 컨텐츠로 전환할 것을 결정할 수 있다.
제어부(150)는 미용 컨텐츠를 분리하여 하나 이상의 서브 미용 컨텐츠를 생성할 수 있다. 제어부(150)는 미용 컨텐츠를 시간 단위, 미용에 따른 얼굴 이미지 변화 단위, 미용 도구 단위 또는 미용 스킬 단위에 따라 분리할 수 있다. 제어부(150)는 미용 컨텐츠에 이미지 프로세싱 알고리즘을 적용하여 미용 컨텐츠의 이미지를 판독하여 해당 프레임이 어떠한 화장 단계를 수행하는지 여부를 인식할 수 있다. 예를 들어, 제어부(150)는 미용 컨텐츠를 3분 단위로 분할하여 서브 미용 컨텐츠를 생성할 수 있다. 이렇게 분할된 서브 미용 컨텐츠는 시간이 중요한 분야에서 사용자에게 화장 방법을 훈련시키도록 사용될 수 있다. 예를 들어, 연예인의 메이크업을 하는 메이크업 아티스트의 경우 촬영 중간에 연예인의 화장을 고치기에 시간 제한이 있을 수 있다. 이런 메이크업 아티스트의 경우 본 발명의 일 실시예의 시간별로 분리된 서브 미용 컨텐츠를 따라하며 훈련하여 시간 제한 하에서 메이크업 퍼포먼스를 향상시킬 수 있다. 제어부(150)는 화장에 따른 얼굴 이미지 변화 단위, 예를 들어, 눈화장, 볼화장, 입술화장 등으로 미용 컨텐츠를 분리하여 서브 미용 컨텐츠를 생성할 수 있다. 또한 제어부(150)는 미용 컨텐츠에서 미용 도구를 인식하여 미용 도구 단위로 미용 컨텐츠를 분리할 수 있다. 예를 들어, 제어부(150)는 마스카라를 인식하여 마스카라를 사용하는 단계, 아이라이너를 인식하여 아이라이너를 사용하는 단계로 미용 컨텐츠를 분리할 수 있다. 또한, 제어부(150)는 미용 컨텐츠에서 미용 스킬을 인식하여 미용 스킬 단위로 미용 컨텐츠를 분리할 수 있다. 예를 들어, 제어부(150)는 미용 컨텐츠에서 피부 물광을 위한 화장 동작들을 인식하여 이를 단위로 미용 컨텐츠를 분리할 수도 있다. 전술한 미용 컨텐츠 분할 단위의 구체적인 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
제어부(150)는 사용자의 피부 상태를 판단할 수 있다. 구체적으로, 제어부(150)는 카메라부에서 촬영된 사용자의 영상, 피부 상태 인식부(120)에서 획득된 정보, 사용자 입력부(140)에 입력된 사용자 입력 중 적어도 하나에 적어도 부분적으로 기초하여 사용자의 피부 상태를 판단할 수 있다. 제어부(150)에 의해 판단되는 사용자의 피부 상태는, 예를 들어, 건성/지성의 피부 타입, 피부 톤, 피부 수분도, 피부 주름, 피부 기미 잡티 등의 색소 침착, 여드름 등의 피부 트러블 등을 포함할 수 있다.
색소 침착의 경우, 제어부(150)는, 사용자의 영상으로부터 특정한 피부 영역을 추출하고, 추출된 피부 영역을 헤모글로빈 색소층 및 멜라닌의 색소층으로 분리한 후 각 색소의 침착 영역 및 정도를 정량화하여 색소 침착 영역 및 정도를 포함하는 색소 침착에 관한 피부 상태를 판단할 수 있다.
제어부(150)는 이와 같은 사용자의 피부 상태에 적어도 부분적으로 기초하여 미용 컨텐츠를 선택할 수 있다. 제어부(150)는 예를 들어, 사용자의 피부가 건성 피부인 경우, 건성 피부에 추천할 수 있는 수분공급 화장 방법을 포함하는 미용 컨텐츠를 사용자에게 필요한 컨텐츠로 결정할 수 있다. 또한, 제어부(150)는 예를 들어, 사용자의 피부 톤이 까무잡잡한 톤인 경우, 화이트닝 화장 방법을 포함하는 미용 컨텐츠를 선택할 수 있다. 또한, 제어부(150)는 사용자가 설정한 미용 목표에 기초하여 이에 대응되는 미용 컨텐츠를 선택할 수 있다. 예를 들어, 사용자가 친구의 결혼식에 참석하고자 하는 경우, 제어부(150)는 결혼식 참석에 적절한 화장 방법을 포함하는 미용 컨텐츠를 선택할 수 있다. 또한, 예를 들어 사용자가 상꺼풀이 없는 눈을 가진 경우, 제어부(150)는 사용자의 미용 목표를 “눈매 강조”로 인식하여 눈매를 강조하는 화장법이 포함된 미용 컨텐츠를 선택할 수도 있다. 제어부(150)는 이와 같이 결정된 미용 컨텐츠를 디스플레이하거나, 사용자에게 추천한 후 사용자의 승인에 따라 디스플레이할 수 있다.
또한, 제어부(150)는 소정의 기간에 걸쳐 사용자의 피부 상태에 관한 정보를 누적하여, 피부 상태의 변화를 추적할 수 있다. 예를 들어, 제어부(150)는 최근 3개월에 걸친 사용자의 피부 수분의 변화, 기미의 증감 등을 추적할 수 있다. 이러한 변화에 기초하여 제어부(150)는 사용자에게 기추천한 미용 컨텐츠의 유효성, 즉 미용 컨텐츠가 해당 사용자에게 얼마나 효과가 있는지를 판단할 수 있다. 이러한 판단 결과에 따라, 제어부(150)는 사용자에게 새로운 미용 컨텐츠를 추천하거나 기존의 미용 컨텐츠의 유지를 추천할 수 있다.
제어부(150)는 카메라부(110)에서 촬영된 사용자의 영상을 사용자의 미용 단계에 따라 저장할 것을 결정할 수 있다. 또한, 제어부(150)는 저장된 사용자의 영상의 공유 여부를 결정할 수 있다. 예를 들어, 사용자가 미용 컨텐츠를 보며 일련의 미용 단계를 수행하는 경우, 카메라부(110)는 이를 촬영할 수 있다. 제어부(150)는 사용자가 미용 단계를 수행하는 영상을 메모리(170)에 저장할 것을 결정할 수 있다. 이 경우, 제어부(150)는 사용자가 미용 단계를 수행하는 영상을 서브 미용 컨텐츠를 만드는 기준과 유사한 기준을 적용하여 분할하거나, 편집점을 설정할 수 있다. 제어부(150)는 사용자의 입력 등에 기초하여 저장된 사용자가 미용 단계를 수행하는 영상을 영상 공유 플랫폼 등에 공유할 것을 결정할 수 있다.
통신부(160)는 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 방법을 수행하기 위한 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 통신부(160)는 예를 들어, 미용 크리에이터의 미용 컨텐츠, 사용자의 미용 영상 등 본 발명의 실시예에 필요한 데이터들을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 예를 들어, 통신부(160)는 소셜 네트워크 서비스, 동영상 공유 플랫폼(예를 들어, youtube) 등에서 미용 컨텐츠를 수신할 수 있다. 통신부(160)는 촬영된 사용자의 미용 영상을 소셜 네트워크 서비스, 동영상 공유 플랫폼 등에 전송할 수 있다.
메모리(170)는 프로그램 메모리 및 데이터 메모리들로 구성된다. 프로그램 메모리는 스마트 미러 디스플레이 장치(100)의 제어 명령 프로그램 및 본 발명의 실시예에 따라 스마트 미러 디스플레이 장치를 이용하여 기능을 실행하기 위한 프로그램을 저장한다. 데이터 메모리는 프로그램 수행 중에 발생되는 데이터를 저장한다. 그리고 메모리(170)는 본 발명의 실시예에 따라 수행 가능한 제어 명령을 저장한다. 또한 메모리(170)는 본 발명의 실시예에 따라 각각의 제어 명령을 안내하기 위한 제어 인터렉션 가이드를 저장한다.
스마트 미러 디스플레이 장치(100)는 미용 컨텐츠를 디스플레이 하여 사용자가 이를 따라 할 수 있도록 하며, 미용 컨텐츠를 서브 미용 컨텐츠로 분할하여 사용자가 단계별로 따라할 수 있도록 할 수 있다. 또한 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 장치(100)는 사용자의 미용 상태를 인식하여 서브 미용 컨텐츠를 전환함으로써 사용자가 편리하게 미용 컨텐츠를 따라할 수 있도록 할 수 있다. 또한, 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 장치(100)는 사용자의 미용 목표에 따라 참고할 수 있는 미용 컨텐츠를 추천하여 사용자가 자신의 미용 지향점에 따른 미용 방법을 배울 수 있도록 할 수 있다.
도 2는 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치에서 디스플레이 되는 영상의 예시이다.
도 2의 (a) 및 (b)에서 도시되는 바와 같이, 사용자가 스마트 미러 디스플레이 장치(100) 전방에 위치하면, 스마트 미러 디스플레이 장치(100)는 사용자를 촬영하여 사용자의 영상(131)을 생성하고, 사용자의 영상(131)을 미용 컨텐츠(133)와 함께 디스플레이 할 수 있다.
도시되는 바와 같이, 디스플레이 되고 있는 미용 컨텐츠(133)는 코에 하이라이트 화장 수행하는 단계에 관한 서브 미용 컨텐츠 일 수 있다. 이때, 제어부(150)는 사용자의 영상(131)에서 코 부분(201)을 인식하여 미용 컨텐츠(133)의 코 부분(203)과 비교하여 사용자가 해당 서브 미용 컨텐츠의 화장 단계를 수행하였는지 여부를 인식할 수 있다.
제어부(150)는 사용자의 영상(131)에 이미지 프로세싱 알고리즘을 적용하여 사용자의 얼굴에서 코 부분(201)을 인식할 수 있다. 제어부(150)는 인식된 사용자의 얼굴의 코 부분(201)의 색상 값의 변화를 감지하여 사용자가 해당 서브 미용 컨텐츠에 포함된 화장 단계를 수행하였는지 여부를 감지할 수 있다. 제어부(150)는 사용자가 해당 서브 미용 컨텐츠에 포함된 미용 단계를 수행한 것으로 감지한 경우, 다음 서브 미용 컨텐츠가 디스플레이부(130)에 표시되도록 서브 미용 컨텐츠를 전환할 수 있다.
도 2 에서 도시되는 스마트 미러 디스플레이 장치(100) 및 이에 의해 표시되는 영상들은 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
도 3 은 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 장치의 동작 방법을 도시한다.
먼저, 스마트 미러 디스플레이 장치(100)는 사용자의 영상을 촬영할 수 있다(S310 단계). 스마트 미러 디스플레이 장치(100)는 사용자의 미용 상태를 인식할 수 있도록 사용자를 촬영하여 사용자 영상을 생성할 수 있다.
스마트 미러 디스플레이 장치(100)는 촬영된 사용자의 영상 및 미용 컨텐츠를 디스플레이 할 수 있다(S320 단계). 여기서 미용 컨텐츠(133)는 사용자에게 미용 방법에 관한 정보를 제공하는 영상을 포함할 수 있다. 여기서 상기 영상은 화장, 피부 기초 관리 및 헤어 스타일링 중 적어도 하나에 관한 것일 수 있으며, 예를 들어, 뷰티 크리에이터(beauty creator)의 화장 영상일 수 있다. 또한, 미용 컨텐츠(133)는 시간 단위, 미용에 따른 얼굴 이미지 변화 단위, 미용 도구 단위 또는 미용 스킬 단위에 따라 분리된 서브 미용 컨텐츠를 포함할 수 있다.
스마트 미러 디스플레이 장치(100)는 촬영된 사용자의 영상에서 사용자의 미용 상태를 인식할 수 있다(S330 단계). 사용자의 미용 상태는 사용자가 서브 미용 컨텐츠에 포함된 화장 단계를 수행하였는지에 관련한 정보를 포함할 수 있다. 예를 들어, 사용자의 미용 상태는 사용자가 미용 방법의 어떠한 단계를 수행하였는지에 관한 정보를 포함할 수 있다. 즉, 스마트 미러 디스플레이 장치(100)에서 촬영된 촬영 영상에 기초하여 스마트 미러 디스플레이 장치(100)는 예를 들어, 사용자가 현재 눈화장을 수행하였는지, 볼터치를 완료하였는지 등의 사용자의 미용 상태를 인식할 수 있다. 전술한 화장 단계에 관한 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
스마트 미러 디스플레이 장치(100)는 인식된 미용 상태에 적어도 부분적으로 기초하여 미용 컨텐츠의 서브 미용 컨텐츠를 전환할 수 있다(S340 단계). 스마트 미러 디스플레이 장치(100)는 예를 들어, 사용자의 미용 상태를 인식하여 사용자가 눈 화장을 수행하였는지 여부를 판단할 수 있고, 판단 결과에 적어도 부분적으로 기초하여 서브 미용 컨텐츠를 눈 화장 다음 단계의 화장 방법을 포함하는 서브 미용 컨텐츠로 전환하여 디스플레이 할 수 있다.
스마트 미러 디스플레이 장치(100)는 미용 컨텐츠를 디스플레이 하여 사용자가 이를 따라 할 수 있도록 하며, 특히 미용 컨텐츠를 서브 미용 컨텐츠로 분할하여 사용자가 단계별로 따라할 수 있도록 할 수 있다. 또한, 스마트 미러 디스플레이 장치(100)는 사용자의 미용 목표에 따라 참고할 수 있는 미용 컨텐츠를 추천하여 사용자가 자신의 미용 지향점에 따른 미용 단계를 학습하고 수행하도록 할 수 있다.
일 실시예에서, 스마트 미러 디스플레이 장치(100)의 제어부(150)는 사용자 입력부(140), 특히 마이크에서 입력되는 외부 소리에 기초하여 이상 소음을 감지할 수 있다.
이와 관련하여 도 4는 미러 디스플레이 장치(100)의 이상 소음 감지 작동 구조도를 도시한다. 도시되는 바와 같이, 제어부(150)는 주파수, 파장, 크기(dB)에 기초하여 메모리부(170)에 저장된 이상 소음 데이터와 사용자 입력부(140)에서 입력되는 외부 소리 데이터를 비교하여 이상 소음 여부를 결정할 수 있다. 구체적으로, 제어부(150)는 정상 소음과 비정상 소음으로 분류하고, 비정상 소음을 세분화하여 이송 소음 여부를 결정할 수 있다. 이때 정상 소음 및 비정상 소음의 분류 기준은 스마트 미러 디스플레이 장치(100)가 사용되는 공간에 따라 상이하게 설정될 수 있다. 예를 들어, 가정에서 사용되는 경우, 또는 사무실이나 야외에서 사용되는 경우, 상이한 기준이 적용될 수 있다. 여기서 정상 소음은 해당 공간에서 통상적으로 발생하는 소음으로써, 기입력된 바에 따라 결정되거나, 스마트 미러 디스플레이 장치(100)가 설치된 이후 사용자 입력부(140)가 외부 소리를 감지 및 누적하여 결정될 수 있다. 비정상 소음에 해당하는 경우, 제어부(150)는 이들을 세분화하는데, 예를 들어, 기계음, 동물 소리, 사람소리-남자, 사람소리-여자 등으로 분류한 후, 최종적으로 이상 소음 발생 여부를 결정할 수 있다. 예를 들어, 외부 소리 데이터가 기계음, 동물소리, 파손음, 환경소음에 해당하는 경우, 이상 소음이 발생하지 않은 것으로 판단할 수 있다. 이와 달리, 외부 소리 데이터가 사람 소리에 해당하는 것으로서, 비명 소리에 해당하는 경우, 이상 소음이 발생한 것으로 판단할 수 있으며, 통신부(160)는 이상 상황의 발생을 알리는 메시지를 기 지정된 사용자에게 전송할 수 있다. 이때, 스마트 미러 디스플레이 장치(100)는 예를 들어, 스피커 등의 음향 출력 장치를 더 포함할 수 있으며, 이상 소음이 발생한 것으로 판단되는 경우, 음향 출력 장치를 통해 경보음 등을 출력할 수 있다.
일 실시예에서, 스마트 미러 디스플레이 장치(100)는 화재 감지부를 더 포함할 수 있다. 화재 감지부는, 예를 들어, 연기 센서, 불꽃 센서 등 다양한 화재 감지용 센서를 포함할 수 있다.
이와 관련하여 도 5는 미러 디스플레이 장치(100)의 화재 감지 동작 구조도를 도시한다. 도시되는 바와 같이, 화재 감지부가 화재를 감지하면, 제어부(150)는 통신부(160)를 통해 화재 상황의 발생을 알리는 메시지를 기 지정된 사용자에게 전송할 수 있다. 이때, 스마트 미러 디스플레이 장치(100)는 예를 들어, 스피커 등의 음향 출력 장치를 더 포함할 수 있으며, 화재가 발생한 것으로 판단되는 경우, 음향 출력 장치를 통해 경보음 등을 출력할 수 있다
본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스를 포함할 수 있다.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.
특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 않아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (16)
- 스마트 미러 디스플레이 장치로서,
사용자를 촬영하는 카메라부;
상기 카메라부에서 촬영된 사용자의 영상 및 미용 컨텐츠를 디스플레이 하는 디스플레이부; 및
상기 카메라부에서 촬영된 사용자의 영상에서 상기 사용자의 미용 상태를 인식하고, 상기 인식된 미용 상태에 기초하여 상기 미용 컨텐츠의 서브 미용 컨텐츠를 전환하는 제어부를 포함하고,
상기 미용 컨텐츠는, 사용자에게 미용 정보를 제공하는 영상으로서 하나 이상의 서브 미용 컨텐츠를 포함하며,
상기 미용 컨텐츠는 화장, 피부 기초 관리 및 헤어 스타일링 중 적어도 하나에 관한 것인, 스마트 미러 디스플레이 장치. - 제 1 항에 있어서,
상기 제어부는 상기 미용 정보를 제공하는 영상을 시간 단위, 미용에 따른 얼굴 이미지 변화 단위, 미용 도구 단위 또는 미용 스킬 단위에 따라 분리하여 상기 하나 이상의 서브 미용 컨텐츠를 생성하는, 스마트 미러 디스플레이 장치. - 제 1 항에 있어서,
상기 사용자의 미용 상태는, 상기 사용자가 상기 서브 미용 컨텐츠에 포함된 미용 단계를 수행하였는지에 관련한 정보를 포함하며,
상기 제어부는, 상기 사용자의 영상의 이미지 변화 값에 기초하여 상기 사용자의 미용 상태를 인식하고, 상기 인식된 미용 상태에 기초하여 상기 사용자가 상기 서브 미용 컨텐츠에 포함된 미용 단계를 수행하였는지 여부를 판단하고, 상기 사용자가 상기 서브 미용 컨텐츠에 포함된 미용 단계를 수행한 경우, 다음 서브 미용 컨텐츠를 디스플레이 할 것을 결정하는, 스마트 미러 디스플레이 장치. - 제 1 항에 있어서,
상기 제어부는 상기 카메라부에서 촬영된 사용자의 영상에서 사용자의 피부 상태를 인식하고, 상기 인식된 피부 상태에 적어도 부분적으로 기초하여 상기 미용 컨텐츠를 선택하는, 스마트 미러 디스플레이 장치. - 제 1 항에 있어서,
상기 사용자로부터 상기 사용자의 미용 목표에 대한 입력을 수신하기 위한 사용자 입력부를 더 포함하고,
상기 제어부는 추가적으로, 사용자로부터 입력된 미용 목표에 대한 입력에 기초하여, 상기 미용 목표에 대응되는 미용 컨텐츠를 선택하는, 스마트 미러 디스플레이 장치. - 제 5 항에 있어서,
상기 미용 목표는, 상기 사용자의 피부 상태, 상기 사용자의 미용 지향점, 상기 사용자가 참석하고자 하는 사회적 이벤트 및 상기 사용자의 개인정보 중 적어도 하나에 기초한 미용 목표인, 스마트 미러 디스플레이 장치. - 제 1 항에 있어서,
상기 제어부는, 상기 카메라부에서 촬영된 사용자의 영상에서 상기 사용자의 얼굴의 각 부분을 인식하고, 상기 인식된 각 부분에 상기 서브 미용 컨텐츠의 미용 단계가 적용되었는지 여부를 판단하는, 스마트 미러 디스플레이 장치. - 제 1 항에 있어서,
상기 제어부가 상기 사용자의 피부 상태를 인식하도록 하기 위한 정보를 획득하기 위한 피부 상태 인식부를 더 포함하는, 스마트 미러 디스플레이 장치. - 제 8 항에 있어서,
상기 제어부는 소정의 기간에 걸쳐 상기 사용자의 상기 피부 상태를 판단하여, 상기 피부 상태의 변화를 추적하여, 상기 추천된 미용 컨텐츠의 유효성을 판단하는, 스마트 미러 디스플레이 장치. - 제 1 항에 있어서,
상기 제어부는, 상기 사용자의 영상으로부터 사용자의 피부 상태를 판단하고, 상기 피부 상태에 기초하여 상기 사용자에게 필요한 미용 컨텐츠를 추천하는, 스마트 미러 디스플레이 장치. - 제 1 항에 있어서,
상기 제어부는 상기 사용자의 영상으로부터 특정한 피부 영역을 추출하고, 추출된 피부 영역을 헤모글로빈 색소층 및 멜라닌의 색소층으로 분리한 후 각 색소의 침착 영역 및 정도를 정량화함으로써, 색소 침착 영역 및 정도를 포함하는 색소 침착에 관한 피부 상태를 판단하는, 스마트 미러 디스플레이 장치. - 제 1 항에 있어서,
외부 소리를 입력 받는 사용자 입력부를 더 포함하고,
상기 제어부는 상기 사용자 입력부로부터 입력된 외부 소리를 기저장된 이상 소음 데이터와 비교하여 이상 소음 여부를 결정하는, 스마트 미러 디스플레이 장치. - 제 1 항에 있어서,
화재의 발생을 감지하는 화재 감지부를 더 포함하는, 스마트 미러 디스플레이 장치. - 스마트 미러 디스플레이 장치의 동작 방법으로서,
사용자의 영상을 촬영하는 단계;
촬영된 사용자의 영상 및 미용 컨텐츠를 디스플레이 하는 단계;
촬영된 사용자의 영상에서 상기 사용자의 미용 상태를 인식하는 단계; 및
상기 인식된 미용 상태에 적어도 부분적으로 기초하여 상기 미용 컨텐츠의 서브 미용 컨텐츠를 전환하는 단계를 포함하고,
상기 미용 컨텐츠는, 사용자에게 미용 정보를 제공하는 영상으로서 하나 이상의 서브 미용 컨텐츠를 포함하며,
상기 미용 컨텐츠는 화장, 피부 기초 관리 및 헤어 스타일링 중 적어도 하나에 관한 것인, 방법. - 제 14 항에 따른 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
- 인코딩된 명령들을 포함하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨팅 장치의 하나 이상의 프로세서들에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 스마트 미러 디스플레이를 제공하기 위한 이하의 단계들을 수행하도록 하며, 상기 단계들은:
사용자의 영상을 촬영하는 단계;
촬영된 사용자의 영상 및 미용 컨텐츠를 디스플레이 하는 단계;
촬영된 사용자의 영상에서 상기 사용자의 미용 상태를 인식하는 단계; 및
상기 인식된 미용 상태에 적어도 부분적으로 기초하여 상기 미용 컨텐츠의 서브 미용 컨텐츠를 전환하는 단계를 포함하고,
상기 미용 컨텐츠는, 사용자에게 미용 정보를 제공하는 영상으로서 하나 이상의 서브 미용 컨텐츠를 포함하며, 상기 미용 컨텐츠는 화장, 피부 기초 관리 및 헤어 스타일링 중 적어도 하나에 관한 것인,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180062640A KR20190136652A (ko) | 2018-05-31 | 2018-05-31 | 스마트 미러 디스플레이 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180062640A KR20190136652A (ko) | 2018-05-31 | 2018-05-31 | 스마트 미러 디스플레이 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190136652A true KR20190136652A (ko) | 2019-12-10 |
Family
ID=69003135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180062640A KR20190136652A (ko) | 2018-05-31 | 2018-05-31 | 스마트 미러 디스플레이 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190136652A (ko) |
-
2018
- 2018-05-31 KR KR1020180062640A patent/KR20190136652A/ko not_active Application Discontinuation
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tzirakis et al. | End-to-end multimodal emotion recognition using deep neural networks | |
| US11656680B2 (en) | Technique for controlling virtual image generation system using emotional states of user | |
| US10810409B2 (en) | Identifying facial expressions in acquired digital images | |
| CN109475294B (zh) | 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台 | |
| US10311289B2 (en) | Face recognition method and device and apparatus | |
| CN107077604B (zh) | 用于心律检测的面部皮肤掩膜生成 | |
| US20190130652A1 (en) | Control method, controller, smart mirror, and computer readable storage medium | |
| Danner et al. | Quantitative analysis of multimodal speech data | |
| JP2020505989A (ja) | メイクアップ評価システム及びその動作方法 | |
| KR102045575B1 (ko) | 스마트 미러 디스플레이 장치 | |
| CN110531853B (zh) | 一种基于人眼注视点检测的电子书阅读器控制方法及系统 | |
| CN111382648A (zh) | 人脸动态表情的检测方法、装置、设备及存储介质 | |
| Zhang et al. | Emotion detection using Kinect 3D facial points | |
| WO2010133661A1 (en) | Identifying facial expressions in acquired digital images | |
| Beyan et al. | Moving as a leader: Detecting emergent leadership in small groups using body pose | |
| CN108595012A (zh) | 基于虚拟人的视觉交互方法及系统 | |
| KR20180077680A (ko) | 얼굴 표정 인식 기반의 서비스 제공 장치 및 그 방법 | |
| TW201826167A (zh) | 一種表情反饋方法及智慧機器人 | |
| EP4064967A1 (en) | Techniques for generating time-series images of changes in personal appearance | |
| CN108628454B (zh) | 基于虚拟人的视觉交互方法及系统 | |
| KR102066892B1 (ko) | 메이크업 평가 시스템 및 그의 동작 방법 | |
| US20150281784A1 (en) | E-reading system with interest-based recommendations and methods for use therewith | |
| KR20190136652A (ko) | 스마트 미러 디스플레이 장치 | |
| Nakamura et al. | Automatic Labeling of Training Data by Vowel Recognition for Mouth Shape Recognition with Optical Sensors Embedded in Head-Mounted Display. | |
| CN112749357A (zh) | 基于分享内容的交互方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |