KR20180033754A - System of providing optimal therapy to user based on user's emotion by using smart mirror - Google Patents

System of providing optimal therapy to user based on user's emotion by using smart mirror Download PDF

Info

Publication number
KR20180033754A
KR20180033754A KR1020160123100A KR20160123100A KR20180033754A KR 20180033754 A KR20180033754 A KR 20180033754A KR 1020160123100 A KR1020160123100 A KR 1020160123100A KR 20160123100 A KR20160123100 A KR 20160123100A KR 20180033754 A KR20180033754 A KR 20180033754A
Authority
KR
South Korea
Prior art keywords
user
information
smart mirror
emotion
unit
Prior art date
Application number
KR1020160123100A
Other languages
Korean (ko)
Inventor
조용성
Original Assignee
블렌드팩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 블렌드팩 주식회사 filed Critical 블렌드팩 주식회사
Priority to KR1020160123100A priority Critical patent/KR20180033754A/en
Publication of KR20180033754A publication Critical patent/KR20180033754A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G06K9/00295—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Child & Adolescent Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

The present invention relates to a system for providing a customized therapy depending on a user emotion by using a smart mirror. According to an embodiment of the present invention, the system for providing a customized therapy depending on a user emotion by using a smart mirror comprises: a smart mirror device (100); a service providing server (200); and a wearable device (300). The system for providing a customized therapy depending on a user emotion by using a smart mirror of the present invention can provide the appropriately customized therapy by considering the user emotion.

Description

스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템{SYSTEM OF PROVIDING OPTIMAL THERAPY TO USER BASED ON USER'S EMOTION BY USING SMART MIRROR}TECHNICAL FIELD [0001] The present invention relates to a system for providing a customized therapy according to a user's emotions using a smart mirror,

본 발명은 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에 관한 것으로서, 보다 구체적으로는 스마트 미러를 이용하여 사용자의 감정에 따라 해당 사용자에게 적합한 맞춤형 테라피를 제공하는 시스템에 관한 것이다.The present invention relates to a system for providing a customized therapy according to a user's emotions, and more particularly, to a system for providing a customized therapy suitable for a user according to a user's emotions using a smart mirror.

최근 스마트 미러에 대한 연구가 활발히 진행되고 있으며, 스마트 미러에 대한 사람들의 관심도 증가하고 있다. 스마트 미러란, 거울이 빛의 반사를 이용하여 물체의 모양을 비추는 거울 고유의 기능을 수행할 뿐만 아니라, 인터넷과 연결되어 날씨, 달력 및 주요 뉴스 등의 다양한 정보를 출력해주는 기능을 수행할 수 있는 거울이다. 이러한 스마트 미러를 이용하면, 스마트 미러에서 아침마다 그날의 날씨, 주요 뉴스 등을 출력해주기 때문에, 화장실에서 세안을 하거나, 화장대에서 화장을 하면서 스마트 미러를 통해 제공되는 정보를 확인할 수 있으므로, 날씨 등을 확인하기 위해 사용자가 스마트폰을 직접 확인해야하는 번거로움을 줄일 수 있다.
Recently, research on smart mirrors has been actively conducted, and people's interest in smart mirrors is also increasing. Smart Mirror is a mirror that not only performs the function of a mirror that reflects the shape of an object by using reflection of light, but also functions to output various information such as weather, calendar, It is a mirror. With this smart mirror, you can see the information provided through the smart mirror while you clean your bathroom or make-up at the dresser, because it outputs the weather, major news, etc. of the day each morning in the smart mirror. You can reduce the hassle of having to identify yourself on your smartphone to check.

하지만, 지금까지 사용되고 있는 스마트 미러는 그날의 날씨, 주요 뉴스 등의 일반적인 정보를 일방적으로 제공하는데 그치고 있을 뿐, 사용자의 감정을 고려하여, 사용자의 감정에 따라 그에 적합한 맞춤형 정보를 제공하지는 못하고 있다.
However, the smart mirror which has been used so far only provides general information such as the weather and major news of the day unilaterally, and does not provide customized information suitable for the user's emotions in consideration of the user's emotions.

종래에 스마트 미러와 관련하여, 등록특허 제10-1494301호(발명의 명칭: 스마트 미러 장치, 등록일자: 2015년 02월 11일) 등이 개시된 바 있다.Conventionally, in relation to a smart mirror, a registered trademark 10-1494301 (name of the invention: smart mirror device, registered on Feb. 11, 2015) has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 스마트 미러 장치에서, 카메라를 통해 인식된 사용자의 얼굴 정보, 서비스 제공 서버로부터 전달된 외부 환경 정보, 및 웨어러블 디바이스로부터 전달된 사용자의 생체 신호 정보를 바탕으로, 사용자의 감정을 분석 및 범주화하고, 범주화된 사용자의 감정에 따라 맞춤형 테라피를 출력해줌으로써, 기존의 스마트 미러에서 날씨, 주요 뉴스 등을 포함한 일반적인 정보를 일방적으로 제공하는데 그치지 않고, 사용자의 감정을 고려하여 그에 적합한 맞춤형 테라피를 제공하는, 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템을 제공하는 것을 그 목적으로 한다.The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. In the smart mirror device, the face information of the user recognized through the camera, the external environment information transmitted from the service providing server, By analyzing and categorizing user's emotions based on the transmitted user's biometric signal information and outputting customized therapies according to the categorized user's feelings, general information including weather, major news, It is another object of the present invention to provide a system for providing customized therapies in accordance with a user's emotions using a smart mirror in consideration of a user's emotions and providing customized therapies suitable for them.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템은,According to an aspect of the present invention, there is provided a system for providing a customized therapy according to a user's emotions using a smart mirror,

사용자의 얼굴을 인식하여 상기 사용자의 얼굴 정보를 수집하는 스마트 미러 장치;A smart mirror device for recognizing a face of the user and collecting face information of the user;

상기 스마트 미러 장치에 날씨 정보를 포함한 외부 환경 정보를 전달하는 서비스 제공 서버; 및A service providing server for transmitting external environment information including weather information to the smart mirror device; And

상기 사용자의 신체에 착용되어 상기 사용자의 생체 신호를 측정하며, 상기 측정된 사용자의 생체 신호 정보를 상기 스마트 미러 장치에 전달하는 웨어러블 디바이스를 포함하되,And a wearable device for measuring the user's bio-signal wearing on the user's body and transmitting the measured bio-signal information of the user to the smart mirror device,

상기 스마트 미러 장치는,The smart mirror device includes:

상기 인식된 사용자의 얼굴 정보, 상기 서비스 제공 서버로부터 전달된 외부 환경 정보, 및 상기 웨어러블 디바이스로부터 전달된 사용자의 생체 신호 정보를 바탕으로, 상기 사용자의 감정을 분석 및 범주화하고, 상기 범주화된 사용자의 감정에 따라 맞춤형 테라피를 제공하는 것을 그 구성상의 특징으로 한다.
Analyzing and categorizing the emotion of the user based on the face information of the recognized user, the external environment information transmitted from the service providing server, and the biometric signal information of the user transmitted from the wearable device, Providing customized therapies according to emotions is characterized by its constitution.

바람직하게는, 상기 스마트 미러 장치는,Preferably, the smart mirror device further comprises:

상기 사용자의 얼굴을 인식하며, 상기 인식된 사용자의 얼굴 정보를 수집하는 카메라부;A camera unit for recognizing the face of the user and collecting the recognized face information of the user;

상기 서비스 제공 서버와 데이터를 송수신하는 통신부;A communication unit for transmitting and receiving data to and from the service providing server;

상기 인식된 사용자의 얼굴 정보, 상기 서비스 제공 서버로부터 전달된 외부 환경 정보, 및 상기 웨어러블 디바이스로부터 전달된 사용자의 생체 신호 정보를 바탕으로, 상기 사용자의 감정을 분석 및 범주화하는 사용자 감정 분석부;A user emotion analyzing unit for analyzing and categorizing the emotion of the user based on the recognized face information of the user, external environment information transmitted from the service providing server, and biometric signal information of the user transmitted from the wearable device;

상기 사용자 감정 분석부를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피를 출력해주는 출력부; 및An output unit for outputting customized therapies according to emotions categorized by the user emotion analyzing unit; And

상기 사용자의 감정에 따라 상기 출력부를 통해 출력될 맞춤형 테라피 정보를 저장하는 저장부를 포함할 수 있다.
And a storage unit for storing customized therapy information to be outputted through the output unit according to the user's emotion.

바람직하게는, 상기 출력부는,Preferably, the output section includes:

상기 맞춤형 테라피가 음성 및 소리 정보인 경우, 상기 음성 및 소리 정보를 출력해주는 스피커부;A speaker unit for outputting the voice and sound information when the personalized therapy is voice and sound information;

상기 맞춤형 테라피가 화면 정보인 경우, 상기 화면 정보를 출력해주는 디스플레이부; 및A display unit for outputting the screen information when the customized therapy is screen information; And

상기 맞춤형 테라피가 조명 정보인 경우, 상기 조명 정보를 출력해주는 조명부 중 적어도 하나를 포함할 수 있다.
And a lighting unit for outputting the illumination information when the customized therapy is illumination information.

더욱 바람직하게는, 상기 스마트 미러 장치는,More preferably, the smart mirror device includes:

상기 저장부에 사용자 감정 분석부를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피 정보가 없는 경우,If there is no customized therapy information according to the user's emotion categorized through the user's emotional analysis unit in the storage unit,

상기 서비스 제공 서버로부터 상기 맞춤형 테라피 정보를 전달받아 상기 출력부를 통해 상기 맞춤형 테라피 정보를 출력할 수 있다.
The customized therapy information is received from the service providing server and the customized therapy information can be output through the output unit.

바람직하게는, 상기 스마트 미러 장치는,Preferably, the smart mirror device further comprises:

상기 실내의 온도를 측정하는 온도 센서;A temperature sensor for measuring a temperature of the room;

상기 실내의 습도를 측정하는 습도 센서;A humidity sensor for measuring the humidity of the room;

상기 실내의 먼지 농도를 측정하는 먼지 센서;A dust sensor for measuring the concentration of dust in the room;

상기 실내의 공기질을 측정하는 공기질 센서;An air quality sensor for measuring the air quality of the room;

상기 실내의 조도를 측정하는 조도 센서; 및An illuminance sensor for measuring illuminance of the room; And

상기 실내 및 사용자의 음성 정보를 수집하는 마이크 중 적어도 하나를 더 포함하며,And a microphone for collecting voice information of the room and the user,

상기 온도 센서, 상기 습도 센서, 상기 먼지 센서, 상기 공기질 센서, 상기 조도 센서 및 상기 마이크를 통해 측정된 실내의 온도, 습도, 먼지, 공기질, 조도, 실내 및 사용자의 음성 정보를 사용자의 감정을 분석 및 범주화하는데 이용할 수 있다.
Humidity, dust, air quality, illuminance, indoor and user information of the user, which are measured through the temperature sensor, the humidity sensor, the dust sensor, the air quality sensor, the illuminance sensor and the microphone And categorization.

더욱 바람직하게는, 상기 카메라부를 통해 인식된 사용자의 얼굴 정보는,More preferably, the face information of the user, recognized through the camera unit,

상기 사용자의 눈의 크기 변화, 눈썹간의 간격 변화, 미간의 형상 변화, 입의 크기 변화, 입의 형상 변화 및 사용자의 혈색 변화 정보 중 적어도 어느 하나의 정보를 포함할 수 있다.
Information on at least any one of a size change of the eye of the user, a change in the interval between eyebrows, a change in shape of the tail, a change in mouth size, a change in mouth shape, and a change in blood color of a user.

더욱 바람직하게는, 상기 사용자 감정 분석부를 통해 범주화된 사용자의 감정은,More preferably, the emotion of the user categorized through the user emotion analyzing unit is expressed as

기쁨, 놀람, 슬픔, 분노, 흥미, 스트레스 받음, 공포, 지루함, 쾌적함, 불쾌함, 초초함, 답답함 및 중립 중 적어도 어느 하나일 수 있다.
Can be at least one of joy, surprise, sadness, anger, interest, stress, fear, boredom, comfort, nausea, vigor, stiffness and neutrality.

바람직하게는, 상기 스마트 미러 장치는,Preferably, the smart mirror device further comprises:

상기 사용자의 감정에 따른 맞춤형 테라피 정보를 업데이트할 수 있다.The customized therapy information according to the user's feelings can be updated.

본 발명에서 제안하고 있는 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에 따르면, 스마트 미러 장치에서, 카메라를 통해 인식된 사용자의 얼굴 정보, 서비스 제공 서버로부터 전달된 외부 환경 정보, 및 웨어러블 디바이스로부터 전달된 사용자의 생체 신호 정보를 바탕으로, 사용자의 감정을 분석 및 범주화하고, 범주화된 사용자의 감정에 따라 맞춤형 테라피를 출력해줌으로써, 기존의 스마트 미러에서 날씨, 주요 뉴스 등을 포함한 일반적인 정보를 일방적으로 제공하는데 그치지 않고, 사용자의 감정을 고려하여 그에 적합한 맞춤형 테라피를 제공할 수 있다.According to the system for providing customized therapies according to the user's emotions using the smart mirror proposed in the present invention, in the smart mirror device, the face information of the user recognized through the camera, the external environment information transmitted from the service providing server, Analyzing and categorizing the user's emotions based on the user's biometric signal information transmitted from the wearable device and outputting the customized therapies according to the categorized user's feelings, It is possible not only to provide general information unilaterally but also to provide customized therapies suitable for the user's emotions.

도 1은 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템의 전체적인 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에서, 스마트 미러 장치의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에서, 사용자의 눈의 크기가 변화된 것을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에서, 스마트 미러 장치의 출력부의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에서, 디스플레이부에 코미디 영상이 출력되고 있는 모습을 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram showing the overall configuration of a system for providing customized therapies according to a user's emotions using a smart mirror according to an embodiment of the present invention; FIG.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a smart mirror device, and more particularly, to a smart mirror device and a smart mirror device, which are capable of providing personalized therapies according to user's emotions using a smart mirror according to an embodiment of the present invention.
3 is a diagram showing a change in the size of a user's eye in a system for providing customized therapies according to a user's emotions using a smart mirror according to an embodiment of the present invention.
4 is a diagram illustrating a detailed configuration of an output unit of a smart mirror device in a system for providing customized therapies according to user's emotions using a smart mirror according to an embodiment of the present invention.
5 is a view illustrating a system in which a comedy image is displayed on a display unit in a system for providing customized therapies according to a user's emotions using a smart mirror according to an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템의 전체적인 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템은 스마트 미러 장치(100), 서비스 제공 서버(200) 및 웨어러블 디바이스(300)를 포함하여 구성될 있다. 이하에서는, 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템의 각각의 구성에 대해 상세히 설명하기로 한다.
FIG. 1 is a diagram showing the overall configuration of a system for providing customized therapies according to a user's emotions using a smart mirror according to an embodiment of the present invention. Referring to FIG. 1, a system for providing customized therapies according to a user's emotions using a smart mirror according to an exemplary embodiment of the present invention includes a smart mirror device 100, a service providing server 200, and a wearable device 300). Hereinafter, each configuration of a system for providing customized therapies according to a user's emotions using a smart mirror according to an embodiment of the present invention will be described in detail.

스마트 미러 장치(100)는 사용자의 얼굴을 인식하여 사용자의 얼굴 정보를 수집하며, 인식된 사용자의 얼굴 정보, 서비스 제공 서버(200)로부터 전달된 외부 환경 정보, 및 웨어러블 디바이스(300)로부터 전달된 사용자의 생체 신호 정보를 바탕으로, 사용자의 감정을 분석 및 범주화하고, 범주화된 사용자의 감정에 따라 맞춤형 테라피를 제공하는 역할을 한다. 더 나아가, 스마트 미러 장치(100)는, 사용자에게 제공된 맞춤형 테라피에 대한 사용자의 반응 정보를 수집하여 분석해서, 분석된 정보를 바탕으로 추후 사용자에게 보다 적합한 맞춤형 테라피 정보를 제공할 수 있다. 예를 들어, 지루함을 느낀 사용자에게 웃긴 영상을 보여준 후, 카메라부(110)를 통해 해당 영상을 시청하는 사용자의 얼굴 정보를 수집해서, 해당 영상에 대한 사용자의 반응을 분석하여, 분석된 정보를 바탕으로 추후 사용자에게 보다 적합한 맞춤형 테라피를 제공할 수 있다. 이하에서는, 도 2를 참조하여 스마트 미러 장치(100)의 세부적인 구성에 대해 설명하기로 한다.
The smart mirror device 100 recognizes the face of the user and collects face information of the user and displays face information of the recognized user, external environment information transmitted from the service providing server 200, Analyzes and categorizes user's emotions based on the user's bio-signal information, and provides customized therapies according to the categorized user's emotions. Further, the smart mirror device 100 may collect and analyze the user's reaction information to the customized therapy provided to the user, and may provide customized therapy information more suitable for the future user based on the analyzed information. For example, after displaying a funny image to a user who has experienced boredom, the face information of a user who watches the corresponding image is collected through the camera unit 110, the user's reaction to the image is analyzed, It is possible to provide customized therapies more suitable for the users in the future. Hereinafter, the detailed configuration of the smart mirror device 100 will be described with reference to FIG.

도 2는 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에서, 스마트 미러 장치의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 스마트 미러 장치(100)는, 카메라부(110), 통신부(120), 사용자 감정 분석부(130), 출력부(140) 및 저장부(150)를 포함하여 구성될 수 있으며, 실시예에 따라 온도 센서(160) 및 습도 센서(170), 먼지 센서(180), 공기질 센서(190), 조도 센서(192) 및 마이크(194) 중 적어도 하나 이상을 더 포함하여 구성될 수 있다.
FIG. 2 is a diagram illustrating a configuration of a smart mirror device in a system for providing customized therapies according to user's emotions using a smart mirror according to an embodiment of the present invention. Referring to FIG. 2, the smart mirror device 100 includes a camera unit 110, a communication unit 120, a user's emotion analysis unit 130, an output unit 140, and a storage unit 150, And may further include at least one of a temperature sensor 160 and a humidity sensor 170, a dust sensor 180, an air quality sensor 190, an ambient light sensor 192, and a microphone 194 according to an embodiment Lt; / RTI >

카메라부(110)는 사용자의 얼굴을 인식하며, 인식된 사용자의 얼굴 정보룰 수집하는 역할을 한다. 이렇게 카메라부(110)를 통해 인식된 사용자의 얼굴 정보는 사용자 감정 분석부(130)에서 사용자의 감정을 분석하고 범주화하는데 사용될 수 있다. 여기서, 카메라부(110)를 통해 인식된 사용자의 얼굴 정보는, 사용자의 눈의 크기 변화, 눈썹간의 간격 변화, 미간의 형상 변화, 입의 크기 변화, 입의 형상 변화 및 사용자의 혈색 변화 정보 중 적어도 어느 하나의 정보일 수 있다. 카메라부(110)를 통해 인식된 사용자의 얼굴 정보에 대해서는 추후 사용자 감정 분석부(130)를 설명할 시, 보다 상세히 설명하기로 한다.
The camera unit 110 recognizes the user's face and collects the recognized face information of the user. The facial information of the user recognized through the camera unit 110 can be used to analyze and categorize the user's emotions in the user's emotional analysis unit 130. [ Here, the face information of the user recognized through the camera unit 110 may include at least one of a size change of a user's eye, a change in an interval between eyebrows, a change in shape of a tail, a change in a mouth size, a change in a mouth shape, And may be at least any one piece of information. The user's facial information recognized through the camera unit 110 will be described later in more detail when the user's emotional analysis unit 130 is described.

통신부(120)는 서비스 제공 서버(200)와 데이터를 송수신하는 역할을 한다. 스마트 미러 장치(100)는 통신부(120)를 통해 서비스 제공 서버(200)로부터 날씨 정보를 포함한 외부 환경 정보를 수신하고, 웨어러블 디바이스(300)에서 측정된 사용자의 생체 신호를 수신할 수 있다. 또한, 실시예에 따라, 스마트 미러 장치(100)의 저장부(150)에 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피 정보가 없는 경우, 서비스 제공 서버(200)로부터 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피 정보를 수신할 수 있다. 더 나아가, 스마트 미러 장치(100)는 통신부(120)를 통해 사용자의 감정에 따른 새로운 음성, 영상, 이미지 등의 새로운 맞춤형 테라피 정보를 업데이트할 수 있다.
The communication unit 120 transmits and receives data to and from the service providing server 200. The smart mirror device 100 receives external environment information including weather information from the service providing server 200 through the communication unit 120 and receives the user's bio-signal measured by the wearable device 300. [ According to the embodiment, when there is no customized therapy information according to the user's emotion categorized through the user's emotional analysis unit 130 in the storage unit 150 of the smart mirror apparatus 100, The user's emotional analysis unit 130 can receive the customized therapy information according to the categorized user's emotions. Furthermore, the smart mirror device 100 can update new customized therapy information such as new voice, image, and image according to the user's feelings through the communication unit 120.

사용자 감정 분석부(130)는, 카메라부(110)를 통해 인식된 사용자의 얼굴 정보, 서비스 제공 서버(200)로부터 전달된 날씨를 포함한 외부 환경 정보, 및 웨어러블 디바이스(300)로부터 전달된 사용자의 생체 신호 정보를 바탕으로, 사용자의 감정을 분석 및 범주화하는 역할을 한다. 여기서, 서비스 제공 서버(200)로부터 전달된 외부 환경 정보는, 실제온도, 체감온도, 습도, 미세먼지 농도 및 빛의 밝기 중 적어도 하나 이상의 정보를 포함하며, 사용자의 생체 신호 정보는, 사용자의 맥박, 체온, 심전도 및 혈당 중 적어도 하나 이상의 정보를 포함할 수 있다. 이하에서는, 사용자 감정 분석부(130)에서, 카메라부(110)를 통해 인식된 사용자의 얼굴 정보, 서비스 제공 서버(200)로부터 전달된 날씨를 포함한 외부 환경 정보, 및 웨어러블 디바이스(300)로부터 전달된 사용자의 생체 신호 정보를 바탕으로 사용자의 감정을 분석 및 범주화하는 것에 대해 설명하기로 한다.
The user's emotion analyzing unit 130 analyzes the face information of the user recognized through the camera unit 110, the external environment information including the weather transmitted from the service providing server 200, and the user information transmitted from the wearable device 300 And analyzes and categorizes the user's emotions based on the bio-signal information. Here, the external environment information transmitted from the service providing server 200 includes at least one of actual temperature, bodily sensation temperature, humidity, fine dust concentration, and brightness of light, and the user's bio- , Body temperature, electrocardiogram, and blood sugar. Hereinafter, the user's emotion analyzing unit 130 may determine whether or not the face information of the user recognized through the camera unit 110, the external environment information including the weather transmitted from the service providing server 200, And analyzing and categorizing the emotion of the user based on the bio-signal information of the user.

도 3은 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에서, 사용자의 눈의 크기가 변화된 것을 도시한 도면이다. 사용자 감정 분석부(130)는, 카메라부(110)를 통해 인식된 사용자의 얼굴 정보를 이용하여 사용자의 감정을 유추할 수 있는데, 도 3에 도시된 바와 같이, 사용자의 눈의 크기 변화 정보를 이용하여 사용자의 기쁨, 슬픔, 놀람, 흥미 등의 감정을 유추할 수 있다. 뿐만 아니라, 사용자 감정 분석부(130)에서는, 카메라부(110)를 통해 인식된 사용자의 눈의 크기 변화 이외에도 눈썹간의 간격 변화, 미간의 형상 변화, 입의 크기 변화, 입의 형상 변화 및 사용자의 혈색 변화 등의 정보를 이용하여, 사용자의 기쁨, 놀람, 슬픔, 분노, 흥미, 스트레스 받음, 공포, 지루함, 쾌적함, 불쾌함, 초초함 및 중립 등의 감정을 유추할 수 있다.
FIG. 3 is a diagram illustrating a change in the size of a user's eye in a system for providing customized therapies according to a user's emotions using a smart mirror according to an embodiment of the present invention. The user's emotion analyzing unit 130 can infer the user's emotion using the face information of the user recognized through the camera unit 110. As shown in FIG. 3, It is possible to infer emotions such as user's joy, sadness, surprise, and interest. In addition, the user's emotional analysis unit 130 may be configured to determine a user's emotional state such as a change in eyebrow interval, a change in eye shape, a change in mouth size, a change in mouth shape, It is possible to infer emotions such as joy, surprise, sadness, anger, interest, stress, fear, boredom, comfort, nausea, vomit and neutrality by using information such as color change.

더 나아가, 사용자 감정 분석부(130)에서는, 서비스 제공 서버(200)로부터 전달되는 실제온도, 체감온도, 습도, 미세먼지 농도 및 빛의 밝기, 국가 주요 이벤트 및 뉴스 등의 외부 환경 정보와 웨어러블 디바이스(300)로부터 전달되는 사용자의 맥박, 체온, 심전도 및 혈당 등을 포함한 사용자의 생체 신호 정보를 이용하여 사용자의 감정을 예측할 수 있다. 예를 들어, 사용자 감정 분석부(130)는, 실제 온도, 체감 온도 및 습도가 높은 경우에는, 사용자의 감정이 불쾌하거나 짜증날 것이라고 예측할 수 있으며, 사용자의 맥박이 빨리 뛰는 경우에는 사용자가 긴장을 하고 있거나 불안감을 느끼고 있다고 예측할 수 있다.
Furthermore, the user's emotion analyzing unit 130 analyzes the external environmental information, such as actual temperature, bodily sensation temperature, humidity, fine dust concentration and brightness of light delivered from the service providing server 200, The user's emotions can be predicted using the user's bio-signal information including the user's pulse, body temperature, electrocardiogram, blood glucose, etc. transmitted from the user 300. For example, when the actual temperature, the bodily sensation temperature, and the humidity are high, the user's emotion analysis unit 130 can predict that the user's feelings will be uncomfortable or annoying. If the user's pulse is fast, Or feel anxiety.

이처럼, 카메라부(110)를 통해 인식된 사용자의 얼굴 정보를 바탕으로 사용자의 감정을 유추할 수 있고, 서비스 제공 서버(200)로부터 전달되는 외부 환경 정보 및 웨어러블 디바이스(300)로부터 전달되는 사용자의 생체 신호 정보를 이용하여 사용자의 감정을 예측할 수 있는데, 사용자 감정 분석부(130)에서는 얼굴 정보를 바탕으로 유추된 사용자의 감정 정보와, 외부 환경 정보 및 사용자의 생체 신호 정보를 이용하여 예측된 사용자의 감정 정보를 모두 이용하여 보다 정확한 사용자의 감정을 도출할 수 있으며, 도출된 사용자의 감정을 기쁨, 놀람, 슬픔, 분노, 흥미, 스트레스 받음, 공포, 지루함, 쾌적함, 불쾌함, 초초함 및 중립 등의 감정으로 범주화 할 수 있다.
As described above, the emotion of the user can be inferred based on the face information of the user recognized through the camera unit 110, and the external environment information transmitted from the service providing server 200 and the external environment information transmitted from the wearable device 300 The user's emotion analyzer 130 can estimate the user's emotion using the emotion information of the user based on the face information, the external environment information, and the user's bio-signal information using the bio-signal information. It is possible to derive more accurate user's feelings by using all of the emotion information of the user and to provide the user's feelings of joy, surprise, sadness, anger, interest, stress, fear, boredom, comfort, Can be categorized into emotions.

출력부(140)는 사용자 감정 분석부(130) 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피를 출력해주는 역할을 한다. 도 4는 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에서, 스마트 미러 장치의 출력부의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 출력부(140)는, 스피커부(141), 디스플레이부(142) 및 조명부(143) 중 적어도 하나를 포함하여 구성될 수 있다.
The output unit 140 outputs the customized therapy according to the user's emotion categorized through the user's emotion analyzing unit 130. 4 is a diagram illustrating a detailed configuration of an output unit of a smart mirror device in a system for providing customized therapies according to a user's emotions using a smart mirror according to an embodiment of the present invention. 4, the output unit 140 may include at least one of a speaker unit 141, a display unit 142, and an illumination unit 143. [

스피커부(141)는 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피가 음성 및 소리 정보인 경우, 해당 음성 및 소리 정보를 출력해주는 역할을 한다. 예를 들어, 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정이 불안함 또는 초조함인 경우, 스피커부(141)에서는 마음을 차분하게 해주는 클래식 음악 등을 출력해줄 수 있다.
The speaker unit 141 outputs voice and sound information when the customized therapy according to the user's emotion categorized through the user's emotional analysis unit 130 is voice and sound information. For example, when the emotion of the user categorized through the user's emotion analyzing unit 130 is unstable or nervous, the speaker unit 141 may output classical music that calms the mind.

디스플레이부(142)는 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피가 화면 정보인 경우, 해당 화면 정보를 출력해주는 역할을 한다. 여기서, 화면 정보는, 사진, 이미지, 동영상, 문자 등의 정보를 포함할 수 있다. 도 5는 본 발명의 일실시예에 따른 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에서, 디스플레이부에 코미디 영상이 출력되고 있는 모습을 도시한 도면이다. 실시예에 따라, 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정이 지루함인 경우, 도 5에 도시된 바와 같이, 디스플레이부(142)에서 웃긴 영상, 코미디 영화 등이 출력될 수 있다. 또 다른 실시예에 따라, 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정이 답답함인 경우, 디스플레이부(142)에 ‘환기를 시키세요!’ 등의 문자가 출력될 수도 있다.
The display unit 142 outputs the corresponding screen information if the customized therapy according to the emotion of the user categorized through the user's emotional analysis unit 130 is screen information. Here, the screen information may include information such as a photograph, an image, a moving picture, and a character. FIG. 5 is a diagram illustrating a system in which a comedy image is displayed on a display unit in a system for providing customized therapies according to a user's emotions using a smart mirror according to an embodiment of the present invention. According to the embodiment, when the emotion of the user categorized through the user's emotion analyzing unit 130 is tedious, a funny image, a comedy movie, or the like may be output from the display unit 142 as shown in FIG. According to another embodiment of the present invention, when the emotion of the user categorized through the user's emotional analysis unit 130 is uncomfortable, the display unit 142 displays 'Let's Venture!' And the like may be output.

조명부(143)는 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피가 조명 정보인 경우, 해당 조명 정보를 출력해주는 역할을 한다. 실시예에 따라 조명부(143)는 LED 조명 등으로 구현될 수 있으며, 사용자의 감정에 따라 테라피에 따른 색, 조도, 깜박임 변화 등을 조절하여 출력해줄 수 있다.
The illumination unit 143 outputs the corresponding illumination information when the customized therapy according to the emotion of the user categorized through the user's emotional analysis unit 130 is illumination information. According to the embodiment, the illumination unit 143 may be implemented by an LED illumination or the like, and may adjust and output color, illuminance, flicker, and the like according to therapies according to the user's emotions.

저장부(150)는 사용자의 감정에 따라 출력부(140)를 통해 출력될 맞춤형 테라피 정보를 저장하는 역할을 한다. 즉, 저장부(150)에는 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정에 따라, 출력부(140)를 통해 출력될 음성, 화면, 조명 등을 포함한 맞춤형 테라피 정보들이 저장될 수 있다. 실시예에 따라, 저장부(150)에 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피 정보가 없는 경우, 스마트 미러 장치(100)는, 서비스 제공 서버(200)로부터 해당 맞춤형 테라피 정보를 전달받아 출력부(140)를 통해 해당 맞춤형 테라피 정보를 출력할 수 있다.
The storage unit 150 stores customized therapy information to be output through the output unit 140 according to the user's feelings. That is, customized therapy information including voice, screen, illumination, and the like to be outputted through the output unit 140 may be stored in the storage unit 150 according to the emotion of the user categorized through the user's emotional analysis unit 130 . If there is no customized therapy information according to the emotion of the user categorized through the user's emotional analysis unit 130 in the storage unit 150, the smart mirror apparatus 100 may acquire the corresponding therapy information from the service providing server 200 The customized therapy information can be received and the customized therapy information can be output through the output unit 140. [

온도 센서(160)는 실내의 온도, 습도 센서(170)는 실내의 습도, 먼지 센서(180)는 실내의 먼지 농도, 공기질 센서(190)는 실내의 공기질, 조도 센서(192)는 실내의 조도, 마이크(194)는 실내 및 사용자의 음성 정보를 측정하는 역할을 한다. 이렇게 온도 센서(160), 습도 센서(170), 먼지 센서(180), 공기질 센서(190), 조도 센서(192) 및 마이크(194)를 통해 측정된 실내의 온도, 습도, 먼지, 공기질, 조도, 실내 및 사용자의 음성 정보는 사용자 감정 분석부(130)에서 사용자의 감정을 분석 및 범주화하는데 이용될 수 있다.
The humidity sensor 170 measures the humidity of the room, the dust sensor 180 measures the dust concentration of the room, the air quality sensor 190 measures the air quality of the room, the illuminance sensor 192 measures the illuminance And the microphone 194 serves to measure the voice information of the room and the user. The temperature, humidity, dust, air quality, roughness, and the like of the room measured through the temperature sensor 160, the humidity sensor 170, the dust sensor 180, the air quality sensor 190, the illuminance sensor 192 and the microphone 194 And the user's voice information can be used to analyze and categorize the user's emotions in the user's emotional analysis unit 130. [

서비스 제공 서버(200)는 스마트 장치(100)에 날씨 정보를 포함한 외부 환경 정보를 전달하는 역할을 한다. 실시예에 따라, 스마트 미러 장치(100)의 저장부(150)에 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피 정보가 없는 경우, 해당 맞춤형 테라피 정보를 스마트 미러 장치(100)에 제공해줄 수 있다.
The service providing server 200 serves to transmit external environment information including weather information to the smart device 100. If there is no customized therapy information according to the user's emotion categorized through the user's emotion analyzer 130 in the storage unit 150 of the smart mirror device 100 according to the embodiment, 100).

웨어러블 디바이스(300)는 사용자의 신체에 착용되어 사용자의 생체 신호를 측정하며, 측정된 사용자의 생체 신호 정보를 스마트 미러 장치(100)에 전달하는 역할을 한다. 실시예에 따라, 웨어러블 디바이스(300)는 스마트 워치, 스마트 의류 및 스마트 글라스 등일 수 있다. 다만, 본 발명의 웨어러블 디바이스(300)는 나열한 바와 같은 디바이스의 형태에 한정되는 것은 아니며, 사용자의 신체에 착용되어 사용자의 생체 신호를 측정하며, 측정된 사용자의 생체 신호 정보를 스마트 미러 장치(100)에 전달하는 역할을 수행할 수 있다면, 구체적인 디바이스의 형태에 관계없이 본 발명의 웨어러블 디바이스(300)의 역할을 얼마든지 할 수 있다.
The wearable device 300 wears on the wearer's body to measure the user's bio-signal and transmits the bio-signal information of the measured user to the smart mirror device 100. According to an embodiment, the wearable device 300 may be a smart watch, a smart garment, a smart glass, or the like. However, the wearable device 300 of the present invention is not limited to the above-described devices, but may be configured to measure the user's vital signs by being worn on the user's body and to transmit the measured vital sign information of the user to the smart mirror device 100 , The wearable device 300 of the present invention can play a role regardless of the specific device type.

이상 설명한 바와 같이, 본 발명에서 제안하고 있는 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템에 따르면, 스마트 미러 장치에서, 카메라를 통해 인식된 사용자의 얼굴 정보, 서비스 제공 서버로부터 전달된 외부 환경 정보, 및 웨어러블 디바이스로부터 전달된 사용자의 생체 신호 정보를 바탕으로, 사용자의 감정을 분석 및 범주화하고, 범주화된 사용자의 감정에 따라 맞춤형 테라피를 출력해줌으로써, 기존의 스마트 미러에서 날씨, 주요 뉴스 등을 포함한 일반적인 정보를 일방적으로 제공하는데 그치지 않고, 사용자의 감정을 고려하여 그에 적합한 맞춤형 테라피를 제공할 수 있다.
As described above, according to the system for providing the customized therapy according to the user's emotions using the smart mirror proposed in the present invention, in the smart mirror device, the face information of the user recognized through the camera, Based on the user's biometric signal information transmitted from the wearable device and analyzing and classifying the user's feelings and outputting customized therapies according to the categorized user's feelings, It is possible to provide customized therapies in consideration of the user's feelings, rather than providing general information including major news in a one-sided manner.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics and scope of the invention.

100: 스마트 미러 장치 110: 카메라부
120: 통신부 130: 사용자 감정 분석부
140: 출력부 141: 스피커부
142: 디스플레이부 143: 조명부
150: 저장부 160: 온도 센서
170: 습도 센서 180: 먼지 센서
190: 공기질 센서 192: 조도 센서
194: 마이크 200: 서비스 제공 서버
300: 웨어러블 디바이스100: smart mirror device 110: camera part
120: communication unit 130: user emotion analysis unit
140: output unit 141: speaker unit
142: display part 143: illuminating part
150: storage unit 160: temperature sensor
170: Humidity sensor 180: Dust sensor
190: air quality sensor 192: illuminance sensor
194: Microphone 200: Service providing server
300: wearable device

Claims (8)

사용자의 얼굴을 인식하여 상기 사용자의 얼굴 정보를 수집하는 스마트 미러 장치(100);
상기 스마트 미러 장치(100)에 날씨 정보를 포함한 외부 환경 정보를 전달하는 서비스 제공 서버(200); 및
상기 사용자의 신체에 착용되어 상기 사용자의 생체 신호를 측정하며, 상기 측정된 사용자의 생체 신호 정보를 상기 스마트 미러 장치(100)에 전달하는 웨어러블 디바이스(300)를 포함하되,
상기 스마트 미러 장치(100)는,
상기 인식된 사용자의 얼굴 정보, 상기 서비스 제공 서버(200)로부터 전달된 외부 환경 정보, 및 상기 웨어러블 디바이스(300)로부터 전달된 사용자의 생체 신호 정보를 바탕으로, 상기 사용자의 감정을 분석 및 범주화하고, 상기 범주화된 사용자의 감정에 따라 맞춤형 테라피를 제공하는 것을 특징으로 하는, 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템.
A smart mirror device 100 for recognizing a face of a user and collecting face information of the user;
A service providing server 200 for transmitting external environment information including weather information to the smart mirror device 100; And
And a wearable device (300) for measuring the user's bio-signal wearing on the body of the user and delivering the measured user's bio-signal information to the smart mirror device (100)
The smart mirror device (100)
The emotion of the user is analyzed and categorized based on the recognized face information of the user, the external environment information transmitted from the service providing server 200, and the user's bio-signal information transmitted from the wearable device 300 And providing a customized therapy according to an emotion of the categorized user, wherein the customized therapy is provided according to a feeling of a user using a smart mirror.
제1항에 있어서, 상기 스마트 미러 장치(100)는,
상기 사용자의 얼굴을 인식하며, 상기 인식된 사용자의 얼굴 정보를 수집하는 카메라부(110);
상기 서비스 제공 서버(300)와 데이터를 송수신하는 통신부(120);
상기 인식된 사용자의 얼굴 정보, 상기 서비스 제공 서버(200)로부터 전달된 외부 환경 정보, 및 상기 웨어러블 디바이스(300)로부터 전달된 사용자의 생체 신호 정보를 바탕으로, 상기 사용자의 감정을 분석 및 범주화하는 사용자 감정 분석부(130);
상기 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피를 출력해주는 출력부(140); 및
상기 사용자의 감정에 따라 상기 출력부(140)를 통해 출력될 맞춤형 테라피 정보를 저장하는 저장부(150)를 포함하는 것을 특징으로 하는, 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템.
The smart mirror device (100) according to claim 1, wherein the smart mirror device (100)
A camera unit 110 for recognizing the face of the user and collecting the recognized face information of the user;
A communication unit 120 for transmitting and receiving data to and from the service providing server 300;
The emotion of the user is analyzed and categorized based on the recognized face information of the user, the external environment information transmitted from the service providing server 200, and the user's bio-signal information transmitted from the wearable device 300 A user emotion analyzing unit 130;
An output unit 140 for outputting customized therapies according to the user's emotions categorized through the user's emotional analysis unit 130; And
And a storage unit (150) for storing customized therapy information to be output through the output unit (140) according to an emotion of the user. The personalized therapy according to the emotion of a user is provided using a smart mirror system.
제1항에 있어서, 상기 출력부(140)는,
상기 맞춤형 테라피가 음성 및 소리 정보인 경우, 상기 음성 및 소리 정보를 출력해주는 스피커부(141);
상기 맞춤형 테라피가 화면 정보인 경우, 상기 화면 정보를 출력해주는 디스플레이부(142); 및
상기 맞춤형 테라피가 조명 정보인 경우, 상기 조명 정보를 출력해주는 조명부(143) 중 적어도 하나를 포함하는 것을 특징으로 하는, 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템.
The apparatus of claim 1, wherein the output unit (140)
A speaker unit (141) for outputting the voice and sound information when the personalized therapy is voice and sound information;
A display unit 142 for outputting the screen information when the customized therapy is screen information; And
And a lighting unit (143) for outputting the illumination information when the customized therapy is illumination information. The system of claim 1, wherein the customized therapy is provided by a smart mirror.
제2항에 있어서, 상기 스마트 미러 장치(100)는,
상기 저장부(150)에 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정에 따른 맞춤형 테라피 정보가 없는 경우,
상기 서비스 제공 서버(200)로부터 상기 맞춤형 테라피 정보를 전달받아 상기 출력부(140)를 통해 상기 맞춤형 테라피 정보를 출력하는 것을 특징으로 하는, 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템.
The smart mirror device (100) according to claim 2, wherein the smart mirror device (100)
If there is no customized therapy information according to the user's emotion categorized through the user's emotional analysis unit 130 in the storage unit 150,
The customized therapy information is received from the service providing server 200 and the customized therapy information is output through the output unit 140. The customized therapy information may be provided using a smart mirror, system.
제1항에 있어서, 상기 스마트 미러 장치(100)는,
상기 실내의 온도를 측정하는 온도 센서(160);
상기 실내의 습도를 측정하는 습도 센서(170);
상기 실내의 먼지 농도를 측정하는 먼지 센서(180);
상기 실내의 공기질을 측정하는 공기질 센서(190);
상기 실내의 조도를 측정하는 조도 센서(192); 및
상기 실내 및 사용자의 음성 정보를 수집하는 마이크(194) 중 적어도 하나를 더 포함하며,
상기 온도 센서(160), 상기 습도 센서(170), 상기 먼지 센서(180), 상기 공기질 센서(190), 상기 조도 센서(192) 및 상기 마이크(194)를 통해 측정된 실내의 온도, 습도, 먼지, 공기질, 조도, 실내 및 사용자의 음성 정보를 사용자의 감정을 분석 및 범주화하는데 이용하는 것을 특징으로 하는, 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템.
The smart mirror device (100) according to claim 1, wherein the smart mirror device (100)
A temperature sensor 160 for measuring the temperature of the room;
A humidity sensor 170 for measuring the humidity of the room;
A dust sensor 180 for measuring the concentration of dust in the room;
An air quality sensor 190 for measuring the air quality of the room;
An illuminance sensor 192 for measuring the illuminance of the room; And
And a microphone (194) for collecting the indoor and user voice information,
The temperature, humidity, and humidity of the room measured through the temperature sensor 160, the humidity sensor 170, the dust sensor 180, the air quality sensor 190, the illuminance sensor 192 and the microphone 194, Wherein the system is used for analyzing and categorizing emotions of a user, such as dust, air quality, illuminance, indoor and user voice information, using a smart mirror.
제2항에 있어서, 상기 카메라부(110)를 통해 인식된 사용자의 얼굴 정보는,
상기 사용자의 눈의 크기 변화, 눈썹간의 간격 변화, 미간의 형상 변화, 입의 크기 변화, 입의 형상 변화 및 사용자의 혈색 변화 정보 중 적어도 어느 하나의 정보를 포함하는 것을 특징으로 하는, 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템.
3. The method according to claim 2, wherein the face information of the user recognized through the camera unit (110)
Wherein the smart mirror includes at least one of a size change of the eye of the user, a change in the interval between eyebrows, a change in shape of the tail, a change in mouth size, a change in mouth shape, To provide customized therapies according to the user's feelings.
제2항에 있어서, 상기 사용자 감정 분석부(130)를 통해 범주화된 사용자의 감정은,
기쁨, 놀람, 슬픔, 분노, 흥미, 스트레스 받음, 공포, 지루함, 쾌적함, 불쾌함, 초초함, 답답함, 및 중립 중 적어도 어느 하나인 것을 특징으로 하는, 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템.
The method according to claim 2, wherein the emotion of the user categorized through the user emotion analyzer (130)
The method of claim 1, wherein the smart mirror is at least one of joy, surprise, sadness, anger, interest, stress, fear, boredom, comfort, nausea, / RTI >
제1항에 있어서, 상기 스마트 미러 장치(100)는,
상기 사용자의 감정에 따른 맞춤형 테라피 정보를 업데이트할 수 있는 것을 특징으로 하는, 스마트 미러를 이용하여 사용자의 감정에 따른 맞춤형 테라피를 제공하는 시스템.The smart mirror device (100) according to claim 1, wherein the smart mirror device (100)
Wherein the customized therapy information can be updated according to the user's feelings, using the smart mirror.
KR1020160123100A 2016-09-26 2016-09-26 System of providing optimal therapy to user based on user's emotion by using smart mirror KR20180033754A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160123100A KR20180033754A (en) 2016-09-26 2016-09-26 System of providing optimal therapy to user based on user's emotion by using smart mirror

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160123100A KR20180033754A (en) 2016-09-26 2016-09-26 System of providing optimal therapy to user based on user's emotion by using smart mirror

Publications (1)

Publication Number Publication Date
KR20180033754A true KR20180033754A (en) 2018-04-04

Family

ID=61975784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160123100A KR20180033754A (en) 2016-09-26 2016-09-26 System of providing optimal therapy to user based on user's emotion by using smart mirror

Country Status (1)

Country Link
KR (1) KR20180033754A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102263154B1 (en) * 2020-06-16 2021-06-10 (주)프로맥스 Smart mirror system and realization method for training facial sensibility expression

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102263154B1 (en) * 2020-06-16 2021-06-10 (주)프로맥스 Smart mirror system and realization method for training facial sensibility expression

Similar Documents

Publication Publication Date Title
KR102354428B1 (en) Wearable apparatus and methods for analyzing images
Kawsar et al. Earables for personal-scale behavior analytics
Amft et al. Making regular eyeglasses smart
JP2021051308A (en) Improved optical and perceptual digital eyewear
US10432841B2 (en) Wearable apparatus and method for selectively categorizing information derived from images
CN106255866B (en) Communication system, control method and storage medium
US20180032126A1 (en) Method and system for measuring emotional state
JP6416942B2 (en) Data tagging
CN110996796B (en) Information processing apparatus, method, and program
JP2015043148A (en) Action support apparatus, action support method, program, and storage medium
KR20150047158A (en) System for Managing Stress and Method thereof
CN101286196A (en) Image storage processing apparatus and method, image search apparatus, and image search method and program
US20200302952A1 (en) System for assessing vocal presentation
CN110520041B (en) Brain wave data analysis system, information processing terminal, electronic device, and information presentation method for cognitive disorder examination
KR20150110299A (en) Wearable device and operating method thereof
CN106444084A (en) Novel intelligent eyeglasses
KR20180033754A (en) System of providing optimal therapy to user based on user's emotion by using smart mirror
CN206381163U (en) Instant eye monitoring glasses
CN213092014U (en) Intelligent glasses and intelligent glasses system
Amft Smart eyeglasses, e-textiles, and the future of wearable computing
Andrushevich et al. Open smart glasses development platform for AAL applications
Wahl Methods for monitoring the human circadian rhythm in free-living
JP7265856B2 (en) eyewear
US11854575B1 (en) System for presentation of sentiment data
CN117174086A (en) Voice processing method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application