KR20220122870A - Smart mirror - Google Patents

Smart mirror Download PDF

Info

Publication number
KR20220122870A
KR20220122870A KR1020210026579A KR20210026579A KR20220122870A KR 20220122870 A KR20220122870 A KR 20220122870A KR 1020210026579 A KR1020210026579 A KR 1020210026579A KR 20210026579 A KR20210026579 A KR 20210026579A KR 20220122870 A KR20220122870 A KR 20220122870A
Authority
KR
South Korea
Prior art keywords
module
user
emotional state
data
smart mirror
Prior art date
Application number
KR1020210026579A
Other languages
Korean (ko)
Other versions
KR102513289B1 (en
Inventor
강희영
신인희
송우섭
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020210026579A priority Critical patent/KR102513289B1/en
Publication of KR20220122870A publication Critical patent/KR20220122870A/en
Application granted granted Critical
Publication of KR102513289B1 publication Critical patent/KR102513289B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N5/0613—Apparatus adapted for a specific treatment
    • A61N5/0616—Skin treatment other than tanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N5/0613—Apparatus adapted for a specific treatment
    • A61N5/0618—Psychological treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0016—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the smell sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/05—General characteristics of the apparatus combined with other kinds of therapy
    • A61M2205/051—General characteristics of the apparatus combined with other kinds of therapy with radiation therapy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N2005/0626—Monitoring, verifying, controlling systems and methods

Abstract

The present invention relates to a smart mirror, and more specifically to the smart mirror which analyzes a voice of a user and a facial expression of the user reflected in the smart mirror to identify an emotional state of the user, and tries and induces conversations suitable for emotions of the user, thereby providing emotion-customized therapy. The smart mirror according to the present invention can identify the emotional state of the user, and try and induce conversations suitable for emotions of the user to maintain and change the emotions of the user in a good direction. Accordingly, the smart mirror can be used as a new type of depression monitoring and treatment technology and psychotherapy can be easily performed in everyday life. In addition, the smart mirror of the present invention can improve user convenience by providing various customized therapies suitable for the emotions of the user, rather than just providing general information one-way. According to the present invention, the smart mirror may comprise a main body, a voice data collecting module, a voice feature extracting module, a camera module, an expression feature extracting module, a body temperature measuring module, an environmental data collecting module, an emotional state analyzing module, a conversation data extracting module, a light irradiation module, and a control module.

Description

스마트 미러{Smart mirror}Smart mirror

본 발명은 스마트 미러에 관한 것으로서, 더욱 상세하게는 사용자의 목소리와 스마트 미러에 비치는 사용자의 얼굴 표정을 분석하여 사용자의 감정상태를 파악하고, 사용자의 감정에 적합한 대화를 시도 및 유도하며, 감정 맞춤형 테라피를 제공할 수 있는 스마트 미러에 관한 것이다.The present invention relates to a smart mirror, and more particularly, analyzes the user's voice and the user's facial expression reflected on the smart mirror to understand the user's emotional state, try and induce a conversation suitable for the user's emotion, and customize the emotion It relates to a smart mirror that can provide therapy.

최근 스마트 미러에 대한 연구가 활발히 진행되고 있으며, 스마트 미러에 대한 사람들의 관심도 증가하고 있다. Recently, research on smart mirrors has been actively conducted, and people's interest in smart mirrors is also increasing.

스마트 미러란, 거울이 빛의 반사를 이용하여 물체의 모양을 비추는 거울 고유의 기능을 수행할 뿐만 아니라, 인터넷과 연결되어 날씨, 달력 및 주요 뉴스 등의 다양한 정보를 출력해주는 기능을 수행할 수 있는 거울이다. A smart mirror is a mirror that not only performs the unique function of a mirror that reflects the shape of an object using light reflection, but also connects to the Internet and outputs various information such as weather, calendar, and major news. it's a mirror

이러한 스마트 미러를 이용하면, 스마트 미러에서 아침마다 그날의 날씨, 주요 뉴스 등을 출력해주기 때문에, 화장실에서 세안을 하거나, 화장대에서 화장을 하면서 스마트 미러를 통해 제공되는 정보를 확인할 수 있으므로, 날씨 등을 확인하기 위해 사용자가 스마트폰을 직접 확인해야하는 번거로움을 줄일 수 있다.With such a smart mirror, the smart mirror outputs the weather and major news every morning, so you can check the information provided through the smart mirror while washing your face in the bathroom or putting on makeup on the dressing table, so you can check the weather, etc. It can reduce the hassle of having to manually check the smartphone for the user to confirm.

하지만, 지금까지 사용되고 있는 스마트 미러는 그날의 날씨, 주요 뉴스 등의 일반적인 정보를 일방적으로 제공하는데 그치고 있을 뿐, 사용자의 감정을 고려하여, 사용자의 감정에 따라 그에 적합한 맞춤형 정보를 제공하지는 못하고 있다.However, the smart mirrors used so far only unilaterally provide general information such as the day's weather and major news, and are unable to provide customized information suitable for the user's emotions in consideration of the user's emotions.

대한민국 등록특허 10-1849955Republic of Korea Patent 10-1849955 대한민국 등록특허 10-1494301Republic of Korea Patent Registration 10-1494301

본 발명은 상기와 같은 종래의 문제를 해결하기 위한 것으로서, 사용자의 목소리와 스마트 미러에 비치는 사용자의 얼굴 표정을 분석하여 사용자의 감정상태를 파악하고, 사용자의 감정에 적합한 대화를 시도 및 유도하 여 사용자의 감정을 좋은 방향으로 유지 및 변화시킬 수 있는 스마트 미러를 제공하는데 그 목적이 있다.The present invention is to solve the conventional problem as described above, by analyzing the user's voice and the user's facial expression reflected in the smart mirror to understand the user's emotional state, and to try and induce a conversation suitable for the user's emotion. The purpose is to provide a smart mirror that can maintain and change the user's emotions in a good way.

또한 본 발명은 일반적인 정보를 일방적으로 제공하는데 그치지 않고, 사용자의 감정을 고려하여 그에 적합한 맞춤형 테라피를 제공할 수 있는 스마트 미러를 제공하는데 그 목적이 있다.In addition, an object of the present invention is to provide a smart mirror capable of providing customized therapy suitable for the user's emotions in consideration of not only providing general information unilaterally, but also.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 스마트 미러는 미러와, 디스플레이를 포함하는 본체; 상기 본체 주변에서 발생하는 사용자의 음성데이터를 수집하는 음성데이터수집모듈; 상기 음성데이터수집모듈에 수집된 상기 음성데이터를 분석하여 상기 음성데이터의 특징을 추출하는 음성특징추출모듈; 가시광 내지 근적외선 대역에서 사용자의 이미지 또는 영상을 촬영하는 카메라모듈; 상기 카메라모듈에서 촬영된 사용자의 이미지 또는 영상을 분석하여 이미지 또는 영상 내의 사용자의 표정에 대한 표정특징데이터를 추출하는 표정특징추출모듈; 상기 카메라모듈에서 촬영된 사용자의 이미지 또는 영상을 분석하여 사용자의 체온데이터를 생성하는 체온측정모듈; 사용자 주변의 환경데이터를 수집하는 환경데이터수집모듈; 상기 음성특징추출모듈에서 추출된 음성특징데이터, 상기 표정특징추출모듈에서 추출된 상기 표정특징데이터, 상기 체온데이터, 상기 환경데이터를 각각 입력데이터로 하는 기계학습을 수행하여 사용자의 감정상태를 판단하는 감정상태분석모듈; 상기 감정상태분석모듈에서 판단된 사용자의 감정상태를 기반으로 사용자와 공감 가능한 대화데이터를 추출하는 대화데이터추출모듈; 상기 본체에 구비되어 사용자를 향해 빛을 조사하는 광조사모듈; 상기 대화데이터를 재생모듈을 통해 출력되게 제어하고, 사용자의 감정상태에 따라 상기 광조사모듈을 서로 다른 모드로 작동되게 제어하는 제어모듈;을 구비하는 것을 특징으로 한다.Smart mirror according to the present invention for achieving the above object is a mirror and a body including a display; a voice data collection module for collecting the user's voice data generated around the main body; a voice feature extraction module that analyzes the voice data collected by the voice data collection module and extracts features of the voice data; a camera module for capturing an image or video of a user in a visible to near-infrared band; an expression feature extracting module that analyzes the user's image or image captured by the camera module and extracts expression feature data for the user's expression in the image or video; a body temperature measurement module for generating body temperature data of the user by analyzing the user's image or image captured by the camera module; an environmental data collection module for collecting environmental data around the user; To determine the emotional state of the user by performing machine learning using the voice feature data extracted from the voice feature extraction module, the facial feature data extracted from the facial feature feature extraction module, the body temperature data, and the environment data as input data, respectively emotional state analysis module; a dialogue data extraction module for extracting dialogue data that can sympathize with the user based on the emotional state of the user determined by the emotional state analysis module; a light irradiation module provided in the body to irradiate light toward the user; and a control module for controlling the dialogue data to be output through the reproduction module, and controlling the light irradiation module to operate in different modes according to the user's emotional state.

사용자의 과거 또는 현재의 실제감정상태를 사용자가 직접 입력할 수 있는 감정상태 직접입력모듈;을 더 구비하고, 상기 감정상태분석모듈은 상기 감정상태 직접입력모듈을 통해 입력되는 사용자의 과거 또는 현재의 실제감정데이터를 입력데이터로 하는 기계학습을 수행하여 사용자의 감정상태를 판정하는 것을 특징으로 한다.Further comprising; an emotional state direct input module capable of directly inputting the user's past or present actual emotional state by the user, wherein the emotional state analysis module includes: the user's past or present input through the emotional state direct input module; It is characterized in that the user's emotional state is determined by performing machine learning using actual emotional data as input data.

상기 카메라모듈에서 촬영된 이미지 또는 영상으로부터 사용자의 피부상태를 분석하는 피부상태분석모듈;을 더 구비하고, 상기 제어부는 상기 피부상태분석모듈에서 분석된 피부상태에 따라 상기 광조사모듈을 서로 다른 모드로 작동되게 제어하는 것을 특징으로 한다.A skin condition analysis module for analyzing the skin condition of the user from the image or image captured by the camera module; further comprising, wherein the control unit sets the light irradiation module to different modes according to the skin condition analyzed by the skin condition analysis module It is characterized in that it is controlled to operate with

상기 감정상태분석모듈에서 판정된 감정상태에 따라 미리 설정된 향기를 방출하는 향발생모듈을 더 구비하는 것을 특징으로 한다.It is characterized in that it further comprises a fragrance generating module for emitting a preset fragrance according to the emotional state determined by the emotional state analysis module.

상기 제어모듈은 상기 감정상태분석모듈에서 판정된 감정상태에 따라 미리 설정된 장르의 음악을 재생하도록 상기 재생모듈의 동작을 제어하는 것을 특징으로 한다.The control module may control the operation of the reproducing module to reproduce music of a preset genre according to the emotional state determined by the emotional state analysis module.

본 발명에 따른 스마트 미러는 사용자의 감정상태를 파악하고, 사용자의 감정에 적합한 대화를 시도 및 유도하여 사용자의 감정을 좋은 방향으로 유지 및 변화시킬 수 있어 새로운 방식의 우울증 모니터링 및 치료 기술로 활용할 수 있을 뿐만 아니라, 일상생활에서도 손쉽게 심리치료를 할 수 있는 장점이 있다.The smart mirror according to the present invention can be used as a new type of depression monitoring and treatment technology because it can grasp the user's emotional state, and try and induce a conversation suitable for the user's emotions, thereby maintaining and changing the user's emotions in a good direction. Not only that, it has the advantage of being able to easily perform psychological treatment in everyday life.

또한 본 발명은 일반적인 정보를 일방적으로 제공하는데 그치지 않고, 사용자의 감정에 적합한 다양항 맞춤형 테라피를 제공함으로써 사용자 편의성을 향상시킬 수 있다.In addition, the present invention can improve user convenience by not only providing general information unilaterally, but also providing a variety of customized therapies suitable for the user's emotions.

도 1은 본 발명에 따른 스마트 미러의 사시도.
도 2는 본 발명에 따른 스마트 미러의 제어계통을 나타낸 블록도.1 is a perspective view of a smart mirror according to the present invention.
2 is a block diagram showing a control system of a smart mirror according to the present invention.

이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시 예에 따른 스마트 미러에 대하여 상세하게 설명한다. Hereinafter, a smart mirror according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1 및 도 2에는 본 발명에 따른 스마트 미러(1)가 도시되어 있다. 도 1 및 도 2를 참조하면, 본 발명에 따른 스마트 미러(1)는 본체와, 음성데이터수집모듈(10)과, 음성특징추출모듈(20)과, 카메라모듈(30)과, 표정특징추출모듈(40)과, 체온측정모듈과, 환경데이터수집모듈(50)과, 감정상태분석모듈(80)과, 대화데이터추출모듈(110)과, 광조사모듈(130)과, 제어모듈(90)을 구비한다. 1 and 2 show a smart mirror 1 according to the present invention. 1 and 2, the smart mirror 1 according to the present invention has a main body, a voice data collection module 10, a voice feature extraction module 20, a camera module 30, and a facial feature extraction Module 40, body temperature measurement module, environmental data collection module 50, emotional state analysis module 80, dialogue data extraction module 110, light irradiation module 130, control module 90 ) is provided.

본 발명에 따른 스마트 미러(1)의 본체는 디스플레이(100)가 미러 후방 배치되어 평상시에는 거울로 보이지만, 디스플레이(100)에 텍스트 또는 이미지 또는 영상을 포함하는 컨텐츠가 출력되는 경우에만 컨텐츠가 미러를 통과하여 그 컨텐츠를 사용자가 확인할 수 있도록 구현된 것을 적용하였다. In the main body of the smart mirror 1 according to the present invention, the display 100 is disposed behind the mirror and normally looks like a mirror. The implementation was applied so that the user could check the contents by passing it.

미러는 디스플레이(100)의 전면에 위치하며, 디스플레이(100)와 밀착되어 배치될 수도 있으나, 디스플레이(100)의 사이에 투사공간이 형성되도록 일정 간격 이격되어 배치될 수도 있다. 미러의 경우 일반적인 거울과 유사하게 소정의 위치에 위치한 사용자를 비춰 표시할 수 있음은 물론이고 동시에 후방에 배치된 디스플레이(100)에서 표시중인 컨텐츠가 미러를 투과하여 표시됨으로써, 사용자가 자신의 모습과 컨텐츠를 동시에 확인할 수 있다.The mirror is located in front of the display 100 and may be disposed in close contact with the display 100 , or may be disposed spaced apart from each other by a predetermined interval to form a projection space between the displays 100 . In the case of a mirror, similar to a general mirror, it is possible to reflect and display a user located at a predetermined position, and at the same time, the content being displayed on the display 100 disposed at the rear is displayed through the mirror, so that the user can see his/her appearance and You can check the contents at the same time.

이러한 미러와 디스플레이(100)는 베젤 등의 하우징에 의해 둘러싸여 고정되며, 이때 하우징은 금속이나 합성수지, 목재 등 충분한 내구성 및 지지력을 갖는 소재로 형성되는 것이 바람직하다The mirror and the display 100 are surrounded and fixed by a housing such as a bezel, and in this case, the housing is preferably formed of a material having sufficient durability and support, such as metal, synthetic resin, or wood.

음성데이터수집모듈(10)은 본체에 설치되어 있으며, 본체 주변에서 발생하는 사용자의 음성데이터를 수집한다. 음성데이터수집모듈(10)은 거울의 전방 측에서 발생하는 음성을 집중적으로 수집할 있도록 지향성 마이크로폰을 적용하는 것이 바람직하다.The voice data collection module 10 is installed in the main body, and collects the user's voice data generated around the main body. It is preferable that the voice data collection module 10 applies a directional microphone to intensively collect the voice generated from the front side of the mirror.

음성특징추출모듈(20)은 음성데이터수집모듈(10)에 수집된 음성데이터를 분석하여 음성데이터의 특징을 추출한다.The voice feature extraction module 20 analyzes the voice data collected by the voice data collection module 10 to extract features of the voice data.

음성특징추출모듈(20)은 수집된 음성데이터의 진폭, 길이 및 패턴을 통해 음성의 특징을 추출할 수 있다. The voice feature extraction module 20 may extract voice features through the amplitude, length, and pattern of the collected voice data.

또한, 음성특징추출모듈(20)은 음성데이터에 긍정을 나타내는 단어 또는 부정을 나타내는 단어가 포함되는 경우, 이를 인지하여 특징데이터로 추출할 수 있다. In addition, when the voice data includes a word indicating positive or negative, the voice feature extraction module 20 may recognize it and extract it as feature data.

또한, 음성특징추출모듈(20)은 음성데이터의 특징 벡터를 추출할 수 있다. 특징벡터를 추출하는 단계는, 오토 엔코더(Auto-encoder) 및 MFCC(Mel Frequency Cepstral Coefficient) 중 어느 하나를 이용할 수 있다.Also, the voice feature extraction module 20 may extract a feature vector of voice data. In the step of extracting the feature vector, any one of an auto-encoder and a Mel Frequency Cepstral Coefficient (MFCC) may be used.

카메라모듈(30)은 제1촬영부와 제2촬영부 및 체온측정모듈을 구비하며, 제1촬영부는 가시광 대역의 이미지나 영상을 촬영하고, 제2촬영부는 근적외선 대역의 이미지나 영상을 촬영하는 것을 적용한다. 체온측정모듈은 제2촬영부에서 촬영된 사용자의 적외선 이미지 또는 영상을 분석하여 사용자의 체온데이터를 생성하고, 생성된 체온데이터를 후술하는 감정상태분석모듈(80) 및 제어부에 실시간 전송한다.The camera module 30 includes a first photographing unit, a second photographing unit, and a body temperature measuring module, the first photographing unit photographing an image or image in the visible light band, and the second photographing unit photographing an image or image in the near-infrared band apply that The body temperature measurement module analyzes the user's infrared image or image captured by the second photographing unit to generate the user's body temperature data, and transmits the generated body temperature data to the emotional state analysis module 80 and the control unit to be described later in real time.

표정특징추출모듈(40)은 카메라모듈(30)에서 촬영된 사용자의 이미지 또는 영상을 분석하여 이미지 또는 영상 내의 사용자의 표정에 대한 표정특징데이터를 추출한다.The facial expression feature extraction module 40 analyzes the user's image or image captured by the camera module 30 to extract facial expression feature data for the user's facial expression in the image or video.

환경데이터수집모듈(50)은 사용자 주변의 환경데이터를 수집한다.The environmental data collection module 50 collects environmental data around the user.

환경데이터수집모듈(50)은 사용자가 거주하는 집안의 온도, 습도, 조도, 이산화탄소농도, 미세먼지, 소음 등과 같은 환경데이터 및 사용자가 거주하는 지역의 온도, 습도, 풍속, 강수량, 일사량 등과 같은 날씨 및 기상 관련 환경데이터를 수집한다. 환경데이터수집모듈(50)은 기상청에서 제공하는 날씨 또는 기상데이터를 활용할 수 있으며, 날씨 또는 기상 데이터를 획득하기 위하여 유선 인터넷 및 무선 인터넷 통신 가능한 통신모듈을 구비한다.The environmental data collection module 50 includes environmental data such as temperature, humidity, illuminance, carbon dioxide concentration, fine dust, noise, etc. in the house in which the user resides, and weather such as temperature, humidity, wind speed, precipitation, insolation, etc. in the area in which the user resides. and weather-related environmental data are collected. The environmental data collection module 50 may utilize weather or meteorological data provided by the Korea Meteorological Administration, and includes a communication module capable of communicating with the wired Internet and wireless Internet in order to acquire weather or meteorological data.

감정상태분석모듈(80)은 머신러닝 기반의 학습부와, 판단부로 구성된다.The emotional state analysis module 80 is composed of a machine learning-based learning unit and a judgment unit.

감정상태분석모듈(80)은 음성특징추출모듈(20)에서 추출된 음성특징데이터, 표정특징추출모듈(40)에서 추출된 표정특징데이터, 체온데이터, 환경데이터를 각각 입력데이터로 하는 기계학습을 수행하며, 실시간으로 입력되는 각종 데이터를 종합 및 분석하여 사용자의 감정상태를 판단한다. The emotional state analysis module 80 performs machine learning with voice feature data extracted from the voice feature extraction module 20, facial feature data extracted from the facial feature feature extraction module 40, body temperature data, and environmental data as input data, respectively. The user's emotional state is determined by synthesizing and analyzing various data input in real time.

감정상태분석모듈(80)은 DNN(Deep Neural Network) 알고리즘 및 RNN(Recurrent Neural Network) 알고리즘 중 어느 하나의 기계학습 알고리즘을 이용하여 감정상태정보를 추출할 수 있다. RNN(Recurrent Neural Network) 알고리즘은 음성과 같은 연속적인 데이터를 입력받고 또한 이전의 입력값을 고려하여 결과값을 출력하는 알고리즘이다. DNN(Deep Neural Network) 알고리즘은 심층 신경망에 해당하는 것으로, 입력층(input layer)과 출력층(output layer) 사이에 다중의 은닉층(hidden layer)을 포함하는 인공 신경망(ANN: Artificial Neural Network)을 의미한다. The emotional state analysis module 80 may extract emotional state information by using any one machine learning algorithm of a deep neural network (DNN) algorithm and a recurrent neural network (RNN) algorithm. The Recurrent Neural Network (RNN) algorithm is an algorithm that receives continuous data such as speech and outputs a result value in consideration of previous input values. The DNN (Deep Neural Network) algorithm corresponds to a deep neural network, and refers to an artificial neural network (ANN) that includes multiple hidden layers between an input layer and an output layer. do.

DNN(Deep Neural Network)은 다중의 은닉층을 포함하여 다양한 비선형적 관계를 학습할 수 있다. 심층 신경망은 알고리즘에 따라 비지도 학습 방법(unsupervised learning)을 기반으로 하는 심층 신뢰 신경망(DBN: Deep Belief Network), 심층 오토인코더(deep autoencoder) 등이 있고, 이미지와 같은 2차원 데이터 처리를 위한 합성곱 신경망(CNN: Convolutional Neural Network), 시계열 데이터 처리를 위한 순환 신경망(RNN: Recurrent Neural Network) 등이 있다. 따라서, 데이터들을 토대로 input(앞서 추출된 음성의 특징벡터)과 output(감정 상태)을 정하여 학습한다. 학습되면서 input layer와 hidden layer 1 사이처럼 각 layer 사이의 연결마다 가중치 값이 정해지고, 완성 후에 모델로 저장하여 다른 데이터가 입력되었을 때 적절한 결과가 출력될 수 있다. A deep neural network (DNN) can learn a variety of nonlinear relationships, including multiple hidden layers. The deep neural network includes a deep trust neural network (DBN) based on unsupervised learning, a deep autoencoder, etc., depending on the algorithm, and is synthesized for processing two-dimensional data such as images. There are a convolutional neural network (CNN) and a recurrent neural network (RNN) for processing time series data. Therefore, based on the data, input (a feature vector of the previously extracted voice) and output (emotional state) are determined and learned. As it is learned, a weight value is determined for each connection between each layer like between the input layer and the hidden layer 1, and after completion, it is stored as a model and appropriate results can be output when other data is input.

또한, 감정상태분석모듈(80)은 미리 저장되어 있는 표본데이터들과 입력되는 데이터를 비교해서 감정을 추론 및 판단할 수 있다. 이를 위해, 감정상태분석모듈(80)은 DTW(Dynamic Time Warping), HMM(Hidden Marcov Model), ANN(Artificial Neural Network), Fuzzy 등의 패턴 비교 알고리즘을 단독으로 또는 두 개 이상 사용하여 가장 유사한 감정을 판단할 수 있도록 하는 것이 바람직하다.In addition, the emotional state analysis module 80 may infer and determine the emotion by comparing the sample data stored in advance with the input data. To this end, the emotional state analysis module 80 uses a pattern comparison algorithm such as DTW (Dynamic Time Warping), HMM (Hidden Marcov Model), ANN (Artificial Neural Network), Fuzzy, etc. alone or by using two or more of the most similar emotions It is desirable to be able to judge

대화데이터추출모듈(110)은 감정상태분석모듈(80)에서 판단된 사용자의 감정상태를 기반으로 기저장된 대화표본데이터베이스에서 사용자와 공감 가능한 대화데이터를 추출한다. The dialogue data extraction module 110 extracts dialogue data that can sympathize with the user from the pre-stored dialogue sample database based on the emotional state of the user determined by the emotional state analysis module 80 .

광조사모듈(130)은 본체에 구비되어 사용자 또는 본체의 전방을 향해 빛을 조사한다. 광조사모듈(130)은 다양한 색상의 빛을 출력할 수 있는 가시광 LED와, 적외선 LED를 적용할 수 있다. 광조사모듈(130)은 빛의 색상, 세기, 출력 빈도를 조절할 수 있는 것을 적용하며, 빛의 색상, 세기, 출력 빈도에 따라 서로 다른 복수의 테라피모드로 동작할 수 있다.The light irradiation module 130 is provided in the main body and irradiates light toward the user or the front of the main body. The light irradiation module 130 may apply a visible light LED capable of outputting light of various colors and an infrared LED. The light irradiation module 130 applies a color, intensity, and output frequency of light that can be adjusted, and may operate in a plurality of different therapy modes according to the color, intensity, and output frequency of light.

제어모듈(90)은 대화데이터를 재생모듈(120)을 통해 출력되게 제어하고, 사용자의 감정상태에 따라 광조사모듈(130)을 서로 다른 모드로 작동되게 제어한다. The control module 90 controls the dialogue data to be output through the reproduction module 120 and controls the light irradiation module 130 to operate in different modes according to the user's emotional state.

또한, 제어모듈(90)은 감정상태분석모듈(80)에서 판정된 감정상태에 따라 미리 설정된 장르의 음악을 재생하도록 재생모듈(120)의 동작을 제어할 수 있다. 이 경우, 음원 데이터는 사용자가 직접 다운로드 및 장르별로 분류해 둔 음원 데이터를 활용할 수도 있고, 무선 및 유선 인터넷을 이용하여 음원 스트리밍 서비스를 활용할 수도 있다.In addition, the control module 90 may control the operation of the playback module 120 to reproduce music of a preset genre according to the emotional state determined by the emotional state analysis module 80 . In this case, the sound source data may be downloaded directly by the user and classified by genre, or a sound source streaming service may be utilized using wireless and wired Internet.

한편, 본 발명에 따른 스마트 미러(1)는 직접입력모듈(60)과, 피부상태분석모듈(70)과, 향발생모듈(140)을 구비할 수 있다.Meanwhile, the smart mirror 1 according to the present invention may include a direct input module 60 , a skin condition analysis module 70 , and a fragrance generation module 140 .

감정상태 직접입력모듈(60)은 사용자의 과거 또는 현재의 실제감정상태를 사용자가 직접 입력할 수 있도록 터치식 입력부를 제공한다. The emotional state direct input module 60 provides a touch input unit so that the user can directly input the user's past or present actual emotional state.

감정상태분석모듈(80)은 감정상태 직접입력모듈(60)을 통해 입력되는 사용자의 과거 또는 현재의 실제감정데이터를 입력데이터로 하는 기계학습을 수행하여 사용자의 감정상태를 더욱 정확하고 신속하게 판정할 수 있다. The emotional state analysis module 80 performs machine learning using the user's past or present actual emotional data input through the emotional state direct input module 60 as input data to more accurately and quickly determine the user's emotional state can do.

피부상태분석모듈(70)은 카메라모듈(30)에서 촬영된 이미지 또는 영상으로부터 사용자의 피부상태를 분석할 수 있다.The skin condition analysis module 70 may analyze the user's skin condition from the image or image captured by the camera module 30 .

그리고, 제어부는 피부상태분석모듈(70)에서 분석된 피부상태에 따라 광조사모듈(130)을 서로 다른 모드로 작동되게 제어할 수 있다.In addition, the control unit may control the light irradiation module 130 to operate in different modes according to the skin condition analyzed by the skin condition analysis module 70 .

향발생모듈(140)은 아로마테라피에서 활용되는 각종 향 물질을 이용하여 감정상태분석모듈(80)에서 판정된 감정상태에 따라 미리 설정된 향기를 방출할 수 있다.The fragrance generating module 140 may emit a preset fragrance according to the emotional state determined by the emotional state analysis module 80 using various fragrance substances used in aromatherapy.

이상에서 설명한 본 발명에 따른 스마트 미러는 첨부된 도면을 참조로 설명하였으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. Although the smart mirror according to the present invention described above has been described with reference to the accompanying drawings, this is only an example, and those skilled in the art will recognize that various modifications and equivalent other embodiments are possible therefrom. will understand

따라서, 본 발명의 진정한 기술적 보호의 범위는 첨부된 청구범위의 기술적 사상에 의해서만 정해져야 할 것이다.Accordingly, the scope of true technical protection of the present invention should be defined only by the technical spirit of the appended claims.

1 : 스마트 미러
10 : 음성데이터수집모듈
20 : 음성특징추출모듈
30 : 카메라모듈
40 : 표정특징추출모듈
50 : 환경데이터수집모듈
60 : 직접입력모듈
70 : 피부상태분석모듈
80 : 감정상태분석모듈
90 : 제어모듈
100 : 디스플레이
110 : 대화데이터추출모듈
120 : 재생모듈
130 : 광조사모듈
140 : 향발생모듈1: Smart Mirror
10: voice data collection module
20: voice feature extraction module
30: camera module
40: expression feature extraction module
50: environment data collection module
60: direct input module
70: skin condition analysis module
80: emotional state analysis module
90: control module
100: display
110: dialog data extraction module
120: playback module
130: light irradiation module
140: fragrance generating module

Claims (5)

미러와, 디스플레이를 포함하는 본체;
상기 본체 주변에서 발생하는 사용자의 음성데이터를 수집하는 음성데이터수집모듈;
상기 음성데이터수집모듈에 수집된 상기 음성데이터를 분석하여 상기 음성데이터의 특징을 추출하는 음성특징추출모듈;
가시광 내지 근적외선 대역에서 사용자의 이미지 또는 영상을 촬영하는 카메라모듈;
상기 카메라모듈에서 촬영된 사용자의 이미지 또는 영상을 분석하여 이미지 또는 영상 내의 사용자의 표정에 대한 표정특징데이터를 추출하는 표정특징추출모듈;
상기 카메라모듈에서 촬영된 사용자의 이미지 또는 영상을 분석하여 사용자의 체온데이터를 생성하는 체온측정모듈;
사용자 주변의 환경데이터를 수집하는 환경데이터수집모듈;
상기 음성특징추출모듈에서 추출된 음성특징데이터, 상기 표정특징추출모듈에서 추출된 상기 표정특징데이터, 상기 체온데이터, 상기 환경데이터를 각각 입력데이터로 하는 기계학습을 수행하여 사용자의 감정상태를 판단하는 감정상태분석모듈;
상기 감정상태분석모듈에서 판단된 사용자의 감정상태를 기반으로 사용자와 공감 가능한 대화데이터를 추출하는 대화데이터추출모듈;
상기 본체에 구비되어 사용자를 향해 빛을 조사하는 광조사모듈;
상기 대화데이터를 재생모듈을 통해 출력되게 제어하고, 사용자의 감정상태에 따라 상기 광조사모듈을 서로 다른 모드로 작동되게 제어하는 제어모듈;을 구비하는 것을 특징으로 하는 스마트 미러.a body including a mirror and a display;
a voice data collection module for collecting user's voice data generated around the main body;
a voice feature extraction module that analyzes the voice data collected by the voice data collection module and extracts features of the voice data;
a camera module for photographing a user's image or video in a visible to near-infrared band;
an expression feature extracting module that analyzes the user's image or image captured by the camera module and extracts expression feature data for the user's expression in the image or video;
a body temperature measurement module for generating body temperature data of the user by analyzing the user's image or image captured by the camera module;
an environmental data collection module for collecting environmental data around the user;
To determine the emotional state of the user by performing machine learning using the voice feature data extracted from the voice feature extraction module, the facial feature data extracted from the facial feature feature extraction module, the body temperature data, and the environment data as input data, respectively emotional state analysis module;
a dialogue data extraction module for extracting dialogue data that can sympathize with the user based on the emotional state of the user determined by the emotional state analysis module;
a light irradiation module provided in the body to irradiate light toward the user;
and a control module for controlling the dialogue data to be output through a reproduction module and controlling the light irradiation module to operate in different modes according to the user's emotional state. 제1항에 있어서,
사용자의 과거 또는 현재의 실제감정상태를 사용자가 직접 입력할 수 있는 감정상태 직접입력모듈;을 더 구비하고,
상기 감정상태분석모듈은 상기 감정상태 직접입력모듈을 통해 입력되는 사용자의 과거 또는 현재의 실제감정데이터를 입력데이터로 하는 기계학습을 수행하여 사용자의 감정상태를 판정하는 것을 특징으로 하는 특징으로 하는 스마트 미러.According to claim 1,
Further comprising; an emotional state direct input module that allows the user to directly input the user's past or present actual emotional state;
The emotional state analysis module performs machine learning using the user's past or present actual emotional data input through the emotional state direct input module as input data to determine the user's emotional state. mirror. 제1항에 있어서,
상기 카메라모듈에서 촬영된 이미지 또는 영상으로부터 사용자의 피부상태를 분석하는 피부상태분석모듈;을 더 구비하고,
상기 제어부는 상기 피부상태분석모듈에서 분석된 피부상태에 따라 상기 광조사모듈을 서로 다른 모드로 작동되게 제어하는 것을 특징으로 하는 스마트 미러.According to claim 1,
Further comprising; a skin condition analysis module for analyzing the skin condition of the user from the image or image taken by the camera module;
The control unit is a smart mirror, characterized in that for controlling the light irradiation module to operate in different modes according to the skin condition analyzed by the skin condition analysis module. 제1항에 있어서,
상기 감정상태분석모듈에서 판정된 감정상태에 따라 미리 설정된 향기를 방출하는 향발생모듈을 더 구비하는 것을 특징으로 하는 스마트 미러.According to claim 1,
Smart mirror, characterized in that it further comprises a fragrance generating module that emits a preset fragrance according to the emotional state determined by the emotional state analysis module. 제1항에 있어서,
상기 제어모듈은 상기 감정상태분석모듈에서 판정된 감정상태에 따라 미리 설정된 장르의 음악을 재생하도록 상기 재생모듈의 동작을 제어하는 것을 특징으로 하는 스마트 미러.
According to claim 1,
The control module is smart mirror, characterized in that for controlling the operation of the playback module to play the music of a preset genre according to the emotional state determined by the emotional state analysis module.
KR1020210026579A 2021-02-26 2021-02-26 Smart mirror KR102513289B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210026579A KR102513289B1 (en) 2021-02-26 2021-02-26 Smart mirror

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210026579A KR102513289B1 (en) 2021-02-26 2021-02-26 Smart mirror

Publications (2)

Publication Number Publication Date
KR20220122870A true KR20220122870A (en) 2022-09-05
KR102513289B1 KR102513289B1 (en) 2023-03-24

Family

ID=83279889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210026579A KR102513289B1 (en) 2021-02-26 2021-02-26 Smart mirror

Country Status (1)

Country Link
KR (1) KR102513289B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140006458A (en) * 2012-07-05 2014-01-16 전북대학교산학협력단 Light emitting apparatus having sensitivity function
KR101494301B1 (en) 2014-07-22 2015-02-24 (주)지란지교소프트 Smart mirror device
KR101849955B1 (en) 2016-10-11 2018-04-19 (주)유미테크 Convalescence care system using smart mirror
JP2018102617A (en) * 2016-12-27 2018-07-05 オムロン株式会社 Emotion estimation apparatus, method, and program
KR101909279B1 (en) * 2016-01-15 2018-10-18 동명대학교산학협력단 Emotion Interactive Typed Smart Cradle System and its method of providing
KR102118585B1 (en) * 2019-12-13 2020-06-03 가천대학교 산학협력단 Smart Mirror Chatbot System and Method for Senior Care

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140006458A (en) * 2012-07-05 2014-01-16 전북대학교산학협력단 Light emitting apparatus having sensitivity function
KR101494301B1 (en) 2014-07-22 2015-02-24 (주)지란지교소프트 Smart mirror device
KR101909279B1 (en) * 2016-01-15 2018-10-18 동명대학교산학협력단 Emotion Interactive Typed Smart Cradle System and its method of providing
KR101849955B1 (en) 2016-10-11 2018-04-19 (주)유미테크 Convalescence care system using smart mirror
JP2018102617A (en) * 2016-12-27 2018-07-05 オムロン株式会社 Emotion estimation apparatus, method, and program
KR102118585B1 (en) * 2019-12-13 2020-06-03 가천대학교 산학협력단 Smart Mirror Chatbot System and Method for Senior Care

Also Published As

Publication number Publication date
KR102513289B1 (en) 2023-03-24

Similar Documents

Publication Publication Date Title
KR100307730B1 (en) Speech recognition aided by lateral profile image
WO2018045553A1 (en) Man-machine interaction system and method
TWI307493B (en)
KR20180136387A (en) Communication device, communication robot and computer readable storage medium
US6272466B1 (en) Speech detection apparatus using specularly reflected light
WO2015158017A1 (en) Intelligent interaction and psychological comfort robot service system
JP2004310034A (en) Interactive agent system
CN111081371A (en) Virtual reality-based early autism screening and evaluating system and method
WO2020215590A1 (en) Intelligent shooting device and biometric recognition-based scene generation method thereof
JP2010256391A (en) Voice information processing device
US20190240588A1 (en) Communication apparatus and control program thereof
CN116484318A (en) Lecture training feedback method, lecture training feedback device and storage medium
KR101738142B1 (en) System for generating digital life based on emotion and controlling method therefore
Sodoyer et al. A study of lip movements during spontaneous dialog and its application to voice activity detection
KR102513289B1 (en) Smart mirror
CN116916497A (en) Nested situation identification-based illumination control method and system for floor cylindrical atmosphere lamp
JP2017182261A (en) Information processing apparatus, information processing method, and program
Melder et al. Affective multimodal mirror: sensing and eliciting laughter
WO2007110551A1 (en) System for hearing-impaired people
CN111182409B (en) Screen control method based on intelligent sound box, intelligent sound box and storage medium
Karpouzis et al. Induction, recording and recognition of natural emotions from facial expressions and speech prosody
CN117541321B (en) Advertisement making and publishing method and system based on virtual digital person
Sehgal et al. Smart and Context-Aware System employing Emotions Recognition
Kim et al. The Consistency and Stability of Acoustic and Visual Cues for Different Prosodic Attitudes.
WO2012168798A2 (en) Systems and methods for pattern and anomaly pattern analysis

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant