KR20210135902A - Voice-based emotional condition detection system for children - Google Patents

Voice-based emotional condition detection system for children Download PDF

Info

Publication number
KR20210135902A
KR20210135902A KR1020200054148A KR20200054148A KR20210135902A KR 20210135902 A KR20210135902 A KR 20210135902A KR 1020200054148 A KR1020200054148 A KR 1020200054148A KR 20200054148 A KR20200054148 A KR 20200054148A KR 20210135902 A KR20210135902 A KR 20210135902A
Authority
KR
South Korea
Prior art keywords
voice
child
information
children
item
Prior art date
Application number
KR1020200054148A
Other languages
Korean (ko)
Other versions
KR102433246B1 (en
Inventor
이영규
Original Assignee
(주)아이티공간
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이티공간 filed Critical (주)아이티공간
Priority to KR1020200054148A priority Critical patent/KR102433246B1/en
Publication of KR20210135902A publication Critical patent/KR20210135902A/en
Application granted granted Critical
Publication of KR102433246B1 publication Critical patent/KR102433246B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06—Children, e.g. for attention deficit diagnosis

Abstract

The present invention relates to an emotional condition detection system of a child based on a voice, wherein the configuration thereof comprises: a voice recording device record-collecting a voice of a child wherein at least one is installed in a space where the child lives in at least one communal facility such as a daycare center and a kindergarten where the child lives; one or more wired/wireless transmitting parts for transmitting the collected voice information recorded in the voice recording device to an administration server; and a wired/wireless receiving part for receiving the pitch information transmitted from the wired/wireless transmitting part. Therefore, the present invention is capable of having an effect of resolving the worries and concerns of a parent for the child who adapts while living in a communal facility.

Description

음성에 기초한 어린이의 감정 컨디션 검출 시스템{Voice-based emotional condition detection system for children}Voice-based emotional condition detection system for children

본 발명은 음성에 기초한 어린이의 감정 컨디션 검출 시스템에 관한 것으로, 더욱 상세하게는 유치원이나 어린이집과 같은 공동 시설에 설치되는 음성녹음 기기를 통해 공동 시설에 생활하는 어린이의 음성을 녹음 수집하고, 그 수집된 음성 정보를 관리서버의 검출부를 통해 설정된 감정 항목에 해당하는 소리를 추출하고, 그 추출된 정보를 기반으로 객관적인 검출정보를 생산한 후, 그 검출정보를 어린이의 보호자 휴대폰으로 전송함으로, 어린이의 보호자는 검출정보를 기초로 자신 아이의 감정 컨디션을 매우 객관적으로 인지할 수 있어 공동 시설에 생활하면서 적응하는 아이에 대한 보호자의 근심 걱정을 효과적으로 해소할 수 있는 음성에 기초한 어린이의 감정 컨디션 검출 시스템에 관한 것이다.The present invention relates to a voice-based emotional condition detection system for children, and more particularly, records and collects the voices of children living in a common facility through a voice recording device installed in a common facility such as a kindergarten or daycare center, and collects the voice By extracting the sound corresponding to the emotional item set through the detection unit of the management server, and producing objective detection information based on the extracted information, the detected information is transmitted to the child's guardian's mobile phone. The guardian can recognize the emotional condition of their child very objectively based on the detection information, so that the child's emotional condition detection system based on the voice can effectively relieve the parents' worries about the child who adapts while living in a communal facility. it's about

일반적으로 유치원이나 어린이집과 같은 공동 시설에 자신의 아이를 의탁하는 부모(보호자)들은 대부분 자신의 아이가 공동 시설에서 잘 적응하여 재미있고 편안하게 생활하고 있는지에 대해 항상 고민과 걱정이 있다.In general, most parents (guardians) who entrust their children to communal facilities such as kindergartens or day care centers are always concerned and worried about whether their children are well-adjusted in communal facilities and live a fun and comfortable life.

비록, 공동 시설에서 아이를 돌보는 선생님과 부모의 소통을 통해 아이의 적응 상태를 전달받지만, 현실적으로 선생님과 부모의 소통 횟수가 매우 적을 뿐만 아니라, 아이에 대한 선생님의 주관적인 판단에 의한 것이므로 상기와 같은 부모의 고민은 현실적으로 해결되지 않고 있는 실정이다.Although the child's adaptation status is communicated through the communication between the teacher and the parent taking care of the child in the common facility, in reality, the number of communication between the teacher and the parent is very small, and it is based on the teacher's subjective judgment about the child. The problem is not realistically resolved.

한편, 공동 시설에 설치되는 CCTV를 통해 촬영된 영상을 통해 공동 시설에서 생활하는 아이의 영상을 확인하는 방식으로 아이의 생활 상태를 확인할 수 있으나, 이러한 영상은 안전사고와 같은 특별한 상황에서만 확인할 수 있고, 또한 최근에는 시설에 설치되는 CCTV는 개인 사생활 보호와 초상권으로 인한 폐해로 인해 설치되지 않거나, 설치되었더라도 제대로 사용되지 않는 경우가 빈번하여 CCTV를 통해서는 아이의 적응, 생활 상태를 효과적으로 확인하기가 곤란하다.On the other hand, you can check the living condition of a child by checking the video of a child living in a communal facility through the video taken through the CCTV installed in the communal facility, but these images can only be checked in special situations such as safety accidents. , In addition, recently, CCTV installed in facilities is often not installed due to harm caused by privacy protection and portrait rights, or is not used properly even though it is installed. do.

더욱이, CCTV는 설치 및 운영에 금전적으로 많은 비용이 요구되는 만큼 규모가 작은 공동 시설에서는 CCTV의 설치가 자체가 곤란하여 CCTV를 통한 아이의 적응 및 생활 상태를 확인하기에는 많은 어려움이 있다.Moreover, as CCTV requires a lot of money for installation and operation, it is difficult to install CCTV in a small communal facility, so it is difficult to check the child's adaptation and living conditions through CCTV.

따라서 유치원이나 어린이집과 같은 공동 시설에 아이를 의탁하는 부모에게 아이가 공동 시설에서 생활하는 적응 상태를 명확하게 인지할 수 있는 객관적인 정보를 제공할 수 있는 시스템이 필요한 실정이다.Therefore, there is a need for a system that can provide objective information to the parents who entrust their children to communal facilities such as kindergartens or daycare centers to clearly recognize the adaptive state of their children living in communal facilities.

본 발명은 상기한 바와 같은 제반 문제점을 해결하기 위하여 제안된 것으로, 그 목적은 유치원이나 어린이집과 같은 공동 시설에 설치되는 음성녹음 기기를 통해 공동 시설에 생활하는 어린이의 음성을 녹음 수집하고, 그 수집된 음성 정보를 관리서버의 검출부를 통해 설정된 감정 항목에 해당하는 소리를 추출하고, 그 추출된 정보를 기반으로 객관적인 검출정보를 생산한 후, 그 검출정보를 어린이의 보호자 휴대폰으로 전송함으로, 어린이의 보호자는 검출정보를 기초로 자신 아이의 감정 컨디션을 매우 객관적으로 인지할 수 있어 공동 시설에 생활하면서 적응하는 아이에 대한 보호자의 근심 걱정을 효과적으로 해소할 수 있는 음성에 기초한 어린이의 감정 컨디션 검출 시스템을 제공함에 있다.The present invention has been proposed to solve the above problems, and its purpose is to record and collect the voices of children living in a common facility through a voice recording device installed in a common facility such as a kindergarten or daycare center, and collect the voice By extracting the sound corresponding to the emotional item set through the detection unit of the management server, and producing objective detection information based on the extracted information, the detected information is transmitted to the child's guardian's mobile phone. Parents can recognize the emotional condition of their child very objectively based on the detection information, so that the child's emotional condition detection system based on voice can effectively relieve the caregiver's worries about the child who adapts while living in a communal facility. is in providing.

또한, 음성을 녹음하는 음성녹음 기기는 종래의 CCTV와 같은 기기에 대비하여 매우 저렴한 가격을 형성하고 있어 설치 운영에 대한 금전적인 부담이 없어 소규모의 공동 시설에서도 용이하게 운영될 수 있을 뿐만 아니라, 음성만 녹음되는 특성상 개인 사생활 보호 및 초상권에 대한 폐해를 방지할 수 있어 현실적으로 사용범용성이 우수한 음성에 기초한 어린이의 감정 컨디션 검출 시스템을 제공함에 있다.In addition, the voice recording device that records voice has a very low price compared to the conventional CCTV device, so there is no financial burden for installation and operation, so it can be easily operated even in a small communal facility. Due to the nature of recording only, it is possible to protect personal privacy and prevent harm to portrait rights, so it is to provide a system for detecting children's emotional condition based on voice, which is practically usable.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 음성에 기초한 어린이의 감정 컨디션 검출 시스템은 어린이가 생활하는 어린이집과 유치원과 같은 적어도 하나 이상의 공동 시설에서 어린이가 생활하는 공간에 적어도 하나 이상 설치되어 어린이의 음성을 녹음 수집하는 음성녹음 기기;와, 상기 음성녹음 기기에 녹음된 수집된 음성 정보를 관리서버로 전송하는 하나 이상의 유·무선 송신부;와, 상기 유·무선 송신부에서 전송되는 음정 정보를 수신하는 유·무선 수신부;와, 상기 유·무선 수신부로 수신된 음성 정보를 저장하는 데이터베이스와, 상기 데이터베이스에 저장된 음성 정보로부터 적어도 하나 이상의 감정 항목에 해당하는 소리를 추출하여 객관적인 검출정보를 생성하는 검출부를 포함하는 관리서버;를 포함하는 것을 특징으로 한다.At least one voice-based emotional condition detection system for children according to the present invention for achieving the above object is installed in the space where children live in at least one or more common facilities such as daycare centers and kindergartens where children live. A voice recording device for recording and collecting voice; and one or more wired/wireless transmitters for transmitting the collected voice information recorded in the voice recording device to a management server; And, for receiving the pitch information transmitted from the wired/wireless transmitter A wired/wireless receiving unit; It characterized in that it includes; a management server that includes.

또한, 상기 관리서버의 검출부는 상기 데이터베이스에 저장된 음성 정보로부터 추출하고자 하는 감정 항목을 설정하는 것으로, 상기 감정 항목으로는 기쁨, 슬픔, 분노 항목이 포함되며, 그 항목 중에서 적어도 하나 이상이 설정되도록 하는 설정부와, 상기 설정부에서 설정된 감정 항목에 해당하는 소리를 상기 데이터베이스에 저장된 음성 정보로부터 추출하되, 상기 기쁨 항목은 웃음소리, 상기 슬픔 항목은 울음소리, 상기 분노 항목은 화내는 소리를 추출하는 추출부와, 상기 추출부를 통해 추출된 정보를 기반으로 상기 설정부에서 설정된 각 항목에 해당하는 소리가 지속된 전체 시간이나 총 횟수 또는 전체 시간과 총 횟수를 산출하는 산출부로 이루어지는 것을 특징으로 한다.In addition, the detection unit of the management server sets the emotion items to be extracted from the voice information stored in the database, and the emotion items include joy, sadness, and anger items, and at least one of the items is set. A setting unit and a sound corresponding to the emotion item set in the setting unit are extracted from the voice information stored in the database, wherein the joy item is laughter, the sadness item is a crying sound, and the anger item is an angry sound. It is characterized in that it consists of an extractor and a calculator that calculates the total time or total number of sounds corresponding to each item set in the setting unit based on the information extracted through the extractor, or the total time and the total number of times.

또한, 상기 설정부를 통해 설정되는 감정 항목으로 활동성 항목을 더 포함하여,In addition, further including an activity item as an emotion item set through the setting unit,

상기 추출부에서는 활동성 항목으로 상기 음성녹음 기기를 통해 녹음되는 음성이 멀어지고 가까워지는 정보를 기반으로 어린이의 움직임 상태를 추출하도록 하며, 상기 산출부에서는 상기 추출부에서 추출된 정보를 기반으로 상기 활동성 항목에 해당하는 어린이의 움직임이 지속되는 전체 시간이나 총 횟수 또는 전체 시간과 총 횟수를 산출하도록 하는 것을 특징으로 한다.The extraction unit extracts the movement state of the child based on information about the distance and proximity of the voice recorded through the voice recording device as an activity item, and the calculation unit extracts the activity state based on the information extracted from the extraction unit. It is characterized in that the total time or total number of movements of the child corresponding to the item are continued, or the total time and total number of movements are calculated.

또한, 상기 음성녹음 기기로부터 녹음될 어린이의 음성을 상기 음성녹음 기기를 통해 최소 2회 이상 반복 녹음하고, 그 녹음된 음성 정보를 기반으로 어린이의 음성에 대한 고유의 파형을 분석하여 어린이와 그 어린이 고유의 음성을 매칭시키는 음성 매칭부;를 더 포함하여 이루어져,In addition, the child's voice to be recorded from the voice recording device is repeatedly recorded at least two times through the voice recording device, and a unique waveform for the child's voice is analyzed based on the recorded voice information. A voice matching unit for matching a unique voice; consists of further comprising,

상기 음성녹음 기기를 통해 다수의 어린이 음성이 녹음되더라도, 그 녹음 수집되는 음성 정보로부터 각 어린이 별로 음성이 구분되어 수집되도록 하는 것을 특징으로 한다.Even if a plurality of children's voices are recorded through the voice recording device, the voices are separately collected for each child from the recorded and collected voice information.

또한, 상기 관리서버의 검출부를 통해 생성되는 객관적인 검출정보를 각 어린이의 보호자 휴대폰으로 전송하는 알림 전송부;를 더 포함하여 이루어지는 것을 특징으로 한다.In addition, it characterized in that it further comprises; a notification transmission unit for transmitting the objective detection information generated through the detection unit of the management server to each child's guardian mobile phone.

이상에서와 같이 본 발명에 따른 음성에 기초한 어린이의 감정 컨디션 검출 시스템에 의하면, 유치원이나 어린이집과 같은 공동 시설에 설치되는 음성녹음 기기를 통해 공동 시설에 생활하는 어린이의 음성을 녹음 수집하고, 그 수집된 음성 정보를 관리서버의 검출부를 통해 설정된 감정 항목에 해당하는 소리를 추출하고, 그 추출된 정보를 기반으로 객관적인 검출정보를 생산한 후, 그 검출정보를 어린이의 보호자 휴대폰으로 전송함으로, 어린이의 보호자는 검출정보를 기초로 자신 아이의 감정 컨디션을 매우 객관적으로 인지할 수 있어 공동 시설에 생활하면서 적응하는 아이에 대한 보호자의 근심 걱정을 효과적으로 해소할 수 있는 효과가 있다.As described above, according to the voice-based emotional condition detection system for children according to the present invention, the voices of children living in the communal facilities are recorded and collected through the voice recording device installed in the communal facilities such as kindergartens or daycare centers, and the collection By extracting the sound corresponding to the emotional item set through the detection unit of the management server, and producing objective detection information based on the extracted information, the detected information is transmitted to the child's guardian's mobile phone. The guardian can very objectively recognize the emotional condition of their child based on the detection information, which has the effect of effectively resolving the worries and concerns of the guardian about the child adapting while living in a communal facility.

또한, 음성을 녹음하는 음성녹음 기기는 종래의 CCTV와 같은 기기에 대비하여 매우 저렴한 가격을 형성하고 있어 설치 운영에 대한 금전적인 부담이 없어 소규모의 공동 시설에서도 용이하게 운영될 수 있을 뿐만 아니라, 음성만 녹음되는 특성상 개인 사생활 보호 및 초상권에 대한 폐해를 방지할 수 있어 현실적으로 사용범용성이 우수한 효과가 있다.In addition, the voice recording device that records voice has a very low price compared to the conventional CCTV device, so there is no financial burden for installation and operation, so it can be easily operated even in a small communal facility. Due to the nature of the recording, it is possible to prevent harm to personal privacy and portrait rights, so it has an excellent effect in practical use and versatility.

도 1은 본 발명의 실시예에 따른 음성에 기초한 어린이의 감정 컨디션 검출 시스템의 블럭도
도 2는 도 1에 도시된 음성에 기초한 어린이의 감정 컨디션 검출 시스템의 개념도
도 3은 도 1에 도시된 음성에 기초한 어린이의 감정 컨디션 검출 시스템을 설명하기 위한 도면1 is a block diagram of a system for detecting a child's emotional condition based on voice according to an embodiment of the present invention;
2 is a conceptual diagram of a child's emotional condition detection system based on the voice shown in FIG.
3 is a diagram for explaining a system for detecting a child's emotional condition based on the voice shown in FIG. 1

본 발명의 바람직한 실시예에 따른 음성에 기초한 어린이의 감정 컨디션 검출 시스템을 첨부된 도면에 의거하여 상세히 설명한다. 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략한다.A system for detecting a child's emotional condition based on voice according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. Detailed descriptions of well-known functions and configurations that are determined to unnecessarily obscure the gist of the present invention will be omitted.

도 1 내지 도 3은 본 발명의 실시예에 따른 음성에 기초한 어린이의 감정 컨디션 검출 시스템을 도시한 것으로, 도 1은 본 발명의 실시예에 따른 음성에 기초한 어린이의 감정 컨디션 검출 시스템의 블럭도를, 도 2는 도 1에 도시된 음성에 기초한 어린이의 감정 컨디션 검출 시스템의 개념도를, 도 3은 도 1에 도시된 음성에 기초한 어린이의 감정 컨디션 검출 시스템을 설명하기 위한 도면을 각각 나타낸 것이다.1 to 3 show a voice-based emotional condition detection system according to an embodiment of the present invention, and FIG. 1 is a block diagram of a voice-based emotional condition detection system for children according to an embodiment of the present invention. , FIG. 2 is a conceptual diagram of a child's emotional condition detection system based on the voice shown in FIG. 1, and FIG. 3 is a diagram for explaining the child's emotional condition detection system based on the voice shown in FIG.

상기 도면에 도시한 바와 같이, 본 발명의 실시예에 따른 음성에 기초한 어린이의 감정 컨디션 검출 시스템(100)은 음성녹음 기기(10)와, 유·무선 송신부(20)와, 유·무선 수신부(30)와, 관리서버(40)를 포함하고 있다.As shown in the figure, the child's emotional condition detection system 100 based on voice according to an embodiment of the present invention includes a voice recording device 10, a wired/wireless transmitter 20, and a wired/wireless receiver ( 30) and a management server 40.

도 1과 도 2에 도시된 바와 같이, 상기 음성녹음 기기(10)는 어린이가 생활하는 어린이집과 유치원과 같은 적어도 하나 이상의 공동 시설에서 어린이가 생활하는 공간에 적어도 하나 이상 설치되어 어린이의 음성(목소리)을 녹음 수집하도록 한다.1 and 2, the voice recording device 10 is installed in at least one space where children live in at least one common facility such as daycare centers and kindergartens where children live, so that children's voices (voices) ) to be recorded and collected.

여기서, 상기 음성녹음 기기(10)를 통해 녹음되는 음성 정보는 후설될 상기 유·무선 송·수신부(20,30)를 통해 후설될 상기 관리서버(40)로 전송되어 상기 관리서버(40)의 검출부(42)를 통해 어린이의 객관적인 감정 컨디션을 검출하는 정보로 사용된다.Here, the voice information recorded through the voice recording device 10 is transmitted to the management server 40 to be installed through the wired/wireless transmitting and receiving units 20 and 30 to be installed later, and the management server 40 It is used as information for detecting the objective emotional condition of the child through the detection unit 42 .

따라서 상기 음성녹음 기기(10)는 어린이의 음성이 용이하게 녹음될 수 있도록 어린이가 활동하는 영역에 골고루 배치됨이 바람직하다.Therefore, it is preferable that the voice recording device 10 is evenly arranged in the area where the child is active so that the child's voice can be easily recorded.

이러한 상기 음성녹음 기기(10)는 통상의 음성인식 스피커 등과 같은 기기로 구현될 수 있다. The voice recording device 10 may be implemented as a device such as a conventional voice recognition speaker.

도 1과 도 2에 도시된 바와 같이, 상기 유·무선 송신부(20)는 상기 음성녹음 기기(10)가 설치되는 공동 시설에 하나 이상 설치되는 것으로, 상기 음성녹음 기기(10)에 녹음된 수집된 음성 정보를 수집하여 상기 관리서버(40)로 전송하도록 한다.1 and 2, the wired/wireless transmitter 20 is to be installed in one or more common facilities where the voice recording device 10 is installed, and the voice recording device 10 collects the recorded data. The collected voice information is transmitted to the management server 40 .

여기서, 상기 유·무선 송신부 및 유·무선 수신부는 유선뿐만 아니라, 지그비(zigbee), 블루투스(bluetooth), 와이파이(Wi-Fi) 등과 같은 무선통신 방식을 통해 음성 정보를 송신하도록 한다.Here, the wired/wireless transmitter and the wired/wireless receiver transmit voice information through a wireless communication method, such as zigbee, Bluetooth, or Wi-Fi, as well as wired.

도 1과 도 2에 도시된 바와 같이, 상기 유·무선 수신부(30)는 상기 유·무선 송신부(20)에서 전송되는 음정 정보를 수신하고, 그 수신된 음성 정보를 상기 관리서버(40)의 데이터베이스(41)로 제공하도록 한다.1 and 2, the wired/wireless receiver 30 receives the pitch information transmitted from the wired/wireless transmitter 20, and transmits the received voice information to the management server 40. It is provided as a database 41 .

도 1과 도 2에 도시된 바와 같이, 상기 관리서버(40)는 상기 유·무선 수신부(30)로 수신된 음성 정보를 저장하는 데이터베이스(41)와, 상기 데이터베이스(41)에 저장된 음성 정보로부터 적어도 하나 이상의 감정 항목에 해당하는 소리를 추출하여 객관적인 검출정보를 생성하는 검출부(42)로 이루어지는데,As shown in FIGS. 1 and 2 , the management server 40 includes a database 41 for storing voice information received by the wired/wireless receiver 30 , and from the voice information stored in the database 41 . It consists of a detection unit 42 that extracts sounds corresponding to at least one emotion item and generates objective detection information,

상기 검출부(42)는 설정부(42a)와, 추출부(42b)와, 산출부(42c)로 구성된다.The detection unit 42 includes a setting unit 42a, an extraction unit 42b, and a calculation unit 42c.

상기 설정부(42a)는 상기 데이터베이스(41)에 저장된 음성 정보로부터 추출하고자 하는 감정 항목을 설정하는 것으로, 상기 감정 항목으로는 기쁨, 슬픔, 분노 항목이 포함되며, 그 항목 중에서 적어도 하나 이상이 설정되도록 한다.The setting unit 42a sets an emotion item to be extracted from the voice information stored in the database 41, and the emotion item includes joy, sadness, and anger items, and at least one of the items is set. make it possible

즉, 관리자는 상기 데이터베이스(41)에 저장된 음성 정보로부터 추출하고자 하는 상기 설정부(42a)를 통해 항목을 선택 설정하는데, 설명의 편의를 위해 기쁨, 슬픔, 분노 항목을 모두 선택 설정하도록 하나, 일부 항목만 선택적으로 설정할 수 있음은 물론이다.That is, the administrator selects and sets items through the setting unit 42a to be extracted from the voice information stored in the database 41. For convenience of explanation, all items of joy, sadness, and anger are selected and set, but some Of course, only items can be selectively set.

여기서, 상기 감정 항목으로 사람의 가장 기본적인 감정인 기쁨, 슬픔, 분노 항목으로 구분하였으나, 그 외의 감정인 질투심, 괴로움 등과 같은 항목을 별도의 감정 항목으로 추가할 수 있음은 물론이다.Here, although the emotion items are divided into joy, sadness, and anger, which are the most basic emotions of a person, other emotions such as jealousy and suffering may be added as separate emotion items.

상기 추출부(42b)에서는 상기 설정부(42a)에서 설정된 감정 항목에 해당하는 소리를 상기 데이터베이스(41)에 저장된 음성 정보로부터 추출하되, 상기 기쁨 항목은 웃음소리, 상기 슬픔 항목은 울음소리, 상기 분노 항목은 화내는 소리를 추출하도록 한다.The extraction unit 42b extracts a sound corresponding to the emotion item set in the setting unit 42a from the voice information stored in the database 41, wherein the joy item is laughter, the sadness item is a cry, and the The anger item allows you to extract the sound of anger.

이렇게 상기 음성 정보로부터 추출된 추출정보는 후설될 상기 산출부(42c)에서 객관적인 검출정보를 생성하는 기반이 된다.The extracted information extracted from the voice information in this way is the basis for generating the objective detection information in the calculation unit 42c, which will be described later.

도 3b에 도시된 바와 같이, 상기 산출부(42c)는 상기 추출부(42b)를 통해 추출된 정보를 기반으로 상기 설정부(42a)에서 설정된 각 항목에 해당하는 소리가 지속된 전체 시간이나 총 횟수 또는 전체 시간과 총 횟수를 산출하는 방식으로 매우 객관적인 검출정보가 생산된다.As shown in FIG. 3B , the calculation unit 42c determines the total time or total duration of the sound corresponding to each item set in the setting unit 42a based on the information extracted through the extraction unit 42b. Very objective detection information is produced by calculating the number of times or total time and total number of times.

즉, 상기 산출부(42c)를 통해 산출 생산된 검출정보는 사람의 주관적인 판단이 배제된 통계 정보이므로 매우 객관적인 정보로 볼 수 있으므로, 상기 검출정보를 통해 공동 시설에서 생활하는 어린이의 감정 컨디션을 매우 객관적으로 알 수 있게 된다.That is, since the detection information calculated and produced through the calculation unit 42c is statistical information that excludes subjective judgment of a person, it can be viewed as very objective information. can be seen objectively.

일 예로, 어린이의 음성 정보로부터 추출된 항목 중에서 상기 기쁨 항목의 전체 시간이나 총 횟수가 많은 경우에는 어린이의 감정 컨디션이 밝고 행복한 상태로 인지할 수 있고, 상기 슬픔 항목이 많은 경우에는 어린이의 감정 컨디션이 다소 불편하고 불행한 상태로 인지할 수 있고, 상기 분노 항목이 많은 경우에는 어린이의 감정 컨디션이 다소 불안하고 화가 난 상태로 인지할 수 있다.For example, if the total time or total number of the joy items among the items extracted from the child's voice information is large, the emotional condition of the child can be recognized as a bright and happy state, and when the sadness items are many, the emotional condition of the child This somewhat uncomfortable and unhappy state can be recognized, and when there are many anger items, the emotional condition of the child can be perceived as a somewhat unstable and angry state.

여기서, 각 항목에 대한 단편적인 어린이의 감정 컨디션 상태를 설명하였으나, 상기의 감정 항목들을 복합적으로 수집 해석하여 보다 다양하고 정밀하게 어린이의 감정 컨디션을 검출할 수 있음은 물론이다.Here, although fragmentary emotional condition states of children for each item have been described, it goes without saying that the emotional conditions of children can be detected more diversely and precisely by complexly collecting and interpreting the above emotional items.

또한, 상기 설정부(42a)를 통해 설정되는 감정 항목으로 활동성 항목을 더 포함하여,In addition, further including an activity item as an emotion item set through the setting unit 42a,

상기 추출부(42b)에서는 활동성 항목으로 상기 음성녹음 기기를 통해 녹음되는 음성이 멀어지고 가까워지는 정보를 기반으로 어린이의 움직임 상태를 추출하도록 하며,The extraction unit 42b extracts the movement state of the child based on the information that the voice recorded through the voice recording device is moving away and approaching as an activity item,

상기 산출부(42c)에서는 상기 추출부(42b)에서 추출된 정보를 기반으로 상기 활동성 항목에 해당하는 어린이의 움직임이 지속되는 전체 시간이나 총 횟수 또는 전체 시간과 총 횟수를 산출하도록 한다.The calculation unit 42c calculates the total time or total number of times or the total time and total number of movements of the child corresponding to the activity item based on the information extracted by the extraction unit 42b.

통상적으로 어린이가 소리를 내면서 이동하는 경우에 상기 음성녹음 기기(10)로부터 어린이가 멀어지면 음성의 소리가 점차 작아지고, 반대로 상기 음성녹음 기기(10)로 가까워지면 음성 소리가 점차 커지지는데, 이러한 정보를 기반으로 상기 추출부(42b)는 어린이의 움직임 상태를 추출하게 된다.In general, when a child moves while making a sound, the sound of the voice gradually decreases as the child moves away from the voice recording device 10, and on the contrary, the voice sound gradually increases as the child moves closer to the voice recording device 10. Based on the information, the extraction unit 42b extracts the movement state of the child.

따라서, 도 3b에 도시된 바와 같이 상기 산출부(43c)는 상기 추출부(42b)의 추출정보를 기반으로 어린이의 움직임 상태가 지속된 전체 시간, 총 횟수를 산출함으로, 상기 검출정보에 어린이의 감정 항목과 함께 활동성 항목을 포함하여 함께 검출할 수 있다.Accordingly, as shown in FIG. 3B , the calculation unit 43c calculates the total time and total number of times the child's movement state lasted based on the extracted information of the extraction unit 42b, so that the detection information includes the child's It can be detected together with the emotion item by including the activity item.

여기서, 상기 추출부(42b)는 각종 소리를 구분 검출하는 프로그램이나, 각각의 소리를 다양한 딥 러닝 방식으로 학습 습득하는 AI(Artificial Intelligence)를 통해 추출할 수 있다.Here, the extraction unit 42b may be extracted through a program for distinguishing and detecting various sounds, or AI (Artificial Intelligence) that learns and acquires each sound through various deep learning methods.

한편, 도 1과 도 2에 도시된 바와 같이 상기 관리서버(40)의 검출부(42)를 통해 생성되는 객관적인 검출정보를 각 어린이의 보호자 휴대폰(1)으로 전송하는 알림 전송부(60);를 더 포함하여 이루어진다.On the other hand, as shown in Figs. 1 and 2, the notification transmission unit 60 for transmitting the objective detection information generated through the detection unit 42 of the management server 40 to the guardian mobile phone 1 of each child; further including

즉, 도 3c에 도시된 바와 같이 상기 알림 전송부(60)에서 전송되는 객관적인 검출정보를 수신하는 어린이의 보호자는 공동 시설에서 생활하는 자신 아이의 감정 컨디션과 활동성을 객관적으로 확인 인지할 수 있어 공동 시설에 생활하면서 적응하는 아이에 대한 보호자의 근심 걱정을 효과적으로 해소할 수 있도록 한다.That is, as shown in FIG. 3c , the guardian of a child who receives the objective detection information transmitted from the notification transmission unit 60 can objectively confirm and recognize the emotional condition and activity of his or her child living in the common facility. To effectively relieve the worries and concerns of parents about the child who adapts while living in the facility.

더욱이, 상기 알람 전송부(60)에서 전송되는 객관적인 검출정보를 통해 상기 슬픔 및 분노 항목이 과도하게 검출된 경우에는 보호자의 적절한 개입을 유도하여 어린이가 바른 인성을 갖도록 적합한 시기에 바람직한 교육을 받도록 유도하거나, 어린이에 대한 학대와 폭력이 발생하는 상황을 미리 포착 대처하여 어린이가 안전하게 보호될 수 있도록 유도할 수 있다.Moreover, when the sadness and anger items are excessively detected through the objective detection information transmitted from the alarm transmitter 60, the appropriate intervention of the guardian is induced to induce the child to receive the desired education at the appropriate time to have the right personality. Alternatively, it can induce children to be safely protected by detecting and responding to situations in which abuse and violence against children occur in advance.

여기서, 상기 알람 전송부(60)는 상기 검출부(42)에서 생산된 검출정보를 하루에 한 번씩 보호자의 휴대폰(1)으로 전송하도록 하나, 시간별, 주별, 월별 등과 같이 다양한 시간 간격으로 전송할 수 있음은 물론이다.Here, the alarm transmission unit 60 transmits the detection information produced by the detection unit 42 to the mobile phone 1 of the guardian once a day, but can be transmitted at various time intervals such as hourly, weekly, monthly, etc. is of course

한편, 도 1과 도 2에 도시된 바와 같이 상기 음성녹음 기기(10)로부터 녹음될 어린이의 음성을 상기 음성녹음 기기(10)를 통해 최소 2회 이상 반복 녹음하고, 그 녹음된 음성 정보를 기반으로 어린이의 음성에 대한 고유의 파형을 분석하여 어린이와 그 어린이 고유의 음성을 매칭시키는 음성 매칭부(50);를 더 포함하여 이루어진다.On the other hand, as shown in FIGS. 1 and 2, the voice of a child to be recorded from the voice recording device 10 is repeatedly recorded at least twice through the voice recording device 10, and based on the recorded voice information and a voice matching unit 50 for matching the child's unique voice with the child's voice by analyzing a unique waveform for the child's voice.

통상적으로 유치원이나 어린이집과 같은 공동 시설은 다수의 어린이가 함께 생활하는 공간이므로 상기 음성인식 기기(10)를 통해 다수의 어린이 음성이 함께 녹음되므로, 그 녹음된 음성 정보로부터 각 어린이의 감정 항목을 추출하기 위해서는 음성 정보로부터 각 어린이 별로 음성의 구분 수집이 요구된다.Common facilities, such as kindergartens or daycare centers, are spaces in which a large number of children live together, so a plurality of children's voices are recorded together through the voice recognition device 10, and each child's emotional items are extracted from the recorded voice information. In order to do this, it is required to separate and collect voices for each child from voice information.

따라서, 도 3a에 도시된 바와 같이 상기 음성 매칭부(50)를 통해 상기 음성녹음 기기(10)에 녹음될 수 있는 어린이 별로 각 어린이의 고유의 음성 파형을 인식시켜 어린이와 그 어린이의 음성을 매칭하는 과정이 선 수행되어야 하는데,Accordingly, as shown in FIG. 3A , each child's unique voice waveform is recognized for each child that can be recorded in the voice recording device 10 through the voice matching unit 50 to match the child's voice with the child's voice. The process must be carried out in advance,

본 발명에서는 상기 음성녹음 기기(10)로부터 녹음될 어린이의 음성을 상기 음성녹음 기기(10)를 통해 최소 2회 이상 반복 녹음하고, 상기 음성 매칭부(50)는 녹음된 음성 정보를 기반으로 어린이의 음성에 대한 고유의 파형을 분석하는 방식으로 어린이와 그 어린이 고유의 음성을 매칭시키며, 이렇게 매칭된 매칭 정보는 상기 관리서버(40)의 데이터베이스(41)로 전송되어 저장 관리될 수 있다.In the present invention, the voice of the child to be recorded from the voice recording device 10 is repeatedly recorded at least twice through the voice recording device 10, and the voice matching unit 50 is configured to record the voice of the child based on the recorded voice information. The child and the child's own voice are matched in a way that analyzes a unique waveform for the voice, and the matched matching information is transmitted to the database 41 of the management server 40 and stored and managed.

즉, 상기 음성녹음 기기(10)를 통해 다수의 어린이 음성이 녹음되더라도, 그 녹음 수집되는 음성 정보로부터 각 어린이 별로 음성이 구분되어 수집될 수 있어 다수의 어린이의 감정 컨디션을 용이하게 검출할 수 있는 것이다.That is, even if a plurality of children's voices are recorded through the voice recording device 10, the voices for each child can be separately collected from the recorded and collected voice information, so that emotional conditions of a plurality of children can be easily detected. will be.

상기와 같은 구성으로 이루어진 본 발명의 음성에 기초한 어린이의 감정 컨디션 검출 시스템(100)은 유치원이나 어린이집과 같은 공동 시설에 설치되는 상기 음성녹음 기기(10)를 통해 공동 시설에 생활하는 어린이의 음성을 녹음 수집하고, 그 수집된 음성 정보를 상기 관리서버(40)의 검출부(42)를 통해 설정된 감정 항목에 해당하는 소리를 추출하고, 그 추출된 정보를 기반으로 객관적인 검출정보를 생산한 후, 그 검출정보를 어린이의 보호자 휴대폰(1)으로 전송함으로, 어린이의 보호자는 검출정보를 기초로 자신 아이의 감정 컨디션을 매우 객관적으로 인지할 수 있어 공동 시설에 생활하면서 적응하는 아이에 대한 보호자의 근심 걱정을 효과적으로 해소할 수 있는 효과가 있다.The child's emotional condition detection system 100 based on the voice of the present invention configured as described above detects the voice of a child living in a communal facility through the voice recording device 10 installed in a communal facility such as a kindergarten or daycare center. After collecting the recorded voice information, extracting the sound corresponding to the emotion item set through the detection unit 42 of the management server 40, and producing objective detection information based on the extracted information, the By transmitting the detection information to the child's guardian's mobile phone (1), the child's guardian can very objectively recognize the emotional condition of his or her child based on the detection information. has the effect of effectively resolving

또한, 음성을 녹음하는 상기 음성녹음 기기(10)는 종래의 CCTV와 같은 기기에 대비하여 매우 저렴한 가격을 형성하고 있어 설치 운영에 대한 금전적인 부담이 없어 소규모의 공동 시설에서도 용이하게 운영될 수 있을 뿐만 아니라, 음성만 녹음되는 특성상 개인 사생활 보호 및 초상권에 대한 폐해를 방지할 수 있어 현실적으로 사용범용성이 우수한 효과가 있다.In addition, the voice recording device 10 for recording voice has a very low price compared to a conventional CCTV device, so there is no financial burden for installation and operation, so it can be easily operated in a small communal facility. In addition, due to the nature of recording only voice, it is possible to prevent harm to personal privacy and portrait rights.

상기와 같은 구성을 가진 본 발명의 실시예에 따른 음성에 기초한 어린이의 감정 컨디션 검출 시스템(100)은 다음과 같이 어린이의 음성으로부터 객관적인 검출정보를 생산하여 보호자에게 제공하도록 한다.The system 100 for detecting a child's emotional condition based on a voice according to an embodiment of the present invention having the above configuration produces objective detection information from the child's voice as follows and provides it to the guardian.

먼저, 도 2와 도 3a에 도시된 바와 같이 유치원이나 어린이집과 같은 공동 시설에 생활하는 다수의 어린이에 대한 감정 컨디션의 검출이 요구되면, 그 공동 시설에 다수의 음성녹음 기기(10)와 유·무선 송신부(20)를 설치한 후, 상기 음성녹음 기기(10)와 음성 매칭부(50)를 통해 각 어린이 별로 어린이와 그 어린이의 고유의 음성을 매칭시킨다.First, as shown in FIGS. 2 and 3A, when detection of emotional conditions for a plurality of children living in a common facility such as a kindergarten or daycare center is required, a plurality of voice recording devices 10 and After the wireless transmitter 20 is installed, the child and the child's own voice are matched for each child through the voice recording device 10 and the voice matching unit 50 .

그런 후, 도 2에 도시된 바와 같이 공동 시설에 설치되는 음성녹음 기기(10)를 통해 공동 시설에서 생활하는 다수의 어린이 음성을 녹음하고, 그 녹음된 음성 정보는 상기 유·무선 송신부(20)를 통해 관리서버(40)로 전송한다.Then, as shown in FIG. 2, the voices of a number of children living in the common facility are recorded through the voice recording device 10 installed in the common facility, and the recorded voice information is transmitted to the wired/wireless transmitter 20. is transmitted to the management server 40 through

그러면, 도 2와 도 3b에 도시된 바와 같이 유·무선 수신부(30)는 상기 유·무선 송신부(20)에서 전송된 음성 정보를 수신하여 상기 관리서버(40)의 데이터베이스(41)로 제공하고, 그 데이터베이스(41)에 저장된 음성 정보는 검출부(42)를 통해 설정된 감정 항목에 해당하는 소리가 추출 산출되어 어린이의 감정 컨디션을 인지할 수 있는 객관적인 검출정보가 생산되도록 한다.Then, as shown in FIGS. 2 and 3B, the wired/wireless receiver 30 receives the voice information transmitted from the wired/wireless transmitter 20 and provides it to the database 41 of the management server 40, , from the voice information stored in the database 41, the sound corresponding to the emotional item set through the detection unit 42 is extracted and calculated, so that objective detection information capable of recognizing the emotional condition of the child is produced.

그런 후, 도 2와 도 3c에 도시된 바와 같이 상기 관리서버(40)의 알람 전송부(60)는 상기 검출부(42)에서 생산된 검출정보를 각 어린이의 보호자 휴대폰(1)으로 전송시켜 보호자가 자신 아이의 감정 컨디션을 객관적으로 인지할 수 있도록 한다.Then, as shown in Figs. 2 and 3c, the alarm transmission unit 60 of the management server 40 transmits the detection information produced by the detection unit 42 to the guardian mobile phone 1 of each child, and the guardian to objectively recognize the emotional condition of their child.

본 발명의 음성에 기초한 어린이의 감정 컨디션 검출 시스템(100)을 유치원이나 어린이집과 같이 어린이가 생활하는 공동 시설에 적용하여 어린이의 감정 컨디션을 검출하는 방법을 설명하였으나, 노인들이 생활하는 양로원, 경로당, 요양원 등의 공동 시설에 설치하여 관심과 관리가 요구되는 노인들의 감정 컨디션을 검출하는데 적용하여 사용할 수 있음은 물론이다.Although the method of detecting the emotional condition of children by applying the voice-based emotional condition detection system 100 of the present invention to common facilities where children live, such as kindergartens and daycare centers, has been described, Of course, it can be applied and used to detect the emotional condition of the elderly who require attention and management by installing it in a communal facility such as a nursing home.

본 발명은 첨부된 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것으로 상술한 실시예에 한정되지 않으며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 실시예가 가능하다는 점을 이해할 수 있을 것이다. 또한, 본 발명의 사상을 해치지 않는 범위 내에서 당업자에 의한 변형이 가능함은 물론이다. 따라서, 본 발명에서 권리를 청구하는 범위는 상세한 설명의 범위 내로 정해지는 것이 아니라 후술되는 청구범위와 이의 기술적 사상에 의해 한정될 것이다.Although the present invention has been described with reference to the embodiments shown in the accompanying drawings, which are illustrative and not limited to the above-described embodiments, those of ordinary skill in the art will realize that various modifications and equivalent embodiments are possible therefrom. point can be understood. In addition, it is a matter of course that modifications by those skilled in the art are possible within the scope that does not impair the spirit of the present invention. Accordingly, the scope of claiming the right in the present invention will not be defined within the scope of the detailed description, but will be limited by the claims and its technical spirit to be described later.

1. 휴대폰
10. 음성녹음 기기 20. 유·무선 송신부
30. 유·무선 수신부 40. 관리서버
41. 데이터베이스 42. 검출부
42a. 설정부 42b. 추출부
42c. 산출부 50. 음성 매칭부
60. 알림 전송부
100. 음성에 기초한 어린이의 감정 컨디션 검출 시스템1. Mobile phone
10. Voice recording device 20. Wired/wireless transmitter
30. Wired/Wireless Receiver 40. Management Server
41. Database 42. Detector
42a. Setting section 42b. extractor
42c. Calculator 50. Voice Matching Unit
60. Notification Sender
100. Voice-based emotional condition detection system for children

Claims (5)

어린이가 생활하는 어린이집과 유치원과 같은 적어도 하나 이상의 공동 시설에서 어린이가 생활하는 공간에 적어도 하나 이상 설치되어 어린이의 음성(목소리)을 녹음 수집하는 음성녹음 기기(10);
상기 음성녹음 기기(10)에 녹음된 수집된 음성 정보를 관리서버(40)로 전송하는 하나 이상의 유·무선 송신부(20);
상기 유·무선 송신부(20)에서 전송되는 음정 정보를 수신하는 유·무선 수신부(30); 및
상기 유·무선 수신부(30)로 수신된 음성 정보를 저장하는 데이터베이스(41)와, 상기 데이터베이스(41)에 저장된 음성 정보로부터 적어도 하나 이상의 감정 항목에 해당하는 소리를 추출하여 객관적인 검출정보를 생성하는 검출부(42)를 포함하는 관리서버(40);를 포함하는 것을 특징으로 하는 음성에 기초한 어린이의 감정 컨디션 검출 시스템.
At least one voice recording device (10) for recording and collecting children's voices (voices) installed in the space where children live in at least one or more common facilities such as daycare centers and kindergartens where children live;
one or more wired/wireless transmitters 20 for transmitting the collected voice information recorded in the voice recording device 10 to the management server 40;
a wired/wireless receiver 30 for receiving the pitch information transmitted from the wired/wireless transmitter 20; and
A database 41 for storing the voice information received by the wired/wireless receiver 30, and extracting sounds corresponding to at least one emotion item from the voice information stored in the database 41 to generate objective detection information Management server (40) including a detection unit (42); voice-based emotional condition detection system for children, characterized in that it comprises a.
 제 1 항에 있어서,
상기 관리서버(40)의 검출부(42)는,
상기 데이터베이스(41)에 저장된 음성 정보로부터 추출하고자 하는 감정 항목을 설정하는 것으로, 상기 감정 항목으로는 기쁨, 슬픔, 분노 항목이 포함되며, 그 항목 중에서 적어도 하나 이상이 설정되도록 하는 설정부(42a)와,
상기 설정부(42a)에서 설정된 감정 항목에 해당하는 소리를 상기 데이터베이스(41)에 저장된 음성 정보로부터 추출하되, 상기 기쁨 항목은 웃음소리, 상기 슬픔 항목은 울음소리, 상기 분노 항목은 화내는 소리를 추출하는 추출부(42b)와,
상기 추출부(42b)를 통해 추출된 정보를 기반으로 상기 설정부(42a)에서 설정된 각 항목에 해당하는 소리가 지속된 전체 시간이나 총 횟수 또는 전체 시간과 총 횟수를 산출하는 산출부(42c)로 이루어지는 것을 특징으로 하는 음성에 기초한 어린이의 감정 컨디션 검출 시스템.
The method of claim 1,
The detection unit 42 of the management server 40,
A setting unit 42a that sets an emotion item to be extracted from the voice information stored in the database 41, and the emotion item includes joy, sadness, and anger, and sets at least one of the items. Wow,
The sound corresponding to the emotion item set in the setting unit 42a is extracted from the voice information stored in the database 41, wherein the joy item is laughter, the sadness item is a crying sound, and the anger item is an angry sound. an extracting unit 42b for extracting;
A calculation unit 42c that calculates the total time or total number of times the sound corresponding to each item set in the setting unit 42a is continued, or the total time and the total number of times, based on the information extracted through the extraction unit 42b A child's emotional condition detection system based on voice, characterized in that consisting of.
 제 2 항에 있어서,
상기 설정부(42a)를 통해 설정되는 감정 항목으로 활동성 항목을 더 포함하여,
상기 추출부(42b)에서는 활동성 항목으로 상기 음성녹음 기기를 통해 녹음되는 음성이 멀어지고 가까워지는 정보를 기반으로 어린이의 움직임 상태를 추출하도록 하며,
상기 산출부(42c)에서는 상기 추출부(42b)에서 추출된 정보를 기반으로 상기 활동성 항목에 해당하는 어린이의 움직임이 지속되는 전체 시간이나 총 횟수 또는 전체 시간과 총 횟수를 산출하도록 하는 것을 특징으로 하는 음성에 기초한 어린이의 감정 컨디션 검출 시스템.
3. The method of claim 2,
Further including an activity item as an emotion item set through the setting unit 42a,
The extraction unit 42b extracts the movement state of the child based on the information that the voice recorded through the voice recording device is moving away and approaching as an activity item,
The calculation unit 42c calculates the total time or the total number of times or the total time and total number of movements of the child corresponding to the activity item based on the information extracted from the extraction unit 42b. A child's emotional condition detection system based on the voice you say.
 제 1 항 내지 제 3 항 중에서 선택되는 어느 한 항에 있어서,
상기 음성녹음 기기(10)로부터 녹음될 어린이의 음성을 상기 음성녹음 기기(10)를 통해 최소 2회 이상 반복 녹음하고, 그 녹음된 음성 정보를 기반으로 어린이의 음성에 대한 고유의 파형을 분석하여 어린이와 그 어린이 고유의 음성을 매칭시키는 음성 매칭부(50);를 더 포함하여 이루어져,
상기 음성녹음 기기(10)를 통해 다수의 어린이 음성이 녹음되더라도, 그 녹음 수집되는 음성 정보로부터 각 어린이 별로 음성이 구분되어 수집되도록 하는 것을 특징으로 하는 음성에 기초한 어린이의 감정 컨디션 검출방법.
According to any one of claims 1 to 3 selected from,
A child's voice to be recorded from the voice recording device 10 is repeatedly recorded at least twice through the voice recording device 10, and a unique waveform for the child's voice is analyzed based on the recorded voice information. A voice matching unit 50 that matches the child's own voice with the child;
The method for detecting emotional condition of children based on voice, characterized in that even if a plurality of children's voices are recorded through the voice recording device (10), the voices are separately collected for each child from the recorded and collected voice information.
 제 1 항에 있어서,
상기 관리서버(40)의 검출부(42)를 통해 생성되는 객관적인 검출정보를 각 어린이의 보호자 휴대폰(1)으로 전송하는 알림 전송부(60);를 더 포함하여 이루어지는 것을 특징으로 하는 음성에 기초한 어린이의 감정 컨디션 검출 시스템.The method of claim 1,
A child based on voice, characterized in that it further comprises; of emotional condition detection system.
KR1020200054148A 2020-05-06 2020-05-06 Voice-based emotional condition detection system for children KR102433246B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200054148A KR102433246B1 (en) 2020-05-06 2020-05-06 Voice-based emotional condition detection system for children

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200054148A KR102433246B1 (en) 2020-05-06 2020-05-06 Voice-based emotional condition detection system for children

Publications (2)

Publication Number Publication Date
KR20210135902A true KR20210135902A (en) 2021-11-16
KR102433246B1 KR102433246B1 (en) 2022-08-17

Family

ID=78717121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200054148A KR102433246B1 (en) 2020-05-06 2020-05-06 Voice-based emotional condition detection system for children

Country Status (1)

Country Link
KR (1) KR102433246B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080037402A (en) * 2006-10-26 2008-04-30 엘지전자 주식회사 Method for making of conference record file in mobile terminal
KR101029786B1 (en) * 2006-09-13 2011-04-19 니뽄 덴신 덴와 가부시키가이샤 Emotion detecting method, emotion detecting apparatus, emotion detecting program that implements the same method, and storage medium that stores the same program
KR20140094336A (en) * 2013-01-22 2014-07-30 삼성전자주식회사 A electronic device for extracting a emotion of user and method for extracting a emotion of user in the electronic device
KR20160116586A (en) * 2015-03-30 2016-10-10 한국전자통신연구원 Method and apparatus for emotion recognition
KR20190069992A (en) * 2017-12-12 2019-06-20 세종대학교산학협력단 Method and system for recognizing emotions based on speaking style

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101029786B1 (en) * 2006-09-13 2011-04-19 니뽄 덴신 덴와 가부시키가이샤 Emotion detecting method, emotion detecting apparatus, emotion detecting program that implements the same method, and storage medium that stores the same program
KR20080037402A (en) * 2006-10-26 2008-04-30 엘지전자 주식회사 Method for making of conference record file in mobile terminal
KR20140094336A (en) * 2013-01-22 2014-07-30 삼성전자주식회사 A electronic device for extracting a emotion of user and method for extracting a emotion of user in the electronic device
KR20160116586A (en) * 2015-03-30 2016-10-10 한국전자통신연구원 Method and apparatus for emotion recognition
KR20190069992A (en) * 2017-12-12 2019-06-20 세종대학교산학협력단 Method and system for recognizing emotions based on speaking style

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
appropriation U.S. extrinsic" and the ‘ bio-signal the The Journal of Society for e-Business Studies" and 2017. 05 *

Also Published As

Publication number Publication date
KR102433246B1 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
US10977522B2 (en) Stimuli for symptom detection
US11631407B2 (en) Smart speaker system with cognitive sound analysis and response
US8626505B2 (en) Identifying and generating audio cohorts based on audio data input
CN104850846B (en) A kind of Human bodys' response method and identifying system based on deep neural network
Kim et al. Occupant behavior monitoring and emergency event detection in single-person households using deep learning-based sound recognition
US20200302951A1 (en) Activity recognition system for security and situation awareness
US10096234B1 (en) Smart band for autonumously recognizing crisis situation and automatically requesting rescue on the basis of sound and motion patterns
CN104040480A (en) Methods and systems for searching utilizing acoustical context
US20020173928A1 (en) Method and apparatus for using physical characteristic data collected from two or more subjects
KR102359344B1 (en) System for smart childcare environment monitoring infant behavior and psychological analysis based on artificial intelligence and method thereof
US10438473B2 (en) Activity monitor
GB2578418A (en) Sound detection
US11688261B2 (en) Body-worn alert system
US20210368279A1 (en) Smart hearing assistance in monitored property
KR20210006419A (en) Generating and storing health-related information
Chuah et al. Smartphone based autism social alert system
Bonifazi et al. A machine learning based sentient multimedia framework to increase safety at work
KR102433246B1 (en) Voice-based emotional condition detection system for children
KR102433242B1 (en) Emotional condition detection method of children based on voice
KR102488741B1 (en) Emergency bell system with improved on-site situation identification
US20220092158A1 (en) Validating a User Using a Digital Behavioral Fingerprint Generated with Sensor Data from the User's Portable Device
CN110428894B (en) Distributed monitoring system and method
KR20230064011A (en) Analysis system of circumstantial judgement based on voice with image pattern and operating method thereof
JP6605774B1 (en) Information processing system, information processing apparatus, information processing method, and computer program
TWI656502B (en) Method, apparatus and system for portable safety care

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant