KR102238307B1

KR102238307B1 - Method and System for Analyzing Real-time Sound

Info

Publication number: KR102238307B1
Application number: KR1020180075331A
Authority: KR
Inventors: 류명훈; 박한
Original assignee: 주식회사 디플리
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2021-04-28
Also published as: KR20200002147A

Abstract

본 발명의 일 실시예에 따른 실시간 소리 분석 방법은 사전 수집된 소리 데이터를 제1 머신 러닝(Machine Learning) 방식으로 학습하여 소리 유형 정보를 구분하기 위한 제1 함수를 최적화하는 제1 학습 단계(S11), 사전 수집된 소리 데이터를 제2 머신 러닝(Machine Learning) 방식으로 학습하여 소리 원인 정보를 구분하기 위한 제2 함수를 최적화하는 제2 학습 단계(S21), 제1 분석 장치가 실시간 소리 데이터를 수집하여 상기 제1 함수를 통해 소리 유형(Category)으로 분류하는 제1 추론 단계(S12), 상기 제1 분석 장치에서 제2 분석 장치로 실시간 소리 데이터를 전송하는 단계(S20), 및 전송받은 상기 실시간 소리 데이터를 상기 제2 함수를 통해 소리 원인으로 분류하는 제2 추론 단계(S22)를 포함하는 것을 그 특징으로 한다. 본 발명의 일 실시예에 따르면, 머신 러닝에 기초하여 실시간으로 수집되는 소리의 유형 및 원인을 학습할 수 있고, 실시간으로 수집되는 소리의 유형과 원인에 대하여 보다 정확한 예측이 가능하다. In the real-time sound analysis method according to an embodiment of the present invention, a first learning step (S11) of optimizing a first function for classifying sound type information by learning pre-collected sound data using a first machine learning method (S11). ), a second learning step (S21) of optimizing a second function for classifying sound cause information by learning the pre-collected sound data using a second machine learning method, and the first analyzing device collects real-time sound data. A first reasoning step (S12) of collecting and classifying a sound category through the first function (S12), transmitting real-time sound data from the first analyzing device to a second analyzing device (S20), and the received And a second reasoning step (S22) of classifying real-time sound data as a sound cause through the second function. According to an embodiment of the present invention, it is possible to learn the types and causes of sounds collected in real time based on machine learning, and it is possible to more accurately predict the types and causes of sounds collected in real time.

Description

Real-time sound analysis method and system {Method and System for Analyzing Real-time Sound}

본 발명은 실시간 소리를 분석하는 방법 및 시스템에 관한 것으로, 더 상세하게는 실시간으로 발생하는 주변 소리를 인공지능에 기반한 기계학습 방식으로 학습하고 분석하는 방법에 관한 것이다. The present invention relates to a method and system for analyzing real-time sound, and more particularly, to a method for learning and analyzing ambient sound generated in real time using a machine learning method based on artificial intelligence.

음향 기술의 발달로 소리를 감지하여 분류할 수 있는 기능을 가진 장치들이 다양하게 출시되고 있다. 주파수 분석을 통해 소리를 분류하고 사용자에게 결과값을 제공해주는 기능은 대중들의 모바일 장치를 통해 널리 활용되고 있고, 최근에는 인공지능 스피커가 출시되어 사용자의 언어적 소리에 반응하고 질문이나 명령에 대한 적절한 피드백을 제공하기도 하는 등 소리 분석을 위한 도구들은 점점 다양해지는 추세다. With the development of sound technology, various devices with a function capable of detecting and classifying sound are being released. The function of classifying sounds through frequency analysis and providing results to users is widely used through mobile devices of the public, and recently, artificial intelligence speakers have been released to respond to user's verbal sounds and respond appropriately to questions or commands. Tools for sound analysis, such as providing feedback, are becoming increasingly diverse.

대한민국 특허 제10-1092473호의 경우 주변의 다양한 소리 중 아기의 울음소리를 감지할 수 있는 진동수 및 지속 패턴을 이용한 아기 울음소리 감지방법 및 장치를 제공한다. 이는 아기가 울고 있는지 여부를 감지하여 부모에게 알려주거나 자동으로 엄마의 심장 박동음을 들려주는 등의 피드백 기능을 탑재하여 육아의 부담을 덜어주는 것을 목적으로 한다. 그러나 이와 같은 기술은 아기의 울음 여부만 알려줄 뿐 아기가 우는 이유에 대한 정보는 제공하지 않고, 아기가 우는 이유(예: 배고픔, 아픔 등)가 다양할 수 있음에도 불구하고 일관된 피드백(예: 엄마의 심장 박동음 들려주기)만을 제공하는 등 경우에 따라서는 적절치 않은 피드백을 주게 되는 문제점을 안고 있다. In the case of Korean Patent No. 10-1092473, a method and apparatus for detecting baby crying sounds using a frequency and continuous pattern capable of detecting the crying sound of a baby among various surrounding sounds are provided. This aims to relieve the burden of parenting by installing a feedback function such as detecting whether the baby is crying and notifying the parents or automatically listening to the mother's heartbeat. However, technologies like this only tell if the baby is crying, not provide information about why the baby is crying, and consistent feedback (e.g., mother's) despite the fact that the reasons the baby is crying (e.g. hunger, pain, etc.) In some cases, such as only providing a heartbeat sound), there is a problem in that inappropriate feedback is given.

한편, 최근 출시되는 인공지능 스피커의 경우에는 언어적 음성에 한정하여 반응하므로 글로 표현될 수 없는 비언어적 소리(예: 아기 울음소리)에 대해서는 피드백을 제공할 수 없다는 문제가 있다. Meanwhile, in the case of recently released artificial intelligence speakers, there is a problem that feedback cannot be provided for non-verbal sounds that cannot be expressed in writing (eg, baby crying) because they respond only to verbal voices.

대한민국 등록특허공보 제10-1092473호 (2011년 12월 5일 등록)Republic of Korea Patent Publication No. 10-1092473 (registered on December 5, 2011)

본 발명은 위와 같은 문제점을 해결하기 위하여 제안된 것으로, 머신 러닝에 의해 소리를 학습하여 실시간으로 소리를 분류해낼 뿐 아니라 소리가 발생하게 된 원인을 학습함으로써, 소리의 종류 뿐 아니라 그 원인까지 분석할 수 있는 방법 및 시스템을 제공하는 것을 목적으로 한다. The present invention has been proposed to solve the above problems, and not only classifies sounds in real time by learning sound by machine learning, but also analyzes not only the type of sound but also the cause thereof by learning the cause of the sound generation. It aims to provide a method and system that can be used.

본 발명의 일 실시예에 따른 실시간 소리 분석 방법은 사전 수집된 소리 데이터를 제1 머신 러닝(Machine Learning) 방식으로 학습하여 소리 유형 정보를 구분하기 위한 제1 함수를 최적화하는 제1 학습 단계(S11), 사전 수집된 소리 데이터를 제2 머신 러닝(Machine Learning) 방식으로 학습하여 소리 원인 정보를 구분하기 위한 제2 함수를 최적화하는 제2 학습 단계(S21), 제1 분석 장치가 실시간 소리 데이터를 수집하여 상기 제1 함수를 통해 소리 유형(Category)으로 분류하는 제1 추론 단계(S12), 상기 제1 분석 장치에서 제2 분석 장치로 실시간 소리 데이터를 전송하는 단계(S20), 및 전송받은 상기 실시간 소리 데이터를 상기 제2 함수를 통해 소리 원인으로 분류하는 제2 추론 단계(S22)를 포함하는 것을 그 특징으로 한다. In the real-time sound analysis method according to an embodiment of the present invention, a first learning step (S11) of optimizing a first function for classifying sound type information by learning pre-collected sound data using a first machine learning method (S11). ), a second learning step (S21) of optimizing a second function for classifying sound cause information by learning the pre-collected sound data using a second machine learning method, and the first analyzing device collects real-time sound data. A first reasoning step (S12) of collecting and classifying a sound category through the first function (S12), transmitting real-time sound data from the first analyzing device to a second analyzing device (S20), and the received And a second reasoning step (S22) of classifying real-time sound data as a sound cause through the second function.

상기 제1 학습 단계는, 실시간 소리 데이터를 제1 머신 러닝 방식으로 학습함으로써 제1 함수를 보완하는 단계(S13)를 포함할 수 있다. 학습하는 데이터가 많아질수록 더욱 정확해지는 상기 제1 함수는 사전에 수집한 소리 데이터를 머신 러닝 방식으로 학습시킴으로써 주변 소리를 유형별로 분류하는 유용한 도구가 될 수 있다. 예를 들어 상기 제1 함수는 관심 소리가 환자의 소리인 경우 사전에 수집한 환자 소리를 머신 러닝 방식으로 학습시키면 환자가 신음 소리를 내는지, 일상적 대화를 하는지, 웃음 소리를 내는지 구분할 수 있다. 이러한 머신 러닝 방식에서는 분류기(Classifier)가 학습될 수 있고, 바람직하게는 상기 분류기는 로지스틱 회귀분석 분류기(Logistic Regression Classifier)일 수 있으나, 이에 한정되지 않는다. 이러한 학습 과정은 실시간 소리 데이터가 수집되면서 지속적으로 반복되어 분류기가 더 정확한 결과를 도출할 수 있도록 한다. The first learning step may include supplementing the first function by learning real-time sound data using a first machine learning method (S13). The first function, which becomes more accurate as the number of data to be learned increases, can be a useful tool for classifying surrounding sounds by type by learning previously collected sound data using a machine learning method. For example, when the sound of interest is the sound of a patient, the first function may distinguish whether the patient makes a moaning sound, a daily conversation, or a laughter when the patient sound collected in advance is learned by a machine learning method. In this machine learning method, a classifier may be learned, and preferably, the classifier may be a logistic regression classifier, but is not limited thereto. This learning process is continuously repeated as real-time sound data is collected, allowing the classifier to derive more accurate results.

상기 제2 학습 단계는, 실시간 소리 데이터를 제2 머신 러닝 방식으로 학습함으로써 제2 함수를 보완하는 단계(S23)를 포함할 수 있다. 학습하는 데이터가 많아질수록 더욱 정확해지는 제2 함수는 사전에 수집한 소리 데이터를 머신 러닝 방식으로 학습시킴으로써 주변 소리가 발생하는 원인을 유형별로 분류할 수 있다. 예를 들어 상기 제2 함수는 관심 소리가 환자의 소리인 경우 사전에 수집한 환자 소리를 머신 러닝 방식으로 학습시키면 환자가 내는 소리를 원인 별로 분류하여 환자가 신경통을 호소하는지, 고열에 의한 통증을 호소하는지, 자세의 불편감을 호소하는지 구분할 수 있다. 바람직하게는 상기 제2 머신 러닝 방식은 딥 러닝 방식일 수 있다. 바람직하게는 상기 딥 러닝 방식에서는 오류 역전파(Error Backpropagation) 방식이 사용될 수 있으나, 이에 한정되지 않는다. 이러한 학습 과정은 실시간 소리 데이터가 수집되면서 지속적으로 반복되어 분류기가 더 정확한 결과를 도출할 수 있도록 한다. The second learning step may include supplementing the second function by learning real-time sound data using a second machine learning method (S23). The second function, which becomes more accurate as the number of data to be learned increases, can classify the causes of surrounding sounds by type by learning the previously collected sound data using a machine learning method. For example, if the sound of interest is the patient's sound, the second function is to classify the sound made by the patient by cause by learning the patient sound collected in advance by machine learning, so that whether the patient complains of neuralgia or pain due to high fever. It can be distinguished whether it complains of complaining about the discomfort of the posture. Preferably, the second machine learning method may be a deep learning method. Preferably, an error backpropagation method may be used in the deep learning method, but is not limited thereto. This learning process is continuously repeated as real-time sound data is collected, allowing the classifier to derive more accurate results.

또한, 상기 제2 함수를 보완하는 단계(S23)는 상기 제1 학습 단계(S11), 제1 추론 단계(S12), 및 제1 함수를 보완하는 단계(S13) 중 적어도 어느 하나의 단계에서 얻어진 정보를 추가 학습 데이터로 사용할 수 있다. 제1 학습 단계에서 소리의 로우 데이터(Raw Data)로부터 특징 벡터(Feature Vectors)를 추출하고 이를 활용하여 머신 러닝으로 소리의 유형(Category)을 분류하였다면, 제2 학습 단계에서는 상기 유형까지도 특징 벡터로 고려하여 학습을 반복함으로써 소리가 발생하는 원인을 더 신속하고 정확하게 분석할 수 있다. 머신 러닝 또는 딥 러닝에서는 학습 대상의 특징 벡터가 다양하고 정확할수록 더 빠른 학습이 가능하기 때문에, 상기 방식은 분석의 정확도를 높이는데 매우 유용하다. In addition, the step of supplementing the second function (S23) is obtained in at least one of the first learning step (S11), the first reasoning step (S12), and the step of supplementing the first function (S13). The information can be used as additional training data. In the first learning step, feature vectors are extracted from the raw data of sound, and then the sound category is classified by machine learning. Considering and repeating learning, the cause of sound generation can be analyzed more quickly and accurately. In machine learning or deep learning, the more diverse and accurate feature vectors to be learned are, the faster learning is possible, so this method is very useful for increasing the accuracy of analysis.

바람직하게는, 상기 제1 추론 단계(S12)는 상기 실시간 소리 데이터를 머신 러닝이 용이하도록 최적화하는 신호처리 단계(S121) 및 신호처리된 소리 데이터를 상기 제1 함수를 통해 분류하는 단계(S122)를 포함할 수 있다. 본문에서 쓰이는 '함수'란, 머신 러닝을 위해 주어진 데이터 및 학습 알고리즘을 통해 지속적으로 보강되는 도구를 의미한다. 구체적으로, 입력(소리)과 출력(유형 또는 원인)의 관계를 예측하는 도구를 의미한다. 따라서, 최초 학습시에는 관리자에 의해 함수가 사전결정될 수 있다. Preferably, the first reasoning step (S12) is a signal processing step (S121) of optimizing the real-time sound data to facilitate machine learning, and a step of classifying the signal-processed sound data through the first function (S122). It may include. The term'function' used in the text refers to a tool that is continuously reinforced through given data and learning algorithms for machine learning. Specifically, it refers to a tool that predicts the relationship between input (sound) and output (type or cause). Therefore, at the time of initial learning, the function can be predetermined by the administrator.

바람직하게는, 상기 신호처리 단계는 전처리 단계, 프레임 생성 단계, 특징 벡터 추출 단계를 포함할 수 있다. Preferably, the signal processing step may include a pre-processing step, a frame generation step, and a feature vector extraction step.

상기 전처리 단계는 정규화(Normalization), 주파수 필터링(Frequency Filtering), 템포럴 필터링(Temporal Filtering), 윈도잉(Windowing) 중 적어도 하나를 포함할 수 있다. The pre-processing step may include at least one of normalization, frequency filtering, temporal filtering, and windowing.

상기 프레임 생성 단계는 전처리된 소리 데이터를 시간 영역(time domain)의 복수의 프레임들로 구분하는 작업이 수행될 수 있다. In the frame generation step, a task of dividing the preprocessed sound data into a plurality of frames in a time domain may be performed.

상기 특징 벡터 추출 단계는 상기 복수의 프레임들 중 단일의 프레임 별로 수행되거나 동일한 개수의 프레임으로 구성된 프레임 그룹 별로 수행될 수 있다.The feature vector extraction step may be performed for each single frame among the plurality of frames or may be performed for each frame group consisting of the same number of frames.

상기 신호처리 단계에서 추출된 특징 벡터는 적어도 하나의 차원(Dimension)으로 구성될 수 있다. 즉, 하나의 특징 벡터가 사용될 수도 있고 복수의 특징 벡터가 사용될 수도 있다. The feature vector extracted in the signal processing step may be composed of at least one dimension. That is, one feature vector may be used or a plurality of feature vectors may be used.

상기 특징 벡터의 적어도 하나의 차원은 상기 소리 유형(Category)에 관한 차원을 포함할 수 있다. 이는 소리의 발생 원인을 구분하기 위한 제2 학습 단계에서 소리 데이터의 특징 벡터로서 소리 유형까지 포함하는 경우 더욱 정확한 원인 예측이 가능하기 때문이다. 다만, 특징 벡터에 소리 유형가 아닌 다른 요소들이 포함될 수 있고, 추가할 수 있는 특징 벡터의 요소가 소리 유형로 한정되는 것은 아니다. At least one dimension of the feature vector may include a dimension related to the sound category. This is because more accurate prediction of the cause is possible when the sound type is included as a feature vector of sound data in the second learning step to identify the cause of the sound. However, elements other than the sound type may be included in the feature vector, and the element of the feature vector that can be added is not limited to the sound type.

바람직하게는, 상기 제1 머신 러닝 방식은 최소 평균 제곱법(Least Mean Square; LMS)을 포함하고, 상기 최소 평균 제곱법으로 회귀분석 분류기(Logistic Regression Classifier)를 학습할 수 있다. Preferably, the first machine learning method includes a least mean square method (LMS), and a logistic regression classifier may be learned using the least mean square method.

바람직하게는, 상기 제2 머신 러닝 방식은 딥 러닝(Deep Learning) 방식이고, 오류 역전파(Backpropagation)를 통해 상기 제2 함수를 최적화할 수 있다. Preferably, the second machine learning method is a deep learning method, and the second function may be optimized through error backpropagation.

상기 신호처리 단계는 연속된 프레임들을 복수의 프레임 그룹들(Frame Group)로 재정의하는 프레임 그룹 형성 단계를 더 포함할 수 있다. 상기 복수의 프레임 그룹들 중 각 프레임 그룹이 포함하는 프레임들의 집합은 상기 복수의 프레임 그룹들 중 다른 프레임 그룹이 포함하는 프레임들의 집합과는 다르고, 각 프레임 그룹들 간의 시간 간격은 일정한 것이 바람직하다. The signal processing step may further include a step of forming a frame group redefining successive frames into a plurality of frame groups. A set of frames included in each frame group among the plurality of frame groups is different from a set of frames included in another frame group among the plurality of frame groups, and a time interval between each frame group is preferably constant.

상기 제1 추론 단계 및 상기 제2 추론 단계는 각 프레임 그룹을 일 단위로 하여 수행될 수 있다. The first reasoning step and the second reasoning step may be performed with each frame group as a unit.

본 발명의 일 실시예에 따른 실시간 소리 분석 시스템은 서로 통신하는 제1 분석 장치 및 제2 분석 장치를 포함하고, 상기 제1 분석 장치는 실시간으로 소리를 감지하는 입력부, 입력된 소리를 데이터로 가공하는 신호처리부, 상기 제1 학습부에 의해 학습되고, 상기 신호처리부에서 가공된 실시간 소리 데이터를 소리 유형 별로 분류하는 제1 분류기(Classifier), 상기 입력부, 신호처리부 및 제1 분류기로부터 수집된 데이터를 외부로 전송할 수 있는 제1 통신부, 실시간 소리 데이터를 제1 머신 러닝 방식으로 학습하여 소리 유형 정보를 구분하기 위한 제1 함수를 보완하도록 구성되는 제1 학습부를 포함하고, 상기 제2 분석 장치는 상기 제1 분석 장치로부터 데이터를 전송받는 제2 통신부, 상기 제2 학습부에 의해 학습되고, 상기 수신부에서 전송받은 실시간 소리 데이터를 소리 원인 별로 분류하는 제2 분류기(Classifier), 및 실시간 소리 데이터를 제2 머신 러닝 방식으로 학습하여 소리 원인 정보를 구분하기 위한 제2 함수를 보완하도록 구성되는 제1 학습부를 포함하는 것을 특징으로 한다. A real-time sound analysis system according to an embodiment of the present invention includes a first analysis device and a second analysis device that communicate with each other, and the first analysis device includes an input unit that detects sound in real time, and processes the input sound into data. A first classifier for classifying real-time sound data learned by the first learning unit and processed by the signal processing unit by sound type, the input unit, the data collected from the signal processing unit and the first classifier A first communication unit that can be transmitted to the outside, and a first learning unit configured to supplement a first function for classifying sound type information by learning real-time sound data using a first machine learning method, and the second analysis device includes the A second communication unit receiving data from a first analysis device, a second classifier that classifies real-time sound data learned by the second learning unit and transmitted from the receiving unit by sound cause, and real-time sound data. 2 It characterized in that it comprises a first learning unit configured to supplement a second function for classifying information on the cause of the sound by learning by a machine learning method.

상기 제1 분석 장치는 제1 표시부를 더 포함할 수 있고, 상기 제2 분석 장치는 제2 표시부를 더 포함할 수 있고, 각 표시부는 대응하는 분석 장치에서 분류된 소리 유형 및/또는 소리 원인을 출력할 수 있다. The first analysis device may further include a first display unit, and the second analysis device may further include a second display unit, and each display unit identifies a sound type and/or a sound cause classified by a corresponding analysis device. Can be printed.

상기 제2 분석 장치는 서버이거나 이동통신용 단말기일 수 있다. 상기 제2 분석 장치가 서버인 경우, 제2 통신부는 상기 소리 유형 및 소리 원인 중 적어도 하나를 이동통신용 단말기로 전송할 수 있고, 상기 이동통신용 단말기에서 입력받은 사용자의 피드백을 다시 수신할 수 있다. 상기 제2 분석 장치가 이동통신용 단말기인 경우, 소리 원인 분석을 이동통신용 단말기가 직접 수행하고, 사용자가 이동통신용 단말기에 피드백을 입력하면 이동통신용 단말기에서 제1 분석 장치에 사용자의 피드백을 직접 전송할 수도 있다. The second analysis device may be a server or a mobile communication terminal. When the second analysis device is a server, the second communication unit may transmit at least one of the sound type and the sound cause to the mobile communication terminal, and may receive a user's feedback input from the mobile communication terminal again. When the second analysis device is a mobile communication terminal, the mobile communication terminal directly performs sound cause analysis, and when the user inputs feedback into the mobile communication terminal, the mobile communication terminal may directly transmit the user's feedback to the first analysis device. have.

바람직하게는, 상기 제1 통신부가 상기 소리 유형에 관한 사용자의 피드백을 받은 경우, 상기 제1 학습부는 상기 피드백에 대응하는 소리 데이터에 관하여 제1 머신 러닝 방식으로 학습함으로써 상기 제1 분류기를 보완할 수 있다. 이러한 학습 과정은 실시간 소리 데이터가 수집되고 피드백을 받는 과정이 지속적으로 반복되어 분류기가 더 정확한 결과를 도출할 수 있도록 한다. Preferably, when the first communication unit receives a user's feedback on the sound type, the first learning unit may supplement the first classifier by learning about sound data corresponding to the feedback using a first machine learning method. I can. This learning process allows the classifier to derive more accurate results by continuously repeating the process of collecting real-time sound data and receiving feedback.

바람직하게는, 상기 제2 통신부가 상기 소리 원인에 관한 사용자의 피드백을 받은 경우, 상기 제2 학습부는 상기 피드백에 대응하는 소리 데이터에 관하여 제2 머신 러닝 방식으로 학습함으로써 상기 제2 분류기를 보완할 수 있다. 이러한 학습 과정은 실시간 소리 데이터가 수집되고 피드백을 받는 과정이 지속적으로 반복되어분류기가 더 정확한 결과를 도출할 수 있도록 한다. Preferably, when the second communication unit receives a user's feedback on the cause of the sound, the second learning unit may supplement the second classifier by learning about sound data corresponding to the feedback using a second machine learning method. I can. This learning process allows the classifier to derive more accurate results by continuously repeating the process of collecting real-time sound data and receiving feedback.

예를 들면, 상기 소리 유형 및 소리 원인에 대한 사용자의 피드백을 수신하면 상기 피드백을 기초로 머신 러닝 및/또는 딥 러닝을 통해 상기 제1 분류기 및/또는 제2 분류기를 발전시킬 수 있다. For example, upon receiving user feedback on the sound type and sound cause, the first classifier and/or the second classifier may be developed through machine learning and/or deep learning based on the feedback.

본 발명의 일 실시예에서, 인공지능에 기반한 실시간 소리 분석 시스템은 피드백 수용부를 더 포함할 수 있고, 상기 피드백 수용부는 사용자가 입력한 피드백을 제1 학습부 및 제2 학습부 중 적어도 어느 하나로 전송하고, 상기 피드백을 전송받은 학습부는 대응하는 함수를 보완할 수 있다. In an embodiment of the present invention, the real-time sound analysis system based on artificial intelligence may further include a feedback receiving unit, and the feedback receiving unit transmits the feedback input by the user to at least one of the first learning unit and the second learning unit. And, the learning unit receiving the feedback may supplement a corresponding function.

예를 들면, 상기 제2 학습부는 상기 제1 분석 장치에서 얻어진 정보를 추가 학습 데이터로 사용할 수 있다. For example, the second learning unit may use information obtained from the first analysis device as additional learning data.

상기 신호처리부는 상기 실시간 소리 데이터를 가공하기 용이하도록 최적화하는 신호처리를 수행하되, 상기 실시간 소리 데이터를 전처리한 후, 전처리된 소리 데이터를 시간 영역(time domain)의 복수의 프레임들로 구분하고, 상기 복수의 프레임의 각각의 프레임으로부터 특징 벡터를 추출할 수 있다. 상기 전처리는 예를 들어 정규화(Normalization), 주파수 필터링(Frequency Filtering), 템포럴 필터링(Temporal Filtering), 윈도잉(Windowing)일 수 있다. The signal processing unit performs signal processing for optimizing the real-time sound data to be easily processed, and after pre-processing the real-time sound data, divides the pre-processed sound data into a plurality of frames in a time domain, A feature vector may be extracted from each frame of the plurality of frames. The preprocessing may be, for example, normalization, frequency filtering, temporal filtering, and windowing.

상기 특징 벡터의 적어도 하나의 차원은 상기 소리 유형 정보에 관한 차원일 수 있다. At least one dimension of the feature vector may be a dimension related to the sound type information.

바람직하게는, 상기 제2 머신 러닝 방식은 딥 러닝(Deep Learning) 방식이고, 오류 역전파(Backpropagation)를 통해 상기 제2 분류기를 발전시킬(Developing) 수 있다. Preferably, the second machine learning method is a deep learning method, and the second classifier may be developed through error backpropagation.

본 발명의 일 실시예에 따르면, 머신 러닝에 기초하여 실시간으로 수집되는 소리의 유형 및 원인을 학습할 수 있고, 실시간으로 수집되는 소리의 유형과 원인에 대하여 보다 정확한 예측이 가능하다. According to an embodiment of the present invention, it is possible to learn the types and causes of sounds collected in real time based on machine learning, and it is possible to more accurately predict the types and causes of sounds collected in real time.

도 1은 본 발명과 관련된 실시간 소리 분석 방법 및 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명에 의한 실시간 소리 분석 시스템의 제1 실시예를 나타내는 도면이다.
도 3은 본 발명에 의한 실시간 소리 분석 시스템의 제2 실시예를 나타내는 도면이다.
도 4는 본 발명에 의한 실시간 소리 분석 시스템의 제3 실시예를 나타내는 도면이다.
도 5는 본 발명에 의한 실시간 소리 분석 방법에 관한 블록도이다.
도 6은 소리 데이터의 신호처리에 관한 블록도이다.
도 7은 소리 데이터를 프레임별로 분류하여 특징 벡터를 추출하는 일 실시예를 나타내는 도면이다. 1 is a conceptual diagram illustrating a real-time sound analysis method and system related to the present invention.
2 is a diagram showing a first embodiment of a real-time sound analysis system according to the present invention.
3 is a diagram showing a second embodiment of a real-time sound analysis system according to the present invention.
4 is a diagram showing a third embodiment of a real-time sound analysis system according to the present invention.
5 is a block diagram of a real-time sound analysis method according to the present invention.
6 is a block diagram of signal processing of sound data.
7 is a diagram illustrating an embodiment of extracting a feature vector by classifying sound data for each frame.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for constituent elements used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.

도 1은 본 발명과 관련된 실시간 소리 분석 방법 및 시스템을 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating a real-time sound analysis method and system related to the present invention.

주변 소리(10)가 발생하면 이는 실시간으로 마이크와 같은 입력부(610)를 통해 감지되고 데이터로 저장된다. 주변 소리(10)는 소리가 가의 없는 무음(11)일 수도 있고, 사용자가 관심을 가지지 않는 소리, 즉 잡음(12)일 수도 있으며, 사용자가 분류하거나 분석하고자 하는 관심 소리(13)일 수도 있다. 상기 관심 소리(13)는 경우에 따라 환자의 신음(131)일 수도 있고, 아기 울음 소리(132)일 수도 있고, 성인의 음성(133)일 수도 있다. 그러나 상기 관심 소리(13)는 위 3가지 예에 한정되지 않고 교통사고 충돌 소리, 차량 작동 소리, 동물 소리 등 모든 소리가 될 수 있다. When the ambient sound 10 occurs, it is detected through an input unit 610 such as a microphone and stored as data in real time. The ambient sound 10 may be a silent sound 11 with no meaning to the sound, a sound that the user does not care about, that is, a noise 12, or may be a sound of interest 13 that the user wants to classify or analyze. . The sound of interest 13 may be a patient's moaning sound 131, a baby crying sound 132, or an adult's voice 133, depending on the case. However, the sound of interest 13 is not limited to the above three examples, and may be any sound such as a traffic accident collision sound, vehicle operation sound, and animal sound.

예를 들어 관심 소리(13)가 성인의 음성(133)인 경우, 아기 울음 소리(132)는 잡음(12)으로 분류될 수 있다. 예를 들어 관심 소리(13)가 동물 소리인 경우, 환자의 신음(131), 아기 울음 소리(132), 성인의 음성(133) 및 교통사고 충돌 소리 등은 잡음(12)으로 분류될 수 있다. For example, when the sound of interest 13 is an adult's voice 133, the baby crying sound 132 may be classified as a noise 12. For example, when the sound of interest 13 is an animal sound, a patient's groan 131, a baby's cry 132, an adult's voice 133, and a traffic accident collision sound may be classified as noise 12. .

이와 같은 소리 유형의 분류는 제1 분석 장치(600)에서 제1 분류기(630)에 의해 수행될 수 있다. 상기 제1 분류기(630)는 제1 학습부(650)를 통해 머신 러닝 방식으로 기능이 강화될 수 있다. 우선, 사전 수집된 소리 데이터(S001)의 적어도 일부에 소리 유형을 레이블링(Labeling)한다. 이후, 상기 제1 학습부(650)는 소리 유형이 레이블된(Labeled) 사전 수집된 소리 데이터(S001)를 활용하여 머신 러닝 방식으로 제1 분류기(630)의 제1 함수(f1)를 학습시킨다. 상기 제1 분류기(630)는 로지스틱 회귀분석 분류기(Logistic Regression Classifier)일 수 있다. 즉, 분류기의 함수는 데이터에 의해 머신 러닝 방식으로 훈련되어 성능이 개선될 수 있다. The classification of the sound type may be performed by the first classifier 630 in the first analysis device 600. The first classifier 630 may be enhanced with a machine learning method through the first learning unit 650. First, a sound type is labeled on at least a part of the pre-collected sound data S001. Thereafter, the first learning unit 650 learns the first function f1 of the first classifier 630 using a machine learning method using pre-collected sound data S001 labeled with a sound type. . The first classifier 630 may be a logistic regression classifier. That is, the function of the classifier can be trained in a machine learning method based on data to improve performance.

지도 학습(Supervised Learning)은 트레이닝 데이터를 이용해 하나의 함수를 훈련시키기 위한 머신 러닝 방법 중 하나인데, 트레이닝 데이터는 일반적으로 입력 객체에 대한 속성을 벡터 형태로 포함하고 있으며 각각의 벡터에 대해 원하는 결과가 무엇인지 표시되어 있다. 이렇게 훈련된 함수 중 연속적인 값을 출력하는 것을 회귀분석(Regression)이라 하고 주어진 입력 벡터가 어떤 종류의 값인지 표식하는 것을 분류(Classification)라 한다. 반면 비 지도 학습(Unsupervised Learning)은 지도 학습과는 달리 입력값에 대한 목표치가 주어지지 않는다. Supervised Learning is one of the machine learning methods for training a function using training data. Training data generally contains the properties of the input object in the form of a vector, and the desired result for each vector is obtained. It is marked what it is. Among these trained functions, outputting continuous values is called regression, and marking what kind of value a given input vector is called classification. On the other hand, in unsupervised learning, unlike supervised learning, a target value for input is not given.

바람직하게는, 본 발명의 일 실시예에서, 제1 학습부(650)는 지도 학습과 비 지도 학습의 중간 성격을 갖는 준 지도 학습(Semi-supervised Learning) 방식을 사용할 수 있다. 상기 준 지도 학습은 목표값이 표시된 데이터와 표시되지 않은 데이터를 모두 훈련에 사용하는 것을 말한다. 대개의 경우 이러한 방법에 사용되는 트레이닝 데이터는 목표값이 표시된 데이터가 적고 표시되지 않은 데이터를 많이 갖고 있다. 상기 준 지도 학습을 사용하면 레이블링 작업에 드는 시간과 비용을 크게 아낄 수 있다. Preferably, in an embodiment of the present invention, the first learning unit 650 may use a semi-supervised learning method having an intermediate characteristic between supervised learning and unsupervised learning. The quasi-supervised learning refers to using both data with a target value displayed and data not displayed for training. In most cases, the training data used in this method has a small amount of data with a target value indicated and a lot of data not indicated. The use of the quasi-supervised learning can greatly save time and cost for labeling.

상기 목표값을 표시하는 작업이 레이블링(Labeling)이다. 예를 들면, 주변 소리(10)가 발생하고, 그 소리 데이터를 입력이라 하면, 그 소리의 유형이 무음(11)인지, 잡음(12)인지 또는 관심 소리(13)인지에 대하여 표시하는 것이 레이블링 작업이다. 즉, 레이블링은 데이터에 출력의 예를 미리 표시하고 이를 머신 러닝 알고리즘에 의해 함수를 학습시키기 위한 기초 작업이다. The task of displaying the target value is labeling. For example, if ambient sound (10) is generated and the sound data is input, labeling indicates whether the type of sound is silent (11), noise (12), or sound of interest (13). It's a job. In other words, labeling is a basic operation for pre-marking an example of an output in data and learning a function using a machine learning algorithm.

사람이 직접 표시하는 것이 지도 학습, 표시하지 않는 것이 비 지도 학습이고, 일부는 사람이 직접 표시하고, 나머지는 표시하지 않는 것이 준 지도 학습이다. What a person directly displays is supervised learning, and what does not display is unsupervised learning, and some is directly marked by a person, and others are not marked as quasi-supervised learning.

본 발명의 일 실시예에서, 제1 분석 장치(600)는 준 지도 학습에 기반한 자동 레이블링(Auto-labeling) 작업을 수행할 수 있다. 레이블(Label)이란, 함수가 출력해야 할 결과값들을 의미한다. 예를 들어, 상기 레이블은 무음, 잡음, 아기 울음 소리, 울음 소리를 제외한 아기 소리 등의 결과값들이다. 상기 자동 레이블링은 아래와 같은 순서로 수행될 수 있다. 상기 자동 레이블링은 예를 들어 제1 학습부(650)가 수행할 수 있다. In an embodiment of the present invention, the first analysis device 600 may perform an auto-labeling operation based on semi-supervised learning. Label means the result values that the function should output. For example, the labels are result values such as silence, noise, baby crying sound, and baby sounds excluding crying sounds. The automatic labeling may be performed in the following order. The automatic labeling may be performed, for example, by the first learning unit 650.

우선, 사람이 개입하여 일정한 개수(예를 들어, 100개)의 데이터에 대해 레이블을 표시한다. 이후부터 수집되는 소리 데이터에 대해서는 레이블을 표시하는 작업을 하지 않고 적절한 신호처리를 진행한 후 차원 축소 작업을 거친다. 동질성을 지닌 집단을 분류하는 클러스터링 기법을 사용하여 하나의 동질성으로 분류되는 복수의 데이터들을 하나의 데이터 군으로 묶는다. 이 때, 상기 클러스터링 기법은 사전 결정된 하이퍼 파라미터(Hyperparameter)를 기준으로 하여 분류를 진행하되, 상기 하이퍼 파라미터는 향후 수행되는 학습 정확도에 따라 변경될 수 있다. First, a person intervenes and displays a label for a certain number of data (for example, 100). For sound data collected from then on, the label is not displayed, but appropriate signal processing is performed and then dimension reduction is performed. A clustering technique that classifies a group with homogeneity is used to group a plurality of data classified as a homogeneity into a single data group. In this case, the clustering technique is classified based on a predetermined hyperparameter, but the hyperparameter may be changed according to a learning accuracy to be performed in the future.

다음으로, 복수의 데이터 군이 형성되면 각 데이터 군 별로 사전 결정된 개수(예를 들어, 4개의 데이터)만큼만 무작위로 골라 어떤 특징을 가진 요소인지를 판별한다. 예를 들면, 만약, 제1 데이터 군에서 고른 4개의 데이터 중 3개 이상이 잡음에 해당하는 것으로 확인되면, 제1 데이터 군은 모두 잡음으로 간주하고 제1 데이터 군 내의 모든 데이터를 잡음으로 레이블링 한다. 만약, 제2 데이터 군에서 고른 4개의 데이터 중 2개 이하가 아기 울음 소리에 해당한다면 제2 데이터 군 내의 모든 데이터를 잡음 또는 무음으로 레이블링 한다. Next, when a plurality of data groups are formed, only a predetermined number (eg, 4 data) for each data group is randomly selected to determine which element has a characteristic. For example, if three or more of the four data selected from the first data group are found to correspond to noise, all of the first data group are regarded as noise, and all data in the first data group are labeled as noise. . If two or less of the four data selected from the second data group correspond to the baby's crying sound, all data in the second data group are labeled as noise or silence.

다음으로, 이렇게 사전 결정된 알고리즘으로 레이블링을 수행하고, 레이블 된 데이터들은 학습 데이터로 활용한다. 이 경우 정확도 지표가 높아지면 상기 알고리즘으로 레이블링을 지속하고, 정확도 지표가 낮아지면 차원 축소 방식을 변경하거나 클러스터링의 파라미터를 변경하고, 앞의 과정을 다시 수행한다. Next, labeling is performed with this predetermined algorithm, and the labeled data is used as training data. In this case, if the accuracy index increases, labeling is continued with the algorithm, and if the accuracy index decreases, the dimensionality reduction method is changed or the clustering parameter is changed, and the previous process is performed again.

한편, 제1 분석 장치(600)가 관심 소리(13)를 감지하여 표시함으로써 사용자(2)에게 편리함을 제공하기는 하지만, 사용자(2)는 청력을 가진 인간으로서, 현재 주변에서 환자가 신음을 내는지 안 내는지 인지할 수 있고, 아기가 우는지 안 우는지 인지할 수 있으며, 동물이 소리를 내는지 안 내는지 인지할 수 있다. 이는 인간의 오감 중 하나인 청력이 손상되지 않았다면 구분할 수 있는 요소이다. 그러나 사용자(2)는 환자가 신음을 낼 때 그 소리만 듣고 어느 부위가 아파서 신음을 내는지를 알기는 어렵다. 마찬가지로, 사용자(2)는 아기가 울 때 그 소리만 듣고 아기가 무엇을 원하는지 알기는 어렵다. On the other hand, although the first analysis device 600 provides convenience to the user 2 by detecting and displaying the sound of interest 13, the user 2 is a human with hearing, and the patient groans in the surroundings. It can recognize whether it is making or not, it can recognize whether a baby is crying or not, and it can recognize whether an animal is making a sound or not. This is an element that can be distinguished if the hearing ability, one of the human senses, is not damaged. However, it is difficult for the user 2 to hear only the sound when the patient makes a groan and know which part is painful and makes the groan. Similarly, it is difficult for the user 2 to hear only the sound when the baby cries and know what the baby wants.

관심 소리(13)가 감지되면 제1 분석 장치(600)는 제2 분석 장치(700)로 신호처리된 실시간 소리 데이터를 전송한다. 관심 소리(13)가 발생하는 원인은 제1 원인, 제2 원인 및 제3 원인 등 여러가지가 있을 수 있고, 사용자(2)의 수요는 관심 소리(13)의 발생 원인에 집중된다. When the sound of interest 13 is detected, the first analysis device 600 transmits the signal-processed real-time sound data to the second analysis device 700. There may be various causes of the sound of interest 13 to be generated, such as a first cause, a second cause, and a third cause, and the demand of the user 2 is concentrated on the cause of the sound of interest 13.

예를 들어 상기 관심 소리(13)가 아기 울음 소리(132)인 경우, 아기는 배가 고파서 울었을 수도 있고, 변의(便意)를 느껴 울었을 수도 있고, 기저귀에 대소변을 싼 후 불편감 때문에 울었을 수도 있고, 졸려서 울었을 수도 있다. 또는, 감정 상태에 따라 슬퍼서 울었을 수도 있고, 슬퍼하다가 기뻐하면서 울음 소리를 낼 수도 있다. 이처럼, 아기의 울음 소리는 성인이 듣기에 유사하게 들릴지 몰라도 그 원인은 다양하다. For example, if the interest sound 13 is the baby crying sound 132, the baby may have cried because he was hungry, or he may have cried because he felt stool, or because of discomfort after packing a diaper. Maybe he was sleepy and cried. Or, depending on your emotional state, you may have cried because you were sad, or you may cry out while rejoicing while you are sad. As such, the baby's cry may sound similar to an adult's hearing, but the causes are varied.

예를 들어 상기 관심 소리(13)가 환자의 신음(131)인 경우, 본 발명의 일 실시예에 따르면 환자의 목소리에서 발생하는 다양한 소리를 통해 발견하기 어려운 특정 질병을 조기에 발견하도록 하는 것이 가능하다. 또한, 환자의 신음(131)이 아니라 환자의 몸에서 발생하는 다양한 소리 역시 상기 관심 소리(13)가 될 수 있다. 구체적으로, 제1 분석 장치(600)로 환자의 소변 소리를 관심 소리(13)로서 감지한 후 제2 분석 장치(700)로 환자가 전립선 비대증을 앓고 있는지 여부를 분석할 수 있다. For example, if the sound of interest 13 is the patient's groan 131, according to an embodiment of the present invention, it is possible to detect a specific disease that is difficult to detect early through various sounds generated from the patient's voice. Do. In addition, various sounds generated by the patient's body rather than the patient's groaning 131 may also be the sounds of interest 13. Specifically, after the first analysis device 600 detects the urine sound of the patient as the sound of interest 13, the second analysis device 700 may analyze whether the patient suffers from an enlarged prostate.

예를 들어 상기 관심 소리(13)가 베어링 마찰음인 경우, 본 발명의 일 실시예에 따르면 베어링이 회전하며 발생하는 다양한 소리를 통해 사고 원인이 될 수 있는 결함을 조기에 발견하도록 하는 것이 가능하다. For example, when the sound of interest 13 is a bearing friction sound, according to an embodiment of the present invention, it is possible to detect a defect that may cause an accident early through various sounds generated as the bearing rotates.

이와 같은 소리 원인의 분류는 제2 분석 장치(700)에서 제2 분류기(710)에 의해 수행될 수 있다. 상기 제2 분류기(710)는 제2 학습부(750)를 통해 딥 러닝 방식으로 기능이 강화될 수 있다. 우선, 사전 수집된 소리 데이터(S001)의 적어도 일부에 소리 원인을 레이블링(Labeling)한다. 이후, 상기 제2 학습부(750)는 소리 원인이 레이블된(Labeled) 사전 수집된 소리 데이터(S001)를 활용하여 딥 러닝 방식으로 제2 분류기(710)의 제2 함수(f2)를 학습시킨다. The classification of the cause of the sound may be performed by the second classifier 710 in the second analysis device 700. The function of the second classifier 710 may be enhanced through a deep learning method through the second learning unit 750. First, a sound cause is labeled on at least a part of the sound data S001 collected in advance. Thereafter, the second learning unit 750 learns the second function f2 of the second classifier 710 in a deep learning method by using pre-collected sound data S001 in which the sound cause is labeled. .

제1 분석 장치(600) 및 제2 분석 장치(700) 간의 통신으로 사용자(2)는 관심 소리(13)의 발생 여부 및 관심 소리(13)의 발생 원인(21, 22, 23)을 파악할 수 있다. Through communication between the first analysis device 600 and the second analysis device 700, the user 2 can determine whether the sound of interest 13 is generated and the cause (21, 22, 23) of the sound of interest 13 have.

본 발명의 일 실시예에서, 상기 소리 원인은 소리를 발생시키는 주체의 상태(State)일 수 있다. 즉, 아기가 우는 '원인'이 배고픔이라면, 마찬가지로 아기는 배가 고픈 '상태'에 있다고 볼 수 있다. 상기 '상태'라는 용어는 아기가 울고 있다는 1차적인 의미로 이해될 수도 있으나, 본 발명의 일 실시예의 제2 분석 장치(700)에서 얻고자 하는 데이터는 아기가 울고 있는 이유와 같은 2차적인 의미로 이해되는 것이 바람직하다. In an embodiment of the present invention, the cause of the sound may be a state of a subject generating the sound. In other words, if the'cause' of the baby's cry is hunger, it can be seen that the baby is also in a'state' of hunger. The term'state' may be understood as the primary meaning that the baby is crying, but the data to be obtained from the second analysis device 700 according to an embodiment of the present invention are secondary, such as the reason why the baby is crying. It is desirable to be understood by meaning.

본 발명의 일 실시예에서, 제1 분석 장치(600)는 소리가 아닌 다른 정보를 감지하여 소리와 함께 분석을 수행함으로써 분석 대상의 상태(소리 발생의 원인) 분석 정확도를 향상시킬 수 있다. 예를 들면, 아기가 뒤척이는 진동을 감지하여 추가로 분석할 수 있다. 이에 따라, 진동을 감지하는 장치가 추가로 구성될 수 있다. 또는 진동을 감지하는 모듈이 제1 분석 장치(600)에 장착될 수 있다. 진동을 감지하는 장치는 일 예일 뿐이고, 설정된 관심 소리(13)와 관련된 정보를 감지하는 장치라면 추가가 가능하다. In an embodiment of the present invention, the first analysis device 600 may detect information other than sound and perform analysis together with sound, thereby improving the accuracy of analyzing the state of the analysis object (the cause of sound generation). For example, it can detect and further analyze the vibrations of the baby's tossing. Accordingly, a device for sensing vibration may be additionally configured. Alternatively, a module for sensing vibration may be mounted on the first analysis device 600. The device for sensing vibration is only an example, and any device that detects information related to the set sound of interest 13 can be added.

본 발명의 일 실시예에서, 제1 분석 장치(600)는 복수의 관심 소리(13)를 감지하여 소리와 함께 분석을 수행함으로써 분석 대상의 상태(소리 발생의 원인) 분석 정확도를 향상시킬 수 있다. In an embodiment of the present invention, the first analysis device 600 may detect a plurality of sounds of interest 13 and perform analysis together with the sounds, thereby improving the accuracy of analyzing the state of the analysis object (the cause of sound generation). .

예를 들면, 누군가 넘어지는 소리 및 부딪히는 소리가 감지된 후 아기의 울음 소리가 감지되었을 경우, 장치가 아기 울음 소리만 분석하면 그 원인이 '고통스러움'으로 분석될 확률이 낮을 수 있으나(예를 들면, 60%), 넘어지는 소리 및 부딪히는 소리가 울음 소리 직전에 발생했다는 정보를 함께 분석하여 아기 울음 소리의 원인이 '고통스러움'일 것이라고 더 높은 확률(예를 들면, 90%)로 분석할 수 있다. 즉, 장치의 신뢰도가 향상될 수 있다. For example, if a baby's cry is detected after the sound of someone falling or bumping is detected, the probability that the cause will be analyzed as'painfulness' may be low if the device analyzes only the crying sound of the baby (e.g. For example, 60%), by analyzing the information that the falling sound and the bumping sound occurred immediately before the crying sound, the cause of the crying sound of the baby is'painfulness' and analyzed with a higher probability (e.g., 90%). I can. That is, the reliability of the device can be improved.

본 발명의 일 실시예에서, 상기 제1 분석 장치(600)는 사용자(2)가 소리를 감지하고자 하는 대상의 근처에 배치되는 것이 바람직하다. 따라서 상기 제1 분석 장치(600)는 이동성이 요구될 수 있고, 그 데이터 저장 용량은 작을 수 있다. 즉, 이동이 필요한 장치에 포함되는 센서 등의 소형(또는 초소형) 장치의 경우 컴퓨팅 자원(메모리 사용량, CPU 사용량), 네트워크 자원, 배터리 자원이 일반 데스크탑 또는 서버 환경에 비해 매우 부족한 것이 일반적이다. 즉, 제1 분석 장치(600) 배치 후 주변 소리(10)가 발생하면 이에 대한 원본 데이터 중 인공지능 분석, 특히 머신 러닝 또는 딥 러닝을 위해 필요한 핵심 정보만이 저장되는 것이 바람직하다. In an embodiment of the present invention, it is preferable that the first analysis device 600 is disposed near an object for which the user 2 wants to detect sound. Accordingly, the first analysis device 600 may require mobility, and its data storage capacity may be small. That is, in the case of a small (or ultra-small) device such as a sensor included in a device that needs to be moved, computing resources (memory usage, CPU usage), network resources, and battery resources are generally very short compared to a general desktop or server environment. That is, when the ambient sound 10 occurs after the first analysis device 600 is placed, it is preferable that only core information necessary for artificial intelligence analysis, especially machine learning or deep learning, is stored among the original data for this.

예를 들면 마이크로 컨트롤러 유닛(Micro Controller Unit; MCU) 기반의 프로세서는 데스크탑 컴퓨터가 사용하는 프로세서에 비해 대략 수십만분의 1 수준에 그친다. 특히, 소리 데이터와 같은 미디어 데이터의 경우 데이터의 크기가 매우 크기 때문에, 데스크탑 컴퓨터처럼 원본 데이터를 메모리에 저장해두고 처리를 하는 것은 불가능하다. 예를 들어 4분 길이의 음성 데이터(44.1KHz sampling rate)는 크기가 보통 40MB 정도인데, 고성능 MCU의 시스템의 전체 메모리 용량은 64KB 수준에 그쳐 약 600분의 1 수준에 그친다. For example, a processor based on a microcontroller unit (MCU) is only about a few hundred thousandths of a processor used in a desktop computer. In particular, in the case of media data such as sound data, since the size of the data is very large, it is impossible to store and process the original data in memory like a desktop computer. For example, a 4-minute long voice data (44.1KHz sampling rate) is usually about 40MB, but the total memory capacity of a high-performance MCU system is only 64KB, which is about 1 in 600.

따라서 본 발명의 일 실시예에 따른 제1 분석 장치(600)는 분석할 원본 데이터를 메모리에 저장해두고 처리를 하는 기존 방식과는 달리 원본 데이터에 대한 중간 처리(예를 들면, FFT, Arithmetic computation 등)를 먼저 진행한 후 인공지능 분석 과정에 필요한 일부 정보만 핵심 벡터로 생성한다. Therefore, the first analysis device 600 according to an embodiment of the present invention stores the original data to be analyzed in a memory and processes the original data in an intermediate process (e.g., FFT, Arithmetic computation, etc.). ) First, and then only some information necessary for the artificial intelligence analysis process is created as a core vector.

상기 핵심 벡터는 전처리(Preprocessing) 및 특징 벡터(Feature Vector)와는 다르다. 상기 핵심 벡터는 원본 데이터를 실시간으로 전처리한 후 그 결과를 이용해 곧바로 특징 벡터 연산을 하는 과정을 거친 것이 아니라, 이후에 구해낼 특징 벡터의 연산에 필요한 전처리 중간 연산값 및 원본 데이터의 중간 연산값을 저장한 것이다. 이는 엄격히 말하면 원본 데이터의 압축은 아니다. The core vector is different from preprocessing and feature vectors. The core vector does not pre-process the original data in real time and then immediately performs a feature vector operation using the result, but stores the pre-processed intermediate operation value required for the calculation of the feature vector to be obtained later and the intermediate operation value of the original data. I did it. This is not strictly speaking the compression of the original data.

따라서 전처리 및 특징 벡터 추출보다 핵심 벡터 연산이 먼저 수행되고, 제1 분석 장치(600)는 원본 데이터 대신 핵심 벡터를 저장함으로써 부족한 연산 능력 및 저장 공간의 한계를 극복할 수 있다. Therefore, the core vector operation is performed prior to the preprocessing and feature vector extraction, and the first analysis device 600 stores the core vector instead of the original data, thereby overcoming the limitation of insufficient computational power and storage space.

바람직하게는, 제1 분석 장치(600)에서 제2 분석 장치(700)로 (또는 다른 장치로) 전송하는 데이터는 실시간 소리 데이터의 핵심 벡터 정보일 수 있다. 즉, 실시간으로 수집되는 소리를 제2 분석 장치(700)로 (또는 다른 장치로) 전송하는 작업 역시 실시간으로 수행되어야 하므로 제1 분석 장치(600)의 신호처리부에서 생성된 핵심 벡터 정보만을 제2 분석 장치(700)로 전송하는 것이 유리하다. Preferably, data transmitted from the first analysis device 600 to the second analysis device 700 (or to another device) may be key vector information of real-time sound data. That is, since the operation of transmitting the sound collected in real time to the second analysis device 700 (or to another device) must also be performed in real time, only the core vector information generated by the signal processing unit of the first analysis device 600 is used. It is advantageous to transmit to the analysis device 700.

이하, 음원(1), 제1 분석 장치(600), 제2 분석 장치(700), 이동통신용 단말기(800) 및 사용자(2) 간의 상호작용에 대하여 도 2 내지 5를 활용하여 상세히 설명한다. Hereinafter, the interaction between the sound source 1, the first analysis device 600, the second analysis device 700, the mobile communication terminal 800, and the user 2 will be described in detail using FIGS. 2 to 5.

도 2는 본 발명에 의한 실시간 소리 분석 시스템의 제1 실시예를 나타내는 도면이다. 2 is a diagram showing a first embodiment of a real-time sound analysis system according to the present invention.

음원(1)은 아기일 수도 있고, 동물일 수도 있고, 물건일 수도 있다. 도 2에서는 우는 아기가 도시되어 있다. 예를 들어 아기 울음 소리(132)가 입력부(610)에 의해 감지되면, 실시간 소리 데이터(S002)로 저장되어 신호처리부(620)에 의해 머신 러닝에 맞도록 신호처리 된다. 신호처리 된 실시간 소리 데이터는 제1 함수(f1)를 포함하는 제1 분류기(630)에 의해 소리 유형으로 분류된다. The sound source 1 may be a baby, an animal, or an object. In Figure 2 a crying baby is shown. For example, when the baby's crying sound 132 is detected by the input unit 610, it is stored as real-time sound data (S002) and processed by the signal processing unit 620 to match machine learning. The signal-processed real-time sound data is classified as a sound type by a first classifier 630 including a first function f1.

제1 분류기(630)에 의해 소리 유형으로 분류된 실시간 소리 데이터는 제1 통신부(640)와 제2 통신부(740)의 통신에 의해 제2 분석 장치(700)에 전송된다. 전송된 실시간 소리 데이터 중 관심 소리에 관한 데이터는 제2 분류기(730)에 의해 소리 원인으로 분류된다. The real-time sound data classified as sound type by the first classifier 630 is transmitted to the second analysis device 700 through communication between the first communication unit 640 and the second communication unit 740. Among the transmitted real-time sound data, data related to a sound of interest is classified as a sound cause by the second classifier 730.

제1 학습부(650)는 머신 러닝에 의해 제1 분류기(630)의 제1 함수(f1)를 학습시킨다. 여기서 입력은 주변 소리(10)고, 출력은 소리 유형이다. 상기 소리 유형은 무음(11), 잡음(12) 및 관심 소리(13)를 포함하되, 다른 유형이 포함될 수 있다. 예를 들어 복수의 관심 소리를 두어 소리 유형에 무음(11), 잡음(12), 제1 관심 소리 및 제2 관심 소리, 제3 관심 소리가 포함될 수 있다. 예를 들어 상기 무음(11)과 잡음(12)도 다른 유형으로 변경될 수 있다. The first learning unit 650 learns the first function f1 of the first classifier 630 by machine learning. Here, the input is the ambient sound (10), and the output is the sound type. The sound types include silence 11, noise 12, and sound of interest 13, but other types may be included. For example, a plurality of sounds of interest may be placed, and sound types may include silence 11, noise 12, a first sound of interest, a second sound of interest, and a third sound of interest. For example, the silence 11 and the noise 12 may also be changed to other types.

상기 제1 분류기(630)는 사전 수집된 소리 데이터(S001)를 활용하여 학습된 제1 함수(f1)를 포함한다. 즉, 입력인 실시간 소리 데이터가 제1 함수(f1)를 거쳐 출력인 소리 유형으로 분류될 수 있도록 사전 학습이 이루어진다. 그러나 상기 사전 학습이 이루어지더라도 제1 함수(f1)가 완벽하지 않으므로 지속적으로 보완되는 것이 바람직하다. 실시간 소리 데이터(S002)가 지속적으로 유입되고 이에 대한 결과값이 출력된 후, 사용자(2)가 오류가 있는 결과값들에 대해 피드백을 입력하면 제1 학습부(650)가 이를 반영하여 제1 분류기(630)를 다시 학습시킨다. 이러한 과정이 반복되면서 제1 함수(f1)는 점점 보완되고, 소리 유형 분류 정확도가 향상된다. The first classifier 630 includes a first function f1 learned using pre-collected sound data S001. That is, pre-learning is performed so that the input real-time sound data can be classified into the output sound type through the first function f1. However, even if the prior learning is performed, since the first function f1 is not perfect, it is desirable to be continuously supplemented. After the real-time sound data (S002) is continuously introduced and the result values are output, when the user 2 inputs feedback on the result values with errors, the first learning unit 650 reflects this and The classifier 630 is trained again. As this process is repeated, the first function f1 is gradually supplemented, and the accuracy of classification of sound types is improved.

상기 제2 분류기(730)는 사전 수집된 소리 데이터(S001)를 활용하여 학습된 제2 함수(f2)를 포함한다. 즉, 입력인 실시간 소리 데이터가 제2 함수(f2)를 거쳐 출력인 소리 원인으로 분류될 수 있도록 사전 학습이 이루어진다. 그러나 상기 사전 학습이 이루어지더라도 제2 함수(f2)가 완벽하지 않으므로 지속적으로 보완되는 것이 바람직하다. 실시간 소리 데이터(S002)가 지속적으로 유입되고 이에 대한 결과값이 출력된 후, 사용자(2)가 오류가 있는 결과값들에 대해 피드백을 입력하면 제2 학습부(750)가 이를 반영하여 제2 분류기(730)를 다시 학습시킨다. 이러한 과정이 반복되면서 제2 함수(f2)는 점점 보완되고, 소리 원인 분류 정확도가 향상된다. The second classifier 730 includes a second function f2 learned using pre-collected sound data S001. That is, pre-learning is performed so that the input real-time sound data can be classified as an output sound source through the second function f2. However, even if the prior learning is performed, since the second function f2 is not perfect, it is desirable to be continuously supplemented. After the real-time sound data (S002) is continuously introduced and the result values are output, when the user 2 inputs feedback on the result values with errors, the second learning unit 750 reflects this and The classifier 730 is trained again. As this process is repeated, the second function f2 is gradually supplemented, and the accuracy of classification of sound causes is improved.

제1 분석 장치(600)는 제1 표시부(670)를 포함할 수 있다. 제1 표시부(670)는 예를 들면 조명, 스피커, 텍스트 표시부 및 디스플레이 패널일 수 있다. 상기 제1 표시부(670)는 소리 유형을 표시할 수 있고, 바람직하게는 제2 분석 장치(700)로부터 전송받은 소리 원인을 표시할 수도 있다. The first analysis device 600 may include a first display unit 670. The first display unit 670 may be, for example, a lighting, a speaker, a text display unit, and a display panel. The first display unit 670 may display a sound type, and preferably, a sound cause transmitted from the second analysis device 700 may be displayed.

제2 분석 장치(700)는 제2 표시부(770)를 포함할 수 있다. 제2 표시부(770)는 예를 들면 조명, 스피커, 텍스트 표시부 및 디스플레이 패널일 수 있다. 상기 제2 표시부(770)는 소리 원인을 표시할 수 있고, 바람직하게는 제1 분석 장치(600)로부터 전송받은 소리 유형을 표시할 수도 있다. The second analysis device 700 may include a second display unit 770. The second display unit 770 may be, for example, a lighting, a speaker, a text display unit, and a display panel. The second display unit 770 may display the cause of the sound, and preferably, may display the type of sound transmitted from the first analysis device 600.

제1 분석 장치(600)의 구성 요소들은 제1 제어부(660)에 의해 제어된다. 제1 제어부(660)는 입력부(610)에 의해 주변 소리(10)가 감지되면 신호처리 및 분류를 실행하도록 신호처리부(620) 및 제1 분류기(630)에 명령을 내릴 수 있고, 분류 결과 및 실시간 소리 데이터를 제2 분석 장치(700)에 전송하도록 제1 통신부(640)에 명령을 전달할 수 있다. 또한, 실시간 소리 데이터의 유입에 따라 제1 학습부(650)가 제1 분류기(630)를 보완하는 학습을 시킬 것인지 결정할 수 있다. 또한, 상기 제1 제어부(660)는 분류 결과를 제1 표시부(670)에 표시하도록 제어할 수 있다. Components of the first analysis device 600 are controlled by the first control unit 660. The first control unit 660 may issue a command to the signal processing unit 620 and the first classifier 630 to execute signal processing and classification when the ambient sound 10 is detected by the input unit 610, and the classification result and A command may be transmitted to the first communication unit 640 to transmit real-time sound data to the second analysis device 700. In addition, according to the inflow of real-time sound data, the first learning unit 650 may determine whether to perform learning to supplement the first classifier 630. In addition, the first control unit 660 may control the classification result to be displayed on the first display unit 670.

제2 분석 장치(700)의 구성 요소들은 제2 제어부(760)에 의해 제어된다. 제2 제어부(760)는 제1 분석 장치(600)로부터 데이터를 전송받으면 분류를 실행하도록 제2 분류기(730)에 명령을 내릴 수 있고, 분류 결과를 제1 분석 장치(600)에 전송하도록 제2 통신부(740)에 명령을 전달할 수 있다. 또한, 실시간 소리 데이터의 유입에 따라 제2 학습부(750)가 제2 분류기(730)를 보완하는 학습을 시킬 것인지 결정할 수 있다. 또한, 상기 제2 제어부(760)는 분류 결과를 제2 표시부(770)에 표시하도록 제어할 수 있다. Components of the second analysis device 700 are controlled by the second control unit 760. When receiving data from the first analysis device 600, the second control unit 760 may issue a command to the second classifier 730 to perform classification, and transmit the classification result to the first analysis device 600. 2 A command can be transmitted to the communication unit 740. In addition, according to the inflow of real-time sound data, the second learning unit 750 may determine whether to perform learning to supplement the second classifier 730. In addition, the second control unit 760 may control the classification result to be displayed on the second display unit 770.

사용자(2)는 이동통신용 단말기(800)에 설치된 애플리케이션을 통해 소리의 유형 및 원인에 대한 분석을 제공받는다. 즉, 제1 분석 장치(600)는 제1 통신부(640)에서 신호처리된 실시간 소리 데이터 및 소리 유형 분류 결과를 제2 통신부(740)로 전송하고 제2 분석 장치(700)는 전송받은 데이터를 기초로 소리 원인을 분류한다. 이후 제2 분석 장치(700)는 제1 분석 장치(600) 및 제2 분석 장치(700)에서 수행된 분석 결과를 이동통신용 단말기(800)로 전송하고, 사용자(2)는 애플리케이션을 통해 상기 분석 결과에 접근할 수 있다. The user 2 is provided with an analysis of the type and cause of sound through an application installed in the mobile communication terminal 800. That is, the first analysis device 600 transmits the real-time sound data and sound type classification results processed by the first communication unit 640 to the second communication unit 740, and the second analysis device 700 transmits the received data. Classify the sound causes on the basis. Thereafter, the second analysis device 700 transmits the analysis results performed by the first analysis device 600 and the second analysis device 700 to the mobile communication terminal 800, and the user 2 analyzes the analysis through the application. You can access the results.

사용자(2)는 분석 결과가 맞는지 틀린지에 대한 피드백을 애플리케이션을 통하여 제공할 수 있고, 상기 피드백은 제2 분석 장치(700)로 전송된다. 제1 분석 장치(600) 및 제2 분석 장치(700)는 상기 피드백을 공유하고, 각 제어부(660, 760)에 의해 대응하는 함수(f1, f2)를 재학습시킨다. 즉, 피드백에 대응하는 실시간 소리 데이터에 상기 피드백을 반영하여 레이블링하고, 학습부(650, 750)가 분류기(630, 730)를 학습시킴으로써 각 함수의 정확도가 향상된다. The user 2 may provide feedback on whether the analysis result is correct or incorrect through the application, and the feedback is transmitted to the second analysis device 700. The first analysis device 600 and the second analysis device 700 share the feedback and relearn the corresponding functions f1 and f2 by the respective controllers 660 and 760. That is, the real-time sound data corresponding to the feedback is labeled by reflecting the feedback, and the learning units 650 and 750 learn the classifiers 630 and 730 to improve the accuracy of each function.

도 2의 실시예에서 제2 분석 장치(700)는 서버일 수 있다. In the embodiment of FIG. 2, the second analysis device 700 may be a server.

도 3은 본 발명에 의한 실시간 소리 분석 시스템의 제2 실시예를 나타내는 도면이다. 도 2와 중복되는 부분에 대한 설명은 생략한다. 3 is a diagram showing a second embodiment of a real-time sound analysis system according to the present invention. Description of the overlapping part with FIG. 2 will be omitted.

사용자(2)는 제1 분석 장치(600)로부터 직접 소리의 유형 및 원인에 대한 분석 결과를 제공받을 수 있다. 상기 분석 결과는 제1 표시부(670)를 통해 제공될 수 있다. 사용자(2)는 분석 결과가 맞는지 틀린지에 대한 피드백을 제1 분석 장치(600)에 직접 제공할 수 있고, 상기 피드백은 제2 분석 장치(700)로 전송된다. 제1 분석 장치(600) 및 제2 분석 장치(700)는 상기 피드백을 공유하고, 각 제어부(660, 760)에 의해 대응하는 함수(f1, f2)를 재학습시킨다. 즉, 피드백에 대응하는 실시간 소리 데이터에 상기 피드백을 반영하여 레이블링하고, 학습부(650, 750)가 분류기(630, 730)를 학습시킴으로써 각 함수의 정확도가 향상된다. The user 2 may receive an analysis result for the type and cause of sound directly from the first analysis device 600. The analysis result may be provided through the first display unit 670. The user 2 may directly provide feedback on whether the analysis result is correct or incorrect to the first analysis device 600, and the feedback is transmitted to the second analysis device 700. The first analysis device 600 and the second analysis device 700 share the feedback and relearn the corresponding functions f1 and f2 by the respective controllers 660 and 760. That is, the real-time sound data corresponding to the feedback is labeled by reflecting the feedback, and the learning units 650 and 750 learn the classifiers 630 and 730 to improve the accuracy of each function.

도 3의 실시예에서 제2 분석 장치(700)는 서버일 수 있다. In the embodiment of FIG. 3, the second analysis device 700 may be a server.

도 4는 본 발명에 의한 실시간 소리 분석 시스템의 제3 실시예를 나타내는 도면이다. 도 2와 중복되는 부분에 대한 설명은 생략한다. 4 is a diagram showing a third embodiment of a real-time sound analysis system according to the present invention. Description of the overlapping part with FIG. 2 will be omitted.

사용자(2)는 제2 분석 장치(600)로부터 직접 소리의 유형 및 원인에 대한 분석 결과를 제공받을 수 있다. 상기 분석 결과는 제2 표시부(770)를 통해 제공될 수 있다. 사용자(2)는 분석 결과가 맞는지 틀린지에 대한 피드백을 제2 분석 장치(700)에 직접 제공할 수 있고, 상기 피드백은 제1 분석 장치(600)로 전송된다. 제1 분석 장치(600) 및 제2 분석 장치(700)는 상기 피드백을 공유하고, 각 제어부(660, 760)에 의해 대응하는 함수(f1, f2)를 재학습시킨다. 즉, 피드백에 대응하는 실시간 소리 데이터에 상기 피드백을 반영하여 레이블링하고, 학습부(650, 750)가 분류기(630, 730)를 학습시킴으로써 각 함수의 정확도가 향상된다. The user 2 may receive an analysis result for the type and cause of sound directly from the second analysis device 600. The analysis result may be provided through the second display unit 770. The user 2 may directly provide feedback on whether the analysis result is correct or incorrect to the second analysis device 700, and the feedback is transmitted to the first analysis device 600. The first analysis device 600 and the second analysis device 700 share the feedback and relearn the corresponding functions f1 and f2 by the respective controllers 660 and 760. That is, the real-time sound data corresponding to the feedback is labeled by reflecting the feedback, and the learning units 650 and 750 learn the classifiers 630 and 730 to improve the accuracy of each function.

도 4의 실시예에서 제2 분석 장치(700)는 이동통신용 단말기의 일부일 수 있다. 즉, 이동통신용 단말기(800)가 제2 분석 장치(700)를 포함할 수 있고, 이 경우 사용자(2)가 제2 분석 장치(700)에 직접 피드백을 입력할 수 있다. In the embodiment of FIG. 4, the second analysis device 700 may be a part of a mobile communication terminal. That is, the mobile communication terminal 800 may include the second analysis device 700, and in this case, the user 2 may directly input the feedback to the second analysis device 700.

도 5는 본 발명에 의한 실시간 소리 분석 방법에 관한 블록도이다. 5 is a block diagram of a real-time sound analysis method according to the present invention.

본 발명에 의한 실시간 소리 분석 방법 및 시스템은 제1 분석 장치(600) 및 제2 분석 장치(700)의 상호작용에 의해 작동한다. 사전 수집된 소리 데이터(S001)는 크롤링(Crawling)의 방식으로 수집될 수 있으나 이에 한정되지 않는다. 각 분류기(630, 730)가 최소한의 기능을 수행할 수 있게 하려면 제1 분석 장치(600)의 제1 학습부(650) 및 제2 분석 장치(700)의 제2 학습부(750) 모두 적어도 일부가 레이블 된 사전 수집된 소리 데이터(S001)가 필요하다. 사전 수집된 소리 데이터(S001)는 각 분석 장치(600, 700)로 전달된다(SA, SB). 이러한 사전 수집된 소리 데이터(S001)에 의해 제1 함수(f1) 및 제2 함수(f2)를 학습하는 작업은 분류 작업에 선행된다. The real-time sound analysis method and system according to the present invention operates by the interaction of the first analysis device 600 and the second analysis device 700. The pre-collected sound data S001 may be collected by a crawling method, but the present invention is not limited thereto. To enable each classifier 630 and 730 to perform the minimum function, both the first learning unit 650 of the first analysis device 600 and the second learning unit 750 of the second analysis device 700 are at least Pre-collected sound data (S001) in which some are labeled is required. The pre-collected sound data (S001) is transmitted to each analysis device (600, 700) (SA, SB). The task of learning the first function f1 and the second function f2 by the pre-collected sound data S001 precedes the classification task.

상기 사전 수집된 소리 데이터(S001)로 함수를 학습한 후 실시간 소리 데이터(S002)가 입력(SC)되고 나면, 제1 분석 장치(600)는 신호처리 후 특징 벡터를 추출하여 소리 유형으로 분류한다. 제2 분석 장치(700)는 제1 분석 장치(600)로부터 소리 유형이 분류된 실시간 소리 데이터를 수신하여 제2 함수를 통해 소리 원인으로 분류한다. After learning a function with the pre-collected sound data (S001) and inputting (SC) real-time sound data (S002), the first analysis device 600 extracts a feature vector after signal processing and classifies it as a sound type. . The second analysis device 700 receives real-time sound data in which a sound type is classified from the first analysis device 600 and classifies it as a sound cause through a second function.

각 분석 장치(600, 700)에서 분류 작업 수행이 완료되면 각 함수(f1, f2)를 보완한다. When the classification operation is completed in each of the analysis devices 600 and 700, each function f1, f2 is supplemented.

본 발명의 일 실시예에서 관심 소리(13)가 아기 울음 소리(132)인 경우가 아닌 단순한 아기 소리인 경우에는 본 발명에 의한 실시간 소리 분석 방법 및 시스템이 사용자(2)에게 더욱 유용한 정보를 제공할 수 있다. In one embodiment of the present invention, when the sound of interest 13 is a simple baby sound rather than a baby crying sound 132, the real-time sound analysis method and system according to the present invention provides more useful information to the user 2 can do.

즉, 아기는 울기 전에 내는 울음 전 소리(Pre-crying Sound)를 내기도 하는데, 관심 소리(13)가 상기 울음 전 소리이고, 사용자(2)가 이에 대한 소리 유형 및 원인 분석을 제공받을 경우, 아기가 울고 나서 아기 울음 소리에 대한 분석을 제공받을 경우보다 더 빠른 대응이 가능하다. That is, the baby may make a pre-crying sound before crying, and if the sound of interest 13 is the sound before crying, and the user 2 receives the sound type and cause analysis for this, A quicker response is possible than if the baby was crying and then provided with an analysis of the baby's cries.

바람직하게는, 제1 함수를 보완하는 단계(S13)를 마치면 다시 실시간 소리 데이터(S002)를 수집하고 소리 유형으로 분류하는 제1 추론 단계(S12)를 거쳐 제1 함수 보완 단계(S13)를 수행하며, 이러한 과정이 반복될 수 있다. Preferably, after completing the step of supplementing the first function (S13), the first function supplementing step (S13) is performed through the first inference step (S12) of collecting real-time sound data (S002) again and classifying it by sound type. And, this process can be repeated.

바람직하게는, 제2 함수를 보완하는 단계(S23)를 마치면 다시 실시간 소리 데이터를 전송받고(S20), 소리 원인으로 분류하는 제2 추론 단계(S22)를 거쳐 제2 함수 보완 단계(S23)를 수행하며, 이러한 과정이 반복될 수 있다(S14, S24). Preferably, after completing the step of supplementing the second function (S23), real-time sound data is received again (S20), and the second function supplementing step (S23) is performed through a second reasoning step (S22) of classifying the sound as a cause. And this process may be repeated (S14, S24).

도 6은 소리 데이터의 신호처리에 관한 블록도이다. 6 is a block diagram of signal processing of sound data.

제1 분석 장치에서 이루어지는 제1 추론 단계(S12)에서는 머신 러닝에 용이하도록 실시간 소리 데이터를 최적화한 후 소리 유형으로 분류하는데, 최적화는 신호처리에 의해 수행될 수 있다. In the first reasoning step (S12) performed by the first analysis device, real-time sound data are optimized for easy machine learning and then classified into sound types. Optimization may be performed by signal processing.

상기 신호처리는 정규화(Normalization), 주파수 필터링(Frequency Filtering), 템포럴 필터링(Temporal Filtering), 윈도잉(Windowing)과 같은 전처리 단계(S1211), 전처리된 소리 데이터를 시간 영역의 복수의 프레임들로 구분하는 단계(S1212), 복수의 프레임들에 포함되는 각 프레임의 특징 벡터를 추출(S1213)하는 단계를 포함한다. The signal processing is a pre-processing step (S1211) such as normalization, frequency filtering, temporal filtering, and windowing, and the pre-processed sound data is converted into a plurality of frames in the time domain. The step of classifying (S1212), and extracting a feature vector of each frame included in the plurality of frames (S1213).

특징 벡터로 표현된 실시간 소리 데이터는 프레임 별로 또는 프레임 그룹 별로 하나의 단위를 구성할 수 있다. Real-time sound data expressed as a feature vector may constitute one unit for each frame or for each frame group.

도 7은 소리 데이터를 프레임별로 분류하여 특징 벡터를 추출하는 일 실시예를 나타내는 도면이다. 7 is a diagram illustrating an embodiment of extracting a feature vector by classifying sound data for each frame.

시간 영역에서 100ms 단위로 자른 각 프레임(FR1, FR2, FR3, FR4, FR5)을 정의하였고, 이로부터 단일 프레임 특징 벡터(V1)가 추출된다. 도 7에서처럼 연속된 프레임 5개를 묶어 하나의 프레임 그룹(FG1, FG2, FG3)으로 정의하였고, 이로부터 프레임 그룹 특징 벡터(V2)가 추출된다. 단일 프레임 별로 분석을 수행할 수도 있으나, 데이터 처리에 따른 과부하 방지 및 정확성 향상을 위해 프레임 그룹(FG1, FG2, FG3) 별로 분석을 수행할 수도 있다. Each frame (FR1, FR2, FR3, FR4, FR5) cut by 100ms in the time domain is defined, from which a single frame feature vector (V1) is extracted. As shown in FIG. 7, five consecutive frames are grouped and defined as one frame group (FG1, FG2, FG3), and a frame group feature vector (V2) is extracted from this. Analysis may be performed for each single frame, but analysis may be performed for each frame group (FG1, FG2, FG3) to prevent overload and improve accuracy due to data processing.

1: 음원
2: 사용자
10: 주변 소리
11: 무음
12: 잡음
13: 관심 소리
131: 환자의 신음
132: 아기의 울음
133: 성인의 음성
21: 제1 원인
22: 제2 원인
23: 제3 원인
600: 제1 분석 장치
610: 입력부
620: 신호처리부
630: 제1 분류기
640: 제1 통신부
650: 제1 학습부
660: 제1 제어부
670: 제1 표시부
700: 제2 분석 장치
730: 제2 분류기
740: 제2 통신부
750: 제2 학습부
760: 제2 제어부
770: 제2 표시부
S001: 사전 수집된 소리 데이터
S002: 실시간 소리 데이터
SA, SB: 사전 수집된 소리 데이터 전송 경로
SC, SD: 실시간 소리 데이터 전송 경로
FR1, FR2, FR3, FR4, FR5: 프레임
FG1, FG2, FG3: 프레임 그룹
V1, V2: 특징 벡터1: sound source
2: user
10: ambient sound
11: silent
12: noise
13: sounds of interest
131: patient moaning
132: baby cry
133: adult voice
21: first cause
22: second cause
23: third cause
600: first analysis device
610: input unit
620: signal processing unit
630: first classifier
640: first communication unit
650: first learning unit
660: first control unit
670: first display unit
700: second analysis device
730: second classifier
740: second communication unit
750: second learning unit
760: second control unit
770: second display unit
S001: Pre-collected sound data
S002: Real-time sound data
SA, SB: Pre-collected sound data transmission path
SC, SD: Real-time sound data transmission path
FR1, FR2, FR3, FR4, FR5: Frame
FG1, FG2, FG3: frame group
V1, V2: feature vectors

Claims

A learning step of optimizing a first function for classifying sound type information and a second function for classifying sound cause information by learning pre-collected sound data using a deep learning method;
A first inference step of collecting real-time sound data by a first analysis device and classifying it as a sound category through the first function;
Transmitting real-time sound data from the first analysis device to a second analysis device; And
A second reasoning step of classifying the received real-time sound data as a sound cause through the second function,
The first analysis device is a mobility device in which data storage capacity, battery resources, and computing power are relatively less than that of the second analysis device,
The first analysis device preprocesses the original data of the real-time sound data in real time and then stores only the core information for artificial intelligence analysis, and the core information is a core vector generated from some information necessary for the artificial intelligence analysis process, The core vector is an intermediate operation value required for calculating the feature vector after preprocessing the original data in real time,
The first function and the second function become more accurate as the number of data to be learned increases,
Real-time sound analysis method based on artificial intelligence.

The method of claim 1,
Further comprising the step of supplementing the first function by learning the real-time sound data in a deep learning method,
Real-time sound analysis method based on artificial intelligence.

The method of claim 2,
Complementing the second function by learning the real-time sound data in a deep learning method,
Real-time sound analysis method based on artificial intelligence.

The method of claim 3,
Complementing the second function includes using information obtained in at least one of the steps performed in the first analysis device as additional learning data,
Real-time sound analysis method based on artificial intelligence.

◈Claim 5 was abandoned upon payment of the set registration fee.◈

The method of claim 1,
The first reasoning step,
A signal processing step of optimizing the real-time sound data to facilitate machine learning; And
Including the step of classifying the signal-processed sound data through the first function,
Real-time sound analysis method based on artificial intelligence.

◈Claim 6 was abandoned upon payment of the set registration fee.◈

The method of claim 5,
The signal processing step,
Pre-processing the real-time sound data;
A frame generation step of dividing the preprocessed sound data into a plurality of frames in a time domain;
Including the step of extracting a feature vector of each frame included in the plurality of frames,
Real-time sound analysis method based on artificial intelligence.

◈ Claim 7 was abandoned upon payment of the set registration fee.

The method of claim 6,
At least one of the dimensions constituting the feature vector is a dimension related to the sound type information,
Real-time sound analysis method based on artificial intelligence.

delete

Including a first analysis device and a second analysis device, wherein the first analysis device,
An input unit that detects sound in real time;
A signal processing unit that processes the input sound data;
A first classifier including a first function for classifying real-time sound data processed by the signal processing unit according to sound types; And
A first communication unit capable of transmitting the data collected from the input unit, the signal processing unit, and the first classifier to the outside,
The second analysis device,
A second communication unit receiving data from the first analysis device; And
And a second classifier including a second function for classifying the sound data transmitted from the second communication unit by sound cause,
The first analysis device is a mobility device in which data storage capacity, battery resources, and computing power are relatively less than that of the second analysis device,
The first analysis device preprocesses the original data of the real-time sound data in real time and then stores only the core information for artificial intelligence analysis, and the core information is a core vector generated from some information necessary for the artificial intelligence analysis process, The core vector is an intermediate operation value required for calculating the feature vector after preprocessing the original data in real time,
The first function and the second function become more accurate as the number of data to be learned increases,
Real-time sound analysis system based on artificial intelligence.

The method of claim 9,
The first analysis device further includes a first display unit,
The second analysis device further includes a second display unit,
Each display unit outputs a sound type and a sound cause classified by the first analysis device and the second analysis device,
Real-time sound analysis system based on artificial intelligence.

The method of claim 10,
Upon receiving the user's feedback on the sound type and sound cause, developing the first classifier and the second classifier through deep learning based on the feedback,
Real-time sound analysis system based on artificial intelligence.

The method of claim 9,
Further comprising a feedback receiving unit,
The feedback receiving unit transmits the feedback input by the user to the learning unit,
The learning unit that has received the feedback complements the corresponding function,
Real-time sound analysis system based on artificial intelligence.

The method of claim 9,
Further includes a learning department,
The learning unit can use the information obtained from the first analysis device as additional learning data,
Real-time sound analysis system based on artificial intelligence.

◈ Claim 14 was abandoned upon payment of the set registration fee.

The method of claim 9,
The signal processing unit performs signal processing for optimizing the real-time sound data to be easily processed, and after pre-processing the real-time sound data, divides the pre-processed sound data into a plurality of frames in a time domain, Extracting a feature vector from each frame of the plurality of frames,
Real-time sound analysis system based on artificial intelligence.

◈ Claim 15 was abandoned upon payment of the set registration fee.◈

The method of claim 14,
At least one dimension of the feature vector is a dimension related to sound type information,
Real-time sound analysis system based on artificial intelligence.

delete