KR102238307B1 - Method and System for Analyzing Real-time Sound - Google Patents
Method and System for Analyzing Real-time Sound Download PDFInfo
- Publication number
- KR102238307B1 KR102238307B1 KR1020180075331A KR20180075331A KR102238307B1 KR 102238307 B1 KR102238307 B1 KR 102238307B1 KR 1020180075331 A KR1020180075331 A KR 1020180075331A KR 20180075331 A KR20180075331 A KR 20180075331A KR 102238307 B1 KR102238307 B1 KR 102238307B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- real
- data
- time
- analysis device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 56
- 238000004458 analytical method Methods 0.000 claims abstract description 162
- 230000006870 function Effects 0.000 claims abstract description 75
- 238000010801 machine learning Methods 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 27
- 238000013473 artificial intelligence Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000001502 supplementing effect Effects 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 3
- 206010011469 Crying Diseases 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000010295 mobile communication Methods 0.000 description 12
- 238000002372 labelling Methods 0.000 description 9
- 239000013589 supplement Substances 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 4
- 206010027783 Moaning Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 235000003642 hunger Nutrition 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 208000002193 Pain Diseases 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010051482 Prostatomegaly Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000021760 high fever Diseases 0.000 description 1
- 208000004296 neuralgia Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명의 일 실시예에 따른 실시간 소리 분석 방법은 사전 수집된 소리 데이터를 제1 머신 러닝(Machine Learning) 방식으로 학습하여 소리 유형 정보를 구분하기 위한 제1 함수를 최적화하는 제1 학습 단계(S11), 사전 수집된 소리 데이터를 제2 머신 러닝(Machine Learning) 방식으로 학습하여 소리 원인 정보를 구분하기 위한 제2 함수를 최적화하는 제2 학습 단계(S21), 제1 분석 장치가 실시간 소리 데이터를 수집하여 상기 제1 함수를 통해 소리 유형(Category)으로 분류하는 제1 추론 단계(S12), 상기 제1 분석 장치에서 제2 분석 장치로 실시간 소리 데이터를 전송하는 단계(S20), 및 전송받은 상기 실시간 소리 데이터를 상기 제2 함수를 통해 소리 원인으로 분류하는 제2 추론 단계(S22)를 포함하는 것을 그 특징으로 한다. 본 발명의 일 실시예에 따르면, 머신 러닝에 기초하여 실시간으로 수집되는 소리의 유형 및 원인을 학습할 수 있고, 실시간으로 수집되는 소리의 유형과 원인에 대하여 보다 정확한 예측이 가능하다. In the real-time sound analysis method according to an embodiment of the present invention, a first learning step (S11) of optimizing a first function for classifying sound type information by learning pre-collected sound data using a first machine learning method (S11). ), a second learning step (S21) of optimizing a second function for classifying sound cause information by learning the pre-collected sound data using a second machine learning method, and the first analyzing device collects real-time sound data. A first reasoning step (S12) of collecting and classifying a sound category through the first function (S12), transmitting real-time sound data from the first analyzing device to a second analyzing device (S20), and the received And a second reasoning step (S22) of classifying real-time sound data as a sound cause through the second function. According to an embodiment of the present invention, it is possible to learn the types and causes of sounds collected in real time based on machine learning, and it is possible to more accurately predict the types and causes of sounds collected in real time.
Description
본 발명은 실시간 소리를 분석하는 방법 및 시스템에 관한 것으로, 더 상세하게는 실시간으로 발생하는 주변 소리를 인공지능에 기반한 기계학습 방식으로 학습하고 분석하는 방법에 관한 것이다. The present invention relates to a method and system for analyzing real-time sound, and more particularly, to a method for learning and analyzing ambient sound generated in real time using a machine learning method based on artificial intelligence.
음향 기술의 발달로 소리를 감지하여 분류할 수 있는 기능을 가진 장치들이 다양하게 출시되고 있다. 주파수 분석을 통해 소리를 분류하고 사용자에게 결과값을 제공해주는 기능은 대중들의 모바일 장치를 통해 널리 활용되고 있고, 최근에는 인공지능 스피커가 출시되어 사용자의 언어적 소리에 반응하고 질문이나 명령에 대한 적절한 피드백을 제공하기도 하는 등 소리 분석을 위한 도구들은 점점 다양해지는 추세다. With the development of sound technology, various devices with a function capable of detecting and classifying sound are being released. The function of classifying sounds through frequency analysis and providing results to users is widely used through mobile devices of the public, and recently, artificial intelligence speakers have been released to respond to user's verbal sounds and respond appropriately to questions or commands. Tools for sound analysis, such as providing feedback, are becoming increasingly diverse.
대한민국 특허 제10-1092473호의 경우 주변의 다양한 소리 중 아기의 울음소리를 감지할 수 있는 진동수 및 지속 패턴을 이용한 아기 울음소리 감지방법 및 장치를 제공한다. 이는 아기가 울고 있는지 여부를 감지하여 부모에게 알려주거나 자동으로 엄마의 심장 박동음을 들려주는 등의 피드백 기능을 탑재하여 육아의 부담을 덜어주는 것을 목적으로 한다. 그러나 이와 같은 기술은 아기의 울음 여부만 알려줄 뿐 아기가 우는 이유에 대한 정보는 제공하지 않고, 아기가 우는 이유(예: 배고픔, 아픔 등)가 다양할 수 있음에도 불구하고 일관된 피드백(예: 엄마의 심장 박동음 들려주기)만을 제공하는 등 경우에 따라서는 적절치 않은 피드백을 주게 되는 문제점을 안고 있다. In the case of Korean Patent No. 10-1092473, a method and apparatus for detecting baby crying sounds using a frequency and continuous pattern capable of detecting the crying sound of a baby among various surrounding sounds are provided. This aims to relieve the burden of parenting by installing a feedback function such as detecting whether the baby is crying and notifying the parents or automatically listening to the mother's heartbeat. However, technologies like this only tell if the baby is crying, not provide information about why the baby is crying, and consistent feedback (e.g., mother's) despite the fact that the reasons the baby is crying (e.g. hunger, pain, etc.) In some cases, such as only providing a heartbeat sound), there is a problem in that inappropriate feedback is given.
한편, 최근 출시되는 인공지능 스피커의 경우에는 언어적 음성에 한정하여 반응하므로 글로 표현될 수 없는 비언어적 소리(예: 아기 울음소리)에 대해서는 피드백을 제공할 수 없다는 문제가 있다. Meanwhile, in the case of recently released artificial intelligence speakers, there is a problem that feedback cannot be provided for non-verbal sounds that cannot be expressed in writing (eg, baby crying) because they respond only to verbal voices.
본 발명은 위와 같은 문제점을 해결하기 위하여 제안된 것으로, 머신 러닝에 의해 소리를 학습하여 실시간으로 소리를 분류해낼 뿐 아니라 소리가 발생하게 된 원인을 학습함으로써, 소리의 종류 뿐 아니라 그 원인까지 분석할 수 있는 방법 및 시스템을 제공하는 것을 목적으로 한다. The present invention has been proposed to solve the above problems, and not only classifies sounds in real time by learning sound by machine learning, but also analyzes not only the type of sound but also the cause thereof by learning the cause of the sound generation. It aims to provide a method and system that can be used.
본 발명의 일 실시예에 따른 실시간 소리 분석 방법은 사전 수집된 소리 데이터를 제1 머신 러닝(Machine Learning) 방식으로 학습하여 소리 유형 정보를 구분하기 위한 제1 함수를 최적화하는 제1 학습 단계(S11), 사전 수집된 소리 데이터를 제2 머신 러닝(Machine Learning) 방식으로 학습하여 소리 원인 정보를 구분하기 위한 제2 함수를 최적화하는 제2 학습 단계(S21), 제1 분석 장치가 실시간 소리 데이터를 수집하여 상기 제1 함수를 통해 소리 유형(Category)으로 분류하는 제1 추론 단계(S12), 상기 제1 분석 장치에서 제2 분석 장치로 실시간 소리 데이터를 전송하는 단계(S20), 및 전송받은 상기 실시간 소리 데이터를 상기 제2 함수를 통해 소리 원인으로 분류하는 제2 추론 단계(S22)를 포함하는 것을 그 특징으로 한다. In the real-time sound analysis method according to an embodiment of the present invention, a first learning step (S11) of optimizing a first function for classifying sound type information by learning pre-collected sound data using a first machine learning method (S11). ), a second learning step (S21) of optimizing a second function for classifying sound cause information by learning the pre-collected sound data using a second machine learning method, and the first analyzing device collects real-time sound data. A first reasoning step (S12) of collecting and classifying a sound category through the first function (S12), transmitting real-time sound data from the first analyzing device to a second analyzing device (S20), and the received And a second reasoning step (S22) of classifying real-time sound data as a sound cause through the second function.
상기 제1 학습 단계는, 실시간 소리 데이터를 제1 머신 러닝 방식으로 학습함으로써 제1 함수를 보완하는 단계(S13)를 포함할 수 있다. 학습하는 데이터가 많아질수록 더욱 정확해지는 상기 제1 함수는 사전에 수집한 소리 데이터를 머신 러닝 방식으로 학습시킴으로써 주변 소리를 유형별로 분류하는 유용한 도구가 될 수 있다. 예를 들어 상기 제1 함수는 관심 소리가 환자의 소리인 경우 사전에 수집한 환자 소리를 머신 러닝 방식으로 학습시키면 환자가 신음 소리를 내는지, 일상적 대화를 하는지, 웃음 소리를 내는지 구분할 수 있다. 이러한 머신 러닝 방식에서는 분류기(Classifier)가 학습될 수 있고, 바람직하게는 상기 분류기는 로지스틱 회귀분석 분류기(Logistic Regression Classifier)일 수 있으나, 이에 한정되지 않는다. 이러한 학습 과정은 실시간 소리 데이터가 수집되면서 지속적으로 반복되어 분류기가 더 정확한 결과를 도출할 수 있도록 한다. The first learning step may include supplementing the first function by learning real-time sound data using a first machine learning method (S13). The first function, which becomes more accurate as the number of data to be learned increases, can be a useful tool for classifying surrounding sounds by type by learning previously collected sound data using a machine learning method. For example, when the sound of interest is the sound of a patient, the first function may distinguish whether the patient makes a moaning sound, a daily conversation, or a laughter when the patient sound collected in advance is learned by a machine learning method. In this machine learning method, a classifier may be learned, and preferably, the classifier may be a logistic regression classifier, but is not limited thereto. This learning process is continuously repeated as real-time sound data is collected, allowing the classifier to derive more accurate results.
상기 제2 학습 단계는, 실시간 소리 데이터를 제2 머신 러닝 방식으로 학습함으로써 제2 함수를 보완하는 단계(S23)를 포함할 수 있다. 학습하는 데이터가 많아질수록 더욱 정확해지는 제2 함수는 사전에 수집한 소리 데이터를 머신 러닝 방식으로 학습시킴으로써 주변 소리가 발생하는 원인을 유형별로 분류할 수 있다. 예를 들어 상기 제2 함수는 관심 소리가 환자의 소리인 경우 사전에 수집한 환자 소리를 머신 러닝 방식으로 학습시키면 환자가 내는 소리를 원인 별로 분류하여 환자가 신경통을 호소하는지, 고열에 의한 통증을 호소하는지, 자세의 불편감을 호소하는지 구분할 수 있다. 바람직하게는 상기 제2 머신 러닝 방식은 딥 러닝 방식일 수 있다. 바람직하게는 상기 딥 러닝 방식에서는 오류 역전파(Error Backpropagation) 방식이 사용될 수 있으나, 이에 한정되지 않는다. 이러한 학습 과정은 실시간 소리 데이터가 수집되면서 지속적으로 반복되어 분류기가 더 정확한 결과를 도출할 수 있도록 한다. The second learning step may include supplementing the second function by learning real-time sound data using a second machine learning method (S23). The second function, which becomes more accurate as the number of data to be learned increases, can classify the causes of surrounding sounds by type by learning the previously collected sound data using a machine learning method. For example, if the sound of interest is the patient's sound, the second function is to classify the sound made by the patient by cause by learning the patient sound collected in advance by machine learning, so that whether the patient complains of neuralgia or pain due to high fever. It can be distinguished whether it complains of complaining about the discomfort of the posture. Preferably, the second machine learning method may be a deep learning method. Preferably, an error backpropagation method may be used in the deep learning method, but is not limited thereto. This learning process is continuously repeated as real-time sound data is collected, allowing the classifier to derive more accurate results.
또한, 상기 제2 함수를 보완하는 단계(S23)는 상기 제1 학습 단계(S11), 제1 추론 단계(S12), 및 제1 함수를 보완하는 단계(S13) 중 적어도 어느 하나의 단계에서 얻어진 정보를 추가 학습 데이터로 사용할 수 있다. 제1 학습 단계에서 소리의 로우 데이터(Raw Data)로부터 특징 벡터(Feature Vectors)를 추출하고 이를 활용하여 머신 러닝으로 소리의 유형(Category)을 분류하였다면, 제2 학습 단계에서는 상기 유형까지도 특징 벡터로 고려하여 학습을 반복함으로써 소리가 발생하는 원인을 더 신속하고 정확하게 분석할 수 있다. 머신 러닝 또는 딥 러닝에서는 학습 대상의 특징 벡터가 다양하고 정확할수록 더 빠른 학습이 가능하기 때문에, 상기 방식은 분석의 정확도를 높이는데 매우 유용하다. In addition, the step of supplementing the second function (S23) is obtained in at least one of the first learning step (S11), the first reasoning step (S12), and the step of supplementing the first function (S13). The information can be used as additional training data. In the first learning step, feature vectors are extracted from the raw data of sound, and then the sound category is classified by machine learning. Considering and repeating learning, the cause of sound generation can be analyzed more quickly and accurately. In machine learning or deep learning, the more diverse and accurate feature vectors to be learned are, the faster learning is possible, so this method is very useful for increasing the accuracy of analysis.
바람직하게는, 상기 제1 추론 단계(S12)는 상기 실시간 소리 데이터를 머신 러닝이 용이하도록 최적화하는 신호처리 단계(S121) 및 신호처리된 소리 데이터를 상기 제1 함수를 통해 분류하는 단계(S122)를 포함할 수 있다. 본문에서 쓰이는 '함수'란, 머신 러닝을 위해 주어진 데이터 및 학습 알고리즘을 통해 지속적으로 보강되는 도구를 의미한다. 구체적으로, 입력(소리)과 출력(유형 또는 원인)의 관계를 예측하는 도구를 의미한다. 따라서, 최초 학습시에는 관리자에 의해 함수가 사전결정될 수 있다. Preferably, the first reasoning step (S12) is a signal processing step (S121) of optimizing the real-time sound data to facilitate machine learning, and a step of classifying the signal-processed sound data through the first function (S122). It may include. The term'function' used in the text refers to a tool that is continuously reinforced through given data and learning algorithms for machine learning. Specifically, it refers to a tool that predicts the relationship between input (sound) and output (type or cause). Therefore, at the time of initial learning, the function can be predetermined by the administrator.
바람직하게는, 상기 신호처리 단계는 전처리 단계, 프레임 생성 단계, 특징 벡터 추출 단계를 포함할 수 있다. Preferably, the signal processing step may include a pre-processing step, a frame generation step, and a feature vector extraction step.
상기 전처리 단계는 정규화(Normalization), 주파수 필터링(Frequency Filtering), 템포럴 필터링(Temporal Filtering), 윈도잉(Windowing) 중 적어도 하나를 포함할 수 있다. The pre-processing step may include at least one of normalization, frequency filtering, temporal filtering, and windowing.
상기 프레임 생성 단계는 전처리된 소리 데이터를 시간 영역(time domain)의 복수의 프레임들로 구분하는 작업이 수행될 수 있다. In the frame generation step, a task of dividing the preprocessed sound data into a plurality of frames in a time domain may be performed.
상기 특징 벡터 추출 단계는 상기 복수의 프레임들 중 단일의 프레임 별로 수행되거나 동일한 개수의 프레임으로 구성된 프레임 그룹 별로 수행될 수 있다.The feature vector extraction step may be performed for each single frame among the plurality of frames or may be performed for each frame group consisting of the same number of frames.
상기 신호처리 단계에서 추출된 특징 벡터는 적어도 하나의 차원(Dimension)으로 구성될 수 있다. 즉, 하나의 특징 벡터가 사용될 수도 있고 복수의 특징 벡터가 사용될 수도 있다. The feature vector extracted in the signal processing step may be composed of at least one dimension. That is, one feature vector may be used or a plurality of feature vectors may be used.
상기 특징 벡터의 적어도 하나의 차원은 상기 소리 유형(Category)에 관한 차원을 포함할 수 있다. 이는 소리의 발생 원인을 구분하기 위한 제2 학습 단계에서 소리 데이터의 특징 벡터로서 소리 유형까지 포함하는 경우 더욱 정확한 원인 예측이 가능하기 때문이다. 다만, 특징 벡터에 소리 유형가 아닌 다른 요소들이 포함될 수 있고, 추가할 수 있는 특징 벡터의 요소가 소리 유형로 한정되는 것은 아니다. At least one dimension of the feature vector may include a dimension related to the sound category. This is because more accurate prediction of the cause is possible when the sound type is included as a feature vector of sound data in the second learning step to identify the cause of the sound. However, elements other than the sound type may be included in the feature vector, and the element of the feature vector that can be added is not limited to the sound type.
바람직하게는, 상기 제1 머신 러닝 방식은 최소 평균 제곱법(Least Mean Square; LMS)을 포함하고, 상기 최소 평균 제곱법으로 회귀분석 분류기(Logistic Regression Classifier)를 학습할 수 있다. Preferably, the first machine learning method includes a least mean square method (LMS), and a logistic regression classifier may be learned using the least mean square method.
바람직하게는, 상기 제2 머신 러닝 방식은 딥 러닝(Deep Learning) 방식이고, 오류 역전파(Backpropagation)를 통해 상기 제2 함수를 최적화할 수 있다. Preferably, the second machine learning method is a deep learning method, and the second function may be optimized through error backpropagation.
상기 신호처리 단계는 연속된 프레임들을 복수의 프레임 그룹들(Frame Group)로 재정의하는 프레임 그룹 형성 단계를 더 포함할 수 있다. 상기 복수의 프레임 그룹들 중 각 프레임 그룹이 포함하는 프레임들의 집합은 상기 복수의 프레임 그룹들 중 다른 프레임 그룹이 포함하는 프레임들의 집합과는 다르고, 각 프레임 그룹들 간의 시간 간격은 일정한 것이 바람직하다. The signal processing step may further include a step of forming a frame group redefining successive frames into a plurality of frame groups. A set of frames included in each frame group among the plurality of frame groups is different from a set of frames included in another frame group among the plurality of frame groups, and a time interval between each frame group is preferably constant.
상기 제1 추론 단계 및 상기 제2 추론 단계는 각 프레임 그룹을 일 단위로 하여 수행될 수 있다. The first reasoning step and the second reasoning step may be performed with each frame group as a unit.
본 발명의 일 실시예에 따른 실시간 소리 분석 시스템은 서로 통신하는 제1 분석 장치 및 제2 분석 장치를 포함하고, 상기 제1 분석 장치는 실시간으로 소리를 감지하는 입력부, 입력된 소리를 데이터로 가공하는 신호처리부, 상기 제1 학습부에 의해 학습되고, 상기 신호처리부에서 가공된 실시간 소리 데이터를 소리 유형 별로 분류하는 제1 분류기(Classifier), 상기 입력부, 신호처리부 및 제1 분류기로부터 수집된 데이터를 외부로 전송할 수 있는 제1 통신부, 실시간 소리 데이터를 제1 머신 러닝 방식으로 학습하여 소리 유형 정보를 구분하기 위한 제1 함수를 보완하도록 구성되는 제1 학습부를 포함하고, 상기 제2 분석 장치는 상기 제1 분석 장치로부터 데이터를 전송받는 제2 통신부, 상기 제2 학습부에 의해 학습되고, 상기 수신부에서 전송받은 실시간 소리 데이터를 소리 원인 별로 분류하는 제2 분류기(Classifier), 및 실시간 소리 데이터를 제2 머신 러닝 방식으로 학습하여 소리 원인 정보를 구분하기 위한 제2 함수를 보완하도록 구성되는 제1 학습부를 포함하는 것을 특징으로 한다. A real-time sound analysis system according to an embodiment of the present invention includes a first analysis device and a second analysis device that communicate with each other, and the first analysis device includes an input unit that detects sound in real time, and processes the input sound into data. A first classifier for classifying real-time sound data learned by the first learning unit and processed by the signal processing unit by sound type, the input unit, the data collected from the signal processing unit and the first classifier A first communication unit that can be transmitted to the outside, and a first learning unit configured to supplement a first function for classifying sound type information by learning real-time sound data using a first machine learning method, and the second analysis device includes the A second communication unit receiving data from a first analysis device, a second classifier that classifies real-time sound data learned by the second learning unit and transmitted from the receiving unit by sound cause, and real-time sound data. 2 It characterized in that it comprises a first learning unit configured to supplement a second function for classifying information on the cause of the sound by learning by a machine learning method.
상기 제1 분석 장치는 제1 표시부를 더 포함할 수 있고, 상기 제2 분석 장치는 제2 표시부를 더 포함할 수 있고, 각 표시부는 대응하는 분석 장치에서 분류된 소리 유형 및/또는 소리 원인을 출력할 수 있다. The first analysis device may further include a first display unit, and the second analysis device may further include a second display unit, and each display unit identifies a sound type and/or a sound cause classified by a corresponding analysis device. Can be printed.
상기 제2 분석 장치는 서버이거나 이동통신용 단말기일 수 있다. 상기 제2 분석 장치가 서버인 경우, 제2 통신부는 상기 소리 유형 및 소리 원인 중 적어도 하나를 이동통신용 단말기로 전송할 수 있고, 상기 이동통신용 단말기에서 입력받은 사용자의 피드백을 다시 수신할 수 있다. 상기 제2 분석 장치가 이동통신용 단말기인 경우, 소리 원인 분석을 이동통신용 단말기가 직접 수행하고, 사용자가 이동통신용 단말기에 피드백을 입력하면 이동통신용 단말기에서 제1 분석 장치에 사용자의 피드백을 직접 전송할 수도 있다. The second analysis device may be a server or a mobile communication terminal. When the second analysis device is a server, the second communication unit may transmit at least one of the sound type and the sound cause to the mobile communication terminal, and may receive a user's feedback input from the mobile communication terminal again. When the second analysis device is a mobile communication terminal, the mobile communication terminal directly performs sound cause analysis, and when the user inputs feedback into the mobile communication terminal, the mobile communication terminal may directly transmit the user's feedback to the first analysis device. have.
바람직하게는, 상기 제1 통신부가 상기 소리 유형에 관한 사용자의 피드백을 받은 경우, 상기 제1 학습부는 상기 피드백에 대응하는 소리 데이터에 관하여 제1 머신 러닝 방식으로 학습함으로써 상기 제1 분류기를 보완할 수 있다. 이러한 학습 과정은 실시간 소리 데이터가 수집되고 피드백을 받는 과정이 지속적으로 반복되어 분류기가 더 정확한 결과를 도출할 수 있도록 한다. Preferably, when the first communication unit receives a user's feedback on the sound type, the first learning unit may supplement the first classifier by learning about sound data corresponding to the feedback using a first machine learning method. I can. This learning process allows the classifier to derive more accurate results by continuously repeating the process of collecting real-time sound data and receiving feedback.
바람직하게는, 상기 제2 통신부가 상기 소리 원인에 관한 사용자의 피드백을 받은 경우, 상기 제2 학습부는 상기 피드백에 대응하는 소리 데이터에 관하여 제2 머신 러닝 방식으로 학습함으로써 상기 제2 분류기를 보완할 수 있다. 이러한 학습 과정은 실시간 소리 데이터가 수집되고 피드백을 받는 과정이 지속적으로 반복되어분류기가 더 정확한 결과를 도출할 수 있도록 한다. Preferably, when the second communication unit receives a user's feedback on the cause of the sound, the second learning unit may supplement the second classifier by learning about sound data corresponding to the feedback using a second machine learning method. I can. This learning process allows the classifier to derive more accurate results by continuously repeating the process of collecting real-time sound data and receiving feedback.
예를 들면, 상기 소리 유형 및 소리 원인에 대한 사용자의 피드백을 수신하면 상기 피드백을 기초로 머신 러닝 및/또는 딥 러닝을 통해 상기 제1 분류기 및/또는 제2 분류기를 발전시킬 수 있다. For example, upon receiving user feedback on the sound type and sound cause, the first classifier and/or the second classifier may be developed through machine learning and/or deep learning based on the feedback.
본 발명의 일 실시예에서, 인공지능에 기반한 실시간 소리 분석 시스템은 피드백 수용부를 더 포함할 수 있고, 상기 피드백 수용부는 사용자가 입력한 피드백을 제1 학습부 및 제2 학습부 중 적어도 어느 하나로 전송하고, 상기 피드백을 전송받은 학습부는 대응하는 함수를 보완할 수 있다. In an embodiment of the present invention, the real-time sound analysis system based on artificial intelligence may further include a feedback receiving unit, and the feedback receiving unit transmits the feedback input by the user to at least one of the first learning unit and the second learning unit. And, the learning unit receiving the feedback may supplement a corresponding function.
예를 들면, 상기 제2 학습부는 상기 제1 분석 장치에서 얻어진 정보를 추가 학습 데이터로 사용할 수 있다. For example, the second learning unit may use information obtained from the first analysis device as additional learning data.
상기 신호처리부는 상기 실시간 소리 데이터를 가공하기 용이하도록 최적화하는 신호처리를 수행하되, 상기 실시간 소리 데이터를 전처리한 후, 전처리된 소리 데이터를 시간 영역(time domain)의 복수의 프레임들로 구분하고, 상기 복수의 프레임의 각각의 프레임으로부터 특징 벡터를 추출할 수 있다. 상기 전처리는 예를 들어 정규화(Normalization), 주파수 필터링(Frequency Filtering), 템포럴 필터링(Temporal Filtering), 윈도잉(Windowing)일 수 있다. The signal processing unit performs signal processing for optimizing the real-time sound data to be easily processed, and after pre-processing the real-time sound data, divides the pre-processed sound data into a plurality of frames in a time domain, A feature vector may be extracted from each frame of the plurality of frames. The preprocessing may be, for example, normalization, frequency filtering, temporal filtering, and windowing.
상기 특징 벡터의 적어도 하나의 차원은 상기 소리 유형 정보에 관한 차원일 수 있다. At least one dimension of the feature vector may be a dimension related to the sound type information.
바람직하게는, 상기 제2 머신 러닝 방식은 딥 러닝(Deep Learning) 방식이고, 오류 역전파(Backpropagation)를 통해 상기 제2 분류기를 발전시킬(Developing) 수 있다. Preferably, the second machine learning method is a deep learning method, and the second classifier may be developed through error backpropagation.
본 발명의 일 실시예에 따르면, 머신 러닝에 기초하여 실시간으로 수집되는 소리의 유형 및 원인을 학습할 수 있고, 실시간으로 수집되는 소리의 유형과 원인에 대하여 보다 정확한 예측이 가능하다. According to an embodiment of the present invention, it is possible to learn the types and causes of sounds collected in real time based on machine learning, and it is possible to more accurately predict the types and causes of sounds collected in real time.
도 1은 본 발명과 관련된 실시간 소리 분석 방법 및 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명에 의한 실시간 소리 분석 시스템의 제1 실시예를 나타내는 도면이다.
도 3은 본 발명에 의한 실시간 소리 분석 시스템의 제2 실시예를 나타내는 도면이다.
도 4는 본 발명에 의한 실시간 소리 분석 시스템의 제3 실시예를 나타내는 도면이다.
도 5는 본 발명에 의한 실시간 소리 분석 방법에 관한 블록도이다.
도 6은 소리 데이터의 신호처리에 관한 블록도이다.
도 7은 소리 데이터를 프레임별로 분류하여 특징 벡터를 추출하는 일 실시예를 나타내는 도면이다. 1 is a conceptual diagram illustrating a real-time sound analysis method and system related to the present invention.
2 is a diagram showing a first embodiment of a real-time sound analysis system according to the present invention.
3 is a diagram showing a second embodiment of a real-time sound analysis system according to the present invention.
4 is a diagram showing a third embodiment of a real-time sound analysis system according to the present invention.
5 is a block diagram of a real-time sound analysis method according to the present invention.
6 is a block diagram of signal processing of sound data.
7 is a diagram illustrating an embodiment of extracting a feature vector by classifying sound data for each frame.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for constituent elements used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.
도 1은 본 발명과 관련된 실시간 소리 분석 방법 및 시스템을 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating a real-time sound analysis method and system related to the present invention.
주변 소리(10)가 발생하면 이는 실시간으로 마이크와 같은 입력부(610)를 통해 감지되고 데이터로 저장된다. 주변 소리(10)는 소리가 가의 없는 무음(11)일 수도 있고, 사용자가 관심을 가지지 않는 소리, 즉 잡음(12)일 수도 있으며, 사용자가 분류하거나 분석하고자 하는 관심 소리(13)일 수도 있다. 상기 관심 소리(13)는 경우에 따라 환자의 신음(131)일 수도 있고, 아기 울음 소리(132)일 수도 있고, 성인의 음성(133)일 수도 있다. 그러나 상기 관심 소리(13)는 위 3가지 예에 한정되지 않고 교통사고 충돌 소리, 차량 작동 소리, 동물 소리 등 모든 소리가 될 수 있다. When the
예를 들어 관심 소리(13)가 성인의 음성(133)인 경우, 아기 울음 소리(132)는 잡음(12)으로 분류될 수 있다. 예를 들어 관심 소리(13)가 동물 소리인 경우, 환자의 신음(131), 아기 울음 소리(132), 성인의 음성(133) 및 교통사고 충돌 소리 등은 잡음(12)으로 분류될 수 있다. For example, when the sound of
이와 같은 소리 유형의 분류는 제1 분석 장치(600)에서 제1 분류기(630)에 의해 수행될 수 있다. 상기 제1 분류기(630)는 제1 학습부(650)를 통해 머신 러닝 방식으로 기능이 강화될 수 있다. 우선, 사전 수집된 소리 데이터(S001)의 적어도 일부에 소리 유형을 레이블링(Labeling)한다. 이후, 상기 제1 학습부(650)는 소리 유형이 레이블된(Labeled) 사전 수집된 소리 데이터(S001)를 활용하여 머신 러닝 방식으로 제1 분류기(630)의 제1 함수(f1)를 학습시킨다. 상기 제1 분류기(630)는 로지스틱 회귀분석 분류기(Logistic Regression Classifier)일 수 있다. 즉, 분류기의 함수는 데이터에 의해 머신 러닝 방식으로 훈련되어 성능이 개선될 수 있다. The classification of the sound type may be performed by the
지도 학습(Supervised Learning)은 트레이닝 데이터를 이용해 하나의 함수를 훈련시키기 위한 머신 러닝 방법 중 하나인데, 트레이닝 데이터는 일반적으로 입력 객체에 대한 속성을 벡터 형태로 포함하고 있으며 각각의 벡터에 대해 원하는 결과가 무엇인지 표시되어 있다. 이렇게 훈련된 함수 중 연속적인 값을 출력하는 것을 회귀분석(Regression)이라 하고 주어진 입력 벡터가 어떤 종류의 값인지 표식하는 것을 분류(Classification)라 한다. 반면 비 지도 학습(Unsupervised Learning)은 지도 학습과는 달리 입력값에 대한 목표치가 주어지지 않는다. Supervised Learning is one of the machine learning methods for training a function using training data. Training data generally contains the properties of the input object in the form of a vector, and the desired result for each vector is obtained. It is marked what it is. Among these trained functions, outputting continuous values is called regression, and marking what kind of value a given input vector is called classification. On the other hand, in unsupervised learning, unlike supervised learning, a target value for input is not given.
바람직하게는, 본 발명의 일 실시예에서, 제1 학습부(650)는 지도 학습과 비 지도 학습의 중간 성격을 갖는 준 지도 학습(Semi-supervised Learning) 방식을 사용할 수 있다. 상기 준 지도 학습은 목표값이 표시된 데이터와 표시되지 않은 데이터를 모두 훈련에 사용하는 것을 말한다. 대개의 경우 이러한 방법에 사용되는 트레이닝 데이터는 목표값이 표시된 데이터가 적고 표시되지 않은 데이터를 많이 갖고 있다. 상기 준 지도 학습을 사용하면 레이블링 작업에 드는 시간과 비용을 크게 아낄 수 있다. Preferably, in an embodiment of the present invention, the
상기 목표값을 표시하는 작업이 레이블링(Labeling)이다. 예를 들면, 주변 소리(10)가 발생하고, 그 소리 데이터를 입력이라 하면, 그 소리의 유형이 무음(11)인지, 잡음(12)인지 또는 관심 소리(13)인지에 대하여 표시하는 것이 레이블링 작업이다. 즉, 레이블링은 데이터에 출력의 예를 미리 표시하고 이를 머신 러닝 알고리즘에 의해 함수를 학습시키기 위한 기초 작업이다. The task of displaying the target value is labeling. For example, if ambient sound (10) is generated and the sound data is input, labeling indicates whether the type of sound is silent (11), noise (12), or sound of interest (13). It's a job. In other words, labeling is a basic operation for pre-marking an example of an output in data and learning a function using a machine learning algorithm.
사람이 직접 표시하는 것이 지도 학습, 표시하지 않는 것이 비 지도 학습이고, 일부는 사람이 직접 표시하고, 나머지는 표시하지 않는 것이 준 지도 학습이다. What a person directly displays is supervised learning, and what does not display is unsupervised learning, and some is directly marked by a person, and others are not marked as quasi-supervised learning.
본 발명의 일 실시예에서, 제1 분석 장치(600)는 준 지도 학습에 기반한 자동 레이블링(Auto-labeling) 작업을 수행할 수 있다. 레이블(Label)이란, 함수가 출력해야 할 결과값들을 의미한다. 예를 들어, 상기 레이블은 무음, 잡음, 아기 울음 소리, 울음 소리를 제외한 아기 소리 등의 결과값들이다. 상기 자동 레이블링은 아래와 같은 순서로 수행될 수 있다. 상기 자동 레이블링은 예를 들어 제1 학습부(650)가 수행할 수 있다. In an embodiment of the present invention, the
우선, 사람이 개입하여 일정한 개수(예를 들어, 100개)의 데이터에 대해 레이블을 표시한다. 이후부터 수집되는 소리 데이터에 대해서는 레이블을 표시하는 작업을 하지 않고 적절한 신호처리를 진행한 후 차원 축소 작업을 거친다. 동질성을 지닌 집단을 분류하는 클러스터링 기법을 사용하여 하나의 동질성으로 분류되는 복수의 데이터들을 하나의 데이터 군으로 묶는다. 이 때, 상기 클러스터링 기법은 사전 결정된 하이퍼 파라미터(Hyperparameter)를 기준으로 하여 분류를 진행하되, 상기 하이퍼 파라미터는 향후 수행되는 학습 정확도에 따라 변경될 수 있다. First, a person intervenes and displays a label for a certain number of data (for example, 100). For sound data collected from then on, the label is not displayed, but appropriate signal processing is performed and then dimension reduction is performed. A clustering technique that classifies a group with homogeneity is used to group a plurality of data classified as a homogeneity into a single data group. In this case, the clustering technique is classified based on a predetermined hyperparameter, but the hyperparameter may be changed according to a learning accuracy to be performed in the future.
다음으로, 복수의 데이터 군이 형성되면 각 데이터 군 별로 사전 결정된 개수(예를 들어, 4개의 데이터)만큼만 무작위로 골라 어떤 특징을 가진 요소인지를 판별한다. 예를 들면, 만약, 제1 데이터 군에서 고른 4개의 데이터 중 3개 이상이 잡음에 해당하는 것으로 확인되면, 제1 데이터 군은 모두 잡음으로 간주하고 제1 데이터 군 내의 모든 데이터를 잡음으로 레이블링 한다. 만약, 제2 데이터 군에서 고른 4개의 데이터 중 2개 이하가 아기 울음 소리에 해당한다면 제2 데이터 군 내의 모든 데이터를 잡음 또는 무음으로 레이블링 한다. Next, when a plurality of data groups are formed, only a predetermined number (eg, 4 data) for each data group is randomly selected to determine which element has a characteristic. For example, if three or more of the four data selected from the first data group are found to correspond to noise, all of the first data group are regarded as noise, and all data in the first data group are labeled as noise. . If two or less of the four data selected from the second data group correspond to the baby's crying sound, all data in the second data group are labeled as noise or silence.
다음으로, 이렇게 사전 결정된 알고리즘으로 레이블링을 수행하고, 레이블 된 데이터들은 학습 데이터로 활용한다. 이 경우 정확도 지표가 높아지면 상기 알고리즘으로 레이블링을 지속하고, 정확도 지표가 낮아지면 차원 축소 방식을 변경하거나 클러스터링의 파라미터를 변경하고, 앞의 과정을 다시 수행한다. Next, labeling is performed with this predetermined algorithm, and the labeled data is used as training data. In this case, if the accuracy index increases, labeling is continued with the algorithm, and if the accuracy index decreases, the dimensionality reduction method is changed or the clustering parameter is changed, and the previous process is performed again.
한편, 제1 분석 장치(600)가 관심 소리(13)를 감지하여 표시함으로써 사용자(2)에게 편리함을 제공하기는 하지만, 사용자(2)는 청력을 가진 인간으로서, 현재 주변에서 환자가 신음을 내는지 안 내는지 인지할 수 있고, 아기가 우는지 안 우는지 인지할 수 있으며, 동물이 소리를 내는지 안 내는지 인지할 수 있다. 이는 인간의 오감 중 하나인 청력이 손상되지 않았다면 구분할 수 있는 요소이다. 그러나 사용자(2)는 환자가 신음을 낼 때 그 소리만 듣고 어느 부위가 아파서 신음을 내는지를 알기는 어렵다. 마찬가지로, 사용자(2)는 아기가 울 때 그 소리만 듣고 아기가 무엇을 원하는지 알기는 어렵다. On the other hand, although the
관심 소리(13)가 감지되면 제1 분석 장치(600)는 제2 분석 장치(700)로 신호처리된 실시간 소리 데이터를 전송한다. 관심 소리(13)가 발생하는 원인은 제1 원인, 제2 원인 및 제3 원인 등 여러가지가 있을 수 있고, 사용자(2)의 수요는 관심 소리(13)의 발생 원인에 집중된다. When the sound of
예를 들어 상기 관심 소리(13)가 아기 울음 소리(132)인 경우, 아기는 배가 고파서 울었을 수도 있고, 변의(便意)를 느껴 울었을 수도 있고, 기저귀에 대소변을 싼 후 불편감 때문에 울었을 수도 있고, 졸려서 울었을 수도 있다. 또는, 감정 상태에 따라 슬퍼서 울었을 수도 있고, 슬퍼하다가 기뻐하면서 울음 소리를 낼 수도 있다. 이처럼, 아기의 울음 소리는 성인이 듣기에 유사하게 들릴지 몰라도 그 원인은 다양하다. For example, if the
예를 들어 상기 관심 소리(13)가 환자의 신음(131)인 경우, 본 발명의 일 실시예에 따르면 환자의 목소리에서 발생하는 다양한 소리를 통해 발견하기 어려운 특정 질병을 조기에 발견하도록 하는 것이 가능하다. 또한, 환자의 신음(131)이 아니라 환자의 몸에서 발생하는 다양한 소리 역시 상기 관심 소리(13)가 될 수 있다. 구체적으로, 제1 분석 장치(600)로 환자의 소변 소리를 관심 소리(13)로서 감지한 후 제2 분석 장치(700)로 환자가 전립선 비대증을 앓고 있는지 여부를 분석할 수 있다. For example, if the sound of
예를 들어 상기 관심 소리(13)가 베어링 마찰음인 경우, 본 발명의 일 실시예에 따르면 베어링이 회전하며 발생하는 다양한 소리를 통해 사고 원인이 될 수 있는 결함을 조기에 발견하도록 하는 것이 가능하다. For example, when the sound of
이와 같은 소리 원인의 분류는 제2 분석 장치(700)에서 제2 분류기(710)에 의해 수행될 수 있다. 상기 제2 분류기(710)는 제2 학습부(750)를 통해 딥 러닝 방식으로 기능이 강화될 수 있다. 우선, 사전 수집된 소리 데이터(S001)의 적어도 일부에 소리 원인을 레이블링(Labeling)한다. 이후, 상기 제2 학습부(750)는 소리 원인이 레이블된(Labeled) 사전 수집된 소리 데이터(S001)를 활용하여 딥 러닝 방식으로 제2 분류기(710)의 제2 함수(f2)를 학습시킨다. The classification of the cause of the sound may be performed by the second classifier 710 in the
제1 분석 장치(600) 및 제2 분석 장치(700) 간의 통신으로 사용자(2)는 관심 소리(13)의 발생 여부 및 관심 소리(13)의 발생 원인(21, 22, 23)을 파악할 수 있다. Through communication between the
본 발명의 일 실시예에서, 상기 소리 원인은 소리를 발생시키는 주체의 상태(State)일 수 있다. 즉, 아기가 우는 '원인'이 배고픔이라면, 마찬가지로 아기는 배가 고픈 '상태'에 있다고 볼 수 있다. 상기 '상태'라는 용어는 아기가 울고 있다는 1차적인 의미로 이해될 수도 있으나, 본 발명의 일 실시예의 제2 분석 장치(700)에서 얻고자 하는 데이터는 아기가 울고 있는 이유와 같은 2차적인 의미로 이해되는 것이 바람직하다. In an embodiment of the present invention, the cause of the sound may be a state of a subject generating the sound. In other words, if the'cause' of the baby's cry is hunger, it can be seen that the baby is also in a'state' of hunger. The term'state' may be understood as the primary meaning that the baby is crying, but the data to be obtained from the
본 발명의 일 실시예에서, 제1 분석 장치(600)는 소리가 아닌 다른 정보를 감지하여 소리와 함께 분석을 수행함으로써 분석 대상의 상태(소리 발생의 원인) 분석 정확도를 향상시킬 수 있다. 예를 들면, 아기가 뒤척이는 진동을 감지하여 추가로 분석할 수 있다. 이에 따라, 진동을 감지하는 장치가 추가로 구성될 수 있다. 또는 진동을 감지하는 모듈이 제1 분석 장치(600)에 장착될 수 있다. 진동을 감지하는 장치는 일 예일 뿐이고, 설정된 관심 소리(13)와 관련된 정보를 감지하는 장치라면 추가가 가능하다. In an embodiment of the present invention, the
본 발명의 일 실시예에서, 제1 분석 장치(600)는 복수의 관심 소리(13)를 감지하여 소리와 함께 분석을 수행함으로써 분석 대상의 상태(소리 발생의 원인) 분석 정확도를 향상시킬 수 있다. In an embodiment of the present invention, the
예를 들면, 누군가 넘어지는 소리 및 부딪히는 소리가 감지된 후 아기의 울음 소리가 감지되었을 경우, 장치가 아기 울음 소리만 분석하면 그 원인이 '고통스러움'으로 분석될 확률이 낮을 수 있으나(예를 들면, 60%), 넘어지는 소리 및 부딪히는 소리가 울음 소리 직전에 발생했다는 정보를 함께 분석하여 아기 울음 소리의 원인이 '고통스러움'일 것이라고 더 높은 확률(예를 들면, 90%)로 분석할 수 있다. 즉, 장치의 신뢰도가 향상될 수 있다. For example, if a baby's cry is detected after the sound of someone falling or bumping is detected, the probability that the cause will be analyzed as'painfulness' may be low if the device analyzes only the crying sound of the baby (e.g. For example, 60%), by analyzing the information that the falling sound and the bumping sound occurred immediately before the crying sound, the cause of the crying sound of the baby is'painfulness' and analyzed with a higher probability (e.g., 90%). I can. That is, the reliability of the device can be improved.
본 발명의 일 실시예에서, 상기 제1 분석 장치(600)는 사용자(2)가 소리를 감지하고자 하는 대상의 근처에 배치되는 것이 바람직하다. 따라서 상기 제1 분석 장치(600)는 이동성이 요구될 수 있고, 그 데이터 저장 용량은 작을 수 있다. 즉, 이동이 필요한 장치에 포함되는 센서 등의 소형(또는 초소형) 장치의 경우 컴퓨팅 자원(메모리 사용량, CPU 사용량), 네트워크 자원, 배터리 자원이 일반 데스크탑 또는 서버 환경에 비해 매우 부족한 것이 일반적이다. 즉, 제1 분석 장치(600) 배치 후 주변 소리(10)가 발생하면 이에 대한 원본 데이터 중 인공지능 분석, 특히 머신 러닝 또는 딥 러닝을 위해 필요한 핵심 정보만이 저장되는 것이 바람직하다. In an embodiment of the present invention, it is preferable that the
예를 들면 마이크로 컨트롤러 유닛(Micro Controller Unit; MCU) 기반의 프로세서는 데스크탑 컴퓨터가 사용하는 프로세서에 비해 대략 수십만분의 1 수준에 그친다. 특히, 소리 데이터와 같은 미디어 데이터의 경우 데이터의 크기가 매우 크기 때문에, 데스크탑 컴퓨터처럼 원본 데이터를 메모리에 저장해두고 처리를 하는 것은 불가능하다. 예를 들어 4분 길이의 음성 데이터(44.1KHz sampling rate)는 크기가 보통 40MB 정도인데, 고성능 MCU의 시스템의 전체 메모리 용량은 64KB 수준에 그쳐 약 600분의 1 수준에 그친다. For example, a processor based on a microcontroller unit (MCU) is only about a few hundred thousandths of a processor used in a desktop computer. In particular, in the case of media data such as sound data, since the size of the data is very large, it is impossible to store and process the original data in memory like a desktop computer. For example, a 4-minute long voice data (44.1KHz sampling rate) is usually about 40MB, but the total memory capacity of a high-performance MCU system is only 64KB, which is about 1 in 600.
따라서 본 발명의 일 실시예에 따른 제1 분석 장치(600)는 분석할 원본 데이터를 메모리에 저장해두고 처리를 하는 기존 방식과는 달리 원본 데이터에 대한 중간 처리(예를 들면, FFT, Arithmetic computation 등)를 먼저 진행한 후 인공지능 분석 과정에 필요한 일부 정보만 핵심 벡터로 생성한다. Therefore, the
상기 핵심 벡터는 전처리(Preprocessing) 및 특징 벡터(Feature Vector)와는 다르다. 상기 핵심 벡터는 원본 데이터를 실시간으로 전처리한 후 그 결과를 이용해 곧바로 특징 벡터 연산을 하는 과정을 거친 것이 아니라, 이후에 구해낼 특징 벡터의 연산에 필요한 전처리 중간 연산값 및 원본 데이터의 중간 연산값을 저장한 것이다. 이는 엄격히 말하면 원본 데이터의 압축은 아니다. The core vector is different from preprocessing and feature vectors. The core vector does not pre-process the original data in real time and then immediately performs a feature vector operation using the result, but stores the pre-processed intermediate operation value required for the calculation of the feature vector to be obtained later and the intermediate operation value of the original data. I did it. This is not strictly speaking the compression of the original data.
따라서 전처리 및 특징 벡터 추출보다 핵심 벡터 연산이 먼저 수행되고, 제1 분석 장치(600)는 원본 데이터 대신 핵심 벡터를 저장함으로써 부족한 연산 능력 및 저장 공간의 한계를 극복할 수 있다. Therefore, the core vector operation is performed prior to the preprocessing and feature vector extraction, and the
바람직하게는, 제1 분석 장치(600)에서 제2 분석 장치(700)로 (또는 다른 장치로) 전송하는 데이터는 실시간 소리 데이터의 핵심 벡터 정보일 수 있다. 즉, 실시간으로 수집되는 소리를 제2 분석 장치(700)로 (또는 다른 장치로) 전송하는 작업 역시 실시간으로 수행되어야 하므로 제1 분석 장치(600)의 신호처리부에서 생성된 핵심 벡터 정보만을 제2 분석 장치(700)로 전송하는 것이 유리하다. Preferably, data transmitted from the
이하, 음원(1), 제1 분석 장치(600), 제2 분석 장치(700), 이동통신용 단말기(800) 및 사용자(2) 간의 상호작용에 대하여 도 2 내지 5를 활용하여 상세히 설명한다. Hereinafter, the interaction between the sound source 1, the
도 2는 본 발명에 의한 실시간 소리 분석 시스템의 제1 실시예를 나타내는 도면이다. 2 is a diagram showing a first embodiment of a real-time sound analysis system according to the present invention.
음원(1)은 아기일 수도 있고, 동물일 수도 있고, 물건일 수도 있다. 도 2에서는 우는 아기가 도시되어 있다. 예를 들어 아기 울음 소리(132)가 입력부(610)에 의해 감지되면, 실시간 소리 데이터(S002)로 저장되어 신호처리부(620)에 의해 머신 러닝에 맞도록 신호처리 된다. 신호처리 된 실시간 소리 데이터는 제1 함수(f1)를 포함하는 제1 분류기(630)에 의해 소리 유형으로 분류된다. The sound source 1 may be a baby, an animal, or an object. In Figure 2 a crying baby is shown. For example, when the baby's crying
제1 분류기(630)에 의해 소리 유형으로 분류된 실시간 소리 데이터는 제1 통신부(640)와 제2 통신부(740)의 통신에 의해 제2 분석 장치(700)에 전송된다. 전송된 실시간 소리 데이터 중 관심 소리에 관한 데이터는 제2 분류기(730)에 의해 소리 원인으로 분류된다. The real-time sound data classified as sound type by the
제1 학습부(650)는 머신 러닝에 의해 제1 분류기(630)의 제1 함수(f1)를 학습시킨다. 여기서 입력은 주변 소리(10)고, 출력은 소리 유형이다. 상기 소리 유형은 무음(11), 잡음(12) 및 관심 소리(13)를 포함하되, 다른 유형이 포함될 수 있다. 예를 들어 복수의 관심 소리를 두어 소리 유형에 무음(11), 잡음(12), 제1 관심 소리 및 제2 관심 소리, 제3 관심 소리가 포함될 수 있다. 예를 들어 상기 무음(11)과 잡음(12)도 다른 유형으로 변경될 수 있다. The
상기 제1 분류기(630)는 사전 수집된 소리 데이터(S001)를 활용하여 학습된 제1 함수(f1)를 포함한다. 즉, 입력인 실시간 소리 데이터가 제1 함수(f1)를 거쳐 출력인 소리 유형으로 분류될 수 있도록 사전 학습이 이루어진다. 그러나 상기 사전 학습이 이루어지더라도 제1 함수(f1)가 완벽하지 않으므로 지속적으로 보완되는 것이 바람직하다. 실시간 소리 데이터(S002)가 지속적으로 유입되고 이에 대한 결과값이 출력된 후, 사용자(2)가 오류가 있는 결과값들에 대해 피드백을 입력하면 제1 학습부(650)가 이를 반영하여 제1 분류기(630)를 다시 학습시킨다. 이러한 과정이 반복되면서 제1 함수(f1)는 점점 보완되고, 소리 유형 분류 정확도가 향상된다. The
상기 제2 분류기(730)는 사전 수집된 소리 데이터(S001)를 활용하여 학습된 제2 함수(f2)를 포함한다. 즉, 입력인 실시간 소리 데이터가 제2 함수(f2)를 거쳐 출력인 소리 원인으로 분류될 수 있도록 사전 학습이 이루어진다. 그러나 상기 사전 학습이 이루어지더라도 제2 함수(f2)가 완벽하지 않으므로 지속적으로 보완되는 것이 바람직하다. 실시간 소리 데이터(S002)가 지속적으로 유입되고 이에 대한 결과값이 출력된 후, 사용자(2)가 오류가 있는 결과값들에 대해 피드백을 입력하면 제2 학습부(750)가 이를 반영하여 제2 분류기(730)를 다시 학습시킨다. 이러한 과정이 반복되면서 제2 함수(f2)는 점점 보완되고, 소리 원인 분류 정확도가 향상된다. The
제1 분석 장치(600)는 제1 표시부(670)를 포함할 수 있다. 제1 표시부(670)는 예를 들면 조명, 스피커, 텍스트 표시부 및 디스플레이 패널일 수 있다. 상기 제1 표시부(670)는 소리 유형을 표시할 수 있고, 바람직하게는 제2 분석 장치(700)로부터 전송받은 소리 원인을 표시할 수도 있다. The
제2 분석 장치(700)는 제2 표시부(770)를 포함할 수 있다. 제2 표시부(770)는 예를 들면 조명, 스피커, 텍스트 표시부 및 디스플레이 패널일 수 있다. 상기 제2 표시부(770)는 소리 원인을 표시할 수 있고, 바람직하게는 제1 분석 장치(600)로부터 전송받은 소리 유형을 표시할 수도 있다. The
제1 분석 장치(600)의 구성 요소들은 제1 제어부(660)에 의해 제어된다. 제1 제어부(660)는 입력부(610)에 의해 주변 소리(10)가 감지되면 신호처리 및 분류를 실행하도록 신호처리부(620) 및 제1 분류기(630)에 명령을 내릴 수 있고, 분류 결과 및 실시간 소리 데이터를 제2 분석 장치(700)에 전송하도록 제1 통신부(640)에 명령을 전달할 수 있다. 또한, 실시간 소리 데이터의 유입에 따라 제1 학습부(650)가 제1 분류기(630)를 보완하는 학습을 시킬 것인지 결정할 수 있다. 또한, 상기 제1 제어부(660)는 분류 결과를 제1 표시부(670)에 표시하도록 제어할 수 있다. Components of the
제2 분석 장치(700)의 구성 요소들은 제2 제어부(760)에 의해 제어된다. 제2 제어부(760)는 제1 분석 장치(600)로부터 데이터를 전송받으면 분류를 실행하도록 제2 분류기(730)에 명령을 내릴 수 있고, 분류 결과를 제1 분석 장치(600)에 전송하도록 제2 통신부(740)에 명령을 전달할 수 있다. 또한, 실시간 소리 데이터의 유입에 따라 제2 학습부(750)가 제2 분류기(730)를 보완하는 학습을 시킬 것인지 결정할 수 있다. 또한, 상기 제2 제어부(760)는 분류 결과를 제2 표시부(770)에 표시하도록 제어할 수 있다. Components of the
사용자(2)는 이동통신용 단말기(800)에 설치된 애플리케이션을 통해 소리의 유형 및 원인에 대한 분석을 제공받는다. 즉, 제1 분석 장치(600)는 제1 통신부(640)에서 신호처리된 실시간 소리 데이터 및 소리 유형 분류 결과를 제2 통신부(740)로 전송하고 제2 분석 장치(700)는 전송받은 데이터를 기초로 소리 원인을 분류한다. 이후 제2 분석 장치(700)는 제1 분석 장치(600) 및 제2 분석 장치(700)에서 수행된 분석 결과를 이동통신용 단말기(800)로 전송하고, 사용자(2)는 애플리케이션을 통해 상기 분석 결과에 접근할 수 있다. The user 2 is provided with an analysis of the type and cause of sound through an application installed in the
사용자(2)는 분석 결과가 맞는지 틀린지에 대한 피드백을 애플리케이션을 통하여 제공할 수 있고, 상기 피드백은 제2 분석 장치(700)로 전송된다. 제1 분석 장치(600) 및 제2 분석 장치(700)는 상기 피드백을 공유하고, 각 제어부(660, 760)에 의해 대응하는 함수(f1, f2)를 재학습시킨다. 즉, 피드백에 대응하는 실시간 소리 데이터에 상기 피드백을 반영하여 레이블링하고, 학습부(650, 750)가 분류기(630, 730)를 학습시킴으로써 각 함수의 정확도가 향상된다. The user 2 may provide feedback on whether the analysis result is correct or incorrect through the application, and the feedback is transmitted to the
도 2의 실시예에서 제2 분석 장치(700)는 서버일 수 있다. In the embodiment of FIG. 2, the
도 3은 본 발명에 의한 실시간 소리 분석 시스템의 제2 실시예를 나타내는 도면이다. 도 2와 중복되는 부분에 대한 설명은 생략한다. 3 is a diagram showing a second embodiment of a real-time sound analysis system according to the present invention. Description of the overlapping part with FIG. 2 will be omitted.
사용자(2)는 제1 분석 장치(600)로부터 직접 소리의 유형 및 원인에 대한 분석 결과를 제공받을 수 있다. 상기 분석 결과는 제1 표시부(670)를 통해 제공될 수 있다. 사용자(2)는 분석 결과가 맞는지 틀린지에 대한 피드백을 제1 분석 장치(600)에 직접 제공할 수 있고, 상기 피드백은 제2 분석 장치(700)로 전송된다. 제1 분석 장치(600) 및 제2 분석 장치(700)는 상기 피드백을 공유하고, 각 제어부(660, 760)에 의해 대응하는 함수(f1, f2)를 재학습시킨다. 즉, 피드백에 대응하는 실시간 소리 데이터에 상기 피드백을 반영하여 레이블링하고, 학습부(650, 750)가 분류기(630, 730)를 학습시킴으로써 각 함수의 정확도가 향상된다. The user 2 may receive an analysis result for the type and cause of sound directly from the
도 3의 실시예에서 제2 분석 장치(700)는 서버일 수 있다. In the embodiment of FIG. 3, the
도 4는 본 발명에 의한 실시간 소리 분석 시스템의 제3 실시예를 나타내는 도면이다. 도 2와 중복되는 부분에 대한 설명은 생략한다. 4 is a diagram showing a third embodiment of a real-time sound analysis system according to the present invention. Description of the overlapping part with FIG. 2 will be omitted.
사용자(2)는 제2 분석 장치(600)로부터 직접 소리의 유형 및 원인에 대한 분석 결과를 제공받을 수 있다. 상기 분석 결과는 제2 표시부(770)를 통해 제공될 수 있다. 사용자(2)는 분석 결과가 맞는지 틀린지에 대한 피드백을 제2 분석 장치(700)에 직접 제공할 수 있고, 상기 피드백은 제1 분석 장치(600)로 전송된다. 제1 분석 장치(600) 및 제2 분석 장치(700)는 상기 피드백을 공유하고, 각 제어부(660, 760)에 의해 대응하는 함수(f1, f2)를 재학습시킨다. 즉, 피드백에 대응하는 실시간 소리 데이터에 상기 피드백을 반영하여 레이블링하고, 학습부(650, 750)가 분류기(630, 730)를 학습시킴으로써 각 함수의 정확도가 향상된다. The user 2 may receive an analysis result for the type and cause of sound directly from the
도 4의 실시예에서 제2 분석 장치(700)는 이동통신용 단말기의 일부일 수 있다. 즉, 이동통신용 단말기(800)가 제2 분석 장치(700)를 포함할 수 있고, 이 경우 사용자(2)가 제2 분석 장치(700)에 직접 피드백을 입력할 수 있다. In the embodiment of FIG. 4, the
도 5는 본 발명에 의한 실시간 소리 분석 방법에 관한 블록도이다. 5 is a block diagram of a real-time sound analysis method according to the present invention.
본 발명에 의한 실시간 소리 분석 방법 및 시스템은 제1 분석 장치(600) 및 제2 분석 장치(700)의 상호작용에 의해 작동한다. 사전 수집된 소리 데이터(S001)는 크롤링(Crawling)의 방식으로 수집될 수 있으나 이에 한정되지 않는다. 각 분류기(630, 730)가 최소한의 기능을 수행할 수 있게 하려면 제1 분석 장치(600)의 제1 학습부(650) 및 제2 분석 장치(700)의 제2 학습부(750) 모두 적어도 일부가 레이블 된 사전 수집된 소리 데이터(S001)가 필요하다. 사전 수집된 소리 데이터(S001)는 각 분석 장치(600, 700)로 전달된다(SA, SB). 이러한 사전 수집된 소리 데이터(S001)에 의해 제1 함수(f1) 및 제2 함수(f2)를 학습하는 작업은 분류 작업에 선행된다. The real-time sound analysis method and system according to the present invention operates by the interaction of the
상기 사전 수집된 소리 데이터(S001)로 함수를 학습한 후 실시간 소리 데이터(S002)가 입력(SC)되고 나면, 제1 분석 장치(600)는 신호처리 후 특징 벡터를 추출하여 소리 유형으로 분류한다. 제2 분석 장치(700)는 제1 분석 장치(600)로부터 소리 유형이 분류된 실시간 소리 데이터를 수신하여 제2 함수를 통해 소리 원인으로 분류한다. After learning a function with the pre-collected sound data (S001) and inputting (SC) real-time sound data (S002), the
각 분석 장치(600, 700)에서 분류 작업 수행이 완료되면 각 함수(f1, f2)를 보완한다. When the classification operation is completed in each of the
본 발명의 일 실시예에서 관심 소리(13)가 아기 울음 소리(132)인 경우가 아닌 단순한 아기 소리인 경우에는 본 발명에 의한 실시간 소리 분석 방법 및 시스템이 사용자(2)에게 더욱 유용한 정보를 제공할 수 있다. In one embodiment of the present invention, when the sound of
즉, 아기는 울기 전에 내는 울음 전 소리(Pre-crying Sound)를 내기도 하는데, 관심 소리(13)가 상기 울음 전 소리이고, 사용자(2)가 이에 대한 소리 유형 및 원인 분석을 제공받을 경우, 아기가 울고 나서 아기 울음 소리에 대한 분석을 제공받을 경우보다 더 빠른 대응이 가능하다. That is, the baby may make a pre-crying sound before crying, and if the sound of
바람직하게는, 제1 함수를 보완하는 단계(S13)를 마치면 다시 실시간 소리 데이터(S002)를 수집하고 소리 유형으로 분류하는 제1 추론 단계(S12)를 거쳐 제1 함수 보완 단계(S13)를 수행하며, 이러한 과정이 반복될 수 있다. Preferably, after completing the step of supplementing the first function (S13), the first function supplementing step (S13) is performed through the first inference step (S12) of collecting real-time sound data (S002) again and classifying it by sound type. And, this process can be repeated.
바람직하게는, 제2 함수를 보완하는 단계(S23)를 마치면 다시 실시간 소리 데이터를 전송받고(S20), 소리 원인으로 분류하는 제2 추론 단계(S22)를 거쳐 제2 함수 보완 단계(S23)를 수행하며, 이러한 과정이 반복될 수 있다(S14, S24). Preferably, after completing the step of supplementing the second function (S23), real-time sound data is received again (S20), and the second function supplementing step (S23) is performed through a second reasoning step (S22) of classifying the sound as a cause. And this process may be repeated (S14, S24).
도 6은 소리 데이터의 신호처리에 관한 블록도이다. 6 is a block diagram of signal processing of sound data.
제1 분석 장치에서 이루어지는 제1 추론 단계(S12)에서는 머신 러닝에 용이하도록 실시간 소리 데이터를 최적화한 후 소리 유형으로 분류하는데, 최적화는 신호처리에 의해 수행될 수 있다. In the first reasoning step (S12) performed by the first analysis device, real-time sound data are optimized for easy machine learning and then classified into sound types. Optimization may be performed by signal processing.
상기 신호처리는 정규화(Normalization), 주파수 필터링(Frequency Filtering), 템포럴 필터링(Temporal Filtering), 윈도잉(Windowing)과 같은 전처리 단계(S1211), 전처리된 소리 데이터를 시간 영역의 복수의 프레임들로 구분하는 단계(S1212), 복수의 프레임들에 포함되는 각 프레임의 특징 벡터를 추출(S1213)하는 단계를 포함한다. The signal processing is a pre-processing step (S1211) such as normalization, frequency filtering, temporal filtering, and windowing, and the pre-processed sound data is converted into a plurality of frames in the time domain. The step of classifying (S1212), and extracting a feature vector of each frame included in the plurality of frames (S1213).
특징 벡터로 표현된 실시간 소리 데이터는 프레임 별로 또는 프레임 그룹 별로 하나의 단위를 구성할 수 있다. Real-time sound data expressed as a feature vector may constitute one unit for each frame or for each frame group.
도 7은 소리 데이터를 프레임별로 분류하여 특징 벡터를 추출하는 일 실시예를 나타내는 도면이다. 7 is a diagram illustrating an embodiment of extracting a feature vector by classifying sound data for each frame.
시간 영역에서 100ms 단위로 자른 각 프레임(FR1, FR2, FR3, FR4, FR5)을 정의하였고, 이로부터 단일 프레임 특징 벡터(V1)가 추출된다. 도 7에서처럼 연속된 프레임 5개를 묶어 하나의 프레임 그룹(FG1, FG2, FG3)으로 정의하였고, 이로부터 프레임 그룹 특징 벡터(V2)가 추출된다. 단일 프레임 별로 분석을 수행할 수도 있으나, 데이터 처리에 따른 과부하 방지 및 정확성 향상을 위해 프레임 그룹(FG1, FG2, FG3) 별로 분석을 수행할 수도 있다. Each frame (FR1, FR2, FR3, FR4, FR5) cut by 100ms in the time domain is defined, from which a single frame feature vector (V1) is extracted. As shown in FIG. 7, five consecutive frames are grouped and defined as one frame group (FG1, FG2, FG3), and a frame group feature vector (V2) is extracted from this. Analysis may be performed for each single frame, but analysis may be performed for each frame group (FG1, FG2, FG3) to prevent overload and improve accuracy due to data processing.
1: 음원
2: 사용자
10: 주변 소리
11: 무음
12: 잡음
13: 관심 소리
131: 환자의 신음
132: 아기의 울음
133: 성인의 음성
21: 제1 원인
22: 제2 원인
23: 제3 원인
600: 제1 분석 장치
610: 입력부
620: 신호처리부
630: 제1 분류기
640: 제1 통신부
650: 제1 학습부
660: 제1 제어부
670: 제1 표시부
700: 제2 분석 장치
730: 제2 분류기
740: 제2 통신부
750: 제2 학습부
760: 제2 제어부
770: 제2 표시부
S001: 사전 수집된 소리 데이터
S002: 실시간 소리 데이터
SA, SB: 사전 수집된 소리 데이터 전송 경로
SC, SD: 실시간 소리 데이터 전송 경로
FR1, FR2, FR3, FR4, FR5: 프레임
FG1, FG2, FG3: 프레임 그룹
V1, V2: 특징 벡터1: sound source
2: user
10: ambient sound
11: silent
12: noise
13: sounds of interest
131: patient moaning
132: baby cry
133: adult voice
21: first cause
22: second cause
23: third cause
600: first analysis device
610: input unit
620: signal processing unit
630: first classifier
640: first communication unit
650: first learning unit
660: first control unit
670: first display unit
700: second analysis device
730: second classifier
740: second communication unit
750: second learning unit
760: second control unit
770: second display unit
S001: Pre-collected sound data
S002: Real-time sound data
SA, SB: Pre-collected sound data transmission path
SC, SD: Real-time sound data transmission path
FR1, FR2, FR3, FR4, FR5: Frame
FG1, FG2, FG3: frame group
V1, V2: feature vectors
Claims (16)
제1 분석 장치가 실시간 소리 데이터를 수집하여 상기 제1 함수를 통해 소리 유형(Category)으로 분류하는 제1 추론 단계;
상기 제1 분석 장치에서 제2 분석 장치로 실시간 소리 데이터를 전송하는 단계; 및
전송받은 상기 실시간 소리 데이터를 상기 제2 함수를 통해 소리 원인으로 분류하는 제2 추론 단계를 포함하고,
상기 제1 분석 장치는 데이터 저장 용량, 배터리 자원 및 연산 능력이 상기 제2 분석 장치보다 상대적으로 부족한 이동성 장치이고,
상기 제1 분석 장치는 상기 실시간 소리 데이터의 원본 데이터를 실시간으로 전처리한 후 인공지능 분석을 위한 핵심 정보에 대해서만 저장하고, 상기 핵심 정보는 인공지능 분석 과정에 필요한 일부 정보로부터 생성된 핵심 벡터로서, 상기 핵심 벡터는 원본 데이터를 실시간으로 전처리 한 후 특징 벡터의 연산에 필요한 중간 연산값이고,
상기 제1 함수 및 제2 함수는 학습하는 데이터가 많아질수록 더욱 정확해지는,
인공지능에 기반한 실시간 소리 분석 방법.
A learning step of optimizing a first function for classifying sound type information and a second function for classifying sound cause information by learning pre-collected sound data using a deep learning method;
A first inference step of collecting real-time sound data by a first analysis device and classifying it as a sound category through the first function;
Transmitting real-time sound data from the first analysis device to a second analysis device; And
A second reasoning step of classifying the received real-time sound data as a sound cause through the second function,
The first analysis device is a mobility device in which data storage capacity, battery resources, and computing power are relatively less than that of the second analysis device,
The first analysis device preprocesses the original data of the real-time sound data in real time and then stores only the core information for artificial intelligence analysis, and the core information is a core vector generated from some information necessary for the artificial intelligence analysis process, The core vector is an intermediate operation value required for calculating the feature vector after preprocessing the original data in real time,
The first function and the second function become more accurate as the number of data to be learned increases,
Real-time sound analysis method based on artificial intelligence.
상기 실시간 소리 데이터를 딥 러닝 방식으로 학습함으로써 상기 제1 함수를 보완하는 단계를 더 포함하는,
인공지능에 기반한 실시간 소리 분석 방법.
The method of claim 1,
Further comprising the step of supplementing the first function by learning the real-time sound data in a deep learning method,
Real-time sound analysis method based on artificial intelligence.
상기 실시간 소리 데이터를 딥 러닝 방식으로 학습함으로써 상기 제2 함수를 보완하는 단계를 포함하는,
인공지능에 기반한 실시간 소리 분석 방법.
The method of claim 2,
Complementing the second function by learning the real-time sound data in a deep learning method,
Real-time sound analysis method based on artificial intelligence.
상기 제2 함수를 보완하는 단계는 상기 제1 분석 장치에서 수행되는 단계들 중 적어도 어느 하나의 단계에서 얻어진 정보를 추가 학습 데이터로 사용하는,
인공지능에 기반한 실시간 소리 분석 방법.
The method of claim 3,
Complementing the second function includes using information obtained in at least one of the steps performed in the first analysis device as additional learning data,
Real-time sound analysis method based on artificial intelligence.
상기 제1 추론 단계는,
상기 실시간 소리 데이터를 머신 러닝이 용이하도록 최적화하는 신호처리 단계; 및
신호처리된 소리 데이터를 상기 제1 함수를 통해 분류하는 단계를 포함하는,
인공지능에 기반한 실시간 소리 분석 방법.
The method of claim 1,
The first reasoning step,
A signal processing step of optimizing the real-time sound data to facilitate machine learning; And
Including the step of classifying the signal-processed sound data through the first function,
Real-time sound analysis method based on artificial intelligence.
상기 신호처리 단계는,
상기 실시간 소리 데이터를 전처리하는 단계;
전처리된 소리 데이터를 시간 영역(Time Domain)의 복수의 프레임들로 구분하는 프레임 생성 단계;
상기 복수의 프레임에 포함되는 각각의 프레임의 특징 벡터를 추출하는 단계를 포함하는,
인공지능에 기반한 실시간 소리 분석 방법.
The method of claim 5,
The signal processing step,
Pre-processing the real-time sound data;
A frame generation step of dividing the preprocessed sound data into a plurality of frames in a time domain;
Including the step of extracting a feature vector of each frame included in the plurality of frames,
Real-time sound analysis method based on artificial intelligence.
상기 특징 벡터를 구성하는 차원 중 적어도 하나는 상기 소리 유형 정보에 관한 차원인,
인공지능에 기반한 실시간 소리 분석 방법.
The method of claim 6,
At least one of the dimensions constituting the feature vector is a dimension related to the sound type information,
Real-time sound analysis method based on artificial intelligence.
실시간으로 소리를 감지하는 입력부;
입력된 소리 데이터를 가공하는 신호처리부;
상기 신호처리부에서 가공된 실시간 소리 데이터를 소리 유형 별로 분류하는 제1 함수를 포함하는 제1 분류기(Classifier); 및
상기 입력부, 신호처리부 및 제1 분류기로부터 수집된 데이터를 외부로 전송할 수 있는 제1 통신부를 포함하고,
상기 제2 분석 장치는,
상기 제1 분석 장치로부터 데이터를 전송받는 제2 통신부; 및
상기 제2 통신부에서 전송받은 소리 데이터를 소리 원인 별로 분류하는 제2 함수를 포함하는 제2 분류기(Classifier)를 포함하며,
상기 제1 분석 장치는 데이터 저장 용량, 배터리 자원 및 연산 능력이 상기 제2 분석 장치보다 상대적으로 부족한 이동성 장치이고,
상기 제1 분석 장치는 상기 실시간 소리 데이터의 원본 데이터를 실시간으로 전처리한 후 인공지능 분석을 위한 핵심정보에 대해서만 저장하고, 상기 핵심 정보는 인공지능 분석 과정에 필요한 일부 정보로부터 생성된 핵심 벡터로서, 상기 핵심 벡터는 원본 데이터를 실시간으로 전처리 한 후 특징 벡터의 연산에 필요한 중간 연산값이고,
상기 제1 함수 및 제2 함수는 학습하는 데이터가 많아질수록 더욱 정확해지는,
인공지능에 기반한 실시간 소리 분석 시스템.
Including a first analysis device and a second analysis device, wherein the first analysis device,
An input unit that detects sound in real time;
A signal processing unit that processes the input sound data;
A first classifier including a first function for classifying real-time sound data processed by the signal processing unit according to sound types; And
A first communication unit capable of transmitting the data collected from the input unit, the signal processing unit, and the first classifier to the outside,
The second analysis device,
A second communication unit receiving data from the first analysis device; And
And a second classifier including a second function for classifying the sound data transmitted from the second communication unit by sound cause,
The first analysis device is a mobility device in which data storage capacity, battery resources, and computing power are relatively less than that of the second analysis device,
The first analysis device preprocesses the original data of the real-time sound data in real time and then stores only the core information for artificial intelligence analysis, and the core information is a core vector generated from some information necessary for the artificial intelligence analysis process, The core vector is an intermediate operation value required for calculating the feature vector after preprocessing the original data in real time,
The first function and the second function become more accurate as the number of data to be learned increases,
Real-time sound analysis system based on artificial intelligence.
상기 제1 분석 장치는 제1 표시부를 더 포함하고,
상기 제2 분석 장치는 제2 표시부를 더 포함하고,
각 표시부는 상기 제1 분석 장치 및 제2 분석 장치에서 분류된 소리 유형 및 소리 원인을 출력하는,
인공지능에 기반한 실시간 소리 분석 시스템.
The method of claim 9,
The first analysis device further includes a first display unit,
The second analysis device further includes a second display unit,
Each display unit outputs a sound type and a sound cause classified by the first analysis device and the second analysis device,
Real-time sound analysis system based on artificial intelligence.
상기 소리 유형 및 소리 원인에 대한 사용자의 피드백을 수신하면 상기 피드백을 기초로 딥 러닝을 통해 상기 제1 분류기 및 제2 분류기를 발전시키는,
인공지능에 기반한 실시간 소리 분석 시스템.
The method of claim 10,
Upon receiving the user's feedback on the sound type and sound cause, developing the first classifier and the second classifier through deep learning based on the feedback,
Real-time sound analysis system based on artificial intelligence.
피드백 수용부를 더 포함하고,
상기 피드백 수용부는 사용자가 입력한 피드백을 학습부로 전송하고,
상기 피드백을 전송받은 학습부는 대응하는 함수를 보완하는,
인공지능에 기반한 실시간 소리 분석 시스템.
The method of claim 9,
Further comprising a feedback receiving unit,
The feedback receiving unit transmits the feedback input by the user to the learning unit,
The learning unit that has received the feedback complements the corresponding function,
Real-time sound analysis system based on artificial intelligence.
학습부를 더 포함하고,
상기 학습부는 상기 제1 분석 장치에서 얻어진 정보를 추가 학습 데이터로 사용할 수 있는,
인공지능에 기반한 실시간 소리 분석 시스템.
The method of claim 9,
Further includes a learning department,
The learning unit can use the information obtained from the first analysis device as additional learning data,
Real-time sound analysis system based on artificial intelligence.
상기 신호처리부는 상기 실시간 소리 데이터를 가공하기 용이하도록 최적화하는 신호처리를 수행하되, 상기 실시간 소리 데이터를 전처리한 후, 전처리된 소리 데이터를 시간 영역(time domain)의 복수의 프레임들로 구분하고, 상기 복수의 프레임의 각각의 프레임으로부터 특징 벡터를 추출하는,
인공지능에 기반한 실시간 소리 분석 시스템.
The method of claim 9,
The signal processing unit performs signal processing for optimizing the real-time sound data to be easily processed, and after pre-processing the real-time sound data, divides the pre-processed sound data into a plurality of frames in a time domain, Extracting a feature vector from each frame of the plurality of frames,
Real-time sound analysis system based on artificial intelligence.
상기 특징 벡터의 적어도 하나의 차원은 소리 유형 정보에 관한 차원인,
인공지능에 기반한 실시간 소리 분석 시스템.
The method of claim 14,
At least one dimension of the feature vector is a dimension related to sound type information,
Real-time sound analysis system based on artificial intelligence.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180075331A KR102238307B1 (en) | 2018-06-29 | 2018-06-29 | Method and System for Analyzing Real-time Sound |
US16/491,236 US20210090593A1 (en) | 2018-06-29 | 2018-11-07 | Method and device for analyzing real-time sound |
PCT/KR2018/013436 WO2020004727A1 (en) | 2018-06-29 | 2018-11-07 | Real-time sound analysis method and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180075331A KR102238307B1 (en) | 2018-06-29 | 2018-06-29 | Method and System for Analyzing Real-time Sound |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200002147A KR20200002147A (en) | 2020-01-08 |
KR102238307B1 true KR102238307B1 (en) | 2021-04-28 |
Family
ID=69154200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180075331A KR102238307B1 (en) | 2018-06-29 | 2018-06-29 | Method and System for Analyzing Real-time Sound |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102238307B1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102596521B1 (en) * | 2020-05-27 | 2023-10-31 | 보리 주식회사 | Method and system for analyzing language development disorder and behavior development disorder by processing video information input to the camera and audio information input to the microphone in real time |
KR102238855B1 (en) * | 2020-06-03 | 2021-04-13 | 엠아이큐브솔루션(주) | Learning method of noise classification deep learning model to classify noise types |
KR102558537B1 (en) * | 2021-01-27 | 2023-07-21 | 한양에스앤에이 주식회사 | Sound classification device and method using deep learning |
KR20230169756A (en) * | 2022-06-09 | 2023-12-18 | 삼성전자주식회사 | Electronic apparatus and controlling method thereof |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101092473B1 (en) | 2010-04-09 | 2011-12-13 | 계명대학교 산학협력단 | A Method and a Apparatus for Detection of Baby Crying Using Frequency Pattern |
KR101242733B1 (en) * | 2011-01-10 | 2013-03-12 | 고려대학교 산학협력단 | Abnormal sound detection and identification system in camera environment |
-
2018
- 2018-06-29 KR KR1020180075331A patent/KR102238307B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20200002147A (en) | 2020-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102238307B1 (en) | Method and System for Analyzing Real-time Sound | |
US11584020B2 (en) | Human augmented cloud-based robotics intelligence framework and associated methods | |
US11488013B2 (en) | Model training method and apparatus | |
US20210012766A1 (en) | Voice conversation analysis method and apparatus using artificial intelligence | |
US11270684B2 (en) | Generation of speech with a prosodic characteristic | |
US20210321172A1 (en) | Ai-assisted sound effect generation for silent video | |
US11694084B2 (en) | Self-supervised AI-assisted sound effect recommendation for silent video | |
EP3598344A1 (en) | Processing sensor data | |
US11615312B2 (en) | Self-supervised AI-assisted sound effect generation for silent video using multimodal clustering | |
KR20200018154A (en) | Acoustic information recognition method and system using semi-supervised learning based on variational auto encoder model | |
US20210090593A1 (en) | Method and device for analyzing real-time sound | |
Chandrakala et al. | Multi-view representation for sound event recognition | |
KR20210048382A (en) | Method and apparatus for speech analysis | |
Ruvolo et al. | Auditory mood detection for social and educational robots | |
KR102155380B1 (en) | Method and Device for Analyzing Real-time Sound | |
CN110825861B (en) | Man-machine conversation method and system based on distributed representation model confusion degree | |
Mahdhaoui et al. | Supervised and semi-supervised infant-directed speech classification for parent-infant interaction analysis | |
Gupta et al. | Gender and age recognition using audio data—artificial neural networks | |
Catanghal Jr | Sound detection for study room monitoring and evaluation | |
Sangwai et al. | Eye (I) Still Know!–An App for the Blind Built using Web and AI | |
Suh et al. | Deep Learning-Based Hazardous Sound Classification for the Hard of Hearing and Deaf | |
Karunaratna et al. | Sound Event Recognition and Classification Using Machine Learning Techniques | |
US20240221722A1 (en) | Eyewear device and method of use | |
Suneetha et al. | Speech based emotion recognition by using a faster region-based convolutional neural network | |
Yoo et al. | Cnn-based voice emotion classification model for risk detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |