KR102397563B1

KR102397563B1 - Method and apparatus for training sound event detection model

Info

Publication number: KR102397563B1
Application number: KR1020200139661A
Authority: KR
Inventors: 정석원; 박중배
Original assignee: 휴멜로 주식회사
Priority date: 2019-09-20
Filing date: 2020-10-26
Publication date: 2022-05-13
Also published as: KR20200126951A

Abstract

대상 사운드에서 특정 이벤트 사운드의 재생구간을 탐지하는 모델의 학습 방법 및 그 장치가 제공 된다. 본 발명의 일 실시예에 따른 이벤트 사운드 탐지 모델 학습 방법은, 인공 합성된 제1 이벤트 사운드를 포함하는 인공 합성 사운드의 데이터를 이용하여 초기 학습(initial learning)된 CBRNN에 포함된 제1 CNN(Convolutional Neural Networks)을 획득하는 단계, 실제 녹음된 상기 제1 이벤트 사운드가 포함된 제1 대상 사운드의 데이터를 이용하여 제2 CNN 및 상기 제2 CNN의 출력 레이어에서 출력 된 데이터를 입력 받는 양방향 LSTM 구조의 RNN을 학습시키는 단계를 포함하되, 상기 제2 CNN은 상기 제1 CNN의 가중치(weight)를 이용하여 전이 학습(transfer learning)된 것이다.A model learning method and apparatus for detecting a reproduction section of a specific event sound in a target sound are provided. The event sound detection model learning method according to an embodiment of the present invention includes a first convolutional (CNN) included in CBRNN that is initially learned using data of artificial synthesized sound including artificially synthesized first event sound. Neural Networks), the interactive LSTM structure that receives the data output from the second CNN and the output layer of the second CNN using the actually recorded data of the first target sound including the first event sound. Including the step of learning the RNN, the second CNN is a transfer learning (transfer learning) using the weight (weight) of the first CNN.

Description

METHOD AND APPARATUS FOR TRAINING SOUND EVENT DETECTION MODEL

본 발명은 폴리포닉 사운드에서 특정 사운드 이벤트를 정확하게 검출하는 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 복수개의 사운드 이벤트를 포함하는 대상 사운드에서 상기 복수개의 이벤트 사운드가 재생되는 구간을 탐지함에 있어 높은 정확도와 속도를 갖는 모델을 학습시키는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for accurately detecting a specific sound event in polyphonic sound. More particularly, it relates to a method and apparatus for training a model having high accuracy and speed in detecting a section in which the plurality of event sounds are reproduced from a target sound including a plurality of sound events.

동시 음향 사건 검출 분야에서는 복수의 이벤트 사운드를 포함하는 폴리포닉 사운드(Polyphonic Sound)에서, 각각의 이벤트 사운드를 추출하고 재생 구간을 정확히 탐지하는 모델을 학습시키기 위한 다양한 신경망 아키텍처가 제시된다. 예를 들어, 학습이 완료된 상기 신경망 아키텍처는 개가 짖는 소리와 자동차 경적 소리가 일부 시간 구간에서 동시에 재생되는 경우에도 개가 짖는 소리의 재생 구간 및 자동차 경적 소리의 재생 구간이 식별될 수 있다.In the field of simultaneous acoustic event detection, various neural network architectures for extracting each event sound from a polyphonic sound including a plurality of event sounds and training a model to accurately detect a reproduction section are proposed. For example, in the neural network architecture that has been trained, a reproduction section of a dog barking sound and a reproduction section of a car horn sound can be identified even when a dog barking sound and a car horn sound are simultaneously reproduced in some time section.

그러나, 종래 CNN 및 RNN을 포함하는 신경망 아키텍쳐는 만족스러운 정확도를 가진 폴리포닉 사운드 이벤트 검출 모델을 수립하지 못하였으므로 높은 정확도를 갖는 신경망 아키텍쳐에 대한 기술의 제공이 요구된다.However, since the conventional neural network architecture including CNN and RNN did not establish a polyphonic sound event detection model with satisfactory accuracy, it is required to provide a technique for a neural network architecture with high accuracy.

또한, 이벤트 사운드 탐지를 수행하는 인공신경망을 학습하기 위한 방대한 데이터 확보에 어려움이 따르므로, 방대한 학습 데이터 없이 복수개의 이벤트 소리를 정확하게 탐지하는 인공신경망을 학습시킬 수 있는 기술의 제공이 요구 된다.In addition, since it is difficult to secure a large amount of data for learning an artificial neural network that detects event sounds, it is required to provide a technology that can train an artificial neural network that accurately detects a plurality of event sounds without a large amount of learning data.

한국공개특허 2007-0042565 AKorean Patent Publication 2007-0042565 A

본 발명이 해결하고자 하는 기술적 과제는, 적은 양의 학습 데이터를 이용하여 정확도 높은 폴리포닉 사운드 이벤트 탐지 모델을 학습시키는 방법 및 그 장치를 제공하는 것이다.SUMMARY The technical problem to be solved by the present invention is to provide a method and an apparatus for learning a polyphonic sound event detection model with high accuracy using a small amount of training data.

본 발명이 해결하고자 하는 다른 기술적 과제는, 제어된 방식으로 인공합성 폴리포닉 사운드 학습 데이터를 통해 폴리포닉 사운드 이벤트 탐지 모델의 학습 효과를 극대화 시키는 방법 및 그 장치를 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a method and apparatus for maximizing the learning effect of a polyphonic sound event detection model through artificially synthesized polyphonic sound learning data in a controlled manner.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 이벤트 사운드 탐지 모델 학습 방법은, 인공 합성된 제1 이벤트 사운드를 포함하는 인공 합성 사운드의 데이터를 이용하여 초기 학습(initial learning)된 CBRNN(Convolutional Bi-directional Neruarl Network)에 포함된 제1 CNN(Convolutional Neural Networks)을 획득하는 단계, 실제 녹음된 상기 제1 이벤트 사운드가 포함된 제1 대상 사운드의 데이터를 이용하여 제2 CNN 및 상기 제2 CNN의 출력 레이어에서 출력 된 데이터를 입력 받는 양방향 LSTM 구조의 RNN을 학습시키는 단계를 포함하되, 상기 제2 CNN은 상기 제1 CNN의 가중치(weight)를 이용하여 전이 학습(transfer learning)된 것일 수 있다.A method for learning an event sound detection model according to an embodiment of the present invention includes a convolutional bi-directional neural network (CBRNN) that is initially learned using data of an artificially synthesized sound including an artificially synthesized first event sound. Acquiring the first CNN (Convolutional Neural Networks) included in the second CNN and the output layer of the second CNN using the data of the first target sound including the actually recorded first event sound and learning an RNN of a bidirectional LSTM structure that receives data, wherein the second CNN may be transfer learning using a weight of the first CNN.

일 실시예에 따른 상기 인공 합성된 제1 이벤트 사운드를 포함하는 인공 합성 사운드의 데이터를 이용하여 초기 학습된 CBRNN에 포함된 제1 CNN을 획득하는 단계는, 인공 합성된 제2 이벤트 사운드를 포함하는 상기 인공 합성 사운드의 데이터를 이용하여 초기 학습된 CBRNN에 포함된 상기 제1 CNN을 획득하는 단계를 더 포함하되, 상기 인공 합성 사운드 데이터의 상기 제1 이벤트 사운드의 재생 구간과 상기 제2 이벤트 사운드의 재생 구간은 지정된 시간만큼 겹치는 것 일 수 있다.Acquiring the first CNN included in the initially learned CBRNN using data of the artificial synthesized sound including the artificially synthesized first event sound according to an embodiment includes the artificially synthesized second event sound The method further comprising: obtaining the first CNN included in the initially learned CBRNN by using the data of the artificial synthesized sound; The playback section may overlap by a specified time.

일 실시예에 따른, 상기 인공 합성된 제2 이벤트 사운드를 포함하는 상기 인공 합성 사운드의 데이터를 이용하여 초기 학습된 CBRNN에 포함된 상기 제1 CNN을 획득하는 단계는,According to an embodiment, obtaining the first CNN included in the CBRNN initially learned using data of the artificial synthesized sound including the artificially synthesized second event sound includes:

랜덤 함수에 의해 지정된 시간만큼 상기 제1 이벤트 사운드와 상기 제2 이벤트 사운드의 재생 구간이 겹치는 상기 인공합성 사운드의 데이터를 이용하여 초기 학습된 CBRNN에 포함된 상기 제1 CNN을 획득하는 단계를 포함할 수 있다.Obtaining the first CNN included in the initially learned CBRNN using data of the artificial synthetic sound in which the reproduction section of the first event sound and the second event sound overlap for a time specified by a random function. can

일 실시예에 따른, 상기 인공 합성된 제2 이벤트 사운드를 포함하는 상기 인공 합성 사운드의 데이터를 이용하여 초기 학습된 CBRNN에 포함된 상기 제1 CNN을 획득하는 단계를 더 포함하는 단계는, 지정된 비율만큼 상기 제1 이벤트 사운드와 상기 제2 이벤트 사운드의 재생 구간이 겹치도록 생성된 상기 인공 합성 데이터를 이용하여 초기 학습된 CBRNN에 포함된 상기 제1 CNN을 획득하는 단계를 포함할 수 있다.According to an embodiment, the step of further comprising obtaining the first CNN included in the initially learned CBRNN using data of the artificial synthesized sound including the artificially synthesized second event sound includes: a specified ratio and obtaining the first CNN included in the initially learned CBRNN by using the artificial synthesis data generated so that the reproduction sections of the first event sound and the second event sound overlap as much as possible.

일 실시예에 따른, 상기 인공 합성된 제1 이벤트 사운드를 포함하는 인공 합성 사운드의 데이터를 이용하여 초기 학습된 CBRNN에 포함된 제1 CNN을 획득하는 단계는, 상기 제2 이벤트 사운드와 상이한 제3 이벤트 사운드를 포함하는 상기 인공 합성 사운드의 데이터를 이용하여 초기 학습된 CBRNN에 포함된 상기 제1 CNN을 획득하는 단계를 더 포함할 수 있다.According to an embodiment, the obtaining of the first CNN included in the CBRNN initially learned using data of the artificial synthesized sound including the artificially synthesized first event sound may include a third different from the second event sound. The method may further include obtaining the first CNN included in the CBRNN initially learned by using the data of the artificial synthesized sound including the event sound.

일 실시예에 따른, 상기 인공 합성된 제1 이벤트 사운드를 포함하는 인공 합성 사운드의 데이터를 이용하여 초기 학습된 CBRNN에 포함된 제1 CNN을 획득하는 단계는, 지정된 개수만큼의 이벤트 사운드를 더 포함하는 인공 합성 사운드의 데이터를 이용하여 초기 학습된 CBRNN에 포함된 제1 CNN을 획득하는 단계를 포함할 수 있다.According to an embodiment, the step of obtaining the first CNN included in the initially learned CBRNN using data of the artificial synthesized sound including the artificially synthesized first event sound further includes a specified number of event sounds. It may include obtaining a first CNN included in the initially learned CBRNN using data of artificial synthetic sound.

일 실시예에 따른, 상기 인공 합성된 제2 이벤트 사운드를 포함하는 상기 인공 합성 사운드의 데이터를 이용하여 초기 학습된 CBRNN에 포함된 상기 제1 CNN을 획득하는 단계를 더 포함하는 단계는, 지정된 개수만큼의 이벤트 사운드의 재생 구간이 더 겹치도록 생성된 상기 인공 합성 데이터를 이용하여 초기 학습된 CBRNN에 포함된 상기 제1 CNN을 획득하는 단계를 포함하되, 상기 지정된 개수는 동시에 겹칠 수 있는 이벤트 사운드의 최대 개수인 것 일 수 있다.According to an embodiment, the step of further comprising obtaining the first CNN included in the initially learned CBRNN using data of the artificial synthesized sound including the artificially synthesized second event sound may include: Acquiring the first CNN included in the initially learned CBRNN using the artificial synthesis data generated so that the reproduction section of the event sound more overlaps, wherein the specified number of event sounds that can overlap at the same time It may be the maximum number.

일 실시예에 따른, 상기 실제 녹음된 상기 제1 이벤트 사운드가 포함된 제1 대상 사운드의 데이터를 이용하여 제2 CNN 및 상기 제2 CNN의 출력 레이어에서 출력 된 데이터를 입력 받는 양방향 LSTM 구조의 RNN을 학습시키는 단계는, 상기 학습된 양방향 LSTM 구조의 RNN을 이용하여 상기 제1 대상 사운드의 재생 구간 중 복수개의 이벤트 사운드의 재생 구간을 동시에 탐지하는 모델을 학습하는 단계를 포함하되, 상기 복수개의 이벤트 사운드는 상기 제1 대상 사운드에 포함된 것 일 수 있다.According to an embodiment, an RNN of a bidirectional LSTM structure that receives data output from a second CNN and an output layer of the second CNN using data of a first target sound including the actually recorded first event sound The learning step includes learning a model for simultaneously detecting a reproduction section of a plurality of event sounds among the reproduction sections of the first target sound using the learned RNN of the bidirectional LSTM structure, wherein the plurality of events The sound may be included in the first target sound.

본 발명의 다른 실시예에 따른 이벤트 사운드 탐지 모델 학습 장치는 이벤트 사운드 탐지 모델 학습 프로그램이 로드 되는 메모리; 및An event sound detection model training apparatus according to another embodiment of the present invention includes: a memory into which an event sound detection model training program is loaded; and

상기 메모리에 로드된 이벤트 사운드 탐지 모델 학습 프로그램을 실행하는 프로세서를 포함하되, 상기 이벤트 사운드 탐지 모델 학습 프로그램은, 인공 합성된 제1 이벤트 사운드를 포함하는 인공 합성 사운드의 데이터를 이용하여 초기 학습(initial learning)된 CBRNN에 포함된 제1 CNN(Convolutional Neural Networks)을 획득하는 인스트럭션(instruction), 실제 녹음된 상기 제1 이벤트 사운드가 포함된 제1 대상 사운드의 데이터를 이용하여 제2 CNN 및 상기 제2 CNN의 출력 레이어에서 출력 된 데이터를 입력 받는 양방향 LSTM 구조의 RNN을 학습시키는 인스트럭션을 포함하되, 상기 제2 CNN은 상기 제1 CNN의 가중치(weight)를 이용하여 전이 학습(transfer learning)된 것일 수 있다.a processor for executing an event sound detection model training program loaded into the memory, wherein the event sound detection model training program is initially trained using data of an artificially synthesized artificial sound including a first artificially synthesized event sound. Instruction for acquiring the first CNN (Convolutional Neural Networks) included in the learned CBRNN, the second CNN and the second using the data of the first target sound including the actually recorded first event sound Including instructions for learning an RNN of a bidirectional LSTM structure that receives data output from an output layer of the CNN, wherein the second CNN is transfer learning using the weight of the first CNN there is.

도 1a은 본 발명의 일 실시예에 따른 이벤트 사운드 탐지 시스템을 설명하기 위한 도면이다.
도 1b은 본 발명의 다른 실시예에 따른 이벤트 사운드 탐지 모델의 학습 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 또 다른 실시예에 따른 이벤트 사운드 탐지 모델 학습 방법에 대한 순서도이다.
도 3 내지 도 4는 도 2을 참조하여 설명될 방법의 일부 동작을 자세히 설명하기 위한 순서도이다.
도 5는 도 4의 일부 동작을 자세히 설명하기 위한 순서도이다.
도 6 내지 도 10은 본 발명의 몇몇 실시예들에서 학습 데이터로서 이용될 수 있는 인공 합성 사운드를 설명하기 위한 도면이다.
도 11은 도 4를 참조하여 설명될 방법의 일부 동작을 자세히 설명하기 위한 순서도이다.
도 12는 도 6을 참조하여 설명될 방법의 일부 동작을 자세히 설명하기 위한 순서도이다.
도 13은 본 발명의 또 다른 실시예에 따른 이벤트 사운드 탐지 모델 학습 장치의 동작을 설명하기 위한 블록도이다.
도 14는 본 발명의 또 다른 실시예에 따른 이벤트 사운드 탐지 모델 학습 장치의 하드웨어 구성도이다.1A is a diagram for explaining an event sound detection system according to an embodiment of the present invention.
1B is a diagram for explaining a method of learning an event sound detection model according to another embodiment of the present invention.
2 is a flowchart of a method for learning an event sound detection model according to another embodiment of the present invention.
3 to 4 are flowcharts for explaining in detail some operations of the method to be described with reference to FIG. 2 .
5 is a flowchart for describing in detail some operations of FIG. 4 .
6 to 10 are diagrams for explaining artificial synthesized sounds that may be used as learning data in some embodiments of the present invention.
11 is a flowchart for describing in detail some operations of the method to be described with reference to FIG. 4 .
12 is a flowchart for describing in detail some operations of the method to be described with reference to FIG. 6 .
13 is a block diagram for explaining the operation of an event sound detection model training apparatus according to another embodiment of the present invention.
14 is a hardware configuration diagram of an event sound detection model training apparatus according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments published below, but may be implemented in various different forms, and only these embodiments allow the publication of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly defined in particular. The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase.

이하, 도면들을 참조하여 본 발명의 몇몇 실시예들을 설명한다.Hereinafter, some embodiments of the present invention will be described with reference to the drawings.

본 발명의 일 실시예에 따른 이벤트 사운드 탐지 모델을 포함하는 시스템의 구성 및 동작을 도 1a를 참조하여 설명한다. 최근 인공신경망을 이용한 동시 음향 사건 검출(Polyphonic sound event detection)분야에 대한 연구가 활발히 진행되고 있다. 동시 음향의 특성상 상기 동시 음향에 포함된 이벤트 사운드의 종류 및 재생 구간을 정확하고 빠르게 검출해야 하기 때문이다. 특히 소리 데이터(21, 22, 23, 24)는 스펙트로그램 형태의 이미지 데이터(31, 32, 33, 45)로 전처리 된 후, 인공신경망(40)의 학습 데이터로 사용된다.The configuration and operation of a system including an event sound detection model according to an embodiment of the present invention will be described with reference to FIG. 1A. Recently, research on the field of polyphonic sound event detection using artificial neural networks is being actively conducted. This is because, due to the characteristics of the simultaneous sound, the type and reproduction section of the event sound included in the simultaneous sound must be accurately and quickly detected. In particular, the sound data 21 , 22 , 23 , and 24 are preprocessed into spectrogram-type image data 31 , 32 , 33 , 45 , and then used as training data of the artificial neural network 40 .

학습된 후, 예측 단계에서 인공신경망(40)에 실제 사운드 데이터(20)가 전처리된 Mel-Spectrogram 형태의 입력데이터(30)를 삽입한다. 예측 단계에서는 상기 실제 사운드에 포함된 이벤트 사운드의 종류 및 재생구간이 검출(50)될 수 있다.After learning, the input data 30 in the form of Mel-Spectrogram in which the actual sound data 20 is pre-processed is inserted into the artificial neural network 40 in the prediction step. In the prediction step, the type and reproduction section of the event sound included in the actual sound may be detected (50).

하지만 종래 신경망 아키텍쳐인 CRNN (CNN 및 RNN을 포함하는 인공 신경망)에서는 이벤트 사운드를 검출함에 있어 속도 및 정확성 측면에서 만족스러운 결과를 얻을 수 없었다. 따라서 본 발명의 몇몇 실시예에 따른 이벤트 사운드 검출 모델 학습 시스템은 CBRNN(Convolutional Bi-directional Recurrent Neural Network) 구조의 신경망 아키텍처(40)를 포함한다. 본 실시예에 따른 시스템의 CBRNN(40)은 학습단계(10a)에서, 학습을 위해 수집된 사운드(21, 22, 23, 24)가 변환된 멜스펙트로그램(Mel-Spectrogram)(31, 32, 33, 34)을 학습 데이터로서 이용하여 학습된다.However, in CRNN (an artificial neural network including CNN and RNN), which is a conventional neural network architecture, satisfactory results cannot be obtained in terms of speed and accuracy in detecting event sounds. Accordingly, the event sound detection model learning system according to some embodiments of the present invention includes a neural network architecture 40 of a Convolutional Bi-directional Recurrent Neural Network (CBRNN) structure. In the learning step 10a, the CBRNN 40 of the system according to the present embodiment converts the collected sounds 21, 22, 23, 24 to Mel-Spectrograms 31, 32, 33, 34) as learning data.

CBRNN(40)은 제1 CNN(Convolutional Neural Network), 제2 CNN 및 Bi-directional LSTM(Long Short-Term Memory)을 포함한다. 이 때, 상기 제2 CNN은 전이 학습 된 것일 수 있다. 즉, 상기 제2 CNN의 가중치는 초기 학습(initial training)이 완료된 CBRNN에 포함된 제1 CNN의 가중치를 이용해 초기화된 것일 수 있다. 본 발명의 몇몇 실시예에 따른 CBRNN은 여러 실험을 통하여 가장 정확도가 높은 학습방법인, 초기 학습 된 CBRNN중 CNN을 이용한 전이학습 단계를 포함하나, 이에 한하지 않고 CBRNN중 RNN 또는 CBRNN 전체를 모두 전이학습에 이용할 수 있고, CNN 또는 RNN중 적어도 하나를 초기학습 시킨 후 전이학습에 이용할 수도 있다.The CBRNN 40 includes a first Convolutional Neural Network (CNN), a second CNN, and a Bi-directional Long Short-Term Memory (LSTM). In this case, the second CNN may be transfer-learned. That is, the weight of the second CNN may be initialized using the weight of the first CNN included in the CBRNN on which initial training has been completed. CBRNN according to some embodiments of the present invention includes, but is not limited to, a transfer learning step using CNN among CBRNNs initially learned, which is a learning method with the highest accuracy through various experiments, and transfers all RNNs or CBRNNs among CBRNNs. It can be used for learning, and after initial training at least one of CNN or RNN, it can also be used for transfer learning.

또한 본 실시예에 따른 신경망 아키텍쳐는 상기 CNN 및 Bi-directional LSTM의 학습결과 데이터의 라벨링을 위하여 완전 결합 레이어(Full-connected layer, dense layer)을 더 포함할 수 있다.In addition, the neural network architecture according to the present embodiment may further include a full-connected layer (dense layer) for labeling the learning result data of the CNN and the bi-directional LSTM.

상기 제1 CNN을 포함하는 CBRNN의 학습을 위해 수집된 사운드 데이터(21, 22, 23, 24)는 특정 이벤트 사운드의 패턴 분류를 위해 인공적으로 합성된 사운드 데이터 일 수 있고, 상기 제2 CNN의 학습을 위해 수집된 사운드 데이터(21, 22, 23, 24)는 특정 이벤트 사운드를 포함하는 실제 녹음된 사운드 데이터일 수 있다. The sound data 21 , 22 , 23 , 24 collected for learning of the CBRNN including the first CNN may be sound data artificially synthesized for pattern classification of a specific event sound, and the learning of the second CNN The sound data 21 , 22 , 23 , and 24 collected for can be actual recorded sound data including a specific event sound.

예측단계(10b)에서는, 실제 대상 사운드 데이터(20)를 Mel-Spectrogram(30)으로 변환하는 전처리 후, 상기 학습단계(10)에서 학습된 CBRNN(40)을 이용하여 대상 사운드 데이터에 포함된 이벤트 사운드의 종류 및 재생 구간을 탐지한다. 특히 복수개의 이벤트 사운드로 구성된 대상 데이터에 대하여, 각각의 이벤트 사운드의 재생구간이 겹치더라도 본 실시예에 따르면 각각의 이벤트 사운드에 대한 재생 구간을 높은 정확도와 속도로 탐지해 낼 수 있다.In the prediction step 10b, after pre-processing to convert the actual target sound data 20 into the Mel-Spectrogram 30, the event included in the target sound data using the CBRNN 40 learned in the learning step 10 Detects sound type and playback section. In particular, with respect to target data composed of a plurality of event sounds, even if the reproduction sections of the respective event sounds overlap, according to the present embodiment, the reproduction sections for each event sound can be detected with high accuracy and speed.

도 1b를 참조하여 본 실시예에 따른 시스템의 학습 관련 구성 및 동작을 보다 상세히 설명한다.A learning-related configuration and operation of the system according to the present embodiment will be described in more detail with reference to FIG. 1B.

본 실시예에 따라 학습되는 이벤트 사운드 탐지 모델은 인공 합성 데이터가 학습된 제1 CNN, 전이학습 된 제2 CNN(71) 및 양방향 LSTM(Bi-directional LSTM)(80)을 포함할 수 있다.The event sound detection model learned according to the present embodiment may include a first CNN on which artificial synthetic data is learned, a second CNN 71 with transfer learning, and a bi-directional LSTM (LSTM) 80 .

제2 CNN(71)은 인공 합성 데이터(60)를 이용하여 초기 학습 된 CBRNN에 포함된 제1 CNN(70)의 가중치(weight)와 동일한 가중치를 가지도록 초기 설정된 상태에서, 실제 데이터(61)를 입력 받아 학습 될 수 있다. 이러한 의미에서 제2 CNN(71)은 전이 학습(transfer learning)을 통해 학습되는 것이다.The second CNN 71 is initially set to have the same weight as the weight of the first CNN 70 included in the CBRNN initially learned using the artificial synthetic data 60, in the state that the actual data 61 It can be learned by receiving input. In this sense, the second CNN 71 is learned through transfer learning.

인공 합성 데이터(60)는 하나 이상의 이벤트 사운드(예를 들어, 개 짖는 소리, 차량 경적 소리)를 인공 합성 데이터(60)의 재생 구간 내의 제어된 방식에 따른 위치에 배치한 것으로 이해될 수 있을 것이다. 인공 합성 데이터(60)는 이벤트 사운드의 다양한 배치 형태를 가질 수 있되, 상기 배치 형태는 상기 제어된 방식에 따른 기준을 만족하는 것인 점에서 학습 효율 측면에서 좋은 품질을 가진 학습 데이터이다. 인공 합성 데이터(60)의 다양한 구성 방법에 대하여 도 6 내지 도 10을 참조하여 추후 자세히 설명하기로 한다.The artificial synthesized data 60 may be understood as arranging one or more event sounds (eg, dog barking, vehicle horn sound) at positions according to a controlled manner within the reproduction section of the artificial synthesized data 60 . . The artificial synthesized data 60 may have various arrangement types of event sounds, and the arrangement forms are learning data having good quality in terms of learning efficiency in that they satisfy the criteria according to the controlled method. Various methods of configuring the artificial synthetic data 60 will be described later in detail with reference to FIGS. 6 to 10 .

실제 데이터(61)는 실제 발생된 사운드가 녹음 된 사운드 데이터에 대하여 소정의 전처리 프로세스가 적용된 데이터이다. 예를 들어, 실제 데이터(61)는 상기 사운드 데이터가 변환된 멜-스펙트로그램(Mel-Spectrogram)일 수 있다. 상기 멜-스펙트로그램은 40*200(decibel * time) 사이즈의 벡터로 구성될 수 있다.The actual data 61 is data to which a predetermined pre-processing process is applied to the sound data in which the actually generated sound is recorded. For example, the actual data 61 may be a Mel-Spectrogram in which the sound data is converted. The Mel-spectrogram may be composed of a vector having a size of 40*200 (decibel*time).

또한 제2 CNN(71)은 3개의 컨볼루셔널 레이어(3 Convolutional Layers)를 포함하여 구성될 수 있다. 또한 제2 CNN(71)의 필터(Filter)는 각각의 레이어에 256개가 있을 수 있고, 각 커널(kernel)의 사이즈는 3x3으로 고정될 수 있다. 또한 시그모이드(sigmoid) 활성 함수가 이용될 수 있으며 매번 가중치는 무작위로 초기화될 수도 있다. Also, the second CNN 71 may be configured to include three convolutional layers. In addition, there may be 256 filters in each layer of the second CNN 71, and the size of each kernel may be fixed to 3x3. Also, a sigmoid activation function may be used and the weights may be randomly initialized each time.

상기 3개의 컨볼루셔널 레이어(Convolutional Layer)에서 컨볼루셔널이 수행된 후, 최대 풀링(Max Pool), 드롭아웃(Dropout), Batch 정규화(Normalization)가 수행될 수 있다. 상기 풀링, 드롭아웃, Batch 정규화는 통상의 기술자가 용이하게 이해할 수 있는 용어의 의미를 갖는다. 상기 최대 풀링은 데시벨 축에서만 진행될 수 있으며, 제1 레이어에서 수행되는 최대 풀링의 스트라이드(stride) 크기 5, 제2 레이어에서 수행되는 최대 풀링의 스트라이드 크기는 4 및 제3 레이어에서 수행되는 최대 풀링의 스트라이드 크기는 2일 수 있다. 또한 드롭 아웃 비율은 0.3으로 고정될 수 있다. After convolution is performed in the three convolutional layers, Max Pool, Dropout, and Batch normalization may be performed. The pooling, dropout, and batch normalization have meanings that can be easily understood by those skilled in the art. The maximum pooling can be performed only on the decibel axis, and the stride size of the maximum pooling performed in the first layer is 5, and the stride size of the maximum pooling performed in the second layer is 4 and that of the maximum pooling performed in the third layer. The stride size may be 2. Also, the dropout ratio can be fixed at 0.3.

상기 제2 CNN(71)의 출력 데이터(output) 1*200*256(decibel*time*number of filter) 크기의 벡터로 생성될 수 있다. 상기 출력 데이터는 필터 축과 데시벨 축을 연관시켜 양방향 LSTM(80)의 입력 데이터(input)인 256*200(number of filter*time) 크기의 벡터로 변환될 수 있다. 상기 제2 CNN(71)의 출력 데이터는 이벤트 사운드에 대한 특징정보를 포함하고 있으며, 양방향 LSTM(80)의 입력 데이터로 입력될 수 있다.The output data of the second CNN 71 may be generated as a vector having a size of 1*200*256 (decibel*time*number of filter). The output data may be converted into a vector having a size of 256*200 (number of filter*time) that is input data of the bidirectional LSTM 80 by associating the filter axis with the decibel axis. The output data of the second CNN 71 includes characteristic information on the event sound, and may be input as input data of the bidirectional LSTM 80 .

양방향 LSTM(80)은 3개의 레이어(81a, 81b, 81c)를 포함할 수 있고, 각 레이어(81a, 81b, 81c)는 100 개의 LSTM 셀(cell)로 구성 될 수 있으며 각각의 셀은 100개의 유닛을 포함할 수 있다. 상기 양방향 LSTM(80)은 batch 정규화 대신 레이어 정규화가 적용될 수 있고 상기 전이 학습 된 CNN(71)과 마찬가지로 시그모이드 활성 함수가 사용될 수 있다.The bidirectional LSTM 80 may include three layers 81a, 81b, and 81c, and each layer 81a, 81b, 81c may consist of 100 LSTM cells, and each cell contains 100 may contain units. In the bidirectional LSTM 80, layer normalization may be applied instead of batch normalization, and a sigmoid activation function may be used like the transfer-learned CNN 71.

양"?* LSTM(80)의 각 레이어(81a, 81b, 81c)는 정방향 LSTM 및 역방향 LSTM이 학습된 결과 벡터 데이터를 연결한 벡터(concatenate vector)(82a, 82b, 82c)가 출력 데이터가 될 수 있고, 각 레이어의 입력 데이터는 이전 레이어의 출력 데이터일 수 있다. 예를 들어 제2 레이어(81b)의 학습을 위한 입력 데이터는 제1 레이어(81a)의 학습 결과 출력 데이터(82a)일 수 있고, 제3 레이어(81c)의 학습을 위한 입력 데이터는 제2 레이어(81b)의 학습 결과 출력 데이터(82b)일 수 있다.Each layer (81a, 81b, 81c) of the positive "?* LSTM 80 is a vector (concatenate vector) 82a, 82b, 82c that concatenates the vector data obtained by learning the forward LSTM and the reverse LSTM as the output data. The input data of each layer may be the output data of the previous layer For example, the input data for learning the second layer 81b may be the learning result output data 82a of the first layer 81a And, the input data for learning of the third layer 81c may be the learning result output data 82b of the second layer 81b.

상기 양방향 LSTM(80)의 최종 레이어(81c)에서 출력된 벡터 값(82c)은 시계열 데이터상에서 시간의 흐름에 따른 이벤트 사운드의 변화까지 고려된 것 일 수 있다. 상기 최종 출력된 벡터 값(82c)은 완전 결합 레이어(90)를 이용해 상기 최종 학습 결과데이터에 각각의 이벤트 사운드에 상응하는 클래스에 따라 분류되고 각 클래스에 상응하는 라벨링이 수행될 수 있다.The vector value 82c output from the final layer 81c of the bidirectional LSTM 80 may be one in which changes in the event sound over time are considered on time series data. The final output vector value 82c may be classified according to a class corresponding to each event sound in the final learning result data using the fully combined layer 90, and labeling corresponding to each class may be performed.

도 2는 본 발명의 일 실시예에 따라 학습된 이벤트 사운드 탐지 모델의 이벤트 사운드 탐지 방법에 대한 순서도이다. 2 is a flowchart of an event sound detection method of a learned event sound detection model according to an embodiment of the present invention.

단계 S100에서 탐지 대상 사운드 데이터가 수집될 수 있다. 상기 탐지 대상 사운드는 복수개의 이벤트 사운드를 포함할 수 있다. 예를 들어 탐지 대상 사운드가 야구 경기장에서의 소리를 녹음한 것이라면, 이벤트 사운드는 관객의 함성소리, 중계소리, 야구공을 야구 배트로 치는 소리일 수 있다. 상기 탐지 대상 사운드 데이터는 오디오 형태의 데이터일 수 있다.In step S100, sound data to be detected may be collected. The detection target sound may include a plurality of event sounds. For example, if the sound to be detected is a sound recorded at a baseball stadium, the event sound may be a shout of an audience, a relay sound, or a sound of hitting a baseball with a baseball bat. The detection target sound data may be audio data.

단계 S200에서 상기 수집된 탐지 대상 사운드 데이터가 전처리 될 수 있다. 본 발명의 일 실시예에 따른 CBRNN은 이미지의 특징을 추출하기 위한 신경망 이므로 상기 수집된 오디오 형태의 탐지 대상 사운드 데이터가 이미지 형태의 데이터로 전처리 될 수 있다.In step S200, the collected detection target sound data may be pre-processed. Since CBRNN according to an embodiment of the present invention is a neural network for extracting image features, the collected audio-type detection target sound data may be pre-processed into image-type data.

단계 S300에서 본 발명의 일 실시예에 따른 CBRNN의 학습 결과, 이벤트 사운드를 탐지하는 모델이 수립될 수 있다. 상세한 설명은 이하 도 4 내지 도 7에서 후술한다.As a result of learning CBRNN according to an embodiment of the present invention in step S300, a model for detecting an event sound may be established. A detailed description will be given later with reference to FIGS. 4 to 7 .

단계 S400에서 본 발명의 일 실시예에 따른 CBRNN에서 수립된 모델에 의해 대상 사운드에 포함된 이벤트 사운드의 존재 여부가 예측될 수 있다. 예를 들어 본 실시예에 따라 학습된 모델인 CBRNN을 통해 대상 사운드 데이터의 구간별로 복수개의 이벤트 사운드의 존재 확률이 계산될 수 있고, 상기 확률이 특정 임계값을 초과하는 경우 해당 구간에 이벤트 사운드 데이터가 존재한다고 예측될 수 있다.In step S400, the existence of an event sound included in the target sound may be predicted by the model established in CBRNN according to an embodiment of the present invention. For example, the existence probability of a plurality of event sounds may be calculated for each section of the target sound data through CBRNN, a model learned according to the present embodiment, and when the probability exceeds a specific threshold, the event sound data in the corresponding section can be predicted to exist.

도 3을 참조하여 대상 데이터의 전처리를 수행하는 과정에 대하여 상세히 설명한다. 대부분의 사운드 데이터는 오디오 형태(Audio file format)이다. 예를 들어 비압축 형태인 WAV, AIRR 및 AU, 비손실 압축 포맷인 FLAC, TTA 및 WavPack, 손실 압축 포맷인 MP3, AAC 와 같은 형태가 있을 수 있다. 하지만 이와 같은 오디오 형태의 사운드 데이터는 시계열 데이터 상태에서 어떤 이벤트 사운드가 포함되어 있는지, 특정 이벤트 사운드가 어떤 특징을 갖고 있는지 파악하기 어렵다.A process of pre-processing target data will be described in detail with reference to FIG. 3 . Most of the sound data is in an audio file format. For example, there may be uncompressed formats such as WAV, AIRR and AU, lossless compression formats FLAC, TTA and WavPack, and lossy compression formats MP3 and AAC. However, it is difficult to understand which event sound is included in the time series data state and the characteristics of a specific event sound in such audio-type sound data.

따라서 단계 S210에서 오디오 형태의 대상 사운드 데이터에 대한 신호처리가 수행될 수 있다. 신호처리는 예를 들어 STFT(Short Time Fourier Transform)일 수 있다. 종래 사용하던 신호처리 기술인 FFT는 상기 사운드 데이터에 대한 주파수 성분을 알 수 있으나, 시간축에 대한 정보를 잃어버려 어떤 대상 사운드 데이터의 특정 구간에서 재생되는 이벤트 사운드에 대한 주파수 성분만을 알 수 없다는 문제가 발생한다.Accordingly, signal processing may be performed on target sound data in an audio format in step S210. Signal processing may be, for example, STFT (Short Time Fourier Transform). FFT, which is a conventional signal processing technique, can know the frequency component of the sound data, but loses information on the time axis, so that only the frequency component of the event sound reproduced in a specific section of a certain target sound data cannot be known. do.

따라서 본 발명의 일 실시예에 따른 STFT를 이용한 사운드 데이터 신호처리 방법은, 대상 사운드 데이터를 5초 단위로 나누고 나누어진 구간 별로 FFT를 수행하는 STFT 신호처리가 수행될 수 있다. 또한 상기 5초 단위로 나뉜 구간은 STFT 처리됨으로써 50%씩 겹쳐지는 50ms의 프레임으로 변형 될 수 있다.Accordingly, in the sound data signal processing method using STFT according to an embodiment of the present invention, STFT signal processing in which target sound data is divided into 5 second units and FFT is performed for each divided section may be performed. In addition, the section divided by 5 seconds may be transformed into a frame of 50 ms overlapping by 50% by STFT processing.

하지만 신호처리 결과는 CBRNN을 포함하는 신경망 아키텍쳐를 이용한 이벤트 사운드 탐지 모델의 학습을 위한 데이터로 사용될 수 없다. 본 발명의 일 실시예에 따르면 CBRNN의 학습에 사용되는 이미지 형태의 데이터를 생성하기 위해 Mel-Spectrogram 형태로의 변환이 한번 더 수행될 수 있다.However, the signal processing result cannot be used as data for training an event sound detection model using a neural network architecture including CBRNN. According to an embodiment of the present invention, conversion into a Mel-Spectrogram form may be performed once more to generate image data used for CBRNN learning.

단계 S220에서 상기 신호처리 결과를 Mel-Spectrogram 형태로 변환하는 전처리가 수행될 수 있다. 예를 들어 상기 50ms의 프레임에 대하여 프레임당 40 멜(Mel)의 로그 크기를 갖는 Mel-Spectrogram형태로 변환될 수 있다. 또한 Mel-Spectrogram 형태의 프레임에 라벨링을 수행하여, 각각의 프레임에 대하여 라벨 벡터가 할당될 수 있다.In step S220, pre-processing of converting the signal processing result into a Mel-Spectrogram form may be performed. For example, the 50 ms frame may be converted into a Mel-Spectrogram form having a log size of 40 Mels per frame. In addition, by performing labeling on the Mel-Spectrogram type frame, a label vector may be assigned to each frame.

즉, 대상 사운드 데이터의 STFT이후 획득한 spectrogram의 주파수 성분을 Mel 곡선에 따라 압축한 Mel-Spectrogram 형태의 데이터를 획득할 수 있다.That is, it is possible to obtain Mel-Spectrogram data obtained by compressing the frequency components of the spectrogram obtained after STFT of the target sound data according to the Mel curve.

이하 도 4를 참조하여 CBRNN 인공신경망을 이용하여 이벤트 사운드 탐지 모델이 학습되는 과정을 상세히 설명한다.Hereinafter, a process in which an event sound detection model is trained using a CBRNN artificial neural network will be described in detail with reference to FIG. 4 .

CBRNN은 제1 CNN, 제2 CNN 및 양방향 LSTM(Bi-directional LSTM)을 포함할 수 있다.The CBRNN may include a first CNN, a second CNN, and a bi-directional LSTM (LSTM).

단계 S310에서 제1 CNN 및 제2 CNN을 이용하여 대상 사운드에 존재하는 이벤트 사운드 데이터의 패턴에 대한 분류 모델이 수립될 수 있다. 제2 CNN은 제1 CNN을 이용해 전이학습 된 것일 수 있다. 도 5에서 전이학습에 대해 상세히 설명한다.In step S310, a classification model for a pattern of event sound data present in the target sound may be established using the first CNN and the second CNN. The second CNN may be transfer-learned using the first CNN. The transfer learning will be described in detail in FIG. 5 .

단계 S320에서 상기 CNN의 출력 데이터가 포함하는 상기 이벤트 사운드 데이터의 특징 및 패턴은 양방향 LSTM의 입력 데이터로 이용될 수 있다. 상기 이벤트 사운드 데이터의 특징 및 패턴이 학습된 양방향 LSTM은 실제 대상 사운드 데이터에서 상기 이벤트 사운드 데이터가 재생되는 구간을 탐지할 수 있다. 상세한 설명은 이하 도 6내지 도 7에서 한다. In step S320, the features and patterns of the event sound data included in the output data of the CNN may be used as input data of the interactive LSTM. The interactive LSTM in which the characteristics and patterns of the event sound data are learned can detect a section in which the event sound data is reproduced from the actual target sound data. A detailed description will be given below with reference to FIGS. 6 to 7 .

LSTM을 사용함으로써 종래 RNN을 사용함으로써 발생되었던 정보 손실 문제인 Vanishing gradient problem의 발생을 감소 시킬 수 있다. By using the LSTM, it is possible to reduce the occurrence of the vanishing gradient problem, which is an information loss problem caused by using the conventional RNN.

도 5에서 전이 학습된 제2 CNN에 의해 이벤트 사운드 분류 모델이 수립되는 과정을 상세히 설명한다. 전이 학습은 이미 학습된 알고리즘의 가중치(weight)를 이용하여 향상된 속도와 성능을 갖는 모델을 수립하기 위해 사용된다. In FIG. 5, a process in which an event sound classification model is established by the transfer-learned second CNN will be described in detail. Transfer learning is used to establish a model with improved speed and performance by using the weights of an already learned algorithm.

단계 S311에서 제1 CNN은 인공 합성 사운드 데이터를 학습 할 수 있다. 상기 인공 합성 사운드 데이터는 예를 들어 다양한 종류의 인공 이벤트 사운드 데이터를 5초동안의 빈 사운드 데이터에 합성한 데이터 일 수 있다. 즉, 인공 합성 사운드 데이터는 5초 동안의 빈 사운드 데이터에 지정된 길이와 지정된 구간에 위치하도록 합성된 것 일 수 있다. 또한 상기 인공 데이터 합성시, 전체 평균에 의해 얻어진 가우시안 랜덤 값과 표준편차를 곱하여 상기 사운드의 진폭이 정규화 될 수 있다. 상세한 설명은 이하 도 6내지 도 8에서 후술한다. In step S311, the first CNN may learn artificial synthesized sound data. The artificial synthesized sound data may be, for example, data obtained by synthesizing various types of artificial event sound data into empty sound data for 5 seconds. That is, the artificially synthesized sound data may be synthesized so as to be located at a specified length and a specified section in the empty sound data for 5 seconds. Also, when synthesizing the artificial data, the amplitude of the sound may be normalized by multiplying the Gaussian random value obtained by the overall average and the standard deviation. A detailed description will be given later with reference to FIGS. 6 to 8 .

상기 인공 사운드 데이터는 웹 사이트에서 획득한 퍼블릭 사운드 데이터, 연구용으로 만들어진 사운드 데이터 및 실시간 사운드 데이터 에서 추출된 사운드 데이터일 수 있다. 상기 추출되는 사운드 데이터의 종류는 논문 'T. Heittola, A.Mesaros, A.Eronen and T.Virtanen, "Context-dependent sound event detection", EURASIP Journal on Audio, Speech, and Music Processing, pp. 1-13, 2013'에 따른 분류에 의해 나눠진 20가지 종류일 수 있다.The artificial sound data may be public sound data obtained from a website, sound data made for research, and sound data extracted from real-time sound data. The type of sound data to be extracted is described in the paper 'T. Heittola, A. Mesaros, A. Eronen and T. Virtanen, "Context-dependent sound event detection", EURASIP Journal on Audio, Speech, and Music Processing, pp. There may be 20 kinds divided by classification according to '1-13, 2013'.

단계 S312에서 제1 CNN의 가중치(weight)를 이용하여 전이 학습된 제2 CNN이 획득될 수 있다. 인공 합성 사운드가 학습된 제1 CNN을 이용해 전이 학습 됨으로써, 전이 학습된 제2 CNN이 이벤트 사운드 데이터의 특징 및 패턴을 분류하는 모델의 학습 시간을 감소시킬 수 있고, 상기 학습을 위한 충분한 데이터 확보의 어려움에 대한 문제점을 해결할 수 있다. 특히, 제1 CNN에서 인공 합성 데이터를 이용해 학습을 함으로써 CBRNN 신경망 아키텍쳐의 전체적인 속도 향상뿐 아니라, 정확성도 매우 높아졌다.In step S312, a second CNN that is transfer-learned using a weight of the first CNN may be obtained. As the artificial synthetic sound is transfer-learned using the learned first CNN, the transfer-learned second CNN can reduce the training time of the model that classifies the features and patterns of event sound data, and it is possible to obtain sufficient data for the learning. Problems can be solved with difficulties. In particular, by learning using artificial synthetic data in the first CNN, not only the overall speed of the CBRNN neural network architecture, but also the accuracy is greatly improved.

본 발명의 몇몇 실시예에 따른 CBRNN의 정확도를 측정하기 위한 수치는 F1과 ER(Error Rate)이 이용될 수 있다. 또한 이하 다른 모델과의 성능 비교를 위해 전이 학습된 CBRNN의 경우 tl(transfer learning)-CBRNN으로 표현한다. F1 and ER (Error Rate) may be used as values for measuring the accuracy of CBRNN according to some embodiments of the present invention. In addition, for performance comparison with other models, transfer learning CBRNN is expressed as tl (transfer learning)-CBRNN.

이벤트 사운드 데이터를 정확하게 탐지해내는 정도를 의미하는 수치를 F1, 새로운 이벤트 사운드를 탐지한 경우를 의미하는 수치를 P(precision) 및 과거에 탐지한 이벤트 사운드에 대한 회기를 의미하는 수치를 R(recall)이라 할 때, F1에 대한 정의는 아래와 같다.F1 indicates the degree to which event sound data is accurately detected, P (precision) indicates the case of detecting a new event sound, and R (recall) indicates regression to previously detected event sounds. ), the definition of F1 is as follows.

[수식 1][Formula 1]

또한, 오류율(ER, Error Rate)은 삽입(I), 삭제(D), 대체(S) 및 활성 클래스(N)를 이용하여 아래와 같이 정의된다.In addition, the error rate (ER) is defined as follows using insertion (I), deletion (D), replacement (S), and active class (N).

[수식 2][Equation 2]

인공 합성 데이터가 학습된 CNN을 이용하여 전이학습된 CNN을 포함하는 tl-CBRNN(transfer learned CBRNN)의 성능과 인공 합성 데이터로 학습 되지 않은 CNN에 의해 전이학습된 CNN을 포함하는 tl-CBRNN의 성능을 비교한 결과는 아래와 같다. Performance of tl-CBRNN (transfer learned CBRNN) including a transfer learned CNN using a CNN trained on artificial synthetic data and tl-CBRNN including a transfer learned CNN by a CNN not trained with artificial synthetic data The comparison results are as follows.

MethodMethod F1F1 ERER tl-CBRNNtl-CBRNN 55.9±1.955.9±1.9 0.56±0.030.56±0.03 tl-CBRNN(using synthetic data)tl-CBRNN (using synthetic data) 74.0±0.574.0±0.5 0.36±0.010.36±0.01

표 1을 참조하면, 인공 합성 데이터를 사용하여 전이 학습된 tl_CRBNN의 F1수치는 74.0에 오차범위 0.5인 반면, 인공 합성 데이터를 사용하지 않고 전이 학습된 tl-CBRNN의 F1수치는 55.9에 오차범위 1.9이다. F1 수치의 정의에 따라 인공 합성 데이터를 사용하여 전이 학습된 tl-CBRNN의 경우가 인공 합성 데이터를 사용하지 않은 tl-CBRNN보다 정확성 측면에서 더 높은 결과를 보임을 알 수 있다.또한, 인공 합성 데이터를 이용하여 학습된 CNN을 이용하여 전이학습된 CNN을 포함하는 tl-CBRNN의 성능과 전이 학습 되지 않고 직접 인공 합성 데이터를 이용하여 학습된 CNN포함하는 CBRNN의 성능을 비교한 결과는 아래와 같다.Referring to Table 1, the F1 value of tl_CRBNN transferred using artificial synthesis data is 74.0 with an error range of 0.5, whereas the F1 value of tl-CBRNN transferred without artificial synthesis data is 55.9 with an error range of 1.9. am. According to the definition of the F1 value, it can be seen that the transfer-trained tl-CBRNN using artificial synthetic data shows higher results in terms of accuracy than the tl-CBRNN without artificial synthetic data. In addition, artificial synthetic data The results of comparing the performance of the tl-CBRNN including the transfer-learned CNN using the CNN learned using

MethodMethod F1F1 ERER CBRNN(using synthetic data)CBRNN (using synthetic data) 70.7±0.670.7±0.6 0.40±0.010.40±0.01 tl-CBRNN(using synthetic data)tl-CBRNN (using synthetic data) 74.0±0.574.0±0.5 0.36±0.010.36±0.01

표 2을 참조하면, 인공 합성 데이터를 사용하여 전이 학습된 tl_CRBNN의 F1수치는 74.0에 오차범위 0.5인 반면, 인공 합성 데이터를 사용하였으나 전이 학습되지 않은 tl-CBRNN의 F1수치는 70.7에 오차범위 0.6이다. F1 수치의 정의에 따라 인공 합성 데이터를 사용하여 전이 학습된 tl-CBRNN의 경우가 전이 학습 되지 않은 CBRNN보다 정확성 측면에서 더 높은 결과를 보임을 알 수 있다.상기 표 1 및 표 2를 참조할 때, 인공합성 데이터를 이용하여 학습된 CNN을 이용해 전이학습된 CNN을 포함하는 tl-CBRNN이 다른 모델보다 정확도(F1)가 높고 오류율(ER)이 낮음을 알 수 있다.Referring to Table 2, the F1 value of tl_CRBNN transferred using artificial synthesis data is 74.0 with an error range of 0.5, whereas the F1 value of tl-CBRNN that has not been transfer learned using artificial synthesis data is 70.7 with an error range of 0.6. am. According to the definition of the F1 value, it can be seen that the tl-CBRNN, which is transfer-learned using artificial synthetic data, shows higher results in terms of accuracy than the non-transfer-trained CBRNN. Referring to Tables 1 and 2 above, , it can be seen that the tl-CBRNN including the transfer-trained CNN using the CNN trained using artificial synthesis data has higher accuracy (F1) and lower error rate (ER) than other models.

단계 S313에서, 제2 CNN은 실제 사운드 데이터를 이용하여 학습될 수 있다. 상기 제2 CNN이 실제 대상 사운드 데이터를 이용하여 학습 됨으로써 발생할 수 있는 과적합(overfitting)문제는 단계 S311 내지 단계 S312에서 수행된 전이 학습에 의해 미리 방지될 수 있다.In step S313, the second CNN may be learned using real sound data. An overfitting problem that may occur when the second CNN is learned using actual target sound data can be prevented in advance by transfer learning performed in steps S311 to S312.

과적합 이란, 머신러닝에서 학습 데이터를 과하게 잘 학습하여, 상기 학습 데이터를 이용하여 검증(Validation) 할 경우 오차가 매우 적지만, 실제 다른 데이터에 대하여는 오차가 증가하는 지점이 존재하는 문제이다. 본 발명의 일 실시예에 따른 인공 학습 데이터를 학습한 CNN을 이용해 전이학습된 CNN을 통해 실제 데이터를 모두 수집하지 않더라도 다양한 데이터를 통해 학습된 모델을 획득할 수 있으므로 상기 과적합 문제의 발생은 배제될 수 있다.Overfitting is a problem in that the error is very small when the training data is learned too well in machine learning and validation is performed using the training data, but there is a point where the error increases with respect to other data. Using the CNN that has learned artificial learning data according to an embodiment of the present invention, the overfitting problem is excluded because the learned model can be obtained through various data even without collecting all the actual data through the transfer-learning CNN. can be

단계 S314에서 이벤트 사운드의 패턴을 분류하는 모델이 수립될 수 있다. 상기 수립된 모델은 이후 예측 단계에서 실제 대상 사운드 데이터에 포함된 이벤트 사운드를 탐지한 수 있다.In step S314, a model for classifying the pattern of the event sound may be established. The established model may detect an event sound included in the actual target sound data in a subsequent prediction step.

이하 도 6 내지 도 8을 참조하여 인공 합성 사운드 데이터를 생성하는 방법을 상세히 설명한다.Hereinafter, a method of generating artificial synthetic sound data will be described in detail with reference to FIGS. 6 to 8 .

본 발명의 일 실시예에 따른 인공 합성 데이터에는 지정된 길이의 빈 사운드 데이터 또는 노이즈 사운드 데이터에 이벤트 사운드를 삽입된 형태일 수 있다.The artificial synthesis data according to an embodiment of the present invention may have a form in which an event sound is inserted into blank sound data or noise sound data of a specified length.

도 6을 참조하면 5초 동안 재생되는 인공 합성 사운드(300)는 5초 동안 재생되는 빈 사운드 데이터에 자동차 이벤트 사운드(301, 302, 303)를 삽입하여 생성될 수 있다. 상기 삽입되는 이벤트 사운드(301, 302, 303)은 지정된 위치에 지정된 시간동안 재생되도록 합성될 수 있고, 랜덤으로 삽입 위치 및 시간이 결정될 수도 있으며, 지정된 이벤트 사운드 데이터의 재생 비율에 상응하는 재생시간을 갖도록 상기 이벤트 사운드가 삽입될 수도 있다.Referring to FIG. 6 , an artificial synthetic sound 300 reproduced for 5 seconds may be generated by inserting car event sounds 301 , 302 , and 303 into empty sound data reproduced for 5 seconds. The inserted event sounds 301, 302, 303 may be synthesized to be reproduced at a specified location for a specified time, the insertion position and time may be randomly determined, and a reproduction time corresponding to the reproduction rate of the specified event sound data may be determined. The event sound may be inserted so as to have it.

예를 들어 전체 인공 합성 사운드 데이터의 60% ~ 80%가 이벤트 사운드의 재생 구간이 되도록 인공 합성 사운드 데이터가 생성될 경우, 3개의 자동차 소리(301, 302, 303)가 전체 재생 시간의 60%의 비율을 차지하도록 인공 합성 사운드(300)가 생성될 수 있고, 2개의 음악 소리(311, 312)가 전체 재생 시간의 80%의 비율을 차지하도록 인공 합성 사운드 데이터(310)가 생성될 수도 있다. For example, when artificial synthetic sound data is generated so that 60% to 80% of the total artificial synthetic sound data is the playback section of the event sound, three car sounds 301, 302, 303 are generated for 60% of the total playback time. The artificial synthesized sound 300 may be generated to occupy a proportion, and the artificial synthesized sound data 310 may be generated such that the two music sounds 311 and 312 occupy 80% of the total reproduction time.

또한 도 7을 참조할 때, 본 발명의 다른 실시예에 따라 복수개의 이벤트 사운드 데이터가 포함된 인공 합성 사운드 데이터가 생성될 수 있다.Also, referring to FIG. 7 , according to another embodiment of the present invention, artificial synthetic sound data including a plurality of event sound data may be generated.

본 발명의 일 실시예에 따른 인공 합성 데이터는 지정된 개수의 이벤트 사운드를 포함하도록 생성될 수 있다. 또한 지정된 구간 또는 비율만큼 상기 이벤트 사운드간 재생 구간이 겹치도록 합성될 수 있다.The artificial synthesis data according to an embodiment of the present invention may be generated to include a specified number of event sounds. In addition, it can be synthesized so that the reproduction section between the event sounds overlaps by a specified section or ratio.

예를 들어 2개의 이벤트 사운드의 재생 구간이 전체 대상 사운드의 30% 비율만큼 겹치는 구간(321, 322, 323, 331, 332)을 포함하는 인공 합성 사운드(320, 330)가 생성되는 경우, 도 7을 참조할 때 생성되는 인공 합성 사운드 데이터(320. 330)에 포함된 복수개의 이벤트 사운드의 재생 구간(321, 322, 323, 331, 332)은 상이하더라도 복수개의 이벤트 사운드의 재생 구간이 겹치는 구간의 길이는 동일할 수 있다.For example, when the artificial synthesized sounds 320 and 330 including sections 321 , 322 , 323 , 331 and 332 in which the reproduction sections of two event sounds overlap by 30% of the total target sound are generated, FIG. 7 Although the reproduction sections 321, 322, 323, 331, 332 of the plurality of event sounds included in the artificial synthetic sound data 320. 330 generated when referring to are different, the reproduction sections of the plurality of event sounds overlap The length may be the same.

도 8을 참조할 때, 본 발명의 또 다른 실시예에 따라 다양한 조합의 복수개의 이벤트 사운드가 포함된 인공 합성 사운드가 생성될 수 있다.Referring to FIG. 8 , an artificial synthetic sound including a plurality of event sounds of various combinations may be generated according to another embodiment of the present invention.

예를 들어 자동차 소리를 포함하는 인공 합성 사운드 데이터(340, 350)를 생성하되, 상기 인공 합성 사운드 데이터(340, 350)는 자동차 소리의 재생 구간과 자동차 소리가 아닌 이벤트 사운드 데이터의 재생 구간과 겹치는 구간(341, 342, 343, 351, 352, 353)이 존재하도록 생성될 수 있다. 본 실시예에 따른 인공 합성 데이터(340)의 자동차 소리가 아닌 다른 이벤트 사운드는 랜덤으로 지정될 수 있으며, 이벤트 사운드간 겹치는 재생 구간의 비율은 지정된 수치일 수도 있고, 랜덤으로 정해질 수도 있음에 유의한다.For example, artificial synthesized sound data 340 and 350 including a car sound are generated, wherein the artificial synthetic sound data 340 and 350 overlap with a reproduction section of a car sound and a reproduction section of event sound data other than a car sound. Intervals 341 , 342 , 343 , 351 , 352 , and 353 may be created to exist. It should be noted that event sounds other than the car sound of the artificial synthesis data 340 according to the present embodiment may be randomly designated, and the ratio of the overlapping reproduction section between the event sounds may be a specified value or may be randomly determined. do.

도 9를 참조할 때, 본 발명의 또 다른 실시예에 따라 지정된 개수의 이벤트 사운드가 포함된 인공 합성 사운드가 생성될 수 있다.Referring to FIG. 9 , an artificial synthetic sound including a specified number of event sounds may be generated according to another embodiment of the present invention.

예를 들어 3개의 이벤트 사운드를 포함하는 인공 합성 사운드가 생성되도록 지정된 경우 경고음, 자동차 소리 및 음악 소리를 포함하는 사운드 데이터(360, 370)가 생성될 수 있다. 이 경우 이벤트 사운드간 겹치는 구간에 대한 지정을 하지 않으면, 겹치는 구간이 존재하지 않는 인공 합성 사운드 데이터(360)가 생성될 수 있고, 2개의 이벤트 사운드만 겹치는 구간(371, 372)이 존재하는 인공 합성 사운드 데이터(370)가 생성될 수도 있다. 상기 이벤트 사운드의 개수는 랜덤 함수에 의해 지정된 다양한 숫자가 될 수 있다. 이로써 이벤트 사운드 탐지 모델의 학습 데이터가 더욱 다양하게 생성됨으로써 상기 모델의 정확성이 높아질 수 있다.For example, when an artificial synthetic sound including three event sounds is designated to be generated, sound data 360 and 370 including a warning sound, a car sound, and a music sound may be generated. In this case, if an overlapping section between event sounds is not specified, artificial synthesis sound data 360 having no overlapping section may be generated, and artificial synthesis in which only two event sounds overlapping sections 371 and 372 exist. Sound data 370 may be generated. The number of event sounds may be various numbers designated by a random function. As a result, the training data of the event sound detection model can be generated more diversely, thereby increasing the accuracy of the model.

도 10을 참조할 때, 본 발명의 또 다른 실시예에 따른 최대 겹칠 수 있는 이벤트 사운드의 개수가 지정된 경우 생성된 인공 합성 사운드에 대해 설명한다.Referring to FIG. 10 , an artificial synthetic sound generated when the maximum number of overlapping event sounds is specified according to another embodiment of the present invention will be described.

예를 들어 최대 3개까지 이벤트 사운드가 겹칠 수 있도록 지정된 경우 경고음, 자동차 소리 및 음악소리가 모두 겹치는 구간(381, 391, 392)이 존재할 수 있고, 본 실시예에 따라 반드시 3개가 겹치는 구간이 인공 합성 사운드(380, 390)에 존재해야 할 수도 있다. 상기 최대 겹칠 수 있는 이벤트 사운드의 개수는 랜덤 함수에 의해 지정된 다양한 숫자가 될 수 있음에 유의한다.For example, if up to three event sounds are specified to overlap, there may be sections 381, 391, and 392 in which warning sounds, car sounds, and music sounds all overlap, and according to the present embodiment, sections 381, 391, and 392 must be overlapped according to the present embodiment. It may have to be present in the synthesized sound 380 , 390 . Note that the maximum number of overlapping event sounds may be various numbers designated by a random function.

이하 도 11을 참조하여 양방향 LSTM의 학습과정을 상세히 설명한다. 양방향 LSTM은 복수개의 레이어로 구성될 수 있다. 본 발명의 일 실시예에 따른 양방향 LSTM은 세개의 레이어로 구성될 수 있다.Hereinafter, the learning process of the interactive LSTM will be described in detail with reference to FIG. 11 . The bidirectional LSTM may consist of a plurality of layers. The bidirectional LSTM according to an embodiment of the present invention may consist of three layers.

단계 S321에서 양방향 LSTM의 제1 레이어에서 전이학습된 CNN의 결과값을 이용하여 학습이 진행될 수 있다. 본 발명의 일 실시예에 따른 양방향 LSTM의 각각의 레이어는 100개의 LSTM 셀(cell)로 구성될 수 있고, 각각의 셀(cell)은 100개의 유닛(unit)을 가질 수 있다.In step S321, learning may proceed using the result value of the CNN transfer-learned in the first layer of the bidirectional LSTM. Each layer of the bidirectional LSTM according to an embodiment of the present invention may consist of 100 LSTM cells, and each cell may have 100 units.

단계 S322에서 양방향 LSTM의 제2 레이어는 제1 레이어의 학습 결과값을 이용하여 학습이 진행 될 수 있다. 상기 제1 레이어의 학습 결과값은 벡터 형태의 데이터 일 수 있다.In step S322, learning of the second layer of the bidirectional LSTM may be performed using the learning result value of the first layer. The learning result value of the first layer may be data in a vector form.

단계 S323에서 양방향 LSTM의 제3 레이어는 제2 레이어의 학습 결과값을 이용하여 학습이 진행될 수 있다. 상기 제1 내지 제3 레이어는 대상 사운드 데이터에서 이벤트 사운드 데이터가 재생되는 구간을 탐지하기 위한 학습을 수행한다. 따라서 본 발명의 일 실시예에 따라, 양방향 LSTM의 학습 결과는 완전 결합 레이어에 의하여 탐지되는 이벤트 사운드에 대한 분류(classification) 및 라벨링(labeling)이 수행 될 수 있다.In step S323, learning of the third layer of the bidirectional LSTM may be performed using the learning result value of the second layer. The first to third layers perform learning to detect a section in which event sound data is reproduced from the target sound data. Accordingly, according to an embodiment of the present invention, the classification and labeling of the event sound detected by the fully coupled layer may be performed on the learning result of the bidirectional LSTM.

단계 S324에서 상기 복수개의 레이어의 학습 결과 대상 사운드 데이터에 존재하는 복수개의 이벤트 사운드 데이터 및 상기 이벤트 사운드가 재생되는 재생구간을 탐지하는 모델이 수립될 수 있다.In step S324, a model for detecting a plurality of event sound data existing in the target sound data as a result of learning the plurality of layers and a reproduction section in which the event sound is reproduced may be established.

이하 도 12을 참조하여 양방향 LSTM의 각 레이어에서 수행되는 학습 과정을 상세히 설명한다. 각 레이어에서 수행되는 방법에 대한 중복 서술을 최소화 하기 위해 제1 레이어에 대한 학습 수행 방법만 설명한다.Hereinafter, a learning process performed in each layer of the bidirectional LSTM will be described in detail with reference to FIG. 12 . In order to minimize the redundant description of the method performed in each layer, only the method of performing the learning on the first layer will be described.

양방향 LSTM(Bi-directional LSTM)은 정방향 LSTM(forward LSTM)및 역방향 LSTM(backward LSTM)에 의한 학습이 모두 수행된다. 상기 정방향 LSTM과 역방향 LSTM은 입력값이 입력되는 순서가 다르다. 역방향 LSTM의 입력값은 정방향 LSTM과 반대방향으로 입력된다. In the bi-directional LSTM (Bi-directional LSTM), learning by both forward LSTM (forward LSTM) and backward LSTM (backward LSTM) is performed. In the forward LSTM and the backward LSTM, the order in which input values are input is different. The input value of the backward LSTM is input in the opposite direction to that of the forward LSTM.

단계 S3211에서, 정방향 LSTM에서 이벤트 사운드 패턴 데이터에 대한 학습이 수행될 수 있다. In step S3211, learning may be performed on the event sound pattern data in the forward LSTM.

단계 S3212에서, 역방향 LSTM에서 이벤트 사운드 패턴 데이터에 대한 학습이 수행될 수 있다. 단계 S3211과 단계 S3212는 병렬적으로 수행될 수 있으며 행관계에 있는 것은 아니다.In step S3212, learning may be performed on the event sound pattern data in the backward LSTM. Steps S3211 and S3212 may be performed in parallel and are not in a row relationship.

단계 S3213에서 상기 정"?* LSTM의 학습 결과 및 상기 역방향 LSTM의 학습 결과를 결합한 벡터가 양방향 LSTM의 제1 레이어 학습 결과값이 될 수 있다. 상기 제1 레이어 학습 결과값은 다음 레이어의 입력값이 될 수 있다.In step S3213, a vector obtained by combining the learning result of the forward LSTM and the learning result of the reverse LSTM may be a first layer learning result value of the bidirectional LSTM. The first layer learning result value is an input value of the next layer this can be

양방향 LSTM을 포함하는 CBRNN의 성능과, 단방향의 RNN을 포함하는 CRNN의 성능을 비교한 결과는 아래와 같다. 아래 성능 비교는 양방향 LSTM을 사용한 효과만을 확인하기 위하여, 인공 합성 데이터로 학습되지 않고, 전이 학습 되지 않은 CNN을 포함하는 CBRNN 및 CBNN의 성능에 대한 비교임을 유의한다.The results of comparing the performance of CBRNN including bidirectional LSTM with that of CRNN including unidirectional RNN are as follows. Note that the performance comparison below is a comparison of the performance of CBRNN and CBNN including CNNs that are not trained with artificial synthetic data and are not transfer-learned, in order to confirm only the effect of using the bidirectional LSTM.

MethodMethod F1F1 ERER CRNNCRNN 27.5±2.627.5±2.6 0.98±0.040.98±0.04 CBRNNCBRNN 49.9±5.849.9±5.8 0.61±0.060.61±0.06

표 3을 참조하면, 양방향 LSTM을 포함하는 CBRNN의 F1수치는 49.9에 오차범위 5.8인 반면, RNN을 포함하는 CRNN의 F1수치는 27.5에 오차범위 2.6이다. F1 수치의 정의에 따라 양방향 LSTM을 포함하는 CBRNN의 경우가 단순 RNN을 포함하는 CRNN보다 정확성 측면에서 더 높은 결과를 보임을 알 수 있다.따라서, 본 발명의 일 실시예에 따른 특징인 인공합성 데이터를 학습한 CNN을 이용하여 전이학습된 CNN 및 양방향 LSTM을 사용한 CBRNN은 종래의 CNN 및 RNN을 이용한 CRNN과 비교했을 때 아래의 성능 차이가 발생한다. 종래 CRNN은 논문 'T. Heittola, A. Mesaros, A, Eronen, and T.Virtanen, "Audio context recognition using audio event histograms,"Proc. Of the 18소 European Signal Processing Conference(EUSIPCO), pp. 1272-1276, 2010.'에서 소개된 CBNN일 수 있다.Referring to Table 3, the F1 value of the CBRNN including the bidirectional LSTM is 49.9 with an error range of 5.8, whereas the F1 value of the CRNN including the RNN is 27.5 with an error range of 2.6. According to the definition of the F1 value, it can be seen that the CBRNN including the bidirectional LSTM shows higher accuracy than the CRNN including the simple RNN. CBRNN using transfer-learned CNN and bidirectional LSTM using CNN that has learned Conventional CRNN is the paper 'T. Heittola, A. Mesaros, A, Eronen, and T. Virtanen, "Audio context recognition using audio event histograms," Proc. Of the 18th European Signal Processing Conference (EUSIPCO), pp. 1272-1276, 2010.' may be a CBNN introduced in.

따라서, 상기 설명한 본 발명의 일 실시예에 따른 tl-CBRNN의 성능과 종래 CRNN의 성능을 비교하면 아래와 같다.Accordingly, the performance of the tl-CBRNN according to the embodiment of the present invention described above and the performance of the conventional CRNN are compared as follows.

MethodMethod F1F1 ERER CRNNCRNN 27.5±2.627.5±2.6 0.98±0.040.98±0.04 tl-CBRNN(using synthetic data)tl-CBRNN (using synthetic data) 74.0±0.574.0±0.5 0.36±0.010.36±0.01

표 4를 참조하면, 인공 합성 데이터를 이용하여 전이학습된 CNN 및 양방향 LSTM을 포함하는 tl-CBRNN의 F1 수치는 74.0에 오차범위 0.5인 반면, 종래 CNN과 RNN을 포함하는 CRNN의 F1수치는 27.5에 오차범위 2.6으로 본 발명의 일 실시예에 따른 tl-CBRNN의 정확성이 월등히 높음을 알 수 있다. 또한 오류율을 측면에서도 tl-CBRNN의 ER수치는 0.36에 0.01의 오차범위를 갖는 반면 CRNN의 ER수치는 0.98에 오차범위 0.04로 본 발명의 일 실시예에 따른 tl-CBRNN의 오류율 수치가 월등히 낮음을 알 수 있다.본 발명의 일 실시예에 따라 상기 설명한 CBRNN(이하, tl-CNRNN과 동일한 의미로 사용)을 이용하여 다양한 이벤트 사운드를 포함하는 대상 사운드 데이터에 대하여 어떤 이벤트를 포함하는 지 알려주는 비디오 자동 태깅(tagging)서비스를 제공할 수 있다. 예를 들어 스포츠 중계 방송 영상에서 중계 음성만 탐지해 낼 수 있고, 관객의 함성만 탐지해낼 수 있다.Referring to Table 4, the F1 value of tl-CBRNN including transfer-trained CNN and bidirectional LSTM using artificial synthetic data is 74.0 with an error range of 0.5, whereas the F1 value of CRNN including conventional CNN and RNN is 27.5 With an error range of 2.6, it can be seen that the accuracy of tl-CBRNN according to an embodiment of the present invention is remarkably high. Also, in terms of error rate, the ER value of tl-CBRNN has an error range of 0.36 to 0.01, whereas the ER value of CRNN is 0.98 and 0.04, indicating that the error rate value of tl-CBRNN according to an embodiment of the present invention is significantly low. A video indicating which events are included in target sound data including various event sounds using CBRNN (hereinafter, used in the same sense as tl-CNRNN) according to an embodiment of the present invention An automatic tagging service may be provided. For example, it is possible to detect only the relay voice from the sports broadcast video and only the shouts of the audience.

또한, 본 발명의 일 실시 예에 따라 CBRNN을 이용하여 보안 서비스에 이용할 수 있다. 예를 들어 이미지 분석이 힘든 환경의 주차장에서 차량 소리만으로 차량 인식을 수행할 수 있고, 차량의 충돌 소리를 탐지하여 사고 발생 여부를 판단할 수 있다. 또한 사람의 비명소리 및 총소리 등을 탐지하여 다양한 사고 발생 여부를 탐지해낼 수도 있을 것이다.In addition, according to an embodiment of the present invention, it can be used for a security service using CBRNN. For example, in a parking lot in an environment where image analysis is difficult, vehicle recognition can be performed only by vehicle sound, and an accident can be determined by detecting a vehicle collision sound. In addition, it will be possible to detect whether various accidents have occurred by detecting the sound of a person's scream or gunshot.

이에 한하지 않고 본 발명의 일 실시예에 따라 CBRNN을 이용하여, Sound Visualization, 낙상 감지 등의 서비스를 제공할 수도 있다. The present invention is not limited thereto, and services such as sound visualization and fall detection may be provided using CBRNN according to an embodiment of the present invention.

도 13을 참조하여 본 발명의 일 실시예에 따른 이벤트 사운드 탐지 모델 학습 장치의 하드웨어 구성도를 상세히 설명한다.A hardware configuration diagram of an event sound detection model training apparatus according to an embodiment of the present invention will be described in detail with reference to FIG. 13 .

이벤트 사운드 탐지 모델 학습 장치(100)는 데이터 전처리부(120), 인공신경망부(130), 데이터 예측부(140) 및 인공 합성 사운드 데이터 DB(150)를 포함할 수 있고, 데이터 수집부(110) 및 사운드 데이터 DB(160)중 적어도 하나를 더 포함할 수 있다.The event sound detection model training apparatus 100 may include a data preprocessing unit 120 , an artificial neural network unit 130 , a data prediction unit 140 , and an artificial synthetic sound data DB 150 , and a data collection unit 110 . ) and at least one of the sound data DB 160 may be further included.

데이터 수집부(110)는 본 발명의 이벤트 사운드를 탐지하기 위해 필요한 사운드 데이터를 수집할 수 있다. 특히 이벤트 사운드를 포함하는 대상 사운드가 저장된 사운드 데이터 DB(160)에서 상기 사운드 데이터를 불러올 수 있다. The data collection unit 110 may collect sound data necessary to detect the event sound of the present invention. In particular, the sound data may be called from the sound data DB 160 in which the target sound including the event sound is stored.

사운드 데이터 DB(160)에는 이벤트 사운드를 포함하는 대상 사운드 데이터가 저장 되어 있다. 예를 들어 대상 사운드에는 학습용 대상 사운드 데이터 및 예측용 대상 사운드 데이터가 포함될 수 있다. 사운드 데이터 DB(160)는 반드시 이벤트 사운드 장치(100)에 물리적으로 포함되어 있어야 하는 것은 아니며 물리적으로 분리된 외부 DB일 수 있고, 네트워크 상에서 접근할 수 있는 DB일 수도 있다.The sound data DB 160 stores target sound data including an event sound. For example, the target sound may include target sound data for training and target sound data for prediction. The sound data DB 160 does not necessarily have to be physically included in the event sound device 100 , and may be a physically separate external DB or a DB accessible on a network.

데이터 전처리부(120)는 오디오 형태의 사운드 데이터를 신호처리 및 Spectrogram으로 변환하는 전처리를 수행할 수 있다. 본 발명의 일 실시예에 따라 오디오 형태의 사운드 데이터를 STFT로 처리한 후, Mel-Spectrogram 형태로 변환할 수 있다. 다만 이에 한하지 않고 FTT와 같은 다양한 신호처리를 할 수 있고, 단순 Spectrogram 형태로 변환할 수도 있으며, STFT와 Mel-Spectrogram중 어느 하나의 전처리만 수행될 수도 있음에 유의한다.The data preprocessor 120 may perform preprocessing of converting audio data into signal processing and spectrograms. According to an embodiment of the present invention, after sound data in an audio format is processed by STFT, it may be converted into a Mel-Spectrogram format. However, it is not limited to this, and it should be noted that various signal processing such as FTT may be performed, it may be converted into a simple spectrogram form, and only one preprocessing of STFT and Mel-Spectrogram may be performed.

인공신경망부(130)는 본 발명의 일 실시예에 따른 신경망에 의해 이벤트 사운드 탐지를 위한 인공신경망을 포함할 수 있다. 즉, CBRNN을 이용하여 상기 사운드 데이터를 학습할 수 있다. 인공신경망부(130)는 인공 합성 사운드 데이터 DB(150)에서 수신한 인공 합성 데이터를 이용하여 상기 CBRNN을 학습 시킬 수 있다. The artificial neural network unit 130 may include an artificial neural network for event sound detection by a neural network according to an embodiment of the present invention. That is, the sound data can be learned using CBRNN. The artificial neural network unit 130 may learn the CBRNN by using the artificial synthetic data received from the artificial synthetic sound data DB 150 .

인공 합성 사운드 데이터 DB(150)는 이벤트 사운드와 관련된 사운드 데이터를 인공적으로 합성한 데이터를 포함할 수 있다. 상기 인공 합성 데이터는 다양한 외부 소스에서 획득한 이벤트 사운드와 빈 오디오를 합성하여 생성될 수 있다. 인공 합성 데이터를 이용한 학습을 통해 정확도와 속도가 높은 이벤트 사운드 탐지가 수행될 수 있다.The artificial synthesized sound data DB 150 may include data artificially synthesized sound data related to an event sound. The artificial synthesis data may be generated by synthesizing event sounds and blank audio obtained from various external sources. Through learning using artificial synthetic data, event sound detection with high accuracy and speed can be performed.

데이터 예측부(140)는 본 발명의 일 실시예에 따른 신경망에 의해 이벤트 대상 사운드의 재생 구간에서 복수개의 이벤트 사운드에 대해 각각의 이벤트 사운드의 재생 구간을 탐지할 수 있다. 즉, CBRNN을 이용하여 상기 사운드 데이터에 포함된 이벤트 사운드 데이터를 예측할 수 있다.The data prediction unit 140 may detect the reproduction period of each event sound for a plurality of event sounds in the reproduction period of the event target sound by the neural network according to an embodiment of the present invention. That is, event sound data included in the sound data may be predicted using CBRNN.

이하, 도 14를 참조하여 본 발명의 일 실시예에 따른 이벤트 사운드 탐지 장치의 하드웨어 구성에 대해 상세히 설명한다.Hereinafter, a hardware configuration of an event sound detection apparatus according to an embodiment of the present invention will be described in detail with reference to FIG. 14 .

이벤트 사운드 탐지 장치(200)는 프로세서(210) 및 메모리(220)를 포함하고, 몇몇 실시예들에서 스토리지(240), 네트워크 인터페이스(230) 및 시스템 버스(250) 중 적어도 하나를 더 포함할 수 있다. The event sound detection device 200 may include a processor 210 and a memory 220 , and in some embodiments may further include at least one of a storage 240 , a network interface 230 , and a system bus 250 . there is.

메모리(220)에 로드 되어 저장되는 하나 이상의 인스트럭션(221, 222)은 프로세서(210)를 통하여 실행된다. 본 실시예에 따른 이벤트 사운드 탐지 모델 학습을 수행하는 컴퓨팅 장치(200)는 별도의 설명이 없더라도 도 1a 및 도 1b 참조하여 설명한 이벤트 사운드 탐지 모델 학습 방법을 수행할 수 있는 점을 유의한다.One or more instructions 221 and 222 that are loaded and stored in the memory 220 are executed through the processor 210 . Note that the computing device 200 for performing event sound detection model learning according to the present embodiment may perform the event sound detection model learning method described with reference to FIGS. 1A and 1B , even if there is no separate description.

네트워크 인터페이스(230)는 대상 사운드 데이터를 수신하거나, 대상 사운드 데이터에서 탐지한 이벤트 사운드에 대한 정보를 송신할 수 있다. 상기 수신된 대상 사운드 데이터에 대한 정보는 스토리지(240)에 저장되도록 할 수 있다.The network interface 230 may receive target sound data or transmit information on an event sound detected from the target sound data. Information on the received target sound data may be stored in the storage 240 .

스토리지(240)는 탐지 대상 사운드 데이터(241)를 저장할 수 있다.The storage 240 may store the detection target sound data 241 .

상기 하나 이상의 인스트럭션은, 대상 사운드에 포함되는 복수개의 이벤트 사운드의 재생 구간을 탐지하는 모델을 수립하는 인스트럭션(222)을 포함할 수 있고, 몇몇 실시예에 따라 이벤트 사운드 데이터의 패턴을 분류하는 모델을 수립하는 인스트럭션(221)을 더 포함할 수 있다.The one or more instructions may include instructions 222 for establishing a model for detecting a reproduction section of a plurality of event sounds included in the target sound, and according to some embodiments, a model for classifying patterns of event sound data. It may further include an instruction 221 to establish.

일 실시예에서, 이벤트 사운드 데이터 패턴 분류 모델 인스트럭션(221)은 메모리상에 로드 된 인공 합성 데이터(223)를 이용하여 전이 학습된 알고리즘을 사용하여 이벤트 사운드 데이터의 특징 및 패턴을 분류하는 모델을 수립할 수 있다.In one embodiment, the event sound data pattern classification model instruction 221 establishes a model for classifying features and patterns of the event sound data using a transfer-learned algorithm using the artificial synthetic data 223 loaded into the memory. can do.

일 실시예에서, 이벤트 사운드 탐지 모델 인스트럭션(222)은 대상 사운드 데이터(241)에 포함된 이벤트 사운드에 대하여 상기 수립된 이벤트 사운드 데이터 패턴 분류 모델의 결과값을 이용하여 대상 사운드 데이터의 재생 구간중 복수개의 이벤트 사운드에 대하여 각각의 이벤트 사운드의 재생 구간을 탐지할 수 있다.In one embodiment, the event sound detection model instruction 222 uses a result value of the established event sound data pattern classification model for the event sound included in the target sound data 241 in a plurality of reproduction sections of the target sound data. For each of the event sounds, a reproduction section of each event sound may be detected.

지금까지 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 전송되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 클라우드 서비스를 위한 서버 풀에 속한 물리 서버, 데스크탑 피씨와 같은 고정식 컴퓨팅 장치를 모두 포함한다.The methods according to the embodiments of the present invention described so far may be performed by executing a computer program embodied as computer readable code. The computer program may be transmitted from the first computing device to the second computing device through a network such as the Internet and installed in the second computing device, thereby being used in the second computing device. The first computing device and the second computing device include all of a server device, a physical server belonging to a server pool for cloud services, and a stationary computing device such as a desktop PC.

상기 컴퓨터프로그램은 DVD-ROM, 플래시 메모리 장치 등의 기록매체에 저장된 것일 수도 있다.The computer program may be stored in a recording medium such as a DVD-ROM or a flash memory device.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. can understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

Claims

A method performed by a computing device, comprising:
obtaining data of a target sound including a plurality of event sounds and pre-processing the data into image data;
generating an event sound detection model including a neural network of a bidirectional LSTM structure; and
Predicting the existence of a plurality of event sounds for each section based on the probability of existence of a plurality of event sounds for each section of the target sound calculated as the preprocessed target sound data is input to the event sound detection model doing,
How to train an event sound detection model.

According to claim 1,
The step of generating the event sound detection model comprises:
obtaining first Convolutional Neural Networks (CNNs) in which the plurality of event sounds are initially learned using artificially synthesized data; and
A plurality of event sounds comprising the step of learning the second CNN using the actual recorded target sound data,
The second CNN, which is transferred learning (transfer learning) using the weight (weight) of the first CNN,
How to train an event sound detection model.

3. The method of claim 2,
Obtaining the first CNN includes:
Comprising the step of obtaining an initially learned first CNN using artificial synthesis data generated by inserting the data of the plurality of event sounds into empty sound data of a specified length,
How to train an event sound detection model.

3. The method of claim 2,
Obtaining the first CNN includes:
Comprising the step of obtaining an initially learned first CNN using artificial synthetic data generated so that the reproduction sections of the data of the plurality of event sounds do not overlap,
How to train an event sound detection model.

3. The method of claim 2,
Obtaining the first CNN includes:
Acquiring an initially learned first CNN using artificial synthesized data generated so that the sum of the lengths of the overlapping sections of the plurality of event sounds is the same,
How to train an event sound detection model.

the memory into which the event sound detection program is loaded; and
A processor for executing the program loaded into the memory,
The program is
an instruction for inputting data of a sound to be detected into an event sound detection model and outputting an event sound detection result using the data output from the event sound detection model,
The event sound detection model is
Including a first CNN (Convolutional Neural Networks) in which a plurality of event sounds are initially learned using artificially synthesized data and a second CNN learned using target sound data in which a plurality of event sounds are actually recorded. ,
The second CNN is transfer learning using the weight of the first CNN,
A model for simultaneously detecting the reproduction section of the plurality of event sounds among the reproduction section of the detection target sound,
Event sound detection device.

delete