KR20230098982A - The method and system for learning of artificial intelligence neural network and the method and system for generating a target map using the same - Google Patents

The method and system for learning of artificial intelligence neural network and the method and system for generating a target map using the same Download PDF

Info

Publication number
KR20230098982A
KR20230098982A KR1020210188002A KR20210188002A KR20230098982A KR 20230098982 A KR20230098982 A KR 20230098982A KR 1020210188002 A KR1020210188002 A KR 1020210188002A KR 20210188002 A KR20210188002 A KR 20210188002A KR 20230098982 A KR20230098982 A KR 20230098982A
Authority
KR
South Korea
Prior art keywords
pressure signal
sound pressure
map
pure
composite
Prior art date
Application number
KR1020210188002A
Other languages
Korean (ko)
Inventor
장지호
조완호
Original Assignee
한국표준과학연구원
비즈웨이브 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국표준과학연구원, 비즈웨이브 주식회사 filed Critical 한국표준과학연구원
Priority to KR1020210188002A priority Critical patent/KR20230098982A/en
Publication of KR20230098982A publication Critical patent/KR20230098982A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801—Details
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3038—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 인공지능 신경망 학습 방법 및 시스템, 이를 이용하여 목표 지도를 생성하는 방법 및 시스템에 관한 것으로, 더욱 상세하게는 배경소음을 별도로 획득하고, 기 학습된 딥러닝 모델의 일부를 재학습시킴으로써, 배경소음에 강건한 음원지도를 생성할 수 있는 방법 및 시스템에 관한 것이다.
본 발명의 일 실시 예에 따른 인공지능 신경망 학습 방법은, 순수-음압신호를 이용하여 목표 지도 및 빔포밍 지도를 생성하는 지도 생성단계; 상기 빔포밍 지도가 입력되면, 동일한 순수-음압신호에 의해 생성된 목표 지도를 출력하도록 딥러닝 모델을 학습시키는 학습단계; 배경소음을 취득하고, 상기 순수 음압신호에 상기 배경소음을 합성하여 복합-음압신호를 생성하는 복합-음압신호 생성단계; 및 상기 복합-음압신호를 이용하여 상기 딥러닝 모델의 일부를 학습시키는 재학습단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 배경 소음에 강건한 목표 지도를 생성할 수 있다는 이점이 있다.The present invention relates to an artificial intelligence neural network learning method and system, and a method and system for generating a target map using the same, and more particularly, by separately acquiring background noise and retraining a part of a pre-learned deep learning model, It relates to a method and system capable of generating a sound source map that is robust against background noise.
An artificial intelligence neural network learning method according to an embodiment of the present invention includes a map generating step of generating a target map and a beamforming map using a pure negative pressure signal; a learning step of learning a deep learning model to output a target map generated by the same pure-sound pressure signal when the beamforming map is input; a composite-sound pressure signal generating step of acquiring background noise and synthesizing the background noise into the pure sound pressure signal to generate a composite-sound pressure signal; and a re-learning step of learning a part of the deep learning model using the complex-sound pressure signal.
According to an embodiment of the present invention, there is an advantage in that a target map that is robust to background noise can be generated.

Description

인공지능 신경망 학습 방법 및 시스템, 이를 이용하여 목표 지도를 생성하는 방법 및 시스템{The method and system for learning of artificial intelligence neural network and the method and system for generating a target map using the same}The method and system for learning of artificial intelligence neural network and the method and system for generating a target map using the same}

본 발명은 인공지능 신경망 학습 방법 및 시스템, 이를 이용하여 목표 지도를 생성하는 방법 및 시스템에 관한 것으로, 더욱 상세하게는 배경소음을 별도로 획득하고, 기 학습된 딥러닝 모델의 일부를 재학습시킴으로써, 배경소음에 강건한 음원지도를 생성할 수 있는 방법 및 시스템에 관한 것이다.The present invention relates to an artificial intelligence neural network learning method and system, and a method and system for generating a target map using the same, and more particularly, by separately acquiring background noise and retraining a part of a pre-learned deep learning model, It relates to a method and system capable of generating a sound source map that is robust against background noise.

음원지도란 특정 영역에 존재하는 임의의 음원들의 위치 및 세기를 표시한 이미지를 의미한다. 음원지도의 대표적인 예시로는 빔포밍(Beamforming) 방법을 통해 형성되는 빔포밍 지도(Beamforming map)가 있다. 이때, 음원들의 위치 및 세기는 마이크로폰 어레이를 이용하여 취득한 음압값으로부터 산출될 수 있다.The sound source map refers to an image displaying the location and intensity of arbitrary sound sources existing in a specific area. A typical example of a sound source map is a beamforming map formed through a beamforming method. In this case, the positions and intensities of the sound sources may be calculated from sound pressure values acquired using a microphone array.

음원지도를 획득하는 종래기술로서, 빔형성 방법(예; 시간지연-합 빔형성(delay-and-sum beamforming) 등)을 사용하여 음원 지도를 얻는 방법 및 point spread function(PSF)를 이용한 반복적인 계산을 통해 공간 분해능을 향상시킨 디컨볼루션 방법 등이 있다.As a prior art for obtaining a sound source map, a method for obtaining a sound source map using a beamforming method (eg, delay-and-sum beamforming, etc.) and an iterative method using a point spread function (PSF) There are deconvolution methods that improve spatial resolution through calculation.

특히, 최근에는 음원지도 획득방법에 있어서 딥러닝을 이용한 기술들이 제안되고 있으며, 이러한 딥러닝 기반 음원지도 획득 기술은, Grid-based, Grid-free 및 목표 지도 기반 방법 등 3가지 부류로 분류된다.In particular, recently, techniques using deep learning have been proposed for sound source map acquisition methods, and these deep learning-based sound source map acquisition techniques are classified into three categories: grid-based, grid-free, and target map-based methods.

그러나, 음원지도를 취득하는 다수의 현장에는 배경 소음이 존재한다. 예를 들어 생산 및 제조 현장에는 다양한 기계 및 장비에 의한 배경 소음이 발생한다. 이러한 소음으로 인해 음원지도는 원래 찾고자 하는 음원을 표시하는 데에 있어 오차가 포함된다는 문제점이 있다.However, background noise exists in many sites where a sound source map is acquired. For example, production and manufacturing sites have background noise caused by various machinery and equipment. Due to such noise, the sound source map has a problem in that an error is included in displaying the original sound source to be found.

KRKR 10-1965313 10-1965313 B1B1

상기 전술한 문제점을 해결하기 위하여 본 발명은 배경소음을 인공지능 신경망에 학습시켜, 배경 소음에 강건한 음원지도를 생성하는 방법 및 시스템을 제공하는 것을 목적으로 한다.In order to solve the above-mentioned problems, an object of the present invention is to provide a method and system for generating a sound source map that is robust to background noise by learning background noise through an artificial intelligence neural network.

본 발명의 일 실시 예로써, 인공지능 신경망 학습 방법이 제공된다.As an embodiment of the present invention, an artificial intelligence neural network training method is provided.

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 방법은, 순수-음압신호를 이용하여 목표 지도 및 빔포밍 지도를 생성하는 지도 생성단계; 상기 빔포밍 지도가 입력되면, 동일한 순수-음압신호에 의해 생성된 목표 지도를 출력하도록 딥러닝 모델을 학습시키는 학습단계; 배경소음을 취득하고, 상기 순수 음압신호에 상기 배경소음을 합성하여 복합-음압신호를 생성하는 복합-음압신호 생성단계; 및 상기 복합-음압신호를 이용하여 상기 딥러닝 모델의 일부를 학습시키는 재학습단계를 포함할 수 있다.An artificial intelligence neural network learning method according to an embodiment of the present invention includes a map generating step of generating a target map and a beamforming map using a pure negative pressure signal; a learning step of learning a deep learning model to output a target map generated by the same pure negative pressure signal when the beamforming map is input; a composite-sound pressure signal generating step of acquiring background noise and synthesizing the background noise with the pure sound pressure signal to generate a composite-sound pressure signal; and a re-learning step of learning a part of the deep learning model using the complex-sound pressure signal.

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 방법은, 상기 지도 생성단계에서, 상기 목표 지도는 상기 순수-음압신호에 포함된 음원의 위치와 세기를 나타내는 이미지이며, 상기 목표 지도의 픽셀값은 상기 음원과의 거리에 따라 감소하는 것을 특징으로 할 수 있다.In the artificial intelligence neural network learning method according to an embodiment of the present invention, in the map generation step, the target map is an image representing the location and intensity of a sound source included in the pure-sound pressure signal, and the pixel value of the target map is It may be characterized in that it decreases according to the distance from the sound source.

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 방법에서, 상기 지도 생성 단계는, 상기 순수-음압신호를 입력 받으면, 상기 순수-음압신호를 이용하여 기 획득된 빔포밍 지도를 출력하도록, 기 학습된 빔포밍 지도 생성용 딥러닝 모델을 통해 구현되는 것을 특징으로 할 수 있다.In the artificial intelligence neural network learning method according to an embodiment of the present invention, in the map generation step, upon receiving the pure-sound pressure signal, the pre-learning method outputs a previously obtained beamforming map using the pure-sound pressure signal. It may be characterized in that it is implemented through a deep learning model for generating a beamforming map.

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 방법은, 상기 학습단계에서, 상기 빔포밍 지도의 좌표간격은 상기 목표 지도의 좌표간격에 비해 넓은 것을 특징으로 할 수 있다.In the artificial intelligence neural network learning method according to an embodiment of the present invention, in the learning step, the coordinate interval of the beamforming map may be wider than that of the target map.

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 방법은, 재학습단계에서, 상기 복합-음압신호는 소리 정보를 음압 값으로 나타내는 것을 특징으로 할 수 있다.In the artificial intelligence neural network learning method according to an embodiment of the present invention, in the re-learning step, the composite-sound pressure signal may represent sound information as a sound pressure value.

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 방법은, 상기 재학습단계는, 상기 복합-음압신호를 이용하여 복합-빔포밍 지도를 생성하는 단계; 및 상기 복합-빔포밍 지도가 입력되면, 상기 복합-음압신호에 포함된 순수-음압신호에 의해 생성되는 목표 지도를 출력하도록 딥러닝 모델의 일부를 학습시키는 단계를 더 포함할 수 있다.In an artificial intelligence neural network learning method according to an embodiment of the present invention, the re-learning step may include generating a composite-beamforming map using the composite-sound pressure signal; and learning a part of a deep learning model to output a target map generated by a pure sound pressure signal included in the composite sound pressure signal when the composite beamforming map is input.

본 발명의 일 실시 예로써, 기 학습된 인공지능 신경망을 이용하여 목표 지도를 생성하는 방법이 제공된다.As an embodiment of the present invention, a method of generating a target map using a pre-learned artificial intelligence neural network is provided.

본 발명의 일 실시 예에 따른 목표 지도 생성 방법은, 순수-음압신호와 배경소음이 포함된 복합-음압신호를 획득하는 단계; 상기 복합-음압신호를 이용하여 빔포밍 지도를 생성하는 단계; 및 상기 빔포밍 지도 및 기 학습된 딥러닝 모델을 이용하여, 순수-음압신호의 위치와 세기를 나타내는 목표 지도를 생성하는 단계를 포함할 수 있다.A method for generating a target map according to an embodiment of the present invention includes obtaining a pure sound pressure signal and a composite sound pressure signal including background noise; generating a beamforming map using the composite-sound pressure signal; and generating a target map indicating a position and strength of a pure-sound pressure signal by using the beamforming map and the pre-learned deep learning model.

본 발명의 일 실시 예로써, 인공지능 신경망 학습 시스템이 제공된다.As an embodiment of the present invention, an artificial intelligence neural network learning system is provided.

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 시스템은, 순수-음압신호를 이용하여 목표 지도 및 빔포밍 지도를 생성하는 지도 생성부; 상기 빔포밍 지도가 입력되면, 동일한 순수-음압신호에 의해 생성된 목표 지도를 출력하도록 딥러닝 모델을 학습시키는 학습부; 배경소음을 취득하고, 상기 순수 음압신호에 상기 배경소음을 합성하여 복합-음압신호를 생성하는 복합-음압신호 생성부; 및 상기 복합-음압신호를 이용하여 상기 딥러닝 모델의 일부를 학습시키는 재학습부를 포함할 수 있다.An artificial intelligence neural network learning system according to an embodiment of the present invention includes a pure-map generator for generating a target map and a beamforming map using a negative pressure signal; a learning unit that trains a deep learning model to output a target map generated by the same pure-sound pressure signal when the beamforming map is input; a composite-sound pressure signal generating unit for acquiring background noise and synthesizing the background noise with the pure sound pressure signal to generate a composite-sound pressure signal; and a re-learning unit for learning a part of the deep learning model using the composite-sound pressure signal.

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 시스템은, 상기 목표 지도는 상기 순수-음압신호에 포함된 음원의 위치와 세기를 나타내는 이미지이며, 상기 목표 지도의 픽셀값은 상기 음원과의 거리에 따라 감소하는 것을 특징으로 할 수 있다.In the artificial intelligence neural network learning system according to an embodiment of the present invention, the target map is an image representing the location and intensity of a sound source included in the pure-sound pressure signal, and the pixel value of the target map is a distance from the sound source. It can be characterized as decreasing according to

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 시스템에서, 상기 지도 생성부는, 상기 순수-음압신호를 입력 받으면, 상기 순수-음압신호를 이용하여 기 획득된 빔포밍 지도를 출력하도록, 기 학습된 빔포밍 지도 생성용 딥러닝 모델을 더 포함할 수 있다.본 발명의 일 실시 예에 따른 인공지능 신경망 학습 시스템은, 상기 빔포밍 지도의 좌표간격은 상기 목표 지도의 좌표간격에 비해 넓은 것을 특징으로 할 수 있다.In the artificial intelligence neural network learning system according to an embodiment of the present invention, the map generation unit, upon receiving the pure-sound pressure signal, outputs a pre-obtained beamforming map using the pure-sound pressure signal. It may further include a deep learning model for generating a beamforming map. The artificial intelligence neural network learning system according to an embodiment of the present invention is characterized in that the coordinate interval of the beamforming map is wider than that of the target map. can do.

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 시스템은, 상기 복합-음압신호는 소리 정보를 음압 값으로 나타내는 것을 특징으로 할 수 있다.In the artificial intelligence neural network learning system according to an embodiment of the present invention, the composite-sound pressure signal may represent sound information as a sound pressure value.

본 발명의 일 실시 예에 따른 인공지능 신경망 학습 시스템은, 상기 재학습부는, 상기 복합-음압신호를 이용하여 복합-빔포밍 지도를 생성하며, 상기 복합-빔포밍 지도가 입력되면, 상기 복합-음압신호에 포함된 순수-음압신호에 의해 생성되는 목표 지도를 출력하도록 딥러닝 모델의 일부를 학습시키는 것을 특징으로 할 수 있다.In the artificial intelligence neural network learning system according to an embodiment of the present invention, the re-learning unit generates a composite-beamforming map using the composite-sound pressure signal, and when the composite-beamforming map is input, the composite-beamforming map is input. It may be characterized in that a part of the deep learning model is trained to output a target map generated by a pure negative pressure signal included in the negative pressure signal.

본 발명의 일 실시 예로써, 기 학습된 인공지능 신경망을 이용하여 목표 지도를 생성하는 시스템이 제공된다.As an embodiment of the present invention, a system for generating a target map using a pre-learned artificial intelligence neural network is provided.

본 발명의 일 실시 예에 따른 목표 지도 생성 시스템은, 순수-음압신호와 배경소음이 포함된 복합-음압신호를 획득하는 데이터 획득부; 상기 복합-음압신호를 이용하여 빔포밍 지도를 생성하는 데이터 변환부; 및 상기 빔포밍 지도가 입력되면, 상기 순수-음압신호의 위치와 세기를 나타내는 목표 지도를 출력하는 기 학습된 딥러닝 모델을 포함할 수 있다.A target map generation system according to an embodiment of the present invention includes a pure sound pressure signal and a composite sound pressure signal including background noise - a data acquisition unit for obtaining a sound pressure signal; a data conversion unit generating a beamforming map using the composite-sound pressure signal; and a pre-learned deep learning model that outputs a target map representing the position and strength of the pure-sound pressure signal when the beamforming map is input.

본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공된다.As an embodiment of the present invention, a computer-readable recording medium on which a program for implementing the above-described method is recorded is provided.

본 발명의 일 실시 예에 따르면, 배경 소음에 강건한 목표 지도를 생성할 수 있다는 이점이 있다.According to an embodiment of the present invention, there is an advantage in that a target map that is robust to background noise can be generated.

본 개시에서 얻을 수 있는 효과는 이상에서 언급된 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects obtainable in the present disclosure are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description below. will be.

도 1은 본 발명의 일 실시 예에 따른 인공지능 신경망 학습 방법의 순서도이다.
도 2는 본 발명에 따른 목표 지도 생성과정의 일 예시를 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 빔포밍 지도 및 목표 지도이다.
도 4는 본 발명의 일 실시 예에 따라 학습된 딥러닝 모델의 구조를 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 재학습단계의 과정을 도식화한 것이다.
도 6은 본 발명의 일 실시 예에 따른 재학습단계의 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 목표 지도 생성 방법의 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 인공지능 신경망 학습 시스템(10)의 블록도이다.
도 9는 본 발명의 일 실시 예에 따른 목표 지도 생성 시스템(100)의 블록도이다.1 is a flowchart of an artificial intelligence neural network learning method according to an embodiment of the present invention.
2 shows an example of a target map generation process according to the present invention.
3 is a beamforming map and a target map according to an embodiment of the present invention.
4 shows the structure of a deep learning model learned according to an embodiment of the present invention.
5 is a schematic diagram of the process of the re-learning step according to an embodiment of the present invention.
6 is a flowchart of a relearning step according to an embodiment of the present invention.
7 is a flowchart of a method for generating a target map according to an embodiment of the present invention.
8 is a block diagram of an artificial intelligence neural network learning system 10 according to an embodiment of the present invention.
9 is a block diagram of a target map generation system 100 according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice with reference to the accompanying drawings. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected from general terms that are currently widely used as much as possible while considering the functions in the present invention, but these may vary depending on the intention of a person skilled in the art or precedent, the emergence of new technologies, and the like. In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, not simply the name of the term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고"연결되어 있는 경우도 포함한다.When it is said that a certain part "includes" a certain component throughout the specification, it means that it may further include other components without excluding other components unless otherwise stated. In addition, terms such as “~unit” and “module” described in the specification refer to a unit that processes at least one function or operation, and may be implemented as hardware or software or a combination of hardware and software. In addition, when a part is said to be "connected" to another part throughout the specification, this includes not only the case of being "directly connected" but also the case of being connected "through another element therebetween".

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 인공지능 신경망 학습 방법의 순서도이다.1 is a flowchart of an artificial intelligence neural network learning method according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 인공지능 신경망 학습 방법은, 지도 생성 단계(S10), 학습단계(S20), 복합-음압신호 생성단계(S30) 및 재학습단계(S40)를 포함할 수 있다.Referring to FIG. 1, the artificial intelligence neural network learning method according to an embodiment of the present invention includes a map generation step (S10), a learning step (S20), a composite-sound pressure signal generation step (S30), and a re-learning step (S40). can include

도 2는 본 발명에 따른 목표 지도 생성과정의 일 예시를 나타낸다.2 shows an example of a target map generation process according to the present invention.

상기 지도 생성 단계(S10)에서는 지도 생성부(11)가 순수-음압신호를 이용하여 목표 지도 및 빔포밍 지도를 생성할 수 있다.In the map generating step (S10), the map generating unit 11 may generate a target map and a beamforming map using a pure negative pressure signal.

여기서, 음압신호란 물리적으로 측정한 음의 크기에 관한 정보가 포함된 전기적 신호를 의미하며, 순수-음압신호는 배경소음이 없는 환경에서 취득된 음압신호를 의미한다.Here, the sound pressure signal refers to an electrical signal including information about the volume of a physically measured sound, and the pure-sound pressure signal refers to a sound pressure signal acquired in an environment without background noise.

실시 예에 따라, 상기 지도 생성 단계(S10)에서, 상기 목표 지도는 상기 순수-음압신호에 포함된 음원의 위치와 세기를 나타내는 이미지이며, 상기 목표 지도의 픽셀값은 상기 음원과의 거리에 따라 감소하는 것을 특징으로 할 수 있다.도 2를 참조하면, 본 발명에 따른 목표 지도는 음원이 존재하는 특정 영역에 대하여 임의로 생성된 격자 내의 각 좌표와 음원 사이의 거리를 입력값으로 하는 함수를 이용하여 생성될 수 있다. 이때, 상기 함수는 하기의 수학식1과 같이 표현될 수 있다.According to an embodiment, in the map generation step (S10), the target map is an image representing the location and intensity of the sound source included in the pure-sound pressure signal, and the pixel value of the target map is dependent on the distance from the sound source. Referring to FIG. 2, the target map according to the present invention uses a function that takes as an input value the distance between each coordinate in a grid randomly generated for a specific region where a sound source exists and the sound source. can be created by At this time, the function can be expressed as Equation 1 below.

Figure pat00001
Figure pat00001

(여기서, R은 좌표와 음원 사이의 거리, A는 음원의 세기, N 및

Figure pat00002
은 상수이다)(Where R is the distance between the coordinates and the sound source, A is the intensity of the sound source, N and
Figure pat00002
is a constant)

예를 들어, 목표 지도는 도 2(a)와 같이 임의의 음원이 존재하는 특정 영역에 대하여 소정 범위의 간격(K)을 갖는 격자를 생성하는 과정, 도 2(b)와 같이 상기 격자의 각 좌표((1,1), (1,2), (1,3)등)들과 해당 음원(도 2(a)의 A, B, C) 사이의 거리(R)를 산출하는 과정 및 도 2(c)와 같이 상기 격자의 각 좌표들과 해당 음원 사이의 거리(R)를 상기 수학식1에 대입하여 결과값(F)을 산출하고, 상기 결과값을 목표 지도를 구성하는 각 픽셀이 갖는 값으로 지정하는 과정을 통해 생성되는 것일 수 있다.For example, the target map is a process of generating a lattice having an interval K in a predetermined range in a specific area where an arbitrary sound source exists, as shown in FIG. Process and diagram of calculating the distance (R) between the coordinates ((1,1), (1,2), (1,3), etc.) and the corresponding sound source (A, B, C in FIG. 2(a)) As in 2(c), the distance (R) between each coordinate of the grid and the corresponding sound source is substituted into Equation 1 to calculate the result value (F), and each pixel constituting the target map is calculated as It may be created through a process of specifying a value having

그러나, 목표 지도를 생성하는 과정 및 이에 사용되는 함수는 전술한 과정과 수학식1에 한정되는 것은 아니며, 음원의 위치에서 결과값이 최대이고 음원과의 거리에 따라 결과값이 감소하는 경향을 갖는 것이라면 어느 것이든 적용이 가능할 것이다.However, the process of generating the target map and the function used therein are not limited to the above-described process and Equation 1, and the result value is maximum at the location of the sound source and the result value tends to decrease according to the distance from the sound source. Anything can be applied.

실시 예에 따라, 상기 빔포밍 지도는 하나의 주파수의 음압신호를 이용해서 얻을 수도 있고, 여러 개의 주파수에서 빔포밍 지도를 더하여 얻거나 다시 시간 영역으로 역푸리에 변환하여 시간-지연합 빔포밍으로 구할 수도 있다. 그러나 상기 전술한 방법에 한정되는 것은 아니며, 여러 가지 빔포밍 방법을 이용하여 획득될 수 있다.Depending on the embodiment, the beamforming map may be obtained using a sound pressure signal of one frequency, obtained by adding beamforming maps at several frequencies, or obtained by time-delayed association beamforming by performing inverse Fourier transformation in the time domain. may be However, it is not limited to the above-described method, and may be obtained using various beamforming methods.

실시 예에 따라, 상기 지도 생성 단계(S10)는, 상기 순수-음압신호를 입력 받으면, 상기 순수-음압신호를 이용하여 기 획득된 빔포밍 지도를 출력하도록, 기 학습된 빔포밍 지도 생성용 딥러닝 모델(도면에는 미도시 함)을 통해 구현되는 것을 특징으로 할 수 있다.According to an embodiment, in the map generating step (S10), upon receipt of the pure negative pressure signal, the pre-learned beamforming map generation deep so as to output a pre-obtained beamforming map using the pure negative pressure signal. It may be characterized in that it is implemented through a learning model (not shown in the drawing).

즉, 상기 지도 생성 단계(S10)는 종래 알려진 방법에 의해 획득된 빔포밍 지도와 빔포밍 지도 획득에 사용된 음압신호를 매칭시킨 데이터셋을 학습데이터로 하여 학습되는 딥러닝 모델을 통해 구현될 수 있다. 상기 지도 생성 단계(S10)가 기 학습된 별도의 딥러닝 모델을 통해 구현될 경우, 음압신호를 이용하여 빔포밍 지도를 생성하는 데에 소요되는 시간을 줄일 수 있을 것이다.That is, the map generation step (S10) is a dataset obtained by matching the beamforming map obtained by a conventionally known method with the sound pressure signal used for obtaining the beamforming map as learning data. It can be implemented through a deep learning model that is learned. there is. If the map generating step (S10) is implemented through a pre-learned separate deep learning model, it will be possible to reduce the time required to generate a beamforming map using a sound pressure signal.

도 3(a)는 본 발명의 일 실시 예에 따른 빔포밍 지도며, 도 3(b)는 본 발명의 일 실시 예에 따른 목표 지도다.3(a) is a beamforming map according to an embodiment of the present invention, and FIG. 3(b) is a target map according to an embodiment of the present invention.

도 3을 참조하면, 상기 학습단계(S20)에서는 학습부(12)가 빔포밍 지도가 입력되면, 빔포밍 지도 생성에 사용된 순수-음압신호와 동일한 순수-음압신호에 의해 생성된 목표 지도를 출력하도록 딥러닝 모델(130)을 학습시킬 수 있다.Referring to FIG. 3 , in the learning step (S20), when the beamforming map is input to the learning unit 12, a target map generated by the same pure-sound pressure signal as the pure-sound pressure signal used to generate the beamforming map is generated. The deep learning model 130 may be trained to output.

실시 예에 따라, 상기 학습단계(S20)에서, 상기 빔포밍 지도의 좌표간격은 상기 목표 지도의 좌표간격에 비해 넓은 것을 특징으로 할 수 있다. 즉, 빔포밍 지도의 좌표간격을 넓힘으로써, 빔포밍 지도에 포함된 픽셀 개수를 줄여, 연산량을 줄일 수 있을 것이다. 또는 목표지도의 좌표 간격을 좁힘으로써 해상도를 높일 수 있다. According to an embodiment, in the learning step (S20), the coordinate interval of the beamforming map may be wider than that of the target map. That is, by widening the coordinate interval of the beamforming map, the number of pixels included in the beamforming map may be reduced, thereby reducing the amount of computation. Alternatively, the resolution can be increased by narrowing the coordinate interval of the target map.

도 4는 본 발명의 일 실시 예에 따라 학습된 딥러닝 모델(130)의 구조를 나타낸다.4 shows the structure of a deep learning model 130 trained according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 딥러닝 모델(130)은, 인코더 네트워크(Encoder Network)와 디코더 네트워크(Decoder network)를 포함하고, 상기 인코더 네트워크에서 추출한 특징을 상기 디코더 네트워크로 전송하는 구조를 가질 수 있다.Referring to FIG. 4 , the deep learning model 130 according to an embodiment of the present invention includes an encoder network and a decoder network, and features extracted from the encoder network are transferred to the decoder network. It can have a transmission structure.

그러나, 인코더 네트워크에 입력된 데이터로부터 특징을 추출하여 학습에 사용된 데이터와 입력 데이터를 비교하여 결과 값을 출력하는 구조라면 도 4에 도시된 구조의 모델 외에 다양한 구조의 인공지능 신경망 모델이 적용될 수 있을 것이다.However, if it is a structure that extracts features from data input to the encoder network, compares the data used for learning with the input data, and outputs the result value, artificial intelligence neural network models of various structures other than the model shown in FIG. 4 can be applied. There will be.

본 발명의 일 실시 예에 따른 상기 복합-음압신호 생성단계(S30)에서는 복합-음압신호 생성부(13)가 배경소음을 취득하고, 상기 순수-음압신호에 상기 배경소음을 합성하여 복합-음압신호를 생성할 수 있다.In the composite-sound pressure signal generating step (S30) according to an embodiment of the present invention, the composite-sound pressure signal generator 13 acquires the background noise, and synthesizes the background noise to the pure sound pressure signal to form the composite-sound pressure signal. signal can be generated.

실시 예에 따라, 상기 복합-음압신호 생성단계(S30)는 하기의 [수학식2]를 적용하는 것으로 구현될 수 있을 것이다.Depending on the embodiment, the composite-sound pressure signal generation step (S30) may be implemented by applying the following [Equation 2].

Figure pat00003
Figure pat00003

(여기서,

Figure pat00004
는 순수-음압신호,
Figure pat00005
는 배경소음의 음압신호,
Figure pat00006
는 복합-음압신호, f는 주파수를 의미한다)(here,
Figure pat00004
is a pure-negative pressure signal,
Figure pat00005
is the sound pressure signal of the background noise,
Figure pat00006
is a complex-sound pressure signal, f is a frequency)

이때, 상기 순수-음압신호(

Figure pat00007
) 및 배경소음의 음압신호(
Figure pat00008
)는 음원 취득에 사용된 마이크로폰의 개수(M) by 주파수 개수(L)의 크기를 갖는다.At this time, the pure-negative pressure signal (
Figure pat00007
) and the sound pressure signal of the background noise (
Figure pat00008
) has the size of the number of microphones (M) used to acquire the sound source by the number of frequencies (L).

상기 수학식2에서

Figure pat00009
는 L by L 크기를 갖는 대각행렬로, 대각 성분은 복소수 값을 가지며, 배경소음을 주파수 별로 같거나 다르게 증폭시키거나 변형시킨다. 이로 인해, 학습 데이터의 개수 및 다양성이 증가할 수 있다.In Equation 2 above
Figure pat00009
is a diagonal matrix having a size of L by L, and diagonal components have complex values, and background noise is amplified or transformed equally or differently for each frequency. As a result, the number and variety of learning data may increase.

도 5는 본 발명의 일 실시 예에 따른 재학습단계(S40)의 과정을 도식화한 것이다.5 is a schematic diagram of the process of the re-learning step (S40) according to an embodiment of the present invention.

도 5를 참조하면, 상기 재학습단계(S40)에서는 재학습부(14)가 복합-음압신호를 이용하여 상기 딥러닝 모델(130)의 일부를 학습시킬 수 있다. 즉, 딥러닝 모델(130)의 디코더 네트워크를 고정(fixed)시키고, 인코더 네트워크의 일부 부분만을 학습시킴으로써, 전체 학습시간을 줄일 수 있을 것이다.실시 예에 따라, 상기 재학습단계(S40)에서, 상기 복합-음압신호는 소리 정보를 음압 값으로 나타내는 것을 특징으로 할 수 있다.Referring to FIG. 5 , in the re-learning step (S40), the re-learning unit 14 may learn a part of the deep learning model 130 using a compound-sound pressure signal. That is, by fixing the decoder network of the deep learning model 130 and learning only a part of the encoder network, the overall learning time can be reduced. According to an embodiment, in the re-learning step (S40), The composite-sound pressure signal may represent sound information as a sound pressure value.

도 6은 본 발명의 일 실시 예에 따른 재학습단계(S40)의 순서도이다.6 is a flow chart of the re-learning step (S40) according to an embodiment of the present invention.

도 6을 참조하면, 상기 재학습단계(S40)는, 상기 복합-음압신호를 이용하여 복합-빔포밍 지도를 생성하는 단계(S41) 및 상기 복합-빔포밍 지도가 입력되면, 상기 복합-음압신호에 포함된 순수-음압신호에 의해 생성되는 목표 지도를 출력하도록 딥러닝 모델(130)의 일부를 학습시키는 단계(S42)를 더 포함할 수 있다.Referring to FIG. 6, the re-learning step (S40) includes generating a composite-beamforming map using the composite-sound pressure signal (S41), and when the composite-beamforming map is input, the composite-sound pressure A step of learning a part of the deep learning model 130 to output a target map generated by the pure-sound pressure signal included in the signal (S42) may be further included.

도 7은 본 발명의 일 실시 예에 따른 목표 지도 생성 방법의 순서도이다.7 is a flowchart of a method for generating a target map according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시 예에 따른 목표 지도 생성 방법은 데이터 획득 단계, 데이터 변환단계(S120) 및 목표 지도 생성 단계(S130)를 포함할 수 있다.Referring to FIG. 7 , the method for generating a target map according to an embodiment of the present invention may include a data acquisition step, a data conversion step (S120), and a target map generation step (S130).

상기 데이터 획득단계(S110)에서는 데이터 획득부(110)가 순수-음압신호와 배경소음이 포함된 복합-음압신호를 획득할 수 있다.In the data acquisition step (S110), the data acquisition unit 110 may obtain a pure sound pressure signal and a composite sound pressure signal including background noise.

상기 데이터 변환단계(S120)에서는 데이터 변환부(120)가 상기 복합-음압신호를 이용하여 빔포밍 지도를 생성할 수 있다.In the data conversion step (S120), the data conversion unit 120 may generate a beamforming map using the composite-sound pressure signal.

상기 목표 지도 생성 단계(S130)에서는 빔포밍 지도 및 기 학습된 딥러닝 모델(130)을 이용하여, 순수-음압신호의 위치와 세기를 나타내는 목표 지도가 생성될 수 있다. 즉, 기 학습된 딥러닝 모델(130)에 데이터 변환부(120)를 통해 생성된 빔포밍 지도를 입력하여, 복합-음압신호에 포함된 순수-음압신호의 위치 및 세기에 관한 정보가 나타나 있는 목표 지도가 출력되는 것이다.In the target map generating step (S130), a target map indicating the position and strength of the pure-sound pressure signal may be generated using the beamforming map and the pre-learned deep learning model 130. That is, by inputting the beamforming map generated through the data conversion unit 120 to the pre-learned deep learning model 130, the pure-sound pressure signal included in the composite-sound pressure signal has information about the position and strength of the signal. The target map is output.

한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.On the other hand, the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. In addition, the structure of data used in the above-described method can be recorded on a computer-readable recording medium through various means. The computer-readable recording medium includes storage media such as magnetic storage media (eg, ROM, RAM, USB, floppy disk, hard disk, etc.) and optical reading media (eg, CD-ROM, DVD, etc.) do.

본 발명의 일 실시 예에 따른 시스템과 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 시스템과 관련하여 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략한다.In relation to the system according to an embodiment of the present invention, the above-described method may be applied. Therefore, descriptions of the same contents as those of the above-described method in relation to the system are omitted.

도 8은 본 발명의 일 실시 예에 따른 인공지능 신경망 학습 시스템(10)의 블록도이다.8 is a block diagram of an artificial intelligence neural network learning system 10 according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일 실시 예에 따른 인공지능 신경망 학습 시스템(10)은 지도 생성부(11), 학습부(12), 복합-음압신호 생성부(13) 및 재학습부(14)를 포함할 수 있다.Referring to FIG. 8 , the artificial intelligence neural network learning system 10 according to an embodiment of the present invention includes a map generating unit 11, a learning unit 12, a compound-sound pressure signal generating unit 13, and a re-learning unit ( 14) may be included.

상기 지도 생성부(11)는 순수-음압신호를 이용하여 목표 지도 및 빔포밍 지도를 생성할 수 있다.The map generating unit 11 may generate a target map and a beamforming map using a pure negative pressure signal.

실시 예에 따라, 상기 목표 지도는 상기 순수-음압신호에 포함된 음원의 위치와 세기를 나타내는 이미지이며, 상기 목표 지도의 픽셀값은 상기 음원과의 거리에 따라 감소하는 것을 특징으로 할 수 있다.According to an embodiment, the target map may be an image representing the location and intensity of a sound source included in the pure-sound pressure signal, and pixel values of the target map may decrease according to a distance from the sound source.

실시 예에 따라, 상기 지도 생성부는, 상기 순수-음압신호를 입력 받으면, 상기 순수-음압신호를 이용하여 기 획득된 빔포밍 지도를 출력하도록, 기 학습된 빔포밍 지도 생성용 딥러닝 모델을 더 포함할 수 있다.실시 예에 따라, 상기 빔포밍 지도의 좌표간격은 상기 목표 지도의 좌표간격에 비해 넓은 것을 특징으로 할 수 있다.According to an embodiment, the map generation unit, upon receiving the pure negative pressure signal, further generates a pre-learned deep learning model for generating a beamforming map so as to output a pre-obtained beamforming map using the pure negative pressure signal. According to an embodiment, the coordinate interval of the beamforming map may be wider than that of the target map.

상기 학습부(12)는 상기 빔포밍 지도가 입력되면, 동일한 순수-음압신호에 의해 생성된 목표 지도를 출력하도록 딥러닝 모델(130)을 학습시킬 수 있다.When the beamforming map is input, the learner 12 may train the deep learning model 130 to output a target map generated by the same pure-sound pressure signal.

상기 복합-음압신호 생성부(13)는 배경소음을 취득하고, 상기 순수 음압신호에 상기 배경소음을 합성하여 복합-음압신호를 생성할 수 있다.The composite-sound pressure signal generation unit 13 may acquire background noise and generate a composite-sound pressure signal by combining the background noise with the pure sound pressure signal.

실시 예에 따라, 상기 복합-음압신호는 소리 정보를 음압 값으로 나타내는 것을 특징으로 할 수 있다.According to an embodiment, the composite-sound pressure signal may represent sound information as a sound pressure value.

상기 재학습부(14)는 복합-음압신호를 이용하여 상기 딥러닝 모델(130)의 일부를 학습시킬 수 있다.The re-learning unit 14 may learn a part of the deep learning model 130 using a compound-sound pressure signal.

실시 예에 따라, 상기 재학습부(14)는, 상기 복합-음압신호를 이용하여 복합-빔포밍 지도를 생성하며, 상기 복합-빔포밍 지도가 입력되면, 상기 복합-음압신호에 포함된 순수-음압신호에 의해 생성되는 목표 지도를 출력하도록 딥러닝 모델(130)의 일부를 학습시키는 것을 특징으로 할 수 있다.According to an embodiment, the re-learning unit 14 generates a composite-beamforming map by using the composite-sound pressure signal, and when the composite-beamforming map is input, pure water included in the composite-sound pressure signal. - It may be characterized in that a part of the deep learning model 130 is trained to output a target map generated by a sound pressure signal.

도 9는 본 발명의 일 실시 예에 따른 목표 지도 생성 시스템(100)의 블록도이다.9 is a block diagram of a target map generation system 100 according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일 실시 예에 따른 목표 지도 생성 시스템(100)은, 데이터 획득부(110), 데이터 변환부(120) 및 기 학습된 딥러닝 모델(130)을 포함할 수 있다.Referring to FIG. 9 , the target map generation system 100 according to an embodiment of the present invention may include a data acquisition unit 110, a data conversion unit 120, and a pre-learned deep learning model 130. there is.

상기 데이터 획득부(110)는 순수-음압신호와 배경소음이 포함된 복합-음압신호를 획득할 수 있다.The data acquisition unit 110 may obtain a pure sound pressure signal and a composite sound pressure signal including background noise.

상기 데이터 변환부(120)는 복합-음압신호를 이용하여 빔포밍 지도를 생성할 수 있다.The data conversion unit 120 may generate a beamforming map using a composite-sound pressure signal.

상기 딥러닝 모델(130)은 기 학습되는 것으로, 상기 빔포밍 지도가 입력되면, 상기 순수-음압신호의 위치와 세기를 나타내는 목표 지도를 출력하도록 학습될 수 있다.The deep learning model 130 is pre-trained, and when the beamforming map is input, it may be trained to output a target map indicating the position and strength of the pure-sound pressure signal.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.

10: 인공지능 신경망 학습 시스템
11: 지도 생성부
12: 학습부
13: 복합-음압신호 생성부
14: 재학습부
100: 목표 지도 생성 시스템
110: 데이터 획득부
120: 데이터 변환부
130: 딥러닝 모델10: Artificial Intelligence Neural Network Learning System
11: map generator
12: Learning department
13: complex - negative pressure signal generating unit
14: Relearning department
100: target map generation system
110: data acquisition unit
120: data conversion unit
130: deep learning model

Claims (15)

순수-음압신호를 이용하여 목표 지도 및 빔포밍 지도를 생성하는 지도 생성 단계;
상기 빔포밍 지도가 입력되면, 동일한 순수-음압신호에 의해 생성된 목표지도를 출력하도록 딥러닝 모델을 학습시키는 학습단계;
배경소음을 취득하고, 상기 순수 음압신호에 상기 배경소음을 합성하여 복합-음압신호를 생성하는 복합-음압신호 생성단계; 및
상기 복합-음압신호를 이용하여 상기 딥러닝 모델의 일부를 학습시키는 재학습단계를 포함하는 인공지능 신경망 학습 방법.
A map generating step of generating a target map and a beamforming map using a pure-sound pressure signal;
a learning step of learning a deep learning model to output a target map generated by the same pure-sound pressure signal when the beamforming map is input;
a composite-sound pressure signal generating step of acquiring background noise and synthesizing the background noise into the pure sound pressure signal to generate a composite-sound pressure signal; and
An artificial intelligence neural network learning method comprising a re-learning step of learning a part of the deep learning model using the complex-sound pressure signal.
 제 1 항에 있어서,
상기 지도 생성 단계에서,
상기 목표 지도는 상기 순수-음압신호에 포함된 음원의 위치와 세기를 나타내는 이미지이며,
상기 목표 지도의 픽셀값은 상기 음원과의 거리에 따라 감소하는 것을 특징으로 하는 인공지능 신경망 학습 방법.
According to claim 1,
In the map generation step,
The target map is an image indicating the location and intensity of a sound source included in the pure-sound pressure signal,
The artificial intelligence neural network learning method, characterized in that the pixel value of the target map decreases according to the distance from the sound source.
 제 1 항에 있어서,
상기 지도 생성 단계는,
상기 순수-음압신호를 입력 받으면, 상기 순수-음압신호를 이용하여 기 획득된 빔포밍 지도를 출력하도록, 기 학습된 빔포밍 지도 생성용 딥러닝 모델을 통해 구현되는 것을 특징으로 하는 인공지능 신경망 학습 방법.
According to claim 1,
The map creation step,
Artificial intelligence neural network learning, characterized in that implemented through a deep learning model for generating a pre-learned beamforming map to output a pre-acquired beamforming map using the pure-sound pressure signal when the pure-sound pressure signal is input method.
 제 1 항에 있어서,
상기 학습단계에서,
상기 빔포밍 지도의 좌표간격은 상기 목표 지도의 좌표간격에 비해 넓은 것을 특징으로 하는 인공지능 신경망 학습 방법.
According to claim 1,
In the learning phase,
The artificial intelligence neural network learning method, characterized in that the coordinate interval of the beamforming map is wider than the coordinate interval of the target map.
 제 1 항에 있어서,
재학습단계에서,
상기 복합-음압신호는 소리 정보를 음압 값으로 나타내는 것을 특징으로 하는 인공지능 신경망 학습 방법.
According to claim 1,
In the relearning stage,
The composite-sound pressure signal is an artificial intelligence neural network learning method, characterized in that representing sound information as a sound pressure value.
 제 1 항에 있어서,
상기 재학습단계는,
상기 복합-음압신호를 이용하여 복합-빔포밍 지도를 생성하는 단계; 및
상기 복합-빔포밍 지도가 입력되면, 상기 복합-음압신호에 포함된 순수-음압신호에 의해 생성되는 목표 지도를 출력하도록 딥러닝 모델의 일부를 학습시키는 단계를 더 포함하는 인공지능 신경망 학습 방법.
According to claim 1,
In the relearning step,
generating a composite-beamforming map using the composite-sound pressure signal; and
When the composite-beamforming map is input, learning a part of the deep learning model to output a target map generated by the pure-sound pressure signal included in the composite-sound pressure signal Artificial intelligence neural network learning method further comprising.
 기 학습된 인공지능 신경망을 이용하여 목표 지도를 생성하는 방법에 있어서,
순수-음압신호와 배경소음이 포함된 복합-음압신호를 획득하는 단계;
상기 복합-음압신호를 이용하여 빔포밍 지도를 생성하는 단계; 및
상기 빔포밍 지도 및 기 학습된 딥러닝 모델을 이용하여, 순수-음압신호의 위치와 세기를 나타내는 목표 지도를 생성하는 단계를 포함하는 목표 지도 생성 방법.
In the method of generating a target map using a pre-learned artificial intelligence neural network,
Acquiring a pure sound pressure signal and a composite sound pressure signal including background noise;
generating a beamforming map using the composite-sound pressure signal; and
A method for generating a target map comprising the step of generating a target map indicating a position and strength of a pure-sound pressure signal by using the beamforming map and the pre-learned deep learning model.
 순수-음압신호를 이용하여 목표 지도 및 빔포밍 지도를 생성하는 지도 생성부;
상기 빔포밍 지도가 입력되면, 동일한 순수-음압신호에 의해 생성된 목표 지도를 출력하도록 딥러닝 모델을 학습시키는 학습부;
배경소음을 취득하고, 상기 순수 음압신호에 상기 배경소음을 합성하여 복합-음압신호를 생성하는 복합-음압신호 생성부; 및
상기 복합-음압신호를 이용하여 상기 딥러닝 모델의 일부를 학습시키는 재학습부를 포함하는 인공지능 신경망 학습 시스템.
a map generator for generating a target map and a beamforming map using a pure negative pressure signal;
a learning unit that trains a deep learning model to output a target map generated by the same pure-sound pressure signal when the beamforming map is input;
a composite-sound pressure signal generating unit for acquiring background noise and synthesizing the background noise with the pure sound pressure signal to generate a composite-sound pressure signal; and
An artificial intelligence neural network learning system comprising a re-learning unit for learning a part of the deep learning model using the complex-sound pressure signal.
 제 8 항에 있어서,
상기 목표 지도는 상기 순수-음압신호에 포함된 음원의 위치와 세기를 나타내는 이미지이며,
상기 목표 지도의 픽셀값은 상기 음원과의 거리에 따라 감소하는 것을 특징으로 하는 인공지능 신경망 학습 시스템.
According to claim 8,
The target map is an image indicating the location and intensity of a sound source included in the pure-sound pressure signal,
The artificial intelligence neural network learning system, characterized in that the pixel value of the target map decreases according to the distance from the sound source.
 제 8 항에 있어서,
상기 지도 생성부는,
상기 순수-음압신호를 입력 받으면, 상기 순수-음압신호를 이용하여 기 획득된 빔포밍 지도를 출력하도록, 기 학습된 빔포밍 지도 생성용 딥러닝 모델을 더 포함하는 인공지능 신경망 학습 시스템.
According to claim 8,
The map generator,
The artificial intelligence neural network learning system further comprising a deep learning model for generating a pre-learned beamforming map to output a pre-obtained beamforming map using the pure -sound pressure signal when the pure -sound pressure signal is received.
 제 8 항에 있어서,
상기 빔포밍 지도의 좌표간격은 상기 목표 지도의 좌표간격에 비해 넓은 것을 특징으로 하는 인공지능 신경망 학습 시스템.
According to claim 8,
The artificial intelligence neural network learning system, characterized in that the coordinate interval of the beamforming map is wider than the coordinate interval of the target map.
 제 8 항에 있어서,
상기 복합-음압신호는 소리 정보를 음압 값으로 나타내는 것을 특징으로 하는 인공지능 신경망 학습 시스템.
According to claim 8,
The composite-sound pressure signal is an artificial intelligence neural network learning system, characterized in that representing sound information as a sound pressure value.
 제 8 항에 있어서,
상기 재학습부는,
상기 복합-음압신호를 이용하여 복합-빔포밍 지도를 생성하며,
상기 복합-빔포밍 지도가 입력되면, 상기 복합-음압신호에 포함된 순수-음압신호에 의해 생성되는 목표 지도를 출력하도록 딥러닝 모델의 일부를 학습시키는 것을 특징으로 하는 인공지능 신경망 학습 시스템.
According to claim 8,
The relearning department,
Creating a composite-beamforming map using the composite-sound pressure signal;
When the composite-beamforming map is input, artificial intelligence neural network learning system, characterized in that for learning a part of the deep learning model to output a target map generated by the pure-sound pressure signal included in the composite-sound pressure signal.
 기 학습된 인공지능 신경망을 이용하여 목표 지도를 생성하는 시스템에 있어서,
순수-음압신호와 배경소음이 포함된 복합-음압신호를 획득하는 데이터 획득부;
상기 복합-음압신호를 이용하여 빔포밍 지도를 생성하는 데이터 변환부; 및
상기 빔포밍 지도가 입력되면, 상기 순수-음압신호의 위치와 세기를 나타내는 목표 지도를 출력하는 기 학습된 딥러닝 모델을 포함하는 목표 지도 생성 시스템.
In the system for generating a target map using a pre-learned artificial intelligence neural network,
a data acquisition unit acquiring a pure sound pressure signal and a composite sound pressure signal including background noise;
a data conversion unit generating a beamforming map using the composite-sound pressure signal; and
A target map generation system including a pre-learned deep learning model that outputs a target map indicating the position and strength of the pure-sound pressure signal when the beamforming map is input.
 제 1 항 내지 제 7 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
A computer-readable recording medium on which a program for implementing the method of any one of claims 1 to 7 is recorded.
KR1020210188002A 2021-12-27 2021-12-27 The method and system for learning of artificial intelligence neural network and the method and system for generating a target map using the same KR20230098982A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210188002A KR20230098982A (en) 2021-12-27 2021-12-27 The method and system for learning of artificial intelligence neural network and the method and system for generating a target map using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210188002A KR20230098982A (en) 2021-12-27 2021-12-27 The method and system for learning of artificial intelligence neural network and the method and system for generating a target map using the same

Publications (1)

Publication Number Publication Date
KR20230098982A true KR20230098982A (en) 2023-07-04

Family

ID=87156090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210188002A KR20230098982A (en) 2021-12-27 2021-12-27 The method and system for learning of artificial intelligence neural network and the method and system for generating a target map using the same

Country Status (1)

Country Link
KR (1) KR20230098982A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101965313B1 (en) 2017-09-14 2019-04-03 동아대학교 산학협력단 System for Providing Noise Map Based on Big Data Using Sound Collection Device Looked Like Earphone

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101965313B1 (en) 2017-09-14 2019-04-03 동아대학교 산학협력단 System for Providing Noise Map Based on Big Data Using Sound Collection Device Looked Like Earphone

Similar Documents

Publication Publication Date Title
JP6981417B2 (en) Sound source separators and methods, as well as programs
US9681250B2 (en) Statistical modelling, interpolation, measurement and anthropometry based prediction of head-related transfer functions
KR20200033515A (en) Machine learning method/apparatus based on multiple features extraction and transfer learning and apparatus for leak detection using same
CN113436643B (en) Training and application method, device and equipment of voice enhancement model and storage medium
US10701303B2 (en) Generating spatial audio using a predictive model
CN112526451A (en) Compressed beam forming and system based on microphone array imaging
US11393443B2 (en) Apparatuses and methods for creating noise environment noisy data and eliminating noise
KR20170096083A (en) Apparatus and method for sound source separating using neural network
JP2021521566A (en) A method of learning and testing a data embedding network that synthesizes original data and mark data to generate marked data, and a learning device and test device using it.
JP2021167977A (en) Voice signal processing method, voice signal processing device, electronic apparatus and storage medium
CN109884592A (en) A kind of auditory localization emulation mode towards low frequency Gaussian noise source
Koutny et al. Source distance determination based on the spherical harmonics
Ueda et al. Motion analysis using 3D high-resolution frequency analysis
KR20230098982A (en) The method and system for learning of artificial intelligence neural network and the method and system for generating a target map using the same
EP4177885A1 (en) Quantifying signal purity by means of machine learning
US20230136220A1 (en) Quantifying Signal Purity by means of Machine Learning
CN112799071B (en) Method and device for detecting underwater position
KR20200130777A (en) Method of learning and inferring based on convolution neural network for minimizing clutter in passive sonar signal
Miotello et al. Reconstruction of Sound Field Through Diffusion Models
KR102329353B1 (en) A method for inferring of generating direction of sound using deep network and an apparatus for the same
KR20240024380A (en) The system and method for inference of target-map using artificial intelligence neural network
CN114063965A (en) High-resolution audio generation method, electronic equipment and training method thereof
Domènech Abelló Hiding images in their spoken narratives
KR20230108435A (en) The method and system for learning of artificial intelligence neural network
Brown et al. Spatial Wiener filter to reduce spatial aliasing with spherical microphone arrays