KR20220139040A - 음원 분리 및 음향 시각화 방법 및 시스템 - Google Patents
음원 분리 및 음향 시각화 방법 및 시스템 Download PDFInfo
- Publication number
- KR20220139040A KR20220139040A KR1020210045171A KR20210045171A KR20220139040A KR 20220139040 A KR20220139040 A KR 20220139040A KR 1020210045171 A KR1020210045171 A KR 1020210045171A KR 20210045171 A KR20210045171 A KR 20210045171A KR 20220139040 A KR20220139040 A KR 20220139040A
- Authority
- KR
- South Korea
- Prior art keywords
- sound source
- sound
- visualization
- main
- signal
- Prior art date
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 39
- 238000012800 visualization Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims description 23
- 238000007794 visualization technique Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000013145 classification model Methods 0.000 claims abstract description 9
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
본 발명은 음원 분리 및 음향 시각화 방법 및 시스템에 관한 것으로, 더욱 상게하게는 복수의 음원이 포함된 신호에서 음원의 출력 레벨의 크기를 기준으로 개별 음원들을 분리하고 이를 시각화하여 제공하는 음원 분리 및 음향 시각화 방법 및 시스템에 관한 것이다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법은, 전처리부가 마이크로폰 어레이로부터 신호를 수신하고, 신호를 복수의 프레임으로 분할하며, 프레임 중 적어도 어느 하나를 대상으로 빔포밍을 수행하는 전처리 단계, 음원방향추적기가 빔포밍 결과를 이용하여 출력 레벨이 최대인 주음원의 방향을 추적하는 음원 방향 추적단계, 제어부가 빔포밍 결과를 이용하여 학습된 분류모델을 통해 주음원의 종류를 판단하는 음원 종류 판단단계, 시각화부가 주음원의 방향 및 종류를 시각화하는 시각화 단계, 음원 제거부가 주음원을 신호에서 제거하는 음원 제거단계 및 음원 방향 추적단계에서 음원 제거단계를 신호에 포함된 음원을 모두 제거할 때까지 반복하는 반복단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법은, 전처리부가 마이크로폰 어레이로부터 신호를 수신하고, 신호를 복수의 프레임으로 분할하며, 프레임 중 적어도 어느 하나를 대상으로 빔포밍을 수행하는 전처리 단계, 음원방향추적기가 빔포밍 결과를 이용하여 출력 레벨이 최대인 주음원의 방향을 추적하는 음원 방향 추적단계, 제어부가 빔포밍 결과를 이용하여 학습된 분류모델을 통해 주음원의 종류를 판단하는 음원 종류 판단단계, 시각화부가 주음원의 방향 및 종류를 시각화하는 시각화 단계, 음원 제거부가 주음원을 신호에서 제거하는 음원 제거단계 및 음원 방향 추적단계에서 음원 제거단계를 신호에 포함된 음원을 모두 제거할 때까지 반복하는 반복단계를 포함할 수 있다.
Description
본 발명은 음원 분리 및 음향 시각화 방법 및 시스템에 관한 것으로, 더욱 상세하게는 복수의 음원이 포함된 신호에서 음원의 출력 레벨이 큰 순서로 개별 음원들을 분리하고 위치, 레벨 및 음원 종류를 시각화하여 제공하는 음원 분리 및 음향 시각화 방법 및 시스템에 관한 것이다.
오디오 신호에서 공간정보를 추출해 내는 것은 오디오 신호의 장면 분석, 공간감을 갖는 오디오 구현, 소음원의 위치 파악을 통한 소음 제어 및 기계장비, 제조공정 모니터링 등을 위해 필요하다. 이러한 공간정보를 추출해 내기 위해, 여러 개의 음원의 조합으로 이루어지는 오디오 신호에서 원하는 음원만 분리해 내거나 각 음원의 위치를 추정하는 여러 가지 기술들이 연구되어 왔다.
오디오 신호에서 음원을 분리하는 기술과 관련하여, 종래의 대한민국 등록특허 제10-1825949호(2018.01.31, 음원 분리를 포함하는 음원 위치 추정 장치 및 방법)는 여러 개의 음원의 조합으로 이루어지는 오디오 신호에서 원하는 음원만 분리하는 기술을 개시하고 있다. 그러나, 여러 개의 음원의 조합으로 이루어진 오디오 신호에서 개별 음원들을 모두 분리해내는 기술을 개시하고 있지 못하다.
또한, 음원의 위치를 추정하는 기술과 관련하여, 종래의 대한민국 등록특허 제10-1270074호(2013.05.27, 소리 기반 공간지도를 이용한 상황인식 장치 및 방법)는 검출된 음향의 특성만으로 특정한 이벤트 발생 상황을 인식할 수 있는 소리 기반 공간지도를 이용한 상황인식 장치 및 방법을 개시하고 있다. 그러나, 공간지도에 소리의 위치를 표시하기 위해서는 공간에 대한 특성 정보가 필수적으로 필요하다는 점에서 특성 정보를 알고 있는 특정 공간에서만 소리의 위치를 파악할 수 있다는 문제점이 있다.
상기 전술한 문제점을 해결하기 위하여 본 발명은 개별 음원의 출력 레벨 크기 순서대로 음원 특성의 사전적인 정보 및 추정되는 위치 정보를 활용하여 복수 개의 음원이 포함된 오디오 신호에서 전체 개별음원 들을 각각 분리하고 시각화하여 제공하는 것을 목적으로 한다.
본 발명의 일 실시 예로써, 음원 분리 및 음향 시각화 방법이 제공된다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법은, 전처리부가 마이크로폰 어레이로부터 신호를 수신하고, 상기 신호를 복수의 프레임으로 분할하며, 상기 프레임 중 적어도 어느 하나를 대상으로 빔포밍을 수행하는 전처리 단계, 음원방향추적기가 상기 빔포밍 결과를 이용하여 출력 레벨이 최대인 주음원의 방향을 추적하는 음원 방향 추적단계, 제어부가 상기 빔포밍 결과를 이용하여 기 학습된 분류모델을 통해 상기 주음원의 종류를 판단하는 음원 종류 판단단계, 시각화부가 상기 주음원의 방향, 음압 레벨 또는 종류를 시각화하는 시각화 단계, 음원 제거부가 상기 주음원을 상기 신호에서 제거하는 음원 제거단계 및 상기 음원 방향 추적단계에서 상기 음원 제거단계를 상기 신호에 포함된 음원을 모두 제거할 때까지 반복하는 반복단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법에서, 상기 전처리 단계는, 상기 복수의 프레임의 평균을 대상으로 빔포밍을 수행하는 것을 특징으로 할 수 있다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법에서, 상기 음원방향 추적단계는, 기 학습된 딥러닝 모델을 이용하여 상기 빔포밍 결과로부터 상기 주음원의 방향을 추적하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법은, 상기 전처리 단계와 상기 음원 방향 추적단계 사이에, 상기 빔포밍 결과를 이용하여 상기 주음원의 특징을 추출하는 특징추출단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법에서, 상기 시각화 단계는, 상기 주음원의 특징을 시각화하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법은, 상기 음원종류 판단단계와 상기 시각화 단계 사이에, 기 학습된 딥러닝 모델을 이용하여 상기 빔포밍 결과로부터 상기 주음원의 방향을 추적하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법에서, 상기 음원 제거단계는, 상기 마이크로폰 어레이의 채널 별로 수신되는 신호들 각각에서 상기 주음원을 제거하는 것을 특징으로 할 수 있다.
본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공된다.
본 발명의 일 실시 예로써, 음원 분리 및 음향 시각화 시스템이 제공된다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 시스템은, 복수의 마이크로폰이 배치된 마이크로폰 어레이, 상기 마이크로폰 어레이로부터 신호를 수신하고, 상기 신호를 복수의 프레임으로 분할하며, 상기 프레임 중 적어도 어느 하나를 대상으로 빔포밍을 수행하는 전처리부, 상기 빔포밍 결과를 이용하여 출력 레벨이 최대인 주음원의 방향을 추적하는 음원방향추적기, 상기 주음원의 방향, 음압 레벨 또는 종류를 시각화하는 시각화부, 상기 주음원을 상기 신호에서 제거하는 음원제거부 및 상기 빔포밍 결과를 이용하여 학습된 분류모델을 이용하여 상기 주음원의 종류를 판단하는 제어부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 시스템은, 상기 빔포밍 결과를 이용하여 상기 주음원의 특징을 추출하는 특징추출기를 더 포함할 수 있다.
본 발명에 따르면, 복수 개의 음원이 포함된 오디오 신호에서 전체 개별 음원들을 더 정밀하게 각각 분리해낼 수 있다는 이점이 있다.
또한, 본 발명에 따르면, 분리해낸 개별 음원들의 위치, 방향 또는 출력 세기와 같은 다양한 특성들을 시각화할 수 있다는 이점이 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급된 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법의 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법의 논리 흐름도 이다.
도 3은 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법을 통해 시각화 자료를 생성하기 전 음원과 마이크로폰 어레이의 위치를 개략적으로 나타낸 모습이다.
도 4는 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법에 의해 생성된 음향 시각화 자료의 제1 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법에 의해 생성된 음향 시각화 자료의 제2 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법의 논리 흐름도 이다.
도 3은 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법을 통해 시각화 자료를 생성하기 전 음원과 마이크로폰 어레이의 위치를 개략적으로 나타낸 모습이다.
도 4는 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법에 의해 생성된 음향 시각화 자료의 제1 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법에 의해 생성된 음향 시각화 자료의 제2 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 시스템의 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고"연결되어 있는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법의 순서도이고. 도 2는 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법의 논리 흐름도 이다.
도 1 및 도2를 참조하면, 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법은 전처리 단계(S100), 음원 방향 추적단계(S200), 음원 종류 판단단계(S300), 시각화 단계(S400), 음원 제거단계(S500) 및 반복단계(S600)를 포함할 수 있다.
상기 전처리 단계(S100)에서는 전처리부(200)가 마이크로폰 어레이(100)로부터 다채널 신호를 수신하고, 다채널 신호를 복수의 프레임으로 분할하며, 프레임 중 적어도 어느 하나를 대상으로 빔포밍(Beamforming)을 수행한다.
실시 예에 따라 상기 전처리 단계(S100)는 복수의 프레임의 평균을 대상으로 빔포밍을 수행하는 것을 특징으로 할 수 있다. 예를 들어, 전처리 단계(S100)에서 빔포밍 수행 시 하나의 프레임을 사용할 수 있으며, 복수 개의 프레임 중 2개에서 3개의 프레임을 평균화한 결과 값이 사용될 수 있다.
상기 다채널 신호는 마이크로폰 어레이(100) 주변에서 발생하는 소리로서, 동물의 울음소리나 자동차 모터 소리 등과 같은 주변의 소음이나 사람의 목소리와 같은 음성신호를 포함할 수 있다.
상기 음원 방향 추적단계(S200)에서는 음원방향추적기(300)가 빔포밍 결과를 이용하여 출력 레벨이 최대인 주음원의 방향을 추적한다.
이때, 빔포밍 결과는 다채널 신호에 포함된 복수 개의 음원들 중 출력 레벨이 최대인 주음원에 대한 영향을 가장 많이 받은 것이므로, 상기 빔포밍 결과를 분석하면 출력 레벨이 최대인 주음원에 대한 대략적인 방향을 알 수 있다.
이때, 복수 개의 프레임의 평균을 이용하여 도출된 빔포밍 결과를 사용할 경우, 보다 정확한 주음원의 방향을 추적할 수 있을 것이다.
실시 예에 따라, 상기 음원방향 추적단계는 기 학습된 딥러닝 모델을 이용하여 상기 빔포밍 결과로부터 상기 주음원의 방향을 추적하는 단계를 더 포함할 수 있다.
즉, 빔포밍 결과를 분석하여 알 수 있는 주음원의 방향 정보에 더하여 기 학습된 딥러닝 모델에 빔포밍 결과를 입력하여 얻게 된 주음원의 방향 정보를 함께 고려함으로써, 주음원의 방향을 더욱 정밀하게 추적할 수 있다.
이때, 상기 기 학습된 딥러닝 모델이란 빔포밍 결과를 입력 데이터로, 출력 레벨이 최대인 주음원의 방향을 결과 데이터로 하여 학습된 딥러닝 알고리즘으로 구현될 수 있다.
실시 예에 따라 상기 전처리 단계(S100)와 상기 음원 방향 추적단계(S200) 사이에 특징추출단계가 더 포함될 수 있으며, 상기 특징추출단계에서는 빔포밍 결과를 이용하여 주음원의 특징을 추출할 수 있다. 이때, 주음원의 특징은 마이크로폰 어레이(100)를 기준으로 한 주음원의 위치, 출력 레벨의 크기 등을 포함할 수 있다.
상기 음원 종류 판단단계(S300)에서는 제어부(600)가 빔포밍 결과를 이용하여 학습된 분류모델(1)을 통해 주음원의 종류를 판단한다.
예를 들어, 음원 종류 판단단계(S300)에서는 제어부(600)가 새소리, 오토바이 소리 등과 같이 그 종류가 정해진 빔포밍 결과를 학습데이터로 하고, 소리의 종류를 결과 데이터로 하여 기 학습된 분류모델(1)을 사용하여 주음원이 새소리인지 오토바이 소리인지 판단할 수 있다.
상기 시각화 단계(S400)에서는 시각화부(400)가 주음원의 방향, 음압 레벨 또는 종류를 시각화한다. 시각화부(400)가 주음원의 방향, 음압 레벨 또는 종류를 시각화하는 방법에 관하여는 하기의 도 3 내지 도 5를 참조하여 상세히 설명한다.
실시 예에 따라 상기 음원종류 판단단계와 상기 시각화 단계 사이에 기 학습된 딥러닝 모델을 이용하여 상기 빔포밍 결과로부터 상기 주음원의 방향을 추적하는 단계가 더 포함될 수 있다.
학습된 딥러닝 모델을 이용하여 빔포밍 결과로부터 주음원의 방향을 추적할 경우 주음원의 방향을 더욱 정밀하게 추적할 수 있다.
상기 음원 제거단계(S500)는, 마이크로폰 어레이(100)의 채널 별로 수신되는 신호들 각각에서 주음원을 제거하는 것을 특징으로 할 수 있다.
예를 들어, 음원 제거단계(S500)에서는 음원 제거부가 각 마이크로폰을 통해 수신한 개별 신호에서 제어부(600)가 분석한 주음원의 특징 정보(방향, 위치, 출력 레벨 크기 등)를 이용하여 주음원이 존재하는 부분을 제거(즉, 삭제)할 수 있을 것이다.
상기 반복단계(S600)에서는 다채널 신호에 포함된 음원을 모두 제거할 때까지 상기 음원 방향 추적단계(S200)에서 상기 음원 제거단계(S500)를 반복하여 수행한다.
예를 들어, 신호에 포함된 모든 음원들이 제거될 때까지 출력 레벨이 가장 큰 주음원의 방향을 추적하고, 주음원의 빔포밍 결과를 이용하여 주음원의 종류를 판단할 수 있으며, 시각화 단계(S400)에서는 반복적으로 작성된 시각화 자료를 통합하여 제공할 수 있을 것이다.
실시 예에 따라 본 발명은 전술한 방법을 프로그램으로 구현하기 위한, 컴퓨터로 판독 가능한 기록 매체로 제공될 수 있다. 다시 말해서, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능매체에 여러 수단을 통하여 기록될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법을 통해 시각화 자료를 생성하기 전 음원과 마이크로폰 어레이(100)의 위치를 개략적으로 나타낸 모습이고, 도 4 및 도 5는 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 방법에 의해 생성된 음향 시각화 자료의 제1 및 제2 예시도이다.
상기 도 3 내지 도 5를 참조하면, 실시 예에 따라, 상기 시각화 단계(S400)는, 주음원의 특징을 시각화하는 단계를 더 포함할 수 있다.
즉, 상기 시각화 단계(S400)에서는 상기 음원 방향 추적단계(S200) 및 음원 종류 판단단계(S300)에서 추적 및 판단한 주음원의 위치, 방향, 음압레벨 또는 종류를 도 4 또는 도 5와 같은 시각화 자료로 나타낼 수 있다.
도 6은 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 시스템의 블록도이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 음원 분리 및 음향 시각화 시스템은 마이크로폰 어레이(100), 전처리부(200), 음원방향추적기(300), 시각화부(400), 음원제거부(500) 및 제어부(600)를 포함할 수 있다.
상기 마이크로폰 어레이(100)는 복수의 마이크로폰이 배치되는 구성으로서, 복수의 마이크로폰은 직렬 또는 구 형상으로 배치될 수 있다.
상기 전처리부(200)는 마이크로폰 어레이(100)로부터 신호를 수신하고, 신호를 복수의 프레임으로 분할하며, 프레임 중 적어도 어느 하나를 대상으로 빔포밍을 수행한다.
상기 음원방향추적기(300)는 빔포밍 결과를 이용하여 출력 레벨이 최대인 주음원의 방향을 추적한다.
상기 시각화부(400)는 주음원의 방향, 음압 레벨 또는 종류를 시각화한다.
상기 음원제거부(500)는 주음원을 신호에서 제거한다.
상기 제어부(600)는 빔포밍 결과를 이용하여 학습된 분류모델(1)을 이용하여 주음원의 종류를 판단한다.
실시 예에 따라, 빔포밍 결과를 이용하여 주음원의 특징을 추출하는 특징추출기가 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 시스템과 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 시스템과 관련하여 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 분류모델
2: 생성모델
100: 마이크로폰 어레이
200: 전처리부
300: 음원방향추적기
400: 시각화부
500: 음원제거부
600: 제어부
2: 생성모델
100: 마이크로폰 어레이
200: 전처리부
300: 음원방향추적기
400: 시각화부
500: 음원제거부
600: 제어부
Claims (10)
- 전처리부가 마이크로폰 어레이로부터 신호를 수신하고, 상기 신호를 복수의 프레임으로 분할하며, 상기 프레임 중 적어도 어느 하나를 대상으로 빔포밍을 수행하는 전처리 단계;
음원방향추적기가 상기 빔포밍 결과를 이용하여 출력 레벨이 최대인 주음원의 방향을 추적하는 음원 방향 추적단계;
제어부가 상기 빔포밍 결과를 이용하여 기 학습된 분류모델을 통해 상기 주음원의 종류를 판단하는 음원 종류 판단단계;
시각화부가 상기 주음원의 방향, 음압 레벨 또는 종류를 시각화하는 시각화 단계;
음원 제거부가 상기 주음원을 상기 신호에서 제거하는 음원 제거단계; 및
상기 음원 방향 추적단계에서 상기 음원 제거단계를 상기 신호에 포함된 음원을 모두 제거할 때까지 반복하는 반복단계를 포함하는 음원 분리 및 음향 시각화 방법.
- 제 1 항에 있어서,
상기 전처리 단계는,
상기 복수의 프레임의 평균을 대상으로 빔포밍을 수행하는 것을 특징으로 하는 음원 분리 및 음향 시각화 방법.
- 제 1 항에 있어서,
상기 음원방향 추적단계는,
기 학습된 딥러닝 모델을 이용하여 상기 빔포밍 결과로부터 상기 주음원의 방향을 추적하는 단계를 더 포함하는 음원 분리 및 음향 시각화 방법.
- 제 1 항에 있어서,
상기 전처리 단계와 상기 음원 방향 추적단계 사이에,
상기 빔포밍 결과를 이용하여 상기 주음원의 특징을 추출하는 특징추출단계를 더 포함하는 음원 분리 및 음향 시각화 방법.
- 제 4 항에 있어서,
상기 시각화 단계는,
상기 주음원의 특징을 시각화하는 단계를 더 포함하는 음원 분리 및 음향 시각화 방법.
- 제 1 항에 있어서,
상기 음원종류 판단단계와 상기 시각화 단계 사이에,
기 학습된 딥러닝 모델을 이용하여 상기 빔포밍 결과로부터 상기 주음원의 방향을 추적하는 단계를 더 포함하는 음원 분리 및 음향 시각화 방법.
- 제 1 항에 있어서,
상기 음원 제거단계는,
상기 마이크로폰 어레이의 채널 별로 수신되는 신호들 각각에서 상기 주음원을 제거하는 것을 특징으로 하는 음원 분리 및 음향 시각화 방법.
- 제 1 항 내지 제 7 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
- 복수의 마이크로폰이 배치된 마이크로폰 어레이;
상기 마이크로폰 어레이로부터 신호를 수신하고, 상기 신호를 복수의 프레임으로 분할하며, 상기 프레임 중 적어도 어느 하나를 대상으로 빔포밍을 수행하는 전처리부;
상기 빔포밍 결과를 이용하여 출력 레벨이 최대인 주음원의 방향을 추적하는 음원방향추적기;
상기 주음원의 방향, 음압 레벨 또는 종류를 시각화하는 시각화부;
상기 주음원을 상기 신호에서 제거하는 음원제거부; 및
상기 빔포밍 결과를 이용하여 학습된 분류모델을 이용하여 상기 주음원의 종류를 판단하는 제어부를 포함하는 음원 분리 및 음향 시각화 시스템.
- 제 9 항에 있어서,
상기 빔포밍 결과를 이용하여 상기 주음원의 특징을 추출하는 특징추출기를 더 포함하는 음원 분리 및 음향 시각화 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210045171A KR102467948B1 (ko) | 2021-04-07 | 2021-04-07 | 음원 분리 및 음향 시각화 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210045171A KR102467948B1 (ko) | 2021-04-07 | 2021-04-07 | 음원 분리 및 음향 시각화 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220139040A true KR20220139040A (ko) | 2022-10-14 |
| KR102467948B1 KR102467948B1 (ko) | 2022-11-18 |
Family
ID=83599829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210045171A KR102467948B1 (ko) | 2021-04-07 | 2021-04-07 | 음원 분리 및 음향 시각화 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102467948B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010011433A (ja) * | 2008-05-30 | 2010-01-14 | Nittobo Acoustic Engineering Co Ltd | 音源分離及び表示方法並びにシステム |
| KR101270074B1 (ko) | 2011-05-31 | 2013-05-31 | 삼성에스디에스 주식회사 | 소리 기반 공간지도를 이용한 상황인식 장치 및 방법 |
| KR101825949B1 (ko) | 2015-10-06 | 2018-02-09 | 전자부품연구원 | 음원 분리를 포함하는 음원 위치 추정 장치 및 방법 |
-
2021
- 2021-04-07 KR KR1020210045171A patent/KR102467948B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010011433A (ja) * | 2008-05-30 | 2010-01-14 | Nittobo Acoustic Engineering Co Ltd | 音源分離及び表示方法並びにシステム |
| KR101270074B1 (ko) | 2011-05-31 | 2013-05-31 | 삼성에스디에스 주식회사 | 소리 기반 공간지도를 이용한 상황인식 장치 및 방법 |
| KR101825949B1 (ko) | 2015-10-06 | 2018-02-09 | 전자부품연구원 | 음원 분리를 포함하는 음원 위치 추정 장치 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| A., S., et al."Sound event localization and detection of overlapping sources using convolutional recurrent neural networks." IEEE Jrnl. of Selected Topics in Signal Processing 13.1:34-48. (2017.12.07)* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102467948B1 (ko) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9873428B2 (en) | Collision avoidance using auditory data | |
| Tawari et al. | Speech emotion analysis in noisy real-world environment | |
| KR20130052432A (ko) | 마르코프 연쇄 은닉 조건부 랜덤 필드 모델 기반의 패턴 인식 방법 | |
| US8140329B2 (en) | Method and apparatus for automatically recognizing audio data | |
| CN113158727A (zh) | 一种基于视频和语音信息的双模态融合情绪识别方法 | |
| KR101667557B1 (ko) | 실시간 음원 분류 장치 및 방법 | |
| KR20190120489A (ko) | 영상 인식 장치 및 방법 | |
| KR20160096905A (ko) | 코골이 검출 장치 및 방법 | |
| US20100217435A1 (en) | Audio signal processing system and autonomous robot having such system | |
| Aubrey et al. | Two novel visual voice activity detectors based on appearance models and retinal filtering | |
| US11776532B2 (en) | Audio processing apparatus and method for audio scene classification | |
| KR102467948B1 (ko) | 음원 분리 및 음향 시각화 방법 및 시스템 | |
| Seong et al. | A review of audio-visual speech recognition | |
| KR102044520B1 (ko) | 음성 존재 구간 판별 장치 및 방법 | |
| KR102596957B1 (ko) | 다중 센서 융합기반 운전자 모니터링 장치 및 방법 | |
| Malcangi et al. | Evolving fuzzy-neural method for multimodal speech recognition | |
| Andersson et al. | Speech activity detection in videos | |
| KR102438701B1 (ko) | 마이크로폰 어레이를 이용한 음성신호 제거방법 및 제거장치 | |
| CN115376494B (zh) | 一种语音检测方法、装置、设备及介质 | |
| CN113255800B (zh) | 基于音视频的鲁棒情感建模系统 | |
| El Falou et al. | Automatic threshold determination for a local approach of change detection in long-term signal recordings | |
| Rodemann et al. | Filtering environmental sounds using basic audio cues in robot audition | |
| KR101092489B1 (ko) | 음성 인식 시스템 및 방법 | |
| Nguyen et al. | Location Estimation of Receivers in an Audio Room using Deep Learning with a Convolution Neural Network. | |
| Mishra | Interlaced Derivation for HINDI phoneme-Viseme recognition from continuous speech |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |