KR20220111521A - 주변 소음 제거 시스템 및 방법 - Google Patents

Abstract

본 발명은 주변 소음 제거 시스템에 관한 것으로, 보다 구체적으로 음성 출력 기능을 갖춘 장치에서 구현되는 주변소음 제거 시스템에 있어서, 상기 음성 출력 기능을 갖춘 장치를 통해 주변소음이 포함된 소리신호를 전달받아 신호 대 잡음비(SNR) 값을 추출하는 SNR 검출부; 상기 SNR 검출부가 전달받은 상기 주변소음이 포함된 소리신호를 음성 스펙트로그램 이미지로 변환하는 음성 스펙트로그램 변환부; 상기 SNR 검출부에서 추출한 신호 대 잡음비(SNR) 값과 상기 음성 스펙트로그램 변환부에서 변환된 음성 스펙트로그램 이미지를 서로 매칭하여 데이터 셋을 생성하는 데이터 매칭부; 상기 데이터 매칭부로부터 전송받은 데이터 셋의 SNR 값에 대응하는 학습된 DNN 모델을 실행하여 주변소음이 제거된 음성 스펙트로그램 이미지를 생성하는 딥러닝 모델부; 및 상기 딥러닝 모델부를 통해 생성된 주변소음이 제거된 음성 스펙트로그램 이미지를 주변소음이 제거된 소리신호로 역변환하는 역변환부;를 포함하는 것을 특징으로 한다. 본 발명에 따른 주변 소음 제거 시스템에 의하면, 컴퓨터, 핸드폰 등의 하드웨어, 통신사, IP와 관계없이 어플리케이션을 통해서 독자적으로 소음을 제거할 수 있으므로 무선 이어폰, 스피커 등 음향기기를 포함하여 어떠한 통화 플랫폼에서도 적용가능하고, 편리하게 소음을 제거할 수 있는 효과가 있다. 또한, 본 발명은 보청기와 같은 청력보조장치에 적용이 가능하고 어플리케이션을 이용하여 간편하게 소음을 최소화하고 음성을 보다 명확하게 들을 수 있는 효과가 있다.

Description

주변 소음 제거 시스템 및 방법{Ambient noise reduction system and method}

본 발명은 통화, 화상 회의 등 비대면 의사소통을 할 때 주변 소음을 제거하여 음성이 또렷하게 전달되는 비대면 의사소통을 위한 주변 소음 제거 시스템에 관한 것이다.

또한, 보청기 등의 청력보조장치에 적용하여 음성을 보다 명확하게 전달하는 주변 소음 제거 시스템에 관한 것이다.

인터넷과 통신기기의 발달에 따라 통화 시에 잡음을 개선하고자 하는 노력은 꾸준히 있어왔다. 일 예로 일부 통신사의 경우에는 LTE 망을 이용하여 HD Voice 서비스를 제공하고 있다. 상기 HD Voice(또는 VoLTE) 서비스는 초기에는 발신인과 수신인이 같은 통신사인 경우에만 기술적용이 가능하였으나, 현재는 통신사 간의 제약없이 기술을 사용할 수 있어 전반적인 통화 음질에 많은 향상이 있었다. 또한 일부 휴대전화 제조사에서는 휴대전화 기기 내에 잡음을 저감할 수 있는 칩을 설치하거나 기기에 잡음 개선용 마이크를 추가로 설치하여 액티브 소음 제거 기술을 구현하는 방법으로 통화 품질 향상을 위해 노력해왔다.

최근 블루투스 이어폰이 큰 인기를 받았고 많은 사람들이 사용하고 있다. 상기 블루투스 이어폰은 휴대전화와 무선으로 연결되기 때문에, 휴대전화를 손에 들지 않은 채로 통화가 가능하여 통화하면서 두 손을 자유롭게 사용할 수 있다는 이유로 인기가 많다. 다만, 상기 블루투스 이어폰은 마이크가 이어폰과 일체화 되어있어서 사용자가 착용할 시 마이크가 사용자의 귀와 가까운 위치에 있기 때문에 휴대전화를 들고 통화하는 경우에 비해 잡음이 많이 들리는 문제가 발생하였다.

최근 전 세계 어디에서도 근무가 가능한 디지털 노마드인 직장인이 증가하는 추세이고, 특히 코로나 바이러스의 유행에 의해 재택근무를 하는 직장인 및 재택수업을 듣는 학생이 대폭 증가하였다. 이에 따라 화상회의, 화상수업와 같은 PC를 이용한 비대면 의사소통이 크게 증가하였다. 여러 비대면 의사소통 매체 중 PC를 이용하여 회의를 진행하는 경우, 대부분 노트북을 활용하여 노트북에 내장된 마이크를 사용한다. 상술한 바와 같이 휴대전화 제조사 또는 통신사에서는 통화품질이 많이 향상되었으나 PC를 이용하는 경우에는 상술한 휴대전화 제조사 또는 통신사의 통화품질 향상 방법을 적용하는 것에 한계가 있어 음질이 비교적 많이 떨어지는 한계가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 도출된 것으로, 통화, 화상 회의 등 비대면 의사소통을 할 때 핸드폰, 노트북을 사용하는 경우뿐만 아니라 블루투스 이어폰, 헤드셋 등의 음향기기를 사용하는 경우에도 주변 소음이 제거되어 음성을 또렷하게 전달하고, 전달 받을 수 있는 주변 소음 제거 시스템 및 방법을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은 보청기와 같은 청력보조장치에 적용되어 소음을 최소화함으로써 음성을 명확하게 들을 수 있는 주변 소음 제거 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며 언급되지 않은 또 다른 기술적과제들은 하기의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 문제를 해결하기 위한 본 발명은 주변 소음 제거 시스템에 관한 것으로, 보다 구체적으로 음성 출력 기능을 갖춘 장치에서 구현되는 주변소음 제거 시스템에 있어서, 상기 음성 출력 기능을 갖춘 장치를 통해 주변소음이 포함된 소리신호를 전달받아 신호 대 잡음비(SNR) 값을 추출하는 SNR 검출부; 상기 SNR 검출부가 전달받은 상기 주변소음이 포함된 소리신호를 음성 스펙트로그램 이미지로 변환하는 음성 스펙트로그램 변환부; 상기 SNR 검출부에서 추출한 신호 대 잡음비(SNR) 값과 상기 음성 스펙트로그램 변환부에서 변환된 음성 스펙트로그램 이미지를 서로 매칭하여 데이터 셋을 생성하는 데이터 매칭부; 상기 데이터 매칭부로부터 전송받은 데이터 셋의 SNR 값에 대응하는 학습된 DNN 모델을 실행하여 주변소음이 제거된 음성 스펙트로그램 이미지를 생성하는 딥러닝 모델부; 및 상기 딥러닝 모델부를 통해 생성된 주변소음이 제거된 음성 스펙트로그램 이미지를 주변소음이 제거된 소리신호로 역변환하는 역변환부;를 포함하는 것을 특징으로 한다.

본 발명에 따른 주변 소음 제거 시스템에 의하면, 컴퓨터, 핸드폰 등의 하드웨어, 통신사, IP와 관계없이 어플리케이션을 통해서 또는 독자적으로 소음을 제거할 수 있으므로 무선 이어폰, 스피커 등 음향기기를 포함하여 어떠한 통화 플랫폼에서도 적용가능하고, 편리하게 소음을 제거할 수 있는 효과가 있다.

또한, 본 발명은 보청기와 같은 청력보조장치에 적용이 가능하고 어플리케이션을 이용하여 간편하게 소음을 최소화하고 음성을 보다 명확하게 들을 수 있는 효과가 있다.

도 1은 본 발명의 일 예에 따른 주변 소음 제거 시스템의 알고리즘 개략도이다.
도 2는 본 발명의 일 예에 따른 주변 소음 제거 시스템의 알고리즘 블록도이다.
도 3은 본 발명의 일 예에 따른 주변 소음 제거 시스템의 사용자 기준의 소음제거 순서도이다.
도 4는 본 발명의 일 예에 따른 주변 소음 제거 시스템의 상대방 기준의 소음제거 순서도이다.
도 5는 본 발명의 다른 예에 따른 휴대전화에 적용된 주변 소음 제거 시스템이 구현된 어플리케이션의 예시도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명은 주변 소음 제거 시스템에 관한 것으로, 보다 구체적으로 음성 출력 기능을 갖춘 장치에서 구현되는 주변소음 제거 시스템에 있어서, 상기 음성 출력 기능을 갖춘 장치를 통해 주변소음이 포함된 소리신호를 전달받아 신호 대 잡음비(SNR) 값을 추출하는 SNR 검출부; 상기 SNR 검출부가 전달받은 상기 주변소음이 포함된 소리신호를 음성 스펙트로그램 이미지로 변환하는 음성 스펙트로그램 변환부; 상기 SNR 검출부에서 추출한 신호 대 잡음비(SNR) 값과 상기 음성 스펙트로그램 변환부에서 변환된 음성 스펙트로그램 이미지를 서로 매칭하여 데이터 셋을 생성하는 데이터 매칭부; 상기 데이터 매칭부로부터 전송받은 데이터 셋의 SNR 값에 대응하는 학습된 DNN 모델을 실행하여 주변소음이 제거된 음성 스펙트로그램 이미지를 생성하는 딥러닝 모델부; 및 상기 딥러닝 모델부를 통해 생성된 주변소음이 제거된 음성 스펙트로그램 이미지를 주변소음이 제거된 소리신호로 역변환하는 역변환부;를 포함하는 주변 소음 제거 시스템을 포함하는 것을 특징으로 한다.

이하, 본 발명에 대한 이해를 돕기 위해 도면을 통해 설명하도록 한다. 하기 도면 및 도면에 관한 설명은 본 발명을 설명하기 위한 일 예에 지나지 않으며, 이에 의해 본 발명의 범위가 제한되는 것은 아니다.

도 1은 본 발명의 일 예에 따른 주변 소음 제거 시스템의 알고리즘 개략도를 나타낸 것이며, 도 2는 본 발명의 일 예에 따른 주변 소음 제거 시스템의 블록도를 나타낸 것이다.

도 1에 의하면, 본 발명의 일 예에 따른 주변 소음 제거 시스템은 잡음(주변 소음)이 낀 음성신호가 인식되면 상기 잡음이 낀 음성신호를 음성 스펙트로그램 이미지로 변환한다. 이는 도 1의 잡음이 낀 스펙트로그램 이미지와 같이 음성신호를 나타내는 소리 파동 밖에도 노란색 또는 초록색으로 점처럼 주변 소음이 표시되어 있는 것을 확인할 수 있다. 따라서 본 발명의 일 예에 따른 주변 소음 제거 시스템은 딥러닝 모델부를 통해 상기 잡음이 낀 스펙트로그램 이미지의 상기 음성신호를 나타내는 소리 파동 밖에 위치한 잡음부분을 지워내고 도 1의 잡음이 제거된 스펙트로그램 이미지와 같이 수정할 수 있다. 이와 같이 수정된 스펙트로그램 이미지는 다시 역변환부를 통해 음성신호로 역변환되고 잡음이 제거된 채로 단말기에 구비된 스피커를 통해 송출될 수 있다.

도 2는 도 1의 본 발명의 일 예에 따른 주변 소음 제거 시스템의 알고리즘을 보다 자세히 설명한 블록도이다. 상기 도 2에 따르면 음성과 주변 소음이 섞인 소리가 인식되면 SNR(신호 대 잡음비) 검출부에서 상기 음성과 주변 소음이 섞인 소리의 SNR 값을 검출한다. 그리고 음성 스펙트로그램 변환부는 상기 SNR 검출부에서 인식한 주변 소음이 섞인 소리신호를 음성 스펙트로그램 이미지로 변환하여 나타낸다. 다음으로 SNR 검출부에서 검출된 SNR 값과 상기 음성 스펙트로그램 이미지를 매칭하여 데이터 셋을 생성한다. 그 후 상기 데이터 셋의 SNR 값에 대응되는 학습된 딥러닝 모델부를 통해 입력된 음성 스펙트로그램 이미지로부터 잡음부분이 제거된 음성 스펙트로그램 이미지를 생성하게 된다. 본 발명의 일 예에 따르면 상기 딥러닝 모델부는 심층신경망(DNN) 구조를 가진 딥러닝 모델부이다. 상기 딥러닝 모델부는 상기 데이터셋을 기반으로 상기 음성 스펙트로그램 이미지에서 주변 소음에 해당하는 이미지 부분을 제거하는 학습을 수행하며, 상기 학습을 최대한 많이 수행할수록 모델의 신뢰도가 향상되어 주변 소음에 해당하는 이미지 부분을 최대한 실제와 근접하게 판단하고 제거할 수 있다. 본 발명의 일 예에 따른 상기 딥러닝 모델부는 도 2에서와 같이 SNR 값(단위: dB) 별로 여러 학습된 심층신경망(DNN) 모델을 구비하고 있으며, 입력되는 데이터 셋의 SNR 값에 대응하는 학습된 심층신경망(DNN) 모델을 통해 주변 소음이 포함된 상기 음성 스펙트로그램 이미지를 주변 소음이 제거된 음성 스펙트로그램 이미지를 변환하여 생성하게 된다. 상기와 같이 주변 소음이 제거된 음성 스펙트로그램 이미지는 역변환부에 의해 주변소음이 제거된 소리신호로 역변환되고 상기 주변소음이 제거된 소리신호는 스피커 등과 같은 음성 출력 장치를 통해 출력된다.

본 발명은 본 발명의 일 예에 따르면 주변소음 제거 시스템을 사용하는 사용자에게 송출되는 소리의 소음을 제거하는 동시에 대화의 상대방에게 송출되는 소리의 소음을 제거할 수 있는 것을 특징으로 한다.

도 3은 본 발명의 일 예에 따른 주변 소음 제거 시스템의 사용자 기준의 소음제거 순서도이고, 도 4는 본 발명의 일 예에 따른 주변 소음 제거 시스템의 상대방 기준의 소음제거 순서도이다.

상기 도 3은 본 발명의 일 예에 따른 주변소음 제거 시스템이 구현된 음성출력기능을 갖춘 장치로 통화하는 사용자 기준에서의 소음이 제거되는 순서를 나타낸 것이다. 먼저 통화의 상대방으로부터 음성과 소음이 포함된 소리가 발생하면 이를 상대방의 단말기에 구비된 마이크가 인식한다. 이와 같이 인식된 소리는 3G, LTE망 등 통신망을 통해 사용자의 단말기로 전달된다. 상기와 같이 전달된 소리는 상기 주변 소음 제거 시스템에서 주변 소음 제거 알고리즘에 의해 소음이 제거된 후 사용자의 단말기 내 스피커, 블루투스 이어폰 등의 음향기기를 통해 출력된다. 이와 같은 과정으로 본 발명의 일 예에 따른 주변 소음 제거 시스템을 사용하는 사용자의 기준에서 상대방으로부터 발생된 소음이 저감되고 음성을 또렷하게 들을 수 있게 된다.

상기 도 4는 본 발명의 일 예에 따른 주변소음 제거 시스템이 구현된 음성출력기능을 갖춘 장치로 통화하는 사용자와 의사소통하는 상대방 기준에서의 소음이 제거되는 순서를 나타낸다. 먼저, 주변소음 제거 시스템을 구비하고 있는 사용자가 음성과 소음이 포함된 소리를 발생시키면 사용자의 음성출력기능을 갖춘 장치 내에 구비된 마이크가 상기 소리를 인식한다. 인식된 소리는 사용자의 음성출력기능을 갖춘 장치에 구비된 상기 주변 소음 제거 시스템을 구동하는 방식으로 소음을 제거한다. 상기와 같이 소음이 제거된 소리는 3G 또는 LTE망 등의 통신망을 통해 의사소통의 상대방이 사용하는 음성출력기능을 갖춘 장치로 전달되므로, 상대방은 사용자의 목소리를 보다 또렷하게 들을 수 있게 된다.

본 발명의 일 예에 따른 주변소음 제거 시스템은 음성출력기능을 갖춘 장치에 구비됨으로써 구현되며 휴대전화, PC, 녹음기, 노트북, 블루투스 이어폰, 이어폰, 스마트워치, 태블릿PC, 보청기 등에 구비될 수 있다.

본 발명의 일 예에 따르면 상기 음성 출력 기능을 갖춘 장치로 본 발명의 주변소음 제거 시스템을 이용하여 녹화 또는 녹음된 소리를 재생할 때 주변 소음을 제거할 수 있다. 상기 음력 출력 기능을 갖춘 장치는 휴대전화, PC, 노트북, 태블릿PC, 스마트워치, TV, 녹음기일 수 있다.

본 발명의 다른 예에 따른 주변소음 제거 시스템은 어플리케이션을 통해서 구현되며 휴대전화, PC, 노트북, 태블릿PC, 스마트워치 등 어플리케이션의 설치가 가능하고 통화가 가능한 음성출력기능을 갖춘 장치에서 사용이 가능하다.

도 5는 발명의 다른 예에 따른 휴대전화에 적용된 주변 소음 제거 시스템이 구현된 어플리케이션의 예시도이다. 본 발명의 다른 예에 따르면 사용자가 본 발명의 주변 소음 제거 시스템이 구현된 어플리케이션을 켜면 통화를 걸기 위한 휴대전화 화면 상단에 도 5와 같이 스위치가 생성될 수 있다. 상기 스위치를 켜면 상기 어플리케이션 내의 주변소음 제거 시스템이 구동되고, 상기 스위치를 끄면 상기 어플리케이션 내의 주변소음 제거 시스템이 종료될 수 있다. 다만, 상기 어플리케이션의 구동 형식은 이에 한정되지 않으며, 통상적으로 본 발명이 속하는 기술분야에서 사용되는 형식이라면 적용 가능하다.

또한, 본 발명의 또 다른 예에 따른 주변소음 제거 시스템은 보청기와 같은 청력보조장치에 적용할 수 있다. 보청기는 사용자의 청력 손실도에 맞게 소리를 증폭하여 들려주어 난청인들의 손실된 청력을 보상하는 역할을 한다. 상기 보청기는 일반적으로 그 내부에 마이크 및 음향기기가 설치되어있고, 마이크를 통해서 인식된 소리가 전기에너지로 바뀌며 엠프와 같은 소리 증폭장치를 통해 소리가 증폭된 후 음향기기로 소리가 출력되는 시스템을 가진다. 본 발명의 또 다른 예에 따르면 보청기에 본 발명의 주변소음 제거 시스템이 구비될 수 있다. 따라서 보청기 내 구비된 마이크를 통해서 인식된 소리가 상기 보청기 내 소리 증폭장치 및 상기 주변소음 제거 시스템을 거쳐 주변소음이 제거된 채로 증폭된 소리를 사용자에게 전달할 수 있다. 또한, 본 발명의 또 다른 예에 따르면 보청기에 블루투스 기능이 탑재되어 본 발명의 어플리케이션이 설치되어있는 단말기와 연결할 수 있다. 보청기 내 구비된 마이크를 통해서 인식된 소리를 상기 보청기가 블루투스로 연결된 통신기능이 가능한 단말기로 전달하고, 상기 통신이 가능한 단말기를 통해 송출되는 상대방의 음성은 본 발명의 주변소음 제거 시스템 어플리케이션을 통해 소음이 제거된 후 보청기 내 소리 증폭장치를 통해 소리가 증폭된 채로 음향기기를 통해 출력될 수 있다. 이를 통해 사용자는 손쉬운 방법으로 소리를 보다 또렷하고 명확하게 들을 수 있는 장점이 있다. 상기 통신이 가능한 단말기로는 휴대전화, 스마트워치, 노트북, PC 등이 있다.

이상에 설명한 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 본 발명의 범위는 상기의 상세한 설명보다는 후술할 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (2)

1. 음성 출력 기능을 갖춘 장치에서 구현되는 주변소음 제거 시스템에 있어서,
   상기 음성 출력 기능을 갖춘 장치를 통해 주변소음이 포함된 소리신호를 전달받아 신호 대 잡음비(SNR) 값을 추출하는 SNR 검출부;
   상기 SNR 검출부가 전달받은 상기 주변소음이 포함된 소리신호를 음성 스펙트로그램 이미지로 변환하는 음성 스펙트로그램 변환부;
   상기 SNR 검출부에서 추출한 신호 대 잡음비(SNR) 값과 상기 음성 스펙트로그램 변환부에서 변환된 음성 스펙트로그램 이미지를 서로 매칭하여 데이터 셋을 생성하는 데이터 매칭부;
   상기 데이터 매칭부로부터 전송받은 데이터 셋의 SNR 값에 대응하는 학습된 DNN 모델을 실행하여 주변소음이 제거된 음성 스펙트로그램 이미지를 생성하는 딥러닝 모델부; 및
   상기 딥러닝 모델부를 통해 생성된 주변소음이 제거된 음성 스펙트로그램 이미지를 주변소음이 제거된 소리신호로 역변환하는 역변환부;를 포함하는 주변 소음 제거 시스템.
   
2. 제 1항에 있어서.
   상기 음성 출력 기능을 갖춘 장치로 사용자에게 송출되는 소리의 소음을 제거하는 동시에 대화의 상대방에게 송출되는 소리의 소음을 제거할 수 있는 것을 특징으로 하는 주변 소음 제거 시스템.

Images