KR101649710B1 - 음질 개선 방법 및 그 장치 - Google Patents

Abstract

음질 개선 방법 및 그 장치가 개시된다. 음질개선장치는 음원의 위치를 파악하고, 음원으로부터 출력된 신호를 복수 개의 마이크로폰를 통해 수신한 후, 음원과 각 마이크로폰 사이의 거리 차에 의해 발생하는, 각 마이크로폰별 신호의 도달 시간 차이를 보정하고, 신호 감쇠를 보상한 개선신호를 생성하여 출력한다.

Description

음질 개선 방법 및 그 장치{Method of enhancing voice quality and apparatus thereof}

본 발명은 음질을 개선하는 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 움직이는 음원으로부터 출력되는 신호를 복수 개의 마이크로폰을 통해 수신하여 음질을 개선하는 방법 및 그 장치에 관한 것이다.

사물인터넷(IoT)과 연계한 스마트홈 또는 유비쿼터스 헬스케어 서비스 등에서는 사용자의 이동성과 편의성을 고려하여 사용자가 마이크로폰의 위치를 의식하지 않고 편안하게 음성 명령이나 음성 통화 등을 할 수 있는 기술들이 요구되고 있다.

일반적인 마이크로폰은 발화지점과 멀어질수록 감도를 높여야 하나, 이 경우 사용자의 음성뿐만 아니라 주변 잡음도 함께 증폭되어 음성품질이 현격히 떨어지는 문제점이 있다. 사용자와 마이크로폰 사이의 거리가 먼 경우에도 양질의 음성품질을 제공하기 위한 여러 연구들이 계속되고 있으나, 발화자의 이동과 배경잡음으로 인해 만족할만한 음성품질을 구현하기 어려운 실정이다.

공개특허공보 제2012-0027718호

본 발명이 이루고자 하는 기술적 과제는, 움직이는 음원으로부터 출력된 신호를 잡음신호와 구분하여 선별하여 증폭함으로써 음질을 개선하는 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 음질 개선 방법의 일 예는, 음원의 위치를 파악하는 단계; 상기 음원으로부터 출력된 신호를 복수 개의 마이크로폰를 통해 수신하는 단계; 상기 음원과 각 마이크로폰 사이의 거리 차에 의해 발생하는, 각 마이크로폰별 상기 신호의 도달 시간 차이를 보정하는 단계; 상기 음원과 각 마이크로폰 사이의 거리 차에 의해 발생하는 신호 감쇠를 보상하는 단계; 및 상기 도달 시간 차이가 보정되고 상기 신호 감쇠가 보상된 각 마이크로폰의 신호를 합한 개선신호를 생성하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 음질 개선 방법의 다른 일 예는, 물리적으로 분리된 복수의 공간에서 음원의 위치를 파악하는 단계; 상기 복수의 공간마다 위치한 복수 개의 마이크로폰 중 상기 음원이 위치한 공간의 복수 개의 마이크로폰을 통해 상기 음원으로부터 출력된 신호를 수신하는 단계; 및 상기 음원과 상기 신호를 수신하는 복수 개의 마이크로폰 사이의 거리 차를 기초로, 각 마이크로폰에 입력되는 신호의 시간 지연 및 신호 감쇠를 개선하여 출력하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 음질 개선 장치의 일 예는, 음원으로부터 출력된 신호를 복수 개의 마이크로폰를 통해 수신하는 수신부; 음원과 각 마이크로폰 사이의 거리 차를 기초로 각 마이크로폰별 상기 신호의 도달 시간 차이를 보정하는 지연보정부; 상기 음원과 각 마이크로폰 사이의 거리 차에 의해 발생하는 신호 감쇠를 보상하는 감쇠보상부; 및 상기 도달 시간 차이가 보정되고 상기 신호 감쇠가 보상된 각 마이크로폰의 신호를 합한 개선신호를 생성하는 출력부;를 포함한다.

본 발명에 따르면, 음원이 마이크로폰과 멀리 떨어져 있는 경우에 발생하는 음성품질 저하를 개선할 수 있고, 음원이 움직이는 경우에도 음성품질을 개선할 수 있다. 또한 음성 명령이나 음성 통화 등이 필요한 스마트홈이나 유비쿼터스 헬스케어 서비스 등에서 사용자는 마이크로폰의 위치를 인식할 필요없이 편안하게 말하면 되므로 서비스의 만족도를 높일 수 있다. 또한 벽과 같은 장애물로 분리된 공간 등에서 화자의 위치를 파악한 후 화자의 위치에 해당하는 마이크로폰을 통해 음성을 수신할 수 있어, 음원의 이동성을 효율적으로 지원할 수 있다. 또한 본 발명은 전화기나 녹음기, 음성인식장치 등 소리를 입력받아 처리하는 각종 장치 내에 구현되어 각 장치의 성능을 향상시킬 수 있다.

도 1은 본 발명에 따른 음질 개선 장치를 실내에 구현한 일 예를 도시한 도면,
도 2는 본 발명에 따른 음질 개선 방법의 일 예를 도시한 흐름도,
도 3은 본 발명에 따른 음질 개선 방법이 프레임 단위로 적용되는 일 예를 도시한 도면,
도 4는 본 발명에 따른 음질개선장치의 일 실시 예의 구성을 도시한 도면,
도 5는 본 발명에 따른 음원과 복수의 마이크로폰을 도시한 도면,
도 6은 본 발명에 따른 음질 개선을 위한 시간 지연 보정 방법의 일 예를 도시한 도면,
도 7은 본 발명에 따른 음질 개선을 위한 신호 감쇠 보상 방법의 일 예를 도시한 도면,
도 8은 본 발명에 따른 음질 개선을 위한 잡음유사구간의 후처리 방법의 일 예를 도시한 도면,
도 9는 본 발명에 따른 위치파악장치의 일 실시 예의 구성을 도시한 도면,
도 10은 본 발명에 따른 위치파악방법의 일 예를 도시한 흐름도, 그리고,
도 11은 본 발명에 따른 가변길이 부-프레임이 적용된 프레임의 일 예를 도시한 도면이다.

이하에서, 첨부된 도면들을 참조하여 본 발명에 따른 음질 개선 방법 및 그 장치에 대해 상세히 설명한다.

도 1은 본 발명에 따른 음질 개선 장치를 실내에 구현한 일 예를 도시한 도면이다.

도 1을 참조하면, 공간(130)에는 음원(120)의 위치를 파악하는 위치파악장치(110,112)와, 음원(120)으로부터 수신한 신호의 음질을 향상시키는 음질개선장치(100)가 존재한다.

위치파악장치(110,112)는 측위 대상 공간(130) 내 움직이는 음원(120)의 위치를 실시간 파악한다. 여기서 음원(120)은 본 실시 예에 도시된 사람에 한정되는 것은 아니며, 이동이 가능하고 소리를 출력할 수 있는 각종 장치를 포함한다. 다수의 사람이 공간(130) 내에서 함께 스피커폰을 통해 회의를 진행하는 경우와 같이, 공간(130) 내 적어도 둘 이상의 음원(120)이 존재할 수 있으며, 이 경우 위치파악장치(110,112)는 복수의 음원의 위치를 모두 파악한다.

예를 들어, 서로 다른 곳에 위치한 각 위치파악장치(110,112)는 적어도 하나 이상의 음원(120)과의 거리를 파악한 후, 각 위치파악장치(110,112)를 원점으로 하고 각 파악된 거리를 반지름으로 하는 두 개의 원을 그렸을 때 서로 만나는 지점을 음원(120)의 위치로 파악할 수 있다. 본 실시 예는 하나의 예에 지나지 아니하며 실시 예에 따라 두 개의 위치파악장치만이 존재하거나 세 개 이상의 위치파악장치가 존재할 수도 있다. 위치파악장치(110,112)의 구체적인 구성의 일 예에 대해서는 도 9를 참조하여 설명한다. 다만, 위치파악장치(100,112)가 도 9의 구성으로 한정되는 것은 아니며, 도 9의 구성 이외에 종래 다양한 위치파악방법을 통해 구현될 수 있다.

음질개선장치(100)는 위치파악장치(110,112)에 의해 실시간 파악된 음원의 위치를 기초로 복수 개의 마이크로폰을 통해 입력되는 신호의 음질을 개선한다. 예를 들어, 사람이 실내에서 이동하면서 스피커폰을 통해 전화통화를 하거나, 유비쿼터스 환경에서 음성으로 각종 전자장치에 명령을 내리는 경우에, 음질개선장치(100)는 위치파악장치(110,112)를 통해 실시간 파악한 음원(120)의 위치를 기초로 복수 개의 마이크로폰으로 입력되는 신호들의 도달시간 지연을 보정하고 신호 감쇠를 보상하여 음질을 개선한 후 전화기나 각종 전자장치에 전달한다.

본 실시 예에서, 음질개선장치(100)는 복수 개의 마이크로폰의 각 위치 정보를 미리 알고 있다고 가정한다. 예를 들어, 복수의 마이크로폰의 설치시 해당 위치 정보를 음질개선장치에 관리자 등이 미리 입력할 수 있다.

본 실시 예는 위치파악장치(110,112))와 음질개선장치(100)를 각각 별개의 구성으로 도시하고 있으나, 반드시 이에 한정되는 것은 아니며 두 장치를 합쳐 하나의 장치로 구현할 수 있다. 이하는 설명의 편의를 위하여 위치파악장치(110,112)와 음질개선장치(100)를 각각 구분하여 설명한다.

도 2는 본 발명에 따른 음질 개선 방법의 일 예를 도시한 흐름도이다.

도 2를 참조하면, 음질개선장치는 위치파악장치로부터 음원의 위치를 수신한다(S200). 음원의 개수가 복수 개인 경우에는 복수의 음원의 위치를 기초로 도 2의 음질 개선 방법을 각각 적용할 수 있다. 예를 들어, 실내에 두 명의 화자가 위치하는 경우에, 음질개선장치는 두 명의 화자 중 누가 말을 하고 있는지 모르므로 제1화자의 위치와 제2화자의 위치를 기초로 각각 도 2의 음질개선방법을 적용하여 두 개의 음질개선결과를 도출한 후 더 우수한 음질개선결과를 출력할 수 있다. 이하에서는 설명의 편의를 위하여 음원의 개수가 한 개인 경우를 위주로 설명한다.

음질개선장치는 일정 시간 간격으로 위치파악장치로부터 음원의 위치 정보를 수신할 수 있다. 예를 들어, 음질개선장치는 음성 신호 처리를 위한 기본 프레임 크기(예를 들어, 10ms 또는 20ms 등)에 해당하는 주기로 위치파악장치로부터 음원의 위치 정보를 수신할 수 있다. 여기서 기본 프레임 크기는 실시 예에 따라 다양하게 설정가능하다.

음질개선장치는 음원의 위치 정보와 복수의 마이크로폰의 위치 정보를 기초로 음원으로부터 출력된 신호(이하, '음원신호'라 함)가 각 마이크로폰에 도달하는데 걸리는 시간 차이를 보정하여 음원신호의 위상을 동기화한다(S210).

예를 들어, 도 5와 같이 음원(500)과 각 마이크로폰(510) 사이의 거리가 서로 상이하므로, 음원신호가 각 마이크로폰(510)에 도달하는데 걸리는 시간 또한 서로 상이하다. 음원(500)과 가장 가까운 거리의 마이크로폰에 음원신호가 도달하는데 걸리는 시간을 t₀라고 할 때, i 번째 마이크로폰에 음원신호가 도달하는데 Δt_i만큼의 지연 시간이 발생한다.

따라서 음질개선장치는 각 마이크로폰별 시간 지연 보정값(Δt_i)을 고려하여 각 마이크로폰의 입력신호에 포함된 음원신호의 위상을 동기화하여 음질을 개선한다. 여기서, 입력신호는 여러 방향으로 각 마이크로폰에 입력되는 신호로서 음원신호와 함께 각종 잡음신호를 포함하는 신호이다.

음원의 위치가 이동함에 따라 음원과 복수의 마이크로폰 사이의 거리가 달라지므로, 음질개선장치는 음원의 이동에 따라 적응적으로 시간 지연 보정값을 새롭게 산출할 필요가 있다.

또한, 음질개선장치는 음원과 각 마이크로폰 사이의 거리에 따른 신호 감쇠를 보상한다(S220). 신호 감쇠를 보상하기 위하여 단순히 입력신호의 크기를 증폭하면 입력신호에 포함된 음원신호 뿐만 아니라 잡음신호도 증폭되어 음질 개선의 효과가 없다. 따라서, 음질개선장치는 입력신호 중 음원신호에 해당하는 주파수성분에 대해서만 선별적으로 감쇠 보상한다.

예를 들어, 각 마이크로폰에 입력되는 입력신호들의 시간 지연 보정 후에 입력신호 내 음원신호들은 서로 동일 위상을 가지므로, 시간 지연 보정된 각 마이크로폰의 입력신호를 합하는 경우 입력신호 내 음원신호들은 보강간섭을 일으킨다. 따라서 음질개선장치는 각 마이크로폰에 입력되는 입력신호들의 시간 지연 보정 후에 보강간섭을 일으키는 주파수 성분만을 선별적으로 증폭하여 신호 감쇠를 보상한다. 증폭에 있어, 음원과 각 마이크로폰 사이의 거리가 서로 상이하므로, 각 마이크로폰별 음원과의 거리를 기초로 신호 감쇠 보상값을 산출하여 보상한다.

음원의 위치가 이동함에 따라 음원과 복수의 마이크로폰 사이의 거리가 달라지므로, 음질개선장치는 음원의 이동 이동에 따라 적응적으로 각 주파수 성분의 크기 보상을 위한 신호 감쇠 보상값을 새롭게 산출할 필요가 있다.

음질개선장치는 입력신호가 음성유사구간 성분인지 잡음유사구간 성분인지 파악하고, 파악된 잡음유사구간에 대한 후처리 과정을 수행한다(S230). 음질개선장치는 신호 감쇠 보상 과정(S220)에서 파악된 신호 감쇠 보상의 대상이 되는 주파수 성분의 개수를 기초로 음성유사구간 또는 잡음유사구간을 구분할 수 있다.

예를 들어, 신호 감쇠 보상 대상의 주파수 성분의 개수가 기 설정된 임계값 이상이며, 해당 입력신호를 음성유사구간의 성분으로 파악하고, 임계값 미만이면 잡음유사구간으로 파악할 수 있다. 음질개선장치는 그 외 다양한 방법을 이용하여 음성유사구간과 잡음유사구간을 구별할 수 있다.

음질개선장치는 잡음유사구간에 대해 잡음 제거 등과 같은 다양한 방법의 후처리 과정을 적용할 수 있다. 종래의 다양한 잡음 제거 방법이 잡음유사구간에 대해 적용될 수 있으며, 일 예로, 음질개선장치는 각 마이크로폰의 입력신호들의 차를 기초로 잡음신호를 추정하고, 추정한 잡음신호를 잡음유사구간의 신호로 대체함으로써 잡음을 감소시킬 수 있다. 후처리 과정(S230)은 실시 예에 따라 생략될 수 있다.

그리고 음질개선장치는 시간 지연이 보정되고 신호 감쇠가 보상된 각 마이크로폰의 입력신호를 합하여 개선신호를 생성하고 출력한다(S240).

도 3은 본 발명에 따른 음질 개선 방법이 프레임 단위로 적용되는 일 예를 도시한 도면이다.

도 3을 참조하면, 각 마이크로폰을 통해 수신되는 입력신호는 프레임(300,310,320) 단위로 음질 개선 과정이 수행된다. 다시 말해, 음질개선장치는 제1 프레임(300)에 대해, 음원의 위치에 따른 제1 시간 지연 보정값과 제1 신호 감쇠 보상값을 산출하여 음질을 개선하고, 제2 프레임(310)에 대해, 음원의 위치에 따른 제2 시간 지연 보정값과 제2 신호 감쇠 보상값을 산출하여 음질을 개선한다. 여기서, 프레임 크기는 실시 예에 따라 다양하게 설정가능하며 일 예로 10ms 또는 20ms 크기일 수 있다. 프레임의 크기는 고정적인 것이 아니라 가변적일 수 있다.

다른 예로, 음질개선장치는 이전에 수신한 음원의 위치 정보와 새롭게 수신한 음원의 위치 정보를 비교하여 기 설정된 범위 이상의 위치 이동이 있는 경우에 한해, 시간 지연 보정값과 신호 감쇠 보상값을 새롭게 산출할 수 있다. 다시 말해, 음원의 위치가 이동하지 않은 경우에는 이전에 산출한 시간 지연 보정값과 신호 감쇠 보상값을 그대로 새로운 프레임에 적용하여 음질 개선 과정을 수행할 수 있다.

또 다른 예로, 음질개선장치는 각 프레임마다 시간 지연 보정값과 신호 감쇠 보상값을 산출하는 것이 아니라 복수 개의 프레임 단위로 시간 지연 보정값과 신호 감쇠 보상값을 산출할 수 있다. 다시 말해, 제1 프레임과 제2 프레임에 대해서는 동일한 시간 지연 보정값과 신호 감쇠 보상값을 적용하고, 다음 제3 프레임과 제4 프레임에 대해서는 새롭게 산출한 시간 지연 보정값과 신호 감쇠 보상값이 적용될 수 있다.

도 4는 본 발명에 따른 음질개선장치의 일 실시 예의 구성을 도시한 도면이다.

도 4를 참조하면, 음질개선장치(100)는 수신부(410), 지연보정부(420), 감쇠보상부(430), 후처리부(440) 및 출력부(450)를 포함한다. 여기서, 음질개선장치(100)는 위치파악장치(110,112)로부터 실시간 음원의 위치정보를 수신한다.

수신부(410)는 도 5와 같이, 복수 개의 마이크로폰(510)을 통해 신호를 수신한다. 수신부(410)는 각 마이크로폰을 통해 입력되는 신호를 프레임 단위로 샘플링하여 디지털 신호로 변환한다. 본 실시 예는 본 발명에 대한 이해를 돕기 위하여 디지털 신호 처리를 이용한 음질 개선 과정에 대해 설명하나, 본 발명은 반드시 이에 한정되는 것은 아니며 다양한 아날로그 신호 처리 방법이 적용될 수 있다.

지연보정부(420)는 음원과 각 마이크로폰 사이의 거리 차에 의해 발생하는 음원신호의 도달 시간의 지연을 보정한다. 음원과 각 마이크로폰 사이의 거리가 서로 상이한 경우에, 도 5와 같이 음원(500)으로부터 출력된 음원신호가 각 마이크로폰(510)에 도달하는 시간이 서로 상이하다. 따라서 지연보정부(420)는 복수 개의 마이크로폰 중 어느 하나를 기준 마이크로폰으로 설정한 후, 기준 마이크로폰을 기준으로 각 마이크로폰에 입력되는 음원신호의 위상을 동기화한다.

예를 들어, 도 5와 같이, 음원(500)과 기준 마이크로폰 사이의 거리를 r_ref라고 하고, 음원(500)과 다른 각 마이크로폰 사이의 거리를 r_i(여기서, i는 각 마이크로폰을 나타내는 인덱스)라고 할 때, 음원(500)으로부터 출력된 신호가 각 마이크로폰(510)에 도달하는 시간은 기준 마이크로폰에 신호가 도달하는 시간을 기준으로 다음 수학식과 같은 지연 시간(Δt_i)이 발생한다.

여기서, c는 소리의 속도를 나타낸다.

위 수학식 1을 디지털 신호에 대한 각 마이크로폰별 지연시간(Δn_i)으로 나타내면 다음과 같다.

여기서, f_s는 샘플링 주파수를 나타내고, i는 각 마이크로폰 인덱스를 나타낸다.

지연보정부(420)는 각 마이크로폰의 입력신호를 지연 보정하여 음원신호의 위상을 동기화함으로써 다음과 같은 음질 개선 신호(

)를 만들 수 있다.

여기서, M은 마이크로폰의 개수를 나타내고, i는 각 마이크로폰 인덱스, x_i(n)은 i번째 마이크로폰에 입력된 n번째 샘플링 입력신호를 나타낸다.

지연보정부(420)는 시간 지연 보정된 각 마이크로폰의 입력신호를 합할 때 위 수학식3 외에, Weighted-sum 빔포밍, Filter-and-sum 빔포밍, LCMV(Linearly constrained minimum variance) 빔포밍, Generalized sidlelobe canceller 빔포밍 등의 방법을 적용하여 합할 수 있다.

음원으로부터 출력된 음원신호의 진폭은 진행 거리에 반비례하고, 에너지는 거리의 제곱에 반비례하므로, 음원과의 거리에 따른 음원신호의 감쇠를 보상할 필요가 있다.

감쇠보상부(430)는 음원과 각 마이크로폰 사이의 거리에 의해 발생하는 음원신호의 감쇠를 보상한다. 각 마이크로폰의 입력신호는 음원신호 뿐만 아니라 잡음신호도 포함하므로, 입력신호 그 자체를 증폭하는 경우에 음원신호와 함께 잡음신호도 함께 증폭된다. 시간 지연 보정 후 입력신호 내 음원신호의 위상이 동기화되므로, 각 마이크로폰의 입력신호 사이에 보강간섭이 일어나는 주파수 성분은 음원신호에 해당할 가능성이 높다. 따라서 감쇠보상부(430)는 보강간섭 여부를 기초로 신호 감쇠를 보상할 주파수 성분들을 선별하여 증폭한다.

예를 들어, 각 마이크로폰의 입력신호를 DFT(Discrete Fourier Transform)를 이용하여 주파수 영역으로 변환하면 다음과 같다.

여기서, x_i(n)은 i 번째 마이크로폰의 n 번째 입력신호를 나타내고, k는 주파수 인덱스, N은 샘플링 개수를 나타낸다. 앞서 살핀 수학식 3의 지연 보정된 각 마이크로폰의 입력신호의 합을 주파수 영역으로 나타내면 다음과 같다.

여기서, k는 각 주파수 성분의 인덱스, M은 마이크로폰의 개수, N은 샘플링 개수를 나타낸다.

신호감쇠부는 지연 보정한 입력신호 내 보강반응이 일어나는 주파수 성분을다음 수학식을 이용하여 판별할 수 있다.

여기서, X_ref(k)는 기준 마이크로폰의 입력신호의 k번째 주파수 성분을 나타내고, X_i(k)는 i번째 마이크로폰의 입력신호의 k번째 주파수 성분을 나타낸다. β는 보강 반응 계수로서 0에서 1사이의 값을 가진다. β는 실시 예에 따라 그 값이 다양하게 결정될 수 있다.

수학식 6은 두 개의 마이크로폰의 입력신호 사이에서 보강 반응이 일어나는 주파수 성분을 찾는 과정을 제시하나, 반드시 이에 한정되는 것은 아니며 세 개 이상의 마이크로폰의 입력신호의 각 주파수 성분의 합이 기 설정된 일정 크기 이상인지 여부를 기초로 보강간섭이 일어났는지를 판단할 수 있다.

음원과 각 마이크로폰 사이의 거리는 서로 상이할 수 있으므로, 감쇠보상부(430)는 신호 감쇠 보상 대상의 주파수 성분에 대해 각 마이크로폰별로 감쇠 보상의 크기를 서로 달리할 수 있다.

예를 들어, 감쇠보상부(430)는 다음 수학식과 같이 각 마이크로폰별로 음원과의 거리에 따른 신호 감쇠를 보상할 수 있다.

여기서, α_i는 신호 감쇠 보상값을 나타낸다.

감쇠보상부(430)가 음원신호에 대한 주파수 성분에 대해 감쇠 보상한 이후의 결과 신호는 다음과 같다.

여기서, M은 마이크로폰의 개수를 나타낸다.

수학식 8의 주파수 영역의 결과 신호를 시간영역으로 변환하면 다음과 같다.

후처리부(440)는 각 마이크로폰의 입력신호가 음성유사구간 성분인지 잡음유사구간 성분인지 구분한 후 잡음유사구간으로 파악된 입력신호에 대해 후처리 과정을 수행하여 음질개선 효과를 높인다. 후처리부(440)는 실시 예에 따라 생략될 수 있다.

예를 들어, 후처리부(440)는 감쇠보상부에서 파악된 감쇠 보상 대상의 주파수 성분의 개수를 기초로 음성유사구간인지 잡음유사구간인지 판별할 수 있다. 즉, 후처리부(440)는 신호 내 주파수 성분들 중 감쇠 보상 대상이 되는 주파수 성분의 개수가 기 설정된 개수 이상이면 음성유사구간, 그 미만이면 잡음유사구간으로 파악한다.

후처리부(440)는 잡음유사구간의 잡음신호 성분을 다음과 같이 추정할 수 있다.

그리고, 후처리부(440)는 감쇠보상부(430)의 결과 신호 중 잡음유사구간의 신호에 대해 다음과 같이 보정한다.

도 5는 본 발명에 따른 음원과 복수의 마이크로폰을 도시한 도면이다.

도 5를 참조하면, 음원(500)과 복수의 마이크로폰(510) 사이의 거리는 서로 상이하다. 따라서 음원(500)으로부터 출력된 음원신호가 각 마이크로폰(510)에 도달하는데 걸리는 시간이 상이하다.

음원(500)과 가장 가까운 거리에 위치한 마이크로폰을 기준 마이크로폰으로 설정하는 경우에, 기준 마이크로폰을 기준으로 다른 각 마이크로폰에 도달하는 음원신호는 Δt_i만큼의 시간 지연이 발생한다.

본 실시 예의 설명의 편의를 위하여 음원과 가장 가까운 거리에 위치한 마이크로폰을 기준 마이크로폰으로 설정하였으나, 실시 예에 따라 복수의 마이크로폰 중 임의의 하나의 마이크로폰이 기준 마이크로폰으로 설정될 수 있다.

음원(500)과 복수의 마이크로폰(510) 사이의 거리가, 각 마이크로폰 사이의 거리에 비해 상대적으로 매우 긴 경우에는 음원(500)으로부터 출력된 음원신호가 복수의 마이크로폰(510)에 도달하는 경로가 서로 평행하다고 볼 수 있다. 즉, 각 마이크로폰과 음원신호의 수신 경로 사이의 각(θ_i)은 모두 동일하다고 할 수 있다.

도 6은 본 발명에 따른 음질 개선을 위한 시간 지연 보정 방법의 일 예를 도시한 도면이다.

도 6을 참조하면, 음질개선장치는 음원과 각 마이크로폰 사이의 거리를 파악한다(S600). 음질개선장치는 음원과 가장 가까운 거리의 마이크로폰을 기준 마이크로폰으로 설정하고(S610), 기준 마이크로폰을 기준으로 음원에서 출력된 음원신호가 각 마이크로폰에 도달하는데 걸리는 지연시간을 파악한다(S620). 그리고 음질개선장치는 각 마이크로폰별 지연 시간을 고려하여, 각 마이크로폰의 입력신호 내 음성신호의 위상이 동기화되도록 한다(S630).

도 7은 본 발명에 따른 음질 개선을 위한 신호 감쇠 보상 방법의 일 예를 도시한 도면이다.

도 7을 참조하면, 음질개선장치는 각 마이크로폰의 입력신호 내 주파수 성분 중 감쇠 보상 대상이 되는 주파수 성분을 파악한다(S700). 구체적으로, 음질개선장치는 도 6의 과정을 통해 동기화된 각 마이크로폰의 입력신호들의 주파수 성분 중 보강간섭이 일어나는 주파수 성분을 신호 감쇠 보상 대상으로 선별한다. 보강간섭이 일어났는지 여부의 판단 방법의 일 예로 수학식 6을 이용할 수 있다.

음질개선장치는 감쇠 보상 대상이 되는 주파수 성분에 대해 음원과의 거리에 따른 신호 감쇠를 보상한다(S710). 거리에 따른 신호 감쇠 보상의 크기는 실시 예에 따라 다양하게 변형가능하며, 일 예로 수학식 7과 같이 기준 마이크로폰의 주파수 성분의 크기를 기준으로, (r_i/r_ref) 크기로 보상할 수 있다.

도 8은 본 발명에 따른 음질 개선을 위한 잡음유사구간의 후처리 방법의 일 예를 도시한 도면이다.

도 8을 참조하면, 음질개선장치는 시간 지연 보정된 각 마이크로폰의 입력신호에 대해 음성유사구간의 성분인지 잡음유사구간의 성분인지 판별한다(S800). 음성유사구간과 잡음유사구간의 판별하는 종래의 다양한 방법이 존재할 수 있으나, 음질개선장치는 도 7에서 신호 감쇠 보상 대상의 주파수 성분을 찾는 과정을 그대로 이용하여 음성유사구간과 잡음유사구간을 구별하도록 하여 음질 개선의 전체적인 속도를 향상시킬 수 있다. 다시 말해, 음질개선장치는 도 7의 과정을 통해 파악된 신호 감쇠 보상 대상의 주파수 성분의 개수가 기 설정된 개수 이상이면 음성유사구간으로 판단하고, 기 설정된 개수 미만이면 잡음유사구간으로 판단한다.

음질개선장치는 잡음유사구간에 대해 음질 개선을 위한 다양한 후처리 과정을 적용할 수 있다(S810). 예를 들어, 음질개선장치는 기준 마이크로폰의 입력신호의 각 주파수 성분과 다른 각 마이크로폰의 입력신호의 각 주파수 성분의 차이의 합을 이용하여 잡음유사구간의 잡음신호를 추정하고, 잡음유사구간의 신호를 추정된 잡음신호로 대체하여 잡음을 감소시킬 수 있다.

도 9는 본 발명에 따른 위치파악장치의 일 실시 예의 구성을 도시한 도면이다.

도 9를 참조하면, 위치파악장치(110,112)는 신호송출부(900), 신호수신부(910), 배경잡음제거부(920), 감쇠보상부(930), 거리추정부(940) 및 위치추정부(950)를 포함한다.

신호송출부(900)는 측위 대상 공간 내 신호를 송출한다. 예를 들어, 신호송출부(900)는 벽과 같은 장애물이 존재하는 실내 공간 내 움직이는 음원의 위치를 측정할 수 있도록 임펄스 신호를 송출할 수 있다.

신호수신부(910)는 송출신호가 측위 대상 공간에 위치한 객체들(음원 포함)로부터 반사되어 다양한 경로를 통해 수신되는 반사신호를 수신한다. 신호송출부(900)의 위치와 신호수신부(910)의 위치는 일정 간격 이격되어 있을 수 있다.

여기서, 임펄스 신호를 송출하고 수신하는 신호송출부(900)와 신호수신부(910)는, IR-UWB(Impluse-Radio Ultra Wideband) 레이더로 구현될 수 있다.

신호수신부(910)가 수신하는 반사신호(R_t)는 위치를 측정하고자 하는 적어도 하나 이상의 음원으로부터 반사된 신호뿐만 아니라 공간 내 여러 객체로부터 반사된 신호를 함께 수신한다. 이를 수식으로 나타내면 다음과 같다.

여기서, T_t는 음원으로부터 반사된 신호, B_t는 클러터 신호(C_t)와 기타 잡음 신호(n_t)로 구성된 배경신호를 나타낸다. 여기서 클러터 신호는 고정된 사물들로부터 반사된 신호를 의미한다.

배경잡음제거부(920)는 신호수신부(910)가 수신한 반사신호에 포함된 잡음성분을 제거한다. 신호수신부(910)가 송출신호로 임펄스 신호를 사용하는 경우에, 배경잡음제거부(920)는 임펄스 신호에 사용한 주파수 대역을 제외한 잡음성분을 감소시키기 위하여 대역통과 필터를 이용한다. 또한 배경잡음제거부(920)는 반사신호에 포함된 다양한 클러터 신호들을 제거한다. 클러터 신호를 제거하는 방법으로 Running Gaussian average, Temporal median filter, Mixture of Gaussians, Kernel density estimation, Sequential kernel density approximation, Eigenbackgrounds 등의 종래 다양한 방법이 적용될 수 있다.

본 발명은 이러한 종래 방법의 적용을 배제하는 것은 아니나, 다만 보다 효율적인 배경잡음을 제거하기 위하여 배경잡음제거부(920)는 적응적 망각인자를 이용한 가변길이 부-프레임 기반의 배경 차분 방법을 이용한다.

보다 구체적으로, 배경잡음제거부(920)는 다음 수학식과 같이 적응적 망각인자를 이용하여 클러터 성분을 추정한다.

여기서, C_t와 C_{t - 1}는 각각 현재 및 이전 시점에 추정된 클러터 성분이고, β는 망각인자(forgetting factor)이며, R_t는 신호수신부(910)가 현재 수신한 반사신호이다. 초기 클러터 성분은 종래의 다양한 방법으로 추정될 수 있다.

망각인자 β가 1에 가까우면 음원의 이동에 따른 배경 변화를 신속히 반영할 수 있으나, 위치 파악 대상인 음원으로부터 반사된 신호성분도 많이 차분되어 음원 검출이 어려울 수 있다. 반대로 β가 0에 가까우면 음원의 움직임이 없을 때에도 음원의 검출이 용이한 대신에 음원이 이동할 때 이를 빨리 반영하지 못해 음원의 잔상이 검출되는 단점이 있다.

따라서 배경잡음제거부(920)는 초기 추정된 음원의 위치를 중심으로 현재 수신된 반사신호와 이전에 수신된 반사신호 간의 변화량이 크면 망각인자 β값을 크게 하고, 변화량이 적으면 β값을 작게 하는 적응적 망각인자를 사용한다. 여기서, 초기 음원의 위치는 종래의 다양한 방법으로 추정될 수 있다.

배경 차분의 처리 속도를 향상시키기 위하여, 배경잡음제거부(920)는 도 11과 같은 가변길이 부-프레임을 이용할 수 있다. 예를 들어, 배경잡음제거부(920)는 도 11(a)와 같이 이전 시점(t-1)의 프레임(1100)에서 목표물이 위치한 영역을 기준 부-프레임(sub_ref(t-1))(1102)으로 설정한 후, 이전 프레임(1100)과 현 프레임(1110)을 부-프레임 단위로 분할한다. 그리고, 배경잡음제거부(920)는 현 시점(t)과 이전 시점(t-1)의 두 프레임들(1100,1110)의 기준 부-프레임(1102,1112)간의 변화량(Δsub_ref)과 나머지 부-프레임들 사이의 변화량(Δsub_i)를 각각 구한다. 배경잡음제거부(920)는 기준 부-프레임(1102,1112)간의 변화량(Δsub_ref)과 나머지 부-프레임들 사이의 변화량(Δsub_i)에 각각 가중치를 곱해 현 시점(t)에서의 총 변화량을 산출한 후, 총 변화량에 따른 망각인자 β값을 설정하여 배경잡음을 제거한다. 이 후, 배경잡음제거부(920)는 현 시점(t)에서 구한 음원의 위치를 중심으로 다시 기준 부-프레임(1122) 영역을 설정한 후, 이후 시점(t+1)의 프레임(1120)을 새롭게 설정한 기준-부프레임(1122)으로 분할하여,β값을 설정하고 배경잡음을 제거하는 과정을 반복 수행한다.

감쇠보상부(930)는 배경잡음제거부(920)에 의해 배경잡음이 제거된 신호의 감쇠를 보상한다. 음원의 위치가 위치파악장치로부터 멀어질수록 신호수신부(910)에 수신된 반사신호의 세기 또한 거리에 비례하여 감소되므로 신호 감쇠의 보상이 필요하다.

이에 감쇠보상부(930)는 송출신호가 신호수신부(910)에 직접 들어온 신호의 크기(A_d)를 검출하고, 신호송출부(900)와 신호수신부(910) 사이의 거리(r_d)를 산출한다. 그리고 감쇠보상부(930)는 객체로부터 반사된 신호의 크기(A_x)를 검출하고, 이 신호가 검출되기까지의 거리(r_x)를 계산한다. 감쇠보상부(930)는 신호 진폭과 도달 거리의 반비례 특성을 이용하여, 거리 r_x에서 검출될 신호의 추정 크기(A'_x)와 보상계수(λ)를 다음과 같이 구한다.

감쇠보상부(930)는 구한 보상계수(λ)를 이용하여 프레임을 구성하는 각 신호들의 도달 거리를 산출하여 신호 감쇠를 보상한다.

거리추정부(940)는 신호 감쇠 보상된 신호들을 이용하여 위치파악장치와 음원 사이의 거리를 구한다. 경우에 따라 측위 대상 공간 내 복수의 음원, 즉 복수의 사람이 있을 수 있으며, 이 경우 거리추정부(940)는 복수의 음원들에 대한 거리를 각각 산출한다.

보다 구체적으로, 거리추정부는 감쇠 보정된 신호(p'(n))와 신호송출부에서 송출한 송출신호(p(n))의 상호상관(cross correlation)를 이용하여 움직이는 음원에 대한 거리를 추정한다.

거리추정부는 위 수학식 15에서, 상호상관 관계가 가장 큰 성분영역(

)을 찾아 기 설정된 임계값(cc_TH)과 비교하여 클 경우, n번째 목표물로 설정하고 그 목표물과의 거리를 계산하다. cc_max가 cc_TH보다 작은 경우 n 번째 목표물 검출을 종료한다.

거리추정부(940)는 n 번째 목표물 검출이 완료되면, 위 감쇠 보정된 신호에서 n 번째 목표물에 대한 신호 성분을 제거한 후 위 상호상관를 다시 수행하여 움직이는 객체의 검출 과정을 다시 수행한다. 이와 같은 과정을 반복 수행하여 복수 개의 음원과의 거리를 모두 파악할 수 있다.

위치추정부(950)는 복수의 신호송출부(900)와 복수의 신호수신부(910)를 통해 파악된 복수의 거리 추정 정보를 취합하고, 복수의 신호송출부(900)를 원점으로 추정 거리에 해당하는 동심원을 그렸을 때 교차점이 발생하는 지점들을 목표물의 후보 위치로 추정한다.

예를 들어, 거리 측정에 2개의 IR-UWB 레이더를 사용한다면, 하나의 목표물에 대한 후보 위치는 최대 2개가 나올 수 있다. 2개의 후보 위치 중에 이전에 추정한 목표물의 위치 정보 등을 이용하여 최종적인 목표물의 2차원 위치를 추정한다.

도 10은 본 발명에 따른 위치파악방법의 일 예를 도시한 흐름도이다.

도 10을 참조하여, 위치파악장치는 임펄스 신호를 송출한 후 반사되어 되돌아오는 반사신호를 수신한다(S1000). 위치파악장치는 대역통과 필터를 이용한 송출된 신호의 주파수 대역 이외의 잡음신호를 제거하고(S1110), 또한 고정된 물체 등으로부터 반사되어 되돌아오는 클러터 신호를 제거한다(S1120).

클러터 신호의 제거에 있어, 위치파악장치는 종래의 다양한 방법을 적용할 수 있으나, 보다 효율적인 클러터 신호 제거를 위하여 수학식 13과 같이 망각인자를 이용한 클러터 신호 제거 방법을 이용한다. 이때 위치파악장치는 고정된 망각인자가 아닌 이전 반사신호와 현 반사신호의 변화량에 따라 변화하는 적응적 망각인자를 사용하여 클러터 신호를 제거한다. 또한 위치파악장치는 변화량의 산출에 있어 도 11과 같은 가변적인 부-프레임을 이용하여 변화량을 산출할 수 있다.

위치파악장치는 클러터 신호 등이 제거된 신호에 대해 거리에 따른 신호 감쇠를 보상한 후(S1130), 움직이는 음원 등의 객체에 대한 거리를 측정한다(S1140). 위치파악장치는 서로 다른 위치에서 파악된 적어도 둘 이상의 거리 측정 정보를 기초로 음원의 2차원 위치를 추정한다(S1150).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 다양한 형태의 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (13)

1. 음원의 위치를 파악하는 단계;
   상기 음원으로부터 출력된 신호를 복수 개의 마이크로폰를 통해 수신하는 단계;
   상기 음원과 각 마이크로폰 사이의 거리 차에 의해 발생하는, 각 마이크로폰별 상기 신호의 도달 시간 차이를 보정하는 단계;
   상기 음원과 각 마이크로폰 사이의 거리 차에 의해 발생하는 신호 감쇠를 보상하는 단계; 및
   상기 도달 시간 차이가 보정되고 상기 신호 감쇠가 보상된 각 마이크로폰의 신호를 합한 개선신호를 생성하는 단계;를 포함하고,
   상기 도달 시간 차이가 보정된 제1 마이크로폰의 신호 및 제2 마이크로폰의 신호에 각각 포함된 제1 복수 개의 주파수 성분들과 제2 복수 개의 주파수 성분들 중 보강간섭이 발생하는 주파수 성분의 개수를 기초로 음성유사구간과 잡음유사구간을 구분하는 것을 특징으로 하는 음질 개선 방법.
2. 제 1항에 있어서, 상기 도달 시간의 차이를 보정하는 단계는,
   상기 음원과 각 마이크로폰 사이의 거리를 파악하는 단계;
   복수 개의 마이크로폰 중 어느 하나를 기준 마이크로폰으로 설정하는 단계;
   상기 기준 마이크로폰을 기준으로 나머지 각 마이크로폰에 도달하는 신호의 시간 차이를 각각 산출하는 단계; 및
   상기 시간 차이를 기초로 각 마이크로폰에 도달하는 신호들을 동기화하는 단계;를 포함하는 것을 특징으로 하는 음질 개선 방법
3. 제 1항에 있어서, 상기 신호 감쇠를 보상하는 단계는,
   상기 도달 시간 차이가 보정된 복수 개의 마이크로폰의 신호들 중 적어도 둘 이상의 신호 사이에 보강간섭이 존재하는 주파수 성분을 파악하는 단계; 및
   상기 파악된 주파수 성분의 크기를 보상하는 단계;를 포함하는 것을 특징으로 하는 음질 개선 방법.
4. 제 1항에 있어서,
   상기 도달 시간 차이가 보정된 복수 개의 마이크로폰의 신호들 중 적어도 둘 이상의 신호 사이에 보강간섭이 존재하는 주파수 성분의 개수를 파악하는 단계;
   상기 주파수 성분의 개수가 기 설정된 개수 미만이면 잡음유사구간으로 추정하는 단계; 및
   상기 잡음유사구간의 잡음을 추정하여 제거하는 단계;를 더 포함하는 음질 개선 방법.
5. 제 4항에 있어서, 상기 제거하는 단계는,
   상기 도달 시간 차이가 보정되고 상기 신호 감쇠가 보상된 각 마이크로폰의 신호들 중 어느 하나의 신호와 나머지 각 신호의 차이의 합을 잡음신호로 추정하고, 상기 잡음유사구간의 개선신호를 상기 잡음신호로 대체하는 단계;를 포함하는 것을 특징으로 하는 음질 개선 방법.
6. 제 1항에 있어서, 상기 음원의 위치를 파악하는 단계는,
   적어도 둘 이상의 레이더를 이용하여 움직이는 음원과의 거리를 각각 파악하는 단계; 및
   각 레이더를 원점으로 하고 각 레이더를 통해 파악된 거리를 반지름으로 하는 원의 교차점을 음원의 위치로 파악하는 단계;를 포함하는 것을 특징으로 하는 음질 개선 방법.
7. 제 6항에 있어서, 상기 거리를 파악하는 단계는,
   이전 파악된 음원 위치의 영역 크기를 기초로 부-프레임의 크기를 설정하는 단계;
   송출신호가 반사되어 입력되는 반사신호의 현 프레임과 이전 프레임을 상기 부-프레임으로 분할하는 단계;
   상기 이전 프레임에서 상기 음원이 위치한 부-프레임 영역의 제1 변화량과 나머지 부-프레임 영역의 제2 변화량에 서로 다른 가중치를 부여하여 이전 프레임과 현 프레임 간 총 변화량을 산출하는 단계;
   상기 총 변화량을 기초로 망각인자를 결정하는 단계; 및
   상기 망각인자를 기초로 반사신호의 클러터 성분을 제거하는 단계;
   상기 송출신호와 상기 클러터 성분을 제거한 반사신호 사이의 상호상관을 이용하여 적어도 하나 이상의 움직이는 객체를 파악하고, 상기 파악된 객체와의 거리를 산출하는 단계;를 포함하는 것을 특징으로 하는 음질 개선 방법
8. 물리적으로 분리된 복수의 공간에서 음원의 위치를 파악하는 단계;
   상기 복수의 공간마다 위치한 복수 개의 마이크로폰 중 상기 음원이 위치한 공간의 복수 개의 마이크로폰을 통해 상기 음원으로부터 출력된 신호를 수신하는 단계; 및
   상기 음원과 상기 신호를 수신하는 복수 개의 마이크로폰 사이의 거리 차를 기초로, 각 마이크로폰에 입력되는 신호의 시간 지연 및 신호 감쇠를 개선하여 출력하는 단계;를 포함하고,
   상기 시간 지연이 개선된 제1 마이크로폰의 신호 및 제2 마이크로폰의 신호에 각각 포함된 제1 복수 개의 주파수 성분들과 제2 복수 개의 주파수 성분들 중 보강간섭이 발생하는 주파수 성분의 개수를 기초로 음성유사구간과 잡음유사구간을 구분하는 것을 특징으로 하는 음질 개선 방법.
9. 음원으로부터 출력된 신호를 복수 개의 마이크로폰를 통해 수신하는 수신부;
   음원과 각 마이크로폰 사이의 거리 차를 기초로 각 마이크로폰별 상기 신호의 도달 시간 차이를 보정하는 지연보정부;
   상기 음원과 각 마이크로폰 사이의 거리 차에 의해 발생하는 신호 감쇠를 보상하는 감쇠보상부; 및
   상기 도달 시간 차이가 보정되고 상기 신호 감쇠가 보상된 각 마이크로폰의 신호를 합한 개선신호를 생성하는 출력부;를 포함하고,
   상기 도달 시간 차이가 보정된 제1 마이크로폰의 신호 및 제2 마이크로폰의 신호에 각각 포함된 제1 복수 개의 주파수 성분들과 제2 복수 개의 주파수 성분들 중 보강간섭이 발생하는 주파수 성분의 개수를 기초로 음성유사구간과 잡음유사구간을 구분하는 것을 특징으로 하는 음질 개선 장치.
10. 제 9항에 있어서, 상기 지연보정부는,
    복수 개의 마이크로폰 중 어느 하나의 마이크로폰을 기준으로 나머지 각 마이크로폰에 도달하는 신호의 시간 차이를 각각 산출하고, 상기 시간 차이를 기초로 각 마이크로폰에 도달하는 신호들의 위상을 맞추는 것을 특징으로 하는 음질 개선 장치.
11. 제 9항에 있어서, 상기 감쇠보상부는,
    상기 도달 시간 차이가 보정된 복수 개의 마이크로폰의 신호들 중 적어도 둘 이상의 신호 사이에 보강간섭이 존재하는 주파수 성분들에 대해 감쇠를 보상하는 것을 특징으로 하는 음질 개선 장치.
12. 제 9항에 있어서,
    상기 도달 시간 차이가 보정된 복수 개의 마이크로폰의 신호들 중 적어도 둘 이상의 신호 사이에 보강간섭이 존재하는 주파수 성분의 개수를 기초로 파악된 잡음유사구간에 대한 후처리 과정을 수행하는 후처리부;를 더 포함하는 음질 개선 장치.
13. 제 1항 내지 제 8항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images