KR101733231B1 - 음원의 3차원 위치 파악 방법 및 그 장치와, 음원의 3차원 위치를 이용한 음질 개선 방법 및 그 장치 - Google Patents

Abstract

음원의 3차원 위치 파악 방법 및 그 장치와, 음원의 3차원 위치를 이용한 음질 개선 방법 및 그 장치가 개시된다. 음질개선장치는 음원을 포함하는 객체의 위치를 기준으로 제1 방향 내지 제3 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 위치를 객체 내 음원의 제1 방향 내지 제3 방향의 위치로 파악하여 객체 내 음원의 3차원 위치를 추정한다.

Description

음원의 3차원 위치 파악 방법 및 그 장치와, 음원의 3차원 위치를 이용한 음질 개선 방법 및 그 장치{Method and apparatus of determining 3D location of sound source, and method and apparatus of improving sound quality using 3D location of sound source}

본 발명은 음원의 3차원 위치를 파악하는 방법 및 그 장치와 이를 이용하여 음질을 개선하는 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 사람과 같은 객체의 위치가 아니라 사람의 입과 같이 실제 소리가 출력되는 3차원 위치를 정확하게 파악하고, 이를 이용하여 음질을 개선하는 장치 및 그 방법에 관한 것이다.

사물인터넷(IoT)과 연계한 스마트홈 또는 유-케어(u-Care) 서비스 등에서는 사용자의 이동성과 편의성을 고려하여 사용자가 마이크로폰의 위치를 의식하지 않고 편안하게 음성 명령이나 음성 통화 등을 할 수 있는 기술들이 요구되고 있다.

일반적인 마이크로폰은 발화지점과 멀어질수록 감도를 높여야 하나, 이 경우 사용자의 음성뿐만 아니라 주변 잡음도 함께 증폭되어 음성품질이 현격히 떨어지는 문제점이 있다. 사용자와 마이크로폰 사이의 거리가 먼 경우에도 양질의 음성품질을 제공하기 위한 여러 연구들이 계속되고 있으나, 발화자의 이동과 배경잡음으로 인해 만족할만한 음성품질을 구현하기 어려운 실정이다.

공개특허공보 제2012-0027718호

본 발명이 이루고자 하는 기술적 과제는, 사람과 같이 움직이는 객체 내 음원(예를 들어, 사람의 입)의 3차원 위치를 파악하는 방법 및 그 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 음원의 3차원 위치를 이용하여 음질을 개선하는 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 음원의 3차원 위치 파악 방법의 일 예는, 음원을 포함하는 객체의 위치를 수신하거나 파악하는 단계; 상기 객체의 위치를 기준으로 제1 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 위치를 상기 객체 내 음원의 제1 방향 위치로 파악하는 단계; 상기 객체의 위치 또는 상기 제1 방향 위치를 기준으로 제2 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 위치를 상기 객체 내 음원의 제2 방향 위치로 파악하는 단계; 상기 객체의 위치, 상기 제1 방향 위치 또는 상기 제2 방향 위치를 기준으로 제3 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 위치를 상기 객체 내 음원의 제3 방향 위치로 파악하는 단계; 및 상기 제1 내지 제3 방향 위치를 기초로 상기 객체 내 음원의 3차원 위치를 파악하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 음원의 3차원 위치 파악 방법의 다른 일 예는, 음원을 포함하는 객체의 위치를 수신하거나 파악하는 단계; 상기 객체의 위치를 포함하는 2차원 평면에 수직한 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 추정위치를 수직방향 위치로 파악하는 단계; 및 상기 객체의 위치를 기초로 추정한 상기 음원의 2차원 위치와 상기 수직방향 위치를 기초로 상기 음원의 3차원 위치를 파악하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 음원 위치 파악을 이용한 음질 개선 방법의 일 예는, 음원을 포함하는 객체의 위치를 파악하는 단계; 복수 개의 마이크로폰에 대한 신호 도달 지연의 보정 후 합산을 통한 개선신호를, 상기 객체의 위치를 기준으로 이격된 복수 개의 위치에 대하여 생성하고 비교하여 최상 음질이 나타나는 이격된 위치를 상기 음원의 위치를 파악하는 단계; 상기 파악된 음원의 위치와 각 마이크로폰 사이의 거리 차에 의해 발생하는 신호 감쇠를 보상하는 단계; 및 상기 신호 감쇠가 보상된 각 마이크로폰의 신호를 합한 출력신호를 생성하는 단계;를 포함한다.

본 발명에 따르면, 실제 소리가 출력되는 음원의 위치(예를 들어, 사람의 입)를 보다 정확하게 파악할 수 있다. 음원의 3차원 위치 파악을 통해 음원이 마이크로폰과 멀리 떨어져 있는 경우에 발생하는 음성품질 저하를 개선할 수 있고, 음원이 움직이는 경우에도 음성품질을 개선할 수 있다. 또한 음성 명령이나 음성 통화 등이 필요한 스마트홈이나 유-케어(u-Care) 서비스 등에서 사용자는 마이크로폰의 위치를 인식할 필요없이 편안하게 말하면 되므로 서비스의 만족도를 높일 수 있다. 또한 벽과 같은 장애물로 분리된 공간 등에서 화자의 위치를 파악한 후 화자의 위치에 해당하는 마이크로폰을 통해 음성을 수신할 수 있어, 음원의 이동성을 효율적으로 지원할 수 있다. 또한 본 발명은 전화기나 녹음기, 음성인식장치 등 소리를 입력받아 처리하는 각종 장치 내에 구현되어 각 장치의 성능을 향상시킬 수 있다.

도 1은 본 발명에 따른 음원의 3차원 위치 파악 및 음질 개선 방법을 실내 공간에 구현한 일 예를 도시한 도면,
도 2는 본 발명에 따른 음원을 포함하는 객체의 일 예를 도시한 도면,
도 3은 본 발명에 따른 객체 내 음원의 3차원 위치를 파악하는 방법의 일 예를 도시한 도면,
도 4 및 도 5는 본 발명에 따른 음원의 3차원 위치를 파악하기 위한 좌표계의 일 예를 도시한 도면,
도 6 및 도 7은 본 발명에 따른 복수 개의 마이크로폰의 배열 방법의 일 예를 도시한 도면,
도 8은 본 발명에 따른 객체 내 음원의 3차원 위치를 파악하는 방법의 일 예를 도시한 도면,
도 9는 본 발명에 따른 음원의 추정위치와 복수의 마이크로폰을 도시한 도면,
도 10은 본 발명에 따른 복수의 마이크로폰을 이용한 위치 기반 음질 개선 방법의 일 예를 도시한 도면,
도 11은 본 발명에 따른 음원의 3차원 위치를 이용한 음질 개선 방법의 일 예를 도시한 도면,
도 12는 본 발명에 따른 음질개선장치의 일 실시 예의 구성을 도시한 도면,
도 13은 본 발명에 따른 음질개선장치의 3차원 위치 파악부의 상세 구성의 일 예를 도시한 도면,
도 14는 본 발명에 따른 음질개선장치의 음질개선부의 상세 구성의 일 예를 도시한 도면,
도 15는 본 발명에 따른 위치파악장치의 일 예의 구성을 도시한 도면,
도 16은 본 발명에 따른 위치파악방법의 일 예를 도시한 흐름도, 그리고,
도 17은 본 발명에 따른 가변길이 부-프레임이 적용된 프레임의 일 예를 도시한 도면이다.

이하에서, 첨부된 도면들을 참조하여 본 발명에 따른 음원의 3차원 위치 파악 방법 및 그 장치와 이를 이용한 음질 개선 방법 및 그 장치에 대해 상세히 설명한다.

도 1은 본 발명에 따른 음원의 3차원 위치 파악 및 음질 개선 방법을 실내 공간에 구현한 일 예를 도시한 도면이다.

도 1을 참조하면, 측위 대상 공간(100)에는 객체의 위치(140)를 파악하기 위한 위치파악장치(110,112)와, 객체(130) 내 음원의 3차원 위치(150)를 파악하고 음질을 향상시키기 위하여 복수 개의 마이크로폰을 포함하는 음질개선장치(120)가 존재한다.

객체(130)는 사람이나 이동이 가능하며 소리를 출력하는 각종 장치를 모두 포함하며, 음원은 객체 내 실제 소리가 출력되는 곳을 의미한다. 예를 들어, 객체가 사람인 경우에 음원은 사람의 입에 해당한다. 일반적으로 위치파악장치(110,112)에 의해 파악된 객체 위치(140)와 음원 위치(130)는 서로 상이할 수 있다.

위치파악장치(110,112)는 공간(100) 내 객체의 위치(140)를 파악한다. 위치파악장치(110,112)는 실시 예에 따라 객체(130)의 2차원 위치 또는 3차원 위치를 파악한다. 예를 들어, 두 개의 IR-UWB(Impluse Radio Ultra Wideband) 레이더를 이용하여 객체(130)의 2차원 위치(140)를 파악할 수 있다. 위치파악장치(110,112)는 그 외 다양한 센서 등을 이용하여 움직이는 객체의 2차원 또는 3차원 위치를 파악할 수 있다. 그러나 종래의 위치파악장치(110,112)로 객체 내 음원의 정확한 위치(150)까지는 파악할 수 없다. 위치파악장치(110,112)의 일 예에 대해서는 도 15에서 다시 설명한다. 다만, 위치파악장치(110,112)가 도 15의 구성으로 한정되는 것은 아니며, 도 15의 구성 이외에 종래 다양한 위치파악방법을 통해 구현될 수 있다.

음질개선장치(120)는 위치파악장치(110,112)를 통해 파악된 객체의 위치(140)를 기준으로 객체 내 음원의 3차원 위치(150)를 파악한 후 음원의 3차원 위치(150)를 기초로 음원의 음질을 개선한다.

예를 들어, 사람(130)이 실내에서 이동하면서 스피커폰을 통해 전화통화를 하거나, 유비쿼터스 환경에서 음성으로 각종 전자장치에 명령을 내리는 경우에, 음질개선장치(120)는 위치파악장치(110,112)를 통해 실시간 파악한 객체(140) 내 정확한 음원의 위치(150)를 기초로 복수 개의 마이크로폰으로 입력되는 신호들의 도달시간 지연을 보정하고 신호 감쇠를 보상하여 음질을 개선한 후 전화기나 각종 전자장치에 전달한다.

본 실시 예에서, 음질개선장치(120)는 위치파악장치(110,112)와 복수 개의 마이크로폰의 위치 정보를 미리 알고 있다고 가정한다. 예를 들어, 위치파악장치와 복수 개의 마이크로폰을 공간(100)에 설치시 해당 위치 정보를 음질개선장치(120)에 관리자 등이 미리 입력할 수 있다.

본 실시 예는 위치파악장치(110,112)와 음질개선장치(120)를 각각 별개의 구성으로 도시하고 있으나, 반드시 이에 한정되는 것은 아니며 두 장치를 합쳐 하나의 장치로 구현할 수 있다. 이하는 설명의 편의를 위하여 위치파악장치(110,112)와 음질개선장치(120)를 각각 구분하여 설명한다.

도 2는 본 발명에 따른 음원을 포함하는 객체의 일 예를 도시한 도면이다.

도 2를 참조하면, 객체(200)는 사람이거나 소리 출력이 가능한 각종 전자장치를 의미한다. 객체(200)는 일정 부피를 가지고 있으므로, 레이더나 각종 위치 센서 등을 이용하여 파악한 객체 위치(210)는 객체 내 특정 지점에 해당한다. 예를 들어, 객체(200)가 사람인 경우 객체 위치(210)는 사람 배꼽 부위일 수 있다.

그러나 소리가 출력되는 위치(220)는 사람 입과 같이 객체(200) 내 특정 지점으로서, 객체 위치(210)와 음원 위치(220)가 상이한 경우가 대부분이다. 객체 위치(210)를 기준으로 종래의 다양한 빔포밍(Beam Forming) 방법을 통해 음질을 개선하는 경우 실제 음원 위치(220)와 객체 위치(210)의 차이로 인해 음질 개선에 한계가 있다. 이에 본 발명에 따른 음질개선장치는 객체 위치(210)가 아닌 객체(200) 내 실제 음원 위치(220)를 기초로 음질 개선 과정을 수행하여 보다 나은 음질을 제공한다.

도 3은 본 발명에 따른 객체 내 음원의 3차원 위치를 파악하는 방법의 일 예를 도시한 도면이다.

도 3을 참조하면, 음질개선장치는 위치파악장치로부터 객체의 위치 정보를 수신한다(S300). 객체의 위치 정보는 실시 예에 따라 2차원 또는 3차원 위치 정보일 수 있다.

음질개선장치는 객체의 위치를 기준으로 제1 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 추정위치를 제1 방향의 보정위치로 파악한다.

본 실시 예에서, 복수 개의 마이크로폰을 이용한 위치 기반 개선음질은 도 9와 같이 음원이 추정위치(900)에 있다고 가정한 후 추정위치(900)에서 출력된 신호가 각 마이크로폰(910)에 도달하는 시간 차를 보정하여 서로 합한 개선신호의 음질을 의미한다. 추정위치(900)가 달라지면 각 마이크로폰(910)에 도달하는 신호의 도달 시간이 달라지므로, 본 실시 예는 추정위치(900)에 따라 개선신호의 음질이 서로 상이해지는 특징을 이용한다.

제1 방향에 위치한 추정 위치는 객체 위치를 기준으로 제1 방향으로 일정 범위 내에 일정 간격 이격된 적어도 하나 이상의 위치일 수 있다. 예를 들어, 객체가 사람인 경우에, 음질개선장치는 사람의 평균 신장(예를 들어, 170Cm)을 고려하여 객체 위치를 중심으로 제1방향에 대해 -85Cm ~ +85Cm 범위 내에서 10Cm 간격으로 복수 개의 추정위치를 결정할 수 있다. 또 다른 예로, 음질개선장치는 객체의 크기 범위 내에서 이분 탐색(Binary Search) 방법을 적용하여 다음 추정위치를 결정할 수 있다. 객체의 크기는 위치파악장치로부터 수신할 수 있다.

음질개선장치는 제1 방향의 보정위치를 파악하는 방법과 동일한 방법으로 제2 방향의 보정위치를 파악한다(S320). 음질개선장치는 객체 위치 또는 제1 방향의 보정위치를 기준으로 제2 방향으로 이격된 적어도 하나 이상의 추정위치를 결정할 수 있다. 제2 방향은 제1 방향과 직교되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며 객체의 모양 등에 따라 다양한 방향이 설정될 수 있다.

음질개선장치는 추가적으로 제3 방향의 보정위치를 파악할 수 있다(S330). 음질개선장치는 객체 위치, 제1 방향의 보정위치 또는 제2 방향의 보정위치를 기준으로 제3 방향으로 이격된 적어도 하나 이상의 추정위치를 결정할 수 있다. 제3 방향의 보정위치 파악은 앞서 살핀 제1 방향의 보정위치를 파악하는 방법과 동일한 방법이 적용될 수 있다. 제3 방향은 제1 방향 및 제2 방향에 모두 직교되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 객체의 모양 등에 따라 다양한 방향이 설정될 수 있다.

음질개선장치는 제1 방향 내지 제3 방향의 보정위치를 기초로 음원의 3차원 위치를 파악한다(S340).

예를 들어, 제1 방향 내지 제3 방향이 도 4와 같은 직교 좌표계의 x,y,z축 방향인 경우에, 음질개선장치는 객체 위치(400)를 기준으로 x축 방향의 보정위치(420), y축 방향의 보정위치(430), z축 방향의 보정위치(440)를 각각 파악하여, 음원의 위치(410)를 추정한다.

또 다른 예로, 제1 방향 내지 제3 방향이 도 5와 같은 원형 좌표계의 θ, ℓ, h에 각각 해당하는 경우에, 음질개선장치는 객체 위치(500)를 기준으로 각 방향에 대한 보정위치(520,530,540)를 파악하여 음원의 위치(510)를 추정한다.

또 다른 예로, 객체 내 음원의 위치가 객체를 중심으로 수직 또는 수평 방향에 대부분 존재하는 경우라면, 음질개선장치는 제1 방향 및 제2 방향을 각각 수직 방향 및 수평 방법으로 설정하고, 객체의 위치를 기준으로 제1 방향의 보정위치 및 제2 방향의 보정위치를 파악하여 음원의 위치를 추정할 수 있다. 이 경우 제3 방향의 보정위치 파악 과정은 생략될 수 있다.

도 6 및 도 7은 본 발명에 따른 복수 개의 마이크로폰의 배열 방법의 일 예를 도시한 도면이다.

도 6을 참조하면, 복수 개의 마이크로폰(600,610)은 y축 방향 및 z축 방향으로 배열되어 있다. 객체 위치를 기준으로 y 축 방향으로 이격된 복수의 추정위치에 대한 위치 기반 개선음질을 구하는 경우, 음질개선장치는 y축 방향으로 배열된 복수 개의 마이크로폰(610)을 이용한다. y축 방향으로 서로 다른 위치의 추정위치에 대한 개선음질의 차이가 z축 방향으로 배열된 복수 개의 마이크로(600)폰을 이용하는 경우보다 y축 방향으로 배열된 복수 개의 마이크로폰(610)을 이용하는 경우에 보다 더 잘 나타날 수 있기 때문이다.

이와 같은 이유로, 객체 위치를 기준으로 z축 방향으로 이격된 복수의 추정위치에 대한 위치 기반 개선음질을 구하는 경우, 음질개선장치는 z축 방향으로 배열된 복수 개의 마이크로폰(600)을 이용한다.

본 실시 예는 z축 방향으로 배열된 복수 개의 마이크로폰을 도시하지는 아니하였으나, 실시 예에 따라 z축 방향으로 배열된 복수 개의 마이크로폰을 더 포함할 수 있다.

도 7을 참조하면, 복수 개의 마이크로폰(700)은 y-z 평면에서 사선으로 배열되어 있어, y축 방향 및 z축 방향으로 모두 서로 다른 위치에 존재한다. 따라서, 도 6과 같이 y축 방향으로 이격된 추정위치들에 대한 위치 기반 개선음질과, z축 방향으로 이격된 추정위치들에 대한 위치 기반 개선음질의 차이를 모두 효율적으로 파악할 수 있다. 도 7의 복수 개의 마이크로폰은 x축을 기준으로도 서로 다른 위치에 배열될 수도 있다.

도 6 및 도 7은 복수 개의 마이크로폰의 배열의 일 예에 해당하며, 본 발명이 반드시 이에 한정되는 것은 아니고, 서로 다른 방향으로 배열된 복수 개의 마이크로폰이 반드시 필요한 것은 아니다. 예를 들어, y축 방향으로만 배열된 복수 개의 마이크로폰(610)을 이용하여 본 발명을 구현할 수도 있다.

도 8은 본 발명에 따른 객체 내 음원의 3차원 위치를 파악하는 방법의 일 예를 도시한 도면이다.

도 8을 참조하면, 음질개선장치는 위치파악장치로부터 객체의 위치 정보를 수신한다(S800). 사람 등과 같이 음원의 위치를 추정할 때 다른 방향보다 높이 방향이 더 고려되어야 할 경우가 있다. 이와 같은 경우에, 음질개선장치는 여러 방향에 대한 위치 보정이 아니라, 객체 위치를 포함하는 평면에 대해 수직한 방향의 위치만을 보정하여(S810), 객체 내 음원의 3차원 위치를 보다 신속하게 파악할 수 있다(S820).

예를 들어, 도 1에서 위치파악장치(110,112)를 통해 객체(130)의 위치(140)가 파악되면, 음질개선장치는 객체의 위치(140)를 포함하는 x-y 평면(바닥과 평행)에 대해 수직한 방향으로 이격된 적어도 하나 이상의 추정 위치 중 위치 기반 개선음질이 최상이 되는 위치를 음원의 수직방향 위치로 파악한다.

도 9는 본 발명에 따른 음원의 추정위치와 복수의 마이크로폰을 도시한 도면이다.

도 9를 참조하면, 음원의 추정위치(900)는 위치파악장치에 의해 파악된 객체 위치 또는 객체 위치로부터 기 설정된 간격만큼 이격된 위치이다. 추정위치(900)와 복수의 마이크로폰(910) 사이의 거리는 서로 상이하다. 따라서 추정위치(900)에 음원이 존재한다고 추정할 경우에, 음원으로부터 출력된 음원신호가 각 마이크로폰(910)에 도달하는데 걸리는 시간이 서로 상이하다.

추정위치(900)와 가장 가까운 거리에 위치한 마이크로폰을 기준 마이크로폰으로 설정하는 경우에, 기준 마이크로폰을 기준으로 다른 각 마이크로폰에 도달하는 신호는 Δt_i만큼의 시간 지연이 발생한다.

실시 예의 설명 편의를 위하여 추정위치(900)와 가장 가까운 거리에 위치한 마이크로폰을 기준 마이크로폰으로 설정하였으나, 실시 예에 따라 복수의 마이크로폰 중 임의의 하나의 마이크로폰이 기준 마이크로폰으로 설정될 수 있다.

추정위치(900)와 복수의 마이크로폰(910) 사이의 거리가, 각 마이크로폰 사이의 거리에 비해 상대적으로 매우 긴 경우에는 추정위치(900)에서 출력된 신호가 복수의 마이크로폰에 도달하는 경로가 서로 평행하다고 볼 수 있다. 즉, 각 마이크로폰과 신호의 수신 경로 사이의 각(θ_i)은 모두 동일하다고 할 수 있다.

도 10은 본 발명에 따른 복수의 마이크로폰을 이용한 위치 기반 음질 개선 방법의 일 예를 도시한 도면이다.

도 10을 참조하면, 음질개선장치는 위치파악장치에 의해 파악된 객체 위치를 기준으로 특정 방향으로 이격된 추정위치와 각 마이크로폰 사이의 거리를 파악한다(S1000).

음질개선장치는 복수 개의 마이크로폰 중 어느 하나를 기준 마이크로폰으로 설정한다(S1010). 본 실시 예는 추정위치와 가장 가까운 마이크로폰을 기준 마이크로폰으로 설정한다.

음질개선장치는 기준 마이크로폰을 기준으로 각 마이크로폰에 도달하는 신호의 시간 차이를 파악한다(S1020).

예를 들어, 도 9와 같이, 추정위치(900)와 기준 마이크로폰 사이의 거리를 r_ref라고 하고, 추정위치와 다른 각 마이크로폰 사이의 거리를 r_i(여기서, i는 각 마이크로폰을 나타내는 인덱스)라고 할 때, 추정위치(900)로부터 출발한 신호가 각 마이크로폰에 도달하는 시간은 기준 마이크로폰에 신호가 도달하는 시간을 기준으로 다음 수학식과 같은 지연 시간(Δt_i)이 발생한다.

여기서, c는 소리의 속도를 나타낸다.

위 수학식 1을 디지털 신호에 대한 각 마이크로폰별 지연시간(Δn_i)으로 나타내면 다음과 같다.

여기서, f_s는 샘플링 주파수를 나타내고, i는 각 마이크로폰 인덱스를 나타낸다.

음질개선장치는 각 마이크로폰의 입력신호를 지연 보정하여 다음과 같은 음질 개선 신호(

)를 생성한다(S1030).

여기서, M은 마이크로폰의 개수를 나타내고, i는 각 마이크로폰 인덱스, x_i(n)은 i번째 마이크로폰에 입력된 n번째 샘플링 입력신호를 나타낸다.

음질개선장치는 시간 지연 보정된 각 마이크로폰의 입력신호를 합할 때 위 수학식3 외에, Weighted-sum 빔포밍, Filter-and-sum 빔포밍, LCMV(Linearly constrained minimum variance) 빔포밍, Generalized sidlelobe canceller 빔포밍 등의 방법을 적용하여 합할 수 있다.

음질개선장치는 각 방향의 적어도 하나 이상의 추정 위치에 대한 각 개선신호의 음질 중 최상음질이 되는 추정 위치를 음원의 각 방향의 보정위치로 파악한다(S1040).

예를 들어, 음질개선장치는 앞서 설명한 각 단계를 이용하여 객체위치(또는 추정위치)에 대한 제1 음질 개선신호를 구하고, 객체위치(x0,y0)에서 x 방향으로 소정 거리(Δx) 이격된 추정위치(x0+Δx)에 대한 제2 음질 개선신호를 구한다. 음질 개선장치는 두 개선신호를 비교하여 제1 음질 개선신호보다 제2 음질 개선신호의 음질이 우수(예를 들어, 두 음질 차이가 기 설정된 임계값 이상인 경우)하면, 다시 x 방향으로 소정 거리(Δx) 이격된 추정 위치(x0+2Δx)에 대한 제3 음질 개선신호를 구한다. 반대로 제2 음질 개선신호보다 제1 음질 개선신호의 음질이 우수하면, 음질 개선장치는 -x 방향으로 소정 거리(-Δx/2) 이격된 추정위치(x0-Δx/2)에 대한 제4 음질 개선신호를 구한다. 이와 같은 방법을 반복 수행하여, x 방향에 대한 음원의 보정위치를 산출할 수 있다. -x 방향으로의 탐색이 필요한 경우라면, -x 방향으로도 위와 같은 방법을 반복 수행할 수 있다. 음질개선장치는 y축, z축에 대해서도 동일 방법을 적용하여 y축 보정위치, z축 보정위치를 산출하여 음원의 3차원 위치를 파악할 수 있다.

도 11은 본 발명에 따른 음원의 3차원 위치를 이용한 음질 개선 방법의 일 예를 도시한 도면이다.

도 11을 참조하면, 음질개선장치는 앞서 설명한 방법을 통해 객체 내 음원의 3차원 위치를 파악한다(S1100). 음질개선장치는 음원의 3차원 위치와 복수의 마이크로폰 사이의 거리 차에 의해 발생하는 음원신호의 도달시간 차를 보정한다(S1110). 여기서 음원신호는 음원으로부터 출력되는 신호를 의미한다.

음질개선장치는 음원으로부터 출력된 음원신호의 진폭이 진행 거리에 반비례하고, 에너지가 거리의 제곱에 반비례하므로, 음원과의 거리에 따른 음원신호의 감쇠를 보상한다(S1120). 각 마이크로폰에 실제 입력되는 입력신호는 음원신호 뿐만 아니라 잡음신호도 포함하므로, 입력신호 그 자체를 증폭하는 경우에 음원신호와 함께 잡음신호도 증폭되므로 단순히 증폭하는 경우 음질 개선 효과가 없다.

시간 지연 보정(S1110) 후 입력신호 내 음원신호의 위상이 동기화되므로, 각 마이크로폰의 입력신호 사이에 보강간섭이 일어나는 주파수 성분은 음원신호에 해당할 가능성이 높다. 따라서 음질개선장치는 보강간섭 여부를 기초로 신호 감쇠를 보상할 주파수 성분들을 선별하여 증폭한다.

예를 들어, 각 마이크로폰의 입력신호를 DFT(Discrete Fourier Transform)를 이용하여 주파수 영역으로 변환하면 다음과 같다.

여기서, x_i(n)은 i 번째 마이크로폰의 n 번째 입력신호를 나타내고, k는 주파수 인덱스, N은 샘플링 개수를 나타낸다. 앞서 살핀 수학식 3의 지연 보정된 각 마이크로폰의 입력신호의 합을 주파수 영역으로 나타내면 다음과 같다.

여기서, k는 각 주파수 성분의 인덱스, M은 마이크로폰의 개수, N은 샘플링 개수를 나타낸다.

음질개선장치는 지연 보정한 입력신호 내 보강반응이 일어나는 주파수 성분을 다음 수학식을 이용하여 판별할 수 있다.

여기서, X_ref(k)는 기준 마이크로폰의 입력신호의 k번째 주파수 성분을 나타내고, X_i(k)는 i번째 마이크로폰의 입력신호의 k번째 주파수 성분을 나타낸다. β는 보강 반응 계수로서 0에서 1사이의 값을 가진다. β는 실시 예에 따라 그 값이 다양하게 결정될 수 있다.

수학식 6은 두 개의 마이크로폰의 입력신호 사이에서 보강 반응이 일어나는 주파수 성분을 찾는 과정을 제시하나, 반드시 이에 한정되는 것은 아니며 세 개 이상의 마이크로폰의 입력신호의 각 주파수 성분의 합이 기 설정된 일정 크기 이상인지 여부를 기초로 보강간섭이 일어났는지를 판단할 수 있다.

음원과 각 마이크로폰 사이의 거리는 서로 상이할 수 있으므로, 음질개선장치는 신호 감쇠 보상 대상의 주파수 성분에 대해 각 마이크로폰별로 감쇠 보상의 크기를 서로 달리할 수 있다.

예를 들어, 음질개선장치는 다음 수학식과 같이 각 마이크로폰별로 음원과의 거리에 따른 신호 감쇠를 보상할 수 있다.

여기서, α_i는 신호 감쇠 보상값을 나타낸다.

음원신호의 주파수 성분에 대해 감쇠 보상한 결과 신호는 다음과 같다.

여기서, M은 마이크로폰의 개수를 나타낸다.

수학식 8의 주파수 영역의 결과 신호를 시간영역으로 변환하면 다음과 같다.

음질개선장치는 각 마이크로폰의 입력신호가 음성유사구간 성분인지 잡음유사구간 성분인지 구분한 후 잡음유사구간으로 파악된 입력신호에 대해 후처리 과정을 수행하여 음질개선 효과를 높일 수 있다(S1130). 잡음유사구간에 대한 후처리 과정(S1130)은 실시 예에 따라 생략될 수 있다.

예를 들어, 음질개선장치는 앞서 살핀 감쇠 보상 대상의 주파수 성분의 개수를 기초로 음성유사구간인지 잡음유사구간인지 판별할 수 있다. 즉, 음질개선장치는 신호 내 주파수 성분들 중 감쇠 보상 대상이 되는 주파수 성분의 개수가 기 설정된 개수 이상이면 음성유사구간, 그 미만이면 잡음유사구간으로 파악한다.

음질개선장치는 잡음유사구간의 잡음신호 성분을 다음과 같이 추정할 수 있다.

그리고, 음질개선장치는 감쇠보상 결과 신호에서 잡음유사구간에 대해 다음과 같이 보정할 수 있다.

음질개선장치는 음질 개선된 신호를 출력한다(S1140).

본 실시예는 각 마이크로폰을 통해 입력되는 신호를 프레임 단위로 샘플링하고 디지털 신호로 변환하여 음질을 개선하는 과정을 위주로 설명하고 있으나, 본 발명은 반드시 이에 한정되는 것은 아니며 다양한 아날로그 신호 처리 방법이 적용될 수 있다.

도 12는 본 발명에 따른 음질개선장치의 일 실시 예의 구성을 도시한 도면이다.

도 12를 참조하면, 음질개선장치(1200)는 3차원 위치 파악부(1210) 및 음질 개선부(1220)를 포함한다.

3차원 위치 파악부(1210)는 객체 위치를 기준으로 주변의 여러 지점을 탐색하여 위치 기반 개선음질이 최상이 되는 위치를 객체 내 음원의 위치로 추정한다. 3차원 위치 파악부의 상세 구성의 일 예에 대해서는 도 13을 참조하여 살펴본다.

음질개선부(1220)는 3차원 위치가 파악된 음원과 복수의 마이크로폰 사이의 거리 차에 따른 신호의 도달 시간의 지연을 보정하고, 음원신호에 대해서만 선별적인 신호감쇠를 보상하여 음질을 개선한 신호를 출력한다. 음질개선부의 상세 구성은 도 14에 도시되어 있다.

도 13은 본 발명에 따른 음질개선장치의 3차원 위치 파악부(1210)의 상세 구성의 일 예를 도시한 도면이다.

도 13을 참조하면, 3차원 위치 파악부(1210)는 객체위치파악부(1300), 제1방향 보정부(1310), 제2방향 보정부(1320), 제3방향 보정부(1330) 및 음원위치파악부(1340)를 포함한다.

객체위치파악부(1300)는 객체의 2차원 또는 3차원 위치를 파악한다. 예를 들어, 객체위치파악부는 두 대 이상의 IR-UWB 레이더를 이용하여 객체의 2차원 위치 및 객체의 크기 등을 파악할 수 있다.

제1 방향 보정부(1310)는 객체 위치를 기준으로 제1 방향으로 이격된 적어도 하나 이상의 추정위치 중 위치 기반 개선 음질이 최상이 되는 추정위치를 음원의 제1 방향 보정위치로 파악한다.

제2 방향 보정부(1320)는 객체 위치 또는 제1 방향 보정위치를 기준으로 제2 방향으로 이격된 적어도 하나 이상의 추정위치 중 위치 기반 개선 음질이 최상이 되는 추정위치를 음원의 제2 방향 보정위치로 파악한다.

제3 방향 보정부(1330)는 객체 위치, 제1 방향 보정위치 또는 제2 방향 보정위치를 기준으로 제3 방향으로 이격된 적어도 하나 이상의 추정위치 중 위치 기반 개선 음질이 최상이 되는 추정위치를 음원의 제3 방향 보정위치로 파악한다.

제1 방향 내지 제3방향 보정부(1310,1320,1330)는 다양한 방법으로 추정위치를 결정할 수 있다. 예를 들어, 객체의 크기에 대한 정보가 미리 저장되어 있다면 해당 크기 정보를 토대로 검색 범위를 결정하고, 검색 범위 내에 일정 간격으로 배열된 추정위치를 결정할 수 있다. 또 다른 예로, 객체의 위치를 기준으로 기 설정된 검색 범위를 설정하고, 해당 검색 범위 내에서 기 설정된 일정 간격으로 추정 위치를 결정할 수 있다. 또 다른 예로, 객체 크기에 따른 검색범위 또는 기 설정된 검색범위에 대해 이분 탐색법을 적용하여, 이전 추정위치에서의 개선음질과 현 추정위치에서의 개선음질을 비교하여 다음 추정위치를 결정할 수 있다. 추정위치 사이의 간격이 좁을수록 보다 정확한 음원의 3차원 위치를 파악할 수 있으나 계산량이 증가하므로, 실시 예에 따라 추정위치 사이의 적절한 간격이 설정될 수 있다.

본 실시예에서 제1 방향 내지 제3 방향은 서로 직교되는 것이 바람직하나, 반드시 이에 한정되는 것은 아니다. 또한 실시 예에 따라 제1 방향 내지 제3 방향 보정부 중 적어도 하나만을 포함할 수도 있다.

음원위치파악부(1340)는 객체 위치에서 제1 내지 제3 방향 보정위치를 감안하여 음원의 3차원 위치를 추정한다.

도 14는 본 발명에 따른 음질개선장치의 음질개선부(1220)의 상세 구성의 일 예를 도시한 도면이다.

도 14를 참조하면, 음질개선부(1220)는 수신부(1400), 지연보정부(1410), 감쇠보상부(1420), 후처리부(1430) 및 출력부(1440)를 포함한다.

수신부(1400)는 위치파악장치로부터 음원의 위치를 수신한다. 음원의 개수가 복수 개인 경우에는 복수의 음원의 위치를 기초로 도 11의 음질 개선 방법을 각각 적용할 수 있다. 예를 들어, 실내에 두 명의 화자가 위치하는 경우에, 음질개선장치는 두 명의 화자 중 누가 말을 하고 있는지 모르므로 제1화자의 위치와 제2화자의 위치를 기초로 각각 도 11의 음질개선방법을 적용하여 두 개의 음질개선결과를 도출한 후 더 우수한 음질개선결과를 출력할 수 있다. 이하에서는 설명의 편의를 위하여 음원의 개수가 한 개인 경우를 위주로 설명한다.

수신부(1400)는 일정 시간 간격으로 위치파악장치로부터 음원의 위치 정보를 수신할 수 있다. 예를 들어, 수신부(1400)는 음성 신호 처리를 위한 기본 프레임 크기(예를 들어, 10ms 또는 20ms 등)에 해당하는 주기로 위치파악장치로부터 음원의 위치 정보를 수신할 수 있다. 여기서 기본 프레임 크기는 실시 예에 따라 다양하게 설정가능하다.

지연보정부(1410)는 음원의 위치 정보와 복수의 마이크로폰의 위치 정보를 기초로 음원으로부터 출력된 음원신호가 각 마이크로폰에 도달하는데 걸리는 시간 차이를 보정하여 음원신호의 위상을 동기화한다. 다시 말해, 지연보정부(1410)는 각 마이크로폰별 시간 지연 보정값(Δt_i)을 고려하여 각 마이크로폰의 입력신호에 포함된 음원신호의 위상을 동기화하여 음질을 개선한다. 여기서, 입력신호는 여러 방향으로 각 마이크로폰에 입력되는 신호로서 음원신호와 함께 각종 잡음신호를 포함하는 신호이다.

음원의 위치가 이동함에 따라 음원과 복수의 마이크로폰 사이의 거리가 달라지므로, 지연보정부(1410)는 음원의 이동에 따라 적응적으로 시간 지연 보정값을 새롭게 산출한다.

감쇠보상부(1420)는 음원과 각 마이크로폰 사이의 거리에 따른 신호 감쇠를 보상한다(S220). 신호 감쇠를 보상하기 위하여 단순히 입력신호의 크기를 증폭하면 입력신호에 포함된 음원신호 뿐만 아니라 잡음신호도 증폭되어 음질 개선의 효과가 없다. 따라서, 감쇠보상부(1420)는 입력신호 중 음원신호에 해당하는 주파수성분에 대해서만 선별적으로 감쇠 보상한다.

예를 들어, 각 마이크로폰에 입력되는 입력신호들의 시간 지연 보정 후에 입력신호 내 음원신호들은 서로 동일 위상을 가지므로, 시간 지연 보정된 각 마이크로폰의 입력신호를 합하는 경우 입력신호 내 음원신호들은 보강간섭을 일으킨다. 따라서 감쇠보상부(1420)는 각 마이크로폰에 입력되는 입력신호들의 시간 지연 보정 후에 보강간섭을 일으키는 주파수 성분만을 선별적으로 증폭하여 신호 감쇠를 보상한다. 증폭에 있어, 음원과 각 마이크로폰 사이의 거리가 서로 상이하므로, 감쇠보상부(1420)는 각 마이크로폰별 음원과의 거리를 기초로 신호 감쇠 보상값을 산출하여 보상한다.

음원의 위치가 이동함에 따라 음원과 복수의 마이크로폰 사이의 거리가 달라지므로, 감쇠보상부(1420)는 음원의 이동 이동에 따라 적응적으로 각 주파수 성분의 크기 보상을 위한 신호 감쇠 보상값을 새롭게 산출한다.

후처리부(1430)는 입력신호가 음성유사구간 성분인지 잡음유사구간 성분인지 파악하고, 파악된 잡음유사구간에 대한 후처리 과정을 수행한다. 후처리부(1430)는 감쇠보상부(1420)에서 파악된 신호 감쇠 보상의 대상이 되는 주파수 성분의 개수를 기초로 음성유사구간 또는 잡음유사구간을 구분할 수 있다.

예를 들어, 후처리부(1430)는 신호 감쇠 보상 대상의 주파수 성분의 개수가 기 설정된 임계값 이상이면, 해당 입력신호를 음성유사구간의 성분으로 파악하고, 임계값 미만이면 잡음유사구간으로 파악할 수 있다. 후처리부(1430)는 그 외 다양한 방법을 이용하여 음성유사구간과 잡음유사구간을 구별할 수 있다.

후처리부(1430)는 잡음유사구간에 대해 잡음 제거 등과 같은 다양한 방법의 후처리 과정을 적용할 수 있다. 종래의 다양한 잡음 제거 방법이 잡음유사구간에 대해 적용될 수 있으며, 일 예로, 후처리부(1430)는 각 마이크로폰의 입력신호들의 차를 기초로 잡음신호를 추정하고, 추정한 잡음신호를 잡음유사구간의 신호로 대체함으로써 잡음을 감소시킬 수 있다. 후처리부(1430)는 실시 예에 따라 생략될 수 있다.

출력부(1440)는 시간 지연이 보정되고 신호 감쇠가 보상된 각 마이크로폰의 입력신호를 합하여 개선신호를 생성하고 출력한다.

도 15는 본 발명에 따른 위치파악장치의 일 예의 구성을 도시한 도면이다.

도 15를 참조하면, 위치파악장치(110,112)는 신호송출부(1500), 신호수신부(1510), 배경잡음제거부(1520), 감쇠보상부(1530), 거리추정부(1540) 및 위치추정부(1550)를 포함한다.

신호송출부(1500)는 측위 대상 공간 내 신호를 송출한다. 예를 들어, 신호송출부(1500)는 벽과 같은 장애물이 존재하는 실내 공간 내 움직이는 음원의 위치를 측정할 수 있도록 임펄스 신호를 송출할 수 있다.

신호수신부(1510)는 송출신호가 측위 대상 공간에 위치한 객체들(음원 포함)로부터 반사되어 다양한 경로를 통해 수신되는 반사신호를 수신한다. 신호송출부(1500)의 위치와 신호수신부(1510)의 위치는 일정 간격 이격되어 있을 수 있다.

여기서, 임펄스 신호를 송출하고 수신하는 신호송출부(1500)와 신호수신부(1510)는, IR-UWB(Impluse-Radio Ultra Wideband) 레이더로 구현될 수 있다.

신호수신부(1510)가 수신하는 반사신호(R_t)는 위치를 측정하고자 하는 적어도 하나 이상의 음원으로부터 반사된 신호뿐만 아니라 공간 내 여러 객체로부터 반사된 신호를 함께 수신한다. 이를 수식으로 나타내면 다음과 같다.

여기서, T_t는 음원으로부터 반사된 신호, B_t는 클러터 신호(C_t)와 기타 잡음 신호(n_t)로 구성된 배경신호를 나타낸다. 여기서 클러터 신호는 고정된 사물들로부터 반사된 신호를 의미한다.

배경잡음제거부(1520)는 신호수신부(1510)가 수신한 반사신호에 포함된 잡음성분을 제거한다. 신호수신부(1510)가 송출신호로 임펄스 신호를 사용하는 경우에, 배경잡음제거부(1520)는 임펄스 신호에 사용한 주파수 대역을 제외한 잡음성분을 감소시키기 위하여 대역통과 필터를 이용한다. 또한 배경잡음제거부(1520)는 반사신호에 포함된 다양한 클러터 신호들을 제거한다. 클러터 신호를 제거하는 방법으로 Running Gaussian average, Temporal median filter, Mixture of Gaussians, Kernel density estimation, Sequential kernel density approximation, Eigenbackgrounds 등의 종래 다양한 방법이 적용될 수 있다.

본 발명은 이러한 종래 방법의 적용을 배제하는 것은 아니나, 다만 보다 효율적인 배경잡음을 제거하기 위하여 배경잡음제거부(1520)는 적응적 망각인자를 이용한 가변길이 부-프레임 기반의 배경 차분 방법을 이용한다.

보다 구체적으로, 배경잡음제거부(1520)는 다음 수학식과 같이 적응적 망각인자를 이용하여 클러터 성분을 추정한다.

여기서, C_t와 C_{t - 1}는 각각 현재 및 이전 시점에 추정된 클러터 성분이고, β는 망각인자(forgetting factor)이며, R_t는 신호수신부(910)가 현재 수신한 반사신호이다. 초기 클러터 성분은 종래의 다양한 방법으로 추정될 수 있다.

망각인자 β가 1에 가까우면 음원의 이동에 따른 배경 변화를 신속히 반영할 수 있으나, 위치 파악 대상인 음원으로부터 반사된 신호성분도 많이 차분되어 음원 검출이 어려울 수 있다. 반대로 β가 0에 가까우면 음원의 움직임이 없을 때에도 음원의 검출이 용이한 대신에 음원이 이동할 때 이를 빨리 반영하지 못해 음원의 잔상이 검출되는 단점이 있다.

따라서 배경잡음제거부(1520)는 초기 추정된 음원의 위치를 중심으로 현재 수신된 반사신호와 이전에 수신된 반사신호 간의 변화량이 크면 망각인자 β값을 크게 하고, 변화량이 적으면 β값을 작게 하는 적응적 망각인자를 사용한다. 여기서, 초기 음원의 위치는 종래의 다양한 방법으로 추정될 수 있다.

배경 차분의 처리 속도를 향상시키기 위하여, 배경잡음제거부(1520)는 도 17과 같은 가변길이 부-프레임을 이용할 수 있다. 예를 들어, 배경잡음제거부(1520)는 도 17(a)와 같이 이전 시점(t-1)의 프레임(1700)에서 목표물이 위치한 영역을 기준 부-프레임(sub_ref(t-1))(1702)으로 설정한 후, 이전 프레임(1700)과 현 프레임(1710)을 부-프레임 단위로 분할한다. 그리고, 배경잡음제거부(1520)는 현 시점(t)과 이전 시점(t-1)의 두 프레임들(1700,1710)의 기준 부-프레임(1702,1712)간의 변화량(Δsub_ref)과 나머지 부-프레임들 사이의 변화량(Δsub_i)를 각각 구한다. 배경잡음제거부(1520)는 기준 부-프레임(1702,1712)간의 변화량(Δsub_ref)과 나머지 부-프레임들 사이의 변화량(Δsub_i)에 각각 가중치를 곱해 현 시점(t)에서의 총 변화량을 산출한 후, 총 변화량에 따른 망각인자 β값을 설정하여 배경잡음을 제거한다. 이 후, 배경잡음제거부(1520)는 현 시점(t)에서 구한 음원의 위치를 중심으로 다시 기준 부-프레임(1722) 영역을 설정한 후, 이후 시점(t+1)의 프레임(1720)을 새롭게 설정한 기준-부프레임(1722)으로 분할하여, β값을 설정하고 배경잡음을 제거하는 과정을 반복 수행한다.

감쇠보상부(1530)는 배경잡음제거부(1520)에 의해 배경잡음이 제거된 신호의 감쇠를 보상한다. 음원의 위치가 위치파악장치로부터 멀어질수록 신호수신부(1510)에 수신된 반사신호의 세기 또한 거리에 비례하여 감소되므로 신호 감쇠의 보상이 필요하다.

이에 감쇠보상부(1530)는 송출신호가 신호수신부(1510)에 직접 들어온 신호의 크기(A_d)를 검출하고, 신호송출부(1500)와 신호수신부(1510) 사이의 거리(r_d)를 산출한다. 그리고 감쇠보상부(1530)는 객체로부터 반사된 신호의 크기(A_x)를 검출하고, 이 신호가 검출되기까지의 거리(r_x)를 계산한다. 감쇠보상부(1530)는 신호 진폭과 도달 거리의 반비례 특성을 이용하여, 거리 r_x에서 검출될 신호의 추정 크기(A'_x)와 보상계수(λ)를 다음과 같이 구한다.

감쇠보상부(1530)는 구한 보상계수(λ)를 이용하여 프레임을 구성하는 각 신호들의 도달 거리를 산출하여 신호 감쇠를 보상한다.

거리추정부(1540)는 신호 감쇠 보상된 신호들을 이용하여 위치파악장치와 음원 사이의 거리를 구한다. 경우에 따라 측위 대상 공간 내 복수의 음원, 즉 복수의 사람이 있을 수 있으며, 이 경우 거리추정부(1540)는 복수의 음원들에 대한 거리를 각각 산출한다.

보다 구체적으로, 거리추정부는 감쇠 보정된 신호(p'(n))와 신호송출부에서 송출한 송출신호(p(n))의 상호상관(cross correlation)를 이용하여 움직이는 음원에 대한 거리를 추정한다.

거리추정부는 위 수학식 15에서, 상호상관 관계가 가장 큰 성분영역(

)을 찾아 기 설정된 임계값(cc_TH)과 비교하여 클 경우, n번째 목표물로 설정하고 그 목표물과의 거리를 계산하다. cc_max가 cc_TH보다 작은 경우 n 번째 목표물 검출을 종료한다.

거리추정부(1540)는 n 번째 목표물 검출이 완료되면, 위 감쇠 보정된 신호에서 n 번째 목표물에 대한 신호 성분을 제거한 후 위 상호상관를 다시 수행하여 움직이는 객체의 검출 과정을 다시 수행한다. 이와 같은 과정을 반복 수행하여 복수 개의 음원과의 거리를 모두 파악할 수 있다.

위치추정부(1550)는 복수의 신호송출부(1500)와 복수의 신호수신부(1510)를 통해 파악된 복수의 거리 추정 정보를 취합하고, 복수의 신호송출부(1500)를 원점으로 추정 거리에 해당하는 동심원을 그렸을 때 교차점이 발생하는 지점들을 목표물의 후보 위치로 추정한다.

예를 들어, 거리 측정에 2개의 IR-UWB 레이더를 사용한다면, 하나의 목표물에 대한 후보 위치는 최대 2개가 나올 수 있다. 2개의 후보 위치 중에 이전에 추정한 목표물의 위치 정보 등을 이용하여 최종적인 목표물의 2차원 위치를 추정한다.

도 16은 본 발명에 따른 위치파악방법의 일 예를 도시한 흐름도이다.

도 16을 참조하면, 위치파악장치는 임펄스 신호를 송출한 후 반사되어 되돌아오는 반사신호를 수신한다(S1600). 위치파악장치는 대역통과 필터를 이용한 송출된 신호의 주파수 대역 이외의 잡음신호를 제거하고(S1610), 또한 고정된 물체 등으로부터 반사되어 되돌아오는 클러터 신호를 제거한다(S1620).

클러터 신호의 제거에 있어, 위치파악장치는 종래의 다양한 방법을 적용할 수 있으나, 보다 효율적인 클러터 신호 제거를 위하여 수학식 13과 같이 망각인자를 이용한 클러터 신호 제거 방법을 이용한다. 이때 위치파악장치는 고정된 망각인자가 아닌 이전 반사신호와 현 반사신호의 변화량에 따라 변화하는 적응적 망각인자를 사용하여 클러터 신호를 제거한다. 또한 위치파악장치는 변화량의 산출에 있어 도 17과 같은 가변적인 부-프레임을 이용하여 변화량을 산출할 수 있다.

위치파악장치는 클러터 신호 등이 제거된 신호에 대해 거리에 따른 신호 감쇠를 보상한 후(S1630), 움직이는 음원 등의 객체에 대한 거리를 측정한다(S1640). 위치파악장치는 서로 다른 위치에서 파악된 적어도 둘 이상의 거리 측정 정보를 기초로 음원의 2차원 위치를 추정한다(S1650).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 다양한 형태의 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

1. 레이더를 이용하여 움직이는 객체의 위치를 파악하는 단계;
   상기 객체의 위치를 기준으로 제1 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 추정위치를 상기 객체 내 음원의 제1 방향 위치로 파악하는 단계;
   상기 객체의 위치 또는 상기 제1 방향 위치를 기준으로 제2 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 추정위치를 상기 객체 내 음원의 제2 방향 위치로 파악하는 단계;
   상기 객체의 위치, 상기 제1 방향 위치 또는 상기 제2 방향 위치를 기준으로 제3 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 추정위치를 상기 객체 내 음원의 제3 방향 위치로 파악하는 단계; 및
   상기 객체의 위치에서 상기 제1 내지 제3 방향 위치를 기초로 이격된, 상기 객체 내 음원의 3차원 위치를 파악하는 단계;를 포함하고,
   상기 위치 기반 개선음질은, 추정위치를 기준으로 각 마이크로폰에 도달하는 신호의 시간 차를 보정하여 서로 합한 개선신호의 음질인 것을 특징으로 하는 음원의 3차원 위치 파악 방법.
2. 제 1항에 있어서,
   상기 제1 내지 제3 방향은 서로 직교하는 것을 특징으로 하는 음원의 3차원 위치 파악 방법.
3. 제 1항에 있어서,
   상기 복수 개의 마이크로폰은 상기 제1 내지 제3 방향 중 적어도 하나 이상의 방향으로 이격되어 배치되는 것을 특징으로 하는 음원의 3차원 위치 파악 방법.
4. 제 1항에 있어서, 상기 제1 방향 위치로 파악하는 단계는,
   상기 객체의 위치에서 각 마이크로폰에 도달하는 신호의 시간 차이를 보정하여 합한 개선신호를 구하는 단계;
   상기 제1 방향으로 이격된 적어도 하나 이상의 제1 위치에 대하여, 상기 제1 위치에서 각 마이크로폰에 도달하는 신호의 시간 차이를 보정하여 합한 개선신호를 구하는 단계;
   상기 객체의 위치와 상기 적어도 하나 이상의 제1 위치 중 개선신호의 음질이 최상이 되는 위치를 상기 음원의 제1 방향 위치로 파악하는 단계;를 포함하는 것을 특징으로 하는 음원의 3차원 위치 파악 방법.
5. 제 1항에 있어서, 상기 제2 방향 위치로 파악하는 단계는,
   상기 객체의 위치 또는 상기 제1 방향 위치에서 각 마이크로폰에 도달하는 신호의 시간 차이를 보정하여 합한 개선신호를 구하는 단계;
   상기 제2 방향으로 이격된 적어도 하나 이상의 제2 위치에 대하여, 상기 제2 위치에서 각 마이크로폰에 도달하는 신호의 시간 차이를 보정하여 합한 개선신호를 구하는 단계;
   상기 객체의 위치, 상기 제1 방향 위치 또는 상기 적어도 하나 이상의 제3 위치 중 개선신호의 음질이 최상이 되는 위치를 상기 음원의 제2 방향 위치로 파악하는 단계;를 포함하는 것을 특징으로 하는 음원의 3차원 위치 파악 방법.
6. 제 1항에 있어서, 상기 제3 방향 위치로 파악하는 단계는,
   상기 객체의 위치, 상기 제1 방향 위치 또는 제2 방향 위치에서 각 마이크로폰에 도달하는 신호의 시간 차이를 보정하여 합한 개선신호를 구하는 단계;
   상기 제3 방향으로 이격된 적어도 하나 이상의 제3 위치에 대하여, 상기 제3 위치에서 각 마이크로폰에 도달하는 신호의 시간 차이를 보정하여 합한 개선신호를 구하는 단계;
   상기 객체의 위치, 상기 제1 방향 위치 또는 상기 적어도 하나 이상의 제1 위치 중 개선신호의 음질이 최상이 되는 위치를 상기 음원의 제3 방향 위치로 파악하는 단계;를 포함하는 것을 특징으로 하는 음원의 3차원 위치 파악 방법.
7. 레이더를 이용하여 움직이는 객체의 위치를 파악하는 단계;
   상기 객체의 위치를 포함하는 2차원 평면에 수직한 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 추정위치를 수직방향 위치로 파악하는 단계; 및
   상기 객체의 위치를 기초로 추정한 음원의 2차원 위치와 상기 수직방향 위치를 기초로 상기 음원의 3차원 위치를 파악하는 단계;를 포함하고,
   상기 위치 기반 개선음질은, 추정위치를 기준으로 상기 복수 개의 마이크로폰에 도달하는 시간 차를 보정하여 합한 개선신호의 음질인 것을 특징으로 하는 음원의 3차원 위치 파악 방법.
8. 제 7항에 있어서,
   상기 복수 개의 마이크로폰은 상기 2차원 평면과 수직한 방향으로 배열되는 것을 특징으로 하는 음원의 3차원 위치 파악 방법.
9. 제 7항에 있어서,
   상기 2차원 평면 내에서 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 상기 2차원 평면 내 추정위치를 기초로 상기 음원의 2차원 위치를 보정하는 단계;를 더 포함하는 것을 특징으로 하는 음원의 3차원 위치 파악 방법.
10. 제 7항에 있어서, 상기 수직방향 위치를 파악하는 단계는,
    추정위치에서 각 마이크로폰에 도달하는 신호의 시간 차이를 보정하여 합한 개선신호를, 적어도 하나 이상의 추정위치에 대하여 각각 구하는 단계; 및
    개선신호의 음질이 최상이 되는 위치를 상기 음원의 수직방향 위치로 파악하는 단계;를 포함하는 것을 특징으로 하는 음원의 3차원 위치 파악 방법.
11. 레이더를 이용하여 움직이는 객체의 위치를 파악하는 단계;
    복수 개의 마이크로폰에 대한 신호 도달 지연의 보정 후 합산을 통한 개선신호를, 상기 객체의 위치를 기준으로 이격된 복수 개의 위치에 대하여 생성하고 비교하여 최상 음질이 나타나는 이격된 위치를 음원의 위치로 파악하는 단계;
    상기 파악된 음원의 위치와 각 마이크로폰 사이의 거리 차에 의해 발생하는 신호 감쇠를 보상하는 단계; 및
    상기 신호 감쇠가 보상된 각 마이크로폰의 신호를 합한 출력신호를 생성하는 단계;를 포함하고,
    상기 음원의 위치로 파악하는 단계는,
    상기 객체의 위치를 기준으로 제1 방향으로 이격된 적어도 하나 이상의 위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 위치를 상기 음원의 제1 방향 위치로 파악하는 단계;
    상기 객체의 위치 또는 상기 제1 방향 위치를 기준으로 제2 방향으로 이격된 적어도 하나 이상의 위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 위치를 상기 음원의 제2 방향 위치로 파악하는 단계;
    상기 객체의 위치, 상기 제1 방향 위치 또는 상기 제2 방향 위치를 기준으로 제3 방향으로 이격된 적어도 하나 이상의 위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 위치를 상기 음원의 제3 방향 위치로 파악하는 단계; 및
    상기 제1 내지 제3 방향 위치를 기초로 상기 음원의 3차원 위치를 파악하는 단계;를 포함하는 것을 특징으로 하는 음원 위치 파악을 이용한 음질 개선 방법.
12. 삭제
13. 제 11항에 있어서, 상기 음원의 위치를 파악하는 단계는,
    상기 객체의 위치를 포함하는 2차원 평면에 수직한 방향으로 이격된 적어도 하나 이상의 추정위치 중 복수 개의 마이크로폰을 이용한 위치 기반 개선음질이 최상이 되는 추정위치를 수직방향 위치로 파악하는 단계; 및
    상기 객체의 위치를 기초로 추정한 상기 음원의 2차원 위치와 상기 수직방향 위치를 기초로 상기 객체 내 음원의 3차원 위치를 파악하는 단계;를 포함하는 것을 특징으로 하는 음원 위치 파악을 이용한 음질 개선 방법.
14. 제 11항에 있어서, 상기 신호 감쇠를 보상하는 단계는,
    도달 시간 차이가 보정된 복수 개의 마이크로폰의 신호들 중 적어도 둘 이상의 신호 사이에 보강간섭이 존재하는 주파수 성분을 파악하는 단계; 및
    상기 파악된 주파수 성분의 크기를 보상하는 단계;를 포함하는 것을 특징으로 하는 음원 위치 파악을 이용한 음질 개선 방법.
15. 제 1항 내지 제 11항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images