KR101081752B1 - 인공귀 및 이를 이용한 음원 방향 검지 방법 - Google Patents

Abstract

인공귀는 복수 개의 마이크로폰 및 상기 복수 개의 마이크로폰 사이에 배치되는 하나 이상의 구조물을 포함하되, 상기 복수 개의 마이크로폰으로 입력되는 출력 신호의 크기가 음원 방향에 따라 상이하도록 설계된다. 음원 방향 검지 방법은 복수 개의 마이크로폰으로부터 크기가 상이한 출력 신호를 수신하는 단계와, 상기 복수 개의 마이크로폰의 출력 신호의 크기 차이로부터 음원의 앞뒤를 결정하는 단계 및 상기 복수 개의 마이크로폰의 출력 신호의 지연 시간 차이로부터 음원의 위치에 대응되는 각을 결정하는 단계를 포함하여 구성된다.

인공귀, 귀바퀴, 청각 시스템, 음원 방향 검지, 마이크로폰

Description

인공귀 및 이를 이용한 음원 방향 검지 방법{Artificial Ear and Method for Detecting the Direction of a Sound Source Using the Same}

본 발명은 인공귀 및 이를 이용한 음원 방향 검지 방법에 관한 것이다.

근래 들어 인간과 상호작용할 수 있는 지능형 로봇산업이 많은 관심의 대상이 되고 있다. 인간과 로봇 간의 상호작용(Human-Robot Interaction; HRI)이 효과적으로 이루어지기 위해서는 로봇이 대화 상대인 화자의 위치를 정확하게 파악하는 것이 중요하다. 따라서 청각 센서를 이용하여 음원의 방향을 파악하는 음원 방향 검지 기술이 HRI를 위한 필수 기술 중의 하나이다.

종래의 음원 방향 검지 기술로는 도달 지연 시간(Time Delay Of Arrival; TDOA)을 이용하는 방법, 로봇 플랫폼의 머리 전달함수(Head-Related Transfer function: FRTF) 데이터베이스를 이용하는 방법과 다수의 마이크로폰 어레이를 이용하는 빔포밍(Beamforming) 방법 등이 있다.

도달 지연 시간을 이용하는 방법은 각 센서에 화자의 음성이 도달하는 지연시간을 이용하여 음원의 방향을 추정하는 방법으로, 알고리즘이 간단하고 계산량이 적어 실시간 음원 위치 추정에 많이 사용되고 있다. 그러나, 사람의 귀의 위치와 같이 좁은 영역에 마이크로폰을 배치하여야 하는 제약이 있을 경우 즉, 마이크로폰간의 거리가 짧아지는 경우, 추정 분해능이 떨어지게 되는 단점이 있다. 또한, 좁은 영역에 두 개의 마이크로폰만을 사용할 경우 같은 지연 시간을 가지는 음원의 위치는 2차원 평면 상에 두 곳이 존재하기 때문에 앞-뒤 혼동현상(Front-Back Confusion)이 발생하게 된다. 즉, 두 개의 마이크로폰만을 사용할 경우 지연 시간차에만 근거하여 음원의 위치를 추정하면, 앞-뒤의 구분이 불가능한 문제점이 있다.

머리 전달함수 데이터베이스를 이용하는 방법은 머리 전달함수의 크기(Magnitude)정보와 위상(Phase)정보를 사용하여 음원의 방향을 검지하게 된다. 이 방법은 인간의 방향 검지 방법과 유사한 방법을 취하나 외이에 의한 전달함수의 변화양상이 음성주파수영역(~4 kHz)보다 높은 주파수영역에서 나타나므로 상대적으로 큰 인공귀를 사용해야 한다는 점과 방향 검지를 위한 데이터베이스 양이 커진다는 단점이 있다.

또한, 빔포밍 방법은 가상의 음원 벡터를 회전시키면서 실제 음원의 위치 벡터와 맞춰가는 것을 기본원리로 하는 방법으로, 다수의 센서가 고정된 어레이를 이루어야 한다. 다수의 마이크로폰을 사용할 경우 고사양의 신호처리용 하드웨어가 요구될 뿐만 아니라 처리해야 하는 데이터량이 많아지므로 실시간 방향 검지에 부적합하다는 단점을 지닌다.

이처럼 종래의 기술들은 지능형 로봇과 같이 음원과 마이크로폰의 상대적인 위치가 실시간으로 변화하며 로봇 플랫폼의 형상으로 인해 마이크로폰의 배치가 자 유롭지 못한 경우에는 적용하는데 한계가 있다.

상술한 바와 같은 종래의 기술의 문제점을 해결하기 위한 본 발명은, 복수의 마이크로폰 사이에 하나 이상의 구조물을 배치하여 상기 복수 개의 마이크로 폰으로 입력되는 출력 신호의 차이를 유발함으로써, 앞-뒤 혼동현상(Front-Back Confusion) 현상을 해결하고 적은 수의 마이크로폰만으로 실시간 방향 검지가 가능하여 다양한 로봇 플랫폼에 활용할 수 있도록 하는 인공귀 및 이를 이용한 음원 방향 검지 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 인공귀는, 복수 개의 마이크로폰 및 상기 복수 개의 마이크로폰 사이에 배치되는 하나 이상의 구조물을 포함하되, 상기 복수 개의 마이크로폰으로 입력되는 출력 신호의 크기가 음원 방향에 따라 상이하도록 설계된다.

또한, 본 발명의 다른 일 측면에 따른 음원 방향 검지 방법은, 복수 개의 마이크로폰으로부터 크기가 상이한 출력 신호를 수신하는 단계와, 상기 복수 개의 마이크로폰의 출력 신호의 크기 차이로부터 음원의 앞뒤를 결정하는 단계 및 상기 복수 개의 마이크로폰의 출력 신호의 지연 시간 차이로부터 음원의 위치에 대응되는 각을 결정하는 단계를 포함하여 구성된다.

본 발명에 따른 인공귀 및 음원 방향 검지 방법은, 앞-뒤 혼동현상(Front- Back Confusion) 현상을 해결할 수 있고, 다수의 마이크로폰으로 구성된 마이크로폰 어레이를 사용하는 것에 비해 플랫폼에 마이크로폰을 배치하는 것이 자유로워지며, 처리해야 할 출력 신호의 양이 줄어들어 실시간 방향 검지가 용이해져 다양한 로봇 플랫폼에 활용할 수 있다.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 살펴본다.

종래에 로봇에 적용되는 음원 방향 검지 기술을 위한 센서의 배치는 로봇 플랫폼에 넓게 퍼진 마이크로폰 어레이 형태가 주를 이루었다. 하지만, 인간형 로봇의 청각 시스템으로 사용되기 위해서는 센서의 위치가 보다 사람의 귀의 위치에 가까워져야 할 필요성이 있다. 이를 위하여 본 발명은 적은 수의 마이크로폰과 사람의 외이를 모사한 귓바퀴를 사용하는 음원 방향 검지 기술을 위한 로봇용 인공귀의 구조를 제안한다.

도 1은 수직 극좌표계(vertical-polar coordinates)를 도시한 도면이다. 본 발명에 따른 인공귀가 지면을 기준으로 세워져 있다고 가정하면, 본 발명에 따른 인공귀의 구조를 이용하여 수평각(

)이 0도인 중앙면 상에 존재하는 즉, 2차원 평면 상에 존재하는 음원의 고도각(

)을 추정할 수 있다. 또는, 본 발명에 따른 인공귀가 지면을 기준으로 눕혀져 있다고 가정하면, 고도각(

)이 0도인 면 상에 존재하는 음원의 수평각(

)을 추정할 수 있다.

도 2는 좁은 영역에 두 마이크로폰을 배치하였을 때 음원의 앞-뒤 혼동 현상을 설명하기 위한 도면이다. 사람의 귀의 위치와 같이 좁은 영역에 두 마이크로폰(201, 202)을 배치하고 2차원 평면 상에 존재하는 음원의 방향을 추정하면, 채널간 레벨 차이(Inter-channel Level Difference: IcLD)와 채널간 시간 차이(Inter-channel Time Difference: IcTD)가 같은 지점이 두 개의 마이크로폰(201, 202)을 지나는 선(203)을 기준으로 대칭되게 두 곳이 존재하게 된다. 도 2를 참조하면, 실제 음원의 위치(204)에 대칭되어 가상 음원의 위치(205)가 존재하게 된다. 따라서, 실제 음원의 위치(204)와 가상 음원의 위치(205)간에 혼동이 발생하여 추정 오차가 매우 커지게 되는데 이를 앞-뒤 혼동 현상(Front-Back Confusion)이라고 한다.

도 3은 도 2에서의 앞-뒤 혼동 현상을 해결하기 위한 본 발명의 일 실시예에 따른 두 개의 마이크로폰과 구조물의 예시적인 배치를 표시한 도면이다. 본 실시예에서는 마이크로폰이 두 개이고 구조물이 한 개인 것으로 도시되었으나, 마이크로폰의 개수 및 구조물의 개수는 필요에 따라 조정될 수 있다는 것을 당업자는 이해할 것이다. 또한 마이크로폰 및 구조물의 배치도 예시적인 것이며, 필요에 따라 적절한 위치에 배치될 수 있다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 인공귀는 각각 상이한 채널을 가진 두 개의 마이크로폰(301, 302) 및 두 개의 마이크로폰(301, 302) 사이에 배치되는 구조물(303)을 포함한다. 상기 구조물(303)은 방향 검지 대상 음원에서 방사되어 두 개의 마이크로폰으로 입력되는 출력 신호의 차이를 유발할 수 있다.

본 발명의 일 실시예에 따르면, 상기 구조물(303)은 인간의 귀에서 귓바퀴와 유사한 형상을 가지도록 설계될 수 있으며, 이하 상기 구조물(303)을 귓바퀴로 지칭한다. 이러한 구조물을 통해 두 개의 마이크로폰(301, 302)으로 입력되는 출력 신호의 차이가 유발되고, 이를 통해 용이하게 음원 방향의 앞-뒤 구분을 할 수 있게 된다. 이러한 아이디어에 기반하여 7cm길이의 귓바퀴 모델과 마이크로폰이 부착가능하도록 인공귀를 제작하였으며 도 4a에 이를 도시하였다. 최적의 마이크로폰 위치를 선택하기 위하여 다수의 마이크로폰을 사용한 실험이 가능하도록 다수의 구멍을 만들었으며 최종적으로 선택된 최적의 마이크로폰의 위치는 도 4b에 도시된다.

도 4a 및 도 4b에 도시한 인공귀는 본 발명에 따른 일 실시예에 불과하며, 본 발명에 따른 인공귀는 마이크로폰 및 구조물의 개수 또는 배치에 따라 다양하게 구현될 수 있다. 도 5는 본 발명에 따른 인공귀의 마이크로폰 및 구조물의 다양한 배치를 예시적으로 제시한 도면이다.

다시 도 3으로 돌아와서, 앞-뒤 구분은 상대적으로 귓바퀴의 앞과 뒤에 배치되는 마이크로폰을 통해 음원이 앞쪽에 있을 때에는 앞쪽에 위치한 제1 마이크로 폰(301)에서 측정되는 신호의 크기가 뒤쪽에 위치한 제2 마이크로폰(302)의 그것보다 크게 되고 반대로 뒤쪽에 음원이 위치할 때에는 그 반대가 된다. 실제 음원의 방향 추정을 위하여 두 마이크로폰(301, 302)의 출력 신호를 사용하였고 마이크로폰 위치간의 전달함수는 마이크로폰이 서로 상이한 채널을 가지므로 채널간 전달함수(Inter-channel Transfer Function: IcTF)로 나타난다. IcTF는 다음 수학식 1과 같이 정의된다.

여기에서

은 제1 마이크로폰(301)의 출력 신호와 제2마이크로폰(302)의 출력 신호간의 교차 전력 밀도 함수(cross power density function)이며

은 제2 마이크로폰(302)의 출력 신호의 전력 스펙트럼 밀도 함수(power spectral density function)를 나타낸다.

두 개의 마이크로폰(301, 302)의 출력 신호의 크기를 비교하기 위한 채널간 레벨 차이(Inter-channel Level Difference: IcLD)는 다음 수학식과 같이 정의된다.

이렇게 dB 스케일로 측정되는 출력 신호의 크기비는 IcTF의 레벨로써 측정이 가능하며 이를 통해 음원의 앞-뒤 구분이 가능하게 된다.

본 발명의 일 실시예에 따른 인공귀를 이용하면, 상대적으로 귓바퀴 앞과 뒤에 위치한 각각의 마이크로폰의 출력 신호의 크기가 같은 위치 즉, IcLD=0을 기준으로 앞-뒤 구분이 가능하게 된다. IcTF의 레벨을 이용하여 0보다 큰 경우 음원의 위치가 마이크로폰을 지나는 선을 기준으로 앞에 있다고 추정하고, 0보다 작은 경우 뒤에 존재한다고 추정하게 된다.

이를 정리하면 다음과 같다. 기본적으로 귓바퀴를 사용하지 않을 경우, 부착된 두 개의 마이크로폰을 지나는 선(axis)을 기준으로 앞-뒤 혼동이 발생하며 이를 해결하기 위해 IcLD가 0 dB이 되는 음원의 위치를 두 마이크로폰을 지나는 선상에 존재하도록 귓바퀴와 마이크로폰을 배치함으로써 앞-뒤를 구분 할 수 있게 되는 것이다.

도 6에서는 이러한 IcLD의 변화를 1/3 옥타브 밴드(Octave Band)내에서 살펴 보았으며 중심주파수가 1 kHz인 밴드 내에서 마이크로폰을 지나는 선의 경사각(tilt angle)이60도일 때를 기준으로 0dB를 지나는 것을 확인할 수 있다. 이러한 경사각은 인공귀가 부착되어 있는 각도에 따른 것으로 사용자가 변경할 수 있다.

도 7 및 도 8은 음성신호인 "안녕하세요", "반갑습니다" 를 사용하였을 때 본 발명의 일 실시예에 따른 방향 검지를 하지 않았을 경우 추정된 음성의 방향을 도시한 도면이다. *가 찍힌 선은 실제 음원의 위치를 나타내고 o가 찍힌 선은 추정된 음원의 위치를 나타낸다. 그림을 참조하면, 인공귀가 경사를 이루는 각인 60도를 기준으로 앞-뒤 혼동이 발생하는 것을 알 수 있다.

도 9는 본 발명의 일 실시예에 따른 방향 검지를 하였을 경우 추정된 음성의 방향을 도시한 도면이다. *가 찍힌 선은 실제 음원의 위치를 나타내고 o가 찍힌 선은 추정된 음원의 위치를 나타낸다. 그림을 참조하면 실제 음원의 위치와 추정된 음원의 위치가 거의 일치하고 있음을 알 수 있다.

이와 같이 음원의 앞-뒤 구분을 하고 나면, 복수 개의 마이크로폰의 출력 신호의 도달 지연 시간 차이로부터 음원의 위치에 대응되는 각을 결정하게 된다. 상기 음원의 위치에 대응되는 각은 본 발명에 따른 인공귀가 지면을 기준으로 세워져 있을 경우에는 음원의 고도각이 될 수 있으며, 본 발명에 따른 인공귀가 지면을 기준으로 눕혀져 있는 경우에는 음원의 수평각이 될 수 있다. 상기 수학식 1의 마이 크로폰 위치간의 전달함수인 IcTF를 이용하여 출력 신호의 도달 지연 시간 차이를 구할 수 있는데, 마이크로폰 사이의 도달 지연 시간 차이를 의미하는 IcTF의 그룹 딜레이(Group Delay)의 수학식은 다음과 같다.

자유 음장 조건(free field condition) 및 원 음장 조건(far field condition)을 적용하면 상기 수학식으로 구한 그룹 딜레이로부터 음원의 위치에 대응되는 각을 결정하고 음원의 위치를 최종적으로 구할 수 있게 된다.

도 10은 본 발명의 일 실시예에 따른 음원 방향 검지 방법을 도시한 순서도이다. 도 10에 도시된 음원 방향 검지 방법은 예시적인 것이며, 각 단계가 상이한 동작으로 수행되거나 다른 순서로 수행될 수도 있다. 또한, 각 단계는 본 발명에 따른 반사파 제거 방법을 실시하기 위한 필수적인 단계는 아니며, 일부 단계가 생략되거나 대체되어 수행될 수도 있다.

도 10을 참조하면, 음원 방향 검지 방법은 먼저 본 발명의 일 실시예에 따른 인공 귀의 복수 개의 마이크로폰으로부터 크기가 상이한 출력 신호를 수신(S1001)하는 것으로부터 시작된다. 복수 개의 마이크로폰의 출력 신호의 크기 차이는 복수 개의 마이크로폰 사이에 배치된 구조물에 의한 것이다. 그 다음은 상기 복수 개의 마이크로폰의 출력 신호의 크기 차이로부터 음원의 앞-뒤를 결정하게 된다(S1002). 음원의 앞-뒤 결정은 IcLD의 크기 차이를 이용하여 이루어진다. 음원의 앞-뒤가 결정되고 나면, 상기 복수 개의 마이크로폰의 출력 신호의 지연 시간 차이로부터 음원의 위치에 대응되는 각을 결정한다(S1003). 상기 설명한 바와 같이 음원의 위치에 대응되는 각은 고도각 또는 수평각일 수 있다. 이와 같은 과정을 거쳐 음원의 방향은 앞-뒤 혼동 현상 없이 정확히 검지될 수 있다.

이상 본 발명의 특정 실시예를 도시하고 설명하였으나, 본 발명의 기술사상은 첨부된 도면과 상기한 설명내용에 한정하지 않으며 본 발명의 사상을 벗어나지 않는 범위 내에서 다양한 형태의 변형이 가능함은 이 분야의 통상의 지식을 가진 자에게는 자명한 사실이며, 이러한 형태의 변형은, 본 발명의 정신에 위배되지 않는 범위 내에서 본 발명의 특허청구범위에 속한다고 볼 것이다.

도 1은 수직 극좌표계(vertical-polar coordinates)를 도시한 도면이다.

도 2는 좁은 영역에 두 마이크로폰을 배치하였을 때 음원의 앞-뒤 혼동 현상을 설명하기 위한 도면이다.

도 3은 도 2에서의 앞-뒤 혼동 현상을 해결하기 위한 본 발명의 일 실시예에 따른 두 개의 마이크로폰과 구조물의 예시적인 배치를 표시한 도면이다.

도 4a 및 도 4b는 본 발명의 일 실시예에 따른 인공귀를 도시한 도면이다.

도 5는 본 발명에 따른 인공귀의 마이크로폰 및 구조물의 다양한 배치를 예시적으로 제시한 도면이다.

도 6은 1/3 옥타브 밴드(Octave Band)의 각 밴드에 따른 IcLD의 변화 양상을 도시한 도면이다.

도 7 및 도 8은 음성신호인 "안녕하세요", "반갑습니다" 를 사용하였을 때 본 발명의 일 실시예에 따른 방향 검지를 하지 않았을 경우 추정된 음성의 방향을 도시한 도면이다.

도 9는 본 발명의 일 실시예에 따른 방향 검지를 하였을 경우 추정된 음성의 방향을 도시한 도면이다.

도 10은 본 발명의 일 실시예에 따른 음원 방향 검지 방법을 도시한 순서도이다.

Claims (7)

1. 복수 개의 마이크로폰; 및

   상기 복수 개의 마이크로폰 사이에 배치되어 방향 검지 대상 음원에서 방사되어 상기 복수 개의 마이크로폰으로 입력되는 출력 신호의 차이를 유발하는 하나 이상의 구조물을 포함하고,

   상기 복수 개의 마이크로폰으로 입력되는 출력 신호의 크기가 음원 방향에 따라 상이하도록 설계되며,

   상기 복수 개의 마이크로폰으로 입력되는 출력 신호의 크기 차이로부터 음원의 앞-뒤를 결정하되,

   

   가 제1 마이크로폰의 출력 신호와 제2 마이크로폰의 출력 신호 간의 교차 전력 밀도 함수이고,

   

   가 제2 마이크로폰의 출력 신호의 전력 스펙트럼 밀도 함수를 나타낼 때, 특정한 주파수

   

   에 대한 마이크로폰 위치간의 전달함수인 채널간 전달함수

   

   는

   

   와

   

   의 비로 정의되며, 이를 크기

   

   및 위상

   

   을 이용하면

   

   의 수학식으로 표현되고, dB 스케일로 정의되는 채널간 레벨 차이

   

   는

   

   의 수학식인 것을 특징으로 하는 인공귀.
2. 삭제
3. 복수 개의 마이크로폰으로부터 크기가 상이한 출력 신호를 수신하는 단계;

   상기 복수 개의 마이크로폰의 출력 신호의 크기 차이로부터 음원의 앞-뒤를 결정하는 단계; 및

   상기 복수 개의 마이크로폰의 출력 신호의 지연 시간 차이로부터 음원의 위치에 대응되는 각을 결정하는 단계를 포함하고,

   상기 음원의 앞-뒤를 결정하는 단계는,

   

   가 제1 마이크로폰의 출력 신호와 제2 마이크로폰의 출력 신호 간의 교차 전력 밀도 함수이고,

   

   가 제2 마이크로폰의 출력 신호의 전력 스펙트럼 밀도 함수를 나타낼 때, 특정한 주파수

   

   에 대한 마이크로폰 위치간의 전달함수인 채널간 전달함수

   

   는

   

   와

   

   의 비로 정의되며, 이를 크기

   

   및 위상

   

   을 이용하면

   

   의 수학식으로 표현되고, dB 스케일로 정의되는 채널간 레벨 차이

   

   는

   

   의 수학식인 것을 특징으로 하는 음원 방향 검지 방법.
4. 삭제
5. 제3항에 있어서,

   상기 음원의 앞-뒤를 결정하는 단계는,

   상기 IcLD가 0보다 큰 경우, 음원의 위치가 상기 복수의 마이크로폰을 지나는 선을 기준으로 앞이라고 결정하고,

   상기 IcLD가 0보다 작은 경우, 음원의 위치가 상기 복수의 마이크로폰을 지나는 선을 기준으로 뒤라고 결정하는 것을 특징으로 하는 음원 방향 검지 방법.
6. 제3항에 있어서,

   상기 음원의 위치에 대응되는 각을 결정하는 단계는,

   상기 제1 마이크로폰과 상기 제2 마이크로폰 사이의 출력 신호의 도달 지연 시간 차이는

   

   의 수학식이고, 상기 도달 지연 시간 차이로부터 상기 음원의 위치에 대응되는 각을 구하는 것을 특징으로 하는 음원 방향 검지 방법.
7. 제3항 또는 제6항에 있어서,

   상기 음원의 위치에 대응되는 각은 음원의 고도각 또는 음원의 수평각인 것을 특징으로 하는 음원 방향 검지 방법.

Images