KR20230094246A

KR20230094246A - 음향 센서를 이용한 방향 추정 장치 및 방법

Info

Publication number: KR20230094246A
Application number: KR1020210183130A
Authority: KR
Inventors: 손대혁; 김재흥; 장재형; 홍혁기
Original assignee: 삼성전자주식회사
Priority date: 2021-12-20
Filing date: 2021-12-20
Publication date: 2023-06-28
Also published as: US20230194646A1

Abstract

본 개시는 음향 센서를 이용한 방향 추정 장치 및 방법에 관한 것으로, 일 실시 예에 따른 방향 추정 장치는 무지향성(non-directional) 음향 센서, 무지향성 음향 센서를 둘러싸도록 배치된, 복수의 지향성(directional) 음향 센서 및 무지향성 음향 센서로부터의 제1 출력신호 및 복수의 지향성 음향 센서들로부터 복수의 제2 출력신호들을 획득하고, 제2 출력신호들 간의 크기 및 제1 출력신호와 상기 제2 출력신호들 중 어느 하나의 제2 출력신호 간의 위상 정보를 비교하여, - 5도 내지 + 5 도의 오차범위 내에서 음원의 방향을 추정하는 프로세서를 포함한다.

Description

음향 센서를 이용한 방향 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING DIRECTION OF SOUND USING ACOUSTIC SENSOR}

본 개시는 음향 센서를 이용한 방향 추정 장치 및 방법에 관한 것이다.

생활 가전 제품, 영상 디스플레이 장치, 가상 현실 장치, 증강 현실 장치, 인공지능 스피커 등에 장착되어 음향이 오는 방향을 탐지하고 음성을 인식할 수 있는 음향 센서의 활용성이 증가하고 있다. 최근에는 압력차(pressure difference)에 의한 기계적인 움직임을 전기 신호로 변환하여 음향을 검출하는 지향성 음향 센서가 개발되고 있다.

다양한 실시예들이 해결하고자 하는 기술적 과제는 음향 센서를 이용한 방향 추정 장치 및 방법을 제공하는데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.

일 측면에 따르면, 음향 센서를 이용한 방향 추정 장치는 무지향성(non-directional) 음향 센서; 상기 무지향성 음향 센서를 둘러싸도록 배치된, 복수의 지향성(directional) 음향 센서; 및 상기 무지향성 음향 센서로부터의 제1 출력신호 및 상기 복수의 지향성 음향 센서들로부터 복수의 제2 출력신호들을 획득하고, 상기 제2 출력신호들 간의 크기 및 상기 제1 출력신호와 상기 제2 출력신호들 중 어느 하나의 제2 출력신호 간의 위상 정보를 비교하여, - 5도 내지 + 5도의 오차범위 내에서 음원의 방향을 추정하는 프로세서를 포함한다.

다른 측면에 따르면, 음향 센서를 이용한 방향 추정 방법은 무지향성 음향 센서로부터의 제1 출력신호 및 복수의 지향성 음향 센서들로부터 복수의 제2 출력신호들을 획득하는 단계; 상기 제2 출력신호들 간의 크기 및 상기 제1 출력신호와 상기 제2 출력신호들 중 어느 하나의 제2 출력신호 간의 위상 정보를 비교하는 단계; 및 - 5도 내지 + 5도의 오차범위 내에서 음원의 방향을 추정하는 단계를 포함한다.

도 1은 지향성 음향 센서를 예시적으로 도시한 도면이다.
도 2는 도 1에 도시된 공진기의 단면을 도시한 도면이다.
도 3은 비교 예에 따른 복수의 음향 센서들을 이용한 지향성 조절 방법을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 방향 추정 장치의 블록도이다.
도 5는 일 실시 예에 따른 지향성 음향 센서와 지향성 음향 센서의 지향 패턴을 설명하기위한 도면이다.
도 6은 지향성 음향 센서의 주파수 응답 특성을 측정한 결과를 나타내기 위한 도면이다.
도 7은 지향성 음향 센서의 지향 패턴을 측정한 결과를 나타내기 위한 도면이다.
도 8a 및 도 8b는 일 실시 예에 따른 음향 센서의 신호 처리를 설명하기 위한 도면이다.
도 9a 및 도 9b는 일 실시 예에 따라, 음향 센서들이 전면 방향 및 후면 방향으로부터 전달된 음향을 센싱한 결과를 도시한 그래프들이다.
도 10a 내지 도 10d는 일 실시에 따라, 무지향성 음향 센서와 복수 개의 지향성 음향 센서들의 개수와 배치의 예시 도들이다.
도 11 및 12는 도 10a에 도시된 배치에서, 각도에 따른 각각의 지향성 음향 센서의 파워와, 각각의 지향성 음향 센서의 파워 사이의 비율을 설명하기 위한 도면이다.
도 13 내지 15는 다양한 실시 예에 따른 방향 추정 알고리즘에서 각도를 구분하는 것을 설명하는 흐름 도들이다.
도 16은 일 실시 예에 따른 방향 추정 결과를 예시하는 도면이다.
도 17은 다른 실시 예에 따른 방향 추정 장치를 포함하는 전자 장치의 개략적인 구조를 보이는 블록도이다.
도 18 내지 21은 또 다른 실시 예에 따른 방향 추정 장치가 적용될 수 있는 다양한 전자 장치의 응용들을 설명하기 위한 예시 도들이다.

본 실시 예들에서 사용되는 용어는 본 실시 예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시 예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.

실시 예들에 대한 설명들에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위, 아래, 좌, 우에 있는 것뿐만 아니라 비접촉으로 위, 아래, 좌, 우에 있는 것도 포함할 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

실시 예들에 대한 설명들에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다.

본 실시 예들에서 사용되는 "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.

본 실시 예에서, 음향 센서는 마이크로폰(microphone)일 수 있으며, 공기 중에 파동인 음파를 받아서, 이것을 전기신호로 변환하는 기기를 의미한다.

본 실시 예에서, 음향 센서 어셈블리는 음향 센서 또는 마이크로폰과 이를 제어하고, 필요한 기능을 연산하는 프로세서를 포함하는 의미로 사용된다. 또한, 실시 예에 따른 음향센서를 이용하여 음원의 방향을 추정하는 장치를 의미하는 것으로 사용될 수 있다.

본 실시 예들은 음향 센서 어셈블리에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려진 사항들에 관해서는 자세한 설명을 생략한다.

하기 실시 예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시 예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.

도 1은 지향성 음향 센서(10)를 예시적으로 도시한 도면이다. 그리고 도 2는 도 1에 도시된 공진기(102)의 단면을 도시한 도면이다.

도 1 및 도 2를 참조하면, 지향성 음향 센서(10)는 지지대(101) 및 복수의 공진기(102)를 포함할 수 있다. 지지대(101)에는 캐비티(105)가 관통하도록 형성될 수 있다. 지지대(101)로는 예를 들면 실리콘 기판이 사용될 수 있지만, 이에 한정되지는 않는다.

복수의 공진기(102)는 지지대(101)의 캐비티(105) 위에 소정 형태로 배열될 수 있다. 공진기들(102)은 서로 겹침 없이 평면적으로 배열될 수 있다. 공진기들(102) 각각은 도 2에 도시된 바와 같이 일측은 지지대(101)에 고정되어 있으며, 타측은 캐비티(105) 쪽을 향하여 연장되도록 마련될 수 있다. 공진기들(102)은 각각 입력되는 음향에 반응하여 움직이는 구동부(108)와, 구동부(108)의 움직임을 센싱하는 센싱부(107)를 포함할 수 있다. 또한, 공진기(102)는 구동부(108)에 소정의 질량(mass)을 제공하기 위한 질량체(109)를 더 포함할 수 있다.

공진기들(102)은 예를 들면, 서로 다른 대역의 음향 주파수를 감지하도록 마련될 수 있다. 즉, 공진기들(102)은 서로 다른 중심 주파수 또는 공진 주파수를 가지도록 마련될 수 있다. 이를 위해, 공진기들(102)은 서로 다른 치수(dimension)를 가지도록 마련될 수 있다. 예를 들면, 공진기들(102)은 서로 다른 길이, 폭 또는 두께를 가지도록 마련될 수 있다.

공진기들(102)의 폭, 두께 등의 구체적인 수치는 공진기들(102)에 대해 원하는 공진 주파수를 고려하여 정할 수 있다. 예를 들어, 대략 수㎛ 내지 수백 ㎛사이의 폭, 수㎛ 이하의 두께, 및 대략 수 mm 이하의 길이를 가질 수 있으며, 이에 한정되지 않는다.　 이러한 미세한 크기의 공진기들(102)은　MEMS(Micro Electro Mechanical System) 공정에 의해 제작될 수 있다.

도 3은 비교 예에 따른 복수의 음향 센서들을 이용한 지향성 조절 방법을 설명하기 위한 도면이다. 도 3을 참고하면, 복수의 음향 센서들(31)을 이용한 지향성 조절 방법은 특정 방향의 음향을 크게 듣기 위하여, 복수의 음향 센서들(31)을 이용할 수 있다. 복수의 음향 센서들(31)은 소정 간격(D)을 두고 배치되며, 그 간격(D)으로 인해 음향이 각 음향 센서(31)에 도달하는 시간 또는 위상 지연(phase delay)이 생기고, 그 시간 또는 위상 지연을 보상하는 정도를 다르게 함으로써 전체 지향성을 조절할 수 있다. 이러한 지향성 조절 방법은 Time Difference of Arrival(TDOA, 이하 TDOA라 한다)로 지칭될 수 있다. 다만, 전술한 방법은 음향이 각 음향 센서에 도달하는 시간에 차이가 있다는 것을 전제하는 바, 가청 주파수대역의 파장(wavelength)을 고려하여 간격을 설정해야 하므로 음향 센서들 간의 간격 설정에 제약이 있을 수 있다. 간격 설정에 제약이 있기 때문에, 전술한 방법을 수행하는 장치의 소형화에 제약이 있을 수 있다. 특히, 낮은 주파수는 파장의 길이가 길어서, 낮은 주파수의 음향을 구분하기 위해서는 음향 센서들 간의 간격이 넓고, 각 음향 센서의 신호대 잡음비(SNR; signal-to-noise ratio)가 높아야 할 수 있다.

TDOA는 각 음향 센서에서 센싱되는 음향의 주파수 대역에 따라서 위상(phase)이 다르게 되므로, 각 주파수 별로 위상을 보상해주어야 할 수 있다. 각 주파수 별로 위상을 보상하기 위해서, 전술한 방법은 알맞은 웨이트를 각 주파수 별로 적용하는 복잡한 신호처리 과정이 필요할 수 있다.

또한, TDOA를 이용하여 음원의 방향을 추정하기 위해서 주로 복수의 무지향성 마이크로폰 배열의 신호를 이용한다. 각 마이크로폰에서 취득한 신호 사이의 시간 지연을 계산하여 이를 바탕으로 음원이 입사한 방향을 추정한다. 하지만, 방향추정의 정확도는 배열의 크기(마이크로폰 사이의 간격) 및 시간 지연에 의해 종속된다.

다른 방법은 Intensity difference 기반으로 음원의 방향을 추정하는 것이다. 방향 추정을 위해 각 마이크로폰에서 측정된 intensity 또는 level 사이의 차이를 이용하는 방법이다. 시간 영역에서 측정된 신호의 크기를 기반으로 음원이 어느 방향에서 입사하였는지를 결정한다. 각 마이크로폰 사이의 크기 차이를 이용하기 때문에 gain calibration 이 매우 정확하게 이루어져야 하며, 성능을 높이기 위해서는 많은 숫자의 마이크로폰이 필요하다.

TDOA 기반 방향 추정 기법을 이용할 경우 마이크로폰 배열의 크기에 따라 음원의 주파수 별로 마이크로폰 사이의 위상에 차이가 생기는 원리를 활용하게 된다. 따라서 배열의 크기와 추정하고자 하는 음원의 파장이 물리적인 관계를 갖게 되어 배열의 크기가 방향 추정 성능을 결정한다.

마이크로폰 사이의 time difference 또는 intensity difference를 활용하는 종래의 방법은 방향 추정 성능을 늘리기 위해서는 배열의 크기를 크게 하여 다수의 마이크로폰을 이용해야 하는 문제점이 있다. 또한, time difference 기반 추정 기법의 경우 주파수 별로 다른 시간 지연과 위상 차이를 계산하기 위해서는 디지털 신호 처리 장치가 필요하며, 이 장치의 성능 또한 방향 추정 성능을 제한하는 요소가 된다.

실시 예에 따른, 음향 센서를 이용한 방향 추정 장치는 지향성/무지향성 마이크로폰 배열을 이용한 방향 추정 알고리즘을 제공한다. 1개의 무지향성 마이크로폰과 복수 개, 적어도 2개의 지향성 마이크로폰으로 구성된 채널 모듈을 이용하여 360도 전 방위에서 입사하는 음원의 방향을 찾는다. 실시 예에서, 지향성 마이크로폰의 지향성 형상이 주파수와 관계없이 figure-of-8임을 활용하여, 음원의 파워를 기반으로 방향을 추정한다. 따라서 음원의 방향을 작은 사이즈, 예를 들면 3cm 이내의 배열로 높은 정확도로 추정할 수 있으며, 공간 정보에 기반한 음성 분리도 수행할 수 있다.

이하 도면들을 참고하여 본 개시에 따른 방향 추정 장치의 효율적인 구조 및 운용에 대해 상세히 설명한다.

도 4는 일 실시 예에 따른 방향 추정 장치의 블록도이다. 도 4를 참고하면, 방향 추정 장치(4)는 프로세서(41), 무지향성 음향 센서(42), 복수의 지향성 음향 센서들(43a, 43b, ..., 43n)을 포함할 수 있다. 방향 추정 장치(4)는 프로세서(41), 무지향성 음향 센서(42), 복수의 지향성 음향 센서들(43a, 43b, ..., 43n)을 이용하여 음향 센서 어셈블리(4) 주변의 음향을 획득할 수 있다.

무지향성 음향 센서(42)는 무지향성 음향 센서(42)를 둘러싸는 모든 방향의 음향을 센싱할 수 있다. 무지향성 음향 센서(42)는 모든 방향의 음향을 균일하게 센싱하는 지향성(directivity)을 가질 수 있다. 예를 들어, 모든 방향의 음향을 균일하게 센싱하는 지향성은 전지향성(Omni-directional) 또는 무지향성(Non-directional)일 수 있다.

무지향성 음향 센서(42)에서 센싱된 음향은 입력된 방향에 관계없이, 무지향성 음향 센서(42)로부터 동일한 출력 신호로 출력될 수 있다. 이에 따라, 무지향성 음향 센서(42)의 출력 신호를 기초로 재생된 음원은 방향에 대한 정보를 포함하지 않을 수 있다.

음향 센서의 지향성은 지향 패턴(directional pattern)을 이용하여 표현될 수 있고, 지향 패턴은 해당 음향 센서가 음원을 전달받을 수 있는 방향을 나타내는 패턴(pattern)을 의미할 수 있다.

지향 패턴은 해당 지향 패턴을 가진 음향 센서를 둘러싸는 360° 공간을 기준으로 음향이 전달되는 방향에 따른 음향 센서의 민감도를 확인할 수 있도록 도시될 수 있다. 예를 들어, 무지향성 음향 센서(42)의 지향 패턴은 360° 전방향에서 전달되는 음향들에 동일한 민감도를 가진 것을 알 수 있도록, 원형으로 도시될 수 있다. 구체적인 무지향성 음향 센서(42)의 지향 패턴의 활용에 대해서는 도 8a 및 도 8b를 참고하여 후술한다.

복수의 지향성 음향 센서들(43a, 43b, ..., 43n) 각각은 전술한 도 1에 도시된 지향성 음향 센서(10)와 동일한 구성을 가질 수 있다. 복수의 지향성 음향 센서들(43a, 43b, ..., 43n)은 각 지향성 음향 센서(43a, 43b, ..., 43n)의 전면(예를 들어, 도 1의 +z방향)과 후면(예를 들어, 도 1의 -z방향)의 음향을 센싱할 수 있다. 복수의 지향성 음향 센서들(43a, 43b, ..., 43n)은 각각 전면과 후면 방향의 음향을 센싱하는 지향성을 가질 수 있다. 예를 들어, 전면과 후면 방향의 음향을 센싱하는 지향성은 양지향성(Bi-directional)일 수 있다.

복수의 지향성 음향 센서들(43a, 43b, ..., 43n)은 무지향성 음향 센서(42)를 포위하도록 배치될 수 있다. 복수의 지향성 음향 센서들(43a, 43b, ..., 43n)의 개수와 배치는 도 10을 참조하여 후술한다.

프로세서(41)는 방향 추정 장치(4)의 전반적인 동작을 제어하고, 신호 처리를 수행한다. 프로세서(41)는 서로 다른 지향성을 가진 음향 센서들의 출력신호들 중에서 적어도 하나를 선택함으로써 음향 센서들(42, 43a, 43b, ..., 43n)이 가지고 있는 지향성과 동일한 지향성을 갖는 음향 신호를 산출할 수 있다. 프로세서(41)가 선택한 출력신호를 기초로 선택된 출력신호에 대응하는 음향 센서의 지향 패턴을 가진 음향 신호를 산출할 수 있다. 예를 들어, 선택된 출력신호와 음향 신호는 동일한 신호일 수 있다. 프로세서(41)는 선택된 출력신호에 대응하는 음향 센서의 지향 패턴을 음향 센서 어셈블리(4)의 지향 패턴으로 선택함으로써 지향성을 조절하고, 상황에 알맞게 특정 방향에서 전달되는 음향을 억제하거나 크게 센싱할 수 있다.

음향 신호는 각 음향 센서들(42, 43a, 43b, ..., 43n)의 출력신호들처럼 지향성에 대한 정보를 포함하는 신호로써, 출력신호들 중 일부가 선택되어 음향 신호로 결정되거나, 출력신호들 중 일부를 기초로 계산되어 새롭게 산출될 수 있다. 음향 신호의 지향 패턴은 각 음향 센서들(42, 43a, 43b, ..., 43n)의 지향 패턴과 동일한 형태(shape)일 수도 있고, 다른 형태일 수도 있고, 동일한 지향성(directivity)을 가질 수도 있고, 다른 지향성을 가질 수도 있다. 즉, 음향 신호가 갖는 지향 패턴 또는 지향성에는 제한이 없다.

프로세서(41)는 무지향성 음향 센서(42) 및/또는 복수의 지향성 음향 센서들(43a, 43b, ..., 43n)의 출력신호들을 획득하고, 획득한 출력신호들을 선택적으로 조합함으로써 음향 센서 어셈블리가 포함하는 음향 센서들(42, 43a, 43b, ..., 43n)이 가지고 있는 지향성과 다른 지향성을 갖는 음향 신호를 산출할 수 있다. 예를 들어, 프로세서(41)는 음향 센서들(42, 43a, 43b, ..., 43n)의 지향 패턴들과는 상이한 지향 패턴을 가진 음향 신호를 산출할 수 있다. 프로세서(41)는 상황에 따라, 하나의 지향성 음향센서(예를 들면, 43a)의 전면을 지향하는 지향 패턴을 가진 음향 신호를 산출할 수 있다.

프로세서(41)는 무지향성 음향 센서(42)의 출력신호 및 복수의 지향성 음향 센서들(43a, 43b, ..., 43n) 각각의 출력신호들을 기초로 소정 비율의 합(sum) 및 차(difference) 중 적어도 하나를 계산함으로써 음향 신호를 산출할 수 있다.

프로세서(41)는 음향 신호를 이용하여 방향 추정 장치(4) 주변의 음향을 획득할 수 있다. 프로세서(41)는 음향 신호를 이용하여 방향 추정 장치(4)로 전달되는 음향의 방향을 구분하여 주변의 음향을 획득할 수 있다. 예를 들어, 프로세서(41)가 방향 추정 장치(4)의 오른쪽에서 전달되는 음원을 녹음한 뒤 다시 사용자에게 녹음된 음원을 제공하면, 사용자는 마치 음원이 사용자의 오른쪽에서 들려오는 것처럼 들을 수 있고, 프로세서(41)가 방향 추정 장치(4) 주변을 선회하는 음원을 녹음한 뒤 다시 사용자에게 녹음된 음원을 제공하면, 사용자는 마치 음원이 사용자의 주변을 선회하는 것처럼 들을 수 있다.

프로세서(41)는 무지향성 음향 센서(42)로부터의 제1 출력신호 및 복수의 지향성 음향 센서들(43a, 43b,...43n)로부터 복수의 제2 출력신호들을 획득하고, 제2 출력신호들 간의 크기와, 제1 출력신호와 제2 출력신호들 중 어느 하나의 제2 출력신호 간의 위상 정보를 비교하여, - 5도 내지 + 5도의 오차범위 내에서 음원의 방향을 추정할 수 있다.

프로세서(41)는 제2 출력신호들 중 크기가 작은 제2 출력신호를 제외할 수 있다. 프로세서(41)는 제1 출력신호와 크기가 작은 제2 출력신호를 제외한 나머지 제2 출력신호를 합산하고, 합산된 출력신호의 위상 정보를 이용하여 음원의 방향을 추정할 수 있다. 여기서, 프로세서(41)는 나머지 제2 출력신호가 복수 개인 경우, 크기가 최대인 제2 출력신호를 선택할 수 있다. 그리고, 프로세서(41)는 제1 출력신호와 크기가 최대인 제2 출력신호를 합산한 출력신호의 위상 정보를 이용하여 음원의 방향을 추정할 수 있다.

프로세서(41)는 지향성 음향 센서의 개수와 배치에 따라 다양한 알고리즘으로 음원의 방향을 추정할 수 있다. 보다 자세한 방법은 도 13 내지 15를 참조하여 후술한다.

프로세서(41)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. 프로세서(41)는 메모리에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 일부 실시 예에 있어서, 프로세서(41)는 메모리에 저장된 프로그램들을 실행함으로써, 음향 센서 어셈블리(4)의 기능을 제어할 수 있다. 프로세서(41)는 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있다.

도 5는 일 실시 예에 따른 지향성 음향 센서와 지향성 음향 센서의 지향 패턴을 설명하기 위한 도면이다. 도 5를 참고하면, 지향성 음향 센서(10)는 양지향성 지향 패턴(51 및 52)을 가질 수 있다. 예를 들어, 양지향성 지향 패턴(51 및 52)은 지향성 음향 센서(10)의 전면(+z방향)을 지향하는 전면부(51)와 지향성 음향 센서(10)의 후면(-z방향)을 지향하는 후면부(52)로 구성되는 8자 형(figure-8)의 지향 패턴일 수 있다.

도 6은 지향성 음향 센서의 주파수 응답 특성을 측정한 결과를 나타내기 위한 도면이다. 도 6을 참고하면, 지향성 음향 센서(10)는 다양한 주파수에 대해 균일한 민감도(sensitivity)를 가지고 있음을 확인할 수 있다. 점선으로 표시된 민감도는 0Hz~8,000Hz의 주파수에 -40dB의 균일한 민감도를 가지고 있음을 알 수 있고, 실선으로 표시된 노이즈(noise)는 -80dB임을 알 수 있다. 지향성 음향 센서(10)는 다양한 주파수에 대해 균일한 민감도를 가지고 있으므로, 다양한 주파수의 음향을 균일하게 센싱할 수 있다.

도 7은 지향성 음향 센서의 지향 패턴을 측정한 결과를 나타내기 위한 도면이다. 도 7에 도시된 바와 같이, 지향성 음향 센서(10)는 다양한 주파수에 대해 균일하게 양지향성의 지향 패턴을 가지는 것을 알 수 있다. 즉, 다양한 주파수에 대해 0도 방향과 180도 방향인 도 1의 +z 축 방향 및 -z 축 방향으로의 지향성을 가지고 있음을 알 수 있다.

도 8a는 일 실시 예에 따른 방향 추정 장치의 신호 처리를 설명하기 위한 도면이다. 도 8a를 참고하면, 프로세서(41)는 무지향성 음향 센서(42)의 출력신호 및 지향성 음향 센서(10)의 출력신호를 기초로 소정 비율의 합 및 차 중 적어도 하나를 계산함으로써 음향 신호를 산출할 수 있다. 음향 신호는 각 음향 센서들(10 및 42)의 지향 패턴들(81 및 82)과는 다른 형태 또는 다른 지향성을 가지도록, 출력신호들을 기초로 계산된 디지털 신호일 수 있다. 예를 들어, 음향 신호를 산출하기 위한 계산에 있어서, 무지향성 음향 센서(42)의 출력신호를 G1이라하고, 지향성 음향 센서(10)의 출력신호를 G2라 하고, 무지향성 음향 센서(42)의 출력신호(G1)에 대한 지향성 음향 센서(10)의 출력신호(G2)의 비율이 1:k라 할 때, 출력신호들(G1 및 G2)의 소정 비율의 합은 식 G1+kG2를 이용하여 계산될 수 있고, 출력신호들(G1 및 G2)의 소정 비율의 차는 식 G1-kG2를 이용하여 계산될 수 있다. 각 출력신호들의 비율은 필요로 하는 적절한 지향 패턴의 형태 또는 지향성에 따라 미리 정해질 수 있다.

프로세서(41)는 무지향성 음향 센서(42)의 출력신호 및 지향성 음향 센서(10)의 출력신호를 기초로 소정 비율의 합을 계산함으로써, 지향성 음향 센서(10)의 전면 방향(예를 들어, 도 5의 +z 방향)을 지향하는 지향 패턴을 갖는 음향 신호를 산출할 수 있다.

무지향성 음향 센서(42)는 모든 방향을 지향하므로 어떤 방향으로부터 음향이 전달되어도 출력신호에는 차이가 없을 수 있다. 다만, 이하에서는 설명의 편의를 위해 지향성 음향 센서(10)의 전면 방향을 무지향성 음향 센서(42)의 전면 방향과 동일한 방향이라고 전제하고 설명하도록 한다.

예를 들어, 프로세서(41)는 무지향성 음향 센서(42)의 출력신호 및 지향성 음향 센서(10)의 출력신호를 1:1 비율의 합으로 계산함으로써, 단지향성(uni-directional) 지향 패턴(83)을 가지는 음향 신호를 산출할 수 있다. 단지향성 지향 패턴(83)은 지향성 음향 센서(10)의 전면을 향하는 지향성을 가질 수 있다. 다만, 단지향성 지향 패턴(83)은, 양지향성 지향 패턴(81)의 전면부와 비교했을 때, 좌우로 보다 넓은 범위를 커버하는 지향 패턴일 수 있다. 예를 들어, 단지향성 지향 패턴(83)은 심장형(Cardioid)의 지향 패턴일 수 있다.

지향성 음향 센서(10)는 양지향성 지향 패턴(81)을 가지고, 무지향성 음향 센서(42)는 전지향성 지향 패턴(82)을 가질 수 있다. 지향성 음향 센서(10)는 무지향성 음향 센서(42)가 센싱한 음향의 위상과 동위상(in-phase)인 음향을 양지향성 지향 패턴(81)의 전면 방향(예를 들어, 도 5의 +z방향)으로부터 센싱할 수 있고, 무지향성 음향 센서(42)가 센싱한 음향의 위상과 반대위상(anti-phase)인 음향을 후면 방향(예를 들어, 도 5의 -z방향)으로부터 센싱할 수 있다.

도 9a는 일 실시 예에 따라, 음향 센서들이 전면 방향으로부터 전달된 음향을 센싱한 결과를 도시한 그래프이고, 도 9b는 일 실시 예에 따라, 음향 센서들이 후면 방향으로부터 전달된 음향을 센싱한 결과를 도시한 그래프이다.

도 9a 및 도 9b를 참고하면, 지향성 음향 센서(10)의 전면 방향으로부터 전달된 음향과 무지향성 음향 센서(42)의 전면 방향으로부터 전달된 음향들은 서로 동위상임을 알 수 있고, 지향성 음향 센서(10)의 전면 방향으로부터 전달된 음향과 무지향성 음향 센서(42)의 후면 방향으로부터 전달된 음향들은 서로간의 위상이 180° 차이가 나서, 피크(peak)와 골(trough)이 서로 번갈아가며 교차하는 것을 확인할 수 있다.

다시 도 8a를 참고하면, 전면 방향으로부터 전달된 음향들은 서로 동위상이고, 후면 방향으로부터 전달된 음향들은 서로 반대위상이므로, 출력신호들의 일부는 더해지고 일부는 상쇄되어 전면 방향을 지향하는 단지향성 지향 패턴(83)을 가진 음향 신호가 산출될 수 있다.

도 8b는 일 실시 예에 따른 방향 추정 장치의 신호 처리를 설명하기 위한 도면이다. 도 8b를 참고하면, 프로세서(41)는 무지향성 음향 센서(42)의 출력신호 및 지향성 음향 센서(10)의 출력신호를 기초로 소정 비율의 차를 계산함으로써, 지향성 음향 센서(10)의 후면 방향(예를 들어, 도 5의 -z 방향)을 지향하는 지향 패턴을 갖는 음향 신호를 산출할 수 있다.

예를 들어, 프로세서(41)는 무지향성 음향 센서(42)의 출력신호 및 지향성 음향 센서(10)의 출력신호를 1:1 비율의 차로 계산함으로써, 단지향성 지향 패턴(84)을 가지는 음향 신호를 산출할 수 있다. 단지향성 지향 패턴(84)은, 도 8a의 단지향성 지향 패턴(83)과 반대로, 지향성 음향 센서(10)의 후면을 향하는 지향성을 가질 수 있다. 단지향성 지향 패턴(84)은, 양지향성 지향 패턴(81)의 후면부와 비교했을 때, 좌우로 보다 넓은 범위를 커버하는 지향 패턴일 수 있다. 예를 들어, 단지향성 지향 패턴(83)은 심장형(Cardioid)의 지향 패턴일 수 있다.

이상에서는 지향성 음향 센서(10)의 출력과 무지향성 음향 센서(42)의 출력의 합 또는 차를 계산하여 단지향성 지향 패턴을 가지는 음향 신호를 산출하는 방법에 대해 설명했으나, 이는 오로지 예시적인 것으로 지향성 조절은 전술한 방식으로 제한되는 것이 아니다.

프로세서(41)는 상황에 따라서, 무지향성 지향 패턴만을 선택하거나, 특정 방향을 지향하는 지향성 음향 센서의 양지향성 지향 패턴만을 선택하거나, 지향성 음향 센서들의 출력신호를 연산하여 각 지향성 음향 센서의 양지향성과는 상이한 새로운 양지향성 지향 패턴을 갖는 음향 신호를 산출할 수도 있다.

도 10a 내지 도 10d는 일 실시 예에 따라, 무지향성 음향 센서와 복수 개의 지향성 음향 센서들의 개수와 배치의 예시 도들이다.

도 10a를 참조하면, 일 예시는 중앙에 무지향성 음향 센서(42)를 배치하고, 3개의 지향성 음향 센서들(10a 내지 10c)을 120도 간격으로 배치한다. 이러한 형태는 삼각형 배치일 수 있으며, 전체 사이즈는 3cm 이내일 수 있다.

도 10b를 참조하면, 다른 예시는 중앙에 무지향성 음향 센서(42)를 배치하고, 3개의 지향성 음향 센서들(10a 내지 10c)을 120도 간격으로 배치하며, 이러한 형태는 방사형 배치일 수 있다. 도 10a와 마찬가지고, 전체 사이즈는 3cm 이내일 수 있다.

여기서, 지향성 음향 센서는 figure-of-8 형태의 지향성 패턴을 가진다. 이는 각도에 따라 코사인 함수 값을 갖는다. 따라서 +/- 60도 범위를 넘어가게 되면 지향성 음향 센서가 감지하는 파워는 절반 이하로 떨어지게 된다. 따라서, 전술한 이유와 센서 개수 증가에 따른 비용을 고려할 때, 3개의 지향성 음향 센서를 사용하는 것이 효율적일 수 있다.

실시 예에 따라, 도 10a에 도시된 삼각형 또는 도 10b에 도시된 방사형(b) 으로 배치할 수 있다. 도 10a 및 도 10b에 도시된 지향성 음향 센서들(10a 내지 10c)을 각각 채널 1(ch.1), 채널 2(ch. 2), 채널 3(ch. 3)이라 하였을 때, 각도에 따른 각 채널의 이상적인 파워는 도 11에 도시된 바와 같다. 또한, 각도에 따른 각 채널의 파워 사이의 비율을 구하면 도 12에 도시된 바와 같다. 이때 3개의 채널 중 큰 2개의 채널 사이의 비율이 점선(1200)으로 도시된다. 실시 예에서는, 3개의 채널 중 가장 파워가 작은 채널을 제외하고, 2개의 채널의 파워 비율을 방향 추정에 이용할 수 있다.

도 13을 참조하면, 도 10a 및 도 10b에 도시된 것처럼, 4채널의 음향 센서 배열인 경우의 방향 추정 알고리즘을 설명한다.

먼저, 3개의 지향성 음향 센서의 채널 중 최소 출력을 갖는 채널 결정한다. 다음으로, 남은 2개 채널 중 큰 출력을 갖는 채널을 결정한다. 그리고 지향성 음향 센서와 무지향성 음향 센서 사이의 위상을 확인한다.

3개의 채널 중 채널 1(ch.1)의 파워 또는 크기가 가장 작은 경우, 나머지 2개의 채널, 즉 채널 2와 채널 3 중 더 큰 채널을 결정한다.

채널 2(ch. 2)가 더 큰 경우, 채널 2(ch. 2)의 출력신호와 무지향성 음향 센서(42)의 출력신호를 합한 출력 신호의 위상이 0보다 큰지 아닌지를 판단한다. 0보다 큰 경우는 90도 내지 120도 사이에 음원의 방향이 존재하고, 그렇지 않은 경우에는 180도 반전된, 270도 내지 300도 사이에 음원의 방향이 존재한다고 추정할 수 있다.

반대로, 채널 3(ch. 3)가 더 큰 경우, 채널 3(ch. 3)의 출력신호와 무지향성 음향 센서(42)의 출력신호를 합한 출력 신호의 위상이 0보다 큰지 아닌지를 판단한다. 0보다 큰 경우는 240도 내지 270도 사이에 음원의 방향이 존재하고, 그렇지 않은 경우에는 180도 반전된, 60도 내지 90도 사이에 음원의 방향이 존재한다고 추정할 수 있다.

유사하게, 3개의 채널 중 채널 2(ch.2)의 파워 또는 크기가 가장 작은 경우, 또는 3개의 채널 중 채널 3(ch.3)의 파워 또는 크기가 가장 작은 경우도 전술한 방법과 동일하게 음원의 방향을 추정할 수 있다.

위와 같은 방법으로 각도 범위에 대한 도메인이 결정된 후, 다음 수학식 1에 따라 음원의 방향 또는 각도를 계산할 수 있다.

[수학식 1]

실시 예에서, 4 채널(1개의 무지향성 음향 센서와 3개의 지향성 음향 센서) 음향 센서의 배열을 이용한 방향 추정은 각도별로 가장 작은 파워를 갖는 채널을 방향 추정 시 각도 계산에서 제외함으로써, 일반 소음 환경에서 지향성 마이크로폰의 사이즈 리젝션(side rejection) 감소에 따른 반사파에 의한 오차를 최소화할 수 있다.

실시 예에 따른 방향 추정 방법을 이용하여 일반 소음 환경에서 음원의 방향을 바꿔가며 테스트를 수행하였고, 그 결과 도 16에 도시된 바와 같이, 지름 3cm 이하로 4채널 마이크로폰 배열을 이용하여 +/- 5도 이내의 작은 오차로 방향을 추정할 수 있다.

다시 도 10c를 참조하면, 일 예시는 중앙에 무지향성 음향 센서(42)를 배치하고, 2개의 지향성 음향 센서들(10a 및 10b)을 서로 수직하게 배치한다. 2개의 지향성 센서가 서로 수직하게 배치되어 있기 때문에, 삼각함수 기반으로 방향을 추정하기 위한 각도를 계산할 수 있다. 이때 3채널 배열의 방향 추정 알고리즘을 도 14를 참조하여 설명한다.

도 14를 참조하면, 2개의 지향성 음향 센서의 파워를 비교하여 더 큰 채널을 결정한다. 2개의 지향성 음향 센서와 무지향성 음향 센서 사이의 위상을 확인한다.

2개의 채널 중 제1 채널(ch.1)이 더 큰 경우, 제1 채널의 출력신호와 무지향성 음향 센서의 출력신호를 합한 출력신호의 위상이 0보다 큰지 아닌지 비교한다. 0보다 큰 경우, 제2 채널(ch.2)의 출력신호와 무지향성 음향 센서의 출력신호를 합한 출력신호의 위상이 0보다 큰지 아닌지 비교한다. 0보다 큰 경우, 0도 내지 45도 사이에 음원의 방향이 존재하고, 그렇지 않은 경우에는 315도와 360도 사이에 음원의 방향이 존재한다고 추정할 수 있다.

제1 채널의 출력신호와 무지향성 음향 센서의 출력신호를 합한 출력신호의 위상이 0보다 작은 경우, 동일하게, 제2 채널(ch.2)의 출력신호와 무지향성 음향 센서의 출력신호를 합한 출력신호의 위상이 0보다 큰지 아닌지 비교한다. 0보다 큰 경우, 135도 내지 180도 사이에 음원의 방향이 존재하고, 그렇지 않은 경우에는 180도와 225도 사이에 음원의 방향이 존재한다고 추정할 수 있다.

유사하게, 2개의 채널 중 제2 채널(ch.2)이 더 큰 경우에도 음원의 방향을 추정할 수 있다.

전술한 방법에 따라 방향의 도메인이 결정된 후에 다음 수학식 2에 따라 각도 또는 방향을 계산할 수 있다.

[수학식 2]

다시 도 10d를 참조하면, 일 예시는 중앙에 무지향성 음향 센서(42)를 배치하고, 4개의 지향성 음향 센서들(10a 내지 10d)을 배치한다. 각각의 지향성 음향 센서들은 서로 마주하게 배치된다. 이러한 배치에서는 마주하는 채널(ch.1 & ch. 3, ch. 2 & ch. 4)이 존재하게 된다. 여기서, 마주하는 채널은 정반대의 위상을 갖게 된다. 하지만, 반대 방향에 장애물이 있는 경우 지향성 마이크로폰의 응답 크기가 약간 작아지게 되고, -45도 내지 45도에서는 채널 1(ch. 1)이 채널 3(ch.3)보다 크게 되고, 135도 내지 225도에서는 채널 3(ch.3)이 채널 1(ch.1)보다 크게 된다. 이러한 특성을 이용하여 5채널 방향 추정 알고리즘을 도 15를 참조하여 설명한다.

도 15를 참조하면, 4개의 채널 중 가장 큰 파워를 갖는 채널 결정한다. 그리고 최대 파워를 갖는 채널과 인접한 두 채널의 파워를 비교한다.

4개의 채널 중 채널 1(ch.1)의 파워가 가장 큰 경우, 인접한 채널인 채널 2(ch.2)와 채널 4(ch. 4)의 파워를 비교한다. 채널 2(ch. 2)의 파워가 더 큰 경우, 0도 내지 45도 사이에 음원의 방향이 존재하고, 그렇지 않은 경우, 315도 내지 360도 사이에 음원의 방향이 존재한다고 추정한다.

유사하게, 4개의 채널 중 채널 2(ch.2)의 파워가 가장 큰 경우, 인접한 채널인 채널 1(ch.1)와 채널 3(ch. 3)의 파워를 비교한다. 채널 1(ch. 1)의 파워가 더 큰 경우, 45도 내지 90도 사이에 음원의 방향이 존재하고, 그렇지 않은 경우, 90도 내지 135도 사이에 음원의 방향이 존재한다고 추정한다.

유사하게, 채널 3(ch. 3) 또는 채널 4(ch. 4)의 파워가 가장 큰 경우에 대해서도 음원의 방향을 추정할 수 있다.

전술한 방법에 따라 방향의 도메인이 결정된 후에 상기 수학식 2에 따라 각도 또는 방향을 계산할 수 있다.

도 10a 내지 10d를 참조하여, 하나의 무지향성 음향 센서와, 2개 내지 4개의 지향성 음향 센서를 배치하는 것을 설명하였지만, 이에 한정되지 않고, 5개 이상을 다양한 형태 또는 다각형 형태로 배치할 수 있음은 물론이다. 또한, 이 경우, 음원의 방향을 추정하는 알고리즘은 지향성 음향 센서의 개수 및 배치에 따라 다양하게 변경될 수 있다. 즉, 다양한 배열에서 지향성 음향 센서의 기하학적인 관계에 따라 음원의 방향을 추정할 수 있다.

도 17은 다른 실시 예에 따른 방향 추정 장치를 포함하는 전자 장치의 개략적인 구조를 보이는 블록도이다.

상술한 방향 추정 장치 다양한 전자 장치에 채용될 수 있다. 이러한 전자 장치는, 예컨대, 스마트폰(smart phone), 휴대폰, 핸드폰, PDA(personal digital assistant), 랩톱(laptop), PC, 다양한 휴대용 기기, 가전제품, 보안 카메라, 의료용 카메라, 자동차, 사물인터넷(IoT;Internet of Things) 기기, 기타 모바일 또는 비모바일 컴퓨팅 장치 일 수 있고, 이에 제한되지 않는다.

전자 장치는 어플리케이션 프로세서(AP: Application Processor)를 더 포함할 수 있으며, 프로세서를 통해 운영 체제 또는 응용 프로그램을 구동하여 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서는 GPU (Graphic Processing Unit) 및/또는 이미지 신호 프로세서(Image Signal Processor)를 더 포함할 수 있다.

도 17을 참조하면, 네트워크 환경(ED00)에서 전자 장치(ED01)는 제1 네트워크(ED98)(근거리 무선 통신 네트워크 등)를 통하여 다른 전자 장치(ED02)와 통신하거나, 또는 제2 네트워크(ED99)(원거리 무선 통신 네트워크 등)를 통하여 또 다른 전자 장치(ED04) 및/또는 서버(ED08)와 통신할 수 있다. 전자 장치(ED01)는 서버(ED08)를 통하여 전자 장치(ED04)와 통신할 수 있다. 전자 장치(ED01)는 프로세서(ED20), 메모리(ED30), 입력 장치(ED50), 음향 출력 장치(ED55), 표시 장치(ED60), 오디오 모듈(ED70), 센서 모듈(ED76), 인터페이스(ED77), 햅틱 모듈(ED79), 카메라 모듈(ED80), 전력 관리 모듈(ED88), 배터리(ED89), 통신 모듈(ED90), 가입자 식별 모듈(ED96), 및/또는 안테나 모듈(ED97)을 포함할 수 있다. 전자 장치(ED01)에는, 이 구성요소들 중 일부(표시 장치(ED60) 등)가 생략되거나, 다른 구성요소가 추가될 수 있다. 이 구성요소들 중 일부는 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(ED76)(지문 센서, 홍채 센서, 조도 센서 등)은 표시 장치(ED60)(디스플레이 등)에 임베디드되어 구현될 수 있다. 또한, 이미지센서(1000)에 분광 기능이 포함될 경우, 센서 모듈의 일부 기능(컬러 센서, 조도 센서)이 별도의 센서 모듈이 아닌 이미지센서(1000) 자체에서 구현될 수 있다.

프로세서(ED20)는, 소프트웨어(프로그램(ED40) 등)를 실행하여 프로세서(ED20)에 연결된 전자 장치(ED01) 중 하나 또는 복수개의 다른 구성요소들(하드웨어, 소프트웨어 구성요소 등)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 데이터 처리 또는 연산의 일부로, 프로세서(ED20)는 다른 구성요소(센서 모듈(ED76), 통신 모듈(ED90) 등)로부터 수신된 명령 및/또는 데이터를 휘발성 메모리(ED32)에 로드하고, 휘발성 메모리(ED32)에 저장된 명령 및/또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(ED34)에 저장할 수 있다. 프로세서(ED20)는 메인 프로세서(ED21)(중앙 처리 장치, 어플리케이션 프로세서 등) 및 이와 독립적으로 또는 함께 운영 가능한 보조 프로세서(ED23)(그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 커뮤니케이션 프로세서 등)를 포함할 수 있다. 보조 프로세서(ED23)는 메인 프로세서(ED21)보다 전력을 작게 사용하고, 특화된 기능을 수행할 수 있다.

보조 프로세서(ED23)는, 메인 프로세서(ED21)가 인액티브 상태(슬립 상태)에 있는 동안 메인 프로세서(ED21)를 대신하여, 또는 메인 프로세서(ED21)가 액티브 상태(어플리케이션 실행 상태)에 있는 동안 메인 프로세서(ED21)와 함께, 전자 장치(ED01)의 구성요소들 중 일부 구성요소(표시 장치(ED60), 센서 모듈(ED76), 통신 모듈(ED90) 등)와 관련된 기능 및/또는 상태를 제어할 수 있다. 보조 프로세서(ED23)(이미지 시그널 프로세서, 커뮤니케이션 프로세서 등)는 기능적으로 관련 있는 다른 구성 요소(카메라 모듈(ED80), 통신 모듈(ED90) 등)의 일부로서 구현될 수도 있다.

메모리(ED30)는, 전자 장치(ED01)의 구성요소(프로세서(ED20), 센서모듈(ED76) 등)가 필요로 하는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(프로그램(ED40) 등) 및, 이와 관련된 명령에 대한 입력 데이터 및/또는 출력 데이터를 포함할 수 있다. 메모리(ED30)는, 휘발성 메모리(ED32) 및/또는 비휘발성 메모리(ED34)를 포함할 수 있다. 비휘발성 메모리(ED32)는 전자 장치(ED01) 내에 고정 장착된 내장 메모리(ED36)과 탈착 가능한 외장 메모리(ED38)를 포함할 수 있다.

프로그램(ED40)은 메모리(ED30)에 소프트웨어로 저장될 수 있으며, 운영 체제(ED42), 미들 웨어(ED44) 및/또는 어플리케이션(ED46)을 포함할 수 있다.

입력 장치(ED50)는, 전자 장치(ED01)의 구성요소(프로세서(ED20) 등)에 사용될 명령 및/또는 데이터를 전자 장치(ED01)의 외부(사용자 등)로부터 수신할 수 있다. 입력 장치(ED50)는, 마이크, 마우스, 키보드, 및/또는 디지털 펜(스타일러스 펜 등)을 포함할 수 있다.

음향 출력 장치(ED55)는 음향 신호를 전자 장치(ED01)의 외부로 출력할 수 있다. 음향 출력 장치(ED55)는, 스피커 및/또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 리시버는 스피커의 일부로 결합되어 있거나 또는 독립된 별도의 장치로 구현될 수 있다.

표시 장치(ED60)는 전자 장치(ED01)의 외부로 정보를 시각적으로 제공할 수 있다. 표시 장치(ED60)는, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 표시 장치(ED60)는 터치를 감지하도록 설정된 터치 회로(Touch Circuitry), 및/또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(압력 센서 등)를 포함할 수 있다.

오디오 모듈(ED70)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 오디오 모듈(ED70)은, 입력 장치(ED50)를 통해 소리를 획득하거나, 음향 출력 장치(ED55), 및/또는 전자 장치(ED01)와 직접 또는 무선으로 연결된 다른 전자 장치(전자 장치(ED02) 등)의 스피커 및/또는 헤드폰을 통해 소리를 출력할 수 있다. 오디오 모듈(ED70)은 실시 예에 따른 방향 추정 장치를 포함할 수 있다.

센서 모듈(ED76)은 전자 장치(ED01)의 작동 상태(전력, 온도 등), 또는 외부의 환경 상태(사용자 상태 등)를 감지하고, 감지된 상태에 대응하는 전기 신호 및/또는 데이터 값을 생성할 수 있다. 센서 모듈(ED76)은, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(Infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 및/또는 조도 센서를 포함할 수 있다.

인터페이스(ED77)는 전자 장치(ED01)가 다른 전자 장치(전자 장치(ED02) 등)와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 또는 복수의 지정된 프로토콜들을 지원할 수 있다. 인터페이스(ED77)는, HDMI(High Definition Multimedia Interface), USB(Universal Serial Bus) 인터페이스, SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다.

연결 단자(ED78)는, 전자 장치(ED01)가 다른 전자 장치(전자 장치(ED02) 등)와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 연결 단자(ED78)는, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 및/또는 오디오 커넥터(헤드폰 커넥터 등)를 포함할 수 있

햅틱 모듈(ED79)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(진동, 움직임 등) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(ED79)은, 모터, 압전 소자, 및/또는 전기 자극 장치를 포함할 수 있다.

카메라 모듈(ED80)은 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(ED80)은 상술한 영상 획득 장치(1000)를 포함할 수 있고, 추가적인 렌즈 어셈블리 이미지 시그널 프로세서들, 및/또는 플래시들을 포함할 수 있다. 카메라 모듈(ED80)에 포함된 렌즈 어셈블리는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다.

전력 관리 모듈(ED88)은 전자 장치(ED01)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈(ED88)은, PMIC(Power Management Integrated Circuit)의 일부로서 구현될 수 있다.

배터리(ED89)는 전자 장치(ED01)의 구성 요소에 전력을 공급할 수 있다. 배터리(ED89)는, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 및/또는 연료 전지를 포함할 수 있다.

통신 모듈(ED90)은 전자 장치(ED01)와 다른 전자 장치(전자 장치(ED02), 전자 장치(ED04), 서버(ED08) 등)간의 직접(유선) 통신 채널 및/또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(ED90)은 프로세서(ED20)(어플리케이션 프로세서 등)와 독립적으로 운영되고, 직접 통신 및/또는 무선 통신을 지원하는 하나 또는 복수의 커뮤니케이션 프로세서들을 포함할 수 있다. 통신 모듈(ED90)은 무선 통신 모듈(ED92)(셀룰러 통신 모듈, 근거리 무선 통신 모듈, GNSS(Global Navigation Satellite System 등) 통신 모듈) 및/또는 유선 통신 모듈(ED94)(LAN(Local Area Network) 통신 모듈, 전력선 통신 모듈 등)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(ED98)(블루투스, WiFi Direct 또는 IrDA(Infrared Data Association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(ED99)(셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(LAN, WAN 등)와 같은 원거리 통신 네트워크)를 통하여 다른 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(단일 칩 등)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(복수 칩들)로 구현될 수 있다. 무선 통신 모듈(ED92)은 가입자 식별 모듈(ED96)에 저장된 가입자 정보(국제 모바일 가입자 식별자(IMSI) 등)를 이용하여 제1 네트워크(ED98) 및/또는 제2 네트워크(ED99)와 같은 통신 네트워크 내에서 전자 장치(ED01)를 확인 및 인증할 수 있다.

안테나 모듈(ED97)은 신호 및/또는 전력을 외부(다른 전자 장치 등)로 송신하거나 외부로부터 수신할 수 있다. 안테나는 기판(PCB 등) 위에 형성된 도전성 패턴으로 이루어진 방사체를 포함할 수 있다. 안테나 모듈(ED97)은 하나 또는 복수의 안테나들을 포함할 수 있다. 복수의 안테나가 포함된 경우, 통신 모듈(ED90)에 의해 복수의 안테나들 중에서 제1 네트워크(ED98) 및/또는 제2 네트워크(ED99)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 안테나가 선택될 수 있다. 선택된 안테나를 통하여 통신 모듈(ED90)과 다른 전자 장치 간에 신호 및/또는 전력이 송신되거나 수신될 수 있다. 안테나 외에 다른 부품(RFIC 등)이 안테나 모듈(ED97)의 일부로 포함될 수 있다.

구성요소들 중 일부는 주변 기기들간 통신 방식(버스, GPIO(General Purpose Input and Output), SPI(Serial Peripheral Interface), MIPI(Mobile Industry Processor Interface) 등)을 통해 서로 연결되고 신호(명령, 데이터 등)를 상호 교환할 수 있다.

명령 또는 데이터는 제2 네트워크(ED99)에 연결된 서버(ED08)를 통해서 전자 장치(ED01)와 외부의 전자 장치(ED04)간에 송신 또는 수신될 수 있다. 다른 전자 장치들(ED02, ED04)은 전자 장치(ED01)와 동일한 또는 다른 종류의 장치일 수 있다. 전자 장치(ED01)에서 실행되는 동작들의 전부 또는 일부는 다른 전자 장치들(ED02, ED04, ED08) 중 하나 또는 복수의 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(ED01)가 어떤 기능이나 서비스를 수행해야 할 때, 기능 또는 서비스를 자체적으로 실행시키는 대신에 하나 또는 복수의 다른 전자 장치들에게 그 기능 또는 그 서비스의 일부 또는 전체를 수행하라고 요청할 수 있다. 요청을 수신한 하나 또는 복수의 다른 전자 장치들은 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(ED01)로 전달할 수 있다. 이를 위하여, 클라우드 컴퓨팅, 분산 컴퓨팅, 및/또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.

도 18 내지 21은 또 다른 실시 예에 따른 방향 추정 장치가 적용될 수 있는 다양한 전자 장치의 응용들을 설명하기 위한 예시 도들이다.

다양한 전자 장치들은 실시 예에 따른 방향 추정 장치를 포함함으로써, 특정 방향에 대한 특정 지향 패턴을 활용하여 음향을 획득하거나, 전달되는 음향의 방향을 탐지하거나, 다양한 지향 패턴의 조합으로 전자장치 주변의 음향을 공간감 있게 획득할 수 있다. 예를 들어, 전자장치는 제1 사용자와 제2 사용자가 전자장치를 중심으로 대화를 하는 경우, 각 사용자가 위치하는 방향을 탐지하거나, 제1 사용자를 지향하는 지향 패턴을 활용하여 제1 사용자의 음성만을 센싱하거나, 제2 사용자를 지향하는 지향 패턴을 활용하여 제2 사용자의 음성만을 센싱하거나, 각 사용자의 음성이 들려오는 방향을 구분하여 동시에 센싱할 수 있다.

전자장치에 탑재되는 방향 추정 장치는 센싱되는 음향의 다양한 주파수들에 대해 균일한 민감도를 갖고, 각 음향 센서들의 간격에 제약이 없어 소형화가 용이하고, 방향 추정 장치의 위치나 주변의 조건에 따라 다양한 지향 패턴들을 선택하거나 조합하여 사용할 수 있어서 운용의 자유도가 높다. 또한, 방향 추정 장치의 제어를 위해서 합 또는 차와 같은 간단한 연산만을 사용하면 되는바, 연산 자원이 보다 효율적으로 사용될 수 있다.

실시예들에 따른 방향 추정 장치는 도 18에 도시된 모바일 폰 또는 스마트 폰에 구비되는 마이크 모듈(1800)이거나, 도 19에 도시된 TV에 구비되는 마이크 모듈(1900)일 수 있다.

또한, 도 20에 도시된 로봇에 구비되는 마이크 모듈(2000)이거나, 도 21에 도시된 차량의 전장에 구비되는 마이크 모듈(2100)일 수 있다.

상술한 방향 추정 장치 및 이를 포함하는 전자 장치가 비록 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.

한편, 상술한 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시예들에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 실시예가 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 실시예에 포함된 것으로 해석되어야 할 것이다.

Claims

무지향성(non-directional) 음향 센서;
상기 무지향성 음향 센서를 둘러싸도록 배치된, 복수의 지향성(directional) 음향 센서; 및
상기 무지향성 음향 센서로부터의 제1 출력신호 및 상기 복수의 지향성 음향 센서들로부터 복수의 제2 출력신호들을 획득하고, 상기 제2 출력신호들 간의 크기 및 상기 제1 출력신호와 상기 제2 출력신호들 중 어느 하나의 제2 출력신호 간의 위상 정보를 비교하여, - 5도 내지 + 5도의 오차범위 내에서 음원의 방향을 추정하는 프로세서를 포함하는, 음향 센서를 이용한 방향 추정 장치.
제 1 항에 있어서,
상기 복수의 지향성 음향 센서는,
상기 무지향성 음향 센서를 중심으로 3개의 지향성 음향 센서가 삼각형 또는 방사형으로 배치되는, 음향 센서를 이용한 방향 추정 장치.
제 1 항에 있어서,
상기 프로세서는,
상기 제2 출력신호들 중 크기가 작은 제2 출력신호를 제외하고, 상기 제1 출력신호와 나머지 제2 출력신호를 합산한 위상 정보를 기초로 상기 음원의 방향을 추정하는, 음향 센서를 이용한 방향 추정 장치.
제 3 항에 있어서,
상기 프로세서는,
상기 나머지 제2 출력신호가 복수 개인 경우, 크기가 최대인 제2 출력신호를 선택하고, 상기 제1 출력신호와 선택된 제2 출력신호를 합산한 위상 정보를 기초로 상기 음원의 방향을 추정하는, 음향 센서를 이용한 방향 추정 장치.
제 1 항에 있어서,
상기 프로세서는,
상기 제1 출력신호와 상기 제2 출력신호들 중 어느 하나의 제2 출력신호 간의 위상 정보가 O보다 큰지 아닌지를 비교하는, 음향 센서를 이용한 방향 추정 장치.
제 1 항에 있어서,
상기 음원의 방향은,
상기 복수의 지향성 센서의 개수 및 배치에 따라 서로 다르게 추정되는, 음향 센서를 이용한 방향 추정 장치.
제 1 항에 있어서,
상기 제2 출력신호들의 지향성 형상은,
상기 음원의 주파수와 관계없이 8자 형상(figure-of-8)인, 음향 센서를 이용한 방향 추정 장치.
제 1 항에 있어서,
상기 프로세서는,
상기 복수의 지향성 음향 센서가 3개인 경우, 다음 수학식 1에 따라 상기 음원의 방향을 계산하는, 음향 센서를 이용한 방향 추정 장치.
[수학식 1]

(여기서, Ci는 임의의 계수이고, ri는 파워 비율임)
제 1 항에 있어서,
상기 프로세서는,
상기 복수의 지향성 음향 센서가 2개인 경우, 2개의 출력신호 중 크기가 큰 제2 출력신호와 상기 무지향성 음향 센서의 제1 출력신호를 합산한 위상 정보가 0보다 큰지 아니지를 비교하는, 음향 센서를 이용한 방향 추정 장치.
제 9 항에 있어서,
상기 프로세서는,
다음 수학식 2에 따라 상기 음원의 방향을 계산하는, 음향 센서를 이용한 방향 추정 장치.
[수학식 2]

(여기서, P1은 최대 파워이고, P2는 최소 파워임)
제 9 항에 있어서,
상기 2개의 지향성 음향 센서는 서로 수직으로 배치되는, 음향 센서를 이용한 방향 추정 장치.
제 1 항에 있어서,
상기 프로세서는,
상기 복수의 지향성 음향 센서가 4개인 경우, 2개의 지향성 음향 센서는 서로 마주하여 배치되는, 음향 센서를 이용한 방향 추정 장치.
제 12 항에 있어서,
상기 프로세서는,
상기 복수의 제2 출력신호들 중 크기가 최대인 제2 출력신호에 상응하는 지향성 음향 센서를 결정하고,
상기 결정된 지향성 음향 센서와 좌우로 인접한 2개의 지향성 음향 센서의 제2 출력신호들의 크기를 비교하는, 음향 센서를 이용한 방향 추정 장치.
제 1 항에 있어서,
상기 무지향성 음향 센서와 상기 복수의 지향성 음향 센서는 지름 3cm 이내에 배치되는, 음향 센서를 이용한 방향 추정 장치.
제 1 항 내지 제 14 항 중 어느 한 항에 따른 방향 추정 장치를 포함한 전자 장치.
무지향성 음향 센서로부터의 제1 출력신호 및 복수의 지향성 음향 센서들로부터 복수의 제2 출력신호들을 획득하는 단계;
상기 제2 출력신호들 간의 크기 및 상기 제1 출력신호와 상기 제2 출력신호들 중 어느 하나의 제2 출력신호 간의 위상 정보를 비교하는 단계; 및
- 5 도 내지 + 5도의 오차범위 내에서 음원의 방향을 추정하는 단계를 포함하는, 음향 센서를 이용한 방향 추정 방법.
제 16 항에 있어서,
상기 복수의 지향성 음향 센서는,
상기 무지향성 음향 센서를 중심으로 3개의 지향성 음향 센서가 삼각형 또는 방사형으로 배치되는, 음향 센서를 이용한 방향 추정 방법.
제 16 항에 있어서,
상기 복수의 지향성 음향 센서는,
2개의 지향성 음향 센서가 서로 수직하여 배치되거나, 4개의 지향성 음향 센서가 서로 마주하여 배치되는, 음향 센서를 이용한 방향 추정 방법.
제 17 항에 있어서,
상기 제2 출력신호들 중 크기가 작은 제2 출력신호를 제외하고, 상기 제1 출력신호와 나머지 제2 출력신호를 합산한 위상 정보를 기초로 상기 음원의 방향을 추정하는, 음향 센서를 이용한 방향 추정 방법.
제 19 항에 있어서,
상기 나머지 제2 출력신호가 복수 개인 경우, 크기가 최대인 제2 출력신호를 선택하고, 상기 제1 출력신호와 선택된 제2 출력신호를 합산한 위상 정보를 기초로 상기 음원의 방향을 추정하는, 음향 센서를 이용한 방향 추정 방법.