KR102180229B1 - 음원 위치 추정장치 및 이를 포함하는 로봇 - Google Patents

음원 위치 추정장치 및 이를 포함하는 로봇 Download PDF

Info

Publication number
KR102180229B1
KR102180229B1 KR1020180085865A KR20180085865A KR102180229B1 KR 102180229 B1 KR102180229 B1 KR 102180229B1 KR 1020180085865 A KR1020180085865 A KR 1020180085865A KR 20180085865 A KR20180085865 A KR 20180085865A KR 102180229 B1 KR102180229 B1 KR 102180229B1
Authority
KR
South Korea
Prior art keywords
sound source
array unit
time difference
receiving units
unit
Prior art date
Application number
KR1020180085865A
Other languages
English (en)
Other versions
KR20200011134A (ko
Inventor
박영진
김희창
황인준
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180085865A priority Critical patent/KR102180229B1/ko
Priority to PCT/KR2018/010808 priority patent/WO2020022555A1/ko
Publication of KR20200011134A publication Critical patent/KR20200011134A/ko
Application granted granted Critical
Publication of KR102180229B1 publication Critical patent/KR102180229B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/26—Position of receiver fixed by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명의 실시 예에 따른 음원 위치 추정장치는 제1 어레이부 및 제2 어레이부를 포함한다. 제1 어레이부는 임의의 음원으로부터의 소리를 감지하고, 제1 중심부 및 제1 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함한다. 제2 어레이부는 음원의 소리를 감지하고, 제2 중심부 및 제2 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함한다. 제1 어레이부와 제2 어레이부는 소정 거리 이격되어 제1 중심부와 제2 중심부가 서로 마주보도록 배치된다. 제1 어레이부의 복수의 수신부들과 제2 어레이부의 복수의 수신부들 각각은, 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리가 동일하지 않는다. 본 발명의 음원 위치 추정장치는 복수의 수신부들이 감지한 소리의 신호를 이용하여 음원의 방위각과 고도각을 산출하고, 방위각과 고도각으로 음원의 위치를 추정한다.

Description

음원 위치 추정장치 및 이를 포함하는 로봇{Apparatus for Estimating Sound Source Localization and Robot Having The Same}
본 발명은 음원 위치 추정장치에 관한 것으로, 보다 상세하게는 음원의 위치를 실시간으로 추정할 수 있는 음원 위치 추정장치 및 이를 포함하는 로봇에 관한 것이다.
종래에 음원의 위치를 추정하는 방법 중 가장 많이 사용되는 방법은 대략 3가지로 분류할 수 있다. 빔포밍 방법(Beamforming method), High-resolution spectral estimation, TDOA(Time Difference Of Arrival) 방법 등이 있다.
빔포밍 방법의 경우 마이크로폰 어레이를 통해 들어오는 신호를 공간필터(spatial filter)를 통해 필터링을 해주는 방법이며, 가장 대표적인 방법으로 DAS(Delay and Sum)가 있다. 공간 필터는 특정 각도(steering angle)에서 들어오는 신호를 증폭하도록 설계되어 있으며, 필터링한 결과값이 크게 나오는 필터의 각도가 음원의 방향이 된다. 각 방향에 대한 신호의 파워를 계산하여 방향을 추정하기 때문에 여러 개의 음원이 존재하는 경우에도 적용이 가능하다. 다만, 마이크로폰의 개수가 성능에 영향을 주기 때문에 많은 개수의 마이크로폰을 사용하는 경우가 아니면 성능이 떨어지는 문제점이 있다.
High-resolution spectral estimation 방법 중에 가장 대표적인 방법으로 MUSIC(Multiple Signal Classification)이 있다. MUSIC 알고리즘의 경우 고유치 해석(Eigenvalue analysis)을 통해, 노이즈 부분 공간(noise subspace)과, 신호 + 노이즈 부분 공간(signal + noise subspace)으로 나누어 신호의 방향을 추정한다. 따라서 노이즈의 영향을 크게 줄일 수 있다. 각 방향에 대한 계산을 하기 때문에 여러 음원이 존재하는 경우에도 적용이 가능하다. 다만, 마이크로폰의 개수보다 음원의 개수가 많은 경우에는 사용할 수 없는 문제점이 있다.
TDOA 방법은 각 마이크로폰에서 들어오는 신호의 시간차를 이용하여 음원의 위치를 추정한다. 고정된 마이크로폰을 통해서 들어오는 시간차를 알게 되면 마이크로폰의 배치와 음속을 이용하여 역으로 음원의 위치를 추정하는 방법이다. 단순히 신호의 시간차만 계산하면 되기 때문에 실시간으로 구동하기 용이하다. 하지만, 3차원 공간에서 정확히 음원의 위치를 추정하기 위해서는 최소한 4개의 서로 다른 평면에 위치하는 마이크로폰을 필요로 하고, 한번에 하나의 신호만을 찾을 수 있기 때문에 여러 음원이 존재하는 경우에는 가장 주요한 신호를 갖는 음원의 위치만을 추정할 수 있는 문제점이 있다.
이상문, "채널간 시간차 궤적을 이용한 3차원 방향 검지 기법" 한국과학기술원 박사학위논문, 2014. A. Karbasi and A. Sugiyama, "A new DOA estimation method using a circular microphone array," in Proc. Eur. Signal Process. Conf. (EUSIPCO), 2007, pp. 778-782
본 발명의 목적은 3차원에서의 음원의 위치를 추정할 수 있고, 적은 계산량 및 실시간으로 음원의 위치를 추정할 수 있으며, 주위의 소음 및 기기(예로 로봇)에 장착될 경우 기기 내부 소음과 진동에 강건한 음원 위치 추정장치를 제공하는 것이다.
또한, 본 발명의 다른 목적은 음원의 위치를 추정하는 로봇이 음원의 위치를 실시간으로 정확하게 파악함으로써 음향정보로부터 음원의 위치를 추정하는 것이 가능한 로봇을 제공하는 것이다.
다만, 본 발명의 목적은 상기 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
본 발명의 목적을 달성하기 위하여, 본 발명의 실시 예에 따른 음원 위치 추정장치는 제1 어레이부 및 제2 어레이부를 포함한다. 제1 어레이부는 임의의 음원으로부터의 소리를 감지하고, 제1 중심부 및 제1 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함한다. 제2 어레이부는 음원의 소리를 감지하고, 제2 중심부 및 제2 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함한다. 제1 어레이부와 제2 어레이부는 소정 거리 이격되어 제1 중심부와 제2 중심부가 서로 마주보도록 배치된다. 제1 어레이부의 복수의 수신부들과 제2 어레이부의 복수의 수신부들 각각은, 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리가 동일하지 않는다. 본 발명의 음원 위치 추정장치는 복수의 수신부들이 감지한 소리의 신호를 이용하여 음원의 방위각과 고도각을 산출하고, 방위각과 고도각으로 음원의 위치를 추정한다.
일 실시 예에 의하면, 제1 어레이부의 복수의 수신부들 중 하나의 수신부가 제1 수신부이고, 제2 어레이부의 복수의 수신부들 중 하나의 수신부가 제2 수신부이고, 제1 수신부와 제2 수신부는 서로 마주보는 위치에 배치된다. 제1 수신부와 제2 수신부 사이의 시간차를 이용하여 방위각을 산출한다. 시간차는 제1 수신부로 들어오는 소리의 신호와 제2 수신부로 들어오는 소리의 신호가 수신된 시간의 차이다.
일 실시 예에 의하면, 시간차는 아래의 수학식 1이고, 수학식 1로부터 방위각을 산출한다.
[수학식 1]
Figure 112018073030321-pat00001
(
Figure 112018073030321-pat00002
: 시간차,
Figure 112018073030321-pat00003
: 제1 수신부와 제2 수신부 사이의 경로차, a는 제1 어레이부와 제2 어레이부 사이의 거리, c: 음속, azi: 방위각)
일 실시 예에 의하면, 제1 어레이부의 복수의 수신부들 중 하나의 수신부가 제1 수신부이고, 제2 어레이부의 복수의 수신부들 중 하나의 수신부가 제2 수신부이다. 제1 수신부와 제2 어레이부의 복수의 수신부들 사이의 각각의 시간차를 이용하거나 또는, 제2 수신부와 제1 어레이부의 복수의 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출한다. 시간차는 제1 수신부로 들어오는 소리의 신호와 제2 수신부로 들어오는 소리의 신호가 수신된 시간의 차이다.
일 실시 예에 의하면, 시간차 함수는 아래 수학식 2이다.
[수학식 2]
Figure 112018073030321-pat00004
(
Figure 112018073030321-pat00005
: 시간차 함수,
Figure 112018073030321-pat00006
은 제1 어레이부의 제1 중심부와 제1 어레이부의 복수의 수신부들 중 하나의 수신부인 i번째 수신부를 연결하는 선과, zx 평면이 이루는 각도,
Figure 112018073030321-pat00007
는 제2 어레이부의 제2 중심부와 제2 어레이부의 복수의 수신부들 중 하나의 수신부인 j번째 수신부를 연결하는 선과, zx 평면이 이루는 각도,
Figure 112018073030321-pat00008
,
Figure 112018073030321-pat00009
,
Figure 112018073030321-pat00010
, r: 제1 어레이부의 제1 중심부와 제1 수신부 사이의 거리 또는 제2 어레이부의 제2 중심부와 제2 수신부 사이의 거리, azi: 방위각, ele: 고도각)
일 실시 예에 의하면, 시간차 함수로부터 아래의 수학식 3이 산출되고, 수학식 3으로부터 고도각(ele)을 산출한다.
[수학식 3]
Figure 112018073030321-pat00011
일 실시 예에 의하면, 시간차 함수로부터 아래의 수학식 4가 산출되고, 수학식 4로부터 방위각(azi)을 산출한다.
[수학식 4]
Figure 112018073030321-pat00012
(Amplitude=진폭=
Figure 112018073030321-pat00013
)
일 실시 예에 의하면, 방위각에 따른 음원의 위치가 제1 중심부보다 제2 중심부에 더 가까운 경우에는, 제1 수신부와 제2 어레이부의 복수의 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출한다. 방위각에 따른 음원의 위치가 제2 중심부보다 제1 중심부에 더 가까운 경우에는, 제2 수신부와 제1 어레이부의 복수의 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출한다.
일 실시 예에 의하면, 제1 어레이부의 복수의 수신부들 및 제2 어레이부의 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부를 제외한 나머지 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출한다. 시간차는 하나의 수신부로 들어오는 소리의 신호와 나머지 수신부들 중 하나의 수신부로 들어오는 소리의 신호가 수신된 시간의 차이다.
일 실시 예에 의하면, 시간차 함수는 아래 수학식 5이다.
[수학식 5]
Figure 112018073030321-pat00014
(
Figure 112018073030321-pat00015
: 시간차 함수,
Figure 112018073030321-pat00016
: xyz 축상에서 i번째 수신부의 x축 좌표값,
Figure 112018073030321-pat00017
: xyz 축상에서 j번째 수신부의 x축 좌표값,
Figure 112018073030321-pat00018
: xyz 축상에서 i번째 수신부의 y축 좌표값,
Figure 112018073030321-pat00019
: xyz 축상에서 j번째 수신부의 y축 좌표값,
Figure 112018073030321-pat00020
: xyz 축상에서 i번째 수신부의 z축 좌표값,
Figure 112018073030321-pat00021
: xyz 축상에서 j번째 수신부의 z축 좌표값,
Figure 112018073030321-pat00022
,
Figure 112018073030321-pat00023
,
Figure 112018073030321-pat00024
, azi: 방위각, ele: 고도각)
일 실시 예에 의하면, 시간차 함수로부터 아래의 수학식 6이 산출되고, 수학식 6으로부터 고도각(ele)을 산출한다.
[수학식 6]
Figure 112018073030321-pat00025
일 실시 예에 의하면, 시간차 함수로부터 아래 수학식 7이 산출되고, 수학식 7로부터 방위각(azi)을 산출한다.
[수학식 7]
Figure 112018073030321-pat00026
(
Figure 112018073030321-pat00027
: 시간차 함수의 평균값)
상술한 본 발명의 실시 예들에 따른 음원 위치 추정장치는 로봇에 적용된다. 로봇은 본 발명의 음원 위치 추정장치를 포함하고, 이를 이용하여 음원의 위치를 추정한다.
상술한 음원 위치 추정장치가 장착된 로봇에 있어서, 소정의 모의 음원을 로봇 주위에 위치를 달리하여 배치시켜 각 위치에서의 시간차를 음원 위치 추정장치가 측정하고, 측정된 시간차를 로봇 또는 음원 위치 추정장치의 저장부에 저장한다. 그 후, 음원 위치 추정장치가 음원의 위치를 추정할 때, 저장부에 저장된 시간차와 음원 위치 추정장치에서 계산된 음원의 시간차를 비교하여 음원의 위치를 추정한다.
본 발명의 실시 예에 따른 음원 위치 추정장치는 3차원에서의 음원의 위치를 추정할 수 있고, 적은 계산량 및 실시간으로 음원의 위치를 추정할 수 있으며, 주위의 소음으로부터 강건할 수 있다.
또한, 본 발명의 실시 예에 따른 음원 위치 추정장치가 포함된 로봇은 음원의 위치를 실시간으로 정확하게 파악함으로써 음향정보로부터 음원의 위치를 추정할 수 있다.
다만, 본 발명의 효과는 상기 효과들로 한정되는 것은 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 음원 위치 추정장치를 개략적으로 도시한 도면이다.
도 2는 도 1의 제1 어레이부와 제2 어레이부를 xyz축 상에서 나타낸 도면이다.
도 3은 도 1의 제1 어레이부와 제2 어레이부를 xz축 상에서 나타낸 도면이다.
도 4는 도 1의 제1 어레이부와 제2 어레이부를 yz축 상에서 나타낸 도면이다.
도 5는 도 1의 제1 어레이부의 수신부가 8개인 경우에, 수신부들의 배치관계를 나타내는 도면이다.
도 6은 도 1의 제1 어레이부의 수신부가 3개인 경우에, 수신부들의 배치관계를 나타내는 도면이다.
도 7은 도 1의 제1 어레이부의 수신부가 4개인 경우에, 수신부들의 배치관계를 나타내는 도면이다.
도 8은 양 이간 극좌표계에서의 방위각과 고도각을 나타내는 도면이다.
도 9는 GCC 방법을 통해 시간차를 구하는 방법을 도식화한 도면이다.
도 10은 로봇(휴보)의 머리부분을 나타내는 도면이다.
도 11은 방위각 변화에 따른 시간차 그래프이다.
도 12는 방위각 변화에 따른 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차 그래프이다.
도 13은 고도각 변화에 따른 시간차 궤적을 나타내는 그래프이다.
도 14는 시간차 궤적의 위상과 고도각을 나타내는 그래프이다.
도 15는 본 발명의 음원 위치 추정장치를 휴머노이드 로봇(휴보)에 장착한 상태의 사진이다.
도 16은 방위각 변화에 따른 시간차 궤적을 나타내는 그래프이다.
도 17은 방위각 변화에 따른 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차 그래프이다.
도 18은 고도각 변화에 따른 시간차 궤적을 나타내는 그래프이다.
도 19는 고도각 변화에 따른 추정 고도각을 나타내는 그래프이다.
이하 첨부한 도면들을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명한다. 본 발명의 구성요소 중 종래기술에 의하여 통상의 기술자가 명확하게 파악할 수 있고 용이하게 재현할 수 있는 것에 관하여는 본 발명의 요지를 흐리지 않기 위하여 그 구체적인 설명을 생략하도록 한다.
이하에서는, 본 발명에 따른 음원 위치 추정장치 및 이를 포함하는 로봇에 대하여 설명하도록 한다.
도 1은 본 발명의 실시 예에 따른 음원 위치 추정장치를 개략적으로 도시한 도면이고, 도 2는 도 1의 제1 어레이부와 제2 어레이부를 xyz축 상에서 나타낸 도면이고, 도 3은 도 1의 제1 어레이부와 제2 어레이부를 xz축 상에서 나타낸 도면이고, 도 4는 도 1의 제1 어레이부와 제2 어레이부를 yz축 상에서 나타낸 도면이다. 여기에서, x축은 좌우방향 혹은 폭방향으로, y축은 전후방향 혹은 길이방향으로, 그리고 z축은 상하방향 혹은 높이방향으로 정한다.
도 1 내지 도 4를 참조하면, 본 발명의 실시 예에 따른 음원 위치 추정장치는 제1 어레이부(100) 및 제2 어레이부(200)를 포함한다. 이하 구체적으로 각 구성요소들을 설명하도록 한다.
<제1 어레이부(100)>
제1 어레이부(100)는 임의의 음원으로부터의 소리를 감지하고, 제1 중심부(130) 및 상기 제1 중심부(130)로부터 동일한 거리(r1)에 각각 배치되는 복수의 수신부들(110~121)을 포함한다.
제1 어레이부(100)는 제1 중심부(130)와 복수의 수신부(110~121)을 포함한다. 제1 어레이부(100)는 복수의 수신부(110~121)들을 사용하여 임의의 음원으로부터 소리를 감지할 수 있다.
제1 중심부(130)는 제1 어레이부(100)의 중심을 말한다. 구체적으로 도 4에 도시된 바와 같이 yz축(yz평면) 상에서 도시된 제1 어레이부(100)의 중심을 말한다.
제1 어레이부(100)의 복수의 수신부(110~121)는 복수의 마이크로폰(microphone)일 수 있다. 마이크로폰은 음파 또는 초음파를 받아서 그 진동에 따른 전기신호를 발생하는 장치를 말한다. 본 발명의 실시 예에 따른 제1 어레이부(100)의 수신부(110~121)는 마이크로폰으로 한정되는 것은 아니며, 임의의 음원으로부터 소리를 감지할 수 있는 다양한 장치가 사용될 수 있다.
도 2에서 제1 어레이부(100)의 복수의 수신부(110~121)가 12개 배치되어 있지만, 반드시 12개에 한정되는 것은 아니며, 본 발명의 실시 예에 따라 다양한 개수가 사용 및 배치될 수 있다. 구체적으로 복수의 수신부는 본 발명의 실시 예에 따라 3개 이상 사용 및 배치될 수 있다.
도 5는 도 1의 제1 어레이부의 수신부가 8개인 경우에, 수신부들의 배치관계를 나타내는 도면이고, 도 6은 도 1의 제1 어레이부의 수신부가 3개인 경우에, 수신부들의 배치관계를 나타내는 도면이고, 도 7은 도 1의 제1 어레이부의 수신부가 4개인 경우에, 수신부들의 배치관계를 나타내는 도면이다.
도 5 내지 도 7을 참조하면, 도 5는 수신부(110~117)가 8개인 경우이고, 도 6은 수신부(110~112)가 3개인 경우이고, 도 7은 수신부(110~113)가 4개인 경우이다. 도 5, 도 6 및 도 7 각각에서, (a)는 수신부들(110~117) 각각이 제1 중심부(130)로부터 동일한 거리(r1)에 배치되고, 수신부들(110~117) 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)가 동일한 경우를 나타내는 도면이고, (b)는 수신부들(110~117) 각각이 제1 중심부(130)로부터 동일한 거리(r1)에 배치되지만, 수신부들(110~117) 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)가 동일하지 않은 경우를 나타내는 도면이다.
도 5, 도 6 및 도 7 각각에서, (b)의 경우, 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)가 동일하지 않은 경우는, 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)가 모두 동일하지 않은 경우를 포함하고, 또한, 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)가 일부는 동일하고, 일부는 동일하지 않은 경우도 포함한다.
본 발명의 실시 예에 따라, 복수의 수신부들 각각은 제1 중심부(130)로부터 동일한 거리(r1)에 배치될 수 있다.
복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)는 동일할 수 있고, 동일하지 않을 수도 있다. 구체적으로 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)는 일정할 수 있고, 일정하지 않을 수도 있다. 즉 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)는 같을 수도 있고, 다를 수도 있다.
복수의 수신부들의 배치관계를 정리하면, 복수의 수신부들 각각은 제1 중심부(130)로부터 동일한 거리(r1)에 배치될 수 있다. 다만, 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)는 동일할 수 있고, 동일하지 않을 수도 있다.
본 발명의 실시 예에 따른 제1 어레이부(100)의 복수의 수신부들 각각은 제1 중심부(130)로부터 동일한 거리(r1)에 배치될 경우, 음원의 위치를 보다 정확하게 추정할 수 있다.
<제2 어레이부(200)>
제2 어레이부(200)는 임의의 음원으로부터의 소리를 감지하고, 제2 중심부(230) 및 상기 제2 중심부(230)로부터 동일한 거리(r2)에 각각 배치되는 복수의 수신부들(210~221)을 포함한다.
제2 어레이부(200)는 제2 중심부(230)와 복수의 수신부(210~221)을 포함한다. 제2 어레이부(200)는 복수의 수신부(210-221)들을 사용하여 임의의 음원으로부터 소리를 감지할 수 있다.
제2 중심부(230)는 제2 어레이부(200)의 중심을 말한다. 구체적으로 도 4에 도시된 제1 어레이부(100)와 마찬가지로, yz축(yz평면) 상에서 도시된 제2 어레이부(200)의 중심을 말한다.
제2 어레이부(200)의 복수의 수신부(210-221)는 복수의 마이크로폰일 수 있다. 본 발명의 실시 예에 따른 제2 어레이부(200)의 수신부(210-221)는 마이크로폰으로 한정되는 것은 아니며, 임의의 음원으로부터 소리를 감지할 수 있는 다양한 장치가 사용될 수 있다.
도 2에서 제2 어레이부(200)의 복수의 수신부(210~221)가 12개 배치되어 있지만, 반드시 12개에 한정되는 것은 아니며, 본 발명의 실시 예에 따라 다양한 개수가 사용 및 배치될 수 있다. 구체적으로 복수의 수신부는 본 발명의 실시 예에 따라 3개 이상 사용 및 배치될 수 있다.
도 5, 도 6 및 도 7에 도시된 제1 어레이부(100)의 실시 예들은 제2 어레이부(200)에서도 동일하게 적용될 수 있다. 따라서, 제2 어레이부(200)에서는 이에 대한 설명을 생략하기로 한다.
<제1 어레이부(100)와 제2 어레이부(200)의 배치>
본 발명의 실시 예에 따라, 제1 어레이부(100)와 제2 어레이부(200)는 소정 거리(a) 이격되어 배치될 수 있다. 제1 어레이부(100)의 제1 중심부(130)와 제2 어레이부(200)의 제2 중심부(230)는 소정 거리(a) 이격되고, 서로 마주보도록 배치될 수 있다. 도 2를 참조하여 설명하면, 제1 중심부(130)와 제2 중심부(230)는 서로 마주보도록 x축 상에 배치될 수 있다.
본 발명의 실시 예에 따라, 제1 어레이부(100)의 복수의 수신부들과 제2 어레이부(200)의 복수의 수신부들은 각각 서로 마주보는 위치에 배치될 수 있고, 서로 마주보는 위치에 배치되지 않을 수도 있다.
제1 어레이부(100)의 복수의 수신부들과 제2 어레이부(200)의 복수의 수신부들 각각이 서로 마주보는 위치에 배치된다는 것을 xyz축 상에서 좌표값을 예로 들어 설명하면 다음과 같다. 제1 어레이부(100)의 복수의 수신부들 중 하나가 제1 수신부(110)이고, 제2 어레이부(200)의 복수의 수신부들 중 하나가 제2 수신부(210)일 경우, 제1 수신부(110)와 제2 수신부(210)가 서로 마주보는 위치에 배치된다는 의미는, 제1 수신부(110)의 좌표값이 (p,q,r)이고, 제2 수신부(210)의 좌표값이 (-p,q,r)일 때, 제1 수신부(110)의 p값과 제2 수신부(210)의 p값이 같은 경우를 말한다. q, r 값도 마찬가지로 설명될 수 있다.
제1 어레이부(100)의 복수의 수신부들과 제2 어레이부(200)의 복수의 수신부들 각각이 서로 마주보는 위치에 배치되지 않는다는 것을 xyz축 상에서 좌표값을 예로 들어 설명하면 다음과 같다. 제1 어레이부(100)의 복수의 수신부들 중 하나가 제1 수신부(110)이고, 제2 어레이부(200)의 복수의 수신부들 중 하나가 제2 수신부(210)일 경우, 제1 수신부(110)와 제2 수신부(210)가 서로 마주보는 위치에 배치되지 않는다는 의미는, 제1 수신부(110)의 좌표값이 (p,q,r)이고, 제2 수신부(210)의 좌표값이 (-p,q,r)일 때, 제1 수신부(110)의 p값과 제2 수신부(210)의 p값이 같지 않은 경우를 말한다. q, r 값도 마찬가지로 설명될 수 있다. 이는 p, q, r 값 중 어느 하나가 다른 경우를 포함한다.
본 발명의 실시 예에 따라, 제1 어레이부(100)의 제1 중심부(130)와 복수의 수신부들 중 하나의 수신부 사이의 거리(r1)와, 제2 어레이부(200)의 제2 중심부(230)와 복수의 수신부들 중 하나의 수신부 사이의 거리(r2)는 서로 다를 수 있다. r1과 r2가 서로 다르다는 것을 구체적으로 설명하면, 제1 어레이부(100)의 복수의 수신부들 중 하나가 제1 수신부(110)이고, 제2 어레이부(200)의 복수의 수신부들 중 하나가 제2 수신부(210)일 경우, 제1 수신부(110)와 제2 수신부(210)가 서로 마주보는 위치에 배치되지 않는다는 의미이다.
본 발명의 실시 예에 따라, 제1 어레이부(100)의 복수의 수신부들의 개수와 제2 어레이부(200)의 복수의 수신부들의 개수는 서로 다를 수 있다.
본 발명의 실시 예에 따른 음원 위치 추정장치는 음원의 방위각과 고도각을 산출하여 음원의 위치를 추정할 수 있다. 구체적으로 본 발명의 음원 위치 추정장치는 복수의 수신부들이 감지한 소리의 신호를 이용하여 음원의 방위각과 고도각을 산출하고, 상기 방위각과 상기 고도각으로 상기 음원의 위치를 추정할 수 있다.
일반적인 극좌표계를 기준으로 방위각과 고도각을 설명하면, 방위각(azimuth)은 지표 위에 물체의 위치를 나타내는 좌표 가운데 하나를 말한다. 진북을 기준으로 시계방향으로 수평각을 표시하며, 진남이나 자북을 기준으로 하기도 한다. 지평좌표(Horizontal coordinate)에서 물체의 위치를 나타내고 고도와 함께 사용된다. 고도(고도각, altitude, elevation)은 지평선을 기준으로 하여 측정한 물체의 높이를 각도로 나타낸 것을 말한다.
본 발명에서의 방위각과 고도각은 일반적인 극좌표계를 기준으로 정의하는 것이 아니라, 양 이간 극좌표계(Inter aural polar coordinate)를 기준으로 정의한다. 양 이간 극좌표계는 도 8에 도시되어 있다.
도 8은 양 이간 극좌표계에서의 방위각과 고도각을 나타내는 도면이다.
도 8을 참조하면, 방위각(
Figure 112018073030321-pat00028
)은 y축을 기준으로 x축의 양의 방향(오른쪽 방향)으로 갈수록 양의 방향으로 커지고, x축의 음의 방향(왼쪽 방향)으로 갈수록 음의 방향으로 커지며, 그 값은 -90도 ~ 90도 사이의 값을 갖는다.
고도각(
Figure 112018073030321-pat00029
)은 음원에서 x축에 내린 수선과 y축 사이의 각도로서 -180도 ~ 180도의 값을 갖는다. 양 이간 극좌표계에서는 방위각이 90도에 가까울 때에는 고도각이 변해도 가리키는 위치 자체는 크게 변하지 않는다.
본 발명의 실시 예에 따른 음원 위치 추정장치는 제1 어레이부(100)의 복수의 수신부들 및/또는 제2 어레이부(200)의 복수의 수신부들 사이의 각각의 시간차를 이용하여 음원의 방위각과 고도각을 구할 수 있다.
시간차는 제1 어레이부(100)의 복수의 수신부들 중 하나의 수신부로 들어오는 소리의 신호와, 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부로 들어오는 소리의 신호가 수신된 시간의 차를 말한다.
또한, 시간차는 제1 어레이부(100)의 복수의 수신부들 중 하나의 수신부로 들어오는 소리의 신호와, 상기 하나의 수신부를 제외한 나머지 수신부들 중 하나의 수신부로 들어오는 소리의 신호가 수신된 시간의 차를 말한다. 이는 제2 어레이부(200)에도 동일하게 적용될 수 있다.
또한, 시간차는 제1 어레이부(100)의 복수의 수신부들 및 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부로 들어오는 소리의 신호와, 상기 하나의 수신부를 제외한 나머지 수신부들 중 하나의 수신부로 들어오는 소리의 신호가 수신된 시간의 차를 말한다.
이하에서는 각 수신부에서의 시간차를 수식적으로 구하기로 한다.
<수학식>
제1 어레이부(100)의 복수의 수신부들 및/또는 제2 어레이부(200)의 복수의 수신부들에서의 각각의 시간차를 수식적으로 구하기 위해서 음원이 본 발명의 음원 위치 추정장치에서 충분히 멀리 떨어져 있어 각 마이크로폰으로 전달되는 음파는 모두 평행하게 들어오는 평면파(plane wave)라고 가정할 수 있다.
도 2와 같이 본 발명의 실시 예에 따라, 자유장(free field)에 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221)이 배치되어 있음을 고려하여 수식을 전개할 수 있다.
제1 어레이부(100)의 복수의 수신부들(110~121) 및 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부(예로, 110)와, 상기 하나의 수신부(예로, 110)를 제외한 나머지 수신부들(111~121, 210~221) 사이의 각각의 소리의 신호의 시간차는 음원으로부터 두 수신부 사이의 경로차를 통해 계산할 수 있다. 이때 각 수신부로 들어오는 음파는 모두 평행하게 들어온다고 가정하므로 두 수신부 사이의 좌표값(상대좌표, 상대적 위치, 상대벡터)을 통해 경로차를 계산할 수 있다. 이를 이용해 본 발명의 실시 예에 따라, 제1 어레이부(100)의 복수의 수신부들(110~121) 및 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 i번째 수신부와 상기 i번째 수신부를 제외한 나머지 수신부들 중 하나의 수신부인 j번째 수신부 사이의 경로차를 구하면 아래 수학식 1과 같이 정리될 수 있다.
[수학식 1]
Figure 112018073030321-pat00030
(1)
Figure 112018073030321-pat00031
(2)
수학식 1에서, azi는 방위각이고, ele는 고도각이고,
Figure 112018073030321-pat00032
는 xyz 축상에서 i번째 수신부의 x축 좌표값이고,
Figure 112018073030321-pat00033
는 xyz 축상에서 j번째 수신부의 x축 좌표값이고,
Figure 112018073030321-pat00034
는 xyz 축상에서 i번째 수신부의 y축 좌표값이고,
Figure 112018073030321-pat00035
는 xyz 축상에서 j번째 수신부의 y축 좌표값이고,
Figure 112018073030321-pat00036
는 xyz 축상에서 i번째 수신부의 z축 좌표값이고,
Figure 112018073030321-pat00037
는 xyz 축상에서 j번째 수신부의 z축 좌표값이다.
Figure 112018073030321-pat00038
,
Figure 112018073030321-pat00039
및
Figure 112018073030321-pat00040
는 후술하기로 한다.
수학식 1의 경로차를 음속(c)으로 나누면 아래 수학식 2와 같이, 제1 어레이부(100)의 복수의 수신부들 및 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부인 i번째 수신부와 상기 i번째 수신부를 제외한 나머지 수신부들 중 하나의 수신부인 j번째 수신부 사이의 시간차(
Figure 112018073030321-pat00041
)를 구할 수 있다.
[수학식 2]
Figure 112018073030321-pat00042
본 발명의 실시 예에 따른 음원 위치 추정장치의 고도각을 구하기 위해서는 시간차 함수를 알아야 한다. 시간차 함수는 수학식 2를 이용하여 구할 수 있다.
수학식 2의 시간차 수식을 이용하여, 제1 어레이부(100)의 복수의 수신부들 및 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부를 제외한 나머지 수신부들 사이의 각각의 시간차를 구하여 시간차 함수를 산출할 수 있다. 수학식 2를 간단하게 정리하면 아래 수학식 3과 같이 시간차 함수의 수식(
Figure 112018073030321-pat00043
)을 구할 수 있다.
[수학식 3]
Figure 112018073030321-pat00044
수학식 1의 (2), 수학식 2 및 수학식 3에서
Figure 112018073030321-pat00045
,
Figure 112018073030321-pat00046
및
Figure 112018073030321-pat00047
는 각각 다음과 같이 정리될 수 있다.
Figure 112018073030321-pat00048
Figure 112018073030321-pat00049
Figure 112018073030321-pat00050
Figure 112018073030321-pat00051
는 시간차 함수의 평균값이고, 방위각(azi)에 의해 결정된다. 즉, 방위각
Figure 112018073030321-pat00052
으로 산출할 수 있다.
Figure 112018073030321-pat00053
및
Figure 112018073030321-pat00054
두 값의 비로 고도각을 결정할 수 있다. 두 값의 비는 아래와 같이 수학식 4와 같이 정리될 수 있다.
[수학식 4]
Figure 112018073030321-pat00055
따라서,
Figure 112018073030321-pat00056
와
Figure 112018073030321-pat00057
의 값 자체는 방위각(azi)과 고도각(ele)에 의해 영향을 받지만, 두 값의 비는 항상 고도각에 의해서 결정된다. 이를 역으로 계산하면 제1 어레이부(100)의 복수의 수신부들 및/또는 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부와 나머지 수신부들 사이의 시간차 정보를 이용하여 음원의 고도각과 방위각을 계산할 수 있는 것이다.
수학식 1 내지 수학식 4를 이용하면, 본 발명의 실시 예에 따른 음원 위치 추정장치는 소정 거리(a) 이격되어 배치된 제1 어레이부(100)와 제2 어레이부(200)를 포함하는 장치뿐만 아니라, 제1 어레이부(100)만으로 또는 제2 어레이부(200)만으로 구성된 장치에서도 음원의 위치를 추정할 수 있다. 구체적으로 제1 어레이부(100) 만으로 구성된 장치에서, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 i번째 수신부와 상기 i번째 수신부를 제외한 나머지 수신부들 중 하나의 수신부인 j번째 수신부 사이의 경로차 및 시간차를 구할 수 있고, 제1 어레이부(100)의 복수의 수신부들 중 하나의 수신부와 상기 하나의 수신부를 제외한 나머지 수신부들 사이의 각각의 시간차를 구하여 시간차 함수를 산출할 수 있기 때문이다. 이는 제2 어레이부(200) 만으로 구성된 장치에서도 동일하게 적용될 수 있다.
수학식 1 내지 수학식 4는 제1 어레이부(100)의 복수의 수신부들 및 제2 어레이부(200)의 복수의 수신부들을 xyz 축상의 좌표값으로 나타내었지만, 상기 수학식들은 수신부들 사이의 거리와 각도로 나타낼 수도 있다. 이에 대하여 설명하도록 한다.
수학식 1 내지 수학식 4에서,
Figure 112018073030321-pat00058
,
Figure 112018073030321-pat00059
,
Figure 112018073030321-pat00060
,
Figure 112018073030321-pat00061
,
Figure 112018073030321-pat00062
,
Figure 112018073030321-pat00063
를 대입하여 수식을 전개할 수 있다. 여기서, a는 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리이고, r은 어레이부의 중심부와 수신부 사이의 거리, 예를 들면, 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 i번째 수신부 사이의 거리이고,
Figure 112018073030321-pat00064
은 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 i번째 수신부를 연결하는 선과 zx 평면이 이루는 각도이고,
Figure 112018073030321-pat00065
는 제2 어레이부(200)의 제2 중심부(230)와 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 j번째 수신부를 연결하는 선과 zx 평면이 이루는 각도이다. 수학식 1 내지 수학식 4에 상술한 거리와 각도를 대입하여 수식을 전개하면 다음과 같다.
제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부와 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부의 소리의 신호 사이의 시간차는 음원으로부터 두 수신부 사이의 경로차를 통해 계산할 수 있다. 이때 각 수신부로 들어오는 음파는 모두 평행하게 들어온다고 가정하므로 두 수신부 사이의 거리와 각도를 통해 경로차를 계산할 수 있다. 이를 이용해 본 발명의 실시 예에 따라, 제1 어레이부(100)의 복수의 수신부(110~121)들 중 하나의 수신부인 i번째 수신부와 제2 어레이부(200)의 복수의 수신부(210~221)들 중 하나의 수신부인 j번째 수신부 사이의 경로차를 구하면 아래 수학식 5와 같이 정리될 수 있다. 수학식 5는 수학식 1에 상술한 거리와 각도를 대입하여 수식을 전개한 것이다.
[수학식 5]
Figure 112018073030321-pat00066
수학식 5에서
Figure 112018073030321-pat00067
는 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 i번째 수신부와 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 j번째 수신부 사이의 경로차이다. a는 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리이고,
Figure 112018073030321-pat00068
,
Figure 112018073030321-pat00069
이므로, 수학식 5에서 i는 제1 어레이부(100)의 수신부를, j는 제2 어레이부(200)의 수신부를 나타내는 것으로 볼 수 있다.
수학식 5의 경로차를 음속(c)으로 나누면 아래 수학식 6과 같이, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 i번째 수신부를 기준으로 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 j번째 수신부 사이의 시간차, 또는 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부를 기준으로 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부 사이의 시간차를 구할 수 있다. 수학식 6은 수학식 2에 상술한 거리와 각도를 대입하여 수식을 전개한 것이다.
[수학식 6]
Figure 112018073030321-pat00070
본 발명의 실시 예에 따른 음원 위치 추정장치의 고도각을 구하기 위해서는 시간차 함수의 매개변수를 알아야 한다. 시간차 함수는 수학식 6을 이용하여 구할 수 있다.
수학식 6의 시간차 수식을 이용하여, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부를 기준으로 제2 어레이부(200)의 복수의 수신부들(210~221) 사이의 각각의 시간차를 구하여 시간차 함수를 산출할 수 있고, 또는 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부를 기준으로 제1 어레이부(100)의 복수의 수신부들(110~121) 사이의 각각의 시간차를 구하여 시간차 함수를 산출할 수 있다.
수학식 6을 참조하면, 각각의 시간차는
Figure 112018073030321-pat00071
,
Figure 112018073030321-pat00072
의 sin 함수와 cos 함수로 이루어져 있고, 이를 간단하게 정리하여 아래 수학식 7과 같이 시간차 함수(
Figure 112018073030321-pat00073
)의 수식을 구할 수 있다. 수학식 7은 수학식 3에 상술한 거리와 각도를 대입하여 수식을 전개한 것이다.
[수학식 7]
Figure 112018073030321-pat00074
수학식 7에서
Figure 112018073030321-pat00075
,
Figure 112018073030321-pat00076
및
Figure 112018073030321-pat00077
는 각각 다음과 같다.
Figure 112018073030321-pat00078
Figure 112018073030321-pat00079
Figure 112018073030321-pat00080
Figure 112018073030321-pat00081
는 시간차 함수의 평균값이고, 방위각(azi)에 의해 결정된다.
Figure 112018073030321-pat00082
및
Figure 112018073030321-pat00083
에 의해 시간차 함수의 위상이 결정되고, 두 값의 비는 아래와 같이 수학식 8과 같이 정리될 수 있다.
[수학식 8]
Figure 112018073030321-pat00084
따라서,
Figure 112018073030321-pat00085
와
Figure 112018073030321-pat00086
의 값 자체는 방위각(azi)과 고도각(ele)에 의해 영향을 받지만, 두 값의 비는 항상 고도각에 의해서 결정된다. 즉, 시간차 함수의 위상은 고도각에 의해 결정된다. 이를 역으로 계산하면 제1 어레이부(100)의 복수의 수신부들 중 하나의 수신부를 기준으로 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부 사이의 시간차 정보, 또는 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부를 기준으로 제1 어레이부(100)의 복수의 수신부들 중 하나의 수신부 사이의 시간차 정보를 이용하여 음원의 고도각과 방위각을 계산할 수 있는 것이다.
본 발명의 실시 예에 따른 음원 위치 추정장치를 이용하여 음원의 방위각과 고도각을 구하는 것을, 구체적인 예를 들어 상술한 수학식 5 내지 수학식 9에 적용하여 설명하면 다음과 같다.
제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부와 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부인 제1 수신부(210) 사이의 경로차를 구하면 아래 수학식 9와 같다. 제2 어레이부(200)의 제1 수신부(210)의
Figure 112018073030321-pat00087
값은 0이므로, 이를 수학식 5에 대입한 것이다.
[수학식 9]
Figure 112018073030321-pat00088
수학식 9에서
Figure 112018073030321-pat00089
은 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부와 제2 어레이부(200)의 제1 수신부(210) 사이의 경로차이고, a는 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리이고, r은 어레이부의 중심부와 수신부 사이의 거리, 구체적으로 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부 사이의 거리이고, azi는 방위각이고, ele는 고도각이고,
Figure 112018073030321-pat00090
은 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부(110~121)들 중 하나의 수신부인 n번째 수신부를 연결하는 선과 zx 평면이 이루는 각도이다.
수학식 9의 적용을 예를 들어 좀더 설명하면, 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리(a)가 0.25m이고, 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 1번째 수신부(예로, 110) 사이의 거리(r)가 0.08m인 경우, a와 r을 수학식 9에 대입하면 다음과 같다.
Figure 112018073030321-pat00091
수학식 9의 경로차를 음속(c)으로 나누면 아래 수학식 10과 같이, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부와 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 제1 수신부(210) 사이의 시간차(
Figure 112018073030321-pat00092
)를 구할 수 있다.
[수학식 10]
Figure 112018073030321-pat00093
수학식 10에서 구해지는 시간차를 좀더 구체적으로 설명하면, 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 제1 수신부(210)로 들어오는 소리의 신호를 기준으로, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부로 들어오는 소리의 신호가 수신된 시간의 차이다.
본 발명의 실시 예에 따라, 수학식 10을 이용하여 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 1번째 수신부(예로, 110)를 기준으로, 제1 어레이부(100)의 1번째 수신부(110)와 마주보는 위치에 배치된 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 1번째 수신부(예로, 210) 사이의 시간차를 구하면 아래 수학식 11과 같다.
[수학식 11]
Figure 112018073030321-pat00094
수학식 11에서
Figure 112018073030321-pat00095
은 제1 어레이부(100)의 1번째 수신부(110)와 제2 어레이부(200)의 1번째 수신부(210) 사이의 경로차이고,
Figure 112018073030321-pat00096
= 0도 이므로
Figure 112018073030321-pat00097
이 된다. 수학식 11을 정리하면 아래 수학식 12와 같다.
[수학식 12]
Figure 112018073030321-pat00098
수학식 12는 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221) 각각이 서로 마주보는 위치에 배치된 경우, 각각 마주보는 위치에 배치된 수신부 사이의 시간차를 구하면 항상 동일하게 나오며, 따라서 서로 마주보는 위치에 배치된 수신부 사이의 시간차를 이용하여 음원의 방위각을 구할 수 있다.
상술한 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221) 각각이 서로 마주보는 위치에 배치된 경우, 각각 마주보는 위치에 배치된 수신부 사이의 시간차를 구하고, 이를 이용하여 음원의 방위각을 구하는 것을 정리하면, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나가 제1 수신부(예로, 110)이고, 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나가 제2 수신부(예로, 210)인 경우에, 제1 수신부(110)와 제2 수신부(210)는 서로 마주보는 위치에 배치되고, 제1 수신부(110)와 제2 수신부(210) 사이의 시간차를 이용하여 음원의 방위각을 산출할 수 있다. 이때 시간차는 아래의 수학식 13이고, 수학식 13으로부터 방위각을 산출할 수 있다.
[수학식 13]
Figure 112018073030321-pat00099
수학식 13에서
Figure 112018073030321-pat00100
은 제1 수신부(110)와 제2 수신부(210) 사이의 시간차이고,
Figure 112018073030321-pat00101
: 제1 수신부(110)와 제2 수신부(210) 사이의 경로차이고, a는 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리이고, c는 음속이고, azi: 방위각이다.
계속하여 고도각을 구하면, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부가 제1 수신부(예로, 110)이고, 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부가 제2 수신부(예로, 210)인 경우에, 제1 수신부(110)와 제2 어레이부(200)의 복수의 수신부들(210~221) 사이의 각각의 시간차를 이용하거나 또는, 제2 수신부(210)와 제1 어레이부(100)의 복수의 수신부들(110~121) 사이의 각각의 시간차를 이용하여 시간차 궤적을 산출할 수 있다. 따라서 수학식 10을 이용하여 시간차 궤적을 수식으로 표현한 시간차 함수의 수식을 구할 수 있다. 수학식 10은 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부(제1 수신부(210))와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부 사이의 시간차를 구하는 수식이므로, 제2 어레이부(200)의 제1 수신부(210)와 제1 어레이부(100)의 복수의 수신부들(110~121) 사이의 각각의 시간차를 구하여 시간차 궤적을 산출할 수 있고, 따라서 시간차 궤적을 수식으로 표현한 시간차 함수의 수식을 구할 수 있다.
수학식 10을 참조하면, 각각의 시간차는
Figure 112018073030321-pat00102
의 sin 함수와 cos 함수로 이루어져 있고, 이를 간단하게 정리하여 아래 수학식 14와 같이 시간차 함수(
Figure 112018073030321-pat00103
)의 수식을 구할 수 있다.
[수학식 14]
Figure 112018073030321-pat00104
수학식 14에서
Figure 112018073030321-pat00105
,
Figure 112018073030321-pat00106
및
Figure 112018073030321-pat00107
는 각각 다음과 같다.
Figure 112018073030321-pat00108
Figure 112018073030321-pat00109
Figure 112018073030321-pat00110
Figure 112018073030321-pat00111
는 시간차 함수의 평균값이고, 방위각(azi)과 고도각(ele)에 의해 결정된다.
Figure 112018073030321-pat00112
및
Figure 112018073030321-pat00113
두 값의 비로 고도각을 결정할 수 있다. 두 값의 비는 아래와 같이 수학식 15와 같이 정리될 수 있다.
[수학식 15]
Figure 112018073030321-pat00114
따라서,
Figure 112018073030321-pat00115
와
Figure 112018073030321-pat00116
의 값 자체는 방위각(azi)과 고도각(ele)에 의해서 영향을 받지만, 두 값의 비는 항상 고도각에 의해서 결정된다. 즉, 시간차 함수의 위상은 고도각에 의해 결정된다. 이를 역으로 계산하면 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부(제1 수신부(210))와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부 사이의 시간차 정보를 이용하여 음원의 고도각과 방위각을 계산할 수 있는 것이다.
수학식 15는 수학식 8과 동일하고, 수학식 4와도 동일하다. 따라서, 수학식 1, 수학식 2 및 수학식 3이 적용되는 경우, 즉 제1 어레이부(100)의 복수의 수신부들 및/또는 제2 어레이부(200)의 복수의 수신부들을 xyz 축상의 좌표값으로 나타낸 수식이 적용되는 경우에도,
Figure 112018073030321-pat00117
및
Figure 112018073030321-pat00118
를 이용하여 시간차 함수의 위상을 구할 수 있고, 두 값의 비로 고도각을 결정할 수 있다.
상술한 내용을 정리하면, 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(110~121) 각각이 서로 마주보는 위치에 배치된 경우, 각각 마주보는 위치에 배치된 수신부 사이의 시간차를 구하고, 이를 이용하여 음원의 방위각을 구할 수 있다. 또한, 제1 어레이부(100)의 복수의 수신부들(110~121) 및/또는 제2 어레이부(200)의 복수의 수신부들(210~221) 사이의 각각의 시간차를 구하여 얻어지는 시간차 궤적을 통해 고도각을 구할 수 있다. 이때, 시간차 궤적을 수식으로 표현한 시간차 함수는 3개의 변수(
Figure 112018073030321-pat00119
,
Figure 112018073030321-pat00120
및
Figure 112018073030321-pat00121
)로 이루어지므로 적어도 3개 이상의 정확한 시간차를 구하면 시간차 함수를 구할 수 있다.
시간차 궤적 구하는 것을 좀더 설명하면, 시간차 궤적을 구할 때는 제1 어레이부(100) 또는 제2 어레이부(200)의 하나의 수신부(예로, 110 또는 210)를 기준으로, 반대쪽에 배치된 제2 어레이부(200)의 복수의 수신부들(210~221) 또는 제1 어레이부(100)의 복수의 수신부들(110~121)에서 얻어지는 신호들의 시간차를 구하게 된다. 이때 음원이 존재하는 방향의 어레이부를 통해서 음원의 고도각을 추정해야 정확도가 올라간다.
즉, 방위각을 통해서 음원의 위치가 본 발명의 음원 위치 추정장치를 중심으로 오른쪽에 있으면 오른쪽에 있는 어레이부의 복수의 수신부들과 반대쪽에 있는 어레이부의 하나의 수신부 사이의 시간차를 구하여 시간차 궤적을 구하고, 반대로 음원의 위치가 왼쪽에 있으면 왼쪽에 있는 어레이부의 복수의 수신부들과 반대쪽에 있는 어레이부의 하나의 수신부 사이의 시간차를 구하여 시간차 궤적을 구한다. 이는 고도각을 정확히 추정하기 위함이다.
구체적으로 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부가 제1 수신부(예로, 110)이고, 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부가 제2 수신부(예로, 210)인 경우, 방위각에 따른 음원의 위치가 제1 어레이부(100)의 제1 중심부(130)보다 제2 어레이부(200)의 제2 중심부(230)에 더 가까운 경우에는, 제1 수신부(110)와 제2 어레이부(200)의 복수의 수신부들(210~221) 사이의 각각의 시간차를 이용하여 시간차 궤적을 산출할 수 있다. 그리고 방위각에 따른 음원의 위치가 제2 어레이부(200)의 제2 중심부(230)보다 제1 어레이부(100)의 제1 중심부(130)에 더 가까운 경우에는, 제2 수신부(210)와 제1 어레이부(100)의 복수의 수신부들(110~121) 사이의 각각의 시간차를 이용하여 시간차 궤적을 산출할 수 있다.
본 발명의 실시 예에 따라, 상술한 모든 시간차 궤적에 대한 설명은 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221)이 각각 서로 마주보는 위치에 배치된 경우뿐만 아니라, 서로 마주보는 위치에 배치되지 않은 경우에도 적용될 수 있다.
음원의 방위각을 산출하는 방법을 좀더 설명하면, 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221) 각각이 서로 마주보는 위치에 배치된 경우에는, 각각 마주보는 위치에 배치된 수신부 사이의 시간차를 구하고, 이를 이용하여 음원의 방위각을 구할 수 있었다. 다시 말해, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부가 제1 수신부(예로, 110)이고, 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부가 제2 수신부(예로, 210)일 때, 제1 수신부(110)와 제2 수신부(210)가 서로 마주보는 위치에 배치되는 경우, 제1 수신부(110)와 제2 수신부(210) 사이의 시간차를 이용하여 방위각을 산출할 수 있었다.
이 이외에도 음원의 방위각은 수학식 7의 시간차 함수를 이용하여 산출할 수 있다. 시간차 함수의 진폭(amplitude)은 음원의 방위각에 의해 결정되므로 수학식 7의
Figure 112018073030321-pat00122
와
Figure 112018073030321-pat00123
를 이용하여 구할 수 있다. 수학식 7로부터 음원의 방위각을 산출하는 식은 아래 수학식 16과 같다.
[수학식 16]
Figure 112018073030321-pat00124
수학식 16에서 Amplitude는 진폭이고, azi는 방위각이고, r은 어레이부의 중심부와 수신부 사이의 거리, 즉 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부 사이의 거리이다. 본 발명의 실시 예에 따라, r은 제2 어레이부(200)의 제2 중심부(230)와 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부 사이의 거리일 수도 있다. 수학식 16을 정리하면 아래 수학식 17과 같다.
[수학식 17]
Figure 112018073030321-pat00125
수학식 17을 이용하여 음원의 방위각을 산출할 수 있다.
수학식 16과 수학식 17을 이용하여 음원의 방위각을 산출하는 것은 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221)이 각각 서로 마주보는 위치에 배치된 경우뿐만 아니라, 서로 마주보는 위치에 배치되지 않은 경우에도 적용될 수 있다.
본 발명에서는 시간차를 구하는 과정에서 GCC-PHAT(Generalized Cross Correlation - Phase Transform) 방법을 사용하였다. GCC-PHAT 방법은 신호처리에서 많이 사용되는 필터링 방법이다. 일반적으로 GCC 방법은 두 신호의 상호상관(cross correlation)을 구하는 것으로, 정확도를 향상시키기 위해 각 신호에 필터링을 해주는 방법이다. 이러한 GCC 방법을 통해 시간차를 구하는 방법을 나타낸 것이 도 9이다.
도 9는 GCC 방법을 통해 시간차를 구하는 방법을 도식화한 도면이다.
도 9를 참조하면, 두 신호
Figure 112018073030321-pat00126
과
Figure 112018073030321-pat00127
사이의 시간차를 구하기 위해 각각
Figure 112018073030321-pat00128
과
Figure 112018073030321-pat00129
의 필터를 통과시킨 후, 필터의 출력값인
Figure 112018073030321-pat00130
과
Figure 112018073030321-pat00131
사이의 상호상관을 구하고, 이 상호상관을 최대로 하는 지연(delay) 값이 두 신호
Figure 112018073030321-pat00132
과
Figure 112018073030321-pat00133
사이의 시간차가 된다.
이러한 과정을 주파수 차원에서 진행하게 되면 두 필터
Figure 112018073030321-pat00134
과
Figure 112018073030321-pat00135
을 하나의 가중치 함수로 나타낼 수 있다. 이를 수식으로 표현하면 아래 수학식 18과 같다.
[수학식 18]
Figure 112018073030321-pat00136
수학식 18에서
Figure 112018073030321-pat00137
는 필터의 출력값
Figure 112018073030321-pat00138
과
Figure 112018073030321-pat00139
사이의 상호상관이고,
Figure 112018073030321-pat00140
는 입력신호
Figure 112018073030321-pat00141
과
Figure 112018073030321-pat00142
사이의 상호상관을 주파수 차원에서 구한 상호 스펙트럼(Cross spectrum)이다. 이때 두 필터
Figure 112018073030321-pat00143
과
Figure 112018073030321-pat00144
에 의해 결정되는 가중치 함수
Figure 112018073030321-pat00145
를 general frequency weighting 이라 부른다.
이러한 가중치 함수를 어떻게 사용하느냐에 따라 GCC 방법이 달라지게 되며, 그 중 가장 많이 사용하는 방법이 GCC-PHAT 방법이다. 이때의 가중치 함수는 아래 수학식 19와 같이 정해지게 된다.
[수학식 19]
Figure 112018073030321-pat00146
, general frequency weighting of GCC-PHAT
GCC-PHAT을 사용하면 신호와 관계없는 노이즈(uncorrelated noise)를 저감시킬 수 있으며, 이를 통해 상호상관의 피크를 더욱 뚜렷하게 만들 수 있다. 또한, 주변의 반사에 의한 영향에 대해 강건성을 갖고 있어 반사파의 영향을 줄일 수 있다.
본 발명의 실시 예에 따른 음원 위치 추정장치는 로봇에 적용될 수 있다. 로봇은 본 발명의 음원 위치 추정장치를 포함할 수 있고, 이를 이용하여 음원의 위치를 추정할 수 있다. 본 발명의 음원 위치 추정장치는 로봇의 특정한 위치에 배치될 수 있다. 본 발명의 실시 예에 따라, 본 발명의 음원 위치 추정장치는 로봇의 머리부분에 배치될 수 있다.
본 발명의 실시 예에 따른 음원 위치 추정장치를 로봇에 적용할 경우, 로봇은 시각뿐 아니라 청각과 같은 감각기관을 동시에 이용하여 주변을 정확하게 인지할 수 있다. 청각 기관을 통해 얻는 음향 정보는 로봇이 주변을 인지하는데 있어서 매우 중요한 정보 중 하나이다. 로봇은 음향 정보를 시각 정보와 함께 사용하면 보이지 않는 방향에서 발생하는 사건을 인지하고 반응하는 등 하나의 감각만을 사용했을 때 발생하는 단점을 보완할 수 있다.
본 발명의 실시 예에 따른 음원 위치 추정장치는 3차원에서의 음원의 위치를 추정할 수 있고, 적은 계산량 및 실시간으로 음원의 위치를 추정할 수 있으며, 주위의 소음으로부터 강건할 수 있다. 따라서 본 발명의 음원 위치 추정장치를 로봇에 적용할 경우, 로봇은 3차원에서의 음원의 위치를 추정할 수 있고, 적은 계산량으로 인해 실시간으로 음원의 위치를 추정할 수 있다. 또한, 로봇 자체 소음이나 주변 소음으로부터 강건하여, 찾고자 하는 음원의 위치를 정확하게 추정할 수 있다.
<본 발명의 음원 위치 추정장치에 대한 실험 및 결과>
본 발명의 실시 예에 따른 음원 위치 추정장치가 음원의 위치를 정확하게 추정하는지를 알아보기 위해 실험을 실시하였다. 또한, 본 발명의 음원 위치 추정장치를 로봇에 적용하여 실험을 실시하였다. 본 실험에 사용된 로봇은 한국과학기술원(KAIST)에서 개발중인 휴머노이드 로봇 휴보이다. 도 10은 로봇(휴보)의 머리부분을 나타내는 도면이다. 도 10의 (a)는 본 발명의 실시 예에 따른 음원 위치 추정장치가 가상의 로봇 머리에 장착된 모습을 도시한 그림이고, 도 10의 (b)는 본 실험에 사용된 휴머노이드 로봇 휴보의 머리부분을 나타내는 사진이다.
실험을 위하여 음원 위치 추정장치를 휴보에 장착할 수 있도록 제1 어레이부(100) 및 제2 어레이부(200)가 배치된 거치대를 제작하였으며(도 1 참조), 연구실이 보유하고 있는 머리전달함수(Head HRTF) 측정장치를 이용하여 실험을 진행하였다. 얻어진 데이터의 처리는 매트랩(Matlab)을 이용하여 처리하였으며, 0.1초 동안 음향신호를 측정하고 측정된 신호를 기반으로 음원의 위치를 추정하였다. 이때 사용한 하드웨어(NI 9234, National Instrument)의 최대 샘플링 속도는 51.2 kHz 이며, 데이터 측정은 최대 샘플링 속도로 이루어졌다.
제1 어레이부(100)의 복수의 수신부들과 제2 어레이부(200)의 복수의 수신부들로는 마이크로폰을 사용하였다. 마이크로폰은 좌, 우 각각 6개씩 배치하였다. 음원은 전대역의 백색 잡음을 이용하였으며, 본 발명의 음원 위치 추정장치에서 음원까지의 거리는 1.16m로 하였다. 입력 신호는 전대역 백색 잡음을 사용하였다.
실험은 2가지로 진행되었다. 첫째로는 본 발명의 음원 위치 추정장치를 휴머노이드 로봇(휴보)에 장착하기 전 상태에서 음원 위치 추정장치만으로 실험이 진행되었다. 실험은 한국과학기술원의 NOVIC PLUS에 있는 머리전달함수 측정실에서 진행되었다. 머리전달함수 측정장치는 스피커 어레이를 제어하여 정확한 위치에 음원을 위치시킬 수 있으므로, 이를 통해 음원 위치 추정장치의 음원 위치 추정의 정확도를 확인할 수 있다. 머리전달함수 측정실의 스펙은 다음과 같다.
넓이 :
Figure 112018073030321-pat00147
반향시간 : 0.26초
실험에서는 방위각 변화에 따른 결과값, 고도각 변화에 따른 결과값, 측정 시간(데이터 길이)에 따른 결과값 및 여러 음원이 존재하는 경우에 따른 결과값을 확인하였다.
둘째로는 휴머노이드 로봇(휴보)에 장착하여 진행하였다. 휴보의 전원이 꺼진 상태에서 실험을 진행하였다. 휴보의 전원을 끈 이유는 휴보에서 발생하는 소음의 영향은 제외하고 휴보의 현상에 의한 영향만을 확인하기 위함이다.
<휴보 장착 전 - 방위각 변화에 따른 실험 결과 및 분석>
음원의 고도각을 0도에 놓은 상태에서 방위각을 0도에서 90도 까지 10도씩 이동시키면서 측정하면서 각 마이크로폰 사이의 시간차(ITD, Inter-channel Time Difference)를 구한 결과는 도 11과 같다.
도 11은 방위각 변화에 따른 시간차 그래프이고, 도 12는 방위각 변화에 따른 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차 그래프이다.
도 11 및 도 12를 참조하면, 시간차는 각 위치에 따라 sine 함수의 형태를 갖는 그래프가 그려졌다. 다만 마이크로폰이 한 쪽에 6개만 설치되었기 때문에 시간차 데이터의 개수가 적다. 또한 이때의 서로 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차는 방위각과 비례함을 알 수 있다.
방위각이 클수록 그래프의 진폭이 줄어드는 것을 확인할 수 있다.
시간차 궤적의 그래프는 구해진 시간차 데이터를 점으로 나타내었으며, 이 데이터를 통해 sine 함수로 근사한 시간차 궤적을 점선으로 나타내었다.
방위각을 추정하기 위하여 사용되는 두 1번 마이크로폰 사이의 시간차와 방위각을 그래프로 나타내면 도 12와 같다. 원으로 표시한 데이터는 실험을 통해 구해진 시간차를 나타낸 것이고, 점선은 본 발명의 음원 위치 추정장치의 상술한 수학식을 바탕으로 그려진 방위각과 두 1번 마이크르폰 사이의 시간차를 나타낸 것이다. 이는 제1 어레이부(100)의 복수의 수신부들과 제2 어레이부(200)의 복수의 수신부들인 각각의 마이크로폰 사이의 거리와 음속을 통해 구해졌으며, 방위각과 시간차 사이의 관계는 다음과 같다.
두 1번 마이크로폰 사이의 시간차(ITD between 1st microphones) = 0.83
Figure 112018073030321-pat00148
실험에서 얻어진 데이터(원)와 본 발명의 수학식을 통해 그려지는 그래프(점선)가 겹쳐지는 것을 확인할 수 있다.
<휴보 장착 전 - 고도각 변화에 따른 실험 결과 및 분석>
음원의 방위각을 0도에 놓은 상태에서 고도각을 변화시키면서 실험을 실시하였다. 음원은 앞에서와 마찬가지로 전대역 백색 노이즈를 사용하였다. 고도각은 0도, 30도, 60도, 90도에 두고 측정하였으며, 그 결과는 도 13과 같다.
도 13은 고도각 변화에 따른 시간차 궤적을 나타내는 그래프이다.
도 13을 참조하면, 각 음원의 위치에서 제1 어레이부(100)의 1번 마이크로폰을 기준으로 제2 어레이부(200)의 복수의 마이크로폰들 사이의 시간차를 통해 구해진 시간차 궤적의 그래프는 sine 함수 형태를 갖는 것을 확인할 수 있다.
다만, 실험을 통해 얻어진 데이터에서 서로 마주보는 위치에 배치된 제1 어레이부(100)의 1번 마이크로폰과 제2 어레이부(200)의 1번 마이크로폰 사이의 시간차가 고도각이 변화함에 따라 조금씩 달라지는 것을 확인할 수 있다. 이는 본 발명의 음원 위치 추정장치가 머리전달함수 측정장치의 정 중앙에 정확하게 위치하지 못했기 때문에 발생한 오차로 생각된다. 즉, 고도각을 변화시키는 과정에서 방위각도 같이 변화한 것으로 판단된다.
고도각 변화에 따른 시간차 궤적의 그래프(도 13)도 구해진 시간차 데이터를 점으로 나타내었으며, 이를 통해 sine 함수로 근사한 시간차 궤적을 점선으로 나타내었다. 이렇게 얻어진 마이크로폰 사이의 시간차와 이를 sin 함수로 근사하여 얻어진 시간차 궤적을 이용하면 음원의 고도각을 추정할 수 있다. 도 14는 이렇게 그려진 시간차 궤적의 위상과 고도각을 나타내는 그래프이며, 구해지는 시간차의 궤적을 통해 음원의 고도각을 구할 수 있음을 확인할 수 있다. 이렇게 얻어진 고도각과 실제 음원의 고도각 사이의 오차를 구하면 아래 표 1과 같다. 오차는 대략 1도 이내로 발생하는 것을 확인할 수 있다. 이러한 오차는 본 발명의 음원 위치 추정장치를 정확하게 설치하지 못하여 발생한 오차로, 음원 위치 추정장치를 정확하게 설치한다면 오차는 발생하지 않을 것으로 생각된다
[표 1]
Figure 112018073030321-pat00149
<휴보 장착 후 - 방위각 변화에 따른 실험 결과 및 분석>
제1 어레이부(100) 및 제2 어레이부(200)가 배치된 거치대를 휴보에 설치한 후 음원의 위치를 변화시키면서 측정 데이터를 확인하였다. 도 15는 본 발명의 음원 위치 추정장치를 휴머노이드 로봇(휴보)에 장착한 상태의 사진이다. 도 15의 (a)는 휴보의 전면 사진이고, (b)는 측면 사진이다.
휴보의 현상에 의해 음원에서 음원 위치 추정장치까지의 전달경로와, 자유장에서 음원에서 음원 위치 추정장치까지의 경로가 변화하게 된다. 이번 실험은 이러한 변화에 의해 음원의 위치를 추정하는데 문제가 발생하는지, 얻어지는 마이크로폰들 사이의 시간차와 시간차 궤적이 변화하는지를 확인하기 위해 진행되었다. 오로지 로봇의 현상에 의한 변화를 확인하기 위한 실험이기 때문에 휴보의 전원은 끈 상태에서 진행하였다. 실험은 본 발명의 음원 위치 추정장치를 휴보에 장착하기 전 상태에서 음원 위치 추정장치만으로 진행된 실험과 동일하게 진행하였다.
음원의 고도각을 0도에 놓은 상태에서 방위각을 0도에서 90도 까지 10도씩 이동시키면서 측정하면서 각 마이크로폰 사이의 시간차를 구한 결과는 도 16과 같다.
도 16은 방위각 변화에 따른 시간차 궤적을 나타내는 그래프이고, 도 17은 방위각 변화에 따른 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차 그래프이다.
도 16 및 도 17을 참조하면, 본 발명의 음원 위치 추정장치를 휴보에 장착하기 전 상태에서 실시된 실험에서 얻은 데이터(도 11 참조)와 동일하게, 각각 얻어지는 시간차 궤적은 sine 함수의 형태를 갖는 것을 확인할 수 있다. 음원의 고도각이 0도로 모두 동일하기 때문에 얻어지는 시간차 궤적의 위상은 모두 동일한 것을 확인할 수 있다. 또한, 서로 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차와 음원의 방위각이 비례함을 확인할 수 있다.
도 17에서 원으로 표시된 것은 실험을 통해 얻어진 두 1번 마이크로폰 사이의 시간차이고, 점선으로 표시된 것은 두 1번 마이크로폰 사이의 거리를 통해 본 발명의 음원 위치 추정장치의 상술한 수학식을 바탕으로 얻어지는 시간차이다. 두 마이크로폰 사이의 거리와 음속을 통해서 방위각과 두 1번 마이크로폰 사이의 시간차를 구하면 다음과 같다.
두 1번 마이크로폰 사이의 시간차(ITD between 1st microphones) = 0.77
Figure 112018073030321-pat00150
앞에서 본 발명의 음원 위치 추정장치만 놓고 실험하였을 때와 약간의 차이가 있다. 이전에는 두 1번 마이크로폰 사이의 시간차의 최댓값이 0.83msec 이었지만, 휴보에 장착하였을 때의 시간차의 최댓값은 0.77msec이다. 이는 음원 위치 추정장치만 놓고 실험하였을 때보다 휴보에 장착하였을 때, 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리가 더 짧아지기 때문이다.
도 17을 보면 본 발명의 수학식으로 구해지는 두 1번 마이크로폰 사이의 시간차와 실험을 통해 그려진 두 1번 마이크로폰 사이의 시간차에 약간의 오차가 존재하는 것을 확인할 수 있다. 이는 실험 환경에서 발생한 오차이다. 본 발명의 음원 위치 추정장치만 놓고 실험을 할 때는 머리전달함수 측정장치를 통해 정확하게 음원을 위치시킬 수 있었지만, 휴보에 장착하고 실험을 할 때는 사람이 음원을 위치시켜야 하기 때문에 약 3도 ~ 4도의 오차를 감안하고 측정을 진행하였다. 이러한 오차는 실험의 방법에서 발생하는 한계이며, 본 발명의 음원 위치 추정장치 자체의 오차는 아니다.
<휴보 장착 후 - 고도각 변화에 따른 실험 결과 및 분석>
음원의 방위각을 0도에 놓은 상태에서 고도각을 -150도에서 -180도 까지 30도씩 이동시키면서 시간차 궤적을 구했다. 실험 여건상 90도(머리 위)에 음원을 위치시키고 측정하지 못했다. 이번에도 사람이 직접 음원을 위치시켰기 때문에 약 5도 내외의 오차를 감안하고 측정을 진행하였다. 그 결과는 도 18과 같다.
도 18은 고도각 변화에 따른 시간차 궤적을 나타내는 그래프이다.
도 18을 참조하면, 각 음원의 위치에서 제1 어레이부(100)의 1번 마이크로폰을 기준으로 제2 어레이부(200)의 복수의 마이크로폰들 사이의 시간차를 통해 구해진 시간차 궤적의 그래프는 sine 함수 형태를 갖는 것을 확인할 수 있다. 음원의 방위각은 모두 0도로 고정하였기 때문에 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차는 모두 0으로 나왔다.
고도각 변화에 따른 시간차 궤적의 그래프(도 18)도 구해진 시간차 데이터를 점으로 나타내었으며, 이를 통해 sine 함수로 근사한 시간차 궤적을 점선으로 나타내었다. 이렇게 얻어진 마이크로폰 사이의 시간차와 이를 sine 함수로 근사하여 얻어진 시간차 궤적을 이용하면 음원의 고도각을 추정할 수 있다.
이렇게 얻어진 시간차 궤적의 위상을 통해 음원의 고도각을 추정한 결과는 도 19와 같다. 도 19는 고도각 변화에 따른 추정 고도각을 나타내는 그래프이다. 그래프로부터 본 발명의 음원 위치 추정장치가 고도각을 정확하게 추정함을 확인할 수 있다.
본 발명의 실시 예에 따른 음원 위치 추정장치를 로봇이나 기타 장치에 장착할 경우에는, 음원 위치 추정장치만으로 음원의 위치를 추정하는 경우보다 시간차에 적은 양의 오차가 나타날 수 있다. 상기 오차를 줄이는 방법은 다음과 같다.
소정의 모의 음원(임의의 음원)을 로봇 또는 기타 장치 주위에 위치를 달리하여 배치시켜 각 위치에서의 시간차를 음원 위치 추정장치가 측정하고, 측정된 시간차를 로봇 또는 음원 위치 추정장치의 저장부에 저장한 후, 음원 위치 추정장치가 음원의 위치를 추정할 때, 저장부에 저장된 시간차와 음원 위치 추정장치에서 계산된 음원의 시간차를 비교하여 음원의 위치를 추정할 수 있다.
구체적으로 본 발명의 실시 예에 따른 음원 위치 추정장치를 로봇이나 기타 장치에 장착한 후, 모의 음원(임의의 음원)을 로봇 또는 기타 장치 주위에 위치를 달리하여 배치하고(방위각과 고도각을 달리하여 위치시키고) 각 위치에서의 시간차를 로봇이나 기타 장치에 장착된 음원 위치 추정장치가 측정할 수 있다. 이 측정된 시간차를 데이터 베이스화하여 음원 위치 추정장치, 로봇 또는 기타 장치에 배치된 저장장치(저장부)에 저장할 수 있다.
그 후, 로봇이나 기타 장치에 장착된 음원 위치 추정장치를 이용하여 음원의 위치를 추정할 때, 음원 위치 추정장치에서 계산된 음원의 시간차를 데이터 베이스화되어 저장부에 저장된 시간차와 비교하여 확률적으로 가장 높은 음원의 위치를 계산(추정)할 수 있다. 이 방법을 통해 상기 오차를 줄일 수 있다.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 제1 어레이부
110~121: 제1 어레이부의 복수의 수신부들
130: 제1 중심부
200: 제2 어레이부
210~221: 제2 어레이부의 복수의 수신부들
230: 제2 중심부

Claims (14)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 임의의 음원으로부터의 소리를 감지하고, 제1 중심부 및 상기 제1 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함하는 제1 어레이부; 및
    상기 음원의 소리를 감지하고, 제2 중심부 및 상기 제2 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함하는 제2 어레이부;를 포함하고,

    상기 제1 어레이부와 상기 제2 어레이부는 소정 거리 이격되어 상기 제1 중심부와 상기 제2 중심부가 서로 마주보도록 배치되고,
    상기 복수의 수신부들이 감지한 상기 소리의 신호를 이용하여 상기 음원의 방위각과 고도각을 산출하고, 상기 방위각과 상기 고도각으로 상기 음원의 위치를 추정하고,

    상기 제1 어레이부의 상기 복수의 수신부들 중 하나의 수신부가 제1 수신부이고,
    상기 제2 어레이부의 상기 복수의 수신부들 중 하나의 수신부가 제2 수신부이고,

    상기 제1 수신부와 상기 제2 어레이부의 상기 복수의 수신부들 사이의 각각의 시간차를 이용하거나 또는, 상기 제2 수신부와 상기 제1 어레이부의 상기 복수의 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출하고,
    상기 시간차는 상기 제1 수신부로 들어오는 상기 소리의 신호와 상기 제2 수신부로 들어오는 상기 소리의 신호가 수신된 시간의 차인, 음원 위치 추정장치.
  9. 제 8 항에 있어서,
    상기 시간차 함수는 아래 수학식 5인, 음원 위치 추정장치.

    [수학식 5]
    Figure 112018073030321-pat00168

    (
    Figure 112018073030321-pat00169
    : 시간차 함수,
    Figure 112018073030321-pat00170
    : 제1 어레이부의 제1 중심부와 제1 어레이부의 복수의 수신부들 중 하나의 수신부인 i번째 수신부를 연결하는 선과, zx 평면이 이루는 각도,
    Figure 112018073030321-pat00171
    : 제2 어레이부의 제2 중심부와 제2 어레이부의 복수의 수신부들 중 하나의 수신부인 j번째 수신부를 연결하는 선과, zx 평면이 이루는 각도,
    Figure 112018073030321-pat00172
    ,
    Figure 112018073030321-pat00173
    ,
    Figure 112018073030321-pat00174
    , r: 제1 어레이부의 제1 중심부와 제1 수신부 사이의 거리 또는 제2 어레이부의 제2 중심부와 제2 수신부 사이의 거리, azi: 방위각, ele: 고도각)
  10. 제 9 항에 있어서,
    상기 시간차 함수로부터 아래의 수학식 6이 산출되고, 상기 수학식 6으로부터 상기 고도각(ele)을 산출하는, 음원 위치 추정장치.

    [수학식 6]
    Figure 112018073030321-pat00175

  11. 제 9 항에 있어서,
    상기 시간차 함수로부터 아래의 수학식 7가 산출되고, 상기 수학식 7로부터 상기 방위각(azi)을 산출하는, 음원 위치 추정장치.

    [수학식 7]
    Figure 112018073030321-pat00176

    (Amplitude=진폭=
    Figure 112018073030321-pat00177
    )
  12. 제 8 항에 있어서,
    상기 방위각에 따른 상기 음원의 위치가 상기 제1 중심부보다 상기 제2 중심부에 더 가까운 경우에는, 상기 제1 수신부와 상기 제2 어레이부의 상기 복수의 수신부들 사이의 각각의 시간차를 이용하여 상기 시간차 함수를 산출하고,
    상기 방위각에 따른 상기 음원의 위치가 상기 제2 중심부보다 상기 제1 중심부에 더 가까운 경우에는, 상기 제2 수신부와 상기 제1 어레이부의 상기 복수의 수신부들 사이의 각각의 시간차를 이용하여 상기 시간차 함수를 산출하는, 음원 위치 추정장치.
  13. 제 8 항 내지 제 12 항 중 어느 한 항에 따른 음원 위치 추정장치를 포함하는 로봇.
  14. 제 8 항 내지 제 12 항 중 어느 한 항에 따른 음원 위치 추정장치가 장착된 로봇에 있어서,
    소정의 모의 음원을 상기 로봇 주위에 위치를 달리하여 배치시켜 각 위치에서의 시간차를 상기 음원 위치 추정장치가 측정하고, 상기 측정된 시간차를 상기 로봇 또는 상기 음원 위치 추정장치의 저장부에 저장한 후, 상기 음원 위치 추정장치가 음원의 위치를 추정할 때, 상기 저장부에 저장된 시간차와 상기 음원 위치 추정장치에서 계산된 음원의 시간차를 비교하여 음원의 위치를 추정하는, 로봇.

KR1020180085865A 2018-07-24 2018-07-24 음원 위치 추정장치 및 이를 포함하는 로봇 KR102180229B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180085865A KR102180229B1 (ko) 2018-07-24 2018-07-24 음원 위치 추정장치 및 이를 포함하는 로봇
PCT/KR2018/010808 WO2020022555A1 (ko) 2018-07-24 2018-09-14 음원 위치 추정장치 및 이를 포함하는 로봇

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180085865A KR102180229B1 (ko) 2018-07-24 2018-07-24 음원 위치 추정장치 및 이를 포함하는 로봇

Publications (2)

Publication Number Publication Date
KR20200011134A KR20200011134A (ko) 2020-02-03
KR102180229B1 true KR102180229B1 (ko) 2020-11-18

Family

ID=69181784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180085865A KR102180229B1 (ko) 2018-07-24 2018-07-24 음원 위치 추정장치 및 이를 포함하는 로봇

Country Status (2)

Country Link
KR (1) KR102180229B1 (ko)
WO (1) WO2020022555A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101172355B1 (ko) * 2011-02-07 2012-08-08 한국과학기술연구원 가변 구조형 마이크로폰 어레이를 이용한 음원 방향 검지 장치 및 방법
KR101645135B1 (ko) * 2015-05-20 2016-08-03 단국대학교 산학협력단 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템
KR101793942B1 (ko) * 2015-11-10 2017-11-06 주식회사 시스피아 음향 수신부를 이용한 음원 추적 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101345774B1 (ko) * 2012-12-12 2014-01-06 한국과학기술연구원 회전형 마이크로폰 어레이를 이용한 3차원 음원의 방향 검지 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101172355B1 (ko) * 2011-02-07 2012-08-08 한국과학기술연구원 가변 구조형 마이크로폰 어레이를 이용한 음원 방향 검지 장치 및 방법
KR101645135B1 (ko) * 2015-05-20 2016-08-03 단국대학교 산학협력단 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템
KR101793942B1 (ko) * 2015-11-10 2017-11-06 주식회사 시스피아 음향 수신부를 이용한 음원 추적 장치 및 방법

Also Published As

Publication number Publication date
KR20200011134A (ko) 2020-02-03
WO2020022555A1 (ko) 2020-01-30

Similar Documents

Publication Publication Date Title
Argentieri et al. A survey on sound source localization in robotics: From binaural to array processing methods
Jarrett et al. 3D source localization in the spherical harmonic domain using a pseudointensity vector
CN111868549A (zh) 用于对声源进行空间定位的装置、系统和方法
Tervo et al. Acoustic reflection localization from room impulse responses
Gala et al. Realtime active sound source localization for unmanned ground robots using a self-rotational bi-microphone array
JP7491895B2 (ja) 音源の空間的位置の特定のための装置、システムおよび方法
Tuma et al. Sound source localization
Wu et al. Locating arbitrarily time-dependent sound sources in three dimensional space in real time
US8416642B2 (en) Signal processing apparatus and method for removing reflected wave generated by robot platform
Atmoko et al. Accurate sound source localization in a reverberant environment using multiple acoustic sensors
US10375501B2 (en) Method and device for quickly determining location-dependent pulse responses in signal transmission from or into a spatial volume
KR20090128221A (ko) 음원 위치 추정 방법 및 그 방법에 따른 시스템
Zhu et al. Sound source localization in three-dimensional space in real time with redundancy checks
Al-Sheikh et al. Sound source direction estimation in horizontal plane using microphone array
KR102180229B1 (ko) 음원 위치 추정장치 및 이를 포함하는 로봇
KR20060124443A (ko) 머리전달함수 데이터베이스를 이용한 음원 위치 추정 방법
Kunin et al. 3D direction of arrival estimation and localization using ultrasonic sensors in an anechoic chamber
Fischer et al. Localization of acoustic gas leakage sources with a circular microphone array
Hosangadi A proposed method for acoustic source localization in search and rescue robot
Thakur et al. Counting and Localization of Multiple Unknown Harmonic Sound Sources in Entire 3D Space Using Just Five Microphones
Walter et al. An accurate compact ultrasonic 3D sensor using broadband impulses requiring no initial calibration
Fujii et al. A simple and robust binaural sound source localization system using interaural time difference as a cue
Klungmontri et al. Acoustic underwater positioning system using fast fourier transform and trilateration algorithm
Choi et al. Preliminary results on three dimensional localization of underwater acoustic sources
US20230348261A1 (en) Accelerometer-based acoustic beamformer vector sensor with collocated mems microphone

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant