KR20130124707A

KR20130124707A - 음원의 방향을 시각적으로 제시하는 청각보조장치 및 그의 동작 방법

Info

Publication number: KR20130124707A
Application number: KR1020120048031A
Authority: KR
Inventors: 김양한; 김기원
Original assignee: 한국과학기술원
Priority date: 2012-05-07
Filing date: 2012-05-07
Publication date: 2013-11-15

Abstract

본 발명은 음원의 방향을 시각적으로 제시하는 청각보조장치 및 그의 동작 방법에 관한 것으로, 복수의 마이크로폰과 전/후/좌/우 방향을 나타내는 복수의 LED를 안경에 장착하여, 상기 마이크로폰으로부터 수신된 음압신호를 상기 지연-합 빔형성 방법을 이용하여 음원의 방향을 실시간으로 추정하고, 추정된 음원의 방향에 해당하는 LED를 점등하여 음원이 발생한 방향을 시각적으로 제시할 수 있다. 또한, 청각보조장치를 안경형으로 제작함으로써, 일반인과의 구분을 피할 수 있다.
본 발명에 의한 청각보조장치는, 복수의 마이크로폰과, 전/후/좌/우 방향을 나타내는 복수의 발광소자 및, 상기 복수의 마이크로폰을 통해 수신된 음압신호로부터 착용자를 기준으로 360°전방향을 소정 각도씩 분할한 후 각각의 방향에서의 빔출력 및 빔파워를 계산하고, 상기 계산된 각 방향에서 구해진 빔파워의 크기를 비교하여 최대 빔파워를 갖는 방향을 음원의 방향으로 추정하고, 상기 추정된 방향에 해당하는 발광소자를 점등하여 음원이 발생한 방향을 실시간으로 시각적으로 제시하도록 제어하는 제어부를 포함하고 있다.

Description

음원의 방향을 시각적으로 제시하는 청각보조장치 및 그의 동작 방법{Hearing AID Apparatus Presenting Visually to Direction of Sound Source, And Method of Operating The Same}

본 발명은 음원의 방향을 시각적으로 제시하는 청각보조장치 및 그의 동작 방법에 관한 것으로, 보다 상세하게는 청각 장애인이 소리를 시각적으로 인지할 수 있도록 하는 청각보조장치 및 그의 동작 방법에 관한 것이다.

청각 장애인의 경우 소리를 들을 수 없음으로 인해 실생활에서 안전 및 의사소통 상의 어려움을 겪는다. 특히 야외에서 길을 걷거나 도로를 횡단하는 경우, 자동차 경적음 및 보행자에게 위험을 알리는 각종 알람 소리에 대해 인지하기 어려울 뿐 아니라, 발생 위치 또는 방향을 알 수 없어 당황할 수 있다.

종래에는 특정 소리가 발생하는 경우 청각 장애인에게 진동 및 빛을 이용하여 발생여부를 알려주는 각종 보조기구들이 개발되어 왔다. 이들 보조기구는 소리의 발생 유무는 알리지만, 소리가 어디서 발생한지는 알리지 못한다는 한계가 있다.

국내 등록특허 제1031113호(등록일: 2011.04.18) 국내 등록실용신안 제0363949호(등록일: 2004.09.24)

1.　Y.-H. Kim, Can we hear the shape of a noise source, Proceedings of the 18th International Congress on Acoustics, pp.3357-3370, 2004. 2.　H. Johnson; D. E. Dudgeon, Array signal processing - concepts and techniques, Prentice-Hall, New Jersey (US), 1993. 3.　S. U. Pillai, Array signal processing, Springer-Verlag, New York (US), 1989. 4.　J.-W. Choi,Y.-H. Kim,"Spherical beamforming and MUSIC methods for the estimation of location and strength of spherical sound sourc," Mech. Sys. Sig. Proc., 9(5),pp.569-568, 1995. 5.　E.G. Williams; J. D. Maynard, Holographic imaging without the wavelength resolution limit,Phys. Rev. Let. 45, pp.554-557, 1980. 6.　J. Hald, Time domain acoustical holography and its applications, Sound and Vibration, 35(2), pp.16-24, 2001.

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 실시간으로 소리가 발생한 방향을 시각적으로 제시하는 청각보조장치 및 그의 동작 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 다른 기술적 과제는, 청각 장애인에게 소리의 발생 방향을 LED를 이용하여 시각적으로 제시하는 청각보조장치 및 그의 동작 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는, 음가시화(sound visualization)를 통해 구해진 음압 또는 빔파워의 공간 분포로부터 음원의 위치 또는 음파의 전파 방향을 추정하여 시각적으로 제시하는 청각보조장치 및 그의 동작 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는, 실시간 지연-합 빔형성 알고리즘을 통해 소리가 발생한 위치 또는 방향을 시각적으로 제시하는 청각보조장치 및 그의 동작 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는, 지연-합 빔형성 방법을 이용하여 신호대잡음비를 증가시킴으로써 노이즈를 감소시킬 수 있는 청각보조장치 및 그의 동작 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는, 착용자를 기준으로 360°전방향을 소정 각도(예를 들어, 10°)씩 분할한 후, 각각의 방향에서의 빔출력 및 빔파워를 계산하고, 각 방향에서 구해진 빔파워의 크기를 비교하여 최대값을 갖는 방향을 음원의 방향으로 추정하는 청각보조장치 및 그의 동작 방법을 제시하는 데 있다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명에 의한 청각보조장치는, 복수의 마이크로폰과, 전/후/좌/우 방향을 나타내는 복수의 발광소자 및, 상기 복수의 마이크로폰을 통해 수신된 음압신호로부터 착용자를 기준으로 360°전방향을 소정 각도씩 분할한 후 각각의 방향에서의 빔출력 및 빔파워를 계산하고, 상기 계산된 각 방향에서 구해진 빔파워의 크기를 비교하여 최대 빔파워를 갖는 방향을 음원의 방향으로 추정하고, 상기 추정된 방향에 해당하는 발광소자를 점등하여 음원이 발생한 방향을 실시간으로 시각적으로 제시하도록 제어하는 제어부를 포함하여 구성될 수 있다.

상기 제어부는, 지연-합 빔형성 방법을 이용하여 각 방향에서의 빔출력 및 빔파워를 계산할 수 있다. 여기서, 상기 지연-합 빔형성 방법은, 상기 음압신호로부터 음압레벨(

)을 계산하고 역치(

)를 설정한 후, 상기 음압레벨(

)이 역치(

) 이상인 경우 각 방향에서의 빔출력 및 빔파워를 계산할 수 있다.

상기 소정 각도는 10°∼20°범위를 가질 수 있다.

상기 청각보조장치는, 상기 복수의 마이크로폰을 구동하는 마이크로폰 구동부와, 상기 복수의 마이크로폰을 통해 음압신호를 입력받는 신호 입력부와, 상기 복수의 발광소자를 선택적으로 구동하는 발광소자 구동부와, 상기 신호 입력부를 통해 수신된 음압신호를 이용하여, 착용자를 기준으로 360°전방향을 소정 각도씩 분할한 후 각각의 방향에서의 빔출력 및 빔파워를 계산하고, 상기 계산된 각 방향에서 구해진 빔파워의 크기를 비교하여 최대 빔파워를 갖는 방향을 음원의 방향으로 추정하는 연산 처리부와, 상기 연산 처리부에서 추정된 방향에 해당하는 발광소자를 점등하고, 상기 마이크로폰 구동부, 상기 신호 입력부, 상기 발광소자 구동부, 상기 프로그램 저장부, 상기 연산 처리부의 동작을 각각 제어하는 제어부 및, 상기 복수의 마이크로폰, 상기 복수의 발광소자, 상기 마이크로폰 구동부, 상기 신호 입력부, 상기 발광소자 구동부, 상기 연산 처리부, 상기 제어부로 전원을 공급하는 전원부를 포함하여 구성될 수 있다.

상기 청각보조장치는, 상기 발광소자 구동부의 제어에 따라 상기 음원의 크기를 복수의 발광소자로 표시하는 음원크기 표시용 발광소자를 더 포함할 수 있다.

상기 복수의 발광소자는 LED로 구성될 수 있고, 상기 복수의 마이크로폰은 멤스(MEMS) 마이크로폰으로 구성될 수 있다.

상기 청각보조장치는 안경을 이용하여 구성될 수 있다. 이때, 상기 복수의 마이크로폰은 안경테와 안경다리에 배치될 수 있으며, 상기 복수의 발광소자는 안경테 내측의 상/하/좌/우 방향에 배치될 수 있다.

또한, 전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명에 의한 청각보조장치의 동작 방법은, (a) 복수의 마이크로폰을 통해 음압신호를 수신받는 단계와, (b) 착용자를 기준으로 360°전방향을 소정 각도씩 분할한 후 각각의 방향에서의 빔출력 및 빔파워를 계산하는 단계와, (c) 상기 계산된 각 방향에서 구해진 빔파워의 크기를 비교하여 최대 빔파워를 갖는 방향을 음원의 방향으로 추정하는 단계와, (d) 상기 추정된 방향에 해당하는 발광소자를 실시간으로 점등하는 단계 및, (e) 상기 (a) 내지 (d)단계를 반복 수행하는 단계를 포함하고 있다.

상기 청각보조장치의 동작 방법은, 상기 수신된 음압신호로부터 음압레벨(

)을 계산하고 역치(

)를 설정한 후, 상기 음압레벨(

)이 역치(

) 이상인 경우 지연-합 빔형성 방법을 이용하여 각 방향에서의 빔출력 및 빔파워를 계산할 수 있다.

상기 지연-합 빔형성 방법은, 각 마이크로폰에서 측정된 음압 신호에 대해 시간지연을 보상한 후 보상된 음압 신호를 모두 더하여 상기 빔출력을 계산할 수 있다.

상기 빔출력

은,

(

: m번째 마이크로폰의 위치,

: 음파가

에서 입사할 때 1번 마이크로폰과 각 마이크로폰 사이의 상대적인 시간차,

: 음파의 입사 방향)의 식을 통해 계산할 수 있다.

상기 빔파워

는,

(

: 음파의 입사 방향)의 식을 통해 계산할 수 있다.

상기 소정 각도는 10°를 포함할 수 있다.

본 발명에 따르면, 복수의 마이크로폰과 전/후/좌/우 방향을 나타내는 복수의 LED를 안경에 장착하여, 상기 마이크로폰으로부터 수신된 음압신호를 상기 지연-합 빔형성 방법(또는, 지연-합 빔형성 알고리즘)을 이용하여 음원의 방향을 실시간으로 추정하고, 추정된 음원의 방향에 해당하는 LED를 점등하여 음원이 발생한 방향을 시각적으로 제시할 수 있다.

또한, 음가시화 기술을 청각장애 보조도구 분야에 적용하여 청각 장애인이 소리를 시각적으로 인지할 수 있도록 하고, 특히 청각 장애인에게 있어서 일상적인 상황뿐만 아니라 위험 상황을 감지할 수 있도록 하여 상황에 대한 합리적 판단 능력과 대처 능력을 향상시킬 수 있다.

또한, 청각보조장치를 안경형으로 제작함으로써 일반인과 장애인의 구분이 없고 시각을 통한 정보 전달이 용이하고, 형상이 고정되어 있어 마이크로폰의 설치가 용이하다. 뿐만 아니라 각각의 마이크로폰 사이의 상대적인 위치 변화가 없어 추후 음원의 방향 추정 알고리즘의 적용이 용이한 장점이 있다.

또한, 청각보조장치를 안경 형태로 제작하는 경우, 별도의 동작 없이도 음원의 방향을 제시하는 LED의 빛을 쉽게 인지할 수 있는 장점이 있다.

또한, 실시간 지연-합 빔형성 알고리즘을 통해 소리가 발생한 위치 또는 방향을 시각적으로 제시할 수 있다.

또한, 지연-합 빔형성 방법을 이용하여 신호대잡음비를 증가시킴으로써 노이즈를 감소시킬 수 있다.

또한, 착용자를 기준으로 360°전방향을 소정 각도(예를 들어, 10°)씩 분할한 후 각각의 방향에서의 빔출력 및 빔파워를 계산하고, 각 방향에서 구해진 빔파워의 크기를 비교하여 최대값을 갖는 방향을 음원의 방향으로 추정할 수 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

도1 및 도2는 본 발명의 바람직한 제1 실시 예에 의한 청각보조장치의 개략도 및 구성도
도3 및 도4는 본 발명의 바람직한 제2 실시 예에 의한 청각보조장치의 개략도 및 구성도
도5는 지연-합 빔형성 방법을 나타낸 도면
도6은 본 발명에 의한 청각보조장치의 동작 방법을 나타낸 흐름도
도7 및 도8은 청각보조장치의 실험 모형 사진 및 실험 결과 화면

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명되는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙여 설명하기로 한다.

이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.

청각보조장치의 제1 실시 예

도1 및 도2는 본 발명의 바람직한 제1 실시 예에 의한 청각보조장치의 개략도 및 구성도이다.

본 발명에 의한 청각보조장치(100)의 제1 실시 예는, 도1 및 도2에 도시된 바와 같이, 복수의 마이크로폰(104), 복수의 LED(105a∼105d: 105), 제어부(110), 마이크로폰 구동부(111), 신호 입력부(112), LED 구동부(113), 연산 처리부(114), 프로그램 저장부(115), 전원부(116)를 포함하고 있다.

상기 복수의 마이크로폰(104)은 안경테(101)와 안경다리(102)의 내측 또는 외측에 선형 등간격(예를 들어, 6㎝)으로 배치될 수 있고, 음향학적으로 같은 크기 및 위상 특성을 가지도록 구성될 수 있다. 상기 복수의 마이크로폰(104)은 기존의 계측용 마이크로폰에 비해 크기가 작고 가격이 저렴한 멤스(MEMS) 마이크로폰을 사용하여 구성될 수 있다.

상기 복수의 LED(105a∼105d: 105)는 상기 안경테(101) 내측의 상/하/좌/우 방향에 배치될 수 있다. 이때, 상기 안경테(101)의 상측에 배치된 LED(105a)는 음원이 전방에 있는 경우를 나타내고, 상기 안경테(101)의 하측에 배치된 LED(105b)는 음원이 후방에 있는 경우를 나타내고, 상기 안경테(101)의 좌측에 배치된 LED(105c)는 음원이 좌측에 있는 경우를 나타내며, 상기 안경테(101)의 우측에 배치된 LED(105d)는 음원이 우측에 있는 경우를 나타낸다.

상기 마이크로폰 구동부(111)는 상기 제어부(110)의 제어에 의해 상기 복수의 마이크로폰(104)을 구동한다.

상기 신호 입력부(112)는 상기 복수의 마이크로폰(104)를 통해 음압신호를 입력받아 상기 제어부(110)로 전송한다.

상기 LED 구동부(113)는 상기 제어부(110)의 제어에 의해 상기 복수의 LED(105a∼105d: 105)를 선택적으로 구동한다.

상기 연산 처리부(114)는 상기 프로그램 저장부(115)에 저장된 상기 지연-합 빔형성 프로그램에 의해, 상기 복수의 마이크로폰(104)를 통해 수신된 음압신호로부터 착용자를 기준으로 360°전방향을 소정 각도(예를 들어, 10°)씩 분할한 후 각각의 방향에서의 빔출력 및 빔파워를 계산하고, 상기 계산된 각 방향에서 구해진 빔파워의 크기를 비교하여 최대 빔파워를 갖는 방향을 음원의 방향으로 추정한다. 이때, 상기 지연-합 빔형성 프로그램은, 상기 음압신호로부터 음압레벨(

)을 계산하고 역치(

)를 설정하며, 상기 음압레벨(

)이 역치(

) 이상인 경우 각 방향에서의 빔출력 및 빔파워를 계산하고, 상기 계산된 각 방향에서의 빔출력 및 빔파워 중에서 최대 빔파워를 갖는 방향을 음원의 방향으로 추정한다.

여기서, 음원의 추정시 분할하는 각도의 간격은 제작된 장치의 위치 추정 분해능과 관계가 있으며, 이는 안경의 크기에 의해 결정된다. 상기 청각보조장치(100)의 위치 추정 분해능은 5㎑ 이하에서 약 20°이상이며, 따라서 분할하는 각도의 간격은 0°∼20°로 선정이 가능하다. 이때 분할하는 각도의 간격이 작을수록 정확한 방향의 추정이 가능한 반면 연산량이 늘어나는 단점이 있다.

상기 지연-합 빔형성 프로그램(지연-합 빔형성 방법 또는 지연-합 빔형성 알고리즘)에 대해서는 뒤에서 상세히 설명하기로 한다.

상기 프로그램 저장부(115)는 상기 지연-합 빔형성 프로그램을 저장하는 메모리이다.

상기 제어부(110)는 상기 연산 처리부(114)에서 상기 복수의 마이크로폰(104)을 통해 수신된 음압신호로부터 음원의 방향을 실시간으로 추정한 방향에 해당하는 발광소자를 점등하여 음원이 발생한 방향을 시각적으로 제시하도록, 상기 복수의 마이크로폰(104), 상기 복수의 LED(105a∼105d: 105), 상기 마이크로폰 구동부(111), 상기 신호 입력부(112), 상기 LED 구동부(113), 상기 연산 처리부(114), 상기 프로그램 저장부(115)의 동작을 각각 제어한다.

상기 전원부(116)는 상기 복수의 마이크로폰(104), 상기 복수의 LED(105), 상기 마이크로폰 구동부(111), 상기 신호 입력부(112), 상기 LED 구동부(113), 상기 연산 처리부(114), 상기 프로그램 저장부(115), 상기 제어부(110)로 필요한 전원을 공급한다.

본 발명의 제1 실시 예에 의한 청각보조장치(100)는, 보조 기구의 착용으로 인한 일반인과의 구분을 피하기 위해 안경형으로 제작하였으며, 복수의 마이크로폰(104)과 전/후/좌/우 방향을 나타내는 복수의 LED(105)를 안경에 장착하였다. 상기 복수의 마이크로폰(104)으로부터 수신된 음압신호는 상기 지연-합 빔형성 프로그램을 이용하여 음원의 방향을 실시간으로 추정하고, 상기 복수의 LED(105) 중에서 추정된 음원의 방향에 해당하는 LED를 점등하여 음원이 발생한 방향을 시각적으로 제시한다.

청각보조장치의 제2 실시 예

도3 및 도4는 본 발명의 바람직한 제2 실시 예에 의한 청각보조장치의 개략도 및 구성도이다.

본 발명에 의한 청각보조장치(200)의 제2 실시 예는, 도1 및 도2에 도시된 바와 같이, 복수의 마이크로폰(204), 복수의 방향 표시용 LED(205a, 205b: 205), 음원크기 표시용 LED(206), 제어부(210), 마이크로폰 구동부(211), 신호 입력부(212), LED 구동부(213), 연산 처리부(214), 프로그램 저장부(215), 전원부(216)를 포함하고 있다.

상기 제2 실시 예의 청각보조장치(200)는 상기 제1 실시 예의 청각보조장치(100)에서 상기 음원크기 표시용 LED(206)를 추가로 구성한 것이다. 따라서, 상기 제2 실시 예의 복수의 마이크로폰(204), 복수의 방향 표시용 LED(205a, 205b: 205), 제어부(210), 마이크로폰 구동부(211), 신호 입력부(212), LED 구동부(213), 연산 처리부(214), 프로그램 저장부(215), 전원부(216)는, 상기 제1 실시 예의 복수의 마이크로폰(104), 복수의 방향 표시용 LED(105a, 105b: 105), 제어부(110), 마이크로폰 구동부(111), 신호 입력부(112), LED 구동부(113), 연산 처리부(114), 프로그램 저장부(115), 전원부(116)와 그 구성 및 동작이 동일하다. 다만, 상기 LED 구동부(213)는 상기 제어부(210)의 제어에 따라 상기 복수의 방향 표시용 LED(205a, 205b: 205)와 상기 음원크기 표시용 LED(206)를 각각 제어하는 점에서 다르다.

상기 음원크기 표시용 LED(206)는 상기 LED 구동부(213)의 제어에 따라 음원의 크기를 도 3과 같이 복수의 LED를 통해 표시한다.

본 발명의 제2 실시 예에 의한 청각보조장치(200)는, 보조 기구의 착용으로 인한 일반인과의 구분을 피하기 위해 안경형으로 제작하였으며, 복수의 마이크로폰(204)과 전/후/좌/우 방향을 나타내는 복수의 LED(205)를 안경에 장착하였다. 상기 복수의 마이크로폰(204)으로부터 수신된 음압신호는 상기 지연-합 빔형성 프로그램을 이용하여 음원의 방향을 실시간으로 추정하고, 상기 복수의 LED(205) 중에서 추정된 음원의 방향에 해당하는 LED를 점등하여 음원이 발생한 방향을 시각적으로 제시한다.

상기 청각보조장치(100,200)는, 외부에서 소리가 발생한 경우 음압 신호를 측정하기 위해 도 1 및 도 3과 같이 안경(101,201) 내부에 복수의 마이크로폰(104,204)을 선형 등간격(예를 들어, 6㎝ 간격)으로 배치하였으며, 설치된 복수의 마이크로폰(104,204)은 음향학적으로 같은 크기 및 위상 특성을 가지도록 보정을 하였다. 또한 휴대용 보조기구라는 목적에 맞게 기존의 계측용 마이크로폰에 비해 크기가 작고 가격이 저렴한 멤스(MEMS) 마이크로폰을 사용하였다.

또한, 실시간 지연-합 빔형성을 통해 구해진 음원의 방향을 시각적으로 제시하기 위해 도1 및 도3과 같이 복수의 고휘도 LED를 부착하였다. 각각의 LED는 음원이 전방, 후방, 좌측, 우측에 있는 경우를 나타낸다. 상기 청각보조장치(100,200)는 도2 및 도4와 같이 크게 마이크로폰(104,204)과 LED(105,205)가 부착된 안경(101)과, 마이크로폰 구동부(111,211), 신호 입력부(112,212), LED 구동부(113,213), 연산 처리부(114,214), 프로그램 저장부(115,215), 전원부(116,216), 제어부(110,210)로 컨트롤 박스의 2부분으로 나누어져 있다. 이때, 상기 컨트롤 박스의 경우 마이크로 프로세서를 이용함으로써 소형화가 가능하다.

본 발명은 상기 제1 및 제2 실시 예와 같이, 상기 청각보조장치(100,200)를 안경 형태로 제작하는 경우 별도의 동작 없이도 빛을 쉽게 인지할 수 있는 장점이 있다.

소리가 발생한 위치 혹은 방향에 대한 정보를 시각적으로 제공할 수 있다는 측면에서 음가시화(sound visualization) 기술(예를 들면, 비특허문헌[1])의 청각 도우미로의 적용 가능성을 살펴볼 필요성이 있다. 음가시화란 다수의 마이크로폰을 사용하여 측정된 음향 신호로부터 음압, 입자속도, 인텐시티 또는 빔파워 등의 공간분포를 시각적으로 나타내는 방법으로, 음향홀로그래피(acoustic holography)(예를 들면, 비특허문헌[2-4])와 빔형성 방법(beamforming)(예를 들면, 비특허문헌[5-6])등이 대표적이며, 음가시화를 통해 구해진 음압 또는 빔파워의 공간 분포로부터 음원의 위치 또는 음파의 전파 방향을 추정할 수 있다. 이때 빔형성 방법의 경우, 센서의 배치가 비교적 자유롭고 측정점의 개수가 적을 뿐 아니라, 알고리즘이 간단하여 실시간 구현에 유리하다는 장점이 있다. 본 발명에서는 실시간 지연-합 빔형성 알고리즘의 구현을 통해 소리가 발생한 위치와 방향을 제시한다.

지연-합 빔형성 알고리즘

도 5는 지연-합 빔형성 방법을 나타낸 도면이다.

지연-합 빔형성 방법은 가장 오래되고 기본적인 어레이 신호처리 방법 중의 하나로, 어레이의 지향성을 적절히 조절하여 음원이 존재하는 방향을 추정하기에 용이하다. 도 2에서 나타내는 바와 같이, 지연-합 빔형성 방법은 각 마이크로폰에 도달하는 음파의 상대적인 시간 차이를 조절함으로써 어레이가 가지는 지향성을 조절한다. 많은 경우 청각 장애인으로부터 비교적 먼 거리에서 소리가 발생하며, 이로부터 음원이 지면과 평행하게 위치하여 소리가 발생한 방향을 추정함에 있어 고도각보다는 주로 수평각 방향(

)의 정보를 필요로 한다고 가정할 수 있다. 또한, 이 경우에 마이크로폰 어레이로 입사하는 음파는 평면파로 간주할 수 있다. 공간 상의 한 방향,

에서 입사하는 음파가 보조기구 표면에 부착된 각각의 마이크로폰에 의해 측정될 때, 각 마이크로폰 사이에 측정된 신호에는 식 1과 같이 측정 잡음 및 시간 지연이 포함된다.

위 식에서

는 m번째 마이크로폰의 위치를 의미하며,

는 음파가

에서 입사할 때 1번 마이크로폰과 각 마이크로폰 사이의 상대적인 시간차를 의미한다. 이때, 빔출력은 식 2와 같이 각 마이크로폰에서 측정된 음압 신호에 대해 적절한 시간 지연항을 보상한 후, 모두 더하여 구할 수 있다.

식 2에서

는 음파가

에서 입사하는 경우에 대해 1번 마이크로폰과 각 마이크로폰 사이의 상대적인 시간차를 의미하며, 평면파가 전파하는 경우에 대해 식 3과 같이 모델링할 수 있다.

이때, 식 2와 같이 각 방향에서 구해진 빔출력

에는 보강간섭으로 인한 입사음에 대한 정보(실제 음파의 입사방향과 일치하는

인 경우)가 포함되어 있으며, 다수의 마이크로폰에 의한 어레이 이득(array gain)으로 충분한 신호대 잡음비(SNR)를 얻을 수 있다. 본 발명의 청각보조장치에서는 각 방향에서의 빔출력의 파워 분포를 구하고, 파워가 최대가 되는 방향을 음원의 방향으로 추정한다. 이때, 빔출력의 파워는 아래의 식 4와 같이 정의된다.

이는 음원의 종류에 관계없이 지연-합 빔형성 방법을 통해 얻은 각 방향에서의 빔출력 중, 보강 간섭으로 인해 음압레벨이 최대가 되는 방향만을 찾는다는 물리적 의미를 지닌다.

청각장애인의 위험 상황에서의 즉각적인 대응을 위해 제안하는 청각보조장치에서는 소리가 발생한 방향을 실시간으로 제시할 필요가 있다. 지연-합 빔형성 방법의 실시간 구동을 위해 제안하는 청각보조장치에서는 도 6과 같은 프로세스로 알고리즘이 동작한다. 이때, 실시간이라는 용어는 음원의 방향을 수정하기 위해 소요되는 전체 연산시간(

)이 이전의 측정된 데이터의 시간간격(

)보다 작아, 결과를 추정하는 과정에서 지연 및 정보의 누락이 존재하지 않는 것을 의미한다.

청각보조장치의 동작 방법

도 6은 본 발명의 청각보조장치가 실시간으로 동작하는 일련의 프로세스를 나타낸다.

도 6을 참조하여 설명하면, 먼저 복수의 마이크로폰(104,204)을 통해 일정 주기로 음압신호를 수신받는다(단계 S10). 이때, 음압신호는 일정 주기로 수신받을 수 있으며, 예를 들어

의 주기로 수신받을 수 있다.

이 후, 상기 수신된 음압신호로부터 음압레벨(

)을 계산하고 역치(

)를 설정한다(단계 S20). 이때, 상기 음압레벨(

)의 계산과 상기 역치(

)의 설정은 상기 프로그램 저장부(215)에 저장된 프로그램에 따라 상기 연산 처리부(114,214)와 상기 제어부(110,210)에서 수행될 수 있다.

이 후, 상기 계산한 음압신호의 음압레벨(

)이 상기 역치(

) 이상인 경우(단계 S30의 '예') 지연-합 빔형성 프로그램(또는 알고리즘)을 이용하여 음원의 방향을 실시간으로 추정한다(단계 S40). 상기 지연-합 빔형성 프로그램(또는 알고리즘)은 상기 프로그램 저장부(215)에 저장되며, 상기 지연-합 빔형성 프로그램에 따라 상기 연산 처리부(114,214)와 상기 제어부(110,210)에서 음원의 방향을 실시간으로 추정한다.

상기 지연-합 빔형성 프로그램(또는 알고리즘)을 이용하여 음원의 방향을 실시간으로 추정하는 방법은, 착용자를 기준으로 360°전방향을 소정 각도(예를 들어, 10°)씩 분할한 후 각각의 방향에서의 빔출력 및 빔파워를 계산하고(단계 S50), 계산된 각 방향에서 구해진 빔파워의 크기를 비교하여 최대 빔파워를 갖는 방향을 음원의 방향으로 추정한다(단계 S60). 여기서, 상기 빔출력 및 빔파워는 앞에서 설명한 수학식1 내지 수학식4에 의해 계산할 수 있다.

여기서, 음원의 추정시 분할하는 각도의 간격은 제작된 장치의 위치 추정 분해능과 관계가 있으며, 이는 안경의 크기에 의해 결정된다. 상기 청각보조장치(100,200)의 위치 추정 분해능은 5㎑ 이하에서 약 20°이상이며, 따라서 분할하는 각도의 간격은 0°∼20°로 선정이 가능하다. 이때 분할하는 각도의 간격이 작을수록 정확한 방향의 추정이 가능한 반면 연산량이 늘어나는 단점이 있다.

이 후, 상기 추정된 방향에 해당하는 LED를 점등(단계 S60)한 후, 상기의 단계(S10∼S70)를 반복 수행한다.

본 발명의 실시 예에서는 지연-합 빔형성 방법을 이용하여 신호대잡음비를 증가시킴으로써 노이즈를 감소시킬 수 있다.

청각보조장치의 실험 예

도7 및 도8은 청각보조장치의 실험 모형 사진 및 실험 결과 화면이다.

청각 장애인에게 소리 발생 방향을 제시하기 위해 제작된 청각보조장치(100,200)의 성능을 시험하기 위해 도 7과 같이 장치를 구성한다. 사람이 착용한 상태에서의 성능 측정을 위해 사람의 머리와 몸통을 음향학적으로 모델링한 HATS 모델(Head And Torso Simulator)을 이용한다. 평면파 입사 및 스피커의 근음장 효과를 없애기 위해 청각보조장치(100,200)로부터 3m 떨어진 위치에 음원을 배치하며, 20㎐∼10㎑ 대역의 백색잡음을 방사한다. 이를 통해 주파수 별로 제작된 청각보조장치(100,200)의 성능을 관찰한다.

도 8과 같이 구해진 빔파워 분포로부터 약 500㎐ 이하의 저주파 대역에서는 마이크로폰 어레이의 지향성이 낮아 음원의 방향 추정이 쉽지 않음을 알 수 있다. 또한, 2㎑ 이상의 대역에서는 실제 음원의 방향 이외의 다른 방향에서도 높은 레벨의 부엽이 발생하여 정확한 음원의 방향 추정이 어렵다. 성능 시험결과로부터 500㎐∼2㎑ 사이의 대역에서 음원의 방향 추정이 가능함을 알 수 있다.

본 발명에서는 청각 장애인에게 소리의 발생 방향을 LED를 이용하여 시각적으로 제시하는 청각보조장치(100,200)를 개발하였다. 복수의 멤스(MEMS) 마이크로폰을 통해 측정된 음압 신호로부터 실시간으로 음원의 방향을 추정하여 전/후/좌/우 방향을 의미하는 각각의 LED를 점등함으로써 음원의 방향을 가리킨다. 실시간 구현을 위해 0.2초 간격으로 소리 발생 여부를 파악하고, 역치 이상의 음압 레벨이 측정되는 경우 음원의 방향 추정을 위해 지연-합 빔형성 알고리즘이 작동한다. 실제 사람이 착용한 상태에서의 성능 측정을 위해 HATS 모델을 이용하였으며, 시험 결과로부터 주로 약 500㎐∼2㎑ 대역에서 음원의 방향 추정이 용이함을 알 수 있다.

이와 같이 구성된 본 발명에 의한 음원의 방향을 시각적으로 제시하는 청각보조장치 및 그의 동작 방법에 관한 것으로, 복수의 마이크로폰과 전/후/좌/우 방향을 나타내는 복수의 LED를 안경에 장착하여, 상기 마이크로폰으로부터 수신된 음압신호를 상기 지연-합 빔형성 방법을 이용하여 음원의 방향을 실시간으로 추정하고, 추정된 음원의 방향에 해당하는 LED를 점등하여 음원이 발생한 방향을 시각적으로 제시함으로써, 본 발명의 기술적 과제를 해결할 수가 있다.

이상에서 설명한 본 발명의 바람직한 실시 예들은 기술적 과제를 해결하기 위해 개시된 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(당업자)라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

본 발명의 음원의 방향을 시각적으로 제시하는 청각보조장치 및 그의 동작 방법은 안경을 예로 들어 설명하고 있으나, 이에 한정되지 않고 모자, 헬멧, 목걸이, 시계, 헤어밴드 등에도 동일하게 적용할 수 있다.

100 : 청각보조장치의 제 1 실시 예
101 : 안경테 102 : 안경다리
103 : 안경 104 : 마이크로폰(microphone)
105a∼105d : 방향 표시용 LED 110 : 제어부
111 : 마이크로폰 구동부 112 : 신호 입력부
113 : LED 구동부 114 : 연산 처리부
115 : 프로그램 저장부 116 : 전원부
200 : 청각보조장치의 제 2 실시 예
201 : 안경테 202 : 안경다리
203 : 안경 204 : 마이크로폰(microphone)
205a, 205b : 방향 표시용 LED 206 : 음원크기 표시용 LED
210 : 제어부 211 : 마이크로폰 구동부
212 : 신호 입력부 213 : LED 구동부
214 : 연산 처리부 215 : 프로그램 저장부
216 : 전원부

Claims

복수의 마이크로폰;
전/후/좌/우 방향을 나타내는 복수의 발광소자; 및
상기 복수의 마이크로폰을 통해 수신된 음압신호로부터 착용자를 기준으로 360°전방향을 소정 각도씩 분할한 후 각각의 방향에서의 빔출력 및 빔파워를 계산하고, 상기 계산된 각 방향에서 구해진 빔파워의 크기를 비교하여 최대 빔파워를 갖는 방향을 음원의 방향으로 추정하고, 상기 추정된 방향에 해당하는 발광소자를 점등하여 음원이 발생한 방향을 실시간으로 시각적으로 제시하도록 제어하는 제어부;
를 포함하는,
청각보조장치.
제1항에 있어서,
상기 제어부는,
지연-합 빔형성 방법을 이용하여 각 방향에서의 빔출력 및 빔파워를 계산하는,
청각보조장치.
제2항에 있어서,
상기 지연-합 빔형성 방법은,
상기 음압신호로부터 음압레벨(
)을 계산하고 역치(
)를 설정한 후, 상기 음압레벨(
)이 역치(
) 이상인 경우 각 방향에서의 빔출력 및 빔파워를 계산하는,
청각보조장치.
제1항에 있어서,
상기 소정 각도는 10°∼20°범위를 갖는,
청각보조장치.
제1항에 있어서,
상기 청각보조장치는,
상기 복수의 마이크로폰을 구동하는 마이크로폰 구동부;
상기 복수의 마이크로폰을 통해 음압신호를 입력받는 신호 입력부;
상기 복수의 발광소자를 선택적으로 구동하는 발광소자 구동부;
상기 신호 입력부를 통해 수신된 음압신호를 이용하여, 착용자를 기준으로 360°전방향을 소정 각도씩 분할한 후 각각의 방향에서의 빔출력 및 빔파워를 계산하고, 상기 계산된 각 방향에서 구해진 빔파워의 크기를 비교하여 최대 빔파워를 갖는 방향을 음원의 방향으로 추정하는 연산 처리부;
상기 연산 처리부에서 추정된 방향에 해당하는 발광소자를 점등하고, 상기 마이크로폰 구동부, 상기 신호 입력부, 상기 발광소자 구동부, 상기 프로그램 저장부, 상기 연산 처리부의 동작을 각각 제어하는 제어부; 및
상기 복수의 마이크로폰, 상기 복수의 발광소자, 상기 마이크로폰 구동부, 상기 신호 입력부, 상기 발광소자 구동부, 상기 연산 처리부, 상기 제어부로 전원을 공급하는 전원부;
를 포함하는,
청각보조장치.
제5항에 있어서,
상기 청각보조장치는,
상기 발광소자 구동부의 제어에 따라 상기 음원의 크기를 복수의 발광소자로 표시하는 음원크기 표시용 발광소자를 더 포함하는,
청각보조장치.
제1항에 있어서,
상기 복수의 마이크로폰은 멤스(MEMS) 마이크로폰으로 구성된,
청각보조장치.
제1항에 있어서,
상기 청각보조장치는 안경인,
청각보조장치.
제8항에 있어서,
상기 복수의 마이크로폰은 안경테와 안경다리에 배치되며,
상기 복수의 발광소자는 안경테 내측의 상/하/좌/우 방향에 배치된,
청각보조장치.
(a) 복수의 마이크로폰을 통해 음압신호를 수신받는 단계;
(b) 착용자를 기준으로 360°전방향을 소정 각도씩 분할한 후 각각의 방향에서의 빔출력 및 빔파워를 계산하는 단계;
(c) 상기 계산된 각 방향에서 구해진 빔파워의 크기를 비교하여 최대 빔파워를 갖는 방향을 음원의 방향으로 추정하는 단계;
(d) 상기 추정된 방향에 해당하는 발광소자를 실시간으로 점등하는 단계; 및
(e) 상기 (a) 내지 (d)단계를 반복 수행하는 단계;
를 포함하는,
청각보조장치의 동작 방법.
제10항에 있어서,
상기 청각보조장치의 동작 방법은,
상기 수신된 음압신호로부터 음압레벨(
)을 계산하고 역치(
)를 설정한 후, 상기 음압레벨(
)이 역치(
) 이상인 경우 지연-합 빔형성 방법을 이용하여 각 방향에서의 빔출력 및 빔파워를 계산하는,
청각보조장치의 동작 방법.
제11항에 있어서,
상기 지연-합 빔형성 방법은,
각 마이크로폰에서 측정된 음압 신호에 대해 시간지연을 보상한 후 보상된 음압 신호를 모두 더하여 상기 빔출력을 계산하는,
청각보조장치의 동작 방법.
제10항에 있어서,
상기 빔출력
은,

(
: m번째 마이크로폰의 위치,
: 음파가
에서 입사할 때 1번 마이크로폰과 각 마이크로폰 사이의 상대적인 시간차,
: 음파의 입사 방향)
의 식을 통해 계산하는,
청각보조장치의 동작 방법.
제10항에 있어서,
상기 빔파워
는,

(
: 음파의 입사 방향)
의 식을 통해 계산하는,
청각보조장치의 동작 방법.
제10항에 있어서,
상기 소정 각도는 10°를 포함하는,
청각보조장치의 동작 방법.