KR20150053842A - 양이 보청기의 빔-포밍 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 양이 보청기의 빔-포밍 방법에 관한 것으로, 보다 상세하게는 양이 보청기를 사용하는 난청자가 인식하고자 하는 음성의 입력(유입)이 난청자의 여하한 방향으로부터 이루어지더라도 난청자가 처한 신체적 상황(physical positioning)에 관계없이 그리고 유입되는 대상 음성의 주파수에 관계없이 대상 음성을 인식할 수 있도록 하는 빔-포밍 방안에 관한 것이다.
본 발명에 의한 빔-포밍 방법은 (a)양이 보청기에 입력되는 음성의 빔-포밍을 통해 예비적 빔 패턴(preliminary beam pattern)을 형성하여, 난청자의 인식 대상 음성이 상기 보청기의 정 방면, 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 판단하는 단계; 및 (b)상기 예비적 빔 패턴을 상기 대상 음성의 음원(sound source)이 위치한 방향에 따라 조정하여(calibrating) 상기 대상 음성에 대한 최종적 빔 패턴(출력 음성)을 형성하는 단계를 포함하여 본 발명의 과제를 해결한다.

Description

양이 보청기의 빔-포밍 시스템 및 그 방법{Beam-forming system and method for binaural hearing support device}

본 발명은 양이 보청기의 빔-포밍 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 양이 보청기(binaural hearing support device)를 사용하는 난청자(hearing-impaired person)가 인식하고자 하는 음성(이하 '대상 음성(target sound)'이라 함)의 입력(유입)이 난청자의 여하한 방향으로부터 이루어지더라도 난청자가 처한 신체적 상황(physical positioning)에 관계없이 그리고 유입되는 대상 음성의 주파수에 관계없이 대상 음성을 인식할 수 있도록 하는 빔-포밍 방안에 관한 것이다.

음성을 포함한 모든 신호는 잡음 성분이 존재하는데, 정상적인 인간의 귀는 자체 필터링 기능을 가지고 있어 귀에 유입되는 여러 음성으로부터 잡음 성분을 필터링하여 대상 음성을 인식할 수 있도록 되어 있다. 그러나 난청자들은 이러한 필터링 기능이 현격히 떨어지기 때문에 난청 보완 기기(예를 들어 digital hearing aid, cochlea implant, bone-anchored hearing aid 등)가 제공하는 필터링 기능의 도움을 받아 대상 음성을 인식한다.

현재 양이 보청기를 포함한 대부분의 난청 보완 기기에는 소위 '빔-포밍(Beam-forming)'이라는 기법이 적용되고 있다. 빔-포밍은, 공간 필터링(spatial filtering)으로도 불리는 것으로, 음성 신호의 위상(phase)과 크기(amplitude)를 조절하여 리시버(난청 보완 기기)에 어떤 각도로 입력되는 음성 신호에는 보강 간섭(constructive interference)의 파형(waveform)을 그리고 다른 각도로 입력되는 음성 신호에는 상쇄 간섭(destructive interference)의 파형을 생성하여 입력 음성 신호에 대한 빔 패턴(beam pattern, 출력 신호)을 형성하는 것이다. 빔-포밍 기법은 난청 보완 기기에 대해서 뿐만 아니라 음(sound)을 이용하거나 활용하는 관련된 모든 분야에 적용된다. 빔-포밍에 관한 보다 더 상세한 사항은 이미 다수의 공지된 문헌 등에 상세히 개시되어 있으므로 더 이상의 상술은 생략하지만, 난청 보완을 위한 빔-포밍 기법에 관한 사항을 약술하면 다음과 같다.

난청 보완을 위한 빔-포밍 기법이 지향하는 바는 음원(sound source, 예를 들어 난청자의 대화 상대방)으로부터 난청자 방향으로 입력되는 음성은 통과(pass)시키는 반면에, 다른 방향으로부터의 음성은 감쇠(attenuating)시켜 빔 패턴을 형성하는 것이다. 난청 보완을 위한 빔-포밍 기법의 기존의 통상적인 방안은 대상 음성의 입력 방향(azimuthal direction)을 하나로 고정하는 것을 전제로 구현되는데, 이러한 전제에 의하면 대상 음성의 음원이 이동하면(다른 곳에 위치하면) 난청자는 대상 음성을 인식하기 위해 음원이 이동한 방향으로 반드시 고개를 움직이거나 자신의 몸을 향하게 해야 한다. 왜냐하면 azimuthal direction이 고정되어 있기 때문에 대상 음성이 다른 방향으로부터 입력되면 azimuthal direction이 변하게 되고 결국 대상 음성이 잡음으로 간주되어 감쇠 처리되기 때문이다.

그러나 실제로는 고개를 움직일 수 없는 상황 등 난청자의 신체적 상황(physical positioning)에는 다양한 상황이 존재할 수 있는데, 예를 들어 난청자가 운전 중인 경우에 음원(대화 상대방)이 다른 곳으로 움직이면 난청자는 그의 고개를 돌릴 수가 없는 상황, 난청자가 신체적 장애가 있어 고개를 돌릴 수 없는 상황, 신체적 움직임에 제한이 있는 상황, 난청자가 소정 시간동안 또는 언제나 자신의 정면만을 주시해야만 하는 상황 등이다. 이러한 상황에서의 기존의 통상적인 빔-포밍 방안은 음원이 이동하면 무용지물이 될 수밖에 없어 대상 음성을 인식할 수 없는데, 이는 상기한 azimuthal direction이 고정되어 있음을 전제로 빔-포밍 기법을 적용하기 때문에 음원의 이동에 대처할 수 없기 때문이다. 따라서 이러한 상황들이 발생되더라도 난청자가 대상 음성을 인식할 수 있는 방안이 필요하다.

본 발명은 상기한 필요에 부응하기 위해 창안된 것으로, 본 발명이 해결하고자 하는 과제는 대상 음성의 유입이 난청자의 여하한 방향으로부터 이루어지더라도 난청자가 처한 신체적 상황(physical positioning)에 관계없이 그리고 유입되는 대상 음성의 주파수에 관계없이 대상 음성을 인식할 수 있도록 하는 빔-포밍 방안을 실현하는 것이다.

상기와 같은 과제를 해결하기 위해 개시되는 빔-포밍 시스템은

양이 보청기에 입력되는 음성의 빔-포밍을 통해 예비적 빔 패턴(preliminary beam pattern)을 형성하여, 난청자의 인식 대상 음성이 상기 보청기의 정 방면, 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 판단하는 예비적 빔 패턴 형성부; 및 상기 예비적 빔 패턴을 상기 대상 음성의 음원(sound source)이 실제 위치한 방향에 따라 조정하여(calibrating), 상기 대상 음성에 대한 최종적 빔 패턴(출력 음성)을 형성하는 조정부를 포함하여 상기한 과제를 해결한다.

상기 최종적 빔 패턴의 형성은 상기 대상 음성이 여하한 주파수를 갖더라도 빔 패턴 형성 효과를 볼 수 있도록 상기 예비적 빔 패턴을 보정하는 것이 본 발명의 과제를 해결을 위해 바람직하다.

상기와 같은 과제를 해결하기 위해 개시되는 빔-포밍 방법은

(a)양이 보청기에 입력되는 음성의 빔-포밍을 통해 예비적 빔 패턴을 형성하여, 난청자의 인식 대상 음성이 상기 보청기의 정 방면, 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 판단하는 단계; 및 (b)상기 예비적 빔 패턴을 상기 대상 음성의 음원이 위치한 방향에 따라 조정하여 상기 대상 음성에 대한 최종적 빔 패턴(출력 음성)을 형성하는 단계를 포함하여 상기한 과제를 해결한다.

본 발명은 대상 음성의 유입이 난청자의 여하한 방향으로부터 그리고 음성의 대역 주파수내의 여하한 주파수의 음성의 유입이 이루어지더라도 난청자가 처한 신체적 상황(physical positioning)에 관계없이 대상 음성을 인식할 수 있는 이점을 제공한다.

도 1a는 본 발명에 의한 빔-포밍 방안이 구현되는 시스템과 흐름을 제시한 도면이다.
도 1b는 제1 예비적 빔 패턴 형성부(111)의 일례를 제시한 도면이다.
도 1c는 제2 예비적 빔 패턴 형성부(112)의 일례를 제시한 도면이다.
도 2는 본 발명에 의한 빔-포밍 방안이 구현되는 흐름을 제시한 도면이다.
도 3은 예비적 빔 패턴의 예시를 제시한 도면이다.
도 4a와 도 4b는 본 발명에 의한 빔-포밍 방안의 결과의 일례를 제시한 도면이다.

본 발명을 실시하기 위한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하려는 과제의 해결 방안의 개요를 우선 제시한다.

상기한 기존의 통상적인 빔-포밍 기법의 문제를 해결하기 위해 개선된 빔-포밍 기법들이 소개되거나 실시 중에 있는데 이들에 대해 간략히 소개하면 다음과 같다.

기존의 개선된 빔-포밍 기법들은, 본 발명과 마찬가지로 양이 보청기에 적용되는 것으로, 결론적으로 빔 패턴 형성을 위한 포커싱 방향(possible focusing direction)을 다양화(diversifying)시키는 것으로써 기존의 통상적인 빔-포밍 기법의 문제 해결을 도모하는데 이는 상기한 azimuthal direction을 다양화시키는 것을 의미한다.

기존의 개선된 빔-포밍 방안의 첫 번째 방안(B. Stuermann, "auto ZoomControl??Objective and subjective benefits with auto ZoomControl,"http://www.phonakpro.com/com/b2b/en/evidence/topics/auto-zoomcontrol.html,Lastly accessed on Dec.15, 2012.)은 난청자의 대상 음성 인식 능력(sound intelligibility)을 향상시키기 위해 azimuthal direction을 0° 뿐만이 아니라 90°, 180°, 270°의 4 방향으로 다양화시켜 빔-포밍을 수행한다. 여기서 0°는 대상 음성의 입력 방향이 보청기의 흡음 부분의 평면의 법선(normal) 방향임을 의미하며, 90°, 180°, 270°는 0°를 기준으로 순차적으로 그 입력 방향이 시계 방향(clockwise) 또는 반시계 방향임을 의미한다. 이는 후술할 본 발명에 대해서도 동일하게 적용 내지 유추 적용됨을 미리 밝히며, 이하에서는 설명의 편의상 난청자의 정면을 0°로 보고 이를 기준으로 90도 우측을 90°, 후면을 180°, 90도 좌측을 270°으로 보기로 한다.

기존의 개선된 빔-포밍 방안의 두 번째 방안(N. Chatlani,E Fischer, and J. Soraghan,"Spatial noise reduction in binaural hearing aids," Proc. EUSIPCO'10, 2010, p.1544-1548)은 azimuthal direction을 난청자의 전후좌우 뿐만 아니라 난청자의 정면(0°)을 기준으로 전방 45도 우측(45°), 전방 45도 좌측(315°), 후방 45도 우측(135°), 후방 45도 좌측(225°)의 8 방향으로 다양화시켜(beam-steering) 빔-포밍을 수행한다. 즉, 난청자의 정면을 기준으로 전후방 대각선 방향도 azimuthal direction로 지정하여 빔-포밍을 수행하는 것이다.

첫 번째 방안의 경우 양이에 모두 주어지는 청각 단서(binaural cues, 예를 들어 두 귀의 레벨 차(interaural level difference)와 두 귀의 시간 차(interaural time difference))가 무시되어 버리기 때문에 음원의 입력 방향 특정(sound localization)이 불분명해지는 문제점, 한 쪽 보청기에 입력되는 모든 소리를 반대 쪽 보청기로 스트리밍 전송하므로 연속적인 데이터 스트리밍으로 인한 전력 소모량이 커서 배터리 수명이 짧아지는 문제점 및 난청자의 전후좌우 방향으로만 azimuthal direction을 설정하기 때문에 난청자의 전후방 대각선 방향에 대해서는 유명무실하게 되어 활용성이 저하될 수 있는 문제점을 내포하고 있다.

두 번째 방안의 경우 전후방 대각선 방향도 azimuthal direction으로 설정하기 때문에 전후방 대각선 방향에 대해서도 빔-포밍을 실현할 수 있어 첫 번째 방안에 비해 대상 음성 인식 능력(sound intelligibility)을 향상시키는 장점을 갖지만, 입력 음성 신호의 주파수 대역폭을 1[KHz]의 주파수를 기준으로 두 개의 대역폭만으로 나누어 빔-포밍을 수행하기 때문에 빔-포밍의 효과를 현저히 감쇠시켜버리는 문제점(두 번째 방안에 의하면 특히 대상 음성의 주파수가 750[Hz] 이상인 경우에는 전후방 대각선 방향에 대한 빔-포밍 효과가 거의 없다)을 내포하고 있다. 이는 음성 신호의 실질 대역폭이 0 ~ 4[KHz]임을 고려하면 빔-포밍 효과를 거의 볼 수 없는 것과 마찬가지이다.

따라서 본 발명은 대상 음성의 입력 방향에 관계없이 빔-포밍 효과를 볼 수 있도록 기존의 개선된 방안들과 마찬가지로 azimuthal direction을 다양화시키며, 아울러 음성 신호의 실질 대역폭에 존재하는 주파수를 갖는 여하한 신호들에 대해서도 빔-포밍 효과를 볼 수 있도록 하는 것이 본 발명이 해결하려는 과제의 해결 방안의 개요이다.

이하, 본 발명을 실시하기 위한 구체적인 내용을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

도 1a와 도 2는 각각 본 발명에 의한 빔-포밍 방안이 구현되는 시스템과 흐름을 제시한 도면이다.

본 발명에 의한 빔-포밍의 구현은 난청자(양이 보청기)에 입력되는 음성 중 대상 음성이 난청자의 정 방면(forward side), 후 방면(backward side), 좌측 방면(left side) 또는 우측 방면(right side)에서 입력되는지 판단하기 위해 입력되는 음성에 대해 빔-포밍을 실시하여 예비적(preliminary) 빔 패턴을 형성(포밍)하는 단계, 형성된 예비적 빔 패턴을 대상 신호의 음원(sound source)이 실제 위치한 방향에 따라 조정하여(calibrating)) 대상 음성에 대한 최종적 빔 패턴(출력 음성으로서 난청자가 인지할 음성)을 형성하는 단계로 이루어지게 된다.

본 발명은 대상 신호의 개괄적인 입력 방향을 우선적으로 판단(예비적 빔 패턴을 형성)함이 선행되는데, 이는 인간의 자연스러운 행동 현상을 따르기 위함이다. 즉, 인간은 어떤 소리를 듣게 되었을 때 자연적으로 자신의 전후좌우 방면 중 어느 한 방면에 대해 인식(반응)을 하게 된다. 따라서 본 발명은 우선적으로 대상 신호가 난청자의 전후좌우 방면 중 어느 방면으로부터 입력되는지 판단하기 위해 입력 음성 신호에 대해 빔-포밍을 수행하여 예비적 빔 패턴을 형성한다. 이렇듯 상기한 '방면'의 의미는 바로 '개괄적인 방향'의 의미이고, 예비적 빔 패턴의 형성은 입력 음성의 유입 방향을 전후좌우로 집중시키는(focusing) 것을 의미한다.

다음으로 형성된 예비적 빔 패턴을 대상 음성의 음원의 실제 위치에 맞게 조정하여 최종적인 빔 패턴(출력 신호)을 형성한다. 조정의 이유는 난청자가 음원에 대한 위치를 인식(sound localization)할 수 있게 하기 위해서이다. 이는 특히 대상 음성의 음원이 난청자의 전후방 대각선 방향(이 경우의 azimuthal direction은 각각 45°내외, 135°내외, 225°내외, 315°내외)으로부터 입력되는 경우에 대처할 수 있게 하기 위함이다. 한편 최종적 빔 패턴을 형성할 때에는 대상 음성이 여하한 주파수를 갖더라도 빔 패턴 형성 효과를 볼 수 있도록 예비적 빔 패턴을 조정하게 된다.

예비적 빔 패턴 형성부(11)는 대상 음성이 난청자의 정 방면(법선 방향 방면), 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 즉, 대상 음성의 개괄적 입력 방향(4 방향)을 판단하는 기능을 수행하는 부분으로, 이는 난청자(양이 보청기)에 입력되는 음성(이 음성에는 대상 음성과 그 이외의 음성(잡음)이 포함되어 있다)에 대해 빔-포밍을 수행하여 대상 음성에 대한 예비적 빔 패턴을 형성(s21)하는 것으로 구현된다. 이에 대한 필요성은 위에서 언급하였다.

본 단계(s21)에 의한 빔-포밍의 결과를 우선 언급하자면 대상 음성이 만일 정 방면(후 방면/좌측 방면/우측 방면)에서 입력된다면, 대상 신호의 입력 방향(azimuthal direction)을 0°(180°/ 270°/ 90°)인 경우로 취급(간주)하여 예비적 빔 패턴을 형성하는 것이다. 각 azimuthal direction에 대한 예비적 빔 패턴의 예가 극 패턴(polar pattern)의 형태로 도 3에 각각 (a) 내지 (d)로 제시되어 있는데, 예비적 빔 패턴이 각 azimuthal direction에 대해서 두드러지게(conspicuously) 형성된 것을 알 수 있다.

예비적 빔 패턴의 생성 과정을 상술하면 다음과 같다.

먼저 정 방면과 후 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴은 제1 예비적 빔 패턴 형성부(111)에 의해 형성되며(s211), 이의 형성은 소위 '차동 마이크로폰 어레이 알고리즘[Differential Microphone Array(DMA) algorithm: 이에 대한 상세는 H. Teutsch and G.W. Elko, "First and Second Order Differential Microphone Arrays", Proc. IWAENC'01,2001, p.35-38(문헌 1)]'에 의해 이루어진다. 양이 보청기는 이미 잘 알려진 대로 좌우 보청기 각각에 스테레오 마이크로폰(front and rear microphone)을 구비하고 있는데, 정 방면과 후 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴의 형성은 전후방 마이크로폰 간 차동 방식에 의해 이루어진다. 한편 이하에서 M_L,F은 좌측 보청기의 전방, M_L,R은 좌측 보청기의 후방, M_R,F은 우측 보청기의 전방, M_R,R은 우측 보청기의 후방에 위치한 마이크로폰을 나타내기로 한다.

도 1b에 제1 예비적 빔 패턴 형성부(111)의 일례가 제시되어 있는데, 이는 상기한 문헌 1에 제시되어 있으며 제1 예비적 빔 패턴 형성부(111)는 양이 보청기의 좌우 보청기에 대칭적으로 구비된다. 도 1b는 양 보청기의 전방 마이크로폰(M_F)에 유입되는 입력 음성과 양쪽 보청기의 후방 마이크로폰(M_R)에 유입되는 입력 음성의 차분을 이용하여 정 방면과 후 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴의 형성이 이루어짐을 보여주고 있다(이는 바로 제1 예비적 빔 패턴이 상기한 DMA 알고리즘에 의해 형성됨을 의미한다).

정 방면(후 방면)으로부터 입력되는 음성에 대해서는 좌우 보청기의 모든 마이크로폰(M_F는 M_L,F과 M_L,R 모두이며 M_R은 M_R,F과 M_R,R 모두임)이 0°방향(180°방향)으로 집중(focus)한다. 도 1c에서 d는 전방 마이크로폰(front microphone, M_F)과 후방 마이크로폰(rear microphone, M_R) 간 거리를, T는 내부 지연(internal delay: d를 음속으로 나눈 값)을 의미한다. 아울러 α_F(α_R)는 정 방면(후 방면)으로부터 입력되는 신호에 대한 가중치(weight)이며, β는 방향성 지수(directivity index)를 의미한다. β는 실험적으로 결정되며, 예비적 빔 패턴의 형성 방향이 어느 방향으로 두드러지는 정도를 나타낸다고 볼 수 있다.

정 방면에서 입력되는 음성(S)에 대해서는 θ(azimuthal direction)은 0°로 취급되며 α_F,α_R는 각각 1, -1/β로 세팅된다. 만일 입력되는 음성(S)이 후 방면에서 입력되는 경우에는 θ는 180°로 취급되며 α_F,α_R는 각각 -1/β, 1로 세팅된다.

이를 통해 정 방면으로부터 유입되는 입력 음성에 대한 좌측 마이크로폰의 예비적 빔 패턴(Y_L,θ)과 후 방면으로부터 유입되는 우측 마이크로폰의 예비적 빔 패턴(Y_R,θ)은 다음 식에 의해 계산되어 생성될 수 있다.

Y_{L ,θ}(Y_{R ,θ})= α_F·β·C_F + α_R·β·C_R --- 식(1).

여기서 θ는 위에서 언급한 바와 같이 0° 또는 180°이며, α_F,α_R,β는 θ에 따라 위와 같이 설정된다. C_F는 front-cardioid-shaped beam pattern를, C_R는 rear-cardioid-shaped beam pattern를 나타낸다. 정 방면 유입의 경우에는 C_R가 0에 가깝게, 후 방면 유입의 경우에는 C_F가 0에 가깝게 설정된다.

이 식에 따르면 도 3의 (a)와 (b)가 잘 설명된다. 즉, 정 방면으로부터 유입되는 입력 음성에 대한 좌우측 마이크로폰의 예비적 빔 패턴은, 상기 식(1)에 의해 C_F를 포함하는 항(term)은 두드러지고 C_R를 포함하는 항은 거의 0에 근접하기 때문에, 정면 방향으로 두드러지게 형성되며 후면 방향으로는 거의 형성되지 아니함을 알 수 있다. 후 방면으로부터 유입되는 입력 음성에 대한 좌우측 마이크로폰의 예비적 빔 패턴은 이와 반대일 것이 상기 식(1)에 의해 자명하다.

다음으로 좌측 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴과 우측 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴(이하 각각 '좌측 빔 패턴'과 '우측 빔 패턴'으로 약칭)은 제2 예비적 빔 패턴 형성부(112)에 의해 형성되며(s212), 이의 형성은 소위 'Wiener filtering을 이용한 알고리즘[이에 대한 상세는 S. Doclo, M. Moonen, T. Van den Bogaert, and J. Wouters, "Reduced-Bandwidth and Distributed MWF-Based Noise Reduction Algorithms for Binaural Hearing Aids," IEEE Audio, Speech, Language Process, vol. 17, no. 1, Jan. 2009, pp. 38-51(문헌 2)]에 의해 이루어진다.

도 1c에 좌우측 방면으로부터 유입되는 입력 음성에 대한 제2 예비적 빔 패턴 형성부(111)의 일례가 제시되어 있는데, 이는 상기한 문헌 2에 제시되어 있는 것이다.

좌측 빔 패턴(Z_L,θ)생성을 위해서 좌측 스테레오 마이크로폰 중 M_L,F에 의해 유입된 입력 음성(X_L,F)을, 우측 빔 패턴(Z_R,θ)생성을 위해서 우측 스테레오 마이크로폰 중 M_R,F에 의해 유입된 입력 음성(X_R,F)을 이용한다.

정 방면과 후 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴 형성의 경우와는 달리 Wiener filtering한 결과 패턴을 좌우측 방면으로부터 유입되는 입력 음성에 대한 예비적 빔 패턴으로 하는 이유는 같은 음원의 동일한 음성이라도 위치가 다른 곳으로부터 보청기(난청자)에 입력되면 정 방면으로부터 유입되는 경우와 강도, 음압 등에 차이가 발생할 수 있어 같은 성격의 대상 음성이라도 잡음으로 인식될 수 있기 때문이다. 이는 다시 말해 예비적 빔 패턴 형성을 위한 각종 지수의 값이 달라진다는 의미이며, 이러한 경우 상기 식(1)에 의해서 형성되는 예비적 빔 패턴의 신뢰성을 담보할 수 없다. 본 발명은 신뢰성 담보의 일환으로 본 발명은 Wiener filtering을 이용하는 것이다. 한편 Wiener filtering에 관한 일반적인 사항은 이미 다수의 문헌에 공지되어 있으므로, 이에 대한 상세한 설명은 생략한다.

X_L,F(X_R,F)에는 대상 음성[T_L,F(T_R,F)]과 잡음[D_L,F(D_R,F)]이 포함되어 있고, X_L,F(X_R,F)는 주파수 영역 변환부를 통해 주파수 영역 신호[X_L,F(ω)과 X_R,F(ω)]로 변환된다. ω는 주파수를 의미한다. 주파수 영역 신호로 변환하는 이유는 같은 성격의 대상 음성이라도 입력 방향이 다른 경우에는 정 방면(후 방면)으로부터 유입되는 경우와의 강도, 음압 등에 차이가 발생할 수 있기 때문인데, 이러해도 신호 자체의 주파수는 변하지 아니하기 때문에 형성될 예비적 빔 패턴의 신뢰성을 담보하기 위함이다. 주파수 영역 신호로의 변환은 예를 들어 FFT(Fast Fourier Transform) 등을 통해 이루어질 수 있다.

X_L,F(ω)과 X_R,F(ω)는 스펙트럼 파워 분석부를 통해 spectral power 값[PX_L,F(ω)과 PX_R,F(ω)]으로 변환되며, PX_L,F(ω)과 PX_R,F(ω)는 X_L,F과 X_R,F에 대한 Wiener filtering을 위해 Wiener Filter에 입력된다. Wiener filtering은, 이미 잘 알려진 바와 같이, 입력 신호를 원하는 출력 신호(desired response)와 가능한 한 매우 유사하게 입력 신호를 변환시키기 위한 과정으로서 유사하게 변환시키기 위한 Wiener 이득(Wiener gain)을 결정하는 것이다. 결정된 Wiener 이득을 입력 신호에 곱하면 원하는 출력 신호가 얻어진다.

Z_L,θ(ω)와 Z_R,θ(ω)는 다음 식에 의해 생성된다.

Z_{L ,θ}(ω) = w_L·PX_{L ,F}(ω).

Z_{R ,θ}(ω) = w_R·PX_{R ,F}(ω).

여기서 w_L과 w_R가 바로 각각 X_L,F(ω)와 X_R,F(ω)를 위한 Wiener 이득이며, 이는 다음과 같이 구해진다.

w_L = PX_{L ,F}(ω)/[PX_{L ,F}(ω)+PX_{R ,F}(ω)].

w_R = PX_{R ,F}(ω)/[PX_{L ,F}(ω)+PX_{R ,F}(ω)].

Z_{L ,θ}와 Z_{R ,θ}는 각각 Z_{L ,θ}(ω)와 Z_{R ,θ}(ω)를 시간 영역으로 역변환(inverse transform)하여 구해진다. 여기서 θ는 90° 또는 270°이다. 도 3의 (c)와 (d)에 좌측 빔 패턴과 우측 빔 패턴의 예가 제시되어 있다.

조정부(12)는 예비적 빔 패턴 형성부(11)에 의해 형성된 빔 패턴을 대상 음성의 음원이 실제 위치한 방향에 따라 조정하여 대상 음성에 대한 최종적 빔 패턴(출력 음성, Out)을 형성한다(s22). 구체적으로 음원이 위치한 방향에 따라 정 방면 또는 후 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴에 해당하는 신호 성분을 대상 음성의 순수 신호 성분으로(대상 음성에는 순수 신호 성분과 잡음 신호 성분이 포함되어 있다), 좌측 방면 또는 우측 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴에 해당하는 신호 성분을 대상 음성의 잡음 신호 성분으로 하고 이러한 순수 신호 성분과 잡음 신호 성분을 이용하여 예비적 빔 패턴을 Wiener filtering하여 상기 최종적 빔 패턴을 형성한다.

이때 조정부(12)는 아울러 순수 신호 성분을 상기 위치 방향에서의 빔 패턴 형성 효과가 가장 큰 주파수를 갖는 음성 신호 성분을 이용해 보정하여 Wiener filtering을 수행하는데, 이는 대상 음성이 여하한 주파수를 갖더라도 빔 패턴 형성의 효과를 볼 수 있도록(대상 음성의 주파수 변화에 적응할 수 있도록) 하기 위한 것이다. 본 발명에 의한 조정부(12)의 기능은 특히 대상 음성이 난청자의 대각선 방면[전방 45도 우측(45°) 방면, 전방 45도 좌측(315°) 방면, 후방 45도 우측(135°) 방면, 후방 45도 좌측(225°) 방면]에 위치한 경우에 특히 그 의의가 있다.

조정부(12)에 의한 Wiener filtering을 구체적으로 예를 들어 설명하면 다음과 같다.

대상 음성의 음원이 45° 방면에 위치한다고 가정하자. 우선 상기한 예비적 빔 패턴 중 제1 예비적 빔 패턴을 고려하면 Y_R.180(Y_L.180 ) 보다 Y_R.0(Y_L.0)에 대상 음성의 순수 신호 성분이 보다 더 풍부하며, 아울러 제2 예비적 빔 패턴을 고려하면 Z_R.270 보다 Z_{R .90}에 대상 음성의 순수 신호 성분이 보다 더 풍부할 것이다. 그러므로 대상 음성의 음원이 45° 방면에 위치한다면 대상 음성의 최종적 빔 패턴(출력 음성)은 다음과 같이 됨을 상정(예상)할 수 있다.

Out_{R ,45} = X_{R ,F}(ω)·φ_N(ω)/[φ_S(ω)+φ_N(ω)] --- 식(2).

Out_{L ,45} = X_{L ,F}(ω)·φ_S(ω)/[φ_S(ω)+φ_N(ω)] --- 식(3).

여기서 X_R,F(ω)와 X_L,F(ω)는 위에서 설명한 바와 같다. φ_S(ω)는 대상 음성의 순수 신호 성분으로 45° 인 경우 Y_R.0(ω)(Y_R.0의 spectral power 값)이고, φ_N(ω)은 대상 음성의 잡음 신호 성분으로 45° 인 경우 Z_R.270(ω)이다. 그리고 φ_N(ω)/[φ_S(ω)+φ_N(ω)], φ_S(ω)/[φ_S(ω)+φ_N(ω)]는 최종적 빔 패턴 형성을 위한 Wiener 이득이다.

대상 음원이 각각 315° 방면, 135° 방면, 225° 방면인 경우에도 45° 방면인 경우와 유사하게 최종적 빔 패턴(출력 음성)이 형성됨을 상정할 수 있다. 315°인 경우에는 순수 신호 성분으로 Y_L.0(ω)(Y_L.0의 spectral power 값)이고, 잡음 신호 성분으로 Z_R.90(ω)이다. 135°인 경우에는 순수 신호 성분으로 Y_R.180(ω)(Y_R.180의 spectral power 값)이고, 잡음 신호 성분으로 Z_R.270(ω)이다. 225°인 경우에는 순수 신호 성분으로 Y_R.180(ω)이고, 잡음 신호 성분으로 Z_R.90(ω)이다.

한편 대상 음성의 주파수가 변화하면 음원이 동일 위치에 있더라도 최종적 빔 패턴 형성을 위한 Wiener 이득의 값이 변하는데, 이는 상기한 DMA 알고리즘의 결과가 대상 음원의 주파수 변화에 영향을 받기 때문이며 따라서 φ_S(ω)가 변하기 때문이다(φ_S(ω)는 대상 음성의 주파수가 높을수록 급격히 증가한다). 그러나 대상 음성의 주파수 변화에 따른 제2 예비적 빔 형성을 위한 Wiener 이득의 변화의 정도는 DMA 알고리즘의 경우에 비해 매우 낮으며 따라서 φ_N(ω)는 대상 음성의 거의 모든 주파수 영역에서 거의 변함이 없다(주파수 변화에 둔감하다). 그러므로 특히 고주파 영역에서는 φ_S(ω)가 매우 크기에 식(2)와 식(3)에 의해서는 빔 패턴의 형성이 거의 이루어지지 아니한다.

이를 극복하기 위해 본 발명에 의한 최종적 빔 패턴의 형성은 순수 신호 성분을 대상 음성의 음원이 위치한 방향에서의 빔 패턴 형성 효과가 가장 큰 주파수(ω_r)를 갖는 음성 신호 성분을 이용해 보정(calibration)하여 대상 음성의 주파수 변화에 적응할 수 있도록 하는데, 이러한 보정의 지향점은 음원이 동일한 위치에 있는 경우에는 대상 음성의 주파수가 변화해도 최종적 빔 패턴 형성을 위한 Wiener 이득의 변동이 없도록 하는 것이다. Wiener 이득의 무변동은 φ_S(ω)와 φ_N(ω)의 비(ratio, k)를 음성의 모든 주파수 영역(0 ≤ ω ≤ 4 KHz)에서 일정하게 유지시키는 것으로 가능하다. 그리고 대상 음성의 음원이 위치한 방향에서의 빔 패턴 형성 효과가 가장 큰 주파수(ω_r)를 갖는 음성 신호 성분은 실험적으로 결정된다.

보정의 일례를 들면 다음과 같다.

음성의 대역폭을 8개 대역(~ 500Hz, 500 ~ 1KHz, 1KHz ~ 1.5KHz, 1.5KHz ~ 2KHz, 2KHz ~ 2.5KHz, 2.5KHz ~ 3KHz, 3KHz ~ 3.5KHz, 3.5KHz ~ 4KHz)으로 나눈다고 가정하자(물론 상황에 따라 더 많은 개수의 대역폭으로 나눌 수 있음은 자명하다). 그리고 대상 음성의 파형이 이들 8개 대역의 중심 주파수와 일치하는 주파수를 갖는 단조 정현파(pure-tone sine wave)에 대한 최종적 빔 패턴이 형성된다고 하자. 그리고 대상 음성의 음원이 위치한 방향이 45° 방향과 315° 방향인 경우에 빔 패턴 형성 효과가 가장 큰 음성 신호 성분의 주파수(ω_r)가 500Hz, 135°와 225°인 경우에 빔 패턴 형성 효과가 가장 큰 주파수가 750Hz로 실험적으로 결정되었다고 하자.

이러한 가정에서 다른 주파수(ω₁)를 갖는 대상 음성이 45°와 315° 방향의 동일 위치로부터 입력된다면, 이에 대한 최종적 빔 패턴 생성을 위한 Wiener 이득이 변동이 없어야 하므로 상기 식(2)의 φ_S(ω)는 다음과 같이 보정이 되어야 한다.

φ_{S, new}(ω) = φ_S(ω)·γ(500, ω₁).

만일 다른 주파수(ω₁)를 갖는 대상 음성이 135°와 225° 방향의 동일 위치로부터 입력된다면, 이에 대한 최종적 빔 패턴 생성을 위한 Wiener 이득이 변동이 없어야 하므로 상기 식(3)의 φ_S(ω)는 다음과 같이 보정이 되어야 한다.

φ_{S, new}(ω) = φ_S(ω)·γ(750, ω₁).

여기서 γ(ω_r, ω₁)는 대상 음성의 주파수가 ω_r일 때의 Wiener 이득과 대상 음성의 주파수가 ω₁일 때의 Wiener 이득의 비(ratio)를 의미하며, 실험적으로 결정된다. 결정된 측정치는 참조 테이블(look-up table)의 형태로 저장될 수 있으며, 대상 음성에 대한 빔 패턴을 형성할 때마다 참조 테이블을 조회하여 보정이 이루어지게 된다. 대상 음성의 주파수 변화가 있어도 음원이 동일한 위치에 존재하면 Wiener 이득이 동일하도록 해야 하기 때문에 γ(ω_r, ω₁)의 개수는 가급적 많을수록 바람직하다. 이러한 보정을 통해 결국 k의 유지가 가능하게 되어 주파수 적응성의 향상을 도모할 수 있는 것이다.

도 4a와 도 4b는 본 발명에 의한 빔-포밍 방안의 결과의 일례를 제시한 도면이다. 도 4a의 경우에는 대상 신호가 주파수 600Hz인 경우의 단조 정현파에 대한 최종적 빔 패턴을, 도 4b의 경우에는 대상 신호가 주파수 2.5KHz인 경우의 단조 정현파에 대한 최종적 빔 패턴을 제시한 것이다.

도 4a는 대상 신호의 주파수가 저주파인 경우이고 4b는 고주파인 경우인데, 특히 고주파인 경우에도 대각선 방면으로 원하는 빔 패턴을 얻을 수 있음을 알 수 있다.

본 방법발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 유무선 네트워크를 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그리고 본 명세서에는 양이 보청기에 적용하는 것을 중심으로 언급되어 있으나 음성 인식을 기반으로 하는 모든 기술 분야에 응용 내지 적용 가능하다. 그러므로 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

1. (a)양이 보청기에 입력되는 음성의 빔-포밍을 통해 예비적 빔 패턴(preliminary beam pattern)을 형성하여, 난청자의 인식 대상 음성이 상기 보청기의 정 방면, 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 판단하는 단계; 및
   (b)상기 예비적 빔 패턴을 상기 대상 음성의 음원(sound source)이 위치한 방향에 따라 조정하여(calibrating) 상기 대상 음성에 대한 최종적 빔 패턴(출력 음성)을 형성하는 단계를 포함하는 양이 보청기의 빔-포밍 방법.
2. 제 1 항에 있어서, 상기 (a)단계는
   (a1)상기 정 방면과 상기 후 방면으로 유입되는 입력 음성에 대해서는 Differential Microphone Array(DMA) 알고리즘의 수행 결과를 상기 예비적 빔 패턴으로 형성하는 단계;
   (a2)상기 좌측 방면과 상기 우측 방면으로 유입되는 입력 음성에 대해서는 이들의 각각에 대한 Wiener filtering의 결과를 상기 예비적 빔 패턴으로 형성하는 단계를 포함하는 것을 특징으로 하는 양이 보청기의 빔-포밍 방법.
3. 제 2 항에 있어서, 상기 (b)단계는
   상기 위치 방향에 따라 상기 정 방면 또는 후 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴을 상기 대상 음성의 순수 신호 성분으로, 상기 좌측 방면 또는 우측 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴을 상기 대상 음성의 잡음 신호 성분으로 하고,
   상기 순수 신호 성분과 상기 잡음 신호 성분을 이용하여 상기 예비적 빔 패턴을 Wiener filtering하여 이루어지는 것을 특징으로 하는 양이 보청기의 빔-포밍 방법.
4. 제 3 항에 있어서, 상기 예비적 빔 패턴의 Wiener filtering은
   상기 순수 신호 성분을 상기 위치 방향에서의 빔 패턴 형성 효과가 가장 큰 주파수를 갖는 음성 신호 성분을 이용해 보정하여 이루어지는 것을 특징으로 하는 양이 보청기의 빔-포밍 방법.
5. 제 4 항에 있어서, 상기 보정은
   상기 대상 음성의 주파수에서의 상기 순수 신호 성분의 spectral power 값과 상기 잡음 신호 성분의 spectral power 값의 비(ratio)를 일정하게 유지되도록 이루어지는 것을 특징으로 하는 양이 보청기의 빔-포밍 방법.
6. 양이 보청기에 입력되는 음성의 빔-포밍을 통해 예비적 빔 패턴(preliminary beam pattern)을 형성하여, 난청자의 인식 대상 음성이 상기 보청기의 정 방면, 후 방면, 좌측 방면 또는 우측 방면에서 입력되는지 판단하는 예비적 빔 패턴 형성부; 및
   상기 예비적 빔 패턴을 상기 대상 음성의 음원(sound source)이 실제 위치한 방향에 따라 조정하여(calibrating), 상기 대상 음성에 대한 최종적 빔 패턴(출력 음성)을 형성하는 조정부를 포함하는 양이 보청기의 빔-포밍 시스템.
7. 제 6 항에 있어서, 상기 예비적 빔 패턴 형성부는
   상기 정 방면과 상기 후 방면으로 유입되는 입력 음성에 대해서는 Differential Microphone Array(DMA) 알고리즘의 수행 결과를 상기 예비적 빔 패턴으로 형성하는 제1 예비적 빔 패턴 형성부; 및
   상기 좌측 방면과 상기 우측 방면으로 유입되는 입력 음성에 대해서는 이들의 각각에 대한 Wiener filtering의 결과를 상기 예비적 빔 패턴으로 형성하는 제2 예비적 빔 패턴 형성부를 포함하는 것을 특징으로 하는 양이 보청기의 빔-포밍 시스템.
8. 제 7 항에 있어서, 상기 조정부는
   상기 위치 방향에 따라 상기 정 방면 또는 후 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴을 상기 대상 음성의 순수 신호 성분으로, 상기 좌측 방면 또는 우측 방면에서 입력되는 대상 음성에 대한 예비적 빔 패턴을 상기 대상 음성의 잡음 신호 성분으로 하고,
   상기 순수 신호 성분과 상기 잡음 신호 성분을 이용하여 상기 예비적 빔 패턴을 Wiener filtering하여 상기 최종적 빔 패턴을 형성하는 것을 특징으로 하는 양이 보청기의 빔-포밍 시스템.
9. 제 8 항에 있어서, 상기 예비적 빔 패턴의 Wiener filtering은
   상기 순수 신호 성분을 상기 위치 방향에서의 빔 패턴 형성 효과가 가장 큰 주파수를 갖는 음성 신호 성분을 이용해 보정하여 이루어지는 것을 특징으로 하는 양이 보청기의 빔-포밍 시스템.
10. 제 9 항에 있어서, 상기 보정은
    상기 대상 음성의 주파수에서의 상기 순수 신호 성분의 spectral power 값과 상기 잡음 신호 성분의 spectral power 값의 비(ratio)를 일정하게 유지되도록 이루어지는 것을 특징으로 하는 양이 보청기의 빔-포밍 시스템.

Images