KR102044962B1 - 환경 분류 보청기 및 이를 이용한 환경 분류 방법 - Google Patents

Abstract

본 발명은 보청기에 입력되는 외부 사운드가 어떠한 환경에서 입력되는 것인지 분류하기 위한 환경 분류 보청기 및 이를 이용한 환경 분류 방법 에 관한 것으로서, 외부 사운드의 환경을 분석하고, 분석된 환경에 따라 상기 외부 사운드에 포함된 음성 신호를 처리하는 복수의 DSP; 를 포함하고, 상기 복수의 DSP 중 상기 디지털 신호로부터 제1 특징점을 추출하는 제1 모드; 및 상기 제1 모드를 통해 상기 외부 사운드의 환경이 분석되면, 상기 디지털 신호로부터 제2 특징점을 추출하여 상기 외부 사운드의 환경을 다시 분석하기 위한 제2 모드; 중 적어도 하나의 모드로 동작하는 것을 특징으로 하는 환경 분류 보청기.

Description

환경 분류 보청기 및 이를 이용한 환경 분류 방법{ENVIRONMENT CLASSIFICATION HEARING AID AND ENVIRONMENT CLASSIFICATION METHOD USING THEREOF}

본 발명은 환경 분류 보청기 및 이를 이용한 환경 분류 방법에 관한 것으로서, 보다 구체적으로는 보청기에 입력되는 외부 사운드가 어떠한 환경에서 입력되는 것인지 분류하기 위한 환경 분류 보청기 및 이를 이용한 환경 분류 방법 에 관한 것이다.

일반적으로, 보청기는 난청으로 진단된 환자의 귀에 장착하여 소리를 증폭하여 주는 기구로서, 소리를 받는 마이크로폰과 소리를 증폭시키는 증폭기, 증폭된 소리를 내보내는 리시버 등으로 구성되어 있으며, 난청인 사용자의 청력기관으로 입력되는 음향신호가 정상인과 동일한 정도로 뇌에 입력될 수 있도록 음향신호를 인위적으로 변형시킨다.

현재 시중에 판매되고 있는 보청기는 크게 아날로그형 및 디지털형 보청기로 분류할 수 있다. 이중 아날로그형 보청기는 보청기 내에 포함된 아날로그 회로가 디지털 회로에 비해 유연성이나 신뢰성이 떨어져 기능 조정이 어려우므로, 사용자의 가청영역을 2~3가지의 제한된 대역수로만 증폭 가능하다는 단점이 있었다.

따라서, 종래 아날로그형 보청기의 문제점을 해결하기 위해 아날로그 회로의 유연성과 신뢰성보다 향상된 성능을 가지며, 복잡한 신호처리 알고리즘의 실현이 가능한 디지털 보청기에 대한 개발이 활발히 이루어지고 있다.

종래에 개발된 디지털 보청기는 외부에서 발생하는 사운드를 처리하여 보청기의 사용자에게 출력하는 과정에서 잡음을 제거하기 위하여 외부 사운드가 발생하는 환경에 대한 분류를 수행하는 경우가 있다. 따라서 보청기 사용자에게 출력되는 사운드로부터 잡음을 보다 효율적으로 제거하기 위해선 외부의 환경으로부터 들리는 잡음인 환경 사운드를 효과적으로 분류하고, 환경 사운드의 종류에 따라 잡음을 제거하는 방법이 요구된다.

일반적으로 디지털형 보청기에서 수행되는 환경을 분류 과정은 DSP(Digital Signal Processor)에 의해 처리된다. 환경을 보다 정확히 분류하기 위해선 다량의 연산 처리가 요구되며 그에 따라 복수의 DSP가 동작되어야 한다. 예를 들어, 잡음 제거 또는 WDRC(Wide Dynamic Range Compression) 증폭과 같은 보청기의 기본적인 동작을 수행하기 위한 DSP와 환경 변화를 감지하고 분류하기 위한 DSP가 별도로 동작 되는 경우, 외부 사운드에 대한 환경 분류시 적어도 2 이상의 DSP가 같이 동작되어야 한다.

그리고, 복수의 DSP가 환경 연산 처리를 위해 같이 동작하면 보청기의 전력 소모량도 증가하게 된다. 반면, 보청기에 요구되는 착용감과 휴대성으로 인하여 보청기의 크기는 제한되며, 그에 따라 보청기에 저장할 수 있는 에너지는 제한되는 문제점이 있다.

따라서, 보청기의 환경 분류 기능을 효율적으로 수행하면서도 전력의 소모를 감소시킬 수 있는 방안이 요구된다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 창안된 것으로, 보청기의 환경 분류 기능을 보다 효율적으로 수행하면서 소모되는 전력의 양을 감소시키는 것을 목적으로 한다.

본 발명은 보청기의 DSP 구조를 환경 분류 알고리즘에 따라 선택적으로 변경 가능하게 하여 DSP에서 소모되는 전력의 양을 감소시키는 것을 다른 목적으로 한다.

상기한 과제를 해결하기 위하여 본 발명의 실시예에 따른 환경 분류 보청기는 외부 사운드가 입력되는 마이크로폰; 상기 외부 사운드의 환경을 분석하고, 분석된 환경에 따라 상기 외부 사운드에 포함된 음성 신호를 처리하는 복수의 DSP; 및 상기 DSP에 의하여 음성 신호가 처리된 디지털 신호를 변환하여 사용자에게 출력하는 리시버; 를 포함하고, 상기 복수의 DSP 중 적어도 일부는 상기 외부 사운드로부터 음성 신호를 처리하고 상기 외부 사운드의 환경을 분석하기 위해 상기 디지털 신호로부터 제1 특징점을 추출하는 제1 모드; 및 상기 제1 모드를 통해 상기 외부 사운드의 환경이 분석되면, 상기 디지털 신호로부터 제2 특징점을 추출하여 상기 외부 사운드의 환경을 다시 분석하기 위한 제2 모드; 중 적어도 하나의 모드로 동작할 수 있다.

상기 DSP는 명령어를 디코딩하여 연산을 처리하는 DSP 코어; 및 상기 DSP 코어의 연산 처리에 필요한 명령어와 데이터가 저장되는 메모리부; 를 포함할 수 있다.

상기 DSP 코어는 상기 명령어를 디코딩하는 디코딩부; 디코딩된 상기 명령어에 따라 연산을 처리하는 연산부; 상기 연산부의 연산 처리 과정에서 발생하는 중간 처리 결과를 저장하기 위한 레지스터부; 를 포함할 수 있다.

상기 제1 모드가 동작되는 DSP는 상기 제1 특징점을 추출하기 위한 간이 명령어 처리부; 를 더 포함할 수 있다.

상기 간이 명령어 처리부는 상기 레지스터부에 포함되는 레지스터 파일 중 적어도 일부를 사용하여 상기 제1 특징점을 추출하기 위한 간이 명령어를 지시하는 명령어 버퍼; 및 상기 연산부에 포함되는 산술 유닛 중 적어도 일부를 사용하여 상기 명령어 버퍼의 지시에 대응하여 연산을 처리하는 간이 연산부; 를 포함할 수 있다.

상기 제2 모드가 동작되는 DSP의 상기 DSP 코어는 상기 레지스터부에 포함되는 레지스터 파일 중 적어도 일부를 사용하여 상기 제2 특징점을 추출할 때 사용되는 반복 명령어를 처리하는 루프 버퍼; 를 더 포함할 수 있다.

상기 제1 특징점은 ZCR(Zero Crossing Rate), 파워 스펙트럼 중 적어도 하나 이상에 대응되고, 상기 제2 특징점은 MFCC(Mel-Scale Frequency Cepstrum Coefficient), 스펙트럼 엔트로피, 상기 ZCR 중 적어도 하나 이상에 대응될 수 있다.

상기 DSP는 상기 제1 모드를 통해 상기 제1 특징점을 추출한 후, 기 저장된 환경 정보와 거리값을 비교하여 유사도를 측정함으로써 상기 외부 사운드의 환경을 분석할 수 있다.

상기 DSP는 상기 제2 모드를 통해 상기 제2 특징점을 추출한 후, 기 저장된 환경 정보와 GMM(Gaussian Mixture Model) 기반 로그-라이클리후드를 통해 유사도를 측정함으로써 상기 외부 사운드의 환경을 분석할 수 있다.

상기 제2 모드는 상기 DSP가 상기 제1 모드를 통한 상기 외부 사운드의 환경 분석 결과, 기 분석된 상기 외부 사운드의 환경과 상기 제1 모드를 통해 분석된 상기 외부 사운드의 환경이 일치하지 않을 때 동작될 수 있다.

상기 제2 모드는 상기 제1 모드가 동작되는 DSP와 다른 DSP에서 동작될 수 있다.

상기 제2 모드를 통한 상기 외부 사운드의 환경 분석이 종료되면, 상기 제2 모드가 동작되는 DSP는 유휴 상태로 변경될 수 있다.

상기한 과제를 해결하기 위하여 본 발명의 실시예에 따른 환경 분류 방법은 보청기의 복수의 DSP에 의하여 보청기에 입력된 외부 사운드의 환경을 분류하기 위한 방법에 있어서, 상기 외부 사운드에 대한 음성 신호 처리 단계; 제1 모드로 동작하여 상기 외부 사운드의 제1 특징점을 추출하는 단계; 상기 제1 특징점을 통해 상기 외부 사운드의 환경을 분석하는 단계; 상기 외부 사운드의 환경이 기 환경과 일치하지 않으면 제2 모드로 동작하여 상기 외부 사운드의 제2 특징점을 추출하는 단계; 및 상기 제2 특징점을 통해 상기 외부 사운드의 환경을 다시 분석하는 단계; 를 포함하고, 상기 제2 특징점을 통해 다시 분석된 상기 외부 사운드의 환경에 대한 정보는 상기 음성 신호 처리 단계에 반영될 수 있다.

상기 제1 모드는 상기 복수의 DSP 중 하나에 의하여 동작되고, 상기 제2 모드는 상기 복수의 DSP 중 다른 하나에 의하여 동작될 수 있다.

상기 제2 특징점을 통해 상기 외부 사운드의 환경을 다시 분석하는 단계 이후, 상기 제2 모드가 동작된 DSP를 유휴 상태로 변경하는 단계; 를 더 포함할 수 있다.

상기 외부 사운드에 대한 음성 신호 처리 단계와 상기 제1 모드로 동작하여 상기 외부 사운드의 제1 특징점을 추출하는 단계는 상기 제1 모드로 동작되는 DSP가 병행하여 수행할 수 있다.

본 발명의 실시예에 따른 환경 분류 보청기 및 환경 분류 방법은 환경 분류 기능을 보다 효율적으로 수행하면서 소모되는 전력의 양을 감소시킬 수 있다.

또한, 본 발명의 실시예에 따른 환경 분류 보청기 및 환경 분류 방법은 보청기의 DSP 구조를 환경 분류 알고리즘에 따라 선택적으로 변경 가능하게 하여 DSP에서 소모되는 전력의 양을 감소시키는 효과가 있다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1는 본 발명의 일 실시예에 따른 환경 분류 보청기를 설명하기 위한 도면이다.
도 2 내지 도 4는 도 1에서 DSP의 구조가 변형될 수 있는 실시예를 보다 상세히 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 환경 분류 방법을 설명하기 위한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.

이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하에서는, 본 발명을 예시한 실시 형태들이 첨부된 도면을 참조하여 상세히 설명한다.

도 1는 본 발명의 일 실시예에 따른 환경 분류 보청기를 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 실시예에 다른 환경 분류 보청기는 범용 프로세서(10), 마이크로폰(20), 범용 메모리(30), 리시버(40) 및 복수의 DSP (50, 51)들을 포함하는 것을 알 수 있다. 그리고 상기한 구성들은 버스를 통해 서로 연결되어 신호를 주고 받을 수 있다.

범용 프로세서(10)는 환경 분류 보청기에 포함되는 복수의 DSP(50, 51)들을 동작시키거나 유휴 상태로 변환시킬 수 있으며, 복수의 DSP(50, 51) 간의 파라미터 값 또는 연산 처리에 대한 결과 값을 전달하도록 제어할 수 있다.

마이크로폰(20)은 환경 분류 보청기의 외부로부터 입력되는 외부 사운드를 수신하여 디지털 신호로 변환시킬 수 있다. 이를 위하여 마이크로폰(20)에는 A/D 컨버터와 같은 신호 변환 장치가 포함될 수 있다.

범용 메모리(30)는 범용 프로세서(10), 마이크로폰(20), 리시버(40) 과 같은 환경 분류 보청기의 내부 장치의 연산 처리 등에 사용되는 데이터들을 저장하는 저장 장치일 수 있다.

리시버(40)는 복수의 DSP(50, 51)을 통해 음성 신호에서 잡음이 제거된 디지털 신호를 환경 분류 보청기의 사용자가 청력을 통해 인식할 수 있도록 소리로 변환시켜 출력할 수 있다.

복수의 DSP(50, 51) 들은 외부 사운드의 환경을 분석하고, 분석된 환경에 따라 외부 사운드에 포함된 음성 신호를 처리할 수 있다.

이러한 복수의 DSP 중 적어도 일부는 상기 복수의 DSP 중 적어도 일부는 상기 외부 사운드의 환경을 분석하기 위해 상기 디지털 신호로부터 제1 특징점을 추출하여 상기 외부 사운드의 환경을 분석하는 제1 모드 및 상기 제1 모드를 통해 상기 외부 사운드의 환경이 분석되면, 상기 디지털 신호로부터 제2 특징점을 추출하여 상기 외부 사운드의 환경을 다시 분석하기 위한 제2 모드 중 적어도 하나의 모드로 동작할 수 있다.

여기서 외부 사운드의 환경이라 함은 보청기가 외부 사운드를 입력받는 장소로서, 카페 안, 길거리, 영화관, 공사장 등 다양한 장소가 예시될 수 있다. 이러한 환경으로부터 발생하는 소리는 보청기 사용자가 듣고자 하는 상대방의 음성에 섞여 잡음을 유발한다. 따라서, 이러한 외부 사운드가 어떠한 환경에 속해 있는지 분석하고, 해당 환경에 따라 잡음 제거 방법을 달리하는 것이 중요하다.

환경 분류 보청기에 포함되는 DSP의 수는 보청기 설계자의 의도 또는 보청기 제작 환경에 따라 달라질 수 있다.

도 2 내지 도 4는 도 1에서 DSP의 구조가 변형될 수 있는 실시예를 보다 상세히 설명하기 위한 도면이다.

도 2는 본 발명의 실시예에 따른 DSP의 일반 동작 모드를 설명하기 위한 도면이다. 도 2를 참조하면, DSP는 일반 동작 모드에서 DSP 코어(100) 및 메모리부(110)를 포함할 수 있다.

DSP 코어(100)는 수신되는 명령어를 해독하고 관련된 데이터를 메모리부(110)로부터 로드하여 계산하고 그 결과값을 출력할 수 있다.

이를 위하여 DSP 코어(100)는 명령어를 디코딩하는 디코딩부(101), 디코딩된 명령어에 따라 연산을 처리하는 연산부(103) 및 연산부(103)의 연산 처리 과정에서 발생하는 중간 처리 결과를 저장하기 위한 레지스터부(102)를 포함할 수 있다.

메모리부(110)에는 DSP 코어(100)의 연산 처리에 필요한 명령어와 데이터가 저장될 수 있다. 보다 상세하게, 메모리부(110)는 명령어와 저장된 데이터를 저장하는 명령어 메모리(111)와 상기한 연산부(103)의 연산에 필요한 데이터를 저장하는 데이터 메모리(112)를 포함할 수 있다.

디코딩부(101)는 범용 프로세서(10)나 마이크로폰(20) 등 보청기의 다른 구성으로부터 수신하는 디지털 신호를 명령어로 해독한다. 디코딩부(101)의 명령어 해독 과정에서 디코딩부(101)는 명령어 메모리(111)에 접근하여 필요한 데이터를 로드할 수 있다.

레지스터부(102)는 연산부(103)의 연산 처리 과정에서 발생하는 중간 처리 결과를 저장 하거나 연산 처리가 끝난 값을 갱신하기 위한 데이터를 임시적으로 저장할 수 있다. 레지스터부(102)는 복수의 레지스터 파일(R0, R1, R2, ..., R15)를 포함할 수 있다. 도 2에서 레지스터부(102)는 16개의 레지스터 파일(R0, R1, R2, ..., R15)로 구성되는 것을 예시하였다. 하지만, DSP 코어(100)의 설계 또는 하기하는 DSP의 모드에 따라 레지스터부(102)에 포함되는 레지스터 파일의 숫자는 달라질 수 있다.

연산부(103)는 주어진 명령어에 따라 데이터 메모리(112)로부터 로드된 데이터들 간의 연산을 수행하고 그 결과값을 출력할 수 있다. 연산부(103)는 ALU(Arithmetic Logic Unit)으로서, 복수의 산술 유닛을 포함하여 구성될 수 있다. 여기서 산술 유닛은 두 데이터 간의 덧셈 연산과 곱셈 연산을 수행할 수 있는 MAC(Multiplier Accumulator) 유닛이 예시될 수 있다.

도 3은 본 발명의 실시예에 따른 DSP의 제1 모드를 설명하기 위한 도면이고, 도 4는 본 발명의 실시예에 따른 DSP의 제2 모드를 설명하기 위한 도면이다. 도 3과 도 4를 설명함에 있어서, 도 2의 DSP의 일반 동작 모드와 중복되는 구성 또는 효과에 대한 설명은 생략하기로 한다.

제1 모드는 외부 사운드로부터 음성 신호를 처리하고 외부 사운드의 환경을 분서하기 위해 디지털 신호로부터 제1 특징점을 추출하는 모드일 수 있다. 그리고 제2 모드는 제1 모드를 통해 외부 사운드의 환경이 분석되면, 디지털 신호로부터 제2 특징점을 추출하여 외부 사운드의 환경을 다시 분석하기 위한 모드일 수 있다.

환경 분류 보청기에 포함되는 복수의 DSP들은 범용 프로세서의 판단에 따라 상기한 일반 동작 모드, 제1 모드 및 제2 모드 중 적어도 하나 이상의 모드로 변환되어 동작될 수 있다.

도 3을 참조하면, 제1 모드에서 DSP 코어(200)가 도 2의 DSP 코어(100)와 달리 레지스터부(202)의 레지스터 파일 중 일부와 연산부(203)의 일부 산술 유닛이 간이 명령어 처리부(210)로 사용되는 것을 알 수 있다.

보다 상세하게, DSP의 제1 모드에서 DSP는 제1 특징점을 추출하기 위한 간이 명령어 처리부(210)는 레지스터부(202)에 포함되는 레지스터 파일 중 적어도 일부를 사용하여 제1 특징점을 추출하기 위한 간이 명령어를 지시하는 명령어 버퍼(211)를 포함할 수 있다. 또한, 간이 명령어 처리부(210)는 연산부(203)에 포함되는 산술 유닛 중 적어도 일부를 사용하여 명령어 버퍼(211)의 지시에 대응하여 연산을 처리하는 간이 연산부(212)를 포함할 수 있다.

즉, 도 2의 DSP 일반 동작 모드에서와 달리 도 3의 DSP 제1 모드에서는 레지스터 파일과 산술 유닛을 일부 DSP 코어(200)의 외부로 분리할 수 있다. 여기서 외부로 분리하는 것은 레지스터 파일과 산술 유닛의 물리적인 위치가 분리되는 것이 아니며, DSP 코어(200)와 별개의 연산을 처리하기 위해 그 사용 용도를 달리하는 것을 의미할 수 있다.

제1 모드에서 간이 명령어 처리부(210)는 명령어 버퍼(211)와 간이 연산부(212)를 통해 DSP 코어(200)와 병행하여 연산을 처리할 수 있다. DSP 코어(200)가 외부 사운드로부터 음성 신호 처리를 위한 알고리즘을 수행하는 동안, 간이 명령어 처리부(210)는 외부 사운드에 포함된 제1 특징점을 추출할 수 있다.

이를 통하여 제1 모드에서 도 2의 일반 동작 모드 보다 많은 수의 산술 유닛을 유휴 상태가 아닌 상태로 동작시킬 수 있다. 이를 통하여 DSP는 일반 동작 모드에서보다 같은 시간 동안 보다 많은 계산량을 처리할 수 있게 된다. 따라서 외부 사운드에 대한 연산 처리 과정에 대한 효율성이 증대되는 효과가 있다.

연산부의 산술 유닛 중 일부 산술 유닛을 다른 연산 처리에 사용하는 만큼, 간이 명령어 처리부(210)에서 처리되는 연산은 계산량이 적은 연산일 필요성이 있다. 따라서, 간이 명령어 처리부(210)를 통해 추출되는 제1 특징점은 단순 반복 계산으로 추출되는 특징점일 수 있다.

제1 모드에서 메모리부(220)는 일반 동작 모드와 같이 명령어 메모리(221)와 데이터 메모리(222)를 포함할 수 있다.

간이 명령어 처리부(210)의 명령어 버퍼(211)는 메모리에 저장된 데이터에 대하여 반복적으로 벡터 혹은 배열의 형태로 연산을 수행하도록 할 수 있다. 즉, 간이 명령어 처리부(210)는 하나의 명령어로 여러 개의 데이터를 반복 계산할 수 있다. 따라서, 간이 연산부(212)는 메모리부(220)의 데이터 메모리(222)로부터 데이터를 바로 로드하고 저장할 수 있고 별도의 레지스터 파일의 필요 없이 데이터가 인가 되는대로 바로 명령어에 따른 연산을 처리할 수 있다.

상기한 방법으로 제1 특징점을 추출하는 경우, 제1 특징점의 추출을 위하여 별도의 DSP를 추가로 동작 시키거나 DSP에 별도의 하드웨어를 추가할 필요가 없으므로 DSP에 의한 전력 사용량을 감소시킬 수 있게 된다.

제1 특징점의 추출을 통하여 현재 입력되는 외부 사운드의 환경에 대한 1차적인 판단이 가능하다. 제1 특징점을 통해 환경 분류 보청기가 이미 인식하고 있던 환경과 현재 입력되는 외부 사운드의 환경이 동일한지 여부를 우선적으로 판단할 수 있다. 제1 특징점의 추출을 통해 외부 사운드의 환경을 판단한 결과, 이미 인식된 환경과 새로 인식된 환경이 서로 다르지 않다면, 추가적인 DSP의 동작하지 않고 환경 분류를 종료할 수 있다.

만약 제1 특징점의 추출 결과, 이미 인식된 환경과 새로 인식된 환경이 서로 다르다면, 추가적인 DSP를 동작시켜 현재 입력되는 외부 사운드에 대한 제2 특징점을 추출할 수 있다. 이 때, 범용 프로세서(10)의 제어에 따라 유휴 상태에 있던 DSP가 제2 모드로서 추가적으로 동작하게 될 수 있다.

또한, 마지막으로 환경을 인식하여 분류한 시점이 현재로부터 소정의 시간 이상 경과한 경우, 환경을 새로 인식하여 분류할 필요성이 있으므로 추가적인 DSP를 동작시킬 수 있다. 이 때, 소정의 시간은 보청기 설계자의 의도에 따라 달리 설정될 수 있다.

여기서 제1 특징점은 인접한 샘플 사이에서 음수와 양수의 변화가 얼마나 이루어지는 지에 대한 가산 값인 ZCR(Zero Crossing Rate), 밴드 별로 파워를 측정함으로써 구해지는 파워 스펙트럼 등 비교적 그 연산 과정이 단순한 것일 수 있다. 제1 모드에 따라 동작되는 DSP는 제1 특징점을 추출 한 후, 이전에 추출되었던 특징점과 비교하여 외부 사운드의 환경 변화 여부를 판단할 수 있다.

DSP는 제1 모드를 통해 제1 특징점이 추출되면, 기 저장된 환경 정보와 제1 특징점의 거리값을 비교하여 유사도를 측정하고, 이러한 유사도의 차이가 소정의 범위 이상이면 환경에 변화가 생긴 것으로 인식하여 제2 특징점 추출 단계로 넘어갈 수 있다.

여기서 환경 정보는 이전의 외부 사운드에 대하여 추출되었던 제1 특징점을 의미할 수 있다. 그리고 거리값은 유클리디언 디스턴스나 코사인 디스턴스로 설명되는 특징점 간의 벡터의 거리 값을 의미할 수 있다.

도 4를 참조하면, 제2 모드에서 DSP 코어(300)가 도 2의 DSP 코어(100)와 달리 레지스터부(202)의 레지스터 파일 중 일부가 루프 버퍼(304)로 사용되는 것을 알 수 있다.

루프 버퍼(304)는 제2 특징점의 추출에 활용될 수 있다. 제2 특징점은 제1 특징점보다 복잡한 특성을 가지므로, 특징점의 추출에 보다 많은 연산이 요구된다. 환경 분류를 위하여 특징점을 추출할 때 사용되는 명령어는 반복 명령어인 경우가 많다. 이러한 반복 명령어에 의한 연산은 단순한 편이지만, 명령어가 반복 실행되면서 전체적인 계산량을 늘리게 된다. 또한, DSP코어가 지속적으로 메모리부에 접근하게 되므로 전력 소모가 증가하는 원인이 된다.

루프 버퍼(304)는 제2 특징점의 추출에 있어서 사용되는 반복 명령어를 처리함으로써 DSP 코어(300)가 메모리부(310)의 명령어 메모리(311)에 대한 접근 빈도를 줄여줄 수 있다. 즉, 레지스터부를 구성하는 레지스터 파일의 일부를 루프 버퍼(304)로 활용함으로써 DSP 코어(300)의 메모리부(310)에 대한 접근 빈도를 줄일 수 있게 된다.

여기서 제2 특징점은 일정 구간의 파워 스펙트럼 밀도에 대한 MFCC(Mel-Scale Frequency Cepstrum Coefficient), 파워 스펙트럼의 평활도(smoothness)에 대한 스펙트럼 엔트로피, ZCR 중 적어도 하나 이상에 대응되는 것일 수 있다.

DSP는 현재 환경의 제2 특징점을 추출하고, GMM(Gaussian Mixture Model)을 기반으로 하는 로그-라이클리후드(Log-Likelihood)를 통해 유사도를 측정하여 외부 사운드의 환경을 분석할 수 있다.

제1 모드와 제2 모드로 동작하는 DSP는 서로 다른 DSP일 수 있다. 제1 모드로 동작하는 DSP는 DSP 코어(200)를 통해 음성 신호 처리를 수행 중이며, 이와 동시에 다른 DSP는 제2 모드로 동작되어 제2 특징점을 추출하고 환경을 분석할 수 있다. 제2 모드로 동작되는 DSP의 환경 분석 결과는 제1 모드로 동작중인 DSP에 전달되어 음성 신호 처리에 사용될 수 있다.

제1 모드로 동작하는 DSP가 제1 특징점을 추출한 결과 기 저장된 환경 정보와 현재 입력되는 외부 사운드의 환경이 서로 다르다고 판단되었을 때, 제1 모드로 동작하는 DSP와 다른 DSP가 동작될 수 있다. 즉, 제2 모드로 동작되는 DSP는 제1 특징점의 추출 결과에 따라 유휴 상태에서 제2 모드로 변경될 수 있다.

그리고, 제2 모드로 동작되는 DSP의 제2 특징점에 대한 추출이 종료되면 제2 모드로 동작되는 DSP는 다시 유휴 모드로 변경되어 전력 소모를 절감할 수 있다.

도 5는 본 발명의 다른 실시예에 따른 환경 분류 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 환경 분류 방법은 외부 사운드에 대한 음성 신호 처리 단계(S110), 제1 특징점 추출 단계(S120), 제1 특징점을 이용한 외부 사운드 환경 분석 단계(S130), 제2 특징점 추출 단계(S160), 제2 특징점을 이용한 외부 사운드 환경 분석 단계(S170)를 포함할 수 있다.

환경 분류 보청기의 마이크로폰을 통해 외부 사운드가 입력되면(S100), DSP가 제1 모드로 동작할 수 있다. 상기한 단계에서 음성 신호 처리 단계(S110)와 제1 특징점 추출 단계(S120)는 제1 모드로 동작되는 DSP 상에서 수행되는 단계로 볼 수 있다. 음성 신호 처리 단계(S110)와 제1 특징점 추출 단계(S120)는 상술한 바와 같이, 같은 DSP 내에서 병행하여 수행될 수 있다.

음성 신호 처리 단계(S110)는 DSP가 외부 사운드에 포함된 음성 신호를 인식하고 처리하기 위한 단계로서, 후술하는 바와 같이 제2 특징점이 추출되는 경우, 제2 특징점으로부터 인식된 환경에 대한 정보가 반영될 수 있다.

제1 특징점 추출 단계(S120)는 DSP가 제1 모드로 동작하여 외부 사운드로부터 제1 특징점을 추출하는 단계를 의미할 수 있다.

제1 특징점이 추출되면 제1 모드로 동작하는 DSP는 기존의 환경 정보와 새로 추출된 제1 특징점을 비교하여 환경의 변화 여부를 판단한다(S130). DSP는 기존의 환경 정보와 제1 특징점의 유사도 차이가 소정의 값 이하라면, 환경이 유지된 것으로 판단한다(S140). 만약 기존의 환경 정보와 제1 특징점의 유사도 차이가 소정의 값을 초과한다면, 환경이 변한 것으로 판단하여 유휴 상태에 있던 다른 DSP를 동작시킬 수 있다(S150).

유휴 상태에서 제2 모드로 변경되어 동작되는 DSP는 외부 사운드로부터 제2 특징점을 추출할 수 있다(S160). 제2 모드로 동작되는 DSP는 추출된 제2 특징점을 통해 외부 사운드의 환경이 어떤 환경인지 분류할 수 있게 된다. 이와 관련된 정보는 알고리즘에 반영되어 앞선 음성 신호 처리 단계를 수행하는 제1 모드의 DSP에 전달될 수 있다. 그리고 제2 특징점을 추출함으로써 제2 모드의 수행이 종료된 DSP는 다시 유휴 상태로 변경되어 전력 소모를 줄일 수 있다(S180).

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 범용 프로세서 20: 마이크로폰
30: 범용 메모리 40: 리시버
50, 51: DSP

Claims (16)

1. 외부 사운드가 입력되는 마이크로폰;
   상기 외부 사운드의 환경을 분석하고, 분석된 환경에 따라 상기 외부 사운드에 포함된 음성 신호를 처리하는 복수의 DSP; 및
   상기 DSP에 의하여 음성 신호가 처리된 디지털 신호를 변환하여 사용자에게 출력하는 리시버; 를 포함하고,
   상기 복수의 DSP 중 적어도 일부는
   상기 외부 사운드로부터 음성 신호를 처리하고 상기 외부 사운드의 환경을 분석하기 위해 상기 디지털 신호로부터 제1 특징점을 추출하는 제1 모드로 동작하고,
   상기 복수의 DSP 중 다른 일부는 상기 제1 모드를 통한 분석 결과에 대응하여 상기 디지털 신호로부터 제2 특징점을 추출하여 상기 외부 사운드의 환경을 다시 분석하기 위한 제2 모드로 선택적으로 동작하는 것을 특징으로 하는 환경 분류 보청기.
2. 제1 항에 있어서, 상기 DSP는
   명령어를 디코딩하여 연산을 처리하는 DSP 코어; 및
   상기 DSP 코어의 연산 처리에 필요한 명령어와 데이터가 저장되는 메모리부; 를 포함하는 것을 특징으로 하는 환경 분류 보청기.
3. 제2 항에 있어서, 상기 DSP 코어는
   상기 명령어를 디코딩하는 디코딩부;
   디코딩된 상기 명령어에 따라 연산을 처리하는 연산부;
   상기 연산부의 연산 처리 과정에서 발생하는 중간 처리 결과를 저장하기 위한 레지스터부; 를 포함하는 것을 특징으로 하는 환경 분류 보청기.
4. 제3 항에 있어서, 상기 제1 모드가 동작되는 DSP는
   상기 제1 특징점을 추출하기 위한 간이 명령어 처리부; 를 더 포함하는 것을 특징으로 하는 환경 분류 보청기.
5. 제4 항에 있어서, 상기 간이 명령어 처리부는
   상기 레지스터부에 포함되는 레지스터 파일 중 적어도 일부를 사용하여 상기 제1 특징점을 추출하기 위한 간이 명령어를 지시하는 명령어 버퍼; 및
   상기 연산부에 포함되는 산술 유닛 중 적어도 일부를 사용하여 상기 명령어 버퍼의 지시에 대응하여 연산을 처리하는 간이 연산부; 를 포함하는 것을 특징으로 하는 환경 분류 보청기.
6. 제3 항에 있어서, 상기 제2 모드가 동작되는 DSP의 상기 DSP 코어는
   상기 레지스터부에 포함되는 레지스터 파일 중 적어도 일부를 사용하여 상기 제2 특징점을 추출할 때 사용되는 반복 명령어를 처리하는 루프 버퍼; 를 더 포함하는 것을 특징으로 하는 환경 분류 보청기.
7. 제1 항에 있어서,
   상기 제1 특징점은 ZCR(Zero Crossing Rate), 파워 스펙트럼 중 적어도 하나 이상에 대응되고,
   상기 제2 특징점은 MFCC(Mel-Scale Frequency Cepstrum Coefficient), 스펙트럼 엔트로피, 상기 ZCR 중 적어도 하나 이상에 대응되는 것을 특징으로 하는 환경 분류 보청기.
8. 제1 항에 있어서, 상기 DSP는
   상기 제1 모드를 통해 상기 제1 특징점을 추출한 후, 기 저장된 환경 정보와 거리값을 비교하여 유사도를 측정함으로써 상기 외부 사운드의 환경을 분석하는 것을 특징으로 하는 환경 분류 보청기.
9. 제1 항에 있어서, 상기 DSP는
   상기 제2 모드를 통해 상기 제2 특징점을 추출한 후, 기 저장된 환경 정보와 GMM(Gaussian Mixture Model) 기반 로그-라이클리후드를 통해 유사도를 측정함으로써 상기 외부 사운드의 환경을 분석하는 것을 특징으로 하는 환경 분류 보청기.
10. 제1 항에 있어서, 상기 제2 모드는
    상기 DSP가 상기 제1 모드를 통한 상기 외부 사운드의 환경 분석 결과, 기 분석된 상기 외부 사운드의 환경과 상기 제1 모드를 통해 분석된 상기 외부 사운드의 환경이 일치하지 않을 때 동작되는 것을 특징으로 하는 환경 분류 보청기.
11. 삭제
12. 제1 항에 있어서,
    상기 제2 모드를 통한 상기 외부 사운드의 환경 분석이 종료되면, 상기 제2 모드가 동작되는 DSP는 유휴 상태로 변경되는 것을 특징으로 하는 환경 분류 보청기.
13. 보청기의 복수의 DSP에 의하여 보청기에 입력된 외부 사운드의 환경을 분류하기 위한 방법에 있어서,
    상기 외부 사운드에 대한 음성 신호 처리 단계;
    상기 복수의 DSP 중 적어도 일부가 제1 모드로 동작하여 상기 외부 사운드의 제1 특징점을 추출하는 단계;
    상기 제1 특징점을 통해 상기 외부 사운드의 환경을 분석하는 단계;
    상기 외부 사운드의 환경이 기 환경과 일치하지 않으면 상기 복수의 DSP 중 다른 일부가 제2 모드로 동작하여 상기 외부 사운드의 제2 특징점을 추출하는 단계; 및
    상기 제2 특징점을 통해 상기 외부 사운드의 환경을 다시 분석하는 단계; 를 포함하고,
    상기 제2 특징점을 통해 다시 분석된 상기 외부 사운드의 환경에 대한 정보는 상기 음성 신호 처리 단계에 반영되는 것을 특징으로 하는 환경 분류 방법.
14. 제13 항에 있어서,
    상기 제1 모드는 상기 복수의 DSP 중 하나에 의하여 동작되고,
    상기 제2 모드는 상기 복수의 DSP 중 다른 하나에 의하여 동작되는 것을 특징으로 하는 환경 분류 방법.
15. 제13 항에 있어서,
    상기 제2 특징점을 통해 상기 외부 사운드의 환경을 다시 분석하는 단계 이후, 상기 제2 모드가 동작된 DSP를 유휴 상태로 변경하는 단계; 를 더 포함하는 것을 특징으로 하는 환경 분류 방법.
16. 제13 항에 있어서, 상기 외부 사운드에 대한 음성 신호 처리 단계와 상기 제1 모드로 동작하여 상기 외부 사운드의 제1 특징점을 추출하는 단계는
    상기 제1 모드로 동작되는 DSP가 병행하여 수행하는 것을 특징으로 하는 환경 분류 방법.

Images