KR101225678B1 - 지향성 자동 조절 보청기 및 자동 조절 방법 - Google Patents

지향성 자동 조절 보청기 및 자동 조절 방법 Download PDF

Info

Publication number
KR101225678B1
KR101225678B1 KR20120102761A KR20120102761A KR101225678B1 KR 101225678 B1 KR101225678 B1 KR 101225678B1 KR 20120102761 A KR20120102761 A KR 20120102761A KR 20120102761 A KR20120102761 A KR 20120102761A KR 101225678 B1 KR101225678 B1 KR 101225678B1
Authority
KR
South Korea
Prior art keywords
signal
output
sound
subtractor
hearing aid
Prior art date
Application number
KR20120102761A
Other languages
English (en)
Inventor
권유정
Original Assignee
(주)알고코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)알고코리아 filed Critical (주)알고코리아
Priority to KR20120102761A priority Critical patent/KR101225678B1/ko
Application granted granted Critical
Publication of KR101225678B1 publication Critical patent/KR101225678B1/ko
Priority to US14/024,345 priority patent/US9124985B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/405Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403Linear arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23Direction finding using a sum-delay beam-former

Abstract

지향성 자동 조절 보청기를 공개한다. 본 발명의 지향성 자동 조절 보청기는 복수개의 마이크에서 생성된 복수개의 음향 신호 각각에 대한 증폭도와 지연 시간을 조절하여, 주변에서 발생한 소리들 중 어음이 강하게 들릴 수 있도록 자동으로 지향성을 높여줄 수 있다. 그러므로 어떤 방향에서의 음성이라도 주변 소음 대비 어음의 세기를 크게 하여 정확한 음성을 들을 수 있도록 한다.

Description

지향성 자동 조절 보청기 및 자동 조절 방법{AUTO-STEERING DIRECTIONAL HEARING AID AND METHOD OF OPERATION THEREOF}
본 발명은 보청기에 관한 것으로, 특히 지향성을 자동으로 조절하여 소리를 향상시킬 수 있는 보청기에 관한 것이다.
보청기는 주변 소리를 받아들여 증폭하여 난청이 있는 사용자에게 증폭된 소리를 제공하는 장치로서, 일반적으로 보청기는 증폭 방식, 회로 특성 및 형태에 따라 구분된다.
증폭 방식에 따른 구분은 보청기가 소리를 선형으로 증폭하는지 비선형으로 증폭하는지에 따른 구분이며, 회로 특성은 보청기가 아날로그 회로로 구현되는지 디지털 회로로 구현되는지에 따른 구분이다. 그러나 일반적으로 보청기의 종류는 보청기 형태에 따라 구분된다.
형태에 따라 보청기를 구분하면, 주머니형(Pocket Type)(박스형 : Box Type) 보청기, 귀걸이형(Behind-The-Ear : BTE) 보청기, 귓속형(In-The-Ear : ITE, In-The-Ear : ITC) 혹은 고막형 (Completely-In-the-Canal : CIC) 보청기, 안경형(Eyeglass) 보청기 등으로 구분할 수 있다.
상기한 보청기의 형태는 사용자의 편의나 사용 용도에 따라 다양하게 개발되었으며, 현재에도 다양한 형태의 보청기가 개발되고 있다.
그리고 최근에는 보청기에 성능 및 기능을 증대하기 위해 다양한 부가 장치가 추가되고 있을 뿐만 아니라, 마이크와 같은 보청기의 구성 요소의 개수가 다양하게 변경되고 있다. 이러한 보청기의 성능을 증대하는 기술 중 하나로 특정 방향에 대한 지향성을 강화하여 특정 방향에서 발생된 음원을 다른 방향에서 발생된 음원보다 잘 들리게 하는 기술이 있다.
도1 은 종래의 방향성 패턴을 획득하는 보청기를 나타낸다.
도1 은 한국 공개 특허 제2009-0045453(2009년 5월 8일 공개)호에 개시된 보청기로서, 2개의 마이크(M1, M2)와 시간 지연부(D), 가산기(ADD) 및 신호 처리부(PCS)을 구비한다. 2개의 마이크(M1, M2)는 각각 주변을 소리를 수신하여 소리 신호를 생성하고, 시간 지연부(D)는 마이크(M2)에서 생성된 소리 신호를 일정 시간 지연하여 출력한다. 그리고 가산기(ADD)는 마이크(M1)에서 출력된 소리 신호와 시간 지연부(D)에서 출력된 신호를 합산하여 출력하고, 신호 처리부(PCS)는 가산기(ADD)에서 출력되는 신호에 증폭 또는 노이즈 제거 등의 신호 처리를 수행하여 스피커(미도시)등을 통해 소리로서 출력되도록 함으로서 보청기의 방향성 패턴이 일정하게 유지되도록 한다. 예를 들어 사용자의 전방에서 발생한 소리가 다른 방향에서 발생한 소리보다 잘 들리도록 할 수 있다.
그러나 도1 에 도시된 종래의 보청기는 음원에 대한 지향 방향이 특정 방향으로 고정되어, 보청기의 지향 방향을 변경하기 위해서는 지연 시간을 매번 조절해야 하는 불편함이 있었다.
본 발명의 목적은 복수개의 마이크를 통해 입력되는 소리들 중 어음이 발생한 방향으로 자동으로 지향성을 높여줌으로서, 주변 소음 대비 어음의 세기를 크게하여 정확한 음성을 들을 수 있도록 하는 보청기를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 지향성 자동 조절 보청기는 소리 감지하여 제1 소리 신호를 생성하고, 제1 증폭 제어 신호에 응답하여 상기 제1 소리 신호를 증폭하여 제1 입력 신호를 출력하는 제1 입력단; 상기 소리 감지하여 제2 소리 신호를 생성하고, 제2 증폭 신호 및 지연 신호에 응답하여 상기 제2 소리 신호를 증폭 및 지연하여 제2 입력 신호를 출력하는 적어도 하나의 제2 입력단; 상기 적어도 하나의 제2 입력단과 동일 개수의 다단으로 구비되어, 이전단에서 출력되는 누적 감산 신호로부터 상기 적어도 하나의 제2 입력단 중 대응하는 제2 입력단에서 출력되는 제2 입력 신호를 감산하여 상기 누적 감산 신호를 출력하는 적어도 하나의 감산기를 포함하는 감산부; 상기 적어도 하나의 감산기 중 마지막단의 감산기로부터 출력되는 누적 감산 신호를 수신하고, 수신한 신호에서 필터링하여 어음 신호를 추출하고, 추출된 어음의 최대값을 기설정된 문턱값과 비교하여, 비교 결과에 따라 상기 제1 증폭 제어 신호 및 적어도 하나의 상기 제2 증폭 제어 신호와 적어도 하나의 상기 지연 신호를 조절하여 출력하는 방향성 제어부; 및 상기 적어도 하나의 감산기 중 마지막단의 감산기로부터 출력되는 상기 누적 감산 신호를 수신하여 증폭하여 소리로 출력하는 출력부; 를 포함한다.
상기 방향성 제어부는 상기 누적 감산 신호를 수신하여 필터링하여 상기 어음 신호를 추출하는 필터부; 상기 어음 신호의 레벨을 감지하여 최대값을 검출하는 최대값 검출부; 상기 문턱값을 설정하여 저장하는 문턱값 설정부; 상기 최대값과 상기 문턱값을 비교하여, 상기 최대값이 상기 문턱값 미만이면, 비교값을 출력하는 비교부; 상기 비교값에 응답하여 상기 제1 증폭 제어 신호 및 상기 적어도 하나의 제2 증폭 제어 신호 각각을 조절하여 출력하는 증폭도 조절부; 및 상기 비교값에 응답하여 상기 적어도 하나의 지연 시간 제어 신호 각각을 조절하여 출력하는 지연 시간 조절부;를 포함하는 것을 특징으로 한다.
상기 필터부는 상기 누적 감산 신호를 수신하고, 대역 통과 필터링하는 대역 통과 필터; 및 상기 대역 통과 필터의 출력 신호를 정류하여 상기 어음 신호를 출력하는 정류필터;를 포함하는 것을 특징으로 한다.
상기 대역 통과 필터는 1KHz의 중심 주파수로 100Hz ~ 4KHz 대역의 신호를 추출하는 것을 특징으로 한다.
상기 감산부는 상기 적어도 하나의 감산기 중 최초단의 감산기는 상기 제1 입력 신호로부터 상기 적어도 하나의 제2 입력 신호 중 대응하는 제2 입력 신호를 감산하여 상기 누적 감산 신호를 출력하고, 나머지 감산기는 각각 이전단의 감산기에서 출력되는 상기 누적 감산 신호로부터 상기 적어도 하나의 제2 입력 신호 중 대응하는 제2 입력 신호를 감산하여 상기 누적 감산 신호를 출력하는 것을 특징으로 한다.
상기 제1 입력단은 상기 소리를 감지하여 아날로그 신호인 상기 제1 소리 신호를 생성하는 제1 마이크; 상기 제1 소리 신호를 디지털 신호로 변환하는 제1 A/D 컨버터; 및 상기 방향성 제어부에서 출력되는 상기 제1 증폭 제어 신호에 응답하여. 상기 제1 A/D 컨버터의 출력 신호를 증폭하여 출력하는 제1 증폭기;를 포함하는 것을 특징으로 한다.
상기 적어도 하나의 제2 입력단 각각은 상기 소리를 감지하여 아날로그 신호인 상기 제2 소리 신호를 생성하는 제2 마이크; 상기 제2 소리 신호를 디지털 신호로 변환하는 제2 A/D 컨버터; 상기 방향성 제어부에서 출력되는 상기 적어도 하나의 제2 증폭 제어 신호 중 대응하는 제2 증폭 제어 신호 응답하여. 상기 제2 A/D 컨버터의 출력 신호를 증폭하여 출력하는 제2 증폭기; 및 상기 방향성 제어부에서 출력되는 상기 적어도 하나의 지연 시간 제어 신호 중 대응하는 지연 시간 제어 신호 응답하여. 상기 제2 증폭기의 출력 신호를 지연하여 출력하는 제2 시간 지연기;를 포함하는 것을 특징으로 한다.
상기 출력부는 상기 감산부에서 출력되는 상기 누적 감산 신호를 수신하여 증폭하여 출력하는 출력 증폭기; 상기 출력 증폭기의 출력 신호를 아날로그 신호로 변환하는 D/A 컨버터; 및 스피커를 구비하고, 상기 D/A 컨버터에서 출력되는 신호를 수신하여 소리로서 출력하는 리시버;를 포함하는 것을 특징으로 한다.
상기 지향성 자동 조절 보청기는 상기 감산부에서 출력되는 상기 누적 감산 신호를 수신하여 버퍼링하여 상기 출력 증폭기로 출력하는 제1 버퍼; 및 상기 출력 증폭기에서 출력되는 신호를 수신하여 버퍼링하여 상기 D/A 컨버터로 출력하는 제2 버퍼;를 더 포함하는 특징으로 한다.
따라서, 본 발명의 지향성 자동 조절 보청기는 복수개의 마이크에서 생성된 복수개의 음향 신호 각각에 대한 증폭도와 지연 시간을 조절하여, 주변에서 발생한 소리들 중 어음이 강하게 들릴 수 있도록 자동으로 지향성을 높여줄 수 있다. 그러므로 어떤 방향에서의 음성이라도 주변 소음 대비 어음의 세기를 크게 하여 정확한 음성을 들을 수 있도록 한다.
도1 은 종래의 방향성 패턴을 획득하는 보청기를 나타낸다.
도2 는 본 발명의 일 실시예에 따른 지향성 자동 조절 보청기를 나타낸다.
도3 은 본 발명의 지향성 자동 조절 보청기의 마이크 배치의 일예를 나타낸다.
도4 는 도2 의 방향성 제어부의 세부 구성의 일예를 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “블록” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도2 는 본 발명의 일 실시예에 따른 지향성 자동 조절 보청기를 나타낸다.
도2를 참조하면 본 발명에 따른 지향성 자동 조절 보청기(10)는 복수개의 마이크(M1 ~ M4), 복수개의 A/D 컨버터(AD1 ~ AD4), 복수개의 입력 증폭기(G1 ~ G4), 적어도 하나의 지연기(D2 ~ D3), 적어도 하나의 감산기(DF2 ~ DF3), 제1 및 제2 버퍼(B1, B2), 출력 증폭기(GF), D/A 컨버터(DA) 및 리시버(RV)를 구비한다.
복수개의 마이크(M1 ~ M4)는 각기 다른 위치에서 소리를 입력받을 수 있도록 보청기의 외부에 분산 배치된다. 복수개의 마이크(M1 ~ M4)가 배치되는 위치는 보청기의 형태에 따라 다양하게 조절될 수 있다. 복수개의 마이크(M1 ~ M4)의 개수 또한 보청기의 형태나 종류에 따라 다양하게 설정될 수 있으나, 보청기의 지향성 방향을 감지하고 조절할 수 있도록 최소 2개 이상으로 구비되어야 하고, 지향성 방향의 정확성을 높이기 위해서는 4개 이상으로 구비되는 것이 바람직하다. 복수개의 마이크(M1 ~ M4)가 각각 분산 배치되면, 동일한 음원에서 발생한 소리일지라도 마이크(M1 ~ M4)의 위치에 따라 각 마이크에서 서로 다른 시간에 감지되며, 본 발명에 따른 지향성 자동 조절 보청기는 각 마이크에서 감지된 소리들이 최대화되도록 제어함으로서 보청기의 지향성 방향을 자동으로 조절할 수 있다.
복수개의 마이크(M1 ~ M4)는 각각 소리를 감지하여 아날로그 전기 신호인 소리 신호로 변환하여 출력한다. 그리고 복수개의 A/D 컨버터(AD1 ~ AD4)는 복수개의 마이크(M1 ~ M4) 각각에 대응하여 구비되어, 복수개의 마이크(M1 ~ M4) 중 대응하는 마이크로부터 소리 신호를 수신하고, 수신한 소리 신호를 디지털 신호로 변환하여 출력한다.
복수개의 입력 증폭기(G1 ~ G4)는 복수개의 A/D 컨버터(AD1 ~ AD4) 각각에 대응하여 구비되어, 복수개의 A/D 컨버터(AD1 ~ AD4) 중 대응하는 컨버터로부터 디지털 신호를 수신하여 증폭하여 증폭 신호를 출력한다. 이때 복수개의 입력 증폭기(G1 ~ G4) 각각은 방향성 제어부(SDC)에서 출력되는 복수개의 이득 제어 신호(gs1 ~ gs4) 중 대응하는 이득 제어 신호를 수신하고, 수신된 이득 제어 신호(gs1 ~ gs4)에 응답하여 증폭 신호의 증폭도를 조절한다. 즉 복수개의 입력 증폭기(G1 ~ G4) 각각은 이득 제어 신호(gs1 ~ gs4)에 따라 서로 다른 증폭도로 디지털 신호를 증폭할 수 있다.
시간 지연기(D2 ~ D4)는 복수개의 입력 증폭기(G1 ~ G4) 중 하나의 입력 증폭기(G1)를 제외한 나머지 입력 증폭기(G2 ~ G4) 각각에 대응하여 구비된다. 각각의 시간 지연기(D2 ~ D4)는 복수개의 입력 증폭기(G1 ~ G4) 중 대응하는 입력 증폭기(G2 ~ G4)로부터 증폭 신호를 수신하고, 수신된 증폭 신호를 방향성 제어부(SDC)에서 출력되는 복수개의 지연 시간 제어 신호(ts2 ~ ts4) 중 대응하는 지연 시간 제어 신호에 따라 지연하여 지연 신호를 출력한다.
여기서 적어도 하나의 시간 지연기(D2 ~ D4)가 입력 증폭기(G1)를 제외한 나머지 입력 증폭기(G2 ~ G4) 각각에 대응하는 개수로 구비되는 것은 복수개의 증폭 신호 중 하나의 증폭 신호에 대해서는 지연할 필요가 없기 때문이다. 그러나 복수개의 입력 증폭기(G1 ~ G4)에서 출력되는 증폭 신호를 모두 지연해야 하는 경우(예를 들어, 시간 지연기(D2 ~ D3)의 자체 지연 시간을 고려한 신호의 동기화)나, 보청기의 제조 및 생산의 편의성을 높이고자 하는 경우에는 복수개의 입력 증폭기(G1 ~ G4)와 동일한 개수로 시간 지연기를 구비하여도 무방하다. 이 경우, 입력 증폭기(G1)에 대응하여 구비되는 시간 지연기(미도시)는 증폭 신호에 대한 지연 시간이 시간 지연기에서 설정 가능한 최소값(예를 들면, 0)으로 설정 될 수 있다. 시간 지연기(미도시)에서 지연 시간이 최소값으로 설정되는 경우, 시간 지연기(미도시)는 내부 회로 구성에 의한 자체 지연 시간만큼만 증폭 신호를 지연하여 지연 신호를 출력한다. 따라서 지연 시간 제어 신호(ts2 ~ ts4)에 응답하여 다른 시간 지연기(D2 ~ D4)에서 증폭 신호를 지연하는 시간 이외에 시간 지연기(D2 ~ D4) 자체의 지연 시간이 동일하도록 하여 신호를 동기화할 수 있다.
적어도 하나의 감산기(DF2 ~ DF4) 중 감산기(DF2)는 입력 증폭기(G1)에서 출력되는 증폭 신호로부터 시간 지연기(D2)에서 출력되는 지연 신호를 감산하여 감산 신호를 출력한다. 그리고 감산기(DF3)는 감산기(DF2)에서 출력되는 감산 신호로부터 시간 지연기(D3)에서 출력되는 지연 신호를 감산하여 감산 신호를 출력하고, 감산기(DF4)는 감산기(DF3)에서 출력되는 감산 신호로부터 시간 지연기(D4)에서 출력되는 지연 신호를 감산하여 감산 신호를 출력한다.
즉 도2 를 참조하면, 본 발명에 따른 지향성 자동 조절 보청기의 구조는 하나의 제1 입력단(IN1)과 적어도 하나의 제2 입력단(IN21 ~ IN23)을 구비하는 다단 구조를 갖는다. 제1 입력단(IN1)은 마이크(M1)와 A/D 컨버터(AD1), 증폭기(G1)를 구비하여, 마이크(M1)에서 감지된 소리를 증폭하여 제1 입력 신호를 출력한다. 반면 적어도 하나의 제2 입력단(IN21 ~ IN23) 각각은 마이크(M1)와 A/D 컨버터(AD2 ~ AD4), 증폭기(G2 ~ G4) 및 시간 지연기(D2 ~ D4)를 구비하여, 각각 대응하는 마이크(M2 ~ M4)에서 감지된 소리를 증폭 및 지연하여 제2 입력 신호를 출력한다. 그리고 적어도 하나의 감산기(DF2 ~ DF4) 각각은 다단 형태로 구성되고, 최초단의 감산기(DF2)는 제1 입력 신호 및 적어도 하나의 제2 입력단(IN21 ~ IN24) 중 대응하는 제2 입력단(IN21)에서 출력되는 제2 입력 신호를 수신하고, 수신한 제1 입력 신호에서 제2 입려 신호를 차감하여 감산 신호를 출력하고, 나머지 감산기(DF3, DF4)는 각각 이전단의 감산기(DF2, DF3)에서 출력되는 감산 신호와 대응하는 제2 입력단(IN22, IN23)에서 출력되는 제2 입력 신호를 감산하여 출력한다. 즉 적어도 하나의 감산기(DF2 ~ DF4) 각각은 다단 구성으로 이루어져 이전단에서 인가되는 감산 신호로부터 대응하는 제2 입력 신호를 누적하여 감산하여 누적 감산 신호를 출력한다.
여기서 제1 입력단(IN1) 및 적어도 하나의 제2 입력단(IN21 ~ IN23) 각각이 대응하는 마이크에서 출력된 소리 신호를 각각 증폭하고 지연하는 것은 보청기의 지향성 방향을 조절하기 위해서이다. 상기한 바와 같이 동일한 음원에서 발생한 소리일지라도 분산배치된 각 마이크(M1 ~ M4)에 도달하는 시간과 크기는 각기 다르다. 이에 본 발명에 따른 지향성 자동 조절 보청기는 방향성 제어부(SDC)에서 출력되는 증폭 제어 신호(gs1 ~ gs4) 및 지연 시간 제어 신호(ts2 ~ ts4)에 따라 소리 신호의 증폭도 및 지연 시간을 조절하여 소리가 최대화 되도록 한다. 또한 도1 의 보청기와 달리 도2 의 보청기에서 가산기(ADD)가 아닌 감산기(DF2 ~ DF4)를 이용하는 하여 제1 및 제2 입력 신호를 서로 감산하는 것은, 감산기(DF2 ~ DF4)를 사용하여 각 신호의 차를 발생하는 것이 가산기를 사용하는 경우보다 결과적으로 소리의 크기를 더 크게 할 수 있기 때문이다.
제1 버퍼(B1)는 최종 감산기(DF4)에서 출력되는 누적 감산 신호를 버퍼링하여 출력하고, 출력 증폭기(GF)는 제1 버퍼(B1)에서 출력되는 신호를 수신하여 기설정된 증폭도로 증폭하여 제2 버퍼(B2)로 출력한다. 제2 버퍼(B2)는 출력 증폭기(GF)에서 출력되는 신호를 증폭하여 D/A 컨버터(DA)로 출력하고, D/A 컨버터는 제2 버퍼(B2)에서 출력되는 신호를 아날로그 신호로 변환하여 리시버(RV)로 출력한다. 리시버(RV)는 스피커와 같은 음향 출력 장치를 구비하여 D/A 컨버터(DA)에서 출력하는 아날로그 신호를 사용자가 들을 수 있는 소리로서 출력한다.
도2 에서 제1 입력단(IN1) 및 적어도 하나의 제2 입력단(IN21 ~ IN23), 적어도 하나의 감산기(DF2 ~ DF4) 및 제1 버퍼(B1)는 소리를 감지하고, 지향성 방향에 따라 증폭, 지연 및 감산하는 보청기(10)의 입력부이며, 출력 증폭기(GF), 제2 버퍼(B2), D/A(DA) 및 리시버(RV)는 사용자에게 소리를 출력할 수 있는 출력부의 구성이다. 그리고 출력부는 제2 버퍼(D/A)와 D/A 컨버터(DA) 사이 또는 D/A 컨버터(DA)와 리시버(RV) 사이에 무선 송신기와 무선 수신기를 추가로 구비하여 리시버가 무선으로 신호를 수신하여 소리를 출력할 수 있도록 구성될 수도 있다. 그리고 경우에 따라서 제1 및 제2 버퍼(B1, B2)는 생략될 수도 있다.
방향성 제어부(SDC)는 제1 버퍼(B1)에서 버퍼링된 신호(ds)를 수신하고, 수신된 신호를 필터링하여 어음(語音)을 추출한다. 그리고 추출된 어음의 세기를 판별하여, 어음의 세기가 기설정된 문턱값보다 낮으면, 보청기의 지향성 방향이 말소리가 발생한 음원의 위치와 매칭되지 않는 것으로 판단하여, 증폭 제어 신호(gs1 ~ gs4) 및 지연 시간 제어 신호(ts2 ~ ts4)를 조절하여 출력한다. 이에 제1 입력단(IN1)의 증폭기(G1)의 증폭도와 적어도 하나의 제2 입력단(IN21 ~ IN23)의 증폭기(G2 ~ G4)의 증폭도 및 시간 지연기(D2 ~ D4)의 신호 지연 시간이 조절되어 보청기의 지향성 방향이 자동으로 변경된다. 방향성 제어부(SDC)는 추출되는 어음의 세기가 문턱값 이상이 될 때까지 계속적으로 보청기의 지향성 방향을 변경한다. 그리고 어음의 세기가 문턱값 이상인 것으로 판별되면, 보청기의 지향성 방향이 말소리가 발생한 음원의 위치와 매칭되지 않는 것으로 판단하여, 증폭 제어 신호(gs1 ~ gs4) 및 지연 시간 제어 신호(ts2 ~ ts4)의 값을 고정한다. 이후 다시 어음의 세기가 기설정된 문턱값보다 낮으면, 방향성 제어부(SDC)는 증폭 제어 신호(gs1 ~ gs4) 및 지연 시간 제어 신호(ts2 ~ ts4)를 조절하여 보청기의 지향성 방향을 자동으로 변경한다.
이에 본 발명에 따른 지향성 자동 조절 보청기는 보청기에 분산배치되는 복수개의 마이크를 통해 입력되는 소리들을 각각 서로 다르게 증폭, 지연 및 감산한 후, 어음(말소리)을 추출하고, 추출된 어음이 기설정된 문턱값 이상이 되도록 보청기의 지향성 방향을 자동으로 조절한다. 따라서 보청기의 지향성 방향이 자동으로조절되므로 사용자는 항시 문턱값 이상의 크기로 증폭되는 어음을 들을 수 있어, 다른 사람의 말소리를 명확히 인식할 수 있게 된다.
방향성 제어부(SDC)의 상세 구성 및 동작은 후술하도록 한다.
도3 은 본 발명의 지향성 자동 조절 보청기의 마이크 배치의 일예를 나타낸다.
상기한 바와 같이, 본 발명에 따른 지향성 방향 자동 조절 보청기에서 복수개의 마이크들(M1 ~ M4)은 각각 보청기의 지향성 방향을 용이하게 감지할 수 있도록 분산 배치된다. 복수개의 마이크(M1 ~ M4) 각각은 서로 소정 거리(예를 들면 5mm) 이상 이격되어 배치되는 것이 바람직하다. 이는 복수개의 마이크가 서로 밀접하여 배치되면, 음원의 방향에 무관하게 모든 마이크로 소리가 입력되는 시간이 거의 동일하여 음원의 방향을 파악하기 어렵기 때문이다.
최근 마이크 기술의 발전에 따라 마이크의 크기가 기존에 비해 극단적으로 작아져서, 크기가 작은 귓속형 보청기에도 2개 이상(예를 들면 4개)의 마이크를 배치하기 용이하지만, 상기한 바와 같이 귓속형 보청기와 같은 소형 보청기에 다수의 마이크가 서로 매우 밀접하게 배치되는 경우에는 음원의 방향을 파악하기 어렵기 때문에 제조비용만 상승할 뿐, 음원의 방향을 감지하는 효과가 미미하다. 그러나 주머니형 보청기, 안경형 보청기와 같이 상대적으로 크기가 큰 보청기의 경우에는 복수개의 마이크(예를 들면 4개)를 소정 간격 이상으로 분산 배치하여 음원의 위치를 더욱 정확하게 판별 할 수 있도록 할 수 있다.
이에 도3 에서는 복수개의 마이크들(M1 ~ M4)가 분산 배치된 보청기의 일예로서 안경형 보청기를 도시하였다. 도3 에 도시된 바와 같이 안경형 보청기의 경우, 안경다리에 복수개의 마이크를 소정 간격 이상으로 분산 배치할 수 있으므로, 보청기의 지향성 방향을 감지하기에 매우 용이한 구조로 볼 수 있다.
그러나 마이크의 개수 증가는 제조 비용의 상승으로 이어지며, 주머니형 보청기, 안경형 보청기와 같이 상대적으로 큰 보청기에서도 공간의 제약이 따르기 마련이다. 또한 본 발명의 보청기는 주변에서 발생한 소리 중 사람의 음성이 발생한 위치를 정확히 판별하는 데 목적이 있는 것이 아니라, 음성이 발생한 위치로 지향성을 높여 사용자가 음성을 더 잘들을 수 있도록 하는데 목적이 있으므로, 보청기에 많은 개수(예를 들면 10개 이상)의 마이크를 배치하는 것은 불필요하다.
도3 에서는 안경형 보청기에서 안경다리의 한쪽에만 마이크가 배치되는 것으로 도시하였으나, 마이크는 양쪽 안경다리에 배치될 수 있음은 자명하다. 그리고 다른 형태의 보청기에는 각 보청기의 형태에 따라 마이크를 다양하게 배치할 수 있다.
도4 는 도2 의 방향성 제어부의 세부 구성의 일예를 나타낸다.
도4 를 참조하면, 방향성 제어부(SDC)는 대역 통과 필터(110), 정류 필터(120), 최대값 검출부(130), 문턱값 설정부(140), 비교부(150), 증폭도 조절부(160) 및 지연 시간 조절부(170)를 포함한다.
대역 통과 필터(110)는 제1 버퍼(B1)에서 출력되는 신호(ds)를 수신하여 1KHz를 중심 주파수로 하여 100Hz ~ 4KHz 의 대역에 대해 필터링을 수행하여, 마이크(M1 M4)를 통해 감지된 소리들 중 어음에서 가장 중요한 주파수 대역의 어음 신호를 추출한다. 정류 필터(120)는 대역 통과 필터(110)에서 출력되는 어음 신호를 수신하여 정류하여 노이즈를 제거한다. 여기서 정류 필터(120)는 풀 디지털 정류 필터가 사용되는 것이 바람직하다.
최대값 검출부(130)는 정류 필터(120)에서 출력되는 어음 신호의 레벨을 검출하고, 검출된 레벨의 최대값을 획득한다. 문턱값 설정부(140)는 보청기(10)의 지향성 방향을 설정하기 위한 문턱값이 저장되며, 사용자가 문턱값을 직접 지정할 수도 있다. 문턱값은 보청기의 종류에 따라 다양하게 설정될 수 있으나, 일예로서 본 발명에서는 ??10dB를 문턱값으로 설정한다. 비교부(150)는 최대값 검출부에서 검출된 어음 신호의 최대값과 문턱값 설정부(140)에 저장된 문턱값을 비교하여, 비교값을 증폭도 조절부(160) 및 지연 시간 조절부(170)로 출력한다.
증폭도 조절부(160) 및 지연 시간 조절부(170) 각각은 비교값에 응답하여, 최대값이 문턱값보다 크거나 같으면, 증폭 제어 신호(gs1 ~ gs4) 및 지연 시간 제어 신호(ts2 ~ ts4)가 이전 상태로 유지하여 출력한다. 그러나 최대값이 문턱값보다 작으면, 지향성 방향이 음원의 방향에 매칭되지 않는 것이므로, 증폭도 조절부(160) 및 지연 시간 조절부(170)는 증폭 제어 신호(gs1 ~ gs4) 및 지연 시간 제어 신호(ts2 ~ ts4)를 변경하여 출력한다.
즉 방향성 제어부(SDC)는 입력부에서 출력되는 신호(ds)를 수신하고, 수신한 신호(ds)에서 어음 신호를 추출 및 레벨 검출하여, 검출된 어음 신호의 레벨이 기설정된 문턱값 이상이 되도록 증폭 제어 신호(gs1 ~ gs4) 및 지연 시간 제어 신호(ts2 ~ ts4)를 조절한다.
입력부는 조절된 증폭 제어 신호(gs1 ~ gs4) 및 지연 시간 제어 신호(ts2 ~ ts4)에 응답하여 복수개의 마이크(M1 ~ M4)에서 인가되는 소리 신호를 서로 다르게 증폭 및 지연하여 보청기의 지향성 방향을 자동으로 조절한다. 즉 복수개의 마이크(M1 ~ M4)의 배치 위치에 따라 서로 다른 시간 및 크기로 인가되는 소리 각각에 대해 서로 다른 시간 및 증폭도로 조절하여 매칭 시키는 방식으로 보청기의 지향성 방향을 자동으로 조절한다.
그러므로 본 발명에 따른 지향성 자동 조절 보청기(10)는 음원의 방향이 어떤 방향이든 어음의 세기가 문턱값 이상이 되도록 지향성 방향을 자동으로 조절할 수 있다. 따라서 어떤 방향에서의 음성이라도 주변 소음 대비 어음의 세기를 크게 하여 정확한 음성을 들을 수 있도록 한다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (9)

  1. 소리 감지하여 제1 소리 신호를 생성하고, 제1 증폭 제어 신호에 응답하여 상기 제1 소리 신호를 증폭하여 제1 입력 신호를 출력하는 제1 입력단;
    상기 소리 감지하여 제2 소리 신호를 생성하고, 제2 증폭 제어 신호 및 지연 신호에 응답하여 상기 제2 소리 신호를 증폭 및 지연하여 제2 입력 신호를 출력하는 적어도 하나의 제2 입력단;
    상기 적어도 하나의 제2 입력단과 동일 개수의 다단으로 구비되어, 이전단에서 출력되는 누적 감산 신호로부터 상기 적어도 하나의 제2 입력단 중 대응하는 제2 입력단에서 출력되는 제2 입력 신호를 감산하여 상기 누적 감산 신호를 출력하는 적어도 하나의 감산기를 포함하는 감산부;
    상기 적어도 하나의 감산기 중 마지막단의 감산기로부터 출력되는 누적 감산 신호를 수신하고, 수신한 신호에서 필터링하여 어음 신호를 추출하고, 추출된 어음의 최대값을 기설정된 문턱값과 비교하여, 비교 결과에 따라 상기 제1 증폭 제어 신호 및 적어도 하나의 상기 제2 증폭 제어 신호와 적어도 하나의 상기 지연 신호를 조절하여 출력하는 방향성 제어부; 및
    상기 적어도 하나의 감산기 중 마지막단의 감산기로부터 출력되는 상기 누적 감산 신호를 수신하여 증폭하여 소리로 출력하는 출력부; 를 포함하는 것을 특징으로 하는 지향성 자동 조절 보청기.
  2. 제1 항에 있어서, 상기 방향성 제어부는
    상기 누적 감산 신호를 수신하여 필터링하여 상기 어음 신호를 추출하는 필터부;
    상기 어음 신호의 레벨을 감지하여 최대값을 검출하는 최대값 검출부;
    상기 문턱값을 설정하여 저장하는 문턱값 설정부;
    상기 최대값과 상기 문턱값을 비교하여, 상기 최대값이 상기 문턱값 미만이면, 비교값을 출력하는 비교부;
    상기 비교값에 응답하여 상기 제1 증폭 제어 신호 및 상기 적어도 하나의 제2 증폭 제어 신호 각각을 조절하여 출력하는 증폭도 조절부; 및
    상기 비교값에 응답하여 상기 적어도 하나의 지연 시간 제어 신호 각각을 조절하여 출력하는 지연 시간 조절부;를 포함하는 것을 특징으로 하는 지향성 자동 조절 보청기.
  3. 제2 항에 있어서, 상기 필터부는
    상기 누적 감산 신호를 수신하고, 대역 통과 필터링하는 대역 통과 필터; 및
    상기 대역 통과 필터의 출력 신호를 정류하여 상기 어음 신호를 출력하는 정류필터;를 포함하는 것을 특징으로 하는 지향성 자동 조절 보청기.
  4. 제3 항에 있어서, 상기 대역 통과 필터는
    1KHz의 중심 주파수로 100Hz ~ 4KHz 대역의 신호를 추출하는 것을 특징으로 하는 지향성 자동 조절 보청기.
  5. 제1 항에 있어서, 상기 감산부는
    상기 적어도 하나의 감산기 중 최초단의 감산기는 상기 제1 입력 신호로부터 상기 적어도 하나의 제2 입력 신호 중 대응하는 제2 입력 신호를 감산하여 상기 누적 감산 신호를 출력하고, 나머지 감산기는 각각 이전단의 감산기에서 출력되는 상기 누적 감산 신호로부터 상기 적어도 하나의 제2 입력 신호 중 대응하는 제2 입력 신호를 감산하여 상기 누적 감산 신호를 출력하는 것을 특징으로 하는 지향성 자동 조절 보청기.
  6. 제1 항에 있어서, 상기 제1 입력단은
    상기 소리를 감지하여 아날로그 신호인 상기 제1 소리 신호를 생성하는 제1 마이크;
    상기 제1 소리 신호를 디지털 신호로 변환하는 제1 A/D 컨버터; 및
    상기 방향성 제어부에서 출력되는 상기 제1 증폭 제어 신호에 응답하여. 상기 제1 A/D 컨버터의 출력 신호를 증폭하여 출력하는 제1 증폭기;를 포함하는 것을 특징으로 하는 지향성 자동 조절 보청기.
  7. 제6 항에 있어서, 상기 적어도 하나의 제2 입력단 각각은
    상기 소리를 감지하여 아날로그 신호인 상기 제2 소리 신호를 생성하는 제2 마이크;
    상기 제2 소리 신호를 디지털 신호로 변환하는 제2 A/D 컨버터;
    상기 방향성 제어부에서 출력되는 상기 적어도 하나의 제2 증폭 제어 신호 중 대응하는 제2 증폭 제어 신호 응답하여. 상기 제2 A/D 컨버터의 출력 신호를 증폭하여 출력하는 제2 증폭기; 및
    상기 방향성 제어부에서 출력되는 상기 적어도 하나의 지연 시간 제어 신호 중 대응하는 지연 시간 제어 신호 응답하여. 상기 제2 증폭기의 출력 신호를 지연하여 출력하는 제2 시간 지연기;를 포함하는 것을 특징으로 하는 지향성 자동 조절 보청기.
  8. 제1 항에 있어서, 상기 출력부는
    상기 감산부에서 출력되는 상기 누적 감산 신호를 수신하여 증폭하여 출력하는 출력 증폭기;
    상기 출력 증폭기의 출력 신호를 아날로그 신호로 변환하는 D/A 컨버터; 및
    스피커를 구비하고, 상기 D/A 컨버터에서 출력되는 신호를 수신하여 소리로서 출력하는 리시버;를 포함하는 것을 특징으로 하는 지향성 자동 조절 보청기.
  9. 제8 항에 있어서, 상기 지향성 자동 조절 보청기는
    상기 감산부에서 출력되는 상기 누적 감산 신호를 수신하여 버퍼링하여 상기 출력 증폭기로 출력하는 제1 버퍼; 및
    상기 출력 증폭기에서 출력되는 신호를 수신하여 버퍼링하여 상기 D/A 컨버터로 출력하는 제2 버퍼;를 더 포함하는 것을 특징으로 하는 지향성 자동 조절 보청기.
KR20120102761A 2012-09-17 2012-09-17 지향성 자동 조절 보청기 및 자동 조절 방법 KR101225678B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20120102761A KR101225678B1 (ko) 2012-09-17 2012-09-17 지향성 자동 조절 보청기 및 자동 조절 방법
US14/024,345 US9124985B2 (en) 2012-09-17 2013-09-11 Hearing aid and method for automatically controlling directivity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20120102761A KR101225678B1 (ko) 2012-09-17 2012-09-17 지향성 자동 조절 보청기 및 자동 조절 방법

Publications (1)

Publication Number Publication Date
KR101225678B1 true KR101225678B1 (ko) 2013-01-24

Family

ID=47842503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120102761A KR101225678B1 (ko) 2012-09-17 2012-09-17 지향성 자동 조절 보청기 및 자동 조절 방법

Country Status (2)

Country Link
US (1) US9124985B2 (ko)
KR (1) KR101225678B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635457B2 (en) 2014-03-26 2017-04-25 Sennheiser Electronic Gmbh & Co. Kg Audio processing unit and method of processing an audio signal
JP6543844B2 (ja) * 2015-08-27 2019-07-17 本田技研工業株式会社 音源同定装置および音源同定方法
US20190154791A1 (en) * 2017-11-22 2019-05-23 Kelly Jowett Three-dimensional acoustic detection and imaging via hexidrant isolation and delay-mixing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050117850A (ko) * 2004-06-11 2005-12-15 한양대학교 산학협력단 잡음 제거 기능을 구비한 디지털 보청기 및 잡음 제거 방법
KR20070052200A (ko) * 2005-11-16 2007-05-21 삼성전자주식회사 자동 이득 제어장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1251714B2 (en) * 2001-04-12 2015-06-03 Sound Design Technologies Ltd. Digital hearing aid system
DE10249416B4 (de) * 2002-10-23 2009-07-30 Siemens Audiologische Technik Gmbh Verfahren zum Einstellen und zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät
KR20090045453A (ko) 2007-11-02 2009-05-08 조선대학교산학협력단 보청기에서 경계요소 기법을 이용하여 최적화된 방향성패턴의 획득 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050117850A (ko) * 2004-06-11 2005-12-15 한양대학교 산학협력단 잡음 제거 기능을 구비한 디지털 보청기 및 잡음 제거 방법
KR20070052200A (ko) * 2005-11-16 2007-05-21 삼성전자주식회사 자동 이득 제어장치

Also Published As

Publication number Publication date
US9124985B2 (en) 2015-09-01
US20140079259A1 (en) 2014-03-20

Similar Documents

Publication Publication Date Title
US8526653B2 (en) Behind-the-ear hearing aid whose microphone is set in an entrance of ear canal
US20200184057A1 (en) Headset for Acoustic Authentication of a User
US9432778B2 (en) Hearing aid with improved localization of a monaural signal source
US20070165879A1 (en) Dual Microphone System and Method for Enhancing Voice Quality
US11134348B2 (en) Method of operating a hearing aid system and a hearing aid system
KR102060949B1 (ko) 청각 기기의 저전력 운용 방법 및 장치
US20130148829A1 (en) Hearing apparatus with speaker activity detection and method for operating a hearing apparatus
US9060232B2 (en) Hearing aid device with a directional microphone system and method for operating a hearing aid device having a directional microphone system
US11109165B2 (en) Hearing device incorporating dynamic microphone attenuation during streaming
US8014550B2 (en) System for controlling a transfer function of a hearing aid
US20200401368A1 (en) Method and device for acute sound detection and reproduction
US9473860B2 (en) Method and hearing aid system for logic-based binaural beam-forming system
KR101225678B1 (ko) 지향성 자동 조절 보청기 및 자동 조절 방법
WO2019086439A1 (en) Method of operating a hearing aid system and a hearing aid system
DK2928213T3 (en) A hearing aid with improved localization of monaural signal sources
US20070183609A1 (en) Hearing aid system without mechanical and acoustic feedback
US9820060B2 (en) Apparatus and method for reducing power consumption in hearing aid
US20120076331A1 (en) Method for reconstructing a speech signal and hearing device
EP3072314B1 (en) A method of operating a hearing system for conducting telephone calls and a corresponding hearing system
US9736599B2 (en) Method for evaluating a useful signal and audio device
US8948429B2 (en) Amplification of a speech signal in dependence on the input level
US20230396936A1 (en) Hearing device with own-voice detection
KR100835955B1 (ko) 스피커의 출력 음량을 조절하는 제어장치 및 방법
KR20200064396A (ko) 음향 보정 기능을 지닌 음향 전달 장치

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151210

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180116

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 8