KR101648840B1 - 휴대용 전자장치에 결합된 보청기 - Google Patents

휴대용 전자장치에 결합된 보청기 Download PDF

Info

Publication number
KR101648840B1
KR101648840B1 KR1020150023394A KR20150023394A KR101648840B1 KR 101648840 B1 KR101648840 B1 KR 101648840B1 KR 1020150023394 A KR1020150023394 A KR 1020150023394A KR 20150023394 A KR20150023394 A KR 20150023394A KR 101648840 B1 KR101648840 B1 KR 101648840B1
Authority
KR
South Korea
Prior art keywords
hearing aid
signal
electronic device
portable electronic
smartphone
Prior art date
Application number
KR1020150023394A
Other languages
English (en)
Inventor
박홍준
조성은
여동희
장영재
노현규
박상후
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020150023394A priority Critical patent/KR101648840B1/ko
Priority to US14/795,266 priority patent/US9392381B1/en
Application granted granted Critical
Publication of KR101648840B1 publication Critical patent/KR101648840B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/402Arrangements for obtaining a desired directivity characteristic using contructional means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/556External connectors, e.g. plugs or modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/09Applications of special connectors, e.g. USB, XLR, in loudspeakers, microphones or headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 보청기에 관한 것으로, 보청기를 구성하는 장치를 주 보청장치와 보조 보청장치로 분리하여 주 보청장치를 휴대용 전자장치의 케이스에 부착하고 데이터 전송용 유선케이블을 통하여 주 보청장치를 휴대용 전자장치와 연결시키고 보조 보청장치는 사용자의 귀에 위치시킴으로써 사용의 편리성을 증대시킨 휴대용 전자장치에 결합된 보청기에 관한 것이다.
본 발명에 따른 휴대용 전자장치에 결합된 보청기에 의하면 주 보청장치를 휴대용 전자장치의 케이스에 장착함으로써, 보청기를 사용한다는 사실을 다른 사람이 잘 알아차리지 못하게 하고, 휴대용 전자장치의 배터리로부터 전원을 공급받고 보청기의 크기를 휴대용 전자장치의 케이스의 크기만큼 크게하여 마이크로폰배열을 통한 빔포밍 동작을 가능하게 하여 보청기 사용의 편의성과 만족도를 높일수 있는 장점이 있다.

Description

휴대용 전자장치에 결합된 보청기{Hearing-aids attached to mobile electronic device}
본 발명은 보청기에 관한 것으로, 보청기를 구성하는 장치를 주 보청장치와 보조 보청장치로 분리하여 주 보청장치를 휴대용 전자장치의 케이스에 부착하고 데이터 전송용 유선케이블을 통하여 주 보청장치를 휴대용 전자장치와 연결시키고 보조 보청장치는 사용자의 귀에 위치시킴으로써 사용의 편리성을 증대시킨 휴대용 전자장치에 결합된 보청기에 관한 것이다.
최근 사람의 평균수명이 70세 이상으로 증가함에 따라 보청기의 수요가 점차 커지고 있다. 보청기에 대한 필요성은 옛날부터 인식되어 1600년대부터 보청기가 개발되었다.
옛날에는 소리가 잘 들리지 않을 경우에, 손을 모아 귓바퀴에 대면 중간 주파수 또는 고주파에서 5 내지 10 데시벨(dB) 정도의 음향증폭을 얻을 수 있었다. 1600년대에 들어서, 큰 나팔관과 같이 집음구의 면적을 넓게 만들어 소리는 모으는 보청기를 개발하였다.
그 후, 1870년대에 들어와서 탄소보청기가 개발되었는데, 이는 전화기의 원리를 이용한 것으로, 시간경과에 따라 입력되는 음성압력이 달라지면 탄소알갱이의 밀도가 변하고 이에 따라 탄소알갱이의 저항값이 변하므로, 이를 이용하여 시간에 대한 음성압력 변화를 전압 또는 전류의 전기신호 파형변화로 변환한 후 변환된 전기신호를 증폭하고 증폭된 전기신호로 스피커를 구동하는 보청기로서, 20 내지 30 데시벨(dB) 정도의 음향이득을 얻을 수 있었다.
1920년경에는 진공관을 이용한 보청기가 개발되었는데, 자석에 코일이 연결된 마이크로폰(송화기)을 통하여 입력된 음성압력 변화가 마이크로폰에서 코일의 움직임을 통하여 전기신호 변화로 변환되고, 이 변환된 전기신호를 진공관 증폭기를 통하여 증폭한 후에 스피커를 구동하는 방식으로 70 데시벨 정도의 음향이득을 얻을 수 있었다. 그런데, 진공관 회로를 구동하기 위해서는 100 볼트 이상의 높은 전압이 필요하므로 배터리 크기가 크고 무거워 이동하면서 사용하기가 어려운 단점이 있었다.
1950년대에는 트랜지스터를 이용한 보청기가 개발되었다. 트랜지스터는 동작전압이 낮아서 배터리 크기가 작고 또 회로 크기도 작으므로, 트랜지스터를 이용하면 크기가 작은 보청기를 제작할 수 있다. 특히 1960년대에 여러 개의 트랜지스터를 한 개의 칩 안에 내장한 집적회로(IC: integrated circuit)가 개발된 후, 집적회로를 이용하여 안경형, 귀걸이형(BTE: behind the ear), 귓속형(ITE: in the ear) 등의 보청기가 차례로 개발되었다.
이후 보청기의 크기는 더욱 줄어들었고, 1980년대에는 귀 안에 완전히 들어가는 외이도형(外耳道形, ITC: in the canal) 보청기가 개발되었고 1990년대에는 눈에 잘 띄지 않는 고막형(鼓膜形, CIC: completely in canal) 보청기가 개발되었다.
기존의 귀걸이(BTE)형 보청기는 스피커를 포함한 모든 보청기가 한 개의 귀걸이 모듈에 포함되고 이 모듈에 부착하는 공기 튜브를 통하여 보청기 스피커에서 출력되는 음향신호가 귀의 고막으로 전달되는 구조였으나, 보다 최근에는 상기 귀걸이형 보청기에서 보청기 모듈로부터 스피커(리시버)를 분리하여 스피커를 귀 안 외이도의 고막 가까이 위치시키고 상기 보청기 모듈과 스피커를 두 줄의 금속도선으로 연결하는 RIC(receiver in canal) 보청기가 개발되었다.
이로써 보청기 모듈은 귀 뒤에 위치시키고 스피커(리시버)는 귀 안에 위치시킴으로써 ITE, ITC, CIC 등에 비해 보청기 모듈을 크게 할 수 있었고 이로써 볼륨 컨트롤 등의 제어단추와 비교적 용량이 큰 배터리를 보청기 모듈에 장착할 수 있었고, 기존의 BTE에 비해서는 보청기 모듈 크기가 훨씬 작아서 착용감이 좋고 다른 사람 눈에 잘 띄지 않는 장점이 있다.
현재는 집적회로 기술의 획기적인 발달로 보청기 기능에 필요한 모든 회로를 주로 한 개의 전용 ASIC (application specific integrated circuit) 칩 안에 구현하는 디지털 보청기가 많이 사용되고 있다. 디지털 보청기는, 마이크로폰에서 출력된 전기신호를 전처리증폭기(pre-amp), 가변이득증폭기(VGA: variable gain amplifier)와 저역통과여파기(LPF: low-pass filter)를 통과시킨 후에 아날로그-디지털 변환기(ADC: analog-to-digital converter)를 통하여 디지털 코드로 변환한다. 이후 변환된 디지털 코드에 보청기 기능에 필요한 여러가지 디지털 신호처리 과정을 적용하여 각 개인의 청력특성에 맞추어진 디지털 코드로 출력하고, 이를 디지털-아날로그 변환기 (DAC: digital-to-analog converter) 또는 클래스-D 증폭기를 통하여 스피커를 구동하여 사용자의 귀로 전달한다.
이러한 디지털 보청기에 사용되는 신호처리 알고리즘은, 음향의 방향검출(directional microphone) 기능, 주파수별 진폭특성압축 기능(WDRC: wide dynamic range compression), 음향피드백 상쇄(acoustic feedback cancellation) 기능, 그래픽 주파수보상(graphic frequency equalizer) 기능, 잡음감소(noise reduction) 기능과 이명(耳鳴: tinnitus, ringing) 상쇄기능 등을 포함하고 있다.
이중 상기 주파수별 진폭특성압축 기능(WDRC)은 한 개의 마이크로폰 입력신호를 몇 개의 주파수대역 신호로 분리한 후에 각 주파수대역 신호에 대해 서로 다른 임계진폭을 정하고, 입력진폭이 입계진폭보다 작을 때는 증폭기이득을 크게 하고 입력진폭이 임계진폭보다 클 때는 증폭기이득을 작게한 후에, 모든 주파수대역 신호에 대한 출력신호를 함께 합치는 기능을 말한다. 이로써 진폭이 작은 신호는 크게 증폭시키고 진폭이 큰 신호는 작게 증폭시킴으로써 보청기 사용자가 보청기를 사용하지 않으면 들을 수 있는 신호진폭 범위가 작은 경우에도 넓은 진폭범위의 신호를 잘 들을 수 있게 한다. 상기 주파수별 진폭특성압축 기능(WDRC)에서 모든 주파수 대역에서의 임계진폭을 무한대로 하고 각 주파수대역에서의 증폭기이득만 주파수대역에 따라 서로 다르게 하면 그래픽 주파수보상 기능을 수행할 수 있다.
상기 음향피드백은, 크기가 작은 보청기에 마이크로폰과 스피커가 같이 내장되므로 스피커와 마이크로폰 사이의 거리가 가깝기 때문에(보통 2cm 이내) 발생하는 현상이다. 즉, 어떤 음향신호가 마이크로폰에서 입력되어 증폭된 후 스피커로 출력된 음향신호가 다시 마이크로폰으로 입력되어 "삑" 소리 같은 듣기 싫은 소리나 메아리가 발생할 수 있는데, 이를 음향피드백이라고 한다. 특히 보청기가 귀의 외이도를 완전히 막게 되면 귀의 외이도 압력과 목과 코를 통해 귀에 전달되는 대기압 압력이 서로 차이가 나서 귀가 먹먹해지는 현상을 방지하기 위해, 귀 속에 들어가는 ITE, ITC, CIC 등의 보청기에는 항상 보청기를 관통하는 통풍 구멍이 존재하는데 이 통풍구멍을 통하여 음향피드백 현상이 발생한다.
보청기 사용자는 보통 자기가 보청기를 사용한다는 사실을 다른 사람이 아는 것을 원하지 않으므로, 보청기는 눈에 잘 띄지 않게 해야 한다. 따라서, 현재 대부분의 보청기 제품들은 크기를 매우 작게 하여 귀 안에 완전히 들어가는 CIC 보청기 또는 보청기와 스피커를 분리하여 귀 밖에 있어도 크기가 작아 눈에 잘 띄지 않는 RIC 보청기와 같은 형태로 발전하고 있다.
보청기의 크기가 귀 안에 완전히 들어가서 다른 사람이 볼 수 없도록 작아야 하므로, 한 쪽 보청기에 장착되는 마이크로폰 숫자가 보통 3개 이하로 제한되고 내장되는 회로와 배터리의 크기도 제한된다. 이와 같이 작은 크기의 보청기 안에 보청기 동작에 필요한 회로도 다 내장해야 하므로, 회로를 구성하는 칩의 개수도 최소한으로 하는 것이 유리하다. 따라서, 대부분의 보청기 제조사들은 보청기에 필요한 모든 회로를 한 개의 집적회로 칩 안에 구현하려는 경향이 있다.
보청기 사용자는 주변잡음이 큰 경우에 달팽이관에서의 매스킹(masking) 현상 때문에 원하는 음향신호를 듣기가 어렵다. 여러 개의 마이크로폰을 1차원 또는 2차원의 규칙적인 형태로 배치한 마이크로폰배열과 빔포머를 사용하면, 적어도 고주파 신호에 대해서는 주변잡음이 제거되고 원하는 방향의 음향신호만을 들을 수 있다. 기존의 음향카메라(acoustic camera)에서는 상기 마이크로폰배열과 빔포머를 사용하여 영상신호 위에 음향의 세기분포를 비교적 상세하게 표시할 수 있다. 이를 위해서는 수십 개의 마이크로폰으로 구성된 마이크로폰배열을 필요로 한다. 기존의 보청기는 보청기의 크기 제약 때문에 마이크로폰의 최대 개수가 보통 2개 또는 3개로 제한되므로 상기 마이크로폰배열과 빔포머를 사용할 수 없었다.
최근에는 휴대전화기에 컴퓨터 기능이 추가된 스마트폰을 거의 모든 사람이 적어도 한 개씩 휴대함에 따라, 스마트폰 자체를 보청기로 사용하는 기술이 제안되었다.[참고문헌1] 즉, 스마트폰의 마이크로폰을 통하여 음성을 획득하고 스마트폰의 중앙처리장치(CPU: central processing unit)에 해당하는 AP(application processor)를 디지털 신호처리 장치(DSP)로 이용하고 이어폰 케이블 또는 블루투스 무선전송을 통하여 스마트폰의 음성출력신호를 이어폰에 전달함으로써, 기존 스마트폰에 별도의 하드웨어장치를 추가하지 않고 응용 소프트웨어만 추가함으로써 보청기동작을 구현할 수 있다.
그런데, 기존 스마트폰은 보청기 전용 디지털 신호처리기(DSP)와는 달리 보청기 신호처리 전용 하드웨어를 내장하지 않으므로 기존 스마트폰의 AP만으로 보청기동작을 위한 응용 소프트웨어를 구동하는데 상당한 시간이 소요된다.
보통 보청장치를 통하여 귀에 전달될 때까지의 지연시간이 10msec(0.01초) 보다 작아야 귀에 거슬리지 않는다고 알려져 있다. 이는, 하나의 음향신호가 보청장치를 거치지 않고 직접 귀로 전달되는 음향성분과 상기 보청장치를 거쳐 조금 늦게 귀로 전달되는 음향성분의 두 개의 음향신호로 나누어져서 귀로 전달되므로, 상기 두 음향신호가 귀로 전달되는 시간 차이가 0.01초 보다 길게 되면 사람이 이를 두 개의 서로 다른 음향신호로 인식하여 같은 음향신호가 두 번 반복되는 것으로 인식하기 때문이다.
또, 청력장애가 심한 사람들은 상대방의 입술동작을 눈으로 봄으로써 상대방이 어떤 말을 하고 있는지 짐작하는데, 입술동작과 보청기를 통하여 귀로 들리는 소리가 서로 시간차이가 많이 나면 매우 불편해한다고 알려져 있다. 따라서 별도의 추가 하드웨어 없이 기존 스마트폰만으로 보청기를 구성할 경우에는 신호처리를 위한 지연시간이 보통 0.01초보다 훨씬 크므로, 이를 실제 보청기로 사용하기에는 불편한 단점이 있다.
이에 스마트폰 자체를 보청기로 사용하는 대신에, 스마트폰과 기존보청기를 연결하는 연구가 최근에 활발하게 진행되고 있다. 그 가운데 하나로, 2014년에는 애플 아이폰에 연결하여 사용하는 보청기를 여러 회사에서 출시하였다.
도1은 종래 기술에 따른 스마트폰에 연결된 보청기를 나타낸 도면이다.
도 1에 도시된 종래의 스마트폰에 연결된 보청기들은 "MFi 보청기(Made for iPhone Hearing Aids)"라는 이름으로 출시되었는데, 기존 보청기에 블루투스 무선신호 수신장치가 추가된 것으로 기존 보청기의 마이크로폰을 통하여 외부 음향신호를 수신하거나 블루투스 수신기를 통하여 아이폰의 출력신호를 수신할 수 있다.
MFi 보청기(120)를 이용하여 아이폰 출력신호를 수신할 경우에는, 아이폰(110)을 대화 상대방 가까이에 위치시켜 말소리를 더 크고 분명하게 들을 수 있고, 아이폰을 통한 상대방 전화 목소리도 기존 보청기를 통하여 사용자의 귀 특성에 맞도록 보정되어 귀로 전달되므로 더 또렷하게 들을 수 있고, 사용자의 귀 특성에 맞도록 조정해야 할 보청기의 여러가지 파라미터 값들을 아이폰에서 수행되는 응용 프로그램(앱)을 통하여 비교적 쉽게 조정할 수 있는 장점이 있다.
그런데, 아이폰이 아이폰 마이크로폰을 통해 음향신호를 받은 시각부터 아이폰의 음향신호처리 경로와 상기 기존 보청기의 신호처리 경로를 통과하여 사용자의 귀에 전달될 때까지의 지연시간이 0.01초보다 작아야 하는 조건을 충족시켜야 한다. 또한 블루투스 무선장치를 사용하면 NFMI(near field magnetic induction) 무선장치에 비해 배터리 소모가 두 배 이상이어서, MFi 보청기는 기존 보청기보다 배터리 교체시간이 짧은 단점이 있었다.
본 발명이 해결하고자 하는 기술적 과제는 보청기를 구성하는 장치를 주 보청장치와 보조 보청장치로 분리하여 주 보청장치를 스마트폰 케이스에 부착하고 데이터 전송용 유선케이블을 통하여 주 보청장치를 스마트폰과 연결시키고 보조 보청장치는 사용자의 귀에 위치시킴으로써, 보청기 사용사실을 외부에 노출시키지 않으면서, 배터리를 필요로 하지 않고, 원하는 방향으로부터 전파되는 음향신호만 선택적으로 증폭시키고, 보청기의 사용 특성에 따른 파라미터 값을 자유롭게 조절하는 등 보청기 사용의 편리성을 증대시킨 휴대용 전자장치에 결합된 보청기를 제공하는데 있다.
상기 기술적 과제를 해결하기 위해 본 발명에 따른 휴대용 전자장치에 결합된 보청기는, 외부로부터 입력된 음향신호를 처리하여 사용자의 청력 특성에 맞는 음향신호로 변환하여 출력하는 제1 보청장치; 및 스피커와 구동회로를 포함하며 사용자의 귀에 위치하는 제2 보청장치를 구비하되, 상기 제1 보청장치는 휴대용 전자장치의 케이스에 장착되어 제1 연결장치를 통해 상기 휴대용 전자장치와 연결되며, 상기 제2 보청장치는 제2 연결장치를 통해 상기 제1 보청장치와 연결된 것을 특징으로 한다.
이때, 상기 제1 보청장치는 m개(m은 4 이상의 자연수)의 마이크로폰이 1차원, 2차원 또는 3차원으로 배열된 마이크로폰 배열; 및 상기 마이크로폰배열의 복수개의 출력신호들을 입력으로 받아 각각 정해진 시간만큼 지연시킨 후에 이 지연된 신호들을 합산하여 디지털신호인 빔포머부 출력신호를 출력하는 빔포머부;를 포함하는 것을 특징으로 한다.
상기 제1 보청장치는 상기 빔포머부 출력신호(BFO)와 음향출력 데이터신호(AUDIO_OUT) 중 하나를 선택하여 출력하는 먹스; 상기 먹스의 출력신호를 입력받아 신호처리 후 출력하는 디지털신호처리부; 상기 디지털신호처리부의 출력신호를 입력받아 펄스폭 변조신호 또는 펄스 밀도 변조신호를 생성하는 변조신호 생성부; 외부신호 또는 상기 휴대용 전자장치로부터 제어신호를 입력받아 상기 제1 보청장치 및 상기 휴대용 전자장치의 동작을 제어하는 제어부; 상기 제1 연결장치를 통해 상기 휴대용 전자장치와 연결되는 제1 연결장치 변환부; 및 상기 제2 연결장치를 통해 상기 제2 보청장치와 연결되는 제2 연결장치 변환부를 더 구비하는 것을 특징으로 한다.
상기 휴대용 전자장치는, 중앙처리장치(CPU)와 배터리가 내장된 스마트폰, 태블릿 PC 또는 휴대용 미디어플레이어(PMP: portable media player)일 수 있다.
한편, 상기 제2 보청장치와 동일한 구조를 가지며 상기 제2 연결장치를 통해 상기 제1 보청장치와 연결되는 제3 보청장치를 더 구비하되, 상기 제2 보청장치와 상기 제3 보청장치는 상기 사용자의 왼쪽 또는 오른쪽 귀에 각각 위치하도록 하여 사용할 수 있다.
상기 제1 보청장치는, 상기 제1 연결장치에 포함된 전원공급용 도선을 통하여 상기 휴대용 전자장치로부터 전력을 공급받는다.
상기 제1 연결장치는 상기 전원공급용 도선을 제외하면 모두 디지털 데이터전송방식을 사용한다.
또한, 상기 제1 연결장치는, USB(universal serial bus) 표준과 MHL(mobile high definition link) 표준에 따른 인터페이스 방식을 병행하여 사용하되, 특정 시각에는 상기 두 개의 표준에 따른 인터페이스 방식 중에서 하나의 표준에 따른 인터페이스 방식만을 선택하여 사용한다.
제2 연결장치는 이어폰 케이블 또는 무선전송장치로 구성될 수 있다.
상기 빔포머부는 상기 마이크로폰배열의 복수개의 출력전기신호들에 대한 각각의 지연시간 정보를 저장하는 기억장치를 더 포함하며, 상기 기억장치는 상기 빔포머부와 같이 한 개의 집적회로 칩 안에 포함될 수 있다.
상기 기억장치의 내용은, 상기 제1 보청장치가 상기 휴대용 전자장치에 처음 연결되거나 상기 제1 보청장치가 리셋된 직후에, 한번만 상기 휴대용 전자장치로부터 상기 제1 연결장치를 통하여 상기 기억장치로 다운로드되는 것을 특징으로 한다.
상기 제1 보청장치는 보청기 모드와 전화통화 모드의 두 가지 모드로 구분되어 동작한다.
상기 제1 보청장치가 상기 보청기 모드로 동작할 때는 상기 먹스가 상기 빔포머부 출력신호를 선택하여 상기 디지털신호처리부에 전달하고, 상기 제1 보청장치가 상기 전화통화 모드로 동작할 때는 상기 먹스가 상기 제1 연결장치 변환부를 통하여 상기 휴대용 전자장치로부터 출력되는 음향신호를 선택하여 상기 디지털신호처리부에 전달하며, 상기 제어부가 상기 제1 연결장치 변환부를 통하여 상기 제1 보청장치에 연결된 상기 휴대용 전자장치의 스피커가 꺼지도록 제어한다.
상기 제1 보청장치의 동작에 필요한 파라미터 값은 상기 휴대용 전자장치 내에서 동작하는 응용프로그램을 통해 간단히 조절이 가능하다.
상기 마이크로폰배열을 구성하는 각각의 마이크로폰은 차동 아날로그신호를 출력하는 것을 특징으로 한다.
상기 빔포머부는 전처리증폭기, 가변이득증폭기, 필터 및 아날로그 디지털 변환기를 각각 구비하는 m개(m은 4 이상의 자연수)의 채널과 하나의 디지털 빔포머를 구비한다.
이때 상기 전처리증폭기, 가변이득증폭기, 필터 및 아날로그 디지털 변환기는 모두 완전차동회로로 구성되며, 상기 아날로그 디지털 변환기의 출력신호는 상기 디지털 빔포머에서 각각 정해진 지연시간을 거친 후 합쳐져서 빔포머부 출력신호로 출력된다.
상기 제1 연결장치 변환부는, USB입력신호(PH_IN) 및 USB 출력신호(USB_OUT)를 송수신하는 USB 송수신기; 영상신호와 음향신호를 번갈아 출력하는 HDMI 수신기; 상기 HDMI 수신기의 출력 중에서 음향신호만을 추출하여 음향출력 데이터신호(AUDIO_OUT)를 출력하는 음향데이터 추출기; 및 제1 연결장치를 통해 상기 휴대용 전자장치의 마이크로-USB 포트에 연결되는 USB/MHL 스위치;를 구비하는 것을 특징으로 한다.
상기 제1 연결장치는, USB 케이블로 구현되는 것이 바람직하다.
상기 제2 연결장치 변환부는, NFMI(near field magnetic induction) 전송용 루프안테나; 상기 제1 보청장치의 출력신호를 입력받아 상기 NFMI(near field magnetic induction) 전송용 루프안테나를 구동하여 자기장의 변화를 출력하는 전압전류변환기; 상기 제1 보청장치의 출력신호를 입력받아 증폭하여 가청 음향신호로 변환하여 출력하는 클라스 D 증폭기 및 저역통과필터; 및 상기 저역통과필터의 출력신호가 출력되는 오디오잭을 포함하는 것을 특징으로 한다.
상기 제1 보청장치를 구성하는 모든 회로는 하나의 인쇄회로기판(PCB; printed circuit board) 위에 배치되는 것이 바람직하다.
상기 제1 보청장치의 중심점은 상기 휴대용 전자장치의 중심으로부터 30센티미터 이내에 위치하는 것이 바람직하다.
본 발명에 따른 휴대용 전자장치에 결합된 보청기에 의하면 제1 보청장치를 휴대용 전자장치의 케이스에 장착함으로써, 보청기를 사용한다는 사실을 다른 사람이 잘 알아차리지 못하고 보청기의 크기가 스마트폰 크기와 같게 되어 마이크로폰배열을 사용한 빔포밍 동작이 가능한 장점이 있다.
또한 마이크로폰배열과 빔포밍 하드웨어를 통하여 사람이 가장 잘 들을 수 있는 주파수대역인 3kHz~5kHz의 신호성분에 대해 배경잡음은 제외하고 원하는 방향의 음향신호 성분만을 또렷하게 들을 수 있다.
제1 보청장치의 전원을 스마트폰에 내장된 비교적 대용량의 배터리로부터 공급받게 함으로써 제1 보청장치는 배터리를 필요로 하지 않는다. 한편, 제2 보청장치와 제1 보청장치를 유선으로 연결할 경우에는 제2 보청장치에도 배터리가 필요없게 된다. 제2 보청장치와 제1 보청장치를 NFMI나 블루투스 등의 무선으로 연결할 경우에는 제2 보청장치에 배터리를 추가해야 하는데, 이 경우에도 아연-공기 배터리와 같은 소형 배터리를 사용할 수 있다.
또한 본 발명에 의하면 유선의 디지털 인터페이스를 사용하여 제1 보청장치와 스마트폰을 연결함으로써, 스마트폰을 통한 상대방 전화목소리를 상기 제1 보청장치에서 디지털 신호처리를 하여 사용자의 귀 특성에 맞도록 조정한 후에 이어폰 등의 제2 보청장치로 전달하여 또렷하게 들을 수 있게 한다.
스마트폰 앱을 사용함으로써 보청기 사용자의 특성에 맞추어 제1 보청장치의 파라미터 값을 임의로 조정할 수 있어서 보청기 사용의 편의성과 만족도를 높일수 있다.
한편, 마이크로폰배열이 장착된 스마트폰 케이스와 스피커(이어폰)가 장착된 제2 보청장치 사이의 거리를 멀리하여 음향피드백 현상을 없앰으로써, 음향피드백 제거기능이 필요없게 되어 보청기 전용 ASIC 칩의 크기를 감소시킬 수 있는 또 다른 장점이 있다.
도 1은 종래 기술에 따른 스마트폰에 연결된 보청기를 나타낸 도면이다.
도 2는 스마트폰의 데이터 입출력 포트를 나타낸 도면이다.
도 3은 본 발명에 따른 휴대용 전자장치에 결합된 보청기의 구조를 나타낸 도면이다.
도 4는 본 발명에 따른 휴대용 전자장치에 결합된 보청기에서 제1 보청장치가 스마트폰 케이스에 내장되는 것을 나타내는 개념도이다.
도 5는 본 발명에 따른 휴대용 전자장치에 결합된 보청기의 제1 보청장치의 구성을 나타내는 도면이다.
도 6은 제1 보청장치에 포함된 제1 연결장치 변환부와 제1 연결장치의 개념도이다.
도 7은 본 발명의 실시예에 따른 제2 연결장치 변환부와 제2 연결장치를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 제2 보청장치와 제2 연결장치의 개념도이다.
도 9은 본 발명의 실시예에 따른 제1 보청장치의 스마트폰 케이스에의 내장 배치를 나타낸 도면이다.
도 10는 본 발명의 실시예에 따른 제1 보청장치의 빔포머부 상세도이다.
도 11은 본 발명의 실시예에 따른 제1 보청장치의 빔포머부의 전처리증폭기 회로를 나타내는 도면이다.
도 12는 1차원 빔포밍 동작을 설명하기 위한 개념도이다.
도 13은 1차원 빔포밍의 단위 지연시간 차이를 나타내는 도면이다.
도 14는 본 발명의 실시예에 따른 2차원 마이크로폰 배열을 나타낸 도면이다.
도 15는 본 발명에 따른 스마트폰 부착형 보청기의 사용방법을 나타내는 도면이다.
도 16은 두 개의 음향원이 있을 때 제1 보청장치를 이용한 빔포밍을 나타내는 도면이다.
도 17은 본 발명의 실시예에 따라
Figure 112015016247684-pat00001
=90o인 경우 음향신호의 주파수에 대한 빔포밍 특성을 나타내는 도면이다.
도 18은 본 발명의 실시예에 따른
Figure 112015016247684-pat00002
=90o,
Figure 112015016247684-pat00003
=60o, 음향신호주파수 4kHz에서 마이크로폰 개수를 달리한 경우에 대한 빔포밍 특성을 나타낸 도면이다.
본 발명은 종래의 보청기에 관련된 문제점을 해결하기 위한 수단으로 다음과 같은 사상을 바탕으로 고안되었다.
현재 대부분의 사람들은 한 개 또는 그 이상의 스마트폰을 항상 휴대하고 있으며, 스마트폰을 보호하기 위해 보통 스마트폰 케이스를 사용하고 있다. 여기서 스마트폰에 제1 보청장치(주 보청장치)을 부착하고 이를 유선 또는 무선연결 방식을 이용하여 제2 보청장치(이어폰 등)에 연결한다. 본 발명에서는 제1 보청장치를 스마트폰 케이스에 장착함으로써, 사용자가 보청기를 사용한다는 사실을 다른 사람이 잘 알아차리지 못하게 하고 동시에 제1 보청장치의 크기를 스마트폰의 크기 만큼 크게 할 수 있다.
한편, 제1 보청장치의 크기가 보통 스마트폰의 크기인 140mm x 70mm 정도가 되면, 기존 음향카메라에 사용하는 빔포밍 기술을 보청기에 적용할 수 있다. 즉, 4 개 이상의 마이크로폰으로 구성된 1차원, 2차원 또는 3차원의 마이크로폰배열을 상기 스마트폰 케이스에 배치하고 상기 마이크로폰배열의 출력신호를 빔포머부에 인가함으로써 적어도 고주파 신호에 대해서는 주변잡음의 영향을 제거하고 원하는 방향의 음향신호만을 또렷하게 들을 수 있게 된다.
상기 마이크로폰배열의 크기가 상기 스마트폰의 크기인 140mm x 70mm정도가 되면 1kHz 이하의 저주파에서는 빔포밍이 잘 되지 않지만 사람에게 가장 잘 들리는 주파수대역인 3kHz~5kHz에서는 빔포밍이 잘 된다. 따라서 3kHz~5kHz 주파수대역에 포함된 신호에 대해서는 주변잡음이 제거되고 원하는 방향의 음향신호만 사용자의 귀에 또렷하게 들리도록 전달할 수 있다.
또한 보청기 크기가 줄어듦에 따라 보청기에 내장되는 배터리의 크기도 줄어들게 된다. 현재 제일 크기가 작은 보청기인 고막형(CIC) 보청기에는 보통 사이즈 5 또는 사이즈 10인 아연-공기(zinc-air) 배터리가 많이 사용되는데 그 용량은 대략 각각 40mAh와 100mAh이다. 따라서 고막형 보청기를 사용할 경우에 배터리를 자주 교체해야 하는 불편함이 있다.
현재 스마트폰 배터리의 용량은 대략 4000mAh 정도이다. 본 발명에서는 스마트폰 케이스에 장착된 제1 보청장치의 전원을 스마트폰 배터리로부터 공급받게 함으로써, 제1 보청장치에 배터리를 사용할 필요가 없도록 하였다. 안드로이드폰은 부착된 마이크로 USB 포트를 통하여 5V 전원을 스마트폰의 외부로 공급하므로, 상기 5V 전원을 제1 보청장치의 전원으로 사용할 수 있다. 애플의 아이폰에서도 부착된 Lightning 포트를 통하여 5V 전원을 공급하므로 이를 제1 보청장치의 전원으로 사용할 수 있다.
본 발명의 제2 보청장치(이어폰 등)에는 사이즈 5 또는 사이즈 10인 아연-공기 배터리를 사용할 수 있는데, 모든 신호처리는 제1 보청장치에서 담당하고 상기 제2 보청장치는 케이블 또는 무선전송을 통하여 수신된 음향신호를 증폭하여 상기 이어폰을 구동하기만 하면 되므로 제2 보청장치에서는 배터리 사용시간이 길어져서 배터리를 자주 교체할 필요가 없다.
한편, 스마트폰에 부착된 유선 디지털 인터페이스를 사용하여 상기 제1 보청장치와 스마트폰을 연결함으로써, 스마트폰의 상대방 목소리신호를 디지털 형태로 상기 제1 보청장치로 전달한다. 상기 제1 보청장치는 이 전달된 디지털 음향신호를 디지털신호처리부를 통과시켜 보청기 사용자의 청력 특성에 맞는 음향신호로 변환하여 상기 제2 보청장치로 전달한다. 상기 유선 디지털 인터페이스 방식으로는 USB와 MHL 방식 등을 사용할 수 있다. 이로써 상기 제1 보청장치를 이용하여 스마트폰을 통한 상대방 목소리도 또렷하게 들을 수 있게 된다.
제1 보청장치와 스마트폰을 연결하는 상기 유선 디지털 인터페이스를 통하여 보청기 사용자의 스마트폰으로부터 제어신호를 상기 제1 보청장치로 전달함으로써 상기 사용자의 청력 특성에 맞도록 상기 제1 보청장치의 파라미터 값들을 변경할 수 있게 한다. 이를 위해서는 스마트폰 AP(application processor)에서 동작하는 응용 프로그램(앱)을 필요로 한다. 상기 제어신호를 상기 유선 디지털 인터페이스를 통하여 스마트폰으로부터 제1 보청장치로 보내거나 제1 보청장치로부터 스마트폰으로 신호를 보내기 위해서는 기존 스마트폰에서 지원하는 USB 통신방식을 사용하는 것이 바람직하다.
상기 제1 보청장치는 보청기 모드와 전화 모드의 두 가지 동작모드를 가진다. 보청기 모드는 다른 사람과 대화할 때 사용하는 것으로, 이 경우에는 제1 보청장치에 구비된 마이크로폰배열을 통하여 음향신호를 입력으로 받고 제2 보청장치의 스피커를 통하여 사용자의 귀에 소리를 전달한다. 전화모드는 스마트폰을 통하여 전화통화를 할 때 사용하는데, 이 경우에는 스마트폰의 출력음향신호를 제1 보청장치의 입력신호로 사용하고 제2 보청장치의 스피커를 통하여 사용자의 귀에 소리를 전달한다.
상기 보청기 모드에서는, 마이크로폰배열이 구비된 스마트폰 케이스가 제2 보청장치가 위치한 귀로부터 상당히 먼 거리에 위치하므로 음향피드백 현상이 발생하지 않는다. 스마트폰에 이어폰 잭을 꽂으면 스마트폰 스피커에는 음향신호가 출력되지 않고 이어폰 스피커에만 음향신호가 출력되는 것과 마찬가지로, 상기 전화 모드가 선택되면 스마트폰 스피커로는 소리가 출력되지 않고 상기 제2 보청장치의 스피커로만 소리가 출력된다.
정상적인 전화통화에서는 자기 목소리는 자기에게 들리지 않고 상대방 목소리만 수신기에서 들리므로 상기 전화 모드에서는 음향피드백 현상이 발생하지 않는다. 전화통화에서 가끔 자기 목소리가 메아리로 전화수신기에서 들리는 경우가 있는데, 이런 경우에도 전화 통화 중에 자기 목소리가 입력되는 스마트폰의 마이크로폰과 스피커가 위치한 제2 보청장치 사이의 거리가 보통 10cm 이상이므로 음향피드백 현상이 거의 발생하지 않는다. 이로써 보청기 전용 하드웨어의 상기 음향피드백제거 기능이 거의 필요 없게 된다.
이하에서, 본 발명을 첨부된 도면과 함께 상세히 설명하도록 한다.
최근 스마트폰 응용연구의 하나로, 스마트폰의 데이터입출력 포트를 통한 유선데이터통신을 이용하여 스마트폰에 디스플레이되는 영상(video)신호와 스마트폰 스피커로 출력되는 음향(audio)신호를 HDMI(High Definition Multimedia Interface) 신호로 변환하여 TV로 시청할 수 있게 하는 MHL (mobile high-definition link) 표준이 2010년도에 제정되었다.
도 2는 스마트폰의 데이터 입출력 포트를 나타낸 도면이다.
스마트폰의 데이터입출력 포트로는, 안드로이드 OS(operating system)를 사용하는 스마트폰(이하에서는 안드로이드폰으로 칭함)에서는 도 2의 (a)에 도시된 바와 같이 5핀 마이크로-USB(universal serial bus) 포트를 주로 사용하고, iOS를 사용하는 아이폰에서는 도 2의 (b)에 도시된 바와 같이 8핀 Lightning 포트를 주로 사용한다.
상기 MHL 기능을 사용하면 상기 스마트폰의 데이터입출력 포트를 통하여 스마트폰에서 출력되는 디지털 음향신호를 보청기에서 비교적 쉽게 획득할 수 있고, USB 방식을 사용하면 스마트폰과 보청기 사이에 제어신호와 데이터를 비교적 쉽게 주고받을 수 있다. 지금까지 보청기와 스마트폰을 연결하는 연구는 거의 모두 블루투스 등의 무선전송방식을 사용하는데 상기 스마트폰의 유선 데이터입출력 포트를 통한 유선전송방식을 사용하면 비교적 저전력으로 고속 데이터 통신을 수행할 수 있는 장점이 있다.
그 외에, 스마트폰의 유선 데이터입출력 포트에는 마이크로-USB 포트(안드로이드폰)와 Lightning 포트(아이폰) 공통으로 5V 공급전압 핀이 있어서, 상기 스마트폰의 데이터입출력 포트를 통한 유선전송방식을 사용하여 스마트폰과 상기 제1 보청장치(주 보청장치)를 연결하면, 스마트폰에 구비된 비교적 대용량의 배터리로부터 상기 제1 보청장치에 필요한 전력을 공급받을 수 있어서 상기 제1 보청장치는 별도의 배터리를 사용하지 않아도 되는 장점이 있다.
도 3은 본 발명에 따른 휴대용 전자장치에 부착하는 보청기의 구조를 나타낸 도면이다.
본 발명에서는, 음향카메라(acoustic camera)에서 사용되는 마이크로폰배열과 빔포머 및 스마트폰의 데이터입출력 포트를 통한 유선전송방식을 보청기에 적용하였다. 이를 위해 보청기(300)를 제1 보청장치(310)와 제2 보청장치(320)로 분리하고 제1 보청장치에는 마이크로폰배열, 아날로그 증폭기, ADC, 디지털신호처리부와 스마트폰 인터페이스 등 보청기의 주요기능이 모두 포함되도록 하였고 제2 보청장치에는 스피커와 스피커 구동회로 등의 이어폰 기능만이 포함되도록 하였다.
제1 보청장치(310)의 크기를 스마트폰(200)의 크기만큼 크게 함으로써 기존 보청기에서는 사용하기 불가능한 마이크로폰배열을 제1 보청장치에서 사용할 수 있고, 상기 스마트폰 데이터입출력포트의 5V 공급전압 핀을 통하여 스마트폰의 배터리로부터 전원을 공급받게 함으로써 빔포머 등의 비교적 전력소모가 많은 회로를 제1 보청장치에서 사용할 수 있도록 하였다.
본 발명에서는, 보청기를 제1 보청장치(310, 주 보청장치)과 제2 보청장치(320, 이어폰 등의 보조 보청장치)로 분리하고, 상기 제1 보청장치를 스마트폰 케이스에 장착하고 상기 제2 보청장치는 사용자의 귀에 위치시킨다. 상기 제1 보청장치와 스마트폰을 유선 디지털 인터페이스 방식의 제1 연결장치(330)를 이용하여 연결하고, 상기 제1 보청장치(310)와 상기 제2 보청장치(320)를 유선 케이블 또는 무선전송방식의 제2 연결장치(340)를 이용하여 연결하였다.
상기 제1 보청장치(310)로부터 음향신호를 제2 보청장치(320)로 전송한다. 상기 제2 보청장치(320)에는 스피커와 스피커 구동회로를 포함하고 무선신호 수신장치를 포함할 수 있다. 상기 제2 보청장치(320)와 똑같은 구조의 제3 보청장치(350)를 추가하여 제2 보청장치(320)와 제3 보청장치(350)를 각각 오른쪽 귀와 왼쪽 귀에 삽입함으로써 보청기를 양쪽 귀에 다 사용할 수 있다.
스마트폰 사용자는 스마트폰의 충격방지를 위해 보호장치인 케이스 또는 커버를 스마트폰에 끼워서 사용하는 경우가 많다. 이하에서는 상기 스마트폰 보호장치를 스마트폰 케이스라고 칭한다. 본 발명의 실시예에서는 상기 제1 보청장치를 상기 스마트폰 케이스에 위치시킨다.
도 4는 본 발명에 따른 스마트폰 부착형 보청기에서 제1 보청장치가 스마트폰 케이스에 내장되는 것을 나타내는 개념도이다.
도 4를 참고하면 스마트폰의 디스플레이 면의 반대쪽에 끼우는 상기 스마트폰 케이스에 본 발명에 따른 보청기의 제1 보청장치가 장착되어 있음을 알 수 있다. 도 4에서는 제1 보청장치가 끼우는 형태의 스마트폰 케이스에 내장된 것을 예로 들어 설명하였으나 상기 제1 보청장치를 접는 형태의 플립(flip)형 스마트폰 케이스나 스마트폰 액세서리에 장착할 수 있음은 당연하다.
제1 보청장치를 구성한 집적회로 등이 부착된 인쇄회로기판(PCB: printed circuit board)을 외부에서는 보이지 않도록 상기 스마트폰 케이스 안쪽에 장착하고, 상기 제1 보청장치에 연결되는 마이크로폰배열은 상기 스마트폰 케이스의 바깥쪽 면 위에 장착한다. 마이크로폰은 최대한 배열 길이를 길게 하기 위하여 상기 스마트폰 케이스의 대각선 방향의 직선상에 배치하는 것이 바람직하다. 따라서 제1 보청장치의 중심으로부터 스마트폰의 중심까지의 거리가 매우 가깝게 되며, 상기 두 중심 사이의 거리를 30센티미터 이내로 제한하는 것이 바람직하다.
상기 제1 보청장치는 제1 연결장치와 스마트폰의 데이터입출력 포트를 통하여 스마트폰과 연결된다. 도 2에서 살펴본 바와 같이 최근에 많이 사용되는 안드로이드폰과 아이폰의 데이터입출력 포트의 연결핀은 각각 5개와 8개로서 서로 다르지만 모두 5V 공급전압 핀(도 2의 (a)의 VCC, 도 2의 (b)의 PWR)이 있어서 스마트폰으로부터 상기 제1 보청장치로 전원을 공급할 수 있다. 따라서, 본 발명에 따른 보청기의 제1 보청장치는 상기 스마트폰 데이터입출력 포트를 통하여 전원을 공급받으므로 별도의 배터리를 사용하지 않아도 된다.
현재 많이 판매되는 고막형(CIC) 보청기에 주로 사용되는 사이즈 5 또는 사이즈 10인 아연-공기(zinc-air) 배터리의 용량(capacity)은 각각 40mAh와 100mAh이다. 이에 비해, 스마트폰 배터리의 용량은 보통 4000mAh 이상이다. 따라서 제1 보청장치의 전력소모를 스마트폰의 전력소모에 비해 훨씬 작게 하면, 별도의 추가 배터리 없이 본 발명의 제1 보청장치를 동작시킬 수 있다.
본 발명은 안드로이드폰과 아이폰에 모두 적용할 수 있으나, 여기서는 안드로이드폰에 적용한 경우를 예로 들어 설명하기로 한다.
도 2에 도시된 마이크로-USB 포트에서 ID 핀은 스마트폰이 호스트로 동작할지 디바이스로 동작할지를 알려주는 기능을 한다. USB는 보통 메모리 스틱 등의 USB 디바이스를 호스트인 개인용 컴퓨터(PC: personal computer)에 연결하는데 사용하는데, 호스트(PC)가 USB 인터페이스 동작에 필요한 제어동작을 주도한다. 스마트폰을 마이크로-USB 포트를 통하여 PC에 연결하면, 스마트폰은 디바이스로 동작하고 PC가 호스트로 동작하게 된다. USB OTG 메모리 스틱을 스마트폰에 연결하면 스마트폰이 호스트로 동작한다.
스마트폰이 호스트로 동작할지 디바이스로 동작할지는 외부 마이크로-USB 포트의 ID 핀의 전기적 연결 상태에 따라 결정된다. 즉, 상기 ID 핀이 GND 핀과 전기적으로 연결된 상태로 스마트폰에 연결되면 스마트폰은 호스트로 동작하고, 상기 ID 핀이 어떤 노드에도 전기적으로 연결되지 않은 플로팅(floating) 상태에서 스마트폰에 연결되면 스마트폰은 디바이스로 동작한다. 상기 USB OTG 메모리스틱에 내장된 마이크로-USB 포트에서는 ID 핀이 그라운드(GND)핀과 전기적으로 연결되어 있어서, 상기 USB OTG 메모리스틱을 스마트폰과 연결하면 스마트폰이 호스트로 동작한다.
마이크로-USB 포트를 통하여 스마트폰을 PC와 연결하는 케이블에 내장된 마이크로-USB 포트의 ID 핀은 다른 핀과 전기적으로 연결되지 않고 플로팅(floating)되어 있어서, 스마트폰을 PC와 연결하면 스마트폰이 디바이스로 동작한다.
따라서, 도 2의 제1 보청장치와 스마트폰을 연결하는 마이크로-USB 포트의 제1 보청장치 쪽 ID 핀을 그라운드(GND) 핀과 연결하고 상기 제1 보청장치를 스마트폰과 연결하면, 스마트폰이 호스트로 동작한다. 상기 마이크로-USB 포트를 통하여, 스마트폰으로부터 상기 제1 보청장치로 디지털 음향신호와 데이터 등을 다운로드 받고 상기 제1 보청장치로부터 스마트폰으로 신호를 전송하여 스마트폰의 동작을 제어한다.
도 5는 본 발명에 따른 스마트폰 부착형 보청기의 제1 보청장치의 구성을 나타내는 도면이다.
본 발명에 따른 스마트폰 부착형 보청기의 제1 보청장치(310)는 마이크로폰배열(311), 빔포머부(312), 제1 연결장치변환부(318), 먹스(313), 디지털신호처리부(314), 변조신호생성부(315), 제2 연결장치변환부(316), 제어부(317)를 구비한다.
스마트폰 케이스의 바깥쪽에 설치된 m개의 마이크로폰(M1, M2, ..., Mm)으로 구성된 마이크로폰 배열(311)은 빔포머부(312)에 연결된다. 제1 연결장치(330)는 스마트폰의 마이크로-USB 포트와 상기 제1 보청장치(310)를 연결하는 마이크로-USB 포트 케이블을 나타낸다. 제2 연결장치(340)는 사용자의 귀에 위치하는 이어폰 등의 스피커로 구성된 제2 보청장치와 상기 제1 보청장치를 연결하는 유선 케이블 또는 무선전송장치를 나타낸다.
디지털신호처리부(digital signal processor, 314)는 빔포머부 출력신호(BFO)와 전화기 음향출력 데이터신호(AUDIO_OUT) 중에서 하나를 선택하여 입력으로 받아 보청기에 필요한 신호처리를 한 후에 그 결과(resultant)인 음향신호를 변조신호 생성부(PWM/PDM, 315)로 보내어 펄스폭변조(PWM, pulse width modulation) 혹은 펄스밀도변조(PDM, pulse density modulation) 형태로 변조하여 제2 연결장치 변환부(316)로 보낸다.
제어부(controller, 317)는, 상기 스마트폰 케이스에 설치된 외부스위치를 통한 외부입력신호를 받거나 제1 연결장치(330)를 통하여 스마트폰으로부터 제어신호를 받거나 디지털신호처리부(314)로부터 입력신호를 받아서, 상기 제1 보청장치(310)의 모든 부분의 동작을 제어하고 스마트폰의 동작도 제어할 수 있다.
상기 제1 보청장치(310)는 제1 연결장치 변환부(318)를 통하여 제1 연결장치(330)와 연결되고 제2 연결장치 변환부(316)를 통하여 제2 연결장치(340)와 연결된다.
도 5의 제1 연결장치 변환부(318)와 제1 연결장치(330)를 통한 데이터 송수신 동작 가운데, 상기 제1 보청장치에서 스마트폰으로 제어신호를 보낼 때나 상기 제1 보청장치가 스마트폰으로부터 제어신호나 상기 빔포머 용 파라미터값 등을 다운로드 받을 때는 PH_IN과 USB_OUT 신호를 이용한 USB 통신방식을 사용하고, 상기 제1 보청장치가 스마트폰으로부터 전화음성데이터출력을 받을 때는 AUDIO_OUT 신호를 이용한 MHL (mobile high definition link) 통신방식을 사용한다. MHL 통신방식은 스마트폰에 새로운 데이터입출력포트를 추가하지 않고도 기존에 사용하던 마이크로-USB 포트 또는 Lightning 포트 등을 통하여 스마트폰의 디스플레이 출력과 스피커 출력을 텔레비전에서 시청하기 위하여 비교적 최근에 개발되었다.
도 6은 제1 보청장치에 포함된 제1 연결장치 변환부와 제1 연결장치의 개념도이다.
상기 제1 연결장치 변환부(318)는 USB/MHL 스위치, USB 송수신기(transceiver, USB_TRX), HDMI(high definition multimedia interface) 수신기(HDMI_RX)와 음향데이터추출기(audio data extractor)를 포함한다.
HDMI 수신기는 영상신호와 음향신호를 시간순서에 따라 번갈아 출력시키므로 음향데이터추출기를 사용하여 상기 HDMI 수신기 출력 중에서 음향데이터만 추출한다. 이로써 스마트폰에서 출력되는 전화통화시의 상대방 목소리 뿐만 아니라 스마트폰 스피커에서 재생되는 모든 음향신호가 상기 제1 보청장치의 디지털신호처리부를 거쳐 사용자의 귀 특성에 맞추어져서 사용자 귀에 전달되므로 또렷하게 들을 수 있다.
제1 연결장치(330)는 스마트폰(200)의 마이크로-USB 포트와 제1 보청장치를 연결하는 USB 케이블이다. 현재 사용되는 5핀 마이크로-USB 포트는 최대 데이터 전송속도가 480Mbps인 USB 2.0 표준을 지원한다.
도 7은 본 발명의 실시예에 따른 제2 연결장치 변환부와 제2 연결장치를 나타낸 도면이다.
제2 연결장치는 제1 보청장치와 제2 보청장치 또는 제1 보청장치와 제3 보청장치을 연결하는 장치로서, 유선케이블 또는 블루투스나 디지털 NFMI(near field magnetic induction) 등의 무선전송방식을 사용한다. 블루투스 무선전송방식은 디지털 NFMI 무선전송방식에 비해 전력소모가 훨씬 크므로 본 발명의 실시예에서는 NFMI 무선전송방식과 유선전송방식을 병행하여 적용하였다.
제1 보청장치의 변조신호 생성부(315) 출력인 디지털 PWM/PDM 변조신호를 전압-전류 변환기(VIC: voltage-to-current converter)에 인가하여 NFMI 루프안테나를 구동하여 자기장의 변화로 출력하거나 클라스 D 증폭기에 인가한 후 LC 저역통과필터를 거쳐 가청 음향신호로 변환시킨 후에 표준 오디오잭으로 출력한다.
유선전송방식은 오디오 케이블을 상기 오디오 잭에 연결하는 방식이다. 디지털 NFMI 무선전송방식은 보통 10MHz 정도의 PWM/PDM 변조신호를 자기장을 이용하여 전송하고 이 자기장을 제2 보청장치에서 검출하는 방식이다. NFMI 자기장 세기는 저주파신호에 대해 거리의 3제곱에 반비례하므로 전송거리가 보통 50센티미터 이내로 제한된다. NFMI를 위한 루프안테나는 금속도선 루프로 구성하고 상기 스마트폰 케이스 안쪽에 위치시키므로 외부에 드러나지 않는다.
본 발명의 실시예에 따른 제2 연결장치는, 디지털 NFMI 무선연결방식 또는 상기 오디오 잭에 연결하는 오디오 케이블을 나타낸다. 도 7을 참고하면 오디오잭은 상기 스마트폰 케이스의 가장자리에 위치시켰는데, 이는 상기 스마트폰 케이스를 스마트폰에 끼웠을 때 스마트폰이 없는 위치에 상기 오디오잭이 위치하게 함으로써 상기 스마트폰 케이스에 상기 제1 보청장치를 장착했을 때 전체 장치의 두께를 최소화하기 위함이다.
도 8은 본 발명의 실시예에 따른 제2 보청장치와 제2 연결장치의 개념도이다.
도 8에 도시된 바와 같이 본 발명의 실시예에 따른 제2 보청장치는 제2 연결장치와의 연결방식에 따라 제2-1 보청장치(320-1), 제2-2 보청장치(320-2) 및 제2-3 보청장치(320-3)의 세 종류로 나누어진다.
제2-1 보청장치(320-1)는, 제2 연결장치가 디지털 NFMI 무선연결방식일 때 사용하는 것으로, T-코일을 이용하여 수신되는 NFMI 자기장 변화를 전압변화로 변환하고 이를 클라스 D 증폭기와 LC 저역통과필터를 통과시켜 가청 음향신호로 변환하여 스피커를 구동한다.
제2-2 보청장치(320-2)와 제2-3 보청장치(320-3)는 제2 연결장치가 상기 오디오 잭에 연결하는 오디오 케이블일 때 사용한다. 제2-2 보청장치는 상기 오디오 케이블에 이어폰(스피커)을 직접 연결하여 소리를 듣고, 제2-3 보청장치는 상기 오디오 케이블을 목걸이 형태의 루프(neck loop)에 연결하여 아날로그 NFMI 방식으로 가청 음향신호를 이어폰에 연결된 T-코일에 전달하고 이 T-코일에 검출된 신호를 증폭하여 이어폰 스피커를 구동한다.
도 9는 본 발명의 실시예에 따른 제1 보청장치의 스마트폰 케이스에의 내장 배치를 나타낸 도면이다.
도 9에 도시된 바와 같이 제1 보청장치의 구성소자 중에서 마이크로폰배열과 몇 개의 수동소자들(저항, 인더턱, 커패시터 등)을 제외한 모든 회로를 한 개의 ASIC (application specific integrated circuit) 칩 안에 구현한다. 이로써 제1 보청장치의 전력소모와 부피를 최소화할 수 있다.
상기 ASIC 칩은 빔포머부, 디지털신호처리부, 변조신호생성부, 제어부(controller), MUX, 제1 연결장치 변환부 및 제2 연결장치 변환부를 포함한다. 도 9에 도시된 스마트폰 케이스의 바닥면에는 마이크로폰배열을 위한 구멍이 형성되어 있다.
상기 마이크로폰배열, ASIC 칩, 수동소자들, 디지털 NFMI용 루프안테나와 오디오잭 등을 모두 한 개의 인쇄회로기판(PCB: printed circuit board) 상에 배치한다. 즉, 상기 인쇄회로기판의 한 쪽 면에는 ASIC 칩, 상기 루프안테나와 오디오잭 등을 배치하고 상기 인쇄회로기판의 반대쪽 면에는 마이크로폰배열을 위치시켜 상기 스마트폰 케이스에 뚫은 구멍위치와 서로 일치되게 한다.
외부 음향신호를 효율적으로 획득하기 위하여 상기 마이크로폰배열을 구성하는 마이크로폰 들을 상기 스마트폰 케이스에 뚫린 구멍을 통하여 밖으로 드러나게 배치하는데, 보청기를 사용한다는 사실을 다른 사람이 쉽게 알아차리지 못하게 하기 위하여 상기 스마트폰 케이스 구멍을 통하여 드러나는 상기 마이크로폰의 색깔 또는 무늬를 상기 스마트폰 케이스 색깔 또는 무늬와 같게 하거나 유사하게 하여 상기 마이크로폰이 상기 스마트폰 케이스와 잘 구분되지 못하게 한다. 상기 마이크로폰이 드러난 상기 스마트폰 케이스의 바깥쪽 면을 보호하기 위해 소리가 통하는 얇은 천(cloth) 또는 막(film)을 상기 스마트폰 케이스의 바깥쪽 면 상에 위치시킨다.
상기 스마트폰 케이스에서 오디오잭의 위치는 상기 스마트폰 케이스에서 스마트폰이 끼워지지 않는 가장자리 위치에 배치하여 전체 장치의 두께를 최소화하는 것이 바람직하다. 또한, 상기 인쇄회로기판상에 복수개의 완충장치(buffer)를 부착하여 스마트폰을 상기 스마트폰 케이스에 끼울 경우에 상기 인쇄회로기판상에 위치한 상기 제1 보청장치를 구성하는 회로들이 기계적 충격을 받지 않도록 한다.
도 10은 본 발명의 실시예에 따른 제1 보청장치의 빔포머부 상세도이다.
빔포머부(312)는 m개의 마이크로폰(M1, M2, ... , Mm)으로 구성된 마이크로폰배열의 m개 출력신호를 입력으로 받아 아날로그 신호처리를 하고 디지털신호로 변환한 후에 빔포밍한 결과신호(BFO)를 출력한다. 이때, 사용되는 마이크로폰의 개수가 많아질수록 방향성이 좋아져서 신호대 잡음비가 증가한다.
기존의 보청기는 크기제약 때문에 한 개의 보청기에 장착되는 마이크로폰의 개수가 보통 2개 또는 3개 이하로 제한되었다. 따라서 본 발명의 실시예에서는 마이크로폰의 개수(m)를 4개 이상으로 하였다.
도 10을 참고하면 상기 빔포머부는 m개의 채널과 한 개의 디지털 빔포머(312-5)로 구성됨을 알 수 있다. 상기 디지털 빔포머는 FIR(finite impulse response) 필터를 포함할 수 있다.
한 개의 채널은, 몇 개의 수동소자(저항, 커패시터 등)를 통하여 일렉트릿(electret) 마이크로폰의 두 개 단자에 연결되는 한 개의 전처리증폭기(pre-amp), 한 개의 가변이득증폭기(VGA: variable gain amplifier), 한 개의 anti-aliasing 필터와 한 개의 ADC(analog digital converter)로 구성된다.
상기 전처리증폭기(312-1), 가변이득증폭기(312-2), 필터(312-3)와 ADC(312-4)는 모두 완전차동(fully differential) 회로로 구성하여 디지털 노이즈의 영향을 감소시켰다. 각 채널의 ADC 출력신호는 디지털 빔포머(312-5)에서 각각 서로 다른 정해진 지연시간을 거친 후에 모두 합쳐져서 BFO로 출력된다.
도 11은 본 발명의 실시예에 따른 제1 보청장치의 빔포머부의 전처리증폭기 회로를 나타내는 도면이다.
마이크로폰배열(311)에 연결되는 케이블은 STP(shielded twisted pair) 케이블을 사용하여 두 개의 신호선을 그물 구조의 그라운드선으로 둘러쌈으로써 외부 노이즈의 영향을 감소시킨다. 도 11에서 두 개의 R1은 서로 같은 값을 가지고, 두 개의 R2와 두 개의 C1도 마찬가지로 각각 서로 같은 값을 가진다. 외부 노이즈의 영향을 더욱 감소시키기 위해 상기 마이크로폰 회로를 차동구조로 하여 상기 전처리증폭기의 입력으로 차동 아날로그신호를 공급한다.
본 발명의 실시예에서는 상기 스마트폰 케이스의 바깥쪽 표면에 2차원으로 배치한 마이크로폰배열을 사용하여 빔포밍 동작을 수행한다. 2차원 빔포밍 동작을 설명하기 전에 1차원 마이크로폰 배열을 사용한 빔포밍 동작을 설명하기로 한다.
도 12는 1차원 빔포밍 동작을 설명하기 위한 개념도이고 도 13은 1차원 빔포밍의 단위 지연시간 차이를 나타내는 도면이다.
도12에서 모든 마이크로폰은 일직선상에 균일한 간격으로 위치하고 인접한 마이크로폰 사이의 간격은
Figure 112015016247684-pat00004
이다. 음향원(sound source)과 마이크로폰배열까지의 거리가 마이크로폰배열의 전체길이보다 훨씬 클 경우에 음향파동을 평면파(plane wave)라고 가정할 수 있다.
평면파 음향이
Figure 112015016247684-pat00005
만큼 떨어져서 위치한 두 개의 마이크로폰에 도달하는 시간차이는 도 13에 보인대로
Figure 112015016247684-pat00006
로 주어진다. 여기서
Figure 112015016247684-pat00007
는 상기 평면파 음향의 전파방향(propagation direction)과 상기 마이크로폰배열방향의 수직선과 이루는 각도이고, c는 음향의 전파속도(propagation velocity)이다. 따라서 도 12에 보인 지연소자들(Td1, Td2, ..., Tdm)의 지연시간을 아래의 수학식1과 같이 정하면 상기 평면파 음향의 전파방향
Figure 112015016247684-pat00008
값이
Figure 112015016247684-pat00009
값과 같은 경우에만 상기 지연소자들을 통과한 음향신호들이 모두 위상이 일치하므로 더한 신호는 진폭이 크게 되고 상기
Figure 112015016247684-pat00010
값이
Figure 112015016247684-pat00011
과 다른 경우에는 상기 지연소자들을 통과한 음향신호들의 위상이 서로 달라져서 더한 신호는 진폭이 작게 된다.
Figure 112015016247684-pat00012
이어서 2차원 빔포밍 동작을 설명하기로 한다.
도 14는 본 발명의 실시예에 따른 2차원 마이크로폰 배열을 나타낸 도면이다.
도 14에 도시된 바와 같이 본 발명의 실시예에서는 2차원 마이크로폰배열을 구현하기 위해 상기 스마트폰 케이스의 두 대각선방향(Axis1과 Axis2)의 직선상에 균일한 간격으로 마이크로폰을 배치하였다. 상기 스마트폰 케이스는 가로 세로 길이가 각각 140mm와 72mm이다. 두 개의 대각선에서 각각의 대각선을 따라 인접한 두 마이크로폰 사이의 간격은
Figure 112015016247684-pat00013
로 동일하다.
본 발명의 실시예에서
Figure 112015016247684-pat00014
=20mm이다. 도14의 2차원 마이크로폰배열에 대해 구좌표(spherical coordinate) r,
Figure 112015016247684-pat00015
,
Figure 112015016247684-pat00016
를 정의하기 위해 상기 마이크로폰배열 평면에 대해 수직한 방향(z-axis)을
Figure 112015016247684-pat00017
=0로 정하고 제1축(Axis1)과 제2축(Axis2)이 만나는 위치인 중심점(C)을 통과하고 상기 스마트폰 케이스의 가로와 세로 중에서 긴 쪽인 가로방향과 평행한 직선을 따라 왼쪽 방향을
Figure 112015016247684-pat00018
=0로 정하였다. 상기 중심점(C)은 상기 스마트폰 케이스의 중심위치와 동일하게 정하였다.
(
Figure 112015016247684-pat00019
,
Figure 112015016247684-pat00020
) 방향으로 입사하는 평면파 음향신호(S)에 대하여, 제1축(Axis1)상에 위치한 마이크로폰(M(1,1), M(1,2), ..., M(1,m))에 대해서는 상기 평면파 음향신호(S)가 인접한 두 개의 마이크로폰에 도달하는 시간차이가
Figure 112015016247684-pat00021
가 되고, 제2축(Axis2)상에 위치한 마이크로폰(M(2,1), M(2,2), ..., M(2,m))에 대해서는 상기 평면파 음향신호(S)가 인접한 두 개의 마이크로폰에 도달하는 시간차이가
Figure 112015016247684-pat00022
가 된다.
따라서, (
Figure 112015016247684-pat00023
,
Figure 112015016247684-pat00024
) 방향으로 입사하는 평면파 음향신호만 듣고자 할 경우에는 도 14의 각각의 마이크로폰 출력신호를 아래의 수학식2에 보인 지연시간만큼씩 상대적으로 지연시킨 후에 모두 합하면 된다.
Figure 112015016247684-pat00025
이하에서는 본 발명에 따른 스마트폰 부착형 보청기의 사용방법에 대해 설명하기로 한다.
도 15는 본 발명에 따른 스마트폰 부착형 보청기의 사용방법을 나타내는 도면이다.
도15의 (a)와 (b) 모두 빔포밍 동작을 잘 수행하기 위해 제1 보청장치의 방향이 사용자 몸의 방향에 대해 일정하게 유지되도록 하였다. 도15의 (a)는 사용자가 서 있을 경우로서 제1 보청장치의 긴 쪽 방향이 지면과 평행하고 마이크로폰배열과 수직인 방향이 몸이 향하는 방향과 일치되도록 하였다. 즉, 몸이 향하는 방향이
Figure 112015016247684-pat00026
=0이다
한편, 도 15의 (b)는 사용자가 책상에 앉아 있는 경우인데 마이크로폰배열과 수직인 방향이 몸이 향하는 방향과 수직이다(
Figure 112015016247684-pat00027
=90o). 도15의 (a)의 경우에 같이 서 있는 상대방과 대화하려면
Figure 112015016247684-pat00028
=30o 정도로 하고, 도 15의 (b)의 경우에는 앞에 서 있는 상대방과 대화하려면
Figure 112015016247684-pat00029
=60o 정도로 하면 된다.
도 16은 두 개의 음향원이 있을 때 제1 보청장치를 이용한 빔포밍을 나타내는 도면이다.
도 16에 도시된 바와 같이, (
Figure 112015016247684-pat00030
,
Figure 112015016247684-pat00031
) 방향에서 입사하는 S1과 (
Figure 112015016247684-pat00032
,
Figure 112015016247684-pat00033
) 방향에서 입사하는 S2의 두 개의 음향원이 있는 경우에 S1만 듣고자 할 경우에는,
Figure 112015016247684-pat00034
=
Figure 112015016247684-pat00035
,
Figure 112015016247684-pat00036
=
Figure 112015016247684-pat00037
으로 하여 마이크로폰배열 출력신호들에 수학식2에 보인 지연시간을 인가한 후에 모두 합하면 된다.
도 17은 본 발명의 실시예에 따라
Figure 112015016247684-pat00038
=90o인 경우 음향신호의 주파수에 대한 빔포밍 특성을 나타내는 도면이다.
빔포밍 특성을 정량적으로 보이기 위해, 듣고자 하는 음향의 목표방향을
Figure 112015016247684-pat00039
=90o로 정하고
Figure 112015016247684-pat00040
= 30o와 60o에 대하여
Figure 112015016247684-pat00041
에 대한 극좌표그래프가 도17의 (a) 및 도17의 (b)에 각각 도시되어 있다.
이때, m=16으로 하여 총 32개의 마이크로폰을 사용하였고, 음향신호의 주파수는 2kHz, 4kHz, 8kHz의 세 가지 경우를 사용하였다. 도 17을 참고하면 음향신호주파수가 증가할수록 빔포밍 동작이 잘 이루어짐을 알 수 있다. 상기 인접한 두 마이크로폰 사이 간격
Figure 112015016247684-pat00042
=20mm이므로 앨리어싱(aliasing)이 발생하지 않는 최대 음향신호주파수는 8.5kHz이다.
도 18은 본 발명의 실시예에 따른
Figure 112015016247684-pat00043
=90o,
Figure 112015016247684-pat00044
=60o, 음향신호주파수 4kHz에서 마이크로폰 개수를 달리한 경우에 대한 빔포밍 특성을 나타낸 도면이다.
도 18에서는 마이크로폰 개수를 달리한 경우에 대한 빔포밍 특성변화를 관찰하기 위해,
Figure 112015016247684-pat00045
=90o이고
Figure 112015016247684-pat00046
= 60o에 대해 음향신호주파수를 4kHz로 하고 마이크로폰 개수를 32개(m=16), 16개(m=8), 8개(m=4), 4개(m=2)로 달리한 경우의 빔포밍 특성을 나타내고 있다. m이 4 이상일 때는 빔포밍 동작이 잘 이루어짐을 알 수 있다.
본 발명의 실시예에서는
Figure 112015016247684-pat00047
Figure 112015016247684-pat00048
에 대해 빔포밍을 하기 위해 두 개의 대각선상에 마이크로폰을 배치하였는데,
Figure 112015016247684-pat00049
에 대해서만 빔포밍을 하기 위해서는 한 개의 대각선상에만 마이크로폰을 배치하면 된다. 상기
Figure 112015016247684-pat00050
에 대한 빔포밍의 경우에는 상기
Figure 112015016247684-pat00051
Figure 112015016247684-pat00052
에 대한 빔포밍의 경우에 비해 마이크로폰 개수를 절반으로 줄여도 같은 정도의 빔포밍 특성을 얻을 수 있다.
이상에서 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims (25)

  1. 외부로부터 입력된 음향신호를 처리하여 사용자의 청력 특성에 맞는 음향신호로 변환하여 출력하는 제1 보청장치; 및
    스피커와 구동회로를 포함하며 사용자의 귀에 위치하는 제2 보청장치를 구비하되,
    상기 제1 보청장치는 휴대용 전자장치의 케이스에 장착되어 제1 연결장치를 통해 상기 휴대용 전자장치와 연결되며, 상기 제2 보청장치는 제2 연결장치를 통해 상기 제1 보청장치와 연결되며,
    상기 제1 보청장치는
    m개(m은 4 이상의 자연수)의 마이크로폰이 1차원, 2차원 또는 3차원으로 배열된 마이크로폰 배열; 및
    상기 마이크로폰배열의 복수개의 출력신호들을 입력으로 받아 각각 정해진 시간만큼 지연시킨 후에 이 지연된 신호들을 합산하여 디지털신호인 빔포머부 출력신호를 출력하는 빔포머부;
    상기 빔포머부 출력신호(BFO)와 상기 휴대용 전자장치의 음향출력 데이터신호(AUDIO_OUT) 중 하나를 선택하여 출력하는 먹스;
    상기 먹스의 출력신호를 입력받아 신호처리 후 출력하는 디지털신호처리부;
    상기 디지털신호처리부의 출력신호를 입력받아 펄스폭 변조신호 또는 펄스밀도 변조신호를 생성하는 변조신호 생성부;
    외부신호 또는 상기 휴대용 전자장치로부터 제어신호를 입력받아 상기 제1 보청장치 및 상기 휴대용 전자장치의 동작을 제어하는 제어부;
    상기 제1 연결장치를 통해 상기 휴대용 전자장치와 연결되는 제1 연결장치 변환부; 및
    상기 제2 연결장치를 통해 상기 제2 보청장치와 연결되는 제2 연결장치 변환부를 포함하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서, 상기 휴대용 전자장치는, 중앙처리장치(CPU)와 배터리가 내장된 스마트폰, 태블릿 PC 또는 휴대용 미디어플레이어인 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  5. 제 1항에 있어서,
    상기 제2 보청장치와 동일한 구조를 가지며 상기 제2 연결장치를 통해 상기 제1 보청장치와 연결되는 제3 보청장치를 더 구비하되,
    상기 제2 보청장치와 상기 제3 보청장치는 상기 사용자의 왼쪽 또는 오른쪽 귀에 각각 위치하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  6. 제 1항에 있어서, 상기 제1 보청장치는,
    상기 제1 연결장치에 포함된 전원공급용 도선을 통하여 상기 휴대용 전자장치로부터 전력을 공급받는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  7. 제 6항에 있어서, 상기 제1 연결장치는
    상기 전원공급용 도선을 제외하면 모두 디지털 데이터전송방식을 사용하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  8. 제 7항에 있어서, 상기 제1 연결장치는,
    USB(universal serial bus) 표준과 MHL(mobile high definition link) 표준에 따른 인터페이스 방식을 병행하여 사용하되, 특정 시각에는 상기 두 개의 표준에 따른 인터페이스 방식 중에서 하나의 표준에 따른 인터페이스 방식만을 선택하여 사용하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  9. 제 1항에 있어서, 제2 연결장치는
    이어폰 케이블 또는 무선전송장치로 구성되는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  10. 제 1항에 있어서, 상기 빔포머부는
    상기 마이크로폰배열의 복수개의 출력전기신호들에 대한 각각의 지연시간 정보를 저장하는 기억장치를 더 포함하되,
    상기 기억장치는 상기 빔포머부와 같이 한 개의 집적회로 칩 안에 포함된 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  11. 제 10항에 있어서, 상기 기억장치의 내용은,
    상기 제1 보청장치가 상기 휴대용 전자장치에 처음 연결되거나 상기 제1 보청장치가 리셋된 직후에, 한번만 상기 휴대용 전자장치로부터 상기 제1 연결장치를 통하여 상기 기억장치로 다운로드되는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  12. 제 1항에 있어서, 상기 제1 보청장치는
    보청기 모드와 전화통화 모드의 두 가지 모드로 구분되어 동작하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  13. 제 12항에 있어서,
    상기 제1 보청장치가 상기 보청기 모드로 동작할 때는 상기 먹스가 상기 빔포머부 출력신호를 선택하여 상기 디지털신호처리부에 전달하고,
    상기 제1 보청장치가 상기 전화통화 모드로 동작할 때는 상기 먹스가 상기 제1 연결장치 변환부를 통하여 상기 휴대용 전자장치로부터 출력되는 음향신호를 선택하여 상기 디지털신호처리부에 전달하며, 상기 제어부가 상기 제1 연결장치 변환부를 통하여 상기 제1 보청장치에 연결된 상기 휴대용 전자장치의 스피커가 꺼지도록 제어하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  14. 제 1항에 있어서,
    상기 휴대용 전자장치 내에서 동작하는 응용프로그램을 통해 상기 제1 보청장치의 동작에 필요한 파라미터 값의 조절이 가능한 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  15. 제 1항에 있어서, 상기 마이크로폰배열을 구성하는 각각의 마이크로폰은 회로는 차동 아날로그신호를 출력하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  16. 제 1항에 있어서, 상기 빔포머부는
    전처리증폭기, 가변이득증폭기, 필터 및 아날로그 디지털 변환기를 각각 구비하는 m개(m은 4 이상의 자연수)의 채널과 하나의 디지털 빔포머를 구비하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  17. 제 16항에 있어서,
    상기 전처리증폭기, 가변이득증폭기, 필터 및 아날로그 디지털 변환기는 모두 완전차동회로로 구성되며, 상기 아날로그 디지털 변환기의 출력신호는 상기 디지털 빔포머에서 각각 정해진 지연시간을 거친 후 합쳐져서 빔포머부 출력신호로 출력되는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  18. 제 1항에 있어서, 상기 제1 연결장치 변환부는,
    USB입력신호(PH_IN) 및 USB 출력신호(USB_OUT)를 송수신하는 USB 송수신기;
    영상신호와 음향신호를 번갈아 출력하는 HDMI 수신기;
    상기 HDMI 수신기의 출력 중에서 음향신호만을 추출하여 음향출력 데이터신호(AUDIO_OUT)를 출력하는 음향데이터 추출기; 및
    제1 연결장치를 통해 상기 휴대용 전자장치의 마이크로-USB 포트에 연결되는 USB/MHL 스위치;를 구비하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  19. 제 18항에 있어서, 상기 제1 연결장치는,
    USB 케이블로 구현되는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  20. 제 1항에 있어서, 상기 제2 연결장치 변환부는,
    NFMI(near field magnetic induction) 전송용 루프안테나;
    상기 제1 보청장치의 출력신호를 입력받아 상기 NFMI(near field magnetic induction) 전송용 루프안테나를 구동하여 자기장의 변화를 출력하는 전압전류변환기;
    상기 제1 보청장치의 변조신호 생성부의 출력신호를 입력받아 증폭하여 가청 음향신호로 변환하여 출력하는 클라스 D 증폭기 및 저역통과필터; 및
    상기 저역통과필터의 출력신호가 출력되는 오디오잭을 포함하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  21. 제 1항에 있어서,
    상기 제1 보청장치를 구성하는 모든 회로가 하나의 인쇄회로기판(PCB; printed circuit board) 위에 배치되는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  22. 제 1항에 있어서,
    상기 제1 보청장치의 중심점은 상기 휴대용 전자장치의 중심으로부터 30센티미터 이내에 위치하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  23. 제 1항에 있어서,
    상기 마이크로폰 배열을 구성하는 마이크로폰들은 상기 휴대용 전자장치 케이스의 바깥쪽 표면에 드러나는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  24. 제 23항에 있어서,
    상기 휴대용 전자장치 케이스의 바깥쪽 표면에 드러나는 상기 마이크로폰의 색깔 또는 무늬를 상기 휴대용 전자장치 케이스의 바깥쪽 색깔 또는 무늬와 같게 하거나 유사하게 하여, 상기 마이크로폰이 상기 휴대용 전자장치 케이스와 잘 구분되지 못하게 하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
  25. 제 23항에 있어서,
    상기 휴대용 전자장치 케이스의 바깥쪽 표면 위에 소리가 통하는 얇은 천(cloth) 또는 막(film)을 보호장치로 사용하는 것을 특징으로 하는 휴대용 전자장치에 결합된 보청기.
KR1020150023394A 2015-02-16 2015-02-16 휴대용 전자장치에 결합된 보청기 KR101648840B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150023394A KR101648840B1 (ko) 2015-02-16 2015-02-16 휴대용 전자장치에 결합된 보청기
US14/795,266 US9392381B1 (en) 2015-02-16 2015-07-09 Hearing aid attached to mobile electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150023394A KR101648840B1 (ko) 2015-02-16 2015-02-16 휴대용 전자장치에 결합된 보청기

Publications (1)

Publication Number Publication Date
KR101648840B1 true KR101648840B1 (ko) 2016-08-30

Family

ID=56321232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150023394A KR101648840B1 (ko) 2015-02-16 2015-02-16 휴대용 전자장치에 결합된 보청기

Country Status (2)

Country Link
US (1) US9392381B1 (ko)
KR (1) KR101648840B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753064B1 (ko) * 2016-11-18 2017-07-03 포항공과대학교 산학협력단 스마트폰 기반의 보청기
KR101860523B1 (ko) * 2017-03-16 2018-06-29 주식회사 비에스엘 알고리즘 처리 모듈 분리 구조의 히어링 디바이스
WO2019142079A1 (en) * 2018-01-16 2019-07-25 Cochlear Limited Ear canal microphone utilizing communications with hearing implant
KR20200064397A (ko) * 2018-11-29 2020-06-08 주식회사 비에스엘 음향 전달 장치
KR20210045374A (ko) * 2021-04-06 2021-04-26 조성재 모바일 플러그인 보청기
KR20220116102A (ko) 2022-08-03 2022-08-22 조성재 접이식 이어셋과 하울링 방지 회로를 구비한 모바일 보청기

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9747367B2 (en) 2014-12-05 2017-08-29 Stages Llc Communication system for establishing and providing preferred audio
US20160165341A1 (en) * 2014-12-05 2016-06-09 Stages Pcs, Llc Portable microphone array
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
WO2017158507A1 (en) * 2016-03-16 2017-09-21 Radhear Ltd. Hearing aid
DK3249955T3 (da) * 2016-05-23 2019-11-18 Oticon As Konfigurerbart høreapparat, der omfatter en stråleformerfiltreringsenhed og en forstærkerenhed
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
KR102377356B1 (ko) 2017-01-27 2022-03-21 슈어 애쿼지션 홀딩스, 인코포레이티드 어레이 마이크로폰 모듈 및 시스템
US10567888B2 (en) 2018-02-08 2020-02-18 Nuance Hearing Ltd. Directional hearing aid
US20190324117A1 (en) * 2018-04-24 2019-10-24 Mediatek Inc. Content aware audio source localization
US11109133B2 (en) 2018-09-21 2021-08-31 Shure Acquisition Holdings, Inc. Array microphone module and system
CA3146517A1 (en) 2019-07-21 2021-01-28 Nuance Hearing Ltd. Speech-tracking listening device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050057781A (ko) * 2003-12-11 2005-06-16 에스케이텔레텍주식회사 이동통신단말기에서 오디오 루프백을 이용한 음량증폭장치
KR20130054898A (ko) * 2011-11-17 2013-05-27 한양대학교 산학협력단 휴대 단말기를 이용한 음향 수신 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6021207A (en) * 1997-04-03 2000-02-01 Resound Corporation Wireless open ear canal earpiece
US7092882B2 (en) * 2000-12-06 2006-08-15 Ncr Corporation Noise suppression in beam-steered microphone array
WO2006097099A1 (en) * 2005-03-18 2006-09-21 Widex A/S Remote control system for a hearing aid
US9264553B2 (en) * 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
KR101458998B1 (ko) 2012-12-27 2014-11-07 주식회사 바이오사운드랩 모바일 디바이스와 통합된 보청기 기능의 실행 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050057781A (ko) * 2003-12-11 2005-06-16 에스케이텔레텍주식회사 이동통신단말기에서 오디오 루프백을 이용한 음량증폭장치
KR20130054898A (ko) * 2011-11-17 2013-05-27 한양대학교 산학협력단 휴대 단말기를 이용한 음향 수신 장치 및 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753064B1 (ko) * 2016-11-18 2017-07-03 포항공과대학교 산학협력단 스마트폰 기반의 보청기
WO2018093019A1 (ko) * 2016-11-18 2018-05-24 포항공과대학교 산학협력단 스마트폰 기반의 보청기
KR101860523B1 (ko) * 2017-03-16 2018-06-29 주식회사 비에스엘 알고리즘 처리 모듈 분리 구조의 히어링 디바이스
WO2019142079A1 (en) * 2018-01-16 2019-07-25 Cochlear Limited Ear canal microphone utilizing communications with hearing implant
US11418897B2 (en) 2018-01-16 2022-08-16 Cochlear Limited Ear canal microphone utilizing communications with hearing implant
US11792583B2 (en) 2018-01-16 2023-10-17 Cochlear Limited Ear canal microphone utilizing communications with hearing implant
KR20200064397A (ko) * 2018-11-29 2020-06-08 주식회사 비에스엘 음향 전달 장치
KR102139599B1 (ko) * 2018-11-29 2020-07-29 주식회사 비에스엘 음향 전달 장치
KR20210045374A (ko) * 2021-04-06 2021-04-26 조성재 모바일 플러그인 보청기
KR102327235B1 (ko) * 2021-04-06 2021-11-16 조성재 모바일 플러그인 보청기
KR20220116102A (ko) 2022-08-03 2022-08-22 조성재 접이식 이어셋과 하울링 방지 회로를 구비한 모바일 보청기

Also Published As

Publication number Publication date
US9392381B1 (en) 2016-07-12

Similar Documents

Publication Publication Date Title
KR101648840B1 (ko) 휴대용 전자장치에 결합된 보청기
TWI508056B (zh) 攜帶型音訊設備
CN106664498B (zh) 用于产生与音频传输功能相关的头的人造耳装置及其相关方法
US9301057B2 (en) Hearing assistance system
US8582789B2 (en) Hearing enhancement systems
US9672804B2 (en) Hearing aid compatible audio device with acoustic noise cancellation
US20150326973A1 (en) Portable Binaural Recording & Playback Accessory for a Multimedia Device
US20080240477A1 (en) Wireless multiple input hearing assist device
US20190104370A1 (en) Hearing assistance device
US10748522B2 (en) In-ear microphone with active noise control
CN115412788A (zh) 耳挂式麦克风
US20050244022A1 (en) Hearing aid compatible device
CN207744142U (zh) 一种多功能骨传导助听系统
US11856370B2 (en) System for audio rendering comprising a binaural hearing device and an external device
KR101971608B1 (ko) 웨어러블 음향 장치
WO2008068724A1 (en) Invisible wireless earphones with rare earh magnet
KR101785602B1 (ko) 스피커와 마이크를 일체로 구비하는 패치형 음성전달장치
KR102327235B1 (ko) 모바일 플러그인 보청기
TWI345923B (ko)
CN214799882U (zh) 一种自适应方向助听器
US20050271228A1 (en) Handheld device with hearing aid function
CN215499484U (zh) 一种无线降噪耳机
EP4297436A1 (en) A hearing aid comprising an active occlusion cancellation system and corresponding method
KR101719779B1 (ko) 호환성이 개선된 텔레코일을 활용한 청력보조 시스템
US20230109167A1 (en) Remote microphone for a hearing aid

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190617

Year of fee payment: 4