KR101122043B1 - 음향 송수신장치 및 그 송수신방법 - Google Patents

음향 송수신장치 및 그 송수신방법 Download PDF

Info

Publication number
KR101122043B1
KR101122043B1 KR1020090098939A KR20090098939A KR101122043B1 KR 101122043 B1 KR101122043 B1 KR 101122043B1 KR 1020090098939 A KR1020090098939 A KR 1020090098939A KR 20090098939 A KR20090098939 A KR 20090098939A KR 101122043 B1 KR101122043 B1 KR 101122043B1
Authority
KR
South Korea
Prior art keywords
sound
signal
delete delete
electrical signal
unit
Prior art date
Application number
KR1020090098939A
Other languages
English (en)
Other versions
KR20110041911A (ko
Inventor
이승우
Original Assignee
주식회사 바이오사운드랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 바이오사운드랩 filed Critical 주식회사 바이오사운드랩
Priority to KR1020090098939A priority Critical patent/KR101122043B1/ko
Priority to PCT/KR2010/006128 priority patent/WO2011046297A2/ko
Publication of KR20110041911A publication Critical patent/KR20110041911A/ko
Application granted granted Critical
Publication of KR101122043B1 publication Critical patent/KR101122043B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Control Of Amplification And Gain Control (AREA)

Abstract

본 발명은 음향 송수신장치 및 그 송수신방법에 관한 것이다. 본 발명에 따른 음향 송수신장치는, 유선 또는 무선으로 외부와 음향신호를 송수신하는 송수신부; 청취자에 대한 청취범위 데이터를 저장하는 저장부; 저장부에 저장된 청취범위 데이터에 기초하여, 송수신되는 음향신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행하는 보정부; 및 보정부에 의해 보정된 음향신호를 출력하는 출력부를 포함하는 것을 특징으로 한다. 본 발명에 의하면, 청각 능력이 저하된 사람에 맞추어 전혀 듣지 못하는 음향 구간을 최소화하면서도 잡음으로 들리는 음향 구간을 줄임으로써, 정상인과 유사하게 음향을 느낄 수 있도록 한다.
음향, 음성, 청각, 가청주파수, 유선, 무선, 헤드셋

Description

음향 송수신장치 및 그 송수신방법{Sound transmission/reception device and method therefor}
본 발명의 실시예는 음향 송수신장치 및 그 송수신방법에 관한 것이다. 더욱 상세하게는, 청취자의 청력이 저하된 경우에 유무선으로 연결된 TV, 라디오, 유무선 전화기, 오디오 등으로부터 수신되는 음향을 청각 능력이 저하된 사람의 가청주파수에 맞추어 보정함으로써, 청취자에게 명료한 음질을 전달할 수 있는 음향 송수신장치 및 그 송수신방법에 관한 것이다.
일반적으로, TV, 라디오, 오디오, 유무선 전화기 등을 포함하는 대부분의 전자 기기들은 방송국, 통화 상대방, 기록매체 등에 의해 수신되는 음향을 청취자에게 전달하거나, 기록매체 또는 청취자에 의해 생성된 음향을 다른 전자 기기로 송신하는 음향 송수신장치를 포함한다. 여기서, 음향이라 함은, 물체나 기계, 또는 악기 등이 내는 소리뿐만 아니라, 사람이나 동물의 목에서 나오는 소리를 말한다.
한편, 일반적인 사람의 가청주파수는 20 Hz ~ 20 KHz인데, 생활 잡음이 증가하면서 청취 환경이 나빠짐에 따라 청각 능력이 저하된 사람들이 증가하고 있다. 이와 같은 청각 능력은 사람마다 편차가 있으며, 도 1에 도시한 바와 같이 연령이 증가함에 따라 전체적인 청각 능력도 저하되고, 그 중 특히 고주파 영역에서의 청각 능력 저하가 두드러진다.
일반적으로, 도 2에 도시한 바와 같이 가청주파수 내의 특정주파수의 정상인이 들을 수 있는 청취 범위의 음향 구간(A + B + C)에 대하여, 청각 능력이 저하된 사람에게는 고통을 주거나 청각 신경에 손상을 주는 음향 구간, 기타 잡음이 포함되는 구간(이하에서는, 이와 같은 음향 구간을 포함하여 '잡음으로 들리는 음향 구간'이라고 한다)(A), 정상적으로 들리는 구간(B) 및 전혀 들리지 않는 구간(C)이 존재할 수 있다. 여기서, 청취 범위라 함은 음압의 범위, 음의 세기의 범위 등일 수 있다.
그런데, 일반적인 음향 송수신장치의 경우, 정상인을 대상으로 음향을 송신 또는 수신하기 때문에, 정상인을 위한 청취 범위(A + B + C)를 출력하는 음향 구간에 대하여 청각 능력이 저하된 사람을 위하여 볼륨 등을 이용하여 단순히 음압 등을 증폭하게 되면, 청각 능력이 저하된 사람이 전혀 들을 수 없었던 음향 구간(C)은 청각 능력이 저하된 사람의 가청 구간(D)으로 편입되지만, 전체적인 음향 구간이 함께 증폭되기 때문에 잡음으로 들리는 음향 구간(E)이 증가하게 되는 문제점이 발생한다.
전술한 문제점을 해결하기 위해 본 발명의 실시예는, 청각 능력이 저하된 청취자에 맞추어 전혀 듣지 못하는 음향 구간을 최소화하면서 잡음으로 들리는 음향 구간 또한 줄임으로써, 정상인과 유사하게 음향을 느낄 수 있도록 하는 음향 송수신장치 및 그 송수신방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 음향 송수신장치의 일 실시예는, 유선 또는 무선으로 외부와 음향신호를 송수신하는 송수신부; 청취자에 대한 청취범위 데이터를 저장하는 저장부; 저장부에 저장된 청취범위 데이터에 기초하여, 송수신되는 음향신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행하는 보정부; 및 보정부에 의해 보정된 음향신호를 출력하는 출력부를 포함하는 것을 특징으로 한다.
여기서, 음향 송수신장치의 실시예는, 음향을 집음하여 전기적인 신호를 발생시키는 마이크; 및 마이크에 의해 발생되는 전기적 신호를 증폭하는 마이크 증폭부를 더 포함할 수 있다. 이 경우, 보정부는 저장부에 저장된 청취범위 데이터에 기초하여, 증폭되는 전기적 신호의 주파수 밴드별로 이득 및 압축률을 조절하여 보정을 수행하는 것이 바람직하다.
또한, 음향 송수신장치의 실시예는, 보정부에 의해 보정된 전기적 신호를 출력부를 통해 출력할 것인지 또는 송수신부를 통해 외부로 송신할 것인지 선택하기 위한 출력 선택부를 더 포함할 수 있다.
또한, 음향 송수신장치의 실시예는, 송수신부를 통해 수신되는 음향신호를 보정할 것인지 또는 마이크 증폭부에 의해 증폭되는 전기적 신호를 보정할 것인지 선택하기 위한 모드 선택부를 더 포함할 수 있다.
여기서, 마이크는 복수 개로 구비되며, 각각이 서로 다른 방향을 향하여 설치될 수 있다.
또한, 음향 송수신장치의 실시예는, 보정부에 의해 보정된 신호에 대하여 잡음 및 하울링을 제거하기 위한 신호처리를 수행하는 신호처리부를 더 포함할 수 있다.
또한, 출력부는, 보정된 음향신호를 소리로 변환하여 출력하는 리시버를 포함한다.
한편, 전술한 목적은, 유선 또는 무선으로 외부와 음향신호를 송수신하는 송수신부; 청취자에 대한 청취범위 데이터를 저장하는 저장부; 저장부에 저장된 청취범위 데이터에 기초하여, 송수신되는 음향신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행하는 보정부; 및 보정부에 의해 보정된 음향신호를 출력하는 리시버를 포함하는 헤드셋의 실시예에 의해 달성될 수도 있다.
또한, 전술한 목적은, 음향기기로부터 음향신호를 수신하는 음향 수신부; 청취자에 대한 청취범위 데이터를 저장하는 저장부; 저장부에 저장된 청취범위 데이터에 기초하여, 수신되는 음향신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행하는 보정부; 및 보정부에 의해 보정된 음향신호를 유선 또는 무선으로 외부로 송신하는 송신부를 포함하는 음향기기의 송신장치의 실시예에 의해 달성될 수도 있다.
여기서, 음향기기의 송신장치의 실시예는, 음향을 집음하여 전기적인 신호를 발생시키는 마이크; 및 마이크에 의해 발생되는 전기적 신호를 증폭하는 마이크 증폭부를 더 포함할 수 있다. 이 경우, 보정부는 저장부에 저장된 청취범위 데이터에 기초하여, 증폭되는 전기적 신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행하는 것이 바람직하다.
또한, 음향기기의 송신장치의 실시예는, 음향 수신부를 통해 수신되는 음향신호를 보정할 것인지 또는 마이크 증폭부에 의해 증폭되는 전기적 신호를 보정할 것인지 선택하기 위한 모드 선택부를 더 포함할 수 있다.
또한, 전술한 목적은, 청취자에 대한 청취범위 데이터를 저장하는 단계; 유선 또는 무선으로 외부로부터 음향신호를 송수신하는 단계; 저장단계에 의해 저장된 청취범위 데이터에 기초하여, 송수신되는 음향신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행하는 단계; 및 보정된 음향신호를 출력하는 단계를 포함하는 음향 송수신방법의 실시예에 의해 달성될 수도 있다.
여기서, 음향 송수신방법의 실시예는, 음향을 집음하여 전기적인 신호를 발생시키는 단계; 및 발생되는 전기적 신호를 증폭하는 단계를 더 포함할 수 있다. 이 경우, 보정단계는 저장단계에 의해 저장된 청취범위 데이터에 기초하여, 증폭되는 전기적 신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행하는 것이 바람직하다.
또한, 음향 송수신방법의 실시예는, 보정된 전기적 신호를 출력단계를 통해 출력할 것인지 또는 송수신단계를 통해 외부로 송신할 것인지를 판단하는 단계를 더 포함할 수 있다.
또한, 음향 송수신방법의 실시예는, 송수신단계를 통해 수신되는 음향신호를 보정할 것인지 또는 증폭되는 전기적 신호를 보정할 것인지를 판단하는 단계를 더 포함할 수도 있다.
또한, 음향 송수신방법의 실시예는, 보정단계에 의해 보정된 신호에 대하여 잡음 및 하울링을 제거하기 위한 신호처리를 수행하는 단계를 더 포함할 수도 있다.
또한, 음향 송수신방법의 실시예는, 보정된 상기 음향신호를 소리로 변환하여 출력하는 단계를 더 포함할 수도 있다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 청각 능력이 저하된 사람에 맞추어 전혀 듣지 못하는 음향 구간을 최소화하면서도 잡음으로 들리는 음향 구간을 줄임으로써, 정상인과 유사하게 음향을 느낄 수 있도록 할 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또 는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시예에 대한 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 3은 본 발명의 일 실시예에 따른 음향 송수신장치를 개략적으로 도시한 도면이다. 도면을 참조하면, 본 발명의 일 실시예에 따른 음향 송수신장치(300)는, 송수신부(310), 저장부(320), 보정부(330) 및 출력부(340)를 포함한다.
송수신부(310)는 유선 또는 무선으로 음향신호를 송수신한다. 여기서, 송수신부(310)는 무선으로 음향신호를 송수신하기 위하여, 블루투스(Bluetooth), IrDA(Infrared Data Association) 등과 같은 근거리 무선통신 규격, CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA) 등과 같은 이동통신 규격, WiBro(Wireless Broadband)와 같은 무선 인터넷 규격 등을 이용할 수 있다. 또한, 음향신호는 음향에 대한 전기적 신호로서, 물체나 기계, 또는 악기 등이 내는 소리뿐만 아니라, 사람이나 동물의 목에서 나오는 소리를 전기적인 신호로 변환시킨 것 이다.
저장부(320)는 청취자에 대한 청취범위에 대한 데이터를 저장한다. 일반적으로 사람의 가청주파수 범위는 20 Hz 내지 20 KHz인데, 이와 같은 가청주파수 범위는 사람에 따라, 또한 연령에 따라 다를 수 있으며, 동일한 주파수라 하더라도 사람에 따라, 연령에 따라 음의 세기, 음압, 음량 등에 따른 청취 범위는 달라질 수 있다. 예를 들어, 도 4에 도시한 바와 같이, 가청주파수 내의 특정주파수에 대해 정상인이 청취 가능한 음향 구간이 A + B + C이고 그 중, 청취 능력이 저하된 청취자에 대한 청취 가능한 음향 구간이 B라고 하면, 저장부(320)는 청취자의 청취 가능한 음향 구간인 B에 대한 청취범위를 저장한다. 이때, 청취자에 대한 청취범위는 PC(Personal Computer)(도시하지 않음) 또는 전용 가청주파수 측정기기(도시하지 않음)에 의해 측정될 수 있다. 즉, PC나 전용 가청주파수 측정기기에 의해 제공되는 다양한 음원 중 청취자가 가장 명확하게 느끼는 음원을 찾아 청력 측정의 기준으로 정하고, 이를 기준으로 일정한 시간 내에 주파수별 청력과 불쾌하게 느끼는 수준의 음의 세기, 음량, 음압 등을 측정함으로써, 청취자에 대한 청취범위 데이터를 얻을 수 있다.
보정부(330)는 저장부(320)에 저장된 청취자에 대한 청취범위 데이터에 기초하여, 송수신부(310)를 통해 송수신되는 음향신호의 주파수별 이득 및 압축률을 조절하여 보정을 수행한다. 이때, 보정부(330)는 정상인의 청취범위 데이터와 저장부(320)에 저장된 청취자에 대한 청취범위 데이터를 비교하여 이득 및 압축률을 계산하고, 계산된 값을 이용하여 송수신되는 음향신호를 보정할 수 있다. 또는, 보정 부(330)는 음향 송수신장치(300)를 통해 구현 가능한 주파수 범위를 기준으로, 청취자에 대한 청취범위에 대한 이득 및 압축률을 계산하고, 계산된 값을 이용하여 송수신되는 음향신호를 보정할 수도 있다. 이 경우, 음향 송수신장치(300)에 의해 구현 가능한 주파수 범위는 제조시에 저장부(320)에 기 저장되는 것이 바람직하다.
여기서, 보정부(330)는 도 4에 도시한 바와 같이, 송수신부(310)를 통해 송수신되는 음향신호를 계산된 이득으로 증폭하고, 증폭된 음향신호가 청취자에 대한 청취범위 이내에 포함되도록 압축률을 적용할 수 있다. 이 경우, 주파수 밴드별 서로 다른 압축률이 적용될 수 있으며, 동일한 압축률이 적용될 수도 있다. 예를 들어, 송수신되는 음향신호를 도 2와 같이 증폭하였을 때, 청취자에 대한 청취범위 내에 있는 구간(D)에 대해서는 압축률을 적게 하고, 청취자에 대한 청취범위를 벗어나는 구간(E)에 대해서는 높은 압축률을 적용하여 전 구간이 청취자에 대한 청취범위 이내가 되도록 할 수 있다. 또는, 송수신되는 음향신호에 대해 전 구간에 동일한 압축률을 적용하여 청취자에 대한 가청주파수 이내에 포함되도록 압축할 수도 있다.
출력부(340)는 보정부(330)에 의해 보정된 음향신호를 출력한다. 여기서, 출력부(340)는 보정된 음향신호를 외부 전자기기로 유선상으로 송신하기 위한 잭(Jack)이거나, 무선상으로 송신하기 위한 블루투스 모듈과 같은 근거리 통신 모듈일 수 있다. 또는, 출력부(340)는 보정된 음향신호를 음향으로 변환하여 출력하는 스피커일 수도 있으며, 보정된 음향신호를 음향 또는 진동으로 변환하여 청취자의 귀에 직접적으로 전달하기 위한 리시버일 수도 있다.
이와 같은 출력부(340)의 구현 형태에 따라, 음향 송수신장치(300)는 라디오와 같은 음향기기에 적용되어 외부로부터 수신되는 음향신호를 청취자의 가청주파수에 맞추어 보정하여 송신하는 음향 송신장치로 이용될 수 있으며, 헤드셋이나 이어폰 등에 적용되어 라디오, TV, 오디오 등과 같은 음향기기로부터 수신되는 음향신호를 청취자의 가청주파수에 맞추어 보정하여 전달하는 음향 수신장치로 이용될 수 있다.
음향 송수신장치(300)의 다른 실시예는, 주변의 음향을 집음하여 전기적인 신호를 발생시키는 마이크(350) 및 발생되는 전기적 신호를 증폭시키는 마이크 증폭부(360)를 더 포함할 수 있다. 여기서, 마이크(350)는 서로 다른 방향을 향하여 복수 개로 설치될 수 있으며, 마이크 증폭부(360)는 다양한 방향으로부터 집음된 음향 중 일정 크기 이상의 음향을 증폭시키거나, 선택적으로 증폭시키도록 구현될 수 있다. 이때, 보정부(330)는 저장부(300)에 저장된 청취자에 대한 청취범위에 기초하여, 마이크 증폭부(360)에 의해 증폭되는 전기적 신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행하는 것이 바람직하다.
또한, 음향 송수신장치(300)의 또 다른 실시예는, 마이크 증폭부(360)에 의해 증폭되어 보정부(330)에 의해 보정된 전기적 신호를 출력부(340)를 통해 출력할 것인지 또는 송수신부(310)를 통해 유선 또는 무선으로 연결된 외부기기로 송신할 것인지 또는 송수신부(310) 및 출력부(340)를 통해 동시에 출력할 것인지를 선택할 수 있는 출력 선택부(370)를 더 포함할 수 있다. 이 경우, 출력부(340)는 스피커 또는 리시버로 구현되는 것이 바람직하다. 이로써, 음향 송수신장치(300)의 실시예 는, 휴대폰 등과 같은 이동통신 단말기에 적용되어, 송수신부(310)를 통해 수신된 음향신호를 청취자에 대한 청취범위에 맞춰 보정하여 출력부(340)로 출력할 수 있을 뿐만 아니라, 마이크(350)를 통해 집음한 음향신호를 송수신부(310)를 통해 상대방 단말기로 송신할 수 있도록 구현함으로써, 음향 송수신장치로 동작하도록 구현될 수도 있다.
이때, 전술한 음향 송수신장치(300)의 실시예는, 보정부(330)에 의해 보정된 음향신호 또는 전기적 신호에 대하여, 출력부(340)에 의해 출력되는 음향이 피드백되어 발생되는 하울링(howling)을 제거하거나, 출력부(340)를 통해 출력되는 음향에 섞인 마이크(350)에 의한 잡음을 제거하기 위하여 신호처리를 수행하는 신호처리부(380)를 포함하는 것이 바람직하다.
또한, 음향 송수신장치(300)의 또 다른 실시예는, 송수신부(310)를 통해 수신되는 음향신호를 보정할 것인지, 마이크 증폭부(360)에 의해 증폭되는 전기적 신호를 보정할 것인지 또는 음향신호 및 전기적 신호를 동시에 보정하여 출력할 것인지를 선택하기 위한 모드 선택부(390)를 더 포함할 수 있다. 이로써, 음향 송수신장치(300)가 휴대폰 등의 이동통신 단말기에 적용되는 경우, 모드 선택부(390)에 의한 선택에 따라 상대방과의 통화를 위한 통화 모드, 통화 중에 주변의 사람과 대화를 하기 위한 대화 모드, 통화를 하면서 주변의 음향기기로부터 출력되는 음향을 함께 청취하기 위한 시청 모드 등의 선택이 가능하게 된다.
여기서는, 당업자의 이해를 돕기 위하여 음향 송수신장치(300)가 라디오, TV, 오디오, 이동통신 단말기 등에 적용된 것으로 설명하였지만, 본 발명의 실시예 는 이에 한정되는 것이 아니다. 예를 들어, 도 5에 도시한 바와 같이, 헤드셋(500)에 적용될 수도 있으며, 이 경우 헤드셋(500)은 본체(510) 및 마이크(520)를 구비하고, 전술한 구성요소들을 포함하는 음향 송수신장치(300)는 본체(510) 내에 설치될 수 있다. 또한, 본 발명의 실시예에 따른 음향 송수신장치(300)가 적용되는 헤드셋(500)의 형태는 도시된 형태에 한정되는 것이 아니며, 이어폰 형, 귀걸이 형 등의 다양한 변형이 가능하다.
또는, 도 6에 도시한 바와 같이, 본 발명의 다른 실시예에 따른 음향 송수신장치(600)는, 라디오, TV, 오디오, 이동통신 단말기 등의 음향기기와는 다른 별도의 독립적인 장치로 구현될 수도 있다. 이 경우, 음향 송수신장치(600)는 음향 수신부(610), 저장부(620), 보정부(630), 송신부(640), 신호처리부(650), 마이크(660) 및 마이크 증폭부(670)를 포함할 수 있다.
여기서, 음향 수신부(610)는 라디오, TV, 오디오, 이동통신 단말기 등의 음향기기 등의 음향기기로부터 음향을 수신한다. 이 외에, 저장부(620), 보정부(630), 신호처리부(650), 마이크(660), 마이크 증폭부(670) 및 모드 선택부(680)의 기능 및 동작은, 도 3의 저장부(320), 보정부(330), 신호처리부(380), 마이크(350), 마이크 증폭부(360) 및 모드 선택부(390)의 기능 및 동작과 동일 또는 유사하므로, 이하에서는 그 상세한 설명을 생략한다.
송신부(640)는 보정부(330)에 의해 보정된 음향신호를 유선 또는 무선으로 헤드셋(700)에 전송한다. 이때, 송신부(640)는 보정된 음향신호를 유선으로 송신하기 위한 잭이거나, 무선으로 송신하기 위한 근거리 통신모듈일 수 있다. 또한, 헤 드셋(700)은 음향 송수신장치(600)와 유선 또는 무선통신이 가능한 일반적인 유선 또는 무선 헤드셋으로서, 상술한 바와 같이 이어폰 형, 귀걸이 형 등의 다양한 형태 변형이 가능하다.
도 7은 도 3의 음향 송수신장치에 의한 음향 송수신방법의 실시예를 나타낸 흐름도이다. 이하에서는, 설명을 쉽게 하기 위하여 도 3의 실시예를 토대로 하며, 음향 송수신장치가 헤드셋에 적용된 실시예로서 음향 송수신방법을 설명한다. 그러나, 본 발명의 실시예에 따른 음향 송수신방법은 이에 한정되는 것이 아니며, 본 발명에 따른 음향 송수신장치의 다양한 실시예 및 적용예에 의하여 구현될 수 있으며, 또한 음향 송수신방법의 다양한 실시예로 변형되어 실시될 수도 있다.
도면을 참조하면, 저장부(320)는 청취자에 대한 청취범위 데이터를 저장한다(S701). 이와 같은 청취자에 대한 청취범위는 PC 또는 전용 가청주파수 측정기기에 의해 측정될 수 있다. 즉, 다양한 음원을 제공하는 PC나 전용 가청주파수 측정기기를 이용하여 그 중 청취자가 가장 명확하게 느끼는 음원을 찾아 청력 측정의 기준으로 정하고, 이를 기준으로 일정한 시간 내에 주파수별 청력과 불쾌하게 느끼는 수준의 음량을 측정함으로써, 청취자에 대한 청취범위 데이터를 얻을 수 있다.
송수신부(310)는 라디오, TV, 오디오, 휴대폰 등의 다양한 음향기기와 유선 또는 무선을 통해 음향신호를 송수신한다(S703).
또한, 마이크(350)는 음향 송수신장치(300) 주변의 음향을 집음하여 전기적 신호를 발생시키며(S705), 마이크 증폭부(360)는 마이크(350)에 의해 발생된 전기 적 신호를 증폭시킨다(S707).
모드 선택부(390)는 청취자의 선택명령에 기초하여, 송수신부(310)를 통해 송수신되는 음향신호를 보정할 것인지, 마이크 증폭부(360)에 의해 증폭되는 전기적 신호를 보정할 것인지 또는 음향신호 및 전기적 신호를 모두 보정할 것인지를 선택한다. 음향 송수신장치(300)가 적용된 헤드셋(500)을 이동통신 단말기에 연결하여 사용하는 경우, 모드 선택부(390)에 의해 상대방과의 통화를 위한 통화 모드, 통화 중에 주변의 사람과 대화를 하기 위한 대화 모드, 통화를 하면서 주변의 음향기기로부터 출력되는 음향을 함께 청취하기 위한 시청 모드 등의 선택이 가능하게 된다. 또한, 음향 송수신장치(300)가 적용된 헤드셋(500)을 라디오, 오디오, TV 등과 같은 음향기기에 연결하여 사용하는 경우라면, 모드 선택부(300)에 의해 음향기기로부터 출력되는 음향만을 듣기 위한 청취 모드, 음향기기로부터 출력되는 음향의 청취를 잠시 차단하고 주변의 음향을 듣기 위한 대화 모드, 음향기기로부터 출력되는 음향과 주변의 음향을 함께 청취하기 위한 시청 모드 등의 선택도 가능하다.
만일, 모드 선택부(390)에 의해 전기적 신호의 보정(대화 모드)이 선택되면(S707), 보정부(330)는 저장부(320)에 저장된 청취자에 대한 청취범위 데이터에 기초하여 마이크 증폭부(360)에 의해 증폭되는 전기적 신호의 주파수 밴드별 이득 및 압출률을 조절하여 보정을 수행한다(S711). 이때, 송수신부(310)를 통해 송수신되는 음향신호는 차단되도록 함으로써, 대화 모드에서는 청취자가 주변의 음향만을 청취할 수 있도록 구현되는 것이 바람직하다. 대화 모드에서의 이후의 단계는 후술 한다.
만일, 모드 선택부(390)에 의해 음향신호의 보정(통화 모드)이 선택되면(S707), 보정부(330)는 저장부(320)에 저장된 청취자에 대한 청취범위 데이터에 기초하여 송수신부(310)를 통해 송수신되는 음향신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행한다(S713). 이때, 마이크 증폭부(360)를 통해 증폭되는 전기적 신호는 차단되도록 함으로써, 통화 모드에서는 청취자가 음향기기로부터 수신되는 음향만을 청취할 수 있도록 구현되는 것이 바람직하다.
신호처리부(380)는 보정부(330)에 의해 보정된 음향신호에 대하여 잡음을 제거하거나, 설정된 대역으로 필터링 하거나, 기타 일반적인 신호처리 과정을 수행한다(S715). 이와 같이 신호처리된 음향신호는 리시버(240)에 의해 음향으로 변환되어 출력된다(S717).
모드 선택부(390)에 의해 대화 모드가 선택되고, 보정부(330)에 의한 전기적 신호의 보정이 완료된 경우, 보정된 전기적 신호는 출력 선택부(370)에 의한 선택에 따라 송수신부(310)를 통해 외부기기로 송신되거나 리시버(340)를 통해 출력될 수 있다. 이것은 본 발명의 실시예가 적용된 헤드셋(500)(도 5 참조)이 이동통신 단말기에 연결되어 음향을 송수신하는 경우를 고려한 것으로서, 통화 상대방의 가청주파수를 고려하여 청취자의 음향에 대한 보정을 수행하도록 구현될 수도 있다. 즉, 리시버(340)로 출력하도록 선택된 경우(S719)에는 전술한 단계 S715 및 S717과 동일한 과정이 수행된다. 이에 대해, 송수신부(310)를 통해 외부기기로 송신할 것이 선택된 경우(S719), 마이크 증폭부(360)는 마이크(350)로부터 청취자에 의해 입 력된 음향에 대한 전기적 신호를 수신하여 증폭하며, 보정부(330)는 마이크 증폭부(360)에 의해 증폭된 전기적 신호에 대하여 이득 및 압축률을 보정할 수 있다. 이 경우, 저장부(320)는 통화 상대방에 대한 청취범위 데이터를 저장하며, 청취자의 선택에 따라 통화 상대방에 대한 청취자의 음향신호의 보정이 이루어질 수 있도록 구현되는 것이 바람직하다.
신호처리부(380)는 보정부(330)에 의해 보정된 청취자의 음향신호에 대하여 잡음 제거, 하울링 제거 등의 신호처리를 수행한다(S721). 이와 같이 신호처리된 청취자의 음향신호는 송신부(310)를 통해 통화 상대방의 단말기로 전송됨으로써, 통화 상대방의 청취범위에 맞춰 청취자의 음향신호를 보정하는 것이 가능하게 된다(S723).
여기서는, 모드 선택부(390)에 의해 송수신부(310)를 통한 음향신호 또는 마이크 증폭부(360)에 의해 증폭되는 전기적 신호가 선택되어 보정되는 것으로 설명하였지만, 모드 선택부(390)에 의해 음향신호 및 전기적 신호가 동시에 선택되어 보정되도록 구현될 수도 있다. 이 경우, 청취자는 리시버(340)를 통해 음향기기로부터 수신한 음향을 청취할 수 있을 뿐만 아니라, 주변의 음향을 동시에 청취하는 것도 가능하다. 다만, 이와 같은 경우에는 두 가지의 음향이 서로 섞여 청취자가 혼동을 일으키는 것을 방지하기 위하여, 신호처리부(380)는 각각의 음향신호를 서로 다른 세기로 출력하도록(예를 들면, 송수신부(310)를 통한 음향신호는 높은 대역으로 설정하며 마이크 증폭부(360)에 의한 전기적 신호는 낮은 대역으로 설정하는 등) 구현될 수도 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어 와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 연령에 따른 가청주파수를 나타낸 그래프이다.
도 2는 일반적인 음향 송수신장치에 의한 가청주파수의 보정을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 음향 송수신장치를 개략적으로 도시한 도면이다.
도 4는 도 3의 음향 송수신장치에 의한 가청주파수의 보정을 예시한 도면이다.
도 5는 도 3의 음향 송수신장치가 적용되는 헤드셋의 예를 나타낸 도면이다.
도 6은 본 발명의 다른 실시예에 따른 음향 송수신장치를 개략적으로 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 음향 송수신방법을 나타낸 흐름도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
300, 600: 음향 송수신장치 310: 송수신부
320, 620: 저장부 330, 630: 보정부
340: 출력부 350, 660: 마이크
360, 670: 마이크 증폭부 370: 출력 선택부
380, 650: 신호 처리부 390, 680: 모드 선택부

Claims (20)

  1. 유선 또는 무선으로 외부와 음향신호를 송수신하는 송수신부;
    음향을 집음하여 전기적인 신호를 발생시키는 마이크;
    상기 마이크에 의해 발생되는 전기적 신호를 증폭하는 마이크 증폭부;
    청취자(사용자 및 통화 상대방)에 대한 청취범위 데이터를 저장하는 저장부;
    상기 송수신부를 통해 수신되는 음향신호 및 상기 마이크 증폭부에 의해 증폭되는 전기적 신호 중 적어도 어느 하나를 보정할 것인지 선택하는 모드 선택부;
    마이크를 통하여 집음된 전기적 신호를 출력부 또는 상기 송수신부를 통하여 외부로 송신할 것인지 선택하는 출력 선택부;
    상기 저장부에 저장된 청취범위 데이터에 기초하며, 상기 모드 선택부에 의하여 선택된 음향신호 또는 전기적 신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행하는 보정부 및
    상기 보정부에 의해 보정된 음향신호를 출력하는 출력부를 포함하고,
    상기 출력 선택부에 의하여 마이크를 통하여 집음된 전기적 신호를 송수신부를 통하여 외부로 송신하는 것으로 선택되는 경우, 상기 보정부는 상기 저장부에 저장된 통화 상대방의 청취범위 데이터에 기초하여 압축률을 조절하여 보정을 수행하는 것을 특징으로 하는 음향 송수신 장치.
  2. 제 1 항에 있어서,
    상기 보정부에 의해 보정된 음향 신호 및 전기적 신호 중 적어도 어느 하나에 대하여 잡음 및 하울링을 제거하기 위한 신호처리를 수행하는 신호처리부를 더 포함하는 음향 송수신장치.
  3. 청취자(사용자 및 통화 상대방)에 대한 청취범위 데이터를 저장하는 단계;
    유선 또는 무선으로 외부로부터 음향신호를 송수신하는 단계;
    음향을 마이크를 통하여 집음하여 전기적 신호 신호를 발생하고 증폭시키는 단계;
    상기 음향신호 및 증폭된 전기적 신호중 적어도 어느 하나를 선택하는 단계;
    마이크를 통하여 집음된 전기적 신호를 출력부 또는 송수신부를 통하여 외부로 송신할 것인지 선택하는 단계;
    상기 청취범위 데이터에 기초하여 선택된 음향신호 또는 전기적 신호의 주파수 밴드별 이득 및 압축률을 조절하여 보정을 수행하는 단계 및
    보정된 상기 음향신호를 출력하는 단계를 포함하고,
    전기적 신호를 송수신부를 통하여 외부로 송신하는 것으로 선택되는 경우, 상기 통화 상대방의 청취범위 데이터에 기초하여 압축률을 조절하여 보정을 수행하는 것을 특징으로 하는 음향 송수신 방법.
  4. 제 3 항에 있어서,
    상기 보정을 수행하는 단계에 의해 보정된 음향 신호 및 전기적 신호 중 적어도 어느 하나에 대하여 잡음 및 하울링을 제거하기 위한 신호처리를 수행하는 단계를 더 포함하는 음향 송수신 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020090098939A 2009-10-16 2009-10-16 음향 송수신장치 및 그 송수신방법 KR101122043B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090098939A KR101122043B1 (ko) 2009-10-16 2009-10-16 음향 송수신장치 및 그 송수신방법
PCT/KR2010/006128 WO2011046297A2 (ko) 2009-10-16 2010-09-09 음향 송수신장치 및 그 송수신방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090098939A KR101122043B1 (ko) 2009-10-16 2009-10-16 음향 송수신장치 및 그 송수신방법

Publications (2)

Publication Number Publication Date
KR20110041911A KR20110041911A (ko) 2011-04-22
KR101122043B1 true KR101122043B1 (ko) 2012-03-12

Family

ID=43876657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090098939A KR101122043B1 (ko) 2009-10-16 2009-10-16 음향 송수신장치 및 그 송수신방법

Country Status (2)

Country Link
KR (1) KR101122043B1 (ko)
WO (1) WO2011046297A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990812B1 (ko) * 2018-02-13 2019-09-30 주식회사 이엠텍 웨어러블 음향 변환 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264892A (ja) 2002-03-07 2003-09-19 Matsushita Electric Ind Co Ltd 音響処理装置、音響処理方法およびプログラム
KR20090065743A (ko) * 2007-12-18 2009-06-23 주식회사 바이오사운드랩 무선 헤드셋
KR20090065793A (ko) * 2007-12-18 2009-06-23 주식회사 바이오사운드랩 절전형 보청기 및 그 제어방법
KR100925022B1 (ko) * 2007-04-30 2009-11-04 주식회사 크리스틴 청력도 기반의 음질보정 음향출력장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264892A (ja) 2002-03-07 2003-09-19 Matsushita Electric Ind Co Ltd 音響処理装置、音響処理方法およびプログラム
KR100925022B1 (ko) * 2007-04-30 2009-11-04 주식회사 크리스틴 청력도 기반의 음질보정 음향출력장치
KR20090065743A (ko) * 2007-12-18 2009-06-23 주식회사 바이오사운드랩 무선 헤드셋
KR20090065793A (ko) * 2007-12-18 2009-06-23 주식회사 바이오사운드랩 절전형 보청기 및 그 제어방법

Also Published As

Publication number Publication date
WO2011046297A3 (ko) 2011-08-04
KR20110041911A (ko) 2011-04-22
WO2011046297A2 (ko) 2011-04-21

Similar Documents

Publication Publication Date Title
US9398381B2 (en) Hearing instrument
EP3249944A1 (en) Active noise reduction headset device with hearing aid features
US8144891B2 (en) Earphone set
US9344543B2 (en) Utilizing telecoil compatibility on a mobile device for improving frequency range of multimedia playback
RU2568281C2 (ru) Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате
JP5151762B2 (ja) 音声強調装置、携帯端末、音声強調方法および音声強調プログラム
US20050135644A1 (en) Digital cell phone with hearing aid functionality
KR20130115176A (ko) 보이스 코일 채널 및 개별적으로 증폭되는 텔레코일 채널을 갖는 오디오 장치
US20220217475A1 (en) Hearing aid with wireless transmission function
US20080240477A1 (en) Wireless multiple input hearing assist device
KR20100121176A (ko) 무선 골전도 헤드셋 및 이를 이용한 오디오 신호 출력 방법
KR101450014B1 (ko) 블루투스를 이용한 스마트 사용자 보조 장치
KR100809549B1 (ko) 보청기 겸용 무선 헤드셋 및 그 제어방법
EP3358745B1 (en) An adaptive level estimator, a hearing device, a method and a binaural hearing system
JP5417821B2 (ja) 音声信号再生装置、携帯電話端末
KR101361822B1 (ko) 분리형 보청기
KR100945840B1 (ko) 무선 헤드셋
KR100955501B1 (ko) 핸드폰 연결용 보청기
KR101122043B1 (ko) 음향 송수신장치 및 그 송수신방법
EP3072314B1 (en) A method of operating a hearing system for conducting telephone calls and a corresponding hearing system
EP4250759A1 (en) Earphone and earphone control method
KR101117255B1 (ko) 청력보정 기능을 가지는 음향변환기기
KR20110080306A (ko) 보청기 기능이 구비된 휴대용 단말기
US8824668B2 (en) Communication system comprising a telephone and a listening device, and transmission method
JP3211617U (ja) 会話補助システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200109

Year of fee payment: 9