WO2018093019A1 - 스마트폰 기반의 보청기 - Google Patents

스마트폰 기반의 보청기 Download PDF

Info

Publication number
WO2018093019A1
WO2018093019A1 PCT/KR2017/009320 KR2017009320W WO2018093019A1 WO 2018093019 A1 WO2018093019 A1 WO 2018093019A1 KR 2017009320 W KR2017009320 W KR 2017009320W WO 2018093019 A1 WO2018093019 A1 WO 2018093019A1
Authority
WO
WIPO (PCT)
Prior art keywords
smartphone
analog
signal
hearing aid
interface unit
Prior art date
Application number
PCT/KR2017/009320
Other languages
English (en)
French (fr)
Inventor
박홍준
조성은
성기환
이원철
노현규
목임수
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to US16/462,145 priority Critical patent/US10993046B2/en
Publication of WO2018093019A1 publication Critical patent/WO2018093019A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/04—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception comprising pocket amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10—Program control for peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Definitions

  • the present invention relates to a hearing aid, and more particularly, it is possible to reduce the size by connecting an analog interface unit composed of one integrated circuit chip between a plurality of microphones and a smartphone without using a separate power supply device or a digital signal processing device. And a smartphone-based hearing aid that can improve audio performance while reducing costs.
  • DSP digital signal processor
  • Hearing aid users usually prefer to prevent others from being aware of the fact that they are using hearing aids. Recently, hearing aids are deeply located in the user's ears and their size keeps decreasing. Hearing aids have a built-in battery. As the size of hearing aids decreases, the size and capacity of the batteries embedded in the hearing aids also decrease, so that the power consumption of the hearing aid signal processing chip must be reduced. Therefore, as the hearing aid size decreases, it becomes increasingly difficult to perform high performance signal processing in the hearing aid.
  • PSAPs personal sound amplification products
  • Smartphones are applications that incorporate an audio codec (codec) chip, a central processing unit (CPU) and a graphic processing unit (GPU) with microphones, speakers, and audio input / output signal processing.
  • An application processor (hereinafter referred to as an "AP") includes all the components necessary for the operation of hearing aids, including a chip. Therefore, when the AP performs the digital signal processing required for the operation of the hearing aid, the smartphone can be used as a substitute for the hearing aid.
  • the CPU is in charge of an algorithm for making a relatively complex decision and the GPU is relatively simple, but it is possible to greatly increase the computation speed by having a lot of iterative processing in parallel.
  • Digital signal processing required for the operation of the hearing aid includes beam forming, filter bank separation, wide dynamic range compression, and frequency equalization.
  • the number of built-in microphones is limited to two or three smartphones, so that even if high-performance signal processing such as beamforming is applied, the quality of the sound signal output is limited, and the acoustic signals received by the microphone are Due to the long delay to reach the speaker built into the smartphone, it is difficult to use as a direct replacement for hearing aids.
  • the delay time from the microphone to the speaker is long, the sound signal is caused by the interference caused by the delay time difference between the sound signal transmitted directly to the user's ear and the sound signal transmitted to the ear through the smartphone. Deterioration of the quality and the sound transmitted to the ear through the smartphone and the change in the shape of the lips of the other party does not coincide with each other, the user will feel uncomfortable.
  • the delay time from the time when the sound signal is input to the microphone attached to the hearing aid to the time output through the hearing aid circuit to the speaker of the hearing aid is usually maintained within a maximum of 10 ms. Ms is a unit representing milliseconds, which corresponds to one thousandth of a second.
  • the delay time is often more than 200ms, for the following reasons.
  • the smartphone collects the audio data by a predetermined unit and processes the application processor or the audio codec once.
  • the audio data processing unit of a smart phone is a sample number of audio signals processed by an application processor or an audio codec at a time in a smart phone and varies widely, such as 64, 128, 256, 512, 1024, 240, 480, 960, and 1920.
  • the sample rate of the audio signal used by the smartphone is 44.1kS / sec or 48.0kS / sec. If the sample rate is 48.0kS / sec and the audio data processing unit is 240 samples, the smartphone collects audio data for 5ms and then 5ms. Each time, the application processor sends the audio data to an audio codec embedded in the smartphone for processing.
  • the latency from the time received to the microphone to the output from the speaker increases because of the waiting time in the input / output data buffer.
  • the waiting time in the input / output data buffer is up to 10 ms, and the waiting time is calculated as follows.
  • the user After the audio signal is input to the microphone, amplified by the audio codec chip, and converted into a digital signal, the user must wait up to 5 ms for 240 samples to fill the input code buffer of the audio codec, and the audio signal is processed by the smartphone and After being stored in random access memory (RAM), 240 samples of data must be sent to the audio codec's output data buffer at a time for up to 5ms to be output to the speaker.
  • RAM random access memory
  • the maximum delay time from the microphone to the speaker through the smartphone is required for signal processing at 10 ms, which is the input / output data buffer waiting time.
  • the total of the time is more than 10ms.
  • the sample rate is 48 kS / sec and the audio data processing unit is 1920 samples
  • the input / output data buffer waiting time is 80 ms.
  • a delay time until the sound signal input from the Android smartphone to the microphone is output to the speaker via the smartphone is 200 ms or more.
  • the technical problem to be solved by the present invention is to reduce the size and cost by connecting the analog interface unit consisting of one integrated circuit chip between a plurality of microphones and smartphones without using a separate power supply device or digital signal processing device To provide a smartphone-based hearing aid that can improve audio performance while reducing the cost.
  • Smartphone-based hearing aid a microphone array consisting of a plurality of microphones for converting and outputting the received sound signal to an electrical signal; Receiving and amplifying a plurality of analog signals output from the microphone array as inputs, and converting each of the analog signals into digital signals, and then outputting the converted digital signals to a smartphone, and converting the digital signals inputted from the smartphone into analog signals.
  • An analog interface unit that selectively includes a function of outputting to a speaker;
  • a smart phone that performs signal processing for a hearing aid operation on the digital signal input from the analog interface unit and outputs the signal processed digital signal to the analog interface unit or converts the digital signal into an analog signal to a speaker;
  • a speaker for converting the analog signal input from the analog interface unit or the smart phone into an acoustic signal;
  • a first connection device connecting the analog interface unit and the smart phone;
  • a second connection device connecting the speaker to the smartphone or the analog interface unit;
  • And a third connection device connecting the microphone array and the analog interface unit.
  • Smartphone-based hearing aids instead of using a digital signal processing chip that is essentially used in conventional hearing aids or personal sound amplifiers, instead of the application processor (AP), RAM (RAM), digital-
  • AP application processor
  • RAM RAM
  • digital- digital-
  • the advantage is low cost by utilizing components such as analog converters, speakers and displays.
  • the CPU and GPU embedded in the smartphone's application processor the digital signal processing required for the operation of hearing aids can be processed in milliseconds using only software.
  • FIG. 1 is a view showing the configuration of a smartphone-based hearing aid according to the present invention.
  • FIG. 2 is a diagram illustrating a detailed configuration of an analog interface unit included in a smart phone-based hearing aid according to an exemplary embodiment of the present invention.
  • FIG. 3 is a view showing a detailed configuration of the components of the smartphone used in the smartphone-based hearing aid according to an embodiment of the present invention.
  • FIG. 4 is a view showing a detailed configuration in the case of fixing the analog interface of the smartphone-based hearing aid according to an embodiment of the present invention on the back of the smartphone.
  • FIG. 5 is a diagram illustrating a detailed configuration of connecting an analog interface unit of a smart phone-based hearing aid in a dongle form to a data port of a smart phone.
  • FIG. 6 is a view showing a detailed configuration of a third connection device according to an embodiment of the present invention.
  • FIG. 7 is a view showing the arrangement and detailed configuration of the second connection device, the speaker and the third connection device according to an embodiment of the present invention.
  • FIG. 8 is a flowchart of a smartphone app program provided in a smartphone included in a smartphone-based hearing aid according to an embodiment of the present invention.
  • FIG. 9 is a detailed flowchart of a driving program execution step included in FIG. 8.
  • FIG. 10 is a flowchart of a step of performing an amplification gain determination program included in FIG. 8.
  • FIG. 11 is a detailed flowchart of a digital signal processing program performing step included in FIG. 8.
  • FIG. 12 is a detailed diagram of beamforming, filterbank separation, output amplitude range compression, and equalization operations included in the digital signal processing program of FIG.
  • FIG. 1 is a view showing the configuration of a smartphone-based hearing aid according to an embodiment of the present invention.
  • a smartphone-based hearing aid includes a microphone array 300, an analog interface unit 100, a smartphone 200, a speaker 600, and a first connection device 400. ), The second connection device 500 and the third connection device 700 are configured.
  • the microphone array 300 is composed of a plurality of microphones for outputting a plurality of analog signals by converting a sound signal received from the outside into an electrical signal.
  • the number of microphones included in the microphone array 300 is set to eight, and each microphone may use a MEMS (micro electro mechanical system) microphone or an electret microphone.
  • MEMS micro electro mechanical system
  • the analog interface unit 100 receives and amplifies a plurality of analog signals output from the microphone array through the third connection device 700, and converts the converted digital signals into digital signals. Includes the ability to output to. Meanwhile, the analog interface unit 100 may selectively include a function of receiving a digital signal from the first connection device 400, converting the digital signal into an analog signal, and outputting the analog signal to the speaker 600 through the first audio jack 190. Can be. At this time, the first audio jack 190 is preferably a 3.5mm female audio jack.
  • the smartphone 200 includes a function of performing signal processing necessary for an operation of a hearing aid with respect to a digital signal received from the analog interface unit 100 through the first connection device 400, and the signal processed digital signal. Selectively converts a signal into an analog signal and outputs the signal to the second audio jack 280 and outputs the signal-processed digital signal to the analog interface unit 100 through the first connection device 400. Include. At this time, the second audio jack 280 is preferably a 3.5mm female audio jack.
  • the second connection device 500 selectively selects the speaker 600 to the first audio jack 190 of the analog interface unit 100 or the second audio jack 280 of the smartphone 200.
  • an analog signal output to the first audio jack 190 or the second audio jack 280 is selectively converted into an acoustic signal from the speaker and output.
  • the speaker 600 is composed of two earphones located in the left and right ears of the hearing aid user.
  • FIG. 2 is a diagram illustrating a detailed configuration of an analog interface unit included in a smart phone-based hearing aid according to an exemplary embodiment of the present invention.
  • the analog interface unit 100 includes an analog amplifier 110, an analog-digital converter 120, a read FIFO memory 130, a device serial data transceiver 140, a clock generator 150, and a supply voltage.
  • the converter 160, the write FIFO memory 170, and the speaker driving circuit 180 are configured.
  • the analog amplifier 110 receives a plurality of analog signals A 1 , A 2 , A 3 , ..., Am inputted from the microphone array 300 through the third connection device 700. Each amplification gain is amplified according to an amp gain control signal received from the transceiver 140 and output as another analog signal.
  • the analog-to-digital converter 120 receives analog output signals of the plurality of analog amplifiers 110 as inputs, converts them into digital signals, and outputs them.
  • the read FIFO memory 130 receives the digital output signal of the analog-to-digital converter 120 as an input and outputs one 8-bit or 16-bit parallel digital signal to the device serial data transceiver 140.
  • the device serial data transceiver 140 receives the digital output signal of the Read FIFO memory 130 as an input and delivers it to the smartphone 200 through the first connection device 400 and amplifies the analog amplifier 110. Receives an amp gain control signal for controlling the gain (amp gain) from the smart phone 200 through the first connection device 400 and the received amplification gain control signal to the analog amplifier 110 A digital audio signal from the smartphone 200 is received through the first connection device 400 and the digital audio signal having completed the signal processing necessary for the operation of the hearing aid in the smartphone 200 and writes the received digital audio signal to the write FIFO memory ( 170) to output.
  • the write FIFO memory 170 outputs the digital audio signal input from the device serial data transceiver 140 to the speaker driving circuit 180.
  • the speaker driving circuit 180 converts the digital audio signal input from the write FIFO memory 170 into an analog signal and outputs the analog audio signal to the first audio jack 190.
  • the speaker driving circuit 180 includes an interpolation filter, a delta-sigma modulator, a class D amplifier, and an LC lowpass filter.
  • the first audio jack 190 receives an analog signal output from the speaker driving circuit 180 as an input and transmits the analog signal to the speaker 600 via the second connection device 500.
  • the clock generator 150 may include a first clock signal CK1 applied to the analog-digital converter 120, a second clock signal CK2 applied to the read FIFO memory 130, and the device serial data transceiver 140.
  • the third clock signal CK3 applied to the fourth clock signal CK4 applied to the write FIFO memory 170 and the fifth clock signal CK5 applied to the speaker driving circuit 180 are generated.
  • the supply voltage converter 160 receives the DC voltage VCC from the smartphone 200 through the VCC and the GND wires of the first connection device 400 to the analog amplifier 110 and the analog-digital converter 120. ), The read FIFO memory 130, the device serial data transceiver 140, the write FIFO memory 170, the speaker driving circuit 180, the clock generator 150, and the third connection device 700. It generates a supply voltage applied to each.
  • the circuit constituting the analog interface unit 100 includes an inductor (inductor) connected to the supply voltage converter 160, an oscillator (crystal) connected to the clock generator and a capacitor which is a passive element, and the speaker driving circuit. Except for the inductors and capacitors included in the LC lowpass filter, several capacitors used to stabilize the supply voltage, and several resistors, it is desirable to implement them all on one integrated circuit chip.
  • the number of amplifiers included in the analog amplifier 110 and the number of analog-digital converters included in the analog-digital converter 120 are equal to the number of microphones of the microphone array 300, respectively. Eight were made.
  • an Android smartphone was used as the smartphone 200 and a USB (unversal serial bus) 1.1 transceiver used in the Android phone was used as the device serial data transceiver 140.
  • the Apple iPhone using the Lightning port instead of the USB OTG data port used in the embodiment of the present invention and the smart using the USB type-C port The present invention can also be applied to a phone.
  • the amplification gain of the analog amplifier 110 determines that the maximum range of the eight output signals of the analog amplifier does not exceed the convertible input voltage range of the analog-to-digital converter.
  • the amplification gain control signal is determined such that the output signal is within 10% and 90% of the convertible input voltage range of the analog-to-digital converter.
  • the analog-to-digital converter 120 includes a delta-sigma modulator and a decimation filter to output a pulse code modulation (PCM) code, which is general digital data.
  • PCM pulse code modulation
  • the supply voltage converter 160 receives a direct current (DC) 5V voltage from the smartphone 200 through the first connection device 400 and all the circuits of the analog interface unit 100 and the microphone array 300. To generate the supply voltage required for the operation.
  • DC direct current
  • the hearing aid according to the embodiment of the present invention is supplied with all the necessary DC voltage from the battery of the smart phone does not require an additional battery. This can reduce the overall size and price of the hearing aid according to an embodiment of the present invention.
  • the first connection device 400 is composed of a USB OTG (on the go) connector 410 and a USB OTG cable 420, the data port (port) of the smartphone and the analog interface unit Connect.
  • the USB OTG connector 410 and the USB OTG cable 420 include five wires of DP, DM, VCC, GND, and ID, respectively, to perform bidirectional USB data communication through the DP and DM wires, and to connect the VCC and GND wires.
  • the DC voltage is supplied from the smartphone to the analog interface unit.
  • the ID lead is shorted to the GND lead so that the smartphone acts as a host for USB communication. If the ID wire is open and not connected to any wire, the smartphone operates as a device for USB communication, which is applied when the smartphone is connected to a personal computer (PC) via a USB OTG cable. .
  • PC personal computer
  • the DC-DC converter requires an inductor.
  • the clock generator 150 generates an accurate clock signal necessary for the operation of the analog-to-digital converter, the read FIFO memory, the device serial data transceiver, the write FIFO memory 170 and the speaker driving circuit 180. Use an oscillator (crystal).
  • the clock signal CK3, the fourth clock signal CK4 necessary for the write FIFO memory 170, and the fifth clock signal CK5 necessary for the speaker driving circuit 180 are generated.
  • FIG. 3 is a view showing a detailed configuration of the components of the smartphone included in the smart phone-based hearing aid according to an embodiment of the present invention.
  • Smartphone 200 included in the smartphone-based hearing aid an application processor (Application Processor: AP, 210), including a central processing unit (CPU) and graphics processing unit (GPU), smart A host serial data transceiver 220 connecting the application processor 210 and the first connection device 400 through a data port of a phone, a RAM connected to the application processor 210, a RAM 230, and the application processor.
  • Display and touch sensor module 260 connected to the 210, the digital-to-analog converter 250 for connecting the application processor 210 and the second audio jack 280, the first connection device by generating a DC supply voltage And a supply voltage generator 240 and a flash memory 270 to supply the 400.
  • the second audio jack 280 outputs the output signal of the digital-analog converter 250 to the speaker 600 through the second connection device 500.
  • the data port of the smartphone is mainly for connecting a charging cable for charging the smartphone or for connecting a data communication cable for data communication between the smartphone and a PC, a USB memory stick or a USB dongle. use.
  • the data port of the smart phone is used for two purposes, one for the purpose of performing data communication between the smart phone 200 and the analog interface unit 100 and the other from the smart phone The analog interface unit 100 receives power.
  • a DC power required for the analog interface unit 100 and the microphone array 300 is supplied from the smart phone.
  • Android smartphones use a 5-pin micro USB OTG (On the Go) data port and Apple smartphones use an 8-pin Lightning data port. Supply from the phone to the external device.
  • the USB type C connector which is being used as a data port of a smart phone, uses 24 pins in a symmetrical structure, and is specified in the specification to supply a DC device of 5 mA or more with a current of 1000 mA or more.
  • the micro USB OTG data port is composed of five pins of DP, DM, VCC, GND, and ID.
  • the VCC and GND pins can receive a current of up to 100 mA at a DC voltage of 5 V from the smartphone to an external device. have.
  • the host serial data transceiver 220 is in charge of bidirectional data communication between the smartphone 200 and the analog interface unit 100 via the smartphone data port and the first connection device 400.
  • the supply voltage generator 240 generates a DC voltage to be supplied to the analog interface unit 100 and the microphone array 300 through the data port and the first connection device 400.
  • the supply voltage generator 240 The maximum current that can be supplied at is 100mA or higher.
  • the display and touch sensor module 260 is connected to the application processor 210 to perform a graphic user interface (GUI).
  • GUI graphic user interface
  • the RAM 230 includes an app program storage unit 231 for storing an app program executed in the application processor 210, and the smart interface from the analog interface unit 100 through the first connection device 400.
  • Input data buffer 232 for storing the data transmitted to the phone 200 and output data for storing the data to be output to the write FIFO memory 170 or the digital-to-analog converter 250 of the analog interface unit 100
  • a buffer 233 is included.
  • the app program storage unit 231 is a block of the RAM 230 that stores an app program (smartphone application) which is a program executed in the application processor 210 to operate the hearing aid according to the present invention. .
  • the app program includes a drive program for driving the host serial data transceiver 220, the display and touch sensor module 260, and the digital-to-analog converter 250, and an amplification gain value of the analog amplifier 110.
  • An amplification gain determination program for calculating a value and a digital signal processing program for performing digital signal processing for hearing aid operation on the data read from the input data buffer 232 and storing the result data in the output data buffer 233. do.
  • the input data buffer 232 is an area of the RAM 230 that stores data transmitted from the analog interface unit 100 to the smartphone 200 through the first connection device 400.
  • the output data buffer 233 is an area of the RAM 230 in which the application processor 210 stores data to be output to the analog interface unit 100 or the digital-to-analog converter 250.
  • the host serial data transceiver 220, the first connection device 400, the device serial data transceiver 140, the write FIFO memory 170, and the speaker driving circuit 180), the first audio jack 190, and the second connecting device 500 are sequentially output to the speaker.
  • a speaker When outputting data from the output data buffer to the digital-to-analog converter 250, a speaker is passed through a digital-to-analog converter (DAC) 250, a second audio jack 280, and a second connecting device 500. Output at (600).
  • DAC digital-to-analog converter
  • the flash memory 270 is a large memory and stores a coefficient value and a look up table (LUT) required for the digital signal processing program.
  • the digital-to-analog converter (250) is a DAC embedded in an audio codec chip included in a smart phone, in the case of outputting data from the output data buffer to the digital-to-analog converter.
  • the application processor (AP) reads digital data from the output data buffer 233 of the RAM and outputs the digital data to the digital-to-analog converter
  • the digital-to-analog converter converts the inputted digital data into analog.
  • the signal is converted into a signal and output to the speaker 600 through the second connection device 500.
  • the second connection device 500 is composed of one third audio jack 520 and an audio cable 510.
  • the third audio jack 520 is preferably a 3.5mm male audio jack.
  • the third audio jack 520 is selectively connected to the second audio jack 280 of the smartphone 200 or the first audio jack 190 of the analog interface unit 100 and the other end of the audio cable It is connected to two earphones, which are located in both ears of the user.
  • the speaker 600 may be configured as the earphone.
  • the second connection device 500 may be configured as a Bluetooth wireless connection.
  • the delay time according to the Bluetooth wireless connection is increased so that the signal received by the microphone array 300 is transmitted to the third connection device 700.
  • a delay time for sequentially passing through the analog interface unit 100, the first connection device 400, the smartphone 200, and the second connection device 500 to reach the speaker 600 ( latency) may be larger than the target 20ms (0.02 seconds) in the present invention.
  • the latency is less than 0.02 seconds (sec).
  • the delay time is 0.02 seconds. The delay time is maintained within 0.014 seconds when the third audio jack 520 is connected to the first audio jack 190 of the analog interface unit 100.
  • FIG. 4 is a view showing a detailed configuration in the case of fixing the analog interface of the smart phone-based hearing aid according to an embodiment of the present invention on the back of the smartphone.
  • one integrated circuit chip on one printed circuit board One first audio jack 190; One second microphone connector 790; One USB OTG cable 420; And several passive elements (resistance, capacitor, inductor, oscillation crystal) are attached.
  • the integrated circuit chip includes all the circuits except a few passive elements among the circuits constituting the analog interface unit 100 of FIG. 2. That is, the analog amplifier 110, the analog-to-digital converter 120, the read FIFO memory 130, the device serial data transceiver 140, the write FIFO memory 170, the speaker drive circuit 180, the supply voltage converter 160 ) And the inductor and resistor used in the supply voltage converter 160 among the clock generator 150, one oscillation crystal used in the clock generator 150, and the inductor and capacitor used in the speaker driving circuit 180. All circuits except elements are implemented in the one integrated circuit chip.
  • the first audio jack 190 attached to the printed board is selectively connected to the second connector 500 to transfer an analog signal generated from the integrated circuit chip to the speaker 600 through the second connector. do.
  • the USB OTG cable 420 attached to the printed board is connected to the integrated circuit chip through the data port of the smartphone together with the USB OTG connector 410 constituting the first connection device 400.
  • the analog signal generated by the microphone array 300 is received by the integrated circuit chip and the digitally converted signal is transmitted from the integrated circuit chip to the smartphone.
  • the first connection device completes the signal processing required for the operation of the hearing aid in the smartphone with respect to the digital signal received from the integrated circuit chip in software and as a result transfers the digital signal from the smartphone to the integrated circuit chip.
  • the amplification gain value required for matching the output voltage range of the analog amplifier 110 included in the integrated circuit chip with the pressure voltage range of the analog-digital converter 120 included in the integrated circuit chip in the smart phone. It calculates and transfers the calculated amplification gain value from the smart phone to the integrated circuit chip and the DC supply voltage generated by the smart phone to the integrated circuit chip.
  • the second microphone connector 790 attached to the integrated circuit chip is a part of the third connector 700, and transmits a plurality of analog signals generated in the microphone array 300 from the microphone array to the integrated circuit chip. Play a role.
  • the case in which the printed board is mounted inside is placed on the back of the smartphone opposite to the screen side of the smartphone 200 and the case is directly on the back of the smartphone or outside of the smartphone case located on the back of the smartphone.
  • FIG. 5 is a diagram illustrating a detailed configuration of connecting an analog interface unit of a smart phone-based hearing aid in a dongle form to a data port of a smart phone.
  • the USB OTG cable 420 constituting the first connection device 400 is eliminated when compared to FIG. 4, so that the size of the USB OTG cable 420 is eliminated. There is a disadvantage that the length is longer.
  • FIG. 6 is a view showing a detailed configuration of a third connection device 700 according to an embodiment of the present invention.
  • the third connection device 700 includes a plurality of printed boards 710, 720, 730, 740, 750, and 760; A plurality of conductors; First microphone connector 770; One support 780; And a second microphone connector 790 not shown in FIG. 6, wherein the analog signals A1, A2, A3, A4, A5, A6, A7, and A8 generated by the microphone array 300 are connected to the analog interface unit ( 100).
  • the second microphone connector 790 is located on the printed circuit board of FIG. 4 together with an integrated circuit chip implementing the analog interface unit 100.
  • the first microphone connector 770 is connected to a male-male connector. Are connected to each other.
  • Each of the plurality of printed boards constituting the third connecting device attaches one or a plurality of microphones to a surface thereof, and each of the printed boards is electrically connected to the first microphone connector 770 through a plurality of conductive wires.
  • Each microphone attached to the printed board is connected to the first microphone connector 770 through three wires of VDD, VSS, and Am.
  • Am is an analog output signal terminal of the microphone.
  • the one support 780 is made of a hollow pipe (pipe) -shaped bar is made of a material that is well bent, the plurality of printed boards and the plurality of conductors to which the microphone is attached in the inner empty space of the support And mechanically support and protect the plurality of microphones, the plurality of printed boards, and the plurality of conductive wires.
  • connection device 700 is a view showing the arrangement and detailed configuration of the second connection device 500, the speaker 600 and the third connection device 700 according to an embodiment of the present invention.
  • the third connector 700 coupled to the plurality of microphones
  • a substantial portion of the third connector 500 is physically coupled to each other. More specifically, the support 780 constituting the third connecting device 700 and the audio cable 510 constituting the second connecting device 500 are disposed in parallel proximity to each other and physically disposed at a plurality of positions. To combine. Due to the physical coupling, when the user uses the hearing aid according to the present invention, the first audio jack 520 constituting the second connection device 500 is located in the analog interface unit 100 or the smartphone 200.
  • the third connection device 700 When the speaker 600, which consists of two earphones connected to the audio jack 190 or the second audio jack 280 and attached to the second connection device 500, is located at the user's ear, the third connection device 700
  • the support 780 constituting) is maintained in a substantially straight shape so that a plurality of microphones coupled to the third connecting device are arranged to be separated from each other close to a predetermined interval shown by x value in FIG. 6.
  • An air signal is input to each point of the support 780 in which the plurality of microphones are located so that an input acoustic signal is well transmitted to the plurality of microphones.
  • FIG. 8 is a flowchart of a smartphone app program provided in a smartphone included in a smartphone-based hearing aid according to an embodiment of the present invention.
  • the smartphone app program proceeds in the order of the driver program execution step S500, the amplification gain determination program execution step S600, and the digital signal processing program execution step S700 required for the operation of the hearing aid and continues in this order. Is repeated.
  • FIG. 9 is a detailed flowchart of a driving program execution step included in FIG. 8.
  • the host serial data transceiver 220, the digital-to-analog converter 250, and the display and the touch sensor module 260 are driven.
  • the driving program performing step S500 may include performing a digital-to-analog converter data output program performing step S510 for controlling the operation of the digital-to-analog converter 250 and the host serial data transceiver 220.
  • a universal serial bus (USB) 1.1 data transmission / reception standard is used for transmission and reception of host serial data and device serial data.
  • USB universal serial bus
  • Applicable to The transmission method using the USB 1.1 standard has a lower maximum data transfer rate than the transmission method using the USB 2.0 standard, but has a small power consumption.
  • isochronous transfer method is adopted among USB data transmission methods.
  • a predetermined amount of data must be transmitted at every frame time determined by the USB interface standard, thereby enabling real-time operation.
  • One frame time is 1 msec in the USB 1.1 standard.
  • 768 bytes of data are transmitted from the analog interface unit 100 to the smartphone 200 during one frame time of 1 ms, and 192 bytes of data are transmitted from the smartphone to the analog interface unit. Therefore, in order to enable real-time operation in the embodiment of the present invention, it is necessary to be able to transmit 960 bytes of data in both directions for one frame time of 1 ms according to the USB 1.1 interface method.
  • the reason why 192 bytes of data should be transmitted from the smartphone 200 to the analog interface unit every 1 ms time is 48 kS / sec stereo data that has completed the signal processing necessary for the operation of the hearing aid in the smartphone. This is because it must be transmitted to the analog interface unit.
  • USB 1.1 standard adopts the isochronous transmission method and sets the payload to be transmitted in one data packet as 32 bytes, up to 36 data packets can be transmitted in one frame time of 1 ms.
  • up to 36 data packets can be transmitted in one frame time of 1 ms.
  • 30 32-byte data packets are transmitted during one frame time of 1 ms, all of the 960 bytes are transmitted, thereby enabling real-time operation.
  • the eight analog-to-digital converter output data stored in the Read FIFO memory 130 is the device serial data transceiver 140,
  • the first connection device 400, the host serial data transceiver 220, and the application processor 210 are sequentially stored in the input data buffer 232 of the RAM 230.
  • the data stored in the output data buffer 233 of the RAM 230 is stored in the application processor 210, the host serial data transceiver 220, and the first data transfer unit. 1 is stored in the Write FIFO memory 170 via the connection device 400 and the device serial data transceiver 140 in order.
  • the operation is as follows.
  • audio data is collected in a certain amount of memory buffer and processed by an application processor (AP) or an audio codec once.
  • AP application processor
  • the digital-to-analog converter (DAC) of the audio codec chip embedded in the smartphone Also outputs 240 samples of data every 5ms.
  • the application processor 210 of FIG. 232) and 240 samples are transmitted at a time when data is transmitted to the output data buffer 233, and data processing is performed by dividing the data into 240 sample units.
  • DAC digital-to-analog converter
  • step S510 since the DAC data output program outputs audio data once every 5 ms time in FIG.
  • step S510 if the audio data output time is different, the process proceeds to the next step, when the data of the packet unit to be transmitted / received through the first connection device 400 is generated, the host serial data transceiver driving program is performed (S520); If a touch sensor input signal is detected according to the graphic user interface), the touch sensor driving program is executed (S530). If there is no touch sensor input signal, the controller checks whether there is a new display content and performs a display driving program if there is a new display content. (S540)
  • step S510 of FIG. 9 is skipped. Start from step S520.
  • step S520 the smartphone 200 completes the signal processing necessary for the operation of the hearing aid and stores the data stored in the output data buffer 233 of the RAM 230 in the application processor 210 and the host serial data transceiver 220. ), The first connector 400, the device serial data transceiver 140, the Write FIFO memory 170, the speaker drive circuit 180, the first audio jack 190, and the second connector 550 in order. Output to the speaker 600.
  • the processing unit of the audio data 240 Since the waiting time (5 ms) for gathering by the sample) is eliminated, the latency from the microphone array 300 to output through the hearing aid of the present invention to the speaker 600 is greatly reduced.
  • FIG. 10 is a detailed flowchart of an amplification gain determination program performing step included in FIG. 8.
  • an amplification gain value of the analog amplifier 110 shown in FIG. 2 is determined.
  • a plurality of analog input signals A1, A2, A3, A4, A%, A6, A7, A8 output from the microphone array 300 composed of a plurality of microphones of FIG. 1 are each an analog amplifier 110 of FIG. ),
  • the data stored in the input data buffer 232 of the RAM 230 is read (S610), and the minimum and maximum values of the digital signals corresponding to the outputs of the microphones are narrow in the input range of the analog-to-digital converter. Rather, the gain value of the analog amplifier is determined to be distributed over a fairly wide area (S620).
  • the minimum and maximum values of the values stored in the input data buffer for all microphones are as close as possible to hexadecimal x2000 (8,192 decimal) and hexadecimal xE000 (57,344 decimal), respectively.
  • Adjust the amplification gain of the analog amplifier In this case, the amplification gain values of the plurality of analog amplifiers are all the same value.
  • the amplified gain value of the determined analog amplifier is passed through the application processor 210 of FIG. 3, the host serial data transceiver 220, the first connection device 400, and the device serial data transceiver 140 of FIG. 2. Is applied as an amp gain control signal (S630).
  • FIG. 11 is a detailed flowchart of the digital signal processing program performing step S700 required for the operation of the hearing aid included in FIG. 8.
  • the values stored in the input data buffer are calibrated so that the power values of the output signals for a predetermined time are the same for each of the plurality of microphones (S720).
  • one data signal is generated by performing a beamforming operation from the input data values corrected for the plurality of microphone signals.
  • the beamforming operation makes only the sound signal propagating in a specific direction heard well. For example, the acoustic signal generated from the front of the user is easily heard by the beamforming operation, and the acoustic signal generated from the side or the rear of the user is hardly heard.
  • a single data signal generated by the beamforming operation is performed as a filter bank separation operation to a plurality of narrow band channel signals having a narrow frequency band adjacent to each other. Remove (S740).
  • 11 filter bank signals are generated, and each filter bank signal has a bandwidth of 147 to 212.5 Hz, 212.5 to 289 Hz, 289 to 418 Hz, 418 to 605 Hz, 605 to 875 Hz, 875 to 1265 Hz, and 1265 to 1829 Hz. , 1829 ⁇ 2645Hz, 2645 ⁇ 3825Hz, 3825 ⁇ 5532Hz, and 5532 ⁇ 8000Hz.
  • a wide dynamic range compression (WDRC) operation and an equalization operation required for the operation of the hearing aid and the personal sound amplifier are performed for each filter bank signal (S750).
  • the result data of the eleven filterbank signals are summed to generate one signal and stored in the output data buffer 233 of the RAM 230 (S760).
  • Coefficients for the filter bank separation and beamforming operations, a look up table for the WDRC operation, and the coefficients for the equalization operation are stored in the flash memory 270 of FIG. 3. Save it.
  • FIG. 12 is a detailed diagram of beamforming (S730), filterbank separation (S740), output amplitude range compression (WDRC), and equalization operation (S750) included in the digital signal processing program of FIG.
  • D1, D2, D3, D4, D5, D6, D7 and D8 are respectively output at m1, m2, m3, m4, m5, m6, m7 and m8 constituting the microphone array 300 shown in FIG.
  • the analog signal is converted into a digital signal by the analog-digital converter 120 to represent data stored for each microphone in the input data buffer of the smartphone RAM 230.
  • one signal is generated by summing all eight signals passing through one all-pass filter and seven low pass filters (LPF), and generating one signal. Apply differential filter whose transfer function is proportional to signal frequency.
  • the frequency presented with the low pass filter LPF of FIG. 12 represents the bandwidth of the low pass filter LPF.
  • the filter bank separation operation S740 includes a plurality of band pass filters BPFs adjacent to each other in a pass bandwidth to separate an output signal of the beamforming operation S730 into a plurality of band pass signals.
  • the output amplitude range compression (WDRC) and equalization operation (S750) performs different output amplitude range compression and frequency equalization operations on the plurality of bandpass signals, and then adds the result values to one output signal ( Dout) and store the output signal Dout in the output data buffer 233 of the smartphone RAM 230.
  • the delay time from the sound signal input to the microphone to the signal processing and output to the speaker is as short as possible.
  • the delay time is approximately 35 ms (0.035 seconds) or more, the user recognizes the sound transmitted to the ear directly through the hearing aid and the sound transmitted directly to the ear without passing through the hearing aid, so that a single acoustic signal is heard twice. There is a ham.
  • the delay time is aimed to be within 20 ms (0.02 seconds).
  • the digital signal processing program for the hearing aid operation of FIG. 11 processes data in units of 240 samples.
  • the voice signal is inputted from the microphone array 300 until it is output from the speaker 600 through the hearing aid according to the present invention.
  • the latency of is calculated by Equation 2.
  • the analog-to-digital converter (ADC) 120 is composed of a delta-sigma modulator and a decimation filter, which completes the analog-to-digital conversion operation within 1 ms (0.001 sec) and closes the USB interface.
  • ADC analog-to-digital converter
  • sample data which is an audio signal processing unit, is executed by the application processor 210 by reading the RAM 230 input data buffer 232 and calling a software signal processing program stored in the application program storage 231, and the result data.
  • the operation of storing the data in the output data buffer 233 of the RAM 230 is completed within 5 ms (0.005 seconds).
  • the hearing aid according to the present invention starts from the time when the sound signal is input to the microphone array 300 and then passes through the hearing aid according to the present invention. It is preferable to set the delay time until output to 600 within 20 ms (0.02 seconds).
  • the signal processing time is less than 5ms as shown in equation (2).
  • RAM-to-CODEC DAC transfer time (3 ms) and DAC wait time (5 ms) are not required in Equation 2, and thus the delay time is greatly increased. It can be shortened. However, twice as much as USB 1.1 frame time (1ms) is required to transfer data from the output data buffer 233 of the smartphone RAM to the write FIFO memory 180 of the analog interface unit. Therefore, the delay time from the microphone 300 to the speaker 600 in the case of adopting the first path of FIG. 1 is calculated to be 11 ms by Equation 3.
  • Equation 3 the delay time of the speaker driving circuit 180 was calculated assuming that the speaker driving circuit includes a delta-sigma-type digital-to-analog converter. Assuming that the delay time not yet considered 3 ms is added to the value calculated in Equation 3, the delay time is 14 ms.
  • the smartphone-based hearing aid implements an analog interface unit connecting a microphone and a smartphone to one integrated circuit chip, and a CPU and a GPU embedded in an application processor (AP) of the smartphone together.
  • AP application processor
  • PSAPs personal acoustic amplifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 별도의 전원장치나 디지털 신호처리 장치를 사용하지 아니하고 한 개의 집적회로 칩으로 구성된 아날로그 인터페이스 부를 복수 개의 마이크로폰과 스마트폰 사이에 연결함으로써 크기를 소형화 할 수 있고 비용을 절감시키면서도 오디오 성능을 향상시킬 수 있는 스마트폰 기반의 보청기에 관한 것이다. 본 발명에 따른 스마트폰 기반의 보청기는, 기존의 보청기 또는 개인음향증폭기에 필수적으로 사용되는 디지털 신호처리 칩을 사용하지 않는 대신 스마트폰에 내장된 응용프로세서(AP), 램(RAM), 디지털-아날로그 변환기, 스피커 및 디스플레이 등의 구성요소를 활용함으로써 가격이 저렴한 장점이 있다. 특히, 스마트폰의 응용프로세서에 내장된 CPU와 GPU를 활용하면 소프트웨어 만을 사용하여 보청기 동작에 필요한 디지털 신호처리를 밀리세컨드(ms) 단위의 빠른 시간 안에 처리할 수 있다.

Description

스마트폰 기반의 보청기
본 발명은 보청기에 관한 것으로, 더욱 상세하게는 별도의 전원장치나 디지털 신호처리 장치를 사용하지 아니하고 한 개의 집적회로 칩으로 구성된 아날로그 인터페이스 부를 복수 개의 마이크로폰과 스마트폰 사이에 연결함으로써 크기를 소형화 할 수 있고 비용을 절감시키면서도 오디오 성능을 향상시킬 수 있는 스마트폰 기반의 보청기에 관한 것이다.
최근 많이 사용되는 디지털 보청기(digital hearing aids)는 보통 두 개의 마이크로폰과, 아날로그 증폭기와 아날로그-디지털 변환기와 디지털 신호처리기(DSP: digital signal processor)가 한 개의 칩에 내장된 한 개의 신호처리 칩과, 배터리 및 스피커로 구성된다.
보청기 사용자는 보통 자신이 보청기를 사용하는 사실을 다른 사람이 잘 알아채지 못하게 하는 것을 선호하므로, 최근 보청기는 사용자의 귀 속 깊숙이 위치하고 그 크기가 자꾸 줄어드는 추세에 있다. 보청기 안에는 배터리가 내장되는데, 보청기 크기가 줄어듦에 따라 보청기에 내장되는 배터리 크기와 용량도 작아지므로 보청기 신호처리 칩의 전력소모도 작아져야 한다. 따라서 보청기 크기가 줄어들수록 보청기에서 고성능 신호처리를 실행하기가 점차 어렵게 된다.
또한, 최근 보청기는 한 개의 평균단가가 US$2,300을 넘어서고 양쪽 귀에 사용할 경우는 그 두 배가 된다. 이처럼 보청기 가격이 비싸기 때문에 나이가 들어 귀가 잘 안 들려도 보청기를 사용하지 못하는 사람이 많다. 2014년도부터 비교적 간단한 보청기 기능을 하면서 가격이 기존 보청기의 10분의 1 정도인 개인음향증폭기(PSAPs: personal sound amplification products) 제품이 많이 출시되었으나, 청력이 정상인 사람에게만 판매해야 한다는 미국 FDA(food and drug administration) 규제에 묶여서 활발하게 판매되지 못하였다.
최근 미국에서 베이비 부머 세대들이 60대에 진입하여 비교적 값싼 보청기에 대한 수요가 크게 증대함에 따라, 2015년 10월에 대통령과학기술자문위원회(PCAST: President's council of advisors on science and technology)에서 성능 좋은 보청기를 사용자가 값싸고 쉽게 구입할 수 있도록 하기 위해, 청각사(audiologist)를 통해서만 구입할 수 있는 현재의 값비싼 보청기외에 온라인이나 일반 가게에서 쉽게 구입할 수 있는 청각보조기 제품군을 만들 것과 청력이 정상인 사람에게만 개인음향증폭기 제품을 판매해야 하는 FDA 규제를 철회할 것을 권고하였다. 이에 따라, 미국의 기존 보청기 회사인 스타키(Starkey)에서 개인음향증폭기 사업을 시작하였고, 개인음향증폭기에 관한 관심이 크게 증가하고 있다. 개인음향증폭기와 보청기는 거의 동일한 기술을 사용하므로, 본 발명에서는 보청기와 개인음향증폭기를 통칭하여 보청기라 부른다.
스마트폰은 마이크로폰, 스피커, 오디오 입출력 신호처리 기능을 모두 갖춘 오디오 코덱(codec: coder decoder) 칩, 중앙처리장치(CPU: central processing unit)와 그래픽처리장치(GPU: graphic processing unit)를 내장하는 응용프로세서(application processor:이하 'AP'라 한다.) 칩을 포함하여, 보청기 동작에 필요한 모든 구성소자를 내장하고 있다. 따라서, 상기 AP가 보청기 동작에 필요한 디지털 신호처리를 수행하게 하면 스마트폰을 보청기 대체품으로 사용할 수 있다. 특히, 상기 AP에서 CPU는 비교적 복잡한 결정을 하는 알고리즘을 담당하고 GPU는 비교적 단순하지만 반복 계산이 많은 병렬처리를 담당하게 함으로써 계산 속도를 크게 향상시킬 수 있다.
즉, GPU를 CPU의 보조프로세서(co-processor)로 활용함으로써 본 발명에 따른 보청기의 동작에 필요한 디지털 신호처리에 걸리는 시간을 크게 감소시킬 수 있다. 상기 보청기 동작에 필요한 디지털 신호처리는 빔포밍(beam forming), 필터뱅크 분리(filter bank separation), 출력진폭압축(wide dynamic range compression), 주파수 이퀄라이제이션(frequency equalization)을 포함한다.
그런데 스마트폰은, 내장하는 마이크로폰 개수가 보통 2개 또는 3개 정도로 제약되어 빔포밍 등의 고성능 신호처리를 적용하여도 출력되는 음향신호의 품질이 제한되고, 상기 마이크로폰에 수신된 음향신호가 스마트폰을 거쳐 스마트폰에 내장된 스피커까지 도달하기까지의 지연시간이 긴 단점 때문에, 직접 보청기 대체품으로 사용하기가 어렵다.
마이크로폰으로부터 스마트폰을 통하여 스피커까지 도달하는 지연시간이 길면, 스마트폰을 통하지 않고 직접 사용자의 귀로 전달되는 음향신호와 상기 스마트폰을 통하여 귀로 전달되는 음향신호의 지연시간 차이로 인한 간섭현상 때문에 음향신호의 품질이 나빠지고 상기 스마트폰을 통하여 귀로 전달되는 소리와 상대방의 입술 모양 변화가 시간적으로 서로 일치하지 않아 사용자가 불편함을 느끼게 된다. 최근 디지털 보청기에서는, 보청기에 부착된 마이크로폰에 음향신호가 입력된 시각으로부터 보청기 회로를 거쳐 보청기의 스피커로 출력되는 시각까지의 지연시간을 보통 최대 10ms 이내로 유지한다. 여기서 ms는 밀리 초(milli sec)를 나타내는 단위로 1천분의 1초에 해당한다.
최신 안드로이드 스마트폰에서 상기 지연시간이 200ms 이상인 경우가 많은데, 그 이유는 다음과 같다. 스마트폰은, 오디오 데이터를 입력 또는 출력하면서 응용프로세서의 동작을 방해하는 것을 최소화하기 위해, 오디오 데이터를 일정 단위만큼 모은 후에 응용프로세서나 오디오 코덱이 한 번씩 처리한다. 스마트폰의 오디오 데이터 처리단위는 스마트폰에서 응용프로세서나 오디오 코덱이 한 번에 처리하는 오디오 신호의 샘플 개수로 64, 128, 256, 512, 1024, 240, 480, 960, 1920 등 매우 다양하다. 스마트폰에서 사용하는 오디오 신호의 샘플속도는 44.1kS/sec 또는 48.0kS/sec 인데, 샘플속도가 48.0kS/sec이고 오디오 데이터 처리단위가 240개의 샘플이면 스마트폰이 5ms 동안 오디오 데이터를 모았다가 5ms마다 한 번씩 응용프로세서가 상기 오디오 데이터를 스마트폰에 내장된 오디오 코덱에 보내어 처리한다.
상기 오디오 데이터 처리단위의 값이 클수록 마이크로폰에 수신된 시각부터 스피커에 출력되기까지의 지연시간(latency)이 증가하는데 이는 입출력 데이터 버퍼에서의 대기시간 때문이다. 상기 48.0kS/sec의 샘플속도와 오디오 데이터 처리단위가 240개의 샘플인 경우에, 입출력 데이터 버퍼에서의 대기시간은 최대 10ms인데, 상기 대기시간은 다음과 같이 계산된다. 오디오 신호가 마이크로폰에 입력되어 오디오 코덱 칩에서 증폭되고 디지털 신호로 변환된 후에 오디오 코덱의 입력데이터 버퍼에 240개의 샘플이 다 차도록 최대 5ms 동안 기다려야 하고, 오디오 신호가 스마트폰에서 신호처리되어 스마트폰의 RAM(random access memory)에 저장된 후에 스피커로 출력하기 위해 240개의 샘플에 해당하는 데이터를 한 번에 오디오 코덱의 출력데이터 버퍼에 보내어 저장하기 위해 최대 5ms 동안 더 기다려야 한다.
따라서, 샘플속도가 48kS/sec이고 오디오 데이터 처리단위가 240개의 샘플인 경우에, 마이크로폰으로부터 스마트폰을 통하여 스피커로 출력되기까지의 최대 지연시간은 상기 입출력 데이터 버퍼 대기시간인 10ms에 신호처리에 소요되는 시간을 합하면 10ms 이상이 된다. 샘플속도가 48kS/sec이고 오디오 데이터 처리단위가 1920 샘플인 경우에는, 상기 입출력 데이터버퍼 대기시간이 80ms가 된다. 상기 입출력 데이터버퍼의 대기시간에 스마트폰에서 신호처리하고 데이터를 이동하는데 소요되는 시간을 합하면, 안드로이드 스마트폰에서 마이크로폰에 입력된 음향신호가 스마트폰을 거쳐서 스피커에 출력되기까지의 지연시간이 200ms 이상이 되는 경우가 많다. 이러한 경우에는, 상기 스마트폰을 통해 들리는 음향신호와 직접 귀로 전달되는 음향신호가 서로 다른 음향신호로 인식되어 같은 소리가 두 번 들리게 되어 불편하다.
본 발명이 해결하고자 하는 기술적 과제는, 별도의 전원장치나 디지털 신호처리 장치를 사용하지 아니하고 한 개의 집적회로 칩으로 구성된 아날로그 인터페이스 부를 복수 개의 마이크로폰과 스마트폰 사이에 연결함으로써 크기를 소형화 할 수 있고 비용을 절감시키면서도 오디오 성능을 향상시킬 수 있는 스마트폰 기반의 보청기를 제공하는데 있다.
본 발명에 따른 스마트폰 기반의 보청기는, 수신된 음향신호를 전기신호로 변환하여 출력하는 복수 개의 마이크로폰으로 구성된 마이크로폰 배열; 상기 마이크로폰 배열에서 출력되는 복수 개의 아날로그 신호를 입력으로 받아 증폭하고 각각 디지털 신호로 변환한 후에 변환된 디지털 신호를 스마트폰으로 출력하는 기능을 포함하고 스마트폰으로부터 입력된 디지털 신호를 아날로그 신호로 변환하여 스피커로 출력하는 기능을 선택적으로 포함하는 아날로그 인터페이스 부; 상기 아날로그 인터페이스 부로부터 입력된 디지털 신호에 대해 보청기 동작에 필요한 신호처리를 수행하고 상기 신호처리된 디지털 신호를 상기 아날로그 인터페이스 부로 출력하거나 또는 아날로그 신호로 변환하여 스피커로 출력하는 스마트폰; 상기 아날로그 인터페이스 부 또는 상기 스마트폰으로부터 입력된 상기 아날로그 신호를 음향신호로 변환하는 스피커; 상기 아날로그 인터페이스 부와 상기 스마트폰을 연결하는 제1 연결장치; 상기 스피커를 상기 스마트폰 또는 상기 아날로그 인터페이스 부에 연결하는 제2 연결장치; 및 상기 마이크로폰 배열과 상기 아날로그 인터페이스 부를 연결하는 제3 연결장치;를 포함하는 것을 특징으로 한다.
본 발명에 따른 스마트폰 기반의 보청기는, 기존의 보청기 또는 개인음향증폭기에 필수적으로 사용되는 디지털 신호처리 칩을 사용하지 않는 대신 스마트폰에 내장된 응용프로세서(AP), 램(RAM), 디지털-아날로그 변환기, 스피커 및 디스플레이 등의 구성요소를 활용함으로써 가격이 저렴한 장점이 있다. 특히, 스마트폰의 응용프로세서에 내장된 CPU와 GPU를 활용하면 소프트웨어 만을 사용하여 보청기 동작에 필요한 디지털 신호처리를 밀리세컨드(ms) 단위의 빠른 시간 안에 처리할 수 있다.
또한, 복수 개의 마이크로폰과 스마트폰 사이에 한 개의 집적회로 칩을 연결하여 스마트폰의 부족한 오디오 신호처리 능력을 보강함으로써, 크기가 작고 추가 배터리가 필요하지 않으며 가격이 저렴하고 오디오 성능이 우수한 보청기를 구현할 수 있는 효과가 있다.
도 1은 본 발명에 따른 스마트폰 기반의 보청기의 구성을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 아날로그 인터페이스 부의 상세 구성을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 사용되는 스마트폰의 구성 부품의 상세 구성을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 스마트폰 기반의 보청기의 아날로그 인터페이스 부를 스마트폰의 뒷면에 고정시키는 경우의 상세 구성을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 스마트폰 기반의 보청기의 아날로그 인터페이스 부를 동글(dongle) 형태로 제작하여 스마트폰의 데이터 포트에 연결하는 경우의 상세 구성을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 제3 연결장치의 상세 구성을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 제2 연결장치와 스피커 및 제3 연결장치의 배치와 상세 구성을 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 스마트폰 내에 구비된 스마트폰 앱 프로그램의 순서도이다.
도 9는 도 8에 포함된 구동 프로그램 수행단계의 상세 순서도이다.
도 10은 도 8에 포함된 증폭이득 결정 프로그램 수행단계의 순서도이다.
도 11은 도 8에 포함된 디지털 신호처리 프로그램 수행단계의 상세 순서도이다.
도 12는 도 11의 디지털 신호처리 프로그램에 포함된 빔포밍, 필터뱅크 분리, 출력진폭범위압축 및 이퀄라이제이션 동작에 대한 상세도이다.
이하, 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 스마트폰 기반의 보청기의 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이 본 발명의 실시 예에 따른 스마트폰 기반의 보청기는 마이크로폰 배열(300), 아날로그 인터페이스 부(100), 스마트폰(200), 스피커(600), 제1 연결장치(400), 제2 연결장치(500) 및 제3 연결장치(700)를 포함하여 구성된다.
상기 마이크로폰 배열(300)은 외부로부터 수신된 음향신호를 전기신호로 변환하여 복수 개의 아날로그 신호를 출력하는 복수 개의 마이크로폰으로 구성된다. 본 발명의 실시 예에서는, 상기 마이크로폰 배열(300)에 포함되는 마이크로폰의 개수를 8개로 하였고 각각의 마이크로폰은 MEMS (micro electro mechanical system) 마이크로폰 또는 일렉트릿(electret) 마이크로폰을 사용할 수 있다.
아날로그 인터페이스 부(100)는, 상기 제3 연결장치(700)를 통하여 상기 마이크로폰 배열에서 출력되는 복수 개의 아날로그 신호를 입력받아 증폭하고 각각 디지털 신호로 변환한 후에 변환된 디지털 신호를 상기 제1 연결장치로 출력하는 기능을 포함한다. 한편 아날로그 인터페이스 부(100)는 상기 제1 연결장치(400)로부터 디지털 신호를 입력받아 아날로그 신호로 변환하여 제1 오디오 잭(190)을 통해 상기 스피커(600)로 출력하는 기능을 선택적으로 포함할 수 있다. 이때 제1 오디오 잭(190)은 3.5mm female 오디오 잭인 것이 바람직하다.
스마트폰(200)은, 상기 제1 연결장치(400)를 통하여 상기 아날로그 인터페이스 부(100)로부터 전달받은 디지털 신호에 대해 보청기 동작에 필요한 신호처리를 수행하는 기능을 포함하고, 상기 신호처리된 디지털 신호를 아날로그 신호로 변환하여 제2 오디오 잭(280)으로 출력하는 기능과 상기 신호처리된 디지털 신호를 상기 제1 연결장치(400)를 통하여 상기 아날로그 인터페이스 부(100)로 출력하는 기능을 선택적으로 포함한다. 이때 제2 오디오 잭(280)은 3.5mm female 오디오 잭인 것이 바람직하다.
상기 제2 연결장치(500)는, 상기 스피커(600)를 상기 아날로그 인터페이스 부(100)의 상기 제1 오디오 잭(190) 또는 상기 스마트폰(200)의 상기 제2 오디오 잭(280)에 선택적으로 연결하여, 상기 제1 오디오 잭(190) 또는 상기 제2 오디오 잭(280)에 출력되는 아날로그 신호가 선택적으로 상기 스피커에서 음향신호로 변환되어 출력되게 한다.
상기 스피커(600)는 보청기 사용자의 왼쪽 및 오른쪽 귀에 위치하는 두 개의 이어폰으로 구성된다.
도 2는 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 아날로그 인터페이스 부의 상세 구성을 나타내는 도면이다.
도 2를 참고하면 아날로그 인터페이스 부(100)는, 아날로그 증폭기(110), 아날로그-디지털 변환기(120), Read FIFO 메모리(130), 디바이스 직렬데이터 송수신기(140), 클락생성기(150), 공급전압변환기(160), Write FIFO 메모리(170) 및 스피커 구동회로(180)를 포함하여 구성된다.
아날로그 증폭기(110)는 상기 마이크로폰 배열(300)로 부터 상기 제3 연결장치(700)를 통하여 입력된 복수 개의 아날로그 신호(A1, A2, A3, ..., Am)를 디바이스 직렬데이터 송수신기(140)로부터 전달받은 증폭이득 제어(amp gain control)신호에 따라 정해지는 증폭이득만큼 각각 증폭하여 다른 아날로그 신호로 출력한다.
아날로그-디지털 변환기(120)는 상기 복수 개의 아날로그 증폭기(110)의 아날로그 출력신호를 입력으로 받아 각각 디지털 신호로 변환하여 출력한다.
Read FIFO 메모리(130)는 상기 아날로그-디지털 변환기(120)의 디지털 출력신호를 입력으로 받아 디바이스 직렬데이터 송수신기(140)로 한 개의 8비트 또는 16비트 병렬 디지털 신호를 출력한다.
디바이스 직렬데이터 송수신기(140)는 상기 Read FIFO 메모리(130)의 디지털 출력신호를 입력으로 받아 제1 연결장치(400)를 통하여 스마트폰(200)에 전달하는 역할과, 아날로그 증폭기(110)의 증폭이득(amp gain)을 제어하는 증폭이득 제어(amp gain control)신호를 제1 연결장치(400)를 통하여 스마트폰(200)으로부터 수신하고 상기 수신된 증폭이득 제어신호를 상기 아날로그 증폭기(110)에 전달하는 역할 및 스마트폰(200)에서 보청기 동작에 필요한 신호처리가 완료된 디지털 오디오 신호를 제1 연결장치(400)를 통하여 스마트폰(200)으로부터 수신하고 상기 수신된 디지털 오디오 신호를 Write FIFO 메모리(170)로 출력하는 역할을 수행한다.
Write FIFO 메모리(170)는 디바이스 직렬데이터 송수신기(140)로부터 입력된 상기 디지털 오디오 신호를 스피커 구동회로(180)로 출력한다.
스피커 구동회로(180)는 Write FIFO 메모리(170)로부터 입력된 디지털 오디오 신호를 아날로그 신호로 변환하여 제1 오디오 잭(190)으로 출력한다. 상기 스피커 구동회로(180)는 인터폴레이션(interpolation) 필터와 델타-시그마 모듈레이터와 클래스 D 증폭기 및 LC 저역통과 필터로 구성된다.
제1 오디오 잭(190)은 스피커 구동회로(180)에서 출력된 아날로그 신호를 입력으로 받아 제2 연결장치(500)를 거쳐 스피커(600)로 전달한다.
클락생성기(150)는 아날로그-디지털 변환기(120)에 인가되는 제1클락신호(CK1), 상기 Read FIFO 메모리(130)에 인가되는 제2 클락신호(CK2), 상기 디바이스 직렬데이터 송수신기(140)에 인가되는 제3 클락신호(CK3), 상기 Write FIFO 메모리(170)에 인가되는 제4 클락신호(CK4) 및 상기 스피커 구동회로(180)에 인가되는 제5 클락신호(CK5)를 생성한다.
공급전압변환기(160)는 제1 연결장치(400)의 VCC와 GND 도선을 통하여 상기 스마트폰(200)으로부터 직류전압(VCC)을 공급받아 상기 아날로그 증폭기(110), 상기 아날로그-디지털 변환기(120), 상기 Read FIFO 메모리(130), 상기 디바이스 직렬데이터 송수신기(140), 상기 Write FIFO 메모리(170), 상기 스피커 구동회로(180), 상기 클락생성기(150)와 상기 제3 연결장치(700)에 각각 인가되는 공급전압을 생성한다.
이때 상기 아날로그 인터페이스 부(100)를 구성하는 회로는 공급전압변환기(160)에 연결되는 인덕터(유도자)와, 상기 클락생성기에 연결되는 발진자(크리스탈)와 수동소자인 축전기, 상기 스피커 구동회로의 상기 LC 저역통과 필터에 포함되는 인덕터와 축전기, 공급전압 안정화를 위해 사용되는 몇 개의 축전기 및 몇 개의 저항을 제외하고는 모두 한 개의 집적회로 칩(integrated circuit chip)에 구현하는 것이 바람직하다.
본 발명의 실시 예에서는 상기 아날로그 증폭기(110)에 포함되는 증폭기의 개수와 상기 아날로그-디지털 변환기(120)에 포함되는 아날로그-디지털 변환기의 개수를 상기 마이크로폰 배열(300)의 마이크로폰 개수와 동일하게 각각 8개로 하였다.
또한, 본 발명의 실시예에서는, 스마트폰(200)으로 안드로이드 스마트폰을 사용하였고 디바이스 직렬데이터 송수신기(140)로 안드로이드 폰에 사용되는 USB(unversal serial bus) 1.1 송수신기를 사용하였다. 스마트폰(200)과 디바이스 직렬데이터 송수신기(140)와 관련하여 본 발명의 실시예에서 사용한 USB OTG 데이터 포트 대신에 라이트닝 포트(Lightning port)를 사용하는 애플 아이폰과 USB type-C 포트를 사용하는 스마트폰에도 본 발명이 적용될 수 있다.
상기 아날로그 증폭기(110)의 증폭이득은 상기 아날로그 증폭기의 8개 출력신호의 최대범위가 상기 아날로그-디지털 변환기의 변환가능한 입력전압범위를 넘어가지 않도록 결정한다. 이를 위해 상기 아날로그-디지털 변환기의 출력신호가 상기 Read FIFO 메모리, 상기 디바이스 직렬데이터 송수신기와 상기 제1 연결장치를 통하여 스마트폰에 전달되면, 스마트폰의 응용프로세서(AP)에서 8개의 상기 아날로그 증폭기의 출력신호가 상기 아날로그-디지털 변환기의 변환가능한 입력전압 범위의 10%와 90% 범위 안에 위치하도록 상기 증폭이득 제어신호를 결정하는 것이 바람직하다.
상기 증폭이득 제어신호는 한 가지 값으로 8개의 상기 아날로그 증폭기에 모두 적용되므로, 8개의 상기 아날로그 증폭기의 전압이득은 모두 동일하게 결정된다. 본 발명의 실시 예에서 상기 아날로그-디지털 변환기(120)는 델타-시그마 모듈레이터와 데시메이션 필터를 포함하여 구성함으로써 일반적인 디지털 데이터인 PCM(pulse code modulation) 코드를 출력한다.
상기 공급전압변환기(160)는 상기 제1 연결장치(400)를 통하여 상기 스마트폰(200)으로부터 직류(DC) 5V 전압을 공급받아 상기 아날로그 인터페이스 부(100)의 모든 회로와 상기 마이크로폰 배열(300)의 동작에 필요한 공급전압을 생성한다. 이로써, 본 발명의 실시 예에 따른 보청기는 스마트폰의 배터리로부터 필요한 모든 직류전압을 공급받아서 추가 배터리를 필요로 하지 않는다. 이로써 본 발명의 실시 예에 따른 보청기의 전체 크기와 가격을 줄일 수 있다.
본 발명의 실시 예에 따른 제1 연결장치(400)는 USB OTG(on the go) 커넥터(410)와 USB OTG 케이블(420)로 구성하여, 스마트폰의 데이터 포트(port)와 상기 아날로그 인터페이스 부를 연결한다. USB OTG 커넥터(410)와 USB OTG 케이블(420)은 각각 DP, DM, VCC, GND, ID의 다섯 개 도선을 포함하는데, DP와 DM 도선을 통해 양방향 USB 데이터 통신을 수행하고 VCC와 GND 도선을 통해 스마트폰으로부터 상기 아날로그 인터페이스 부로 직류전압을 공급받는다.
USB OTG 케이블에서 ID 도선은 GND 도선과 단락(shorted)되어 스마트폰이 USB 통신의 호스트로 동작한다. ID 도선이 아무 도선과 연결되지 않고 개방(open)되어 있으면 스마트폰은 USB 통신의 디바이스(device)로 동작하는데, 이 경우는 스마트폰을 USB OTG 케이블을 통하여 개인용 컴퓨터(PC)에 연결할 때 적용된다.
상기 공급전압변환기(160)는, 상기 제1 연결장치(400)를 통하여 상기 스마트폰(200)으로부터 공급받은 5V 직류전압을 상기 아날로그 증폭기(110), 상기 아날로그-디지털 변환기(120), 상기 Read FIFO 메모리(130), 상기 디바이스 직렬데이터 송수신기(140), 상기 Write FIFO 메모리(170), 상기 스피커 구동회로(180), 상기 클락생성기(150)와 상기 제3 연결장치(700)에 필요한 3.3V와 1.8V의 직류 공급전압을 효율적으로 생성하기 위해 DC-DC 변환기를 포함한다.
상기 DC-DC 변환기는 인덕터(유도자)를 필요로 한다. 상기 클락생성기(150)는 상기 아날로그-디지털 변환기, 상기 Read FIFO 메모리, 상기 디바이스 직렬데이터 송수신기, 상기 Write FIFO 메모리(170)와 상기 스피커 구동회로(180)의 동작에 필요한 정확한 클락신호를 생성하기 위해 발진자(크리스탈)를 사용한다. 본 발명의 실시 예에서는 60MHz 발진자를 사용하여, 상기 아날로그-디지털 변환기에 필요한 제1클락신호(CK1), 상기 Read FIFO 메모리에 필요한 제2클락신호(CK2), 상기 디바이스 직렬데이터 송수신기에 필요한 제3클락신호(CK3), 상기 Write FIFO 메모리(170)에 필요한 제4클락신호(CK4)와 상기 스피커 구동회로(180)에 필요한 제5클락신호(CK5)를 생성한다.
도 3은 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 스마트폰의 구성 부품의 상세 구성을 나타내는 도면이다.
본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 스마트폰(200)은, 중앙처리장치(CPU)와 그래픽처리장치(GPU)를 포함하는 응용프로세서(Application Processor : AP, 210), 스마트폰의 데이터 포트를 통하여 상기 응용프로세서(210)와 상기 제1 연결장치(400)를 연결하는 호스트 직렬데이터 송수신기(220), 상기 응용프로세서(210)와 연결된 램(RAM, 230), 상기 응용프로세서(210)와 연결된 디스플레이 및 터치센서 모듈(260), 상기 응용프로세서(210)와 제2 오디오 잭(280)을 연결하는 디지털-아날로그 변환기(250), 직류공급전압을 생성하여 상기 제1 연결장치(400)로 공급하는 공급전압발생기(240) 및 플래시 메모리(270)를 포함한다.
상기 제2 오디오 잭(280)은 상기 디지털-아날로그 변환기(250)의 출력신호를 제2 연결장치(500)를 통하여 스피커(600)로 출력한다.
상기 스마트폰의 데이터 포트는, 스마트폰을 충전하기 위해 충전용 케이블을 연결하거나, 스마트폰과 PC, USB 메모리 스틱 또는 USB 동글(dongle)과의 데이터 통신을 하기 위해 데이터 통신 케이블을 연결하기 위해 주로 사용한다. 본 발명의 실시 예에서는 상기 스마트폰의 데이터 포트를 두 가지 용도에 사용하는데, 하나는 스마트폰(200)과 상기 아날로그 인터페이스 부(100) 사이의 데이터 통신을 수행하는 용도이고 다른 하나는 스마트폰으로부터 상기 아날로그 인터페이스 부(100)로 전력을 공급받는 용도이다.
상기 스마트폰 데이터 포트를 통하여, 스마트폰으로부터 상기 아날로그 인터페이스 부(100)와 상기 마이크로폰 배열(300)에 필요한 직류전력(DC power)을 공급받는다. 최근 안드로이드 스마트폰은 5핀 마이크로 USB OTG(on the go) 데이터 포트를 사용하고 애플 스마트폰은 8핀 라이트닝(Lightning) 데이터 포트를 사용하는데, 두 종류의 스마트폰 모두 데이터 포트를 통해 직류전압을 스마트폰에서 외부장치로 공급한다. 최근에 스마트폰의 데이터 포트로 사용되기 시작하는 USB type C 커넥터는 상하 대칭의 구조로 24핀을 사용하는데 직류전압 5V에 외부장치로 1000mA 이상의 전류를 공급하도록 사양(specification)에 규정되어 있다.
상기 마이크로 USB OTG 데이터 포트는 DP, DM, VCC, GND, ID의 5개 핀으로 구성되는데, 상기 VCC와 GND 핀을 통하여 직류전압 5V에 100mA까지의 전류를 상기 스마트폰으로부터 외부장치로 공급받을 수 있다.
상기 호스트 직렬데이터 송수신기(220)는 상기 스마트폰 데이터 포트와 상기 제1 연결장치(400)를 통하여 스마트폰(200)과 아날로그 인터페이스 부(100) 사이의 양방향 데이터 통신을 주관하여 담당한다.
상기 공급전압발생기(240)는 상기 데이터 포트와 상기 제1 연결장치(400)를 통하여 상기 아날로그 인터페이스 부(100)와 마이크로폰 배열(300)에 공급할 직류전압을 생성하는데, 상기 공급전압발생기(240)에서 공급 가능한 최대전류는 100mA 또는 그 이상이어야 한다.
상기 디스플레이 및 터치센서 모듈(260)은 상기 응용프로세서(210)와 연결되어 그래픽 사용자 인터페이스(GUI: graphic user interface)를 담당한다.
상기 램(230)은, 상기 응용프로세서(210)에서 실행되는 앱 프로그램을 저장하는 앱 프로그램 저장부(231)와, 상기 아날로그 인터페이스 부(100)로부터 상기 제1 연결장치(400)를 통하여 상기 스마트폰(200)에 전달된 데이터를 저장하는 입력데이터 버퍼(232) 및 상기 아날로그 인터페이스 부(100)의 Write FIFO 메모리(170) 또는 상기 디지털-아날로그 변환기(250)로 출력할 데이터를 저장하는 출력데이터 버퍼(233)를 포함한다.
상기 앱 프로그램 저장부(231)는 본 발명에 따른 보청기를 작동시키기 위해 상기 응용프로세서(210)에서 실행되는 프로그램인 앱 프로그램(스마트폰 응용 프로그램)을 저장하는 램(230)의 구역(block)이다.
상기 앱 프로그램은, 상기 호스트 직렬데이터 송수신기(220)와, 상기 디스플레이 및 터치센서 모듈(260) 및 상기 디지털-아날로그 변환기(250)를 구동하는 구동 프로그램과, 상기 아날로그 증폭기(110)의 증폭이득값을 계산하는 증폭이득결정 프로그램 및 상기 입력데이터 버퍼(232)에서 읽은 데이터에 대해 보청기 동작에 필요한 디지털 신호처리를 수행하고 그 결과 데이터를 상기 출력데이터 버퍼(233)에 저장하는 디지털 신호처리 프로그램을 포함한다.
상기 입력데이터 버퍼(232)는 아날로그 인터페이스 부(100)로부터 제1 연결장치(400)를 통하여 스마트폰(200)에 전달된 데이터를 저장하는 램(230)의 구역이다. 상기 출력데이터 버퍼(233)는 응용프로세서(210)가 아날로그 인터페이스 부(100) 또는 디지털-아날로그 변환기(250)로 출력시킬 데이터를 저장하는 램(230)의 구역이다.
상기 출력 데이터 버퍼에서 상기 아날로그 인터페이스 부로 데이터를 출력하는 경우에는 호스트 직렬데이터 송수신기(220), 제1 연결장치(400), 디바이스 직렬데이터 송수신기(140), Write FIFO 메모리(170), 스피커 구동회로(180), 제1 오디오 잭(190), 제2 연결장치(500)를 차례로 거쳐 상기 스피커로 출력한다.
상기 출력 데이터 버퍼에서 상기 디지털-아날로그 변환기(250)로 데이터를 출력하는 경우에는 디지털-아날로그 변환기(DAC: 250)와, 제2 오디오 잭(280) 및 제2 연결장치(500)를 차례로 거쳐 스피커(600)로 출력한다.
상기 플래쉬 메모리(270)는 대용량 메모리로서 상기 디지털 신호처리 프로그램에 필요한 계수(coefficient)값과 룩업테이블(look up table:LUT)을 저장한다.
상기 디지털-아날로그 변환기(250)는 보통 스마트폰에 포함된 오디오 코덱(codec) 칩에 내장된 DAC로서, 상기 출력 데이터 버퍼에서 상기 디지털-아날로그 변환기로 데이터를 출력하는 경우에. 상기 응용프로세서(AP)가 상기 램(RAM)의 출력데이터 버퍼(233)에서 디지털 데이터를 읽어서 상기 디지털-아날로그 변환기로 상기 디지털 데이터를 출력하면, 상기 디지털-아날로그 변환기는 입력된 상기 디지털 데이터를 아날로그 신호로 변환하여 상기 제2 연결장치(500)를 통하여 상기 스피커(600)로 출력한다.
본 발명의 실시 예에서는, 상기 제2 연결장치(500)는 한 개의 제3 오디오 잭(520)과 오디오 케이블(510)로 구성된다. 이때 제3 오디오 잭(520)은 3.5mm male 오디오 잭인 것이 바람직하다.
상기 제3 오디오 잭(520)은 스마트폰(200)의 제2 오디오 잭(280) 또는 아날로그 인터페이스 부(100)의 제1 오디오 잭(190)에 선택적으로 연결되고 상기 오디오 케이블의 다른 한 쪽은 사용자의 양쪽 귀에 위치하는 두 개의 이어폰에 연결된다.
이때, 상기 스피커(600)는 상기 이어폰으로 구성될 수 있다.
상기 제2 연결장치(500)를 블루투스 무선연결로 구성할 수 있는데, 이 경우는 상기 블루투스 무선연결에 따른 지연시간이 길어져서 상기 마이크로폰 배열(300)에 수신된 신호가 상기 제3 연결장치(700), 상기 아날로그 인터페이스 부(100), 상기 제1 연결장치(400), 상기 스마트폰(200) 및 상기 제2 연결장치(500)를 순차적으로 통과하여 상기 스피커(600)에 도달하는 지연시간(latency)이 본 발명에서 목표하는 20ms(0.02초) 보다 커질 수 있다.
본 발명에 따른 스마트폰 기반의 보청기는 상기 지연시간(latency)이 0.02초(sec) 이하인 것이 바람직하다. 본 발명의 실시예에서, 상기 제2 연결장치(200)를 구성하는 제3 오디오 잭(520)을 스마트폰(200)의 제2 오디오 잭(280)에 연결하는 경우에 상기 지연시간을 0.02초 이내에 유지하고, 상기 제3 오디오 잭(520)을 아날로그 인터페이스 부(100)의 제1 오디오 잭(190)에 연결하는 경우에는 상기 지연시간을 0.014초 이내로 유지한다.
도 4는 본 발명의 실시예에 따른 스마트폰 기반의 보청기의 아날로그 인터페이스 부를 스마트폰의 뒷 면에 고정시키는 경우의 상세 구성을 나타내는 도면이다.
도 4를 참고하면, 한 개의 인쇄기판(printed circuit board) 위에 한 개의 집적회로 칩; 한 개의 제1 오디오 잭(190); 한 개의 제2 마이크로폰 커넥터(790); 한 개의 USB OTG 케이블(420); 및 몇 개의 수동소자(저항, 축전기, 인덕터, 발진용 크리스탈)가 부착되어 있다.
상기 한 개의 집적회로 칩(integrated circuit chip)은 도 2의 아날로그 인터페이스 부(100)를 구성하는 회로 중에서 몇 개의 수동소자를 제외한 모든 회로를 포함한다. 즉, 아날로그 증폭기(110), 아날로그-디지털 변환기(120), Read FIFO 메모리(130), 디바이스 직렬데이터 송수신기(140), Write FIFO 메모리(170), 스피커 구동회로(180), 공급전압변환기(160)와 클락생성기(150) 중에서 공급전압변환기(160)에 사용되는 인덕터와 저항, 클락생성기(150)에 사용되는 한 개의 발진용 크리스탈, 스피커 구동회로(180)에 사용되는 인덕터와 축전기를 포함한 수동소자들을 제외한 모든 회로를 상기 한 개의 집적회로 칩 안에 구현한다.
상기 인쇄기판에 부착된 제1 오디오 잭(190)은 제2 연결장치(500)와 선택적으로 연결되어, 상기 집적회로 칩에서 생성된 아날로그 신호를 상기 제2 연결장치를 통하여 스피커(600)로 전달한다.
상기 인쇄기판에 부착된 USB OTG 케이블(420)은 제1 연결장치(400)를 구성하는 USB OTG 커넥터(410)와 함께 상기 스마트폰의 데이터 포트를 통하여 상기 집적회로 칩을 스마트폰(200)과 연결하여, 마이크로폰 배열(300)에서 생성된 아날로그 신호를 상기 집적회로 칩에서 수신하고 디지털로 변환한 신호를 상기 집적회로 칩으로부터 상기 스마트폰으로 전달하는 역할을 수행한다.
또한, 상기 제1 연결장치는 상기 집적회로 칩으로부터 전달받은 디지털 신호에 대해 상기 스마트폰에서 보청기 동작에 필요한 신호처리를 소프트웨어로 완료하고 그 결과 디지털 신호를 상기 스마트폰으로부터 상기 집적회로 칩으로 전달하는 역할과, 상기 집적회로 칩에 포함된 아날로그 증폭기(110)의 출력전압 범위를 상기 집적회로 칩에 포함된 아날로그-디지털 변환기(120)의 압력전압 범위에 맞추기 위해 필요한 증폭이득 값을 상기 스마트폰에서 계산하고 상기 계산된 증폭이득 값을 상기 스마트폰으로부터 상기 집적회로칩으로 전달하는 역할 및 상기 스마트폰에서 생성한 직류공급전압을 상기 집적회로 칩으로 전달하는 역할을 수행한다.
상기 집적회로 칩에 부착된 제2 마이크로폰 커넥터(790)는 제3 연결장치(700)의 일부로서, 마이크로폰 배열(300)에서 생성되는 복수 개의 아날로그 신호를 상기 마이크로폰 배열로부터 상기 집적회로 칩으로 전달하는 역할을 담당한다.
도 4에 도시된, 한 개의 집적회로 칩과, 한 개의 제1 오디오 잭 (190)과, 한 개의 제2 마이크로폰 커넥터(790)와, 한 개의 USB OTG 케이블(420) 및 몇 개의 수동소자(저항, 축전기, 인덕터, 발진용 크리스탈)가 부착된 한 개의 인쇄기판을 한 개의 케이스 안에 장착시킬 경우, 상기 집적회로 칩과 오디오 잭과 커넥터의 크기를 고려하면 상기 케이스의 크기는 가로 65mm, 세로 65mm, 높이 10mm를 넘지 않을 것으로 예상된다.
상기 인쇄기판이 내부에 장착된 상기 케이스를 스마트폰(200)의 화면쪽과 반대인 스마트폰의 뒷면에 위치시키고 상기 케이스를 스마트폰 뒷면에 직접 또는 스마트폰 뒷면에 위치하는 스마트폰 케이스의 외부에 물리적으로 고정시켜서, 사용자가 상기 케이스로 인해 스마트폰을 사용하는데 발생하는 불편함을 최소화시킬 수 있다.
도 5는 본 발명의 실시예에 따른 스마트폰 기반의 보청기의 아날로그 인터페이스 부를 동글(dongle) 형태로 제작하여 스마트폰의 데이터 포트에 연결하는 경우의 상세 구성을 나타내는 도면이다.
도 5를 참고하면, 도 4와 비교할 때 제1 연결장치(400)를 구성하는 USB OTG 케이블(420)이 없어져서 도 4에 따른 케이스에 비해 크기가 작은 장점이 있는 반면에 스마트폰과 동글을 합친 길이가 길어지는 단점이 있다.
도 6은 본 발명의 실시예에 따른 제3 연결장치(700)의 상세 구성을 나타내는 도면이다.
도 6을 참고하면, 제3 연결장치(700)는 복수 개의 인쇄기판(710, 720, 730, 740, 750, 760); 복수 개의 도선; 제1 마이크로폰 커넥터(770); 한 개의 지지대(780); 및 도 6에는 표시하지 않은 제2 마이크로폰 커넥터(790)로 구성되어, 마이크로폰 배열(300)에서 생성된 아날로그 신호(A1, A2,A3, A4, A5, A6, A7, A8)를 아날로그 인터페이스 부(100)로 전달한다. 상기 제2 마이크로폰 커넥터(790)는, 아날로그 인터페이스 부(100)를 구현한 집적회로 칩과 함께 도 4의 인쇄기판 위에 위치하는데, 상기 제1 마이크로폰 커넥터(770)와 암수(female-male) 커넥터 관계로 서로 연결된다. 상기 제3 연결장치를 구성하는 상기 복수 개의 인쇄기판은 각각 그 표면에 한 개 또는 복수 개의 마이크로폰을 부착하고, 각각의 인쇄기판은 복수 개의 도선을 통하여 제1 마이크로폰 커넥터(770)와 전기적으로 연결되는데, 상기 인쇄기판 위에 부착된 각각의 마이크로폰은 VDD, VSS, Am의 세 개 도선을 통하여 제1 마이크로폰 커넥터(770)와 연결된다. 상기 Am은 마이크로폰의 아날로그 출력신호 단자이다. 상기 한 개의 지지대(780)는 속이 빈 관(管: 파이프) 모양의 막대기로 잘 휘어지는 재질로 제작하여, 상기 마이크로폰이 부착된 복수 개의 인쇄기판과 복수 개의 도선을 상기 지지대의 안 쪽 빈 공간에 위치시켜 상기 복수 개의 마이크로폰, 상기 복수 개의 인쇄기판과 상기 복수 개의 도선을 기계적으로 지지하고 보호하는 역할을 수행한다.
도 7은 본 발명의 실시예에 따른 제2 연결장치(500), 스피커(600)와 제3 연결장치(700)의 배치와 상세 구성을 나타내는 도면이다.
도 7을 참고하면, 복수 개의 마이크로폰과 결합된 제3 연결장치(700)는 제2 연결장치(500)와 상당 부분이 물리적으로 서로 결합되어 있다. 보다 구체적으로는, 제3 연결장치(700)를 구성하는 지지대(780)와 제2 연결장치(500)를 구성하는 오디오 케이블(510)을 서로 평행하게 근접하여 배치하고 복수 개의 위치에서 서로 물리적으로 결합한다. 상기 물리적 결합으로 인해, 사용자가 본 발명에 따른 보청기를 사용할 때 제2 연결장치(500)를 구성하는 제3 오디오 잭(520)을 아날로그 인터페이스 부(100) 또는 스마트폰(200)에 위치한 제1 오디오 잭(190) 또는 제2 오디오 잭(280)에 연결하고 상기 제2 연결장치(500)에 부착된 두 개의 이어폰으로 구성된 스피커(600)를 사용자의 귀에 위치하면, 상기 제3 연결장치(700)를 구성하는 지지대(780)가 거의 직선 형태를 유지하여 상기 제3 연결장치에 결합된 복수 개의 마이크로폰들이 도 6에 x 값으로 도시된 정해진 간격에 가깝게 서로 격리되어 배치된다. 상기 복수 개의 마이크로폰이 위치하는 상기 지지대(780)의 각각의 지점에 공기 구멍을 뚫어서 입력되는 음향신호가 상기 복수 개의 마이크로폰에 잘 전달되게 한다.
도 8은 본 발명의 실시 예에 따른 스마트폰 기반의 보청기에 포함되는 스마트폰 내에 구비된 스마트폰 앱 프로그램의 순서도이다.
상기 스마트폰 앱 프로그램은, 구동(driver) 프로그램 수행단계(S500), 증폭이득 결정 프로그램 수행단계(S600) 및 보청기 동작에 필요한 디지털 신호처리 프로그램 수행단계(S700)의 순서로 진행되고 이 순서대로 계속하여 반복된다.
도 9는 도 8에 포함된 구동 프로그램 수행단계의 상세 순서도이다.
상기 구동 프로그램 수행단계(S500)에서는, 상기 호스트 직렬데이터 송수신기(220)와, 상기 디지털-아날로그 변환기(250)와, 상기 디스플레이 및 터치센서모듈(260)을 구동하는 기능을 수행한다.
도 9에 도시된 바와 같이, 상기 구동 프로그램 수행단계(S500)는 상기 디지털-아날로그 변환기(250)의 동작을 제어하는 디지털-아날로그 변환기 데이터 출력 프로그램 수행단계(S510), 상기 호스트 직렬데이터 송수신기(220)의 동작을 제어하는 호스트 직렬데이터 송수신기 구동 프로그램 수행단계(S520), 터치센서 구동 프로그램 수행단계(S530) 및 디스플레이 구동 프로그램 수행단계(S540)의 순서로 수행된다.
상기 호스트 직렬데이터 송수신기 구동 프로그램 수행단계(S520)의 세부사항은 다음과 같다.
본 발명의 실시 예에서는, 상기 호스트 직렬데이터 송수신 및 디바이스 직렬데이터 송수신을 위해 USB(universal serial bus) 1.1 데이터 송수신 표준을 사용하는데, 본 발명에 제시된 모든 사상은 다른 방식의 직렬 데이터 송수신을 사용하는 경우에도 적용 가능하다. USB 1.1 표준을 사용하는 전송방식은 USB 2.0 표준을 사용하는 전송방식에 비해 최대 데이터 전송속도는 느리지만 전력소모가 크게 작은 장점이 있다. 실시간(real time) 보청기 및 개인음향증폭기 동작을 실현하기 위하여, USB 데이터 전송방식 중에서 이소크로너스 전송(isochronous transfer) 방식을 채택하였다.
이로써, USB 인터페이스 표준에서 정한 매 프레임(frame) 시간마다 정해진 양의 데이터를 반드시 전송하게 함으로써 실시간 동작이 가능하다. 한 프레임 시간은, USB 1.1 표준에서 1msec이다. 본 발명의 실시 예에서는 1ms의 한 프레임 시간 동안, 아날로그 인터페이스 부(100)로부터 스마트폰(200)으로 768 바이트의 데이터를 전송하고 상기 스마트폰으로부터 상기 아날로그 인터페이스 부로 192 바이트의 데이터를 전송한다. 따라서, 본 발명의 실시예에서 실시간 동작이 가능하려면 상기 USB 1.1 인터페이스 방식에 따라 1ms의 한 프레임 시간 동안 양방향 합쳐서 960 바이트의 데이터를 전송할 수 있어야 한다.
실시간 동작을 위해서 매 1밀리세컨드(ms) 마다 768 바이트 데이터를 아날로그 인터페이스 부(100)로부터 스마트폰(200)으로 전송해야 하는 이유는, 8개의 마이크로폰에서 출력되는 아날로그 신호를 각각 매 초 48,000번 샘플하고(48kS/sec) 샘플된 아날로그 신호를 각각 16 비트(2 Byte) 디지털로 변환된 데이터를 정해진 시간에 모두 전송해야 하기 때문이다.
또한, 매 1ms 시간마다 192 바이트의 데이터를 스마트폰(200)으로부터 아날로그 인터페이스 부(100)로 전송해야 하는 이유는, 상기 스마트폰에서 보청기 동작을 위해 필요한 신호처리를 완료한 48kS/sec의 스테레오 데이터를 상기 아날로그 인터페이스 부로 전송해야 하기 때문이다.
상기의 양방향으로 전송하는 768 바이트와 192 바이트의 데이터는 1ms의 한 프레임 시간 동안 한 개의 USB 통신 채널을 통해 전송을 완료해야 하므로, 본 발명의 실시예에서 상기 USB 통신 채널을 통해 1ms의 한 프레임 시간 동안 전송해야 하는 데이터 양은 아래의 수학식 1로 계산된다.
Figure PCTKR2017009320-appb-M000001
USB 1.1 표준에서 이소크로너스 전송방식을 채택하고 한 개의 데이터 패킷(packet)으로 전송하는 데이터 양(payload)을 32 바이트로 정할 경우에, 1ms의 한 프레임 시간 동안 36개의 데이터 패킷까지 전송할 수 있다. 이 경우에, 본 발명의 실시 예에서는 1ms의 한 프레임 시간 동안 30개의 32 바이트 데이터 패킷을 전송하면 상기 960 바이트가 모두 전송되므로 실시간 동작이 가능하다.
상기 양방향 데이터 전송 중에서 아날로그 인터페이스 부(100)로부터 스마트폰(200)으로 데이터를 전송하는 경우는, Read FIFO 메모리(130)에 저장된 8 개의 아날로그-디지털 변환기 출력 데이터가 디바이스 직렬데이터 송수신기(140), 제1 연결장치(400), 호스트 직렬데이터 송수신기(220)와 응용프로세서(210)를 차례로 거쳐서 RAM(230)의 입력데이터 버퍼(232)에 저장된다.
상기 양방향 데이터 전송 중에서 상기 스마트폰에서 상기 아날로그 인터페이스 부로 데이터를 전송하는 경우는, RAM(230)의 출력데이터 버퍼(233)에 저장된 데이터가 응용프로세서(210), 호스트 직렬데이터 송수신기(220), 제1 연결장치(400)와 디바이스 직렬데이터 송수신기(140)를 차례로 거쳐서 Write FIFO 메모리(170)에 저장된다.
본 발명의 실시 예에서 제2 연결장치(500)의 제3 오디오 잭(520)을 스마트폰(200)의 제2 오디오 잭(280)에 연결한 경우는, 다음과 같이 동작한다.
스마트폰에서는 오디오 데이터를 일정 단위 만큼 메모리 버퍼에 모은 후에 응용프로세서(AP)나 오디오 코덱이 한 번씩 처리한다. 본 발명의 실시예에서 오디오 신호의 샘플 속도가 48kS/sec이고 스마트폰이 한 번에 처리하는 오디오 데이터의 처리단위가 240개의 샘플이므로, 스마트폰에 내장된 오디오 코덱 칩의 디지털-아날로그 변환기(DAC)를 사용하여 스피커로 오디오 신호를 출력할 때도 5ms에 한 번씩 240개의 샘플 데이터를 출력한다.
이러한 경우에는 스마트폰(200)에 내장된 상기 오디오 코덱 칩의 디지털-아날로그 변환기(DAC)를 이용하여 음향신호를 출력하므로, 도 3의 응용프로세서(210)가 램(230)의 입력데이터 버퍼(232)와 출력데이터 버퍼(233)에 데이터를 전송할 때 한 번에 240개의 샘플(480바이트)씩 전송하고, 데이터 처리도 240개의 샘플 단위로 나누어 수행한다.
이러한 경우에 도 9에서 DAC 데이터 출력 프로그램은 매 5ms 시각마다 한 번씩 오디오 데이터를 출력하므로, 상기 오디오 데이터 출력시각이 되면 상기 오디오 코덱의 디지털-아날로그 변환기(250)로 240개의 샘플 데이터를 출력하고(S510), 오디오 데이터 출력시각이 아니면 다음 단계로 넘어가서, 제1 연결장치(400)를 통하여 송수신해야 할 패킷 단위의 데이터가 생겨나면 호스트 직렬데이터 송수신기 구동 프로그램을 수행하고(S520), 그렇지 않으면 GUI(graphic user interface)에 따라 터치센서 입력신호가 감지되면 터치센서 구동 프로그램을 수행하고(S530), 터치센서 입력신호가 없으면 새로 디스플레이 할 내용이 있는지를 확인하여 새로 디스플레이할 내용이 있으면 디스플레이 구동 프로그램을 수행한다.(S540)
본 발명의 실시 예에서 제2 연결장치(500)의 제3 오디오 잭(520)을 아날로그 인터페이스 부(100)의 제1 오디오 잭(190)에 연결한 경우는, 도 9에서 S510 단계는 건너뛰어 S520 단계부터 시작한다.
이 경우에는 S520 단계에서, 스마트폰(200)에서 보청기 동작에 필요한 신호처리를 완료하여 RAM(230)의 출력데이터 버퍼(233)에 저장한 데이터를 응용프로세서(210), 호스트 직렬데이터 송수신기(220), 제1 연결장치(400), 디바이스 직렬데이터 송수신기(140), Write FIFO 메모리(170), 스피커 구동회로(180), 제1 오디오 잭(190)과 제2 연결장치(550)를 차례로 통과하여 스피커(600)로 출력한다.
이와 같이 제3 오디오 잭(520)을 제1 오디오 잭(190)에 연결한 경우에는 제3 오디오 잭(520)을 제2 오디오 잭(280)에 연결한 경우와 달리 오디오 데이터의 처리단위(240 샘플) 만큼 모일 때까지 기다리는 시간(5 ms)이 없어지기 때문에 마이크로폰 배열(300)에서 수신되어 본 발명의 보청기를 거쳐서 스피커(600)로 출력될 때까지의 지연시간(latency)이 크게 감소한다.
도 10은 도 8에 포함된 증폭이득 결정 프로그램 수행단계의 상세 순서도이다.
상기 증폭이득 결정 프로그램 수행단계(S600)에서는 도 2에 보인 아날로그 증폭기(110)의 증폭이득값을 결정한다. 도 1의 복수 개의 마이크로폰으로 구성된 마이크로폰 배열(300)에서 출력되는 복수 개의 아날로그 입력신호들(A1, A2, A3, A4, A%, A6, A7, A8)은, 각각 도 2의 아날로그 증폭기(110), 아날로그-디지털 변환기(120), Read FIFO 메모리(130), 디바이스 직렬데이터 송수신기(140)와 도 3의 제1 연결장치(400), 호스트 직렬데이터 송수신기(220)와 응용프로세서(210)를 차례로 통과하여 램(230)의 입력데이터 버퍼(232)에 마이크로폰 별로 따로 저장된다.
먼저, 상기 램(230)의 입력데이터 버퍼(232)에 저장된 데이터를 읽어들이고(S610), 각 마이크로폰의 출력에 대응하는 디지털 신호의 최소값과 최대값이 상기 아날로그-디지털 변환기 입력범위의 좁은 영역이 아니고 상당히 넓은 영역에 분포하도록 상기 아날로그 증폭기의 이득값을 결정한다.(S620)
아날로그-디지털 변환기의 해상도가 16비트인 경우에, 모든 마이크로폰에 대해서 상기 입력데이터 버퍼에 저장된 값의 최소값과 최대값이 각각 16진수 x2000(십진수 8,192)과 16진수 xE000(십진수 57,344)에 최대한 가까워지도록 상기 아날로그 증폭기의 증폭이득을 조정한다. 이 경우, 상기 복수 개의 아날로그 증폭기의 증폭 이득값은 모두 동일한 값이 되게 한다. 상기 결정된 아날로그 증폭기의 증폭 이득값은 도 3의 응용프로세서(210), 호스트 직렬데이터 송수신기(220), 제1 연결장치(400)와 도 2의 디바이스 직렬데이터 송수신기(140)를 거쳐 아날로그 증폭기(110)에 증폭이득제어(amp gain control) 신호로 인가된다.(S630)
도 11은 도 8에 포함된 보청기 동작에 필요한 디지털 신호처리 프로그램 수행단계(S700)의 상세 순서도이다.
먼저, 입력데이터 버퍼(232)에 각 마이크로폰 별로 저장된 데이터를 읽어들이고(S710), 각 마이크로폰 별로 민감도 차이를 조정한다.(S720)
이를 위해, 복수 개의 마이크로폰에 대해 각 마이크로폰 별로 일정 시간 동안의 출력신호의 전력값이 모두 동일하게 되도록 입력데이터 버퍼에 저장된 값을 보정(calibration)한다.(S720)
이어서, 복수개의 마이크로폰 신호에 대해 보정된 입력데이터 값으로부터 빔포밍(beamforming) 동작을 수행하여 한 개의 데이터 신호를 생성한다.(S730)
빔포밍 동작은 특정 방향에서 전파되어 오는 음향신호만 잘 들리게 한다. 예를 들어, 빔포밍 동작에 의해 사용자의 정면에서 발생하는 음향신호는 잘 들리고 사용자의 측면이나 후면에서 발생하는 음향신호는 잘 들리지 않게 한다. 그 다음에, 상기 빔포밍 동작에 의해 생성된 한 개의 데이터 신호를 필터뱅크(filter bank) 분리 동작을 수행하여 서로 인접한 주파수 대역을 가지는 복수 개의 좁은 주파수대역의 필터뱅크 신호(narrow band channel signal)로 분리한다.(S740)
본 발명의 실시 예에서는 11 개의 필터뱅크 신호를 생성하는데, 각 필터뱅크 신호의 대역폭은 147~212.5Hz, 212.5~289Hz, 289~418Hz, 418~605Hz, 605~875Hz, 875~1265Hz, 1265~1829Hz, 1829~2645Hz, 2645~3825Hz, 3825~5532Hz 및 5532~8000Hz로 이루어진다.
필터뱅크 신호들로 분리한 후에, 각 필터뱅크 신호에 대해 보청기 및 개인음향증폭기 동작에 필요한 출력진폭범위압축(WDRC: wide dynamic range compression) 동작과 이퀄라이제이션(equalization) 동작을 수행하고(S750), 상기 11개의 필터뱅크 신호에 대한 결과 데이터를 합하여 한 개의 신호를 생성하고 이를 램(230)의 출력데이터 버퍼(233)에 저장한다.(S760)
상기 필터뱅크 분리와 빔포밍 동작을 위한 계수(coefficient), 상기 광범위압축(WDRC) 동작을 위한 룩업테이블(LUT: look up table) 및 상기 이퀄라이제이션 동작을 위한 계수들은 도 3의 플래쉬 메모리(270)에 저장한다.
도 12는 도 11의 디지털 신호처리 프로그램에 포함된 빔포밍(S730), 필터뱅크 분리(S740), 출력진폭범위압축(WDRC) 및 이퀄라이제이션 동작(S750)에 대한 상세도이다.
도 12에서, D1, D2, D3, D4, D5, D6, D7과 D8은 도 6에 보인 마이크로폰 배열(300)을 구성하는 m1, m2, m3, m4, m5, m6, m7과 m8에서 각각 출력된 아날로그 신호가 아날로그-디지털 변환기(120)에서 디지털 신호로 변환되어 스마트폰 RAM(230)의 입력데이터 버퍼에 각 마이크로폰 별로 저장된 데이터를 나타낸다.
빔포밍 동작(S730)은 한 개의 올패스(all-pass) 필터와 7 개의 저역통과필터(LPF:low pass filter)를 통과한 8개의 신호를 모두 합산하여 한 개의 신호를 만들고, 상기 한 개의 신호에 전달함수 크기가 신호주파수에 비례하는 미분필터를 적용하여 출력한다.
도 12의 저역통과필터(LPF)와 함께 제시된 주파수는 저역통과필터(LPF)의 대역폭(bandwidth)을 나타낸다. 필터뱅크 분리 동작(S740)은 통과대역폭이 서로 인접한 복수 개의 밴드통과필터(BPF)로 구성되어 상기 빔포밍 동작(S730)의 출력신호를 복수 개의 밴드통과 신호들로 분리한다. 출력진폭범위압축(WDRC) 및 이퀄라이제이션 동작(S750)은 상기 복수 개의 밴드통과 신호들에 대해 각각 서로 다른 출력진폭범위압축 및 주파수 이퀄라이제이션 동작을 수행한 후에 그 결과값들을 모두 합산하여 한 개의 출력신호(Dout)을 생성하고 상기 출력신호(Dout)를 스마트폰 RAM(230)의 출력데이터 버퍼(233)에 저장한다.
도 12에 도시된 대로 각 마이크로폰의 출력신호를 각각 필터를 통과시킨 후에 지연시간을 같게 하여 모두 합하면 빔포밍 동작에 의해 도 7에 도시된 마이크로폰들이 배열된 방향으로 전파되는 음향만 잘 들리게 되는데, 도 12의 D1, D2, D3, D4, D5, D6, D7, D8에 지연시간을 서로 다르게 하고 각각 서로 다른 상수 값을 곱한 후에 그 결과값들을 모두 합하면 지연시간과 곱하는 상수값의 조합에 따라 빔포밍 동작에 의해 잘 들리는 방향을 바꿀 수 있다.
보청기에서 음향신호가 마이크로폰에 입력된 후 신호처리되어 스피커로 출력될 때까지의 지연시간(latency)이 가능한 짧은 것이 좋다. 상기 지연시간이 대략 35ms(0.035초) 이상이 되면, 사용자는 보청기를 통하여 귀에 전달되는 소리와 상기 보청기를 통하지 않고 직접 귀에 전달되는 소리를 각각 별도로 인식하게 되어 하나의 음향신호가 두 번 귀에 들리는 불편함이 있다.
최근 고사양(high spec.) 및 고가의(high priced) 보청기에서는 보청기의 지연시간을 보통 10ms(0.01초) 이하로 한다. 본 발명의 실시 예에서는 상기 지연시간을 20ms(0.02초) 이내로 하는 것을 목표로 한다.
본 발명의 실시 예에서 도 1의 제2 경로를 선택하고 스마트폰의 오디오 데이터 처리단위가 240개의 샘플이고 입력 아날로그 신호의 샘플속도가 48kS/sec일 경우에, 5ms(0.005초)마다 한 번씩 오디오 데이터를 스피커로 출력한다. 따라서, 도 11의 보청기 동작을 위한 디지털 신호처리 프로그램에서도 240개의 샘플 단위로 데이터를 처리한다. 본 발명의 실시 예에서 상기 도 1의 제2 경로 선택 2 를 채택한 경우에, 마이크로폰 배열(300)에 음성신호가 입력된 시각으로부터 본 발명에 따른 보청기를 통과하여 스피커(600)에서 출력될 때까지의 지연시간(latency)은 수학식 2로 계산된다.
Figure PCTKR2017009320-appb-M000002
본 발명의 실시 예에서, 아날로그-디지털 변환기(ADC, 120)는 델타-시그마 모듈레이터와 데시메이션(decimation) 필터로 구성되는데 상기 아날로그-디지털 변환 동작을 1ms(0.001초) 이내에 완료하고, USB 인터페이스를 통하여 상기 아날로그-디지털 변환기(120)의 출력신호가 Read FIFO 메모리(130)에 입력된 시각부터 스마트폰 내의 램(230)의 입력데이터 버퍼(232)까지 전달되는 시각까지 USB1.1 표준의 두 프레임 시간인 2ms(0.002초) 정도 걸린다.
오디오 신호처리 단위인 240개의 샘플 데이터를 응용프로세서(210)가 상기 램(230) 입력데이터 버퍼(232)에서 읽어오고 앱 프로그램 저장소(231)에 저장된 소프트웨어 신호처리 프로그램을 호출하여 수행하고 그 결과 데이터를 램(230)의 출력데이터 버퍼(233)에 저장하는 동작까지를 5ms(0.005초) 이내에 완료한다.
이어서, 상기 출력데이터 버퍼(233)에 저장된 240개의 샘플 데이터를 읽어들여 오디오 코덱(codec)의 디지털-아날로그 변환기(DAC, 250)까지 전달하는 동작을 3ms(0.003초) 이내에 완료하고, 디지털-아날로그 변환기(250)의 버퍼에서 240개의 샘플 데이터를 출력하는데 최대 5ms(0.005초)까지의 대기시간이 소요되고, 델타-시그마 방식의 DAC를 사용하면 1 ms의 처리시간이 필요하므로, 수학식 2에 보인 지연시간은 17 ms(0.017초)로 계산된다.
상기 17 ms의 지연시간에 아직 고려되지 못한 지연시간을 3ms라고 가정하면, 본 발명에 따른 보청기에서는 음향신호가 마이크로폰 배열(300)에 입력된 시각부터 본 발명에 따른 보청기를 거쳐서 스마트폰의 스피커(600)로 출력될 때까지의 지연시간(latency)을 20ms(0.02초) 이내로 하는 것이 바람직하다.
이때 스마트폰의 GPU(212)를 CPU(211)의 보조프로세서(co-processor)로 활용함으로써, 수학식 2에 보인대로 상기 신호처리 소요시간이 5ms 이내가 된다.
본 발명의 실시 예에서 도 1의 제1 경로를 선택한 경우는, 수학식 2에서 RAM-to-CODEC DAC 전달시간(3 ms)과 DAC 대기시간(5 ms)이 소요되지 않아 상기 지연시간을 크게 단축할 수 있다. 그런데, 스마트폰 RAM의 출력데이터 버퍼(233)에서 아날로그 인터페이스 부의 write FIFO 메모리(180)까지 데이터를 전송하는데 USB 1.1 프레임 시간(1ms)의 두 배가 추가로 소요된다. 따라서, 상기 도 1의 제1 경로를 채택한 경우의 상기 마이크로폰(300)으로부터 스피커(600)까지의 지연시간은 수학식 3에 의해 11 ms로 계산된다.
Figure PCTKR2017009320-appb-M000003
수학식 3에서 스피커 구동회로(180)의 지연시간은 상기 스피커 구동회로가 델타-시그마 방식의 디지털-아날로그 변환기를 포함한다고 가정하여 계산하였다. 아직 고려하지 못한 지연시간을 3 ms라고 가정하여 상기 수학식 3에서 계산된 값에 더하면 상기 지연시간이 14 ms가 된다.
이상에서 살펴본 바와 같이 본 발명에 따른 스마트폰 기반의 보청기 는 마이크로폰과 스마트폰을 연결하는 아날로그 인터페이스 부를 한 개의 집적회로 칩으로 구현하고, 스마트폰의 응용프로세서(AP)에 내장된 CPU와 GPU를 함께 사용하여 상기 스마트폰에서 소프트웨어로 수행하는 디지털 신호처리 시간을 최소화함으로써, 상기 마이크로폰에 수신된 신호가 상기 마이크로폰으로부터 상기 스마트폰을 거쳐 스피커로 출력될 때까지의 지연시간을 최소화하고 이를 통해 가격이 저렴하면서도 성능이 우수한 보청기를 구현하는 것을 특징으로 하고 있다.
본 발명에서 보청기와 관련하여 제시된 사상은 모두 개인음향증폭기(PSAPs)에도 적용 가능하다.
본 발명은 도면들에 도시된 실시 예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (28)

  1. 수신된 음향신호를 전기신호로 변환하여 출력하는 복수 개의 마이크로폰으로 구성된 마이크로폰 배열;
    상기 마이크로폰 배열에서 출력되는 복수 개의 아날로그 신호를 입력으로 받아 증폭하고 각각 디지털 신호로 변환한 후에 변환된 디지털 신호를 스마트폰으로 출력하는 기능을 포함하고 스마트폰으로부터 입력된 디지털 신호를 아날로그 신호로 변환하여 스피커로 출력하는 기능을 선택적으로 포함하는 아날로그 인터페이스 부;
    상기 아날로그 인터페이스 부로부터 입력된 디지털 신호에 대해 보청기 동작에 필요한 신호처리를 수행하고 상기 신호처리된 디지털 신호를 상기 아날로그 인터페이스 부로 출력하거나 또는 아날로그 신호로 변환하여 스피커로 출력하는 스마트폰;
    상기 아날로그 인터페이스 부 또는 상기 스마트폰으로부터 입력된 상기 아날로그 신호를 음향신호로 변환하는 스피커;
    상기 아날로그 인터페이스 부와 상기 스마트폰을 연결하는 제1 연결장치;
    상기 스피커를 상기 스마트폰 또는 상기 아날로그 인터페이스 부에 연결하는 제3 오디오 잭 및 상기 제3 오디오 잭에 연결되는 오디오 케이블로 구성된 제2 연결장치; 및
    상기 마이크로폰 배열과 상기 아날로그 인터페이스 부를 연결하는 제3 연결장치;를 포함하며,
    상기 마이크로폰 배열과 연결된 상기 제3 연결장치가 상기 오디오 케이블과 물리적으로 결합되어 있는 것을 특징으로 하는 스마트폰 기반의 보청기.
  2. 제 1항에 있어서, 상기 아날로그 인터페이스 부는,
    상기 제3 연결장치를 통하여 상기 마이크로폰 배열로부터 전달받은 상기 복수 개의 아날로그 신호를 각각 증폭하는 복수 개의 아날로그 증폭기;
    상기 아날로그 증폭기의 출력신호를 입력으로 받아 각각 디지털 신호로 변환하는 아날로그-디지털 변환기;
    상기 아날로그-디지털 변환기의 출력신호를 입력으로 받아 직렬 데이터 송수신부로 데이터를 출력하는 Read FIFO 메모리;
    상기 Read FIFO 메모리 출력신호를 입력으로 받아 상기 제1 연결장치를 통하여 상기 스마트폰에 전달하는 역할과 상기 아날로그 증폭기의 증폭이득(amp gain)을 제어하는 증폭이득 제어(amp gain control)신호를 상기 스마트폰으로부터 수신하는 역할과 상기 수신된 증폭이득 제어신호를 상기 아날로그 증폭기에 전달하는 역할을 수행하는 디바이스 직렬데이터 송수신기;
    상기 아날로그-디지털 변환기에 인가되는 제1클락신호, 상기 Read FIFO 메모리에 인가되는 제2클락신호 및 상기 디바이스 직렬데이터 송수신기에 인가되는 제3클락신호를 생성하는 클락생성기; 및
    상기 제1 연결장치를 통하여 상기 스마트폰으로부터 직류전압(VCC)을 공급받아 상기 아날로그 증폭기, 상기 아날로그-디지털 변환기, 상기 Read FIFO 메모리, 상기 디바이스 직렬데이터 송수신기, 상기 클락생성기 및 상기 제3 연결장치에 각각 인가되는 공급전압을 생성하는 공급전압변환기;를 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  3. 제2항에 있어서, 상기 아날로그 인터페이스 부는,
    상기 디바이스 직렬데이터 송수신기를 통하여 상기 스마트폰으로부터 데이터를 입력받는 Write FIFO 메모리;
    상기 Write FIFO 메모리로부터 데이터를 입력받아 상기 스피커를 구성하는 이어폰을 구동하는 두 개의 아날로그 신호를 출력하되, 델타-시그마 모듈레이터를 포함하는 스피커 구동회로; 및
    상기 스피커 구동회로로부터 입력받은 상기 두 개의 아날로그 신호를 상기 제2 연결장치로 전달하는 제1 오디오 잭을 더 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  4. 제2항 또는 제3항에 있어서,
    상기 아날로그 인터페이스 부를 구성하는 회로를 한 개의 집적회로 칩(integrated circuit chip)에 구현하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  5. 제 2항 또는 제 3항에 있어서, 상기 스마트폰은,
    중앙처리장치와 그래픽처리장치를 포함하는 응용프로세서;
    데이터 포트를 통하여 상기 응용프로세서와 상기 제1 연결장치를 연결하는 호스트 직렬데이터 송수신기;
    상기 응용프로세서와 연결된 램;
    상기 응용프로세서와 연결된 디스플레이 및 터치센서 모듈;
    직류공급전압을 생성하여 상기 데이터 포트를 통하여 상기 제1 연결장치로 공급하는 공급전압발생기; 및
    플래시 메모리;를 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  6. 제 5항에 있어서, 상기 스마트폰은,
    상기 제2 연결장치와 상기 스마트폰을 연결하는 제2 오디오 잭; 및
    상기 제2 오디오 잭과 상기 응용프로세서를 연결하는 디지털-아날로그 변환기를 더 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  7. 제 1항에 있어서, 상기 아날로그 인터페이스 부는,
    보청기의 동작에 필요한 필터뱅크 분리, 출력진폭범위압축(wide dynamic range compression) 및 주파수 이퀄라이제이션 기능을 포함하지 않는 것을 특징으로 하는 스마트폰 기반의 보청기.
  8. 제 1항에 있어서, 상기 스마트폰은,
    빔포밍(beamforming), 필터뱅크 분리, 출력진폭범위압축, 또는 주파수 이퀄라이제이션 기능을 소프트웨어를 이용하여 수행하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  9. 제 5항에 있어서, 상기 스마트폰은,
    상기 응용프로세서에 포함된 상기 그래픽처리장치를 활용함으로써 빔포밍(beamforming), 출력전압범위압축, 필터 뱅크 분리 또는 주파수 이퀄라이제이션 기능을 수행하여 상기 기능을 수행하는데 소요되는 시간을 감소시키는 것을 특징으로 하는 스마트폰 기반의 보청기.
  10. 제 6항에 있어서, 상기 램은,
    상기 아날로그 인터페이스 부로부터 상기 제1 연결장치를 통하여 상기 스마트폰에 전달된 데이터를 저장하는 입력데이터 버퍼;
    상기 응용프로세서에서 실행되는 앱 프로그램을 저장하는 앱 프로그램 저장부; 및
    상기 스피커로 출력할 데이터를 저장하는 출력데이터 버퍼;를 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  11. 제 10항에 있어서, 상기 앱 프로그램은,
    상기 입력데이터 버퍼로부터 읽은 데이터에 대해 상기 보청기의 동작에 필요한 디지털 신호처리를 수행하고 그 결과 데이터를 상기 출력데이터 버퍼에 저장하는 디지털 신호처리 프로그램;
    상기 호스트 직렬데이터 송수신기, 상기 디스플레이 및 터치센서 모듈, 상기 디지털-아날로그 변환기를 구동하는 구동 프로그램; 및
    상기 아날로그 증폭기의 증폭이득값을 계산하는 증폭이득결정 프로그램;을 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  12. 제 11항에 있어서, 상기 디지털 신호처리 프로그램은,
    상기 램의 상기 입력데이터 버퍼로부터 데이터를 읽어들이고,
    상기 읽어들인 데이터를 기반으로 상기 복수개의 마이크로폰과 상기 복수 개의 아날로그 증폭기의 직렬연결장치의 감도(sensitivity) 특성이 각각 모두 동일하게 되도록 상기 읽어들인 데이터 값들을 각 마이크로폰 별로 조정(calibration)하고,
    상기 조정된 데이터 값들에 대해 빔포밍(beamforming) 동작을 수행하여 하나의 신호를 생성하고,
    상기 하나의 신호에 대해 필터뱅크(filter bank) 분리 동작을 수행하여 주파수 대역(frequency band)이 서로 다른 복수개의 신호를 생성하고,
    상기 복수개의 신호에 대해 각각 출력진폭범위압축(wide dynamic range compression) 동작과 이퀄라이제이션(equalization) 동작을 수행하고,
    그 결과 데이터를 합하여 하나의 최종신호로 만든 후, 상기 최종신호를 상기 램의 상기 출력데이터 버퍼에 저장하는 기능을 수행하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  13. 제 1항에 있어서,
    상기 제2 연결장치가 스피커를 스마트폰에 연결한 경우에,
    상기 마이크로폰에 수신된 음향신호가 상기 제3 연결장치, 상기 아날로그 인터페이스 부, 상기 제1 연결장치, 상기 스마트폰, 상기 제2 연결장치를 순차적으로 통과하여 상기 스피커에서 음향신호로 출력되기까지의 지연시간(latency)이 0.02초(sec) 이하인 것을 특징으로 하는 스마트폰 기반의 보청기.
  14. 제 1항에 있어서,
    상기 제2 연결장치가 스피커를 아날로그 인터페이스 부에 연결한경우에,
    상기 마이크로폰에 수신된 음향신호가 상기 제3 연결장치, 상기 아날로그 인터페이스 부, 상기 제1 연결장치, 상기 스마트폰, 상기 제1 연결장치, 상기 아날로그 인터페이스 부, 상기 제2 연결장치를 순차적으로 통과하여 상기 스피커에서 음향신호로 출력되기까지의 지연시간(latency)이 0.014초(sec) 이하인 것을 특징으로 하는 스마트폰 기반의 보청기.
  15. 제 1항에 있어서, 상기 아날로그 인터페이스 부는
    별도의 전원공급장치 대신 상기 제1 연결장치를 통하여 상기 스마트폰으로부터 직류전원을 공급받는 것을 특징으로 하는 스마트폰 기반의 보청기.
  16. 제 1항에 있어서,
    별도의 디지털 신호처리 칩 대신 상기 스마트폰의 응용프로세서를 이용하여 보청기 동작에 필요한 디지털 신호처리를 수행하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  17. 제 1항에 있어서, 상기 제1 연결장치는
    일단이 상기 스마트폰의 데이터 포트와 연결되며, 직류전압을 공급하는 도선과 데이터를 전송하는 도선을 포함하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  18. 제 5항에 있어서, 상기 그래픽처리장치를
    상기 중앙처리장치의 보조프로세서(co-processor)로 사용하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  19. 제6항에 있어서,
    상기 오디오 케이블은 일단이 상기 제3 오디오 잭에 연결되고 다른 일단은 사용자의 양쪽 귀에 위치하고 스피커를 구성하는 두 개의 이어폰에 연결되며,
    상기 제3 오디오 잭은 상기 아날로그 인터페이스 부의 제1 오디오 잭 또는 스마트폰의 제2 오디오 잭에 선택적으로 연결되는 것을 특징으로 하는 스마트폰 기반의 보청기.
  20. 제 19항에 있어서, 상기 제3 연결장치는
    직류전압을 공급하는 도선과 아날로그 신호를 전송하는 도선을 포함하는 복수개의 도선;
    복수개의 인쇄기판;
    한 개의 커넥터; 및
    한 개의 막대기 모양의 지지대(supporting rod)로 구성되고,
    상기 복수 개의 인쇄기판은 각각 상기 지지대를 따라 직렬형태로 배치되고, 상기 복수 개의 인쇄기판의 표면에 각각 한 개 또는 복수 개의 마이크로폰을 부착하고, 상기 복수 개의 마이크로폰은 각각 복수 개의 도선을 통하여 상기 커넥터에 전기적으로 연결되고, 상기 커넥터는 상기 아날로그 인터페이스 부에 연결되어 상기 복수 개의 마이크로폰을 각각 상기 아날로그 인터페이스 부에 전기적으로 연결하고, 상기 지지대는 잘 휘어지고 속이 빈 관 형태의 막대기로 상기 복수 개의 인쇄기판과 상기 복수 개의 도선을 상기 지지대의 안쪽 빈 공간에 위치시켜 상기 복수 개의 인쇄기판, 상기 복수 개의 인쇄기판의 표면에 부착된 상기 복수 개의 마이크로폰과 상기 복수 개의 도선을 기계적으로 지지하고 보호하는 역할을 수행하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  21. 제 20항에 있어서,
    상기 제3 연결장치를 구성하는 상기 지지대와 상기 제2 연결장치를 구성하는 상기 오디오 케이블이 길이 방향으로 서로 평행하게 근접하여 배치되고 물리적으로 결합된 것을 특징으로 하는 스마트폰 기반의 보청기.
  22. 제 20항에 있어서,
    상기 마이크로폰 배열을 구성하는 상기 복수 개의 마이크로폰을 상기 제3 연결장치를 구성하는 상기 지지대를 따라 직렬 형태로 배치하고 인접한 두 마이크로폰 사이의 간격을 불균일하게 배치하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  23. 제 20항에 있어서,
    상기 마이크로폰 배열을 구성하는 상기 복수 개의 마이크로폰을 상기 제3 연결장치를 구성하는 상기 지지대를 따라 상기 아날로그 인터페이스 부에 가까운 위치부터 시작하여 상기 아날로그 인터페이스 부로부터 멀어지는 방향으로 차례대로 직렬형태로 배치할 때, 첫 번째 배치한 마이크로폰(M1)과 두 번째 배치한 마이크로폰(M2) 사이의 간격을 고려하는 최고주파수 입력음향신호의 음파 파장의 절반 크기로 정하고, 세 번째 배치하는 마이크로폰부터는 다음에 배치할 마이크로폰(MN+1)과 상기 첫 번째 배치한 마이크로폰(M1) 사이의 간격을 직전에 배치한 마이크로폰(MN)과 상기 첫 번째 배치한 마이크로폰(M1) 사이의 간격에 일정한 상수값을 곱한 값으로 정하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  24. 제 23항에 있어서,
    상기 첫 번째 배치한 마이크로폰(M1)으로부터 수신된 신호는 올패스(all-pass) 필터를 통과시키고, 두 번째 배치한 마이크로폰(M2)으로부터 수신된 신호는 대역폭(bandwidth)이 상기 최고주파수 입력음향신호의 최고주파수와 동일한 저역통과필터를 통과시키고, 세 번째 배치한 마이크로폰(M3)으로부터 수신된 신호에 대해서는 직전에 배치한 마이크로폰으로부터 수신된 신호에 적용한 대역폭을 상기 일정한 상수값으로 나눈 값을 대역폭으로 가지는 저역통과 필터를 통과시키고, 상기 복수 개의 마이크로폰으로부터 수신된 신호를 각각 상기 필터를 통과시킨 결과 신호값들을 모두 더하여 합신호를 생성하고, 상기 합신호를 미분필터를 통과시켜 빔포밍된 신호를 생성하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  25. 제 24항에 있어서,
    상기 복수 개의 마이크로폰으로부터 수신된 신호를 각각 상기 필터를 통과시킨 결과 신호값들에 대해 각각 서로 다른 지연시간을 거치게 하고 각각 서로 다른 상수를 곱한 후에 그 결과 신호값들을 모두 더하여 합신호를 생성하고, 상기 합신호를 미분필터를 통과시켜 빔포밍된 신호를 생성하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  26. 제 1항에 있어서, 상기 아날로그 인터페이스 부가 상기 스마트폰의 뒷면에 위치하도록 상기 아날로그 인터페이스 부를 구성하는 장치를 상기 스마트폰에 부착된 스마트폰 케이스 또는 상기 스마트폰과 직접 물리적으로 결합하여 고정시키는 것을 특징으로 하는 스마트폰 기반의 보청기.
  27. 제 1항에 있어서, 상기 아날로그 인터페이스 부를 동글(dongle) 형태로 제작하여 상기 스마트폰의 데이터 포트를 통하여 상기 아날로그 인터페이스 부를 상기 스마트폰에 결합하는 것을 특징으로 하는 스마트폰 기반의 보청기.
  28. 제 2항에 있어서, 디바이스 직렬데이터 송수신기는 상기 제1 연결장치를 통하여 USB 1.1 표준에 따라 데이터를 전송하는 것을 특징으로 하는 스마트폰 기반의 보청기.
PCT/KR2017/009320 2016-11-18 2017-08-25 스마트폰 기반의 보청기 WO2018093019A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/462,145 US10993046B2 (en) 2016-11-18 2017-08-25 Smartphone-based hearing aid

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160153925A KR101753064B1 (ko) 2016-11-18 2016-11-18 스마트폰 기반의 보청기
KR10-2016-0153925 2016-11-18

Publications (1)

Publication Number Publication Date
WO2018093019A1 true WO2018093019A1 (ko) 2018-05-24

Family

ID=59357471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/009320 WO2018093019A1 (ko) 2016-11-18 2017-08-25 스마트폰 기반의 보청기

Country Status (3)

Country Link
US (1) US10993046B2 (ko)
KR (1) KR101753064B1 (ko)
WO (1) WO2018093019A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2572065B (en) * 2018-02-20 2021-03-03 Cirrus Logic Int Semiconductor Ltd Methods and apparatus relating to data transfer over a USB connector
US11317221B2 (en) * 2018-05-15 2022-04-26 Sonova Ag Method and apparatus for in-ear acoustic readout of data from a hearing instrument
KR20220016552A (ko) * 2020-08-03 2022-02-10 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
US11636842B2 (en) 2021-01-29 2023-04-25 Iyo Inc. Ear-mountable listening device having a microphone array disposed around a circuit board
KR102327235B1 (ko) 2021-04-06 2021-11-16 조성재 모바일 플러그인 보청기

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101149062B1 (ko) * 2010-03-10 2012-05-24 (주)건융아이비씨 보청 기능을 구비한 단말기와 결합되는 보청용 이어 마이크 장치
KR101175723B1 (ko) * 2010-08-12 2012-08-22 주식회사 바이오사운드랩 보청장치 및 제어방법
KR101354902B1 (ko) * 2012-04-03 2014-01-23 주식회사 바이오사운드랩 모바일 폰과 기능 연계성을 가진 보청기 구조
KR101585793B1 (ko) * 2014-09-30 2016-01-15 정금필 스마트 보청기
KR101648840B1 (ko) * 2015-02-16 2016-08-30 포항공과대학교 산학협력단 휴대용 전자장치에 결합된 보청기

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9736600B2 (en) * 2010-05-17 2017-08-15 Iii Holdings 4, Llc Devices and methods for collecting acoustic data
US9479876B2 (en) * 2012-04-06 2016-10-25 Iii Holdings 4, Llc Processor-readable medium, apparatus and method for updating a hearing aid
US9210520B2 (en) * 2012-12-17 2015-12-08 Starkey Laboratories, Inc. Ear to ear communication using wireless low energy transport
US9119009B1 (en) * 2013-02-14 2015-08-25 Google Inc. Transmitting audio control data to a hearing aid
EP3120578B2 (en) * 2014-03-19 2022-08-17 Bose Corporation Crowd sourced recommendations for hearing assistance devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101149062B1 (ko) * 2010-03-10 2012-05-24 (주)건융아이비씨 보청 기능을 구비한 단말기와 결합되는 보청용 이어 마이크 장치
KR101175723B1 (ko) * 2010-08-12 2012-08-22 주식회사 바이오사운드랩 보청장치 및 제어방법
KR101354902B1 (ko) * 2012-04-03 2014-01-23 주식회사 바이오사운드랩 모바일 폰과 기능 연계성을 가진 보청기 구조
KR101585793B1 (ko) * 2014-09-30 2016-01-15 정금필 스마트 보청기
KR101648840B1 (ko) * 2015-02-16 2016-08-30 포항공과대학교 산학협력단 휴대용 전자장치에 결합된 보청기

Also Published As

Publication number Publication date
US10993046B2 (en) 2021-04-27
KR101753064B1 (ko) 2017-07-03
US20200021921A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
WO2018093019A1 (ko) 스마트폰 기반의 보청기
WO2020117008A1 (en) Electronic device including speaker and microphone
WO2020166944A1 (en) Sound outputting device including plurality of microphones and method for processing sound signal using plurality of microphones
KR101233606B1 (ko) 디지털 노이즈 제거 및 디지털 오디오 경로를 갖는 전자 장치 및 외부 장비
WO2017111319A1 (ko) 전자 장치 및 전자 장치의 동작 제어 방법
WO2019066293A1 (ko) 외부 마이크로폰의 그라운드 단자와 전기적으로 연결될 수 있는 커넥터에 포함된 지정된 핀이 회로 기판의 지정된 그라운드와 전기적으로 연결된 회로 구조를 갖는 전자 장치
US10748522B2 (en) In-ear microphone with active noise control
WO2019112357A1 (ko) 복수의 스피커의 상태에 기반하여 오디오 신호의 볼륨 레벨을 제어하는 전자 장치
WO2019156338A1 (ko) 노이즈가 정제된 음성 신호를 획득하는 방법 및 이를 수행하는 전자 장치
WO2020189906A1 (en) Electronic device for controlling external conversion device
WO2021020686A1 (ko) 헤드셋 전자 장치 및 그와 연결되는 전자 장치
CN108347670B (zh) 信号处理方法及信号处理系统
US10070221B1 (en) Signal processing system and a method
WO2019083125A1 (en) AUDIO SIGNAL PROCESSING METHOD AND ELECTRONIC DEVICE FOR SUPPORTING IT
WO2023085749A1 (ko) 빔포밍을 제어하는 전자 장치 및 이의 동작 방법
KR101648042B1 (ko) ANC(Active Noise Cancellation) 기능을 가지는 휴대폰용 이어폰 시스템
WO2021221440A1 (ko) 음질 향상 방법 및 그 장치
CN105657598B (zh) 一种适用于用户终端的耳机控制装置
WO2021162403A1 (en) Method for improving sound quality and electronic device using same
WO2023063627A1 (ko) 오디오 장면에 기초하여 주변 사운드를 제어하는 전자 장치 및 그 동작방법
WO2022197151A1 (ko) 외부 소리를 듣기 위한 전자 장치 및 전자 장치의 동작 방법
WO2022103176A1 (ko) 전자 장치의 멀티 레코딩 시 무선 오디오 장치에서 마이크 입출력을 제어하는 방법 및 장치
WO2023287023A1 (ko) 음향 신호를 생성하는 전자 장치 및 방법
WO2023128155A1 (ko) 전자 장치 및 그 제어 방법
WO2022164023A1 (ko) 오디오 데이터를 처리하는 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17872279

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17872279

Country of ref document: EP

Kind code of ref document: A1