KR101364543B1 - Apparatus and method for receiving sound using mobile phone - Google Patents

Apparatus and method for receiving sound using mobile phone Download PDF

Info

Publication number
KR101364543B1
KR101364543B1 KR1020120033169A KR20120033169A KR101364543B1 KR 101364543 B1 KR101364543 B1 KR 101364543B1 KR 1020120033169 A KR1020120033169 A KR 1020120033169A KR 20120033169 A KR20120033169 A KR 20120033169A KR 101364543 B1 KR101364543 B1 KR 101364543B1
Authority
KR
South Korea
Prior art keywords
sound
portable terminal
user
microphone array
signal
Prior art date
Application number
KR1020120033169A
Other languages
Korean (ko)
Other versions
KR20130054898A (en
Inventor
김인영
김진률
남경원
한종희
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20130054898A publication Critical patent/KR20130054898A/en
Application granted granted Critical
Publication of KR101364543B1 publication Critical patent/KR101364543B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

본 발명은 휴대 단말기를 이용한 음향 수신 장치 및 방법에 관한 것으로, 본 발명의 일 실시예에 따른 음향 수신 장치는, 주위 음향을 집음하는 복수 개의 마이크로폰 어레이(microphone array) 및 집음된 음향 신호로부터 빔포밍(beam-forming)을 이용하여 잡음이 선택적으로 제거되거나 음향이 선택적으로 강화된 음향 신호를 생성하는 빔포머(beam-former)를 포함하고, 빔포머에 의해 생성된 음향 신호를 사용자의 귀에 부착된 수신기에 전송한다.The present invention relates to a sound receiving apparatus and a method using a mobile terminal, the sound receiving apparatus according to an embodiment of the present invention, a plurality of microphone array (microphone array) for collecting the ambient sound and the beamforming from the collected sound signal a beamformer for generating an acoustic signal in which noise is selectively removed by using beam-forming or selectively enhanced in sound, and a sound signal generated by the beamformer is attached to a user's ear. Send to the receiver.

Description

휴대 단말기를 이용한 음향 수신 장치 및 방법{Apparatus and method for receiving sound using mobile phone}Apparatus and method for receiving sound using mobile phone

본 발명은 사용자가 소지하는 휴대 단말기를 이용한 음향 수신 기술에 관한 것으로, 특히 보청기 및 와우 보조기(cochlea implant)와 같은 음향 수신 장치와 연결된 음향 처리 수단을 이용하여 수신된 음향을 빔포밍(beam-forming)을 이용해 처리함으로써 방향성 잡음이 제거된 음향을 음향 수신 장치에 전달하는 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a sound receiving technology using a portable terminal possessed by a user, and more particularly, to beam-forming a received sound using a sound processing means connected to a sound receiving device such as a hearing aid and a cochlea implant. The present invention relates to an apparatus and a method for delivering a sound from which directional noise has been removed to a sound receiving device by processing the same).

청력에 장애가 있는 환자들을 위해 활용되는 의료 장비로 보청기와 와우 보조기가 소개되어 있다. 통상적으로 난청의 경우에는 보청기를 활용하여 부족한 청력을 보충하고, 보청기로도 도움을 받지 못하는 양측성 전농 또는 고심도 난청인에게는 인공 달팽이관에 해당하는 와우 보조기(cochlea implant)를 활용한다.Hearing aids and cochlear implants are introduced as medical devices used for hearing impaired patients. In the case of hearing loss, a hearing aid is used to compensate for a lack of hearing, and a bilateral pre-concentration or a high-depth hearing loss person who is not helped by a hearing aid, a cochlea implant corresponding to an artificial cochlea is used.

보청기는 청력 검사상 난청으로 진단된 환자의 귀에 장착하여 소리를 증폭하여 주는 기구로서, 소리를 받는 마이크로폰(microphone)과 소리를 증폭시키는 증폭기, 증폭된 소리를 내보내는 스피커로 구성되어 있으며, 난청인 각각의 주파수별 청력에 맞추어 동작하게 된다. 이러한 보청기의 종류로는, 크기에 따라 몸에 부착하는 포켓형, 귀 뒤로 거는 귀걸이형, 외이도와 이갑개(외이에서 외이도 입구까지의 조개모양의 공간)를 채우는 이갑개형, 외이도 입구를 일부 채우는 외이도형, 외이도 내로 완전히 넣어 타인의 눈에 잘 띄지 않는 고막형으로 나눌 수 있다. 또한, 신호 처리 방법에 따라 아날로그 방식과 디지털 방식이 있으며 최근에는 대부분 디지털 보청기를 사용하는 추세이다. 그 외에도 소리의 골전도를 이용한 골도 보청기, 일측 난청이 있는 경우 반대측 귀로 들을 수 있게 해주는 크로스(contralateral routing of signal, CROS)가 있다.Hearing Aid is a device that amplifies the sound by attaching it to the ear of a patient diagnosed with hearing loss on hearing test, and consists of a microphone that receives the sound, an amplifier that amplifies the sound, and a speaker that emits the amplified sound. It operates according to the frequency of hearing. These types of hearing aids include pockets attached to the body depending on the size, earrings hanging behind the ear, ear canal type filling the ear canal and ear canal (shell-shaped space from the ear canal to the entrance to the ear canal), and ear canal type partially filling the ear canal entrance. The ear canal is completely inserted into the ear canal and is divided into tympanic membranes that are invisible to others. In addition, there are analog and digital methods depending on the signal processing method, and recently, the trend is to use digital hearing aids. In addition, there is a bone hearing aid using bone conduction of sound, and a contralateral routing of signal (CROS) that allows one ear to hear in the opposite ear in case of hearing loss.

와우 보조기는 청각 신경섬유를 전기적으로 자극하여 듣는 것이 가능하도록 와우각에 삽입되는 장치로서, 융모 세포의 손상으로 인하여 청각을 상실한 사람들의 청각 복원에 사용한다. 이러한 와우 보조기를 시술하는 방법은 외부에서 들려오는 소리를 전기적 자극으로 변환하여 청각신경을 자극하는 전극을 달팽이관에 이식함으로써 이루어진다. 와우 보조기를 이식한 사람들은 마이크로폰을 귀에 걸고 안테나는 머리에 붙이며, 어음처리기로 장치를 켜거나 끄면서 조정한다. 내부장치는 영구적으로 바깥쪽 귀 뒤, 유양돌기 안에 저장한다. 전극들은 일반적으로 달팽이관 안에 있는 고실계단에 있다. 전극을 감싸고 있는 재질은 세라믹 또는 티타늄으로 구현될 수 있다.The cochlear implant is a device inserted into the cochlea to allow electrical nerve stimulation and hearing. The cochlear implant is used to restore hearing in people who have lost hearing due to damage to the villi cells. The cochlear implant is performed by converting an external sound into an electrical stimulus to implant an electrode that stimulates the auditory nerve in the cochlea. People implanted with cochlear implants put a microphone in their ears, an antenna attached to their head, and adjust it by turning the device on and off with a sound processor. The internal device is permanently stored behind the outer ear and in the papillary. The electrodes are usually in the tympanic cavity in the cochlea. The material surrounding the electrode may be made of ceramic or titanium.

이하에서 인용되는 비특허문헌에는 이러한 디지털 신호 기반의 보청기 개발의 현황과 과제가 다양하게 소개되어 있다.In the non-patent literature cited below, various present conditions and problems of the development of such a digital signal-based hearing aid are introduced.

한편, 이러한 청각 보조 장치들을 사용함에 있어 사용자의 주위 환경에는 다양한 음원(sound source)이 존재할 수 있다. 예를 들어, 사용자와 대화를 나누고 있는 상대방의 음성도 존재할 수 있는 반면, 도로를 지나는 자동차의 경적 소리나 지하철의 규칙적인 잡음도 존재할 수 있다. 따라서, 이러한 주위 환경에 존재하는 다양한 음원으로부터 발생하는 모든 음향을 수집하여 일률적으로 증폭하는 것은 사용자의 입장에서는 그리 바람직한 기능이 아님을 알 수 있다. 즉, 청각 보조 장치를 사용하는 사용자에게 필요하고 유용한 음향 신호만을 선택적으로 청취하고자 하는 요구가 존재한다.On the other hand, in using the hearing aids, various sound sources may exist in the environment of the user. For example, the voice of the other party who is talking to the user may be present, while the horn of the car passing through the road or the regular noise of the subway may be present. Therefore, it can be seen that collecting and uniformly amplifying all sounds generated from various sound sources existing in the surrounding environment is not a desirable function for the user. That is, there is a need to selectively listen only to sound signals that are necessary and useful to a user of the hearing aid.

디지털 보청기 개발 현황 및 연구과제, 김동욱, 재활공학정보 8('99.3) pp.52-68, 보건복지부, 1999. Development Status and Research Project of Digital Hearing Aids, Dong Wook Kim, Rehabilitation Engineering Information 8 ('99 .3) pp.52-68, Ministry of Health and Welfare, 1999.

본 발명이 해결하고자 하는 기술적 과제는 종래의 보청기나 와우 보조기와 같은 음향 수신 장치에서 주위의 음향 신호를 선택적으로 수신, 강화시키는 기능이 없음으로 인해 불필요한 잡음이 유입되어 증폭되는 문제점을 해결하고, 이러한 음향 수신 장치의 물리적인 크기가 소형인 관계로 설사 주위의 음향 신호를 선택적으로 수신, 강화시킨다고 할지라도 그 성능이 저하되어 방향성 잡음 제거가 제대로 이루어지지 못하는 한계를 극복하며, 음향 신호의 개선 내지 향상을 위해 사용자가 별도로 고가의 증폭 장치를 휴대하여야 하는 불편함을 해소하고자 한다.Technical problem to be solved by the present invention solves the problem that unnecessary noise is introduced and amplified due to the lack of a function of selectively receiving and enhancing the surrounding sound signal in the conventional sound receiving apparatus, such as a hearing aid or a cochlear implant, Although the physical size of the acoustic receiver is small, even if the selective reception and enhancement of the acoustic signal around the diarrhea, the performance is degraded to overcome the limitation that the directional noise is not properly removed, improve or improve the acoustic signal In order to solve the inconvenience that the user must carry an expensive amplification device separately.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 사용자가 휴대하는 휴대 단말기를 이용한 음향 수신 장치는, 주위 음향을 집음하는 복수 개의 마이크로폰 어레이(microphone array); 및 상기 집음된 음향 신호로부터 빔포밍(beam-forming)을 이용하여 소정 방향의 잡음이 선택적으로 제거되거나 소정 방향의 음향이 선택적으로 강화된 음향 신호를 생성하는 빔포머(beam-former);를 포함하고, 상기 빔포머에 의해 생성된 음향 신호를 상기 휴대 단말기를 통해 상기 사용자의 귀에 부착된 수신기에 전송한다.In order to solve the above technical problem, the sound receiving apparatus using a portable terminal carried by the user according to an embodiment of the present invention, a plurality of microphone array (microphone array) for collecting the ambient sound; And a beamformer for generating a sound signal in which noise in a predetermined direction is selectively removed or a sound in which a sound in a predetermined direction is selectively enhanced by using beam-forming from the collected sound signal. In addition, the acoustic signal generated by the beamformer is transmitted to the receiver attached to the user's ear through the portable terminal.

일 실시예에 따른 상기 음향 수신 장치에서 상기 마이크로폰 어레이는, 상기 휴대 단말기에 결합되는 착탈식 케이스 또는 착탈식 모듈의 형태로 형성되고, 단자(terminal)를 통해 상기 휴대 단말기와 전기적으로 연결됨으로써 음향 신호를 상기 휴대 단말기에 전달한다.In the sound receiving apparatus according to an embodiment, the microphone array is formed in a form of a detachable case or a detachable module coupled to the portable terminal, and is electrically connected to the portable terminal through a terminal to receive the sound signal. Deliver to your mobile terminal.

일 실시예에 따른 상기 음향 수신 장치에서 상기 빔포머는, 상기 휴대 단말기 내에 구비된 프로세서(processor)이고, 상기 마이크로폰 어레이가 집음한 주위 음향을 상기 단자를 통해 전달받은 후, 상기 음향의 억제폭 또는 지향폭을 제어함으로써 방향성 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성한다. 또한, 상기된 음향 수신 장치에서 마이크로폰 어레이가 상기 착탈식 케이스의 형태로 형성된 경우, 상기 마이크로폰 어레이는, 상기 휴대 단말기를 둘러싸고 상기 착탈식 케이스에 배치됨으로써 적어도 4개 이상의 방향을 감지하고, 상기 잡음의 제거 또는 음향의 강화를 위해 적응적으로 상기 감지 방향을 결정한다.In the sound receiving apparatus according to an embodiment, the beamformer is a processor provided in the portable terminal, and after receiving the ambient sound collected by the microphone array through the terminal, By controlling the directivity, an acoustic signal in which directional noise is removed or an acoustically enhanced acoustic signal is generated. In addition, when the microphone array is formed in the form of the removable case in the above-described sound receiving apparatus, the microphone array surrounds the portable terminal and is disposed in the detachable case to sense at least four directions, and to remove the noise or The sensing direction is adaptively determined to enhance the sound.

다른 실시예에 따른 상기 음향 수신 장치에서 상기 빔포머는, 상기 착탈식 케이스 또는 상기 착탈식 모듈에 구비된 마이크로 프로세서(micro-processor)이고, 상기 마이크로폰 어레이가 집음한 주위 음향의 억제폭 또는 지향폭을 제어함으로써 방향성 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성한 후, 상기 생성된 음향 신호를 상기 단자를 통해 상기 휴대 단말기에 전달한다. 또한, 상기된 음향 수신 장치에서 마이크로폰 어레이가 상기 착탈식 모듈의 형태로 형성된 경우, 상기 마이크로폰 어레이는, 상기 휴대 단말기의 일면에 결합되는 상기 착탈식 모듈에 일렬 배치됨으로써 적어도 2개 이상의 방향을 감지하고, 상기 잡음의 제거 또는 음향의 강화를 위해 상기 감지 방향을 적응적으로 결정한다.In the sound receiving apparatus according to another embodiment, the beamformer is a microprocessor provided in the detachable case or the detachable module, and controls the suppression width or the directivity of the ambient sound collected by the microphone array. As a result, after generating a sound signal from which directional noise has been removed or a sound-enhanced sound signal, the generated sound signal is transmitted to the portable terminal through the terminal. In addition, when the microphone array is formed in the form of the removable module in the above-described sound receiving apparatus, the microphone array is arranged in line with the detachable module coupled to one surface of the portable terminal to sense at least two directions, and The sensing direction is adaptively determined to remove noise or enhance sound.

일 실시예에 따른 상기 음향 수신 장치는, 상기 휴대 단말기에 구비되어 상기 빔포머에 의해 생성된 음향 신호를 상기 사용자의 귀에 부착된 수신기에 전송하는 무선 송신기;를 더 포함하고, 상기 무선 송신기는, 상기 휴대 단말기와 상기 사용자의 귀에 부착된 수신기 간에 무선 통신 수단을 이용하여 직접 통신한다.The sound receiving apparatus according to an embodiment may further include a wireless transmitter provided in the portable terminal and transmitting a sound signal generated by the beamformer to a receiver attached to the ear of the user. Direct communication is performed between the portable terminal and a receiver attached to the user's ear using wireless communication means.

다른 실시예에 따른 상기 음향 수신 장치는, 상기 휴대 단말기에 구비되어 상기 빔포머에 의해 생성된 음향 신호를 상기 사용자의 귀에 부착된 수신기에 전송하는 무선 송신기;를 더 포함하고, 상기 무선 송신기는, 상기 휴대 단말기와 상기 사용자의 귀에 부착된 수신기 간에 무선 통신 수단을 이용하여 통신하되, 상기 빔포머에 의해 생성된 음향 신호를 증폭하는 무선 중계기를 경유하여 통신한다.The sound receiving apparatus according to another embodiment may further include a wireless transmitter provided in the portable terminal to transmit a sound signal generated by the beamformer to a receiver attached to the user's ear, wherein the wireless transmitter includes: The portable terminal communicates with a receiver attached to the user's ear by using a wireless communication means, and communicates via a wireless repeater that amplifies the acoustic signal generated by the beamformer.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 사용자가 휴대하는 휴대 단말기를 이용한 음향 수신 방법은, 상기 휴대 단말기에 결합되는 착탈식 케이스 또는 착탈식 모듈의 형태로 형성된 복수 개의 마이크로폰 어레이를 통해 주위 음향을 집음하는 단계; 상기 집음된 음향 신호로부터 빔포밍을 이용하여 소정 방향의 잡음이 선택적으로 제거되거나 소정 방향의 음향이 선택적으로 강화된 음향 신호를 생성하는 단계; 및 상기 휴대 단말기에 구비된 무선 송신기를 통해 상기 생성된 음향 신호를 상기 사용자의 귀에 부착된 수신기에 전송하는 단계;를 포함한다.In order to solve the above technical problem, the sound receiving method using a portable terminal carried by a user according to an embodiment of the present invention, through a plurality of microphone array formed in the form of a removable case or a removable module coupled to the portable terminal Collecting ambient sound; Generating a sound signal from which the noise in a predetermined direction is selectively removed or the sound in a predetermined direction is selectively enhanced using beamforming from the collected sound signal; And transmitting the generated sound signal to a receiver attached to the user's ear through a wireless transmitter provided in the portable terminal.

일 실시예에 따른 상기 음향 수신 방법에서 상기 음향 신호를 생성하는 단계는, 상기 휴대 단말기에 구비된 연결 단자를 통해 상기 마이크로폰 어레이가 집음한 주위 음향을 상기 휴대 단말기에 전달하는 단계; 및 상기 휴대 단말기 내에 구비된 프로세서를 이용하여 상기 전달된 음향의 억제폭 또는 지향폭을 제어함으로써 방향성 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성하는 단계;를 포함한다.The generating of the sound signal in the sound receiving method according to an embodiment may include: transmitting the ambient sound collected by the microphone array to the mobile terminal through a connection terminal provided in the mobile terminal; And generating an acoustic signal or a sound-enhanced acoustic signal by removing the directional noise by controlling the suppression width or the directivity of the transmitted sound using a processor provided in the portable terminal.

다른 실시예에 따른 상기 음향 수신 방법에서 상기 음향 신호를 생성하는 단계는, 상기 착탈식 케이스 또는 상기 착탈식 모듈에 구비된 마이크로 프로세서를 이용하여 상기 마이크로폰 어레이가 집음한 주위 음향의 억제폭 또는 지향폭을 제어함으로써 방향성 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성하는 단계; 및 상기 휴대 단말기에 구비된 연결 단자를 통해 상기 생성된 음향 신호를 상기 휴대 단말기에 전달하는 단계;를 포함한다.The generating of the sound signal in the sound receiving method according to another embodiment may include controlling the suppression width or the directivity of the ambient sound collected by the microphone array using a microprocessor provided in the detachable case or the detachable module. Thereby generating an acoustic signal from which directional noise has been removed or an acoustically enhanced acoustic signal; And transmitting the generated sound signal to the portable terminal through a connection terminal provided in the portable terminal.

또한, 상기된 음향 수신 방법에서 상기 주위 음향을 집음하는 단계는, 상기 착탈식 케이스 또는 상기 착탈식 모듈에 배치되는 상기 복수 개의 마이크로폰 어레이를 통해 복수 방향을 감지하는 단계를 더 포함하고, 상기 잡음의 제거 또는 음향의 강화를 위해 상기 감지 방향을 적응적으로 결정한다.In the sound receiving method, the collecting of the ambient sound may further include detecting a plurality of directions through the plurality of microphone arrays disposed in the detachable case or the detachable module. The sensing direction is adaptively determined to enhance the sound.

나아가, 이하에서는 상기 기재된 음향 수신 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.Furthermore, the following provides a computer readable recording medium having recorded thereon a program for executing the above-described sound receiving method on a computer.

본 발명의 실시예들은, 복수 개의 마이크로폰 어레이를 통해 수신된 주위 음향 신호로부터 휴대 단말기를 통해 빔포밍을 처리하고, 이를 다시 사용자의 귀에 부착된 보청기 또는 와우 보조기의 수신기에 전송함으로써 주위의 음향 신호를 선택적으로 수신하거나 강화시킬 수 있으며, 결과적으로 주위에 존재하는 다양한 음원으로부터 발생하는 불필요한 잡음을 효과적으로 제거함으로써 사용자 편의성을 향상시킬 뿐만 아니라, 잡음의 제거 또는 음향의 증폭을 위해 별도의 증폭 장치를 휴대할 필요없이 사용자가 늘상 휴대하는 휴대 단말기에 부가되는 간편한 보조 기구를 통해 향상된 품질의 음향을 제공할 수 있다.Embodiments of the present invention, by processing the beamforming from the ambient sound signal received through the plurality of microphone array through the portable terminal, and transmits it back to the receiver of the hearing aid or wow aid attached to the user's ear, It can be selectively received or enhanced, and as a result, user convenience can be improved by effectively removing unnecessary noise generated from various sound sources present in the surroundings, and a separate amplification device can be carried for removing noise or amplifying sound. It is possible to provide improved quality sound through a simple assistive device that is added to the portable terminal that the user always carries without the need.

도 1은 본 발명의 일 실시예에 따른 사용자가 휴대하는 휴대 단말기를 이용한 음향 수신 장치를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 음향 수신 장치를 휴대 단말기와 착탈식 케이스를 통해 구현하는 방법을 예시한 도면이다.
도 3 및 도 4는 도 1에 따른 음향 수신 장치에서 빔포머를 구현하는 2가지 실시예를 각각 도시한 블록도이다.
도 5는 본 발명의 다른 실시예에 따른 음향 수신 장치를 휴대 단말기와 착탈식 모듈(module)을 통해 구현하는 방법을 예시한 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 휴대 단말기를 이용한 음향 수신 장치와 사용자의 귀에 부착되는 수신기가 통신하는 2가지 과정을 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 사용자가 휴대하는 휴대 단말기를 이용한 음향 수신 방법을 도시한 흐름도이다.1 is a block diagram illustrating a sound receiving apparatus using a portable terminal carried by a user according to an embodiment of the present invention.
2 is a diagram illustrating a method of implementing a sound receiving apparatus according to an embodiment of the present invention through a portable terminal and a removable case.
3 and 4 are block diagrams illustrating two embodiments of implementing a beamformer in the sound receiving apparatus according to FIG. 1, respectively.
5 is a diagram illustrating a method of implementing a sound receiving apparatus according to another embodiment of the present invention through a portable terminal and a removable module.
6 and 7 illustrate two processes in which a sound receiving apparatus using a portable terminal and a receiver attached to a user's ear communicate with each other according to an embodiment of the present invention.
8 is a flowchart illustrating a sound receiving method using a portable terminal carried by a user according to an embodiment of the present invention.

앞서 소개한 바와 같이 통상적인 보청기 또는 와우 보조기의 경우 사용자의 귀에 직접 부착되는 수신기를 통해 단순히 주위에 존재하는 다양한 음원으로부터 발생하는 음향을 수신하여 단순 증폭하는 역할만을 수행하거나, 별도의 수신기를 통해 집음된 음향을 보청기 또는 와우 보조기에 무선 통신을 활용하여 전달하도록 구현되었다. As described above, in the case of a conventional hearing aid or a cochlear implant, the receiver directly attaches to the user's ear and simply receives and amplifies the sound from various sound sources present around the user, or is collected through a separate receiver. To transmit the sound to a hearing aid or a cochlear implant using wireless communication.

따라서, 본 발명의 실시예들은 이상과 같은 불편함을 인지하여 안출된 것으로서, 집음된 음향으로부터 불필요한 잡음을 제거하거나, 특정 방향의 중요 음향만을 강조하는 빔포밍(beam-forming) 기술을 보청기 또는 와우 보조기와 같은 청력 보조 장치에 활용하고자 한다. 특히, 이러한 빔포밍 기술은 물리적으로 일정한 수준 이상의 마이크로폰 어레이가 활용되어야 하므로, 빔포머를 사용자의 귀에 직접 부착되는 수신기가 아닌 별도의 장치(사용자가 휴대하는 휴대 단말 내지, 사용자에게 인접해 있는 별도의 음향 수신 장치가 될 수 있다.)를 통해 구현하고자 한다.Accordingly, embodiments of the present invention are conceived by recognizing the inconvenience as described above, and remove the unnecessary noise from the collected sound, or a beam-forming technology that emphasizes only important sound in a specific direction. It is intended to be used for hearing aids such as braces. In particular, such beamforming technology requires that a microphone array of a physical level or higher is utilized, so that the beamformer is not a receiver attached directly to a user's ear, but a separate device (a portable terminal carried by a user or a separate device adjacent to a user). Sound receiving device).

일반적으로, 빔포밍은 두 개 이상의 마이크로폰의 입력을 통해 구현이 가능하며, 두 마이크로폰 간의 거리가 넓을수록 빔의 제어가 용의하다고 알려져 있다. 이로 인해 보청기 등에서 빔포밍 기술을 활용하고자 할 때는, 보청기 자체가 갖는 물리적 제약(크기가 작아야하는 보청기의 특징을 의미한다.)으로 인해 마이크로폰의 개수와 마이크로폰 사이의 거리가 제한적일 수 밖에 없다. 이로 인해 빔포머를 보청기와 같은 소형 수신기와 더불어 구현할 경우, 빔포밍의 성능이 저하되어 방향성 잡음을 효과적으로 제거할 수 없다는 문제점에 직면하게 된다.In general, beamforming can be implemented through input of two or more microphones, and it is known that the greater the distance between two microphones, the easier the beam control is. For this reason, when using a beamforming technology in hearing aids, the number of microphones and the distance between the microphones are limited due to the physical constraints of the hearing aid itself (which means the characteristics of the hearing aid must be small). As a result, when the beamformer is implemented with a small receiver such as a hearing aid, the beamforming performance is deteriorated and the directional noise cannot be effectively removed.

즉, 이하에서 기술된 본 발명의 실시예들은 빔포밍 성능을 높이기 위해 다수의 마이크로폰을 스마트폰과 같은 휴대 단말에 설치하여 빔포밍 성능을 개선하였다. CE(consumer electronics) 기기 및 휴대 전화 등 다양한 디지털 기기에서 사운드를 취득하기 위한 수단으로는 마이크로폰(microphone)이 사용되는데, 단일 채널의 모노(mono) 사운드가 아닌 2 이상의 채널을 활용하는 스테레오(stereo) 사운드를 구현하기 위해서는 일반적으로 1 개의 마이크로폰이 아닌 다수의 마이크로폰들을 사용하게 된다.That is, the embodiments of the present invention described below improve the beamforming performance by installing a plurality of microphones in a portable terminal such as a smartphone in order to increase the beamforming performance. As a means of acquiring sound from various digital devices such as CE (consumer electronics) devices and mobile phones, a microphone is used. A stereo that utilizes two or more channels instead of a single channel of mono sound. In order to implement sound, a plurality of microphones are generally used instead of one microphone.

앞서 소개한 바와 같이 휴대용 디지털 기기를 통해 음원을 녹음하거나 음성 신호를 입력받는 환경은 통상적으로 주변 간섭음이 없이 조용한 환경이기보다는 다양한 소음과 주변 간섭음이 모두 포함되어 있는 환경일 경우가 더 많을 것이다. 이를 위해 혼합 사운드들로부터 사용자가 필요로 하는 특정 음원 신호만을 강화하거나, 역으로 불필요한 주변 간섭음을 제거하는 기술 등이 다양하게 개발되고 있다.As mentioned earlier, the environment in which sound recording or voice signals are input through a portable digital device is more likely to include various noises and ambient interference sounds than a quiet environment without ambient interference noises. . To this end, various technologies have been developed to enhance only a specific sound source signal required by a user from mixed sounds, or to remove unnecessary ambient interference sounds.

일반적으로 지향성이라 함은 마이크로폰, 스피커 등의 음향 기기가 특정한 방향의 음원에 대해 더 좋은 감도를 나타내는 정도를 의미한다. 지향성은 마이크로폰을 중심으로 방향에 따라 다른 감도를 나타내게 되고, 이러한 지향성 특성이 나타나는 지향성 패턴의 폭을 지향 폭(directivity width)이라고 하며, 이와 반대로 지향성이 억제되어 지향성 패턴 상에서 감도가 매우 낮게 나타나는 부분의 폭을 억제 폭(null width)라고 한다. 지향 폭과 억제 폭은 각각 그 폭을 조절할 수 있는 다양한 조절 인자(parameter)들이 있으며 이들 인자들을 조절하는 것에 의해 마이크로폰의 목표 음원에 대한 감도인 지향 폭과 억제 폭을 조절할 수 있게 된다.In general, directivity refers to the degree to which a sound device such as a microphone or a speaker exhibits a better sensitivity to a sound source in a specific direction. Directivity has different sensitivity depending on the direction of the microphone, and the width of the directional pattern exhibiting such directivity characteristics is called directivity width. On the contrary, the directivity is suppressed and the sensitivity of the directional pattern is very low. The width is called the null width. The directional width and the suppression width have various parameters for controlling the width of the microphone. By controlling these factors, it is possible to control the directional width and the suppression width, which are the sensitivities of the microphone to the target sound source.

마이크로폰 어레이의 억제 폭을 조절할 수 있는 조절 인자들로는 마이크로폰 어레이를 구성하는 마이크로폰들 간의 간격, 마이크로폰 어레이에 입력된 신호들을 지연시키는 지연항(delay) 등이 있으며 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 이러한 조절 인자들을 활용하여 목표 음원을 다양한 방법을 통해 제어할 수 있다. Control factors for adjusting the suppression width of the microphone array include the interval between the microphones constituting the microphone array, the delay delay for delaying signals input to the microphone array, and the like. The person using these control factors can control the target sound source in various ways.

일반적으로 2 개 이상의 마이크로폰들로 이루어진 마이크로폰 어레이는 배경 잡음과 섞인 목표 신호를 고감도로 수신하기 위해 마이크로폰 어레이에 수신된 각각의 신호에 적절한 가중치를 주어 진폭을 향상시킴으로써 원하는 목표 신호와 잡음 신호의 방향이 다를 경우의 잡음을 공간적으로 줄일 수 있는 필터 역할을 하며, 이러한 일종의 공간적 필터를 빔포밍이라고 한다. 다른 방향의 잡음으로부터 목표 신호를 증폭시키거나 추출하기 위해서는 어레이 패턴과 각각의 마이크로폰에 입력된 신호들 간의 위상 차이를 구하여야 하며, 이러한 신호 정보를 구하기 위해 다수의 알고리즘이 소개되었다. 예를 들어, 딜레이-앤드-서브트랙트(delay-and-subtract) 알고리즘이 그 대표적인 예 중의 하나이다.In general, a microphone array consisting of two or more microphones improves amplitude by appropriately weighting each signal received in the microphone array to receive a target signal mixed with background noise with high sensitivity, thus improving the desired target and noise signal direction. It serves as a filter that can spatially reduce noise when different, and this kind of spatial filter is called beamforming. In order to amplify or extract the target signal from the noise in the other direction, the phase difference between the array pattern and the signals input to the respective microphones must be obtained. A number of algorithms have been introduced to obtain such signal information. For example, a delay-and-subtract algorithm is one of the representative examples.

한편, 기존의 보청기나 와우 보조기의 경우 크기의 제약으로 인해 다수의 마이크로폰을 설치할 수 없으며, 각 마이크로폰의 간격이 좁게 구성될 수 밖에 없었기 때문에 빔포밍의 성능이 저하되어 결과적으로 방향성 잡음 제거가 용이하지 않다. 이를 개선하기 위해 본 발명의 실시예들은 사용자가 휴대하는 휴대 단말에 다수의 마이크로폰을 부가하는 다양한 방법을 제안하고자 한다. 특히, 본 발명의 실시예들은 스마트폰에 간격이 넓은 다수의 마이크로폰을 구비하고, 이를 통해 입력되는 신호를 빔포밍한 후 해당 신호를 스마트폰의 무선 통신 수단(예를 들어, 블루투스가 될 수 있다.)을 통해 보청기의 수신기에 전송함으로써 향상된 빔포밍 성능을 제공할 수 있을 뿐만 아니라, 고가의 지향성 음향 처리 장치를 별도로 소지하는데 따른 불편을 제거하기 위해 사용자가 늘상 휴대하는 휴대 단말기를 통해 이러한 지향성 음향 처리를 수행한 후, 처리 결과 생성된 음향 신호를 사용자의 귀에 부착된 수신기에 전달함으로써 저렴한 비용으로 사용자 불편없이 음성 신호 처리를 효과적으로 달성하고자 한다.On the other hand, conventional hearing aids or cochlear implants cannot be installed with a large number of microphones due to size constraints, and because the distance between each microphone must be narrow, beamforming performance is degraded, and as a result, directional noise is not easily removed. not. In order to improve this, embodiments of the present invention intend to propose various methods of adding a plurality of microphones to a portable terminal carried by a user. Particularly, embodiments of the present invention include a plurality of microphones having a wide interval in a smartphone, and after beamforming a signal input thereto, the signal may be a wireless communication means (for example, Bluetooth) of the smartphone. By transmitting to the receiver of the hearing aid through.), Not only can the improved beamforming performance be provided, but also the directional sound is carried through a portable terminal which is always carried by the user in order to eliminate the inconvenience of having an expensive directional acoustic processing device separately. After performing the processing, the sound signal generated as a result of the processing is transmitted to a receiver attached to the user's ear, so that the voice signal processing can be effectively achieved without user inconvenience at low cost.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 보다 구체적으로 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. It should be noted that the same constituent elements are denoted by the same reference numerals as possible throughout the drawings.

도 1은 본 발명의 일 실시예에 따른 사용자가 휴대하는 휴대 단말기를 이용한 음향 수신 장치를 도시한 블록도로서, 음향 수신 장치(30) 주변에 다수의 음원(sound source)이 존재하고, 이를 집음하여 신호 처리한 후, 사용자의 귀에 부착된 수신기(40)로 전달하는 상황을 가정하고 있다.1 is a block diagram illustrating a sound receiving apparatus using a portable terminal carried by a user according to an embodiment of the present invention, wherein a plurality of sound sources exist around the sound receiving apparatus 30 and are collected. After processing the signal, it is assumed that the situation to deliver to the receiver 40 attached to the user's ear.

복수 개의 마이크로폰 어레이(microphone array)(31)는 주위 음원으로부터 방사되는 다양한 음향을 집음한다. 복수 개의 마이크로폰들의 배치의 차이로 인해 각각의 마이크로폰에 도착하는 음향은 하나의 음원으로부터 방사되는 하나의 음향의 경우에도 도착 시점에는 그 위상과 신호의 특성이 서로 상이할 수 밖에 없다. 이러한 차이점을 이용하여 마이크로폰 어레이(31)는 신호에 대한 다양한 정보를 수집할 수 있게 된다.The plurality of microphone arrays 31 collect various sounds radiated from the ambient sound source. Due to the difference in the arrangement of the plurality of microphones, the sound arriving at each microphone may have different phase and signal characteristics at the time of arrival even in the case of one sound radiated from one sound source. Using this difference, the microphone array 31 can collect various information about the signal.

여기서, 본 발명의 실시예들이 채택하고 있는 마이크로폰 어레이(31)는, 상기 휴대 단말기에 결합되는 착탈식 케이스 또는 착탈식 모듈의 형태로 형성되고, 단자(terminal)를 통해 상기 휴대 단말기와 전기적으로 연결됨으로써 음향 신호를 상기 휴대 단말기에 전달할 수 있다. 따라서, 상기 단자는, 상기 휴대 단말기에 구비된 데이터 포트(data port) 또는 이어폰 단자 중 적어도 하나로 구현되는 것이 바람직하다.Here, the microphone array 31 adopted by the embodiments of the present invention is formed in the form of a detachable case or a detachable module coupled to the portable terminal, and is electrically connected to the portable terminal through a terminal. The signal may be transmitted to the portable terminal. Therefore, the terminal is preferably implemented as at least one of a data port or earphone terminal provided in the portable terminal.

물론, 이러한 마이크로폰 어레이(31)는 상기된 착탈식 케이스 또는 착탈식 모듈 없이도 휴대 단말기 그 자체에 구비될 수도 있을 것이다. 이 경우, 빔포머(33)는 휴대 단말기 내에 구비된 프로세서(processor)인 것이 바람직하다.Of course, such a microphone array 31 may be provided in the portable terminal itself without the detachable case or the detachable module described above. In this case, the beamformer 33 is preferably a processor provided in the portable terminal.

빔포머(beam-former)(33)는 상기 마이크로폰 어레이(31)를 통해 집음된 음향 신호로부터 빔포밍(beam-forming)을 이용하여 특정 방향의 잡음이 선택적으로 제거되거나 특정 방향의 음향이 선택적으로 강화된 음향 신호를 생성하게 된다. 이 때, 특정 방향이란, 사용자에 의해 지정된 방향일 수도 있고, 미리 설정된 방향일 수도 있으며, 음향을 강화하거나 잡음을 제거하고자 하는 방향을 빔포머 스스로가 적응적으로 결정할 수도 있다. 적응적 빔포밍(adaptive beam-forming) 방법은 음원 방향을 결정한 후, 그 외의 방향으로부터 수집되는 음향은 잡음으로 처리하는 방법이 있으며, 웨이블렛(wavelet) 알고리즘이나 일반 피드백(normal feedback) 회로를 이용하는 방법 등 적응적 빔포밍을 구현하기 위한 다양한 알고리즘들이 채택될 수 있다. 적응적 빔포밍에 관한 구현 방법은 본 발명의 본질을 해칠 우려가 있으므로 여기서는 구체적인 설명을 생략하도록 한다.The beamformer 33 selectively removes noise in a specific direction or selectively generates sound in a specific direction by using beam-forming from an acoustic signal collected through the microphone array 31. Will produce an enhanced sound signal. In this case, the specific direction may be a direction designated by a user, or may be a predetermined direction, and the beamformer may adaptively determine a direction for enhancing sound or removing noise. In the adaptive beam-forming method, a sound source direction is determined, and sound collected from other directions is treated as noise. A method using a wavelet algorithm or a normal feedback circuit is used. Various algorithms for implementing such adaptive beamforming may be adopted. An implementation method related to adaptive beamforming may impair the essence of the present invention, so a detailed description thereof will be omitted.

무선 송신기(35)는 상기 휴대 단말기에 구비되어, 상기 빔포머(33)에 의해 생성된 음향 신호를 상기 사용자의 귀에 부착된 수신기(40)에 전송한다. 이러한 무선 송신기(35)와 사용자의 귀에 부착된 수신기(40)는 상호 무선 통신을 통해 데이터(음향 신호)를 송수신한다. 이 때, 이러한 무선 통신은 블루투스(bluetooth), WiFi 또는 FM 무선 통신과 같은 다양한 통신 수단이 활용될 수 있으며, 특히 현대 판매되고 있는 휴대 단말기의 통상적인 구현 형태를 고려할 때, 블루투스를 선택할 경우 별도의 추가 비용 없이도 휴대 단말기 자체에 구현되어 있는 하드웨어를 활용할 수 있다는 장점이 있다.The radio transmitter 35 is provided in the portable terminal and transmits an acoustic signal generated by the beamformer 33 to the receiver 40 attached to the user's ear. The radio transmitter 35 and the receiver 40 attached to the user's ear transmit and receive data (sound signals) through mutual wireless communication. At this time, such a wireless communication may use a variety of communication means such as Bluetooth (Bluetooth), WiFi or FM wireless communication, in particular, considering the typical implementation of the mobile terminal on the market today, if you choose a separate Bluetooth The advantage is that the hardware implemented in the portable terminal itself can be utilized at no additional cost.

도 2는 본 발명의 일 실시예에 따른 음향 수신 장치(30)를 휴대 단말기(10)와 착탈식 케이스(20)를 통해 구현하는 방법을 예시한 도면으로서, 빔포밍을 위한 외부 마이크로폰이 달린 스마트폰 케이스 혹은 범퍼를 통해 주위 음향을 집음할 수 있음을 도시하고 있다.2 is a diagram illustrating a method of implementing the sound receiving device 30 according to an embodiment of the present invention through the portable terminal 10 and the removable case 20, and a smartphone having an external microphone for beamforming. It shows that the ambient sound can be collected through the case or bumper.

즉, 스마트폰의 케이스 혹은 범퍼(20)에 다수의 마이크로폰을 설치하여, 이를 통해 입력되는 다수의 음향 신호에 적응형 빔포밍을 적용함으로써 방향성 잡음을 제거한 음향 신호를 스마트폰 이어폰 또는 마이크로폰의 입력부(앞서 소개한 단자를 의미한다.)로 전송할 수 있다. 이렇게 입력된 지향성(빔포밍된) 음향 신호는 스마트폰의 무선(예를 들어, 블루투스가 활용될 수 있다.) 송신 기능을 이용하여 사용자의 귀에 직접 부착된 보청기의 수신기에 전송된다.That is, by installing a plurality of microphones in the case or bumper 20 of the smartphone, by applying the adaptive beamforming to the plurality of acoustic signals input through the input of the earphones or the microphone of the earphone (microphone) Means the terminal introduced earlier). The input directional (beamformed) acoustic signal is transmitted to a receiver of a hearing aid attached directly to the user's ear using the wireless (eg Bluetooth) transmission function of the smartphone.

종래의 보청기의 경우, 사용자의 귀에 부착된 보청기의 무선 수신기에 내장된 마이크로폰을 통해 음원을 집음하기 때문에 보청기 사용자가 듣고자 하는 음원과 멀리 이격되어 있는 경우에는 집음되는 음원의 크기가 작아지는 단점을 가진다. 이제 이러한 단점은 도 2를 통해 예시된 본 발명의 실시예에 의해 해소될 수 있다. 다시 말해, 보청기에 입력되는 음향 신호를 보청기 무선 수신기가 아닌 사용자의 휴대 단말기를 이용한 음향 수신 장치(30)에서 집음하여 무선 통신을 통해 보청기의 무선 수신기에 전송함으로써 보청기 사용자와 멀리 이격되어 있는 음원에 대한 거리의 제약을 완화할 수 있으며, 스마트폰을 통해 빔포밍 성능도 개선시킬 수 있다.In the case of the conventional hearing aid, since the sound source is picked up by a microphone built in the wireless receiver of the hearing aid attached to the user's ear, the size of the sound source is reduced when the hearing aid user is far from the sound source to be listened to. Have This disadvantage can now be solved by the embodiment of the invention illustrated through FIG. 2. In other words, the sound signal input to the hearing aid is collected in the sound receiving apparatus 30 using the user's portable terminal, not the hearing aid wireless receiver, and transmitted to the wireless receiver of the hearing aid through wireless communication to a sound source that is far from the hearing aid user. The distance constraints can be relaxed, and the beamforming performance can be improved through the smartphone.

도 2에서, 케이스 혹은 범퍼(20)에 부착된 마이크로폰 어레이의 신호를 이용한 적응형 빔포밍은 케이스 혹은 범퍼(20) 내에 직접 구현된 마이크로 프로세서(micro-processor) 또는 휴대 단말기(10) 내에 구비된 프로세서(processor)를 통해 구현 가능하다. 만약, 강조하여 집음하고자 하는 음원의 방향을 미리 알고 있을 경우, 케이스 혹은 범퍼에 마련된 선택 버튼을 통해 다수의 마이크로폰 중에서 특정 마이크로폰의 음원 신호를 선택할 수 있도록 구현하는 것도 가능하다.In FIG. 2, the adaptive beamforming using the signal of the microphone array attached to the case or bumper 20 is provided in a micro-processor or portable terminal 10 directly implemented in the case or bumper 20. It can be implemented through a processor. If the direction of the sound source to be emphasized and collected is known in advance, it is also possible to implement a sound source signal of a specific microphone from among a plurality of microphones through a selection button provided in the case or bumper.

요약하건대, 본 발명의 일 실시예에 따른 음향 수신 장치(30)는, 주위 음향을 집음하는 복수 개의 마이크로폰 어레이(microphone array), 집음된 음향 신호로부터 빔포밍(beam-forming)을 이용하여 특정 방향의 잡음을 선택적으로 제거하거나 특정 방향의 음향 신호를 선택적으로 강화하는 빔포머(beam-former) 및 빔포머에 의해 생성된 음향 신호를 사용자의 귀에 부착된 수신기에 전송하는 무선 송신기를 포함한다. 이 때, 이러한 음향 수신 장치는 사용자가 휴대하는 휴대 단말기에 구비되는데, 휴대 단말기는 사용자의 귀에 부착되는 수신기에 비해 상대적으로 큰 크기를 가지므로 빔포밍에 더욱 용이하다는 장점을 갖는다.In summary, the sound receiving apparatus 30 according to an embodiment of the present invention may include a plurality of microphone arrays for collecting ambient sounds and a specific direction using beam-forming from the collected sound signals. Beam-former for selectively removing the noise of the signal or selectively enhance the acoustic signal of a specific direction and a wireless transmitter for transmitting the acoustic signal generated by the beamformer to the receiver attached to the user's ear. At this time, such a sound receiving apparatus is provided in a portable terminal carried by a user. The portable terminal has a relatively large size compared to a receiver attached to a user's ear, and thus has an advantage of easier beamforming.

또한, 이상에서 제시된 본 발명의 실시예들에서 사용자 단말은 블루투스 또는 FM 무선 통신과 같은 적어도 하나 이상의 무선 통신 수단을 구비하여야 하며, 스마트폰, 스마트패드, 태블릿 PC, 노트PC와 같은 다양한 제품의 형태로 구현될 수 있다. 특히, 이러한 사용자 단말은 외장되는 복수 개의 마이크로폰(착탈식 케이스 또는 모듈에 구비된다.)을 통해 주위 음향을 집음하며, 별도의 마이크로 프로세서 또는 휴대 단말기 내에 내장된 프로세서를 이용하여 빔포밍을 구현할 수 있다. 또한, 본 발명의 실시예들은 빔포밍의 성능을 향상시키기 위해 적응형 빔포밍을 활용하는 것이 바람직하다. 따라서, 도 2와 같이 상기 마이크로폰 어레이가 상기 착탈식 케이스의 형태로 형성된 경우, 상기 마이크로폰 어레이는, 상기 휴대 단말기(10)를 둘러싸고 상기 착탈식 케이스(20)의 다양한 방향에 배치됨으로써 적어도 4개 이상의 방향을 감지하고, 상기 잡음의 제거 또는 음향의 강화를 위해 적응적으로 상기 감지 방향을 결정할 수 있다.In addition, in the above-described embodiments of the present invention, the user terminal should have at least one or more wireless communication means such as Bluetooth or FM wireless communication, and various types of products such as smart phones, smart pads, tablet PCs, and note PCs. It can be implemented as. In particular, such a user terminal may collect ambient sound through a plurality of external microphones (removable case or module), and may implement beamforming using a separate microprocessor or a processor embedded in a portable terminal. In addition, embodiments of the present invention preferably utilize adaptive beamforming to improve the performance of beamforming. Therefore, when the microphone array is formed in the form of the removable case as shown in FIG. 2, the microphone array surrounds the portable terminal 10 and is arranged in various directions of the removable case 20 so that at least four or more directions are provided. The sensing direction may be adaptively determined to remove the noise or enhance the sound.

도 3 및 도 4는 도 1에 따른 음향 수신 장치에서 빔포머를 구현하는 2가지 실시예를 각각 도시한 블록도로서, 각각의 도면은 빔포머가 물리적으로 휴대 단말기 또는 착탈식 케이스/모듈 중 어디에 구현되느냐에 따라 그 구현의 형태가 다소 달라지게 된다.3 and 4 are block diagrams respectively illustrating two embodiments of implementing a beamformer in the sound receiving apparatus according to FIG. 1, each of which shows a beamformer physically implemented in a portable terminal or a removable case / module. The form of the implementation will vary somewhat.

앞서 간략하게 설명한 바와 같이 마이크로폰 어레이는 휴대 단말기에 결합되는 착탈식 케이스 또는 착탈식 모듈의 형태로 형성되며, 단자를 통해 휴대 단말기와 전기적으로 연결됨으로써 음향 신호를 휴대 단말기에 전달하게 된다. 이 때, 단자는, 양자를 연결하는 매개가 된다. 이하에서는 도 3 및 도 4에서 단자(37)를 경계로 물리적으로 분리된 2개의 장치를 고려하여 각각의 실시예들을 설명하도록 한다.As briefly described above, the microphone array is formed in the form of a detachable case or a detachable module coupled to the portable terminal, and is electrically connected to the portable terminal through a terminal to transmit an acoustic signal to the portable terminal. At this time, the terminal serves as a medium for connecting both. Hereinafter, each embodiment will be described in consideration of two devices that are physically separated from the terminals 37 in FIGS. 3 and 4.

도 3의 음향 수신 장치(30)는 크게 착탈식 케이스/모듈(20)과 휴대 단말기(10)로서 구분되며, 양자를 단자(37)가 연결하고 있다. 여기서, 도 3의 실시예는 빔포머(33)가 휴대 단말기(10)의 데이터 처리 수단인 프로세서(15)로서 구현된 경우를 제안하고 있다. 즉, 도 3에서 빔포머(33)는, 상기 휴대 단말기(10) 내에 구비된 프로세서(processor)(15)이고, 상기 착탈식 케이스/모듈(20)에 구비된 마이크로폰 어레이가(31) 집음한 주위 음향을 상기 단자(37)를 통해 전달받은 후, 상기 음향의 억제폭 또는 지향폭을 제어함으로써 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성하게 된다. 이러한 경우, 빔포머(33)를 구현하기 위해서는 별도의 하드웨어가 필요하지 않으며, 수신된 음향 신호를 처리할 수 있도록 설계된 일련의 처리 소프트웨어만이 필요하다. 이 때, 휴대 단말기(10)가 스마트폰과 같이 설치형 어플리케이션이 수용될 수 있는 구조의 장치인 경우, 이러한 빔포머(33)는 특정 앱(app) 내지 응용 프로그램으로 구현될 수 있을 것이다.The sound receiver 30 of FIG. 3 is largely classified as a detachable case / module 20 and a portable terminal 10, and terminals 37 are connected to both. Here, the embodiment of FIG. 3 proposes a case in which the beamformer 33 is implemented as the processor 15 which is a data processing means of the portable terminal 10. That is, in FIG. 3, the beamformer 33 is a processor 15 provided in the portable terminal 10, and the surroundings of the microphone array 31 provided in the removable case / module 20 are collected. After the sound is received through the terminal 37, the suppression width or the directivity of the sound is controlled to generate a noise signal or a sound enhanced sound signal. In this case, no hardware is required to implement the beamformer 33, and only a series of processing software designed to process the received acoustic signal is required. In this case, when the portable terminal 10 is a device having a structure that can accommodate an installed application such as a smartphone, the beamformer 33 may be implemented as a specific app or application program.

도 4의 음향 수신 장치(30) 역시 크게 착탈식 케이스/모듈(20)과 휴대 단말기(10)로서 구분되며, 양자를 단자(37)가 연결한다. 여기서, 도 4의 실시예는 빔포머(33)가 휴대 단말기(10)가 아닌 착탈식 케이스/모듈(20) 내 고유의 마이크로 프로세서(25)로서 구현된 경우를 제안하고 있다. 즉, 도 4에서 빔포머(33)는, 상기 착탈식 케이스 또는 상기 착탈식 모듈(20)에 구비된 마이크로 프로세서(micro-processor)(25)이고, 상기 마이크로폰 어레이(31)가 집음한 주위 음향의 억제폭 또는 지향폭을 제어함으로써 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성한 후, 상기 생성된 음향 신호를 상기 단자(37)를 통해 상기 휴대 단말기(10)에 전달하게 된다. 이러한 경우, 빔포머(33)를 구현하기 위해서는 별도의 하드웨어 및 이를 제어하기 위한 소프트웨어가 필요하다.The sound receiving device 30 of FIG. 4 is also largely classified as the removable case / module 20 and the portable terminal 10, and the terminal 37 connects both of them. Here, the embodiment of FIG. 4 proposes a case in which the beamformer 33 is implemented as a unique microprocessor 25 in the removable case / module 20 rather than the portable terminal 10. That is, in FIG. 4, the beamformer 33 is a microprocessor 25 provided in the detachable case or the detachable module 20, and suppresses the ambient sound collected by the microphone array 31. By controlling the width or the directional width, a noise signal or a sound-enhanced sound signal is generated, and then the generated sound signal is transmitted to the portable terminal 10 through the terminal 37. In this case, in order to implement the beamformer 33, separate hardware and software for controlling the same are required.

도 5는 본 발명의 다른 실시예에 따른 음향 수신 장치(30)를 휴대 단말기(10)와 착탈식 모듈(module)(20)을 통해 구현하는 방법을 예시한 도면으로서, 도 2과 같은 케이스 내지 범퍼가 아닌 일면 착탈식 빔포머를 예시하고 있다. 이러한 일면 착탈식 빔포머 역시 복수 개의 마이크로폰 어레이를 구비하고 있으며, 내장된 마이크로 프로세서 또는 휴대 단말기(10)의 프로세서를 통해 빔포밍을 수행한 후, 지향성 음향 신호를 사용자 단말에 전달한다.FIG. 5 is a diagram illustrating a method of implementing the sound receiving apparatus 30 according to another embodiment of the present invention through the portable terminal 10 and the removable module 20. The case to the bumper as shown in FIG. One example is a removable beamformer. The one side detachable beamformer also includes a plurality of microphone arrays, and performs beamforming through an embedded microprocessor or a processor of the portable terminal 10, and then transmits a directional sound signal to the user terminal.

또한, 마이크로폰 어레이가 상기 착탈식 모듈(20)의 형태로 형성된 경우, 상기 마이크로폰 어레이는, 상기 휴대 단말기(10)의 일면에 결합되는 상기 착탈식 모듈(10)에 일렬 배치됨으로써 적어도 2개 이상의 방향을 감지하고, 상기 잡음의 제거 또는 음향의 강화를 위해 상기 감지 방향을 적응적으로 결정할 수 있다.In addition, when the microphone array is formed in the form of the removable module 20, the microphone array is arranged in the removable module 10 coupled to one surface of the portable terminal 10 to sense at least two or more directions In addition, the sensing direction may be adaptively determined to remove the noise or enhance the sound.

도 6 및 도 7은 본 발명의 일 실시예에 따른 휴대 단말기를 이용한 음향 수신 장치와 사용자의 귀에 부착되는 수신기가 통신하는 2가지 과정을 예시한 도면이다.6 and 7 illustrate two processes in which a sound receiving apparatus using a portable terminal and a receiver attached to a user's ear communicate with each other according to an embodiment of the present invention.

첫째, 도 6은 휴대 단말기를 이용한 음향 수신 장치(30)와 사용자의 귀에 부착되는 보청기의 수신기(40)가 직접 통신하는 구조를 예시한 것으로 이러한 통신을 위해 다양한 통신 프로토콜이 활용될 수 있음은 당연하다. 즉, 음향 수신 장치(30)에 구현되는 무선 송신기는, 휴대 단말기(휴대 단말기를 이용한 음향 수신 장치(30)를 의미한다.)와 상기 사용자의 귀에 부착된 수신기(40) 간에 블루투스(bluetooth) 또는 무선 주파수(radio frequency) 등의 무선 통신 수단을 이용하여 직접 통신하는 것이 바람직하다.First, FIG. 6 illustrates a structure in which a sound receiver 30 using a portable terminal and a receiver 40 of a hearing aid attached to a user's ear communicate directly. Various communication protocols may be used for such communication. Do. That is, the wireless transmitter implemented in the sound receiving device 30 includes a Bluetooth or a Bluetooth terminal between the portable terminal (meaning the sound receiving device 30 using the mobile terminal) and the receiver 40 attached to the user's ear. It is preferable to communicate directly using a wireless communication means such as a radio frequency.

한편, 도 6에서 음향 수신 장치(30)는 도시된 바와 같이 착탈식 케이스를 이용하여 구현될 수도 있으나, 필요에 따라서는 착탈식 케이스 없이 복수 개의 마이크로폰 어레이를 직접 휴대 단말기에 구비할 수도 있을 것이다.Meanwhile, in FIG. 6, the sound receiving apparatus 30 may be implemented using a detachable case as shown, but if necessary, a plurality of microphone arrays may be directly provided in the portable terminal without the detachable case.

둘째, 도 7은 휴대 단말기의 블루투스 기능을 이용하여 일단, 별도의 수신 기능이 있는 무선 중계기(50)에 빔포밍된 음향 신호를 전달하고, 이렇게 전달된 음향 신호는 다시 사용자의 귀에 부착되는 보청기의 수신기(40)에 전달되는 구조를 갖는다. 즉, 음향 수신 장치(30)에 구현되는 무선 송신기는, 휴대 단말기(휴대 단말기를 이용한 음향 수신 장치(30)를 의미한다.)와 상기 사용자의 귀에 부착된 수신기(40) 간에 블루투스 또는 무선 주파수 등의 무선 통신 수단을 이용하여 통신하되, 상기 빔포머에 의해 생성된 음향 신호를 증폭하는 무선 중계기(50)를 경유하여 통신하는 것을 특징으로 하는 장치. 이 때, 필요에 따라서는 무선 중계기(50)와 사용자의 귀에 부착된 수신기(40) 간의 통신은 전원 절약에 보다 효과가 좋은 FM 무선 통신을 활용할 수도 있을 것이다.Second, FIG. 7 first transmits a beamformed sound signal to a wireless repeater 50 having a separate reception function by using a Bluetooth function of a mobile terminal, and the transmitted sound signal is again attached to a user's ear. It has a structure that is delivered to the receiver 40. That is, the wireless transmitter implemented in the sound receiving device 30 includes a Bluetooth or radio frequency between the portable terminal (meaning the sound receiving device 30 using the mobile terminal) and the receiver 40 attached to the user's ear. And communicate using a wireless communication means, via a wireless repeater (50) for amplifying the sound signal generated by the beamformer. At this time, if necessary, the communication between the wireless repeater 50 and the receiver 40 attached to the user's ear may utilize FM wireless communication, which is more effective in power saving.

한편, 도 7에서 역시 음향 수신 장치(30)는 도시된 바와 같이 착탈식 케이스를 이용하여 구현될 수도 있으나, 필요에 따라서는 착탈식 케이스 없이 복수 개의 마이크로폰 어레이를 직접 휴대 단말기에 구비할 수도 있을 것이다.Meanwhile, in FIG. 7, the sound receiving device 30 may also be implemented using a detachable case as shown, but if necessary, a plurality of microphone arrays may be directly provided in the portable terminal without the detachable case.

도 8은 본 발명의 일 실시예에 따른 사용자가 휴대하는 휴대 단말기를 이용한 음향 수신 방법을 도시한 흐름도로서, 도 1을 통해 설명한 음향 수신 장치의 각 구성이 수행하는 과정에 대응하는 구성을 포함한다. 따라서, 여기서는 설명의 중복을 피하기 위해 시계열적 특성을 중심으로 그 과정을 약술하도록 한다.8 is a flowchart illustrating a sound receiving method using a portable terminal carried by a user according to an embodiment of the present invention, and includes a configuration corresponding to a process performed by each component of the sound receiving apparatus described with reference to FIG. 1. . Therefore, in order to avoid duplication of explanation, the process will be outlined based on time-series characteristics.

810 단계에서는 휴대 단말기에 결합되는 착탈식 케이스 또는 착탈식 모듈의 형태로 형성된 복수 개의 마이크로폰 어레이를 통해 주위 음향을 집음한다. 또한, 이러한 810 단계는, 상기 착탈식 케이스 또는 상기 착탈식 모듈에 배치되는 상기 복수 개의 마이크로폰 어레이를 통해 복수 방향을 감지하는 단계를 더 포함할 수 있으며, 이 경우 상기 잡음의 제거 또는 음향의 강화를 위해 상기 감지 방향을 적응적으로 결정하는 것이 바람직하다. 이상의 과정은 앞서 설명한 도 1의 마이크로폰 어레이(31)에 대응한다.In operation 810, ambient sound is collected through a plurality of microphone arrays formed in a form of a detachable case or a detachable module coupled to the portable terminal. In addition, the step 810 may further include detecting a plurality of directions through the plurality of microphone arrays disposed in the detachable case or the detachable module, and in this case, to remove the noise or enhance the sound. It is desirable to determine the sensing direction adaptively. The above process corresponds to the microphone array 31 of FIG. 1 described above.

820 단계에서는 810 단계를 통해 집음된 음향 신호로부터 빔포밍을 이용하여 특정 방향의 잡음이 선택적으로 제거되거나 특정 방향의 음향이 선택적으로 강화된 음향 신호를 생성한다. 이 과정은 앞서 설명한 도 1의 빔포머(33)에 대응한다.In operation 820, beam noise is generated from the sound signal collected in operation 810 to generate an acoustic signal in which noise in a specific direction is selectively removed or sound in a specific direction is selectively enhanced. This process corresponds to the beamformer 33 of FIG. 1 described above.

만약 빔포머를 휴대 단말기 내의 프로세서를 통해 구현할 경우, 상기된 음향 수신 장치는, 상기 휴대 단말기에 구비된 연결 단자를 통해 상기 마이크로폰 어레이가 집음한 주위 음향을 상기 휴대 단말기에 전달하고, 상기 휴대 단말기 내에 구비된 프로세서를 이용하여 상기 전달된 음향의 억제폭 또는 지향폭을 제어함으로써 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성하게 된다.If the beamformer is implemented through a processor in the portable terminal, the sound receiving apparatus transmits the ambient sound collected by the microphone array to the portable terminal through a connection terminal provided in the portable terminal, By controlling the suppression width or the directivity of the transmitted sound using the provided processor to generate a noise signal or a sound-enhanced sound signal.

반면, 만약 빔포머를 착탈식 케이스 또는 착탈식 모듈에 구비된 마이크로 프로세서를 통해 구현할 경우, 상기된 음향 수신 장치는, 상기 착탈식 케이스 또는 상기 착탈식 모듈에 구비된 마이크로 프로세서를 이용하여 상기 마이크로폰 어레이가 집음한 주위 음향의 억제폭 또는 지향폭을 제어함으로써 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성하고, 상기 휴대 단말기에 구비된 연결 단자를 통해 상기 생성된 음향 신호를 상기 휴대 단말기에 전달하게 된다.On the other hand, if the beamformer is implemented through a microprocessor provided in the detachable case or the detachable module, the above-described sound receiving apparatus may include the surroundings of the microphone array collected using the microprocessor provided in the detachable case or the detachable module. By controlling the suppression width or the directivity of the sound, a noise-reduced sound signal or a sound-enhanced sound signal is generated, and the generated sound signal is transmitted to the portable terminal through a connection terminal provided in the portable terminal. .

830 단계에서는 휴대 단말기에 구비된 무선 송신기를 통해 상기 820 단계를 통해 생성된 음향 신호를 상기 사용자의 귀에 부착된 수신기에 전송한다. 이 과정은 앞서 설명한 도 1의 무선 송신기(35)에 대응한다.In step 830, the sound signal generated in step 820 is transmitted to the receiver attached to the user's ear through a wireless transmitter provided in the portable terminal. This process corresponds to the radio transmitter 35 of FIG.

상기된 본 발명의 실시예들에 따르면, 복수 개의 마이크로폰 어레이를 통해 수신된 주위 음향 신호로부터 휴대 단말기를 통해 빔포밍을 처리하고, 이를 다시 사용자의 귀에 부착된 보청기 또는 와우 보조기의 수신기에 전송함으로써 주위의 음향 신호를 선택적으로 수신하거나 강화시킬 수 있으며, 결과적으로 주위에 존재하는 다양한 음원으로부터 발생하는 불필요한 잡음을 효과적으로 제거함으로써 사용자 편의성을 향상시킬 뿐만 아니라, 잡음의 제거 또는 음향의 증폭을 위해 별도의 증폭 장치를 휴대할 필요없이 사용자가 늘상 휴대하는 휴대 단말기에 부가되는 간편한 보조 기구를 통해 향상된 품질의 음향을 제공할 수 있다.According to the embodiments of the present invention described above, the beamforming is processed through the portable terminal from the ambient acoustic signals received through the plurality of microphone arrays, and then transmitted to the receiver of the hearing aid or the cochlear implanter attached to the user's ear. It can selectively receive or enhance the sound signal of the product, and as a result, it effectively removes unnecessary noise generated from various sound sources present in the surroundings, and improves user convenience, and separates amplification for removing noise or amplifying sound. It is possible to provide improved quality sound through a simple aid that is added to the portable terminal that the user always carries without the need to carry the device.

한편, 본 발명의 실시예들에서 집음된 음향 신호로부터 특정 방향의 잡음을 제거하거나 특정 방향의 음향 신호를 강조하는 빔포밍 방법은 이를 수행하기 위한 마이크로 프로세서 이외에 일련의 빔포밍 과정을 수행하기 위해 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, in embodiments of the present invention, a beamforming method for removing noise in a specific direction or emphasizing a sound signal in a specific direction from the collected sound signal may be performed by a computer to perform a series of beamforming processes in addition to a microprocessor. It is possible to implement a computer-readable code in a recording medium that can be read. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also a carrier wave (for example, transmission via the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described above with reference to various embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

10 : 휴대 단말기 20 : 착탈식 케이스 또는 착탈식 모듈
15 : 프로세서 25 : 마이크로 프로세서
30 : 휴대 단말기를 이용한 음향 수신 장치
31 : 마이크로폰 어레이 33 : 빔포머
35 : 무선 송신기
37 : 단자(terminal)
40 : 사용자의 귀에 부착되는 송신기
50 : 무선 중계기10: mobile terminal 20: removable case or removable module
15 processor 25 microprocessor
30: sound receiving apparatus using a mobile terminal
31 microphone array 33 beamformer
35: wireless transmitter
37: terminal
40: Transmitter attached to user's ear
50: wireless repeater

Claims (14)

사용자가 휴대하는 휴대 단말기를 이용한 음향 수신 장치에 있어서,
상기 휴대 단말기에 결합되는 착탈식 케이스 또는 착탈식 모듈의 형태로 형성되어 주위 음향을 집음하고, 단자(terminal)를 통해 상기 휴대 단말기와 전기적으로 연결됨으로써 음향 신호를 상기 휴대 단말기에 전달하는 복수 개의 마이크로폰 어레이(microphone array); 및
상기 집음된 음향 신호로부터 빔포밍(beam-forming)을 이용하여 소정 방향의 잡음이 선택적으로 제거되거나 소정 방향의 음향이 선택적으로 강화된 음향 신호를 생성하는 빔포머(beam-former);를 포함하고,
상기 빔포머에 의해 생성된 음향 신호를 상기 휴대 단말기를 통해 상기 사용자의 귀에 부착된 수신기에 전송하는 것을 특징으로 하는 장치.A sound receiving apparatus using a portable terminal carried by a user,
A plurality of microphone arrays formed in a form of a detachable case or a detachable module coupled to the portable terminal to collect ambient sound and electrically connected to the portable terminal through a terminal to transmit an acoustic signal to the portable terminal; microphone array); And
And a beamformer for generating a sound signal in which noise in a predetermined direction is selectively removed or a sound in which the sound in a predetermined direction is selectively enhanced by using beam-forming from the collected sound signal. ,
And transmitting the acoustic signal generated by the beamformer to the receiver attached to the ear of the user through the portable terminal. 삭제delete 제 1 항에 있어서,
상기 빔포머는,
상기 휴대 단말기 내에 구비된 프로세서(processor)이고,
상기 마이크로폰 어레이가 집음한 주위 음향을 상기 단자를 통해 전달받은 후, 상기 음향의 억제폭 또는 지향폭을 제어함으로써 방향성 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성하는 것을 특징으로 하는 장치.The method of claim 1,
The beamformer,
A processor provided in the portable terminal,
After receiving the ambient sound collected by the microphone array through the terminal, by controlling the suppression width or directivity of the sound to generate a sound signal or a sound-enhanced sound signal is removed directional noise . 제 1 항에 있어서,
상기 빔포머는,
상기 착탈식 케이스 또는 상기 착탈식 모듈에 구비된 마이크로 프로세서(micro-processor)이고,
상기 마이크로폰 어레이가 집음한 주위 음향의 억제폭 또는 지향폭을 제어함으로써 방향성 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성한 후, 상기 생성된 음향 신호를 상기 단자를 통해 상기 휴대 단말기에 전달하는 것을 특징으로 하는 장치.The method of claim 1,
The beamformer,
Is a micro-processor (micro-processor) provided in the removable case or the removable module,
The microphone array generates a sound signal from which directional noise is removed or a sound-enhanced sound signal by controlling the suppression width or the directivity of the ambient sound collected by the microphone array, and then generating the generated sound signal to the portable terminal through the terminal. Device for delivery. 제 1 항에 있어서,
상기 마이크로폰 어레이가 상기 착탈식 케이스의 형태로 형성된 경우, 상기 마이크로폰 어레이는,
상기 휴대 단말기를 둘러싸고 상기 착탈식 케이스에 배치됨으로써 적어도 4개 이상의 방향을 감지하고,
상기 잡음의 제거 또는 음향의 강화를 위해 적응적으로 상기 감지 방향을 결정하는 것을 특징으로 하는 장치.The method of claim 1,
When the microphone array is formed in the form of the removable case, the microphone array,
Surrounding the portable terminal is disposed in the removable case to detect at least four directions,
And adaptively determine the sensing direction to remove the noise or enhance the sound. 제 1 항에 있어서,
상기 마이크로폰 어레이가 상기 착탈식 모듈의 형태로 형성된 경우, 상기 마이크로폰 어레이는,
상기 휴대 단말기의 일면에 결합되는 상기 착탈식 모듈에 일렬 배치됨으로써 적어도 2개 이상의 방향을 감지하고,
상기 잡음의 제거 또는 음향의 강화를 위해 상기 감지 방향을 적응적으로 결정하는 것을 특징으로 하는 장치.The method of claim 1,
When the microphone array is formed in the form of the removable module, the microphone array,
Detect at least two or more directions by being arranged in line with the removable module coupled to one surface of the portable terminal,
And adaptively determine the sensing direction to remove the noise or enhance the sound. 제 1 항에 있어서,
상기 단자는,
상기 휴대 단말기에 구비된 데이터 포트(data port) 또는 이어폰 단자 중 적어도 하나인 것을 특징으로 하는 장치.The method of claim 1,
The terminal includes:
And at least one of a data port and an earphone terminal provided in the portable terminal. 제 1 항에 있어서,
상기 마이크로폰 어레이는 상기 휴대 단말기에 구비되고,
상기 빔포머는 상기 휴대 단말기 내에 구비된 프로세서(processor)인 것을 특징으로 하는 장치.The method of claim 1,
The microphone array is provided in the portable terminal,
And the beamformer is a processor provided in the portable terminal. 제 1 항에 있어서,
상기 휴대 단말기에 구비되어 상기 빔포머에 의해 생성된 음향 신호를 상기 사용자의 귀에 부착된 수신기에 전송하는 무선 송신기;를 더 포함하고,
상기 무선 송신기는, 상기 휴대 단말기와 상기 사용자의 귀에 부착된 수신기 간에 무선 통신 수단을 이용하여 직접 통신하는 것을 특징으로 하는 장치.The method of claim 1,
And a wireless transmitter provided in the portable terminal to transmit an acoustic signal generated by the beamformer to a receiver attached to the ear of the user.
And said wireless transmitter directly communicates using said wireless communication means between said portable terminal and a receiver attached to said user's ear. 제 1 항에 있어서,
상기 휴대 단말기에 구비되어 상기 빔포머에 의해 생성된 음향 신호를 상기 사용자의 귀에 부착된 수신기에 전송하는 무선 송신기;를 더 포함하고,
상기 무선 송신기는, 상기 휴대 단말기와 상기 사용자의 귀에 부착된 수신기 간에 무선 통신 수단을 이용하여 통신하되, 상기 빔포머에 의해 생성된 음향 신호를 증폭하는 무선 중계기를 경유하여 통신하는 것을 특징으로 하는 장치.The method of claim 1,
And a wireless transmitter provided in the portable terminal to transmit an acoustic signal generated by the beamformer to a receiver attached to the ear of the user.
The wireless transmitter communicates between the mobile terminal and a receiver attached to the user's ear by using a wireless communication means, and communicates via a wireless repeater that amplifies an acoustic signal generated by the beamformer. . 사용자가 휴대하는 휴대 단말기를 이용한 음향 수신 방법에 있어서,
상기 휴대 단말기에 결합되는 착탈식 케이스 또는 착탈식 모듈의 형태로 형성된 복수 개의 마이크로폰 어레이를 통해 주위 음향을 집음하는 단계;
상기 집음된 음향 신호로부터 빔포밍을 이용하여 소정 방향의 잡음이 선택적으로 제거되거나 소정 방향의 음향이 선택적으로 강화된 음향 신호를 생성하는 단계; 및
상기 휴대 단말기에 구비된 무선 송신기를 통해 상기 생성된 음향 신호를 상기 사용자의 귀에 부착된 수신기에 전송하는 단계;를 포함하는 방법.In the sound receiving method using a portable terminal carried by a user,
Collecting ambient sound through a plurality of microphone arrays formed in the form of a detachable case or a detachable module coupled to the portable terminal;
Generating a sound signal from which the noise in a predetermined direction is selectively removed or the sound in a predetermined direction is selectively enhanced using beamforming from the collected sound signal; And
Transmitting the generated acoustic signal to a receiver attached to the user's ear through a wireless transmitter provided in the portable terminal. 제 11 항에 있어서,
상기 음향 신호를 생성하는 단계는,
상기 휴대 단말기에 구비된 연결 단자를 통해 상기 마이크로폰 어레이가 집음한 주위 음향을 상기 휴대 단말기에 전달하는 단계; 및
상기 휴대 단말기 내에 구비된 프로세서를 이용하여 상기 전달된 음향의 억제폭 또는 지향폭을 제어함으로써 방향성 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성하는 단계;를 포함하는 방법.The method of claim 11,
Generating the sound signal,
Transmitting ambient sound collected by the microphone array to the portable terminal through a connection terminal provided in the portable terminal; And
Generating a sound signal from which directional noise has been removed or a sound-enhanced sound signal by controlling the suppression width or the directivity of the transmitted sound by using a processor provided in the portable terminal. 제 11 항에 있어서,
상기 음향 신호를 생성하는 단계는,
상기 착탈식 케이스 또는 상기 착탈식 모듈에 구비된 마이크로 프로세서를 이용하여 상기 마이크로폰 어레이가 집음한 주위 음향의 억제폭 또는 지향폭을 제어함으로써 방향성 잡음이 제거된 음향 신호 또는 음향이 강화된 음향 신호를 생성하는 단계; 및
상기 휴대 단말기에 구비된 연결 단자를 통해 상기 생성된 음향 신호를 상기 휴대 단말기에 전달하는 단계;를 포함하는 방법.The method of claim 11,
Generating the sound signal,
Generating a sound signal or a sound-enhanced sound signal by removing directional noise by controlling a suppression width or a directivity of ambient sound collected by the microphone array using a microprocessor provided in the detachable case or the detachable module; ; And
And transmitting the generated sound signal to the portable terminal through a connection terminal provided in the portable terminal. 제 11 항에 있어서,
상기 주위 음향을 집음하는 단계는,
상기 착탈식 케이스 또는 상기 착탈식 모듈에 배치되는 상기 복수 개의 마이크로폰 어레이를 통해 복수 방향을 감지하는 단계를 더 포함하고,
상기 잡음의 제거 또는 음향의 강화를 위해 상기 감지 방향을 적응적으로 결정하는 것을 특징으로 하는 방법.The method of claim 11,
Collecting the ambient sound,
Sensing a plurality of directions through the plurality of microphone arrays disposed in the removable case or the removable module,
And adaptively determining the sensing direction to remove the noise or enhance the sound.
KR1020120033169A 2011-11-17 2012-03-30 Apparatus and method for receiving sound using mobile phone KR101364543B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110119980 2011-11-17
KR20110119980 2011-11-17

Publications (2)

Publication Number Publication Date
KR20130054898A KR20130054898A (en) 2013-05-27
KR101364543B1 true KR101364543B1 (en) 2014-02-19

Family

ID=48663594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120033169A KR101364543B1 (en) 2011-11-17 2012-03-30 Apparatus and method for receiving sound using mobile phone

Country Status (1)

Country Link
KR (1) KR101364543B1 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300140B (en) * 2011-08-10 2013-12-18 歌尔声学股份有限公司 Speech enhancing method and device of communication earphone and noise reduction communication earphone
KR101626497B1 (en) * 2015-01-08 2016-06-01 (주)에어사운드 System and methodf for controlling sound
KR101648840B1 (en) 2015-02-16 2016-08-30 포항공과대학교 산학협력단 Hearing-aids attached to mobile electronic device
KR101731714B1 (en) * 2015-08-13 2017-04-28 중소기업은행 Method and headset for improving sound quality
KR101709581B1 (en) * 2015-09-18 2017-02-24 (주)건융아이비씨 Indoor broadcast and lecture receiving system for hearing-impaired persons
WO2017158507A1 (en) * 2016-03-16 2017-09-21 Radhear Ltd. Hearing aid
KR20170111450A (en) * 2016-03-28 2017-10-12 삼성전자주식회사 Hearing aid apparatus, portable apparatus and controlling method thereof
KR101898911B1 (en) * 2017-02-13 2018-10-31 주식회사 오르페오사운드웍스 Noise cancelling method based on sound reception characteristic of in-mic and out-mic of earset, and noise cancelling earset thereof
US10567888B2 (en) 2018-02-08 2020-02-18 Nuance Hearing Ltd. Directional hearing aid
US11765522B2 (en) 2019-07-21 2023-09-19 Nuance Hearing Ltd. Speech-tracking listening device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047699A (en) * 1998-07-31 2000-02-18 Toshiba Corp Noise suppressing processor and method therefor
KR20080074291A (en) * 2007-02-08 2008-08-13 넥스콘 테크놀러지 주식회사 A hearing aid and the control method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047699A (en) * 1998-07-31 2000-02-18 Toshiba Corp Noise suppressing processor and method therefor
KR20080074291A (en) * 2007-02-08 2008-08-13 넥스콘 테크놀러지 주식회사 A hearing aid and the control method thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
이채욱 외 1명, "적응 빔포밍 기법을 적용한 보청기 시스템의 성능 향상에 관한 연구", 한국통신학회논문지, 제29권, 5C호, pp.673-682(2004.05) *
이행우, "적응 빔형성기법을 이용한 보청기의 궤한 및 잡음제거 알고리즘", 한국통신학회논문지, Vol. 35 No. 1, pp.96-102(2010.01) *

Also Published As

Publication number Publication date
KR20130054898A (en) 2013-05-27

Similar Documents

Publication Publication Date Title
KR101364543B1 (en) Apparatus and method for receiving sound using mobile phone
US10431239B2 (en) Hearing system
US10123134B2 (en) Binaural hearing assistance system comprising binaural noise reduction
CN106231520B (en) Peer-to-peer networked hearing system
EP2717597B2 (en) Hearing device with brain-wave dependent audio processing
EP3499915B1 (en) A hearing device and a binaural hearing system comprising a binaural noise reduction system
US9986346B2 (en) Binaural hearing system and a hearing device comprising a beamformer unit
EP3373603B1 (en) A hearing device comprising a wireless receiver of sound
US10070231B2 (en) Hearing device with input transducer and wireless receiver
US8706248B2 (en) Directional sound processing in a cochlear implant
US20200016402A1 (en) Input Selection For An Auditory Prosthesis
US10951995B2 (en) Binaural level and/or gain estimator and a hearing system comprising a binaural level and/or gain estimator
US8705781B2 (en) Optimal spatial filtering in the presence of wind in a hearing prosthesis
JP2022183121A (en) Spectro-temporal modulation detection test unit

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 7