KR101031113B1 - 초소형 마이크로폰 기반 청각 보조장치 - Google Patents

초소형 마이크로폰 기반 청각 보조장치 Download PDF

Info

Publication number
KR101031113B1
KR101031113B1 KR1020100031251A KR20100031251A KR101031113B1 KR 101031113 B1 KR101031113 B1 KR 101031113B1 KR 1020100031251 A KR1020100031251 A KR 1020100031251A KR 20100031251 A KR20100031251 A KR 20100031251A KR 101031113 B1 KR101031113 B1 KR 101031113B1
Authority
KR
South Korea
Prior art keywords
sound source
sound
unit
microphone
image
Prior art date
Application number
KR1020100031251A
Other languages
English (en)
Inventor
허신
최홍수
이영화
박준식
김양한
장지호
김기원
Original Assignee
한국기계연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기계연구원 filed Critical 한국기계연구원
Priority to KR1020100031251A priority Critical patent/KR101031113B1/ko
Application granted granted Critical
Publication of KR101031113B1 publication Critical patent/KR101031113B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/06—Hearing aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/35—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using translation techniques
    • H04R25/353—Frequency, e.g. frequency shift or compression

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Neurosurgery (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치는, 음원으로부터 출력되는 음성 신호를 다수의 마이크로폰을 통해 입력받으며 수신 신호들을 설정된 레벨로 증폭하는 수음부; 상기 수음부로부터 상기 수신 신호들을 입력받아 이들을 디지털 신호로 변환하고 상기 수신 신호들의 시간차인 지연 시간을 산출하여 상기 음원의 방향을 추적하며 상기 수신 신호들의 주파수별 에너지 분포를 토대로 하여 상기 음원의 파워를 추정하는 음원 추적부; 및 상기 음원 추적부의 추적 결과를 입력받아 분석하고 상기 음원의 방향 및 파워를 시각적으로 디스플레이하거나 촉각적인 피드백을 제공하는 것 중에서 어느 하나 이상을 선택하여 응용하는 응용부를 포함한다.

Description

초소형 마이크로폰 기반 청각 보조장치{ULTRA-SMALL-SIZE MICROPHONE BASED HEARING AID APPARATUS}
본 발명은 초소형 마이크로폰 기반 청각 보조장치에 관한 것으로, 더욱 상세하게는 음장 가시화 기술을 적용하여 청각 장애인이 소리를 시각적으로 인지할 수 있도록 하는 초소형 마이크로폰 기반 청각 보조장치에 관한 것이다.
음장 가시화는 소음의 방사 패턴을 효과적으로 보여줌으로써 효율적인 소음 제어를 수행할 수 있도록 해주며, 최근 많은 연구가 이루어져 왔다. 이중 근접 음향 홀로그래피 방법은 가장 널리 알려진 방법으로 음압, 입자 속도, 음향 인텐시티 등의 음향학적 물리량을 모두 제공하나 홀로그램이라 불리우는 측정 음압 평면의 유한성으로 인한 단점을 가지고 있다.
이러한 단점을 해결하기 위해 정상 상태 소음인 경우에는 기준 마이크로폰을 두고 순차적으로 홀로그램을 측정하는 방법이 개발되었으나, 최근 많은 관심의 대상이 되고 있는 이동 음원(차량, 철도차량 등)으로부터 방사되는 소음을 가시화 하는데 적용할 수는 없다.
물론 기존의 십자형 혹은 X자형 선형 마이크로폰 어레이를 이용하여 음원의 위치를 파악하는 방법이 있으나, 이 방법은 빔형성 방법(beamforming method)에 기초한 방법으로 음원 위치 파악에 있어서 분해능 등의 문제가 있으며 음향 홀로그래피 방법과 비교해 보았을 때 음향 인텐시티 등의 입체적인 소음원 정보를 주지 못하는 단점이 있다.　
최근 제안된 이동 프레임 음향 홀로그래피 방법은 홀로그램 측정에서의 유한성을 해결할 수 있는 방법으로 선형 마이크로폰 어레이가 홀로그램을 얻고자 하는 평면을 연속적으로 스위핑(sweeping)하여 이로부터 홀로그램을 얻는 방법으로 음원에 고정된 좌표계와 측정 마이크로폰 어레이에 고정된 좌표계간의 상대 좌표 변환을 이용한다.
따라서, 상대 좌표 변환이 큰 오차를 가지지 않는 범위에서는 이동 음원의 가시화에도 적용이 가능하다. 그러나, 초기에 제안된 방법은 도플러 효과에 의한 스펙트럼의 대역화로 단일 주파수 소음에만 적용 가능하였다. 많은 실제의 경우 이동 음원은 대역 소음 및 시변 소음까지도 발생시키므로 최근 개선된 이동 프레임 음향 홀로그래피 방법은 대역 소음원을 다룰 수 있도록 개선하였다.
개선된 이동 프레임 음향 홀로그래피 방법에서는 음장을 시간에 관계된 부분과 공간 정보에 관계된 부분으로 해석하고 시간에 관계된 부분을 음원에 고정된 기준 마이크로폰을 이용하여 측정해 냄으로써 대역 소음의 경우에도 공간 정보 (홀로그램)을 얻을 수 있다.
같은 주파수 영역에서 다수의 독립적인 소음원들이 존재하는 경우, 음향 홀로그래피에서 관심사 중의 하나는 전체 음압에 대한 각 소음원의 기여량을 구하는 것이다. 이는 각 소음원의 기여량은 효과적인 소음 제어를 위한 중요한 정보이기 때문이다.
각 소음원의 기여량을 구하기 위해서는 먼저 다입력 시스템에 대한 정확한 이해를 필요로 한다. 다시 말해서, 여러 기여도 함수(coherence function)에 대한 정확한 이해가 필요하다. 이를 위해 기여도 함수를 가시화할 수 있는 벡터 표기법을 제안하였다. 이 벡터는 각 신호의 표본들로 구성되고, 기여도 함수는 이 벡터들 사이의 각도로 표현된다.
음향 홀로그래피에서 각 소음원의 기여량을 구하기 위해 지금까지 제안된 방법들은 근본적으로 각 소음원 근처에서의 음압 신호의 측정을 필요로 한다. 따라서, 이 방법들은 홀로그래피를 적용하기 전에 소음원의 위치를 파악할 것을 요구한다. 이러한 문제를 해결하기 위해 앞서 설명한 벡터 표기에 기초해 음향 홀로그래피의 후방 예측 능력을 이용하는 방법을 제안할 수 있다.　
이 방법은 음향 홀로그래피에 의해 음원면에서의 음압을 예측하고, 그로부터 소음원의 위치를 파악한다. 그리고, 그 소음원의 위치에서 예측한 음압 신호를 이용하여 각 소음원의 기여량을 구한다. 따라서, 홀로그래피를 적용하기 전에 소음원의 위치를 파악할 필요가 없다.
음향 홀로그래피는 기본적으로 많은 측정점을 필요로 한다. 이 경우 측정상에서 발생할 수 있는 대표적인 오차 요인으로 센서간 특성 차이(sensor mismatch)와 부정확한 측정 위치(position mismatch)를 들 수 있다. 측정에서의 이러한 요인에 의해 발생한 오차는 음원면의 음압을 예측할 때, 상대적으로 큰 오차를 유발시킬 수 있다. 　
이러한 오차의 특성을 파악하기 위하여 확률의 관점에서 랜덤 오차를 해석할 수 있다. 즉, 실제 측정 사건을 수많은 가능한 측정 사건 중의 하나로 간주하고, 한 측정 사건에서의 오차의 확률적 특성을 대표하는 랜덤 오차를 해석할 수 있다. 그 결과 홀로그램면과 음원면 사이의 거리가 가까워질수록, 측정 간격이 작아질수록, 음원면의 예측 간격이 커질수록 랜덤 오차는 감소한다.
대한민국 등록 실용신안 공보 20-0363949에 개시된 다목적 안경은 도 1에 도시된 바와 같이 안경알(1)을 유리와 광촉매가 혼합된 재질로 형성하여 김서림이나 물붙음 등이 방지되도록 하고, 안경테(2)자체의 외이도 근처에 골전도 진동자(3)를 설치하여 귀를 통하지 않고도 골전도 전달에 의해 상대방의 말이나 기타 소리 등을 머리 부분의 뼈에 진동으로 전달하여 이를 청신경이 감지할 수 있게 한 것으로, 안경테(2)에는 GPS모듈(5)이 장착되어 있어 인공위성과의 안테나(ANT)를 통한 통신에 의해 GPS모듈(5)에서 위치정보를 수신하여 이를 입출력단자를 통해 제어부에 보내면 제어부에서는 필요한 정보를 메모리에 저장하고, 다시 입출력단자를 통해 GPS정보를 이동통신기지국에 전달하며, 이동통신 기지국에서는 GPS정보를 웹서버 등의 운영시스템에 전달함으로써 운영시스템에서는 안경(11)을 착용하고 있는 사람의 위치를 파악할 수 있게 되는 것이다.
하지만, 대한민국 등록 실용신안 공보 20-0363949에 개시된 다목적 안경은 유리에 광촉매를 혼합한 안경알을 형성하여 김서림과 물붙음이 방지되도록 함으로 눈에 활력을 주도록 하고, GPS모듈이 내장되어 있어 미아나 치매노인 실종 또는 애견 실종시 이들의 위치를 쉽게 파악할 수 있도록 하며, 골전도 기능을 구비하여 보청기를 사용하지 않고도 안경을 쓰고 있는 것만으로도 골전도 전달에 의해 쉽게 들을 수 있도록 할 뿐 음성 신호로부터 음원의 공간상 위치가 어디인지, 어느 정도 세기의 음이 발생하고 있는지 등을 추적하여 시각적으로 디스플레이하지 못한다.
또한, 대한민국 등록 실용신안 공보 20-0363949에 개시된 다목적 안경은 사용할 수 있는 대상에 있어 외이도, 고막, 중이 등 전음계 이상이 있는 사람에 한정되고 달팽이관, 청각 신경 등 감음계 계통이 이상이 있는 경우 소리를 전달 받을 신경이 없기 때문에 소용이 없다.
상술한 바와 같이, 음장 가시화 기술의 발전은 끊임없이 계속되고 있다. 이에, 음장 가시화 기술을 활용하여 청각 장애인이 소리를 시각적으로 인지할 수 있도록 하는 장치의 개발도 가능케 하고 있는 실정이다.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 음장 가시화 기술을 청각장애 보조도구 분야에 적용하여 청각 장애인이 소리를 시각적으로 인지할 수 있도록 하고 특히 청각 장애인에게 있어서 일상적인 상황뿐만 아니라 위험 상황을 감지할 수 있도록 하여 상황에 대한 합리적 판단 능력과 대처 능력을 향상시킬 수 있도록 하는 초소형 마이크로폰 기반 청각 보조장치를 제공하는 것을 목적으로 한다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치는, 음원으로부터 출력되는 음성 신호를 다수의 마이크로폰을 통해 입력받으며 수신 신호들을 설정된 레벨로 증폭하는 수음부; 상기 수음부로부터 상기 수신 신호들을 입력받아 이들을 디지털 신호로 변환하고 상기 수신 신호들의 시간차인 지연 시간을 산출하여 상기 음원의 방향을 추적하며 상기 수신 신호들의 주파수별 에너지 분포를 토대로 하여 상기 음원의 파워를 추정하는 음원 추적부; 및 상기 음원 추적부의 추적 결과를 입력받아 분석하고 상기 음원의 방향 및 파워를 시각적으로 디스플레이하거나 촉각적인 피드백을 제공하는 것 중에서 어느 하나 이상을 선택하여 응용하는 응용부를 포함한다.
또한, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치에서 상기 수음부는, 소정의 간격으로 배열되고 상기 음원에서 발생한 아날로그 음성신호를 입력받는 마이크로폰; 상기 마이크로폰으로부터 인가받은 상기 아날로그 음성신호를 증폭하는 증폭부; 및 상기 증폭된 아날로그 음성신호로부터 노이즈를 제거하는 필터부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치에서 상기 마이크로폰은 멤스(MEMS) 기술을 활용하고 씨모스(CMOS) 기술을 결합하여 신호 증폭기 및 A/D 변환기 등을 내장하도록 구현되는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치에서 상기 음원 추적부는 상기 음성 신호가 상기 각각의 마이크로폰에 도달하는데 소요되는 시간들 간의 차이를 이용하여 거리를 산출하고 상기 산출된 거리에 기초하여 상기 음원의 방향을 추적하여 연산하는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치에서 상기 음원 추적부는 사용자 입력에 의하여 선택된 주파수 대역을 토대로 상기 수신 신호들의 주파수를 검출하고 이를 위하여 상기 초소형 마이크로폰 기반 청각 보조장치는 상기 사용자로 하여금 주어진 상황에 대응하는 주파수 대역을 선택할 수 있도록 하는 스위치를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치에서 상기 응용부는, 영상을 촬영하는 영상 촬영부; 상기 촬영된 영상에 상기 음원의 방향 및 파워를 나타내는 음원 정보를 오버랩시키는 영상 처리부; 및 상기 영상 처리부에 의해 처리된 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치에서 상기 영상 처리부는 상기 음원 정보를 그래픽 형태로 제공하고 상기 음원의 위치에 대응하는 부분을 컨투어(contour)로 사영(projection)하는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치에서 상기 영상 출력부는 투명 디스플레이로 서비스하는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치에서 상기 응용부는, 상기 수신 신호들에 대한 퓨리에 변환(Fourier transform)을 수행하는 퓨리에 변환부; 상기 변환된 신호를 샘플링하여 이산 신호를 발생시키는 샘플링부; 상기 이산 신호를 토대로 주파수 분포에 따른 기본 주파수를 검출하고 상기 기본 주파수에 대한 에너지의 양을 판단하는 스펙트럼 분석부; 상기 수신 신호들의 피크값 및 상기 피크값 간의 주기를 검출하는 피크주기 검출부; 및 상기 기본 주파수 및 상기 기본 주파수의 에너지를 토대로 발광체의 발광 강도 및 진동체의 진동 강도를 설정하고 상기 피크 주기를 토대로 상기 발광체의 발광 주기 및 상기 진동체의 진동 주기를 설정하여 상기 발광체에 대한 발광 패턴 및 상기 진동체에 대한 진동 패턴을 생성하는 패턴 생성부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치에서 상기 발광체는 옥타브 밴드, 라우드니스(Loudness) 밴드, 또는 샤프니스(Sharpness) 밴드의 형태로 구현되는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치에서 상기 수음부 및 상기 응용부는 무선 통신을 통해 상기 음원 추적부와 데이터를 교환하고 상기 무선 통신은 블루투스(Bluetooth), 지그비(Zigbee), 적외선 통신(IrDA), UWB(Ultra Wide Band), 또는 WLAN(IEEE802.11b) 중 어느 하나인 것을 특징으로 한다.
본 발명의 일실시예에 초소형 마이크로폰 기반 청각 보조장치에 따르면, 다수의 마이크로폰과 이미지센서, 신호를 처리하고 계산하는 신호처리부와 이를 가시화하여 출력하는 디스플레이부 등을 포함하는 음장 가시화 기술을 이용하여 음원의 위치와 음의 세기를 디스플레이 화면 등의 시각적 기구와 진동 소자 등의 촉각적 기구를 통해 실시간으로 제공함으로써 선진 복지사회의 도래에 따르는 노약자 및 청각 장애인의 복지 증대를 가능케 하는 효과를 얻을 수 있다.
도 1은 종래 기술의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치의 기능 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치의 일실시예를 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치의 기능 구성을 도시한 도면이고 도 3은 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치의 일실시예를 도시한 도면이다.
본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치는 도 1에 도시된 바와 같이, 수음부(100), 음원 추적부(200), 및 응용부(300)를 포함한다.
본 발명의 일실시예에 따른 수음부(100)는 음원으로부터 출력되는 음성 신호를 다수의 마이크로폰(110)을 통해 입력받으며 수신 신호들을 설정된 레벨로 증폭한다.
본 발명의 일실시예에 따른 마이크로폰(110)은 소정의 간격으로 배열되고 상기 음원에서 발생한 아날로그 음성신호를 입력받는다. 본 발명의 일실시예에 따른 마이크로폰(110)은 멤스(MEMS) 기술을 활용하고 씨모스(CMOS) 기술을 결합하여 신호 증폭기 및 A/D 변환기를 내장하도록 구현될 수 있다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 마이크로폰(110)은 안경에 장착되도록 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 수음부(100)는 증폭부(130) 및 필터부(150)를 더 포함하여 구성될 수 있다. 본 발명의 일실시예에 따른 증폭부(130)는 마이크로폰(110)으로부터 인가받은 상기 아날로그 음성신호를 증폭한다. 본 발명의 일실시예에 따른 필터부(150)는 상기 증폭된 아날로그 음성신호로부터 노이즈를 제거한다.
본 발명의 일실시예에 따른 마이크로폰(110)은 상기 음성 신호를 아날로그로 입력받는 것으로 무지향성 또는 전지향성이고 상기 아날로그 음성신호로부터 직류 성분을 제거하기 위하여 콘덴서를 직렬로 연결한다. 본 발명의 일실시예에 따른 증폭부(130)는 상기 마이크로폰(110)으로부터 직류 성분이 제거된 상태로 입력된 아날로그 음성신호를 설정된 레벨까지 증폭한다. 증폭 과정에서 증폭률을 높이기 위하여 다단으로 반복 증폭할 수 있다.
본 발명의 일실시예에 따른 필터부(150)는 입력된 신호와 증폭 과정에서 외부로부터 유입되거나 자체적으로 발생되는 불필요한 주파수의 신호 성분을 제거하는 것으로 신호의 원하는 대역만을 통과시키고 나머지 대역을 여파하여 차단한다. 대역여파를 위하여 밴드패스 필터를 사용하거나 로우패스 필터와 하이패스 필터를 함께 사용할 수 있다. 예를 들어, 150Hz 내지 4800Hz 주파수 영역의 가청 신호만을 통과하도록 하고 150Hz 이하 및 4800Hz 이상의 신호는 잡음으로 처리하여 차단하는 밴드패스 필터의 기능이 되도록 할 수 있다.
본 발명의 일실시예에 따른 음원 추적부(200)는 수음부(100)로부터 상기 수신 신호들을 입력받아 이들을 디지털 신호로 변환하고 상기 수신 신호들의 시간차인 지연 시간을 산출하여 상기 음원의 방향을 추적하며 상기 수신 신호들의 주파수별 에너지 분포를 토대로 하여 상기 음원의 파워를 추정한다.
본 발명의 일실시예에 따른 음원 추적부(200)는 디에스피(DSP)로 이루어지고, 로딩된 프로그램에 의하여 디지털 신호를 처리하는 것으로 로딩된 프로그램의 종류에 따라 매우 다양하게 응용될 수 있고 일반적으로 중앙처리장치(CPU)의 기능을 포함한다.
본 발명의 일실시예에 따른 음원 추적부(200)는 상기 음성 신호가 각각의 마이크로폰(110)에 도달하는데 소요되는 시간들 간의 차이를 이용하여 거리를 산출하고 상기 산출된 거리에 기초하여 상기 음원의 방향을 추적하여 연산한다. 또한, 본 발명의 일실시예에 따른 음원 추적부(200)는 DTW(Dynamic Time Warping)와 같은 알고리즘을 이용하여 전달된 소리와 데이터베이스에 기 저장된 소리 정보의 유사성을 비교하여 감지된 소리의 종류를 판단할 수도 있다.
즉, 감지된 소리가 음원 추적부(200)의 사운드 카드에서 샘플링된 후, 데이터베이스에 저장된 소리 정보와 비교되어 데이터베이스에 저장된 소리 정보에 해당하는지 분석된다. 그 다음, 수집된 소리가 데이터베이스에 저장된 소리 정보에 해당하지 않는 경우에는 이를 출력하지 않으며 수집된 소리가 데이터베이스에 저장된 소리에 해당하는 경우에만 이를 출력장치에 출력한다. 즉, 마이크로폰(110)에서 수집된 소리가 음원 추적부(200)의 데이터베이스에 저장된 소리(위험 요소에 해당하는 소리 등)에 해당하는 경우에만 출력되어 청각 장애인에게 인지될 수 있도록 구현될 수 있다.
저장된 소리에 해당하는 경우의 소리의 방향 및 종류는 청각 장애인이 시각 정보나 촉각 정보로 인식할 수 있도록 출력된다. 그 수단으로서 도 3에서는 시각 정보 표현을 위한 디스플레이 장치로 안경을 도시한다. 이러한 디스플레이 장치는 소리의 종류와 방향을 시각화하여 표시할 수 있다. 예컨대, LCD와 같은 화면을 안경의 유리부분에 탈부착 식으로 제공하여 청각 장애인이 이를 통해 소리의 종류와 방향을 인식할 수 있도록 구현될 수 있다. 예를 들어, 아기 울음소리가 감지되면 음원 추적부(200)가 응용부(300)에게 아기 울음소리를 감지했음을 그 방향과 함께 전송한다. 그 다음, 응용부(300)는 이에 해당하는 방향과 소리 종류를 디스플레이 장치에 표시하도록 디스플레이 장치를 적절하게 제어할 수 있다.
본 발명의 일실시예에 따른 응용부(300)는 LCD에 표시할 소리 종류, 방향성뿐만 아니라 밝기, 표시 내용의 크기, 및 위치 등을 제어할 수 있다.
본 발명의 일실시예에 따른 음원 추적부(200)는 적정한 레벨로 증폭되어 입력된 아날로그 음성신호를 ADC(Analog to Digital Converting) 처리하여 디지털 신호로 변환하고 신호의 주파수와 레벨을 분석한다. 신호의 주파수는 고속 퓨리에 변환 알고리즘으로 처리하여 가장 큰 레벨의 주파수 값을 대표 주파수 값으로 설정하고 대표 주파수를 헤르츠 단위로 확인하며 레벨 또는 크기는 데시벨 단위로 연산한다.
본 발명의 일실시예에 따른 음원 추적부(200)는 입력된 신호를 로딩된 크로스 코릴레이션 연산 프로그램에 의하여 각 마이크로폰(110)별 신호의 시간차값을 확인하며 확인된 시간차값을 거리차값으로 변환하는 연산을 하고 거리차값을 다시 연산하여 상기 음원이 발생된 방향값을 추적한다. 이러한 시간차값은 거리차=샘플링 단위의 개수 차이*샘플링 주파수*소리 속도와 같은 수식에 의하여 거리차값으로 변환 연산하고 연산된 거리차값은 검증이 통과될 때까지 반복하여 검증하므로 정확도를 높일 수 있다. 본 발명의 일실시예에 따른 음원 추적부(200)는 추적 결과를 데이터로 변환하여 출력한다.
본 발명의 일실시예에 따른 음원 추적부(200)는 사용자 입력에 의하여 선택된 주파수 대역을 토대로 상기 수신 신호들의 주파수를 검출하도록 구현될 수 있다. 이를 위하여 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치는 상기 사용자로 하여금 주어진 상황에 대응하는 주파수 대역을 선택할 수 있도록 하는 스위치를 포함하도록 구성될 수 있다.
본 발명의 일실시예에 따른 응용부(300)는 필요에 의하여 선택적으로 부가되는 응용 기능부이며 음원 추적부(200)로부터 인가되는 데이터를 분석하여 음원의 방향을 지시하도록 구동하고 시각적인 방위로 표시하거나 해당 주변의 영상을 촬영하여 방위 또는 움원을 지적하는 표시를 매핑 상태로 표시하는 등 다양하게 응용된다.
본 발명의 일실시예에 따른 응용부(300)는 음원 추적부(200)로부터 입력된 데이터를 분석하고 각각의 기능부에 적합한 구동 신호를 발생하여 출력한다.
본 발명의 일실시예에 따른 응용부(300)는 음원 추적부(200)의 추적 결과를 입력받아 분석하고 상기 음원의 방향 및 파워를 시각적으로 디스플레이하거나 촉각적인 피드백을 제공하는 것 중에서 어느 하나 이상을 선택하여 응용한다.
본 발명의 일실시예에 따른 응용부(300)는 영상 촬영부(310), 영상 처리부(320), 및 영상 출력부(330)를 포함할 수 있다. 본 발명의 일실시예에 따른 영상 촬영부(310)는 영상을 촬영한다. 본 발명의 일실시예에 따른 영상 처리부(320)는 상기 촬영된 영상에 상기 음원의 방향 및 파워를 나타내는 음원 정보를 오버랩시킨다. 본 발명의 일실시예에 따른 영상 처리부(320)는 상기 음원 정보를 그래픽 형태로 제공할 수 있고 상기 음원의 위치에 대응하는 부분을 컨투어(contour)로 사영(projection)할 수도 있다.
본 발명의 일실시예에 따른 영상 처리부(320)는 음원 추적부(200)로부터 인가되는 데이터를 분석하여 특히, 상기 음성 신호의 발생 방향과 주파수 및 레벨 정보를 분석하여 상기 음성 신호가 발생한 방향을 지적하는 방위 신호, 상기 음성 신호의 주파수와 크기에 따른 레벨을 색상 또는 기호 등으로 부가한 방위 신호를 발생한다.
본 발명의 일실시예에 따른 영상 처리부(320)는 발생된 영상 신호를 영상 출력부(330)에 인가하여 시각적으로 표시하도록 한다. 이때, 영상 처리부(320)는 선택적으로 영상 촬영부(310)를 제어하여 촬영된 영상 신호를 상기 방위 신호와 매핑하여 영상 출력부(330)에 인가하므로 시각적으로 표시되도록 할 수 있다. 영상 출력부(330)를 안경의 일부로 구성하여 머리에 착용하는 장치에 적용할 수 있다.
본 발명의 일실시예에 따른 영상 출력부(330)는 영상 처리부(320)에 의해 처리된 영상을 출력한다. 본 발명의 일실시예에 따른 영상 출력부(330)는 투명 디스플레이로 서비스하도록 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 응용부(300)는 퓨리에 변환부(340), 샘플링부(350), 스펙트럼 분석부(360), 피크주기 검출부(370), 및 패턴 생성부(380)를 포함할 수 있다.
본 발명의 일실시예에 따른 퓨리에 변환부(340)는 상기 수신 신호들에 대한 퓨리에 변환(Fourier transform)을 수행한다. 본 발명의 일실시예에 따른 샘플링부(350)는 상기 변환된 신호를 샘플링하여 이산 신호를 발생시킨다. 본 발명의 일실시예에 따른 스펙트럼 분석부(360)는 상기 이산 신호를 토대로 주파수 분포에 따른 기본 주파수를 검출하고 상기 기본 주파수에 대한 에너지의 양을 판단한다. 본 발명의 일실시예에 따른 피크주기 검출부(370)는 상기 수신 신호들의 피크값 및 상기 피크값 간의 주기를 검출한다.
본 발명의 일실시예에 따른 패턴 생성부(380)는 상기 기본 주파수 및 상기 기본 주파수의 에너지를 토대로 발광체의 발광 강도 및 진동체의 진동 강도를 설정하고 상기 피크 주기를 토대로 상기 발광체의 발광 주기 및 상기 진동체의 진동 주기를 설정한다. 이렇게 하여 본 발명의 일실시예에 따른 패턴 생성부(380)는 상기 발광체에 대한 발광 패턴 및 상기 진동체에 대한 진동 패턴을 생성한다.
도 3에 도시된 바와 같이, 청각 장애인에게 소리 정보를 인식시킬 수 있는 또 다른 출력 장치로서 소리 정보를 진동 형태로 출력하는 진동기를 도시한다. 도 3은 진동기를 예시적으로 안경 다리의 끝단에 부착한 것을 도시한다. 이 진동기는 소리의 방향을 구분하여 전달할 수 있고 소리의 종류에 따라서 진동 패턴을 달리하여 청각 장애인에게 소리 정보를 촉각 정보로 전달할 수 있다. 특히, 진동기는 후방의 신호를 인식시키기 위한 것이다. 응용부(300)는 음원 추적부(200)로부터 소리 종류와 방향에 대한 정보를 수신하고 이에 따라 진동기를 제어한다. 즉, 감지된 소리에 해당하는 진동 패턴과 방향에 따라서 적절하게 진동기가 진동하도록 하여 소리를 촉각 형태로 청각 장애인에게 인지시킨다.
예컨대, 아기 울음에 해당하는 소리가 청각 장애인의 오른쪽에서 들리는 경우에는 오른쪽을 가리키는 화살표와 아기를 나타내는 모양을 LCD 화면에 표시할 수 있다. 또한, 전화벨이 전방 좌측에서 발생한 경우에는 전방 좌측을 가리키는 화살표와 전화를 나타내는 모양을 LCD 화면에 표시할 수 있다. 또한, 자동차 경적 소리가 후방에서 발생한 경우에는 후방을 가리키는 화살표와 자동차를 나타내는 모양을 LCD화면에 표시할 수 있다.
이러한 표시는 단지 예시적인 것으로서 방향을 나타내는 방법은 단지 화살표에 국한되지 않는다. 또한, 소리 종류를 나타내는 방법도 제한되지 않으며 다른 방법이 사용될 수 있다. 즉, 색상, 깜빡임, 및 문자 등을 이용하여 소리 정보를 표시할 수도 있다.
본 발명의 일실시예에 따른 상기 발광체는 옥타브 밴드, 라우드니스(Loudness) 밴드, 또는 샤프니스(Sharpness) 밴드의 형태로 구현될 수 있다.
본 발명의 일실시예에 따르면 주파수와 진폭에 따라 소리마다 차별을 두어 진동소자를 울리게 할 수도 있다. 특히, 진동소자를 통해 눈에 보이지 않는 후방의 신호를 인식할 수 있도록 할 수 있다. 따라서, 소리에 따라 서로 다른 진동 패턴이 응용부(300)에 이미 저장되어 있어서 응용부(300)는 감지된 소리에 따라서 그에 해당하는 진동패턴에 따라 진동소자들을 울리게 할 수 있다. 이때, 진동 패턴은 가능한 실제 소리와 비슷하도록 하여 청각 장애인이 직관적으로 소리의 종류를 인식할 수 있도록 한다. 즉, 소리에 따라서 휴지 시간, 진동 시간, 및 진동 주파수를 전압으로 조정하여 여러 종류의 진동 패턴을 만들 수 있다. 예를 들어, 높은 주파수의 소리의 경우에는 전압을 높게 하여 진동 시간 동안에 진동이 빠르게 일어나도록 하고 낮은 주파수의 소리의 경우에는 상대적으로 전압을 낮게 하여 진동 시간 동안에 진동이 느리게 일어나도록 한다.
또한, 특정 소리에서 그 소리가 연속적으로 일어나지 않고 끊김이 있는 경우에는 휴지 시간을 진동 사이에 끼워 넣어서 실제와 유사한 느낌을 생성하도록 할 수 있다. 따라서, 전압을 조정함으로써 진동 시간과 휴지 시간을 적절하게 배치하고 그 시간 길이를 변화시키고 또한 진동 시간 동안의 진동 정도를 변화시켜 여러 소리를 구분할 수 있다. 상술한 바와 같이, 발광체의 구동도 이와 유사하게 구현시킬 수 있다.
본 발명의 일실시예에 따른 수음부(100) 및 응용부(300)는 무선 통신을 통해 음원 추적부(200)와 데이터를 교환하고 상기 무선 통신은 블루투스(Bluetooth), 지그비(Zigbee), 적외선 통신(IrDA), UWB(Ultra Wide Band), 또는 WLAN(IEEE802.11b) 중 어느 하나일 수 있다.
본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치는 신체의 일부분으로 인식될 수 있을 정도로 작은 단말 장치와 소리를 인식할 수 있는 소프트웨어 기술을 이용하여 헤어밴드, 벨트, 안경, 헬멧, 옷 등의 다양한 형태를 갖는 착용형 단말 장치를 개발하여 청각 장애인들이 보다 편리하게 생활할 수 있도록 하여 삶의 질을 높일 수 있도록 함에 그 목적이 있다.
즉, 본 발명의 일실시예에 따른 초소형 마이크로폰 기반 청각 보조장치는 특정한 소리(초인종, 전화벨, 자동차의 엔진, 경적 또는 폭발음과 같은 큰소리, 위험상황에 해당하는 소리, 아기 울음소리 등)를 주위 소음으로부터 추출하여 소리의 종류 및 방향에 대한 정보를 시각 또는 촉각 정보로 제시하여 줄 수 있다. 이때 촉각 정보는 진동소자를 이용하여 소리의 종류 또는 방향을 제시해 주고 시각 정보는 위험 또는 위급 상황을 그림, 색상, 문자 정보로 변환하여 디스플레이 장치에 출력하여 청각 장애인이 위험 또는 위급 상황을 인지하여 이에 적절하게 대처할 수 있도록 할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100: 수음부 110: 마이크로폰
130: 증폭부 150: 필터부
200: 음원 추적부 300: 응용부
310: 영상 촬영부 320: 영상 처리부
330: 영상 출력부 340: 퓨리에 변환부
350: 샘플링부 360: 스펙트럼 분석부
370: 피크주기 검출부 380: 패턴 생성부

Claims (12)

  1. 음원으로부터 출력되는 음성 신호를 다수의 초소형 마이크로폰을 통해 입력받으며 수신 신호들을 설정된 레벨로 증폭하는 수음부;
    상기 수음부로부터 상기 수신 신호들을 입력받아 이들을 디지털 신호로 변환하고 상기 수신 신호들의 시간차인 지연 시간을 산출하여 상기 음원의 방향을 추적하며 상기 수신 신호들의 주파수별 에너지 분포를 토대로 하여 상기 음원의 파워를 추정하는 음원 추적부; 및
    상기 음원 추적부의 추적 결과를 입력받아 분석하고 상기 음원의 방향 및 파워를 시각적으로 디스플레이하거나 촉각적인 피드백을 제공하는 것 중에서 어느 하나 이상을 선택하여 응용하는 응용부
    를 포함하되,
    상기 수음부는,
    소정의 간격으로 배열되고 상기 음원에서 발생한 아날로그 음성신호를 입력받는 마이크로폰;
    상기 마이크로폰으로부터 인가받은 상기 아날로그 음성신호를 증폭하는 증폭부; 및
    상기 증폭된 아날로그 음성신호로부터 특정 주파수 대역의 신호를 추출하는 필터부
    를 포함하는 것을 특징으로 하는 초소형 마이크로폰 기반 청각 보조장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 음원 추적부는 상기 음성 신호가 상기 각각의 마이크로폰에 도달하는데 소요되는 시간들 간의 차이를 이용하여 거리를 산출하고 상기 산출된 거리에 기초하여 상기 음원의 방향을 추적하여 연산하는 것을 특징으로 하는 초소형 마이크로폰 기반 청각 보조장치.
  5. 제1항에 있어서,
    상기 음원 추적부는 사용자 입력에 의하여 선택된 주파수 대역을 토대로 상기 수신 신호들의 주파수를 검출하고 이를 위하여 상기 초소형 마이크로폰 기반 청각 보조장치는 상기 사용자로 하여금 주어진 상황에 대응하는 주파수 대역을 선택할 수 있도록 하는 스위치를 포함하는 것을 특징으로 하는 초소형 마이크로폰 기반 청각 보조장치.
  6. 제1항에 있어서,
    상기 응용부는,
    영상을 촬영하는 영상 촬영부;
    상기 촬영된 영상에 상기 음원의 방향 및 파워를 나타내는 음원 정보를 오버랩시키는 영상 처리부; 및
    상기 영상 처리부에 의해 처리된 영상을 출력하는 영상 출력부
    를 포함하는 것을 특징으로 하는 초소형 마이크로폰 기반 청각 보조장치.
  7. 제6항에 있어서,
    상기 영상 처리부는 상기 음원 정보를 그래픽 형태로 제공하고 상기 음원의 위치에 대응하는 부분을 컨투어(contour)로 디스플레이 장치에 사영(projection)하는 것을 특징으로 하는 초소형 마이크로폰 기반 청각 보조장치.
  8. 제6항에 있어서,
    상기 영상 출력부는 투명 디스플레이를 통해 상기 영상을 출력하는 것을 특징으로 하는 초소형 마이크로폰 기반 청각 보조장치.
  9. 제1항에 있어서,
    상기 응용부는,
    상기 수신 신호들에 대한 퓨리에 변환(Fourier transform)을 수행하는 퓨리에 변환부;
    상기 변환된 신호를 샘플링하여 이산 신호를 발생시키는 샘플링부;
    상기 이산 신호를 토대로 주파수 분포에 따른 기본 주파수를 검출하고 상기 기본 주파수에 대한 에너지의 양을 판단하는 스펙트럼 분석부;
    상기 수신 신호들의 피크값 및 상기 피크값 간의 주기를 검출하는 피크주기 검출부; 및
    상기 기본 주파수 및 상기 기본 주파수의 에너지를 토대로 발광체의 발광 강도 및 진동체의 진동 강도를 설정하고 상기 피크 주기를 토대로 상기 발광체의 발광 주기 및 상기 진동체의 진동 주기를 설정하여 상기 발광체에 대한 발광 패턴 및 상기 진동체에 대한 진동 패턴을 생성하는 패턴 생성부
    를 포함하는 것을 특징으로 하는 초소형 마이크로폰 기반 청각 보조장치.
  10. 제9항에 있어서,
    상기 발광체는 옥타브 밴드, 라우드니스(Loudness) 밴드, 또는 샤프니스(Sharpness) 밴드의 형태로 구현되는 것을 특징으로 하는 초소형 마이크로폰 기반 청각 보조장치.
  11. 제1항에 있어서,
    상기 수음부 및 상기 응용부는 무선 통신을 통해 상기 음원 추적부와 데이터를 교환하고 상기 무선 통신은 블루투스(Bluetooth), 지그비(Zigbee), 적외선 통신(IrDA), UWB(Ultra Wide Band), 또는 WLAN(IEEE802.11b) 중 어느 하나인 것을 특징으로 하는 초소형 마이크로폰 기반 청각 보조장치.
  12. 제1항에 있어서,
    상기 초소형 마이크로폰 기반 청각 보조장치는 안경, 모자, 헬멧, 목걸이, 및 헤어밴드 중 어느 하나로 구현되는 것을 특징으로 하는 초소형 마이크로폰 기반 청각 보조장치.
KR1020100031251A 2010-04-06 2010-04-06 초소형 마이크로폰 기반 청각 보조장치 KR101031113B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100031251A KR101031113B1 (ko) 2010-04-06 2010-04-06 초소형 마이크로폰 기반 청각 보조장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100031251A KR101031113B1 (ko) 2010-04-06 2010-04-06 초소형 마이크로폰 기반 청각 보조장치

Publications (1)

Publication Number Publication Date
KR101031113B1 true KR101031113B1 (ko) 2011-04-25

Family

ID=44050564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100031251A KR101031113B1 (ko) 2010-04-06 2010-04-06 초소형 마이크로폰 기반 청각 보조장치

Country Status (1)

Country Link
KR (1) KR101031113B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101394168B1 (ko) 2013-02-20 2014-05-15 경희대학교 산학협력단 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법
KR101455830B1 (ko) * 2013-01-10 2014-11-04 숭실대학교산학협력단 안경 및 그 제어방법
KR20150056359A (ko) * 2013-11-15 2015-05-26 엘지전자 주식회사 안경형 단말기 및 안경형 단말기의 제어방법
US20200401164A1 (en) * 2018-02-23 2020-12-24 Sony Corporation Information processing apparatus, information processing method, and computer program
JP2022188280A (ja) * 2018-04-13 2022-12-20 リム，ソン－キュ セルフカスタマイズ眼鏡

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160366A (ja) * 1992-09-16 1996-06-21 Katsuya Ito 会話表示付きメガネ
KR20080029394A (ko) * 2006-09-29 2008-04-03 한국전자통신연구원 안경형 경고 알림 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160366A (ja) * 1992-09-16 1996-06-21 Katsuya Ito 会話表示付きメガネ
KR20080029394A (ko) * 2006-09-29 2008-04-03 한국전자통신연구원 안경형 경고 알림 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455830B1 (ko) * 2013-01-10 2014-11-04 숭실대학교산학협력단 안경 및 그 제어방법
KR101394168B1 (ko) 2013-02-20 2014-05-15 경희대학교 산학협력단 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법
KR20150056359A (ko) * 2013-11-15 2015-05-26 엘지전자 주식회사 안경형 단말기 및 안경형 단말기의 제어방법
KR102195773B1 (ko) * 2013-11-15 2020-12-28 엘지전자 주식회사 안경형 단말기 및 안경형 단말기의 제어방법
US20200401164A1 (en) * 2018-02-23 2020-12-24 Sony Corporation Information processing apparatus, information processing method, and computer program
US11774991B2 (en) * 2018-02-23 2023-10-03 Sony Corporation Information processing apparatus, information processing method, and computer program product for controlling vibration
JP2022188280A (ja) * 2018-04-13 2022-12-20 リム，ソン－キュ セルフカスタマイズ眼鏡

Similar Documents

Publication Publication Date Title
US10362432B2 (en) Spatially ambient aware personal audio delivery device
KR101031113B1 (ko) 초소형 마이크로폰 기반 청각 보조장치
KR101250929B1 (ko) 진동패턴 알림 기능을 가지는 양귀 삽입형 보청기
JP2017521902A (ja) 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード
JP2017521902A5 (ko)
JPWO2005076661A1 (ja) 超指向性スピーカ搭載型移動体
US11544036B2 (en) Multi-frequency sensing system with improved smart glasses and devices
JP2004077277A (ja) 音源位置の可視化表示方法および音源位置表示装置
CN111954143B (zh) 一种获取振动传递函数的方法和系统
TWI618418B (zh) 聽力輔助系統及電子裝置
CN111901738A (zh) 一种检测骨导听力设备状态的方法和系统
CN109932054B (zh) 可穿戴式声学检测识别系统
JP6214012B2 (ja) 外部音知覚方法および外部音知覚装置
US20230028004A1 (en) Systems and methods for obtaining vibration transfer functions
US20230011909A1 (en) Systems and methods for detecting state of bone conduction hearing device
KR20130124707A (ko) 음원의 방향을 시각적으로 제시하는 청각보조장치 및 그의 동작 방법
CN110031976A (zh) 一种具有报警功能的眼镜及其控制方法
US11368798B2 (en) Method for the environment-dependent operation of a hearing system and hearing system
US20200257493A1 (en) Multi-frequency sensing method and apparatus using mobile-clusters
KR20160090781A (ko) 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법
RU2803713C1 (ru) Системы и способы получения передаточной функции вибрации
US20230320669A1 (en) Real-time in-ear electroencephalography signal verification
Borg et al. A three-microphone system for real-time directional analysis: toward a device for environmental monitoring in deaf-blind.
KR100357779B1 (ko) 수중 음향 탐지시스템
Xia Selective Audio Filtering for Enabling Acoustic Intelligence in Mobile, Embedded, and Cyber-Physical Systems

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140310

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160308

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170308

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200309

Year of fee payment: 10