KR102389356B1 - 난청자를 위한 비착용형 보청 장치 및 이의 동작 방법 - Google Patents

난청자를 위한 비착용형 보청 장치 및 이의 동작 방법 Download PDF

Info

Publication number
KR102389356B1
KR102389356B1 KR1020200111103A KR20200111103A KR102389356B1 KR 102389356 B1 KR102389356 B1 KR 102389356B1 KR 1020200111103 A KR1020200111103 A KR 1020200111103A KR 20200111103 A KR20200111103 A KR 20200111103A KR 102389356 B1 KR102389356 B1 KR 102389356B1
Authority
KR
South Korea
Prior art keywords
directional speaker
hearing
user
sound
output sound
Prior art date
Application number
KR1020200111103A
Other languages
English (en)
Other versions
KR20220029139A (ko
Inventor
정의성
손재범
이호열
정유수
박영상
문효정
송찬호
Original Assignee
재단법인 대구경북첨단의료산업진흥재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 대구경북첨단의료산업진흥재단 filed Critical 재단법인 대구경북첨단의료산업진흥재단
Priority to KR1020200111103A priority Critical patent/KR102389356B1/ko
Publication of KR20220029139A publication Critical patent/KR20220029139A/ko
Application granted granted Critical
Publication of KR102389356B1 publication Critical patent/KR102389356B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/48—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using constructional means for obtaining a desired frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

난청자를 위한 비착용형 보청 장치 및 이의 동작 방법이 개시된다. 비착용형 보청 장치는, 음향출력장치와 연결된 지향성 스피커, 사용자 단말로부터 사용자 청력정보를 수신하는 통신부, 지향성 스피커의 출력 소리를 입력받는 마이크, 출력 소리의 크기 및 주파수를 측정하고, 측정된 크기 및 주파수와 사용자 청력정보를 비교 분석하여 출력 소리의 크기 및 주파수에 대한 조정값을 산출하는 소리 분석부 및 사용자 청력정보에 따라 지향성 스피커가 소리를 출력하도록 제어한 후, 산출된 조정값에 따라 지향성 스피커가 소리를 출력하도록 제어하는 소리 제어부를 포함한다.

Description

난청자를 위한 비착용형 보청 장치 및 이의 동작 방법{Non-wearing hearing device for the hearing-impaired person and method for operating thereof}
본 발명은 난청자를 위한 비착용형 보청 장치 및 이의 동작 방법에 관한 것이다.
보청기는 1600년대부터 개발되었는데, 큰 나팔관과 같이 집음구의 면적을 넓게 만들어 소리를 모으는 보청기가 개발되었다. 그 후, 1870년대에 들어와서는, 음성을 전기신호로 변환하고 변환된 전기신호가 증폭되어 스피커를 통해 출력되는 전화기의 원리를 이용한 탄소보청기가 개발되었다. 그리고, 1920년경에는 진공관을 이용한 보청기가 개발되었고, 1950년대에는 트랜지스터를 이용한 보청기가 개발되었다.
트랜지스터는 동작전압이 낮으므로, 트랜지스터를 이용하면 배터리 및 회로의 크기를 줄여 작은 보청기를 제작할 수 있다. 특히, 1960년대에 다수의 트랜지스터를 하나의 칩 안에 내장한 집적회로(IC: integrated circuit)가 개발된 후, 직접회로를 이용한 안경형, 귀걸이형(BTE: behind the ear), 귓속형(ITE: in the ear) 등의 보청기가 차례로 개발되었다. 이후 보청기의 크기는 더욱 줄어들었고, 1980년대에는 귀 안에 완전히 들어가는 외이도형(外耳道形, ITC: in the canal) 보청기가 개발되었고, 1990년대에는 눈에 잘 띄지 않는 고막형(鼓膜形, CIC: completely in canal) 보청기가 개발되었다.
즉, 기존의 귀걸이(BTE)형 보청기는 스피커를 포함한 모든 보청기가 하나의 귀걸이 모듈에 포함되고 이 모듈에 부착하는 공기 튜브를 통하여 보청기 스피커에서 출력되는 음향신호가 귀의 고막으로 전달되는 구조였으나, 최근에는, 귀걸이형 보청기에서 보청기 모듈로부터 스피커(리시버)를 분리하여 스피커를 귀 안 외이도의 고막 가까이 위치시키고 보청기 모듈과 스피커를 전선선으로 연결하는 RIC(receiver in canal) 보청기가 개발되었다. 이로써, 보청기 모듈을 귀 뒤에 위치시키고 스피커를 귀 안에 위치시킴으로써, ITE, ITC, CIC 등에 비해 보청기 모듈을 크게 할 수 있었고, 이에 따라 볼륨 컨트롤 등의 제어버튼과 비교적 용량이 큰 배터리를 보청기 모듈에 장착할 수 있었다. 기존의 BTE에 비해서는 보청기 모듈 크기가 훨씬 작아서 착용감이 좋고, 다른 사람 눈에 잘 띄지 않는 장점이 있다.
현재는, 집적회로 기술의 획기적인 발달로 보청기 기능에 필요한 모든 회로를 주로 한 개의 전용 ASIC(application specific integrated circuit) 칩 안에 구현하는 디지털 보청기가 많이 사용되고 있다.
하지만, 이와 같은 보청기 기술의 발달에도 불구하고, 여전히 보청기는 귀 내부 또는 외부에 착용되어져야 사용될 수 있다. 즉, 청각 장애인들은 일상생활에서도 항상 보청기를 귀에 착용해야 하는 불편함이 있다.
또한, 보청기는 사용 시, 착용 통증을 수반하며, 피드백 하울링, 미용효과를 저해하는 등의 단점이 있다.
대한민국등록특허공보 제10-1585793호(2016.01.08.)
본 발명은 TV나 오디오와 같은 음향출력장비에 연결된 지향성 스피커를 이용하여 사용자가 위치하는 방향으로 사용자가 청취가능한 소리를 출력하여 사용자에게 보청기능을 제공하는 난청자를 위한 비착용형 보청 장치 및 이의 동작 방법을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 난청자를 위한 비착용형 보청 장치가 개시된다.
본 발명의 실시예에 따른 비착용형 보청 장치는, 음향출력장치와 연결된 지향성 스피커, 사용자 단말로부터 사용자 청력정보를 수신하는 통신부, 상기 지향성 스피커의 출력 소리를 입력받는 마이크, 상기 출력 소리의 크기 및 주파수를 측정하고, 측정된 크기 및 주파수와 상기 사용자 청력정보를 비교 분석하여 상기 출력 소리의 크기 및 주파수에 대한 조정값을 산출하는 소리 분석부 및 상기 사용자 청력정보에 따라 상기 지향성 스피커가 소리를 출력하도록 제어한 후, 상기 산출된 조정값에 따라 상기 지향성 스피커가 소리를 출력하도록 제어하는 소리 제어부를 포함한다.
상기 소리 제어부는 상기 사용자 청력정보에 따라 상기 지향성 스피커가 소리를 출력하도록 제어하고, 상기 소리 분석부는 상기 사용자 청력정보에 따른 지향성 스피커의 소리 출력에 따라 상기 마이크를 통해 입력되는 상기 출력 소리의 크기 및 주파수를 측정하고, 크기 및 주파수에 대한 측정값과 사용자 청력값의 차이를 조정값으로 산출하고, 상기 소리 제어부는 상기 산출된 조정값에 따라 상기 지향성 스피커의 출력 소리를 제어한다.
상기 통신부는 상기 지향성 스피커의 출력 소리를 상기 사용자 단말로부터 수신한다.
상기 비착용형 보청 장치는, 상기 지향성 스피커를 회전시켜 상기 지향성 스피커의 지향방향을 조정하는 회전부 및 이미지 획득 센서를 이용하여 상기 지향성 스피커의 전방에 존재하는 사용자의 위치를 파악하고, 상기 파악한 위치에 따라 상기 지향성 스피커의 지향방향을 조정하기 위하여 상기 회전부의 구동을 제어하는 위치 파악부를 더 포함한다.
상기 회전부는 상기 지향성 스피커와 중심축이 연결되는 모터를 포함하되, 상기 모터의 시계 방향 또는 반시계 방향으로 회전에 따라 상기 지향성 스피커가 좌측 또는 우측으로 지향방향이 변경된다.
상기 이미지 획득 센서는 광학 카메라, 깊이 카메라 및 라이다 센서를 포함하되, 상기 위치 파악부는, 상기 광학 카메라로 전방을 촬영하여 전방 영상을 획득하거나, 깊이 카메라로 전방을 촬영하여 전방 깊이영상을 획득하거나, 라이다 센서를 이용하여 전방 형상 데이터를 획득함으로써, 상기 지향성 스피커의 전방 이미지를 획득한다.
상기 위치 파악부는, 미리 설정된 얼굴인식 알고리즘을 이용하여, 상기 이미지 획득 센서를 이용하여 획득된 전방 이미지에서 얼굴을 인식하고, 상기 전방 이미지 상에서 상기 인식된 얼굴이 위치하는 지점을 확인함으로써, 상기 사용자의 위치를 파악하고, 상기 인식된 얼굴이 위치하는 지점을 이용하여 상기 지향성 스피커의 지향방향을 산출하고, 상기 산출된 지향방향과 현재 지향방향을 이용하여 회전각을 산출하고, 상기 산출된 회전각에 따라 상기 회전부가 구동하도록 제어한다.
본 발명의 다른 측면에 따르면, 지향성 스피커를 이용한 난청자를 위한 비착용형 보청 장치의 동작 방법이 개시된다.
본 발명의 실시예에 따른 비착용형 보청 장치의 동작 방법은, 사용자 청력정보를 입력받는 단계, 상기 입력된 사용자 청력정보에 따라 상기 지향성 스피커가 소리를 출력하도록 제어하는 단계, 상기 지향성 스피커의 출력 소리의 크기 및 주파수를 측정하는 단계, 상기 측정된 크기 및 주파수와 상기 사용자 청력정보를 비교 분석하여 상기 출력 소리의 크기 및 주파수에 대한 조정값을 산출하는 단계 및 상기 산출된 조정값에 따라 상기 지향성 스피커가 소리를 출력하도록 제어하는 단계를 포함한다.
상기 비착용형 보청 장치의 동작 방법은, 이미지 획득 센서를 이용하여 상기 지향성 스피커의 전방에 존재하는 사용자의 위치를 추적하는 단계 및 상기 추적된 위치에 따라 상기 지향성 스피커의 지향방향을 제어하는 단계를 더 포함한다.
본 발명의 실시예에 따른 난청자를 위한 비착용형 보청 장치 및 이의 동작 방법은, TV나 오디오와 같은 음향출력장비에 연결된 지향성 스피커를 이용하여 사용자가 위치하는 방향으로 사용자가 청취가능한 소리를 출력하여 사용자에게 보청기능을 제공함으로써, 보청기를 귀에 착용해야 하는 불편함을 없애고, 청각 장애인 뿐만 아니라, 청력이 다소 떨어진 난청자도 누구나 일상생활에서 편리하게 보청기능을 제공받을 수 있다.
도 1은 본 발명의 실시예에 따른 난청자를 위한 비착용형 보청 장치의 구성을 개략적으로 예시하여 나타낸 도면.
도 2는 본 발명의 실시예에 따른 난청자를 위한 비착용형 보청 장치의 동작을 설명하기 위하나 도면.
도 3은 본 발명의 실시예에 따른 지향성 스피커를 이용한 난청자의 청취 실험을 나타낸 도면.
도 4 및 도 5는 도 3의 청취 실험 결과를 나타낸 도면.
도 6은 본 발명의 실시예에 따른 난청자를 위한 비착용형 보청 장치의 동작 방법을 나타낸 흐름도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 실시예에 따른 난청자를 위한 비착용형 보청 장치의 구성을 개략적으로 예시하여 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 난청자를 위한 비착용형 보청 장치의 동작을 설명하기 위하나 도면이다. 이하, 도 1을 중심으로 본 발명의 실시예에 따른 난청자를 위한 비착용형 보청 장치에 대하여 설명하되, 도 2를 참조하기로 한다.
도 1을 참조하면, 본 발명의 실시예에 따른 난청자를 위한 비착용형 보청 장치(100)는 지향성 스피커(110), 회전부(120), 위치 파악부(130), 마이크(140), 통신부(150), 소리 분석부(160) 및 소리 제어부(170)를 포함하여 구성될 수 있다.
지향성 스피커(110)는 도 1에 도시된 바와 같이, TV나 오디오와 같은 음향출력장치와 연결되어 연결된 음향출력장치로부터 소리에 대한 전기신호를 수신하여 소리를 출력하는 장치로서, 지향방향으로만 소리가 전달되도록 소리를 출력한다.
회전부(120)는 지향성 스피커(110)를 회전시켜 지향성 스피커(110)의 지향방향을 조정한다.
예를 들어, 회전부(120)는 지향성 스피커(110)와 중심축이 연결되는 모터를 포함하여 구성될 수 있다. 그래서, 모터의 시계 방향 또는 반시계 방향으로 회전에 따라 지향성 스피커(110)는 좌측 또는 우측으로 지향방향이 변경될 수 있다. 이때, 모터는 스테핑 모터와 같이 각도 제어가 가능한 모터일 수 있다.
위치 파악부(130)는 이미지 획득 센서를 이용하여 지향성 스피커(110)의 전방에 존재하는 사용자의 위치를 파악하고, 파악한 위치에 따라 지향성 스피커(110)의 지향방향을 조정하기 위하여 회전부(120)의 구동을 제어한다.
여기서, 이미지 획득 센서는 광학 카메라, 깊이 카메라, 라이다 센서 등이 될 수 있다. 그래서, 위치 파악부(130)는 광학 카메라로 전방을 촬영하여 전방 영상을 획득하거나, 깊이 카메라로 전방을 촬영하여 전방 깊이영상을 획득하거나, 라이다 센서를 이용하여 전방 형상 데이터를 획득함으로써, 지향성 스피커(110)의 전방 이미지를 획득할 수 있다.
그리고, 위치 파악부(130)는 미리 설정된 얼굴인식 알고리즘을 이용하여 이미지 획득 센서를 이용하여 획득된 전방 이미지에서 얼굴을 인식하고, 전방 이미지 상에서 인식된 얼굴이 위치하는 지점을 확인함으로써, 사용자의 위치를 파악할 수 있다.
그리고, 위치 파악부(130)는 전방 이미지 상에서 인식된 얼굴이 위치하는 지점을 이용하여 지향성 스피커(110)의 지향방향을 산출하고, 산출된 지향방향과 현재 지향방향을 이용하여 회전각을 산출하고, 산출된 회전각에 따라 회전부(120)가 구동하도록 제어할 수 있다.
예를 들어, 위치 파악부(130)가 이미지 획득 센서를 이용하여 획득한 전방 이미지(50)는 도 2에 도시된 바와 같이 나타낼 수 있다. 위치 파악부(130)의 이미지 획득 방향과 지향성 스피커(110)의 정면 지향방향이 일치하도록 위치 파악부(130)(특히, 이미지 획득 센서)와 지향성 스피커(110)가 설치되어, 도 2에 도시된 바와 같은 전방 이미지(50)가 획득될 수 있다.
그래서, 지향성 스피커(110)가 전방 이미지(50)의 중앙 하단에 위치하고 정면을 지향하고 있으며, 도 2에 도시된 바와 같이, 전방 이미지(50) 상에서 A 지점에서 얼굴이 인식되었다고 가정하면, 위치 파악부(130)는 지향성 스피커(110)가 A 지점을 지향하게 하기 위하여 정면을 기준으로 좌측 θ 각도만큼 회전하도록 회전부(120)를 제어할 수 있다.
마이크(140)는 소리를 입력받아 후술할 소리 분석부(160)로 전달한다.
특히, 마이크(140)는 지향성 스피커(110)로부터 출력되는 소리를 입력받도록 설치되어, 소리 분석부(160)로 지향성 스피커(110)의 출력 소리를 전달할 수 있다.
통신부(150)는 사용자 단말(200)과 근거리 무선통신을 수행한다. 예를 들어, 통신부(150)는 블루투스(Bluetooth), 와이파이(WiFi) 등과 같은 근거리 무선통신 모듈을 구비할 수 있다.
통신부(150)는 사용자가 비착용형 보청 장치(100)를 제어하기 위하여 입력한 사용자 입력 정보를 사용자 단말(200)로부터 수신할 수 있다. 여기서, 사용자 입력 정보는 사용자 청력정보, 지향성 스피커(110)가 출력하는 소리의 크기 및 주파수를 포함하는 소리제어정보, 지향성 스피커(120)의 지향방향 제어정보 등을 포함할 수 있다. 여기서, 사용자 청력정보는 해당 사용자가 청취가능한 소리의 크기 및 주파수에 대한 정보를 포함할 수 있다.
또한, 사용자 입력 정보는 사용자 단말(200)의 마이크로 입력되는 지향성 스피커(110)의 출력 소리를 포함할 수 있다.
즉, 지향성 스피커(110)로부터 출력되는 소리는 전술한 마이크(140)를 통해 입력되어 소리 분석부(160)로 전달되거나, 사용자 단말(200)을 통해 입력되어 통신부(150)를 통해 소리 분석부(160)로 전달될 수 있다.
또한, 통신부(150)는 사용자가 비착용형 보청 장치(100)를 제어하기 위한 전용 리모트콘트롤러의 신호를 수신하는 적외선 수신 모듈을 구비할 수도 있다. 그래서, 통신부(150)는 리모트콘트롤러로부터 전술한 사용자 입력 정보를 수신할 수도 있다.
소리 분석부(160)는 마이크(140) 또는 사용자 단말(200)로부터 입력되는 지향성 스피커(110)의 출력 소리의 크기 및 주파수를 측정하고, 측정된 지향성 스피커(110)의 출력 소리의 크기 및 주파수와 사용자 청력정보를 비교 분석하여 지향성 스피커(110)의 출력 소리의 크기 및 주파수에 대한 조정값을 산출한다.
소리 제어부(170)는 입력된 사용자 청력정보에 따라 지향성 스피커(110)가 소리를 출력하도록 제어하고, 필요 시 소리 분석부(160)에 의하여 산출된 지향성 스피커(110)의 출력 소리의 크기 및 주파수에 대한 조정값에 따라 지향성 스피커(110)의 출력 소리를 제어한다.
예를 들어, 소리 제어부(170)는 사용자 단말(200)로부터 수신된 사용자 입력 정보의 사용자 청력정보에 따라 지향성 스피커(110)가 소리를 출력하도록 제어한다. 이어, 소리 분석부(160)는 사용자 청력정보에 따른 지향성 스피커(110)의 소리 출력에 따라 마이크(140) 또는 사용자 단말(200)로부터 입력되는 지향성 스피커(110)의 출력 소리의 크기 및 주파수를 측정하고, 크기 및 주파수에 대한 측정값과 사용자 청력값의 차이를 조정값으로 산출한다. 이어, 소리 제어부(170)는 산출된 조정값에 따라 지향성 스피커(110)의 출력 소리를 제어한다.
도 3은 본 발명의 실시예에 따른 지향성 스피커를 이용한 난청자의 청취 실험을 나타낸 도면이고, 도 4 및 도 5는 도 3의 청취 실험 결과를 나타낸 도면이다.
도 3을 참조하면, 본 실험에서는, 난청자와 일반인 사이의 거리 A가 0.5~1m이고, TV 시청 거리 B가 2~3m인 것으로 설정하고, 지향성 스피커(110)로부터 출력된 소리의 주파수별 크기를 난청자 및 일반인의 위치에서 측정하였다. 측정 결과는 다음 표 1과 같다.
주파수[Hz] 시청거리(B=2m) 시청거리(B=3m)
난청자 일반인 난청자 일반인
A=0m A=0.5m A=1.0m A=0m A=0.5m A=1.0m
500 80 49 47 71 61 59
1000 70 59 56 73 62 59
2000 74 62 59 77 66 66
4000 74 68 56 75 64 63
6000 72 58 53 72 63 62
(측정 결과 단위: dBSPL, A:일반인과 난청자간 거리, B:TV시청거리)
그리고, 표 1을 그래프로 나타내면 도 4 및 도 5에 도시된 바와 같다. 즉, 도 4는 시청거리가 2m인 경우이고, 도 5는 시청거리가 3m인 경우이다.
도 4 및 도 5를 참조하면, 일반 가정집의 거실에서 시청거리가 2m 및 3m인 경우, 난청자와 일반인 사이의 중심 거리가 최소 50cm 이상이면, TV 출력소리의 일반적인 크기에 해당하는 74dBSPL 영역에서 지향성 스피커를 통해 소리 전달을 할 경우 두 사람간 약 10 ~ 14dBSPL 이상의 크기차이가 발생한다. 이와 같이, 본 발명의 실시예에 따른 난청자를 위한 비착용형 보청 장치(100)는 지향성 스피커(110)를 이용하여 일반인에게 간섭을 최소화하며, 난청자만을 위한 청력 보상 시스템을 구축할 수 있다.
도 6은 본 발명의 실시예에 따른 난청자를 위한 비착용형 보청 장치의 동작 방법을 나타낸 흐름도이다.
S610 단계에서, 비착용형 보청 장치(100)는 사용자 청력정보를 입력받는다.
비착용형 보청 장치(100)는 해당 사용자가 청취가능한 소리의 크기 및 주파수에 대한 정보를 포함하는 사용자 청력정보를 사용자 단말(200)로부터 수신할 수 있다.
S620 단계에서, 비착용형 보청 장치(100)는 입력된 사용자 청력정보 및 지향성 스피커(110)의 출력 소리를 이용하여 지향성 스피커(110)의 출력소리 테스트를 수행한다.
즉, 비착용형 보청 장치(100)는 입력된 사용자 청력정보에 따라 지향성 스피커(110)가 소리를 출력하도록 제어한 후, 마이크(140) 또는 사용자 단말(200)로부터 입력되는 지향성 스피커(110)의 출력 소리의 크기 및 주파수를 측정하고, 측정된 지향성 스피커(110)의 출력 소리의 크기 및 주파수와 사용자 청력정보를 비교 분석하여 지향성 스피커(110)의 출력 소리의 크기 및 주파수에 대한 조정값을 산출할 수 있다.
S630 단계에서, 비착용형 보청 장치(100)는 출력소리 테스트의 결과에 따라 지향성 스피커(110)의 출력 소리의 크기 및 주파수를 제어한다.
즉, 비착용형 보청 장치(100)는 산출된 조정값에 따라 지향성 스피커(110)의 출력 소리를 제어할 수 있다.
S640 단계에서, 비착용형 보청 장치(100)는 이미지 획득 센서를 이용하여 지향성 스피커(110)의 전방에 존재하는 사용자의 위치를 추적한다.
즉, 비착용형 보청 장치(100)는 이미지 획득 센서를 이용하여 획득된 전방 이미지에서 얼굴을 인식하고, 전방 이미지 상에서 인식된 얼굴이 위치하는 지점을 확인함으로써, 사용자의 위치를 추적할 수 있다.
S670 단계에서, 비착용형 보청 장치(100)는 추적된 위치에 따라 지향성 스피커(110)의 지향방향을 제어한다.
즉, 비착용형 보청 장치(100)는 전방 이미지 상에서 인식된 얼굴이 위치하는 지점을 이용하여 지향성 스피커(110)의 지향방향을 산출하고, 산출된 지향방향과 현재 지향방향을 이용하여 회전각을 산출하고, 산출된 회전각에 따라 회전부(120)가 구동하도록 제어할 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 비착용형 보청 장치
110: 지향성 스피커
120: 회전부
130: 위치 파악부
140: 마이크
150: 통신부
160: 소리 분석부
170: 소리 제어부

Claims (9)

  1. 난청자를 위한 비착용형 보청 장치에 있어서,
    음향출력장치와 연결된 지향성 스피커;
    상기 지향성 스피커를 회전시켜 상기 지향성 스피커의 지향방향을 조정하는 회전부;
    이미지 획득 센서를 이용하여 상기 지향성 스피커의 전방에 존재하는 사용자의 위치를 파악하고, 상기 파악한 위치에 따라 상기 지향성 스피커의 지향방향을 조정하기 위하여 상기 회전부의 구동을 제어하는 위치 파악부;
    상기 지향성 스피커의 출력 소리를 입력받는 사용자 단말로부터 사용자 청력정보및 상기 출력 소리를 수신하는 통신부;
    상기 출력 소리를 입력받는 마이크;
    상기 사용자 청력정보에 따른 지향성 스피커의 소리 출력에 따라 상기 마이크를 통해 입력되거나, 상기 통신부를 통해 수신된 상기 출력 소리의 크기 및 주파수를 측정하고, 측정된 크기 및 주파수와 상기 사용자 청력정보를 비교 분석하여 크기 및 주파수에 대한 측정값과 사용자 청력값의 차이를 조정값으로 산출하는 소리 분석부; 및
    상기 사용자 청력정보에 따라 상기 지향성 스피커가 소리를 출력하도록 제어한 후, 상기 산출된 조정값에 따라 상기 지향성 스피커가 소리를 출력하도록 제어하는 소리 제어부를 포함하는 비착용형 보청 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 회전부는 상기 지향성 스피커와 중심축이 연결되는 모터를 포함하되,
    상기 모터의 시계 방향 또는 반시계 방향으로 회전에 따라 상기 지향성 스피커가 좌측 또는 우측으로 지향방향이 변경되는 것을 특징으로 하는 비착용형 보청 장치.
  6. 제1항에 있어서,
    상기 이미지 획득 센서는 광학 카메라, 깊이 카메라 및 라이다 센서를 포함하되,
    상기 위치 파악부는,
    상기 광학 카메라로 전방을 촬영하여 전방 영상을 획득하거나, 깊이 카메라로 전방을 촬영하여 전방 깊이영상을 획득하거나, 라이다 센서를 이용하여 전방 형상 데이터를 획득함으로써, 상기 지향성 스피커의 전방 이미지를 획득하는 것을 특징으로 하는 비착용형 보청 장치.
  7. 제1항에 있어서,
    상기 위치 파악부는,
    미리 설정된 얼굴인식 알고리즘을 이용하여, 상기 이미지 획득 센서를 이용하여 획득된 전방 이미지에서 얼굴을 인식하고, 상기 전방 이미지 상에서 상기 인식된 얼굴이 위치하는 지점을 확인함으로써, 상기 사용자의 위치를 파악하고,
    상기 인식된 얼굴이 위치하는 지점을 이용하여 상기 지향성 스피커의 지향방향을 산출하고, 상기 산출된 지향방향과 현재 지향방향을 이용하여 회전각을 산출하고, 상기 산출된 회전각에 따라 상기 회전부가 구동하도록 제어하는 것을 특징으로 하는 비착용형 보청 장치.
  8. 지향성 스피커를 이용한 난청자를 위한 비착용형 보청 장치의 동작 방법에 있어서,
    사용자 단말로부터 사용자 청력정보를 수신하는 단계;
    상기 수신된 사용자 청력정보에 따라 상기 지향성 스피커가 소리를 출력하도록 제어하는 단계;
    상기 지향성 스피커의 소리 출력에 따라, 마이크를 통해 상기 지향성 스피커의 출력 소리를 입력받거나, 상기 출력 소리를 입력받는 상기 사용자 단말로부터 상기 출력 소리를 수신하는 단계;
    상기 출력 소리의 크기 및 주파수를 측정하는 단계;
    상기 측정된 크기 및 주파수와 상기 사용자 청력정보를 비교 분석하여 크기 및 주파수에 대한 측정값과 사용자 청력값의 차이를 조정값으로 산출하는 단계;
    상기 산출된 조정값에 따라 상기 지향성 스피커가 소리를 출력하도록 제어하는 단계;
    이미지 획득 센서를 이용하여 상기 지향성 스피커의 전방에 존재하는 사용자의 위치를 추적하는 단계; 및
    상기 추적된 위치에 따라 상기 지향성 스피커의 지향방향을 제어하는 단계를 포함하는 비착용형 보청 장치의 동작 방법.
  9. 삭제
KR1020200111103A 2020-09-01 2020-09-01 난청자를 위한 비착용형 보청 장치 및 이의 동작 방법 KR102389356B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200111103A KR102389356B1 (ko) 2020-09-01 2020-09-01 난청자를 위한 비착용형 보청 장치 및 이의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200111103A KR102389356B1 (ko) 2020-09-01 2020-09-01 난청자를 위한 비착용형 보청 장치 및 이의 동작 방법

Publications (2)

Publication Number Publication Date
KR20220029139A KR20220029139A (ko) 2022-03-08
KR102389356B1 true KR102389356B1 (ko) 2022-04-21

Family

ID=80813251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200111103A KR102389356B1 (ko) 2020-09-01 2020-09-01 난청자를 위한 비착용형 보청 장치 및 이의 동작 방법

Country Status (1)

Country Link
KR (1) KR102389356B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199248A1 (en) * 2022-04-12 2023-10-19 Cochlear Limited Mapping environment with sensory prostheses

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080279410A1 (en) * 2003-04-15 2008-11-13 Kwok Wai Cheung Directional hearing enhancement systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212890A (ja) * 1994-01-14 1995-08-11 Fujitsu Ten Ltd 車室内音場自動補正システム
KR101585793B1 (ko) 2014-09-30 2016-01-15 정금필 스마트 보청기
WO2020171268A1 (ko) * 2019-02-22 2020-08-27 엘지전자 주식회사 로봇

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080279410A1 (en) * 2003-04-15 2008-11-13 Kwok Wai Cheung Directional hearing enhancement systems

Also Published As

Publication number Publication date
KR20220029139A (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
US20240121561A1 (en) Hearing aid device comprising a sensor member
US10431239B2 (en) Hearing system
US8391522B2 (en) Method and system for wireless hearing assistance
US8391523B2 (en) Method and system for wireless hearing assistance
EP2200342B1 (en) Hearing aid controlled using a brain wave signal
US9860650B2 (en) Hearing assistance device comprising a location identification unit
US7020296B2 (en) Method for operating a hearing aid system and hearing aid system
US11245990B2 (en) Body temperature hearing aid
US9894446B2 (en) Customization of adaptive directionality for hearing aids using a portable device
EP2840807A1 (en) External microphone array and hearing aid using it
US20080192968A1 (en) Hearing apparatus with automatic alignment of the directional microphone and corresponding method
WO2011025531A1 (en) Hearing aids configured for directional acoustic fitting
US9131318B2 (en) Method and system for providing hearing assistance to a user
KR20150020810A (ko) 청각 기기 및 양이 청각 모델을 이용한 청각 기기의 피팅 방법
US8213650B2 (en) Hearing device with a visualized psychoacoustic variable and corresponding method
US11510018B2 (en) Hearing system containing a hearing instrument and a method for operating the hearing instrument
KR102389356B1 (ko) 난청자를 위한 비착용형 보청 장치 및 이의 동작 방법
EP3684079B1 (en) Hearing device for orientation estimation and method of its operation
US11082781B2 (en) Ear piece with active vent control
US10097935B2 (en) Method for physically adjusting a hearing device, hearing device and hearing device system
JPH09327097A (ja) 補聴器
US20220322018A1 (en) Interchangeable hearing device transducer module storing transducer calibration information
Kuk Amplification devices for the hearing impaired individuals

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant