KR20150052903A - 생활 패턴을 이용하는 청각 기기 및 외부 기기 - Google Patents

생활 패턴을 이용하는 청각 기기 및 외부 기기 Download PDF

Info

Publication number
KR20150052903A
KR20150052903A KR1020130134123A KR20130134123A KR20150052903A KR 20150052903 A KR20150052903 A KR 20150052903A KR 1020130134123 A KR1020130134123 A KR 1020130134123A KR 20130134123 A KR20130134123 A KR 20130134123A KR 20150052903 A KR20150052903 A KR 20150052903A
Authority
KR
South Korea
Prior art keywords
sound
information
environment
category
unit
Prior art date
Application number
KR1020130134123A
Other languages
English (en)
Other versions
KR102077264B1 (ko
Inventor
한주만
김동욱
한종희
권세윤
김상욱
손준일
최종민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130134123A priority Critical patent/KR102077264B1/ko
Priority to US14/293,005 priority patent/US9668069B2/en
Priority to PCT/KR2014/005679 priority patent/WO2015068927A1/en
Publication of KR20150052903A publication Critical patent/KR20150052903A/ko
Application granted granted Critical
Publication of KR102077264B1 publication Critical patent/KR102077264B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/39—Aspects relating to automatic logging of sound environment parameters and the performance of the hearing aid during use, e.g. histogram logging, or of user selected programs or settings in the hearing aid, e.g. usage logging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

생활 패턴을 이용하는 청각 기기가 개시된다. 실시예들에 따른 청각 기기는 생활 패턴에 기초하여 소리 환경을 분류한다. 예를 들어, 청각 기기는 생활 패턴에 따른 소리 환경 카테고리 세트를 이용하여 소리 정보의 카테고리를 분류할 수 있다. 청각 기기는 분류된 소리 환경에 기초하여 소리 정보의 출력을 제어한다.

Description

생활 패턴을 이용하는 청각 기기 및 외부 기기{HEARING DEVICE AND EXTERNAL DEVICE USING LIFE CYCLE}
아래 실시예들은 소리를 들려주는 청각 기기 및 청각 기기와 연동하는 외부 기기에 관한 것이다.
청각 기기의 대표적인 예로 보청기를 들 수 있다. 보청기는 난청인이 소리를 들을 수 있도록 소리를 증폭하는 장치이다. 다만, 보청기에 입력되는 소리에는 난청인이 듣고자 하는 소리뿐 아니라 다양한 노이즈가 포함될 수 있다. 따라서, 보청기에 입력되는 소리 중 난청인이 듣고자 하는 소리가 더 잘 들리도록 보청기를 제어하는 기술이 요구된다.
일 측에 따른 청각 기기는 소리 정보를 입력 받는 입력부; 생활 패턴에 따른 소리 환경 카테고리 세트를 이용하여 상기 소리 정보의 카테고리를 분류하는 분류부; 및 상기 소리 정보의 카테고리에 기초하여 상기 소리 정보의 출력을 제어하는 제어부를 포함한다.
이 때, 상기 소리 환경 카테고리 세트는 상기 생활 패턴에 포함된 복수의 패턴 원소들 중 환경 정보에 기초하여 선택된 어느 하나의 패턴 원소에 대응할 수 있다.
또한, 상기 분류부는 상기 소리 정보의 카테고리를 분류하기 위하여, 상기 소리 정보로부터 소리 특징을 추출하고, 상기 소리 특징을 상기 소리 환경 카테고리 세트에 포함된 복수의 소리 환경 카테고리들에 대응하는 복수의 소리 특징 지도들과 비교할 수 있다.
또한, 상기 분류부는 상기 소리 정보를 이용하여 상기 소리 환경 카테고리 세트에 포함된 복수의 소리 환경 카테고리들 중 어느 하나의 소리 환경 카테고리를 선택하고, 상기 제어부는 상기 선택된 소리 환경 카테고리에 대응하는 설정을 이용하여 상기 소리 정보의 출력을 제어할 수 있다.
또한, 상기 제어부는 상기 소리 정보의 카테고리에 기초하여 상기 소리 정보에 포함된 복수의 주파수 성분들 각각의 출력 이득을 조절할 수 있다.
또한, 상기 생활 패턴은 서로 다른 소리 환경 카테고리 세트들에 대응되는 복수의 패턴 원소들을 포함할 수 있다.
또한, 상기 청각 기기는 상기 청각 기기와 연동되는 외부 기기로부터 복수의 소리 환경 카테고리 세트들 중 상기 소리 환경 카테고리 세트를 수신하는 통신부를 더 포함할 수 있다.
또한, 상기 소리 환경 카테고리 세트는 상기 외부 기기에 의하여 센싱된 환경 정보에 기초하여 선택되고, 복수의 소리 특징 지도들에 대응하는 복수의 소리 환경 카테고리들을 포함할 수 있다.
또한, 상기 통신부는 상기 소리 환경 카테고리 세트를 업데이트 하기 위하여 상기 소리 정보로부터 추출된 소리 특징을 상기 외부 기기로 송신할 수 있다.
또한, 상기 환경 정보는 시간 정보, 위치 정보 및 이동 속도 정보 중 적어도 하나를 포함할 수 있다.
다른 일 측에 따른 청각 기기와 연동되는 외부 기기는 생활 패턴에 따른 복수의 소리 환경 카테고리 세트들을 저장하는 저장부; 환경 정보를 센싱하는 센싱부; 상기 환경 정보에 기초하여 상기 생활 패턴에 포함된 복수의 패턴 원소들 중 어느 하나의 패턴 원소를 선택하는 선택부; 및 상기 선택된 패턴 원소에 대응하는 소리 환경 카테고리 세트를 상기 청각 기기로 전송하는 통신부를 포함한다.
이 때, 상기 외부 기기는 상기 청각 기기로부터 수신되는 소리 특징을 이용하여 상기 소리 환경 카테고리 세트를 업데이트하는 업데이트부를 더 포함할 수 있다. 여기서, 상기 소리 특징은 상기 청각 기기에 의해 추출될 수 있다.
도 1은 일 실시예에 따른 청각 기기를 나타낸 블록도.
도 2는 일 실시예에 따른 소리 환경 카테고리 세트를 설명하기 위한 도면.
도 3은 일 실시예에 따른 생활 패턴을 설명하기 위한 도면.
도 4는 다른 실시예에 따른 생활 패턴을 설명하기 위한 도면.
도 5는 또 다른 실시예에 따른 생활 패턴을 설명하기 위한 도면.
도 6은 일 실시예에 따른 청각 기기와 연동하는 외부 기기를 나타낸 블록도.
도 7은 다른 실시예에 따른 청각 기기를 나타낸 블록도.
도 8은 일 실시예에 따른 생활 패턴 생성부를 나타낸 블록도.
도 9는 일 실시예에 따른 청각 기기를 제어하는 방법을 나타낸 동작 흐름도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 청각 기기를 나타낸 블록도이다. 청각 기기는 소리를 들려주는 장치로, 예를 들어 보청기(hearing aid) 등을 포함할 수 있다. 도 1을 참조하면, 일 실시예에 따른 청각 기기(100)는 입력부(110), 분류부(120) 및 제어부(130)를 포함한다. 입력부(110)는 소리 정보를 입력 받는다. 여기서, 소리 정보는 사람의 목소리, 음악 소리, 주변 소음 등을 모두 포함하는 포괄적인 개념이다. 입력부(110)는 소리 정보를 입력 받는 모듈로, 예를 들어 마이크 등을 포함할 수 있다.
분류부(120)는 소리 정보의 카테고리를 분류한다. 여기서, 소리 정보의 카테고리는 소리 정보를 분류하는 기준으로, 예를 들어 소리 정보는 스피치(speech) 카테고리, 뮤직(music) 카테고리, 노이즈(noise) 카테고리, 노이즈 플러스 스피치(Noise + Speech) 카테고리 등으로 분류될 수 있다. 스피치 카테고리는 사람의 목소리에 대응하는 소리 정보의 카테고리이고, 뮤직 카테고리는 음악 소리에 대응하는 소리 정보의 카테고리이며, 노이즈 카테고리는 주변 소음에 대응하는 소리 정보의 카테고리이고, 노이즈 플러스 스피치 카테고리는 주변 소음 속 사람의 목소리에 대응하는 소리 정보의 카테고리이다. 다만, 전술한 네 가지 카테고리들은 예시적인 사항에 불과하고, 실시예들에 따라서 다양하게 변형이 가능하다.
분류부(120)는 소리 환경 카테고리 세트를 이용하여 소리 정보의 카테고리를 분류할 수 있다. 여기서, 소리 환경 카테고리 세트는 소리 환경에 따른 복수의 카테고리들로 구성된다. 소리 환경은 소리 정보가 입력되는 환경으로, 예를 들어 도서관과 같이 아주 조용한 환경, 집 안과 같이 주변 소음이 적은 환경, 거리와 같이 주변 소음이 많은 환경, 콘서트 홀과 같이 아주 시끄러운 환경 등 다양한 환경이 존재할 수 있다. 또는, 차량 내부와 같이 엔진 소음이 존재하는 환경, 계곡과 같이 물소리가 들리는 환경 등 다양한 측면에서 서로 다른 환경이 정의될 수 있다.
소리 환경 카테고리 세트는 특정 소리 환경에서 입력되는 소리 정보를 분류하는 복수의 카테고리들을 포함할 수 있다. 일 예로, 제1 소리 환경 카테고리 세트는 도서관과 같이 아주 조용한 환경에서 입력되는 소리 정보를 분류하는 복수의 카테고리들을 포함할 수 있다. 이 경우, 제1 소리 환경 카테고리 세트는 스피치 카테고리, 뮤직 카테고리, 노이즈 카테고리, 및 노이즈 플러스 스피치 카테고리를 포함할 수 있다. 분류부(120)는 제1 소리 환경 카테고리 세트를 이용하여 아주 조용한 환경에서 입력되는 소리 정보를 스피치 카테고리, 뮤직 카테고리, 노이즈 카테고리, 및 노이즈 플러스 스피치 카테고리 중 어느 하나로 분류할 수 있다. 만약 아주 조용한 환경에서 다른 사람과 이야기를 하는 경우 분류부(120)는 소리 정보를 제1 소리 환경 카테고리 세트의 스피치 카테고리로 분류할 수 있다. 또는, 아주 조용한 환경에서 음악을 듣는 경우 분류부(120)는 소리 정보를 제1 소리 환경 카테고리 세트의 뮤직 카테고리로 분류할 수 있다. 또는, 도서관과 같이 아주 조용한 환경에서 의자를 끄는 소리와 같이 주변 소음이 발생되는 경우 분류부(120)는 소리 정보를 제1 소리 환경 카테고리 세트의 노이즈 카테고리로 분류할 수 있다. 또는, 아주 조용한 환경에서 주변 소음이 발생되는 도중 다른 사람과 이야기를 하는 경우 분류부(120)는 소리 정보를 제1 소리 환경 카테고리 세트의 노이즈 플러스 스피치 카테고리로 분류할 수 있다.
다른 예로, 제2 소리 환경 카테고리 세트는 거리와 같이 주변 소음이 많은 환경에서 입력되는 소리 정보를 분류하는 복수의 카테고리들을 포함할 수 있다. 이 경우, 제2 소리 환경 카테고리 세트는 스피치 카테고리, 뮤직 카테고리, 노이즈 카테고리, 및 노이즈 플러스 스피치 카테고리를 포함할 수 있다. 분류부(120)는 제2 소리 환경 카테고리 세트를 이용하여 주변 소음이 많은 환경에서 입력되는 소리 정보를 스피치 카테고리, 뮤직 카테고리, 노이즈 카테고리, 및 노이즈 플러스 스피치 카테고리 중 어느 하나로 분류할 수 있다. 주변 소음이 많은 환경이라고 항상 주변 소음이 발생되는 것은 아니다. 주변 소음이 많은 환경은 주변 소음이 발생될 가능성이 높은 환경으로 이해될 수 있다. 가령 공사장과 같이 주변 소음이 많은 환경이나 소음을 발생시키는 기계가 잠시 쉬는 동안에는 주변 소음이 발생되지 않을 수도 있다. 이렇게 주변 소음이 많은 환경이나 잠시 주변 소음이 발생되지 않는 타이밍에 다른 사람과 이야기를 하는 경우 분류부(120)는 소리 정보를 제2 소리 환경 카테고리 세트의 스피치 카테고리로 분류할 수 있다. 또는, 주변 소음이 많은 환경에서 음악을 듣는 경우 분류부(120)는 소리 정보를 제2 소리 환경 카테고리 세트의 뮤직 카테고리로 분류할 수 있다. 또는, 주변 소음이 많은 환경에서 주변 소음이 발생되는 경우 분류부(120)는 소리 정보를 제2 소리 환경 카테고리 세트의 노이즈 카테고리로 분류할 수 있다. 또는, 주변 소음이 많은 환경에서 주변 소음이 발생되는 도중 다른 사람과 이야기를 하는 경우 분류부(120)는 소리 정보를 제2 소리 환경 카테고리 세트의 노이즈 플러스 스피치 카테고리로 분류할 수 있다.
또 다른 예로, 제3 소리 환경 카테고리 세트는 운행 중인 차량 내부와 같이 기본적으로 엔진 소음이 존재하는 환경에서 입력되는 소리 정보를 분류하는 복수의 카테고리들을 포함할 수 있다. 이 경우, 제3 소리 환경 카테고리 세트는 스피치 카테고리, 뮤직 카테고리, 노이즈 카테고리, 및 노이즈 플러스 스피치 카테고리를 포함할 수 있다. 분류부(120)는 제3 소리 환경 카테고리 세트를 이용하여 엔진 소음이 존재하는 환경에서 입력되는 소리 정보를 스피치 카테고리, 뮤직 카테고리, 노이즈 카테고리, 및 노이즈 플러스 스피치 카테고리 중 어느 하나로 분류할 수 있다. 만약 엔진 소음이 존재하는 환경에서 다른 사람과 이야기를 하는 경우 분류부(120)는 소리 정보를 제3 소리 환경 카테고리 세트의 스피치 카테고리로 분류할 수 있다. 또는, 엔진 소음이 존재하는 환경에서 음악을 듣는 경우 분류부(120)는 소리 정보를 제3 소리 환경 카테고리 세트의 뮤직 카테고리로 분류할 수 있다. 또는, 엔진 소음이 존재하는 환경에서 사람의 목소리나 음악 소리 없이 엔진 소음을 포함한 주변 소음만 존재하는 경우 분류부(120)는 소리 정보를 제3 소리 환경 카테고리 세트의 노이즈 카테고리로 분류할 수 있다. 또는, 엔진 소음이 존재하는 환경에서 기본적인 엔진 소음 이외에 다른 주변 소음과 함께 사람의 목소리가 들리는 경우 분류부(120)는 소리 정보를 제3 소리 환경 카테고리 세트의 노이즈 플러스 스피치 카테고리로 분류할 수 있다.
소리 환경 카테고리 세트에 포함되는 복수의 카테고리들은 복수의 소리 특징 지도들과 대응될 수 있다. 분류부(120)는 복수의 소리 특징 지도들을 이용하여 소리 정보를 분류할 수 있다. 소리 환경 카테고리 세트와 관련된 보다 상세한 설명은 도 2를 참조하여 후술한다.
분류부(120)는 소리 정보의 카테고리를 분류하기 위하여, 생활 패턴에 따른 복수의 소리 환경 카테고리 세트들을 이용할 수 있다. 보다 구체적으로, 분류부(120)는 복수의 소리 환경 카테고리 세트들 중 생활 패턴에 기반하여 선택된 소리 환경 카테고리 세트를 이용할 수 있다. 일상 생활 중에 소리 환경은 생활 패턴에 따라 변할 수 있다. 일 예로, 청각 기기(100)의 사용자는 아침에 일어나서 출근하기 전까지는 집 안에 있을 것이므로, 분류부(120)는 집 안의 소리 환경에 대응하는 소리 환경 카테고리 세트를 이용할 수 있다. 이 경우, 분류부(120)는 소리 정보를 집 안의 소리 환경에 대응하는 소리 환경 카테고리 세트에 포함되는 스피치 카테고리, 뮤직 카테고리, 노이즈 카테고리, 및 노이즈 플러스 스피치 카테고리 중 어느 하나로 분류할 수 있다. 다른 예로, 근무 시간 중 사용자는 회사에 있을 것이므로, 분류부(120)는 회사의 소리 환경에 대응하는 소리 환경 카테고리 세트를 이용할 수 있다. 이 경우, 분류부(120)는 소리 정보를 회사의 소리 환경에 대응하는 소리 환경 카테고리 세트에 포함되는 스피치 카테고리, 뮤직 카테고리, 노이즈 카테고리, 및 노이즈 플러스 스피치 카테고리 중 어느 하나로 분류할 수 있다. 또 다른 예로, 출퇴근 시간 중 사용자는 지하철 내부 또는 차량 내부에 있을 수 있다. 분류부(120)는 지하철 내부 또는 차량 내부의 소리 환경에 대응하는 소리 환경 카테고리 세트를 이용할 수 있다. 이 경우, 분류부(120)는 소리 정보를 지하철 내부 또는 차량 내부의 소리 환경에 대응하는 소리 환경 카테고리 세트에 포함되는 스피치 카테고리, 뮤직 카테고리, 노이즈 카테고리, 및 노이즈 플러스 스피치 카테고리 중 어느 하나로 분류할 수 있다.
실시예들에 따른 청각 기기는 일상 생활 중 소음 환경의 변화는 생활 패턴과 밀접한 상관 관계가 있는 점을 이용하여, 소리 정보의 카테고리를 분류하는 정확도를 향상시키는 기술을 제공할 수 있다.
제어부(130)는 소리 정보의 카테고리에 기초하여 소리 정보의 출력을 제어한다. 보다 구체적으로, 제어부(130)는 소리 정보가 분류된 카테고리에 대응하는 설정을 이용하여 소리 정보의 출력을 제어할 수 있다. 일 예로, 소리 정보가 운행 중인 차량 내부와 같이 기본적으로 엔진 소음이 존재하는 환경에 대응하는 소리 환경 카테고리 세트의 스피치 카테고리로 분류되는 경우, 제어부(130)는 엔진 소음을 감쇄시키고 사람의 목소리를 증폭시키는 설정을 이용하여 소리 정보의 출력을 제어할 수 있다. 또는, 기본적으로 엔진 소음이 존재하는 환경에 대응하는 소리 환경 카테고리 세트의 뮤직 카테고리로 분류되는 경우, 제어부(130)는 엔진 소음을 감쇄시키고 음악 소리를 증폭시키는 설정을 이용하여 소리 정보의 출력을 제어할 수 있다. 또는, 기본적으로 엔진 소음이 존재하는 환경에 대응하는 소리 환경 카테고리 세트의 노이즈 카테고리로 분류되는 경우, 제어부(130)는 엔진 소음 및 주변 소음을 감쇄시키는 설정을 이용하여 소리 정보의 출력을 제어할 수 있다. 또는, 기본적으로 엔진 소음이 존재하는 환경에 대응하는 소리 환경 카테고리 세트의 노이즈 플러스 스피치 카테고리로 분류되는 경우, 제어부(130)는 엔진 소음 및 주변 소음을 감쇄시키고 사람의 목소리를 증폭시키는 설정을 이용하여 소리 정보의 출력을 제어할 수 있다.
다른 예로, 소리 정보가 도서관과 같이 아주 조용한 환경에 대응하는 소리 환경 카테고리 세트의 스피치 카테고리로 분류되는 경우, 제어부(130)는 주변 소음을 특별히 고려하지 않으면서 사람의 목소리를 증폭시키는 설정을 이용하여 소리 정보의 출력을 제어할 수 있다. 또는, 아주 조용한 환경에 대응하는 소리 환경 카테고리 세트의 뮤직 카테고리로 분류되는 경우, 제어부(130)는 주변 소음을 특별히 고려하지 않으면서 음악 소리를 증폭시키는 설정을 이용하여 소리 정보의 출력을 제어할 수 있다. 또는, 아주 조용한 환경에 대응하는 소리 환경 카테고리 세트의 노이즈 카테고리로 분류되는 경우, 제어부(130)는 주변 소음을 감쇄시키는 설정을 이용하여 소리 정보의 출력을 제어할 수 있다. 또는, 아주 조용한 환경에 대응하는 소리 환경 카테고리 세트의 노이즈 플러스 스피치 카테고리로 분류되는 경우, 제어부(130)는 주변 소음을 감쇄시키고 사람의 목소리를 증폭시키는 설정을 이용하여 소리 정보의 출력을 제어할 수 있다.
청각 기기(100)는 출력 이득 조절부(140)를 더 포함할 수 있다. 출력 이득 조절부(140)는 입력부(110)에 의해 입력된 소리 정보의 출력 이득을 조절할 수 있다. 예를 들어, 출력 이득 조절부(140)는 소리 정보를 증폭하거나 감쇄할 수 있다. 소리 정보는 다양한 주파수 성분들을 포함할 수 있으며, 출력 이득 조절부(140)는 소리 정보에 포함된 복수의 주파수 성분들 각각의 출력 이득을 제어할 수 있다. 예를 들어, 출력 이득 조절부(140)는 소리 정보에 포함된 제1 주파수 성분은 감쇄시키면서, 소리 정보에 포함된 제2 주파수 성분은 증폭시킬 수 있다.
출력 이득 조절부(140)는 제어부(130)의 제어에 따라 소리 정보의 출력 이득을 조절할 수 있다. 제어부(130)는 소리 정보의 카테고리에 기초하여 출력 이득 조절부(140)를 제어할 수 있다. 제어부(130)는 소리 정보의 카테고리에 대응하는 설정에 따라 출력 이득 조절부(140)를 제어할 수 있다. 예를 들어, 소리 정보가 차량 내부의 소리 환경에 해당하는 소리 환경 카테고리 세트 중 뮤직 카테고리로 분류되는 경우, 제어부(130)는 소리 정보에 포함된 복수의 주파수 성분들 중 엔진 소음에 해당하는 주파수 성분을 감쇄시키고, 소리 정보에 포함된 복수의 주파수 성분들 중 음악 소리에 해당하는 주파수 성분을 증폭시킬 수 있다.
도 2는 일 실시예에 따른 소리 환경 카테고리 세트를 설명하기 위한 도면이다. 도 2를 참조하면, 일 실시예에 따른 소리 환경 카테고리 세트(200)는 스피치 카테고리(210), 뮤직 카테고리(220), 노이즈 카테고리(230), 및 노이즈 플러스 스피치 카테고리(240)를 포함한다. 도 1을 참조하여 설명한 바와 같이, 소리 환경 카테고리 세트(200)는 특정 소리 환경에서 소리 정보를 분류하는 복수의 소리 환경 카테고리들을 포함한다. 도 2는 복수의 소리 환경 카테고리들의 일 예로, 스피치 카테고리(210), 뮤직 카테고리(220), 노이즈 카테고리(230), 및 노이즈 플러스 스피치 카테고리(240)가 이용되는 경우를 도시한 도면이다.
소리 환경 카테고리 세트(200)에 포함된 복수의 소리 환경 카테고리들은 소리 특징 지도들에 대응된다. 예를 들어, 스피치 카테고리(210)는 제1 소리 특징 지도(215)에 대응되고, 뮤직 카테고리(220)는 제2 소리 특징 지도(도면 미표시)에 대응되며, 노이즈 카테고리(230)는 제3 소리 특징 지도(도면 미표시)에 대응되고, 노이즈 플러스 스피치 카테고리(240)는 제4 소리 특징 지도(245)에 대응될 수 있다. 여기서, 소리 특징 지도는 복수의 소리 특징들을 이용하여 소리 환경 카테고리의 특징을 나타내는 데이터이다.
소리 특징은 소리 정보의 특징(feature)으로, 예를 들어 Mel-frequency cepstrum coefficient(MFCC), relative-band power, spectral roll-off, spectral centroid, zero-cross rate 등이 이용될 수 있다. MFCC는 소리의 단기 전력 스펙트럼(short-term power spectrum)을 나타내는 계수로, 음성 어음의 개수를 자동으로 인식하거나 목소리를 식별하거나 유사 음악을 검색하는 응용 등에 이용되는 소리 특징이다. Relative-band power는 전체 소리의 전력 대비 특정 소리의 상대적인 전력의 크기를 나타내는 소리 특징이다. Spectral roll-off는 소리 스펙트럼 상에서 곡선 아래의 면적이 임계 면적에 도달하는 roll-off 주파수를 나타내는 소리 특징이다. Spectral centroid는 소리 스펙트럼 상에서 곡선 아래 면적의 무게 중심을 나타내는 소리 특징이다. Zero-crossing rate는 소리가 0으로 수렴하는 속도를 나타내는 소리 특징이다.
일 예로, 소리 환경 카테고리 세트(200)가 공원의 소리 환경에 대응하는 경우, 스피치 카테고리(210)는 공원의 소리 환경에서 사람의 목소리를 구분하는 기준이 될 수 있다. 스피치 카테고리(210)에 대응하는 제1 소리 특징 지도(215)는 공원의 소리 환경에서 입력되는 사람의 목소리의 소리 특징들을 지시하는 기준 데이터일 수 있다. 예를 들어, 공원의 소리 환경에서 입력되는 사람의 목소리의 MFCC의 분포와 공원의 소리 환경에서 입력되는 사람의 목소리의 spectral roll-off의 분포가 사전에 알려져 있다면, 공원의 소리 환경에서 입력되는 사람의 목소리를 구분하기 위한 2차원 소리 특징 지도가 미리 생성될 수 있다. 이 경우, 제1 소리 특징 지도(215)의 x축에 해당하는 제1 소리 특징(f1)은 MFCC이고, 제1 소리 특징 지도(215)의 y축에 해당하는 제2 소리 특징(f2)은 spectral roll-off일 수 있다.
제1 소리 특징 지도(215)는 소리 특징의 분포가 밀집된 정도에 따라 등고선의 형태로 표현될 수 있다. 예를 들어, 소리 특징의 분포가 밀집된 위치는 등고선의 높이가 높게 표현되고, 소리 특징의 분포가 산개된 위치는 등고선의 높이가 낮게 표현될 수 있다. 도 1의 분류부(120)는 입력되는 소리 정보의 MFCC와 spectral roll-off를 추출하고, 제1 소리 특징 지도(215)에 기초하여 추출된 MFCC와 추출된 spectral roll-off에 의하여 지시되는 위치의 등고선의 높이를 획득할 수 있다.
노이즈 플러스 스피치 카테고리(240)에 대응하는 제4 소리 특징 지도(245)는 공원의 소리 환경에서 주변 소음이 발생되는 도중 입력되는 사람의 목소리의 소리 특징들을 지시하는 기준 데이터일 수 있다. 예를 들어, 공원의 소리 환경에서 주변 소음이 발생되는 도중 입력되는 사람의 목소리의 MFCC의 분포와 공원의 소리 환경에서 주변 소음이 발생되는 도중 입력되는 사람의 목소리의 spectral roll-off의 분포가 사전에 알려져 있다면, 공원의 소리 환경에서 주변 소음이 발생되는 도중 입력되는 사람의 목소리를 구분하기 위한 2차원 소리 특징 지도가 미리 생성될 수 있다. 이 경우, 제4 소리 특징 지도(245)의 x축에 해당하는 제1 소리 특징(f1)은 MFCC이고, 제4 소리 특징 지도(245)의 y축에 해당하는 제2 소리 특징(f2)은 spectral roll-off일 수 있다.
제1 소리 특징 지도(215)와 마찬가지로, 제4 소리 특징 지도(245)는 소리 특징의 분포가 밀집된 정도에 따라 등고선의 형태로 표현될 수 있다. 도 1의 분류부(120)는 입력되는 소리 정보의 MFCC와 spectral roll-off를 추출하고, 제4 소리 특징 지도(245)에 기초하여 추출된 MFCC와 추출된 spectral roll-off에 의하여 지시되는 위치의 등고선의 높이를 획득할 수 있다.
도 1의 분류부(120)는 제1 소리 특징 지도(215)로부터 얻은 등고선의 높이와 제4 소리 특징 지도(245)에 기초하여 얻은 등고선의 높이를 비교할 수 있다. 도 1의 분류부(120)는 비교 결과, 더 높은 등고선의 높이를 출력하는 소리 특징 지도를 선택할 수 있다. 도 1의 분류부(120)는 선택된 소리 특징 지도에 대응하는 소리 환경 카테고리를 선택할 수 있다. 예를 들어, 입력되는 소리 정보의 제1 소리 특징(f1)이 x좌표(217, 247)을 지시하고, 입력되는 소리 정보의 제2 소리 특징(f2)이 y좌표(218, 248)을 지시하는 경우, 입력되는 소리 정보는 제1 소리 특징 지도(215)에서 위치(216)를 가리키고 제2 소리 특징 지도(245)에서 위치(246)를 가리킬 수 있다. 이 경우, 위치(216)의 높이가 위치(246)보다 높으므로, 도 1의 분류부(120)는 스피치 카테고리(210)를 선택할 수 있다.
이상에서, 설명의 편의를 위하여 소리 특징 지도들이 두 개의 소리 특징들을 이용하는 경우를 예로 들어 설명하였으나, 실시예들은 세 개 이상의 소리 특징들을 이용하는 소리 특징 지도들로 확장될 수 있다. 세 개 이상의 소리 특징들이 이용되는 경우, 3차원 이상의 소리 특징 지도들이 생성될 수 있다. 3차원 이상의 소리 특징 지도들을 통하여, 2차원 소리 특징 지도로부터 얻을 수 있는 등고선의 높이와 실질적으로 동일한 의미의 높이가 계산될 수 있다. 다시 말해, 3차원 이상의 소리 특징 지도들에서 세 개 이상의 소리 특징들의 분포가 밀집되는 위치일수록 높이가 높게 계산되고, 3차원 이상의 소리 특징 지도들에서 세 개 이상의 소리 특징들의 분포가 산개되는 위치일수록 높이가 낮게 계산될 수 있다.
도 3은 일 실시예에 따른 생활 패턴을 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 생활 패턴(300)은 시간으로 구분되는 복수의 패턴 원소들(310, 320, 330, 340, 350)을 포함할 수 있다. 패턴 원소(310)은 오전 9시에 대응하는 생활 패턴이고, 패턴 원소(320)은 오전 10시에 대응하는 생활 패턴이며, 패턴 원소(330)은 오후 12시에 대응하는 생활 패턴이고, 패턴 원소(340)은 오후 1시에 대응하는 생활 패턴이며, 패턴 원소(350)은 오후 7시에 대응하는 생활 패턴이다. 전술한 패턴 원소들은 생활 패턴의 시작 시간으로 구분되나, 실시예들은 패턴 원소들이 시간 구간으로 구분되는 등으로 다양하게 변형될 수 있다.
생활 패턴(300)에 포함되는 복수의 패턴 원소들(310, 320, 330, 340, 350)은 복수의 소리 환경 카테고리 세트들(360, 370, 380)에 대응된다. 예를 들어, 패턴 원소(310)과 패턴 원소(350)은 집의 소리 환경에 해당하는 소리 환경 카테고리 세트(360)에 대응될 수 있다. 또한, 패턴 원소(320)과 패턴 원소(340)은 회사의 소리 환경에 해당하는 소리 환경 카테고리 세트(370)에 대응될 수 있다. 또한, 패턴 원소(330)은 식당의 소리 환경에 해당하는 소리 환경 카테고리 세트(380)에 대응될 수 있다.
도 6 및 도 7을 참조하여 후술하겠으나, 청각 기기에서 소리 정보를 분류하기 위해 이용되는 소리 환경 카테고리 세트는 생활 패턴(300)에 기초하여 결정될 수 있다. 보다 구체적으로, 환경 정보에 기초하여 생활 패턴(300)에 포함된 복수의 패턴 원소들 중 어느 하나의 패턴 원소가 선택되고, 청각 기기에서 소리 정보를 분류하기 위해 이용되는 소리 환경 카테고리 세트는 선택된 패턴 원소에 대응하는 소리 환경 카테고리 세트로 결정될 수 있다. 여기서, 환경 정보는 청각 기기 사용자의 주변 환경과 관련된 정보로, 예를 들어 시간, 위치, 이동 속도 등을 포함할 수 있다. 일 예로, 환경 정보에 포함된 시간이 오전 9시를 지시하는 경우, 도 1의 분류부(120)는 패턴 원소(310)에 대응하는 소리 환경 카테고리 세트(360)를 이용하여 소리 정보를 분류할 수 있다. 다른 예로, 환경 정보에 포함된 시간이 오후 12시를 지시하는 경우, 도 1의 분류부(120)는 패턴 원소(330)에 대응하는 소리 환경 카테고리 세트(380)를 이용하여 소리 정보를 분류할 수 있다.
도 4는 다른 실시예에 따른 생활 패턴을 설명하기 위한 도면이다. 도 4를 참조하면, 다른 실시예에 따른 생활 패턴(400)은 시간(410) 및 위치(420)로 구분되는 복수의 패턴 원소들(431, 432, 433, 434, 435, 441, 442, 443, 444, 445)을 포함할 수 있다. 패턴 원소(431)은 {오전 9시, 집}에 대응하는 생활 패턴이고, 패턴 원소(432)은 {오전 10시, 회사}에 대응하는 생활 패턴이며, 패턴 원소(433)은 {오후 12시, 식당}에 대응하는 생활 패턴이고, 패턴 원소(434)은 {오후 1시, 회사}에 대응하는 생활 패턴이며, 패턴 원소(435)은 {오후 7시, 집}에 대응하는 생활 패턴이다. 또한, 패턴 원소(441)은 {오전 9시, 지하철}에 대응하는 생활 패턴이고, 패턴 원소(442)은 {오전 10시, 학교}에 대응하는 생활 패턴이며, 패턴 원소(443)은 {오후 12시, 공원}에 대응하는 생활 패턴이고, 패턴 원소(444)은 {오후 1시, 차량}에 대응하는 생활 패턴이며, 패턴 원소(445)은 {오후 7시, 콘서트 홀}에 대응하는 생활 패턴이다.
생활 패턴(400)에 포함되는 복수의 패턴 원소들(431, 432, 433, 434, 435, 441, 442, 443, 444, 445)은 복수의 소리 환경 카테고리 세트들(도면 미표시)에 대응된다. 예를 들어, 패턴 원소(431)과 패턴 원소(435)은 집의 소리 환경에 해당하는 소리 환경 카테고리 세트에 대응될 수 있다. 또한, 패턴 원소(432)과 패턴 원소(434)은 회사의 소리 환경에 해당하는 소리 환경 카테고리 세트에 대응될 수 있다. 또한, 패턴 원소(433)은 식당의 소리 환경에 해당하는 소리 환경 카테고리 세트에 대응될 수 있다. 또한, 패턴 원소(441)은 지하철의 소리 환경에 해당하는 소리 환경 카테고리 세트에 대응되고, 패턴 원소(442)은 학교의 소리 환경에 해당하는 소리 환경 카테고리 세트에 대응되며, 패턴 원소(443)은 공원의 소리 환경에 해당하는 소리 환경 카테고리 세트에 대응되고, 패턴 원소(444)은 차량의 소리 환경에 해당하는 소리 환경 카테고리 세트에 대응되며, 패턴 원소(445)은 콘서트 홀의 소리 환경에 해당하는 소리 환경 카테고리 세트에 대응될 수 있다.
도 6 및 도 7을 참조하여 후술하겠으나, 청각 기기에서 소리 정보를 분류하기 위해 이용되는 소리 환경 카테고리 세트는 생활 패턴(400)에 기초하여 결정될 수 있다. 보다 구체적으로, 환경 정보에 기초하여 생활 패턴(400)에 포함된 복수의 패턴 원소들 중 어느 하나의 패턴 원소가 선택되고, 청각 기기에서 소리 정보를 분류하기 위해 이용되는 소리 환경 카테고리 세트는 선택된 패턴 원소에 대응하는 소리 환경 카테고리 세트로 결정될 수 있다. 이 경우, 도 3의 생활 패턴(300)과 달리 환경 정보에 포함된 시간뿐 아니라 위치도 이용될 수 있다.
일 예로, 환경 정보에 포함된 시간이 오전 9시를 지시하고 환경 정보에 포함된 위치가 집을 지시하는 경우, 도 1의 분류부(120)는 패턴 원소(431)에 대응하는 소리 환경 카테고리 세트를 이용하여 소리 정보를 분류할 수 있다. 반면, 환경 정보에 포함된 시간이 오전 9시를 지시하고 환경 정보에 포함된 위치가 지하철을 지시하는 경우, 도 1의 분류부(120)는 패턴 원소(441)에 대응하는 소리 환경 카테고리 세트를 이용하여 소리 정보를 분류할 수 있다. 다른 예로, 환경 정보에 포함된 시간이 오후 12시를 지시하고 환경 정보에 포함된 위치가 식당을 지시하는 경우, 도 1의 분류부(120)는 패턴 원소(433)에 대응하는 소리 환경 카테고리 세트를 이용하여 소리 정보를 분류할 수 있다. 반면, 환경 정보에 포함된 시간이 오후 12시를 지시하고 환경 정보에 포함된 위치가 공원을 지시하는 경우, 도 1의 분류부(120)는 패턴 원소(443)에 대응하는 소리 환경 카테고리 세트를 이용하여 소리 정보를 분류할 수 있다.
환경 정보에 포함된 위치는 집, 회사, 식당 등을 직접적으로 지시하지 않을 수 있다. 예를 들어, 환경 정보에 포함된 위치는 GPS 좌표일 수 있다. 이 경우, 환경 정보에 포함된 GPS 좌표는 지도 데이터 등을 통하여 간접적으로 집, 회사, 식당 등을 지시할 수 있다. 또한, 경우에 따라서 생활 패턴(400)의 y축은 위치(420)가 아닌 이동 속도에 의하여 구별될 수 있다. 예를 들어, 패턴 원소(441)은 {오전 9시, 지하철}에 대응하는 생활 패턴으로 도시되었으나, {오전 9시, 35km/h}에 대응하는 생활 패턴으로 다른 패턴 원소들과 구별될 수 있다. 이 경우, 환경 정보에 포함된 시간이 오전 9시를 지시하고 환경 정보에 포함된 이동 속도가 35km/h를 지시할 때, 도 1의 분류부(120)는 패턴 원소(441)에 대응하는 소리 환경 카테고리 세트를 이용하여 소리 정보를 분류할 수 있다.
도 5는 또 다른 실시예에 따른 생활 패턴을 설명하기 위한 도면이다. 도 5를 참조하면, 일 실시예에 따른 실시예에 따른 생활 패턴(500)은 시간(510), 위치(520), 및 이동 속도(530)으로 구분되는 복수의 패턴 원소들(542, 543)을 포함할 수 있다. 보다 구체적으로, 패턴 원소(541)은 도 4의 패턴 원소(431)에 대응될 수 있다. 도 5에서 패턴 원소(541)은 이동 속도(530)에 의하여 패턴 원소(542) 및 패턴 원소(543)으로 세분화될 수 있다. 예를 들어, 청각 기기의 사용자는 오전 9시에 집에서 음악 감상을 하는 제1 생활 패턴과 오전 9시에 집에서 집안 청소를 하는 제2 생활 패턴을 모두 가질 수 있다.
이 경우, 패턴 원소(542)는 {오전 9시, 집, 이동 X}에 대응하는 생활 패턴이고, 패턴 원소(543)은 {오전 9시, 집, 이동 O}에 대응하는 생활 패턴일 수 있다. 패턴 원소(542)는 집 안에서 기본적으로 음악 소리가 들리는 소리 환경에 해당하는 소리 환경 카테고리 세트에 대응될 수 있다. 패턴 원소(543)은 집 안에서 기본적으로 청소기 소음이 존재하는 소리 환경에 해당하는 소리 환경 카테고리 세트에 대응될 수 있다.
도 6 및 도 7을 참조하여 후술하겠으나, 청각 기기에서 소리 정보를 분류하기 위해 이용되는 소리 환경 카테고리 세트는 생활 패턴(500)에 기초하여 결정될 수 있다. 보다 구체적으로, 환경 정보에 기초하여 생활 패턴(500)에 포함된 복수의 패턴 원소들 중 어느 하나의 패턴 원소가 선택되고, 청각 기기에서 소리 정보를 분류하기 위해 이용되는 소리 환경 카테고리 세트는 선택된 패턴 원소에 대응하는 소리 환경 카테고리 세트로 결정될 수 있다. 이 경우, 환경 정보에 포함된 시간, 위치뿐 아니라 이동 속도도 이용될 수 있다. 일 예로, 환경 정보에 포함된 시간이 오전 9시를 지시하고 환경 정보에 포함된 위치가 집을 지시하며 환경 정보에 포함된 이동 속도가 0에 가까운 값을 지시하는 경우, 도 1의 분류부(120)는 패턴 원소(542)에 대응하는 소리 환경 카테고리 세트를 이용하여 소리 정보를 분류할 수 있다.
도 6은 일 실시예에 따른 청각 기기와 연동하는 외부 기기를 나타낸 블록도이다. 외부 기기는 청각 기기와 별도로 구비되는 장치로, 예를 들어 스마트 폰, 태블릿 컴퓨터, 웨어러블 장치(wearable device) 등 다양한 형태로 구현될 수 있다. 도 6을 참조하면, 일 실시예에 따른 외부 기기(600)는 센싱부(610), 선택부(620), 저장부(630), 및 통신부(640)를 포함한다.
센싱부(610)는 환경 정보를 센싱할 수 있다. 예를 들어, 센싱부(610)는 시간 정보를 센싱하는 타이머를 포함할 수 있다. 또는, 센싱부(610)는 위치 정보를 센싱하는 GPS 센서를 포함할 수 있다. 또는, 센싱부(610)는 이동 속도 정보를 센싱하는 속도 센서를 포함할 수 있다. 경우에 따라서, 센싱부(610)는 별도의 속도 센서를 포함하는 대신, GPS 센서의 위치 정보와 타이머의 시간 정보를 조합하여 속도 정보를 생성할 수 있다.
저장부(630)는 생활 패턴에 따른 복수의 소리 환경 카테고리 세트들을 저장한다. 예를 들어, 저장부(630)는 도 3의 생활 패턴(300)에 따른 복수의 소리 환경 카테고리 세트들(360, 370, 380)을 저장할 수 있다. 복수의 소리 환경 카테고리 세트들(360, 370, 380) 각각은 복수의 소리 환경 카테고리들(Speech, Music, Noise, Noise + Speech)을 포함한다. 도 2를 참조하면, 개별 소리 환경 카테고리(210, 220, 230, 240)는 소리 특징 지도(215, 245)에 대응된다.
선택부(620)는 환경 정보에 기초하여 생활 패턴에 포함된 복수의 패턴 원소들 중 어느 하나의 패턴 원소를 선택한다. 예를 들어, 선택부(620)는 환경 정보에 포함된 시간을 이용하여 도 3의 생활 패턴(300)에 포함된 복수의 패턴 원소들(310, 320, 330, 340, 350) 중 어느 하나의 패턴 원소를 선택할 수 있다.
통신부(640)는 선택된 패턴 원소에 대응하는 소리 환경 카테고리 세트를 청각 기기(100)로 전송한다. 예를 들어, 도 3의 생활 패턴(300)에서 패턴 원소(340)이 선택되는 경우, 통신부(640)는 패턴 원소(340)에 대응하는 소리 환경 카테고리 세트(370)를 청각 기기(100)로 전송한다. 통신부(640)는 소리 환경 카테고리 세트(370)의 스피치 카테고리에 대응하는 소리 특징 지도, 뮤직 카테고리에 대응하는 소리 특징 지도, 노이즈 카테고리에 대응하는 소리 특징 지도, 및 노이즈 플러스 스피치 카테고리에 대응하는 소리 특징 지도를 청각 기기(100)로 전송할 수 있다. 통신부(640)에는 블루투스, NFC(Near Field Communication), 적외선 통신, 와이파이 등 다양한 무선 통신 기법이 적용될 수 있다. 물론 통신부(640)에는 유선 통신 기법이 적용될 수도 있다.
청각 기기(100)는 통신부(150)를 더 포함할 수 있다. 통신부(150)는 외부 기기(600)로부터 전송된 소리 환경 카테고리 세트를 수신한다. 통신부(150)에는 외부 기기(600)의 통신부(640)에 적용된 기법들이 그대로 적용될 수 있다. 수신된 소리 환경 카테고리 세트는 분류부(120)에 제공될 수 있다. 분류부(120)는 수신된 소리 환경 카테고리 세트를 이용하여 입력부(110)에 의해 입력된 소리 정보의 카테고리를 분류할 수 있다. 분류부(120)는 입력된 소리 정보로부터 복수의 소리 특징들을 추출할 수 있다. 분류부(120)는 추출된 소리 특징들을 소리 환경 카테고리 세트에 포함된 복수의 카테고리들에 대응하는 복수의 소리 특징 지도들에 대입함으로써, 소리 정보의 카테고리를 분류할 수 있다. 분류부(120)는 추출된 소리 특징들을 복수의 소리 특징 지도들에 대입한 결과, 가장 높은 값을 출력하는 소리 특징 지도를 검출하고 검출된 소리 특징 지도에 대응하는 소리 환경 카테고리를 선택할 수 있다. 분류부(120)는 소리 정보를 선택된 소리 환경 카테고리로 분류할 수 있다. 제어부(130)는 분류된 소리 환경 카테고리에 기초하여 소리 정보의 출력을 제어할 수 있다.
통신부(150)는 소리 환경 카테고리 세트를 업데이트 하기 위하여 소리 정보로부터 추출된 복수의 소리 특징들을 외부 기기(600)로 전송할 수 있다. 외부 기기의 통신부(640)는 청각 기기(100)로부터 전송된 복수의 소리 특징들을 수신한 뒤, 수신된 복수의 소리 특징들을 업데이트부(650)로 제공할 수 있다. 업데이트부(650)는 수신된 복수의 소리 특징들을 이용하여 저장부(630)에 저장된 소리 환경 카테고리 세트를 업데이트 할 수 있다. 일 예로, 업데이트부(650)는 선택부(620)에 의해 선택된 패턴 원소에 대응하는 소리 환경 카테고리 세트를 업데이트 할 수 있다. 업데이트부(650)는 해당 소리 환경 카테고리 세트에 포함된 복수의 소리 환경 카테고리들 중 청각 기기(100)의 분류부(120)에 의하여 분류된 카테고리에 대응하는 소리 특징 지도를 업데이트 할 수 있다. 이 경우, 청각 기기(100)의 통신부(150)는 분류부(120)에 의하여 분류된 카테고리 정보를 외부 기기(600)로 전송할 수 있다.
도 7은 다른 실시예에 따른 청각 기기를 나타낸 블록도이다. 도 7을 참조하면, 다른 실시예에 따른 청각 기기(700)는 입력부(710), 분류부(720), 및 제어부(730)를 포함한다. 또한, 청각 기기(700)는 출력 이득 조절부(740)를 더 포함할 수 있다. 입력부(710), 분류부(720), 제어부(730), 및 출력 이득 조절부(740) 각각에는 도 1 내지 도 6을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
청각 기기(700)는 도 6의 청각 기기(100)와 달리 센싱부(750) 및 저장부(760)를 더 포함할 수 있다. 또한, 청각 기기(700)는 업데이트부(770)를 더 포함할 수 있다. 여기서, 분류부(720)는 도 6의 선택부(620)의 동작을 수행할 수 있다. 센싱부(750), 저장부(760), 및 업데이트부(770) 각각에는 도 1 내지 도 6을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 8은 일 실시예에 따른 생활 패턴 생성부를 나타낸 블록도이다. 도 8을 참조하면, 일 실시예에 따른 생활 패턴 생성부(800)는 생활 패턴을 생성할 수 있다. 예를 들어, 생활 패턴 생성부(800)는 도 3의 생활 패턴(300), 도 4의 생활 패턴(400), 또는 도 5의 생활 패턴(500)을 생성할 수 있다. 생활 패턴 생성부(800)는 청각 기기에 포함되거나, 청각 기기와 연동되는 외부 기기에 포함될 수 있다.
보다 구체적으로, 생활 패턴 생성부(800)는 사용자 입력부(830)를 포함한다. 사용자 입력부(830)는 사용자로 입력을 수신할 수 있다. 사용자는 사용자 입력부(830)를 통해 생활 패턴을 입력할 수 있다. 예를 들어, 사용자는 사용자 입력부(830)를 이용하여 자신의 일정을 입력할 수 있다. 이 경우, 생성부(840)는 사용자 입력부(830)로 수신되는 사용자 입력에 기초하여 생활 패턴을 생성할 수 있다. 예를 들어, 생성부(840)는 사용자가 입력한 일정을 이용하여 도 3의 생활 패턴(300), 도 4의 생활 패턴(400), 또는 도 5의 생활 패턴(500)을 생성할 수 있다. 생성부(840)는 생활 패턴에 포함되는 복수의 패턴 원소들을 생성할 수 있다.
생활 패턴 생성부(800)는 환경 특징 추출부(810)를 더 포함할 수 있다. 환경 특징 추출부(810)는 환경 정보로부터 환경 특징을 추출할 수 있다. 추출된 환경 특징은 생활 패턴에 포함된 복수의 패턴 원소들을 서로 구별하는 기준으로 이용될 수 있다. 이 경우, 생성부(840)는 환경 특징 추출부(810)에 의해 추출되는 환경 특징에 기초하여 생활 패턴을 생성할 수 있다. 예를 들어, 생성부(840)는 사용자 입력 없이도 도 3의 생활 패턴(300), 도 4의 생활 패턴(400), 또는 도 5의 생활 패턴(500)을 생성할 수 있다. 생성부(840)는 생활 패턴에 포함되는 복수의 패턴 원소들을 생성할 수 있다.
생활 패턴 생성부(800)는 소리 특징 수신부(820)를 더 포함할 수 있다. 소리 특징 수신부(820)는 도 1의 분류부(120)에 의해 추출되는 소리 특징을 수신할 수 있다. 생성부(840)는 소리 특징을 이용하여 다양한 소리 환경에 해당하는 복수의 소리 환경 카테고리 세트들을 생성할 수 있다. 보다 구체적으로, 생성부(840)는 특정 소리 환경에 해당하는 소리 환경 카테고리 세트를 생성할 수 있다. 생성부(840)는 생성된 소리 환경 카테고리 세트에 포함되는 복수의 소리 환경 카테고리들을 생성할 수 있다. 생성부(840)는 생성된 복수의 소리 환경 카테고리들에 대응하는 복수의 소리 특징 지도들을 생성할 수 있다. 생성부(840)는 생활 패턴에 포함되는 복수의 패턴 원소들 각각에 적절한 소리 환경 카테고리 세트를 매핑시킬 수 있다.
도 9는 일 실시예에 따른 청각 기기의 제어 방법을 나타낸 동작 흐름도이다. 도 9를 참조하면, 일 실시예에 따른 청각 기기의 제어 방법은 소리 정보를 입력 받는 단계(910), 소리 환경을 분류하는 단계(920), 및 소리 정보의 출력을 제어하는 단계(930)를 포함한다.
소리 정보를 입력 받는 단계(910)에는 도 1의 입력부(110)의 동작을 적용할 수 있고, 소리 환경을 분류하는 단계(920)에는 도 1의 분류부(120)의 동작을 적용할 수 있으며, 소리 정보의 출력을 제어하는 단계(930)에는 도 1의 제어부(130)의 동작을 적용할 수 있다. 또한, 도 9에 도시된 각 단계들에는 도 1 내지 도 8을 참조하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 소리 정보를 입력 받는 입력부;
    생활 패턴에 따른 소리 환경 카테고리 세트를 이용하여 상기 소리 정보의 카테고리를 분류하는 분류부; 및
    상기 소리 정보의 카테고리에 기초하여 상기 소리 정보의 출력을 제어하는 제어부
    를 포함하는 청각 기기.
  2. 제1항에 있어서,
    상기 소리 환경 카테고리 세트는
    상기 생활 패턴에 포함된 복수의 패턴 원소들 중 환경 정보에 기초하여 선택된 어느 하나의 패턴 원소에 대응하는, 청각 기기.
  3. 제1항에 있어서,
    상기 분류부는
    상기 소리 정보의 카테고리를 분류하기 위하여, 상기 소리 정보로부터 소리 특징을 추출하고, 상기 소리 특징을 상기 소리 환경 카테고리 세트에 포함된 복수의 소리 환경 카테고리들에 대응하는 복수의 소리 특징 지도들과 비교하는, 청각 기기.
  4. 제1항에 있어서,
    상기 분류부는
    상기 소리 정보를 이용하여 상기 소리 환경 카테고리 세트에 포함된 복수의 소리 환경 카테고리들 중 어느 하나의 소리 환경 카테고리를 선택하고,
    상기 제어부는
    상기 선택된 소리 환경 카테고리에 대응하는 설정을 이용하여 상기 소리 정보의 출력을 제어하는, 청각 기기.
  5. 제1항에 있어서,
    상기 제어부는
    상기 소리 정보의 카테고리에 기초하여 상기 소리 정보에 포함된 복수의 주파수 성분들 각각의 출력 이득을 조절하는, 청각 기기.
  6. 제1항에 있어서,
    상기 생활 패턴은
    서로 다른 소리 환경 카테고리 세트들에 대응되는 복수의 패턴 원소들을 포함하는, 청각 기기.
  7. 제1항에 있어서,
    상기 청각 기기와 연동되는 외부 기기로부터 복수의 소리 환경 카테고리 세트들 중 상기 소리 환경 카테고리 세트를 수신하는 통신부
    를 더 포함하는 청각 기기.
  8. 제7항에 있어서,
    상기 소리 환경 카테고리 세트는
    상기 외부 기기에 의하여 센싱된 환경 정보에 기초하여 선택되고, 복수의 소리 특징 지도들에 대응하는 복수의 소리 환경 카테고리들을 포함하는, 청각 기기.
  9. 제7항에 있어서,
    상기 통신부는
    상기 소리 환경 카테고리 세트를 업데이트 하기 위하여 상기 소리 정보로부터 추출된 소리 특징을 상기 외부 기기로 송신하는, 청각 기기.
  10. 제2항 또는 제8항에 있어서,
    상기 환경 정보는
    시간 정보, 위치 정보 및 이동 속도 정보 중 적어도 하나를 포함하는, 청각 기기.
  11. 청각 기기와 연동되는 외부 기기에 있어서,
    생활 패턴에 따른 복수의 소리 환경 카테고리 세트들을 저장하는 저장부;
    환경 정보를 센싱하는 센싱부;
    상기 환경 정보에 기초하여 상기 생활 패턴에 포함된 복수의 패턴 원소들 중 어느 하나의 패턴 원소를 선택하는 선택부; 및
    상기 선택된 패턴 원소에 대응하는 소리 환경 카테고리 세트를 상기 청각 기기로 전송하는 통신부
    를 포함하는 외부 기기.
  12. 제11항에 있어서,
    상기 생활 패턴은
    서로 다른 소리 환경 카테고리 세트들에 대응되는 복수의 패턴 원소들을 포함하는, 외부 기기.
  13. 제11항에 있어서,
    상기 소리 환경 카테고리 세트는
    복수의 소리 특징 지도들에 대응하는 복수의 소리 환경 카테고리들을 포함하는, 외부 기기.
  14. 제11항에 있어서,
    상기 청각 기기로부터 수신되는 소리 특징을 이용하여 상기 소리 환경 카테고리 세트를 업데이트하는 업데이트부
    를 더 포함하고,
    상기 소리 특징은 상기 청각 기기에 의해 추출되는, 외부 기기.
  15. 제11항에 있어서,
    상기 센싱부는
    시간 정보, 위치 정보 및 이동 속도 정보 중 적어도 하나를 센싱하는, 외부 기기.
KR1020130134123A 2013-11-06 2013-11-06 생활 패턴을 이용하는 청각 기기 및 외부 기기 KR102077264B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130134123A KR102077264B1 (ko) 2013-11-06 2013-11-06 생활 패턴을 이용하는 청각 기기 및 외부 기기
US14/293,005 US9668069B2 (en) 2013-11-06 2014-06-02 Hearing device and external device based on life pattern
PCT/KR2014/005679 WO2015068927A1 (en) 2013-11-06 2014-06-26 Hearing device and external device based on life pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130134123A KR102077264B1 (ko) 2013-11-06 2013-11-06 생활 패턴을 이용하는 청각 기기 및 외부 기기

Publications (2)

Publication Number Publication Date
KR20150052903A true KR20150052903A (ko) 2015-05-15
KR102077264B1 KR102077264B1 (ko) 2020-02-14

Family

ID=53007059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130134123A KR102077264B1 (ko) 2013-11-06 2013-11-06 생활 패턴을 이용하는 청각 기기 및 외부 기기

Country Status (3)

Country Link
US (1) US9668069B2 (ko)
KR (1) KR102077264B1 (ko)
WO (1) WO2015068927A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180125395A (ko) * 2017-05-15 2018-11-23 한국전기연구원 환경 분류 보청기 및 이를 이용한 환경 분류 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3036916B1 (en) 2013-08-20 2020-03-11 Widex A/S Hearing aid having a classifier
WO2015024586A1 (en) 2013-08-20 2015-02-26 Widex A/S Hearing aid having a classifier for classifying auditory environments and sharing settings
KR101728991B1 (ko) 2013-08-20 2017-04-20 와이덱스 에이/에스 적응성 분류기를 갖는 보청기
US9729963B2 (en) 2013-11-07 2017-08-08 Invensense, Inc. Multi-function pins for a programmable acoustic sensor
US9749736B2 (en) 2013-11-07 2017-08-29 Invensense, Inc. Signal processing for an acoustic sensor bi-directional communication channel
JP2015173369A (ja) * 2014-03-12 2015-10-01 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US20170270200A1 (en) * 2014-09-25 2017-09-21 Marty McGinley Apparatus and method for active acquisition of key information and providing related information
US20170055093A1 (en) * 2015-08-19 2017-02-23 Invensense, Inc. Dynamically programmable microphone
DK3267695T3 (en) * 2016-07-04 2019-02-25 Gn Hearing As AUTOMATED SCANNING OF HEARING PARAMETERS
US9886954B1 (en) * 2016-09-30 2018-02-06 Doppler Labs, Inc. Context aware hearing optimization engine
EP4311264A3 (en) * 2016-12-23 2024-04-10 GN Hearing A/S Hearing device with sound impulse suppression and related method
DE102017200599A1 (de) * 2017-01-16 2018-07-19 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
EP3833053A1 (de) * 2019-12-06 2021-06-09 Sivantos Pte. Ltd. Verfahren zum umgebungsabhängigen betrieb eines hörsystems
DE102020208720B4 (de) 2019-12-06 2023-10-05 Sivantos Pte. Ltd. Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems
US20230104683A1 (en) * 2020-01-27 2023-04-06 Starkey Laboratories, Inc. Using a camera for hearing device algorithm training
DE102022200810B3 (de) * 2022-01-25 2023-06-15 Sivantos Pte. Ltd. Verfahren für ein Hörsystem zur Anpassung einer Mehrzahl an Signalverarbeitungsparametern eines Hörinstrumentes des Hörsystems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100189293A1 (en) * 2007-06-28 2010-07-29 Panasonic Corporation Environment adaptive type hearing aid

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599499B2 (en) 2001-09-28 2009-10-06 Oticon A/S Method for fitting a hearing aid to the needs of a hearing aid user and assistive tool for use when fitting a hearing aid to a hearing aid user
DE102005006660B3 (de) 2005-02-14 2006-11-16 Siemens Audiologische Technik Gmbh Verfahren zum Einstellen eines Hörhilfsgeräts, Hörhilfsgerät und mobile Ansteuervorrichtung zur Einstellung eines Hörhilfsgeräts sowie Verfahren zur automatischen Einstellung
EP2071873B1 (en) 2007-12-11 2017-05-03 Bernafon AG A hearing aid system comprising a matched filter and a measurement method
US20100008515A1 (en) * 2008-07-10 2010-01-14 David Robert Fulton Multiple acoustic threat assessment system
JP4530109B1 (ja) 2009-05-25 2010-08-25 パナソニック株式会社 補聴器システム
JP2012083746A (ja) 2010-09-17 2012-04-26 Kinki Univ 音処理装置
US20130070928A1 (en) * 2011-09-21 2013-03-21 Daniel P. W. Ellis Methods, systems, and media for mobile audio event recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100189293A1 (en) * 2007-06-28 2010-07-29 Panasonic Corporation Environment adaptive type hearing aid

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180125395A (ko) * 2017-05-15 2018-11-23 한국전기연구원 환경 분류 보청기 및 이를 이용한 환경 분류 방법

Also Published As

Publication number Publication date
WO2015068927A1 (en) 2015-05-14
KR102077264B1 (ko) 2020-02-14
US20150124984A1 (en) 2015-05-07
US9668069B2 (en) 2017-05-30

Similar Documents

Publication Publication Date Title
KR102077264B1 (ko) 생활 패턴을 이용하는 청각 기기 및 외부 기기
US10972857B2 (en) Directional audio selection
US10915291B2 (en) User-interfaces for audio-augmented-reality
US11348581B2 (en) Multi-modal user interface
CN108601519B (zh) 个性化的实时音频处理
US10869154B2 (en) Location-based personal audio
US10142758B2 (en) System for and a method of generating sound
JP2021520141A (ja) マイクロフォンアレイ内のインテリジェントビームステアリング
US10929099B2 (en) Spatialized virtual personal assistant
US11343613B2 (en) Prioritizing delivery of location-based personal audio
US20160149547A1 (en) Automated audio adjustment
JP6911938B2 (ja) 装置及び方法
Diaconita et al. Do you hear what i hear? using acoustic probing to detect smartphone locations
US10217379B2 (en) Modifying vision-assist device parameters based on an environment classification
CN112673647B (zh) 用于配置分布式麦克风系统的方法和控制器
TWI840587B (zh) 多模態使用者介面
KR20230033624A (ko) 음향 공간에 기초한 음성 트리거

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right