KR102494080B1 - 전자 장치 및 전자 장치의 사운드 신호 보정 방법 - Google Patents

전자 장치 및 전자 장치의 사운드 신호 보정 방법 Download PDF

Info

Publication number
KR102494080B1
KR102494080B1 KR1020160068347A KR20160068347A KR102494080B1 KR 102494080 B1 KR102494080 B1 KR 102494080B1 KR 1020160068347 A KR1020160068347 A KR 1020160068347A KR 20160068347 A KR20160068347 A KR 20160068347A KR 102494080 B1 KR102494080 B1 KR 102494080B1
Authority
KR
South Korea
Prior art keywords
signal
sound signal
frequency band
frequency
sound
Prior art date
Application number
KR1020160068347A
Other languages
English (en)
Other versions
KR20170136362A (ko
Inventor
이재성
방경호
김규한
우주환
이남일
양현철
황호철
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020160068347A priority Critical patent/KR102494080B1/ko
Priority to US15/607,833 priority patent/US10097938B2/en
Publication of KR20170136362A publication Critical patent/KR20170136362A/ko
Application granted granted Critical
Publication of KR102494080B1 publication Critical patent/KR102494080B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/35—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using translation techniques
    • H04R25/353—Frequency, e.g. frequency shift or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/45—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
    • H04R25/453—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing

Abstract

본 발명의 다양한 실시예에 따른 전자 장치는, 사운드(sound)를 감지하여 제1사운드 신호로 변환하는 사운드 입력부; 기 사운드 입력부와 전기적으로 연결되며, 상기 제1사운드 신호를 수신하고 소정의 신호 처리를 수행하여 제2사운드 신호를 생성하는 프로세서를 포함하며, 상기 프로세서가 수행하는 신호 처리는, 상기 제1사운드 신호의 미리 정해진 컷 오프(cut-off) 주파수를 초과하는 제1주파수 대역에서 소정 이상의 레벨을 갖는 주파수 대역을 감지하는 동작; 상기 감지된 주파수 대역의 신호와 동일한 레벨을 갖는 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호를 생성하는 동작; 및 상기 하모닉 신호를 상기 제1사운드 신호에 중첩하는 동작을 포함할 수 있다.
그 외에 다양한 실시예들이 가능하다.

Description

전자 장치 및 전자 장치의 사운드 신호 보정 방법 {ELECTRONIC DEVICE AND METHOD FOR CORRECTING SOUND SIGNAL THEREOF}
본 실시예는 전자 장치에 관한 것이며, 예를 들어, 사운드 신호를 처리 및 출력할 수 있는 전자 장치 및 전자 장치의 사운드 신호 보정 방법에 관한 것이다.
최근 음향 기기의 사용, 노인 인구 비중의 증가, 및 소음 환경의 증대로 인하여 난청 인구가 증가하고 있다. 이러한 난청자(a person who has difficulty in hearing)들의 청력을 보완하기 위해 다양한 기능을 가진 전자 장치(예를 들어, 보청기(hearing aid)가 개발되고 있다.
일반적으로, 보청기를 통해 청력을 보완할 수 있는 난청자들은 특정 주파수 대역 또는 전체 주파수 대역에서의 사운드를 정확하게 감지하지 못한다. 보청기는 이를 보완하기 위해 입력되는 사운드를 특정 주파수 대역 또는 전체 주파수 대역에서 증폭하여 출력할 수 있다.
종래의 전자 장치(예를 들어, 보청기)는 고역 주파수 대역의 신호를 인지하지 못하는 사용자를 위해 고역 주파수 대역의 신호를 저역 주파수 대역으로 이동하여 출력할 수 있다. 이 경우, 사용자가 들을 수 없었던 고역 주파수 대역의 사운드를 일부 들을 수 있지만, 신호 파형의 변형으로 인해 실제 발생하는 사운드와 사용자가 인지하는 사운드에 차이가 발생할 수 있다.
본 발명의 다양한 실시예들은, 청력 장애를 갖는 사용자가 들을 수 없는 고주파수 대역의 신호를 디지털 신호 처리를 통해 보정하여 사용자가 인지할 수 있도록 함과 동시에 사운드의 변형을 최소화 함에 그 목적이 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 사운드(sound)를 감지하여 제1사운드 신호로 변환하는 사운드 입력부; 기 사운드 입력부와 전기적으로 연결되며, 상기 제1사운드 신호를 수신하고 소정의 신호 처리를 수행하여 제2사운드 신호를 생성하는 프로세서를 포함하며, 상기 프로세서가 수행하는 신호 처리는, 상기 제1사운드 신호의 미리 정해진 컷 오프(cut-off) 주파수를 초과하는 제1주파수 대역에서 소정 이상의 레벨을 갖는 주파수 대역을 감지하는 동작; 상기 감지된 주파수 대역의 신호와 동일한 레벨을 갖는 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호를 생성하는 동작; 및 상기 하모닉 신호를 상기 제1사운드 신호에 중첩하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 사운드 신호 보정 방법은, 제1사운드 신호를 생성하는 동작; 상기 제1사운드 신호에 대해 소정의 신호 처리를 수행하여 제2사운드 신호를 생성하는 동작을 포함하며, 상기 제2사운드 신호를 생성하는 동작은, 상기 제1사운드 신호의 미리 정해진 컷 오프(cut-off) 주파수를 초과하는 제1주파수 대역에서 소정 이상의 레벨을 갖는 성분을 감지하는 동작; 상기 감지된 주파수 대역의 신호와 동일한 레벨을 갖는 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호를 생성하는 동작; 및 상기 하모닉 신호를 상기 제1사운드 신호에 중첩하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 청력 장애를 갖는 사용자가 들을 수 없는 고주파수 대역의 신호를 디지털 신호 처리를 통해 보정하여 사용자가 인지할 수 있도록 함과 동시에 사운드의 변형을 최소화 할 수 있는 전자 장치와 전자 장치의 사운드 신호 보정 방법을 제공할 수 있다.
도 1a 및 1b는 사운드 신호의 일 예를 도시한 것이다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 3은 본 발명의 다양한 실시예에 따른 전자 장치의 보다 세부적인 블록도이다.
도 4a 및 4b는 본 발명의 다양한 실시예에 따라 마찰음 성분을 검출하는 방법을 설명하기 위한 것이다.
도 5a 내지 5d는 본 발명의 다양한 실시예에 따라 사운드 신호를 보정하는 방법을 설명하기 위한 것이다.
도 6a 내지 6c는 사운드 신호를 보정하는 비교예들을 설명하기 위한 것이다.
도 7 및 도 8은 본 발명의 다양한 실시예에 따른 사운드 신호 보정 방법의 흐름도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예:메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 보청기(hearing aid) 일 수 있다. 알려진 바와 같이, 보청기는 특정 주파수 대역 또는 전체 주파수 대역의 신호의 레벨을 증폭한 후 출력함으로써, 청력에 이상이 있는 사용자가 주변의 사운드를 인식하도록 할 수 있다. 이하에서 설명하는 본 발명의 다양한 실시예들은 보청기인 전자 장치에 의해 수행되거나, 스마트폰, 태블릿 PC 등 다양한 기능을 갖는 휴대용 전자 장치에 의해 그 기능이 수행될 수 있다. 또한, 본 발명이 다양한 실시예들이 구현되는 전자 장치에는 한정이 없으며, 사운드 신호에 대해 후술하는 신호 처리를 수행할 수 있는 전자 장치라면 본 발명에 따른 전자 장치로 구현될 수 있다.
본 명세서에서 제1사운드 신호는 전자 장치에 마련된 사운드 입력부에 의해 수집된 아날로그 사운드를 디지털 신호로 변환한 것이거나, 전자 장치에 저장된 또는 외부 장치로부터 수신되는 사운드 신호일 수 있다. 제2사운드 신호는 전자 장치의 프로세서에 의해 후술하는 신호 처리 결과를 거쳐 고주파 대역의 신호를 보정한 후의 신호일 수 있다.
본 명세서에서 컷-오프 주파수(cut-off frequency, fc)는 전자 장치의 사용자가 정확하게 인식할 수 있는 사운드의 최대 주파수 값을 의미할 수 있다. 알려진 바와 같이, 사운드 신호는 고음일수록 고주파수를 가지고 저음일 수록 저주파수를 가진다. 전자 장치의 사용자인 난청자는 컷-오프 주파수 이상의 고주파수 대역의 사운드 신호를 인식하지 못할 수 있다. 예를 들어, 마찰음에 해당하는 발음 기호 [s] 또는 [∫]는 고주파수 대역으로써, 발화자에 따라 편차가 존재하나 통상적으로 4kH 내지 7kH의 주파수 대역에 포함될 수 있다. 사용자의 청력이 최대 4kH까지 인지할 수 있다면, 4kH 이상의 고주파수 대역의 신호는 인식할 수 없을 수 있다. 이와 같이, 전자 장치의 사용자는 청력 특성에 따라 일정 주파수 이상의 사운드를 인지하지 못할 수 있으며, 사전에 다양한 방법의 실험에 따라 사용자의 청력 특성을 분석하여 컷-오프 주파수를 결정할 수 있다.
이하에서는, 도 1 내지 도 8을 통해 본 발명의 다양한 실시예에 대해 설명하기로 한다.
도 1a 및 1b는 사운드 신호의 일 예를 도시한 것이다.
도 1a는 제1사운드 신호의 주파수 영역에서의 그래프의 일 예를 도시한 것이다. 도시된 바와 같이, 도 1a에서 가로축은 주파수(frequency)의 값이고, 세로축은 신호 레벨(level) 또는 진폭(amplitude)의 값이다. 도 1a의 그래프는 특정 시간 또는 시간 구간에서 각 주파수 성분의 크기를 나타낼 수 있다.
도시된 바와 같이, 제1사운드 신호는 컷-오프 주파수(cut-off frequency, fc)를 기준으로 저주파수 대역 및 고주파수 대역으로 구분될 수 있다. 앞서 설명한 바와 같이, 컷-오프 주파수는 전자 장치의 사용자가 인식할 수 있는 사운드의 최대 주파수 값으로써 실험적으로 결정된 값일 수 있다.
도 1a에서 고주파수 대역에서 일부 구간에서 신호 레벨이 높은 구간이 존재함을 알 수 있다(110). 신호 레벨이 높은 성분이므로, 실제 사운드에서 사용자가 인식할 필요가 있는 의미 있는 성분이라고 볼 수 있으나, 컷-오프 주파수 이상의 고주파수 대역에 해당하므로 전자 장치의 사용자에 의해 인지되지 않을 수 있다. 이러한 신호 성분은 도 1b에 도시된 바와 같이, 마찰음(fricative) 성분 일 수 있다.
도 1b는 제1사운드 신호의 신호 레벨을 시간 영역에서 나타낸 그래프의 일 예이다.
도 1b는 주변에서 누군가가 ‘Strawberry jam is sweet’라고 발화하는 것이 전자 장치로 입력된 경우, 해당 사운드 신호의 주파수 값을 발화 시간에 따라 나타낸 것이다. 도 1b에서 가로축은 시간(time)의 값이고, 세로 축은 해당 시간에서의 주파수 값일 수 있다. 즉, 특정 발음이 입력 되었을 때 고주파수 성분이 높은 경우 그래프는 세로축의 값이 높게 나타날 수 있다.
도시된 바와 같이, strawberry에서 [s]가 입력될 때, jam에서 [j]가 입력될 때, sweet에서 [s]가 입력될 때 고주파수 성분이 많은 것을 확인할 수 있다.
이하에서는, 전자 장치가 컷-오프 주파수 이상에 존재하는 마찰음 성분(예를들어, 도 1a의 110 및/또는 도 1b의 [s], [j])을 저주파수 대역으로 보정하여 사용자가 인지할 수 있도록 하는 다양한 실시예들에 대해 설명하기로 한다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치(200)의 블록도이다.
도시된 바와 같이, 전자 장치(200)는 사운드 입력부(210), 프로세서(220), 사운드 출력부(230), 메모리(240)를 포함하며, 도시된 구성 중 일부가 치환 또는 생략되더라도 본 발명의 다양한 실시예를 구현함에는 지장이 없을 것이다.
사운드 입력부(210)는 사운드를 감지하여 제1사운드 신호로 변환할 수 있다. 다양한 실시예에 따르면, 사운드 입력부(210)는 전자 장치(200) 주변에서 발생하는 사운드를 집음하여 아날로그 형태인 사운드 신호를 획득하고, 디지털 신호로 변환할 수 있다. 이를 위해, 사운드 입력부(210)는 A/D 컨버터(미도시, analog to digital converter)를 포함하며, A/D 컨버터는 하드웨어적으로 및/또는 소프트웨어 적으로 구현될 수 있다. 사운드 입력부(210)는 공지의 마이크로폰(microphone) 장치로 구현될 수 있다.
일 실시예에 따르면, 제1사운드 신호는 전자 장치(200)의 메모리(240)에 저장된 또는 외부 장치로부터 수신되는 사운드 신호일 수 있다. 즉, 전자 장치(200)는 사운드 입력부(210)에 의해 감지되는 외부의 사운드뿐만 아니라, 전자 장치(200) 또는 외부 장치에 의해 생성된 사운드 신호를 증폭 또는 변환하여 출력할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 외부 장치로부터 사운드 신호를 수신하기 위한 무선 통신 모듈(미도시)을 구비할 수 있다.
메모리(240)는 공지의 휘발성 메모리(volatile memory) 및 비휘발성 메모리(non-volatile memory)를 포함할 수 있으며, 구체적인 구현 예에 있어서는 한정되지 않는다. 메모리(240)는 전기적으로 프로세서(220)와 연결되고, 프로세서(220)에서 수행될 수 있는 다양한 인스트럭션(instruction)들을 저장할 수 있다. 이와 같은 인스트럭션들은 프로세서(220)에 의해 인식될 수 있는 산술 및 논리 연산, 데이터 이동, 입출력 등의 제어 명령을 포함할 수 있다. 후술할 프로세서(220)의 동작들은 메모리(240)에 저장된 인스트럭션들을 로딩함으로써 수행될 수 있다.
일 실시예에 따르면, 메모리(240)는 컷-오프 주파수 값을 저장할 수 있다. 앞서 설명한 바와 같이, 컷-오프 주파수는 전자 장치(200)의 사용자가 정확하게 인식할 수 있는 사운드의 최대 주파수 값으로써, 사전에 사용자의 청력 특성을 분석하여 미리 결정될 수 있다.
프로세서(220)는 전자 장치(200)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로써, 사운드 입력부(210), 사운드 출력부(230), 메모리(240) 등 전자 장치(200)의 내부 구성들과 각각 전기적 및/또는 기능적으로 연결될 수 있다.
프로세서(220)는 사운드 입력부(210)로부터 출력되는 제1사운드 신호를 수신하고, 제1사운드 신호에 대해 소정의 신호 처리를 수행하여 제2사운드 신호를 생성할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는 제1사운드 신호의 전체 주파수 대역 또는 일부 주파수 대역의 신호 레벨을 증폭하여 제2사운드 신호를 생성할 수 있다.
또한, 프로세서(220)는 제1사운드 신호에서 컷-오프 주파수보다 높은 고주파수 대역에서 마찰음 성분을 감지하고, 해당 마찰음 성분을 컷-오프 주파수보다 낮은 저주파수 대역의 신호로 보정하는 신호 처리를 수행할 수 있다. 이를 위해, 프로세서(220)는 제1사운드 신호에서 컷-오프 주파수를 초과하는 고주파 대역에서 소정 이상의 레벨을 갖는 주파수 대역을 감지하기 위한 detection 루틴(routine), 감지된 주파수 대역의 신호와 동일한 레벨을 갖는 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호를 생성하기 위한 harmonic 생성 루틴 및 하모닉 신호와 제1사운드 신호를 중첩한 후 각 주파수 빈의 레벨을 조정하는 envelope shaping 루틴을 수행할 수 있다. 프로세서(220)의 신호 처리 동작에 대해서는 도 3 내지 도 6을 통해 보다 상세히 설명하기로 한다.
프로세서(220)의 신호 처리 결과 제2사운드 신호가 생성되며, 제2사운드 신호는 프로세서(220)와 전기적으로 연결된 사운드 출력부(230)에 의해 출력될 수 있다. 일 실시예에 따르면, 사운드 출력부(230)는 디지털 신호인 제2사운드 신호를 아날로그 신호로 변경하는 D/A 컨버터(digital to analog converter)를 포함할 수 있다. 사운드 출력부(230)는 사운드를 출력하는 스피커(speaker), 리시버(receiver), 이어폰(ear phone) 등 공지의 장치로 구현될 수 있다.
사운드 출력부(230)에서 제2사운드 신호를 출력하는 결과, 컷-오프 주파수 이상의 고주파 대역의 신호를 인지하지 못하는 사용자가 마찰음 성분을 인지할 수 있게 된다.
도 2에 도시되지 않으나, 전자 장치(200)는 셀룰러, Wi-Fi, bluetooth 등의 무선 통신을 위한 통신 모듈, 키 입력 장치 및/또는 터치 패널 등의 입력 장치, 디스플레이, 배터리 및 전력 관리 모듈(또는 PMIC(power management integrated circuit)) 등을 추가로 포함할 수 있다.
도 3은 본 발명의 다양한 실시예에 따른 전자 장치(300)의 보다 세부적인 블록도이다.
도시된 바와 같이, 사운드 입력부(310)에서 출력되는 제1사운드 신호는 프로세서(320)로 입력될 수 있다.
프로세서(320)는 제1사운드 신호에 대한 detection 루틴(322)을 수행할 수 있다. 프로세서(320)는 detection 루틴(322)에 따라 제1사운드 신호의 미리 정해진 컷 오프(cut-off) 주파수를 초과하는 제1주파수 대역(또는 고주파수 대역)에서 소정 이상의 레벨을 갖는 주파수 대역을 감지할 수 있다. 여기서, 제1주파수 대역에서 소정 이상의 레벨을 갖는 주파수 대역은 발음 기호 [s] 또는 [∫] 등 마찰음 성분의 주파수 대역일 수 있다. 다양한 실시예에 따르면, 프로세서(320)는 제1사운드 신호로부터 분할된 복수의 서브 밴드(예를 들어, 150Hz 대역폭을 갖는 복수의 서브 밴드) 중 가장 파워가 높은 서브 밴드의 주파수 빈을 마찰음 성분으로 인식할 수 있다.
Detection 루틴(322)의 수행 결과, 마찰음 성분이 검출되지 않는 경우, 후술하는 harmonic 생성 루틴(324) 및 envelope shaping 루틴(328)은 수행되지 않으며, 프로세서(320)는 제1사운드 신호의 전체 주파수 대역 또는 미리 정해진 일부 주파수 대역의 신호 레벨을 증폭하여 제2사운드 신호를 출력할 수 있다. Detection 루틴(322)을 통해 마찰음 성분을 검출하는 보다 구체적인 실시예에 대해서는 도 4a 및 4b를 통해 상세히 설명하기로 한다.
프로세서(320)는 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호(h1 내지 hn)를 생성할 수 있다. 각각의 주파수 빈은 주파수 대역에서 소정 주기를 가지며, 전체 주파수 대역 또는 일부 주파수 대역에서 생성될 수 있다. 각 주파수 빈의 신호 레벨은 detection 루틴(322)에서 감지된 주파수 대역(또는 마찰음 성분)의 신호와 동일한 레벨을 가지거나, 허용 가능한 일부 차이를 갖는 실질적으로 동일한 레벨일 수 있다.
프로세서(320)는 생성된 하모닉 신호와 제1사운드 신호를 중첩할 수 있다(326). 앞서 설명한 바와 같이, 하모닉 신호의 각 주파수 빈의 레벨은 마찰음 성분과 실질적으로 동일하므로, 일부 주파수 빈은 같은 주파수 대역의 제1사운드 신호의 레벨보다 높을 수 있다.
프로세서(320)는 중첩된 신호에 대한 envelope shaping 루틴(328)을 수행할 수 있다. 프로세서(320)는 하모닉 신호에 포함된 복수의 주파수 빈 중 고주파수 대역(또는 제1주파수 대역)에 속하는 적어도 하나의 주파수 빈의 레벨을 동일한 주파수 대역에서의 제1사운드 신호의 레벨로 조정할 수 있다. 이에 따라, 컷-오프 주파수 보다 낮은 저주파수 대역에서는 하모닉 신호의 각 주파수 빈이 그대로 중첩되고, 고주파수 대역에서는 하모닉 신호의 각 주파수 빈의 레벨이 원래 신호인 제1사운드 신호의 레벨보다 동일 또는 낮아질 수 있다.
envelope shaping 루틴(328)을 수행하기 이전의 신호는 고주파수 대역에서 제1사운드 신호보다 하모닉 신호의 레벨이 더 높을 수 있으므로, 입력된 사운드에 변형이 발생할 수 있다. 본 발명의 다양한 실시예에 따르면, envelope shaping 루틴(328)을 통해 고주파수 대역에서 하모닉 신호의 레벨을 제1사운드 신호보다 낮게 보정함으로써, 입력된 사운드의 변형을 최소화 하면서 고주파수 대역의 마찰음 성분을 사용자가 인지하도록 할 수 있다.
envelope shaping 루틴(328)의 수행 결과, 제2사운드 신호가 생성되어 사운드 출력부(330)로 출력될 수 있다. 사운드 출력부(330)는 제2사운드 신호를 출력할 수 있다.
도 4a 및 4b는 본 발명의 다양한 실시예에 따라 마찰음 성분을 검출하는 방법을 설명하기 위한 것이다.
본 발명의 다양한 실시예에 따르면, 프로세서(예를 들어, 도 2의 프로세서(220) 또는 도 3의 프로세서(320))는 제1사운드 신호에서 하모닉 성분을 검출하고, 마찰음 성분이 존재하는 경우에 한해 상기 신호 처리, 즉, 도 3에 도시된 detection 루틴, harmonic 생성 루틴, envelope shaping 루틴을 수행할 수 있다. 프로세서는 제1사운드 신호의 특정 대역에서 주파수 스펙트럼의 편평도가 임계값보다 낮은 경우 해당 대역에서 마찰음 성분이 포함되는 것으로 가정하되, 특정 감지 대역(예를 들어, 4kH 내지 7kH 대역)에서의 주파수 신호의 파워 값과 감지 대역보다 낮은 대역(예를 들어, 0kH 내지 4kH 대역)에서의 주파수 신호의 파워 값의 비가 임계값보다 높은 경우에 마찰음 성분이 존재하는 것으로 결정하여, 상기 신호 처리를 수행할 수 있다.
도 4a 및 4b는 마찰음 성분을 검출하는 방법에 관한 것으로, 각각 주파수 스팩트럼의 편평도를 검출하기 위한 실시예 및 파워값을 검출하기 위한 실시예를 도시한다.
도 4a는 t=t1, t2, t3에서의 주파수에 대한 신호 레벨의 일 예를 도시하고 있다. 여기서, t1, t2, t3는 특정 시간 또는 시간 구간일 수 있다. 도 4a에서는 3가지 시간 또는 시간 구간을 도시하고 있으나, 이는 설명의 편의를 위한 것으로써 보다 많은 수의 신호 스펙트럼이 사용될 수 있다.
프로세서는 미리 정해진 감지 대역을 복수의 서브 대역으로 분할할 수 있다. 여기서, 감지 대역은 마찰음인 [s], [∫]가 주로 검출되는 대역으로써, 예를 들어 4kH 내지 7kH 대역으로 미리 결정될 수 있다. 앞서 설명한 바와 같이, 컷-오프 주파수는 전자 장치의 사용자의 특성에 따라 결정될 것이나, 감지 대역은 사용자의 특성과 무관하게 일반적으로 마찰음이 발생하는 주파수 대역을 측정하여 결정된 값일 수 있다. 일 실시예에 따르면, 복수의 서브 대역은 100 내지 150 Hz 사이의 동일한 대역폭을 가질 수 있다.
프로세서는 각 시점(t1, t2, t3)의 주파수 스펙트럼을 복수의 서브 대역으로 분할할 수 있다. 도 4a에 도시된 바와 같이, t=t1의 신호에서는 a1 내지 an으로 분할되고, t=t2의 신호에서는 b1 내지 bn으로 분할되며, t=t3의 신호에서는 c1 내지 cn으로 분할될 수 있다. 여기서, an, bn, cn은 동일한 주파수 대역일 수 있다.
프로세서는 각 서브 대역의 t=t1, t2, t3의 신호 레벨 값을 이용해 산술 평균(arithmetic mean) 및 기하 평균(geometric mean)을 구할 수 있다. n번째 서브 대역의 산술 평균은 (an+bn+cn)/3 으로, 기하 평균은 (an*bn*cn)^(1/3)으로 계산될 수 있으며, 여기서 an, bn, cn은 각 서브 대역의 평균값(예를 들어, ∫(an/(an의 대역폭))df) 일 수 있다.
프로세서는 계산된 기하 평균과 산술 평균의 비(기하 평균/산술 평균)가 임계값보다 낮은 경우(기하 평균/산술 평균 < α), 편평도가 임계값보다 낮은 것으로 판단하여, 해당 서브 대역에서 마찰음 성분이 존재하는 것으로 확인할 수 있다.
편평도의 계산에 의해 마찰음 성분이 존재하는 것으로 판단되면, 프로세서는 감지 대역 및 감지 대역보다 낮은 주파수 대역에서의 파워 값을 계산할 수 있다.
도 4b를 참고 하면, 감지 대역의 하한값(예를 들어, 감지 대역이 4kH 내지 7kH인 경우, 4kH)을 기준으로 주파수 대역이 구분되어 있으며, 감지 대역의 하한값을 기준으로 낮은 주파수 대역을 저주파 대역, 높은 주파수 대역을 고주파 대역으로 칭하기로 한다. 프로세서는 저주파 대역의 신호의 파워 값(LFP, low frequency poser)과 고주파 대역의 신호의 파워 값(HFP, high frequency poser)을 각각 계산한다.
감지 대역의 하한이 4kH인 경우, 파워 값을 구하는 공식은 다음과 같이 예를 들 수 있다.
Figure 112016053062276-pat00001
상기 공식에서, LFP는 0 내지 감지 대역의 하한인 4kH의 파워값으로, HFP는 감지 대역의 하한인 4kH 내지 무한대(∞)의 파워값으로 계산될 수 있다. 상기 공식에서 HFP는 4kH 내지 ∞에서의 파워 값으로 정의되어 있으나, 일 실시예에 따르면, 사운드 신호의 7kH 이상에서는 신호 레벨이 낮으므로, 감지 대역(4kH 내지 7kH)에의 파워 값(band frequency power, BFP)을 계산하여, HFP를 대체 할 수도 있다.
프로세서는 감지 대역(또는 고주파 대역)의 파워 값과 저주파 대역의 파워 값의 비가 임계값보다 높은 경우(HFP / LFP > β), 마찰음 성분이 존재하는 것으로 결정하고 마찰음 성분의 보정을 위한 신호 처리를 수행할 수 있다. 고주파 대역의 파워 값이 높다는 것은 해당 시점(또는 구간)에서 사운드 신호에 고주파 성분이 많다는 것을 의미하며, 이는 고주파, 즉 고음인 사운드 성분이 사운드 신호에 많이 포함되어 있으므로, 사용자에게 사운드 전달을 위해 고주파 성분의 보정이 필요함을 의미할 수 있다.
종래의 전자 장치는 상기 설명한 바와 같은 편평도 계산 및 파워 값 계산 등 신호 전체에서 고주파 성분의 비율을 계산하지 않고, 일괄적으로 고주파 성분의 변형을 시도 하였다. 이는, 신호에 많은 변형을 가져오므로, 사운드 자체가 실제와 많이 달라질 수 있는 단점이 있다. 이에, 본 발명의 다양한 실시예들은 상기와 같은 확인 과정을 거쳐, 사운드의 변형을 최소화 하면서 청력 장애가 있는 사용자에게 마찰음 성분을 간접적으로 인지할 수 있도록 할 수 있다.
도 5a 내지 5d는 본 발명의 다양한 실시예에 따라 사운드 신호를 보정하는 방법을 설명하기 위한 것이다. 이하에서 도 5a 내지 도 5b를 통해 설명하는 프로세서의 동작들은 앞서 도 4a 및 4b를 통해 설명한 바와 같이 마찰음 성분이 검출되는 경우에 수행될 수 있다.
도 5a는 제1사운드 신호를 도시하고 있다.
도시된 바와 같이, 컷-오프 주파수 보다 높은 주파수 대역에서 마찰음 성분이 존재할 수 있으며, 마찰음 성분의 신호 레벨은 L0로 정의하기로 한다.
전자 장치의 프로세서(도 2의 220 또는 도 3의 320)는 detection 루틴(도 3의 322)에서 마찰음 성분을 검출할 수 있다. 예를 들어, 고주파 대역에서 신호 레벨이 소정 이상인 성분 중, 도 4a를 통해 설명한 바와 같이 편평도 계산을 통해 편평도가 임계값보다 낮은 성분을 마찰음 성분으로 판단할 수 있다.
도 5b는 하모닉 신호를 도시하고 있다.
프로세서는 하모닉 생성 루틴(도 3의 324)에서, 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호(h1 내지 hn)를 생성할 수 있다. 각각의 주파수 빈은 주파수 대역에서 소정 주기를 가지며, 전체 주파수 대역 또는 일부 주파수 대역에서 생성될 수 있다. 각 주파수 빈의 신호 레벨은 실질적으로 동일할 수 있으며, 도 5a에서의 마찰음 성분의 레벨인 L0일 수 있다.
도 5c는 제1사운드 신호와 하모닉 신호를 중첩한 것을 도시한 것이다.
프로세서는 생성된 하모닉 신호와 제1사운드 신호를 중첩할 수 있다(도 3의 326). 도시된 바와 같이, 중첩 결과, h1, h2, h3의 레벨은 동일한 대역의 제1사운드 신호보다 높게 나타날 수 있다.
도 5d는 envelope shaping을 거친 후의 제2사운드 신호를 도시한 것이다.
프로세서는 envelope shaping 루틴(도 3의 328)을 통해, 하모닉 신호에 포함된 복수의 주파수 빈 중 고주파수 대역(또는 제1주파수 대역)에 속하는 적어도 하나의 주파수 빈의 레벨을 동일한 주파수 대역에서의 제1사운드 신호의 레벨로 조정할 수 있다.
도 5d에 도시된 바와 같이, 고주파수 대역의 주파수 빈인 h2와 h3는 제1사운드 신호의 레벨에 따라 h2’ 및 h3’과 같이 조정될 수 있다. 이에 따라, 컷-오프 주파수 보다 낮은 저주파수 대역에서는 하모닉 신호의 각 주파수 빈이 그대로 중첩되고(예를 들어, h1’), 고주파수 대역에서는 하모닉 신호의 각 주파수 빈의 레벨이 원래 신호인 제1사운드 신호의 레벨보다 동일 또는 낮아질 수 있다(예를 들어, h2’ 및 h3’).
도 5a 내지 5d와 같은 신호 처리 과정을 거쳐 제1사운드 신호로부터 생성된 제2사운드 신호는 사운드 출력부(도 2의 230 또는 도 3의 330)를 통해 출력될 수 있다.
도 6a 내지 6c는 본 발명의 다양한 실시예와 같이, 마찰음 성분 보정을 수행하는 다양한 비교예들을 도시하고 있다. 이하에서 설명하는 내용들은 앞서 도 2 내지 도 5를 통해 설명한 실시예들에 도달하기 위해 연구된 것으로써, 종래 기술로 간주되어서는 안된다.
도 6a에 도시된 바와 같이, 전자 장치는 주파수 스펙트럼에서 마찰음 성분을 포함하는 고주파 대역을 소정의 주파수 만큼 저주파 대역으로 시프트 할 수 있다. 이에 따라, 도시된 바와 같이, 마찰음 성분이 컷-오프 주파수 아래인 저주파 대역으로 시프트 될 수 있다.
본 비교예는 도 2 내지 도 5의 실시예와 비교할 때, 마찰음 성분과 무관한 저주파 대역의 신호 레벨까지 변화되고, 고주파 대역에서의 변화는 비교적 크므로, 실제 사운드에 비해 보다 큰 왜곡이 일어나는 문제가 있다.
도 6b에 도시된 바와 같이, 전자 장치는 저주파 대역의 특정 주파수를 기준으로 기준 주파수보다 높은 대역의 신호를 주파수 기준으로 압축하는 방식으로 보정할 수 있다. 본 비교예 역시 기존 사운드에 비해 큰 왜곡이 일어날 수 밖에 없다.
도 6c에 도시된 바와 같이, 전자 장치는 마찰음 성분과 동일한 하나의 주파수 빈을 저주파 대역 내에 삽입할 수 있다. 본 비교예는 고주파 성분의 신호는 그대로 유지되므로 사운드의 왜곡은 비교적 적으나, 하나의 주파수 빈 만을 삽입하는 경우 도 2 내지 도 5의 실시예에서와 같이 일정 주기의 하모닉 신호를 삽입하는 것에 비해 마찰음의 왜곡이 발생할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 사운드(sound)를 감지하여 제1사운드 신호로 변환하는 사운드 입력부; 상기 사운드 입력부와 전기적으로 연결되며, 상기 제1사운드 신호를 수신하고 소정의 신호 처리를 수행하여 제2사운드 신호를 생성하는 프로세서를 포함하며, 상기 프로세서가 수행하는 신호 처리는, 상기 제1사운드 신호의 미리 정해진 컷 오프(cut-off) 주파수를 초과하는 제1주파수 대역에서 소정 이상의 레벨을 갖는 주파수 대역을 감지하는 동작; 상기 감지된 주파수 대역의 신호와 동일한 레벨을 갖는 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호를 생성하는 동작; 및 상기 하모닉 신호를 상기 제1사운드 신호에 중첩하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 하모닉 신호에 포함된 복수의 주파수 빈 중 적어도 하나는 상기 컷 오프 주파수보다 낮은 제2주파수 대역에 존재할 수 있다.
다양한 실시예에 따르면, 상기 프로세서가 수행하는 신호 처리는, 상기 하모닉 신호에 포함된 복수의 주파수 빈 중 상기 제1주파수 대역에 속하는 적어도 하나의 주파수 빈의 레벨을 동일한 주파수 대역에서의 제1사운드 신호의 레벨로 조정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는 상기 제1사운드 신호에서 마찰음 성분이 존재하는 경우, 상기 신호 처리를 수행하며, 상기 마찰음 성분이 존재하는지 확인하는 동작은, 상기 제1사운드 신호에서 미리 정해진 감지 대역을 복수의 서브 대역으로 분할하는 동작; 상기 분할된 각각의 서브 대역에 대해 편평도(flatness)를 계산하는 동작; 및 상기 감지 대역의 파워값과 상기 감지 대역보다 낮은 주파수 대역에서의 파워값을 계산하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 편평도가 임계값보다 낮고, 상기 감지 대역의 파워값과 상기 감지 대역보다 낮은 주파수 대역에서의 파워값의 비가 임계값보다 높은 경우, 상기 마찰음 성분이 존재하는 것으로 결정하고 상기 신호 처리를 수행할 수 있다.
다양한 실시예에 따르면, 상기 감지 대역은, 4kHz 내지 7kHz의 주파수 대역일 수 있다.
다양한 실시예에 따르면, 메모리를 더 포함하며, 상기 메모리는 사용자의 청력 특성에 따라 결정된 상기 컷 오프 주파수를 저장할 수 있다.
다양한 실시예에 따르면, 상기 프로세서와 전기적으로 연결되며, 상기 제2사운드 신호를 출력하기 위한 사운드 출력부를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2사운드 신호의 출력을 통해, 상기 제1사운드 신호의 제1주파수 대역에서 발생 가능한 사용자의 난청을 보상하도록 구성될 수 있다.
도 7은 본 발명의 다양한 실시예에 따른 사운드 신호 보정 방법의 흐름도이다.
도시된 방법은 도 2의 전자 장치(200) 및/또는 도 3의 전자 장치(300)에 의해 수행될 수 있으며, 앞서 설명한 바 있는 기술적 특징에 대해서는 이하에서 그 설명을 생략하기로 한다.
동작 710에서, 프로세서(예를 들어, 도 2의 220 및/또는 도 3의 320)는 사운드 입력부로부터 출력된 제1사운드 신호를 입력 받을 수 있다.
동작 720에서, 프로세서는 마찰음 성분을 감지할 수 있다. 동작 720에 대해서는 도 8을 통해 보다 상세히 설명하기로 한다.
동작 720의 감지 결과 마찰음 성분이 감지되지 않거나, 제1사운드 신호에서 고주파 대역의 파워 값이 낮은 경우, 동작 780을 수행할 수 있다. 동작 780에서, 프로세서는 제1사운드 신호를 출력하거나, 동작 720 내지 770의 과정을 거치지 않고 제1사운드 신호의 특정 주파수 대역 또는 전체 주파수 대역을 증폭하여 출력할 수 있다.
동작 720에서, 마찰음 성분이 존재하는 경우, 동작 730에서, 프로세서는 제1사운드 신호의 미리 정해진 컷 오프(cut-off) 주파수를 초과하는 제1주파수 대역(또는 고주파수 대역)에서 소정 이상의 레벨을 갖는 주파수 대역을 감지할 수 있다.
여기서, 제1주파수 대역에서 소정 이상의 레벨을 갖는 주파수 대역은 발음 기호 [s] 또는 [∫] 등 마찰음 성분의 주파수 대역일 수 있다.
동작 740에서, 프로세서는 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호(h1 내지 hn)를 생성할 수 있다. 각각의 주파수 빈은 주파수 대역에서 소정 주기를 가지며, 전체 주파수 대역 또는 일부 주파수 대역에서 생성될 수 있다. 각 주파수 빈의 신호 레벨은 동작 720에서 감지된 주파수 대역(또는 마찰음 성분)의 신호와 동일한 레벨을 가지거나, 허용 가능한 일부 차이를 갖는 실질적으로 동일한 레벨일 수 있다. 동작 740의 결과 생성되는 하모닉 신호는, 앞서 도 5b를 통해 설명한 바 있다.
동작 750에서, 프로세서는 생성된 하모닉 신호와 제1사운드 신호를 중첩할 수 있다. 동작 750의 결과 생성되는 중첩 신호는 앞서 도 5c를 통해 설명한 바 있다.
동작 760에서, 프로세서는 하모닉 신호에 포함된 복수의 주파수 빈 중 고주파수 대역(또는 제1주파수 대역)에 속하는 적어도 하나의 주파수 빈의 레벨을 동일한 주파수 대역에서의 제1사운드 신호의 레벨로 조정할 수 있다. 이에 따라, 컷-오프 주파수 보다 낮은 저주파수 대역에서는 하모닉 신호의 각 주파수 빈이 그대로 중첩되고, 고주파수 대역에서는 하모닉 신호의 각 주파수 빈의 레벨이 원래 신호인 제1사운드 신호의 레벨보다 동일 또는 낮아질 수 있다. 동작 760의 결과 생성되는 제2사운드 신호는 앞서 도 5d를 통해 설명한 바 있다.
동작 770에서, 프로세서는 생성된 제1사운드 신호로부터 생성된 제2사운드 신호를 사운드 출력부로 출력하며, 사운드 출력부는 제2사운드 신호를 출력할 수 있다.
도 8은 본 발명의 다양한 실시예에 따른 마찰음 성분을 검출하는 방법의 흐름도이다.
동작 810에서, 프로세서(예를 들어, 도 2의 220 및/또는 도 3의 320)는 복수의 시간 또는 시간 구간의 사운드 신호에서, 미리 정해진 감지 대역을 복수의 서브 대역으로 분할할 수 있다. 여기서, 감지 대역은 마찰음인 [s], [∫]가 주로 검출되는 대역으로써, 예를 들어 4kH 내지 7kH 대역으로 미리 결정될 수 있다.
동작 820에서, 프로세서는 분할된 각각의 서브 대역에 대해 편평도(flatness)를 계산할 수 있다. 프로세서는 각 서브 대역의 t=t1, t2, t3의 신호 레벨 값을 이용해 산술 평균(arithmetic mean) 및 기하 평균(geometric mean)을 구할 수 있다. n번째 서브 대역의 산술 평균은 (an+bn+cn)/3 으로, 기하 평균은 (an*bn*cn)^(1/3)으로 계산될 수 있으며, 여기서 an, bn, cn은 각 서브 대역의 평균값(예를 들어, ∫(an/(an의 대역폭))df) 일 수 있다.
동작 830에서, 프로세서는 계산된 편평도, 즉 기하 평균과 산술 평균의 비가 임계값보다 낮은 경우(기하 평균/산술 평균 < α), 편평도가 임계값보다 낮은 것으로 판단하여, 해당 서브 대역에서 마찰음 성분이 존재하는 것으로 확인할 수 있다. 이에 대해서는 앞서 도 4a를 통해 상세히 설명한 바 있다.
동작 840에서, 프로세서는 감지 대역 및 감지 대역보다 낮은 주파수 대역에서의 파워 값을 계산할 수 있다. 이에 대해서는 앞서 도 4b를 통해 상세히 설명한 바 있다.
동작 850에서, 프로세서는 감지 대역(또는 고주파 대역)의 파워 값과 저주파 대역의 파워 값의 비가 임계값보다 높은 경우(HFP / LFP > β), 동작 860에서, 마찰음 성분이 존재하는 것으로 결정할 수 있다.
본 발명의 다양한 실시예에 따른, 전자 장치의 사운드 신호 보정 방법은, 제1사운드 신호를 생성하는 동작; 상기 제1사운드 신호에 대해 소정의 신호 처리를 수행하여 제2사운드 신호를 생성하는 동작을 포함하며, 상기 제2사운드 신호를 생성하는 동작은, 상기 제1사운드 신호의 미리 정해진 컷 오프(cut-off) 주파수를 초과하는 제1주파수 대역에서 소정 이상의 레벨을 갖는 성분을 감지하는 동작; 상기 감지된 주파수 대역의 신호와 동일한 레벨을 갖는 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호를 생성하는 동작; 및 상기 하모닉 신호를 상기 제1사운드 신호에 중첩하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 하모닉 신호에 포함된 복수의 주파수 빈 중 적어도 하나는 상기 컷 오프 주파수보다 낮은 제2주파수 대역에 존재할 수 있다.
다양한 실시예에 따르면, 상기 제2사운드 신호를 생성하는 동작은, 상기 하모닉 신호에 포함된 복수의 주파수 빈 중 상기 제1주파수 대역에 속하는 적어도 하나의 주파수 빈의 레벨을 동일한 주파수 대역에서의 제1사운드 신호의 레벨로 조정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2사운드 신호를 생성하는 동작은 상기 제1사운드 신호에서 마찰음 성분이 존재하는 경우에 수행되며, 상기 마찰음 성분이 존재하는지 확인하는 동작은, 상기 제1사운드 신호에서 미리 정해진 감지 대역을 복수의 서브 대역으로 분할하는 동작; 상기 분할된 각각의 서브 대역에 대해 편평도(flatness)를 계산하는 동작; 및 상기 감지 대역의 파워값과 상기 감지 대역보다 낮은 주파수 대역에서의 파워값을 계산하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 마찰음 성분이 존재하는지 확인하는 동작은, 상기 편평도가 임계값보다 낮고, 상기 감지 대역의 파워값과 상기 감지 대역보다 낮은 주파수 대역에서의 파워값의 비가 임계값보다 높은 경우, 상기 마찰음 성분이 존재하는 것으로 결정할 수 있다.
다양한 실시예에 따르면, 상기 감지 대역은, 4kHz 내지 7kHz의 주파수 대역일 수 있다.
다양한 실시예에 따르면, 사용자의 청력 특성에 따라 결정된 상기 컷 오프 주파수를 저장하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 생성된 제2사운드 신호를 출력하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2사운드 신호의 출력을 통해, 상기 제1사운드 신호의 제1주파수 대역에서 발생 가능한 사용자의 난청을 보상하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 보청기(hearing aid)일 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    사운드(sound)를 감지하여 제1사운드 신호로 변환하는 사운드 입력부;
    상기 사운드 입력부와 전기적으로 연결되며, 상기 제1사운드 신호를 수신하고 소정의 신호 처리를 수행하여 제2사운드 신호를 생성하는 프로세서를 포함하며,
    상기 프로세서가 수행하는 신호 처리는,
    상기 제1사운드 신호의 미리 정해진 컷 오프(cut-off) 주파수를 초과하는 제1주파수 대역에서 소정 이상의 레벨을 갖는 주파수 대역을 감지하는 동작;
    상기 감지된 주파수 대역의 신호와 동일한 레벨을 갖는 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호를 생성하는 동작;
    상기 하모닉 신호를 상기 제1사운드 신호에 중첩하는 동작; 및
    상기 하모닉 신호에 포함된 복수의 주파수 빈 중 상기 제1주파수 대역에 속하는 적어도 하나의 주파수 빈의 레벨을 동일한 주파수 대역에서의 제1사운드 신호의 레벨로 조정하는 동작을 포함하는 전자 장치.
  2. 제 1항에 있어서,
    상기 하모닉 신호에 포함된 복수의 주파수 빈 중 적어도 하나는 상기 컷 오프 주파수보다 낮은 제2주파수 대역에 존재하는 전자 장치.
  3. 삭제
  4. 제 1항에 있어서,
    상기 프로세서는 상기 제1사운드 신호에서 마찰음 성분이 존재하는 경우, 상기 신호 처리를 수행하며,
    상기 마찰음 성분이 존재하는지 확인하는 동작은,
    상기 제1사운드 신호에서 미리 정해진 감지 대역을 복수의 서브 대역으로 분할하는 동작;
    상기 분할된 각각의 서브 대역에 대해 편평도(flatness)를 계산하는 동작; 및
    상기 감지 대역의 파워값과 상기 감지 대역보다 낮은 주파수 대역에서의 파워값을 계산하는 동작을 포함하는 전자 장치.
  5. 제 4항에 있어서,
    상기 프로세서는,
    상기 편평도가 임계값보다 낮고, 상기 감지 대역의 파워값과 상기 감지 대역보다 낮은 주파수 대역에서의 파워값의 비가 임계값보다 높은 경우, 상기 마찰음 성분이 존재하는 것으로 결정하고 상기 신호 처리를 수행하는 전자 장치.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제 5항에 있어서,
    상기 감지 대역은,
    4kHz 내지 7kHz의 주파수 대역인 전자 장치.
  7. 제 1항에 있어서,
    메모리를 더 포함하며,
    상기 메모리는 사용자의 청력 특성에 따라 결정된 상기 컷 오프 주파수를 저장하는 전자 장치.
  8. 제 1항에 있어서,
    상기 프로세서와 전기적으로 연결되며, 상기 제2사운드 신호를 출력하기 위한 사운드 출력부를 더 포함하는 전자 장치.
  9. 제 8항에 있어서,
    상기 제2사운드 신호의 출력을 통해, 상기 제1사운드 신호의 제1주파수 대역에서 발생 가능한 사용자의 난청을 보상하도록 구성되는 것을 특징으로 하는 전자 장치.
  10. 전자 장치의 사운드 신호 보정 방법에 있어서,
    제1사운드 신호를 생성하는 동작;
    상기 제1사운드 신호에 대해 소정의 신호 처리를 수행하여 제2사운드 신호를 생성하는 동작을 포함하며,
    상기 제2사운드 신호를 생성하는 동작은,
    상기 제1사운드 신호의 미리 정해진 컷 오프(cut-off) 주파수를 초과하는 제1주파수 대역에서 소정 이상의 레벨을 갖는 성분을 감지하는 동작;
    상기 감지된 주파수 대역의 신호와 동일한 레벨을 갖는 복수의 주파수 빈(frequency bin)을 포함하는 하모닉(harmonic) 신호를 생성하는 동작;
    상기 하모닉 신호를 상기 제1사운드 신호에 중첩하는 동작; 및
    상기 하모닉 신호에 포함된 복수의 주파수 빈 중 상기 제1주파수 대역에 속하는 적어도 하나의 주파수 빈의 레벨을 동일한 주파수 대역에서의 제1사운드 신호의 레벨로 조정하는 동작을 포함하는 방법.
  11. 제 10항에 있어서,
    상기 하모닉 신호에 포함된 복수의 주파수 빈 중 적어도 하나는 상기 컷 오프 주파수보다 낮은 제2주파수 대역에 존재하는 방법.
  12. 삭제
  13. 제 10항에 있어서,
    상기 제2사운드 신호를 생성하는 동작은 상기 제1사운드 신호에서 마찰음 성분이 존재하는 경우에 수행되며,
    상기 마찰음 성분이 존재하는지 확인하는 동작은,
    상기 제1사운드 신호에서 미리 정해진 감지 대역을 복수의 서브 대역으로 분할하는 동작;
    상기 분할된 각각의 서브 대역에 대해 편평도(flatness)를 계산하는 동작; 및
    상기 감지 대역의 파워값과 상기 감지 대역보다 낮은 주파수 대역에서의 파워값을 계산하는 동작을 포함하는 방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제 13항에 있어서,
    상기 마찰음 성분이 존재하는지 확인하는 동작은,
    상기 편평도가 임계값보다 낮고, 상기 감지 대역의 파워값과 상기 감지 대역보다 낮은 주파수 대역에서의 파워값의 비가 임계값보다 높은 경우, 상기 마찰음 성분이 존재하는 것으로 결정하는 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제 14항에 있어서,
    상기 감지 대역은,
    4kHz 내지 7kHz의 주파수 대역인 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제 10항에 있어서,
    사용자의 청력 특성에 따라 결정된 상기 컷 오프 주파수를 저장하는 동작을 더 포함하는 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제 10항에 있어서,
    상기 생성된 제2사운드 신호를 출력하는 동작을 더 포함하는 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제 17항에 있어서,
    상기 제2사운드 신호의 출력을 통해, 상기 제1사운드 신호의 제1주파수 대역에서 발생 가능한 사용자의 난청을 보상하도록 구성되는 것을 특징으로 하는 방법.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제 17항에 있어서,
    상기 전자 장치는 보청기(hearing aid) 인 방법.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제 10항, 제11항 및 제 14항 내지 제19항 중 어느 한 항의 방법을 수행하기 위한 인스트럭션들을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
KR1020160068347A 2016-06-01 2016-06-01 전자 장치 및 전자 장치의 사운드 신호 보정 방법 KR102494080B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160068347A KR102494080B1 (ko) 2016-06-01 2016-06-01 전자 장치 및 전자 장치의 사운드 신호 보정 방법
US15/607,833 US10097938B2 (en) 2016-06-01 2017-05-30 Electronic device and sound signal processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160068347A KR102494080B1 (ko) 2016-06-01 2016-06-01 전자 장치 및 전자 장치의 사운드 신호 보정 방법

Publications (2)

Publication Number Publication Date
KR20170136362A KR20170136362A (ko) 2017-12-11
KR102494080B1 true KR102494080B1 (ko) 2023-02-01

Family

ID=60482476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160068347A KR102494080B1 (ko) 2016-06-01 2016-06-01 전자 장치 및 전자 장치의 사운드 신호 보정 방법

Country Status (2)

Country Link
US (1) US10097938B2 (ko)
KR (1) KR102494080B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410973B (zh) * 2018-11-07 2021-11-16 北京达佳互联信息技术有限公司 变声处理方法、装置和计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050027528A1 (en) * 2000-11-29 2005-02-03 Yantorno Robert E. Method for improving speaker identification by determining usable speech

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2598909B1 (fr) * 1986-05-23 1988-08-26 Franche Comte Universite Perfectionnements aux dispositifs de prothese auditive
US7248711B2 (en) 2003-03-06 2007-07-24 Phonak Ag Method for frequency transposition and use of the method in a hearing device and a communication device
AU2005333866B2 (en) 2005-06-27 2009-04-23 Widex A/S Hearing aid with enhanced high frequency reproduction and method for processing an audio signal
DE102006019728A1 (de) * 2006-04-27 2007-11-15 Siemens Audiologische Technik Gmbh Zeit-adaptives Einstellen einer Hörhilfevorrichtung und entsprechendes Verfahren
US20080254753A1 (en) 2007-04-13 2008-10-16 Qualcomm Incorporated Dynamic volume adjusting and band-shifting to compensate for hearing loss
US8107654B2 (en) 2008-05-21 2012-01-31 Starkey Laboratories, Inc Mixing of in-the-ear microphone and outside-the-ear microphone signals to enhance spatial perception
DE102010041653B4 (de) * 2010-09-29 2015-04-02 Siemens Medical Instruments Pte. Ltd. Verfahren und Vorrichtung zur Frequenzkompression mit selektiver Frequenzverschiebung
CN103250209B (zh) * 2010-12-08 2015-08-05 唯听助听器公司 改善音频重现的助听器和方法
US9666202B2 (en) 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050027528A1 (en) * 2000-11-29 2005-02-03 Yantorno Robert E. Method for improving speaker identification by determining usable speech

Also Published As

Publication number Publication date
US20170353806A1 (en) 2017-12-07
US10097938B2 (en) 2018-10-09
KR20170136362A (ko) 2017-12-11

Similar Documents

Publication Publication Date Title
US10939218B2 (en) Method for detecting wrong positioning of earphone, and electronic device and storage medium therefor
US11336987B2 (en) Method and device for detecting wearing state of earphone and earphone
EP3084756B1 (en) Systems and methods for feedback detection
US10231072B2 (en) Information processing to measure viewing position of user
US9794699B2 (en) Hearing device considering external environment of user and control method of hearing device
EP3644312B1 (en) Method and apparatus for recovering audio signals
KR20170055329A (ko) 노이즈를 제거하는 방법 및 이를 위한 전자 장치
KR20200098323A (ko) 복수의 마이크들을 포함하는 음향 출력 장치 및 복수의 마이크들을 이용한 음향 신호의 처리 방법
CN113746983A (zh) 助听方法及装置、存储介质、智能终端
KR102244591B1 (ko) 보청기의 피드백 제거를 위한 장치 및 방법
KR102494080B1 (ko) 전자 장치 및 전자 장치의 사운드 신호 보정 방법
KR102353494B1 (ko) 사용자의 근접을 검출하기 위한 전자 장치 및 그의 동작 방법
US9998610B2 (en) Control apparatus, control method, and computer-readable medium
US11381910B2 (en) Method for removing dust using speaker and electronic device supporting the same
US11190873B2 (en) Electronic device and method for detecting blocked state of microphone
KR102461608B1 (ko) 스피커에 포함된 진동판을 이용하여 하우징 내부 공간의 액체를 외부로 배출하는 전자 장치, 및 그 전자 장치의 제어 방법
KR102556815B1 (ko) 전자 장치 및 이의 제어 방법
KR102242118B1 (ko) 신호 보상 방법 및 장치
US11277692B2 (en) Speech input method, recording medium, and speech input device
CN110691303B (zh) 可穿戴音箱及其控制方法
CN111757211A (zh) 降噪方法、终端设备及存储介质
JP2008070372A (ja) 物体追跡装置
JP6018025B2 (ja) 検体情報処理装置
US10945067B2 (en) Area reproduction method, computer readable recording medium which records area reproduction program, and area reproduction system
US10863261B1 (en) Portable apparatus and wearable device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right