KR20210017252A - 다채널 오디오 신호 처리 방법 및 전자 장치 - Google Patents

다채널 오디오 신호 처리 방법 및 전자 장치 Download PDF

Info

Publication number
KR20210017252A
KR20210017252A KR1020190096223A KR20190096223A KR20210017252A KR 20210017252 A KR20210017252 A KR 20210017252A KR 1020190096223 A KR1020190096223 A KR 1020190096223A KR 20190096223 A KR20190096223 A KR 20190096223A KR 20210017252 A KR20210017252 A KR 20210017252A
Authority
KR
South Korea
Prior art keywords
signal
noise
channel
neural network
electronic device
Prior art date
Application number
KR1020190096223A
Other languages
English (en)
Inventor
백순호
조기호
금종모
손백권
이명호
이용훈
문한길
양재모
이건우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190096223A priority Critical patent/KR20210017252A/ko
Priority to PCT/KR2020/010454 priority patent/WO2021025515A1/en
Priority to US16/987,475 priority patent/US11308973B2/en
Publication of KR20210017252A publication Critical patent/KR20210017252A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Otolaryngology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

다양한 실시예에 따른 전자 장치는, 통신 회로, 적어도 두 개의 마이크, 상기 통신 회로, 상기 적어도 두 개의 마이크와 작동적으로 연결된 프로세서, 및 상기 프로세서와 동작적으로 연결되고, 제1 빔포머에 대응하는 제1 채널출력 신호와 제2 빔포머에 대응하는 제2 채널출력 신호를 입력값 으로 이용하는 잡음 제거 신경망 모델을 저장하는 메모리를 포함하고, 상기 메모리는 실행 시에, 상기 프로세서가, 상기 적어도 두 개의 마이크를 통해 입력된 오디오 입력 신호에 대해 상기 제1 빔포머를 기반으로 상기 제1 채널 신호 및 상기 제2 빔포머를 기반으로 제2 채널 신호를 획득하고, 상기 제1 채널 신호의 잡음 크기와 상기 제2 채널 신호의 잡음 크기 차이를 보상한 제3 채널 신호를 생성하고, 상기 제1 채널 신호와 상기 제3 채널 신호를 상기 잡음 제거 신경망 모델의 입력값으로 이용하여 신경망 출력 신호를 출력하도록 하는 인스트럭션들을 저장할 수 있다. 이외에 다양한 실시 예들이 가능할 수 있다.

Description

다채널 오디오 신호 처리 방법 및 전자 장치{Method for processing audio sound based on multi-channel and an electronic device}
본 발명의 다양한 실시 예들은 신경 망기반의 다채널 오디오 신호 처리 방법 및 전자 장치에 관한 것이다.
마이크로 입력된 음성 입력 신호는 잡음이나 잔향에 의해 왜곡되므로, 음성 신호에서 배경 잡음(background noise) 및 잔향을 제거하여 음질을 향상 시킬 수 있다. 음성 인식, 또는 음성 통신 분야에서 잡음이나 잔향을 제거하기 위한 다양한 잡음 제거 기술들이 제안되고 있다. 예를 들어, 신경망(예: deep neural network)을 음성 향상 및 음성 인식 분야에서 도입하고 있으며, 신화 신경망을 통해 잡음을 제거하기 위한 연구가 이루어지고 있다.
한편, 다채널 마이크를 통해 입력 받은 음성 신호의 경우에는 음성 신호의 공간적인 특성(예, 발화 시작의 위치 및 방향성)에 의해 출력 형태가 달라질 수 있다. 이에 따라 다채널 음성 입력 신호를 신경망 기술에 적용하여 음성 신호의 잡음을 제거할 수 있는 방안이 개발되고 있다. 다채널 음성 입력 환경의 경우, 신호의 공간적인 특성을 반영하여 특징값을 추출하고, 추출된 특징값을 신경망의 입력 신호로 활용할 수 있다. 특징값은 음성과 잡음 신호의 방향 또는 마이크 구현 환경에 따라 결정될 수 있다. 신경망 모델은 대용량의 학습 데이터(training data)로부터 학습하여 결과값을 출력하며, 학습에 고려되지 않는 공간적인 특징을 가지는 환경에서는 음성 왜곡 또는 잔여 잡음이 커지는 성능 열화가 발생될 수 있다. 뿐만 아니라, 신경망 모델을 이용한 잡음 제거 시 음성의 유무에 따라 잡음 제거량 차이가 발생될 수 있다. 잡음 제거량 차이로 인해 후처리 기술을 통해 잔여 잡음을 제거하기 어려울 수 있다.
다양한 실시예에 따르면, 신경망에 기반한 다채널 오디오 신호의 잡음 제거 시 신호 처리 알고리즘을 이용하여 잡음 제거 효과를 향상 시킬 수 있는 전자 장치를 제공하고자 한다.
다양한 실시예에 따른 전자 장치는, 통신 회로, 적어도 두 개의 마이크, 상기 통신 회로, 상기 적어도 두 개의 마이크와 작동적으로 연결된 프로세서, 및 상기 프로세서와 동작적으로 연결되고, 제1 빔포머에 대응하는 제1 채널출력 신호와 제2 빔포머에 대응하는 제2 채널출력 신호를 입력값 으로 이용하는 잡음 제거 신경망 모델을 저장하는 메모리를 포함하고, 상기 메모리는 실행 시에, 상기 프로세서가, 상기 적어도 두 개의 마이크를 통해 입력된 오디오 입력 신호에 대해 상기 제1 빔포머를 기반으로 상기 제1 채널 신호 및 상기 제2 빔포머를 기반으로 제2 채널 신호를 획득하고, 상기 제1 채널 신호의 잡음 크기와 상기 제2 채널 신호의 잡음 크기 차이를 보상한 제3 채널 신호를 생성하고, 상기 제1 채널 신호와 상기 제3 채널 신호를 상기 잡음 제거 신경망 모델의 입력값으로 이용하여 신경망 출력 신호를 출력하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따른 전자 장치는 잡음 제거 신경망 모델 및 상기 잡음 제거 신경망 모델에 활용되는 데이터를 저장하도록 구성된 메모리와, 상기 메모리와 전기적으로 연결되는 프로세서를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 다채널 음성 신호에 대해 제1 빔포머를 기반으로 제1 채널 신호를 출력하고, 제2 빔포머를 기반으로 제2 채널 신호를 출력하고, 상기 제1 채널 신호의 잡음 크기와 상기 제2 채널 신호의 잡음 크기 차이를 보상한 제 3채널 신호를 생성하고, 상기 잡음 크기 차이가 보상된 제3 채널 신호 및 상기 제1 채널 신호를 입력값으로 이용하여 상기 잡음 제거 신경망 모델을 학습하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따른 전자 장치는 통신 회로와 잡음 제거 신경망 모델 및 상기 잡음 제거 신경망 모델에 활용되는 데이터를 저장하도록 구성된 메모리와, 상기 메모리와 전기적으로 연결되는 프로세서를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 통신 회로를 통해 외부 전자 장치로부터 제1 채널 사용자 음성 신호 및 제2 채널 사용자 음성 신호를 수신하고, 상기 제1 채널 사용자 음성 신호의 잡음 크기와 상기 제2 채널 사용자 음성 신호의 잡음 크기 차이를 보상한 제 3채널 사용자 음성 신호를 생성하고, 상기 잡음 크기 차이가 보상된 제3 채널 사용자 음성 신호 및 상기 제1 채널 사용자 음성 신호를 입력값으로 상기 잡음 제거 신경망 모델을 학습하여 상기 잡음 제거 신경망 모델을 사용자 음성에 최적화되도록 설정된 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따른 전자 장치는 신경망으로 입력되는 다채널 신호 간 잡음 크기 차이를 보상한 입력 신호들을 이용하여 잡음 제거 신경망 모델을 학습함으로써, 잡음 제거 성능의 편차를 줄일 수 있다.
다양한 실시예에 따른 전자 장치는 신경망 모델의 입력 신호 보상 및 출력 신호 보상 알고리즘 추가하여 음성 유무에 따른 잡음제거 성능 차이를 감소시키고, 음성 왜곡 보상과 잡음 제거 균일화하여 잡음 제거 성능을 향상시킬 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2은, 다양한 실시에 따른, 오디오 모듈의 블록도이다.
도 3은 다양한 실시예에 따른 제1 전자 장치와 제2 전자 장치의 구성을 나타낸다.
도 4는 다양한 실시예에 따른 제1 전자 장치의 블록도를 도시한다.
도 5a는 다양한 실시예에 따른 제1 전자 장치에서 잡음 제거 신경망 모델을 학습하는 방법을 도시한다.
도 5b는 다양한 실시예에 따른 제1 전자 장치에서 잡음 제거 신경망 모델을 학습하는 방법을 도시한다.
도 6은 다양한 실시예에 따른 제2 전자 장치의 블록도를 도시한다.
도 7은 다양한 실시예에 따른 잡음 제거량 변화를 나타낸다.
도 8은 다양한 실시예에 따른제2 전자 장치에서 잡음을 제거하는 방법을 도시한다.
도 9는 다양한 실시예에 따른 제2 전자 장치에서 잡음을 제거하는 방법을 도시한다.
도 10은 다양한 실시예에 따른 제2 전자 장치에서 잡음을 제거하는 방법을 도시한다.
도 11은 다양한 실시예에 따른 제1 전자 장치와 제2전자 장치 간 통신 동작 방법을 도시한다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성 요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성 요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드(embedded)된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성 요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(volatile memory)(132)에 로드(load)하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(non-volatile memory)(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(active)(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성 요소들 중 적어도 하나의 구성 요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))과 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성 요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들 웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성 요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜) 등을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커(speaker) 또는 리시버(receiver)를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서(pressure sensor))를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서(gesture sensor), 자이로 센서(gyro sensor), 기압 센서(barometer sensor), 마그네틱 센서(magnetic sensor), 가속도 센서(acceleration sensor), 그립 센서(grip sensor), 근접 센서(proximity sensor), 컬러 센서(color sensor)(예: RGB(red, green, blue) 센서), IR(infrared) 센서, 생체 센서(biometric sensor), 온도 센서(temperature sensor), 습도 센서(humidity sensor), 또는 조도 센서(illuminance sensor) 등을 포함할 수 있다.
인터페이스(177)는 전자 장치(101)의 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜(protocol)들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스 등을 포함할 수 있다.
연결 단자(connection terminal)(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터) 등을 포함할 수 있다.
햅틱 모듈(haptic module)(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터(motor), 압전 소자(piezoelectric element), 또는 전기 자극 장치(electrical stimulation device) 등을 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지(fuel cell)를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, Wi-Fi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.
무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI, international mobile subscriber identity))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)가 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성 요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고, 신호(예: 명령 또는 데이터)를 상호 간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다.
일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104 또는 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들(102, 104)에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들(102, 104)은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.
도 2는 다양한 실시예에 따른, 오디오 모듈 블록도이다.
도 2를 참조하면, 일 실시예에 따른 오디오 모듈(170)은, 예를 들면, 오디오 입력 인터페이스(210), 오디오 입력 믹서(220), ADC(analog to digital converter)(230), 오디오 신호 처리기(240), DAC(digital to analog converter)(250), 오디오 출력 믹서(260), 또는 오디오 출력 인터페이스(270)를 포함할 수 있다.
오디오 입력 인터페이스(210)는 입력 장치(150)의 일부로서 또는 전자 장치(101)와 별도로 구성된 마이크(예: 다이나믹 마이크, 콘덴서 마이크, 또는 피에조 마이크)를 통하여 전자 장치(101)의 외부로부터 획득한 소리에 대응하는 오디오 신호를 수신할 수 있다. 예를 들어, 오디오 신호가 외부의 전자 장치(102)(예: 헤드셋 또는 마이크)로부터 획득되는 경우, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)와 연결 단자(178)를 통해 직접, 또는 무선 통신 모듈(192)을 통하여 무선으로(예: Bluetooth 통신) 연결되어 오디오 신호를 수신할 수 있다. 일 실시예에 따르면, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)로부터 획득되는 오디오 신호와 관련된 제어 신호(예: 입력 버튼을 통해 수신된 볼륨 조정 신호)를 수신할 수 있다. 오디오 입력 인터페이스(210)는 복수의 오디오 입력 채널들을 포함하고, 상기 복수의 오디오 입력 채널들 중 대응하는 오디오 입력 채널 별로 다른 오디오 신호를 수신할 수 있다. 일 실시예에 따르면, 추가적으로 또는 대체적으로, 오디오 입력 인터페이스(210)는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 오디오 신호를 입력 받을 수 있다.
오디오 입력 믹서(220)는 입력된 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 예를 들어, 일 실시예에 따르면, 오디오 입력 믹서(220)는, 오디오 입력 인터페이스(210)를 통해 입력된 복수의 아날로그 오디오 신호들을 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
ADC(230)는 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다. 예를 들어, 일 실시예에 따르면, ADC(230)는 오디오 입력 인터페이스(210)을 통해 수신된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 입력 믹서(220)를 통해 합성된 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다.
오디오 신호 처리기(240)는 ADC(230)를 통해 입력받은 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 수신된 디지털 오디오 신호에 대하여 다양한 처리를 수행할 수 있다. 예를 들어, 일 실시예에 따르면, 오디오 신호 처리기(240)는 하나 이상의 디지털 오디오 신호들에 대해 샘플링 비율 변경, 하나 이상의 필터 적용, 보간(interpolation) 처리, 전체 또는 일부 주파수 대역의 증폭 또는 감쇄, 잡음 처리(예: 잡음 또는 에코 감쇄), 채널 변경(예: 모노 및 스테레오간 전환), 합성(mixing), 또는 지정된 신호 추출을 수행할 수 있다. 일 실시예에 따르면, 오디오 신호 처리기(240)의 하나 이상의 기능들은 이퀄라이저(equalizer)의 형태로 구현될 수 있다.
DAC(250)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다. 예를 들어, 일 실시예에 따르면, DAC(250)는 오디오 신호 처리기(240)에 의해 처리된 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 획득한 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다.
오디오 출력 믹서(260)는 출력할 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 예를 들어, 일 실시예에 따르면, 오디오 출력 믹서(260)는 DAC(250)를 통해 아날로그로 전환된 오디오 신호 및 다른 아날로그 오디오 신호(예: 오디오 입력 인터페이스(210)을 통해 수신한 아날로그 오디오 신호)를 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
오디오 출력 인터페이스(270)는 DAC(250)를 통해 변환된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 출력 믹서(260)에 의해 합성된 아날로그 오디오 신호를 음향 출력 장치(155)를 통해 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들어, dynamic driver 또는 balanced armature driver 같은 스피커, 또는 리시버를 포함할 수 있다. 일 실시예에 따르면, 음향 출력 장치(155)는 복수의 스피커들을 포함할 수 있다. 이런 경우, 오디오 출력 인터페이스(270)는 상기 복수의 스피커들 중 적어도 일부 스피커들을 통하여 서로 다른 복수의 채널들(예: 스테레오, 또는 5.1채널)을 갖는 오디오 신호를 출력할 수 있다. 일 실시예에 따르면, 오디오 출력 인터페이스(270)는 외부의 전자 장치(102)(예: 외부 스피커 또는 헤드셋)와 연결 단자(178)를 통해 직접, 또는 무선 통신 모듈(192)을 통하여 무선으로 연결되어 오디오 신호를 출력할 수 있다.
일 실시예에 따르면, 오디오 모듈(170)은 오디오 입력 믹서(220) 또는 오디오 출력 믹서(260)를 별도로 구비하지 않고, 오디오 신호 처리기(240)의 적어도 하나의 기능을 이용하여 복수의 디지털 오디오 신호들을 합성하여 적어도 하나의 디지털 오디오 신호를 생성할 수 있다.
일 실시예에 따르면, 오디오 모듈(170)은 오디오 입력 인터페이스(210)를 통해 입력된 아날로그 오디오 신호, 또는 오디오 출력 인터페이스(270)를 통해 출력될 오디오 신호를 증폭할 수 있는 오디오 증폭기(미도시)(예: 스피커 증폭 회로)를 포함할 수 있다. 일 실시예에 따르면, 상기 오디오 증폭기는 오디오 모듈(170)과 별도의 모듈로 구성될 수 있다.
도 3은 다양한 실시예에 따른 제1 전자 장치와 제2 전자 장치의 구성을 나타낸다.
도 3을 참조하면, 일 실시예에 따르면, 제1 전자 장치(304)와 제2 전자 장치(301)는 잡음 제거 신경망 모델을 이용하여 음성 신호를 처리할 수 있다. 예를 들어, 제1 전자 장치(304)는 음성 신호 처리 서버, 잡음 제거 처리 서버, 신경망 모델 학습 및 갱신 장치를 포함할 수 있다. 제2 전자 장치(301)는 스마트 폰, 모바일 전자 장치, 휴대용 전자 장치, 음성 인식 장치 또는 신경망 모델 저장 장치를 포함할 수 있다. 제2 전자 장치(301)는 도 1의 전자 장치(101)의 구성을 포함할 수 있으나, 제1 전자 장치(304)도 도 1의 전자 장치(101)의 구성 일부를 포함할 수도 있다.
일 실시예에 따르면, 제1 전자 장치(304)는, 통신 회로(320), 프로세서(325) 및/또는 메모리(327)을 포함할 수 있다. 제1 전자 장치(304)의 통신 회로(320)는 제2 전자 장치(301)의 통신 회로(310)와 통신할 수 있다. 제1 전자 장치(304)의 통신 회로(320)는 잡음 제거 신경망 모델(331)을 제2 전자 장치(304)로 전송하거나, 제2 전자 장치(301)로부터 전달된 음성 신호를 처리한 후 처리 결과를 제2 전자 장치(301)로 전송할 수 있다. 또 다른 예로, 제2 전자 장치(301)는 잡음 제거 신경망 모델(331)과 관련된 데이터를 메모리(317)에 저장할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(304)의 프로세서(325)는, 음성 신호가 강조된 신호와 음성 신호가 감쇄된 신호 사이의 비선형적인 관계를 모델링하여 입력된 잡음 신호에서 음성의 SNR(signal to noise ratio)을 향상시키도록 학습된 잡음 제거 신경망(예: DNN: deep neural network) 모델(331)을 구축할 수 있다. 프로세서(325)는 학습 모델(332)을 이용하여 잡음 제거 신경망 모델(331)을 학습하고, 잡음 제거 신경망 모델(331)을 업데이트할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(304)의 프로세서(325)는, 데이터 베이스(333)를 기반으로 다채널 음성 입력 신호를 생성할 수 있다. 프로세서(325)는 다채널 음성 입력을 기반으로 N개(예: 2 이상의 정수)의 빔포밍을 수행하여 N개(예: 2개)의 채널 신호를 획득할 수 있다. 제1 전자 장치(304)의 프로세서(325)는 N개(예: 2개)의 채널 간 잡음 크기 차이를 보상하고, 보상된 N개(예: 2개)의 채널 신호를 잡음 제거 신경망 모델의 입력값으로 이용하여 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR(signal-to-noise-ratio)이 향상된 신호를 출력할 수 있다. 예를 들어, 프로세서(325)는 음성 입력 신호에 대해 제1 빔포밍 및 제2 빔포밍을 수행하여 음성 신호가 강조된 제1 채널 신호와, 음성 신호가 감쇄된 제2 채널 신호를 형성하고, 제1 채널 신호와 제2 채널 신호와 채널 간 잡음 크기 차이를 보상한 후, 잡음 제거 신경망 모델의 입력값으로 이용할 수 있다. 일 예를 들어, 잡음 크기 차이가 보상된 제2 채널 신호는 제3 채널 신호로 이해될 수 있다.
일 실시 예에 따르면, 제1 전자 장치(304)의 메모리(327)는, 잡음 제거 신경망 모델(331), 학습 모델(332) 및 데이터 베이스(333)를 포함할 수 있다. 일 실시 예에 따르면, 잡음 제거 신경망 모델(331)은, 입력 계층과 출력 계층 사이에 복수개의 은닉 계층(hidden layer)들로 이루어진 인공신경망으로, 복잡한 비선형 관계들을 모델링 할 수 있다. 잡음 제거 신경망 모델(331)은 음성 입력의 특징 벡터를 기반으로 학습 모델을 통해 도출된 잡음 제거 이득 계수를 활용하여 잡음 신호 대비 음성의 SNR이 향상된 신호 또는 잡음이 제거된 음성 신호를 출력할 수 있다.
다양한 실시 예에 따르면, 잡음 제거 신경망 모델은 CNN(convolutional neural network), RNN(recurrent neural network), 또는 DNN(deep neural network) 중 적어도 하나에 기반한 신경망 모델을 포함할 수 있다. 일 실시 예에 따르면, 학습 모델(332)은 잡음 제거 신경망 모델(331)을 트레이닝 하도록 구현된 모델일 수 있다. 학습 모델(332)은, 적어도 2개 이상의 채널에 대응하는 입력 특징을 입력 벡터로 이용하여 회기(regression) 학습을 통하여 최적 이득(optimal gain)을 추정하고, 목표 특징 벡터를 신경망의 목적 함수로 하여 잡음 제거 차이를 최소화하는 방향으로 신경망의 학습이 진행될 수 있다. 프로세서(325)는 학습 모델(332)의 학습 결과를 기반으로 잡음 제거 신경망 모델(331)을 업데이트(update)할 수 있다. 일 실시예에 따르면, 프로세서(325)는 업데이트된 잡음 제거 신경망 모델(331) 또는 업데이트 관련 데이터를 제2 전자 장치(301)로 전달할 수 있다.
일 실시 예에 따르면, 데이터 베이스(333)는 잡음 제거 신경망 모델(331) 및 학습 모델(332)을 구현하기 위한 데이터를 저장할 수 있다. 일 예를 들어, 데이터 베이스(333)는 음성 신호 데이터베이스, 2채널 IR 데이터 베이스 및 잡음 신호 데이터를 포함할 수 있다.
일 실시예에 따른 제2 전자 장치(301)는, 통신 회로(310), 마이크(311), 프로세서(315) 및/또는 메모리(317)를 포함할 수 있다.
제2 전자 장치(301)의 통신 회로(310)는 제1 전자 장치(304)와 통신할 수 있다. 일 예를 들어, 통신 회로(310)는 제1 전자 장치(304)로부터 잡음 제거 신경망 모델(331) 또는 업데이트된 잡음 제거 신경망 모델(331)을 수신할 수 있다. 다른 예를 들어, 통신 회로(310)는 메모리(317)에 저장된 잡음 제거 신경망 모델(319)의 업데이트 정보를 수신할 수 있다. 제2 전자 장치(301)는 전자 장치(304)로부터 수신된 잡음 제거 신경망 모델을 메모리(317)에 저장할 수 있다.
제2 전자 장치(301)는 마이크(311)를 통해 오디오 신호를 획득할 수 있다. 제2 전자 장치(301)는 복수 개의 마이크들을 포함할 수 있으며, 각각의 마이크를 통해 다채널로 오디오 신호를 획득할 수 있다.
제2 전자 장치(301)의 메모리(317)는 잡음 제거 신경망 모델(319)을 저장할 수 있다. 일 실시예에 따르면, 제2 전자 장치(301)의 메모리(317)에 저장된 잡음 제거 신경망 모델(319)은 제1 전자 장치(304)의 메모리(327)에 저장된 잡음 제거 심경망 모델(331)과 동일한 모델이거나 상이한 모델일 수 있다.
일 실시 예에 따르면, 제2 전자 장치(301)의 프로세서(315)는, 잡음 제거 신경망 모델을 이용하여 음성 입력에 대해 잡음 신호 대비 음성의 SNR이 향상된 신호 또는 잡음이 제거된 음성 신호를 출력할 수 있다. 프로세서(315)는 마이크(311)를 통해 획득한 오디오 신호를 기반으로 N개의 빔포밍을 수행하고, N개의 채널 신호를 잡음 제거 신경망 모델의 입력값을 이용할 수 있다. 예를 들어, 프로세서(315)는 2개의 마이크로부터 획득한 2개의 오디오 신호를 획득할 수 있다.
일 실시 예에 따르면, 제2 전자 장치(301)의 프로세서(315)는 다채널 오디오 신호를 기반으로 N개의 빔포밍을 수행하여 N개의 채널 신호를 획득할 수 있다. 일 예를 들어, 프로세서(315)는 다채널 오디오 신호에 대해 제1 빔포밍 및 제2 빔포밍을 수행하여 음성 신호가 강조된 제1 채널 신호와, 음성 신호가 감쇄된 제2 채널 신호를 형성하고, 제1 채널 신호와 제2 채널 신호와 채널 간 잡음 크기 차이를 보상할 수 있다. 예를 들어, 잡음 크기 차이가 보상된 제2 채널 신호는 제3 채널 신호로 이해될 수 있다. 프로세서(315)는 제1 채널 신호와 제3 채널 신호를 잡음 제거 신경망 모델의 입력값으로 이용하여 잡음이 제거된 음성 신호 잡음 신호 대비 음성의 SNR(signal-to-noise-ratio)이 향상된 신호를 출력할 수 있다. 이하, 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호는 신경망 출력 신호로 이해될 수 있다.
일 실시 예에 따르면, 제2 전자 장치(301)의 프로세서(315)는 신경망 출력 신호와 잡음 제거 신경망 모델의 입력값으로 이용된 제1 채널 신호를 를 비교하여 음성 왜곡 차이를 보상할 수 있다. 예를 들어, 프로세서(315)는 신경망 출력 신호를 기반으로 유음 구간과 잡음 제거량의 평균값을 추정하고, 무음 구간의 잡음 제거량을 유음 구간의 잡음 제거량만큼 감소시켜 잡음 제거량이 균일해지도록 처리할 수 있다.
도 4는 다양한 실시예에 따른 제1 전자 장치의 블록도를 도시한다. 도 4에 도시된 블록은 프로그램 모듈을 나타내며, 프로그램 모듈은 도 3에 도시된 제1 전자 장치(304)의 메모리(327)에 저장될 수 있고, 또는 프로세서(325)에 의해 실행될 수 있다. 도 4의 블록도는 설명의 편의를 위하여 블록으로 구분하였으며, 이에 한정하는 것은 아니다. 도 4에 도시된 제1 전자 장치(304)는 신경망 모델을 구축하고 신경망 모델을 학습하여 갱신하는 전자 장치(예: 서버) 일 수 있다.
도 4를 참조하면, 일 실시예에 따르면, 도 3에 도시된 제1 전자 장치(304)의 프로세서(325)는 프로그램 모듈을 이용하여 잡음 제거 신경망 모델을 학습하고, 잡음 제거 신경망 모델을 업데이트할 수 있다. 도 3에 도시된 데이터 베이스(333)는 도 4의 음성 데이터베이스(401), 다채널 IR(impulse response) 데이터 베이스(402) 및/또는 다채널 잡음 데이터 베이스(403)를 포함할 수 있다.
일 실시 예에 따르면, 음성 데이터 베이스(401)는 단일 채널(Mono channel)에서 획득한 잡음이 없는 음성 정보를 포함할 수 있다. 다채널 IR 데이터 베이스(402)는 음성 발화 지점과 마이크 사이의 공간적인 정보, 상관 관계(예: 연산값)를 저장할 수 있다. 다채널 잡음 데이터 베이스(403)는 다채널(예: 2 개의 마이크)을 통해 획득한 잡음 정보 또는 단일 채널로부터 추정된 다채널 잡음 정보를 포함할 수 있다. 예를 들어, 다채널 잡음 정보는, 제1 잡음과 제2 잡음을 포함할 수 있다. 제1 잡음은 제1 위치에서 측정된 잡음 신호 또는 제1 마이크에서 획득한 잡음 신호 일 수 있으며, 제2 잡음은 제2 위치에서 측정된 신호 또는 제2 마이크에서 획득한 잡음 신호일 수 있다.
일 실시 예에 따르면, 다채널 합성부(420)는 음성 데이터 베이스(401)에 저장된 음성 정보와 다채널 IR 데이터 베이스(402)에 저장된 IR 연산값을 이용하여 IR의 공간적인 특징이 반영된 다채널 음성 신호를 생성할 수 있다. 예를 들어, 다채널 음성 신호는 제1 음성과 제2 음성을 포함 할 수 있다. 제1 음성은 제1 위치에서 측정된 신호 또는 제1 마이크에서 획득한 음성 신호 일 수 있으며, 제2 음성은 제2 위치에서 측정된 신호 또는 제2 마이크에서 획득한 음성 신호일 수 있다.
다른 실시예에 따르면, 제1 전자 장치(304)는 두 개의 마이크를 구비한 제2 전자 장치(301)에서 녹음된 음성 신호 또는 잡음 신호를 활용하여 다채널 잡음 신호 또는 다채널 음성 신호를 추정하고, 음성 데이터 베이스(401) 및 다채널 잡음 데이터 베이스(402)를 구현할 수 있다.
일 실시 예에 따르면, 제1 빔포머(430)는 다채널 합성부(420)으로부터 수신된 다채널 음성 신호와 다채널 잡음 데이터베이스(403)로부터 수신된 다채널 잡음 신호를 빔포밍하여 제1 채널 신호(X1=S1+N1)를 출력할 수 있다. 일 예를 들어, 제1 빔포머(430)는 화자 방향 조종(steering) 빔포머일 수 있다. 제1 빔포머(430)는 N개의 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 제1 채널 신호(X1=S1+N1)를 출력할 수 있다. 일 실시예에 따르면, 제1 채널 신호는 제1 음성 신호(S1)와 제1 잡음 신호(N1)가 포함된 것으로 추정할 수 있다. 예를 들어, 제1 채널 신호(X1=S1+N1)는 제2 채널 신호(X2=S2+N2)와 비교하여 SNR(signal-to-noise-ratio)이 큰 신호일 수 있다.
일 실시 예에 따르면, 제2 빔포머(435)는 다채널 합성부(420)으로부터 수신된 다채널 음성 신호와 다채널 잡음 데이터베이스(403)로부터 수신된 다채널 잡음 신호를 빔포밍하여 제2 채널 신호(X2=S2+N2)를 출력할 수 있다. 일 예를 들어, 제2 빔포머(435)는 널 조정(Null steering) 빔포머일 수 있다. 제2 빔포머(435)는 N개의 음성 도착시간 차이와 잡음 감쇄율을 이용하여 화자의 음성이 감쇄된 제2 채널 신호(X2=S2+N2)를 출력할 수 있다. = 제2 채널 신호(X2=S2+N2)는 제2 음성 신호(S2)와 제2 잡음 신호(N2)가 포함된 것으로 추정할 수 있다. 예를 들어 제2 채널 신호(X2=S2+N2)는 제1 채널 신호(X1=S1+N1)와 비교하여 SNR(signal-to-noise-ratio)이 작은 신호일 수 있다. 일 예를 들어, 제2 음성 신호(S2)의 크기는 제1 음성 신호(S1)의 크기보다 작을 수 있다.
일 실시 예에 따르면, 채널 차이 보상부(440)는, 제1 잡음 신호(N1)와 제2 잡음 신호(N2)를 기반으로 채널 간 잡음 크기 차이를 계산할 수 있다. 채널 차이 보상부(440)는 채널 간 잡음 크기 차이를 기반으로 보상값(d)을 추정하고, 제2 채널 신호(X2=S2+N2)에 보상값(d)이 적용된 제3 채널 신호(X3=S3+N3)로 변환할 수 있다. 예를 들어, 제3 채널 신호(X3)의 잡음 신호(N3)는 제2 채널 신호(X2)의 잡음 신호(N2)가 보상값(d)만큼 보상된 신호일 수 있다. 제3 음성 신호(S3)는, 예를 들어, 제2 음성 신호(S2)와 실질적으로 동일할 수 있다.
일 실시예에 따르면, 채널 차이 보상부(440)는 제1 채널 신호(X1)와 제2 채널 신호(X2) 에서 무음 구간(예: 음성이 없는 주파수 영역)을 확인하고, 무음 구간에서 에서 채널 간 잡음 크기 차이를 계산할 수 있다. 채널 차이 보상부(440)는 잡음 크기 차이의 평균값을 추정하고, 평균값에 대응하는 보상값을 적용할 수 있다.
일 실시 예에 따르면, 특징 추출부(450)는 제1 빔포머(430)로부터 획득한 제1 채널 신호(X1)와 채널 차이 보상부(440)로부터 보상값이 반영된 제3 채널 신호(X3)를 기반으로 특징 벡터를 추출할 수 있다. 특징 추출부(450)는 추출된 특징 벡터를 신경망 모델 또는 학습 모델에 전송할 수 있다. 특징 벡터는, 예를 들어 잡음 제거 신경망 모델(470)을 학습하기 위한 목표 특징값 및 신경망 입력 특징값 중 적어도 하나를 포함할 수 있다.
일 예를 들어, 특징 추출부(450)는 STFT 로 변환된 주파수 신호를 이용하여 정규화된 특징 벡터(예: normalized log-spectral magnitude, normalized MFCC, normalized LPC, 또는 normalized LP residual)를 추출할 수 있다.
일 실시예에 따르면, 특징 추출부(450)는 제1 채널 신호(X1)와 제3 채널 신호(X3)를 합성하고, 합성된 신호로부터 입력 특징값을 추출할 수 있다. 입력 특징값은 예를 들어, 음성 메인 채널로 입력되는 값과, 잡음 기준 채널로 입력되는 값을 포함할 수 있다.
예를 들어, 음성 메인 채널로 입력되는 값은, 제1 잡음 신호(N1)에 제1 변수(예: gi)를 곱한 신호와 제1 음성 신호(S1)를 플러스한 값(예: S1+gi*N1 = CH1)을 포함할 수 있다. 잡음 기준 채널로 입력되는 값은 보상된 제2 잡음 신호(N3)에 제1 변수(예: gi)를 곱한 신호와 제2 음성 신호(S1)를 플러스한 값(예: S2+gi*N3 =CH 2))을 포함할 수 있다. 예를 들어, gi 는 잡음이 포함된 음성 신호의 SNR을 결정하기 위한 변수 일 수 있다. 학습 모델(460)에 적용되는 gi 는 대략 -10dB~30dB 범위의 SNR 신호를 사용할 수 있으나, 이에 한정하는 것은 아니다.
일 실시예에 따르면, 특징 추출부(450)는 입력 특징값 중 음성 메인 채널로 입력되는 값에서 SNR이 향상된 신호를 목표 특징값을 추출할 수 있다. 예를 들어, 목표 특징값은, 보상된 제2 잡음 신호(N3)에 제2 변수(예: go 를 곱한 신호와 제1 음성 신호(S1)를 플러스한 값(예: S1+go*N3= target))을 포함할 수 있다. 예를 들어, go는 gi보다 작은 값으로 셋팅되며 타겟의 신호대비 잡음비율(SNRI)에 따라 변경될 수 있다.
일 실시 예에 따르면, 학습 모델(460)은, 잡음 제거 신경망 모델(470)을 트레이닝하도록 구현된 모델일 수 있다. 학습 모델(460)은, 두 채널로 입력된 특징 벡터(예: 메인 채널로 입력되는 값과, 잡음 기준 채널로 입력되는 값)를 입력값으로 이용하며, 회기(regression) 학습을 통하여 연속적인 최적 이득(optimal gain)을 추정하고, 목표 특징 벡터(예: 목표 특징값, label)를 신경망의 목적 함수로 잡음 제거 이득 차이를 최소화하는 방향으로 신경망의 학습이 진행될 수 있다. 학습 모델(460)은 학습 결과를 기반으로 잡음 제거 신경망 모델(470)을 갱신할 수 있다.
일 예를 들어, 학습 모델(460)은 입력과 출력 쌍으로 구성되는 학습 데이터(training data)에 의해 입력 특징으로부터 출력 특징을 도출하기 위한 잡음 제거 규칙, 잡음 제거 함수, 또는 잡음 제거 이득계수 중 적어도 하나를 발견하는 것을 목표로 하며, 음성 신호와 잡음 신호로부터 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호를 출력하도록 학습할 수 있다.
잡음 제거 신경망 모델(470)은, 음성 입력에 대해 학습 모델을 통해 구현된 잡음 제거 이득 계수를 이용하여 잡음이 제거된 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호(예: 신경망 출력 신호)를 출력할 수 있다.
도 5a 및 도 5b는 다양한 실시예에 따른 제1 전자 장치에서 잡음 제거 신경망 모델을 학습하는 방법을 도시한다. 도 5는 도 3에 도시된 제1 전자 장치(304)의 동작 흐름도이다.
도 5a 및 도 5b 를 참조하면, 일 실시예에 따르면, 도 3에 도시된 제1 전자 장치(304)의 프로세서(325)는 510동작에서, 다채널 음성 신호를 획득할 수 있다. 일 예를 들어, 프로세서(325)는 데이터 베이스를 통해 공간 정보 차이가 반영된 적어도 2 이상의 음성 신호를 획득할 수 있다.
520 동작에서, 프로세서(325)는 다채널 음성 신호에 대해 제1 빔포머를 기반으로 제1 채널 신호를 출력할 수 있다. 제1 채널 신호는 적어도 2개 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 제1 채널 신호(X1=S1+N1)일 수 있다.
525 동작에서, 프로세서(325)는, N 채널 음성 신호에 대해 제2 빔포머를 기반으로 제2 채널 신호를 출력할 수 있다. 제2 채널 신호는 적어도 2개의 음성 도착시간 차이와 잡음 감쇄율을 이용하여 화자의 음성이 감쇄된 제2 채널 신호(X2=S2+N2)일 수 있다. 일 예를 들어, 520 동작 및 525 동작은 순차적 또는 병렬적으로 수행될 수 있다.
일 실시예에 따르면, 제1 채널 신호 및 제2 채널 신호는 2개 이상 마이크를 가진 전자 장치에서 마이크 간 음성 파워가 차이나도록 녹음한 음성 파워가 가장 큰 신호를 음성신호 S1으로, 음성 파워가 가장 작은 신호를 음성 신호S2로 구현하고, 잡음신호N1과 잡음신호N2 또한 2개 이상의 마이크로 직접 녹음한 신호를 기반으로 구현할 수도 있다.
530 동작에서 프로세서(325)는, 제1 채널 신호의 잡음 신호(N1)와 제2 채널 신호의 잡음 신호(N2)의 크기 차이를 계산할 수 있다. 예를 들어, 프로세서(325)는 무음 구간을 확인하여 제1 채널 신호로부터 제1 잡음 신호의 크기를 추정하고, 제2 채널 신호로부터 제2 잡음 신호의 크기를 추정할 수 있다.
540 동작에서, 프로세서(325)는, 제1 잡음 신호(N1)와 제2 잡음 신호(N2)의 크기 차이를 기반으로 보상값을 추정하고 제2 잡음신호(N2)에 보상값(d)을 적용할 수 있다. 보상값은 주파수 보상(예: 진폭 변경)을 위한 값으로 이해될 수 있다. 예를 들어, 보상값이 적용된 제2 채널 신호(X2)는 제3 채널 신호(X3= S3+N3)로 이해될 수 있다. 제3 음성 신호(S3)는, 예를 들어, 제2 음성 신호(S2)와 실질적으로 동일할 수 있다. 550 동작에서, 프로세서(325)는 잡음 신호가 보상된 제3 채널 신호(X3) 및 제1 채널 신호(X1)를 기반으로 잡음 제거 신경망 모델을 학습할 수 있다. 예를 들어, 프로세서는 잡음 신호가 보상된 제3 채널 신호(X3) 및 제1 채널 신호(X1)를 기반으로 특징 벡터를 추출하고, 특징 벡터를 학습 모델에 입력하여 잡음 제거 신경망 모델을 학습할 수 있다. 특징 벡터는 예를 들어, 입력특징값(예: 메인 채널로 입력되는 값과, 잡음 기준 채널로 입력되는 값), 또는 목표 특징값을 포함할 수 있다. 560 동작에서, 프로세서(325)는 잡음 제거 신경망 모델을 학습하여 도출된 이득 계수를 잡음 제거 신경망 모델에 업데이트할 수 있다. 일 실시예에 따르면, 전자 장치(304)의 프로세서(325)는 도 5의 동작들에 추가적으로 무음 구간에서 두 채널간 잡음 크기 차이들의 평균값을 추정하고, 평균값을 기반으로 제2 채널 신호를 보상할 수 있다.
다른 실시예에 따르면, 프로세서(325)는 도 5의 520 동작 및 525 동작을 수행하고, A 동작을 진행할 수도 있다. 프로세서(325)는 531 동작에서, 제1 채널 신호(X1)의 무음 구간을 확인할 수 있다. 532 동작에서, 프로세서(325)는 제2 채널 신호(X2)의 무음 구간을 확인할 수 있다. 일 예를 들어, 531 동작 및 532동작은 순차적 또는 병렬적으로 수행될 수 있다. 일 실시예에 따르면, 프로세서(325)는 제1 채널 신호(X1)과 제2 채널 신호(X2)와 관련하여 후처리부(미도시)로부터 무음 구간과 유음 구간에 대한 주파수 정보를 수신하고, 이를 기반으로 무음 구간을 확인할 수 있다.
535 동작에서, 프로세서(325)는 무음 구간의 제1 채널 신호(X1)와 무음 구간의 제2 채널 신호(X2)의 출력 크기 차이를 추정할 수 있다. 예를 들어, 무음 구간의 경우 음성이 없는 구간을 의미하므로, 무음 구간 사이의 출력 차이는 잡음 신호 크기의 차이로 이해될 수 있다.
537 동작에서, 프로세(325)서는 무음 구간의 출력 크기 차이들을 기반으로 평균값을 추정할 수 있다.
545 동작에서 프로세서(325)는 평균값을 기반으로 제2 채널 신호(X2)의 잡음 신호가 제1 채널 신호(X1)의 잡음 크기와 유사해지도록 주파수 보상할 수 있다. 예를 들어, 프로세서(325)는 주파수 진폭을 평균값에 대응하여 일정 비율로 조절하여 주파수 보상할 수 있다. 프로세서(325)는 잡음신호가 보상된 제3 채널 신호(X3) 및 제1 채널 신호(X1)를 기반으로 잡음 제거 신경망 모델을 학습하기 위해 B동작으로 진행할 수 있다.
다양한 실시예에 따르면, 전자 장치(예: 도 3의 제1 전자 장치(304))는 잡음 제거 신경망 모델(예: 도 3의 잡음 제거 신경망 모델(331)) 및 상기 잡음 제거 신경망 모델에 활용되는 데이터를 저장하도록 구성된 메모리(예: 도 3의 메모리((327))와, 상기 메모리와 전기적으로 연결되는 프로세서(예: 도 3의 프로세서(325))를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 다채널 음성 신호에 대해 제1 빔포머를 기반으로 제1 채널 신호를 출력하고, 제2 빔포머를 기반으로 제2 채널 신호를 출력하고, 상기 제1 채널 신호의 잡음 크기와 상기 제2 채널 신호의 잡음 크기 차이를 보상한 제 3채널 신호를 생성하고, 상기 잡음 크기 차이가 보상된 제3 채널 신호 및 상기 제1 채널 신호를 입력값으로 이용하여 상기 잡음 제거 신경망 모델을 학습하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 상기 메모리(327)는, 실행 시에, 상기 프로세서(325)가, 상기 다채널 음성 신호를 입력 받아 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR(signal-to-noise-ratio)이 향상된 신호를 출력하는 상기 잡음 제거 신경망 모델을 구축하고, 상기 잡음 제거 신경망 모델을 학습하여 도출된 잡음 제거 규칙, 잡음 제거 함수, 잡음 제거 이득계수 중 적어도 하나를 상기 잡음 제거 신경망 모델에 업데이트하도록 설정된 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따른 전자 장치(304)는 통신 회로(예: 도 3의 통신 회로(320))를 더 포함하고, 상기 메모리(327)는, 실행 시에, 상기 프로세서(325)가, 상기 다채널 잡음 신경망 모델 및 업데이트된 다채널 잡음 신경망 모델, 다채널 잡음 신경망 모델의 업데이트 정보를 상기 통신 회로를 통해 외부 전자 장치로 송신하도록 설정된 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 상기 제1 채널 신호는 다채널 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 신호를 포함하고, 상기 제2 채널 신호는 화자의 음성이 감쇄된 신호를 포함할 수 있다.
다양한 실시예에 따르면, 상기 메모리(327)는, 실행 시에, 상기 프로세서(325)가, 상기 제1 채널 신호 및 제2 채널 신호로부터 음성 구간과 무음 구간을 확인하고, 상기 제1 채널 신호의 무음 구간과 상기 제2 채널 신호의 무음 구간의 출력 크기 차이를 비교하여 상기 잡음 크기 차이를 계산하도록 설정된 인스트럭션들을 더 저장할 수 있다.
다양한 실시예에 따르면, 상기 메모리(327)는, 실행 시에, 상기 프로세서(325)가, 상기 무음 구간의 제1 채널 신호와 상기 무음 구간의 제2 채널 신호를 기반으로 출력 크기 차이의 평균값을 추정하고, 상기 평균값에 대응하는 보상값으로 상기 제2 채널 신호의 잡음 신호를 주파수 보상하여 상기 제3 채널 신호를 생성하도록 설정된 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 상기 메모리(327)는, 실행 시에, 상기 프로세서(325)가, 상기 제3 채널 신호 및 제1 채널 신호를 기반으로 특징 벡터를 추출하고, 상기 잡음 제거 신경망 모델을 학습하기 위한 입력값으로 상기 특징 벡터를 입력하고, 상기 특징 벡터는 음성 메인 채널로 입력되는 제1 특징값과, 잡음 기준 채널로 입력되는 제2 특징값 및 제1 특징값에서 SNR(signal-to-noise-ratio)이 향상되는 제3 특징값을 포함할 수 있다.
다양한 실시예에 따르면, 상기 메모리(327)는, 실행 시에, 상기 프로세서(325)가, 상기 제1 특징값과 상기 제2 특징값을 입력 변수로 지정하고, 상기 제3 특징값을 출력 변수로 지정하고, 학습 데이터를 기반으로 잡음 제거 규칙, 잡음 제거 함수, 잡음 제거 이득계수 중 적어도 하나를 도출하기 위해 상기 잡음 제거 신경망 모델을 학습하도록 설정된 인스트럭션들을 저장할 수 있다.
도 6은 일 실시예에 따른 제2 전자 장치의 블록도를 도시한다. 도 6에 도시된 블록은 프로그램 모듈을 나타내며, 프로그램 모듈은 도 3에 도시된 제2전자 장치(301)의 메모리(317)에 저장될 수 있고, 또는 프로세서(315)에 의해 실행될 수 있다. 도 6의 블록도는 설명의 편의를 위하여 블록으로 구분하였으며, 이에 한정하는 것은 아니다. 도 6에 도시된 제2 전자 장치(301)는 적어도 둘 이상의 마이크를 통해 오디오 신호를 수신하고, 수신된 오디오 신호에서 잡음 신호를 감쇄(또는 제거)시키는 전자 장치(예: 휴대용 전자 장치, 또는 스마트 폰)일 수 있다.
도 6을 참조하면, 일 실시예에 따르면, 도 3에 도시된 제2 전자 장치(301)는 STFT(710), 제1 빔포머(620), 제2 빔포머(625), 채널 차이 보상부(630), 잡음 제거 신경망 모델(640), 신경망 출력 보상부(650), 후처리(660) 및/또는 ISTFT(670)를 포함할 수 있다. 잡음 제거 신경망 모델(740)은 도 4에 도시된 제1 전자 장치(304)에 의해 갱신된 신경망 모델일 수 있다.
STFT(short time fourier transform)(610)는 오디오 신호를 수신할 수 있다. 일 예를 들어, 오디오 신호는 적어도 하나의 마이크로부터 수신될 수 있다. 다른 예를 들어, 오디오 신호는 제1 마이크 또는 제2 마이크를 통해 다채널로 수신될 수 있다.
일 실시예에 따르면, STFT(610)은 제1 마이크 및 제2 마이크로부터 오디오 신호를 입력 받아 STFT(Short Time Fourier Transform)하여 시간-주파수 영역의 혼합 신호들로 출력할 수 있다. STFT(610)는 출력된 다채널 신호를 제1 빔포머 및 제2 빔포머로 전달할 수 있다.
일 실시 예에 따르면, 제1 빔포머(620)는 STFT(610)는 출력된 다채널 신호를 빔포밍하여 제1 채널 신호(X1=S1+N1)를 출력할 수 있다. 일 예를 들어, 제1 빔포머(620)는 화자 방향 조종(steering) 빔포머일 수 있다. 제1 빔포머(620)은 다채널 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 제1 채널 신호(X1=S1+N1)를 출력할 수 있다. 제1 채널 신호(X1)는 제1 음성 신호(S1)와 제1 잡음 신호(N1)를 포함하는 것으로 추정할 수 있다.
일 실시 예에 따르면, 제2 빔포머(625)는 STFT(610)는 출력된 다채널 신호를 빔포밍하여 제2 채널 신호(X2=S2+N2)를 출력할 수 있다. 일 예를 들어, 제2 빔포머(625)는 널 조정(Null steering) 빔포머일 수 있다. 제2 빔포머(625)는 다채널 음성 도착시간 차이와 잡음 감쇄율을 이용하여 화자의 음성이 감쇄된 제2 채널 신호(X2=S2+N2)를 출력할 수 있다. 제2 채널 신호(X2)는 제2 음성 신호(S2)와 제2 잡음 신호(N2)를 포함한 것으로추정할 수 있다. 일 예를 들어, 제2 음성 신호(S2)의 크기는 제1 음성 신호(S1)의 크기보다 작을 수 있다.
일 실시 예에 따르면, 채널 차이 보상부(630)는, 제1 잡음 신호(N1)와 제2 잡음 신호(N2)를 기반으로 채널 간 잡음 크기 차이를 계산할 수 있다. 채널 차이 보상부(630)는 채널 간 잡음 크기 차이를 기반으로 보상값(d)을 추정하고, 제2 채널 신호(X2)에 보상값이 적용된 제3 채널 신호(X3)로 변환할 수 있다. 제3 채널 신호(X3)의 잡음 신호(N3)는 제2 채널 신호(X2)의 잡음 신호(N2)가 보상값(d)만큼 보상된 신호일 수 있다.
일 실시예에 따르면, 채널 차이 보상부(630)는 제1 채널 신호(X1)과 제2 채널 신호(X2) 에서 무음 구간(예: 음성이 없는 주파수 영역)을 확인하고, 무음 구간에서 에서 채널 간 잡음 크기 차이를 계산하고, 잡음 크기 차이의 평균값을 추정하고, 잡음 크기 차이의 평균값에 대응하는 보상값을 적용할 수 있다.
일 실시예에 따르면, 채널 차이 보상부(630)는 제1 채널 신호(X1)과 제2 채널 신호(X2)의 무음 구간과 유음 구간에 대한 주파수 정보를 후처리부(660)로부터 수신하고, 이를 기반으로 무음 구간을 확인할 수 있다.
잡음 제거 신경망 모델(640)은, 제1 빔포머(620)로부터 획득한 제1 채널 신호(X1)와 채널 차이 보상부(630)로부터 보상값이 반영된 제3 채널 신호(X3)를 입력 받아 잡음 제거 이득 계수를 이용하여 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호(Z(k))(예: 신경망 출력 신호)를 출력할 수 있다. 이하, 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호(Z(k))와 신경망 출력 신호는 실질적으로 동일한 신호일 수 있다.
잡음 제거 신경망 모델(640)은, 예를 들어, 도 4에 도시된 채널 차이 보상부(440) 및 학습 모델(460)을 통해 채널 간 잡음 크기 차이를 보상한 입력 특징으로 학습된 잡음 제거 신경망 모델(470)일 수 잇다.
일 실시예에 따르면, 잡음 제거 신경망 모델(640)은, 제1 빔포머(620)로부터 전달된 제1 채널 신호(X1)가 음성 메인 채널로 입력되고, 채널 차이 보상부(440)로부터 보상값이 반영된 제3 채널 신호(X3)를 잡음 기준 채널로 활용되어 제1 채널 신호(X1)의 SNR이 향상되도록 학습된 잡음 제거 신경망 모델일 수 있다.
잡음 제거 신경망 모델(640)은 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호(Z(k)) 예컨대, 신경망 출력 신호를 신경망 출력 보상부(650)로 전달할 수 있다.
일 실시 예에 따르면, 신경망 출력 보상부(650)는, 제1 채널 신호(X1)의 유음 구간 및 제2 채널 신호(X2)의 유음 구간을 확인할 수 있다. 신경망 출력 보상부(650)는 유음 구간의 제1 채널 신호(X1)와 신경망 출력 신호 비교하여 신호 차이에 대한 평균값을 추정하고, 평균값을 기반으로 음성 왜곡이 보상되도록 신경망 출력 신호를 처리할 수 있다. 일 예를 들어, 신경망 기반으로 출력 신호는 도 7에 도시된 바와 같이, 잡음만 존재하는 구간(a)의 제거량과 유음이 존재하는 구간(b)에서의 잡음 제거량의 크기 차이가 발생된 것을 확인할 수 있다.
일 실시 예에 따르면, 신경망 출력 보상부(650)는 제2 채널 신호(X2)에 대해 유음 구간의 잡음 제거량과 무음 구간의 잡음 제거량을 비교하여 잡음 제거량의 평균을 추정하고, 잡음 제거량이 균일화되도록 신경망 출력 신호를 처리할 수 있다.
일 실시 예에 따르면, 신경망 출력 보상부(650)는 제2 채널 신호(X2)에서 잡음만 존재하는 무음 구간에서의 잡음 제거량을 음성이 존재하는 유음 구간에서의 잡음 제거량만큼 감소하도록 보상하여 잡음 제거량이 균일해지도록 처리할 수 있다. 신경망 출력 보상부(650)는 무음 구간의 주파수 성분에서 잡음 제거량을 추정하고, 유음 구간의 잡음제거량을 추정할 수 있다.
일 실시 예에 따르면, 후처리(post-processing) (660)는 신경망 출력이 보상된 신호((Z(k) + α)에 대한 잔여 잡음을 제거할 수 있다. 후처리(660)은 신경망 출력이 보상된 신호((Z(k) + α)와 제2 빔포머의 출력 신호(예: 제2 채널 신호(X2)를 비교하여 두 신호에 대한 SNR 차이 정보를 이용하여 잔여 잡음을 제거할 수 이다. 후처리(660)는 잔여 잡음을 제거한 신호를 ISTFF로 출력할 수 있다.
일 실시 예에 따르면, 후처리(660)는 주파수 성분을 기반으로 유음 구간과 무음 구간을 판별하고 유음 구간과 무음 구간에 대한 주파수 정보를 채널 차이 보상부(630) 또는 신경망 출력 보상부(650)로 전달할 수 있다.
일 실시 예에 따르면, ISTFT (inverse short time fourier transformer)(670)는 잔여 잡음을 제거한 신호를 입력받아 ISTFT(inverse short time fourier transform)하여 시간 영역의 음원 신호로 복원하여 출력할 수 있다.
도 8 및 도 9는 다양한 실시예에 따른 제2 전자 장치에서 잡음을 제거하는 방법을 도시한다. 도 8및 도 9는 도 7에 도시된 제2 전자 장치(301)의 동작 흐름도이다. 일 실시예에 따르면, 도 8의 동작은 잡음 제거를 위해 신경망 입력 보상 방법을 나타내며, 도 9의 동작은 잡음 제거를 위해 신경망 출력 보상 방법을 나타낼 수 있다.
도 8 및 도 9를 참조하면, 일 실시예에 따르면, 제2 전자 장치(301)의 프로세서(315)는 810 동작에서, 마이크(311)로부터 오디오 입력 수신할 수 있다. 예를 들어, 오디오 신호는 다채널 적어도 2개의 마이크(311)를 통해 입력된 다채널 오디오 신호일 수 있다.
820 동작에서, 프로세서(315)는 다채널 음성 신호에 대해 제1 빔포머(620)를 기반으로 제1 채널 신호를 출력할 수 있다. 제1 채널 신호는 다채널 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 제1 채널 신호(X1=S1+N1)일 수 있다. 제1 채널 신호(X1=S1+N1)는 제1 음성 신호(S1)와 제2 잡음 신호(N1)가 포함된 것으로 추정할 수 있다.
825 동작에서, 프로세서(315)는, 다채널 음성 신호에 대해 제2 빔포머(625)를 기반으로 제2 채널 신호를 출력할 수 있다. 제2 채널 신호는 다채널 음성 도착시간 차이와 잡음 감쇄율을 이용하여 화자의 음성이 감쇄된 제2 채널 신호(X2=S2+N2)일 수 있다. 제2 채널 신호(X2=S2+N2)는 제2 음성 신호(S2)와 제2 잡음 신호(N2)가 포함된 것으로 추정할 수 있다. 일 예를 들어, 820 동작 및 825 동작은 순차적 또는 병렬적으로 수행될 수 있다.
830 동작에서 프로세서(315)는, 제1 채널 신호(X1)의 잡음 신호(N1)와 제2 채널 신호(X2)의 잡음 신호(N2) 크기 차이를 계산할 수 있다. 예를 들어, 프로세서(315)는 제1 채널 신호(X1)의 무음 구간과 제2 채널 신호(X2)의 무음 구간의 출력 크기 차이를 비교하여 잡음 크기 차이를 계산 또는 추정할 수 있다.
840 동작에서, 프로세서(315)는, 제1 잡음 신호(N1)와 제2 잡음 신호(N2) 크기 차이에 따른 보상값을 추정하고 제2 잡음신호(N2)에 보상값을 적용할 수 있다. 예를 들어, 보상값은 주파수 보상을 위한 값으로 이해될 수 있으며, 프로세서(315)는 제2 채널 신호(X2)에 대해 주파수 보상을 수행할 수 있다 프로세서(315)는, 제2 채널 신호(X2=S2+N2)를 보상값(d)이 적용된 제3 채널 신호(X3=S3+N3)로 변환할 수 있다.
850 동작에서, 프로세서(315)는 잡음신호가 다채널 간 잡음 크기 차이가 보정된입력으로 학습된 잡음 제거 신경망 모델의 입력값으로 보상값이 적용된 제3 채널신호(X3=S3+ N3) 와 제1 채널 신호(X1)를 이용할 수 있다.
860 동작에서, 프로세서(315)는 잡음 제거 신경망 모델(640)로부터 신경망 출력 신호를 획득할 수 있다. 신경망 출력 신호는 잡음 신호 대비 음성의 SNR(signal-to-noise-ratio)이 향상된 신호 또는 잡음이 제거된 음성 신호 중 적어도 하나를 포함할 수 있다.
프로세서(315)는 C 동작으로 진행하며, 도 860 동작은 도 9의 910 동작과 실질적으로 동일할 수 있다.
920 동작에서 프로세서(315)는 제1 채널 신호(X1)의 유음 구간을 확인할 수 있다.
930 동작에서, 프로세서(315)는 제2 채널 신호의 유음 구간을 확인할 수 있다.
921 동작에서, 프로세서(315)는 유음 구간의 제1 채널 신호(X1)와 신경망 출력 신호 비교하여 신호 크기 차이에 대한 평균값을 추정할 수 있다.
925 동작에서, 프로세서(315)는 평균값을 기반으로 음성왜곡을 보상하여 신경망 출력 신호를 보정할 수 있다.
931 동작에서, 프로세서(315)는 유음 구간의 잡음 제거량의 크기 차이를 비교하여 잡음 제거량의 평균을 추정할 수 있다.
935 동작에서, 프로세서(315)는 무음 구간의 잡음 제거량과 유음 구간의 잡음 제거량이 균일화할 수 있다.
940 동작에서, 프로세서(315)는 후처리하여 잔여 잡음을 제거할 수 있다.
도 10은 다양한 실시예에 따른 제2 전자 장치에서 잡음을 제거하는 방법을 도시한다. 도 10은 도 6에 도시된 제2 전자 장치(301)의 동작 흐름도이다.
도 10을 참조하여, 다양한 실시예에 따른 제2 전자 장치(301)는 적어도 2개의 마이크(311)를 통해 다채널 음성 입력을 수신할 수 있다.
1010 동작에서, 프로세서(315)는 다채널 음성 입력 신호에 대해 STFT(Short Time Fourier Transform)하여 출력할 수 있다.
1020 동작에서, 프로세서(315)는 시간-주파수 변환된 다채널 신호를 화자 방향 조정 빔포밍하여 제1 채널 신호(X1=S1+N1)를 출력할 수 있다. 예를 들어, 제1 채널 신호(X1)는 화자의 음성 크기를 강조하고 잡음이 감쇄된 신호일 수 있다. 제1 채널 신호(X1=S1+N1)는 제1 음성 신호(S1)와 제1 잡음 신호(N1)가 포함된 것으로 추정할 수 있다.
1025 동작에서, 프로세서(315)는 시간-주파수 변환된 다채널 신호를 널 조정 빔포밍하여 제2 채널 신호(X2=S2+N2)를 출력할 수 있다. 예를 들어, 제2 채널 신호(X2)는 화자의 음성이 감쇄된 신호일 수 있다. 제2 채널 신호(X2=S2+N2)는 제2 음성 신호(S2)와 제2 잡음 신호(N2)가 포함된 것으로 추정할 수 있다.
1030 동작에서, 프로세서(315)는 제1 채널 신호(X1)와 제2 채널 신호(X2)의 무음 구간을 확인하고, 무음 구간에서 채널 간 잡음 크기 차이를 추정할 수 있다.
1035 동작에서, 프로세서(315)는 제2 채널 신호(X2)에 대해 채널간 잡음 크기 차이를 보상할 수 있다. 프로세서(315)는 2 채널 간 잡음 크기 차이를 기반으로 보상값(d)을 추정하고, 제2 채널 신호(X2)를 보상값이 적용된 제3 채널 신호(X3=S3+N3)로 변환할 수 있다. 제3 채널 신호(X3)의 잡음 신호(N3)는 제2 채널 신호(X2)의 잡음 신호(N2)가 보상값(d)만큼 보상된 신호일 수 있다.
1040 동작에서, 프로세서(315)는 신경망 모델에 제1 채널 신호(X1)와 제3 채널 신호(X3=S3+N3)를 입력하여 신경망 출력 신호(Z(k))를 출력할 수 있다. 신경망 출력 신호(Z(k))는 잡음 신호 대비 음성의 SNR이 향상된 신호 또는 잡음이 제거된 음성 신호일 수 있다.
1050 동작에서, 프로세서(315)는 제1 채널 신호(X1)와 신경망 출력 신호(Z(k))를 비교하여 유음 구간에서 음성의 왜곡 정보를 추정할 수 있다.
1055 동작에서, 프로세서(315)는, 유음 구간의 제3 채널 신호(X3)와 신경망 출력 신호 비교하여 음성 왜곡된 신호를 보상할 수 있다.
1060 동작에서, 프로세서(315)는 무음 구간의 주파수 성분에서 잡음 제거량을 추적(tracking)하여 유음 구간의 잡음 제거량을 추정할 수 있다.
1070 동작에서, 프로세서(315)는 무음 구간에서의 잡음 제거량이 유음 구간에서의 잡음 제거량만큼 감소하도록 보상하여 잡음 제거량이 균일해지도록 처리할 수 있다.
1080 동작에서, 프로세서(315)는 음성 왜곡 및 잡음 제거량이 균일해지도록 보정한 신호를 후처리 할 수 있다.
1090 동작에서, 프로세서(315)는 ISTFT(Inverse Short Time Fourier Transform)하여 시간 영역의 음원 신호로 복원하여 음성 입력 신호를 출력할 수 있다.
다양한 실시예에 따른 전자 장치(예: 도 3의 제2 전자 장치(301))는 통신 회로(예: 도 3의 통신 회로(310))와, 적어도 두 개의 마이크(예: 도 3의 마이크(311))와, 상기 통신 회로, 상기 적어도 두 개의 마이크와 작동적으로 연결된 프로세서(예: 도 3의 프로세서(315))와, 상기 프로세서와 동작적으로 연결되고, 제1 빔포머에 대응하는 제1 채널 신호와 제2 빔포머에 대응하는 제2 채널 신호를 입력값으로 이용하는 잡음 제거 신경망 모델(예: 도 3의 잡음 제거 신경망 모델(319))을 저장하는 메모리(예: 도 3의 메모리(317))를 포함하고, 상기 메모리(317)는 실행 시에, 상기 프로세서(315)가, 상기 적어도 두 개의 마이크를 통해 입력된 오디오 입력 신호에 대해 상기 제1 빔포머를 기반으로 상기 제1 채널 신호 및 상기 제2 빔포머를 기반으로 제2 채널 신호를 획득하고, 상기 제1 채널 신호의 잡음 크기와 상기 제2 채널 신호의 잡음 크기 차이를 보상한 제3 채널 신호를 생성하고, 상기 제1 채널 신호와 상기 제3 채널 신호를 상기 잡음 제거 신경망 모델의 입력값으로 이용하여 신경망 출력 신호를 출력하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 상기 메모리(317)는, 실행 시에, 상기 프로세서(315)가, 상기 상기 제1 채널 신호 및 제2 채널 신호로부터 음성 구간과 무음 구간을 확인하고, 상기 제1 채널 신호의 무음 구간과 상기 제2 채널 신호의 무음 구간의 출력 크기 차이를 비교하여 상기 잡음 크기 차이를 계산하도록 설정된 인스트럭션들을 더 저장할 수 있다.
다양한 실시예에 따르면, 상기 메모리(317)는, 실행 시에, 상기 프로세서(315)가, 상기 무음 구간의 제1 채널 신호와 상기 무음 구간의 제2 채널 신호의 출력 크기 차이를 비교하여 잡음 크기 차이 계산하고, 상기 잡음 크기 차이의 평균값을 추정하고, 상기 평균값에 대응하는 보상값으로 상기 제2 채널 신호를 주파수 보상하여 상기 제3 채널 신호를 생성하도록 설정된 인스트럭션들을 더 저장하는 전자 장치.
다양한 실시예에 따르면, 상기 제1 채널 신호는 다채널 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 신호를 포함하고, 상기 제2 채널 신호는 화자의 음성이 감쇄된 신호를 포함할 수 있다.
다양한 실시예에 따르면, 상기 신경망 출력 신호는 상기 잡음 제거 신경망 모델을 통해 잡음 신호 대비 음성의 SNR(signal-to-noise-ratio)이 향상된 신호 또는 잡음이 제거된 음성 신호 중 적어도 하나를 포함하고, 상기 메모리(317)는, 실행 시에, 상기 프로세서(315)가, 상기 제1 채널 신호의 유음 구간을 확인하고, 유음 구간의 제1 채널 신호와 상기 신경망 출력 신호를 비교하여 유음 구간에 대한 신호 크기 차이의 평균값을 추정하고, 상기 유음 구간의 신호 크기 차이의 평균값을 기반으로 음성 왜곡을 보상하기 위해 상기 신경망 출력 신호를 처리하도록 설정된 인스트럭션들을 더 저장할 수 있다.
다양한 실시예에 따르면, 상기 메모리(317)는, 실행 시에, 상기 프로세서(315)가, 상기 제2 채널 신호의 무음 구간 및 유음 구간을 확인하고, 상기 신경망 출력 신호에 대해 상기 무음 구간의 주파수 성분에서 잡음 제거량을 추정하고, 유음 구간의 잡음 제거량을 추정하도록 설정된 인스트럭션들을 더 저장할 수 있다.
다양한 실시예에 따르면, 상기 메모리(315)는, 실행 시에, 상기 프로세서(317)가, 상기 무음 구간에서의 잡음 제거량을 유음 구간에서의 잡음 제거량 만큼 감소하도록 보상하여 상기 신경망 출력 신호의 잡음 제거량이 균일해지도록 상기 신경망 출력 신호를 처리하도록 설정된 인스트럭션들을 더 저장할 수 있다.
다양한 실시예에 따르면, 상기 메모리(317)는, 실행 시에, 상기 프로세서(315)가, 상기 음성 왜곡의 보상 및 잡음 제거량이 균일해지도록 처리된 신경망 출력 신호에 대해 잔여 잡음을 제거 또는 감쇠하도록 설정된 인스트럭션들을 더 저장할 수 있다.
장양한 실시예에 따르면, 상기 메모리(317)는, 실행 시에, 상기 프로세서(315)가, 상기 적어도 두개의 마이크(311)를 통해 입력된 상기 오디오 입력 신호를 STFT(short time fourier transform)하여 제1 빔포머 및 제2 빔포머로 전달하고, 잔여 잡음을 제거 또는 감쇠한 신경망 출력 신호에 대해 ISTFT(inverse short time fourier transform)하여 음원 신호로 복원하도록 설정된 인스트럭션들을 더 저장할 수 있다.
다양한 실시예에 따르면, 상기 잡음 제거 신경망 모델(319)은 CNN(convolutional neural network), RNN(recurrent neural network), 또는DNN(deep neural network) 중 적어도 하나에 기반한 신경망 모델일 수 있다.
도 11은 다양한 실시예에 따른 제1 전자 장치와 제2 전자 장치의 동작 흐름도를 도시한다.
도 11을 참조하면, 일 실시예에 따르면, 제1 전자 장치(1104)와 제2 전자 장치(1101)는 실시간 또는 주기적으로 잡음 제거 신경망 모델을 업데이트할 수 있다. 예를 들어, 제1 전자 장치(1104)(예: 도 4의 제1 전자 장치(304))는 잡음 제거 신경망 모델을 구현하고 학습하는 장치(예: 서버)일 수 있으며, 제2 전자 장치(1101)(예: 도 6의 제2 전자 장치(301))는 휴대용 전자 장치 또는 스마트 폰 일 수 있다.
1110 동작에서, 제2 전자 장치(1101)는 다채널 사용자 음성 입력을 검출할 수 있다. 제2 전자 장치(1101)는 사용자 요청 또는 특정 기능 실행에 응답하여 음성 인식 기능을 활성화하고 적어도 둘 이상의 마이크를 통해 입력되는 사용자 음성 신호를 수신할 수 있다. 사용자 음성 신호는 제1 마이크 또는 제2 마이크를 통해 다채널로 수신될 수 있다.
제2 전자 장치(1101)는 제1 빔포머를 이용하여 사용자의 음성 크기를 강조하고 잡음이 감쇄된 상기 제1 채널 신호를 생성할 수 있다. 제2 전자 장치(1101)는 제2 빔포머를 이용하여 사용자의 음성이 감쇄된 제2 채널 신호를 생성할 수 있다.
제2 전자 장치(1101)는 사용자 음성 신호에 기반한 제1 채널 신호 및 제2 채널 신호를 제1 전자 장치(1104)로 전달할 수 있다. 일 예를 들어, 제2 전자 장치(1101)는 음성 인식 기능 실행 시 마다 마이크로부터 입력되는 사용자 음성 신호를 제1 전자 장치(1104)로 전달할 수 있다.
1120 동작에서, 제1 전자 장치는(1104)는 제2 전자 장치에서 전달된 제1 채널 신호 및 제2 채널 신호를 대해 사용자 음성 채널 간 잡음 크기를 보상할 수 있다. 일 예를 들어, 제1 전자 장치는(1104)는 제1 채널 신호와 제2 채널 신호에서 무음 구간(예: 음성이 없는 주파수 영역)을 확인하고, 무음 구간에서 채널 간 잡음 크기 차이를 계산하고, 채널 간 잡음 크기 차이를 기반으로 보상값을 추정할 수 있다. 제1 전자 장치는(1104)는 제2 채널 신호에 보상값이 적용된 제3 채널 신호를 생성할 수 있다.
1130 동작에서, 제1 전자 장치는(1104)는 잡음 신호가 보상된 제3 채널 신호와 제1 채널 신호를 기반으로 잡음 제거 신경망 모델을 학습할 수 있다.
1140 동작에서, 제1 전자 장치는(1104)는 학습 결과에 따라 사용자 음성으로 학습된 잡음 제거 신경망 모델을 최적화할 수 있다. 제1 전자 장치는(1104)는 사용자 음성에 따라 최적화된 잡음 제거 신경망 모델 또는 최적화된 잡음 제거 신경망 모델의 업데이트 정보를 제2 전자 장치(1101)로 전달할 수 있다.
1150 동작에서, 제2 전자 장치(1101)는 제2 전자 장치(1101)에 저장된 잡음 제거 신경망 모델을 업데이트할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구현된 유닛(unit)을 포함할 수 있으며, 예를 들면, 로직(logic), 논리 블록(logic block), 부품(component), 또는 회로(circuit) 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들(instructions)을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러(compiler) 생성된 코드 또는 인터프리터(interpreter)에 의해 실행될 수 있는 코드(code)를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM, compact disc read only memory)의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 3은 다양한 실시예에 따른 제1 전자 장치와 제2 전자 장치의 구성을 나타낸다.
도 3을 참조하면, 일 실시예에 따르면, 제1 전자 장치(304)와 제2 전자 장치(301)는 잡음 제거 신경망 모델을 이용하여 음성 신호를 처리할 수 있다. 예를 들어, 제1 전자 장치(304)는 음성 신호 처리 서버, 잡음 제거 처리 서버, 신경망 모델 학습 및 갱신 장치를 포함할 수 있다. 제2 전자 장치(301)는 스마트 폰, 모바일 전자 장치, 휴대용 전자 장치, 음성 인식 장치 또는 신경망 모델 저장 장치를 포함할 수 있다. 제2 전자 장치(301)는 도 1의 전자 장치(101)의 구성을 포함할 수 있으나, 제1 전자 장치(304)도 도 1의 전자 장치(101)의 구성 일부를 포함할 수도 있다.
일 실시예에 따르면, 제1 전자 장치(304)는, 통신 회로(320), 프로세서(325) 및/또는 메모리(327)을 포함할 수 있다. 제1 전자 장치(304)의 통신 회로(320)는 제2 전자 장치(301)의 통신 회로(310)와 통신할 수 있다. 제1 전자 장치(304)의 통신 회로(320)는 잡음 제거 신경망 모델(331)을 제2 전자 장치(304)로 전송하거나, 제2 전자 장치(301)로부터 전달된 음성 신호를 처리한 후 처리 결과를 제2 전자 장치(301)로 전송할 수 있다. 또 다른 예로, 제2 전자 장치(301)는 잡음 제거 신경망 모델(331)과 관련된 데이터를 메모리(317)에 저장할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(304)의 프로세서(325)는, 음성 신호가 강조된 신호와 음성 신호가 감쇄된 신호 사이의 비선형적인 관계를 모델링하여 입력된 잡음 신호에서 음성의 SNR(signal to noise ratio)을 향상시키도록 학습된 잡음 제거 신경망(예: DNN: deep neural network) 모델(331)을 구축할 수 있다. 프로세서(325)는 학습 모델(332)을 이용하여 잡음 제거 신경망 모델(331)을 학습하고, 잡음 제거 신경망 모델(331)을 업데이트할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(304)의 프로세서(325)는, 데이터 베이스(333)를 기반으로 다채널 음성 입력 신호를 생성할 수 있다. 프로세서(325)는 다채널 음성 입력을 기반으로 N개(예: 2 이상의 정수)의 빔포밍을 수행하여 N개(예: 2개)의 채널 신호를 획득할 수 있다. 제1 전자 장치(304)의 프로세서(325)는 N개(예: 2개)의 채널 간 잡음 크기 차이를 보상하고, 보상된 N개(예: 2개)의 채널 신호를 잡음 제거 신경망 모델의 입력값으로 이용하여 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR(signal-to-noise-ratio)이 향상된 신호를 출력할 수 있다. 예를 들어, 프로세서(325)는 음성 입력 신호에 대해 제1 빔포밍 및 제2 빔포밍을 수행하여 음성 신호가 강조된 제1 채널 신호와, 음성 신호가 감쇄된 제2 채널 신호를 형성하고, 제1 채널 신호와 제2 채널 신호와 채널 간 잡음 크기 차이를 보상한 후, 잡음 제거 신경망 모델의 입력값으로 이용할 수 있다. 일 예를 들어, 잡음 크기 차이가 보상된 제2 채널 신호는 제3 채널 신호로 이해될 수 있다.
일 실시 예에 따르면, 제1 전자 장치(304)의 메모리(327)는, 잡음 제거 신경망 모델(331), 학습 모델(332) 및 데이터 베이스(333)를 포함할 수 있다. 일 실시 예에 따르면, 잡음 제거 신경망 모델(331)은, 입력 계층과 출력 계층 사이에 복수개의 은닉 계층(hidden layer)들로 이루어진 인공신경망으로, 복잡한 비선형 관계들을 모델링 할 수 있다. 잡음 제거 신경망 모델(331)은 음성 입력의 특징 벡터를 기반으로 학습 모델을 통해 도출된 잡음 제거 이득 계수를 활용하여 잡음 신호 대비 음성의 SNR이 향상된 신호 또는 잡음이 제거된 음성 신호를 출력할 수 있다.
다양한 실시 예에 따르면, 잡음 제거 신경망 모델은 CNN(convolutional neural network), RNN(recurrent neural network), 또는 DNN(deep neural network) 중 적어도 하나에 기반한 신경망 모델을 포함할 수 있다. 일 실시 예에 따르면, 학습 모델(332)은 잡음 제거 신경망 모델(331)을 트레이닝 하도록 구현된 모델일 수 있다. 학습 모델(332)은, 적어도 2개 이상의 채널에 대응하는 입력 특징을 입력 벡터로 이용하여 회기(regression) 학습을 통하여 최적 이득(optimal gain)을 추정하고, 목표 특징 벡터를 신경망의 목적 함수로 하여 잡음 제거 차이를 최소화하는 방향으로 신경망의 학습이 진행될 수 있다. 프로세서(325)는 학습 모델(332)의 학습 결과를 기반으로 잡음 제거 신경망 모델(331)을 업데이트(update)할 수 있다. 일 실시예에 따르면, 프로세서(325)는 업데이트된 잡음 제거 신경망 모델(331) 또는 업데이트 관련 데이터를 제2 전자 장치(301)로 전달할 수 있다.
일 실시 예에 따르면, 데이터 베이스(333)는 잡음 제거 신경망 모델(331) 및 학습 모델(332)을 구현하기 위한 데이터를 저장할 수 있다. 일 예를 들어, 데이터 베이스(333)는 음성 신호 데이터베이스, 2채널 IR 데이터 베이스 및 잡음 신호 데이터를 포함할 수 있다.
일 실시예에 따른 제2 전자 장치(301)는, 통신 회로(310), 마이크(311), 프로세서(315) 및/또는 메모리(317)를 포함할 수 있다.
제2 전자 장치(301)의 통신 회로(310)는 제1 전자 장치(304)와 통신할 수 있다. 일 예를 들어, 통신 회로(310)는 제1 전자 장치(304)로부터 잡음 제거 신경망 모델(331) 또는 업데이트된 잡음 제거 신경망 모델(331)을 수신할 수 있다. 다른 예를 들어, 통신 회로(310)는 메모리(317)에 저장된 잡음 제거 신경망 모델(319)의 업데이트 정보를 수신할 수 있다. 제2 전자 장치(301)는 전자 장치(304)로부터 수신된 잡음 제거 신경망 모델을 메모리(317)에 저장할 수 있다.
제2 전자 장치(301)는 마이크(311)를 통해 오디오 신호를 획득할 수 있다. 제2 전자 장치(301)는 복수 개의 마이크들을 포함할 수 있으며, 각각의 마이크를 통해 다채널로 오디오 신호를 획득할 수 있다.
제2 전자 장치(301)의 메모리(317)는 잡음 제거 신경망 모델(319)을 저장할 수 있다. 일 실시예에 따르면, 제2 전자 장치(301)의 메모리(317)에 저장된 잡음 제거 신경망 모델(319)은 제1 전자 장치(304)의 메모리(327)에 저장된 잡음 제거 심경망 모델(331)과 동일한 모델이거나 상이한 모델일 수 있다.
일 실시 예에 따르면, 제2 전자 장치(301)의 프로세서(315)는, 잡음 제거 신경망 모델을 이용하여 음성 입력에 대해 잡음 신호 대비 음성의 SNR이 향상된 신호 또는 잡음이 제거된 음성 신호를 출력할 수 있다. 프로세서(315)는 마이크(311)를 통해 획득한 오디오 신호를 기반으로 N개의 빔포밍을 수행하고, N개의 채널 신호를 잡음 제거 신경망 모델의 입력값을 이용할 수 있다. 예를 들어, 프로세서(315)는 2개의 마이크로부터 획득한 2개의 오디오 신호를 획득할 수 있다.
일 실시 예에 따르면, 제2 전자 장치(301)의 프로세서(315)는 다채널 오디오 신호를 기반으로 N개의 빔포밍을 수행하여 N개의 채널 신호를 획득할 수 있다. 일 예를 들어, 프로세서(315)는 다채널 오디오 신호에 대해 제1 빔포밍 및 제2 빔포밍을 수행하여 음성 신호가 강조된 제1 채널 신호와, 음성 신호가 감쇄된 제2 채널 신호를 형성하고, 제1 채널 신호와 제2 채널 신호와 채널 간 잡음 크기 차이를 보상할 수 있다. 예를 들어, 잡음 크기 차이가 보상된 제2 채널 신호는 제3 채널 신호로 이해될 수 있다. 프로세서(315)는 제1 채널 신호와 제3 채널 신호를 잡음 제거 신경망 모델의 입력값으로 이용하여 잡음이 제거된 음성 신호 잡음 신호 대비 음성의 SNR(signal-to-noise-ratio)이 향상된 신호를 출력할 수 있다. 이하, 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호는 신경망 출력 신호로 이해될 수 있다.
일 실시 예에 따르면, 제2 전자 장치(301)의 프로세서(315)는 신경망 출력 신호와 잡음 제거 신경망 모델의 입력값으로 이용된 제1 채널 신호를 를 비교하여 음성 왜곡 차이를 보상할 수 있다. 예를 들어, 프로세서(315)는 신경망 출력 신호를 기반으로 유음 구간과 잡음 제거량의 평균값을 추정하고, 무음 구간의 잡음 제거량을 유음 구간의 잡음 제거량만큼 감소시켜 잡음 제거량이 균일해지도록 처리할 수 있다.
도 4는 다양한 실시예에 따른 제1 전자 장치의 블록도를 도시한다. 도 4에 도시된 블록은 프로그램 모듈을 나타내며, 프로그램 모듈은 도 3에 도시된 제1 전자 장치(304)의 메모리(327)에 저장될 수 있고, 또는 프로세서(325)에 의해 실행될 수 있다. 도 4의 블록도는 설명의 편의를 위하여 블록으로 구분하였으며, 이에 한정하는 것은 아니다. 도 4에 도시된 제1 전자 장치(304)는 신경망 모델을 구축하고 신경망 모델을 학습하여 갱신하는 전자 장치(예: 서버) 일 수 있다.
도 4를 참조하면, 일 실시예에 따르면, 도 3에 도시된 제1 전자 장치(304)의 프로세서(325)는 프로그램 모듈을 이용하여 잡음 제거 신경망 모델을 학습하고, 잡음 제거 신경망 모델을 업데이트할 수 있다. 도 3에 도시된 데이터 베이스(333)는 도 4의 음성 데이터베이스(401), 다채널 IR(impulse response) 데이터 베이스(402) 및/또는 다채널 잡음 데이터 베이스(403)를 포함할 수 있다.
일 실시 예에 따르면, 음성 데이터 베이스(401)는 단일 채널(Mono channel)에서 획득한 잡음이 없는 음성 정보를 포함할 수 있다. 다채널 IR 데이터 베이스(402)는 음성 발화 지점과 마이크 사이의 공간적인 정보, 상관 관계(예: 연산값)를 저장할 수 있다. 다채널 잡음 데이터 베이스(403)는 다채널(예: 2 개의 마이크)을 통해 획득한 잡음 정보 또는 단일 채널로부터 추정된 다채널 잡음 정보를 포함할 수 있다. 예를 들어, 다채널 잡음 정보는, 제1 잡음과 제2 잡음을 포함할 수 있다. 제1 잡음은 제1 위치에서 측정된 잡음 신호 또는 제1 마이크에서 획득한 잡음 신호 일 수 있으며, 제2 잡음은 제2 위치에서 측정된 신호 또는 제2 마이크에서 획득한 잡음 신호일 수 있다.
일 실시 예에 따르면, 다채널 합성부(420)는 음성 데이터 베이스(401)에 저장된 음성 정보와 다채널 IR 데이터 베이스(402)에 저장된 IR 연산값을 이용하여 IR의 공간적인 특징이 반영된 다채널 음성 신호를 생성할 수 있다. 예를 들어, 다채널 음성 신호는 제1 음성과 제2 음성을 포함 할 수 있다. 제1 음성은 제1 위치에서 측정된 신호 또는 제1 마이크에서 획득한 음성 신호 일 수 있으며, 제2 음성은 제2 위치에서 측정된 신호 또는 제2 마이크에서 획득한 음성 신호일 수 있다.
다른 실시예에 따르면, 제1 전자 장치(304)는 두 개의 마이크를 구비한 제2 전자 장치(301)에서 녹음된 음성 신호 또는 잡음 신호를 활용하여 다채널 잡음 신호 또는 다채널 음성 신호를 추정하고, 음성 데이터 베이스(401) 및 다채널 잡음 데이터 베이스(402)를 구현할 수 있다.
일 실시 예에 따르면, 제1 빔포머(430)는 다채널 합성부(420)으로부터 수신된 다채널 음성 신호와 다채널 잡음 데이터베이스(403)로부터 수신된 다채널 잡음 신호를 빔포밍하여 제1 채널 신호(X1=S1+N1)를 출력할 수 있다. 일 예를 들어, 제1 빔포머(430)는 화자 방향 조종(steering) 빔포머일 수 있다. 제1 빔포머(430)는 N개의 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 제1 채널 신호(X1=S1+N1)를 출력할 수 있다. 일 실시예에 따르면, 제1 채널 신호는 제1 음성 신호(S1)와 제1 잡음 신호(N1)가 포함된 것으로 추정할 수 있다. 예를 들어, 제1 채널 신호(X1=S1+N1)는 제2 채널 신호(X2=S2+N2)와 비교하여 SNR(signal-to-noise-ratio)이 큰 신호일 수 있다.
일 실시 예에 따르면, 제2 빔포머(435)는 다채널 합성부(420)으로부터 수신된 다채널 음성 신호와 다채널 잡음 데이터베이스(403)로부터 수신된 다채널 잡음 신호를 빔포밍하여 제2 채널 신호(X2=S2+N2)를 출력할 수 있다. 일 예를 들어, 제2 빔포머(435)는 널 조정(Null steering) 빔포머일 수 있다. 제2 빔포머(435)는 N개의 음성 도착시간 차이와 잡음 감쇄율을 이용하여 화자의 음성이 감쇄된 제2 채널 신호(X2=S2+N2)를 출력할 수 있다. 제2 채널 신호(X2=S2+N2)는 제2 음성 신호(S2)와 제2 잡음 신호(N2)가 포함된 것으로 추정할 수 있다. 예를 들어 제2 채널 신호(X2=S2+N2)는 제1 채널 신호(X1=S1+N1)와 비교하여 SNR(signal-to-noise-ratio)이 작은 신호일 수 있다. 일 예를 들어, 제2 음성 신호(S2)의 크기는 제1 음성 신호(S1)의 크기보다 작을 수 있다.
일 실시 예에 따르면, 채널 차이 보상부(440)는, 제1 잡음 신호(N1)와 제2 잡음 신호(N2)를 기반으로 채널 간 잡음 크기 차이를 계산할 수 있다. 채널 차이 보상부(440)는 채널 간 잡음 크기 차이를 기반으로 보상값(d)을 추정하고, 제2 채널 신호(X2=S2+N2)에 보상값(d)이 적용된 제3 채널 신호(X3=S3+N3)로 변환할 수 있다. 예를 들어, 제3 채널 신호(X3)의 잡음 신호(N3)는 제2 채널 신호(X2)의 잡음 신호(N2)가 보상값(d)만큼 보상된 신호일 수 있다. 제3 음성 신호(S3)는, 예를 들어, 제2 음성 신호(S2)와 실질적으로 동일할 수 있다.
일 실시예에 따르면, 채널 차이 보상부(440)는 제1 채널 신호(X1)와 제2 채널 신호(X2) 에서 무음 구간(예: 음성이 없는 주파수 영역)을 확인하고, 무음 구간에서 에서 채널 간 잡음 크기 차이를 계산할 수 있다. 채널 차이 보상부(440)는 잡음 크기 차이의 평균값을 추정하고, 평균값에 대응하는 보상값을 적용할 수 있다.
일 실시 예에 따르면, 특징 추출부(450)는 제1 빔포머(430)로부터 획득한 제1 채널 신호(X1)와 채널 차이 보상부(440)로부터 보상값이 반영된 제3 채널 신호(X3)를 기반으로 특징 벡터를 추출할 수 있다. 특징 추출부(450)는 추출된 특징 벡터를 신경망 모델 또는 학습 모델에 전송할 수 있다. 특징 벡터는, 예를 들어 잡음 제거 신경망 모델(470)을 학습하기 위한 목표 특징값 및 신경망 입력 특징값 중 적어도 하나를 포함할 수 있다.
일 예를 들어, 특징 추출부(450)는 STFT 로 변환된 주파수 신호를 이용하여 정규화된 특징 벡터(예: normalized log-spectral magnitude, normalized MFCC, normalized LPC, 또는 normalized LP residual)를 추출할 수 있다.
일 실시예에 따르면, 특징 추출부(450)는 제1 채널 신호(X1)와 제3 채널 신호(X3)를 합성하고, 합성된 신호로부터 입력 특징값을 추출할 수 있다. 입력 특징값은 예를 들어, 음성 메인 채널로 입력되는 값과, 잡음 기준 채널로 입력되는 값을 포함할 수 있다.
예를 들어, 음성 메인 채널로 입력되는 값은, 제1 잡음 신호(N1)에 제1 변수(예: gi)를 곱한 신호와 제1 음성 신호(S1)를 플러스한 값(예: S1+gi*N1 = CH1)을 포함할 수 있다. 잡음 기준 채널로 입력되는 값은 보상된 제2 잡음 신호(N3)에 제1 변수(예: gi)를 곱한 신호와 제2 음성 신호(S1)를 플러스한 값(예: S2+gi*N3 =CH 2))을 포함할 수 있다. 예를 들어, gi 는 잡음이 포함된 음성 신호의 SNR을 결정하기 위한 변수 일 수 있다. 학습 모델(460)에 적용되는 gi 는 대략 -10dB~30dB 범위의 SNR 신호를 사용할 수 있으나, 이에 한정하는 것은 아니다.
일 실시예에 따르면, 특징 추출부(450)는 입력 특징값 중 음성 메인 채널로 입력되는 값에서 SNR이 향상된 신호를 목표 특징값을 추출할 수 있다. 예를 들어, 목표 특징값은, 보상된 제2 잡음 신호(N3)에 제2 변수(예: go 를 곱한 신호와 제1 음성 신호(S1)를 플러스한 값(예: S1+go*N3= target))을 포함할 수 있다. 예를 들어, go는 gi보다 작은 값으로 셋팅되며 타겟의 신호대비 잡음비율(SNRI)에 따라 변경될 수 있다.
일 실시 예에 따르면, 학습 모델(460)은, 잡음 제거 신경망 모델(470)을 트레이닝하도록 구현된 모델일 수 있다. 학습 모델(460)은, 두 채널로 입력된 특징 벡터(예: 메인 채널로 입력되는 값과, 잡음 기준 채널로 입력되는 값)를 입력값으로 이용하며, 회기(regression) 학습을 통하여 연속적인 최적 이득(optimal gain)을 추정하고, 목표 특징 벡터(예: 목표 특징값, label)를 신경망의 목적 함수로 잡음 제거 이득 차이를 최소화하는 방향으로 신경망의 학습이 진행될 수 있다. 학습 모델(460)은 학습 결과를 기반으로 잡음 제거 신경망 모델(470)을 갱신할 수 있다.
일 예를 들어, 학습 모델(460)은 입력과 출력 쌍으로 구성되는 학습 데이터(training data)에 의해 입력 특징으로부터 출력 특징을 도출하기 위한 잡음 제거 규칙, 잡음 제거 함수, 또는 잡음 제거 이득계수 중 적어도 하나를 발견하는 것을 목표로 하며, 음성 신호와 잡음 신호로부터 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호를 출력하도록 학습할 수 있다.
잡음 제거 신경망 모델(470)은, 음성 입력에 대해 학습 모델을 통해 구현된 잡음 제거 이득 계수를 이용하여 잡음이 제거된 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호(예: 신경망 출력 신호)를 출력할 수 있다.
도 5a 및 도 5b는 다양한 실시예에 따른 제1 전자 장치에서 잡음 제거 신경망 모델을 학습하는 방법을 도시한다. 도 5는 도 3에 도시된 제1 전자 장치(304)의 동작 흐름도이다.
도 5a 및 도 5b 를 참조하면, 일 실시예에 따르면, 도 3에 도시된 제1 전자 장치(304)의 프로세서(325)는 510동작에서, 다채널 음성 신호를 획득할 수 있다. 일 예를 들어, 프로세서(325)는 데이터 베이스를 통해 공간 정보 차이가 반영된 적어도 2 이상의 음성 신호를 획득할 수 있다.
520 동작에서, 프로세서(325)는 다채널 음성 신호에 대해 제1 빔포머를 기반으로 제1 채널 신호를 출력할 수 있다. 제1 채널 신호는 적어도 2개 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 제1 채널 신호(X1=S1+N1)일 수 있다.
525 동작에서, 프로세서(325)는, N 채널 음성 신호에 대해 제2 빔포머를 기반으로 제2 채널 신호를 출력할 수 있다. 제2 채널 신호는 적어도 2개의 음성 도착시간 차이와 잡음 감쇄율을 이용하여 화자의 음성이 감쇄된 제2 채널 신호(X2=S2+N2)일 수 있다. 일 예를 들어, 520 동작 및 525 동작은 순차적 또는 병렬적으로 수행될 수 있다.
530 동작에서 프로세서(325)는, 제1 채널 신호의 잡음 신호(N1)와 제2 채널 신호의 잡음 신호(N2)의 크기 차이를 계산할 수 있다. 예를 들어, 프로세서(325)는 무음 구간을 확인하여 제1 채널 신호로부터 제1 잡음 신호의 크기를 추정하고, 제2 채널 신호로부터 제2 잡음 신호의 크기를 추정할 수 있다.
540 동작에서, 프로세서(325)는, 제1 잡음 신호(N1)와 제2 잡음 신호(N2)의 크기 차이를 기반으로 보상값을 추정하고 제2 잡음신호(N2)에 보상값(d)을 적용할 수 있다. 보상값은 주파수 보상(예: 진폭 변경)을 위한 값으로 이해될 수 있다. 예를 들어, 보상값이 적용된 제2 채널 신호(X2)는 제3 채널 신호(X3= S3+N3)로 이해될 수 있다. 제3 음성 신호(S3)는, 예를 들어, 제2 음성 신호(S2)와 실질적으로 동일할 수 있다.
550 동작에서, 프로세서(325)는 잡음 신호가 보상된 제3 채널 신호(X3) 및 제1 채널 신호(X1)를 기반으로 잡음 제거 신경망 모델을 학습할 수 있다. 예를 들어, 프로세서는 잡음 신호가 보상된 제3 채널 신호(X3) 및 제1 채널 신호(X1)를 기반으로 특징 벡터를 추출하고, 특징 벡터를 학습 모델에 입력하여 잡음 제거 신경망 모델을 학습할 수 있다. 특징 벡터는 예를 들어, 입력특징값(예: 메인 채널로 입력되는 값과, 잡음 기준 채널로 입력되는 값), 또는 목표 특징값을 포함할 수 있다.
560 동작에서, 프로세서(325)는 잡음 제거 신경망 모델을 학습하여 도출된 이득 계수를 잡음 제거 신경망 모델에 업데이트할 수 있다. 일 실시예에 따르면, 전자 장치(304)의 프로세서(325)는 도 5의 동작들에 추가적으로 무음 구간에서 두 채널간 잡음 크기 차이들의 평균값을 추정하고, 평균값을 기반으로 제2 채널 신호를 보상할 수 있다.
다른 실시예에 따르면, 프로세서(325)는 도 5의 520 동작 및 525 동작을 수행하고, A 동작을 진행할 수도 있다. 프로세서(325)는 531 동작에서, 제1 채널 신호(X1)의 무음 구간을 확인할 수 있다. 532 동작에서, 프로세서(325)는 제2 채널 신호(X2)의 무음 구간을 확인할 수 있다. 일 예를 들어, 531 동작 및 532동작은 순차적 또는 병렬적으로 수행될 수 있다. 일 실시예에 따르면, 프로세서(325)는 제1 채널 신호(X1)과 제2 채널 신호(X2)와 관련하여 후처리부(미도시)로부터 무음 구간과 유음 구간에 대한 주파수 정보를 수신하고, 이를 기반으로 무음 구간을 확인할 수 있다.
535 동작에서, 프로세서(325)는 무음 구간의 제1 채널 신호(X1)와 무음 구간의 제2 채널 신호(X2)의 출력 크기 차이를 추정할 수 있다. 예를 들어, 무음 구간의 경우 음성이 없는 구간을 의미하므로, 무음 구간 사이의 출력 차이는 잡음 신호 크기의 차이로 이해될 수 있다.
537 동작에서, 프로세(325)서는 무음 구간의 출력 크기 차이들을 기반으로 평균값을 추정할 수 있다.
545 동작에서 프로세서(325)는 평균값을 기반으로 제2 채널 신호(X2)의 잡음 신호가 제1 채널 신호(X1)의 잡음 크기와 유사해지도록 주파수 보상할 수 있다. 예를 들어, 프로세서(325)는 주파수 진폭을 평균값에 대응하여 일정 비율로 조절하여 주파수 보상할 수 있다. 프로세서(325)는 잡음신호가 보상된 제3 채널 신호(X3) 및 제1 채널 신호(X1)를 기반으로 잡음 제거 신경망 모델을 학습하기 위해 B동작으로 진행할 수 있다.
도 6은 일 실시예에 따른 제2 전자 장치의 블록도를 도시한다. 도 6에 도시된 블록은 프로그램 모듈을 나타내며, 프로그램 모듈은 도 3에 도시된 제2전자 장치(301)의 메모리(317)에 저장될 수 있고, 또는 프로세서(315)에 의해 실행될 수 있다. 도 6의 블록도는 설명의 편의를 위하여 블록으로 구분하였으며, 이에 한정하는 것은 아니다. 도 6에 도시된 제2 전자 장치(301)는 적어도 둘 이상의 마이크를 통해 오디오 신호를 수신하고, 수신된 오디오 신호에서 잡음 신호를 감쇄(또는 제거)시키는 전자 장치(예: 휴대용 전자 장치, 또는 스마트 폰)일 수 있다.
도 6을 참조하면, 일 실시예에 따르면, 도 3에 도시된 제2 전자 장치(301)는 STFT(710), 제1 빔포머(620), 제2 빔포머(625), 채널 차이 보상부(630), 잡음 제거 신경망 모델(640), 신경망 출력 보상부(650), 후처리(660) 및/또는 ISTFT(670)를 포함할 수 있다. 잡음 제거 신경망 모델(740)은 도 4에 도시된 제1 전자 장치(304)에 의해 갱신된 신경망 모델일 수 있다.
STFT(short time fourier transform)(610)는 오디오 신호를 수신할 수 있다. 일 예를 들어, 오디오 신호는 적어도 하나의 마이크로부터 수신될 수 있다. 다른 예를 들어, 오디오 신호는 제1 마이크 또는 제2 마이크를 통해 다채널로 수신될 수 있다.
일 실시예에 따르면, STFT(610)은 제1 마이크 및 제2 마이크로부터 오디오 신호를 입력 받아 STFT(Short Time Fourier Transform)하여 시간-주파수 영역의 혼합 신호들로 출력할 수 있다. STFT(610)는 출력된 다채널 신호를 제1 빔포머 및 제2 빔포머로 전달할 수 있다.
일 실시 예에 따르면, 제1 빔포머(620)는 STFT(610)는 출력된 다채널 신호를 빔포밍하여 제1 채널 신호(X1=S1+N1)를 출력할 수 있다. 일 예를 들어, 제1 빔포머(620)는 화자 방향 조종(steering) 빔포머일 수 있다. 제1 빔포머(620)은 다채널 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 제1 채널 신호(X1=S1+N1)를 출력할 수 있다. 제1 채널 신호(X1)는 제1 음성 신호(S1)와 제1 잡음 신호(N1)를 포함하는 것으로 추정할 수 있다.
일 실시 예에 따르면, 제2 빔포머(625)는 STFT(610)는 출력된 다채널 신호를 빔포밍하여 제2 채널 신호(X2=S2+N2)를 출력할 수 있다. 일 예를 들어, 제2 빔포머(625)는 널 조정(Null steering) 빔포머일 수 있다. 제2 빔포머(625)는 다채널 음성 도착시간 차이와 잡음 감쇄율을 이용하여 화자의 음성이 감쇄된 제2 채널 신호(X2=S2+N2)를 출력할 수 있다. 제2 채널 신호(X2)는 제2 음성 신호(S2)와 제2 잡음 신호(N2)를 포함한 것으로추정할 수 있다. 일 예를 들어, 제2 음성 신호(S2)의 크기는 제1 음성 신호(S1)의 크기보다 작을 수 있다.
일 실시 예에 따르면, 채널 차이 보상부(630)는, 제1 잡음 신호(N1)와 제2 잡음 신호(N2)를 기반으로 채널 간 잡음 크기 차이를 계산할 수 있다. 채널 차이 보상부(630)는 채널 간 잡음 크기 차이를 기반으로 보상값(d)을 추정하고, 제2 채널 신호(X2)에 보상값이 적용된 제3 채널 신호(X3)로 변환할 수 있다. 제3 채널 신호(X3)의 잡음 신호(N3)는 제2 채널 신호(X2)의 잡음 신호(N2)가 보상값(d)만큼 보상된 신호일 수 있다.
일 실시예에 따르면, 채널 차이 보상부(630)는 제1 채널 신호(X1)과 제2 채널 신호(X2) 에서 무음 구간(예: 음성이 없는 주파수 영역)을 확인하고, 무음 구간에서 에서 채널 간 잡음 크기 차이를 계산하고, 잡음 크기 차이의 평균값을 추정하고, 잡음 크기 차이의 평균값에 대응하는 보상값을 적용할 수 있다.
일 실시예에 따르면, 채널 차이 보상부(630)는 제1 채널 신호(X1)과 제2 채널 신호(X2)의 무음 구간과 유음 구간에 대한 주파수 정보를 후처리부(660)로부터 수신하고, 이를 기반으로 무음 구간을 확인할 수 있다.
잡음 제거 신경망 모델(640)은, 제1 빔포머(620)로부터 획득한 제1 채널 신호(X1)와 채널 차이 보상부(630)로부터 보상값이 반영된 제3 채널 신호(X3)를 입력 받아 잡음 제거 이득 계수를 이용하여 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호(Z(k))(예: 신경망 출력 신호)를 출력할 수 있다. 이하, 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호(Z(k))와 신경망 출력 신호는 실질적으로 동일한 신호일 수 있다.
잡음 제거 신경망 모델(640)은, 예를 들어, 도 4에 도시된 채널 차이 보상부(440) 및 학습 모델(460)을 통해 채널 간 잡음 크기 차이를 보상한 입력 특징으로 학습된 잡음 제거 신경망 모델(470)일 수 잇다.
일 실시예에 따르면, 잡음 제거 신경망 모델(640)은, 제1 빔포머(620)로부터 전달된 제1 채널 신호(X1)가 음성 메인 채널로 입력되고, 채널 차이 보상부(440)로부터 보상값이 반영된 제3 채널 신호(X3)를 잡음 기준 채널로 활용되어 제1 채널 신호(X1)의 SNR이 향상되도록 학습된 잡음 제거 신경망 모델일 수 있다.
잡음 제거 신경망 모델(640)은 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR이 향상된 신호(Z(k)) 예컨대, 신경망 출력 신호를 신경망 출력 보상부(650)로 전달할 수 있다.
일 실시 예에 따르면, 신경망 출력 보상부(650)는, 제1 채널 신호(X1)의 유음 구간 및 제2 채널 신호(X2)의 유음 구간을 확인할 수 있다. 신경망 출력 보상부(650)는 유음 구간의 제1 채널 신호(X1)와 신경망 출력 신호 비교하여 신호 차이에 대한 평균값을 추정하고, 평균값을 기반으로 음성 왜곡이 보상되도록 신경망 출력 신호를 처리할 수 있다. 일 예를 들어, 신경망 기반으로 출력 신호는 도 7에 도시된 바와 같이, 잡음만 존재하는 구간(a)의 제거량과 유음이 존재하는 구간(b)에서의 잡음 제거량의 크기 차이가 발생된 것을 확인할 수 있다.
일 실시 예에 따르면, 신경망 출력 보상부(650)는 제2 채널 신호(X2)에 대해 유음 구간의 잡음 제거량과 무음 구간의 잡음 제거량을 비교하여 잡음 제거량의 평균을 추정하고, 잡음 제거량이 균일화되도록 신경망 출력 신호를 처리할 수 있다.
일 실시 예에 따르면, 신경망 출력 보상부(650)는 제2 채널 신호(X2)에서 잡음만 존재하는 무음 구간에서의 잡음 제거량을 음성이 존재하는 유음 구간에서의 잡음 제거량만큼 감소하도록 보상하여 잡음 제거량이 균일해지도록 처리할 수 있다. 신경망 출력 보상부(650)는 무음 구간의 주파수 성분에서 잡음 제거량을 추정하고, 유음 구간의 잡음제거량을 추정할 수 있다.
일 실시 예에 따르면, 후처리(post-processing) (660)는 신경망 출력이 보상된 신호((Z(k) + α)에 대한 잔여 잡음을 제거할 수 있다. 후처리(660)은 신경망 출력이 보상된 신호((Z(k) + α)와 제2 빔포머의 출력 신호(예: 제2 채널 신호(X2)를 비교하여 두 신호에 대한 SNR 차이 정보를 이용하여 잔여 잡음을 제거할 수 이다. 후처리(660)는 잔여 잡음을 제거한 신호를 ISTFF로 출력할 수 있다.
일 실시 예에 따르면, 후처리(660)는 주파수 성분을 기반으로 유음 구간과 무음 구간을 판별하고 유음 구간과 무음 구간에 대한 주파수 정보를 채널 차이 보상부(630) 또는 신경망 출력 보상부(650)로 전달할 수 있다.
일 실시 예에 따르면, ISTFT (inverse short time fourier transformer)(670)는 잔여 잡음을 제거한 신호를 입력받아 ISTFT(inverse short time fourier transform)하여 시간 영역의 음원 신호로 복원하여 출력할 수 있다.
도 8 및 도 9는 다양한 실시예에 따른 제2 전자 장치에서 잡음을 제거하는 방법을 도시한다. 도 8및 도 9는 도 7에 도시된 제2 전자 장치(301)의 동작 흐름도이다. 일 실시예에 따르면, 도 8의 동작은 잡음 제거를 위해 신경망 입력 보상 방법을 나타내며, 도 9의 동작은 잡음 제거를 위해 신경망 출력 보상 방법을 나타낼 수 있다.
도 8 및 도 9를 참조하면, 일 실시예에 따르면, 제2 전자 장치(301)의 프로세서(315)는 810 동작에서, 마이크(311)로부터 오디오 입력 수신할 수 있다. 예를 들어, 오디오 신호는 다채널 적어도 2개의 마이크(311)를 통해 입력된 다채널 오디오 신호일 수 있다.
820 동작에서, 프로세서(315)는 다채널 음성 신호에 대해 제1 빔포머(620)를 기반으로 제1 채널 신호를 출력할 수 있다. 제1 채널 신호는 다채널 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 제1 채널 신호(X1=S1+N1)일 수 있다. 제1 채널 신호(X1=S1+N1)는 제1 음성 신호(S1)와 제2 잡음 신호(N1)가 포함된 것으로 추정할 수 있다.
825 동작에서, 프로세서(315)는, 다채널 음성 신호에 대해 제2 빔포머(625)를 기반으로 제2 채널 신호를 출력할 수 있다. 제2 채널 신호는 다채널 음성 도착시간 차이와 잡음 감쇄율을 이용하여 화자의 음성이 감쇄된 제2 채널 신호(X2=S2+N2)일 수 있다. 제2 채널 신호(X2=S2+N2)는 제2 음성 신호(S2)와 제2 잡음 신호(N2)가 포함된 것으로 추정할 수 있다. 일 예를 들어, 820 동작 및 825 동작은 순차적 또는 병렬적으로 수행될 수 있다.
830 동작에서 프로세서(315)는, 제1 채널 신호(X1)의 잡음 신호(N1)와 제2 채널 신호(X2)의 잡음 신호(N2) 크기 차이를 계산할 수 있다. 예를 들어, 프로세서(315)는 제1 채널 신호(X1)의 무음 구간과 제2 채널 신호(X2)의 무음 구간의 출력 크기 차이를 비교하여 잡음 크기 차이를 계산 또는 추정할 수 있다.
840 동작에서, 프로세서(315)는, 제1 잡음 신호(N1)와 제2 잡음 신호(N2) 크기 차이에 따른 보상값을 추정하고 제2 잡음신호(N2)에 보상값을 적용할 수 있다. 예를 들어, 보상값은 주파수 보상을 위한 값으로 이해될 수 있으며, 프로세서(315)는 제2 채널 신호(X2)에 대해 주파수 보상을 수행할 수 있다 프로세서(315)는, 제2 채널 신호(X2=S2+N2)를 보상값(d)이 적용된 제3 채널 신호(X3=S3+N3)로 변환할 수 있다.
850 동작에서, 프로세서(315)는 잡음신호가 다채널 간 잡음 크기 차이가 보정된입력으로 학습된 잡음 제거 신경망 모델의 입력값으로 보상값이 적용된 제3 채널신호(X3=S3+ N3) 와 제1 채널 신호(X1)를 이용할 수 있다.
860 동작에서, 프로세서(315)는 잡음 제거 신경망 모델(640)로부터 신경망 출력 신호를 획득할 수 있다. 신경망 출력 신호는 잡음 신호 대비 음성의 SNR(signal-to-noise-ratio)이 향상된 신호 또는 잡음이 제거된 음성 신호 중 적어도 하나를 포함할 수 있다.
프로세서(315)는 C 동작으로 진행하며, 도 860 동작은 도 9의 910 동작과 실질적으로 동일할 수 있다.
920 동작에서 프로세서(315)는 제1 채널 신호(X1)의 유음 구간을 확인할 수 있다.
930 동작에서, 프로세서(315)는 제2 채널 신호의 유음 구간을 확인할 수 있다.
921 동작에서, 프로세서(315)는 유음 구간의 제1 채널 신호(X1)와 신경망 출력 신호 비교하여 신호 크기 차이에 대한 평균값을 추정할 수 있다.
925 동작에서, 프로세서(315)는 평균값을 기반으로 음성왜곡을 보상하여 신경망 출력 신호를 보정할 수 있다.
931 동작에서, 프로세서(315)는 유음 구간의 잡음 제거량의 크기 차이를 비교하여 잡음 제거량의 평균을 추정할 수 있다.
935 동작에서, 프로세서(315)는 무음 구간의 잡음 제거량과 유음 구간의 잡음 제거량이 균일화할 수 있다.
940 동작에서, 프로세서(315)는 후처리하여 잔여 잡음을 제거할 수 있다.
도 10은 다양한 실시예에 따른 제2 전자 장치에서 잡음을 제거하는 방법을 도시한다. 도 10은 도 6에 도시된 제2 전자 장치(301)의 동작 흐름도이다.
1010 동작에서, 프로세서(315)는 다채널 음성 입력 신호에 대해 STFT(Short Time Fourier Transform)하여 출력할 수 있다.
1020 동작에서, 프로세서(315)는 시간-주파수 변환된 다채널 신호를 화자 방향 조정 빔포밍하여 제1 채널 신호(X1=S1+N1)를 출력할 수 있다. 예를 들어, 제1 채널 신호(X1)는 화자의 음성 크기를 강조하고 잡음이 감쇄된 신호일 수 있다. 제1 채널 신호(X1=S1+N1)는 제1 음성 신호(S1)와 제1 잡음 신호(N1)가 포함된 것으로 추정할 수 있다.
1025 동작에서, 프로세서(315)는 시간-주파수 변환된 다채널 신호를 널 조정 빔포밍하여 제2 채널 신호(X2=S2+N2)를 출력할 수 있다. 예를 들어, 제2 채널 신호(X2)는 화자의 음성이 감쇄된 신호일 수 있다. 제2 채널 신호(X2=S2+N2)는 제2 음성 신호(S2)와 제2 잡음 신호(N2)가 포함된 것으로 추정할 수 있다.
1030 동작에서, 프로세서(315)는 제1 채널 신호(X1)와 제2 채널 신호(X2)의 무음 구간을 확인하고, 무음 구간에서 채널 간 잡음 크기 차이를 추정할 수 있다.
1035 동작에서, 프로세서(315)는 제2 채널 신호(X2)에 대해 채널간 잡음 크기 차이를 보상할 수 있다. 프로세서(315)는 2 채널 간 잡음 크기 차이를 기반으로 보상값(d)을 추정하고, 제2 채널 신호(X2)를 보상값이 적용된 제3 채널 신호(X3=S3+N3)로 변환할 수 있다. 제3 채널 신호(X3)의 잡음 신호(N3)는 제2 채널 신호(X2)의 잡음 신호(N2)가 보상값(d)만큼 보상된 신호일 수 있다.
1040 동작에서, 프로세서(315)는 신경망 모델에 제1 채널 신호(X1)와 제3 채널 신호(X3=S3+N3)를 입력하여 신경망 출력 신호(Z(k))를 출력할 수 있다. 신경망 출력 신호(Z(k))는 잡음 신호 대비 음성의 SNR이 향상된 신호 또는 잡음이 제거된 음성 신호일 수 있다.
1050 동작에서, 프로세서(315)는 제1 채널 신호(X1)와 신경망 출력 신호(Z(k))를 비교하여 유음 구간에서 음성의 왜곡 정보를 추정할 수 있다.
1055 동작에서, 프로세서(315)는, 유음 구간의 제3 채널 신호(X3)와 신경망 출력 신호 비교하여 음성 왜곡된 신호를 보상할 수 있다.
1060 동작에서, 프로세서(315)는 무음 구간의 주파수 성분에서 잡음 제거량을 추적(tracking)하여 유음 구간의 잡음 제거량을 추정할 수 있다.
1070 동작에서, 프로세서(315)는 무음 구간에서의 잡음 제거량이 유음 구간에서의 잡음 제거량만큼 감소하도록 보상하여 잡음 제거량이 균일해지도록 처리할 수 있다.
1080 동작에서, 프로세서(315)는 음성 왜곡 및 잡음 제거량이 균일해지도록 보정한 신호를 후처리 할 수 있다.
1090 동작에서, 프로세서(315)는 ISTFT(Inverse Short Time Fourier Transform)하여 시간 영역의 음원 신호로 복원하여 음성 입력 신호를 출력할 수 있다.
도 11은 다양한 실시예에 따른 제1 전자 장치와 제2 전자 장치의 동작 흐름도를 도시한다.
도 11을 참조하면, 일 실시예에 따르면, 제1 전자 장치(1104)와 제2 전자 장치(1101)는 실시간 또는 주기적으로 잡음 제거 신경망 모델을 업데이트할 수 있다. 예를 들어, 제1 전자 장치(1104)(예: 도 4의 제1 전자 장치(304))는 잡음 제거 신경망 모델을 구현하고 학습하는 장치(예: 서버)일 수 있으며, 제2 전자 장치(1101)(예: 도 6의 제2 전자 장치(301))는 휴대용 전자 장치 또는 스마트 폰 일 수 있다.
1110 동작에서, 제2 전자 장치(1101)는 다채널 사용자 음성 입력을 검출할 수 있다. 제2 전자 장치(1101)는 사용자 요청 또는 특정 기능 실행에 응답하여 음성 인식 기능을 활성화하고 적어도 둘 이상의 마이크를 통해 입력되는 사용자 음성 신호를 수신할 수 있다. 사용자 음성 신호는 제1 마이크 또는 제2 마이크를 통해 다채널로 수신될 수 있다.
제2 전자 장치(1101)는 제1 빔포머를 이용하여 사용자의 음성 크기를 강조하고 잡음이 감쇄된 상기 제1 채널 신호를 생성할 수 있다. 제2 전자 장치(1101)는 제2 빔포머를 이용하여 사용자의 음성이 감쇄된 제2 채널 신호를 생성할 수 있다.
제2 전자 장치(1101)는 사용자 음성 신호에 기반한 제1 채널 신호 및 제2 채널 신호를 제1 전자 장치(1104)로 전달할 수 있다. 일 예를 들어, 제2 전자 장치(1101)는 음성 인식 기능 실행 시 마다 마이크로부터 입력되는 사용자 음성 신호를 제1 전자 장치(1104)로 전달할 수 있다.
1120 동작에서, 제1 전자 장치는(1104)는 제2 전자 장치에서 전달된 제1 채널 신호 및 제2 채널 신호를 대해 사용자 음성 채널 간 잡음 크기를 보상할 수 있다. 일 예를 들어, 제1 전자 장치는(1104)는 제1 채널 신호와 제2 채널 신호에서 무음 구간(예: 음성이 없는 주파수 영역)을 확인하고, 무음 구간에서 채널 간 잡음 크기 차이를 계산하고, 채널 간 잡음 크기 차이를 기반으로 보상값을 추정할 수 있다. 제1 전자 장치는(1104)는 제2 채널 신호에 보상값이 적용된 제3 채널 신호를 생성할 수 있다.
1130 동작에서, 제1 전자 장치는(1104)는 잡음 신호가 보상된 제3 채널 신호와 제1 채널 신호를 기반으로 잡음 제거 신경망 모델을 학습할 수 있다.
1140 동작에서, 제1 전자 장치는(1104)는 학습 결과에 따라 사용자 음성으로 학습된 잡음 제거 신경망 모델을 최적화할 수 있다. 제1 전자 장치는(1104)는 사용자 음성에 따라 최적화된 잡음 제거 신경망 모델 또는 최적화된 잡음 제거 신경망 모델의 업데이트 정보를 제2 전자 장치(1101)로 전달할 수 있다.
1150 동작에서, 제2 전자 장치(1101)는 제2 전자 장치(1101)에 저장된 잡음 제거 신경망 모델을 업데이트할 수 있다.
다양한 실시예에 따른 전자 장치(예: 도 3의 제1 전자 장치(304))는 통신 회로(예: 도 3의 통신 회로(320))와 잡음 제거 신경망 모델 및 상기 잡음 제거 신경망 모델에 활용되는 데이터를 저장하도록 구성된 메모리(예: 도 3의 메모리(327))와 상기 메모리와 전기적으로 연결되는 프로세서(예: 도 3의 프로세서(325))를 포함하고, 상기 메모리(327)는, 실행 시에, 상기 프로세서(325)가, 상기 통신 회로(320)를 통해 외부 전자 장치(예: 도 3의 제2 전자 장치(301))로부터 제1 채널 사용자 음성 신호 및 제2 채널 사용자 음성 신호를 수신하고, 상기 제1 채널 사용자 음성 신호의 잡음 크기와 상기 제2 채널 사용자 음성 신호의 잡음 크기 차이를 보상한 제 3채널 사용자 음성 신호를 생성하고, 상기 잡음 크기 차이가 보상된 제3 채널 사용자 음성 신호 및 상기 제1 채널 사용자 음성 신호를 입력값으로 상기 잡음 제거 신경망 모델을 학습하여 상기 잡음 제거 신경망 모델을 사용자 음성에 최적화되도록 설정된 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 상기 제1 채널 사용자 음성 신호는 사용자의 음성 크기를 강조하고 잡음이 감쇄된 신호를 포함하고, 상기 제2 채널 사용자 음성 신호는 사용자의 음성이 감쇄된 신호를 포함하며, 상기 메모리(327)는, 실행 시에, 상기 프로세서(325)가, 상기 사용자 음성에 최적화된 상기 잡음 제거 신경망 모델 또는 상기 잡음 제거 신경망 모델의 업데이트 정보 중 적어도 하나를 상기 통신 회로를 통해 외부 전자 장치로 전달하도록 설정된 인스트럭션들을 저장할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구현된 유닛(unit)을 포함할 수 있으며, 예를 들면, 로직(logic), 논리 블록(logic block), 부품(component), 또는 회로(circuit) 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들(instructions)을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러(compiler) 생성된 코드 또는 인터프리터(interpreter)에 의해 실행될 수 있는 코드(code)를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM, compact disc read only memory)의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
101: 전자 장치
304: 제1 전자 장치
301: 제2 전자 장치.
120, 325, 315: 프로세서
430, 620: 제1 빔포머
435, 625: 제2 빔포머
440, 630; 채널 차이 보상부
470:640: 잡음 제거 신경망 모델
650: 신경망 출력 보상부

Claims (20)

  1. 전자 장치에서 있어서
    통신 회로;
    적어도 두 개의 마이크;
    상기 통신 회로, 상기 적어도 두 개의 마이크와 동작적으로 연결된 프로세서; 및
    상기 프로세서와 동작적으로 연결되고,
    제1 빔포머에 대응하는 제1 채널 신호와 제2 빔포머에 대응하는 제2 채널 신호를 입력값으로 이용하는 잡음 제거 신경망 모델을 저장하는 메모리를 포함하고,
    상기 메모리는 실행 시에, 상기 프로세서가,
    상기 적어도 두 개의 마이크를 통해 입력된 오디오 입력 신호에 대해 상기 제1 빔포머를 기반으로 상기 제1 채널 신호 및 상기 제2 빔포머를 기반으로 제2 채널 신호를 획득하고,
    상기 제1 채널 신호의 잡음 크기와 상기 제2 채널 신호의 잡음 크기 차이를 보상한 제3 채널 신호를 생성하고, 상기 제1 채널 신호와 상기 제3 채널 신호를 상기 잡음 제거 신경망 모델의 입력값으로 이용하여 신경망 출력 신호를 출력하도록 하는 인스트럭션들을 저장하는 전자 장치.
  2. 제1항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 상기 제1 채널 신호 및 제2 채널 신호로부터 음성 구간과 무음 구간을 확인하고,
    상기 제1 채널 신호의 무음 구간과 상기 제2 채널 신호의 무음 구간의 출력 크기 차이를 비교하여 상기 잡음 크기 차이를 계산하도록 설정된 인스트럭션들을 더 저장하는 전자 장치.
  3. 제1항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 무음 구간의 제1 채널 신호와 상기 무음 구간의 제2 채널 신호의 출력 크기 차이를 비교하여 잡음 크기 차이 계산하고, 상기 잡음 크기 차이의 평균값을 추정하고, 상기 평균값에 대응하는 보상값으로 상기 제2 채널 신호를 주파수 보상하여 상기 제3 채널 신호를 생성하도록 설정된 인스트럭션들을 더 저장하는 전자 장치.
  4. 제1항에 있어서,
    상기 제1 채널 신호는 다채널 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 신호를 포함하고,
    상기 제2 채널 신호는 화자의 음성이 감쇄된 신호를 포함하는 전자 장치.
  5. 제1항에 있어서,
    상기 신경망 출력 신호는 상기 잡음 제거 신경망 모델을 통해 잡음 신호 대비 음성의 SNR(signal-to-noise-ratio)이 향상된 신호 또는 잡음이 제거된 음성 신호 중 적어도 하나를 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 제1 채널 신호의 유음 구간을 확인하고, 유음 구간의 제1 채널 신호와 상기 신경망 출력 신호를 비교하여 유음 구간에 대한 신호 크기 차이의 평균값을 추정하고, 상기 유음 구간의 신호 크기 차이의 평균값을 기반으로 음성 왜곡을 보상하기 위해 상기 신경망 출력 신호를 처리하도록 설정된 인스트럭션들을 더 저장하는 전자 장치.
  6. 제5항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 제2 채널 신호의 무음 구간 및 유음 구간을 확인하고,
    상기 신경망 출력 신호에 대해 상기 무음 구간의 주파수 성분에서 잡음 제거량을 추정하고, 유음 구간의 잡음 제거량을 추정하도록 설정된 인스트럭션들을 더 저장하는 전자 장치.
  7. 제6항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 무음 구간에서의 잡음 제거량을 유음 구간에서의 잡음 제거량 만큼 감소하도록 보상하여 상기 신경망 출력 신호의 잡음 제거량이 균일해지도록 상기 신경망 출력 신호를 처리하도록 설정된 인스트럭션들을 더 저장하는 전자 장치.
  8. 제7항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 음성 왜곡의 보상 및 잡음 제거량이 균일해지도록 처리된 신경망 출력 신호에 대해 잔여 잡음을 제거 또는 감쇠하도록 설정된 인스트럭션들을 저장하는 전자 장치.
  9. 제1항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 적어도 두개의 마이크를 통해 입력된 상기 오디오 입력 신호를 STFT(short time fourier transform)하여 제1 빔포머 및 제2 빔포머로 전달하고, 잔여 잡음을 제거 또는 감쇠한 신경망 출력 신호에 대해 ISTFT(inverse short time fourier transform)하여 음원 신호로 복원하도록 설정된 인스트럭션들을 저장하는 전자 장치.
  10. 제1항에 있어서,
    상기 잡음 제거 신경망 모델은 CNN(convolutional neural network), RNN(recurrent neural network), 또는DNN(deep neural network) 중 적어도 하나에 기반한 신경망 모델인 것을 특징으로 하는 전자 장치.
  11. 전자 장치에서 있어서,
    잡음 제거 신경망 모델 및 상기 잡음 제거 신경망 모델에 활용되는 데이터를 저장하도록 구성된 메모리;
    상기 메모리와 전기적으로 연결되는 프로세서를 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    다채널 음성 신호에 대해 제1 빔포머를 기반으로 제1 채널 신호를 출력하고, 제2 빔포머를 기반으로 제2 채널 신호를 출력하고, 상기 제1 채널 신호의 잡음 크기와 상기 제2 채널 신호의 잡음 크기 차이를 보상한 제 3채널 신호를 생성하고, 상기 잡음 크기 차이가 보상된 제3 채널 신호 및 상기 제1 채널 신호를 입력값으로 이용하여 상기 잡음 제거 신경망 모델을 학습하도록 하는 인스트럭션들을 저장하는 전자 장치.
  12. 제11항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 다채널 음성 신호를 입력 받아 잡음이 제거된 음성 신호 또는 잡음 신호 대비 음성의 SNR(signal-to-noise-ratio)이 향상된 신호를 출력하는 상기 잡음 제거 신경망 모델을 구축하고,
    상기 잡음 제거 신경망 모델을 학습하여 도출된 잡음 제거 규칙, 잡음 제거 함수, 잡음 제거 이득계수 중 적어도 하나를 상기 잡음 제거 신경망 모델에 업데이트하도록 설정된 인스트럭션들을 저장하는 전자 장치.
  13. 제11항에 있어서,
    통신 회로를 더 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 다채널 잡음 신경망 모델 및 업데이트된 다채널 잡음 신경망 모델, 다채널 잡음 신경망 모델의 업데이트 정보를 상기 통신 회로를 통해 외부 전자 장치로 송신하도록 설정된 인스트럭션들을 저장하는 전자 장치.
  14. 제11항에 있어서,
    상기 제1 채널 신호는 다채널 음성의 도착 시간 차이와 잡음 감쇄율을 이용하여 화자의 음성 크기를 강조하고 잡음이 감쇄된 신호를 포함하고,
    상기 제2 채널 신호는 화자의 음성이 감쇄된 신호를 포함하는 전자 장치.
  15. 제11항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 제1 채널 신호 및 제2 채널 신호로부터 음성 구간과 무음 구간을 확인하고,
    상기 제1 채널 신호의 무음 구간과 상기 제2 채널 신호의 무음 구간의 출력 크기 차이를 비교하여 상기 잡음 크기 차이를 계산하도록 설정된 인스트럭션들을 저장하는 전자 장치.
  16. 제15항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 무음 구간의 제1 채널 신호와 상기 무음 구간의 제2 채널 신호를 기반으로 출력 크기 차이의 평균값을 추정하고, 상기 평균값에 대응하는 보상값으로 상기 제2 채널 신호의 잡음 신호를 주파수 보상하여 상기 제3 채널 신호를 생성하도록 설정된 인스트럭션들을 저장하는 전자 장치.
  17. 제12항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 제3 채널 신호 및 제1 채널 신호를 기반으로 특징 벡터를 추출하고, 상기 잡음 제거 신경망 모델을 학습하기 위한 입력값으로 상기 특징 벡터를 입력하고,
    상기 특징 벡터는 음성 메인 채널로 입력되는 제1 특징값과, 잡음 기준 채널로 입력되는 제2 특징값 및 제1 특징값에서 SNR(signal-to-noise-ratio)이 향상되는 제3 특징값을 포함하는 전자 장치
  18. 제17항에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 제1 특징값과 상기 제2 특징값을 입력 변수로 지정하고, 상기 제3 특징값을 출력 변수로 지정하고, 학습 데이터를 기반으로 잡음 제거 규칙, 잡음 제거 함수, 잡음 제거 이득계수 중 적어도 하나를 도출하기 위해 상기 잡음 제거 신경망 모델을 학습하도록 설정된 인스트럭션들을 저장하는 전자 장치.
  19. 전자 장치에서 있어서,
    통신 회로;
    잡음 제거 신경망 모델 및 상기 잡음 제거 신경망 모델에 활용되는 데이터를 저장하도록 구성된 메모리;
    상기 메모리와 전기적으로 연결되는 프로세서를 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 통신 회로를 통해 외부 전자 장치로부터 제1 채널 사용자 음성 신호 및 제2 채널 사용자 음성 신호를 수신하고, 상기 제1 채널 사용자 음성 신호의 잡음 크기와 상기 제2 채널 사용자 음성 신호의 잡음 크기 차이를 보상한 제 3채널 사용자 음성 신호를 생성하고, 상기 잡음 크기 차이가 보상된 제3 채널 사용자 음성 신호 및 상기 제1 채널 사용자 음성 신호를 입력값으로 상기 잡음 제거 신경망 모델을 학습하여 상기 잡음 제거 신경망 모델을 사용자 음성에 최적화되도록 설정된 인스트럭션들을 저장하는 전자 장치.
  20. 제19항에 있어서,
    상기 제1 채널 사용자 음성 신호는 사용자의 음성 크기를 강조하고 잡음이 감쇄된 신호를 포함하고, 상기 제2 채널 사용자 음성 신호는 사용자의 음성이 감쇄된 신호를 포함하며,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 사용자 음성에 최적화된 상기 잡음 제거 신경망 모델 또는 상기 잡음 제거 신경망 모델의 업데이트 정보 중 적어도 하나를 상기 통신 회로를 통해 외부 전자 장치로 전달하도록 설정된 인스트럭션들을 저장하는 전자 장치.

KR1020190096223A 2019-08-07 2019-08-07 다채널 오디오 신호 처리 방법 및 전자 장치 KR20210017252A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190096223A KR20210017252A (ko) 2019-08-07 2019-08-07 다채널 오디오 신호 처리 방법 및 전자 장치
PCT/KR2020/010454 WO2021025515A1 (en) 2019-08-07 2020-08-07 Method for processing multi-channel audio signal on basis of neural network and electronic device
US16/987,475 US11308973B2 (en) 2019-08-07 2020-08-07 Method for processing multi-channel audio signal on basis of neural network and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190096223A KR20210017252A (ko) 2019-08-07 2019-08-07 다채널 오디오 신호 처리 방법 및 전자 장치

Publications (1)

Publication Number Publication Date
KR20210017252A true KR20210017252A (ko) 2021-02-17

Family

ID=74498598

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190096223A KR20210017252A (ko) 2019-08-07 2019-08-07 다채널 오디오 신호 처리 방법 및 전자 장치

Country Status (3)

Country Link
US (1) US11308973B2 (ko)
KR (1) KR20210017252A (ko)
WO (1) WO2021025515A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005403A1 (ko) * 2022-06-27 2024-01-04 한양대학교 산학협력단 음성의 명시적 공간 필터링을 위한 지도 학습 방법 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259801B (zh) * 2021-05-08 2023-07-18 深圳市睿耳电子有限公司 一种智能耳机的喇叭降噪方法和相关装置
US20240249741A1 (en) * 2023-01-25 2024-07-25 Google Llc Guided Speech Enhancement Network

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130949A (en) * 1996-09-18 2000-10-10 Nippon Telegraph And Telephone Corporation Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor
JP5845954B2 (ja) 2012-02-16 2016-01-20 株式会社Ｊｖｃケンウッド ノイズ低減装置、音声入力装置、無線通信装置、ノイズ低減方法、およびノイズ低減プログラム
US9953661B2 (en) 2014-09-26 2018-04-24 Cirrus Logic Inc. Neural network voice activity detection employing running range normalization
US9666183B2 (en) 2015-03-27 2017-05-30 Qualcomm Incorporated Deep neural net based filter prediction for audio event classification and extraction
US9892731B2 (en) 2015-09-28 2018-02-13 Trausti Thor Kristjansson Methods for speech enhancement and speech recognition using neural networks
KR101811524B1 (ko) 2016-05-17 2018-01-25 한양대학교 산학협력단 심화신경망을 이용한 2 채널 마이크 기반의 음성 검출 장치 및 방법
US20170366897A1 (en) * 2016-06-15 2017-12-21 Robert Azarewicz Microphone board for far field automatic speech recognition
US10074380B2 (en) 2016-08-03 2018-09-11 Apple Inc. System and method for performing speech enhancement using a deep neural network-based signal
US10224058B2 (en) * 2016-09-07 2019-03-05 Google Llc Enhanced multi-channel acoustic models
AU2017327003B2 (en) 2016-09-19 2019-05-23 Pindrop Security, Inc. Channel-compensated low-level features for speaker recognition
KR20180111271A (ko) 2017-03-31 2018-10-11 삼성전자주식회사 신경망 모델을 이용하여 노이즈를 제거하는 방법 및 장치
US10672414B2 (en) * 2018-04-13 2020-06-02 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for improved real-time audio processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005403A1 (ko) * 2022-06-27 2024-01-04 한양대학교 산학협력단 음성의 명시적 공간 필터링을 위한 지도 학습 방법 및 시스템

Also Published As

Publication number Publication date
WO2021025515A1 (en) 2021-02-11
US20210043220A1 (en) 2021-02-11
US11308973B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
US11276414B2 (en) Method and device for processing audio signal using audio filter having non-linear characteristics to prevent receipt of echo signal
US11308973B2 (en) Method for processing multi-channel audio signal on basis of neural network and electronic device
US11361785B2 (en) Sound outputting device including plurality of microphones and method for processing sound signal using plurality of microphones
KR102478393B1 (ko) 노이즈가 정제된 음성 신호를 획득하는 방법 및 이를 수행하는 전자 장치
KR102475989B1 (ko) 오디오 신호의 주파수의 변화에 따른 위상 변화율에 기반하여 노이즈가 감쇠된 오디오 신호를 생성하는 장치 및 방법
US10812031B2 (en) Electronic device and method for adjusting gain of digital audio signal based on hearing recognition characteristics
US10388301B2 (en) Method for processing audio signal and electronic device for supporting the same
CN116868265A (zh) 用于动态声学环境中的数据增强和语音处理的系统和方法
US20200265858A1 (en) Electronic device for determining noise control parameter on basis of network connection information and operating method thereof
US20230215453A1 (en) Electronic device for controlling beamforming and operating method thereof
US11423912B2 (en) Method and electronic device for processing audio signal on basis of resolution set on basis of volume of audio signal
US12062382B2 (en) Electronic device and method for controlling speech input/output of electronic device
KR20210108232A (ko) 에코 캔슬링을 위한 방법 및 그 장치
KR20210083872A (ko) 전자 장치 및 신경망 기반의 잔여 에코 제거 방법
US20230379623A1 (en) Method for processing audio data and electronic device supporting same
US20240127784A1 (en) Electronic device and method for detecting error of a signal
EP4059013B1 (en) Linearization of non-linearly transformed signals
US20230087784A1 (en) Electronic device including multi-way speaker and operation method thereof
KR20220017080A (ko) 음성 신호를 처리하는 방법 및 이를 이용한 장치
KR20220096460A (ko) 전자 장치 및 전자 장치의 음성 입출력 제어 방법
KR20240052598A (ko) 신호의 오류를 검출하기 위한 전자 장치 및 방법
KR20220132203A (ko) 오디오 데이터 처리 방법 및 이를 지원하는 전자 장치
KR20240062055A (ko) 외부 소리를 전달하기 위한 전자 장치 및 전자 장치의 동작 방법
CN116848537A (zh) 用于动态声学环境中的数据增强和语音处理的系统和方法
KR20230099580A (ko) 영상 통화 중 영역 별로 노이즈를 처리하는 전자 장치 및 이의 동작 방법