KR20190057052A - 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치 - Google Patents
잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치 Download PDFInfo
- Publication number
- KR20190057052A KR20190057052A KR1020197006303A KR20197006303A KR20190057052A KR 20190057052 A KR20190057052 A KR 20190057052A KR 1020197006303 A KR1020197006303 A KR 1020197006303A KR 20197006303 A KR20197006303 A KR 20197006303A KR 20190057052 A KR20190057052 A KR 20190057052A
- Authority
- KR
- South Korea
- Prior art keywords
- spectrum
- noise
- signal
- class
- speech
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 56
- 238000000034 method Methods 0.000 title claims description 41
- 230000003044 adaptive effect Effects 0.000 title description 2
- 238000001228 spectrum Methods 0.000 claims abstract description 95
- 230000006872 improvement Effects 0.000 claims abstract description 59
- 238000003672 processing method Methods 0.000 claims abstract description 10
- 230000000873 masking effect Effects 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 19
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 34
- 230000008859 change Effects 0.000 description 33
- 230000005540 biological transmission Effects 0.000 description 29
- 230000009467 reduction Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004134 energy conservation Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 206010048669 Terminal state Diseases 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
잡음환경에 적응적인 신호 처리방법은 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하는 단계, 상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하는 단계, 및 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하는 단계를 포함한다.
Description
본 개시는 오디오 및/또는 스피치 신호 처리에 관한 것으로서, 보다 구체적으로는 수신단 혹은 근단(near-end)의 잡음 환경에 적응적으로 오디오 및/또는 스피치신호를 변경하기 위한 신호 처리 방법 및 장치와 이를 채용하는 단말장치에 관한 것이다.
다양한 배경 잡음이 존재하는 환경에서 모바일 기기를 이용하여 상대방과 음성 통화를 하게 되면 배경 잡음으로 인하여 상대방의 음성이 잘 들리지 않게 된다. 예를 들어, 지하철과 같이 소음이 큰 곳에서 통화하거나, 자동차가 다니는 길거리에서 통화하는 경우, 소음이 없는 조용한 곳에서 통화하는 것보다 상대방의 음성이 매우 작게 들리게 된다. 이와 같이 배경 잡음이 음성의 명료도 혹은 음질을 저하시키는 가장 큰 이유는 마스킹 효과(masking effect)에 의해 설명될 수 있다.
이와 같은 배경 잡음을 고려한 음성 처리 기법은 다양하며, 특히 원단(far-end)과 근단(near-end) 환경에 따라서 분류될 수 있다. 이 중, 원단 환경을 고려한 음성 처리 기법은 근단의 다양한 배경 잡음 환경을 고려하지 못하는 한계를 가지게 된다. 이에, 다양한 배경 잡음을 갖는 수신 환경을 고려하여, 원단 장치로부터 전송되거나 송신 모듈로부터 제공되는 음성신호를 근단 장치 혹은 수신 모듈의 사용자를 둘러싼 배경 잡음에 따라서 효율적으로 처리할 수 있는 기술을 필요로 한다.
해결하고자 하는 과제는 통화 품질을 개선하기 위하여, 수신측 혹은 근단에서 복호화된 신호의 명료도 및/또는 음질을 향상시키기 위하여, 복호화된 신호를 수신측 혹은 근단의 잡음 환경에 적응적으로 변경하기 위한 신호 처리방법 및 장치와 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.
해결하고자 하는 과제는 상기한 신호 처리방법, 장치 혹은 기록매체를 채용한 단말장치를 제공하는데 있다.
일측면에 따른 신호 처리방법은 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하는 단계, 상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하는 단계, 및 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하는 단계를 포함할 수 있다.
일측면에 따른 신호 처리방법은 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 상대방의 음성 스펙트럼의 각 밴드에 대하여 명료도 개선과 관련된 밴드 클래스를 결정하는 단계, 상기 결정된 상기 잡음 스펙트럼의 밴드 클래스와 상기 음성 스펙트럼의 밴드 클래스에 기초하여 명료도 개선을 위한 가이드 정보를 생성하는 단계, 및 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하는 단계를 포함할 수 있다.
다른 측면에 따른 신호 처리장치는 마이크로폰을 통하여 수신측 혹은 근단 장치의 잡음신호를 수신하는 제1 수신부; 송신측 혹은 원단장치로부터 상대방의 음성신호를 수신하는 제2 수신부; 및 상기 잡음신호와 상기 음성 신호에 대하여 각각 상기 음성 신호의 명료도 개선과 관련된 클래스를 결정하고, 상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하는 프로세서를 포함할 수 있다.
다른 측면에 따른 신호 처리장치는 마이크로폰을 통하여 수신측 혹은 근단 장치의 잡음신호를 수신하는 제1 수신부; 송신측 혹은 원단장치로부터 상대방의 음성신호를 수신하는 제2 수신부; 및 상기 잡음 신호와 상기 음성 신호의 각 밴드에 대하여 명료도 개선과 관련된 밴드 클래스를 결정하고, 상기 결정된 상기 잡음 신호의 밴드 클래스와 상기 음성 신호의 밴드 클래스에 기초하여 명료도 개선을 위한 가이드 정보를 생성하고, 상기 가이드 정보를 상기 음성 신호에 적용하여 변경된 음성 신호를 생성하는 프로세서를 포함할 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상기 각 신호 처리방법을 실행할 수 있는 명령어를 기록할 수 있다.
또 다른 측면에 따른 단말장치는 화자의 음성신호 및/혹은 잡음신호를 포함하는 주변 환경 신호를 수신하는 적어도 하나의 마이크로폰, 및 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 상대방의 음성 스펙트럼에 기초하여 명료도 개선과 관련된 클래스를 결정하고, 상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하여 스피커로 제공하는 프로세서를 포함할 수 있다.
수신측 혹은 근단의 잡음 환경에 적응적으로 통화 품질을 개선할 수 있다. 또한, 음색 변화를 최소화하면서 명료도 및/또는 음질을 향상시킬 수 있다. 또한, 단말의 볼륨 레벨과 사용자 입력에 기초한 사용자 의도에 대응하여 복호화된 오디오 및/또는 스피치 신호의 명료도를 개선할 수 있다.
도 1은 음성 통화를 위한 송수신단 및 패킷 네트워크의 구조를 나타낸다.
도 2는 일실시예에 따른 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 3은 일실시예에 따른 패킷 네트워크에서 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 4는 다른 실시예에 따른 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 5는 다른 실시예에 따른 패킷 네트워크에서 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 6은 일실시예에 따른 신호처리장치의 구성을 나타낸 블록도이다.
도 7은 다른 실시예에 따른 신호처리장치의 구성을 나타낸 블록도이다.
도 8은 도 7에 도시된 코딩아티팩트 감소부의 세부적인 구성을 나타낸 블록도이다.
도 9는 도 7에 도시된 코딩아티팩트 감소부의 작용을 설명하는 도면이다.
도 10은 일실시예에 따른 원단 장치와 근단 장치에서 원단 입출력 및 근단 입출력 생성을 위한 신호를 설명하는 도면이다.
도 11은 다른 실시예에 따른 원단 장치와 근단 장치에서 원단 입출력 및 근단 입출력 생성을 위한 신호를 설명하는 도면이다.
도 12는 일실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 13은 도 12에 도시된 밴드클래스 결정부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 14는 도 13에 도시된 신호 분석부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 15은 도 12에 가이드 정보 생성부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 16은 도 12에 도시된 가이드 정보 생성부의 동작을 설명하는 도면이다.
도 17는 다른 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 18은 주파수 빈의 클래스의 예를 보여주는 도면이다.
도 19는 도 17에 도시된 가이드 정보 적용부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 20은 또 다른 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 21은 일실시예에 따른 명료도가 개선된 음성 신호를 생성하는 방법을 설명하는 도면이다.
도 22 는 다른 실시예에 따른 명료도가 개선된 음성 신호를 생성하는 방법을 설명하는 도면이다.
도 23은 일실시예에 따른 신호처리장치가 채용되는 디바이스의 블록도이다.
도 2는 일실시예에 따른 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 3은 일실시예에 따른 패킷 네트워크에서 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 4는 다른 실시예에 따른 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 5는 다른 실시예에 따른 패킷 네트워크에서 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 6은 일실시예에 따른 신호처리장치의 구성을 나타낸 블록도이다.
도 7은 다른 실시예에 따른 신호처리장치의 구성을 나타낸 블록도이다.
도 8은 도 7에 도시된 코딩아티팩트 감소부의 세부적인 구성을 나타낸 블록도이다.
도 9는 도 7에 도시된 코딩아티팩트 감소부의 작용을 설명하는 도면이다.
도 10은 일실시예에 따른 원단 장치와 근단 장치에서 원단 입출력 및 근단 입출력 생성을 위한 신호를 설명하는 도면이다.
도 11은 다른 실시예에 따른 원단 장치와 근단 장치에서 원단 입출력 및 근단 입출력 생성을 위한 신호를 설명하는 도면이다.
도 12는 일실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 13은 도 12에 도시된 밴드클래스 결정부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 14는 도 13에 도시된 신호 분석부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 15은 도 12에 가이드 정보 생성부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 16은 도 12에 도시된 가이드 정보 생성부의 동작을 설명하는 도면이다.
도 17는 다른 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 18은 주파수 빈의 클래스의 예를 보여주는 도면이다.
도 19는 도 17에 도시된 가이드 정보 적용부의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 20은 또 다른 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 21은 일실시예에 따른 명료도가 개선된 음성 신호를 생성하는 방법을 설명하는 도면이다.
도 22 는 다른 실시예에 따른 명료도가 개선된 음성 신호를 생성하는 방법을 설명하는 도면이다.
도 23은 일실시예에 따른 신호처리장치가 채용되는 디바이스의 블록도이다.
본 개시는 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 한정하려는 것이 아니며, 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 한정하려는 의도가 아니다. 본 개시에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 개시에서 처리되는 신호는 음악을 포함하는 오디오 신호, 스피치 신호, 오디오 신호와 스피치 신호의 혼합 신호 등이 있으나, 설명의 편의를 위하여 음성 신호(voice signal)로 칭하기로 한다.
한편, 본 개시에서는 신호는 슈퍼 프레임 단위, 프레임 단위 혹은 서브 프레임 단위로 처리될 수 있으나, 설명의 편의를 위하여 프레임 단위로 처리되는 것을 예로 들기로 한다.
이하, 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 개시에 따른 신호 처리장치가 적용되는 음성 통화를 위한 송수신단말 및 서버 네트워크의 구조를 나타낸다. 도 1에 사용되는 네트워크의 예로는 LTE(Long Term Evolution)가 있으며, LTE 네트워크에서의 패킷 기반 음성통화 서비스를 VoLTE(Voice over Long Term Evolution)라고 한다. 한편, 본 개시에 따른 신호 처리장치는 VoLTE 뿐만 아니라, 회선교환(Circuit Switching) 방식의 음성통화 서비스에도 적용될 수 있다.
일반적으로 음성통화가 이루어지기 위해서는, 송신단말과 송신단말이 접속된 Operator A의 네트워크와, 수신단말과 수신단말이 접속된 Operator B의 네트워크로 이루어진 네트워크 구조에서 송신단과 수신단간의 시그널링 경로(Signaling path)를 통해 통화조건 교섭과정이 선행될 수 있다. 통화조건 교섭과정을 통하여 전송율(Transmission rate), 코덱(Codec), 코덱 비트율(Codec bit rate), 샘플링 주파수(Fs), 대역폭(Bandwidth), 및 채널의 개수 중 적어도 하나 이상이 결정될 수 있다. 전송율은 실제 전송에 필요한 통신채널의 데이터량을 의미하며, 코덱은 실제로 사용되는 음성 코덱의 명칭을 의미할 수 있다. 코덱의 예로는 AMR(Adaptive Multi-Rate), AMR-WB(AMR-Wideband), EVS(Enhanced Voice Services), EVRC (Enhanced Variable Rate Codec) 등을 들 수 있으나, 이에 한정되지는 않는다. 코덱 비트율은 결정된 코덱에서 사용할 비트율을 의미하며, 교섭된 코덱 비트율에 따라 음성신호를 압축하고, 압축된 데이터는 패킷 네트워크를 통하여 수신단으로 전송될 수 있다. 각 코덱은 다양한 비트율을 갖는 복수의 모드로 이루어져 있으며, 각 모드에서 사용하는 비트율은 미리 정의될 수 있다. 샘플링 주파수는 코덱의 엔코더 입력신호 또는 디코더 출력신호의 샘플링 주파수를 의미한다. 대역폭은 신호의 대역폭을 의미하며 샘플링 주파수와 달리 실제 부호화가 일어나는 대역폭을 의미한다. EVS 코덱에서 지원하는 신호대역의 예로는 NB(20~4,000Hz), WB(20~8,000Hz), SWB(20~16,000Hz), 그리고 FB(20~20,000Hz)가 있으며, 각 샘플링 주파수에서 지원하는 대역보다 낮은 대역폭에 대하여 실제로 부호화가 가능하다. 예를 들어, 32kHz의 샘플링 주파수에서 지원이 가능한 대역은 FB, SWB, WB, NB이다. 그리고 채널의 개수는 모노 혹은 스테레오와 같이 부호화될 신호 혹은 복호화된 신호에서 지원하는 채널의 개수를 의미한다.
통화조건 교섭과정이 완료되면, 통화조건에 따라 송신단에서는 부호화가 이루어지며, 수신단에서는 복호화가 이루어질 수 있다. 부호화결과 생성되는 비트스트림은 미디어 경로(Media path)를 통하여 수신단으로 전송될 수 있다. VoLTE 서비스의 경우, 송신단에서 압축된 데이터는 모뎀을 통해 RAN(Radio Access Network)까지 무선으로 전송되며, RAN 이후는 유선으로 PS(Packet Switched) 도메인을 통해 상대방의 오퍼레이터로 전송이 이루어질 수 있다. 수신단이 사용하는 오퍼레이터는 송신단이 사용하는 오퍼레이터와 동일하거나 다를 수 있다.
도 1을 참조하면, 송신 단말(Tx Terminal, 110)은 송신단 장치에, 수신 단말(Rx Terminal, 130)은 수신단 장치에 해당한다. 후술하는 실시예에 따른 음질 및/또는 명료도 개선과 관련된 신호 처리 알고리즘은 송수신 단말(110, 130) 중 적어도 하나에 탑재되거나, 두 단말과 네트워크(170)로 연결된 서버(150)에 탑재될 수 있다. 한편, 실시예에 따른 신호처리 알고리즘은 송수신 단말(110, 130)과 서버(150)에 모두 탑재될 수 있다.
네트워크(170)는 송신 단말(110), 수신 단말(130) 및 서버(150)를 연결하는 역할을 수행한다. 네트워크(170)는 전용선, LAN, VAN, 인트라넷, 사설 전화망, 공중 전화망, PSTN 망 및 이들의 상호 조합을 포함하며, 도 1 에 도시된 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망으로, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다.
송신 단말(110) 및 수신 단말(130)은 후술하는 도 2 내지 도 5에 개시된 송수신 단말일 수 있으며 패킷 네트워크 구조를 이용할 수 있다.
통화 교섭이 완료되고 송신 단말(110)에 송신단 잡음 신호 및 송신단 음성 신호가 입력되면, 송신 단말(110)은 송신단 잡음에 대한 정보를 서버(150)로 전달할 수 있다. 통화 교섭이 완료되고 수신 단말(130)에 수신단 잡음 신호가 입력되면, 수신 단말(130)은 수신단 잡음에 대한 정보를 서버(150)로 전달할 수 있다. 또 다른 실시예에 따르면, 송신 단말 (110) 또는 수신 단말(130)은 각자의 통화에 대한 상황정보들을 추가로 서버(150)로 전달할 수 있다.
서버(150)는 송신 단말(110)로부터 수신된 송신단 잡음 정보에 기초하여 송신 단말(110)이 송신단 음성 신호의 음질을 개선하기 위하여 전처리부(113)에 적용될 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 결정할 수 있다. 한편, 서버(150)는 수신 단말(130)로부터 수신된 수신단 잡음 정보에 기초하여 수신 단말(130)이 송신단 음성 신호의 음질을 개선하기 위하여 후처리부(137)에 적용될 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 결정할 수 있다. 음질 개선 알고리즘에 대한 적어도 하나의 파라미터는 스펙트럼별 가이드 정보 혹은 이득 정보로 칭할 수 있으며, 후술하기로 한다.
서버(150)는 송신 단말(110)의 전처리부(113)에 적용될 음질 개선 알고리즘에 대한 적어도 하나의 파라미터가 결정되면, 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 송신 단말(110)로 전송한다. 송신 단말(110)은 서버(150)로부터 전송된 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 이용하여 전처리를 수행함으로써, 입력된 송신단 음성 신호의 음질 및/또는 명료도를 개선할 수 있다. 실시예에 따르면, 전처리 과정에는 잡음 억제 또는 에코 캔슬링이 포함될 수 있다. 송신 단말(110)은 전처리를 통해 음질 및/또는 명료도가 개선된 송신단 음성 신호를 수신 단말(130)로 전송한다.
또한, 서버(1850)는 수신 단말(130)의 후처리부(137)에 적용될 음질 개선 알고리즘에 대한 적어도 하나의 파라미터가 결정되면, 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 수신 단말(130)로 전송한다. 수신 단말(130)은 서버(150)로부터 전송된 음질 개선 알고리즘에 대한 적어도 하나의 파라미터가 결정되면, 음질 개선 알고리즘에 대한 적어도 하나의 파라미터를 이용하여 후처리를 수행함으로써, 송신 단말(110)로부터 수신된 송신단 음성 신호의 음질 및/또는 명료도를 개선할 수 있다. 실시예에 따르면, 후처리 과정에는 DyVE(Dynamic Voice Enhancement)가 더 포함될 수 있다.
송신 단말(110), 수신 단말(130) 및 서버(150)는 통신부, 제어부, 저장부, 프로세서, 디스플레이부 및 사용자 입력부를 더 포함할 수 있다(미도시).
도 2는 일실시예에 따른 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 2에 도시된 장치는 원단(far-end) 장치(210)와 근단(near-end) 장치(230)로 이루어지며, 원단 장치(210)는 제1 변환부(211), 송신처리부(213)와 부호화부(215)를 포함하고, 근단 장치(230)는 복호화부(231), 신호 변경부(233), 수신처리부(235)와 제2 변환부(237)를 포함할 수 있다. 원단 장치(210) 및/또는 근단 장치(230)에서 각 구성요소는 별도의 하드웨어로 구현되어야 하는 경우를 제외하고는 적어도 하나의 프로세서로 일체화되어 구현될 수 있다. 원단 장치(210)와 근단 장치(230)는 각 사용자 장비(User Equipment)의 송신측과 수신측에 각각 설치될 수 있다.
도 2에 있어서, 제1 변환부(211)는 마이크로폰과 같은 입력장치를 통하여 제공되는 아날로그 신호를 디지털 신호로 변환할 수 있다.
송신처리부(213)는 제1 변환부(211)로부터 제공되는 디지털 신호에 대하여 다양한 신호처리를 수행할 수 있다. 신호처리의 예로는 노이즈 제거, 에코 저감 등이 있으나 이에 한정되는 것은 아니다.
부호화부(215)는 송신처리부(213)로부터 제공되는 신호에 대하여 미리 정해진 코덱을 이용하여 부호화를 수행할 수 있다. 부호화 결과 생성되는 비트스트림은 전송채널을 통하여 수신측으로 전송되거나 저장매체에 저장되어 복호화를 위하여 사용될 수 있다.
한편, 복호화부(231)는 수신된 비트스트림에 대하여 미리 정해진 코덱을 이용하여 복호화를 수행할 수 있다.
신호 변경부(233)는 근단 단말의 환경 잡음 신호에 따라서, 수신 환경에 대응하여 복호화된 신호를 변경할 수 있다. 신호 변경부(233)는 볼륨 레벨과 같은 단말 상태 정보와 볼륨 조정과 관련된 사용자 입력에 대응하여, 수신 환경에 대응하여 복호화된 신호를 변경할 수 있다. 일실시예에 따르면, 신호 변경부(233)는 잡음 신호와 음성 신호의 각 밴드에 대하여 명료도 개선과 관련된 밴드 클래스를 결정하고, 결정된 상기 잡음 신호의 밴드 클래스와 음성 신호의 밴드 클래스에 기초하여 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 신호에 적용하여 변경된 음성 신호를 생성할 수 있다.
다른 실시예에 따르면, 신호 변경부(233)는 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하고, 잡음 스펙트럼, 음성 스펙트럼 및 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성할 수 있다. 이를 위하여, 잡음 스펙트럼, 음성 스펙트럼, 생성된 가이드 정보가 반영된 음성 스펙트럼 및 결정된 클래스로부터 모델링된 음성 명료도 모델에 기초하여 가이드 정보, 예를 들면 주파수 빈별 이득정보를 생성할 수 있다.
수신처리부(235)는 신호 변경부(233)로부터 제공되는 신호에 대하여 다양한 신호처리를 수행할 수 있다. 신호처리의 예로는 노이즈 제거, 고주파 복원 등이 있으나 이에 한정되는 것은 아니다.
제2 변환부(237)는 수신처리부(235)로부터 제공되는 신호를 아날로그 신호를 변환할 수 있다. 제2 변환부(237)로부터 제공되는 아날로그 신호는 스피커 또는 리시버를 통하여 재생될 수 있다.
도 2에서 사용되는 코덱의 예로는 EVS를 들 수 있다.
도 3은 일실시예에 따른 패킷 네트워크에서 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 3에 도시된 장치는 원단 장치(310)와 근단 장치(330)로 이루어지며, 원단 장치(310)는 제1 변환부(311), 송신처리부(313), 부호화부(315)와 포매터(317)를 포함하고, 근단 장치(330)는 디포매터(431), 복호화부(333), 신호 변경부(335), 수신 처리부(337)와 제2 변환부(339)를 포함할 수 있다. 원단 장치(310) 및/또는 근단 장치(330)에서 각 구성요소는 별도의 하드웨어로 구현되어야 하는 경우를 제외하고는 적어도 하나의 프로세서로 일체화되어 구현될 수 있다. 원단 장치(310)와 근단 장치(330)는 사용자 장비(User Equipment)의 송신측과 수신측에 각각 설치될 수 있다. 도 3의 장치는 포매터(317)와 디포매터(331)를 제외하고는 도 2의 구성요소를 공유하고 있으므로, 중복적인 동작 설명은 생략하기로 한다.
도 3에 있어서, 포매터(317)는 부호화부(315)로부터 제공되는 비트스트림을 이용하여 패킷 네트워크에서의 통신을 위한 RTP(Real-time Transport Protocol) 페이로드 패킷으로 포맷팅할 수 있다. 포매터(317)에서 생성되는 RTP 페이로드 패킷은 전송채널을 통하여 수신측으로 전송되거나 저장매체에 저장되어 복호화를 위하여 사용될 수 있다.
한편, 디포매터(331)는 수신된 RTP 페이로드 패킷을 디포맷팅하여 필요한 정보를 추출할 수 있다. 필요한 정보의 예로는 타임 스탬프 정보, 패킷 손실 정보와 EVS 비트스트림 등을 들 수 있다.
한편, 복호화부(333)는 JBM(Jitter Buffer Management)부(미도시)를 포함할 수 있고, 디포매터(331)에서 추출된 정보를 이용하여 네트워크 지터를 상쇄한 다음, 복호화 처리를 수행할 수 있다.
도 3에서 사용되는 코덱의 예로는 EVS를 들 수 있다.
도 4는 다른 실시예에 따른 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 4에 도시된 장치는 송신 모듈(410)과 수신 모듈(430)로 이루어지며, 송신 모듈(410)은 제1 변환부(411), 송신처리부(413)와 부호화부(415)를 포함하고, 수신 모듈(430)는 복호화부(431), 신호 변경부(433), 수신처리부(435)와 제2 변환부(437)를 포함할 수 있다. 송신 모듈(410) 및/또는 수신 모듈(430)에서 각 구성요소는 별도의 하드웨어로 구현되어야 하는 경우를 제외하고는 적어도 하나의 프로세서로 일체화되어 구현될 수 있다. 송신 모듈(410)와 수신 모듈(430)은 근단 장치의 송신측과 수신측에 설치될 수 있다. 도 4의 각 구성요소는 근단 장치의 수신모듈(410)과 송신모듈(430)에 포함된다는 점을 제외하고는 도 2에서와 동일하므로 세부적인 동작 설명은 생략하기로 한다. 한편, 수신모듈(410)과 송신모듈(430)이 하나의 근단 장치에 포함되므로, 제1 변환부(411) 및 송신처리부(413)의 출력신호 혹은 부호화부(415)에서 사용된 엔코딩 파라미터가 신호 변경부(433)로 제공될 수 있다. 또한, 신호 변경부(433)는 볼륨 제어와 관련된 단말 상태 정보 또는 사용자 입력을 더 수신할 수 있다.
도 5는 다른 실시예에 따른 패킷 네트워크에서 음성통화를 위한 이동통신장치의 구성을 나타내는 블록도이다.
도 5에 도시된 장치는 송신 모듈(510)과 수신 모듈(530)로 이루어지며, 송신 모듈(510)은 제1 변환부(511), 송신처리부(513), 부호화부(515)와 포매터(517)를 포함하고, 수신 모듈(530)는 디포매터(531), 복호화부(533), 신호 변경부(535), 수신처리부(537)와 제2 변환부(539)를 포함할 수 있다. 송신 모듈(510) 및/또는 수신 모듈(530)에서 각 구성요소는 별도의 하드웨어로 구현되어야 하는 경우를 제외하고는 적어도 하나의 프로세서로 일체화되어 구현될 수 있다. 송신 모듈(510)와 수신 모듈(530)은 근단 장치의 송신측과 수신측에 설치될 수 있다. 도 5의 각 구성요소는 근단 장치의 수신모듈(510)과 송신모듈(530)에 포함된다는 점을 제외하고는 도 3에서와 동일하므로 세부적인 동작 설명은 생략하기로 한다. 한편, 수신모듈(510)과 송신모듈(530)이 하나의 근단 장치에 포함되므로, 제1 변환부(511), 송신처리부(513), 부호화부(515)와 포매터(517)의 신호 처리과정으로부터 얻어진 정보가 신호 변경부(535)로 제공될 수 있다. 또한, 신호 변경부(535)는 볼륨 제어와 관련된 단말 상태 정보 또는 사용자 입력을 더 수신할 수 있다.
도 6은 일실시예에 따른 신호처리장치의 구성을 나타낸 블록도로서, 도 2 내지 도 5의 신호 변경부(233,335,433,535)에 대응될 수 있다. 도 6에 도시된 신호처리장치는 근단장치 혹은 수신모듈에 탑재되거나, 단말장치에 착탈식으로 별도의 모듈로 구현될 수 있다.
도 6에 도시된 장치는 모드 결정부(610), 제1 명료도 개선부(630)와 제2 명료도 개선부(650)를 포함할 수 있다. 여기서, 모드 결정부(610)와 제2 명료도 개선부(650)는 옵션으로 구비될 수 있으며, 이에 따르면 신호처리장치는 제1 명료도 개선부(630)로 구현될 수 있다.
명료도(intelligibility)는 음성의 품질을 나타내는 척도로 실제 음성 신호의 음절을 청취자가 얼마나 잘 이해하는지를 비율로 나타낼 수 있다. 또는, 명료도(intelligibility)는 의미가 있는 단어나 문장에 대한 이해도를 나타내는 척도로 명료도가 높아지면 이해도도 높아지는 관계에 있다.
명료도는 음성 전송 지수(STI, Speech Transmission Index)나 직접음 대 반사음비(D_50)등의 수치로 측정되기도 하지만, 신호대잡음비와 같은 객관적 음질과 비례하는 관계에 있지 않으며 청자에 따라 주관적이고 지각적인 특징을 가질 수 있다. 따라서, 명료도 개선은 주관적 음질을 향상시키기 위한 방법에 해당할 수 있다.
도 6을 참조하면, 모드 결정부(610)는 수신 볼륨이 설정된 최대치에 도달되었을 때, 사용자로부터 볼륨 업 입력이 추가적으로 수신되는지를 판단하여 제 모드와 제2 모드 중 하나를 결정할 수 있다. 다른 실시예에 따르면, 모드 결정부(610)는 재난방송이 수신되거나 119 통화와 같은 긴급 상황이 감지되면 제1 모드 혹은 제2 모드로 결정할 수 있다. 여기서, 제1 모드는 기본 모드(basic mode)로, 제2 모드는 어그레시브 모드(aggressive mode)로 칭할 수 있다. 실시예에 따르면, 제1 모드는 디폴트로 설정되어 있다.
제1 명료도 개선부(630)는 모드 결정부(610)에서 제1 모드로 결정된 경우 동작하며, 잡음 신호와 음성 신호의 각 밴드에 대하여 명료도 개선과 관련된 밴드 클래스를 결정하고, 결정된 상기 잡음 신호의 밴드 클래스와 음성 신호의 밴드 클래스에 기초하여 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 신호에 적용하여 변경된 음성 신호를 생성할 수 있다. 이때, 프레임의 전체 에너지가 보존되도록 신호 처리가 수행될 수 있다. 그 결과, 음성신호가 변경되더라도 음색 변화를 최소화시킬 수 있다.
다른 실시예에 따르면, 제1 명료도 개선부(630)는 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하고, 잡음 스펙트럼, 음성 스펙트럼 및 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성할 수 있다. 이를 위하여, 잡음 스펙트럼, 음성 스펙트럼, 생성된 가이드 정보가 반영된 음성 스펙트럼 및 결정된 클래스로부터 모델링된 음성 명료도 모델에 기초하여 가이드 정보, 예를 들면 주파수 빈별 이득정보를 생성할 수 있다.
제2 명료도 개선부(650)는 모드 결정부(610)에서 제2 모드로 결정된 경우 동작하며, 제1 명료도 개선부(630)에서와 동일하게 동작하되, 프레임의 전체 에너지에 대한 소정 비율 예를 들면 20% 정도 증가가 허용되도록 신호 처리가 수행될 수 있다. 다른 실시예에 따르면, 제2 명료도 개선부(650)는 제1 명료도 개선부(630)에서 결정된 명료도 개선을 위한 유효 밴드 중 활성 밴드에 대하여 추가적으로 에너지를 증가시킬 수 있다. 다른 실시예에 따르면, 제2 명료도 개선부(650)는 제1 명료도 개선부(630)에서 사용되는 Lim 값 혹은 TMN 값의 상수를 좀 더 큰 값으로 설정할 수 있다.
도 7은 다른 실시예에 따른 신호처리장치의 구성을 나타낸 블록도로서, 도 2 내지 도 5의 신호 변경부(233,335,433,535)에 대응될 수 있다.
도 7에 도시된 장치는 잡음 감소부(710)와 명료도 개선부(730)를 포함할 수 있다. 여기서 명료도 개선부(730)는 도 6에서와 같이 구현될 수 있다. 한편, 단말 사용자의 필요 혹은 수신 환경 등 조건에 따라서 잡음 감소부(710)는 사용되지 않을 수 있다.
도 7을 참조하면, 잡음 감소부(710)는 부호화과정에서 생성된 고주파 잡음과 같은 코딩 아티팩트를 감소시키거나 제거할 수 있다. 다른 실시예에 따르면, 잡음 감소부(710)는 마이크로폰을 통해 수신된 잡음 신호를 이용하여, 전체 수신 신호로부터 잡음을 감소시킬 수 있다.
명료도 개선부(730)는 근단 단말의 환경 잡음 신호에 근거하여, 복호화된 신호 혹은 잡음 감소부(710)의 출력신호의 명료도를 개선시킬 수 있다. 이때, 명료도 개선부(730)는 단말 상태 정보와 볼륨 업과 관련된 사용자 입력을 추가로 수신하여 어그레시브 모드로 동작될 수 있다. 여기서, 단말 상태 정보는 볼륨 레벨이 최대치에 도달하였는지와 관련되며, 사용자 입력은 볼륨 레벨이 최대치에 도달한 이후 사용자가 볼륨 업 버튼을 눌렀는지와 관련될 수 있다. 이때, 볼륨 레벨이 최대치에 도달한 이후 연속적으로 소정 횟수 이상 볼륨 업 버튼을 누른 경우, 혹은 볼륨 레벨이 최대치에 도달한 이후 사용자가 소정 시간내에 볼륨 업 버튼을 적어도 한번 이상 누른 경우 어그레시브 모드가 활성화될 수 있다. 다른 실시예에 따르면, 어그레시브 모드를 활성화하기 위한 명령을 사용자 음성을 통하여 혹은 사용자 인터페이스를 통하여 사용자가 직접 입력할 수 있다. 다른 실시예에 따르면, 주변 잡음 레벨이 미리 설정된 최대치보다 높은 경우에도 어그레시브 모드가 활성화될 수 있다.
도 8은 도 7에 도시된 잡음 감소부(710)의 세부적인 구성을 나타낸 블록도이다.
도 8에 도시된 잡음 감소부(710)는 대역폭 결정부(810)와 후처리부(830)를 포함할 수 있으며, 적어도 하나의 프로세서로 구현될 수 있다.
도 8을 참조하면, 대역폭 결정부(810)는 디코딩 대역폭을 결정하기 위하여, 디코딩 대역 정보, 디코딩 샘플링 주파수 및 디코딩 비트율에 근거하여, 복호화된 신호의 최적 부호화 대역폭을 검출할 수 있다. 여기서, 디코딩 대역 정보로는 NB, WB, SWB 혹은 FB를 들 수 있다.
후처리부(830)는 대역폭 결정부(810)에서 검출된 최적 부호화 대역폭에 근거하여, 저역통과필터링을 수행함으로써 부호화과정에서 함께 전송된 고주파 잡음을 제거할 수 있다.
도 9는 도 7에 도시된 잡음 감소부(710)의 작용을 설명하는 도면으로서, 검출된 최적 부호화 대역폭에 근거하여 저역통과필터링을 수행함으로써 고주파 영역의 잡음이 제거됨을 알 수 있다.
도 10은 일실시예에 따른 원단 장치(1010)와 근단 장치(1030)에서 원단 입출력 및 근단 입출력 생성을 위한 신호를 설명하는 도면으로서, 단말에 마이크가 두개 설치된 예를 나타낸다. 이에 따르면, 명료도 개선을 위하여 하단 혹은 하단의 전면 혹은 후면에 위치하는 제1 마이크로부터의 잡음(NI1)과 상단 혹은 상단의 전면 혹은 후면에 위치하는 제3 마이크로부터의 잡음(NI2)가 사용될 수 있다.
수신단 출력 NO 는 송신단 입력 음성 신호 FI가 네트워크를 통해 수신단 장치로 전달된 신호로, 수신단 장치의 마이크로폰을 통해 수신된 수신단 잡음을 이용하여 최종 출력 신호인 NO1이 생성된다.
도 11은 다른 실시예에 따른 원단 장치(1110)와 근단 장치(1130)에서 원단 입출력 및 근단 입출력 생성을 위한 신호를 설명하는 도면으로서, 단말에 마이크가 세개 설치된 예를 나타낸다. 이에 따르면, 명료도 개선을 위하여 하단 혹은 하단의 전면 혹은 후면에 위치하는 제1 혹은 제2 마이크로부터의 잡음(NI1, NI2)과 상단 혹은 상의 전면 혹은 후면에 위치하는 제3 마이크로부터의 잡음(NI3)가 사용될 수 있다.
도 10 및 도 11에는 각각 2개의 마이크로폰와 3개의 마이크로폰을 예로 들었으나, 실시예에 따른 신호처리장치는 마이크로폰의 갯수 및/혹은 위치에 제한되지 않는다.
도 10 및 도 11에 따르면, 원단 장치로부터 제공되는 근단 장치의 초기 출력(NO)를 적어도 하나 이상의 마이크로폰로부터 제공되는 잡음을 기준으로 음량을 키우는 방향으로 변경하여 근단 장치의 최종 출력(NO1)을 생성할 수 있다.
도 12는 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도로서, 도 6의 제1 명료도 개선부(630) 혹은 도 7의 명료도 개선부(730)에 대응될 수 있다.
도 12에 도시된 신호처리장치는 밴드클래스 결정부(1210), 가이드 정보 생성부(1230)와 가이드 정보 적용부(1250)를 포함할 수 있다. 각 구성요소는 적어도 하나의 프로세서로 일체화될 수 있다. 도시되진 않았으나, 각 구성요소의 전단 혹은 후단에 입출력신호를 저장하기 위한 메모리를 더 구비할 수 있다.
도 12를 참조하면, 밴드클래스 결정부(1210)는 전송되는 음성신호와 마이크로 입력되는 잡음신호에 대하여 명료도 개선을 위한 적어도 하나 이상의 유효한 밴드를 선택하기 위하여 밴드 클래스를 결정할 수 있다. 이때, 음성신호와 잡음신호에 대하여 각각 심리 음향학적 원리에 의거하여 밴드 클래스가 결정될 수 있다.
가이드 정보 생성부(1230)는 밴드 클래스 결정부(1210)에서 결정된 음성신호의 밴드 클래스와 잡음신호의 밴드 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성할 수 있다. 가이드 정보는 명료도 개선이 수행되는 유효 밴드와 유효 밴드에 대한 변경값을 포함할 수 있다. 유효 밴드는 프레임 단위로 달라질 수 있다.
가이드 정보 적용부(1250)는 생성된 가이드 정보를 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성할 수 있다.
도 13은 도 12에 도시된 밴드클래스 결정부(1210)의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 13에 도시된 밴드클래스 결정부(1210)는 제1 마스킹 임계치 산출부(1310), 제1 밴드 클래스 결정부(1330), 신호 분석부(1350), 제2 마스킹 임계치 산출부(1370)와 제2 밴드 클래스 결정부(1390)을 포함할 수 있다. 각 구성요소는 적어도 하나의 프로세서로 일체화될 수 있다. 도시되진 않았으나, 각 구성요소의 전단 혹은 후단에 입출력신호를 저장하기 위한 메모리를 더 구비할 수 있다.
도 13을 참조하면, 제1 마스킹 임계치 산출부(1310)는 주파수 도메인으로 변환된 음성 신호를 분석하여 음성 마스킹 임계치를 추정할 수 있다. 음성 마스킹 임계치는 심리음향학적 원리에 의거하여 산출될 수 있으며, 일예를 들면 MPEG(Moving Picture Experts Group) 표준에서 사용되는 방식을 적용할 수 있다. 음성 마스킹 임계치는 밴드별로 다른 값을 가질 수 있다.
제1 밴드 클래스 결정부(1330)는 제1 마스킹 임계치 산출부(1310)에서 얻어진 음성 마스킹 임계치에 근거하여, 음성 신호의 각 밴드에 대한 클래스를 결정할 수 있다. 제1 밴드 클래스 결정부(1330)는 주파수 영역에 기초하여 도네이션 밴드(donation)와 나머지 밴드로 분류하고, 나머지 밴드에 대하여 음성 신호의 에너지와 음성 마스킹 임계치간의 비교 결과에 따라서 활성(active) 밴드 혹은 비활성(in-active) 밴드로 분류할 수 있다. 구체적으로, 도네이션 클래스는 저주파 영역에 위치하는 밴드가 해당되며 가장 낮은 대역에서부터 적어도 하나 이상의 밴드가 설정될 수 있다. 한편, 음성신호의 에너지가 음성의 마스킹 임계치보다 크거나 같으면 활성 클래스로 설정되고, 작으면 비활성 클래스로 설정될 수 있다.
신호 분석부(1350)는 마이크로폰으로부터 수신되는 신호를 분석하여 잡음신호를 추출할 수 있다. 잡음신호 추출과 관련해서는 공지된 다양한 방식이 적용될 수 있다.
제2 마스킹 임계치 산출부(1370)는 신호 분석부(1350)로부터 제공되는 잡음 신호를 분석하여 잡음 마스킹 임계치를 추정할 수 있다. 마찬가지로, 잡음 마스킹 임계치는 심리음향학적 원리에 의거하여 산출될 수 있으며, 일예를 들면 MPEG 표준에서 사용되는 방식을 적용할 수 있다. 잡음 마스킹 임계치 또한 밴드별로 다른 값을 가질 수 있다.
제2 밴드 클래스 결정부(1390)는 제2 마스킹 임계치 산출부(1370)에서 산출된 마스킹 임계치에 근거하여, 잡음 신호의 각 밴드에 대한 클래스를 결정할 수 있다. 이때, 잡음 신호의 에너지와 잡음 마스킹 임계치간의 비교 결과에 따라서 활성 밴드 혹은 비활성 밴드로 분류할 수 있다. 잡음신호의 에너지가 잡음의 마스킹 임계치보다 크거나 같으면 활성 클래스로 설정되고, 작으면 비활성 클래스로 설정될 수 있다. 잡음 신호의 밴드 클래스는 음성 신호의 밴드 클래스를 결정하는데 사용될 수 있다. 다른 실시예에 따르면, 잡음 신호에서 음성 신호의 도네이션 밴드에 대응하는 밴드를 비활성 밴드로 할당할 수 있다.
도 14는 도 13에 도시된 신호 분석부(1350)의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다. 여기서, 신호 분석은 프레임 혹은 서브-프레임 단위로 수행될 수 있다. 또한, 단일 프레임 혹은 서브-프레임에 대하여 서브밴드 단위로 처리할 수도 있다. 여기서, 서브밴드는 임계밴드 혹은 바크밴드 단위로 구성할 수 있으며, 서브밴드간 간격이 저대역에서는 조밀하고 고대역에서는 듬성해지도록 구성할 수 있다. 이하에서는 프레임 단위로 신호 분석이 수행되는 것을 예로 들기로 한다.
도 14에 도시된 신호 분석부(1350)는 음성활동도 검출부(Voice Activity Detector, 1410)와 잡음신호 추정부(1430)을 포함할 수 있다.
도 14를 참조하면, 음성활동도 검출부(1410)는 마이크로폰으로부터 입력되는 현재 프레임에 대하여 음성활동도(voice activity)를 검출할 수 있다. 이때, 음성활동도 대신 신호활동도(signal activity)를 사용하는 것도 가능하다. 한편, 음성활동도 검출부(1410) 대신 코덱 내부에 탑재된 VAD 혹은 SAD 유니트를 이용할 수도 있다.
잡음신호 추정부(1430)는 음성활동도 검출부(1410)로부터 제공되는 음성활동도와 소정 임계치와의 비교결과에 따라서, 현재 프레임을 활성 프레임(active frame) 혹은 비활성 프레임(in-actve frame)으로 분류할 수 있다. 활성 프레임은 근간 단말에서 화자가 말을 하고 있는 구간을 의미하며, 이때 잡음신호 추정부(1430)는 이전 비활성 프레임의 잡음 신호를 현재 프레임의 잡음 신호로 추정할 수 있다. 한편, 비활성 프레임은 화자가 말을 하지 않는 구간을 의미하며, 이때 잡음신호 추정부(1430)는 마이크로폰의 입력신호를 현재 프레임의 잡음 신호로 추정할 수 있다.
도 15는 도 12에 도시된 가이드 정보 생성부(1230)의 일실시예에 따른 세부적인 구성을 나타낸 블록도이다.
도 15에 도시된 가이드 정보 생성부(1230)는 제1 에너지 계산부(1510), 제2 에너지 계산부(1530)와 변경값 산출부(1570)을 포함할 수 있다.
도 15를 참조하면, 제1 에너지 계산부(1510)는 음성의 에너지 총합과 잡음의 에너지 총합을 비교하여 부스팅 에너지를 산출할 수 있다. 이때, 음성의 에너지 총합과 잡음의 에너지 총합은 각각의 활성 밴드를 이용하여 산출될 수 있다. 부스팅 에너지는 음성이 잡음을 마스킹할 수 있는 수준을 고려하여 결정될 수 있다. 또한, 유사한 방법으로 잡음이 음성을 마스킹할 수 있는 수준을 고려하여 결정될 수 있다. 이를 위하여 음성을 심리음향에서 톤 신호로 가정하여 산출되는 TMNR(Tone Masking Noise Ratio) 또는 NMTR(Noise Masking Tone Ratio)를 이용할 수 있다. 음성의 에너지 총합은 제1 밴드클래스 결정부(1610)에서 활성 클래스로 설정된 밴드로부터 산출될 수 있다. 잡음의 에너지 총합은 제2 밴드클래스 결정부(1630)에서 활성 클래스로 설정된 밴드로부터 산출될 수 있다. 각 에너지 총합은 dB 스케일로 표현될 수 있다.
일예를 들면, 부스팅 에너지는 하기 수학식 1과 같이 나타낼 수 있다.
수학식 1에서 사용된 파라미터는 하기 수학식 2 내지 6과 같이 나타낼 수 있다.
여기서, 
는 잡음의 에너지 총합, 
는 음성의 에너지 총합, Mth,N,dB는 잡음의 마스킹 임계치, Mth,T,dB는 음성의 마스킹 임계치를 각각 나타낸다. 한편, b는 밴드 인덱스, k는 마지막 도네이션 밴드를 나타내는 인덱스이다. BandiT(k)는 마지막 도네이션 밴드가 k인 경우 음성신호의 활성 밴드에 속하는 밴드 정보, BandiN(k)는 마지막 도네이션 밴드가 k인 경우 잡음신호의 활성 밴드에 속하는 밴드 정보를 나타낸다. B는 프레임의 전체 밴드의 수를 나타낸다. TMNdB(k)는 잡음신호에서 활성 밴드의 비율과 관련있으며, LimdB(k)는 음성신호에서 활성 밴드의 비율과 관련있다. 이는 음성신호와 잡음신호 각각의 스펙트럼 다이나믹스(spectrum dynamics)를 고려하는 것을 의미한다.
제2 에너지 계산부(1530)는 도네이션 밴드를 기준으로 하여 도네이팅 에너지를 결정할 수 있다. 이때, 각 도네이션 밴드에 대하여 동일한 값의 도네이팅 에너지를 할당할 수 있다. 일예를 들면, 도네이팅 에너지를 하기 수학식 7과 같이 나타낼 수 있다.
수학식 2에서 DdB는 하기 수학식 8과 같이 나타낼 수 있다.
여기서, 
는 잡음신호에 있는 활성 밴드 전체 에너지, 
는 음성신호에 있는 활성 밴드 전체 에너지를 나타낸다.
변경값 산출부(1550)는 음질 열화를 방지하기 위하여, 현재 밴드의 부스팅 에너지에 대하여 이전 밴드의 스무딩된 부스팅 에너지를 이용하여 스무딩을 수행할 수 있다. 이때, 현재 밴드의 도네이팅 에너지에 대해서는 스무딩 처리가 생략될 수 있다.
일예를 들면, 도네이션 밴드 이외의 밴드에 대한 부스팅 에너지와 도네이션 밴드에 대한 도네이팅 에너지의 스무딩은 하기 수학식 9와 같이 나타낼 수 있다.
여기서, 부스팅 밴드는 활성 밴드를 의미한다.
변경값 산출부(1550)는 스무딩된 부스팅 에너지와 도네이팅 에너지를 dB 스케일에서 리니어 스케일로 변환하여 프레임의 부스팅 에너지 총합과 도네이팅 에너지 총합을 산출하고, 에너지 증감분을 고려하여 밴드별로 변경값을 산출할 수 있다.
일예를 들면, 밴드별 변경값 예를 들면 이득 Gain(b)는 하기 수학식 10과 같이 나타낼 수 있다.
여기서, ET,lin(b)는 밴드(b)의 리니어 스케일의 음성 에너지를 나타낸다.
수학식 4에 따르면, 음성 에너지에 스무딩된 부스팅 에너지 혹은 도네이팅 에너지를 리니어 스케일로 변환한 값을 추가한 후, 원래의 음성 에너지와의 차이에 근거하여 이득 Gain(b)이 산출될 수 있다.
한편, 변경값 산출부(1550)는 도네이션 밴드의 갯수를 늘려가면서, 프레임에서 부스팅 에너지 총합이 도네이팅 에너지 총합보다 작게 되는 지점에서 허용가능한 도네이션 밴드의 갯수를 결정할 수 있다.
이는 하기 수학식 11과 같이 나타낼 수 있다.
즉, 부스팅 에너지 총합(
)이 도네이팅 에너지 총합( 
)보다 작게 되는 지점의 k값이 허용가능한 도네이션 밴드의 갯수에 해당한다. 여기서, b는 밴드 인덱스, k는 마지막 도네이션 밴드를 나타내는 인덱스이다. BandiT(k)는 마지막 도네이션 밴드가 k인 경우 음성신호의 활성 밴드에 속하는 밴드 정보를 나타내며, 도네이션 밴드는 저주파에서 고주파로 하나씩 증가시켜 가면서 상기 수학식 5를 수행할 수 있다.
변경값 산출부(1550)는 부스팅 에너지 총합이 도네이팅 에너지 총합에 근거하여 도네이션 밴드를 수정하고, 수정된 도네이션 밴드에 따라서 활성 밴드와 비활성 밴드가 수정되고, 수정된 도네이션 밴드와 활성 밴드에 대하여 밴드별 변경값 Gain(b)을 산출할 수 있다. 이에 따르면 비활성 밴드에 대해서는 원래의 신호가 유지될 수 있다.
도 16은 도 12에 도시된 가이드 정보 생성부(1230)의 동작을 설명하는 도면이다.
도 16을 참조하면, 1610 단계에서는 도네이션 밴드 인덱스 k를 1로 설정한다.
1630 단계에서는 도 15의 제1 에너지 계산부(1510)와 제2 에너지 계산부(1530)에서와 같이 부스팅 에너지와 도네이팅 에너지를 산출한다.
1650 단계에서는 도 15의 변경값 산출부(1550)에서와 같이 프레임의 부스팅 에너지 총합과 도네이팅 에너지 총합을 비교한다.
1670 단계에서는 1650 단계에서의 비교결과 도네이팅 에너지 총합이 부스팅 에너지 총합보다 작은 경우, 도네이션 밴드 인덱스를 1만큼 증가시켜 1630 단계로 이행한다.
1690 단계에서는 1650 단계에서의 비교결과 도네이팅 에너지 총합이 부스팅 에너지 총합보다 크거나 같은 경우, 해당 조건을 만족하는 밴드 인덱스 k를 프레임내에서 허용가능한 도네이션 밴드의 갯수로 결정하고, 이에 근거하여 에너지 증감분을 고려하여 밴드별로 변경값을 산출한다.
도 17는 다른 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도로서, 도 6의 제1 명료도 개선부(630) 혹은 도 7의 명료도 개선부(730)에 대응될 수 있다.
도 17에 도시된 신호처리장치는 클래스 결정부(1710), 프리베일링레벨(prevailing level) 결정부(1730), 가이드 정보 생성부(1750)와 가이드 정보 적용부(17700)를 포함할 수 있다. 각 구성요소는 적어도 하나의 프로세서로 일체화될 수 있다. 도시되진 않았으나, 각 구성요소의 전단 혹은 후단에 입출력신호를 저장하기 위한 메모리를 더 구비할 수 있다. 여기서, 프리베일링레벨 결정부(1730)는 옵션으로 사용될 수 있으며, 이 경우 음성 명료도 모델에서 사용되는 왜곡(D) 산출시 고려되지 않을 수 있다.
도 17을 참조하면, 클래스 결정부(1710)는 전송되는 음성신호의 각 스펙트럼별로 클래스를 결정할 수 있다. 일실시예에 따르면, 주파수 빈 단위로 클래스를 결정할 수 있다. 이를 위하여 음성신호와 잡음신호를 주파수 도메인으로 변환하고, 그 결과 얻어지는 음성 스펙트럼과 잡음 스펙트럼이 클래스 결정부(1710)에 제공될 수 있다. 변환 기법으로는, DFT(Discrete Transform), FFT(Fast Fourier Transform), MDCT(Modified Discrete Cosine Transform) + MDST(Modified Discrete Sine Transform)를 사용할 수 있으나 이에 한정되지 않는다. 클래스 결정부(1710)는 주파수 빈 단위로 음성의 마스킹 임계치와 비교하고, 주파수 빈의 크기가 음성의 마스킹 임계치보다 작으면 해당 주파수 빈은 변경없이 그대로 유지하는 클래스 B로 설정할 수 있다. 즉, 들리지 않는 음성이라도 원래대로 유지하게 된다. 클래스 결정부(1710)는 주파수 빈 단위로 잡음 에너지를 컴포트 노이즈 레벨과 비교하고, 잡음 에너지가 컴포트 노이즈 레벨보다 작으면 해당 주파수 빈은 변경없이 그대로 유지하는 클래스 B로 설정할 수 있다. 즉, 잡음 레벨이 작으면 해당 주파수 빈은 원래대로 유지하게 된다. 클래스 결정부(1710)는 주파수 빈 단위로 음성 에너지(E1)가 잡음 에너지(E2)보다 크면, 예를 들어 E2*64 < E1이면 해당 주파수 빈은 크기가 감소되도록 변경하는 클래스 C로 설정할 수 있다. 한편, 상기한 클래스 B 및 C에 해당하지 않는 주파수 빈은 크기가 증가 혹은 감소되도록 변경하는 클래스 A로 설정할 수 있다. 클래스 A로 설정된 주파수 빈인 경우, 특정 주파수 빈으로 설정된 주파수 임계치(Th)보다 주파수 빈이 작으면 크기가 감소되도록 변경하거나, 특정 주파수 빈으로 미리 설정된 주파수 임계치(Th)보다 주파수 빈이 크거나 같으면 크기가 증가되도록 변경할 수 있다. 이때, 음성의 마스킹 임계치는 음성신호 자체의 절대 임계치(absolute threshold)를 고려할 수 있다. 한편, 주파수 임계치(Th)는 스피커의 특성을 고려하여 결정될 수 있고, 이때 너무 낮은 주파수 신호는 배제될 수 있다.
프리베일링레벨 결정부(1730)는 잡음 스펙트럼으로부터 신호대 잡음비 혹은 유효 노이즈 레벨을 구하고, 신호대 잡음비 혹은 유효 노이즈 레벨에 근거하여 프리베일링 레벨을 결정할 수 있다. 신호대 잡음비 혹은 유효 노이즈 레벨이 클수록 프리베일링 레벨이 큰 값을 갖게 되고, 프리베일링 레벨이 클수록 음성신호의 변경 정도가 클 수 있다. 즉, 프리베일링 레벨이 클수록 음성신호의 에너지 증가폭이 커질 수 있다. 유효 노이즈 레벨은 잡음 스펙트럼에 존재하는 실제 잡음의 크기를 그대로 반영하는 것이 아니라, 심리 음향학적 원리를 반영함으로써 실제 잡음의 크기에 비하여 큰 값이 될 수 있다. 프리베일링레벨 결정부(1730)는 신호대 잡음비 혹은 유효 노이즈 레벨과 프리베일링레벨을 매핑시킨 테이블을 포함할 수 있다.
가이드 정보 생성부(1750)는 음성 스펙트럼, 잡음 스펙트럼, 스펙트럼 클래스 정보 및 프레베일링 레벨을 입력으로 하여 스펙트럼별 변경값을 산출하여 가이드 정보로 생성할 수 있다. 가이드 정보 생성부(1750)는 음성 명료도(Voice Intelligibility; VI) 모델(Model)에 기초하여 스펙트럼별 변경값을 산출할 수 있다. 일반적인 VI 모델은 수신된 음성신호(Sp)와 잡음 수신환경에서 가이드 정보가 반영된 음성신호(Sp'+N)과의 차이를 최소화하는 Sp'를 생성하는데 사용되는 가이드 정보를 생성하는 알고리즘으로 정의될 수 있다. 왜곡(D)는 [Sp - (Sp'+N)]2로 정의하고, 제약(constraints, S)는 프레임의 전체 에너지를 유지하는 것으로 정의할 수 있다. 좀 더 구체적으로 설명하면, VI 모델은 결정된 클래스를 고려하여, 수신된 음성신호(S)와 잡음신호(Noise) 및 생성될 가이드 정보(Gain)가 반영된 음성신호(S*Gain) 간의 차이 즉, 왜곡(D)을 최소화하는 가이드 정보(Gain)를 생성하기 위하여 모델링될 수 있다.
최적화 문제는 라그랑지 승수(Lagrange Multiplier)를 통하여 L = D + λS 와 같이 표현하고, D를 최소화하는 α와 β를 결정할 수 있다. 이때, 주파수 임계치(Th)를 0에서부터 특정 주파수, 예를 들면 마지막 주파수 빈까지 이동하면서, D를 최소화하는 알파(α)와 베타(β)를 주파수 임계치(Th)를 이용하여 결정할 수 있다. 가이드 정보 생성부(1750)는 스펙트럼간 중요도를 고려하지 않는 일반 VI 모델을 사용하거나, 스펙트럼간 중요도를 고려하는 가중 VI 모델을 사용할 수 있다.
이하에서는 일반 VI 모델을 이용하여 스펙트럼별 변경값을 구하는 방법에 대하여 좀 더 구체적으로 살펴보기로 한다.
먼저, 주파수 빈의 클래스에 근거하여 D를 하기 수학식 12에서와 같이 정의할 수 있다.
여기서, 알파(α)는 클래스 C로 분류된 주파수 빈과 클래스 A로 분류된 주파수 빈 중 주파수 임계치(Th)보다 작은 주파수 빈, 예를 들면 k 가 아닌 0 내지 Th-1 의 주파수 빈의 이득을 나타낸다. 베타(β)는 클래스 A로 분류된 주파수 빈 중 주파수 임계치(Th)보다 크거나 같은 주파수 빈, 예를 들면 k 가 아닌 Th 내지 N-1 의 주파수 빈의 이득을 나타낸다. 감마(γ)는 전송된 음성신호(X) 대 마이크의 잡음신호(Y)에 대한 프리베일링 레벨을 나타낸다. k는 들을 수 없는 주파수 빈을 나타낸다. 프리베일링 레벨을 고려하지 않을 경우, 감마(γ)는 1로 설정될 수 있다.
수학식 12에 있어서, 
는 클래스 C로 분류된 주파수 빈과 클래스 A로 분류된 주파수 빈 중 주파수 임계치(Th)보다 작은 주파수 빈에 대한 항이며, 해당 주파수 빈은 에너지 감소를 나타내는 알파(α)와 관련있다. 
는 클래스 A로 분류된 주파수 빈 중 주파수 임계치(Th)보다 크거나 같은 주파수 빈에 대한 항이며, 해당 주파수 빈은 에너지 증가를 나타내는 베타(β)와 관련있다. 
는 클래스 B로 분류된 주파수 빈에 대한 항이며, 해당 주파수 빈은 에너지 증가 혹은 감소없이 유지된다.
수학식 12의 D는 하기 수학식 13에서와 같이 간소화될 수 있다.
요약하면, 상기한 최적화 문제는 하기 수학식 14에서와 같이 형식화될 수 있다
여기서, E는 프레임에서 증가 혹은 감소시키기 위한 에너지를 나타낸다.
일련의 과정을 통하여, 솔루션은 하기 수학식 15에 기초하여 구해질 수 있다.
구체적으로, 에너지 보존 제약에 의하여 하기 수학식 16에서와 같이 나타낼 수 있다.
다음, 최적 이득에 의하여 알파(α)와 베타(β)가 하기 수학식 17에서와 같이 나타낼 수 있다.
다음, 람다 파라미터 결정을 위하여 하기 수학식 18에서와 같이 나타낼 수 있다.
상기 수학식 18에 의해 구해지는 람다(λ)를 수학식 11에 대입하여, 알파(α)와 베타(β)를 구할 수 있다.
상기 수학식 12 내지 18에 의해 최종 알파(α)와 베타(β)를 결정할 수 있고, 그 결과 D를 최소화하는 주파수 임계치(Th)가 구해질 수 있다. 주파수 임계치(Th)는 1kHz보다 크거나 같고 Nyq_frq/4보다 작은 범위로 한정할 수 있다. 여기서 Nyq_frq는 나이퀴스트 주파수를 나타낸다. 한편, 주파수 임계치(Th)는샘플링 레이트에 대응하여 다른 범위로 한정할 수도 있다.
이와 같이, 주파수 임계치(Th)를 초기값에서부터 소정 단위로 조정함에 따라서 알파(α)와 베타(β) 또한 조정되고, 이로부터 D를 산출하는 과정을 반복하면서, D가 최소화되는 주파수 임계치(Th)를 결정할 수 있다. 결정된 주파수 임계치(Th)에 대응하여 알파(α)와 베타(β)가 결정되며, 여기서 최종 결정된 알파(α)는 클래스 C 즉, 에너지 감소로 결정된 주파수 빈과, 클래스 A로 결정된 주파수 빈 중 에너지 감소로 결정된 주파수 빈에 대한 변경값을 나타내고, 베타(β)는 클래스 A로 결정된 주파수 빈 중 에너지 증가로 결정된 주파수 빈에 대한 변경값을 나타낸다.
다음, 가중 VI 모델을 이용하여 스펙트럼별 변경값을 구하는 방법에 대하여 좀 더 구체적으로 살펴보기로 한다.
먼저, 주파수 빈의 클래스에 근거하여 D를 하기 수학식 19에서와 같이 정의할 수 있다.
수학식 19는 수학식 12와 비교할 때 가중치(W)가 사용된다는 점에 차이가 있다. 가중치(W)는 스펙트럼의 중요도에 기초하여 구해질 수 있다. 중요도는 상대 중요도 혹은 절대 중요도일 수 있다. 상대 중요도는 심리음향 모델에 사용되는 예측불가능성(unpredictability)를 기초로 이전 스펙트럼을 활용하여 얻어질 수 있다.
수학식 19의 D는 하기 수학식 20에서와 같이 간소화될 수 있다.
요약하면, 상기한 최적화 문제는 하기 수학식 21에서와 같이 형식화될 수 있다.
일련의 과정을 통하여, 솔루션은 하기 수학식 22에 기초하여 구해질 수 있다.
구체적으로, 에너지 보존 제약에 의하여 하기 수학식 22에서와 같이 나타낼 수 있다.
다음, 최적 이득에 의하여 알파(α)와 베타(β)가 하기 수학식 24에서와 같이 나타낼 수 있다.
다음, 람다 파라미터 결정을 위하여 하기 수학식 25에서와 같이 산출될 수 있다.
상기 수학식 25에 대한 이론적 솔루션은 없기 때문에, 가중치를 제약(S)에 포함시켜 수학식 21을 하기 수학식 26과 같이 형식화할 수 있다.
일련의 과정을 통하여, 솔루션은 하기 수학식 27에서와 같이 구해질 수 있다.
한편, 상기한 바와 같이 가중 VI 모델에 근거하여 솔루션을 구하는 방법은 제약이 변경되었기 때문에 에너지 보존 제약을 만족시킬 수 없다. 따라서, 에너지 보존 제약을 만족시키기 위하여 알파(α)와 베타(β)를 하기 수학식 28에서와 같이 변경시킬 필요가 있다.
상기 수학식 19 내지 28에 의해 최종 알파(α)와 베타(β)를 결정할 수 있고, 그 결과 D를 최소화하는 주파수 임계치(Th)가 구해질 수 있다. 주파수 임계치(Th)는 1kHz보다 크거나 같고 Nyq_frq/4보다 작은 범위를 가질 수 있으나, 이에 한정되지는 않는다. 여기서 Nyq_frq는 나이퀴스트 주파수를 나타낸다.
가이드 정보 생성부(1750)는 VI 모델에 근거하여 변수값에 기초하여 명료도 개선을 위한 가이드 정보를 생성할 수 있다. 가이드 정보는 명료도 개선이 수행되는 유효 주파수 빈과 유효 주파수 빈에 대한 변경값을 포함할 수 있다. 유효 주파수 빈은 프레임 단위로 달라질 수 있다. 구체적으로, VI 모델에 근거하여 D가 최소화되는 주파수 임계치(Th)가 구해지면, 주파수 임계치(Th)에 대응하여 알파(α)와 베타(β)가 결정될 수 있다. 여기서 최종 결정된 알파(α)는 클래스 C 즉, 에너지 감소로 결정된 주파수 빈과, 클래스 A로 결정된 주파수 빈 중 에너지 감소로 결정된 주파수 빈에 대한 스펙트럼 변경값을 나타내고, 베타(β)는 클래스 A로 결정된 주파수 빈 중 에너지 증가로 결정된 주파수 빈에 대한 스펙트럼 변경값을 나타낸다.
다른 실시예에 따르면, 가이드 정보 적용부(1770)는 전송된 음성 스펙트럼에서 명료도 개선이 행해질 대역을 유의미한 주파수 대역으로 한정함으로써, 배제된 대역으로부터 추가 에너지를 확보할 수 있다. 명료도 개선이 행해질 주파수 대역은 지각적으로 중요한 정보를 포함하는 대역일 수 있다. 추가 에너지는 VI 모델에 이용되어 이득 결정에 영향을 미칠 수 있다. 이때, 음성신호의 SNR을 고려하여, SNR이 높으면 작은 값을, SNR이 낮으면 큰 값을 추가 에너지에 가산할 수 있다. 이를 위하여 오디오 코덱의 비트레이트 제어와 유사한 에너지 저장고(reservior) 방식을 활용할 수 있다.
다른 실시예에 따르면, 가이드 정보 적용부(1770)는 잡음신호의 급격한 변화를 방지하기 위하여, 장구간 히스토리를 고려하여 유효 잡음 에너지 비율을 산출하여, 마이크로폰으로부터 얻어지는 잡음 스펙트럼의 크기에 승산한 다음, 사용할 수 있다.
가이드 정보 적용부(1770)는 가이드 정보 생성부(1750)에서 얻어진 스펙트럼별 변경값 예를 들면 이득을 에너지를 감소시킬 필요가 있는 주파수 빈 그룹과 에너지를 증가시킬 필요가 있는 주파수 빈 그룹에 적용할 수 있다. 가이드 정보 적용부(1770)는 스펙트럼별 이득이 적용된 각 주파수 빈에 대하여 프레임별 이득 예를 들면 글로벌 이득을 추가적으로 적용할 수 있다. 프레임별 이득은 단말의 볼륨 레벨에 대응하여 설정될 수 있다. 가이드 정보 적용부(1770)는 단말의 볼륨 레벨과 글로벌 이득을 매핑시킨 테이블을 저장할 수 있다.
도 18은 주파수 빈 혹은 스펙트럼 빈의 클래스의 예를 보여주는 도면으로서, 1810은 클래스 A, 1830은 클래스 B, 1850은 클래스 C가 설정된 주파수 빈을 나타낸다.
도 19는 도 17에 도시된 가이드 정보 적용부(1770)의 세부적인 구성을 나타낸 블록도로서, 도 12의 가이드 정보 적용부(1250)에도 적용될 수 있다.
도 19에 도시된 가이드 정보 적용부(1770)는 제1 이득 적용부(1910), 제2 이득 적용부(1930)와 역변환부(1950)을 포함할 수 있다. 여기서, 제2 이득 적용부(1930)는 역변환부(1950) 이후에 배치되어 시간도메인을 변환된 음성신호에 대하여 글로벌 이득을 적용하는 것도 가능하다.
도 19를 참조하면, 제1 이득 적용부(1910)는 주파수 빈 단위로 결정되는 로컬 이득을 해당 주파수 빈에 적용할 수 있다.
제2 이득 적용부(1930)는 로컬 이득이 적용된 각 주파수 빈에 대하여 단말의 볼륨 레벨에 대응하여 설정된 글로벌 이득을 적용할 수 있다
역변환부(1950)는 제2 이득 적용부(1930)에서 글로벌 이득이 적용된 주파수 빈을 포함하는 프레임에 대하여 시간 도메인으로 역변환을 수행할 수 있다. 이때,
스펙트럼별 변경값 예를 들면 이득을 각 주파수 빈에 적용할 수 있다. 가이드 정보 적용부(1770)는 스펙트럼별 이득이 적용된 각 주파수 빈에 대하여 프레임별 이득 예를 들면 글로벌 이득을 추가적으로 적용할 수 있다. 프레임별 이득은 단말의 볼륨 레벨에 대응하여 설정될 수 있다.
도 19의 가이드 정보 적용부(1770)를 도 12의 가이드 정보 적용부(1250)에 적용할 경우, 제1 이득 적용부(1910)는 밴드 단위로 결정되는 로컬 이득을 해당 밴드를 적용할 수 있다.
도 20은 또 다른 실시예에 따른 신호처리장치의 세부적인 구성을 나타낸 블록도이다.
도 20에 도시된 신호처리장치는 제1 수신부(2010), 제2 수신부(2030)와 프로세서(2050)을 포함할 수 있다.
도 20을 참조하면, 제1 수신부(2010)는 마이크로폰을 통하여 수신측 혹은 근단 장치의 잡음신호를 수신할 수 있다. 제2 수신부(2030)는 송신측 혹은 원단장치로부터 상대방의 음성신호를 수신할 수 있다.
일실시예에 따르면, 프로세서(2050)는 제1 수신부(2010)로부터 제공되는 잡음신호와 제2 수신부(2030)로부터 음성 신호에 기초하여, 음성 신호의 명료도 개선과 관련된 클래스를 결정하고, 잡음 신호, 음성 신호 및 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 신호에 적용하여 변경된 음성 신호를 생성할 수 있다. 다른 실시예에 따르면, 프로세서(2050)는 제1 수신부(2010)로부터 제공되는 잡음신호와 제2 수신부(2030)로부터 음성 신호의 각 밴드에 대하여 명료도 개선과 관련된 밴드 클래스를 결정하고, 결정된 잡음 신호의 밴드 클래스와 음성 신호의 밴드 클래스에 기초하여 명료도 개선을 위한 가이드 정보를 생성하고, 가이드 정보를 음성 신호에 적용하여 변경된 음성 신호를 생성할 수 있다.
도 21은 일실시예에 따른 명료도가 개선된 음성 신호를 생성하는 방법을 설명하는 도면이다.
잡음 감소부(도 7의 710)에서는 복호화된 신호 혹은 상대방 음성신호에 대하여 잡음을 감소시키거나 제거하고, 각 신호를 시간 정렬 및 프레이밍하여 명료도 개선부(도 7의 730)와 시간 G 프레임 싱크를 맞출 수 있다.
명료도 개선부(도 7의 730)는 잡음 신호 변경 처리를 추가로 수행할 수 있다. 잡음 신호 변경부는 잡음 신호와 잡음 감소부(710)의 출력 신호에 대해 시간-주파수 변환(2110)을 수행하고, 잡음 감소부(도 7의 710)의 출력 신호에 기초하여 주파수 도메인에서 잡음 신호의 스펙트럼을 수정(2120)하여 잡음 신호를 변경할 수 있다. 명료도 개선부(도 7의 730)에서 잡음 신호 변경 처리를 수행하지 않는 경우에는 잡음신호를 그대로 이용할 수 있다.
명료도 개선부(도 7의 730)는 변경된 잡음 신호에 기초하여 변환된 음성 신호의 스펙트럼별 클래스를 결정(2130)하고, 음성 신호의 스펙트럼별 클래스 정보에 기초하여 음성 신호 변경 정보를 생성(2140)하고, 각 스펙트럼별 이득을 출력한다.
일실시예에 따르면, 음성 신호 변경은 음성 명료도 모델에 기초하여 수행될 수 있다.
도 22 는 다른 실시예에 따른 명료도가 개선된 음성 신호를 생성하는 방법을 설명하는 도면이다.
도 22 의 실시예에 따른 수신단 장치(2200)는 도 21 의 실시예와 비교하여 전처리부(2220)와 코덱부(2260)를 더 포함한다.
수신단 음성 신호, 수신단 잡음 신호, 송신단 음성 신호 및 송신단 단말로부터의 착신 호에 대한 정보가 전처리부(2220)로 전달된다.
이 때 수신단 음성 신호는 제 1 마이크(2211)를 통해 수신된 잡음-음성 신호, 제 2 마이크를 통해 수신된 잡음 신호, 송신단 음성 신호는 송신단 단말로부터 전달된 음성 신호를 포함한다. 착신 호에 대한 정보는 송신단 음성신호에 대한 코덱 종류, 코덱의 코어 모드 및 DTX 정보 등을 포함할 수 있다.
전처리부(2220)는 전달된 신호를 전처리하여 음성 신호, 잡음 신호 및 에러 신호를 획득하여 제어부(2230) 및 코덱부(2260)로 전달하고, 전달된 착신 호에 대한 정보를 제어부(2230) 및 코덱부(2260)로 전달한다. 이 때, 전처리부(2230)는 에코캔슬러 등을 포함할 수 있다.
코덱부(2260)의 인코더(2261)는 수신단 음성 신호를 인코딩하고 디코더(2262)는 송신단 음성 신호를 디코딩한다. 코덱부(2260)는 디코더에서 디코딩된 송신단 음성 신호 s_f(n)을 제어부(2230)로 전달한다.
제어부(2230)는, 수신단 음성 신호 및 잡음 신호, 송신단 음성 신호 및 호 정보에 기초하여 잡음 감소부(2250) 및 명료도 개선부(2270)의 동작을 제어한다. 제어부(2230)는 잡음 감소부(2250)의 출력 및 명료도 개선부(2270)의 전력 출력을 제어하거나, 잡음의 종류에 따라 잡음 감소부(2250)와 명료도 개선부(2270)의 동작을 선택적으로 동작하도록 제어할 수 있다.
또한, 제어부(2230)는 수신단 음성 신호 및 잡음 신호, 송신단 음성 신호 및 호 정보에 기초하여 잡음 감소부(2250)의 잡음 감소 정보 또는 명료도 개선부(2270)의 명료도 개선 정도를 결정할 수 있다.
잡음 감소부(2250)는 도 7의 잡음 감소부(2250)와 동일하게 구성하거나, 공지된 다양한 기술을 적용할 수 있다.
명료도 개선부(2270)는, 송신단 음성 신호를 처리하여 명료도를 개선한다. 명료도 개선부(2270)는, 송신단 음성 신호의 명료도를 개선하기 위하여, 제어부(2230)로부터 전달된 제어신호 및 잡음 감소부(2250)로부터 전달된 잡음 감소 신호를 이용한다.
도 23은 일실시예에 따른 신호처리장치가 채용되는 디바이스의 블록도이다.
도 23 에 도시된 바와 같이, 신호처리장치는 음질 개선부(2330)에 탑재될 수 있다. 디바이스(2300)는 송수신부(2310), 디스플레이부(2320), 음질 개선부(2330), 제어부(2340), 저장부(2350), 입력부(2360) 및 출력부(2370)를 포함할 수 있다.
송수신부(2310)는 네트워크를 통해 연결된 다른 단말과 데이터를 송수신하며, 송신단 장치(미도시)로부터 요청된 착신 호(incoming call) 신호 및 착신 호에 따른 송신단 음성 신호를 수신하고 입력부(2360)를 통해 획득된 수신단 잡음 신호 환경의 수신단 음성 신호를 송신단 장치로 전송할 수 있다.
일실시예에 따르면 송수신부(2310)는 입력부(2360)를 통해 획득된 수신단 잡음 신호에 대한 정보를 서버(도 1의 150)로 전송하고, 서버(150)로부터 음질 개선 알고리즘을 위한 적어도 하나의 파라미터를 수신할 수 있다. 다른 실시예에 따르면 송수신부(2310)는 송신단 장치(미도시)로부터 음질 개선 전처리가 적용된 송신단 음성 신호를 수신할 수 있다.
디스플레이부(2320)는 신호처리장치가 탑재된 디바이스(2300)의 상태 또는 설정에 대한 정보 등을 사용자에게 제공하고 터치 등의 수단을 통해 사용자 입력을 획득할 수 있다. 일실시예에 따르면 디스플레이부(2320)는 사용자로부터 음질 개선 성능에 대한 피드백 정보를 획득할 수 있다. 다른 실시예에 따르면 디스플레이부(2320)는 통화에 대한 상황정보를 사용자 입력을 통해 획득할 수 있다.
음질 개선부(2330)는 저장부(2350)에 저장된 음성 신호 및 입력부(2360)를 통해 획득된 수신단 잡음 신호에 기초하여 잡음 환경에서 음질 개선 알고리즘을 위한 적어도 하나의 파라미터을 획득한다.
일 실시예에 따르면, 착신 호에 대한 상황 정보를 추가로 이용할 수 있으며, 각 상황 정보에 기초하여 가중치가 결정될 수 있다.
또한, 음질 개선부(2330)는 음질 개선 알고리즘을 위한 적어도 하나의 파라미터의 조합에 기초하여 송신단 음성 신호의 음질을 개선한다.
제어부(2340)는 디바이스(2300) 전체의 동작을 제어한다. 제어부(2340) 및 음질 개선부(2330)는 하나의 프로세서로 구현될 수 있다.
저장부(2350)는 음질 개선 알고리즘을 위한 적어도 하나의 파라미터를 저장할 수 있다.
입력부(2360)는 수신단 잡음 신호 및 수신단 음성 신호를 획득하며, 마이크로폰을 통해 구현될 수 있다. 입력부(2360)의 개수는 제한되지 않으며 일반적으로 사용자의 입 근처와 귀 근처에 위치한다.
출력부(2370)는 음질 개선 처리된 송신단 음성 신호가 출력되며 스피커를 통해 구현될 수 있다. 일실시예에 따르면, 출력부(2370)는 획득된 수신단 잡음 신호의 역위상 신호를 출력할 수 있으며, 이와 같은 경우 동적 잡음 제거가 가능하다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 개시에서, “부” 혹은 “모듈”은 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 설명은 예시를 위한 것이며, 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
Claims (15)
- 수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하는 단계;
상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하는 단계; 및
상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하는 단계를 포함하는 신호 처리방법. - 제1 항에 있어서, 상기 각 단계에서의 처리는 주파수 빈 단위로 수행되는 신호 처리방법.
- 제1 항에 있어서, 상기 클래스를 결정하는 단계는 상기 음성 스펙트럼의 주파수 빈을 그대로 유지하는 제1 클래스, 상기 주파수 빈의 크기를 감소시키는 제2 클래스와 상기 주파수 빈의 크기를 감소 또는 증가시키는 제3 클래스 중 하나를 상기 주파수 빈의 클래스로 결정하는 신호 처리방법.
- 제1 항에 있어서, 상기 클래스를 결정하는 단계는
상기 음성 스펙트럼의 음성 에너지가 음성 마스킹 임계치보다 작은 주파수 빈 혹은 상기 잡음 스펙트럼의 잡음 에너지가 안정 잡음 레벨보다 작은 주파수 빈에 대하여 제1 클래스를 설정하는 단계;
상기 음성 스펙트럼의 음성 에너지가 상기 잡음 스펙트럼의 잡음 에너지보다 상대적으로 큰 주파수 빈에 제2 클래스를 설정하는 단계; 및
상기 음성 스펙트럼의 음성 에너지가 상기 음성 마스킹 임계치보다 같거나 큰 주파수 빈에 대하여 제3 클래스를 설정하는 단계를 포함하는 신호 처리방법. - 제4 항에 있어서, 상기 제3 클래스를 설정하는 단계는 상기 음성 에너지가 소정의 주파수 임계치보다 작은 주파수 빈의 크기를 감소시키고, 상기 음성 에너지가 소정의 주파수 임계치보다 크거나 같은 주파수 빈의 크기를 증가시키도록 상기 제3 클래스를 설정하는 신호 처리방법.
- 제1 항에 있어서, 상기 가이드 정보를 생성하는 단계는 상기 잡음 스펙트럼, 상기 음성 스펙트럼, 상기 생성된 가이드 정보가 반영된 음성 스펙트럼 및 상기 결정된 클래스로부터 모델링된 음성 명료도 모델에 기초하여 상기 가이드 정보를 생성하는 신호 처리방법.
- 제6 항에 있어서, 상기 가이드 정보를 생성하는 단계는 상기 음성 스펙트럼의 주파수 빈의 중요도를 고려하여 모델링된 음성 명료도 모델을 이용하는 신호 처리방법.
- 제6 항에 있어서, 상기 음성 명료도 모델은 심리 음향 특성에 기반한 유효 노이즈 레벨을 반영하여 모델링되는 신호 처리방법.
- 제1 항에 있어서, 상기 가이드 정보를 생성하는 단계는 주파수 빈 단위의 이득 정보와 프레임 단위의 이득 정보 중 적어도 하나를 포함하는 가이드 정보를 생성하는 신호 처리방법.
- 제1 항에 기재된 신호 처리방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- 음성 통화를 수행하는 단말장치에 있어서,
화자의 음성신호 및/혹은 잡음신호를 포함하는 주변 환경 신호를 수신하는 적어도 하나의 마이크로폰; 및
수신측 혹은 근단 장치의 잡음 스펙트럼과 수신된 음성 스펙트럼에 기초하여, 명료도 개선과 관련된 클래스를 결정하고, 상기 잡음 스펙트럼, 상기 음성 스펙트럼 및 상기 결정된 클래스에 기초하여, 명료도 개선을 위한 가이드 정보를 생성하고, 상기 가이드 정보를 상기 음성 스펙트럼에 적용하여 변경된 음성 스펙트럼을 생성하여 스피커로 제공하는 프로세서를 포함하는 단말장치. - 제10 항에 있어서, 상기 명료도 개선을 위한 가이드 정보는 유효 주파수 빈에 대한 정보와 상기 유효 주파수 빈의 이득정보를 포함하는 단말장치.
- 제12 항에 있어서, 상기 유효 주파수 빈은 프레임마다 달라지는 단말장치.
- 제12 항에 있어서, 상기 유효 주파수 빈은 에너지를 감소시킬 필요가 있는 그룹과 에너지를 증가시킬 필요가 있는 그룹을 포함하는 단말장치.
- 제10 항에 있어서, 상기 프로세서는 상기 잡음 스펙트럼, 상기 음성 스펙트럼, 상기 생성된 가이드 정보가 반영된 음성 스펙트럼 및 상기 결정된 클래스로부터 모델링된 음성 명료도 모델에 기초하여 상기 가이드 정보를 생성하는 단말장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160079692 | 2016-06-24 | ||
| KR20160079692 | 2016-06-24 | ||
| PCT/KR2017/006728 WO2017222356A1 (ko) | 2016-06-24 | 2017-06-26 | 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190057052A true KR20190057052A (ko) | 2019-05-27 |
| KR102417047B1 KR102417047B1 (ko) | 2022-07-06 |
Family
ID=60784405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197006303A KR102417047B1 (ko) | 2016-06-24 | 2017-06-26 | 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11037581B2 (ko) |
| EP (1) | EP3457402B1 (ko) |
| KR (1) | KR102417047B1 (ko) |
| CN (1) | CN109416914B (ko) |
| WO (1) | WO2017222356A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220026233A (ko) * | 2020-08-25 | 2022-03-04 | 서울과학기술대학교 산학협력단 | 음성 구간 검출 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110313031B (zh) * | 2017-02-01 | 2023-09-12 | 惠普发展公司，有限责任合伙企业 | 针对语音隐私的自适应语音可懂度控制 |
| US11601483B2 (en) * | 2018-02-14 | 2023-03-07 | Genband Us Llc | System, methods, and computer program products for selecting codec parameters |
| CN110390830A (zh) * | 2019-08-08 | 2019-10-29 | 西北民族大学 | 一种基于智能控制和语音识别引导功能的车载系统 |
| CN111131616B (zh) * | 2019-12-28 | 2022-05-17 | 科大讯飞股份有限公司 | 基于智能终端的音频共享方法及相关装置 |
| CN113409803B (zh) * | 2020-11-06 | 2024-01-23 | 腾讯科技（深圳）有限公司 | 语音信号处理方法、装置、存储介质及设备 |
| CN113823307B (zh) * | 2021-09-17 | 2023-05-23 | 广州华多网络科技有限公司 | 语音信号处理方法及其装置、设备、介质、产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110015558A (ko) * | 2008-04-18 | 2011-02-16 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치 |
| US8180064B1 (en) | 2007-12-21 | 2012-05-15 | Audience, Inc. | System and method for providing voice equalization |
| US20150019212A1 (en) * | 2013-07-15 | 2015-01-15 | Rajeev Conrad Nongpiur | Measuring and improving speech intelligibility in an enclosure |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994026036A1 (en) * | 1993-05-04 | 1994-11-10 | Motorola Inc. | Apparatus and method for substantially eliminating noise in an audible output signal |
| CA2354755A1 (en) | 2001-08-07 | 2003-02-07 | Dspfactory Ltd. | Sound intelligibilty enhancement using a psychoacoustic model and an oversampled filterbank |
| JP2004235737A (ja) | 2003-01-28 | 2004-08-19 | Hitachi Kokusai Electric Inc | 通信機 |
| JP4460256B2 (ja) | 2003-10-02 | 2010-05-12 | 日本電信電話株式会社 | 雑音低減処理方法、この方法を実施する装置、プログラム、記録媒体 |
| JP4260046B2 (ja) | 2004-03-03 | 2009-04-30 | アルパイン株式会社 | 音声明瞭度改善装置及び音声明瞭度改善方法 |
| KR100911610B1 (ko) | 2007-07-20 | 2009-08-07 | 에스케이 텔레콤주식회사 | 수신 음성 인지율 향상을 위한 음성 처리 장치 및 방법 |
| KR101435411B1 (ko) | 2007-09-28 | 2014-08-28 | 삼성전자주식회사 | 심리 음향 모델의 마스킹 효과에 따라 적응적으로 양자화간격을 결정하는 방법과 이를 이용한 오디오 신호의부호화/복호화 방법 및 그 장치 |
| KR100910384B1 (ko) | 2007-11-05 | 2009-08-04 | 권영현 | 환경소음에 따른 스피커 음량 자동 제어 시스템 및 그 제어방법 |
| US9373339B2 (en) | 2008-05-12 | 2016-06-21 | Broadcom Corporation | Speech intelligibility enhancement system and method |
| WO2010091339A1 (en) * | 2009-02-06 | 2010-08-12 | University Of Ottawa | Method and system for noise reduction for speech enhancement in hearing aid |
| WO2010091399A2 (en) | 2009-02-09 | 2010-08-12 | University Of South Florida | Reelin rescues cognitive function |
| JP5127754B2 (ja) | 2009-03-24 | 2013-01-23 | 株式会社東芝 | 信号処理装置 |
| KR20100136629A (ko) | 2009-06-19 | 2010-12-29 | 인하대학교 산학협력단 | 근단 배경잡음 환경에서 지.729에이 음성부호화기 파라미터에 기반한 음성강화 방법 |
| KR101639331B1 (ko) | 2009-12-04 | 2016-07-25 | 삼성전자주식회사 | 잡음 환경에서 음성 신호를 강화하는 방법 및 그 장치 |
| US8744091B2 (en) | 2010-11-12 | 2014-06-03 | Apple Inc. | Intelligibility control using ambient noise detection |
| US20140365212A1 (en) * | 2010-11-20 | 2014-12-11 | Alon Konchitsky | Receiver Intelligibility Enhancement System |
| JP2012163682A (ja) | 2011-02-04 | 2012-08-30 | Nec Casio Mobile Communications Ltd | 音声処理装置及び方法 |
| KR20120091701A (ko) | 2011-02-09 | 2012-08-20 | 삼성전자주식회사 | 오디오 신호 출력 방법 및 그에 따른 오디오 신호 출력 장치 |
| KR102060208B1 (ko) * | 2011-07-29 | 2019-12-27 | 디티에스 엘엘씨 | 적응적 음성 명료도 처리기 |
| US8666753B2 (en) | 2011-12-12 | 2014-03-04 | Motorola Mobility Llc | Apparatus and method for audio encoding |
| JP5443547B2 (ja) | 2012-06-27 | 2014-03-19 | 株式会社東芝 | 信号処理装置 |
| CN104685563B (zh) | 2012-09-02 | 2018-06-15 | 质音通讯科技（深圳）有限公司 | 用于嘈杂环境噪里的回放的音频信号整形 |
| GB2520048B (en) * | 2013-11-07 | 2018-07-11 | Toshiba Res Europe Limited | Speech processing system |
| EP3701527B1 (en) * | 2017-10-27 | 2023-08-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for generating a bandwidth-enhanced audio signal using a neural network processor |
| US10896674B2 (en) * | 2018-04-12 | 2021-01-19 | Kaam Llc | Adaptive enhancement of speech signals |
| US10672414B2 (en) * | 2018-04-13 | 2020-06-02 | Microsoft Technology Licensing, Llc | Systems, methods, and computer-readable media for improved real-time audio processing |
-
2017
- 2017-06-26 EP EP17815768.1A patent/EP3457402B1/en active Active
- 2017-06-26 WO PCT/KR2017/006728 patent/WO2017222356A1/ko unknown
- 2017-06-26 CN CN201780039330.3A patent/CN109416914B/zh active Active
- 2017-06-26 KR KR1020197006303A patent/KR102417047B1/ko active IP Right Grant
- 2017-06-26 US US16/312,827 patent/US11037581B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8180064B1 (en) | 2007-12-21 | 2012-05-15 | Audience, Inc. | System and method for providing voice equalization |
| KR20110015558A (ko) * | 2008-04-18 | 2011-02-16 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치 |
| US20150019212A1 (en) * | 2013-07-15 | 2015-01-15 | Rajeev Conrad Nongpiur | Measuring and improving speech intelligibility in an enclosure |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220026233A (ko) * | 2020-08-25 | 2022-03-04 | 서울과학기술대학교 산학협력단 | 음성 구간 검출 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3457402A1 (en) | 2019-03-20 |
| KR102417047B1 (ko) | 2022-07-06 |
| US20190348058A1 (en) | 2019-11-14 |
| US11037581B2 (en) | 2021-06-15 |
| CN109416914A (zh) | 2019-03-01 |
| EP3457402B1 (en) | 2021-09-15 |
| CN109416914B (zh) | 2023-09-26 |
| EP3457402A4 (en) | 2019-05-22 |
| WO2017222356A1 (ko) | 2017-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102417047B1 (ko) | 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치 | |
| US10325606B2 (en) | Method and system using a long-term correlation difference between left and right channels for time domain down mixing a stereo sound signal into primary and secondary channels | |
| JP3842821B2 (ja) | 通信システムにおいて雑音を抑圧する方法および装置 | |
| JP5539203B2 (ja) | 改良された音声及びオーディオ信号の変換符号化 | |
| US9646616B2 (en) | System and method for audio coding and decoding | |
| US6366880B1 (en) | Method and apparatus for suppressing acoustic background noise in a communication system by equaliztion of pre-and post-comb-filtered subband spectral energies | |
| US10803877B2 (en) | Signal processing methods and apparatuses for enhancing sound quality | |
| JP6730391B2 (ja) | オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム | |
| TW202215417A (zh) | 多聲道信號產生器、音頻編碼器及依賴混合噪音信號的相關方法 | |
| EP4179530A1 (en) | Comfort noise generation for multi-mode spatial audio coding | |
| EP4330963A1 (en) | Method and device for multi-channel comfort noise injection in a decoded sound signal | |
| KR20090029904A (ko) | 모바일 기기에서 지각적 오디오 코딩 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |