KR102078046B1

KR102078046B1 - 준-블라인드 적응형 필터 모델을 이용하는 통신 단말들을 위한 음향 키스트로크 순간 소거기

Info

Publication number: KR102078046B1
Application number: KR1020187001911A
Authority: KR
Inventors: 허버트 브히너; 사이먼 제이. 갓실; 얀 스코글런드
Original assignee: 구글 엘엘씨
Priority date: 2015-12-30
Filing date: 2016-10-18
Publication date: 2020-02-17
Also published as: US9881630B2; JP6502581B2; WO2017116532A1; KR20180019717A; EP3329488B1; EP3329488A1; CN107924684B; JP2018533052A; CN107924684A; US20170194015A1

Abstract

준-블라인드 적응형 필터 모델을 사용하여 사용자 통신 디바이스들을 위한 음향 키스트로크 순간 소거/억제를 위한 방법들 및 시스템들이 제공된다. 방법들 및 시스템들은, 순간들에 관한 부수적인 정보로서 몇몇 결함이 적은 신호를 고려하고, 또한 음향 신호 전파를, 잔향 효과들을 포함하여, 동적 모델들을 사용하여 고려함으로써 순간 잡음 억제 시의 기존 문제점들을 극복하도록 설계된다. 방법들 및 시스템들은 사용자 디바이스의 키보드 내에 임베딩된 동기식 기준 마이크로폰의 이점을 택하고, 이 키베드 마이크로폰 신호의 지식을 활용하는 적응형 필터링 접근법을 이용한다.

Description

준-블라인드 적응형 필터 모델을 이용하는 통신 단말들을 위한 음향 키스트로크 순간 소거기

[0001] 오디오 및/또는 비디오 컨퍼런싱 환경들에서, 성가신 키보드 타이핑 잡음이, 스피치와 함께 그리고 스피치 중간의 "조용한" 일시정지 상태에서 이 두 가지 모두로 동시에 존재하는 것이 일반적이다. 일반적인 시나리오들은, 회의가 진행되고 있는 동안 컨퍼런스 콜에 참여한 누군가가 그들의 랩탑 컴퓨터에 메모를 작성하고 있거나, 음성 통화 중에 누군가가 그들의 전자 메일들을 확인하는 경우이다. 특히, 이러한 타입의 잡음이 오디오 데이터에 존재할 때 사용자들을 성가시게 하거나 방해할 수 있다.

[0002] 본 발명의 내용은, 본 개시내용의 일부 양상들의 기본적인 이해를 제공하기 위해서 엄선한 개념들을 단순화된 형태로 도입한다. 본 발명의 내용은 본 개시내용의 광범위한 개관이 아니며, 본 개시내용의 핵심 또는 중요한 엘리먼트들을 식별하거나 또는 본 개시내용의 범위를 서술하려고 의도되지 않는다. 본 발명의 내용은 단지, 아래에 제공되는 상세한 설명에 대한 서두로서 본 개시내용의 개념들 중 일부만을 나타낸다.

[0003] 본 개시내용은 일반적으로 신호 프로세싱을 위한 방법들 및 시스템들에 관한 것이다. 보다 구체적으로, 본 개시내용의 양상들은, 보조 마이크로폰으로부터의 입력을 기준 신호로서 사용하여 오디오 신호의 순간적 잡음을 억제하는 것에 관한 것이다.

[0004] 본 개시내용의 일 실시예는, 순간 잡음을 억제하기 위한 시스템에 관한 것이며, 이 시스템은, 하나 또는 그 초과의 소스들로부터 캡처된 오디오 신호들을 입력하는 복수의 입력 센서들 ―오디오 신호들은 입력 센서들에 의해 캡처된 음성 데이터 및 순간 잡음을 포함함―; 순간 잡음에 대한 데이터를 포함하는 기준 신호를 입력하는 기준 센서 ―기준 센서는 입력 센서들과는 별개로 위치됨―; 및 기준 신호에 포함된 데이터에 기반하여 음성 데이터를 추출하기 위해 오디오 신호들로부터 순간 잡음을 선택적으로 필터링하고, 그리고 추출된 음성 데이터를 포함하는 향상된 오디오 신호를 출력하는 복수의 필터들을 포함한다.

[0005] 다른 실시예에서, 순간 잡음을 억제하기 위한 시스템 내의 복수의 필터들은 적응형 전경 필터, 및 적응형 배경 필터를 포함하며, 전경 필터는, 향상된 출력 오디오 신호를 생성하기 위해 순간 잡음을 적응적으로 필터링하고, 배경 필터는 전경 필터의 적응을 제어한다.

[0006] 본 개시내용의 다른 실시예는, 순간 잡음을 억제하기 위한 방법에 관한 것이며, 이 방법은, 하나 또는 그 초과의 소스들로부터 캡처된 오디오 신호들을 복수의 입력 센서들로부터 수신하는 단계 ―오디오 신호들은 입력 센서들에 의해 캡처된 음성 데이터 및 순간 잡음을 포함함―; 순간 잡음에 대한 데이터를 포함하는 기준 신호를 기준 센서로부터 수신하는 단계 ―기준 센서는 입력 센서들과는 별개로 위치됨―; 기준 신호에 포함된 데이터에 기반하여 음성 데이터를 추출하기 위해 오디오 신호들로부터 순간 잡음을 선택적으로 필터링하는 단계; 및 추출된 음성 데이터를 포함하는 향상된 오디오 신호를 출력하는 단계를 포함한다.

[0007] 다른 실시예에서, 순간 잡음을 억제하기 위한 방법은 향상된 출력 오디오 신호를 생성하기 위해 순간 잡음을 적응적으로 필터링하도록 전경 필터를 적응시키는 단계를 더 포함한다.

[0008] 다른 실시예에서, 순간 잡음을 억제하기 위한 방법은 배경 필터를 사용하여 전경 필터의 적응을 제어하는 단계를 더 포함한다.

[0009] 하나 또는 그 초과의 다른 실시예들에서, 본원에 설명된 방법들 및 시스템들은 다음 추가 특징들: 필터들 각각은 광대역 유한 임펄스 응답 필터이다; 순간 잡음은 광대역 유한 임펄스 응답 필터들을 사용하여 오디오 신호들로부터 선택적으로 필터링된다; 배경 필터는 기준 신호에 포함된 데이터에 기반하여 전경 필터의 적응을 제어한다; 배경 필터는, 순간 잡음이 오디오 신호들에서 검출되는 것에 대한 응답으로 전경 필터의 적응을 제어한다; 배경 필터는 기준 신호의 전력, 기준 신호의 비선형 기여에 대한 선형 근사치의 비, 및 기준 신호와 연관되는 공간-시간 소스 신호 활동 데이터 중 하나 또는 그 초과의 것에 기반하여 전경 필터의 적응을 제어한다; 배경 필터는 기준 신호의 전력, 기준 신호의 비선형 기여에 대한 선형 근사치의 비, 및 기준 신호와 연관된 공간-시간 소스 신호 활동 데이터에 기반하여 전경 필터의 적응을 제어한다; 오디오 신호들에 포함된 순간 잡음은 사용자 디바이스의 키베드(keybed)로부터 생성된 키스트로크 잡음이다; 입력 센서들 및 기준 센서는 마이크로폰들이다; 및/또는 복수의 필터들은 기준 센서로부터 입력된 기준 신호를 뺌으로써 오디오 신호들로부터 순간 잡음을 필터링한다 중 하나 또는 그 초과의 것을 선택적으로 포함할 수 있다.

[0010] 본 개시내용의 적용가능성의 추가 범위는 아래에 주어진 상세한 설명으로부터 명백해질 것이다. 그러나, 본 개시내용의 사상 및 범위 내에서 다양한 변경들 및 변형들이 상세한 설명으로부터 당업자들에게 명백할 것이기 때문에, 바람직한 실시예들을 나타내는 동안 상세한 설명 및 특정 예들이 예시의 방식으로만 주어진다는 것을 이해해야 한다.

[0011] 본 개시내용의 이러한 목적들, 특징들 및 특성들 그리고 다른 목적들, 특징들 및 특성들은 첨부된 청구범위 및 도면들과 관련하여 다음의 상세한 설명의 검토로부터 당업자에게 더욱 명백해질 것이고, 상기 내용 모두는 본 명세서의 일 부분을 형성한다. 도면들에서:
[0012] 도 1은 본원에 설명된 하나 또는 그 초과의 실시예들에 따라 보조 마이크로폰으로부터의 입력을 기준 신호로서 사용하는 순간 잡음 억제를 위한 예시적인 적용을 예시하는 개략도이다.
[0013] 도 2는 상이한 잔향 조건(reverberant condition)들 및 상이한 타이핑 속도들 하에서 키보드의 순간 잡음을 예시하는 그래픽 표현들의 세트이다.
[0014] 도 3은 본원에 설명된 하나 또는 그 초과의 실시예들에 따라 원하는 스피치 신호를 추출하기 위한 다수의 입력 채널들 및 다수의 출력 채널들을 갖는 예시적인 시스템을 예시하는 블록도이다.
[0015] 도 4는 본원에 설명된 하나 또는 그 초과의 실시예들에 따른 예시적인 감독식(supervised) 적응형 필터 구조를 예시하는 블록도이다.
[0016] 도 5는 본원에 설명된 하나 또는 그 초과의 실시예들에 따른, 신호 향상을 위한 신호-기반 및 시스템-기반 접근법들에 대한 예시적인 요건들을 예시하는 표이다.
[0017] 도 6은 본원에 설명된 하나 또는 그 초과의 실시예들에 따른 준-감독식(semi-supervised) 음향 키스트로크 순간 억제를 위한 예시적인 시스템을 예시하는 블록도이다.
[0018] 도 7은 본원에 설명된 하나 또는 그 초과의 실시예들에 따른 준-블라인드(semi-blind) 음향 키스트로크 순간 억제를 위한 예시적인 방법을 예시하는 흐름도이다.
[0019] 도 8은 본원에 설명된 하나 또는 그 초과의 실시예들에 따른, 준-감독식 음향 키스트로크 순간 억제를 위해 배열된 예시적인 컴퓨팅 디바이스를 예시하는 블록도이다.
[0020] 본원에 제공된 제목들은 단지 편의를 위한 것이고, 본 개시내용에서 청구되는 청구물의 범위 또는 의미에 본질적으로 영향을 미치지 않는다.
[0021] 도면들에서, 동일한 참조 부호들 및 임의의 약어들은, 용이한 이해와 편의를 위한 동일한 또는 유사한 구조 또는 기능을 가진 엘리먼트들 또는 동작들을 식별한다. 도면들은, 다음의 상세한 설명 중에서 상세하게 설명될 것이다.

[0022] 개관

[0023] 다양한 예들 및 실시예들이 이제 설명될 것이다. 다음 설명은 철저한 이해 및 이러한 예들의 설명을 가능하게 하기 위해서 특정 세부사항들을 제공한다. 그러나, 당업자는 본원에 설명된 하나 또는 그 초과의 실시예들이 이러한 세부사항들 중 많은 것 없이도 실시될 수 있다는 것을 이해할 것이다. 마찬가지로, 당업자는 또한, 본 개시내용의 하나 또는 그 초과의 실시예들이 본원에 상세하게 설명되지 않은 많은 다른 명백한 특징들을 포함할 수 있다는 것을 이해할 것이다. 추가적으로, 관련 설명을 불필요하게 모호하게 하는 것을 방지하기 위해서, 몇몇 잘 알려진 구조들 또는 기능들이 아래에 상세히 나타내어 지지않거나 또는 설명되지 않을 수 있다.

[0024] 초고속 인터넷 연결들의 이용가능성들의 급속한 증가는 개인 컴퓨팅 디바이스들이 텔레컨퍼런싱 적용들에 대해 매우 대중적으로 이용되게 만들었다. 랩탑 또는 태블릿 컴퓨터들 내의 임베딩된 마이크로폰들, 라우드스피커들 및 웹캠들이 컨퍼런스 콜들을 매우 용이하게 셋업시킬 수 있지만, 결과적으로 발생하는 음향 핸즈-프리 통신 시나리오는 일반적으로, 음향 에코 제어, 배경 잡음 또는 다른 경쟁 소스들로부터의 신호 분리/추출, 및 이상적으로는 잔향제거와 같은 다수의 어렵고 상호관련된 신호 프로세싱 문제들을 위한 필요사항(need)을 제기한다.

[0025] 특히 지속적인 문제가 되고 있고, 본 개시내용의 방법들 및 시스템들에 의해 다루어지는 특정 타입의 음향 잡음은, 특히, 텔레컨퍼런싱 적용들 동안 (예컨대, 메모를 작성하거나 e-메일들 등을 작성하기 위해) 랩탑 컴퓨터의 임베딩된 키보드를 사용할 때 키스트로크 순간들에 의해 유발되는 임펄스식 잡음이다. 이러한 시나리오에서, 마이크로폰 신호들의 이러한 임펄스식 잡음은 마이크폰들과 키보드 사이의 공간적 근접성으로 인해, 그리고 부분적으로는 디바이스 케이싱 내에서 발생할 수 있는 진동 효과들과 고체 전달음(solid-borne sound) 전도로 인해 상당히 불편할 수 있다.

[0026] 상기 언급된 바와 같이, 사용자는 오디오 및/또는 비디오 컨퍼런스 동안 키보드 타이핑 잡음이 존재할 때 방해받고 성가시다는 것을 알게 된다. 따라서, 원하는 스피치에 지각가능한 왜곡들을 도입시키지 않으면서 이러한 잡음을 제거하는 것이 바람직하다. 따라서, 본 개시내용은 특히 준-감독식 음향 키스트로크 순간 제거를 위한 새롭고 신규한 신호 향상 방법들 및 시스템들을 제공한다.

[0027] 다음 섹션들은 신호 프로세싱 문제를 명확하게 하고 보다 상세하게 분석한 다음, 광대역 적응형 FIR 필터들의 사용을 특징으로 하는 특정 클래스의 접근법들에 중점을 둘 것이다. 이외에도, 준-감독/준-블라인드 신호 프로세싱 문제의 다양한 양상들은 키보드 아래에 추가 기준 센서를 포함하는 사용자 디바이스(예컨대, 랩탑 컴퓨터)의 맥락에서 설명될 것이다. 설명될 바와 같이, 준-감독/준-블라인드 신호 프로세싱 문제는 이 분야의 문제들의 이미 더욱 광범위하게 연구되었된 부류들 이외에도 핸즈-프리 맥락에서 적응형 필터링 문제들의 새로운 부류로서 간주될 수 있다.

[0028] 많은 기존의 단일-채널 스피치 향상 방법들은 통상적으로, STFT(short-time Fourier transform) 도메인에서 잡음 전력 추정 및 스펙트럼 진폭 변경에 기반한다. 그러나, 매우 불안정한 잡음, 이를테면 키스트로크 순간들을 감소시키는 것은 이러한 타입의 많은 접근법들의 경우에 어려운 문제로 남아 있다. 스펙트럼 도메인에서, 예컨대, NMF(non-negative matrix factorization)와 같은 분리 방법들의 적용은 임펄스식 잡음의 경우 유망한 결과들을 보여 주었다. 이러한 접근법은, 긴 신호 샘플들이 가용성인 경우, 특히 일괄 추정(batch estimation)에 대해 효과적일 수 있지만, 불행히도 실제로는 키 스트로크 순간들의 짧은 활동과 음향 클릭 이벤트들의 변화들로 인해 가용성인 적응 시간이 거의 없다. 또한, 키보드 잡음은, 그의 지배적인 주파수 컴포넌트들을 통상적으로 스피치 신호의 범위와 동일한 범위에서 갖는 광대역이라는 점을 주목하는 것이 중요하다. 이러한 어려운 조건들으로 인해, 이 신호 프로세싱 문제는 누락 특징 접근법(missing feature approach)들에 의해 주로 해결되었다. 유사한 접근법들이 이미지 및 비디오 프로세싱으로부터 또한 알려져 있다. 상기 언급된 스피치 향상 방법들과 유사하게, 누락 특징-타입 접근법들은 통상적으로 키스트로크 순간들의 매우 정확한 검출들을 필요로 한다. 더욱이, 키스트로크 잡음의 경우, 각각의 키스트로크가 실제로 미지의 가변 간격(distance)을 갖는 2 번의 가청 클릭들로 이어진다는 사실 및 잔향 효과들 이 둘 모두에 의해 이 검출 문제가 악화되며, 이로써, 제2 클릭의 피크는 종종, 중첩하는 스피치 신호에서 완전히 묻혀진다(제1 클릭은 실제 키스트로크로 인해 발생하고 제2 클릭은 키 해제 후에 발생한다).

[0029] 디바이스의 운영 시스템으로부터의 타이핑 정보를 단순히 사용하는 것은 일반적으로, OS(operating system)에 의해 등록된 타이핑 정보와 실제 음향 이벤트 사이의 시간적 편차가 크게 다를 수 있고 결정적이지 않기 때문에 충분히 정확하지 않다는 것을 또한 주목해야 한다.

[0030] 신호 프로세싱 문제들을 추가로 예시하자면, 다음은 상이한 잔향 조건들 및 상이한 타이핑 속도들 하에서 (예컨대, 사용자 디바이스의 디스플레이뿐 아니라 내부 마이크로폰들을 갖게 구성된 사용자 디바이스를 사용하여) 몇몇 측정된 키스트로크 순간 잡음 신호들을 설명한다.

[0031] 타이핑 속도는 흔히 wpm(words per minute)의 수로 측정되며, 정의에 의해 1 개의 "워드"는 5 개의 문자들로 이루어진다. 각각의 문자는 2 개의 키스트로크 순간들로 이루어진다는 것을 이해해야 한다. 상이한 기술 수준과 목적의 컴퓨터 사용자들에 대한 다양한 연구들에 기반하여, 랩탑 컴퓨터의 통상적인 QWERTY 키보드 상의 터치 타이핑 속도에 대해 일반적인 경험 규칙으로서 40 wpm이 등장했다. 40 wpm은 초당 6.7 키스트로크 순간들에 대응하므로, 키스트로크들 간의 평균 간격은 때때로 150 ms(밀리초)만큼 짧을 수 있다. 도 2에 도시된 예시적인 신호들은 이러한 근사화를 확인하며, 플롯(a)의 측정들은 무반향 환경(예컨대, 자동차의 캐빈)에서 수행되었다. 키들의 하향 및 상향 움직임들 둘 모두의 순간들은 플롯 (a)에서 명확하게 볼 수 있다. 대조적으로, 플롯들 (b), (c) 및 (d)에 도시된 바와 같이, 타이핑 속도의 증가 및/또는 실내 잔향의 증가로 키스트로크들의 효과들이 중첩됨에 따라 신호 재구성은 일반적으로 점점 더 어려워지고 있다. 더욱이, 잔향 환경들(예컨대, 플롯들(c) 및 (d))에서, 클릭 잡음은 다수의 분석 블록들에 걸쳐 확장될 가능성이 있다.

[0032] 본 개시내용의 방법들 및 시스템들은 휴대용 사용자 디바이스들(예컨대, 랩탑 컴퓨터들, 태블릿 컴퓨터들, 이동 전화들, 스마트 폰들 등)의 오디오 스트림들에 대한 순간 잡음 억제에 있어서의 기존 문제점들을 극복하도록 설계되었다. 예컨대, 본원에 설명되는 방법들 및 시스템들은 순간들(예컨대, 키스트로크들)에 관한 부수적인 정보로서 몇몇 결함이 적은 신호를 고려할 수 있으며, 또한 동적 모델들을 사용하여 잔향 효과들을 포함하는 음향 신호 전파를 고려할 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 제공된 방법들 및 시스템들은, 사용자 디바이스의 키보드에 임베딩된 동기식 기준 마이크로폰(이는 때때로 본원에서 "키베드" 마이크로폰으로 지칭될 수 있음)의 이점을 취하고, 이 키베드 마이크로폰 신호의 지식을 활용하는 적응형 필터링 접근법을 사용하도록 설계되었다.

[0033] 본원에 설명된 하나 또는 그 초과의 실시예들에 따르면, 사용자 디바이스와 연관된 하나 또는 그 초과의 마이크로폰들은, 주위 잡음으로 손상되고 그리고 예컨대, 키보드 및/또는 마우스 클릭들로부터의 순간 잡음으로 또한 손상되는 음성 신호들을 기록한다. 사용자 디바이스는 또한, 음성 신호 및 주변 잡음에 의해 실질적으로 영향을 받지 않는 키 클릭 잡음의 측정을 허용하는, 사용자 디바이스의 키보드에 임베딩된 동기식 기준 마이크로폰을 포함한다. 이러한 셋업은, 본 개시내용에 따라 설명된 것과 같은 보다 강력한, 준-감독식 키스트로크 순간 억제를 허용한다.

[0034] 도 1은, 사용자 디바이스(140)(예컨대, 랩탑 컴퓨터, 태블릿 컴퓨터 등)가 하나 또는 그 초과의 1 차 오디오 캡처 디바이스들(110)(예컨대, 마이크로폰), 사용자 입력 디바이스(165)(예컨대, 키보드, 키패드, 키베드 등), 및 보조 (예컨대, 2 차 또는 기준) 오디오 캡처 디바이스(115)를 포함하는 이러한 적용의 예(100)를 예시한다.

[0035] 하나 또는 그 초과의 1 차 오디오 캡처 디바이스들(110)은 사용자(120)(예컨대, 오디오 소스)에 의해 생성된 스피치/소스 신호들(150)뿐만 아니라 오디오(130)의 하나 또는 그 초과의 배경 소스들로부터 생성된 배경 잡음(145)을 캡처할 수 있다. 이외에도, 사용자 입력 디바이스(165)를 동작시키는 (예컨대, 사용자 디바이스(140)를 통해 오디오/비디오 통신 세션에 참여하는 동안 키보드를 타이핑하는) 사용자(120)에 의해 생성된 순간 잡음(155)이 또한 오디오 캡처 디바이스들(110)에 의해 캡처될 수 있다. 예컨대, 스피치/소스 신호들(150), 배경 잡음(145), 및 순간 잡음(155)의 조합은 오디오 캡처 디바이스들(110)에 의해 캡처되고 하나 또는 그 초과의 입력 신호들(160)로서 신호 프로세서(170)에 입력(예컨대, 수신, 획득 등)될 수 있다. 적어도 하나의 실시예에 따르면, 신호 프로세서(170)가 클라이언트에서 동작할 수 있지만, 적어도 하나의 다른 실시예에 따르면, 신호 프로세서는 네트워크(예컨대, 인터넷)를 통해 사용자 디바이스(140)와의 통신으로 서버에서 동작할 수 있다.

[0036] 보조 오디오 캡처 디바이스(115)는 사용자 디바이스(140) 내부에 (예컨대, 사용자 입력 디바이스(165)의 위, 아래, 옆 등에) 위치될 수 있고, 사용자 입력 디바이스(165)와의 상호작용을 측정하도록 구성될 수 있다. 예컨대, 적어도 하나의 실시예에 따르면, 보조 오디오 캡처 디바이스(115)는 키베드와의 상호작용으로부터 생성된 키스트로크들을 측정한다. 보조 마이크로폰(115)에 의해 획득된 정보는 이후, 키베드와의 상호작용으로부터 발생되는 키 클릭들에 의해 손상되는 음성 마이크로폰 신호(예컨대, 순간 잡음(155)에 의해 손상될 수 있는 입력 신호(160))를 더 양호하게 복원하는데 사용될 수 있다. 예컨대, 보조 마이크로폰(115)에 의해 획득된 정보는 기준 신호(180)로서 신호 프로세서(170)에 입력될 수 있다.

[0037] 아래에 더 상세히 설명될 바와 같이, 신호 프로세서(170)는 보조 오디오 캡처 디바이스(115)로부터의 기준 신호(180)를 사용하여, 수신된 입력 신호(160)(예컨대, 음성 신호)에 대한 순간 억제/소거를 수행하도록 구성될 수 있다. 하나 또는 그 초과의 실시예들에 따르면, 신호 프로세서(170)에 의해 수행되는 순간 억제/소거는 광대역 적응형 MIMO(multiple input multiple output) 필터링에 기반할 수 있다.

[0038] 본 개시내용의 방법들 및 시스템들은 수많은 실세계 적용들을 갖는다. 예컨대, 방법들 및 시스템들은, 수행될 수 있는 순간 잡음 억제 프로세싱의 효과 및 효율을 개선하기 위해서 보조 마이크로폰이 키보드 아래에 (또는 하나 또는 그 초과의 1 차 마이크로폰들이 위치되는 장소 이외의 디바이스 상의 몇몇 다른 위치에) 위치되어 있는 컴퓨팅 디바이스들(예컨대, 랩탑 컴퓨터들, 태블릿 컴퓨터들 등)에서 구현될 수 있다. 하나 또는 그 초과의 다른 예들에서, 본 개시내용의 방법들 및 시스템들은 모바일 디바이스들(예컨대, 모바일 전화들, 스마트폰들, PDA(personal digital assistant))에서 그리고 스피치 인식에 의해 디바이스들을 제어하도록 설계된 다양한 시스템들에서 사용될 수 있다.

[0039] 가용성 기준 신호(예컨대, 도 1에 도시된 예시적인 시스템(100)에서의 기준 신호(180)) 및 적응형 필터링의 적용에 따라, 본 개시내용의 방법들 및 시스템들에 의해 다루어지는 문제점이 종래의 AEC(acoustic echo cancellation) 문제 또는 간섭 소거 문제와 유사하다는 것을 나타낼 수 있다. 그러나, 본원에 설명된 키스트로크 순간 억제 방법들 및 시스템들과 기존의 AEC 및/또는 간섭 소거 접근법들 간에는 현저한 차이가 있으며, 그 중 일부는 도 5에 도시된 표 500에 예시되며, 다음에 의해 반영된다 :

[0040] (i) 식별될 "에코 경로"는 신속하게 시간에 따라 변화한다.

[0041] (ⅱ) "에코 경로"의 여기(키스트로크 순간들)는 통상적으로 매우 짧고, 이는 추정 프로세스에 대한 데이터의 양이 제한된다는 것을 의미한다.

[0042] (ⅲ) 스피치 소스로부터 키베드 마이크로폰으로 낮은 (그러나 눈에 띄는) 전력의 누화가 존재한다.

[0043] (ⅳ) 종래의 AEC에서와 같이 이중-토크 제어 (또는 특히 이중-토크 검출)는, 본원에 설명된 방법들 및 시스템들에 의해 다루어지는 상황들(주로 (ⅲ) 및 (v)에 기인함)에서 간단하지 않다.

[0044] (v) 고도의 비선형 시스템들. 키보드부터 마이크로폰까지의 음향 경로들이 케이싱 내부의 고체 전달음 전도로 인한 상당한 비선형 기여들을 포함한다는 것을 실험들이 보여주었다. 비선형 기여들(예컨대, 달가닥 거림(rattling))은 또한 상당한 메모리를 나타낸다.

[0045] (ⅵ) 시스템/방법은, (i)-(v)의 도전과제들에도 불구하고 낮은 복잡도를 가져야 한다.

[0046] 광대역 적응형 MIMO 필터링에 기반한 키스트로크 순간 소거

[0047] 다음은, 키스트로크 순간 억제에 대한 상기의 도전과제들 (i)-(vi)을 핸들링하도록 설계되는 본 개시내용의 키스트로크 순간 억제/소거 방법들 및 시스템들에 대한 세부 사항들을 제공하며, 그에 따른 일부 예시적인 성능 결과들을 또한 설명한다. 다음 섹션들은 원하는 스피치 신호를 추출하기 위한 다수의 입력 채널들 및 다수의 출력 채널들(MIMO)을 갖는 일반 적응형 동적 시스템에 의해 시작하는 신호 프로세싱 접근법을 전개하며, 이것의 예가 도 3에 예시된다. 특히, 도 3은 일반 2 × 3 소스 분리 문제로서 고려되는 시스템의 예를 도시한다.

[0048] 도 3이 다수의 입력 채널들 및 다수의 출력 채널들을 갖는 예시적인 시스템(300)을 도시하며, 도 4 및 도 6은 본 개시내용의 하나 또는 그 초과의 실시예들에 따른 보다 구체적인 배열들을 예시한다. 특히, 도 4는 감독식 적응형 필터 구조에 대응하는 예시적인 시스템(400)을 도시하고, 도 6은 준-블라인드 적응형 SIMO 필터 구조의 약간 수정된 버전에 대응하는 예시적인 시스템(600)을 도시한다(보다 구체적으로, 도 6은 등화 사후 필터(equalizing post-filter)를 갖는 준-블라인드 적응형 SIMO 필터 구조를 예시한다).

[0049] 도 3, 도 4 및 도 6에 도시된 예시적인 시스템들과 관련하여,

(예컨대,

등)에 의해 표현되는 경로들은 음원들(s_i)로부터 오디오 입력 디바이스들(

)(예컨대, 마이크로폰들)로의 음향 전파 경로들을 나타낸다는 것을 주목해야 한다. 다음에 이어지는 설명들에서, 이러한 전파 경로들(

)의 선형 기여가 임펄스 응답들(

)로 기술될 수 있음을 가정한다. 또한,

로 식별되는 블록들은 임펄스 응답들(

)을 갖는 적응형 FIR(finite impulse response) 필터들을 나타낸다.

[0050] 음향 키스트로크 순간 소거를 위한 기존의 접근법들과는 대조적으로, 본 개시내용의 방법들 및 시스템들은 적응형 FIR 필터들을 사용한다는 것을 이해해야 한다. 일반적으로, 도 3, 도 4 및 도 6에 도시된 예시적인 시스템들에 포함된 FIR 필터들(예컨대, 예시적인 시스템들(300, 400, 및 600)에서 각각

로 표시된 블록들)은 다음의 필터 식으로 기술될 수 있다.

이는 식 (2)로서 아래에서 재현된다. 필터 식 (2)의 상세들은 이후 섹션에서 제공된다.

[0051] MIMO 시스템의 계수들(선형 경우의 임펄스 응답들)은 잠재 변수들로서 간주된다. 이러한 잠재 변수들은, 관찰된 데이터의 다수의 시간 프레임들에 걸쳐 변동성이 적은 것으로 가정된다. 그들이 더 긴 데이터 시퀀스들에 거쳐 전반적인 최적화를 허용하기 때문에, 잠재 변수 모델들은 데이터의 차원들을 감소시켜, 이를 더 이해하기 쉽게 만들고, 따라서 본 맥락에서, 출력 신호들의 왜곡들을 감소시키거나 회피하는 잘 알려진 이점을 갖는다. 다음에서, 이 접근법은 아래에 또한 설명된 "신호-기반" 접근법들과는 대조적으로 "시스템-기반" 최적화로 지칭될 수 있다. 실제로, 신호 향상을 위해 신호-기반 및 시스템-기반 접근법들을 조합하는 것이 종종 유용하기 때문에, 본 맥락에서 이러한 접근법들을 조합하는 방법의 예가 마찬가지로 상세히 설명될 것이라는 것을 주목해야 한다.

[0052] 본 개시내용의 시스템-기반 최적화 접근법은, 생각할 수 있는 다양한 적응형 필터링 구성들의 설명을 통해 일반 MIMO 경우의 특수화로서 전개될 것이다. 본 전개는 광대역 적응형 MIMO 필터링에 대한 일반 프레임워크에 의해 용이해지며, 아래에 추가로 설명되고, 그리고 예시적인 요건들 (i)-(ⅵ)에 의해 안내될 것이다.

[0053] 감독식 적응형 필터 구조

[0054] 상기 설명된 바와 같이, 가용성 키보드 기준 신호(

)를 활용하는 가장 단순한 경우는 AEC 구조일 것이다. 실제로, AEC 구조 및 다양한 알려진 감독식 기법들은 광대역 적응형 MIMO 필터링을 위한 프레임워크의 특수화된 경우로 간주될 수 있다. 본 개시내용의 특정 셋업에서(도 3에 예시된 셋업 이후), 대응하는 가정들은

을 판독할 수 있다. 이는, 이 접근법이 실제 키스트로크 순간들(s₂)과 필터(

)의 입력(

) 간의 직접 연결을 가정한다는 것을 의미한다.

[0055] 통상적으로, 도 4에 도시된 바와 같이, 임의의 다른 소스들(s₁(n))로부터의 누화없이 간섭 키보드 기준 신호들(s₂(n))에 대한 이러한 직접적인 액세스에 기반하는 결과적으로 발생된 감독식 적응 프로세스는 매우 단순하고 강인하며, 이 접근법은 적절하게 필터링된 키보드 기준을 빼기만 한 것이기 때문에, 이는 원하는 스피치 신호들에 대해 왜곡들을 도입시키지 않는다. 더욱이, AES(acoustic echo suppression)로 알려진 밀접하게 관련된 기술은 신속하게 시변하는 시스템들에 특히 매력적인 것으로 나타났다. 본질적으로 이중-토크 제어 및 왜곡없는 제약을 포함하는 저-복잡도 AES에 대한 하나의 기존 접근법은 요건들 (i), (ⅱ), (ⅳ) 및 (ⅵ)를 충족시키기 위한 매력적인 후보이다. 그러나, 그러한 기존 AEC/AES-유사 구조는 본 맥락 및 적용에서 중요한 것으로 판명되는 요건들 (ⅲ) 및 (v)를 무시한다. 모든 음향 경로들(h_21, h₂₂, h₂₃)은 실제로 케이싱 내에서의 고체 전달음 전도로 인해 비선형인 것으로 나타났다. 본 개시내용의 하나 또는 그 초과의 실시예들에 따르면, 본원에 설명된 방법들 및 시스템들은 복잡도(ⅵ) 및 수치적 이유들(v)로 인해 비선형 AEC를 회피하도록 설계된다.

[0056] 요건(ⅲ)은 또한, 기준 신호(예컨대, 필터 입력)(

)가 스피치 신호(s₁)(요건 (ⅳ))로부터 더 이상 통계적으로 독립적이지 않기 때문에, 적응 제어를 종래의 AEC에서보다 현저히 더 어렵게 한다는 것을 주목해야 한다. 이는, 감독식 적응형 필터링 이론의 일반적인 가정들과 이중-토크 검출을 위한 공통 전략들과 모순된다.

[0057] 준-블라인드 적응형 SIMO 필터 구조

[0058] 통상적으로, 실제로,

간의 관계는

간의 관계 및

간의 관계 각각보다 선형성에 더 가깝다(도 3에 도시된 예시적 시스템을 참조). 이는 2 개의 어레이 마이크로폰들(

)을 사용하는 블라인드 공간 신호 프로세싱을 유발할 것이다.

[0059] 반면,

은 여전히 키보드와 키보드 마이크로폰 간의 근접성으로 인해 상당히 적은 누화 및 적은 잔향을 포함한다. 따라서, 키보드 마이크로폰은 적응을 안내하는 데 가장 적합하다. 즉, 코어 프로세스는 맹목적으로 적응되지만, 전체 시스템은 준-블라인드 시스템으로서 간주될 수 있다. 키보드 마이크로폰을 사용한 적응의 안내는 블라인드 적응형 필터링 방법들의 출력에서 원하는 소스에 관한 고유 순열 모호성(inherent permutation ambiguity)의 해결 및 이중-토크 문제 둘 모두를 다룬다.

[0060] (아래에서 더 상세히 설명될) 키보드 마이크로폰 신호로부터 추론된 검출 정보로, 2 개의 출력 신호들(y₁ 및 y₂)에 대한 최적화 기준의 대략적인 커플링해제가 가능하다. 이러한 커플링해제는 도 3에 따른 전체 MIMO 구조의 제거(pruning)를 재차 허용하고, 결과적인 구조는 재차, 광대역 적응형 MIMO 필터링을 위한 알려진 프레임워크의 특수화된 경우로서 간주될 수 있다. 결과적으로 발생된 구조는 SIMO(single-input and multiple-output) 시스템들을 위한 BSI(blind system identification)를 위한 방법으로서 또는 서브스페이스 접근법/BSE(blind signal extraction) 접근법으로서 해석될 수 있다. 아래에서 더 상세히 설명될 바와 같이, 두 해석들 모두는 본 개시내용의 전체 시스템의 적어도 하나의 실제 구현; 원하는 스피치 신호를 추출하기 위한 BSE, 및 본원에 제공된 새로운 이중-토크 제어 프로세스에 대한 BSI에 따라 활용될 수 있다.

[0061] 구체적으로, 도 3에 따르면, 출력 신호 y₁(n)에서의 음향 키스트로크 순간들의 소거를 위한 조건은 다음 식과 같다.

식 (1)에서 별표(*)들은 선형 컨벌루션들(식 (2)의 정의와 유사함)을 나타낸다는 것을 주목해야 한다. 오직 하나의 활성 소스 신호만 있는 경우(예컨대, MIMO 디-믹싱 시스템이 MISO 시스템으로 감소하는 경우), 필터 적응 프로세스는 잘 알려진 감독식 적응 접근법들과 유사한 형태로 단순해진다. 더욱이, 이 프로세스는 블라인드 시스템 식별을 수행하므로, 이상적으로

및

으로 나타내어질 수 있다. h₂₂(n) 및 h₂₁(n)이 z-도메인에서 공통 0들을 공유하지 않고 필터 길이가 누화 제거를 위해 충분히 길기만 하면 이러한 이상적인 솔루션들은 식 (1)을 따른다.

[0062] 음성 마이크로폰들의 경우 대략적인 선형성을 유지한다고 가정하면, 이 준-블라인드 시스템-기반 접근법은, 소거 필터들(

및

)이 키스트로크 순간들 동안에만 적응되기만 하면 신뢰할 수 있게 작동할 것으로 기대될 수 있다(적응 제어에 대한 추가적인 상세들이 아래에 제공된다). 출력 신호 y₁(n)를 갖는 적응된 MISO 시스템은 이후 키스트로크 순간들 및 원하는 스피치 신호에 대해 연속적인 활성 시공간적 선택 필터로서 작용한다.

[0063] 등화 사후 필터를 갖는 준-블라인드 적응형 SIMO 필터 구조

[0064] 일반적으로, 스피치 활동 동안, 원하는 신호(s₁(n))는 또한 (예컨대, 상기의 앞의 섹션에서 설명된 단순화된 소거 프로세스에 의해, 키스트로크들의 활동 동안 추정될 수 있는) 동일한 MISO FIR 필터들에 의해 필터링되기 때문에, 임의의 남아있는 선형 왜곡들을 제거하기 위해 출력 신호(y₁)에 추가 등화 필터를 추가하는 것이 간단하다. 이 단일-채널 등화 필터는 신호 추출 성능을 변경하지 않을 것이다. 예컨대, 본 개시내용의 하나 또는 그 초과의 실시예들에 따르면, 그러한 필터의 설계는 예시적인 시스템(300)의 필터들 중 하나, 예컨대 필터(

)의 대략적인 인버전에 기반할 수 있다. 이러한 예시적인 설계는 또한 소위 최소-왜곡 원리와 일치한다.

[0065]

의 대략적인 인버스 필터를 설계하면, 이 인버스 필터를 2 개의 경로들(

및

)로 이동시킴으로써 전체 시스템이 더욱 단순화될 수 있다. 이 등가적인 포뮬레이션은 도 6에 도시된 시스템에서 실선들로 나타내어진 바와 같이 (적응형 필터(

) 대신에) D 샘플들 만큼의 순수 지연과 단일의 변경된 필터(

)를 각각 발생시킨다(이는 아래에서 더 상세히 설명될 것이다). 임의의 스피커 포지션들에 대한 적응형 필터(

)의 인과성을 보장하기 위해, 지연은

으로서 선택될 수 있다.

[0066] 적응의 효율적 실현과 제어

[0067] 상기 요건들(i) - (vi)에 따라 최적의 시스템-기반 접근법에 대한 유망한 후보자들을 확인하면, 다음 섹션들은, 본 개시내용의 하나 또는 그 초과의 실시예들에 따라, 적응의 효율적 실제 실현 및 제어를 설명한다.

[0068] 광대역 블록-온라인 주파수-도메인 적응

[0069] 본 개시내용의 광대역 적응형 방법 및 시스템의 다양한 특징들 및 실시예들을 철저히 설명하기 위해서, 먼저, 상기 필터 구조들의 계산 상 효율적인 주파수-도메인 포뮬레이션을 도입할 필요가 있다. 관련된 양들의 표기법들을 포함하는 이 포뮬레이션은 다음의 광대역 적응형 방법 및 시스템의 설명에 대한 기반이 될 것이다. 이 주파수-도메인 프레임워크의 중요한 특징은, 이것이, 적응 프로세스들(예컨대, Hessian의 대략적인 대각화(approximate diagonalization)) 및 필터링 프로세스(예컨대, FFT의 효율을 활용하는 것에 의한 신속한 컨벌루션) 둘 모두의 효율을 증가시킨다는 것이다.

[0070] 다음은 적응형 방법들 및 시스템들의 다양한 특징들 및 예들을 분할된 블록들의 맥락에서 설명하며, 즉, (정수인) 블록 길이 N = L / K는 필터 길이 L의 소부분일 수 있다. 이러한 L 및 N의 커플링해제는 특히 본원에 설명되는 방법들 및 시스템들에 의해 다루어지는 키스트로크 순간들과 같이 매우 비불변적인(non-stationary) 신호들을 핸들링하는 경우에 바람직하다.

[0071] 도 3에 도시된 예시적인 블록도에 따른 개별 서브-필터들(

) 중 하나에 대한 입력-출력 관계를 고려하자. 시간 n에서 이 서브-필터의 출력 신호는 다음 식으로 판독된다.

은 필터 임펄스 응답(

)의 계수들이다. 길이 L의 임펄스 응답(

)을 정수 길이(N = L / K)의 K 개의 세그먼트들로 분할함으로써, 식 (2)가 다음 식으로 기록될 수 있다.

여기서

윗첨자 T는 벡터 또는 매트릭스의 전치를 나타낸다. 길이-N 벡터들(

, k=0,. . . , K-1)은 분할된 탭-가중치 벡터의 서브-필터들을 나타낸다.

[0072] 이제, 길이 N의 블록 출력 신호가 정의될 수 있다. 상기 제시된 식 (3)에 기반하여, 다음 식을 유도한다.

여기서, m은 블록 시간 인덱스이고, 다음 식을 유도한다.

주파수-도메인 절차를 유도하기 위해서, 블록 출력 신호(식 (8))는 (예컨대, DFT(discrete Fourier Transform) 매트릭스를 사용하여) 그의 주파수-도메인 대응부로 변환된다. 매트릭스들(

, k = 0 ,. . . , K - 1)은 사이즈 (N × N)의 Toeplitz 매트릭스들이다. Toeplitz 매트릭스(

)는 그의 사이즈를 두 배로 하여 사이즈 (2N × 2N)의 순환 매트릭스로 변환될 수 있고, 순환 매트릭스는, 엘리먼트들(

(v,n = 0,..., 2N - 1))을 갖는 (2N × 2N)-DFT 매트릭스(F_2N)를 사용하여 대각화될 수 있기 때문에, 이는,

대각 매트릭스들

을 갖는, 다음 식을 제공한다.

표 1에 정의된 바와 같은 윈도우 매트릭스들(

및

)이 아래에 예시된다.

이는 최종적으로 pq번째 필터의 다음 블록 출력 신호로 이어진다:

여기서

p= 1, 2, 3이고 q = 1, 2인 경우 식 (12)의 간결한 표현들에 기반하여, 출력 신호 블록들 (예컨대, 도 3에 도시되고 상술된 예에서의 y₁ 및 y₂) 및/또는 최적화 기준을 위해 필요로 되는 에러 신호 블록들은 이들 신호 벡터들의 중첩(superposition)에 의해 용이하게 획득될 수 있다. 예컨대, 도 6에 도시된 예시적인 시스템의 단순화된 구조에서 필터(

)를 적응시키기 위한 블록 에러 신호(e(m))는 다음 식과 같다.

여기서,

은 D 샘플들만큼 지연되는 마이크로폰 신호(

)의 길이-N 블록을 나타낸다. 유사하게, 상기 설명된 원래의 블라인드 SIMO 시스템 식별-기반 접근법의 적응 방법은 식 (16)의 지연된 기준 신호(

)가 식 (12)에 따라 다른 적응형 서브-필터 항으로 대체되는 에러 신호 벡터를 사용하여 표현될 수 있는데, 즉 다음 식과 같다.

[0073] 적어도 하나의 실시예에 따르면, (아래의) 표 2에 제시된 구현은 주파수-도메인 계수 벡터(

)에 대한 식(16)의 에러 신호의 블록 별(block-by-block) 최소화에 기반할 수 있다. 적어도 하나의 다른 실시예에 따르면, (아래와 표 2에서 더 상세하게 설명되는) 유사한 포뮬레이션이 사용되며, 이는, 조합된 계수 벡터(

)에 대한 식 (17)의 에러 신호를 최소화한다.

[0074] 강인성 통계

[0075] 에러 신호를 간결한 분할-블록 주파수-도메인 표기로 표현하면, 다음은 본 개시내용의 하나 또는 그 초과의 실시예들에 따른 적절한 블록-기반 최적화 기준을 제공한다. 상기 설명된 바와 같이, 이 필터 최적화는 키스트로크 순간들의 한정적인 활동 (및 음향 환경에서 스피치 또는 다른 신호들 비활동) 동안 수행되어야 한다. 일단 적절한 블록-기반 최적화 기준이 확립되면, 다음의 설명은 또한, 반향 환경들에서 도 6에 따른 준-블라인드 시나리오에 맞춰지는 본 개시내용의 신규한 고속-반응의 순간 잡음 검출 시스템 및 방법에 대한 상세들을 제공할 것이다.

[0076] 설명의 용이함을 위해서, 다음 특징들 및 예들은 키스트로크 순간 활동이 있는 단일-토크 상황의 맥락에서 설명된다. 가장 일반적인 적응 방법들은 최소-제곱-기반이고, 이 중에서 RLS(recursive least-squares) 방법은, 매우 짧은 키스트로크 순간이 적응에 대한 여기 신호들로서 작용하는 현재 맥락에서 중요한 특성인 가장 고속의 초기 수렴 속도를 나타내는 것으로 알려져 있다. 계산 상 효율적인 구현을 획득하기 위해서, 다음 설명은 샘플 당

복잡도를 지닌 RLS-유사 FDAF(frequency-domain adaptive filter)를 다룬다. (때때로 "다중지연 필터"라고도 지칭되는) 상기 분할-블록 에러 포뮬레이션에 기반하는, DFT 도메인에서의 이러한 광대역 적응 방식은, 바람직한 RLS-타입 수렴 특성들 중 많은 것을 유지하는 것으로 알려져 있다.

[0077] 또한, 이중 토크 동안의 적응의 강인성을 보장하는 것이 RLS와 같은 고속-수렴 절차들에 대해 특히 중요하기 때문에, 하나 또는 그 초과의 실시예들에 따라, 본 개시내용의 방법들 및 시스템들은 이 주파수-도메인 프레임워크의 강인성 통계들의 개념을 (준-)블라인드 시나리오에 추가로 적용한다. 강인성 통계는, 추정 프로세스들을, 이따금 있는 이상치들(예컨대, 적응 제어들의 매우 드물지만 회피할 수 없는 검출 실패들에 의해 발생될 수 있는 짧은 버스트들)에 대해 본질적으로 덜 민감하게 만드는 효율적인 기법이다. (원래의 비-강인성 접근법과 마찬가지로) 고속 수렴을 보장하면서 동시에 수정된 수퍼-가우시안 (예컨대, 테일이 심한) 배경 잡음 pdf(probability distribution function)로 본질적으로 설명될 수 있는 그러한 상황에서 갑작스런 발산을 회피하기 위해서, 본 개시내용의 강인성 적응 방법들 및 시스템들이 적어도 다음의 것들로 이루어지며, 이들 각각은 아래:

[0078] (1) 변경된 최적화 기준을 사용한 강인성 적응형 필터 추정, 및

[0079] (2) 적응형 (예컨대, 시변) 스케일 팩터 추정

에서 더 상세히 설명될 것이다.

[0080] 강인성 적응형 필터 추정

[0081] 이상치-강인성 기법을 획득하기 위해 수퍼-가우시안 확률 분포 함수로 잡음을 모델링하는 것은 비-2차(non-quadratic) 최적화 기준에 대응한다. 블록-기반 가중 최소-자승 표준을 따르는 것은 대응하는 M-추정기에 대해 일반화된다:

여기서,

는 방법들의 상이한 부류들을 정의하는 가중 함수이며, 예컨대, RLS-유사 방법을 획득하기 위해 포겟팅 팩터(forgetting factor)(0<λ<1)를 지닌

이며,

은 블록 인덱스 i를 갖는 (광대역 블록-온라인 주파수-도메인 적응에 대한 상기 설명에 따른) 신호 벡터

의 엘리먼트들을 나타낸다.

는, 대응하는 비강인성 접근법을 제공한다는 것을 주목해야 한다. 일반적으로,

는 볼록 함수이고

는 i번째 블록에 대한 실수값 포지티브 스케일 팩터이다(아래에 추가로 설명됨). 강인성 통계에 대한 이론의 주된 진술들 중 하나는 비선형 함수

가 경계(bounded) 도함수를 갖는 한 결과적으로 발생되는 프로세스가 강인성 특성들을 인계받는다는 것이다. 제한된 도함수의 조건이 고전적인 경우(

)에 대해 충족되지 않는다는 것이 용이하게 검증될 수 있다.

[0082] 강인성에 대한

의 특히 단순하지만 효율적인 선택은 소위 Huber 추정기에 의해 제공된다:

여기서, k₀ > 0은 프로세스의 강인성을 제어하는 상수이다. Huber 추정기에 대한

의 도함수,

은 경계 요건을 명확히 충족하며, 식 (19)의 선택이 가우시안 배경 잡음의 가정 하에서 최적의 등가적인 강인성 추정기를 제공한다는 것을 나타낼 수 있다.

[0083] 아래의 표 2는, 본원에 설명된 하나 또는 그 초과의 실시예들에 따른, 도 6에 도시된 시스템 구성에 기반한 예시적인 방법의 의사코드, 식 (18)의 최적의 기준, 및 식 (16)의 다중-지연 포뮬레이션을 예시한다. 도 6에 도시된 바와 같이, 적어도 하나의 실시예에 따르면, 전체 시스템(600)은 전경 필터(620)(예컨대, 상술된 바와 같이, 향상된 출력 신호(y₁)를 생성하는 메인 적응형 필터)뿐만 아니라, 전경 필터(620)의 적응을 제어하는 데 사용될 수 있는 별개의 배경 필터(640)(점선들로 표시됨)를 포함할 수 있다. 이들 2 개의 컴포넌트들(전경 필터(620) 및 배경 필터 (640))은 또한, 표 2에 도시된 의사코드에서 2 개의 최하부 (메인) 섹션들로 표현된다.

[0084] 위의 표 2를 참조하면, 필수 Kalman 이득(식들 (21e)-(21f))(이는 그들의 공통 입력 신호(X ₂(m))로 인한 전경 필터 및 배경 필터 둘 모두에 대한 계산 효율을 위해 사용됨), 및 필요한 입력 신호들(식들 (21a)-(21c))을 포함하여, 의사 코드의 최종 섹션에서 전경 필터(식들 (21s)-(21y))에 주의가 집중된다. 상기 기준에 직접적으로 기반하는 이러한 강인성 주파수-도메인 적응 방법의 유도는 당업자에게 공지되어 있다. [a]_n은 (예컨대, 식 (21t)에서) 벡터 a의 n 번째 엘리먼트를 나타낸다는 점을 주목해야 한다. 또한, 적응 제어를 위한 배경 필터는 아래에서 더 상세하게 설명될 것이다.

[0085] 본 개시내용의 하나 또는 그 초과의 실시예들에 따르면, 수렴 속도를 더욱 높이기 위한, 표 2에 따른 예시적인 구현의 중요한 특징은, 각각의 블록에서의 추가적인 오프라인 반복들(인덱스 ℓ로 표시됨)이다. 이러한 블록-방식의 오프라인 반복들이 블라인드 적응형 필터링에서 더욱 일반적일 수 있지만, 이 방법은, 감독식의 경우(supervised case)에까지 직접 이어진다. 실제로, 감독식 적응형 필터링의 경우, 이 접근법은 전체 Kalman 이득 계산이 센서 신호에만 의존하기 때문에(이는, Kalman 이득이 블록 당 한 번만 계산될 필요가 있음을 의미함) 특히 효율적이다. 더욱이, 적어도 하나의 실시예에 따르면, 이 방법에 의해 많은 수의 오프라인 반복들에 대한 바람직하지 않은 "오버러닝(overlearning)" 현상을 회피하고, 또한 로컬 신호 통계의 방법의 신속한 추적 능력의 활용을 어느 정도까지 허용하기 위해서, 총 오프라인 반복 횟수(ℓ_max)가 다음에 설명되는 바와 같이 2 개의 단계들로 세분될 수 있다.

[0086] (1) 제1

회의 반복들 동안(여기서,

), 적응의 목표는 엄격하게 시스템-기반이다. 따라서, 이러한 반복들(상기 표 2의 식 (21w) 참조) 이후의 필터 계수들(

)의 결과적으로 발생된 세트는 하나의 신호 블록에서 다음 신호 블록까지 전반적으로 유효한 것으로 간주된다. 따라서, 강인한, 일반화가능 추정치를 획득하기 위해서, 강인성 통계의 방법이 이러한 반복들 동안 적용될 수 있다.

[0087] (2) 제2 반복 세트(

)에서, 엄격한 시스템-기반 목표가 완화될 수 있다. 이 제2 반복 세트는 최종 출력 신호 블록(

)을 생성하지만, 필터 계수들의 결과적으로 발생된 세트는 다음 신호 블록의 프로세싱까지 이어지지 않는다. 즉, 이 제2 단계는 사후필터링 스테이지로 간주될 수 있다. 극한의 경우(

→ ∞)에서, 이 접근법은 잘 알려진 Wiener 사후필터와 유사하지만(예컨대, 아래 식 (23) 참조), 이해해야 할 몇 가지 차이점들이 있음이 밝혀졌다. 첫째,

의 선택은, 이전 신호 블록들로부터의 파라미터 추정들의 통합 시 트레이드오프 파라미터를 제공한다.

< ∞인 한, 식 (22)의 일반적인 표현에 의해 예시되는 바와 같이, 이전 파라미터 추정들이 고려된다. 둘째, (통상적으로 STFT(short-time Fourier transform) 도메인들에서의) 대부분의 종래의 빈-방식(bin-wise) Wiener 사후필터링 구현들과는 대조적으로, 추가 오프라인 반복들로부터 비롯된 사후필터는 식 (22)의 제약 매트릭스들에 의해 반영되는 것처럼 광대역 최적화를 여전히 기반으로 한다. 이 광대역 속성은 식 (23)에서의 극한의 경우(

→ ∞)에서도 볼 수 있는데, 여기서, 인버팅된 2L × 2L의 매트릭스는 매트릭스(

)로 인해 엄밀하게는 희소하지 않다. 이러한 특징들에도 불구하고, 표 2에 제공된 예시적인 방법 이후의 반복적인 구현은 그럼에도 불구하고, 특히 주파수 도메인에서의 업데이트 식들의

복잡도 및 Kalman 이득 계산(표 2의 식들(21e) 및 (21f))이 모든 반복들에 대해 한 번만 수행될 필요가 있다는 사실로 인해 계산 상 효율적이다.

[0088] 오프라인 반복들을 사용하는 방법은, 필터 길이(L) 및 블록 길이(N)의 커플링해제를 허용하는 다중-지연(예컨대, 분할된) 필터 모델로 인해 특히 효율적이라는 것을 주목해야 한다. 다중-지연 모델이 로컬 신호 통계의 추적 능력을 추가로 향상시키기 때문에, 이러한 모델은, 매우 불안정한 키스트로크 순간들이 있는 본 개시내용의 적용에 있어서 매력적이다.

[0089] 지금까지 설명된 모든 구성 블록(building block)들은 광대역 적응형 MIMO 필터링에 기반한 키스트로크 순간 소거에 대하여 상술된 예시적인 전체 시스템 구조들 중 임의의 것 또는 전부에까지 이어질 수 있다는 것을 또한 이해해야 한다.

[0090] 스케일 팩터 추정

[0091] 필터 계수 벡터(

)의 추정 외에도, 스케일링 팩터(

)는 강인성 통계의 방법의 다른 메인 성분이며(상기 식(18) 참조), 랜덤 에러들의 확산의 적절한 추정이다. 실제로,

는 잔여 오차로부터 획득될 수 있으며, 이는 결국

에 의존한다. 본 개시내용의 하나 또는 그 초과의 실시예들에 따르면, 스케일 팩터는, 예컨대, 로컬 음향 환경에서의 배경 잡음 레벨을 반영해야 하고, 이중-토크 동안 짧은 에러 버스트들에 대해 강인해야 하며, 그리고 예컨대, 스피커 움직임들에 의해 유발될 수 있는 음향 혼합 시스템의 변화들(예컨대, 도 6에 도시되고 상술된 예시적인 시스템에서의 임펄스 응답들(

))로 인한 잔류 에러의 장기간 변화들을 추적해야한다. 본원에 설명된 적어도 하나의 실시예에 따르면, 블록 길이(N)에 대한 대응하는 블록 포뮬레이션이 표 2의 식 (21z)에 적용되며, 여기서

이고,

는

에 의존하는 정규화 상수이다.

[0092] 준-블라인드 다중-지연 이중-토크 검출

[0093] 이전의 섹션들은 앞에서 제시된 요건들 (i) 내지 (ⅵ)에 기반한 전체 시스템 아키텍처의 적어도 하나의 예를 전개하고 설명했으며, 또한 본 개시내용의 적어도 하나의 실시예에 따른 적응형 키스트로크 순간 소거기의 메인 부분(예컨대, 표 2의 의사코드의 마지막 부분)을 전개하고 설명하였다. 따라서, 다음의 섹션들은 이제 본 개시내용의 하나 또는 그 초과의 실시예들에 따라 (예컨대, 이중-토크 검출기(표 2의 제1 메인 부분)를 사용하여) 적응을 제어하는 다양한 특징들 및 양상들에 대한 상세들을 설명한다. 다음에서, 키스트로크 순간 소거기의 적응이 키스트로크 순간들의 독점적인 활동 동안에만 수행되도록, 신뢰할 수 있는 결정 메커니즘이 전개되고 설명된다.

[0094] 예컨대, 다음 설명의 기반이 되는 고려사항들은, 앞의 섹션들에서 상기 설명된 바와 같이, 키스트로크 순간 검출을 위한 (예컨대, 휴대용 컴퓨팅 디바이스, 이를테면, 예컨대, 랩탑 컴퓨터의) 키보드 기준 마이크로폰을 활용하는 본 개시내용의 준-블라인드 시스템 구조에 기반할 수 있다. 그러나, 키보드 기준 마이크로폰의 가용성에도 불구하고, 적어도 본 시나리오에서, 신뢰할 수 있는 적응 제어는 잘 알려진 감독식 적응형 필터링 경우에 대한 (예컨대, 음향 에코 소거에 대한) 적응 제어 문제보다 더 도전적인 작업인 것으로 나타났다. 이는 주로, 원하는 음성 신호의 키보드 기준 마이크로폰으로의 현저한 누화뿐만 아니라 키스트로크 순간들의 전파 경로들에 있는 매우 중요한 비선형 컴포넌트들(예컨대, 상기 설명된 요건들 (ⅲ) - (v))로 인한 것이다. 따라서, 기존 접근법들에서 활용되는 단일 전력-기반 또는 상관관계-기반 결정 통계가 이 경우에는 충분하지 않을 것이다.

[0095] 대신, 본 개시내용은, 다수의 마이크로폰 채널들에 의한 공간 선택성을 또한 활용하는 다수의 결정 기준에 기반한 새로운 적응 제어를 제공한다. 적어도 몇몇 사항들에서, 결과적으로 발생되는 방법은 다중-지연-기반 검출 메커니즘의 준-블라인드 일반화로 간주될 수 있다. 하나 또는 그 초과의 실시예들에 따르면, 적응 제어에 통합될 수 있는 기준은, 예컨대, 키보드 기준 신호의 전력, 비선형 효과, 및 대략적인 블라인드 혼합 시스템 식별 및 소스 국부화를 포함하며, 이들 각각은 아래에 추가로 설명된다.

[0096] 키보드 및 바로 아래에 있는 기준 마이크로폰 간의 근접성으로 인해, 식 (21i)(위의 표 2에 도시됨)에 따른 키보드 기준 신호의 신호 전력(

)은 통상적으로 키스트로크들의 활동의 매우 신뢰할 수 있는 표시를 제공한다. 검출기의 신속한 반응을 보장하기 위해서, 블록 길이(N)는 다중-지연 필터 모델을 사용하여 필터 길이(L)보다 더 짧도록 선택된다. 더욱이, 포겟팅 팩터(

)는 포겟팅 팩터(

)보다 더 작아야 한다. 포겟팅 팩터(0 내지 1)의 선택은 본질적으로 신호 전력을 추정하기 위한 유효 윈도우 길이를 정의한다. 더 작은 포겟팅 팩터는 짧은 윈도우 길이에 대응하고, 따라서 (시변) 신호 통계의 더 고속인 추적에 대응한다.

[0097] 키스트로크들의 독점적 활동을 결정하기 위해서, 이 제1 기준은 아래에 상세히 설명되는 추가 기준에 의해 보완되어야 한다는 것을 이해해야 한다. 감독식 적응형 필터들에 기반한 알려진 전경-배경 구조와 다소 유사하게, 적어도 하나의 실시예에서, 본 개시내용의 적응 제어는 이 전경-배경 구조를 블라인드/준-블라인드 경우에까지 전달한다. 아래에서 보여지는 바와 같이, 배경의 적응형 필터의 사용은 상이한 검출 기준의 계산들 중에서 시너지들을 위한 다양한 기회들을 제공한다.

[0098] 제1 검출 변수로서 단시간 신호 전력(

)에 추가하여, 검출 변수(

)는

에서의 비선형 기여에 대한 선형 근사 치의 비를 기술한다.

[0099] 보다 중요한 기준 중 하나는 검출 변수(

)로 기술된다. 이 기준은 공간-시간 소스 신호 활동 검출기로서 이해될 수 있다. 검출 변수들(

및

) 둘 모두는 적응형 배경 필터(전경 필터와 유사하지만, 검출 메커니즘의 신속한 반응을 위해 약간 더 큰 스텝사이즈와 더 작은 포겟팅 팩터를 가짐)를 기반으로 한다는 점을 주목해야 한다.

[0100] 검출 변수(

)는 마이크로폰 어레이 기하학을 활용한다. 도 6에 예시된 예시적인 물리적 배열에 따르면, h₂₃의 직접 경로가 h₁₃의 직접 경로보다 상당히 더 짧을 것으로 안전하게 가정될 수 있다. 배경 필터 계수들의 최대치 및 도달 시간차의 관계로 인해, 소스들(s₁ 및 s₂) 둘 모두의 활동에 대한 대략적인 결정이 이루어질 수 있다(상기 표 2에 제시된 바와 같이 식 (21p)에서

). 적어도 하나의 실시예에 따르면, 검출 정확성을 추가로 개선하기 위해서 배경 필터 계수들의 희소 러닝에 대한 정규화가 적용될 수 있으며(식들 (21m)-(21o), 여기서

는, 수축 연산자라고도 알려진, 폭 a의 센터 클리퍼(center clipper)를 나타낸다).

[0101] 도 8은 본원에 설명된 하나 또는 그 초과의 실시예들에 따른, 준-블라인드 적응형 필터링을 사용하는 음향 키스트로크 순간 억제/제거를 위해 배열된 예시적인 컴퓨터(800)의 하이-레벨 블록도이다. 적어도 하나의 실시예에 따르면, 컴퓨터(800)는 다수의 마이크로폰 채널들에 의한 공간 선택성을 활용하는 다수의 결정 기준에 기반하여 필터의 적응 제어를 수행하도록 구성될 수 있다. 적응 제어에 통합될 수 있는 기준의 예들은 키베드 마이크로폰에 의해 제공된 기준 신호의 전력, 비선형 효과, 및 대략적인 블라인드 혼합 시스템 식별 및 소스 국부화를 포함한다. 매우 기본적인 구성(801)에서, 컴퓨팅 디바이스(800)는 통상적으로, 하나 또는 그 초과의 프로세서들(810) 및 시스템 메모리(820)를 포함한다. 메모리 버스(830)는 프로세서(810)와 시스템 메모리(820) 간에 통신하는 데 사용될 수 있다.

[0102] 원하는 구성에 따라, 프로세서(810)는, 마이크로프로세서(μP), 마이크로컨트롤러(μC), 디지털 신호 프로세서(DSP), 또는 이들의 임의의 조합을 포함하는 임의의 타입일 수 있지만, 이것으로 제한되지 않는다. 프로세서(810)는 하나보다 많은 캐싱 레벨들, 이를테면, 레벨 1 캐시(811) 및 레벨 2 캐시(812), 프로세서 코어(813) 및 레지스터들(814)을 포함할 수 있다. 프로세서 코어(813)는, ALU(arithmetic logic unit), FPU(floating point unit), DSP 코어(digital signal processing core), 또는 이들의 임의의 조합을 포함할 수 있다. 메모리 컨트롤러(815)는 또한 프로세서(810)와 함께 사용될 수 있거나, 또는 일부 구현들에서, 메모리 컨트롤러(815)는 프로세서(810)의 내부 부품일 수 있다.

[0103] 원하는 구성에 따라, 시스템 메모리(820)는, 휘발성 메모리(이를 테면, RAM), 비휘발성 메모리(이를 테면, ROM, 플래시 메모리 등) 또는 이들의 임의의 조합을 포함하는 임의의 타입일 수 있지만, 이것으로 제한되지 않는다. 시스템 메모리(820)는 통상적으로, 운영 시스템(821), 하나 또는 그 초과의 애플리케이션들(822), 및 프로그램 데이터(824)를 포함한다. 애플리케이션(822)은, 본원에 설명된 하나 또는 그 초과의 실시예들에 따라, 적응형 FIR(finite impulse response) 필터들을 사용하여 음성 데이터를 포함하는 오디오 신호에서 순간 잡음을 선택적으로 억제/소거하기 위한 적응형 필터 시스템(823)을 포함할 수 있다. 프로그램 데이터(824)는, 하나 또는 그 초과의 프로세싱 디바이스들에 의해 실행되는 경우, 준-블라인드 적응형 필터링을 사용하여 음향 키스트로크 순간 억제/소거를 위한 방법을 구현하는 명령들을 저장하는 것을 포함할 수 있다.

[0104] 추가로, 적어도 하나의 실시예에 따르면, 프로그램 데이터(824)는 기준 마이크로폰(예컨대, 도 1에 도시된 예시적인 시스템(100)의 기준 마이크로폰(115))에 의해 측정된 순간 잡음에 대한 데이터(예컨대, 전력 데이터, 비선형 데이터 및 대략적인 블라인드 혼합 시스템 식별 및 소스 국부화 데이터)를 포함할 수 있는 기준 신호 데이터(825)를 포함할 수 있다. 일부 실시예들에서, 애플리케이션(822)은 운영 시스템(821) 상의 프로그램 데이터(824)와 함께 동작하도록 배열될 수 있다.

[0105] 컴퓨팅 디바이스(800)는 기본적인 구성(801)과 임의의 요구되는 디바이스들과 인터페이스들 간의 통신들을 가능하게 하기 위한 추가 특징들 또는 기능, 및 추가 인터페이스들을 가질 수 있다.

[0106] 시스템 메모리(820)는 컴퓨터 저장 매체의 일례이다. 컴퓨터 저장 매체들은 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disks) 또는 다른 광학 저장, 자기 카세트들, 자기 테이프, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨팅 디바이스(800)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이것으로 제한되지 않는다. 임의의 이러한 컴퓨터 저장 매체는 디바이스(800)의 일부일 수 있다.

[0107] 컴퓨팅 디바이스(800)는, 소형 폼 팩터 포터블 (또는 모바일) 전자 디바이스, 이를 테면, 셀 폰, 스마트폰, PDA(personal data assistant), 개인 미디어 플레이어 디바이스, 태블릿 컴퓨터(태블릿), 무선 웹-워치 디바이스, 개인 헤드셋 디바이스, 특수 용도의(application-specific) 디바이스, 또는 상기 기능들 중 임의의 것을 포함하는 하이브리드 디바이스의 일 부분으로서 구현될 수 있다. 컴퓨팅 디바이스(800)는 또한, 랩탑 컴퓨터 및 넌-랩탑 컴퓨터 구성들 둘 모두를 포함하는 개인용 컴퓨터로서 구현될 수 있다.

[0108] 위의 상세한 설명은 블록도들, 흐름도들 및/또는 예들의 사용을 통해 디바이스들 및/또는 프로세스들의 다양한 실시예들을 설명하였다. 이러한 블록도들, 흐름도들 및/또는 예들이 하나 또는 그 초과의 기능들 및/또는 동작들을 포함하는 한, 이러한 블록도들, 흐름도들 또는 예들 내에서의 각각의 기능 및/또는 동작이 광범위한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 가상적 임의의 조합에 의해 개별적으로 그리고/또는 집합적으로 구현될 수 있다는 것이 당업자들에 의해 이해될 것이다. 적어도 하나의 실시예에 따르면, 본원에 설명된 청구대상의 몇몇 부분들은, ASIC(Application Specific Integrated Circuit)들, FPGA(Field Programmable Gate Array)들, DSP(digital signal processor)들, 또는 다른 통합 포맷들을 통해 구현될 수 있다. 그러나, 당업자들은, 본원에 개시되는 실시예들의 일부 양상들이, 전체적으로 또는 부분적으로, 집적 회로들에서, 하나 또는 그 초과의 컴퓨터들 상에서 실행되는 하나 또는 그 초과의 컴퓨터 프로그램들로서, 하나 또는 그 초과의 프로세서들 상에서 실행되는 하나 또는 그 초과의 프로그램들로서, 펌웨어로서, 또는 이들의 가상적 임의의 조합으로서 동등하게 구현될 수 있다는 것과, 회로를 설계하는 것 및/또는 소프트웨어 및/또는 펌웨어에 대한 코드를 기록하는 것이 본 개시내용을 고려하여 당업자에 의해 잘 이루어질 것이라는 것을 인식할 것이다.

[0109] 이외에도, 당업자들은, 본원에서 설명되는 청구 대상의 메커니즘들이 다양한 형태들로 프로그램 제품으로서 분배될 수 있다는 것과, 본원에서 설명되는 청구 대상의 예시적 실시예가 분배를 실제로 수행하는데 사용되는 특정 타입의 비-일시적 신호 베어링 매체와는 관계없이 적용된다는 것을 인식할 것이다. 비-일시적 신호 베어링 매체의 예들은 다음의 것들: 플로피 디스크, 하드 디스크 드라이브, CD(Compact Disc), DVD(Digital Video Disk), 디지털 테이프, 컴퓨터 메모리 등과 같은 레코딩가능한 타입 매체; 및 디지털 및/또는 아날로그 통신 매체와 같은 송신 타입 매체(예컨대, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)를 포함하지만, 이것으로 제한되지 않는다.

[0110] 본원에서의 실질적으로 임의의 복수형 그리고/또는 단수형 용어들의 사용에 대해, 당업자들은 문맥 및/또는 적용에 맞게 적절하게, 복수형으로부터 단수형으로 그리고/또는 단수형으로부터 복수형으로 변형할 수 있다. 다양한 단수/복수 순열(permutation)들은 명료함을 위해서 본원에서 명시적으로 제시될 수 있다.

[0111] 따라서, 청구 대상의 특정 실시예들을 설명하였다. 다른 실시예들이 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 인용되는 동작들은 상이한 순서로 수행될 수 있으며, 여전히 바람직한 결과들을 달성할 수 있다. 이외에도, 첨부하는 도면들에 도시된 프로세스들은 바람직한 결과들을 달성하기 위해 반드시 도시된 특정 순서 또는 순차적 순서(sequential order)를 요구하는 것은 아니다. 특정 구현들에서는, 다중작업 및 병렬 프로세싱이 유리할 수 있다.

Claims

순간 잡음을 억제하기 위한 시스템으로서,
하나 이상의 소스들로부터 캡처된 오디오 신호들을 입력하는 복수의 입력 센서들 ― 상기 오디오 신호들은 상기 입력 센서들에 의해 캡처된 음성 데이터 및 순간 잡음을 포함함 ―;
상기 순간 잡음에 대한 데이터를 포함하는 기준 신호를 입력하는 기준 센서 ― 상기 기준 센서는 상기 입력 센서들과는 별개로 위치됨 ―; 및
상기 기준 신호에 포함된 데이터에 기반하여 상기 음성 데이터를 추출하기 위해 상기 오디오 신호들로부터 상기 순간 잡음을 선택적으로 필터링하고, 그리고 추출된 음성 데이터를 포함하는 향상된 오디오 신호를 출력하는 복수의 필터들을 포함하고, 상기 필터들 각각은 광대역 유한 임펄스 응답 필터인,
순간 잡음을 억제하기 위한 시스템.
제1항에 있어서,
상기 필터들은
상기 향상된 출력 오디오 신호를 생성하도록 상기 순간 잡음을 적응적으로 필터링하는 적응형 전경 필터; 및
상기 전경 필터의 적응을 제어하는 적응형 배경 필터를 포함하는,
순간 잡음을 억제하기 위한 시스템.
제2항에 있어서,
상기 배경 필터는 상기 기준 신호에 포함된 데이터에 기반하여 상기 전경 필터의 적응을 제어하는,
순간 잡음을 억제하기 위한 시스템.
제2항에 있어서,
상기 배경 필터는, 순간 잡음이 상기 오디오 신호들에서 검출되는 것에 대한 응답으로 상기 전경 필터의 적응을 제어하는,
순간 잡음을 억제하기 위한 시스템.
제2항에 있어서,
상기 배경 필터는 상기 기준 신호의 전력, 상기 기준 신호의 비선형 기여에 대한 선형 근사치의 비, 및 상기 기준 신호와 연관되는 공간-시간 소스 신호 활동 데이터 중 하나 이상에 기반하여 상기 전경 필터의 적응을 제어하는,
순간 잡음을 억제하기 위한 시스템.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 오디오 신호들에 포함된 순간 잡음은 사용자 디바이스의 키베드(keybed)로부터 생성된 키스트로크 잡음인,
순간 잡음을 억제하기 위한 시스템.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 입력 센서들 및 상기 기준 센서는 마이크로폰들인,
순간 잡음을 억제하기 위한 시스템.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 복수의 필터들은, 상기 기준 센서로부터 입력되는 상기 기준 신호를 뺌으로써 상기 오디오 신호들로부터 상기 순간 잡음을 필터링하는,
순간 잡음을 억제하기 위한 시스템.
순간 잡음을 억제하기 위한 방법으로서,
하나 이상의 소스들로부터 캡처된 오디오 신호들을, 복수의 입력 센서들로부터 수신하는 단계 ― 상기 오디오 신호들은 상기 입력 센서들에 의해 캡처된 음성 데이터 및 순간 잡음을 포함함 ―;
상기 순간 잡음에 대한 데이터를 포함하는 기준 신호를, 기준 센서로부터 수신하는 단계 ― 상기 기준 센서는 상기 입력 센서들과는 별개로 위치됨 ―;
상기 기준 신호에 포함된 데이터에 기반하여 상기 음성 데이터를 추출하기 위해 상기 오디오 신호들로부터 상기 순간 잡음을 선택적으로 필터링하는 단계; 및
추출된 음성 데이터를 포함하는 향상된 오디오 신호를 출력하는 단계를 포함하고,
상기 순간 잡음은 광대역 유한 임펄스 응답 필터들을 사용하여 상기 오디오 신호들로부터 선택적으로 필터링되는,
순간 잡음을 억제하기 위한 방법.
제9항에 있어서,
향상된 출력 오디오 신호를 생성하기 위해 상기 순간 잡음을 적응적으로 필터링하도록 전경 필터를 적응시키는 단계를 더 포함하는,
순간 잡음을 억제하기 위한 방법.
제10항에 있어서,
상기 전경 필터의 적응을 배경 필터를 사용하여 제어하는 단계를 더 포함하는,
순간 잡음을 억제하기 위한 방법.
제11항에 있어서,
상기 배경 필터는 상기 기준 신호에 포함된 데이터에 기반하여 상기 전경 필터의 적응을 제어하는,
순간 잡음을 억제하기 위한 방법.
제11항에 있어서,
상기 배경 필터는, 순간 잡음이 상기 오디오 신호들에서 검출되는 것에 대한 응답으로 상기 전경 필터의 적응을 제어하는,
순간 잡음을 억제하기 위한 방법.
제11항에 있어서,
상기 배경 필터는 상기 기준 신호의 전력, 상기 기준 신호의 비선형 기여에 대한 선형 근사치의 비, 및 기준 신호와 연관되는 공간-시간 소스 신호 활동 데이터 중 하나 이상에 기반하여 상기 전경 필터의 적응을 제어하는,
순간 잡음을 억제하기 위한 방법.
제9항 내지 제14항 중 어느 한 항에 있어서,
상기 오디오 신호들에 포함된 상기 순간 잡음은 사용자 디바이스의 키베드로부터 생성된 키스트로크 잡음인,
순간 잡음을 억제하기 위한 방법.
제9항 내지 제14항 중 어느 한 항에 있어서,
상기 입력 센서들 및 상기 기준 센서는 마이크로폰들인,
순간 잡음을 억제하기 위한 방법.
삭제
삭제