KR101520162B1 - 음질 개선을 위한 사용자 특정 잡음 억제 - Google Patents

음질 개선을 위한 사용자 특정 잡음 억제 Download PDF

Info

Publication number
KR101520162B1
KR101520162B1 KR1020127030410A KR20127030410A KR101520162B1 KR 101520162 B1 KR101520162 B1 KR 101520162B1 KR 1020127030410 A KR1020127030410 A KR 1020127030410A KR 20127030410 A KR20127030410 A KR 20127030410A KR 101520162 B1 KR101520162 B1 KR 101520162B1
Authority
KR
South Korea
Prior art keywords
audio signal
user
noise suppression
noise
electronic device
Prior art date
Application number
KR1020127030410A
Other languages
English (en)
Other versions
KR20130012073A (ko
Inventor
아람 린달
바띠스뜨 삐에르 빠끼에
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44276060&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101520162(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20130012073A publication Critical patent/KR20130012073A/ko
Application granted granted Critical
Publication of KR101520162B1 publication Critical patent/KR101520162B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

사용자 특정 잡음 억제를 위한 시스템, 방법, 및 장치가 제공된다. 예를 들어, 전자 장치(10)의 음성 관련 기능이 이용 중일 때, 상기 전자 장치(10)는 사용자 음성을 포함하는 오디오 신호를 수신할 수 있다. 이때 주변음(60)과 같은 잡음 역시 상기 전자 장치(10)에 수신될 수 있기 때문에, 상기 전자 장치(10)는 상기 오디오 신호에서 그러한 잡음을 억제할 수 있다. 특히, 상기 전자 장치(10)는 사용자 특정 잡음 억제 파라미터를 통해서 사용자 음성을 실질적으로 보존하면서 상기 오디오 신호에서 잡음을 억제할 수 있다. 이러한 사용자 특정 잡음 억제 파라미터는 적어도 부분적으로 사용자 잡음 억제 선호도 또는 사용자 음성 프로파일, 또는 이들의 조합을 기초로 할 수 있다.

Description

음질 개선을 위한 사용자 특정 잡음 억제{USER-SPECIFIC NOISE SUPPRESSION FOR VOICE QUALITY IMPROVEMENTS}
본 발명은 일반적으로 잡음 억제 기술에 관한 것으로, 더욱 상세하게는, 사용자 특정 잡음 억제(user-specific noise suppression) 기술에 관한 것이다.
본 단락은 독자에게 이하에서 설명되고 및/또는 청구되는 본 발명의 여러 양태들과 관련될 수 있는 여러 기술 양태들을 소개하기 위한 것이다. 본 설명은 독자에게 배경 정보를 제공하여 본 발명의 여러 양태들을 쉽게 잘 이해하도록 하는데 도움이 될 것으로 생각된다. 따라서, 본 설명은 이런 관점에서 읽어야 하고, 종래 기술을 인정하는 것으로 읽지 않아야 한다는 사실을 이해하여야 한다.
많은 전자 장치들은 사용자의 음성을 녹음 및/또는 전송하는 것을 포함하는 음성 관련 기능(voice-related features)을 이용한다. 예를 들어, 음성 메모(voice note) 녹음 기능은 사용자가 말한 음성 메모를 녹음할 수 있다. 유사하게, 전자 장치의 전화 기능은 사용자의 음성을 다른 전자 장치로 전송할 수 있다. 그러나, 전자 장치가 사용자의 음성을 획득할 때, 이와 동시에 주변음(ambient sounds) 또는 배경 잡음도 획득될 수 있다. 이러한 주변음은 사용자의 음성을 불명확하게 할 수 있고, 어떤 경우에는, 전자 장치의 음성 관련 기능의 적절한 작동을 방해할 수 있다.
음성 관련 기능이 이용 중에 있을 때 주변음의 영향을 줄이기 위하여, 전자 장치는 다양한 잡음 억제 방식을 적용할 수 있다. 장치 제조자는 대부분의 사용자에게 호응을 얻을 것으로 추정된 소정의 기설정된 일반적인 파라미터에 따라 동작하도록 그러한 잡음 억제 방식을 프로그램할 수 있다. 그러나, 소정의 음성은 이러한 일반적인 잡음 억제 파라미터에 덜 적절할 수 있다. 또한, 어떤 사용자들은 더 강인하거나 또는 더 약한 잡음 억제를 선호할 수 있다.
이하에서는 본 명세서에 개시된 특정 실시예들의 요약이 기술된다. 이러한 양태들은 단지 독자에게 이러한 특정 실시예들의 간략한 요약을 제공하기 위해 제시되며 이러한 양태들은 본 발명의 범주를 제한하는 것으로 의도되지 않는다는 점을 이해하여야 한다. 실제로, 본 발명은 이하에서 기술되지 않을 수 있는 여러 양태들을 망라할 수 있다.
본 발명의 실시예들은 사용자 특정 잡음 억제를 위한 시스템, 방법, 및 장치와 관련된다. 예를 들어, 전자 장치의 음성 관련 기능이 이용 중일 때, 상기 전자 장치는 사용자 음성을 포함하는 오디오 신호를 수신할 수 있다. 이때 주변음과 같은 잡음 역시 상기 전자 장치에 의해 수신될 수 있기 때문에, 상기 전자 장치는 상기 오디오 신호에서 잡음을 억제할 수 있다. 특히, 상기 전자 장치는 사용자 특정 잡음 억제 파라미터를 통해서 사용자 음성을 실질적으로 보존하면서 상기 오디오 신호에서 잡음을 억제할 수 있다. 이러한 사용자 특정 잡음 억제 파라미터는 적어도 부분적으로 사용자 잡음 억제 선호도(preference) 또는 사용자 음성 프로파일(profile), 또는 이들의 조합을 기초로 할 수 있다.
본 발명의 여러 양태들은 다음의 상세한 설명을 읽고 도면을 참조하면 더욱 잘 이해될 수 있다.
도 1은 실시예에 따른, 본 명세서에 개시된 기술을 수행할 수 있는 전자 장치의 블록도이다.
도 2는 도 1의 전자 장치의 일 실시예를 나타내는 핸드헬드 장치의 개략도이다.
도 3은 실시예에 따른, 도 1의 전자 장치의 음성 관련 기능이 이용될 수 있는 여러 상황을 나타내는 개략적인 블록도이다.
도 4는 실시예에 따른, 도 1의 전자 장치에서 수행될 수 있는 잡음 억제의 블록도이다.
도 5는 실시예에 따른, 사용자 특정 잡음 억제 파라미터를 나타내는 블록도이다.
도 6은 도 1의 전자 장치에서 사용자 특정 잡음 억제 파라미터를 적용하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 7은 실시예에 따른, 도 2의 핸드헬드 장치가 활성화될 때 음성 훈련 시퀀스(voice training sequence)의 시작에 대한 개략도이다.
도 8은 실시예에 따라서, 도 2의 핸드헬드 장치를 이용하여 음성 훈련 시퀀스의 시작을 선택하기 위한 일련의 화면의 개략도이다.
도 9는 음성 훈련 시퀀스를 통해서 사용자 특정 잡음 억제 파라미터를 결정하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 10 및 도 11은 실시예에 따라서, 음성 훈련을 위한 사용자 음성 샘플을 획득하기 위한 방식의 개략도이다.
도 12는 실시예에 따라서, 음성 훈련 시퀀스 동안 잡음 억제 사용자 선호도를 획득하기 위한 방식을 예시하는 개략도이다.
도 13은 음성 훈련 시퀀스 동안 잡음 억제 사용자 선호도를 획득하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 14는 음성 훈련 시퀀스를 수행하기 위한 다른 방법의 실시예를 설명하는 흐름도이다.
도 15는 신호 대 잡음비(SNR)가 높은 사용자 음성 샘플을 획득하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 16은 사용자 음성 샘플의 분석을 통해서 사용자 특정 잡음 억제 파라미터를 결정하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 17은 실시예에 따라서, 도 16의 방법을 수행하는 동안 고려될 수 있는 사용자 음성 샘플의 특성을 설명하는 요소(factor) 도면이다.
도 18은 실시예에 따라서, 사용자 선택가능한 설정을 통해서 사용자 특정 잡음 파라미터를 획득하기 위해 도 2의 핸드헬드 장치에 표시될 수 있는 일련의 화면을 나타내는 개략도이다.
도 19는 실시예에 따라서, 핸드헬드 장치의 음성 관련 기능이 이용 중인 동안 사용자 특정 잡음 억제 파라미터를 실시간으로 획득하기 위한 도 2의 핸드헬드 장치 상의 화면의 개략도이다.
도 20 및 도 21은 실시예에 따라서, 사용자 특정 잡음 억제 파라미터를 구성할 수 있는 여러 서브 파라미터를 나타내는 개략도이다.
도 22는 검출된 주변음에 기초하여 사용자 특정 파라미터의 소정의 서브 파라미터를 적용하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 23은 전자 장치의 이용 상황에 기초하여 잡음 억제 파라미터의 소정의 서브 파라미터를 적용하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 24는 실시예에 따라서, 도 23의 방법에서 이용될 수 있는 여러 장치 상황 요인들(context factors)을 나타내는 요소 도면이다.
도 25는 사용자 음성 프로파일을 획득하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 26은 사용자 음성 프로파일에 기초하여 잡음 억제를 적용하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 27 내지 도 29는 실시예에 따라서, 사용자 음성 프로파일에 기초하여 오디오 신호의 잡음 억제를 수행하기 위한 방식을 도시하는 플롯들이다.
도 30은 사전에 녹음된 음성을 포함하는 음성 훈련 시퀀스를 통해서 사용자 특정 잡음 억제 파라미터를 획득하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 31은 다른 전자 장치로부터 수신된 오디오에 사용자 특정 잡음 억제 파라미터를 적용하기 위한 방법의 실시예를 설명하는 흐름도이다.
도 32는 실시예에 따라서, 제1 전자 장치의 사용자 특정 잡음 파라미터에 기초하여 다른 전자 장치가 잡음 억제에 관여하게 하기 위한 방법의 실시예를 설명하는 흐름도.
도 33은 실시예에 따라서, 다른 전자 장치와 연관된 사용자 특정 잡음 억제 파라미터에 기초하여 두 전자 장치에 대해 잡음 억제를 수행하는 시스템의 개략적인 블록도이다.
이하, 하나 이상의 구체적인 실시예들에 대해 설명할 것이다. 이러한 실시예들의 간결한 설명을 제공하기 위하여, 본 명세서에서는 실제 구현에 대한 모든 특징들이 설명되지 않는다. 그러한 모든 실제 구현의 개발시에는, 모든 엔지니어링 또는 설계 프로젝트에서와 같이, 개발자의 특정 목표를 성취하기 위해 시스템 관련 및 사업 관련 제약 조건을 따르는 것과 같은 수많은 구현 특정 결정이 이루어져야 하며, 이러한 결정은 구현마다 다를 수 있다는 것을 인식하여야 한다. 더욱이, 이러한 개발의 노력은 복잡하고 시간 소모적일 수 있지만, 그럼에도 불구하고 본 발명의 혜택을 받는 당업자에게는 설계, 제작 및 제조에 있어서의 일상적인 작업이라는 것을 인식하여야 한다.
본 실시예들은 전자 장치의 음성 관련 기능(voice-related feature)과 연관된 오디오 신호에서 잡음을 억제하는 것과 관련된다. 이러한 음성 관련 기능은, 예를 들어, 음성 메모(voice note) 녹음 기능, 비디오 녹화 기능, 전화 기능, 및/또는 음성 명령 기능을 포함할 수 있으며, 이들 각각은 사용자의 음성을 포함하는 오디오 신호를 수반할 수 있다. 그러나, 사용자의 음성 외에, 오디오 신호는 또한 음성 관련 기능이 이용 중인 동안에 존재하는 주변음(ambient sounds)을 포함할 수 있다. 이러한 주변음이 사용자의 음성을 불명확하게 할 수 있기 때문에, 전자 장치는 오디오 신호에 잡음 억제(noise suppression)를 적용하여 사용자의 음성을 보존하면서 주변음을 필터링할 수 있다.
본 실시예에 따른 잡음 억제는 장치의 제조시 프로그램된 일반적인 잡음 억제 파라미터를 이용하지 않고 전자 장치의 사용자에게 고유할 수 있는 사용자 특정 잡음 억제 파라미터(user-specific noise suppression parameters)를 수반할 수 있다. 이러한 사용자 특정 잡음 억제 파라미터는 사용자의 음성 프로파일(profile)에 기초하여, 및/또는 수동으로 선택된 사용자 설정에 기초하여, 음성 훈련(voice training)을 통해서 결정될 수 있다. 잡음 억제가 일반적인 파라미터 대신 사용자 특정 파라미터에 기초하여 수행되면, 잡음이 억제된 신호의 사운드는 사용자에게 더 많은 만족을 줄 수 있다. 이러한 사용자 특정 잡음 억제 파라미터는 모든 음성 관련 기능에 이용될 수 있으며, 자동 이득 조절(AGC) 및/또는 등화(equalization: EQ) 조정과 관련하여 이용될 수 있다.
전술한 바와 같이, 사용자 특정 잡음 억제 파라미터는 음성 훈련 시퀀스(voice training sequence)를 이용하여 결정될 수 있다. 이러한 음성 훈련 시퀀스에서, 전자 장치는 하나 이상의 디스트랙터(distractor)(예를 들어, 종이 구김 소리, 백색 소음, 사람들 이야기 소리 등과 같은 시뮬레이트된 주변음)와 혼합된 사용자의 음성 샘플(voice sample)에 가변 잡음 억제 파라미터를 적용할 수 있다. 그 후, 사용자는 어느 잡음 억제 파라미터가 가장 바람직한 사운드를 만들어내는지를 표시할 수 있다. 사용자의 피드백에 따라, 전자 장치는 전자 장치의 음성 관련 기능이 이용 중일 때 나중의 사용을 위해 사용자 특정 잡음 억제 파라미터를 생성하여 저장할 수 있다.
추가로 또는 대안으로, 사용자 특정 잡음 억제 파라미터는 사용자 음성의 특성에 따라 전자 장치에 의해 자동으로 결정될 수 있다. 다른 사용자들의 음성은 다른 평균 주파수, 다른 주파수 변동성, 및/또는 다른 구별되는 사운드를 포함하여, 각종 다른 특성을 가질 수 있다. 또한, 소정의 잡음 억제 파라미터는 소정의 음성 특성을 갖고 더욱 효과적으로 동작하는 것으로 알려져 있을 수 있다. 따라서, 특정한 본 실시예에 따른 전자 장치는 이러한 사용자 음성 특성에 기초하여 사용자 특정 잡음 억제 파라미터를 결정할 수 있다. 몇몇 실시예에서, 사용자는 예를 들어, 고/중/저 잡음 억제 강도 선택기를 선택하거나 또는 전자 장치 상에 현재 통화 품질을 표시함으로써 잡음 억제 파라미터를 수동으로 설정할 수 있다.
사용자 특정 파라미터가 결정되었으면, 전자 장치는 음성 관련 기능이 이용되는 동안 들을 수 있는 다양한 형태의 주변음을 억제할 수 있다. 특정 실시예에서, 전자 장치는 주변음의 특성을 분석하여 현재 주변음을 억제할 것으로 예상되는 사용자 특정 잡음 억제 파라미터를 적용할 수 있다. 다른 실시예에서, 전자 장치는 전자 장치가 이용 중인 현재 상황(context)에 따라 소정의 사용자 특정 잡음 억제 파라미터를 적용할 수 있다.
특정 실시예에서, 전자 장치는 사용자와 연관된 사용자 음성 프로파일에 기초하여 사용자에게 맞춰진 잡음 억제를 수행할 수 있다. 그 후, 전자 장치는 음성 관련 기능이 이용 중일 때 오디오 신호로부터 주변음을 더욱 효과적으로 분리할 수 있는데 이는 전자 장치가 일반적으로 오디오 신호의 어느 성분이 사용자의 음성에 해당하는지를 예측할 수 있기 때문이다. 예를 들어, 전자 장치는 사용자 음성 프로파일과 연관되지 않는 오디오 신호의 성분을 억제하면서 사용자 음성 프로파일과 연관된 오디오 신호의 성분을 증폭할 수 있다.
사용자 특정 잡음 억제 파라미터는 또한 전자 장치에 의해 수신된 사용자의 음성 이외의 음성을 포함하는 오디오 신호에서 잡음을 억제하는데 이용될 수 있다. 예를 들어, 전자 장치가 전화 또는 채팅(chat) 기능에 이용될 때, 전자 장치는 사용자가 교신하고 있는 사람으로부터의 오디오 신호에 사용자 특정 잡음 억제 파라미터를 적용할 수 있다. 이러한 오디오 신호는 송신 장치에 의해 이미 처리되었기 때문에, 그와 같은 잡음 억제는 비교적 경미할 수 있다. 특정 실시예에서, 전자 장치는 사용자 특정 잡음 억제 파라미터를 송신 장치에 전송할 수 있으므로, 송신 장치는 자신의 잡음 억제 파라미터를 적절히 수정할 수 있다. 동일한 방식으로, 두 전자 장치는 서로의 사용자 특정 잡음 억제 파라미터에 따라 발신(outgoing) 오디오 신호에서 잡음을 억제하도록 체계적으로 기능할 수 있다.
전술한 바를 염두에 두고, 현재 개시된 기술을 수행하기에 적합한 전자 장치에 대한 개괄적인 설명이 이하에서 제공된다. 특히, 도 1은 본 기술과 함께 사용하기에 적합한 전자 장치에 존재할 수 있는 여러 구성 요소들을 도시한 블록도이다. 도 2는 예시된 바와 같이 잡음 억제 능력을 갖는 핸드헬드 전자 장치일 수 있는 적절한 전자 장치의 일 예를 나타낸다.
먼저 도 1을 참조하면, 현재 개시된 기술을 수행하는 전자 장치(10)는 무엇보다도 하나 이상의 프로세서(들)(12), 메모리(14), 비휘발성 저장 장치(16), 디스플레이(18), 잡음 억제(20), 위치 감지 회로(22), 입/출력(I/O) 인터페이스(24), 네트워크 인터페이스(26), 이미지 캡처 회로(28), 가속도계/자력계(30), 및 마이크로폰(32)을 포함할 수 있다. 도 1에 도시된 각종 기능 블록은 하드웨어 소자(회로 포함), 소프트웨어 소자(컴퓨터 판독가능 매체에 저장된 컴퓨터 코드 포함) 또는 하드웨어 및 소프트웨어 소자들의 조합을 포함할 수 있다. 또한 도 1은 단지 특정한 구현의 일 예일 뿐이며 전자 장치(10)에 존재할 수 있는 구성 요소들의 형태를 예시하려는 의도임을 주목하여야 한다.
예를 들면, 전자 장치(10)는 도 2에 도시된 핸드헬드 장치 또는 유사한 장치의 블록도를 나타낼 수 있다. 추가로 또는 대안으로, 전자 장치(10)는 소정의 특성을 갖는 전자 장치들의 시스템을 대표할 수 있다. 예를 들어, 제1 전자 장치는 적어도 마이크로폰(32)을 포함할 수 있으며, 이는 프로세서(들)(12) 및 다른 데이터 처리 회로를 포함하는 제2 전자 장치에 오디오를 제공할 수 있다. 데이터 처리 회로는 전체적으로 또는 부분적으로 소프트웨어, 펌웨어, 하드웨어 또는 이들의 어떤 조합으로 구체화될 수 있음을 주목하여야 한다. 더욱이, 데이터 처리 회로는 단독으로 포함된 처리 모듈일 수 있거나 또는 전자 장치(10) 내 어떤 다른 소자 내에 전체적으로 또는 부분적으로 통합될 수 있다. 데이터 처리 회로는 또한 전자 장치(10) 내에 부분적으로 구현될 수 있으며 장치(10)에 유선 또는 무선으로 연결된 다른 전자 장치 내에 부분적으로 구현될 수 있다. 마지막으로, 데이터 처리 회로는 장치(10)에 유선 또는 무선 연결된 다른 장치 내에 전체적으로 구현될 수 있다. 비제한적인 예로서, 데이터 처리 회로는 장치(10)와 관련하여 헤드셋 내에 구현될 수 있다.
도 1의 전자 장치(10)에서, 프로세서(들)(12) 및/또는 다른 데이터 처리 회로는 메모리(14) 및 비휘발성 메모리(16)와 동작가능하게 연결되어 현재 개시된 기술을 실행하기 위한 여러 알고리즘을 수행할 수 있다. 프로세서(들)(12)에 의해 실행되는 이러한 프로그램 또는 명령들은 명령 또는 루틴을 적어도 일괄로 저장하는 하나 이상의 유형의(tangible) 컴퓨터 판독가능한 매체를 포함하는 어떤 적절한 제품, 이를 테면, 메모리(14) 및 비휘발성 저장 장치(16)에 저장될 수 있다. 또한, 이러한 컴퓨터 프로그램 제품 상에 인코드된 프로그램(예를 들어, 운영 체제)은 프로세서(들)(12)에 의해 실행되어 전자 장치(10)가 본 명세서에 기술된 기능들을 포함하여 각종 기능들을 제공할 수 있게 해주는 명령들을 또한 포함할 수 있다. 디스플레이(18)는 사용자로 하여금 전자 장치(10)의 사용자 인터페이스와 상호 작용할 수 있게 해주는 터치 화면 디스플레이일 수 있다.
잡음 억제(20)는 프로세서(들)(12)와 같은 데이터 처리 회로에 의해 또는 전자 장치(10)에 의해 처리되는 오디오 신호에 대해 소정의 잡음 억제를 전용으로 수행하는 회로에 의해 수행될 수 있다. 예를 들어, 잡음 억제(20)는 외부에서 제공되는 잡음 억제 파라미터에 기초하여 인피니언(Infineon)에 의해 제조된 회로와 같은 기저대역 집적 회로(IC)에 의해 수행될 수 있다. 추가로 또는 대안으로, 잡음 억제(20)는 오디언스(Audience)에 의해 제조된 회로와 같은, 외부에서 제공되는 잡음 억제 파라미터에 기초하여 잡음 억제를 수행하도록 구성된 전화 오디오 강화 집적 회로(IC)에서 수행될 수 있다. 이러한 잡음 억제 IC들은 적어도 부분적으로 소정의 잡음 억제 파라미터에 기초하여 동작할 수 있다. 이러한 잡음 억제 파라미터를 변경하면 잡음 억제(20)의 출력을 변경시킬 수 있다.
위치 감지 회로(22)는 전자 장치(10)의 상대 또는 절대 위치를 결정하기 위한 장치의 역량을 나타낼 수 있다. 예를 들어, 위치 감지 회로(22)는 위성 위치 확인 시스템(GPS) 회로, 로컬 Wi-Fi 네트워크와 같은 근접 무선 네트워크에 기초하여 위치를 추정하기 위한 알고리즘 등을 나타낼 수 있다. I/O 인터페이스(24)는 네트워크 인터페이스(26)와 같이, 전자 장치(10)가 여러 다른 전자 장치와 인터페이스하게 해줄 수 있다. 네트워크 인터페이스(26)는, 예를 들어, 블루투스 네트워크와 같은 개인 영역 네트워크(PAN), 802.11x Wi-Fi 네트워크와 같은 근거리 네트워크(LAN), 및/또는 3G 셀룰러 네트워크와 같은 광역 네트워크(WAN) 용의 인터페이스를 포함할 수 있다. 네트워크 인터페이스(26)를 통해, 전자 장치(10)는 마이크로폰(32)을 포함하는 무선 헤드셋과 인터페이스할 수 있다. 이미지 캡처 회로(28)는 이미지 및/또는 비디오 캡처를 가능하게 할 수 있으며, 가속도계/자력계(30)는 전자 장치(10)의 이동 및/또는 상대적인 방향을 관측할 수 있다.
전화 기능 또는 음성 인식 기능과 같은 전자 장치(10)의 음성 관련 기능과 관련하여 이용될 때, 마이크로폰(32)은 사용자 음성의 오디오 신호를 획득할 수 있다. 비록 사용자 음성 이외에 주변음도 오디오 신호에서 획득될 수 있지만, 잡음 억제(20)는 소정의 사용자 특정 잡음 억제 파라미터에 기초하여 오디오 신호를 처리하여 대부분의 주변음을 배제할 수 있다. 이하에서 더욱 상세히 설명되는 바와 같이, 사용자 특정 잡음 억제 파라미터는 사용자의 음성 프로파일에 기초하여, 및/또는 수동으로 선택된 사용자 설정에 기초하여 음성 훈련을 통해서 결정될 수 있다.
도 2는 전자 장치(10)의 일 실시예를 나타내는 핸드헬드 장치(34)를 도시한다. 핸드헬드 장치(34)는, 예를 들어, 휴대용 전화기, 미디어 플레이어, 개인용 데이터 오거나이져, 핸드헬드 게임 플랫폼, 또는 이들 장치들의 어떤 조합을 대표할 수 있다. 예를 들어, 핸드헬드 장치(34)는 캘리포니아주 쿠퍼티노 소재의 애플사(Apple Inc.)로부터 입수할 수 있는 아이팟(iPod®) 또는 아이폰(iPhone®)의 모델일 수 있다.
핸드헬드 장치(34)는 내부 구성 요소들을 물리적인 손상으로부터 보호하고 이들을 전자기 간섭으로부터 보호하기 위해 인클로저(36)를 포함할 수 있다. 인클로저(36)는 인디케이터 아이콘(38)을 표시할 수 있는 디스플레이(18)를 둘러쌀 수 있다. 인디케이터 아이콘(38)은 무엇보다도 셀룰러 신호 강도, 블루투스 연결, 및/또는 배터리 수명을 표시할 수 있다. I/O 인터페이스(24)는 인클로저(36)를 통해 개방될 수 있으며, 예를 들어, 외부 장치와의 연결을 위해 애플사 소유의 I/O 포트를 포함할 수 있다. 도 2에 나타낸 바와 같이, 핸드헬드 장치(34)의 후면에는 이미지 캡처 회로(28)가 포함될 수 있다.
사용자 입력 구조물(40, 42, 44 및 46)은, 디스플레이(18)와 연합하여, 사용자가 핸드헬드 장치(34)를 제어하게 해줄 수 있다. 예를 들어, 입력 구조물(40)은 핸드헬드 장치(34)를 활성화 또는 비활성화하고, 입력 구조물(42)은 사용자 인터페이스(20)를 홈 화면, 즉 사용자가 구성가능한 애플리케이션 화면으로 내비게이트하고, 및/또는 핸드헬드 장치(34)의 음성 인식 기능을 활성화하고, 입력 구조물(44)은 음량 조절을 제공할 수 있으며, 입력 구조물(46)은 진동 모드와 벨소리 모드 사이를 토글할 수 있다. 마이크로폰(32)은 각종 음성 관련 기능들에 대한 사용자의 음성을 획득할 수 있으며, 스피커(48)는 오디오 재생 및/또는 소정의 전화 기능을 가능하게 할 수 있다. 헤드폰 입력부(50)는 외부 스피커 및/또는 헤드폰과의 연결을 제공할 수 있다.
도 2에서 예시된 바와 같이, 유선 헤드셋(52)은 헤드폰 입력부(50)를 통해 핸드헬드 장치(34)에 연결할 수 있다. 유선 헤드셋(52)은 두 개의 스피커(48) 및 마이크로폰(32)을 포함할 수 있다. 마이크로폰(32)은 핸드헬드 장치(34)에 위치한 마이크로폰(32)과 동일한 방식으로 사용자가 핸드헬드 장치(34)에 말하는 것을 가능하게 할 수 있다. 몇몇 실시예에서, 마이크로폰(32) 근처에 있는 버튼은 마이크로폰(32)을 재개(awaken)할 수 있고 및/또는 핸드헬드 장치(34)의 음성 관련 기능을 활성화시킬 수 있다. 마찬가지로, 무선 헤드셋(54)은 네트워크 인터페이스(26)의 무선 인터페이스(예를 들어, 블루투스 인터페이스)를 통해 핸드헬드 장치(34)에 연결할 수 있다. 유선 헤드셋(52)과 같이, 무선 헤드셋(54)도 스피커(48) 및 마이크로폰(32)을 포함할 수 있다. 또한, 몇몇 실시예에서, 마이크로폰(32) 근처에 있는 버튼은 마이크로폰(32)을 재개할 수 있고 및/또는 핸드헬드 장치(34)의 음성 관련 기능을 활성화시킬 수 있다. 추가로 또는 대안으로, 통합형 스피커(48)가 없을 수 있는 독립형 마이크로폰(32)(미도시됨)은 헤드폰 입력부(50)를 통해 또는 네트워크 인터페이스들(26) 중 하나를 통해 핸드헬드 장치(34)와 인터페이스할 수 있다.
사용자는 여러 주변음을 갖는 각종 상황에서, 음성 인식 기능 또는 전화 기능과 같은 전자 장치(10)의 음성 관련 기능을 이용할 수 있다. 도 3은 핸드헬드 장치(34)로 도시된 전자 장치(10)가 음성 관련 기능을 수행하는 동안 사용자 음성 오디오 신호(58) 및 주변음(60)을 획득할 수 있는 그러한 많은 상황(56)을 예시한다. 예를 들면, 전자 장치(10)의 음성 관련 기능은, 예를 들어, 음성 인식 기능, 음성 메모 녹음 기능, 비디오 녹화 기능, 및/또는 전화 기능을 포함할 수 있다. 음성 관련 기능은 전자 장치(10)에서 프로세서(들)(12) 및/또는 다른 프로세서에 의해 실행되는 소프트웨어로 구현될 수 있으며, 및/또는 특수 하드웨어로 구현될 수 있다.
사용자가 음성 오디오 신호(58)를 말하면, 이는 전자 장치(10)의 마이크로폰(32)에 들어갈 수 있다. 그러나, 거의 동시에, 주변음(60) 역시 마이크로폰(32)에 들어갈 수 있다. 주변음(60)은 전자 장치(10)가 사용 중인 상황(56)에 따라 다를 수 있다. 음성 관련 기능이 이용될 수 있는 각종 상황(56)은 무엇보다도 가정(62)에서, 사무실(64)에서, 체육관(66)에서, 복잡한 거리(68)에서, 자동차(70)에서, 스포츠 경기(72)에서, 식당(74)에서, 그리고 파티(76)에서와 같은 상황을 포함할 수 있다. 인식하여야 하는 바와 같이, 복잡한 거리(68)에서 발생하는 일반적인 주변음(60)은 가정(62)에서 또는 자동차(70)에서 발생하는 일반적인 주변음(60)과는 크게 다를 수 있다.
주변음(60)의 특성은 상황(56)마다 다를 수 있다. 이하에서 더욱 상세히 설명되는 바와 같이, 전자 장치(10)는 적어도 부분적으로 사용자 특정 잡음 억제 파라미터에 기초하여 잡음 억제(20)를 수행하여 주변음(60)을 필터링할 수 있다. 몇몇 실시예에서, 이러한 사용자 특정 잡음 억제 파라미터는 음성 훈련을 통해서 결정될 수 있으며, 여기서 여러 다른 잡음 억제 파라미터들이 사용자 음성 샘플 및 여러 디스트랙터(시뮬레이트된 주변음)를 포함하는 오디오 신호에 대해 테스트될 수 있다. 음성 훈련에 이용되는 디스트랙터는 소정 상황(56)에서 볼 수 있는 주변음(60)을 모방(mimic)하도록 선택될 수 있다. 또한, 각각의 상황(56)은 변하는 전자 장치(10)의 움직임 양 및 주변 광량의 변화에 따라, 및/또는 음성 신호(58) 및 주변음(60)의 여러 음량 레벨에 따라, 소정의 위치 및 시간에 일어날 수 있다. 따라서, 전자 장치(10)는, 예를 들어, 시간, 위치, 움직임, 주변 광, 및/또는 음량 레벨에 따라 결정되는 바와 같이, 소정 상황(56)에 맞추어진 사용자 특정 잡음 억제 파라미터를 이용하여 주변음(60)을 필터링할 수 있다.
도 4는 전자 장치(10)의 음량 관련 기능이 이용 중일 때 전자 장치(10)에 대해 잡음 억제(20)를 수행하는 기술(80)의 개략적인 블록도이다. 도 4의 기술(80)에서, 음성 관련 기능은 사용자와 다른 사람 간의 양방향 통신을 수반하며 전자 장치(10)의 전화 또는 채팅 기능이 이용 중일 때 수행될 수 있다. 그러나, 전자 장치(10)가 양방향 통신이 수행되지 않을 때 전자 장치의 마이크로폰(32) 또는 네트워크 인터페이스(26)를 통해 수신되는 오디오 신호에 대해서도 잡음 억제(20)를 수행할 수 있음을 인식하여야 한다.
잡음 억제 기술(80)에서, 전자 장치(10)의 마이크로폰(32)은 사용자 음성 신호(58) 및 배경에 존재하는 주변음(60)을 획득할 수 있다. 이와 같은 제1 오디오 신호는 코덱(codec)(82)에 의해 인코드된 후에 잡음 억제(20)를 시작할 수 있다. 잡음 억제(20)에서, 송신 잡음 억제(TX NS)(84)가 제1 오디오 신호에 적용될 수 있다. 잡음 억제(20)가 수행되는 방식은, 예를 들어, 프로세서(들)(12), 메모리(14), 또는 비휘발성 저장 장치(16)에 의해 제공되는 소정의 잡음 억제 파라미터(송신 잡음 억제(TX NS) 파라미터(86))로서 예시됨)에 의해 규정될 수 있다. 이하에서 더욱 상세히 설명되는 바와 같이, TX NS 파라미터(86)는 프로세서(들)(12)에 의해 결정되며 전자 장치(10)의 사용자 및/또는 상황(56)에 맞추어진 사용자 특정 잡음 억제 파라미터일 수 있다. 참조 부호 84에서 잡음 억제(20)를 수행한 후에, 결과적인 신호는 네트워크 인터페이스(26)를 통해 업링크(88)로 전달될 수 있다.
네트워크 인터페이스(26)의 다운링크(90)는 다른 장치(예컨대, 다른 전화기)로부터 음성 신호를 수신할 수 있다. 소정의 잡음 수신기 잡음 억제(RX NS)(92)는 잡음 억제(20)에서 이러한 인입(incoming) 신호에 적용될 수 있다. 이러한 잡음 억제(20)가 수행되는 방식은, 예를 들어, 프로세서(들)(12), 메모리(14), 또는 비휘발성 저장 장치(16)에 의해 제공되는 소정의 잡음 억제 파라미터(수신 잡음 억제(RX NS) 파라미터(94)로서 예시됨)에 의해 규정될 수 있다. 인입 오디오 신호는 미리 잡음 억제를 위해 처리된 후에 송신 장치를 떠나기 때문에, RX NS 파라미터(94)는 TX NS 파라미터(86)보다 덜 강한 것으로 선택될 수 있다. 결과적인 잡음 억제된 신호는 코덱(82)에 의해 디코드되어 전자 장치(10)의 수신기 회로 및/또는 스피커(48)로 출력될 수 있다.
TX NS 파라미터(86) 및/또는 RX NS 파라미터(94)는 전자 장치(10)의 사용자에게 특정적일 수 있다. 즉, 도 5의 도면(100)에 도시된 바와 같이, TX NS 파라미터(86) 및 RX NS 파라미터(94)는 전자 장치(10)의 사용자에게 맞추어진 사용자 특정 잡음 억제 파라미터(102)로부터 선택될 수 있다. 이러한 사용자 특정 잡음 억제 파라미터(102)는 이하에서 더욱 상세히 설명하는 바와 같이 사용자 음성 프로파일(106)에 기초하고, 및/또는 사용자 선택가능한 설정(108)에 기초하여, 음성 훈련(104)을 통하는 것과 같은 여러 방식으로 얻을 수 있다.
음성 훈련(104)은 전자 장치(10)가 여러 디스트랙터 또는 시뮬레이트된 배경 잡음과 결합된 여러 잡음 억제 파라미터를 테스트함으로써 사용자 특정 잡음 억제 파라미터(102)를 결정하게 해줄 수 있다. 이러한 음성 훈련(104)을 수행하기 위한 특정 실시예가 도 7 내지 도 14를 참조하여 이하에서 더욱 상세히 설명된다. 추가로 또는 대안으로, 도 15 내지 도 17을 참조하여 이하에서 더욱 상세히 설명되는 바와 같이, 전자 장치(10)는 사용자 음성의 특정 특성을 고려할 수 있는 사용자 음성 프로파일(106)에 기초하여 사용자 특정 잡음 억제 파라미터(102)를 결정할 수 있다. 추가로 또는 대안으로, 도 18 및 19를 참조하여 이하에서 더욱 상세히 설명되는 바와 같이, 사용자는 소정의 사용자 설정(108)을 통해 사용자 특정 잡음 억제 파라미터(102)의 선호도를 표시할 수 있다. 이러한 사용자 선택가능한 설정은, 예를 들어, 잡음 억제 강도(예를 들어, 저/중/고) 선택기 및/또는 사용자의 실시간 음성 품질과 관련되는 사용자 피드백을 제공하는 실시간 사용자 피드백 선택기를 포함할 수 있다.
일반적으로, 전자 장치(10)는 전자 장치의 음성 관련 기능이 이용 중일 때 사용자 특정 잡음 억제 파라미터(102)를 이용할 수 있다(예를 들어, TX NS 파라미터(86) 및 RX NS 파라미터(94)는 사용자 특정 잡음 억제 파라미터(102)에 기초하여 선택될 수 있다). 특정 실시예에서, 전자 장치(10)는 현재 음성 관련 기능을 이용하는 사용자의 식별(identification)에 기초하여 잡음 억제(20) 동안 소정의 사용자 특정 잡음 억제 파라미터(102)를 적용할 수 있다. 이러한 상황은, 예를 들어, 전자 장치(10)가 다른 가족 구성원에 의해 이용될 때 일어날 수 있다. 가족의 각 구성원은 전자 장치(10)의 음성 관련 기능을 종종 이용할 수 있는 사용자를 나타낼 수 있다. 이러한 다중 사용자 조건 하에서, 전자 장치(10)는 그 사용자와 연관된 사용자 특정 잡음 억제 파라미터(102)가 존재하는지 여부를 확인할 수 있다.
예를 들어, 도 6은 사용자가 식별되었을 때 소정의 사용자 특정 잡음 억제 파라미터(102)를 적용하기 위한 흐름도(110)를 도시한다. 흐름도(110)는 사용자가 전자 장치(10)의 음성 관련 기능을 이용하고 있을 때 시작할 수 있다(블록 112). 음성 관련 기능을 실행할 때, 전자 장치(10)는 사용자 음성 신호(58) 및 주변음(60)을 포함하는 오디오 신호를 수신할 수 있다. 그 오디오 신호로부터, 전자 장치(10)는 일반적으로 사용자 음성의 소정의 특성을 결정하고 및/또는 사용자 음성 신호(58)로부터 사용자 음성 프로파일을 식별할 수 있다(블록 114). 후술하는 바와 같이, 사용자 음성 프로파일은 사용자의 음성과 연관된 소정의 특성을 식별하는 정보를 나타낼 수 있다.
만일 블록(114)에서 검출된 음성 프로파일이 사용자 특정 잡음 억제 파라미터(102)와 연관된 어떤 알려진 사용자와 일치하지 않으면(블록 116), 전자 장치(10)는 잡음 억제(20)를 위해 소정의 디폴트(default) 잡음 억제 파라미터를 적용할 수 있다(블록 118). 그러나, 만일 블록(114)에서 검출된 음성 프로파일이 전자 장치(10)의 알려진 사용자와 일치하고, 전자 장치(10)가 그 사용자와 연관된 사용자 특정 잡음 억제 파라미터(102)를 현재 저장하고 있으면, 전자 장치(10)는 대신에 연관된 사용자 특정 잡음 억제 파라미터(102)를 적용할 수 있다(블록 120).
전술한 바와 같이, 사용자 특정 잡음 억제 파라미터(102)는 음성 훈련 시퀀스(104)에 기초하여 결정될 수 있다. 도 7에 도시된 바와 같이, 이러한 음성 훈련 시퀀스(104)의 시작은 핸드헬드 장치(34)와 같은 전자 장치(10)의 실시예의 활성화 단계(130) 동안 사용자에게 옵션으로 제시될 수 있다. 일반적으로, 이러한 활성화 단계(130)는 핸드헬드 장치(34)가 먼저 셀룰러 네트워크에 가입하거나 또는 먼저 통신 케이블(134)을 통해 컴퓨터 또는 다른 전자 장치(132)에 연결할 때 수행될 수 있다. 이러한 활성화 단계(130) 동안, 핸드헬드 장치(34) 또는 컴퓨터 또는 다른 장치(132)는 음성 훈련을 시작하도록 프롬프트(prompt)(136)를 제공할 수 있다. 프롬프트의 선택시, 사용자는 음성 훈련(104)을 시작할 수 있다.
추가로 또는 대안으로, 음성 훈련 시퀀스(104)는 전자 장치(10)가 음성 훈련 모드에 진입하도록 하는 전자 장치(10)의 설정을 사용자가 선택할 때 시작할 수 있다. 도 8에 도시된 바와 같이, 핸드헬드 장치(34)의 홈 화면(140)은 선택시 핸드헬드 장치(34)가 설정 화면(144)을 표시하도록 하는 사용자 선택가능한 버튼(142)을 포함할 수 있다. 사용자가 설정 화면(144) 상에서 "전화"라고 표시된 사용자 선택가능한 버튼(146)을 선택하면, 핸드헬드 장치(34)는 전화 설정 화면(148)을 표시할 수 있다. 전화 설정 화면(148)은 무엇보다도 "음성 훈련"이라고 표시된 사용자 선택가능한 버튼(150)을 포함할 수 있다. 사용자가 음성 훈련 버튼(150)을 선택하면, 음성 훈련(104) 시퀀스가 시작할 수 있다.
도 9의 흐름도(160)는 음성 훈련(104)을 수행하기 위한 방법의 일 실시예를 나타낸다. 흐름도(160)는 전자 장치(10)가 소정의 디스트랙터(예를 들어, 시뮬레이트된 주변음)가 배경으로 재생(play)하는 동안 사용자가 말하도록 프롬프트할 때 시작할 수 있다(블록 162). 예를 들어, 사용자는 락 음악, 사람들 이야기 소리, 종이 구김 소리 등과 같은 소정의 디스트랙터가 컴퓨터 또는 다른 전자 장치(132)에서 또는 전자 장치(10)의 스피커(48)에서 크게 재생하는 동안 소정의 단어(word) 또는 문구(phrase)를 말하도록 요청받을 수 있다. 이러한 디스트랙터가 재생하고 있는 동안, 전자 장치(10)는 사용자 음성의 샘플을 녹음할 수 있다(블록 164). 몇몇 실시예에서, 블록(162 및 164)은 여러 디스트랙터가 재생되는 동안 반복하여 사용자의 음성 및 하나 이상의 디스트랙터 둘 다를 포함하는 여러 테스트 오디오 신호를 획득할 수 있다.
사용자가 어느 잡음 억제 파라미터를 가장 선호하는지를 결정하기 위해서, 전자 장치(10)는 잡음 억제(20)가 테스트 오디오 신호에 적용되는 동안 소정의 테스트 잡음 억제 파라미터를 교대로 적용한 후에 사용자로부터의 피드백을 요청할 수 있다. 예를 들어, 전자 장치(10)는 본 명세서에서 "A"로 표시된 제1 세트의 테스트 잡음 억제 파라미터를 사용자의 음성 샘플 및 하나 이상의 디스트랙터를 포함하는 테스트 오디오 신호에 적용한 후에, 그 오디오를 스피커(48)를 통해 사용자에게 출력할 수 있다(블록 166). 다음에, 전자 장치(10)는 본 명세서에서 "B"로 표시된 다른 세트의 테스트 잡음 억제 파라미터를 사용자의 음성 샘플에 적용한 후에 그 오디오를 스피커(48)를 통해 사용자에게 출력할 수 있다(블록 168). 다음에, 사용자는 (예를 들어, 전자 장치(10)의 디스플레이(18) 상에 "A" 또는 "B"를 선택함으로써) 전자 장치(10)에 의해 출력되는 두 오디오 신호 중 어느 것을 사용자가 선호하는지를 결정할 수 있다(블록 170).
전자 장치(10)는 블록(166-170)의 동작을 여러 테스트 잡음 억제 파라미터 및 여러 디스트랙터를 이용하여 반복하여, 적절한 세트의 사용자 잡음 억제 선호 데이터가 얻어질 때까지 매번 사용자의 잡음 억제 선호도에 대해 더 많이 학습한다(판단 블록 172). 따라서, 전자 장치(10)는 사용자의 음성뿐만 아니라 소정의 일반적인 주변음을 포함하는 오디오 신호에 실제로 적용되는 여러 잡음 억제 파라미터의 바람직성(desirability)을 테스트할 수 있다. 몇몇 실시예에서, 블록(166-170)의 각 반복으로, 전자 장치(10)는 사용자의 잡음 억제 선호도가 정해질 때까지 소정의 잡음 억제 파라미터를 점차적으로 변경하여(예를 들어, 잡음 억제 강도를 점차적으로 증가 또는 감소시켜) 테스트 잡음 억제 파라미터를 "조정"할 수 있다. 다른 실시예에서, 전자 장치(10)는 블록(166-170)의 각 반복마다 다른 유형의 잡음 억제 파라미터(예를 들어, 한번 반복에서 잡음 억제 강도, 다른 반복에서 소정 주파수의 잡음 억제 등)를 테스트할 수 있다. 어느 경우에서든지, 블록(166-170)은 원하는 횟수의 사용자 선호도가 얻어질 때까지 반복될 수 있다(판단 블록 172).
블록(들)(170)에서 얻은 표시된 사용자 선호도에 기초하여, 전자 장치(10)는 사용자 특정 잡음 억제 파라미터(102)를 생성할 수 있다(블록 174). 예를 들면, 전자 장치(10)는 블록(들)(170)의 사용자 피드백에 기초하여, 블록(166-170)의 반복이 정해졌을 때 선호하는 세트의 사용자 특정 잡음 억제 파라미터(102)에 도달할 수 있다. 다른 예에서, 만일 블록(166-170)의 반복이 각각 특정 세트의 잡음 억제 파라미터를 테스트한다면, 전자 장치(10)는 특정 파라미터에 대한 표시된 선호도에 기초하여 종합 세트의 사용자 특정 잡음 억제 파라미터를 생성할 수 있다. 사용자 특정 잡음 억제 파라미터(102)는 동일한 사용자가 나중에 전자 장치(10)의 음성 관련 기능을 이용할 때 잡음 억제를 위해 전자 장치(10)의 메모리(14) 또는 비휘발성 저장 장치(16)에 저장될 수 있다(블록 176).
도 10 내지 도 13은 전자 장치(10)가 도 9의 흐름도(160)를 실행할 수 있는 구체적인 방식과 관련된다. 특히, 도 10 및 도 11은 도 9의 흐름도(160)의 블록(162 및 164)과 관련되고, 도 12 및 도 13a 및 도 13b는 블록(166-172)과 관련된다. 도 10을 참조하면, 이중(dual) 장치 음성 녹음 시스템(180)은 컴퓨터 또는 다른 전자 장치(132) 및 핸드헬드 장치(34)를 포함한다. 몇몇 실시예에서, 핸드헬드 장치(34)는 통신 케이블(134)을 통해 또는 무선 통신(예를 들어, 802.11x Wi-Fi WLAN 또는 블루투스 PAN)을 통해 컴퓨터 또는 다른 전자 장치(132)에 연결될 수 있다. 시스템(180)의 동작 동안, 컴퓨터 또는 다른 전자 장치(132)는 여러 디스트랙터들(182) 중 하나 이상이 배경으로 재생하는 동안 사용자가 단어 또는 문구를 말하도록 프롬프트할 수 있다. 이러한 디스트랙터(182)는, 예를 들어, 종이 구김 소리(184), 사람들 이야기 소리(186), 백색 소음(188), 락 음악(190), 및/또는 도로 소음(192)을 포함할 수 있다. 디스트랙터(182)는 추가로 또는 대안으로, 예를 들어, 도 3을 참조하여 전술한 바와 같은 여러 상황(56)에서 일반적으로 발생되는 다른 잡음을 포함할 수 있다. 컴퓨터 또는 다른 전자 장치(132)에서 크게 재생하는 이러한 디스트랙터(182)는 사용자가 사용자 음성 샘플(194)을 제공하는 동시에 핸드헬드 장치(34)의 마이크로폰(32)에 의해 픽업될 수 있다. 이러한 방식으로, 핸드헬드 장치(34)는 디스트랙터(182) 및 사용자 음성 샘플(194) 둘 다를 포함하는 테스트 오디오 신호를 획득할 수 있다.
도 11의 단일 장치의 음성 녹음 시스템(200)으로 나타내는 다른 실시예에서, 핸드헬드 장치(34)는 디스트랙터(들)(182)를 출력하고 동시에 사용자 음성 샘플(194)을 녹음할 수 있다. 도 11에 도시된 바와 같이, 핸드헬드 장치(34)는 사용자 음성 샘플(194)을 위해 사용자가 단어 또는 문구를 말하도록 프롬프트할 수 있다. 동시에, 핸드헬드 장치(34)의 스피커(48)는 하나 이상의 디스트랙터(182)를 출력할 수 있다. 그러면, 핸드헬드 장치(34)의 마이크로폰(32)은 컴퓨터 또는 다른 전자 장치(132) 없이 현재 재생하는 디스트랙터(182) 및 사용자 음성 샘플(194) 둘 다를 포함하는 테스트 오디오 신호를 녹음할 수 있다.
블록(166-170)에 대응하여, 도 12는 테스트 오디오 신호에 적용된 잡음 억제 파라미터의 선택에 기초하여 사용자의 잡음 억제 선호도를 결정하기 위한 실시예를 예시한다. 특히, 본 명세서에서 핸드헬드 장치(34)로 나타낸 전자 장치(10)는 사용자 음성 샘플(194) 및 적어도 하나의 디스트랙터(182) 둘 다를 포함하는 테스트 오디오 신호에 제1 세트의 잡음 억제 파라미터("A")를 적용할 수 있다. 핸드헬드 장치(34)는 결과적인 잡음 억제된 오디오 신호를 출력할 수 있다(참조 부호 212). 핸드헬드 장치(34)는 또한 제2 세트의 잡음 억제 파라미터("B")를 테스트 오디오 신호에 적용한 다음 결과적인 잡음 억제된 오디오 신호를 출력할 수 있다(참조 부호 214).
사용자가 두 세트의 잡음 억제 파라미터 "A" 및 "B"를 테스트 오디오 신호에 적용한 결과를 들었을 때, 핸드헬드 장치(34)는 사용자에게, 예를 들어, "A 또는 B 중 어느 것을 선호하세요?"라고 물어볼 수 있다(참조 부호 216). 그러면, 사용자는 출력된 잡음 억제된 신호에 기초하여 잡음 억제 선호도를 표시할 수 있다. 예를 들어, 사용자는 핸드헬드 장치(34)의 화면(218)을 통해 제1 잡음 억제된 오디오 신호("A") 또는 제2 잡음 억제된 오디오 신호("B")를 선택할 수 있다. 몇몇 실시예에서, 사용자는 "A" 또는 "B"를 큰 소리로 말하는 것과 같이, 다른 방식으로 선호도를 표시할 수 있다.
전자 장치(10)는 다양한 방식으로 특정 잡음 억제 파라미터에 대한 사용자 선호도를 결정할 수 있다. 도 13의 흐름도(220)는 도 9의 흐름도(160)의 블록(166-172)을 수행하기 위한 방법의 일 실시예를 나타낸다. 흐름도(220)는 전자 장치(10)가 예시 목적상 "A" 및 "B"로 표시된 한 세트의 잡음 억제 파라미터를 적용할 때 시작할 수 있다. 만일 사용자가 잡음 억제 파라미터 "A"를 선호하면(판단 블록 224), 다음으로 전자 장치(10)는 마찬가지로 설명 목적상 "C" 및 "D"로 표시된 새로운 세트의 잡음 억제 파라미터를 적용할 수 있다(블록 226). 특정 실시예에서, 잡음 억제 파라미터들 "C" 및 "D"는 잡음 억제 파라미터 "A"의 변형일 수 있다. 만일 사용자가 잡음 억제 파라미터 "C"를 선호하면(판단 블록 228), 전자 장치는 잡음 억제 파라미터를 "A" 및 "B"의 조합으로 설정할 수 있다(블록 230). 만일 사용자가 잡음 억제 파라미터 "D"를 선호하면(판단 블록 228), 전자 장치는 사용자 특정 잡음 억제 파라미터를 잡음 억제 파라미터들 "A" 및 "D"의 조합으로 설정할 수 있다(블록 232).
만일 블록(222) 후에 사용자가 잡음 억제 파라미터 "B"를 선호하면(판단 블록 224), 전자 장치(10)는 새로운 잡음 억제 파라미터들 "C" 및 "D"를 적용할 수 있다(블록 234). 특정 실시예에서, 새로운 잡음 억제 파라미터들 "C" 및 "D"는 잡음 억제 파라미터 "B"의 변형일 수 있다. 만일 사용자가 잡음 억제 파라미터 "C"를 선호하면(판단 블록 236), 전자 장치(10)는 사용자 특정 잡음 억제 파라미터를 "B" 및 "C"의 조합으로 설정할 수 있다(블록 238). 그렇지 않고, 만일 사용자가 잡음 억제 파라미터 "D"를 선호하면(판단 블록 236), 전자 장치(10)는 사용자 특정 잡음 억제 파라미터를 "B" 및 "D"의 조합으로 설정할 수 있다(블록 240). 인식하여야 하는 바와 같이, 흐름도(220)는 단지 도 9의 흐름도(160)의 블록(166-172)을 수행하는 단지 한가지 방식으로서 제시된다. 따라서, 더 많은 잡음 억제 파라미터들이 테스트될 수 있고, 이러한 파라미터들이 소정의 디스트랙터와 함께 구체적으로 테스트될 수 있다는 것을 이해하여야 한다(예를 들어, 특정 실시예에서, 흐름도(220)는 각각의 디스트랙터들(182)을 각각 포함하는 테스트 오디오 신호들에 대해 반복할 수 있다).
음성 훈련 시퀀스(104)는 다른 방식으로 수행될 수 있다. 예를 들어, 도 14의 흐름도(250)로 나타낸 일 실시예에서, 사용자 음성 샘플(194)은 먼저 어떤 디스트랙터(182)도 배경으로 재생하지 않고 얻을 수 있다(블록 252). 일반적으로, 이러한 사용자 음성 샘플(194)은 조용한 방과 같이 주변음(60)이 매우 적은 위치에서 얻을 수 있으므로, 사용자 음성 샘플(194)은 비교적 높은 신호 대 잡음비(SNR)를 갖는다. 그 후, 전자 장치(10)는 사용자 음성 샘플(194)을 여러 디스트랙터(182)와 전자적으로 혼합할 수 있다(블록 254). 따라서, 전자 장치(10)는 단일 사용자 음성 샘플(194)을 이용하여 여러 디스트랙터(182)를 갖는 하나 이상의 테스트 오디오 신호를 만들어 낼 수 있다.
그 후, 전자 장치(10)는 사용자 특정 잡음 억제 파라미터(102)를 결정하기 위해 어느 잡음 억제 파라미터를 사용자가 가장 선호하는지를 결정할 수 있다. 도 9의 블록(166-170)과 유사한 방식으로, 전자 장치(10)는 사용자 선호도를 판단하기 위해 블록(254)에서 얻은 테스트 오디오 신호에 소정의 테스트 잡음 억제 파라미터들을 교대로 적용할 수 있다(블록 256-260). 전자 장치(10)는 여러 테스트 잡음 억제 파라미터 및 여러 디스트랙터를 이용하여 블록(256-260)의 동작을 반복하여, 적절한 세트의 사용자 잡음 억제 선호 데이터가 얻어질 때까지(판단 블록 262) 매번 사용자의 잡음 억제 선호도에 대해 더 많이 학습하게 된다. 따라서, 전자 장치(10)는 사용자의 음성뿐만 아니라 소정의 일반적인 주변음을 포함하는 테스트 오디오 신호에 적용되는 여러 잡음 억제 파라미터의 바람직성을 테스트할 수 있다.
도 9의 블록(174)과 같이, 전자 장치(10)는 사용자 특정 잡음 억제 파라미터(102)를 생성할 수 있다(블록 264). 사용자 특정 잡음 억제 파라미터(102)는 동일한 사용자가 나중에 전자 장치(10)의 음성 관련 기능을 이용할 때 잡음 억제를 위해 전자 장치(10)의 메모리(14) 또는 비휘발성 저장 장치(16)에 저장될 수 있다(블록 266).
전술한 바와 같이, 본 발명의 특정 실시예는 배경으로 크게 재생하는 디스트랙터(182)가 없는 사용자 음성 샘플(194)을 획득하는 것을 수반할 수 있다. 몇몇 실시예에서, 전자 장치(10)는 처음에, 사용자가 사용자를 방해하지 않는 조용한 설정에서 전자 장치(10)의 음성 관련 기능을 이용하는 사용자 음성 샘플(194)을 획득할 수 있다. 도 15의 흐름도(270)에 나타낸 바와 같이, 몇몇 실시예에서, 전자 장치(10)는 전자 장치(10)가 처음에 사용자의 음성을 포함하는 오디오의 충분히 높은 신호 대 잡음비(SNR)를 검출할 때 그러한 사용자 음성 샘플(194)을 획득할 수 있다.
도 15의 흐름도(270)는 사용자가 전자 장치(10)의 음성 관련 기능을 이용하고 있을 때 시작할 수 있다(블록 272). 사용자의 신원을 확인하기 위해, 전자 장치(10)는 마이크로폰(32)에 의해 검출된 오디오 신호에 기초하여 사용자의 음성 프로파일을 검출할 수 있다(블록 274). 만일 블록(274)에서 검출된 음성 프로파일이 전자 장치의 알려진 사용자의 음성의 음성 프로파일을 나타낸다면(판단 블록 276), 전자 장치(10)는 그 사용자와 연관된 사용자 특정 잡음 억제 파라미터(102)를 적용할 수 있다(블록 278). 만일 사용자의 신원이 알려지지 않았다면(판단 블록 276), 전자 장치(10)는 처음에 디폴트 잡음 억제 파라미터를 적용할 수 있다(블록 280).
전자 장치(10)는 음성 관련 기능이 이용되는 동안 마이크로폰(32)에 의해 수신된 오디오 신호의 현재 신호 대 잡음비(SNR)를 평가할 수 있다(블록 282). 만일 SNR이 충분히 높으면(예를 들어, 미리 정한 임계값 초과), 전자 장치(10)는 마이크로폰(32)에 의해 수신된 오디오로부터 사용자 음성 샘플(194)을 획득할 수 있다(블록 286). 만일 SNR이 충분히 높지 않다면(예를 들어, 임계값 미만)(판단 블록 284), 전자 장치(10)는 디폴트 잡음 억제 파라미터를 계속해서 적용하여(블록 280), 적어도 주기적으로 계속해서 SNR을 재평가할 수 있다. 이러한 방식으로 획득한 사용자 음성 샘플(194)은 도 14를 참조하여 전술한 바와 같이 음성 훈련 시퀀스(104)에서 나중에 이용될 수 있다. 다른 실시예에서, 전자 장치(10)는 이러한 사용자 음성 샘플(194)을 이용하여 사용자 음성 샘플(194) 그 자체에 기초하여 사용자 특정 잡음 억제 파라미터(102)를 결정할 수 있다.
구체적으로, 음성 훈련 시퀀스(104) 외에, 사용자 음성 샘플(194)과 연관된 소정의 특성에 기초하여 사용자 특정 잡음 억제 파라미터(102)가 결정될 수 있다. 예를 들어, 도 16은 이러한 사용자 음성 특성에 기초하여 사용자 특정 잡음 억제 파라미터(102)를 결정하기 위한 흐름도(290)를 나타낸다. 흐름도(290)는 전자 장치(10)가 사용자 음성 샘플(194)을 획득할 때 시작할 수 있다(블록 292). 사용자 음성 샘플은, 예를 들어, 도 15의 흐름도(270)에 따라서 얻어질 수 있거나, 또는 전자 장치(10)는 사용자가 특정 단어 또는 문구를 말하도록 프롬프트할 때 얻어질 수 있다. 다음에, 전자 장치는 사용자 음성 샘플과 연관된 소정의 특성을 분석할 수 있다(블록 294).
사용자 음성 샘플(194)과 연관된 여러 특성에 기초하여, 전자 장치(10)는 사용자 특정 잡음 억제 파라미터(102)를 결정할 수 있다(블록 296). 예를 들어, 도 17의 음성 특징도(300)에 나타낸 바와 같이, 사용자 음성 샘플(194)은 여러 음성 샘플 특성(302)을 포함할 수 있다. 이러한 특성(302)은 무엇보다도 사용자 음성 샘플(194)의 평균 주파수(304), 사용자 음성 샘플(194)의 주파수 변동성(306), 사용자 음성 샘플(194)과 연관된 일반적인 언어음(speech sound)(308), 사용자 음성 샘플(194)의 주파수 범위(310), 사용자 음성 샘플의 주파수의 포먼트(formant) 위치(312), 및/또는 사용자 음성 샘플(194)의 동적 범위(314)를 포함할 수 있다. 이러한 특징들은 여러 사용자가 여러 음성 패턴(speech patterns)을 가질 수 있기 때문에 발생할 수 있다. 즉, 사용자 음성의 고음 또는 저음, 사용자가 말할 때 악센트, 및/또는 혀짧은 소리(lisp) 등은 이들이 특징(302)과 같은 측정 가능한 음성의 특성을 변경할 정도로 고려될 수 있다.
전술한 바와 같이, 사용자 특정 잡음 억제 파라미터(102)는 또한 사용자 설정(108)의 직접적인 선택에 의해 결정될 수 있다. 그러한 한가지 예가 핸드헬드 장치(32)의 사용자 설정 화면 시퀀스(320)로서 도 18에 나타나 있다. 화면 시퀀스(320)는 전자 장치(10)가 설정 버튼(142)을 포함하는 홈 화면(140)을 표시할 때 시작할 수 있다. 설정 버튼(142)을 선택하면 핸드헬드 장치(34)는 설정 화면(144)을 표시할 수 있다. 설정 화면(144) 상에서 "전화"라고 표시된 사용자 선택가능한 버튼(146)을 선택하면 핸드헬드 장치(34)는 전화 설정 화면(148)을 표시할 수 있고, 이는 여러 사용자 선택가능한 버튼들을 포함할 수 있으며, 그 중 하나는 "잡음 억제"라고 표시된 사용자 선택가능한 버튼(322)일 수 있다.
사용자가 사용자 선택가능한 버튼(322)을 선택하면, 핸드헬드 장치(34)는 잡음 억제 선택 화면(324)을 표시할 수 있다. 잡음 억제 선택 화면(324)을 통해, 사용자는 잡음 억제 강도를 선택할 수 있다. 예를 들어, 사용자는 선택 휠(326)을 통해 잡음 억제가 고, 중, 또는 저 강도이어야 하는지를 선택할 수 있다. 고 잡음 억제 강도를 선택하면 결과적으로 수신된 오디오 신호에서 주변음(60)을 더 많이 억제하지만, 아마도 사용자의 음성(58)도 더 많이 억제하는 사용자 특정 잡음 억제 파라미터(102)를 얻을 수 있다. 저 잡음 억제 강도를 선택하면 주변음(60)을 더 많이 허용하지만, 사용자의 음성(58) 역시 수신된 오디오 신호에 더 많이 남게 하는 사용자 특정 잡음 억제 파라미터(102)를 얻을 수 있다.
다른 실시예에서, 사용자는 전자 장치(10)의 음성 관련 기능을 이용하는 동안 사용자 특정 잡음 억제 파라미터(102)를 실시간으로 조정할 수 있다. 예를 들면, 핸드헬드 장치(34)에 표시될 수 있는 도 19의 진행 중인 통화(call-in-process) 화면(330)에서 보는 바와 같이, 사용자는 음성 전화 통화 품질 피드백 척도(332)를 제공할 수 있다. 특정 실시예에서, 피드백은 통화 품질을 표시하는 선택가능한 별(stars)(334)의 개수로 나타낼 수 있다. 만일 사용자에 의해 선택된 별(334)의 개수가 많으면, 사용자는 현재 사용자 특정 잡음 억제 파라미터(102)에 만족하고, 그래서 전자 장치(10)는 잡음 억제 파라미터를 변경할 수 없다고 이해될 수 있다. 반면에, 만일 선택된 별(334)의 개수가 적으면, 전자 장치(10)는 별(334)의 개수가 증가되어 사용자 만족을 표시할 때까지 사용자 특정 잡음 억제 파라미터(102)를 변경할 수 있다. 추가로 또는 대안으로, 진행 중인 통화 화면(330)은 도 18을 참조하여 전술한 바와 같이, 실시간 사용자 선택가능한 잡음 억제 강도 설정을 포함할 수 있다.
특정 실시예에서, 서브 세트의 사용자 특정 잡음 억제 파라미터(102)는 소정의 디스트랙터(182) 및/또는 소정의 상황(60)과 연관된 것으로 결정될 수 있다. 도 20의 파라미터 도면(340)에 예시된 바와 같이, 사용자 특정 잡음 억제 파라미터들(102)은 특정 디스트랙터(182)에 기초하여 서브 세트들로 분할될 수 있다. 예를 들어, 사용자 특정 잡음 억제 파라미터들(102)은 디스트랙터 특정 파라미터들(344-352)을 포함할 수 있으며, 이들은 사용자의 음성(58)도 포함하는 오디오 신호로부터 디스트랙터(182)와 연관된 소정의 주변음(60)을 필터링하도록 선택된 잡음 억제 파라미터들을 나타낼 수 있다. 사용자 특정 잡음 억제 파라미터(102)는 다소간의 디스트랙터 특정 파라미터를 포함할 수 있다는 것을 이해하여야 한다. 예를 들어, 만일 여러 디스트랙터(182)가 음성 훈련(104) 동안 테스트된다면, 사용자 특정 잡음 억제 파라미터(102)는 여러 디스트랙터 특정 파라미터를 포함할 수 있다.
디스트랙터 특정 파라미터(344-352)는 사용자 특정 잡음 억제 파라미터(102)가 결정될 때 결정될 수 있다. 예를 들어, 음성 훈련(104) 동안, 전자 장치(10)는 여러 디스트랙터(182)를 포함하는 테스트 오디오 신호를 이용하여 다수의 잡음 억제 파라미터를 테스트할 수 있다. 각 디스트랙터(182)에 대한 잡음 억제와 관련한 사용자의 선호도에 따라, 전자 장치는 디스트랙터 특정 파라미터(344-352)를 결정할 수 있다. 예를 들면, 전자 장치는 종이 구김 소리 디스트랙터(184)를 포함하는 테스트 오디오 신호에 기초하여 종이 구김 소리에 대한 파라미터(344)를 결정할 수 있다. 후술하는 바와 같이, 파라미터 도면(340)의 디스트랙터 특정 파라미터는 나중에 전자 장치(10)가 소정의 주변음(60)의 존재시 및/또는 소정의 상황(56)에서 사용될 때와 같은 특정한 경우에 재호출될 수 있다.
추가로 또는 대안으로, 사용자 특정 잡음 억제 파라미터(102)의 서브 세트는 전자 장치(10)의 음성 관련 기능이 이용될 수 있는 소정의 상황(56)에 대해 규정될 수 있다. 예를 들어, 도 21에 도시된 파라미터 도면(360)에 나타낸 바와 같이, 사용자 특정 잡음 억제 파라미터(102)는 잡음 억제 파라미터가 가장 잘 사용될 수 있는 상황(56)에 기초하여 서브 세트로 분할될 수 있다. 예를 들어, 사용자 특정 잡음 억제 파라미터(102)는 특정 상황(56)과 연관될 수 있는 소정의 주변음(60)을 필터링하도록 선택된 잡음 억제 파라미터를 나타내는, 상황 특정 파라미터(364-378)를 포함할 수 있다. 사용자 특정 잡음 억제 파라미터(102)는 다소간의 상황 특정 파라미터를 포함할 수 있음을 이해하여야 한다. 예를 들어, 후술하는 바와 같이, 전자 장치(10)는 여러 상황들(56)을 식별할 수 있으며, 그 각각은 예상되는 특정 주변음(60)을 가질 수 있다. 따라서, 사용자 특정 잡음 억제 파라미터(102)는 각각의 식별가능한 상황(56)에서 잡음을 억제하는 여러 상황 특정 파라미터를 포함할 수 있다.
디스트랙터 특정 파라미터(344-352)와 같이, 상황 특정 파라미터(364-378)는 사용자 특정 잡음 억제 파라미터(102)가 결정될 때 결정될 수 있다. 일 예를 제공하기 위해, 음성 훈련(104) 동안, 전자 장치(10)는 여러 디스트랙터(182)를 포함하는 테스트 오디오 신호를 이용하여 다수의 잡음 억제 파라미터를 테스트할 수 있다. 각 디스트랙터(182)에 대한 잡음 억제와 관련한 사용자의 선호도에 따라, 전자 장치(10)는 상황 특정 파라미터(364-378)를 결정할 수 있다.
전자 장치(10)는 상황 특정 파라미터(364-378) 각각의 상황(56) 및 하나 이상의 디스트랙터(182) 간의 관계에 기초하여 상황 특정 파라미터(364-378)를 결정할 수 있다. 구체적으로, 전자 장치(10)에게 식별가능한 각각의 상황(56)은 하나 이상의 특정 디스트랙터(182)와 연관될 수 있다는 것에 주목하여야 한다. 예를 들어, 자동차(70)를 타는 상황(56)은 주로 하나의 디스트랙터(182), 즉, 도로 소음(192)과 연관될 수 있다. 따라서, 자동차를 타는 상황 특정 파라미터(376)는 도로 소음(192)을 포함한 테스트 오디오 신호와 관련한 사용자 선호도에 기초할 수 있다. 유사하게, 스포츠 경기(72)의 상황(56)은 사람들 이야기 소리(186), 백색 소음(188), 및 락 음악(190)과 같은 여러 디스트랙터(182)와 연관될 수 있다. 따라서, 스포츠 경기에 대한 상황 특정 파라미터(368)는 사람들 이야기 소리(186), 백색 소음(188), 및 락 음악(190)을 포함한 테스트 오디오 신호와 관련한 사용자 선호도들의 조합에 기초할 수 있다. 이러한 조합에는 상황(56)의 주변음(60)과 더욱 가깝게 일치할 것으로 예상되는 디스트랙터(182)를 더 비중있게 고려하기 위해 더 많은 가중치가 부여될 수 있다.
전술한 바와 같이, 사용자 특정 잡음 억제 파라미터(102)는 음성 훈련(104)이 있을 때나 없을 때에도 (예를 들어, 도 16 및 17을 참조하여 전술한 바와 같이)사용자 음성 샘플(194)의 특징에 기초하여 결정될 수 있다. 이러한 상황 하에서, 전자 장치(10)는 추가로 또는 대안으로 (예를 들어, 사용자 프롬프트 없이) 디스트랙터 특정 파라미터(344-352) 및/또는 상황 특정 파라미터(364-378)를 자동으로 결정할 수 있다. 이러한 잡음 억제 파라미터(344-352 및/또는 363-378)는 사용자 음성 샘플(194) 및 소정의 디스트랙터(182)에 적용될 때 이러한 잡음 억제 파라미터의 예상되는 성능에 기초하여 결정될 수 있다.
전자 장치(10)의 음성 관련 기능이 이용 중일 때, 전자 장치(10)는 디스트랙터 특정 파라미터(344-352) 및/또는 상황 특정 파라미터(364-378)를 이용하여 잡음 억제(20)를 사용자 및 주변음(60)의 특성 둘 다에 맞출 수가 있다. 구체적으로, 도 22는 평가된 주변음(60)의 특성에 기초하여 디스트랙터 특정 파라미터(344-352)를 선택하여 적용하기 위한 방법의 실시예를 예시한다. 도 23은 전자 장치(10)가 사용되는 식별된 상황(56)에 기초하여 상황 특정 파라미터(364-378)를 선택하여 적용하기 위한 방법의 실시예를 도시한다.
도 22를 참조하면, 디스트랙터 특정 파라미터(344-352)를 선택하여 적용하기 위한 흐름도(380)는 전자 장치(10)의 음성 관련 기능이 이용 중일 때 시작할 수 있다(블록 382). 다음에, 전자 장치(10)는 그의 마이크로폰(32)에 의해 수신된 주변음(60)의 특성을 결정할 수 있다(블록 384). 몇몇 실시예에서, 전자 장치(10)는, 예를 들어, 음량 레벨(예컨대, 사용자의 음성(58)은 일반적으로 주변음(60)보다 클 수 있다) 및/또는 주파수(예컨대, 주변음(60)은 사용자의 음성(58)과 연관된 주파수 범위 밖에서 발생할 수 있다)에 기초하여, 주변음(60)과 사용자의 음성(58) 사이를 구별할 수 있다.
주변음(60)의 특성은 디스트랙터들(182) 중 하나 이상과 유사할 수 있다. 따라서, 몇몇 실시예에서, 전자 장치(10)는 주변음(60)과 가장 가깝게 일치하는 디스트랙터 특정 파라미터들(344-352) 중 하나를 적용할 수 있다(블록 386). 식당(74)에 있는 상황(56)에서, 예를 들어, 마이크로폰(32)에 의해 검출된 주변음(60)은 사람들 이야기 소리(186)와 가장 가깝게 일치할 수 있다. 따라서, 전자 장치(10)는 그러한 주변음(60)이 검출될 때 디스트랙터 특정 파라미터(346)를 적용할 수 있다. 다른 실시예에서, 전자 장치(10)는 주변음(60)과 가장 가깝게 일치하는 디스트랙터 특정 파라미터들(344-352) 중 몇 개를 적용할 수 있다. 이들 몇 개의 디스트랙터 특정 파라미터들(344-352)에는 주변음(60)과 대응하는 디스트랙터(182)의 유사성에 기초하여 가중치가 부여될 수 있다. 예를 들어, 스포츠 경기(72)의 상황(56)에서는 주변음(60)이 사람들 이야기 소리(186), 백색 소음(188), 및 락 음악(190)과 같은 몇 개의 디스트랙터(182)와 유사할 수 있다. 이러한 주변음(60)이 검출되면, 전자 장치(10)는 주변음(60)과의 각각의 유사성에 비례하여 몇 개의 연관된 디스트랙터 특정 파라미터들(346, 348, 및/또는 350)을 적용할 수 있다.
유사한 방식으로, 전자 장치(10)는 전자 장치(10)가 사용되는 식별된 상황(56)에 기초하여 상황 특정 파라미터(364-378)를 선택하여 적용할 수 있다. 도 23을 참조하면, 그렇게 수행하기 위한 흐름도(390)는 전자 장치(10)의 음성 관련 기능이 이용 중일 때 시작할 수 있다(블록 392). 다음에, 전자 장치(10)는 전자 장치(10)가 사용 중인 현재 상황(56)을 결정할 수 있다(블록 394). 구체적으로, 전자 장치(10)는 (도 24를 참조하여 이하에서 더욱 상세히 설명되는) 여러 장치 상황 요인들(context factors)을 고려할 수 있다. 전자 장치(10)가 사용 중인 것으로 결정되는 상황(56)에 기초하여, 전자 장치(10)는 상황 특정 파라미터들(364-378) 중 연관된 하나를 적용할 수 있다(블록 396).
도 24의 장치 상황 요인 도면(400)에 도시된 바와 같이, 전자 장치(10)는 여러 장치 상황 요인들(402)을 고려하여 전자 장치(10)가 사용 중인 현재 상황(56)을 식별할 수 있다. 이러한 장치 상황 요인들(402)은 여러 실시예에서 단독으로 또는 조합하여 고려될 수 있으며, 어떤 경우에는, 장치 상황 요인들(402)에는 가중치가 부여될 수 있다. 즉, 상황(56)을 결정할 때 현재 상황(56)을 정확하게 예측할 가능성이 높은 장치 상황 요인들(402)에는 더 큰 가중치가 부여될 수 있으며, 반면에 현재 상황(56)을 정확하게 예측할 가능성이 낮은 장치 상황 요인들(402)에는 더 작은 가중치가 부여될 수 있다.
예를 들어, 장치 상황 요인들(402) 중 제1 요인(404)은 전자 장치(10)의 마이크로폰(32)에 의해 검출된 주변음(60)의 특성일 수 있다. 주변음(60)의 특성이 상황(56)과 관련 있을 수 있기 때문에, 전자 장치(10)는 적어도 부분적으로 그러한 분석에 기초하여 상황(56)을 결정할 수 있다.
장치 상황 요인들(402) 중 제2 요인(406)은 현재 날짜 또는 시간일 수 있다. 몇몇 실시예에서, 전자 장치(10)는 현재 날짜 및/또는 시간과 전자 장치(10)의 달력 기능을 비교하여 상황을 결정할 수 있다. 예를 들면, 만일 달력 기능이 사용자가 저녁 식사가 예정되어 있다고 나타내면, 제2 요인(406)에는 상황(56)이 식당(74)인 것으로 결정하는 것에 유리하게 가중치가 부여될 수 있다. 다른 예에서, 사용자는 아침 또는 늦은 오후에 출퇴근할 가능성이 있을 수 있기 때문에, 그때 제2 요인(406)에는 상황(56)이 자동차(70)인 것으로 결정하는 것에 유리하게 가중치가 부여될 수 있다.
장치 상황 요인들(402) 중 제3 요인(408)에는 위치 감지 회로(22)에 의해 결정될 수 있는 전자 장치(10)의 현재 위치일 수 있다. 제3 요인(408)을 이용하여, 전자 장치(10)는, 예를 들어, 현재 위치와 전자 장치(10)의 지도 기능에서 알려진 위치(예컨대, 식당(74) 또는 사무실(64)) 또는 전자 장치(10)가 흔히 위치하는(예컨대, 사무실(64) 또는 가정(62)을 나타낼 수 있는) 위치를 비교하여 상황(56)을 결정할 때 그의 현재 위치를 고려할 수 있다.
장치 상황 요인들(402) 중 제4 요인(410)은, 예를 들어, 전자 장치의 이미지 캡처 회로(28)를 통해 전자 장치(10) 주변에서 검출된 주변 광(ambient light)량일 수 있다. 예를 들면, 많은 양의 주변 광은 실외에 위치한 소정의 상황(56)(예컨대, 복잡한 거리(68))과 연관될 수 있다. 이러한 상황 하에서, 요소(410)에는 실외에 위치한 상황(56)에 유리하게 가중치가 부여될 수 있다. 대조적으로, 적은 양의 주변 광량은 실내(예컨대, 가정(62))에 위치한 소정의 상황(56)과 연관될 수 있으며, 여기서 요인(410)에는 이러한 실내 상황(56)에 유리하게 가중치가 부여될 수 있다.
장치 상황 요인들(402) 중 제5 요인(412)은 전자 장치(10)의 검출된 움직임일 수 있다. 이러한 움직임은 가속도계 및/또는 자력계(30)에 기초하여 및/또는 위치 감지 회로(22)에 의해 결정된 시간의 경과에 따른 위치 변화에 기초하여 검출될 수 있다. 움직임은 여러 방식으로 주어진 상황(56)을 제시할 수 있다. 예를 들어, 전자 장치(10)가 매우 빠르게(예컨대, 시간 당 20 마일보다 빠르게) 움직이는 것으로 검출되면, 요인(412)에는 전자 장치(10)가 자동차(70) 또는 유사한 수송 형태 내에 있다는 것에 유리하게 가중치가 부여될 수 있다. 전자 장치(10)가 랜덤하게 이동 중이면, 요인(412)에는 전자 장치(10)의 사용자가 이동(예컨대, 체육관(66) 또는 파티(76)에서)할 수 있는 상황에 유리하게 가중치가 부여될 수 있다. 전자 장치(10)가 대부분 움직이지 않으면, 요인(412)에는 사용자가 일정 시간 동안 한 장소(예컨대, 사무실(64) 또는 식당(74))에 않아 있는 상황(56)에 유리하게 가중치가 부여될 수 있다.
장치 상황 요인들(402) 중 제6 요인(414)에는 다른 장치(예컨대, 블루투스 핸드셋)와의 연결일 수 있다. 예를 들어, 자동차 핸즈프리 전화 시스템과의 블루투스 연결시 제6 요인(414)에는 상황(56)이 자동차(70) 내인 것으로 결정하는 것에 유리하게 가중치가 부여될 수 있다.
몇몇 실시예에서, 전자 장치(10)는 전자 장치(10)의 주어진 사용자와 연관된 사용자 음성 프로파일에 기초하여 사용자 특정 잡음 억제 파라미터(102)를 결정할 수 있다. 결과적인 사용자 특정 잡음 억제 파라미터(102)는 잡음 억제(20)로 하여금 사용자 음성 프로파일과 연관된 것으로 나타나지 않아, 그래서 소음일 가능성이 있다고 이해될 수 있는 주변음(60)을 분리하게끔 할 수 있다. 도 25 내지 도 29는 그러한 기술과 관련된다.
도 25에 도시된 바와 같이, 사용자 음성 프로파일을 획득하기 위한 흐름도(420)는 전자 장치(10)가 음성 샘플을 획득할 때 시작할 수 있다(블록 422). 이러한 음성 샘플은 전술한 방식들 중 어떤 방식으로도 획득될 수 있다. 전자 장치(10)는 도 17를 참조하여 전술한 바와 같은 음성 샘플의 특징들 중 소정 특징을 분석할 수 있다(블록 424). 특정 특징은 정량화되어 사용자의 음성 프로파일로서 저장될 수 있다(블록 426). 결정된 사용자 음성 프로파일은 후술하는 바와 같이 사용자의 음성에 잡음 억제(20)를 맞추는데 이용될 수 있다. 추가로, 도 15를 참조하여 전술한 바와 같이, 사용자 음성 프로파일은 전자 장치(10)로 하여금 특정 사용자가 전자 장치(10)의 음성 관련 기능을 이용 중일 때를 식별하게 할 수 있다.
이러한 음성 프로파일을 이용하면, 전자 장치(10)는 사용자의 음성에 가장 잘 적용할 수 있는 방식으로 잡음 억제(20)를 수행할 수 있다. 일 실시예에서, 도 26의 흐름도(430)에 나타낸 바와 같이, 전자 장치(10)는 사용자의 음성(58)보다 주변음(60)에 해당할 가능성이 더 많은 오디오 신호의 주파수를 억제하며, 반면에 음성 신호(58)에 해당할 가능성이 더 많은 주파수를 강화시킬 수 있다. 흐름도(430)는 사용자가 전자 장치(10)의 음성 관련 기능을 이용 중일 때 시작할 수 있다(블록 432). 전자 장치(10)는 사용자 음성 신호(58) 및 주변음(60) 둘 다를 포함하는 수신된 오디오 신호와 사용자가 현재 전자 장치(10)에 말하는 것과 연관된 사용자 음성 프로파일을 비교할 수 있다(블록 434). 잡음 억제(20)를 사용자의 음성에 맞추기 위해, 전자 장치는 사용자 음성 프로파일과 연관되지 않는 오디오 신호의 주파수를 억제하는 방식으로 그리고 사용자 음성 프로파일과 연관된 오디오 신호의 주파수를 증폭함으로써 잡음 억제(20)를 수행할 수 있다(블록 436).
그와 같이 수행하기 위한 한가지 방식이 도 27 내지 도 29에 도시되어 있으며, 이들 도면은 오디오 신호, 사용자 음성 프로파일, 및 발신 잡음 억제된 신호를 모델링한 플롯들을 나타낸다. 도 27을 참조하면, 플롯(440)은 음성 관련 기능이 이용 중인 동안 전자 장치(10)의 마이크로폰(32)에 수신되고 주파수 영역으로 변환된 오디오 신호를 나타낸다. 세로 좌표(442)는 오디오 신호의 주파수 크기를 나타내고 가로 좌표(444)는 오디오 신호의 여러 이산 주파수 성분을 나타낸다. 오디오 신호를 주파수 영역으로 변환하기 위해 고속 푸리에 변환(FFT)과 같은 어떤 적절한 변환이 이용될 수 있음을 이해하여야 한다. 유사하게, 오디오 신호는 적절한 임의 개수의 이산 주파수 성분들(예컨대, 40, 128, 256 등)로 분할될 수 있다.
대조적으로, 도 28의 플롯(450)은 사용자 음성 프로파일과 연관된 주파수를 모델링한 플롯이다. 세로 좌표(452)는 사용자 음성 파일의 주파수 크기를 나타내고 가로 좌표(454)는 사용자 음성 파일의 이산 주파수 성분을 나타낸다. 도 27의 오디오 신호 플롯(440)과 도 28의 사용자 음성 프로파일 플롯(450)을 비교하면, 모델링된 오디오 신호는 전반적으로 사용자 음성 프로파일과 연관되지 않는 주파수 범위를 포함하는 것을 알 수 있다. 즉, 모델링된 오디오 신호는 사용자의 음성 외에 다른 주변음(60)을 포함할 가능성이 있을 수 있다.
이러한 비교로부터, 전자 장치(10)가 잡음 억제(20)를 실행하면, 전자 장치는 플롯(450)의 사용자 음성 프로파일의 주파수에 대응하는 플롯(440)의 오디오 신호의 주파수는 일반적으로 증폭되고, 반면에 다른 주파수는 일반적으로 억제되도록 하는 사용자 특정 잡음 억제 파라미터(102)를 결정하거나 선택할 수 있다. 이러한 결과적인 잡음 억제된 오디오 신호는 도 29의 플롯(460)으로 모델링된다. 플롯(460)의 세로 좌표(462)는 잡음 억제된 오디오 신호의 주파수 크기를 나타내고 가로 좌표(464)는 잡음 억제된 신호의 이산 주파수 성분을 나타낸다. 플롯(460)의 증폭된 부분(466)은 대체로 사용자 음성 프로파일에 존재하는 주파수에 해당한다. 대조적으로, 플롯(460)의 억제된 부분(468)은 플롯(450)의 사용자 프로파일과 연관되지 않는 잡음 억제된 신호의 주파수에 해당한다. 몇몇 실시예에서, 플롯(450)의 사용자 음성 프로파일과 연관되지 않는 주파수에는 더 많은 양의 잡음 억제가 적용될 수 있으며, 반면에 증폭되거나 증폭되지 않을 수 있는 부분(466)에는 더 적은 양의 잡음 억제가 적용될 수 있다.
전술한 설명은 전반적으로 도 4에 도시된 바와 같이 발신 오디오 신호에 대해 잡음 억제(20)의 TX NS(84)를 수행하기 위한 사용자 특정 잡음 억제 파라미터(102)를 결정하는데 초점을 맞추었다. 그러나, 전술한 바와 같이, 사용자 특정 잡음 억제 파라미터(102)는 다른 장치로부터 인입 오디오 신호에 대해 RX NS(92)를 수행하는 데에도 또한 사용될 수 있다. 다른 장치로부터의 이러한 인입 오디오 신호는 사용자 자신의 음성을 포함하지 않을 것이기 때문에, 특정 실시예에서, 사용자 특성 잡음 억제 파라미터(102)는 몇 개의 디스트랙터(182) 외에 몇 개의 테스트 음성을 수반하는 음성 훈련(104)에 따라 결정될 수 있다.
예를 들어, 도 30의 흐름도(470)에 제시된 바와 같이, 전자 장치(10)는 사전에 녹음된 또는 시뮬레이트된 음성 및 시뮬레이트된 디스트랙터(182)를 수반하는 음성 훈련(104)을 통해서 사용자 특정 잡음 억제 파라미터(102)를 결정할 수 있다. 이와 같은 음성 훈련(104)의 실시예는 여러 다른 음성 및 디스트랙터(182)를 포함하는 테스트 오디오 신호를 수반할 수 있다. 흐름도(470)는 사용자가 음성 훈련(104)을 개시할 때 시작할 수 있다(블록 472). 오직 사용자 자신의 음성에 기초하여 음성 훈련(104)을 수행하는 대신, 전자 장치(10)는 여러 음성을 포함하는 여러 테스트 오디오 신호에 여러 잡음 억제 파라미터를 적용할 수 있으며, 특정 실시예에서 여러 음성 중 하나는 사용자의 음성일 수 있다(블록 474). 그 후, 전자 장치(10)는 여러 테스트 오디오 신호에 대해 테스트된 여러 잡음 억제 파라미터에 대한 사용자의 선호도를 확인할 수 있다. 인식하여야 하는 바와 같이, 블록(474)은 도 9의 블록(166-170)과 유사한 방식으로 실행될 수 있다.
블록(474)에서 사용자로부터의 피드백에 기초하여, 전자 장치(10)는 사용자 특정 잡음 억제 파라미터(102)를 생성할 수 있다(블록 476). 도 30의 흐름도(470)에 따라서 생성된 사용자 특정 파라미터(102)는 (예를 들어, 도 4에 도시된 바와 같이 RX NS 파라미터(94)를 형성하는데 사용된) 수신된 오디오 신호에 적용하기에 매우 적합할 수 있다. 특히, 수신된 오디오 신호는 전자 장치(10)가 "근단(near-end)" 사용자에 의해 "원단(far-end)" 사용자들과 통화하는 전화기로서 사용될 때 여러 음성을 포함할 것이다. 따라서, 도 31의 흐름도(480)에 도시된 바와 같이, 도 30을 참조하여 설명한 바와 같은 기술을 이용하여 결정된 사용자 특정 잡음 억제 파라미터(102)는 수신된 오디오 신호 내의 원단 사용자의 음성의 특성에 따라 원단 사용자로부터 수신된 오디오 신호에 적용될 수 있다.
흐름도(480)는 전화 또는 채팅 기능과 같은 전자 장치(10)의 음성 관련 기능이 이용 중이면서 다른 전자 장치(10)로부터 원단 사용자의 음성을 포함하는 오디오 신호를 수신할 때 시작할 수 있다(블록 482). 다음에, 전자 장치(10)는 오디오 신호 내의 원단 사용자의 음성의 특성을 결정할 수 있다(블록 484). 그와 같이 하는 것은, 예를 들어, 수신된 오디오 신호 내의 원단 사용자의 음성과 음성 훈련(104) 동안(도 30을 참조하여 전술한 바와 같이 실행될 때) 테스트된 소정의 다른 음성과 비교하는 것을 수반할 수 있다. 다음에, 전자 장치(10)는 종단 사용자의 음성과 가장 유사한 다른 음성들 중 하나에 대응하는 사용자 특정 잡음 억제 파라미터(102)를 적용할 수 있다(블록 486).
일반적으로, 제1 전자 장치(10)가 양방향 통신 동안 제2 전자 장치(10)로부터 원단 사용자의 음성을 포함하는 오디오 신호를 수신하면, 이러한 오디오 신호는 이미 제2 전자 장치(10)에서 잡음 억제를 위해 처리되었을 수 있다. 특정 실시예에 따르면, 도 32의 흐름도(490)에 설명된 바와 같이, 제2 전자 장치(10)에서의 그러한 잡음 억제는 제1 전자 장치(10)의 근단 사용자에 맞추어질 수 있다. 흐름도(490)는 제1 전자 장치(10)(예컨대, 도 33의 핸드헬드 장치(34A)가 제2 전자 장치(10)(예컨대, 핸드헬드 장치(34B))로부터 원단 사용자의 음성의 오디오 신호를 수신하거나 또는 수신하려고 할 때 시작할 수 있다(블록 492). 제1 전자 장치(10)는 근단 사용자에 의해 이전에 결정된 사용자 특정 잡음 억제 파라미터(102)를 제2 전자 장치(10)로 전송할 수 있다(블록 494). 그 후, 제2 전자 장치(10)는 그러한 사용자 특정 잡음 억제 파라미터(102)를 발신 오디오 신호 내의 원단 사용자 음성의 잡음 억제를 향해 적용할 수 있다(블록 496). 따라서, 제2 전자 장치(10)로부터 제1 전자 장치(10)로 전송된 원단 사용자 음성을 포함하는 오디오 신호는 제1 전자 장치(10)의 근단 사용자가 선호하는 잡음 억제 특성을 가질 수 있다.
도 32의 전술한 기술은 잡음 억제 능력이 유사한 핸드헬드 장치들(34A 및 34B)을 포함하는 도 33의 시스템(500)으로 예시된 두 전자 장치(10)를 이용하여 체계적으로 이용될 수 있다. 핸드헬드 장치들(34A 및 34B)이 네트워크를 통해 (예컨대, 전화 또는 채팅 기능을 이용하여) 각각 근단 사용자 및 원단 사용자에 의해 상호 통신하는데 사용되면, 핸드헬드 장치들(34A 및 34B)은 그들 각각의 사용자와 연관된 사용자 특정 잡음 억제 파라미터(102)를 교환할 수 있다(블록 504 및 506). 즉, 핸드헬드 장치(34B)는 핸드헬드 장치(34A)의 근단 사용자와 연관된 사용자 특정 잡음 억제 파라미터(102)를 수신할 수 있다. 마찬가지로, 핸드헬드 장치(34A)는 핸드헬드 장치(34B)의 원단 사용자와 연관된 사용자 특정 잡음 억제 파라미터(102)를 수신할 수 있다. 그 후, 핸드헬드 장치(34A)는 원단 사용자의 사용자 특정 잡음 억제 파라미터(102)에 기초하여 근단 사용자의 오디오 신호에 대해 잡음 억제(20)를 수행할 수 있다. 마찬가지로, 핸드헬드 장치(34B)는 근단 사용자의 사용자 특정 잡음 억제 파라미터(102)에 기초하여 원단 사용자의 오디오 신호에 대해 잡음 억제(20)를 수행할 수 있다. 이러한 방식으로, 핸드헬드 장치들(34A 및 34B)의 각 사용자는 잡음 억제가 그들 각각의 선호도와 일치하는 다른 장치로부터 오디오 신호를 들을 수 있다.
전술한 특정한 실시예들은 예를 들어 제시되었으며, 이러한 실시예들은 여러 변형 및 대안 형태가 가능할 수 있음을 이해하여야 한다. 또한, 특허청구범위는 개시된 특정 형태들로 제한하고자 하는 것은 아니며, 그보다 본 발명의 정신 및 범주 내에 속하는 모든 변형, 등가물, 및 대안을 망라하는 것으로 의도됨을 이해해야 한다.

Claims (25)

  1. 전자 장치에서 수행되는 방법으로서,
    사용자 음성 샘플 및 적어도 하나의 디스트랙터를 포함하는 테스트 오디오 신호를 결정하는 단계 - 상기 디스트랙터는 특정 상황에 대해서 시뮬레이트된 주변음임 - ;
    적어도 부분적으로 제1 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제1 잡음 억제된 오디오 신호를 획득하는 단계;
    상기 제1 잡음 억제된 오디오 신호를 스피커로 출력시키도록 하는 단계;
    적어도 부분적으로 제2 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제2 잡음 억제된 오디오 신호를 획득하는 단계;
    상기 제2 잡음 억제된 오디오 신호를 상기 스피커로 출력시키도록 하는 단계;
    상기 제1 잡음 억제된 오디오 신호 또는 상기 제2 잡음 억제된 오디오 신호의 제1 사용자 선호도 표시를 획득하는 단계; 및
    상기 제1 잡음 억제된 오디오 신호 또는 상기 제2 잡음 억제된 오디오 신호의 상기 제1 사용자 선호도 표시에 따라, 적어도 부분적으로 상기 제1 잡음 억제 파라미터들 또는 상기 제2 잡음 억제 파라미터들, 또는 이들의 조합에 기초하여 제1 사용자 특정 잡음 억제 파라미터들을 결정하는 단계 - 상기 제1 사용자 특정 잡음 억제 파라미터들은 상기 전자 장치의 음성 관련 기능이 이용 중일 때 잡음을 억제하도록 구성됨 -
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 테스트 오디오 신호를 결정하는 단계는 상기 디스트랙터가 상기 스피커를 통해 크게 재생하는 동안 마이크로폰을 이용하여 상기 사용자 음성 샘플을 녹음하는 단계를 포함하는 방법.
  3. 제1항에 있어서, 상기 테스트 오디오 신호를 결정하는 단계는 상기 디스트랙터가 다른 장치 상에서 크게 재생하는 동안 마이크로폰을 이용하여 상기 사용자 음성 샘플을 녹음하는 단계를 포함하는 방법.
  4. 제1항에 있어서, 상기 테스트 오디오 신호를 결정하는 단계는 마이크로폰을 이용하여 상기 사용자 음성 샘플을 녹음하고 상기 사용자 음성 샘플을 상기 디스트랙터와 전자적으로 혼합하는 단계를 포함하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    적어도 부분적으로 제3 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제3 잡음 억제된 오디오 신호를 획득하는 단계 - 상기 테스트 오디오 신호에는 상기 제1 사용자 특정 잡음 억제 파라미터들이 적용되어 있음 - ;
    상기 제3 잡음 억제된 오디오 신호를 스피커로 출력시키도록 하는 단계;
    적어도 부분적으로 제4 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제4 잡음 억제된 오디오 신호를 획득하는 단계 - 상기 테스트 오디오 신호에는 상기 제1 사용자 특정 잡음 억제 파라미터들이 적용되어 있음 - ;
    상기 제4 잡음 억제된 오디오 신호를 상기 스피커로 출력시키도록 하는 단계;
    상기 제3 잡음 억제된 오디오 신호 또는 상기 제4 잡음 억제된 오디오 신호의 제2 사용자 선호도 표시를 획득하는 단계; 및
    상기 제3 잡음 억제된 오디오 신호 또는 상기 제4 잡음 억제된 오디오 신호의 상기 제2 사용자 선호도 표시에 따라, 적어도 부분적으로 상기 제1 사용자 특정 잡음 억제 파라미터들, 상기 제3 잡음 억제 파라미터들 또는 상기 제4 잡음 억제 파라미터들, 또는 이들의 조합에 기초하여 제2 사용자 특정 잡음 억제 파라미터들을 결정하는 단계
    를 더 포함하는 방법.
  6. 제5항에 있어서,
    적어도 부분적으로 상기 제1 잡음 억제된 오디오 신호 또는 상기 제2 잡음 억제된 오디오 신호의 상기 제1 사용자 선호도 표시에 기초하여 상기 제3 잡음 억제 파라미터들 및 상기 제4 잡음 억제 파라미터들을 결정하는 단계를 더 포함하는 방법.
  7. 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 전자 장치로서, 상기 하나 이상의 프로그램은:
    사용자 음성 샘플 및 적어도 하나의 디스트랙터를 포함하는 테스트 오디오 신호를 결정하기 위한 명령어 - 상기 디스트랙터는 특정 상황에 대해서 시뮬레이트된 주변음임 - ;
    적어도 부분적으로 제1 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제1 잡음 억제된 오디오 신호를 획득하기 위한 명령어;
    상기 제1 잡음 억제된 오디오 신호를 스피커로 출력시키도록 하기 위한 명령어;
    적어도 부분적으로 제2 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제2 잡음 억제된 오디오 신호를 획득하기 위한 명령어;
    상기 제2 잡음 억제된 오디오 신호를 상기 스피커로 출력시키도록 하기 위한 명령어;
    상기 제1 잡음 억제된 오디오 신호 또는 상기 제2 잡음 억제된 오디오 신호의 제1 사용자 선호도 표시를 획득하기 위한 명령어; 및
    상기 제1 잡음 억제된 오디오 신호 또는 상기 제2 잡음 억제된 오디오 신호의 상기 제1 사용자 선호도 표시에 따라, 적어도 부분적으로 상기 제1 잡음 억제 파라미터들 또는 상기 제2 잡음 억제 파라미터들, 또는 이들의 조합에 기초하여 제1 사용자 특정 잡음 억제 파라미터들을 결정하기 위한 명령어 - 상기 제1 사용자 특정 잡음 억제 파라미터들은 상기 전자 장치의 음성 관련 기능이 이용 중일 때 잡음을 억제하도록 구성됨 -
    를 포함하는 전자 장치.
  8. 제7항에 있어서, 상기 테스트 오디오 신호를 결정하기 위한 명령어는 상기 디스트랙터가 상기 스피커를 통해 크게 재생하는 동안 마이크로폰을 이용하여 상기 사용자 음성 샘플을 녹음하기 위한 명령어들을 포함하는 전자 장치.
  9. 제7항에 있어서, 상기 테스트 오디오 신호를 결정하기 위한 명령어는 상기 디스트랙터가 다른 장치 상에서 동안 크게 재생하는 동안 마이크로폰을 이용하여 상기 사용자 음성 샘플을 녹음하기 위한 명령어들을 포함하는 전자 장치.
  10. 제7항에 있어서, 상기 테스트 오디오 신호를 결정하기 위한 명령어는 마이크로폰을 이용하여 상기 사용자 음성 샘플을 녹음하고 상기 사용자 음성 샘플을 상기 디스트랙터와 전자적으로 혼합하기 위한 명령어들을 포함하는 전자 장치.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서,
    적어도 부분적으로 제3 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제3 잡음 억제된 오디오 신호를 획득하기 위한 명령어 - 상기 테스트 오디오 신호에는 상기 제1 사용자 특정 잡음 억제 파라미터들이 적용되어 있음 - ;
    상기 제3 잡음 억제된 오디오 신호를 스피커로 출력시키도록 하기 위한 명령어;
    적어도 부분적으로 제4 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제4 잡음 억제된 오디오 신호를 획득하기 위한 명령어 - 상기 테스트 오디오 신호에는 상기 제1 사용자 특정 잡음 억제 파라미터들이 적용되어 있음 - ;
    상기 제4 잡음 억제된 오디오 신호를 상기 스피커로 출력시키도록 하기 위한 명령어;
    상기 제3 잡음 억제된 오디오 신호 또는 상기 제4 잡음 억제된 오디오 신호의 제2 사용자 선호도 표시를 획득하기 위한 명령어; 및
    상기 제3 잡음 억제된 오디오 신호 또는 상기 제4 잡음 억제된 오디오 신호의 상기 제2 사용자 선호도 표시에 따라, 적어도 부분적으로 상기 제1 사용자 특정 잡음 억제 파라미터들, 상기 제3 잡음 억제 파라미터들 또는 상기 제4 잡음 억제 파라미터들, 또는 이들의 조합에 기초하여 제2 사용자 특정 잡음 억제 파라미터들을 결정하기 위한 명령어
    를 더 포함하는 전자 장치.
  12. 제11항에 있어서,
    적어도 부분적으로 상기 제1 잡음 억제된 오디오 신호 또는 상기 제2 잡음 억제된 오디오 신호의 상기 제1 사용자 선호도 표시에 기초하여 상기 제3 잡음 억제 파라미터들 및 상기 제4 잡음 억제 파라미터들을 결정하기 위한 명령어들을 더 포함하는 전자 장치.
  13. 전자 장치의 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램은:
    사용자 음성 샘플 및 적어도 하나의 디스트랙터를 포함하는 테스트 오디오 신호를 결정하기 위한 명령어 - 상기 디스트랙터는 특정 상황에 대해서 시뮬레이트된 주변음임 - ;
    적어도 부분적으로 제1 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제1 잡음 억제된 오디오 신호를 획득하기 위한 명령어;
    상기 제1 잡음 억제된 오디오 신호를 스피커로 출력시키도록 하기 위한 명령어;
    적어도 부분적으로 제2 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제2 잡음 억제된 오디오 신호를 획득하기 위한 명령어;
    상기 제2 잡음 억제된 오디오 신호를 상기 스피커로 출력시키도록 하기 위한 명령어;
    상기 제1 잡음 억제된 오디오 신호 또는 상기 제2 잡음 억제된 오디오 신호의 제1 사용자 선호도 표시를 획득하기 위한 명령어; 및
    상기 제1 잡음 억제된 오디오 신호 또는 상기 제2 잡음 억제된 오디오 신호의 상기 제1 사용자 선호도 표시에 따라, 적어도 부분적으로 상기 제1 잡음 억제 파라미터들 또는 상기 제2 잡음 억제 파라미터들, 또는 이들의 조합에 기초하여 제1 사용자 특정 잡음 억제 파라미터들을 결정하기 위한 명령어 - 상기 제1 사용자 특정 잡음 억제 파라미터들은 상기 전자 장치의 음성 관련 기능이 이용 중일 때 잡음을 억제하도록 구성됨 -
    를 포함하는 컴퓨터 판독가능 저장 매체.
  14. 제13항에 있어서, 상기 테스트 오디오 신호를 결정하기 위한 명령어는 상기 디스트랙터가 상기 스피커를 통해 크게 재생하는 동안 마이크로폰을 이용하여 상기 사용자 음성 샘플을 녹음하기 위한 명령어들을 포함하는 컴퓨터 판독가능 저장 매체.
  15. 제13항에 있어서, 상기 테스트 오디오 신호를 결정하기 위한 명령어는 상기 디스트랙터가 다른 장치 상에서 크게 재생하는 동안 마이크로폰을 이용하여 상기 사용자 음성 샘플을 녹음하기 위한 명령어들을 포함하는 컴퓨터 판독가능 저장 매체.
  16. 제13항에 있어서, 상기 테스트 오디오 신호를 결정하기 위한 명령어는 마이크로폰을 이용하여 상기 사용자 음성 샘플을 녹음하고 상기 사용자 음성 샘플을 상기 디스트랙터와 전자적으로 혼합하기 위한 명령어들을 포함하는 컴퓨터 판독가능 저장 매체.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서,
    적어도 부분적으로 제3 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제3 잡음 억제된 오디오 신호를 획득하기 위한 명령어 - 상기 테스트 오디오 신호에는 상기 제1 사용자 특정 잡음 억제 파라미터들이 적용되어 있음 - ;
    상기 제3 잡음 억제된 오디오 신호를 스피커로 출력시키도록 하기 위한 명령어;
    적어도 부분적으로 제4 잡음 억제 파라미터들에 기초하여 상기 테스트 오디오 신호에 잡음 억제를 적용하여 제4 잡음 억제된 오디오 신호를 획득하기 위한 명령어 - 상기 테스트 오디오 신호에는 상기 제1 사용자 특정 잡음 억제 파라미터들이 적용되어 있음 - ;
    상기 제4 잡음 억제된 오디오 신호를 상기 스피커로 출력시키도록 하기 위한 명령어;
    상기 제3 잡음 억제된 오디오 신호 또는 상기 제4 잡음 억제된 오디오 신호의 제2 사용자 선호도 표시를 획득하기 위한 명령어; 및
    상기 제3 잡음 억제된 오디오 신호 또는 상기 제4 잡음 억제된 오디오 신호의 상기 제2 사용자 선호도 표시에 따라, 적어도 부분적으로 상기 제1 사용자 특정 잡음 억제 파라미터들, 상기 제3 잡음 억제 파라미터들 또는 상기 제4 잡음 억제 파라미터들, 또는 이들의 조합에 기초하여 제2 사용자 특정 잡음 억제 파라미터들을 결정하기 위한 명령어
    를 더 포함하는 컴퓨터 판독가능 저장 매체.
  18. 제17항에 있어서,
    적어도 부분적으로 상기 제1 잡음 억제된 오디오 신호 또는 제2 잡음 억제된 오디오 신호의 상기 제1 사용자 선호도 표시에 기초하여 상기 제3 잡음 억제 파라미터들 및 상기 제4 잡음 억제 파라미터들을 결정하기 위한 명령어들을 더 포함하는 컴퓨터 판독가능 저장 매체.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
KR1020127030410A 2010-06-04 2011-05-18 음질 개선을 위한 사용자 특정 잡음 억제 KR101520162B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/794,643 2010-06-04
US12/794,643 US8639516B2 (en) 2010-06-04 2010-06-04 User-specific noise suppression for voice quality improvements
PCT/US2011/037014 WO2011152993A1 (en) 2010-06-04 2011-05-18 User-specific noise suppression for voice quality improvements

Publications (2)

Publication Number Publication Date
KR20130012073A KR20130012073A (ko) 2013-01-31
KR101520162B1 true KR101520162B1 (ko) 2015-05-13

Family

ID=44276060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127030410A KR101520162B1 (ko) 2010-06-04 2011-05-18 음질 개선을 위한 사용자 특정 잡음 억제

Country Status (7)

Country Link
US (2) US8639516B2 (ko)
EP (1) EP2577658B1 (ko)
JP (1) JP2013527499A (ko)
KR (1) KR101520162B1 (ko)
CN (1) CN102859592B (ko)
AU (1) AU2011261756B2 (ko)
WO (1) WO2011152993A1 (ko)

Families Citing this family (205)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
EP2453979B1 (en) * 2009-07-17 2019-07-24 Implantica Patent Ltd. A system for voice control of a medical implant
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
CN102479024A (zh) * 2010-11-24 2012-05-30 国基电子(上海)有限公司 手持装置及其用户界面构建方法
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9282414B2 (en) 2012-01-30 2016-03-08 Hewlett-Packard Development Company, L.P. Monitor an event that produces a noise received by a microphone
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9184791B2 (en) 2012-03-15 2015-11-10 Blackberry Limited Selective adaptive audio cancellation algorithm configuration
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
WO2014062859A1 (en) * 2012-10-16 2014-04-24 Audiologicall, Ltd. Audio signal manipulation for speech enhancement before sound reproduction
US9357165B2 (en) * 2012-11-16 2016-05-31 At&T Intellectual Property I, Lp Method and apparatus for providing video conferencing
US20140379343A1 (en) 2012-11-20 2014-12-25 Unify GmbH Co. KG Method, device, and system for audio data processing
US9251804B2 (en) * 2012-11-21 2016-02-02 Empire Technology Development Llc Speech recognition
EP2947658A4 (en) * 2013-01-15 2016-09-14 Sony Corp MEMORY CONTROL DEVICE, READ CONTROL DEVICE, AND RECORDING MEDIUM
KR102118209B1 (ko) 2013-02-07 2020-06-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9344793B2 (en) 2013-02-11 2016-05-17 Symphonic Audio Technologies Corp. Audio apparatus and methods
US9344815B2 (en) 2013-02-11 2016-05-17 Symphonic Audio Technologies Corp. Method for augmenting hearing
US9319019B2 (en) 2013-02-11 2016-04-19 Symphonic Audio Technologies Corp. Method for augmenting a listening experience
US20140278392A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Pre-Processing Audio Signals
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US20140278418A1 (en) * 2013-03-15 2014-09-18 Broadcom Corporation Speaker-identification-assisted downlink speech processing systems and methods
US9269368B2 (en) * 2013-03-15 2016-02-23 Broadcom Corporation Speaker-identification-assisted uplink speech processing systems and methods
US9293140B2 (en) * 2013-03-15 2016-03-22 Broadcom Corporation Speaker-identification-assisted speech processing systems and methods
US9520138B2 (en) * 2013-03-15 2016-12-13 Broadcom Corporation Adaptive modulation filtering for spectral feature enhancement
US9626963B2 (en) * 2013-04-30 2017-04-18 Paypal, Inc. System and method of improving speech recognition using context
US9083782B2 (en) 2013-05-08 2015-07-14 Blackberry Limited Dual beamform audio echo reduction
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
ES2615877T3 (es) * 2013-06-25 2017-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Métodos, nodos de red, programas de ordenador y productos de programa de ordenador para gestionar el tratamiento de un flujo continuo de audio
EP2835985B1 (en) 2013-08-08 2017-05-10 Oticon A/s Hearing aid device and method for feedback reduction
CN104378774A (zh) * 2013-08-15 2015-02-25 中兴通讯股份有限公司 一种语音质量处理的方法及装置
WO2015026859A1 (en) * 2013-08-19 2015-02-26 Symphonic Audio Technologies Corp. Audio apparatus and methods
US9392353B2 (en) * 2013-10-18 2016-07-12 Plantronics, Inc. Headset interview mode
CN103594092A (zh) * 2013-11-25 2014-02-19 广东欧珀移动通信有限公司 一种单麦克风语音降噪方法和装置
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9578161B2 (en) * 2013-12-13 2017-02-21 Nxp B.V. Method for metadata-based collaborative voice processing for voice communication
US9466310B2 (en) * 2013-12-20 2016-10-11 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Compensating for identifiable background content in a speech recognition device
WO2015149216A1 (en) 2014-03-31 2015-10-08 Intel Corporation Location aware power management scheme for always-on- always-listen voice recognition system
KR20150117114A (ko) 2014-04-09 2015-10-19 한국전자통신연구원 잡음 제거 장치 및 방법
US20150327035A1 (en) * 2014-05-12 2015-11-12 Intel Corporation Far-end context dependent pre-processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9904851B2 (en) * 2014-06-11 2018-02-27 At&T Intellectual Property I, L.P. Exploiting visual information for enhancing audio signals via source separation and beamforming
DE102014009689A1 (de) * 2014-06-30 2015-12-31 Airbus Operations Gmbh Intelligentes Soundsystem/-modul zur Kabinenkommunikation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR101950305B1 (ko) * 2014-07-28 2019-02-20 후아웨이 테크놀러지 컴퍼니 리미티드 통신 장치를 위한 소리 신호 처리 방법 및 장치
CN106797512B (zh) 2014-08-28 2019-10-25 美商楼氏电子有限公司 多源噪声抑制的方法、系统和非瞬时计算机可读存储介质
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
CN107112025A (zh) 2014-09-12 2017-08-29 美商楼氏电子有限公司 用于恢复语音分量的系统和方法
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9530408B2 (en) * 2014-10-31 2016-12-27 At&T Intellectual Property I, L.P. Acoustic environment recognizer for optimal speech processing
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
WO2016123560A1 (en) 2015-01-30 2016-08-04 Knowles Electronics, Llc Contextual switching of microphones
KR102371697B1 (ko) 2015-02-11 2022-03-08 삼성전자주식회사 음성 기능 운용 방법 및 이를 지원하는 전자 장치
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
CN105338170A (zh) * 2015-09-23 2016-02-17 广东小天才科技有限公司 一种滤除背景噪声的方法及装置
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
CN106878533B (zh) * 2015-12-10 2021-03-19 北京奇虎科技有限公司 一种移动终端的通信方法和装置
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
WO2017187712A1 (ja) * 2016-04-26 2017-11-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US9838737B2 (en) * 2016-05-05 2017-12-05 Google Inc. Filtering wind noises in video content
CN109155130A (zh) * 2016-05-13 2019-01-04 伯斯有限公司 处理来自分布式麦克风的语音
US20170347177A1 (en) 2016-05-25 2017-11-30 Smartear, Inc. In-Ear Utility Device Having Sensors
WO2017205558A1 (en) * 2016-05-25 2017-11-30 Smartear, Inc In-ear utility device having dual microphones
US10045130B2 (en) 2016-05-25 2018-08-07 Smartear, Inc. In-ear utility device having voice recognition
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10891946B2 (en) 2016-07-28 2021-01-12 Red Hat, Inc. Voice-controlled assistant volume control
US10771631B2 (en) * 2016-08-03 2020-09-08 Dolby Laboratories Licensing Corporation State-based endpoint conference interaction
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
CN106453760A (zh) * 2016-10-11 2017-02-22 努比亚技术有限公司 一种改善环境噪声的方法及终端
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10629200B2 (en) * 2017-03-07 2020-04-21 Salesboost, Llc Voice analysis training system
KR102307355B1 (ko) 2017-03-10 2021-09-30 삼성전자주식회사 잡음 환경의 통화 품질을 개선하는 방법 및 장치
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10410634B2 (en) 2017-05-18 2019-09-10 Smartear, Inc. Ear-borne audio device conversation recording and compressed data transmission
US10235128B2 (en) * 2017-05-19 2019-03-19 Intel Corporation Contextual sound filter
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10582285B2 (en) 2017-09-30 2020-03-03 Smartear, Inc. Comfort tip with pressure relief valves and horn
US10665234B2 (en) * 2017-10-18 2020-05-26 Motorola Mobility Llc Detecting audio trigger phrases for a voice recognition session
CN107945815B (zh) * 2017-11-27 2021-09-07 歌尔科技有限公司 语音信号降噪方法及设备
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10754611B2 (en) * 2018-04-23 2020-08-25 International Business Machines Corporation Filtering sound based on desirability
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
JPWO2020017518A1 (ja) * 2018-07-20 2021-08-05 株式会社ソニー・インタラクティブエンタテインメント 音声信号処理装置
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109905794B (zh) * 2019-03-06 2020-12-08 中国人民解放军联勤保障部队第九八八医院 基于战场应用的自适应智能化防护耳塞的数据分析系统
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN112201247B (zh) * 2019-07-08 2024-05-03 北京地平线机器人技术研发有限公司 语音增强方法和装置、电子设备和存储介质
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
CN110942779A (zh) * 2019-11-13 2020-03-31 苏宁云计算有限公司 一种噪声处理方法、装置、系统
KR20210091003A (ko) * 2020-01-13 2021-07-21 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210121472A (ko) * 2020-03-30 2021-10-08 엘지전자 주식회사 인공지능 기반의 음질개선
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN111986689A (zh) * 2020-07-30 2020-11-24 维沃移动通信有限公司 音频播放方法、音频播放装置和电子设备
US11697301B2 (en) * 2020-11-10 2023-07-11 Baysoft LLC Remotely programmable wearable device
CN112309426A (zh) * 2020-11-24 2021-02-02 北京达佳互联信息技术有限公司 语音处理模型训练方法及装置和语音处理方法及装置
US11741983B2 (en) * 2021-01-13 2023-08-29 Qualcomm Incorporated Selective suppression of noises in a sound signal
US11645037B2 (en) * 2021-01-27 2023-05-09 Dell Products L.P. Adjusting audio volume and quality of near end and far end talkers
WO2022211504A1 (en) * 2021-03-31 2022-10-06 Samsung Electronics Co., Ltd. Method and electronic device for suppressing noise portion from media event
CN117157707A (zh) * 2021-04-13 2023-12-01 谷歌有限责任公司 移动设备辅助的主动噪声控制
CN114979344A (zh) * 2022-05-09 2022-08-30 北京字节跳动网络技术有限公司 回声消除方法、装置、设备及存储介质
US20230410824A1 (en) * 2022-05-31 2023-12-21 Sony Interactive Entertainment LLC Systems and methods for automated customized voice filtering

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060282264A1 (en) 2005-06-09 2006-12-14 Bellsouth Intellectual Property Corporation Methods and systems for providing noise filtering using speech recognition
JP2008271481A (ja) * 2007-03-27 2008-11-06 Brother Ind Ltd 電話装置

Family Cites Families (310)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4759070A (en) 1986-05-27 1988-07-19 Voroba Technologies Associates Patient controlled master hearing aid
US4974191A (en) 1987-07-31 1990-11-27 Syntellect Software Inc. Adaptive natural language computer interface system
US5282265A (en) 1988-10-04 1994-01-25 Canon Kabushiki Kaisha Knowledge information processing system
SE466029B (sv) 1989-03-06 1991-12-02 Ibm Svenska Ab Anordning och foerfarande foer analys av naturligt spraak i ett datorbaserat informationsbehandlingssystem
US5128672A (en) 1990-10-30 1992-07-07 Apple Computer, Inc. Dynamic predictive keyboard
US5303406A (en) 1991-04-29 1994-04-12 Motorola, Inc. Noise squelch circuit with adaptive noise shaping
US6081750A (en) 1991-12-23 2000-06-27 Hoffberg; Steven Mark Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US5412735A (en) 1992-02-27 1995-05-02 Central Institute For The Deaf Adaptive noise reduction circuit for a sound reproduction system
US5434777A (en) 1992-05-27 1995-07-18 Apple Computer, Inc. Method and apparatus for processing natural language
JPH0619965A (ja) 1992-07-01 1994-01-28 Canon Inc 自然言語処理装置
CA2091658A1 (en) 1993-03-15 1994-09-16 Matthew Lennig Method and apparatus for automation of directory assistance using speech recognition
JPH0869470A (ja) 1994-06-21 1996-03-12 Canon Inc 自然言語処理装置及びその方法
US5682539A (en) 1994-09-29 1997-10-28 Conrad; Donovan Anticipated meaning natural language interface
US5577241A (en) 1994-12-07 1996-11-19 Excite, Inc. Information retrieval system and method with implementation extensible query architecture
US5748974A (en) 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
US5794050A (en) 1995-01-04 1998-08-11 Intelligent Text Processing, Inc. Natural language understanding system
JP3284832B2 (ja) 1995-06-22 2002-05-20 セイコーエプソン株式会社 音声認識対話処理方法および音声認識対話装置
JPH11514453A (ja) 1995-09-14 1999-12-07 エリクソン インコーポレイテッド 音声信号を適応的に濾波して雑音のある環境条件での音声了解度を高めるシステム
US5987404A (en) 1996-01-29 1999-11-16 International Business Machines Corporation Statistical natural language understanding using hidden clumpings
US5826261A (en) 1996-05-10 1998-10-20 Spencer; Graham System and method for querying multiple, distributed databases by selective sharing of local relative significance information for terms related to the query
US5727950A (en) 1996-05-22 1998-03-17 Netsage Corporation Agent based instruction system and method
US5966533A (en) 1996-06-11 1999-10-12 Excite, Inc. Method and system for dynamically synthesizing a computer program by differentially resolving atoms based on user context data
US5915249A (en) 1996-06-14 1999-06-22 Excite, Inc. System and method for accelerated query evaluation of very large full-text databases
US6181935B1 (en) 1996-09-27 2001-01-30 Software.Com, Inc. Mobility extended telephone application programming interface and method of use
US5836771A (en) 1996-12-02 1998-11-17 Ho; Chi Fai Learning method and system based on questioning
US6665639B2 (en) 1996-12-06 2003-12-16 Sensory, Inc. Speech recognition in consumer electronic products
US6904110B2 (en) * 1997-07-31 2005-06-07 Francois Trans Channel equalization system and method
US5895466A (en) 1997-08-19 1999-04-20 At&T Corp Automated natural language understanding customer service system
US6404876B1 (en) 1997-09-25 2002-06-11 Gte Intelligent Network Services Incorporated System and method for voice activated dialing and routing under open access network control
EP0911808B1 (en) 1997-10-23 2002-05-08 Sony International (Europe) GmbH Speech interface in a home network environment
US5970446A (en) * 1997-11-25 1999-10-19 At&T Corp Selective noise/channel/coding models and recognizers for automatic speech recognition
US6233559B1 (en) 1998-04-01 2001-05-15 Motorola, Inc. Speech control of multiple applications using applets
US6088731A (en) 1998-04-24 2000-07-11 Associative Computing, Inc. Intelligent assistant for use with a local computer and with the internet
US6144938A (en) 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
US7526466B2 (en) 1998-05-28 2009-04-28 Qps Tech Limited Liability Company Method and system for analysis of intended meaning of natural language
US7711672B2 (en) 1998-05-28 2010-05-04 Lawrence Au Semantic network methods to disambiguate natural language meaning
US6144958A (en) 1998-07-15 2000-11-07 Amazon.Com, Inc. System and method for correcting spelling errors in search queries
US6434524B1 (en) 1998-09-09 2002-08-13 One Voice Technologies, Inc. Object interactive user interface using speech recognition and natural language processing
US6499013B1 (en) 1998-09-09 2002-12-24 One Voice Technologies, Inc. Interactive user interface using speech recognition and natural language processing
US6792082B1 (en) 1998-09-11 2004-09-14 Comverse Ltd. Voice mail system with personal assistant provisioning
DE29825146U1 (de) 1998-09-11 2005-08-18 Püllen, Rainer Teilnehmereinheit und System für einen Multimediadienst
US6317831B1 (en) 1998-09-21 2001-11-13 Openwave Systems Inc. Method and apparatus for establishing a secure connection over a one-way data path
WO2000020962A2 (en) 1998-10-02 2000-04-13 International Business Machines Corporation Conversational computing via conversational virtual machine
GB9821969D0 (en) 1998-10-08 1998-12-02 Canon Kk Apparatus and method for processing natural language
US6928614B1 (en) 1998-10-13 2005-08-09 Visteon Global Technologies, Inc. Mobile office with speech recognition
US6453292B2 (en) 1998-10-28 2002-09-17 International Business Machines Corporation Command boundary identifier for conversational natural language
US6321092B1 (en) 1998-11-03 2001-11-20 Signal Soft Corporation Multiple input data management for wireless location-based applications
US6446076B1 (en) 1998-11-12 2002-09-03 Accenture Llp. Voice interactive web-based agent system responsive to a user location for prioritizing and formatting information
US6246981B1 (en) 1998-11-25 2001-06-12 International Business Machines Corporation Natural language task-oriented dialog manager and method
US7881936B2 (en) 1998-12-04 2011-02-01 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US6757718B1 (en) 1999-01-05 2004-06-29 Sri International Mobile navigation of network-based electronic information using spoken input
US6513063B1 (en) 1999-01-05 2003-01-28 Sri International Accessing network-based electronic information through scripted online interfaces using spoken input
US6851115B1 (en) 1999-01-05 2005-02-01 Sri International Software-based architecture for communication and cooperation among distributed electronic agents
US6523061B1 (en) 1999-01-05 2003-02-18 Sri International, Inc. System, method, and article of manufacture for agent-based navigation in a speech-based data navigation system
US7036128B1 (en) 1999-01-05 2006-04-25 Sri International Offices Using a community of distributed electronic agents to support a highly mobile, ambient computing environment
US6742021B1 (en) 1999-01-05 2004-05-25 Sri International, Inc. Navigating network-based electronic information using spoken input with multimodal error feedback
US7966078B2 (en) * 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6928404B1 (en) 1999-03-17 2005-08-09 International Business Machines Corporation System and methods for acoustic and language modeling for automatic speech recognition with large vocabularies
US6647260B2 (en) 1999-04-09 2003-11-11 Openwave Systems Inc. Method and system facilitating web based provisioning of two-way mobile communications devices
US6598039B1 (en) 1999-06-08 2003-07-22 Albert-Inc. S.A. Natural language interface for searching database
US6421672B1 (en) 1999-07-27 2002-07-16 Verizon Services Corp. Apparatus for and method of disambiguation of directory listing searches utilizing multiple selectable secondary search keys
US6601026B2 (en) 1999-09-17 2003-07-29 Discern Communications, Inc. Information retrieval by natural language querying
US6463128B1 (en) 1999-09-29 2002-10-08 Denso Corporation Adjustable coding detection in a portable telephone
US7020685B1 (en) 1999-10-08 2006-03-28 Openwave Systems Inc. Method and apparatus for providing internet content to SMS-based wireless devices
EP1222655A1 (en) 1999-10-19 2002-07-17 Sony Electronics Inc. Natural language interface control system
US6807574B1 (en) 1999-10-22 2004-10-19 Tellme Networks, Inc. Method and apparatus for content personalization over a telephone interface
JP2001125896A (ja) 1999-10-26 2001-05-11 Victor Co Of Japan Ltd 自然言語対話システム
US7310600B1 (en) 1999-10-28 2007-12-18 Canon Kabushiki Kaisha Language recognition using a similarity measure
US6665640B1 (en) 1999-11-12 2003-12-16 Phoenix Solutions, Inc. Interactive speech based learning/training system formulating search queries based on natural language parsing of recognized user queries
US6633846B1 (en) 1999-11-12 2003-10-14 Phoenix Solutions, Inc. Distributed realtime speech recognition system
US7050977B1 (en) 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US7392185B2 (en) 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US9076448B2 (en) 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
US6615172B1 (en) 1999-11-12 2003-09-02 Phoenix Solutions, Inc. Intelligent query engine for processing voice based queries
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US6532446B1 (en) 1999-11-24 2003-03-11 Openwave Systems Inc. Server based speech recognition user interface for wireless devices
US6526395B1 (en) 1999-12-31 2003-02-25 Intel Corporation Application of personality models and interaction with synthetic characters in a computing system
US6895558B1 (en) 2000-02-11 2005-05-17 Microsoft Corporation Multi-access mode electronic personal assistant
US6606388B1 (en) 2000-02-17 2003-08-12 Arboretum Systems, Inc. Method and system for enhancing audio signals
US6895380B2 (en) 2000-03-02 2005-05-17 Electro Standards Laboratories Voice actuation with contextual learning for intelligent machine control
US7539656B2 (en) 2000-03-06 2009-05-26 Consona Crm Inc. System and method for providing an intelligent multi-step dialog with a user
US6466654B1 (en) 2000-03-06 2002-10-15 Avaya Technology Corp. Personal virtual assistant with semantic tagging
US6757362B1 (en) 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
GB2366009B (en) 2000-03-22 2004-07-21 Canon Kk Natural language machine interface
US7177798B2 (en) 2000-04-07 2007-02-13 Rensselaer Polytechnic Institute Natural language interface using constrained intermediate dictionary of results
US6810379B1 (en) 2000-04-24 2004-10-26 Sensory, Inc. Client/server architecture for text-to-speech synthesis
US8463912B2 (en) * 2000-05-23 2013-06-11 Media Farm, Inc. Remote displays in mobile communication networks
US6691111B2 (en) 2000-06-30 2004-02-10 Research In Motion Limited System and method for implementing a natural language user interface
JP3949356B2 (ja) 2000-07-12 2007-07-25 三菱電機株式会社 音声対話システム
US7139709B2 (en) 2000-07-20 2006-11-21 Microsoft Corporation Middleware layer between speech related applications and engines
US20060143007A1 (en) 2000-07-24 2006-06-29 Koh V E User interaction with voice information services
JP2002041276A (ja) 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
US7092928B1 (en) 2000-07-31 2006-08-15 Quantum Leap Research, Inc. Intelligent portal engine
US6778951B1 (en) 2000-08-09 2004-08-17 Concerto Software, Inc. Information retrieval method with natural language interface
AU2001295080A1 (en) 2000-09-29 2002-04-08 Professorq, Inc. Natural-language voice-activated personal assistant
US7219058B1 (en) * 2000-10-13 2007-05-15 At&T Corp. System and method for processing speech recognition results
US20030046401A1 (en) * 2000-10-16 2003-03-06 Abbott Kenneth H. Dynamically determing appropriate computer user interfaces
JP4244514B2 (ja) * 2000-10-23 2009-03-25 セイコーエプソン株式会社 音声認識方法および音声認識装置
US6832194B1 (en) 2000-10-26 2004-12-14 Sensory, Incorporated Audio recognition peripheral system
US7027974B1 (en) 2000-10-27 2006-04-11 Science Applications International Corporation Ontology-based parser for natural language processing
US20020072816A1 (en) * 2000-12-07 2002-06-13 Yoav Shdema Audio system
US7257537B2 (en) 2001-01-12 2007-08-14 International Business Machines Corporation Method and apparatus for performing dialog management in a computer conversational interface
US6964023B2 (en) 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US7290039B1 (en) 2001-02-27 2007-10-30 Microsoft Corporation Intent based processing
AU2002237495A1 (en) 2001-03-13 2002-09-24 Intelligate Ltd. Dynamic natural language understanding
US6996531B2 (en) 2001-03-30 2006-02-07 Comverse Ltd. Automated database assistance using a telephone for a speech based or text based multimedia communication mode
US7085722B2 (en) 2001-05-14 2006-08-01 Sony Computer Entertainment America Inc. System and method for menu-driven voice control of characters in a game environment
US20020194003A1 (en) 2001-06-05 2002-12-19 Mozer Todd F. Client-server security system and method
US7139722B2 (en) 2001-06-27 2006-11-21 Bellsouth Intellectual Property Corporation Location and time sensitive wireless calendaring
US6604059B2 (en) 2001-07-10 2003-08-05 Koninklijke Philips Electronics N.V. Predictive calendar
US20030033153A1 (en) 2001-08-08 2003-02-13 Apple Computer, Inc. Microphone elements for a computing system
US7987151B2 (en) 2001-08-10 2011-07-26 General Dynamics Advanced Info Systems, Inc. Apparatus and method for problem solving using intelligent agents
US6813491B1 (en) 2001-08-31 2004-11-02 Openwave Systems Inc. Method and apparatus for adapting settings of wireless communication devices in accordance with user proximity
US7403938B2 (en) 2001-09-24 2008-07-22 Iac Search & Media, Inc. Natural language query processing
US6985865B1 (en) 2001-09-26 2006-01-10 Sprint Spectrum L.P. Method and system for enhanced response to voice commands in a voice command platform
US6650735B2 (en) 2001-09-27 2003-11-18 Microsoft Corporation Integrated voice access to a variety of personal information services
US7324947B2 (en) 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US7167832B2 (en) 2001-10-15 2007-01-23 At&T Corp. Method for dialog management
TW541517B (en) 2001-12-25 2003-07-11 Univ Nat Cheng Kung Speech recognition system
US7197460B1 (en) 2002-04-23 2007-03-27 At&T Corp. System for handling frequently asked questions in a natural language dialog service
US7546382B2 (en) 2002-05-28 2009-06-09 International Business Machines Corporation Methods and systems for authoring of mixed-initiative multi-modal interactions and related browsing mechanisms
US7398209B2 (en) 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7299033B2 (en) 2002-06-28 2007-11-20 Openwave Systems Inc. Domain-based management of distribution of digital content from multiple suppliers to multiple wireless services subscribers
US7233790B2 (en) 2002-06-28 2007-06-19 Openwave Systems, Inc. Device capability based discovery, packaging and provisioning of content for wireless mobile devices
JP4694835B2 (ja) * 2002-07-12 2011-06-08 ヴェーデクス・アクティーセルスカプ 補聴器および音声の明瞭さを高める方法
US7693720B2 (en) 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7467087B1 (en) 2002-10-10 2008-12-16 Gillick Laurence S Training and using pronunciation guessers in speech recognition
US7603276B2 (en) * 2002-11-21 2009-10-13 Panasonic Corporation Standard-model generation for speech recognition using a reference model
AU2003293071A1 (en) 2002-11-22 2004-06-18 Roy Rosser Autonomous response engine
EP2017828A1 (en) 2002-12-10 2009-01-21 Kirusa, Inc. Techniques for disambiguating speech input using multimodal interfaces
US7386449B2 (en) 2002-12-11 2008-06-10 Voice Enabling Systems Technology Inc. Knowledge-based flexible natural speech dialogue system
US7191127B2 (en) * 2002-12-23 2007-03-13 Motorola, Inc. System and method for speech enhancement
US7956766B2 (en) 2003-01-06 2011-06-07 Panasonic Corporation Apparatus operating system
US7529671B2 (en) 2003-03-04 2009-05-05 Microsoft Corporation Block synchronous decoding
US6980949B2 (en) 2003-03-14 2005-12-27 Sonum Technologies, Inc. Natural language processor
US7496498B2 (en) 2003-03-24 2009-02-24 Microsoft Corporation Front-end architecture for a multi-lingual text-to-speech system
US7519186B2 (en) * 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7200559B2 (en) 2003-05-29 2007-04-03 Microsoft Corporation Semantic object synchronous understanding implemented with speech application language tags
US7720683B1 (en) 2003-06-13 2010-05-18 Sensory, Inc. Method and apparatus of specifying and performing speech recognition operations
US7559026B2 (en) 2003-06-20 2009-07-07 Apple Inc. Video conferencing system having focus control
US7475010B2 (en) 2003-09-03 2009-01-06 Lingospot, Inc. Adaptive and scalable method for resolving natural language ambiguities
US7418392B1 (en) 2003-09-25 2008-08-26 Sensory, Inc. System and method for controlling the operation of a device by voice commands
AU2003274864A1 (en) 2003-10-24 2005-05-11 Nokia Corpration Noise-dependent postfiltering
US7529676B2 (en) 2003-12-05 2009-05-05 Kabushikikaisha Kenwood Audio device control device, audio device control method, and program
ATE404967T1 (de) 2003-12-16 2008-08-15 Loquendo Spa Text-zu-sprache-system und verfahren, computerprogramm dafür
ATE415684T1 (de) 2004-01-29 2008-12-15 Harman Becker Automotive Sys Verfahren und system zur sprachdialogschnittstelle
US7693715B2 (en) 2004-03-10 2010-04-06 Microsoft Corporation Generating large units of graphonemes with mutual information criterion for letter to sound conversion
US7711129B2 (en) 2004-03-11 2010-05-04 Apple Inc. Method and system for approximating graphic equalizers using dynamic filter order reduction
US7409337B1 (en) 2004-03-30 2008-08-05 Microsoft Corporation Natural language processing interface
US7496512B2 (en) 2004-04-13 2009-02-24 Microsoft Corporation Refining of segmental boundaries in speech waveforms using contextual-dependent models
US7627461B2 (en) 2004-05-25 2009-12-01 Chevron U.S.A. Inc. Method for field scale production optimization by enhancing the allocation of well flow rates
US8095364B2 (en) 2004-06-02 2012-01-10 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US7720674B2 (en) 2004-06-29 2010-05-18 Sap Ag Systems and methods for processing natural language queries
TWI252049B (en) 2004-07-23 2006-03-21 Inventec Corp Sound control system and method
US7725318B2 (en) 2004-07-30 2010-05-25 Nice Systems Inc. System and method for improving the accuracy of audio searching
US20060067535A1 (en) 2004-09-27 2006-03-30 Michael Culbert Method and system for automatically equalizing multiple loudspeakers
US20060067536A1 (en) 2004-09-27 2006-03-30 Michael Culbert Method and system for time synchronizing multiple loudspeakers
US7716056B2 (en) 2004-09-27 2010-05-11 Robert Bosch Corporation Method and system for interactive conversational dialogue for cognitively overloaded device users
US8107401B2 (en) 2004-09-30 2012-01-31 Avaya Inc. Method and apparatus for providing a virtual assistant to a communication participant
US7702500B2 (en) 2004-11-24 2010-04-20 Blaedow Karen R Method and apparatus for determining the meaning of natural language
US7376645B2 (en) 2004-11-29 2008-05-20 The Intellection Group, Inc. Multimodal natural language query system and architecture for processing voice and proximity-based queries
US20060122834A1 (en) 2004-12-03 2006-06-08 Bennett Ian M Emotion detection device & method for use in distributed systems
US8214214B2 (en) 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
US7636657B2 (en) 2004-12-09 2009-12-22 Microsoft Corporation Method and apparatus for automatic grammar generation from data entries
US7536565B2 (en) 2005-01-07 2009-05-19 Apple Inc. Techniques for improved playlist processing on media devices
US7873654B2 (en) 2005-01-24 2011-01-18 The Intellection Group, Inc. Multimodal natural language query system for processing and analyzing voice and proximity-based queries
US7508373B2 (en) 2005-01-28 2009-03-24 Microsoft Corporation Form factor and input method for language input
GB0502259D0 (en) 2005-02-03 2005-03-09 British Telecomm Document searching tool and method
US7634413B1 (en) 2005-02-25 2009-12-15 Apple Inc. Bitrate constrained variable bitrate audio encoding
US7676026B1 (en) 2005-03-08 2010-03-09 Baxtech Asia Pte Ltd Desktop telephony system
US7925525B2 (en) 2005-03-25 2011-04-12 Microsoft Corporation Smart reminders
US7664558B2 (en) 2005-04-01 2010-02-16 Apple Inc. Efficient techniques for modifying audio playback rates
KR100586556B1 (ko) 2005-04-01 2006-06-08 주식회사 하이닉스반도체 반도체 장치의 프리차지 전압공급회로
US7627481B1 (en) 2005-04-19 2009-12-01 Apple Inc. Adapting masking thresholds for encoding a low frequency transient signal in audio data
WO2006129967A1 (en) 2005-05-30 2006-12-07 Daumsoft, Inc. Conversation system and method using conversational agent
US8041570B2 (en) 2005-05-31 2011-10-18 Robert Bosch Corporation Dialogue management using scripts
US8300841B2 (en) 2005-06-03 2012-10-30 Apple Inc. Techniques for presenting sound effects on a portable media player
US8024195B2 (en) 2005-06-27 2011-09-20 Sensory, Inc. Systems and methods of performing speech recognition using historical information
US7826945B2 (en) 2005-07-01 2010-11-02 You Zhang Automobile speech-recognition interface
US7613264B2 (en) 2005-07-26 2009-11-03 Lsi Corporation Flexible sampling-rate encoder
US7640160B2 (en) 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
WO2007019469A2 (en) 2005-08-05 2007-02-15 Realnetworks, Inc. Systems and methods for queuing purchase transactions and for registering users and devices
US7620549B2 (en) 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8265939B2 (en) 2005-08-31 2012-09-11 Nuance Communications, Inc. Hierarchical methods and apparatus for extracting user intent from spoken utterances
WO2007027989A2 (en) 2005-08-31 2007-03-08 Voicebox Technologies, Inc. Dynamic speech sharpening
WO2007028128A2 (en) * 2005-09-01 2007-03-08 Vishal Dhawan Voice application network platform
EP1760696B1 (en) * 2005-09-03 2016-02-03 GN ReSound A/S Method and apparatus for improved estimation of non-stationary noise for speech enhancement
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7930168B2 (en) 2005-10-04 2011-04-19 Robert Bosch Gmbh Natural language processing of disfluent sentences
US20070083467A1 (en) 2005-10-10 2007-04-12 Apple Computer, Inc. Partial encryption techniques for media data
US8620667B2 (en) 2005-10-17 2013-12-31 Microsoft Corporation Flexible speech-activated command and control
US7707032B2 (en) 2005-10-20 2010-04-27 National Cheng Kung University Method and system for matching speech data
US20070185926A1 (en) 2005-11-28 2007-08-09 Anand Prahlad Systems and methods for classifying and transferring information in a storage network
KR100810500B1 (ko) 2005-12-08 2008-03-07 한국전자통신연구원 대화형 음성 인터페이스 시스템에서의 사용자 편의성증대 방법
DE102005061365A1 (de) 2005-12-21 2007-06-28 Siemens Ag Verfahren zur Ansteuerung zumindest einer ersten und zweiten Hintergrundapplikation über ein universelles Sprachdialogsystem
US7599918B2 (en) 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
US7673238B2 (en) 2006-01-05 2010-03-02 Apple Inc. Portable media device with video acceleration capabilities
US20070174188A1 (en) 2006-01-25 2007-07-26 Fish Robert D Electronic marketplace that facilitates transactions between consolidated buyers and/or sellers
IL174107A0 (en) 2006-02-01 2006-08-01 Grois Dan Method and system for advertising by means of a search engine over a data network
KR100764174B1 (ko) 2006-03-03 2007-10-08 삼성전자주식회사 음성 대화 서비스 장치 및 방법
US7752152B2 (en) 2006-03-17 2010-07-06 Microsoft Corporation Using predictive user models for language modeling on a personal device with user behavior models based on statistical modeling
JP4734155B2 (ja) 2006-03-24 2011-07-27 株式会社東芝 音声認識装置、音声認識方法および音声認識プログラム
US7707027B2 (en) 2006-04-13 2010-04-27 Nuance Communications, Inc. Identification and rejection of meaningless input during natural language classification
US8423347B2 (en) 2006-06-06 2013-04-16 Microsoft Corporation Natural language personal information management
US20100257160A1 (en) 2006-06-07 2010-10-07 Yu Cao Methods & apparatus for searching with awareness of different types of information
US7483894B2 (en) 2006-06-07 2009-01-27 Platformation Technologies, Inc Methods and apparatus for entity search
US7523108B2 (en) 2006-06-07 2009-04-21 Platformation, Inc. Methods and apparatus for searching with awareness of geography and languages
US20070294263A1 (en) * 2006-06-16 2007-12-20 Ericsson, Inc. Associating independent multimedia sources into a conference call
KR100776800B1 (ko) 2006-06-16 2007-11-19 한국전자통신연구원 지능형 가제트를 이용한 맞춤형 서비스 제공 방법 및시스템
US20070291108A1 (en) * 2006-06-16 2007-12-20 Ericsson, Inc. Conference layout control and control protocol
US7548895B2 (en) 2006-06-30 2009-06-16 Microsoft Corporation Communication-prompted user assistance
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8036766B2 (en) 2006-09-11 2011-10-11 Apple Inc. Intelligent audio mixing among media playback and at least one other non-playback application
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US20080129520A1 (en) 2006-12-01 2008-06-05 Apple Computer, Inc. Electronic device with enhanced audio feedback
US8493330B2 (en) 2007-01-03 2013-07-23 Apple Inc. Individual channel phase delay scheme
WO2008086112A1 (en) 2007-01-04 2008-07-17 Sound Id Personalized sound system hearing profile selection process
KR100883657B1 (ko) 2007-01-26 2009-02-18 삼성전자주식회사 음성 인식 기반의 음악 검색 방법 및 장치
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US7822608B2 (en) 2007-02-27 2010-10-26 Nuance Communications, Inc. Disambiguating a speech recognition grammar in a multimodal application
US7801729B2 (en) 2007-03-13 2010-09-21 Sensory, Inc. Using multiple attributes to create a voice search playlist
US8219406B2 (en) 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
JP2008236448A (ja) 2007-03-22 2008-10-02 Clarion Co Ltd 音声信号処理装置、ハンズフリー通話装置、音声信号処理方法および制御プログラム
US7809610B2 (en) 2007-04-09 2010-10-05 Platformation, Inc. Methods and apparatus for freshness and completeness of information
US20080253577A1 (en) 2007-04-13 2008-10-16 Apple Inc. Multi-channel sound panner
US7983915B2 (en) 2007-04-30 2011-07-19 Sonic Foundry, Inc. Audio content search engine
US8055708B2 (en) 2007-06-01 2011-11-08 Microsoft Corporation Multimedia spaces
US8204238B2 (en) 2007-06-08 2012-06-19 Sensory, Inc Systems and methods of sonic communication
KR20080109322A (ko) 2007-06-12 2008-12-17 엘지전자 주식회사 사용자의 직관적 의도 파악에 따른 서비스 제공 방법 및장치
US9632561B2 (en) 2007-06-28 2017-04-25 Apple Inc. Power-gating media decoders to reduce power consumption
US8041438B2 (en) 2007-06-28 2011-10-18 Apple Inc. Data-driven media management within an electronic device
US7861008B2 (en) 2007-06-28 2010-12-28 Apple Inc. Media management and routing within an electronic device
US9794605B2 (en) 2007-06-28 2017-10-17 Apple Inc. Using time-stamped event entries to facilitate synchronizing data streams
US8190627B2 (en) 2007-06-28 2012-05-29 Microsoft Corporation Machine assisted query formulation
US8019606B2 (en) 2007-06-29 2011-09-13 Microsoft Corporation Identification and selection of a software application via speech
US8306235B2 (en) 2007-07-17 2012-11-06 Apple Inc. Method and apparatus for using a sound sensor to adjust the audio output for a device
JP2009036999A (ja) 2007-08-01 2009-02-19 Infocom Corp コンピュータによる対話方法、対話システム、コンピュータプログラムおよびコンピュータに読み取り可能な記憶媒体
WO2009029910A2 (en) 2007-08-31 2009-03-05 Proxpro, Inc. Situation-aware personal information management for a mobile device
US20090058823A1 (en) 2007-09-04 2009-03-05 Apple Inc. Virtual Keyboards in Multi-Language Environment
US8683197B2 (en) 2007-09-04 2014-03-25 Apple Inc. Method and apparatus for providing seamless resumption of video playback
KR100920267B1 (ko) 2007-09-17 2009-10-05 한국전자통신연구원 음성 대화 분석 시스템 및 그 방법
US8706476B2 (en) 2007-09-18 2014-04-22 Ariadne Genomics, Inc. Natural language processing method by analyzing primitive sentences, logical clauses, clause types and verbal blocks
US8069051B2 (en) 2007-09-25 2011-11-29 Apple Inc. Zero-gap playback using predictive mixing
US8462959B2 (en) 2007-10-04 2013-06-11 Apple Inc. Managing acoustic noise produced by a device
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8515095B2 (en) 2007-10-04 2013-08-20 Apple Inc. Reducing annoyance by managing the acoustic noise produced by a device
US8036901B2 (en) 2007-10-05 2011-10-11 Sensory, Incorporated Systems and methods of performing speech recognition using sensory inputs of human position
US20090112677A1 (en) 2007-10-24 2009-04-30 Rhett Randolph L Method for automatically developing suggested optimal work schedules from unsorted group and individual task lists
US7840447B2 (en) 2007-10-30 2010-11-23 Leonard Kleinrock Pricing and auctioning of bundled items among multiple sellers and buyers
US7983997B2 (en) 2007-11-02 2011-07-19 Florida Institute For Human And Machine Cognition, Inc. Interactive complex task teaching system that allows for natural language input, recognizes a user's intent, and automatically performs tasks in document object model (DOM) nodes
US8112280B2 (en) 2007-11-19 2012-02-07 Sensory, Inc. Systems and methods of performing speech recognition with barge-in for use in a bluetooth system
US7805286B2 (en) * 2007-11-30 2010-09-28 Bose Corporation System and method for sound system simulation
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US8219407B1 (en) 2007-12-27 2012-07-10 Great Northern Research, LLC Method for processing the output of a speech recognizer
US8138896B2 (en) 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
KR101334066B1 (ko) 2008-02-11 2013-11-29 이점식 진화하는 사이버 로봇 시스템 및 그 제공 방법
US8099289B2 (en) 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US20100329490A1 (en) * 2008-02-20 2010-12-30 Koninklijke Philips Electronics N.V. Audio device and method of operation therefor
US20090253457A1 (en) 2008-04-04 2009-10-08 Apple Inc. Audio signal processing for certification enhancement in a handheld wireless communications device
US8082148B2 (en) * 2008-04-24 2011-12-20 Nuance Communications, Inc. Testing a grammar used in speech recognition for reliability in a plurality of operating environments having different background noise
US8121837B2 (en) * 2008-04-24 2012-02-21 Nuance Communications, Inc. Adjusting a speech engine for a mobile computing device based on background noise
US8285344B2 (en) 2008-05-21 2012-10-09 DP Technlogies, Inc. Method and apparatus for adjusting audio for a user environment
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8423288B2 (en) 2009-11-30 2013-04-16 Apple Inc. Dynamic alerts for calendar events
US8166019B1 (en) 2008-07-21 2012-04-24 Sprint Communications Company L.P. Providing suggested actions in response to textual communications
US8041848B2 (en) 2008-08-04 2011-10-18 Apple Inc. Media processing method and device
US8380959B2 (en) 2008-09-05 2013-02-19 Apple Inc. Memory management system and method
US20100063825A1 (en) 2008-09-05 2010-03-11 Apple Inc. Systems and Methods for Memory Management and Crossfading in an Electronic Device
US8098262B2 (en) 2008-09-05 2012-01-17 Apple Inc. Arbitrary fractional pixel movement
US8401178B2 (en) 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
US9077526B2 (en) 2008-09-30 2015-07-07 Apple Inc. Method and system for ensuring sequential playback of digital media
US9200913B2 (en) 2008-10-07 2015-12-01 Telecommunication Systems, Inc. User interface for predictive traffic
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US8606735B2 (en) 2009-04-30 2013-12-10 Samsung Electronics Co., Ltd. Apparatus and method for predicting user's intention based on multimodal information
KR101581883B1 (ko) 2009-04-30 2016-01-11 삼성전자주식회사 모션 정보를 이용하는 음성 검출 장치 및 방법
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
KR101562792B1 (ko) 2009-06-10 2015-10-23 삼성전자주식회사 목표 예측 인터페이스 제공 장치 및 그 방법
US8527278B2 (en) 2009-06-29 2013-09-03 Abraham Ben David Intelligent home automation
US8321527B2 (en) 2009-09-10 2012-11-27 Tribal Brands System and method for tracking user location and associated activity and responsively providing mobile device updates
KR20110036385A (ko) 2009-10-01 2011-04-07 삼성전자주식회사 사용자 의도 분석 장치 및 방법
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US20110099507A1 (en) 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
US9171541B2 (en) 2009-11-10 2015-10-27 Voicebox Technologies Corporation System and method for hybrid processing in a natural language voice services environment
WO2011059997A1 (en) 2009-11-10 2011-05-19 Voicebox Technologies, Inc. System and method for providing a natural language content dedication service
US8712759B2 (en) 2009-11-13 2014-04-29 Clausal Computing Oy Specializing disambiguation of a natural language expression
KR101960835B1 (ko) 2009-11-24 2019-03-21 삼성전자주식회사 대화 로봇을 이용한 일정 관리 시스템 및 그 방법
US8396888B2 (en) 2009-12-04 2013-03-12 Google Inc. Location-based searching using a search area that corresponds to a geographical location of a computing device
KR101622111B1 (ko) 2009-12-11 2016-05-18 삼성전자 주식회사 대화 시스템 및 그의 대화 방법
US8494852B2 (en) 2010-01-05 2013-07-23 Google Inc. Word-level correction of speech input
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8626511B2 (en) 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US20110218855A1 (en) 2010-03-03 2011-09-08 Platformation, Inc. Offering Promotions Based on Query Analysis
KR101369810B1 (ko) 2010-04-09 2014-03-05 이초강 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
US8265928B2 (en) 2010-04-14 2012-09-11 Google Inc. Geotagged environmental audio for enhanced speech recognition accuracy
US20110279368A1 (en) 2010-05-12 2011-11-17 Microsoft Corporation Inferring user intent to engage a motion capture system
US8694313B2 (en) 2010-05-19 2014-04-08 Google Inc. Disambiguation of contact information using historical data
US8522283B2 (en) 2010-05-20 2013-08-27 Google Inc. Television remote control data transfer
US8468012B2 (en) 2010-05-26 2013-06-18 Google Inc. Acoustic model adaptation using geographic information
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US20110306426A1 (en) 2010-06-10 2011-12-15 Microsoft Corporation Activity Participation Based On User Intent
US8234111B2 (en) * 2010-06-14 2012-07-31 Google Inc. Speech and noise models for speech recognition
US8411874B2 (en) 2010-06-30 2013-04-02 Google Inc. Removing noise from audio
US8775156B2 (en) 2010-08-05 2014-07-08 Google Inc. Translating languages in response to device motion
US8473289B2 (en) 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
WO2012148904A1 (en) 2011-04-25 2012-11-01 Veveo, Inc. System and method for an intelligent personal timeline assistant

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060282264A1 (en) 2005-06-09 2006-12-14 Bellsouth Intellectual Property Corporation Methods and systems for providing noise filtering using speech recognition
JP2008271481A (ja) * 2007-03-27 2008-11-06 Brother Ind Ltd 電話装置

Also Published As

Publication number Publication date
CN102859592B (zh) 2014-08-13
US20110300806A1 (en) 2011-12-08
AU2011261756B2 (en) 2014-09-04
JP2013527499A (ja) 2013-06-27
WO2011152993A1 (en) 2011-12-08
EP2577658B1 (en) 2016-11-02
US8639516B2 (en) 2014-01-28
KR20130012073A (ko) 2013-01-31
US20140142935A1 (en) 2014-05-22
EP2577658A1 (en) 2013-04-10
US10446167B2 (en) 2019-10-15
CN102859592A (zh) 2013-01-02
AU2011261756A1 (en) 2012-11-01

Similar Documents

Publication Publication Date Title
KR101520162B1 (ko) 음질 개선을 위한 사용자 특정 잡음 억제
US9847096B2 (en) Environment sensing intelligent apparatus
CN108346433A (zh) 一种音频处理方法、装置、设备及可读存储介质
KR20210038871A (ko) 리플레이 공격의 탐지
WO2019033986A1 (zh) 声音播放器件的检测方法、装置、存储介质及终端
US8358786B2 (en) Method and apparatus to measure hearing ability of user of mobile device
JP6121606B1 (ja) 聴覚トレーニング装置、聴覚トレーニング装置の作動方法、およびプログラム
CN108449507A (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108172237B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN101442699A (zh) 声音播放装置参数调整方法
CN108449502A (zh) 语音通话数据处理方法、装置、存储介质及移动终端
US7813924B2 (en) Voice conversion training and data collection
US20090061843A1 (en) System and Method for Measuring the Speech Quality of Telephone Devices in the Presence of Noise
CN108418968A (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN106572818A (zh) 一种具有用户特定编程的听觉系统
US9078071B2 (en) Mobile electronic device and control method
JP2013540379A (ja) プライバシー及び個人使用のための背景音除去
JP2005244375A (ja) 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム
CN116132869A (zh) 耳机音量的调节方法、耳机及存储介质
JP2007202174A (ja) 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム
CN113259826B (zh) 在电子终端中实现助听的方法和装置
CN108449508A (zh) 语音通话处理方法、装置、存储介质及移动终端
KR20100106738A (ko) 마이크를 이용한 바람 인식 방법 및 시스템
TWI716123B (zh) 除噪能力評估系統及方法
CN115362499A (zh) 用于在各种环境中增强音频的系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 5