KR102618902B1 - 전자 장치에 대한 잡음 제거 - Google Patents

전자 장치에 대한 잡음 제거 Download PDF

Info

Publication number
KR102618902B1
KR102618902B1 KR1020187002310A KR20187002310A KR102618902B1 KR 102618902 B1 KR102618902 B1 KR 102618902B1 KR 1020187002310 A KR1020187002310 A KR 1020187002310A KR 20187002310 A KR20187002310 A KR 20187002310A KR 102618902 B1 KR102618902 B1 KR 102618902B1
Authority
KR
South Korea
Prior art keywords
controller
microphone
speech
logic
factor
Prior art date
Application number
KR1020187002310A
Other languages
English (en)
Other versions
KR20180014187A (ko
Inventor
스반엔두 카르
나빈 차틀라니
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20180014187A publication Critical patent/KR20180014187A/ko
Application granted granted Critical
Publication of KR102618902B1 publication Critical patent/KR102618902B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

일 예에서, 제어기는 적어도 부분적으로 하드웨어 로직을 포함하는 로직을 포함하는데, 로직은, 비공중 마이크(non-aerial microphone)에서 수신된 오디오 신호에서 스피치 활동을 검출하고, 스피치 활동에 응답하여, 공중 마이크(aerial microphone)에서 수신된 스피치 입력에 잡음 제거 알고리즘을 적용하도록 구성된다. 다른 예가 설명될 수 있다.

Description

전자 장치에 대한 잡음 제거
본 명세서에 설명된 발명의 대상은 일반적으로 전자 장치의 분야에 관한 것으로서, 더 구체적으로는 전자 장치에 대한 잡음 제거에 관한 것이다.
랩탑 컴퓨터, 넷북 스타일 컴퓨터, 태블릿 컴퓨터, 휴대폰, 전자 리더 등과 같은 다수의 전자 장치는 장치 내에 내장된 예를 들어, 음성 및 텍스트 메시징과 같은 통신 기능을 갖는다. 몇몇 상황에서, 헤드셋, 컴퓨터 장착 안경 등과 같은 보조 전자 장치 상의 인터페이스를 사용하여 이러한 전자 장치와 통신하는 것이 유용할 수 있다.
따라서, 몇몇 상황에서, 전자 장치를 통해 통신할 때 잡음 제거를 제공하는 시스템 및 기술이 유용성을 찾을 수 있다.
상세한 설명이 첨부 도면을 참조하여 설명된다.
도 1은 몇몇 예에 따른, 잡음 제거(noise reduction)와 함께 동작하도록 구성될 수 있는 예시적인 전자 장치의 도면이다.
도 2는 몇몇 예에 따른, 전자 장치에 대해 잡음 제거를 구현하도록 구성될 수 있는 웨어러블 장치의 구성요소의 개략도이다.
도 3은 몇몇 예에 따른, 전자 장치에 대해 잡음 제거를 구현하도록 구성될 수 있는 제어기의 고레벨 개략도이다.
도 4는 몇몇 예에 따라, 전자 장치에 대한 잡음 제거가 구현될 수 있는 환경의 고레벨 개략도이다.
도 5는 몇몇 예에 따라, 전자 장치에 대해 잡음 제거를 구현하는 방법의 동작을 나타내는 흐름도이다.
도 6 내지 도 10은 몇몇 실시예에 따른, 잡음 제거를 구현하도록 구성될 수 있는 전자 장치의 개략도이다.
본 명세서에는 전자 장치에 대한 잡음 제거를 구현하는 예시적인 시스템 및 방법이 설명된다. 이하의 설명에서, 수많은 특정한 세부 사항이 다양한 예의 철저한 이해를 제공하기 위해 설명된다. 그러나, 당업자는 다양한 예가 특정한 세부 사항 없이도 실시될 수 있다는 것을 이해할 것이다. 다른 경우에, 특정 예를 불명료하게 하지 않게 하기 위해 잘 알려진 방법, 절차, 구성요소 및 회로는 상세히 도시되거나 설명되지 않는다.
배경 기술로서, 잡음 제거는 오디오 입력을 지원하는 전자 장치(전화, 태블릿 및 컴퓨터를 포함)와 함께 사용될 수 있다. 잡음 제거는 안경이나 이어피스와 같은 웨어러블 장치에서도 사용할 수 있다. 웨어러블 장치는 공중 마이크 및 비공중 마이크(예를 들어, 골전도 마이크(bone conduction microphones) 및 귓속 마이크에(in-ear microphones)) 모두로부터 오디오 신호를 캡처할 수 있는 기능을 제공하는데, 여기서 오디오는 뼈와 귀관(ear-canal)을 통해 각각 전달된다. 이러한 방식은 비공중 마이크라고도 하며, 전송 매체로 공기를 사용하는 일반 마이크와 구별된다.
현대의 많은 잡음 제거 기술은 음성 또는 스피치 입력을 포함하는 프레임과, 음성 또는 스피치 입력을 포함하지 않는 프레임으로 스피치 프레임을 초기 분류한다. 본 명세서에는 공중 마이크 및 비공중 마이크 모두로부터 입력을 수신하는 전자 장치에 의해 캡처된 잡음 섞인 스피치를 개선시키기 위한 잡음 제거 기술이 설명된다. 본 명세서에서 설명된 잡음 제거 기술은 공중 마이크 및 비공중 마이크 모두로부터 정보를 추출하여 음성/비 음성 분류를 함으로써 잡음 제거 시스템의 성능을 향상시킨다. 또한, 세부 사항이 도 1 내지 도 10을 참조하여 설명될 것이다.
도 1은 전자 장치(100)의 예의 개략도이다. 몇몇 양태에서, 원격 전자 장치(100)는 휴대폰, 태블릿 컴퓨팅 장치, 퍼스널 디지털 어시스턴트(personal digital assistant: PDA), 노트패드 컴퓨터, 비디오 카메라 등으로서 실시될 수 있다. 원격 전자 장치(100)의 특정한 실시예가 중요한 것은 아니다.
몇몇 예에서, 전자 장치(100)는 RF 신호를 송수신하는 RF 송수신기(120)와, RF 송수신기(120)에 의해 수신된 신호를 프로세싱하는 신호 프로세싱 모듈(122)을 포함할 수 있다. RF 송수신기(120)는 예를 들어, 블루투스(Bluetooth) 또는 802.11X. IEEE 802.11a, b 또는 g-대응 인터페이스(예를 들어, IEEE Standard for IT-Telecommunications and information exchange between systems LAN/MAN-Part II: Wireless LAN Medium Access Control(MAC) and Physical Layer(PHY) specifications Amendment 4: Further Higher Data Rate Extension in the 2.4 GHz Band, 802.11G-2003 참조)와 같은 프로토콜을 거쳐 로컬 무선 접속을 구현할 수 있다. 무선 인터페이스의 다른 예는 범용 패킷 무선 서비스(general packet radio service: GPRS) 인터페이스(예를 들어, Guidelines on GPRS Handset Requirements, Global System for Mobile Communications/GSM Association, Ver. 3.0.1, December 2002 참조)일 것이다.
원격 전자 장치(100)는 하나 이상의 프로세서(124) 및 메모리(140)를 추가로 포함할 수 있다. 본 명세서에 사용될 때, 용어 "프로세서"는 마이크로프로세서, 마이크로제어기, 복합 명령 세트 컴퓨팅(complex instruction set computing: CISC) 마이크로프로세서, 축소 명령 세트(reduced instruction set: RISC) 마이크로프로세서, 긴 명령어 워드(very long instruction word: VLIW) 마이크로프로세서, 또는 임의의 다른 유형의 프로세서 또는 프로세싱 회로와 같은, 임의의 유형의 연산 요소를 의미하나 이로 한정되지는 않는다. 몇몇 예에서, 프로세서(124)는 미국 캘리포니아주 산타 클라라 소재의 인텔® 코포레이션(Intel® 코포레이션)으로부터 입수가능한 프로세서 패밀리 중의 하나 이상의 프로세서일 수 있다. 대안적으로, 인텔의 이타늄(Itanium)®, 제온(XEON)™, 아톰(ATOM)™, 및 셀러론(Celeron)® 프로세서와 같은 다른 프로세서가 사용될 수 있다. 또한, 다른 제조업자로부터의 하나 이상의 프로세서가 사용될 수 있다. 또한, 프로세서는 싱글 또는 멀티 코어 디자인을 가질 수 있다.
몇몇 예에서, 메모리(140)는 랜덤 액세스 메모리(random access memory: RAM)를 포함하지만, 메모리(140)는 동적 RAM(DRAM), 동기식 DRAM(SDRAM) 등과 같은 다른 메모리 유형을 사용하여 구현될 수 있다. 메모리(140)는 프로세서(들)(124) 상에서 실행하는 하나 이상의 애플리케이션을 포함할 수 있다.
원격 전자 장치(100)는 예를 들어, 키패드, 터치패드, 마이크 등과 같은 하나 이상의 입출력 장치(126), 하나 이상의 디스플레이(128), 스피커(134), 및 하나 이상의 레코딩 장치(130)를 추가로 포함할 수 있다. 예로서, 레코딩 장치(들)(130)는 하나 이상의 카메라 및/또는 마이크를 포함할 수 있다. 스피치 프로세싱 모듈(132)은 하나 이상의 마이크과 같은 입출력 장치(들)(126)에 의해 수신된 스피치 입력을 프로세싱하도록 제공될 수 있다.
몇몇 예에서, 원격 전자 장치(100)는 전술된 프로세서(들)(124)로부터 분리될 수 있는 저전력 제어기(170)를 포함할 수 있다. 도 1에 도시된 예에서, 제어기(170)는 하나 이상의 프로세서(들)(172), 메모리 모듈(174), 및 I/O 모듈(176)을 포함한다. 몇몇 예에서, 메모리 모듈(174)은 영구 플래시 메모리 모듈을 포함할 수 있고, I/O 모듈(176)은 예를 들어, 펌웨어 또는 소프트웨어와 같은, 영구 메모리 모듈 내에 인코딩된 논리 명령어로서 구현될 수 있다. I/O 모듈(176)은 직렬 I/O 모듈 또는 병렬 I/O 모듈을 포함할 수 있다. 또한, 겸용 제어기(adjunct controller)(170)가 메인 프로세서(들)(124)로부터 물리적으로 분리되어 있기 때문에, 제어기(170)는 프로세서(들)(124)가 저전력 소비 상태, 예를 들어 슬립 상태(sleep state)에 남아 있는 동안 독립적으로 동작할 수 있다. 또한, 저전력 제어기(170)는 저전력 제어기(170)가 운영 시스템을 통해 해킹에 액세스할 수 없다는 의미에서 안전할 수 있다. 몇몇 예에서, 스피치 프로세싱 모듈(132)의 저전력 인스턴스(instance)가 제어기(170) 상에서 실행될 수 있다.
도 2는 몇몇 예에 따른, 전자 장치에 대해 잡음 제거를 구현하도록 구성될 수 있는 웨어러블 장치(200)의 구성요소의 개략도이다. 웨어러블 전자 장치(200)의 구성요소의 다수는 도 1에 도시된 전자 장치(100)에 대한 상응하는 구성요소와 동일할 수 있다. 간략화 및 명료화를 위해, 이들 구성요소의 설명은 반복되지 않을 것이다.
도 2에 도시된 바와 같이, 몇몇 예에서, 웨어러블 전자 장치(200)는 이어피스 또는 헤드셋과 같은 웨어러블 전자 장치로서 구현될 수 있다. 전자 장치(200)는 적어도 공중 마이크(202) 또는 비공중 마이크(204), 예를 들어 귀 마이크 또는 골전도 마이크를 포함할 수 있다.
도 3은 몇몇 예에 따른, 전자 장치에 대해 잡음 제거를 구현하도록 구성될 수 있는 제어기의 고레벨 개략도이다. 도 3을 참조하면, 몇몇 환경에서, 웨어러블 전자 장치(200)는 전술된 바와 같이 오디오 입력을 수신하기 위한 적어도 하나의 공중 마이크(202) 및 적어도 하나의 비공중 마이크(204)를 포함한다. 공중 마이크(202) 및 비공중 마이크(204)는 스피치 프로세싱 모듈(132)에 결합되어, 공중 마이크(202) 및 비공중 마이크(204)로 입력된 오디오가, 하나 이상의 스피커(310)에 차례로 결합될 수 있는, 스피치 프로세싱 모듈(132)로 향하게 할 수 있다.
앞서, 전자 장치에서 잡음 제거를 구현하기 위한 다양한 구조를 설명했지만, 추가의 동작 양태가 도 4 및 도 5를 참조하여 설명될 것이다. 도 4는 몇몇 예에 따라, 전자 장치에 대한 잡음 제거가 구현될 수 있는 환경(400)의 고레벨 개략도이며, 도 5는 몇몇 예에 따라, 전자 장치에 대해 잡음 제거를 구현하는 방법의 동작을 나타내는 흐름도이다.
도 4 및 도 5를 참조하면, 몇몇 실시예에서, 잡음 제거 시스템은 다음에 의해 기술된 모델을 구현할 수 있다:
Figure 112018008379370-pct00001
여기서, xi[n]은 시스템에서 i번째 마이크에 의해 기록된 잡음 섞인 스피치 신호를 나타내고, Si[n]은 i번째 마이크에서의 잡음 없는 스피치를 나타내고, di[n]은 i번째 마이크에서의 잡음 소스를 나타내는데 이것은 스피치와 무관하다고 가정한다.
수학식 1의 단시간 푸리에 변환(Short Time Fourier Transform: STFT)은, 주파수 빈 k 및 시간 프레임 n에 대해, 다음과 같이 표현될 수 있다:
Figure 112018008379370-pct00002
따라서, 도 4 및 도 5를 참조하면, 동작(510)에서 공중 마이크(들)(202) 및 비공중 마이크(204)로부터 입력이 수신된다. 동작(515)에서, 공중 마이크(들)(202) 및 비공중 마이크(204)로부터의 오디오 입력의 STFT(410)가 결정된다.
동작(520)에서, 스피치 확률이 결정된다. 비공중 마이크(204)는 공중 마이크(202)보다 스피치 존재를 더 잘 보여준다. 이와 같이, 동작(520)에서, 비공중 마이크(204)로부터의 입력이 분석되어 특정 프레임에 대한 스피치 존재 확률 인자(420)가 결정될 수 있고, 이에 따라, 스피치 존재가 나타나는 것이다. 몇몇 예에서, 스피치 존재 확률 인자는 0 및 1 사이에서 변하는 p(k, m)로 표현될 수 있는데, 여기서 p(k, m) = 1은 클린 스피치만 있는 것을 나타내고 p(k, m) = 0은 스피치 자체가 없는 것을 나타낸다. 0과 1 사이의 범위에 있는 p(k, m)의 값은 잡음 섞인 스피치가 있다는 것을 나타낸다.
동작(525)에서, 스피치 존재 확률 인자(420)는 다음의 식에 의해 주어진 시변 주파수 의존 평활화 인자(time-varying, frequency dependent smoothing factor)
Figure 112018008379370-pct00003
를 결정하는데 사용될 수 있다:
Figure 112018008379370-pct00004
여기서, 평활 파라미터
Figure 112018008379370-pct00005
는 0과 1 사이의 범위에 있다.
동작(530)에서, 잡음 전력 추정 모듈(430)은 다음과 같이 반복적인 평균에 의해 공중 마이크(들)(202)에 대한 입력으로부터 잡음 전력 추정치
Figure 112018008379370-pct00006
를 생성할 수 있다:
Figure 112018008379370-pct00007
동작(535)에서, 시간 평활화 인자
Figure 112018008379370-pct00008
는 잡음 전력 추정치를 업데이트하는 속도를 제어하는데 사용된다. 동작(540)에서, 잡음 추정치
Figure 112018008379370-pct00009
는 다음에 의해 주어진 스펙트럼 감산을 통해 이득 인자
Figure 112018008379370-pct00010
를 계산하기 위해 스펙트럼 이득 계산 블록(432)에 의해 사용될 수 있다:
Figure 112018008379370-pct00011
스피치 존재 확률 인자
Figure 112018008379370-pct00012
는 스피치 보존과 잡음 제거 사이의 균형을 제어하기 위해 이득 계산 인자 결정에 사용된다.
동작(545)에서는, 동작(540)에서 결정된 이득 인자
Figure 112018008379370-pct00013
가 공중 마이크(202)로부터의 입력에 인가된다. 몇몇 예에서, 공중 마이크(202)로부터의 입력
Figure 112018008379370-pct00014
은 곱셈 모듈(434)에서 이득 인자
Figure 112018008379370-pct00015
와 곱해져서 잡음 제거된 신호
Figure 112018008379370-pct00016
를 획득할 수 있다.
동작(550)에서는, 잡음 제거된 신호
Figure 112018008379370-pct00017
의 역 STFT(ISTFT)가 블록(436)에서 결정되고, 동작(555)에서는, 잡음 제거된 스피치 신호가 출력 장치(440), 예를 들어 스피커 등에 오디오 출력으로서 제시된다.
따라서, 본 명세서에 기술된 구조 및 동작은 전자 장치로 하여금 단독으로 또는 웨어러블 장치와 협력하여 공중 마이크(202) 및 비공중 마이크(204) 모두로부터의 입력에 기초하여 잡음 제거된 스피치 신호를 생성하게 한다. 몇몇 예에서, 비공중 마이크(204)로부터의 입력은 스펙트럼 이득 인자의 생성에 차례로 사용되는 스피치 존재 확률 인자(420)를 결정하는데 사용된다.
전술된 바와 같이, 몇몇 예에서, 전자 장치는 컴퓨터 시스템으로서 실시될 수 있다. 도 6은 일 실시예에 따른 컴퓨팅 시스템(600)의 블록도를 도시한다. 컴퓨팅 시스템(600)은 상호접속 네트워크(또는 버스)(604)를 거쳐 통신하는 하나 이상의 중앙 프로세싱 유닛(들)(602) 또는 프로세서를 포함할 수 있다. 프로세서(602)는 범용 프로세서, 네트워크 프로세서(컴퓨터 네트워크(603)를 통해 통신되는 데이터를 프로세싱함), 또는 다른 유형의 프로세서(축소 명령 세트 컴퓨터(RISC) 프로세서 또는 복합 명령 세트 컴퓨터(CISC) 프로세서를 포함함)를 포함할 수 있다. 또한, 프로세서(602)는 싱글 또는 멀티 코어 디자인을 가질 수 있다. 멀티 코어 디자인을 갖는 프로세서(602)는 동일한 집적 회로(IC) 다이 상에 상이한 유형의 프로세서 코어를 집적할 수 있다. 또한, 멀티 코어 디자인을 갖는 프로세서(602)는 대칭 또는 비대칭 멀티프로세서로서 구현될 수 있다. 예에서, 프로세서(602) 중 하나 이상은 도 1의 프로세서(124)와 동일하거나 유사할 수 있다. 예를 들어, 프로세서(602) 중 하나 이상은 도 1을 참조하여 설명된 프로세서(124) 또는 도 2의 프로세서(224)를 포함할 수 있다. 또한, 도 4 및 도 5를 참조하여 설명된 동작은 시스템(600)의 하나 이상의 구성요소에 의해 수행될 수 있다.
칩셋(606)은 또한 상호접속 네트워크(604)와 통신할 수 있다. 칩셋(606)은 메모리 제어 허브(memory control hub: MCH)(608)를 포함할 수 있다. MCH(608)는 메모리(612)와 통신하는 메모리 제어기(610)를 포함할 수 있다. 메모리(612)는 프로세서(602) 또는 컴퓨팅 시스템(600) 내에 포함된 임의의 다른 장치에 의해 실행될 수 있는 명령어의 시퀀스를 포함하는 데이터를 저장할 수 있다. 일 예에서, 메모리(612)는 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 동기식 DRAM(SDRAM), 정적 RAM(SRAM), 또는 다른 유형의 저장 장치와 같은 하나 이상의 휘발성 저장 장치(또는 메모리)를 포함할 수 있다. 하드 디스크와 같은 비휘발성 메모리도 사용될 수 있다. 멀티 프로세서(들) 및/또는 다중 시스템 메모리와 같은 부가 장치가 상호접속 네트워크(604)를 거쳐 통신할 수 있다.
MCH(608)는 디스플레이 장치(616)와 통신하는 그래픽 인터페이스(614)도 포함할 수 있다. 일 예에서, 그래픽 인터페이스(614)는 가속 그래픽 포트(accelerated graphics port: AGP)를 거쳐 디스플레이 장치(616)와 통신할 수 있다. 일 실시예에서, 디스플레이(616)(예를 들어, 평판 패널 디스플레이)는 예를 들어, 비디오 메모리 또는 시스템 메모리와 같은 저장 장치 내에 저장된 이미지의 디지털 표현을 디스플레이(616)에 의해 해석되고 표시되는 디스플레이 신호로 변환하는 신호 컨버터를 통해 그래픽 인터페이스(614)와 통신할 수 있다. 디스플레이 장치에 의해 생성된 디스플레이 신호는 디스플레이(616)에 의해 해석되고 이후에 디스플레이(616) 상에 표시되기 전에 다양한 제어 장치를 통과할 수 있다.
허브 인터페이스(618)는 MCH(608) 및/또는 입출력 제어 허브(input/output control hub: ICH)(620)로 하여금 통신하게 할 수 있다. ICH(620)는 컴퓨팅 시스템(600)과 통신하는 I/O 장치(들)로의 인터페이스를 제공할 수 있다. ICH(620)는 주변 장치 상호접속(peripheral component interconnect: PCI) 브리지, 범용 직렬 버스(universal serial bus: USB) 제어기, 또는 다른 유형의 주변 브리지 또는 제어기와 같은, 주변 브리지(또는 제어기)(624)를 통해 버스(622)와 통신할 수 있다. 브리지(624)는 프로세서(602)와 주변 장치 사이에 데이터 경로를 제공할 수 있다. 다른 유형의 토폴로지가 사용될 수 있다. 또한, 다중 버스가 예를 들어, 다중 브리지 또는 제어기를 통해 ICH(620)와 통신할 수 있다. 또한, ICH(620)와 통신하는 다른 주변 장치는 다양한 예에서, 통합 드라이브 전자 기기(integrated drive electronics: IDE) 또는 소형 컴퓨터 시스템 인터페이스(small computer system interface: SCSI) 하드 드라이브(들), USB 포트(들), 키보드, 마우스, 병렬 포트(들), 직렬 포트(들), 플로피 디스크 드라이브(들), 디지털 출력 서포트(예를 들어, 디지털 비디오 인터페이스(digital video interface: DVI)), 또는 다른 장치를 포함할 수 있다.
버스(622)는 오디오 장치(626), 하나 이상의 디스크 드라이브(들)(628), 및 네트워크 인터페이스 장치(630)(이것은 컴퓨터 네트워크(603)와 통신함)와 통신할 수 있다. 다른 장치는 버스(622)를 거쳐 통신할 수 있다. 또한, 다양한 구성요소(예를 들어, 네트워크 인터페이스 장치(630))가 몇몇 예에서 MCH(608)와 통신할 수 있다. 또한, 프로세서(602) 및 본 명세서에 설명된 하나 이상의 다른 구성요소가 조합되어 단일칩을 형성(예를 들어, 시스템 온 칩(System On Chip: SOC)을 제공)할 수 있다. 또한, 그래픽 가속기는 다른 예에서 MCH(608) 내에 포함될 수 있다.
또한, 컴퓨팅 시스템(600)은 휘발성 및/또는 비휘발성 메모리(또는 저장 장치)를 포함할 수 있다. 예를 들어, 비휘발성 메모리는 판독 전용 메모리(ROM), 프로그램가능 ROM(PROM), 소거가능 PROM(EPROM), 전기적 EPROM(EEPROM), 디스크 드라이브(예를 들어, 628), 플로피 디스크, 콤팩트 디스크 ROM(CD-ROM), 디지털 다기능 디스크(DVD), 플래시 메모리, 자기 광학 디스크, 또는 전자 데이터(예를 들어, 명령어를 포함함)를 저장할 수 있는 다른 유형의 비휘발성 머신 판독가능 매체 중 하나 이상을 포함할 수 있다.
도 7은 일 실시예에 따른 컴퓨팅 시스템(700)의 블록 다이어그램을 도시한다. 시스템(700)은 하나 이상의 프로세서(702-1 내지 702-N)(본 명세서에서 "프로세서들(702)" 또는 "프로세서(702)"라 일반적으로 칭함)를 포함할 수 있다. 프로세서(702)는 상호접속 네트워크 또는 버스(704)를 거쳐 통신할 수 있다. 각각의 프로세서는 다양한 구성요소를 포함할 수도 있는데, 이들 중 일부만이 명료화를 위해 프로세서(702-1)를 참조하여 설명된다. 이에 따라, 나머지 프로세서(702-2 내지 702-N) 각각은 프로세서(702-1)를 참조하여 설명된 동일한 또는 유사한 구성요소를 포함할 것이다.
일 예에서, 프로세서(702-1)는 하나 이상의 프로세서 코어(706-1 내지 706-M)(본 명세서에서 "코어들(706)" 또는 더 일반적으로 "코어(706)"라 칭함), 공유 캐시(708), 라우터(710), 및/또는 프로세서 제어 로직 또는 유닛(720)을 포함할 수 있다. 프로세서 코어(706)는 단일 집적 회로(IC) 칩 상에 구현될 수 있다. 또한, 칩은 하나 이상의 공유 캐시 및/또는 개인 캐시(예를 들어, 캐시(708)), 버스 또는 상호접속부(예를 들어, 버스 또는 상호접속 네트워크(712)), 메모리 제어기 또는 다른 구성요소를 포함할 수 있다.
예에서, 라우터(710)는 프로세서(702-1) 및/또는 시스템(700)의 다양한 구성요소들 사이에서 통신하는데 사용될 수 있다. 또한, 프로세서(702-1)는 하나보다 많은 라우터(710)를 포함할 수 있다. 또한, 다수의 라우터(710)가 프로세서(702-1)의 내부 또는 외부의 다양한 구성요소들 사이의 데이터 라우팅을 가능하게 하기 위해 통신할 수 있다.
공유 캐시(708)는 코어(706)와 같은, 프로세서(702-1)의 하나 이상의 구성요소에 의해 사용되는 데이터(예를 들어, 명령어를 포함함)를 저장할 수 있다. 예를 들어, 공유 캐시(708)는 프로세서(702)의 구성요소에 의한 더 빠른 액세스를 위해 메모리(714) 내에 저장된 데이터를 국부적으로 저장할 수 있다. 일 실시예에서, 공유 캐시(708)는 중간 계층 캐시(예를 들어, 계층 2(L2), 계층 3(L3), 계층 4(L4), 또는 다른 계층의 캐시), 최하위 계층 캐시(LLC), 및/또는 이들의 조합을 포함할 수 있다. 또한, 프로세서(702-1)의 다양한 구성요소는 버스(예를 들어, 버스(712)) 및/또는 메모리 제어기 또는 허브를 통해 직접 공유 캐시(708)와 통신할 수 있다. 도 7에 도시된 바와 같이, 몇몇 예에서, 코어(706) 중 하나 이상은 계층 1(L1) 캐시(716-1)(본 명세서에서 "L1 캐시(716)"라 일반적으로 칭함)를 포함할 수 있다.
도 8은 예에 따른, 컴퓨팅 시스템의 프로세서 코어(706) 및 다른 구성요소의 부분의 블록 다이어그램을 도시한다. 일 예에서, 도 8에 도시된 화살표는 코어(706)를 통한 명령어의 흐름 방향을 도시한다. 하나 이상의 프로세서 코어(예를 들어, 프로세서 코어(706))는 도 7을 참조하여 설명된 것과 같이 단일 집적 회로 칩(또는 다이) 상에 구현될 수 있다. 또한, 칩은 하나 이상의 공유 캐시 및/또는 개인 캐시(예를 들어, 도 7의 캐시(708)), 상호접속부(예를 들어, 도 7의 상호접속부(704 및/또는 712)), 제어 유닛, 메모리 제어기, 또는 다른 구성요소를 포함할 수 있다.
도 8에 도시된 바와 같이, 프로세서 코어(706)는 코어(706)에 의한 실행을 위해 명령어(조건 분기 명령어를 포함함)를 페치(fetch)하는 페치 유닛(802)을 포함할 수 있다. 명령어는 메모리(714)와 같은 임의의 저장 장치로부터 페치될 수 있다. 코어(706)는 페치된 명령어를 디코딩하기 위한 디코드 유닛(804)을 또한 포함할 수 있다. 예를 들어, 디코드 유닛(804)은 페치된 명령어를 복수의 uop(마이크로 오퍼레이션)으로 디코딩할 수 있다.
부가적으로, 코어(706)는 스케쥴 유닛(806)을 포함할 수 있다. 스케쥴 유닛(806)은 명령어가 디스패치를 위해 준비될 때까지, 예를 들어, 디코딩된 명령어의 모든 소스값이 사용 가능해질 때까지, 디코딩된 명령어(예를 들어, 디코드 유닛(804)으로부터 수신됨)를 저장하는 것과 관련된 다양한 동작을 수행할 수 있다. 예에서, 스케쥴 유닛(806)은 디코딩된 명령어를 스케쥴링하고/스케쥴링하거나 실행을 위해 이를 실행 유닛(808)에 발행(또는 디스패치)할 수 있다. 실행 유닛(808)은 (예를 들어, 디코드 유닛(804)에 의해) 명령어가 디코딩되고 (예를 들어, 스케쥴 유닛(806)에 의해) 디스패치된 후에, 디스패치된 명령어를 실행할 수 있다. 예에서, 실행 유닛(808)은 하나보다 많은 실행 유닛을 포함할 수 있다. 실행 유닛(808)은 또한 가산, 감산, 승산 및/또는 제산과 같은 다양한 산술 연산을 수행할 수 있고, 하나 이상의 산술 논리 유닛(arithmetic logic units: ALUs)을 포함할 수 있다. 예에서, 코프로세서(미도시)가 실행 유닛(808)과 함께 다양한 산술 연산을 수행할 수 있다.
또한, 실행 유닛(808)은 비순차적으로 명령어를 실행할 수 있다. 따라서, 프로세서 코어(706)는 일 예에서, 비순차 프로세서일 수 있다. 코어(706)는 회수(retirement) 유닛(810)을 또한 포함할 수 있다. 회수 유닛(810)은 명령어가 커밋된 후에 실행된 명령어를 회수할 수 있다. 예에서, 실행된 명령어의 회수는 프로세서 상태가 명령어의 실행으로인해 커밋되게 하는 것, 명령어에 의해 사용된 물리적 레지스터가 할당해제되게 하는 것 등을 야기할 수 있다.
프로세서 코어(706)는 하나 이상의 버스(예를 들어, 버스(704 및/또는 712))를 거쳐 프로세서 코어(706)의 구성요소와 다른 구성요소(예를 들어, 도 8을 참조하여 설명된 구성요소) 사이에 통신을 가능하게 하기 위한 버스 유닛(814)을 또한 포함할 수 있다. 프로세서 코어(706)는 프로세서 코어(706)의 다양한 구성요소에 의해 액세스된 데이터(예를 들어, 전력 소비 상태 설정에 관련된 값)를 저장하기 위한 하나 이상의 레지스터(816)를 또한 포함할 수 있다.
또한, 도 7은 상호접속부(712)를 거쳐 프로세서 코어(706)에 결합되는 제어 유닛(720)을 도시하고 있지만, 다양한 예에서 제어 유닛(720)은 다른 위치, 예를 들어 코어(706) 내부에 위치되거나, 버스(704)를 거쳐 코어에 결합되거나 할 수도 있다.
몇몇 예에서, 본 명세서에 설명된 구성요소의 하나 이상은 시스템 온 칩(SOC) 장치로서 실시될 수 있다. 도 9는 예에 따른 SOC 패키지의 블록 다이어그램을 도시한다. 도 9에 도시된 바와 같이, SOC(902)는 하나 이상의 프로세서 코어(920), 하나 이상의 그래픽 프로세서 코어(930), 입출력(I/O) 인터페이스(940), 및 메모리 제어기(942)를 포함한다. SOC 패키지(902)의 다양한 구성요소는 다른 도면을 참조하여 본 명세서에 설명된 것과 같은 상호접속부 또는 버스에 결합될 수 있다. 또한, SOC 패키지(902)는 다른 도면을 참조하여 본 명세서에 설명된 것과 같은 구성요소를 더 많이 또는 더 적게 포함할 수 있다. 또한, SOC 패키지(902)의 각각의 구성요소는 예를 들어, 본 명세서에 다른 도면을 참조하여 설명된 바와 같은 하나 이상의 다른 구성요소를 포함할 수 있다. 일 예에서, SOC 패키지(902)(및 그것의 구성요소)는 예를 들어, 단일 반도체 장치 내에 패키징되어 있는 하나 이상의 집적 회로(IC) 다이 상에 제공된다.
도 9에 도시된 바와 같이, SOC 패키지(902)는 메모리 제어기(942)를 거쳐 메모리(960)(다른 도면을 참조하여 본 명세서에 설명된 메모리와 유사하거나 동일할 수 있음)에 결합된다. 예에서, 메모리(960)(또는 그것의 일부분)는 SOC 패키지(902) 상에 집적될 수 있다.
I/O 인터페이스(940)는 예를 들어, 다른 도면을 참조하여 본 명세서에 설명되는 것과 같은 상호접속부 및/또는 버스를 거쳐 하나 이상의 I/O 장치(970)에 결합될 수 있다. I/O 장치(들)(970)는 키보드, 마우스, 터치패드, 디스플레이, 이미지/비디오 캡처 장치(예를 들어, 카메라 또는 캠코더/비디오 레코더), 터치표면, 스피커 등 중 하나 이상을 포함할 수 있다.
도 10은 예에 따른 점대점(point-to-point: PtP) 구성으로 배열된 컴퓨팅 시스템(1000)을 도시한다. 특히, 도 10은 프로세서, 메모리, 및 입출력 장치가 다수의 점대점 인터페이스에 의해 상호접속되어 있는 시스템을 도시한다.
도 10에 도시된 바와 같이, 시스템(1000)은 다수의 프로세서를 포함할 수 있는데, 이들 중 단지 2개의 프로세서(1002, 1004)만이 명료화를 위해 도시되어 있다. 프로세서(1002, 1004)는 메모리(1010, 1012)와 통신이 가능한 로컬 메모리 제어기 허브(MCH)(1006, 1008)를 각각 포함할 수 있다. MCH(1006, 1008)는 몇몇 예에서 도 1의 메모리 제어기(120) 및/또는 로직(125)을 포함할 수 있다.
예에서, 프로세서(1002, 1004)는 도 7을 참조하여 설명된 프로세서(702) 중 하나일 수 있다. 프로세서(1002, 1004)는 PtP 인터페이스 회로(1016, 1018)를 각각 사용하여 점대점(PtP) 인터페이스(1014)를 거쳐 데이터를 교환할 수 있다. 또한, 프로세서(1002, 1004)는 점대점 인터페이스 회로(1026, 1028, 1030, 1032)를 사용하여 개별 PtP 인터페이스(1022, 1024)를 거쳐 칩셋(1020)과 데이터를 각각 교환할 수 있다. 칩셋(1020)은 또한 예를 들어, PtP 인터페이스 회로(1037)를 사용하여 고성능 그래픽 인터페이스(1036)를 거쳐 고성능 그래픽 회로(1034)와 데이터를 교환할 수 있다.
도 10에 도시된 바와 같이, 도 1의 코어(106) 및/또는 캐시(108) 중 하나 이상은 프로세서(1004) 내에 위치될 수 있다. 그러나, 다른 예가 도 10의 시스템(1000) 내의 다른 회로, 논리 유닛, 또는 장치에 존재할 수 있다. 또한, 다른 예가 도 10에 도시된 다수의 회로, 논리 유닛, 또는 장치 전체에 걸쳐 분배될 수 있다.
칩셋(1020)은 PtP 인터페이스 회로(1041)를 사용하여 버스(1040)와 통신할 수 있다. 버스(1040)는 자신과 통신하는 하나 이상의 장치, 예를 들어 버스 브리지(1042) 및 I/O 장치(1043)를 가질 수 있다. 버스(1044)를 거쳐, 버스 브리지(1043)는 키보드/마우스(1045), 통신 장치(1046)(예를 들어, 모뎀, 네트워크 인터페이스 장치, 또는 컴퓨터 네트워크(1003)와 통신할 수 있는 다른 통신 장치), 오디오 I/O 장치, 및/또는 데이터 저장 장치(1048)와 같은 다른 장치와 통신할 수 있다. 데이터 저장 장치(1048)(하드 디스크 드라이브 또는 NAND 플래시 기반 고체 상태 드라이브일 수 있음)는 프로세서(1004)에 의해 실행될 수 있는 코드(1049)를 저장할 수 있다.
이하의 예는 추가의 예에 관한 것이다.
예 1은 적어도 부분적으로 하드웨어 로직을 포함하는 로직을 포함하는 제어기인데, 로직은, 비공중 마이크(non-aerial microphone)에서 수신된 오디오 신호에서 스피치 활동을 검출하고, 스피치 활동에 응답하여, 공중 마이크(aerial microphone)에서 수신된 스피치 입력에 잡음 제거 알고리즘을 적용하도록 구성된다.
예 2에서, 예 1의 발명의 대상은, 제어기가 비공중 마이크에서 수신된 오디오 신호로부터 스피치 존재 확률 인자(speech presence probability factor)를 결정하는 로직을 포함하는 구성을 선택적으로 포함할 수 있다.
예 3에서, 예 1 또는 예 2의 발명의 대상은, 스피치 존재 확률 인자를 사용하여 시변 주파수 의존 평활화 인자(time-varying, frequency dependent smoothing factor)를 결정하도록 추가로 구성된 로직을 선택적으로 포함할 수 있다.
예 4에서, 예 1 내지 3 중 어느 하나의 발명의 대상은, 시변 주파수 의존 평활화 인자를 사용하여 공중 마이크에서 수신된 스피치 입력에 대한 잡음 추정치를 업데이트하는 속도를 제어하도록 추가로 구성된 로직을 선택적으로 포함할 수 있다.
예 5에서, 예 1 내지 4 중 어느 하나의 발명의 대상은, 스피치 존재 확률 인자에 적어도 부분적으로 기초하여 이득 인자를 결정하도록 추가로 구성된 로직을 선택적으로 포함할 수 있다.
예 6에서, 예 1 내지 5 중 어느 하나의 발명의 대상은, 공중 마이크에서 수신된 스피치 입력에 이득 인자를 적용하도록 추가로 구성된 로직을 선택적으로 포함할 수 있다.
예 7에서, 예 1 내지 6 중 어느 하나의 발명의 대상은, 출력 장치 상에 오디오 출력을 제공하도록 추가로 구성된 로직을 선택적으로 포함할 수 있다.
예 8은 비공중 마이크로부터의 제 1 오디오 신호 및 공중 마이크로부터의 제 2 오디오 신호를 수신하는 입출력(I/O) 인터페이스와, 하드웨어 로직을 적어도 부분적으로 포함하는 로직을 포함하는 제어기를 포함하는 전자 장치인데, 로직은, 비공중 마이크에서 수신된 오디오 신호에서 스피치 활동을 검출하고, 스피치 활동에 응답하여, 공중 마이크에서 수신된 스피치 입력에 잡음 제거 알고리즘을 적용하도록 구성된다.
예 9에서, 예 8의 발명의 대상은, 제어기가 비공중 마이크에서 수신된 오디오 신호로부터 스피치 존재 확률 인자를 결정하는 로직을 포함하는 구성을 선택적으로 포함할 수 있다.
예 10에서, 예 8 또는 예 9의 발명의 대상은, 스피치 존재 확률 인자를 사용하여 시변 주파수 의존 평활화 인자를 결정하도록 추가로 구성된 로직을 선택적으로 포함할 수 있다.
예 11에서, 예 9 또는 예 10의 발명의 대상은, 시변 주파수 의존 평활화 인자를 사용하여 공중 마이크에서 수신된 스피치 입력에 대한 잡음 추정치를 업데이트하는 속도를 제어하도록 추가로 구성된 로직을 선택적으로 포함할 수 있다.
예 12에서, 예 9 내지 11 중 어느 하나의 발명의 대상은, 스피치 존재 확률 인자에 적어도 부분적으로 기초하여 이득 인자를 결정하도록 추가로 구성된 로직을 선택적으로 포함할 수 있다.
예 13에서, 예 9 내지 12 중 어느 하나의 발명의 대상은, 공중 마이크에서 수신된 스피치 입력에 이득 인자를 적용하도록 추가로 구성된 로직을 선택적으로 포함할 수 있다.
예 14에서, 예 9 내지 13 중 어느 하나의 발명의 대상은, 출력 장치 상에 오디오 출력을 제공하도록 추가로 구성된 로직을 선택적으로 포함할 수 있다.
예 15는 유형의 컴퓨터 판독가능 매체에 저장된 논리 명령어를 포함하는 컴퓨터 프로그램 제품인데, 논리 명령어는 제어기에 의해 실행될 때 제어기로 하여금, 비공중 마이크에서 수신된 오디오 신호에서 스피치 활동을 검출하게 하고, 스피치 활동에 응답하여, 공중 마이크에서 수신된 스피치 입력에 잡음 제거 알고리즘을 적용하게 하도록 제어기를 구성한다.
예 16에서, 예 15의 발명의 대상은, 제어기에 의해 실행될 때 제어기로 하여금, 비공중 마이크에서 수신된 오디오 신호로부터 스피치 존재 확률 인자를 결정하게 하도록 제어기를 구성하는, 유형의 컴퓨터 판독가능 매체에 저장된 논리 명령어를 선택적으로 포함할 수 있다.
예 17에서, 예 15 또는 예 16의 발명의 대상은, 제어기에 의해 실행될 때 제어기로 하여금, 스피치 존재 확률 인자를 사용하여 시변 주파수 의존 평활화 인자를 결정하게 하도록 제어기를 구성하는, 유형의 컴퓨터 판독가능 매체에 저장된 논리 명령어를 선택적으로 포함할 수 있다.
예 18에서, 예 15 내지 예 17의 발명의 대상은, 제어기에 의해 실행될 때 제어기로 하여금, 시변 주파수 의존 평활화 인자를 사용하여 공중 마이크에서 수신된 스피치 입력에 대한 잡음 추정치를 업데이트하는 속도를 제어하게 하도록 제어기를 구성하는, 유형의 컴퓨터 판독가능 매체에 저장된 논리 명령어를 선택적으로 포함할 수 있다.
예 19에서, 예 15 내지 예 18의 발명의 대상은, 제어기에 의해 실행될 때 제어기로 하여금, 스피치 존재 확률 인자에 적어도 부분적으로 기초하여 이득 인자를 결정하게 하도록 제어기를 구성하는, 유형의 컴퓨터 판독가능 매체에 저장된 논리 명령어를 선택적으로 포함할 수 있다.
예 20에서, 예 15 내지 예 19의 발명의 대상은, 제어기에 의해 실행될 때 제어기로 하여금, 공중 마이크에서 수신된 스피치 입력에 이득 인자를 적용하게 하도록 제어기를 구성하는, 유형의 컴퓨터 판독가능 매체에 저장된 논리 명령어를 선택적으로 포함할 수 있다.
예 21에서, 예 15 내지 예 20의 발명의 대상은, 제어기에 의해 실행될 때 제어기로 하여금, 출력 장치 상에 오디오 출력을 제공하게 하도록 제어기를 구성하는, 유형의 컴퓨터 판독가능 매체에 저장된 논리 명령어를 선택적으로 포함할 수 있다.
본 명세서에서 언급된 용어 "논리 명령어"는 하나 이상의 논리 연산을 수행하기 위한, 하나 이상의 머신이 이해할 수 있는 표현과 관련된다. 예를 들어, 논리 명령어는 하나 이상의 데이터 객체 상에 하나 이상의 동작을 실행하기 위한, 프로세서 컴파일러에 의해 해석가능한 명령어를 포함할 수 있다. 그러나, 이는 단지 머신 판독가능 명령어의 예일 뿐이고, 예는 이와 관련하여 한정되지 않는다.
본 명세서에서 언급된 용어 "컴퓨터 판독가능 매체"는 하나 이상의 머신이 인지할 수 있는 표현을 유지하는 것이 가능한 매체와 관련된다. 예를 들어, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령어 또는 데이터를 저장하기 위한 하나 이상의 저장 장치를 포함할 수 있다. 이러한 저장 장치는 예를 들어, 광학, 자기 또는 반도체 저장 매체와 같은 저장 매체를 포함할 수 있다. 그러나, 이는 단지 컴퓨터 판독가능 매체의 예일 뿐이고, 예는 이와 관련하여 한정되지 않는다.
본 명세서에서 언급된 용어 "로직(logic)"은 하나 이상의 논리 연산을 수행하기 위한 구조와 관련된다. 예를 들어, 로직은 하나 이상의 입력 신호에 기초하여 하나 이상의 출력 신호를 제공하는 회로를 포함할 수 있다. 이러한 회로는 디지털 입력을 수신하고 디지털 출력을 제공하는 유한 상태 머신, 또는 하나 이상의 아날로그 입력 신호에 응답하여 하나 이상의 아날로그 출력 신호를 제공하는 회로를 포함할 수 있다. 이러한 회로는 응용 주문형 집적 회로(application specific integrated circuit: ASIC) 또는 필드 프로그램가능 게이트 어레이(field programmable gate array: FPGA) 내에 제공될 수 있다. 또한, 로직은 메모리에 저장된 머신 판독가능 명령어를 포함하고, 그와 함께 머신 판독가능 명령어를 실행하기 위한 프로세싱 회로를 포함할 수 있다. 그러나, 이는 단지 로직을 제공할 수 있는 구조의 예일 뿐이고, 예는 이와 관련하여 한정되지 않는다.
본 명세서에 설명된 방법의 일부는 컴퓨터 판독가능 매체 상에 논리 명령어로서 실시될 수 있다. 프로세서 상에서 실행될 때, 논리 명령어는 프로세서가 설명된 방법을 구현하는 특정 용도 머신으로서 프로그램되게 한다. 본 명세서에 설명된 방법을 실행하기 위한 논리 명령어로 구성될 때, 프로세서는 설명된 방법을 수행하는 구조를 구성한다. 대안적으로, 본 명세서에 설명된 방법은 예를 들어, 필드 프로그램가능 게이트 어레이(FPGA), 응용 주문형 집적 회로(ASIC) 등의 로직으로 축소될 수 있다.
상세한 설명 및 청구범위에서, 용어 '결합된' 및 '접속된'이 이들의 파생어와 함께 사용될 수도 있다. 특정 예에서, '접속된'은 2개 이상의 요소가 서로 직접 물리적 또는 전기적 접촉하는 것을 나타내는데 사용될 수 있다. '결합된'은 2개 이상의 요소가 직접 물리적 또는 전기적 접촉하는 것을 의미할 수 있다. 그러나, '결합된'은 2개 이상의 요소가 서로 직접 접촉하지는 않지만, 여전히 서로 협동하거나 상호작용할 수도 있는 것을 의미할 수도 있다.
명세서에서 "일 예" 또는 "몇몇 예"의 언급은, 예와 관련하여 설명된 특정 특징, 구조, 또는 특성이 적어도 구현예에 포함된다는 것을 의미한다. 명세서 여러 곳에서의 "일 예에서"란 문구는 모두 동일한 예를 참조하는 것일 수도 있고 또는 아닐 수도 있다.
예가 구조적 특징 및/또는 방법론적 동작에 특정한 언어로 설명되었지만, 청구 대상은 설명된 특정 특징 또는 동작에 한정되는 것이 아닐 수도 있다는 것을 이해해야 한다. 오히려, 특정 특징 및 동작은 청구 대상을 구현하는 샘플 형태로서 개시된다.

Claims (25)

  1. 제어기로서,
    적어도 부분적으로 하드웨어 로직을 포함하는 로직을 포함하되,
    상기 로직은,
    비공중 마이크(non-aerial microphone)에서 수신된 오디오 신호에서 스피치 활동을 검출하고,
    상기 스피치 활동에 응답하여, 공중 마이크(aerial microphone)에서 수신된 스피치 입력에 잡음 제거 알고리즘(noise cancellation algorithm)을 적용하도록 구성되고,
    상기 제어기는
    상기 비공중 마이크에서 수신된 상기 오디오 신호로부터 스피치 존재 확률 인자(speech presence probability factor)를 결정하는 로직과,
    상기 공중 마이크 내에서 수신된 상기 스피치 입력의 이득 인자에 기초하여, 상기 공중 마이크 내에서 수신된 상기 스피치 입력의 잡음 제거된 신호를 계산하는 로직 - 상기 이득 인자는 상기 스피치 존재 확률 인자를 사용하여 계산됨 - 을 더 포함하는
    제어기.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제어기는 상기 스피치 존재 확률 인자를 사용하여 시변 주파수 의존 평활화 인자(time-varying, frequency dependent smoothing factor)를 결정하는 로직을 포함하는
    제어기.
  4. 제 3 항에 있어서,
    상기 제어기는 상기 시변 주파수 의존 평활화 인자를 사용하여 상기 공중 마이크에서 수신된 상기 스피치 입력에 대한 잡음 추정치를 업데이트하는 속도를 제어하는 로직을 포함하는
    제어기.
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 제어기는 출력 장치 상에 오디오 출력을 제공하는 로직을 포함하는
    제어기.
  8. 전자 장치로서,
    비공중 마이크로부터의 제 1 오디오 신호 및 공중 마이크로부터의 제 2 오디오 신호를 수신하는 입출력(I/O) 인터페이스와,
    하드웨어 로직을 적어도 부분적으로 포함하는 로직을 포함하는 제어기를 포함하되,
    상기 로직은,
    상기 비공중 마이크에서 수신된 오디오 신호에서 스피치 활동을 검출하고,
    상기 스피치 활동에 응답하여, 상기 공중 마이크에서 수신된 스피치 입력에 잡음 제거 알고리즘을 적용하도록 구성되며,
    상기 제어기는
    상기 비공중 마이크에서 수신된 상기 오디오 신호로부터 스피치 존재 확률 인자를 결정하는 로직과,
    상기 공중 마이크 내에서 수신된 상기 스피치 입력의 이득 인자에 기초하여, 상기 공중 마이크 내에서 수신된 상기 스피치 입력의 잡음 제거된 신호를 계산하는 로직 - 상기 이득 인자는 상기 스피치 존재 확률 인자를 사용하여 계산됨 - 을 더 포함하는
    전자 장치.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 제어기는 상기 스피치 존재 확률 인자를 사용하여 시변 주파수 의존 평활화 인자를 결정하는 로직을 포함하는
    전자 장치.
  11. 제 10 항에 있어서,
    상기 제어기는 상기 시변 주파수 의존 평활화 인자를 사용하여 상기 공중 마이크에서 수신된 상기 스피치 입력에 대한 잡음 추정치를 업데이트하는 속도를 제어하는 로직을 포함하는
    전자 장치.
  12. 삭제
  13. 삭제
  14. 제 8 항에 있어서,
    상기 제어기는 출력 장치 상에 오디오 출력을 제공하는 로직을 포함하는
    전자 장치.
  15. 유형의(tangible) 컴퓨터 판독가능 저장 매체에 저장된 논리 명령어를 포함하는 컴퓨터 프로그램으로서,
    상기 논리 명령어는 제어기에 의해 실행되면,
    비공중 마이크에서 수신된 오디오 신호에서 스피치 활동을 검출하고,
    상기 스피치 활동에 응답하여, 공중 마이크에서 수신된 스피치 입력에 잡음 제거 알고리즘을 적용하도록 상기 제어기를 구성하며,
    상기 컴퓨터 프로그램은
    상기 제어기에 의해 실행되는 경우,
    상기 비공중 마이크에서 수신된 상기 오디오 신호로부터 스피치 존재 확률 인자(speech presence probability factor)를 결정하도록 상기 제어기를 구성하는 유형의 컴퓨터 판독가능 저장 매체에 저장된 논리 명령어와,
    상기 공중 마이크 내에서 수신된 상기 스피치 입력의 이득 인자에 기초하여, 상기 공중 마이크 내에서 수신된 상기 스피치 입력의 잡음 제거된 신호를 계산하도록 상기 제어기를 구성하는 유형의 컴퓨터 판독가능 저장 매체에 저장된 논리 명령어 - 상기 이득 인자는 상기 스피치 존재 확률 인자를 사용하여 계산됨 - 를 더 포함하는
    컴퓨터 프로그램.
  16. 삭제
  17. 제 15 항에 있어서,
    상기 제어기에 의해 실행되는 경우, 상기 스피치 존재 확률 인자를 사용하여 시변 주파수 의존 평활화 인자를 결정하도록 상기 제어기를 구성하는 유형의 컴퓨터 판독가능 저장 매체에 저장된 논리 명령어를 포함하는
    컴퓨터 프로그램.
  18. 제 17 항에 있어서,
    상기 제어기에 의해 실행되는 경우, 상기 시변 주파수 의존 평활화 인자를 사용하여 상기 공중 마이크에서 수신된 상기 스피치 입력에 대한 잡음 추정치를 업데이트하는 속도를 제어하도록 상기 제어기를 구성하는 유형의 컴퓨터 판독가능 저장 매체에 저장된 논리 명령어를 포함하는
    컴퓨터 프로그램.
  19. 삭제
  20. 삭제
  21. 제 15 항에 있어서,
    상기 제어기에 의해 실행되는 경우, 출력 장치 상에 오디오 출력을 제공하도록 상기 제어기를 구성하는 유형의 컴퓨터 판독가능 저장 매체에 저장된 논리 명령어를 포함하는
    컴퓨터 프로그램.
  22. 방법으로서,
    비공중 마이크에서 수신된 오디오 신호에서 스피치 활동을 검출하는 단계와,
    상기 스피치 활동에 응답하여, 공중 마이크에서 수신된 스피치 입력에 잡음 제거 알고리즘을 적용하는 단계를 포함하며,
    상기 잡음 제거 알고리즘을 적용하는 단계는,
    상기 비공중 마이크에서 수신된 상기 오디오 신호로부터 스피치 존재 확률 인자를 결정하는 단계와,
    상기 공중 마이크 내에서 수신된 상기 스피치 입력의 이득 인자에 기초하여, 상기 공중 마이크 내에서 수신된 상기 스피치 입력의 잡음 제거된 신호를 계산하는 단계 - 상기 이득 인자는 상기 스피치 존재 확률 인자를 사용하여 계산됨 - 를 포함하는
    방법.
  23. 삭제
  24. 제 22 항에 있어서,
    상기 스피치 존재 확률 인자를 사용하여 시변 주파수 의존 평활화 인자를 결정하는 단계를 포함하는
    방법.
  25. 제 24 항에 있어서,
    상기 시변 주파수 의존 평활화 인자를 사용하여 상기 공중 마이크에서 수신된 상기 스피치 입력에 대한 잡음 추정치를 업데이트하는 속도를 제어하는 단계를 포함하는
    방법.
KR1020187002310A 2015-06-26 2016-05-26 전자 장치에 대한 잡음 제거 KR102618902B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/751,613 2015-06-26
US14/751,613 US20160379661A1 (en) 2015-06-26 2015-06-26 Noise reduction for electronic devices
PCT/US2016/034347 WO2016209530A1 (en) 2015-06-26 2016-05-26 Noise reduction for electronic devices

Publications (2)

Publication Number Publication Date
KR20180014187A KR20180014187A (ko) 2018-02-07
KR102618902B1 true KR102618902B1 (ko) 2023-12-28

Family

ID=57586197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187002310A KR102618902B1 (ko) 2015-06-26 2016-05-26 전자 장치에 대한 잡음 제거

Country Status (7)

Country Link
US (1) US20160379661A1 (ko)
EP (1) EP3314908A4 (ko)
JP (1) JP6816854B2 (ko)
KR (1) KR102618902B1 (ko)
CN (1) CN107667401B (ko)
TW (1) TWI688947B (ko)
WO (1) WO2016209530A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201713946D0 (en) * 2017-06-16 2017-10-18 Cirrus Logic Int Semiconductor Ltd Earbud speech estimation
US10455324B2 (en) 2018-01-12 2019-10-22 Intel Corporation Apparatus and methods for bone conduction context detection
TWI656526B (zh) * 2018-01-15 2019-04-11 群邁通訊股份有限公司 穿戴式電子裝置及雜訊消除方法
US10685666B2 (en) * 2018-04-06 2020-06-16 Intel Corporation Automatic gain adjustment for improved wake word recognition in audio systems
CN110931027A (zh) * 2018-09-18 2020-03-27 北京三星通信技术研究有限公司 音频处理方法、装置、电子设备及计算机可读存储介质
US10861484B2 (en) * 2018-12-10 2020-12-08 Cirrus Logic, Inc. Methods and systems for speech detection
US11388670B2 (en) * 2019-09-16 2022-07-12 TriSpace Technologies (OPC) Pvt. Ltd. System and method for optimizing power consumption in voice communications in mobile devices
CN111935573B (zh) * 2020-08-11 2022-06-14 Oppo广东移动通信有限公司 音频增强方法、装置、存储介质及可穿戴设备
CN113613140B (zh) * 2021-08-03 2022-10-18 重庆邮电大学 一种基于RISC v软核的音频降噪系统、方法及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120158404A1 (en) * 2010-12-14 2012-06-21 Samsung Electronics Co., Ltd. Apparatus and method for isolating multi-channel sound source
US20140244245A1 (en) * 2013-02-28 2014-08-28 Parrot Method for soundproofing an audio signal by an algorithm with a variable spectral gain and a dynamically modulatable hardness

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973252A (en) * 1997-10-27 1999-10-26 Auburn Audio Technologies, Inc. Pitch detection and intonation correction apparatus and method
JPH11265199A (ja) * 1998-03-18 1999-09-28 Nippon Telegr & Teleph Corp <Ntt> 送話器
US8019091B2 (en) * 2000-07-19 2011-09-13 Aliphcom, Inc. Voice activity detector (VAD) -based multiple-microphone acoustic noise suppression
JP2008216721A (ja) * 2007-03-06 2008-09-18 Nec Corp 雑音抑圧の方法、装置、及びプログラム
KR101335417B1 (ko) * 2008-03-31 2013-12-05 (주)트란소노 노이지 음성 신호의 처리 방법과 이를 위한 장치 및 컴퓨터판독 가능한 기록매체
BRPI0917953B1 (pt) * 2008-08-08 2020-03-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparelho de atenuação de espectro, aparelho de codificação, aparelho terminal de comunicação, aparelho de estação base e método de atenuação de espectro.
WO2010052749A1 (ja) * 2008-11-04 2010-05-14 三菱電機株式会社 雑音抑圧装置
US9202456B2 (en) * 2009-04-23 2015-12-01 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
EP2465112B1 (en) * 2009-08-14 2014-10-08 Koninklijke KPN N.V. Method, computer program product and system for determining a perceived quality of an audio system
US9053697B2 (en) * 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
FR2974655B1 (fr) * 2011-04-26 2013-12-20 Parrot Combine audio micro/casque comprenant des moyens de debruitage d'un signal de parole proche, notamment pour un systeme de telephonie "mains libres".
US9338551B2 (en) * 2013-03-15 2016-05-10 Broadcom Corporation Multi-microphone source tracking and noise suppression
US9100466B2 (en) * 2013-05-13 2015-08-04 Intel IP Corporation Method for processing an audio signal and audio receiving circuit
EP2882203A1 (en) * 2013-12-06 2015-06-10 Oticon A/s Hearing aid device for hands free communication
US9311928B1 (en) * 2014-11-06 2016-04-12 Vocalzoom Systems Ltd. Method and system for noise reduction and speech enhancement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120158404A1 (en) * 2010-12-14 2012-06-21 Samsung Electronics Co., Ltd. Apparatus and method for isolating multi-channel sound source
US20140244245A1 (en) * 2013-02-28 2014-08-28 Parrot Method for soundproofing an audio signal by an algorithm with a variable spectral gain and a dynamically modulatable hardness

Also Published As

Publication number Publication date
EP3314908A1 (en) 2018-05-02
US20160379661A1 (en) 2016-12-29
TW201712673A (zh) 2017-04-01
WO2016209530A1 (en) 2016-12-29
CN107667401A (zh) 2018-02-06
JP6816854B2 (ja) 2021-01-20
CN107667401B (zh) 2021-12-21
KR20180014187A (ko) 2018-02-07
JP2018518696A (ja) 2018-07-12
TWI688947B (zh) 2020-03-21
EP3314908A4 (en) 2019-02-20

Similar Documents

Publication Publication Date Title
KR102618902B1 (ko) 전자 장치에 대한 잡음 제거
US9460735B2 (en) Intelligent ancillary electronic device
US20210234403A1 (en) Wireless charging pad for electronic devices
US9720464B2 (en) Dynamic thermal platform operating point for electronic devices
US10007589B2 (en) System and method for universal serial bus (USB) protocol debugging
US10282344B2 (en) Sensor bus interface for electronic devices
US20170102787A1 (en) Virtual sensor fusion hub for electronic devices
US9769307B2 (en) User detection and recognition for electronic devices
US20170010126A1 (en) Inertial measurement unit for electronic devices
US9247572B2 (en) Intelligent wireless charging device
US20170003717A1 (en) Memory card connector for electronic devices
US10817102B2 (en) Input device for electronic devices
US20180125362A1 (en) Motion tracking using electronic devices
US20180233841A1 (en) Integrated connector for electronic device
US9785194B2 (en) Spill resistant chassis for electronic device
US20150253984A1 (en) Smart frame toggling
US9665132B2 (en) Unitary chassis for electronic device
US20160380454A1 (en) Wireless charging sleeve for electronic devices
US20160192544A1 (en) Integrated thermal emi structure for electronic devices
US20150189072A1 (en) Intelligent ancillary electronic device
WO2015142474A1 (en) Memory card connector for electronic devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant