KR102517939B1 - 원거리 장 사운드 캡처링 - Google Patents

원거리 장 사운드 캡처링 Download PDF

Info

Publication number
KR102517939B1
KR102517939B1 KR1020197019313A KR20197019313A KR102517939B1 KR 102517939 B1 KR102517939 B1 KR 102517939B1 KR 1020197019313 A KR1020197019313 A KR 1020197019313A KR 20197019313 A KR20197019313 A KR 20197019313A KR 102517939 B1 KR102517939 B1 KR 102517939B1
Authority
KR
South Korea
Prior art keywords
signal
delete delete
signals
source
source beam
Prior art date
Application number
KR1020197019313A
Other languages
English (en)
Other versions
KR20190099445A (ko
Inventor
마르쿠스 크리스토프
Original Assignee
하만 베커 오토모티브 시스템즈 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만 베커 오토모티브 시스템즈 게엠베하 filed Critical 하만 베커 오토모티브 시스템즈 게엠베하
Publication of KR20190099445A publication Critical patent/KR20190099445A/ko
Application granted granted Critical
Publication of KR102517939B1 publication Critical patent/KR102517939B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

원거리 장 사운드 캡처링을 위한 시스템 방법, 상기 방법은 사운드를 픽업하여 M(M은 2 이상임)개의 마이크로폰 신호를 제공하는 단계, M개의 마이크로폰 신호(및 하나 이상의 기준 신호)를 에코 소거 처리하여 M개의 에코 소거된 신호를 제공하는 단계 및 M개의 에코 소거된 신호를 빔성형 처리하여 B(B는 1 이상임)개의 빔성형된 신호를 제공하는 단계를 포함한다.

Description

원거리 장 사운드 캡처링
본 개시내용은 원거리 장 사운드 캡처링(far field sound capturing)을 위한 시스템 및 방법(일반적으로 "시스템"으로 지칭됨)에 관한 것이다.
또한 원거리 장 마이크로폰 또는 원거리 장 마이크로폰 시스템으로 지칭되는, 원거리 장 사운드 캡처링을 위한 시스템은 원거리 장 마이크로폰으로부터 보다 먼 거리(예로서, 수 미터)에 배치되는 희망 사운드 소스(desired sound source )로부터의 사운드를 레코딩하도록 적응된다. 그러나, 사운드 소스와 원거리 장 마이크로폰 사이에서의 거리가 클수록, 희망 사운드 대 잡음 비는 낮다. 즉석의 경우에 용어 "잡음"은 정보, 아이디어 또는 감정이 없이, 예로서 스피치 또는 음악 없이 운반하는 사운드를 포함한다. 잡음이 바람직하지 않다면, 그것은 또한 간섭 잡음으로서 지칭된다. 스피치 또는 음악이 가정 또는 사무실 내부와 같은 잡음 가득한 환경에 도입될 때, 내부에 존재하는 잡음은 희망 스피치 통신 또는 음악 프리젠테이션에 불요(undesired) 간섭 효과를 가질 수 있다. 잡음 감소는 일반적으로 불요 신호의 감쇠이지만 또한 희망 신호의 증폭을 포함할 수 있다. 희망 신호는 스피치 신호일 수 있는 반면, 불요 신호는 희망 신호를 간섭하는 환경에서의 임의의 사운드일 수 있다. 잡음 감소와 관련되어 사용된 3개의 주요 접근법이 있어 왔다: 방향성 빔성형, 스펙트럼 차감법, 및 피치-기반 스피치 강화. 공간적으로 전파된 신호를 수신하도록 설계된 시스템은 종종 간섭 신호의 존재를 맞닥뜨린다. 희망 신호 및 간섭기가 동일한 시간 주파수 대역을 차지하면, 시간적 필터링은 간섭으로부터 희망 신호를 분리하기 위해 사용될 수 없다. 잡음 감소를 개선하기 위한 바람이 존재하고 있다.
원거리 장 사운드 캡처링을 위한 시스템은 사운드를 픽업(pick up)해서 M(M은 2 이상임)개의 마이크로폰 신호를 제공하도록 구성된 M개의 마이크로폰, 상기 M개의 마이크로폰 신호(및 하나 이상의 기준 신호)를 수신하고 M개의 에코 소거된 신호를 제공하도록 구성된 다-채널 음향 에코 소거기 블록, 및 상기 M개의 에코 소거된 신호를 수신하고 상기 M개의 에코 소거된 신호를 처리하여 B(B는 1 이상임)개의 빔성형된 신호를 제공하도록 구성된 (고정) 빔성형기 블록을 포함한다.
삭제
원거리 장 사운드 캡처링을 위한 방법으로서, 상기 방법은 사운드를 픽업하여 M(M은 2 이상임)개의 마이크로폰 신호를 제공하는 단계, 상기 M개의 마이크로폰 신호(및 하나 이상의 기준 신호)를 에코 소거 처리하여 M개의 에코 소거된 신호를 제공하는 단계, 및 상기 M개의 에코 소거된 신호를 빔성형 처리하여 B(B는 1 이상임)개의 빔성형된 신호를 제공하는 것을 포함한다.
삭제
다른 시스템, 방법, 특징 및 이점은 다음의 상세한 설명 및 수반된 도면의 검사 시 이 기술분야의 숙련자에게 명백할 것이거나, 또는 명백해질 것이다. 모든 이러한 부가적인 시스템, 방법, 특징, 및 이점은 이러한 설명 내에 포함되고, 본 발명의 범위 내에 있으며, 다음의 청구항에 의해 보호된다는 것이 의도된다.
시스템은 다음의 도면 및 설명을 참조하여 보다 양호하게 이해될 수 있다. 도면에서의 구성요소는 반드시 일정한 축적인 것은 아니며, 대신에 본 발명의 원리를 예시하는데 중점이 두어진다. 게다가, 도면에서, 유사한 참조 번호는 상이한 도면 전체에 걸쳐 대응하는 부분을 지정한다.
도 1은 대표적인 원거리 장 마이크로폰 시스템을 예시한 개략도이다.
도 2는 도 1에 도시된 원거리 장 마이크로폰 시스템에서 적용 가능한 대표적인 음향 에코 소거기를 예시한 개략도이다.
도 3은 대표적인 필터 및 합 빔성형기를 예시한 개략도이다.
도 4는 대표적인 빔 조향 블록을 예시한 개략도이다.
도 5는 적응형 차단 필터 없이 적응형 포스트 필터를 가진 적응형 빔성형기의 단순화된 구조를 예시한 개략도이다.
도 6은 대표적인 스피치 휴지 검출 블록을 가진 대표적인 원거리 장 마이크로폰의 개략도이다.
도 7은 주파수 도메인에서 동작하는 대표적인 스피치 휴지 검출 블록을 예시한 개략도이다.
도면은 하나 이상의 구조적 구성요소의 맥락에서 개념을 설명한다. 도면에 도시된 다양한 구성요소는 예를 들면, 적절한 하드웨어 상에서 실행된 소프트웨어 또는 펌웨어 프로그램 코드, 하드웨어 및 이들의 임의의 조합을 포함한 임의의 방식으로 구현될 수 있다. 몇몇 예에서, 다양한 구성요소는 실제 구현에서 대응하는 구성요소의 사용을 반영할 수 있다. 특정한 구성요소는 복수의 서브-구성요소로 분해될 수 있으며 특정한 구성요소는 병렬 방식으로 포함하여, 본 명세서에서 예시되는 것과 상이한 순서로 구현될 수 있다.
희망 신호 및 간섭 신호는 보통 상이한 공간적 위치에서 비롯된다는 것이 발견되어 왔다. 그러므로, 빔성형 기술은 오디오 애플리케이션에서 신호-대-잡음비를 개선하기 위해 사용될 수 있다. 일반적인 빔성형 기술은 지연 및 합 기술, 그리피스-짐(Griffiths-Jim) 알고리즘과 같은 알고리즘을 사용한 적응형 유한 임펄스 응답(FIR) 필터링 기술, 및 인간 양이 청취 시스템의 모델링에 기초한 기술을 포함한다.
빔성형기는 가중치가 어떻게 선택되는지에 의존하여, 데이터 독립적 또는 통계적 최적으로서 분류될 수 있다. 데이터 독립적 빔성형기에서의 가중치는 어레이 데이터에 의존하지 않으며 모든 신호/간섭 시나리오에 대한 특정된 응답을 제공하기 위해 선택된다. 통계적 최적의 빔성형기는 데이터의 통계에 기초하여 빔성형기 응답을 최적화하도록 가중치를 선택한다. 데이터 통계는 종종 알려지지 않으며 시간에 따라 변할 수 있고, 따라서 적응형 알고리즘은 통계적 최적의 솔루션에 수렴되는 가중치를 얻기 위해 사용된다. 계산적 고려사항은 다수의 센서로 구성된 어레이와 함께 부분 적응형 빔성형기의 사용을 구술한다. 많은 상이한 접근법은 최적의 빔성형기를 구현하기 위해 제안되어 왔다. 일반적으로, 통계적 최적의 빔성형기는 빔성형기 출력에서 신호 대 잡음 비를 최대화하려는 시도로 간섭 소스의 방향으로 널(null)을 둔다.
많은 애플리케이션에서, 희망 신호는 강도가 알려지지 않을 수 있으며 항상 존재하는 것은 아닐 수 있다. 이러한 애플리케이션에서, 최대 신호-대-잡음비(SNR)에서 신호 및 잡음 공분산 행렬의 정확한 추정은 가능하지 않다. 희망 신호에 대한 지식의 부족은 기준 신호 접근법의 이용을 방지할 수 있다. 이들 제한은 가중 벡터에 선형 제약의 적용을 통해 극복할 수 있다. 선형 제약의 사용은 빔성형기의 적응된 응답에 대한 광범위한 제어를 허용하는 접근법이다. 범용 선형 제약 설계 접근법은, 그러나, 존재하지 않으며 많은 애플리케이션에서 상이한 유형의 제약 기술의 조합이 효과적일 수 있다. 그러나, 선형 제약을 설계하기 위한 단일의 최고 방식 또는 상이한 방식의 조합을 찾으려고 시도하는 것은 빔성형 애플리케이션에 대한 선형 제약 설계에 의존하는 기술의 사용을 제한한다.
존재하는 일반화된 사이드로브 소거(generalized sidelobe cancelling: GSC) 기술은 빔성형 애플리케이션을 위한 선형 제약 설계 기술과 연관된 단점을 처리하기 위한 대안적인 접근법이다. 본질적으로, GSC는 제한된 최소화 문제를 제한되지 않은 형태로 변경하기 위한 메커니즘이다. GSC는 특정한 방향으로부터의 희망 신호를 왜곡되지 않게 하는 반면, 동시에 다른 방향으로부터 방사하는 불요 신호는 억제된다. 그러나, GSC는 2 경로 구조를 사용한다: 희망 신호의 방향을 가리키는 (고정) 빔성형기를 실현하기 위한 희망 신호 경로, 및 고정 빔성형기의 출력 신호로부터 차감되는, 순수 잡음 추정치를 이상적으로 적응적으로 생성하고, 따라서 잡음을 억제함으로써 그의 신호-대-잡음비(NSR)를 증가시키는 불요 신호 경로.
불요 신호 경로, 즉 잡음의 추정을 위한 경로는 2-부분 접근법으로 실현될 수 있다. 불요 신호 경로의 제1 스테이지는, 예로서 단일 입력의 경우에 적응형 차단 필터, 또는 하나 이상의 입력 신호가 사용된다면 적응형 차단 행렬인, 이러한 스테이지의 입력 신호로부터 희망 신호의 나머지 성분을 제거하거나 또는 차단한다. 불요 신호 경로의 제2 스테이지는, 그 후 희망 신호 경로의 출력 신호, 예로서 고정 빔성형기의 선택적으로 시간 지연된 출력 신호로부터 차감되는, 단일-채널, 추정된 잡음 신호를 생성하기 위해 적응형 (다-채널) 간섭 소거기(adaptive (multi-channel) interference canceller: AIC)를 추가로 포함할 수 있다. 따라서, 고정 빔성형기의 선택적으로 시간 지연된 출력 신호에 포함된 잡음은 억제될 수 있어서, 희망 신호 성분이 이상적으로 이러한 처리에 의해 영향을 받지 않을 것이므로, 보다 양호한 SNR을 야기한다. 이것은 잡음 추정 내에서의 모든 희망 신호 성분이 성공적으로 차단될 수 있는 경우에만 유효하며, 이것은 실제로 좀처럼 드문 경우이며, 따라서 현재 적응형 빔성형 알고리즘에 관련된 주요 단점 중 하나를 나타낸다.
음향 에코 소거는, 예로서 총 사운드 신호로부터 추정된 에코 신호를 뺌으로써, 달성될 수 있다. 실제 에코 신호의 추정치를 제공하기 위해, 시간 도메인에서 동작하며 적응형 디지털 필터 처리 시간-이산 신호를 이용할 수 있는 알고리즘이 개발되어 왔다. 이러한 적응형 디지털 필터는 필터의 송신 특성을 정의한 네트워크 파라미터가 사전 설정된 품질 기능을 참조하여 최적화되도록 하는 방식으로 동작한다. 이러한 품질 기능은, 예를 들면, 기준 신호를 참조하여 적응형 네트워크의 출력 신호의 평균 제곱 오차를 최소화함으로써, 실현된다.
이제 도 1을 참조하면, 대표적인 원거리 장 사운드 캡처링 시스템에서, 희망 사운드 소스(101)로부터 n이 (이산) 시간 인덱스인, 소스 신호(x(n))에 대응하는, 사운드는 하나 또는 복수의 라우드스피커(도시되지 않음)를 통해 방사되고, 룸을 통해 이동하며, 여기서 그것은 전달 함수(h1(z) .... hM(z))를 가진 대응하는 룸 임펄스 응답(RIR)(100)을 이용해서 필터링되며, 여기서 z는 주파수 인덱스이고, 결국, 결과적인 사운드 신호가 M개의 마이크로폰 신호를 제공하는 M(M은 정수, 예로서 2, 3 이상임)개의 마이크로폰(107)에 의해 픽업되기 전에, 잡음에 의해 손상될 수 있다. 도 1에 도시된 대표적인 원거리 장 사운드 캡처링 시스템은 M개의 에코 소거된 신호(x1(n) ...xM(n))를 제공하는 음향 에코 소거(AEC) 블록(200), B(B는 정수, 예로서 1, 2 이상임)개의 빔성형된 신호(b1(n) ...bB(n))를 제공하는 후속 고정 빔성형기(FB) 블록(300), 및 또한 여기서 양의 빔 출력 신호(b(n))로서 지칭되는, 희망-소스 빔 신호(b(n))를 제공하는 후속 빔 조향(BS) 블록(400), 및 선택적으로 또한 여기서 음의 빔 출력 신호(bn(n))로서 지칭되는, 불요-소스 빔 신호(bn(n))를 포함한다. BS 블록(400) 뒤에 따르며 불요-소스 빔 신호(bn(n))를 공급받는 선택적인 불요 신호(음의-빔) 경로는 에러 신호(e(n))를 제공하는 선택적 적응형 차단 필터(ABF) 블록(500) 및 후속 적응형 간섭 소거기 블록(600)을 포함한다. 대안적으로, AEC 블록(200)의 원래 M개의 마이크로폰 신호 또는 M개의 출력 신호 또는 FB 블록(300)의 B개의 출력 신호는 불요-소스 빔 신호(bn(n))와 선택적으로 중첩된 ABM 블록(500)으로의 입력 신호로서 사용될 수 있어서, 선택적 다채널 ABM 블록뿐만 아니라 선택적 다채널 AIC 블록을 수립한다.
빔 조향 블록(400) 다음에 오며 희망-소스 빔 신호(b(n))를 공급받는, 희망-소스 빔 신호(양의 빔) 경로는 선택적 지연 블록(102), 후속 감산기 블록(103) 및 후속 (적응형) 포스트 필터 블록(104)을 포함한다. 선택적 스피치 휴지 검출기(700)는 적응형 포스트 필터 블록(104)뿐만 아니라 선택적 잡음 감소(NR) 블록(105) 및 선택적 자동 이득 제어(AGC) 블록(106)의 다운스트림에 연결될 수 있으며, 그 각각은, 존재한다면, 스피치 휴지 검출기(700)의 업스트림에 연결될 수 있다. AEC 블록(200)은, FB 블록(300)의 업스트림에 연결되는 대신에, 그의 다운스트림에 연결될 수 있고, 이것은 B < M, 즉 FB 블록(300)에서의 빔성형기의 수가 마이크로폰의 수보다 작다면 유리할 수 있다는 것에 유의한다. 또한, AEC 블록은 다수의 서브-블록(도시되지 않음), 예로서 각각의 마이크로폰 신호에 대한 단-길이 서브-블록 및 희망-소스 빔 신호를 위한 BS 블록의 다운스트림으로 장-길이 서브-블록(도시되지 않음) 및 선택적으로 불요-소스 빔 신호를 위한 또 다른 장-길이 서브-블록(도시되지 않음)으로 나뉠 수 있다. 또한, 시스템은 도시된 바와 같이 단지 하나의 소스를 가진 상황에서 적용 가능할 뿐만 아니라 또한 다수의 소스와 관련되어 사용을 위해 적응될 수 있다. 예를 들면, 두 개의 비상관된 신호를 제공하는 스테레오 소스가 이용된다면, AEC 블록은 스테레오 음향 에코 소거기(SAEC) 블록(도시되지 않음)으로 대체될 수 있다.
도 1로부터 보여질 수 있는 바와 같이, N×M RIR에 의해 필터링되며, 가능하게는 잡음에 의해 간섭된, N(=1) 소스 신호(x(n))는 AEC 블록(200)으로의 입력으로서 작용한다. 도 2는 단일 마이크로폰(206) 단일 라우드스피커(205) AEC 블록(200)의 대표적인 실현을 묘사한다. 이 기술분야의 숙련자에 의해 이해되고 인식될 바와 같이, 이러한 구성은 하나 이상의 마이크로폰(206) 및/또는 하나 이상의 라우드스피커(205)를 포함하도록 확대될 수 있다. 소스 신호(x(n))인 원단(far end) 신호는 에코 신호(xe(n))를 제공하기 위해 전달 함수(벡터)(h(n) = h1,…, hM))를 가진 에코 경로(201)를 통해 라우드스피커(205)를 경유하여 이동한다. 이러한 신호는 합산 노드(209)에서 전기 마이크로폰 (출력) 신호(d(n))를 생성하기 위해 배경 잡음 및 근단 스피치 양쪽 모두를 포함할 수 있는 근-단 신호(v(n))에 부가된다. 적응형 필터 블록(202)에 의해 제공된 추정된 에코 신호(
Figure 112019068210180-pct00001
)는 에러 신호(eAEC(n))를 제공하기 위해 감산 노드(203)에서 마이크로폰 신호(d(n))로부터 차감된다. 적응형 필터(202)의 목표는 에러 신호(eAEC(n))를 최소화하는 것이다.
차수 L-1(여기서 L은 FIR 필터의 길이임)의 전달 함수(
Figure 112019068210180-pct00002
)를 가진 FIR 필터(202)는 에코 경로를 모델링하기 위해 사용된다. 전달 함수(
Figure 112019068210180-pct00003
)는 다음과 같이 주어진다:
Figure 112019068210180-pct00004
.
적응형 필터를 위한 블록(203)에서 희망 마이크로폰 신호(d(n))는 다음과 같이 주어진다:
Figure 112019068210180-pct00005
여기서
Figure 112019068210180-pct00006
는 입력 신호의 L(L은 정수임)개의 가장 최근의 시간 샘플, x(n), 및 v(n), 즉 잡음을 포함할 수 있는 근-단 신호를 포함한 실수-값 벡터이다. 다시 이전 표기법을 이용하면, 피드백/에코 에러 신호는 다음과 같이 주어진다:
Figure 112019068210180-pct00007
,
여기서 벡터(h(n) 및
Figure 112019068210180-pct00008
)는 시간(n)에서 적응형 필터 계수에 의해 음향 에코 경로 및 그의 추정치를 표현한 필터 계수를 포함한다. 벡터(
Figure 112019068210180-pct00009
)는 예로서, 최소 평균 제곱(LMS) 알고리즘 또는 임의의 최신 재귀적 알고리즘을 사용하여 추정된다. LMS-형 알고리즘의 μ(n)의 스텝 크기를 사용한 LMS 업데이트는 다음과 같이 표현된다:
Figure 112019068210180-pct00010
.
단순하지만 효과적인 빔성형 기술은 지연-합(DS) 기술이다. 도 1을 다시 참조하면, AEC 블록(200)의 출력은 고정 빔성형기 블록(300)으로의 입력(xi(n))으로서 작용하며, i = 1,...,M이다. 전달 함수(wi(L))(i = 1,...,M, 및 wi(L) = [wi(0),..., wi(L-1)], L은 FB 내에서 필터의 길이임)를 가진 필터(302)를 포함하는, 고정 필터 및 합(FS) 빔성형기 블록(300)의 일반적인 구조는 도 3에서 도시된다. 필터 블록(302)이 희망 (사실) 지연을 구현하는 경우에, 출력 빔성형기 신호(bj(n))(j = 1,...,B)는 다음과 같이 제공된다:
Figure 112019068210180-pct00011
,
여기서 M은 마이크로폰의 수이다. 각각의 (고정) 빔성형기 출력 신호(bj(n))(j = 1,..., B)에 대해, 각각의 마이크로폰은 서로에 대해 지연(τi,j)을 갖는다. FS 빔성형기는 전달 함수(wi(L))를 가진 필터(302)를 통해 입력 신호(xi(n))를 수신하는 합산기(301)를 포함할 수 있다.
다시 도 1을 참조하면, 고정 FS 빔성형기 블록(300)에 의해 출력된 빔성형기 신호(bj(n))는 BS 블록(400)으로의 입력으로서 작용한다. 고정 빔성형기 블록(300)으로부터의 각각의 신호는 상이한 룸 방향으로부터 취해지며 상이한 SNR 레벨을 가질 수 있다. BS 블록(400)의 입력 신호(bj(n))는 저 주파수 럼블(rumble)과 같은 저 주파수 성분, 직류(DC) 오프셋 및 스피치 신호의 경우에 원치 않는 목소리 파열음을 포함할 수 있다. 그러므로, BS 블록(400)의 입력 신호(bj(n))를 침해할 수 있는 이들 아티팩트는 제거되도록 요구된다.
대안적으로, 불요 신호(예로서, 잡음) 소스를 가리키는 빔, 즉 불요-신호 빔은, 그것이 희망 소스를 가리키는 빔의 반대 방향(또는 그것에 대하여 및 그것과 상이한 임의의 다른 고정된 방향)으로 가리키게 함으로써, 희망 사운드 소스를 가리키는 빔, 즉 희망-소스 빔에 기초하여 근사될 수 있으며, 이것은 보다 적은 리소스를 사용하는 시스템 및 또한 정확하게 동일한 시간 변화를 가진 빔을 야기할 것이다. 또한, 이것은 양쪽 빔 모두가 결코 동일한 방향으로 가리키지 않도록 허용한다.
대안적으로, 기반으로서 희망-소스 방향에서의 빔 포인팅(양의 빔)을 취하는 대신에, 그의 이웃하는 빔과 그것을 합하는 것은, 이들 빔 모두가, 서로에 상관되며 이와 같이 합산에 의해 증폭될, 고 레벨의 희망 신호를 포함하므로, 양의 빔 출력 신호를 생성하기 위한 기반을 형성할 수 있다. 다른 한편으로, 3개의 이웃하는 빔에 포함된 잡음 부분은 단지 서로 상관되지 않으며 이와 같이 합산에 의해 억제될 것이다. 그 결과, 3개의 이웃하는 빔의 최종 출력 신호는 개선된 SNR을 나타낼 것이다.
불요-소스 방향에서의 빔 포인팅(음의 빔)은 대안적으로 그것이 양의 빔을 나타낸다는 점을 제외하고 FB 블록(300)의 모든 출력 신호를 사용함으로써 생성될 수 있다. 이것은 희망 신호 소스의 방향으로 공간 제로를 가진 효과적인 방향성 응답을 야기한다. 그렇지 않다면, 전방향 특징이 적용 가능하며, 이것은 잡음이 보통 또한 전방향 방식으로, 및 단지 드물게 방향성 형태로 마이크로폰 어레이에 들어가므로 유리할 수 있다.
또한, BS 블록(400)으로부터의 선택적으로 지연된, 희망 신호는 출력 신호에 대한 기반을 형성하며 이와 같이 선택적 적응형 포스트 필터(104)로 입력된다. AIC 블록(600)에 의해 제어되며 필터링된 출력 신호를 전달하는, 적응형 포스트 필터(104)는 선택적으로, 알려진 스펙트럼 차감 방법을 구현할 수 있는 후속 단일 채널 잡음 감소 블록(예로서, 도 1에서의 NR 블록(105))으로, 및 선택적(예로서, 최종) 자동 이득 제어 블록(예로서, 도 1에서의 AGC 블록(106))으로 입력될 수 있다.
도 4를 참조하면, BS 블록(400)에서, 양의 빔 신호(bj(n))는 잡음에 의해 영향을 받거나 또는 유용한 신호 성분, 예로서 스피치 신호 성분을 포함하지 않는 신호 성분을 차단하기 위해 (고역 통과 및 선택적 저역 통과) 필터 블록(401)을 사용하여 필터링된다. 필터 블록(401)으로부터의 출력은 빔 신호(bj(n)) 내에서 포인트마다 진폭에서의 빠르고, 랜덤한 변화를 도입할 수 있는 잡음으로 인한 진폭 변화를 가질 수 있다. 이러한 상황에서, 그것은 예로서, 도 4에 도시된 바와 같이 후속 평활화 블록(402)에서 수행된 프로세스에 의해, 잡음을 감소시키기 위해 유용할 수 있다.
필터 블록(401)으로부터의 필터링된 신호는 평활화 블록(402)에서, 예로서 저역 통과 무한 임펄스 응답(IIR) 필터 또는 이동 평균(MA) 무한 임펄스 응답(FIR) 필터(양쪽 모두 도시되지 않음)를 이용함으로써 평활화되며, 그에 의해 적은 변화를 갖고 고 주파수 성분을 감소시키며 저-주파수 성분을 통과시킨다. 평활화 블록(402)은 여전히 몇몇 레벨의 잡음을 포함할 수 있으며, 따라서 상기 설명된 바와 같이 현저한 분명한 불연속성을 야기할 수 있는 평활화된 신호를 출력한다. 음성 신호의 레벨은 통상적으로, 특히 음성 신호의 레벨 변화의 동적 범위가 배경 잡음의 레벨 변화보다 넓으며 훨씬 더 짧은 간격에서 발생한다는 사실로 인해, 배경 잡음의 레벨의 변화와 뚜렷하게 상이하다. 잡음 추정 블록(403)에서 선형 평활화 필터는 그러므로 희망 신호, 예로서 음악 또는 음성 신호에서의 분명한 변화를 스미어링할 뿐만 아니라, 잡음을 걸러낼 것이다. 음악 또는 음성 신호의 이러한 스미어링은 많은 애플리케이션에서 수용 가능하지 않으며, 그러므로 비-선형 평활화 필터(도시되지 않음)는 상기 언급된 아티팩트를 억제하기 위해 잡음 추정 블록(403)에서 평활화된 신호에 적용될 수 있다. 평활화 블록(402)의 출력 빔 신호(bj(n))에서 데이터 포인트는 바로 인접한 포인트보다 (짐작컨대 잡음 때문에) 높은 진폭을 가진 개개의 포인트가 감소되며, 인접한 포인트보다 낮은 진폭을 가진 포인트가 증가되도록 하는 방식으로 수정된다. 이것은 보다 평활화된 신호(및 신호 변화에 대한 보다 느린 스텝 응답)를 야기한다.
다음으로, 평활화 블록(402)으로부터의 평활화 신호 및 잡음 추정 블록(403)으로부터의 추정된 배경 잡음 신호에 기초하여, SNR 값에서의 변화가 결정(예로서, 산출)될 수 있다. SNR에서의 변화에 의해, 잡음 소스는 희망 스피치 또는 음악 신호로부터 구별될 수 있다. 예를 들면, 낮은 SNR 값은 공기-조절기, 선풍기, 개방된 창문, 또는 컴퓨터와 같은 전기 디바이스 등과 같은 다양한 잡음 소스를 나타낼 수 있다. SNR은 시간 도메인에서 또는 주파수 도메인에서 또는 서브-대역 주파수 도메인에서 평가될 수 있다.
비교기 블록(405)에서, 블록(404)으로부터의 출력 SNR 값은 미리 결정된 임계치와 비교된다. 현재 SNR 값이 미리 결정된 임계치보다 크면, 예로서, 희망 스피치 신호를 나타내는 플래그는 예로서, '1'로 설정될 것이다. 대안적으로, 현재 SNR 값이 미리 결정된 임계치보다 작으면, 공기-조절기, 선풍기, 개방된 창문 또는 컴퓨터와 같은 전기 디바이스로부터의 잡음과 같은 불요 신호를 나타내는 플래그는 예로서, '0'으로 설정될 것이다.
블록(404 및 405)으로부터의 SNR 값은 경로 #1 내지 경로 #B를 통해 제어기 블록(406)으로 전달된다. 제어기 블록(406)은 비교기 블록(405)에서 상태 플래그에 대해 시간 경과에 따라서 수집된 복수의 SNR(낮은 및 높은 모두) 값의 인덱스를 비교한다. 최대 및 최소 값의 히스토그램은 미리 결정된 시간 지속 기간 동안 수집된다. 히스토그램에서 최소 및 최대 값은 적어도 두 개의 상이한 출력 신호를 나타낸다. 적어도 하나의 신호는 S(n)에 의해 표기된 희망 소스로 지향되고 적어도 하나의 신호는 I(n)으로 표기된 간섭 소스로 지향된다.
제어기 블록(406)에서 낮은 SNR 값 및 높은 SNR 값에 대한 인덱스가 시간 경과에 따라서 변한다면, 음향 아티팩트를 생성하지 않고, 하나로부터 다른 출력 신호로의 매끄러운 전이를 허용하는 페이딩(fading) 프로세스가 개시될 수 있다. BS 블록(400)의 출력은 시간 경과에 따라서 선택된 희망-신호 및 선택적으로 불요-신호 빔을 나타낸다. 여기서, 희망-신호 빔은 최고 SNR을 가진 FB 출력(양의 빔 신호(b(n))을 나타낸다. 선택적으로, 불요 빔은 최저 SNR을 가진 FB 출력(음의 빔 신호(bn(n))을 나타낸다.
BS 블록(400)의 출력은 선택적 적응형 차단 필터(ABF) 블록(500)에 의해 기준으로서 사용될 수 있는 높은 SNR(양의 빔)을 가진 신호 및 선택적 ABF 블록(500)에 대한 제2 입력 신호를 형성하는, 낮은 SNR(음의 빔)을 가진 선택적인 부가적인 것을 포함한다. ABF 필터 블록(500)은 신호(bn(n))(불요-소스 빔을 나타내는)로부터 기준 신호(b(n))(희망-소스 빔을 나타내는)에 의해 표현된 관심 신호를 적응적으로 빼기 위해 최소 평균 제곱(LMS) 알고리즘 제어된 필터를 사용할 수 있으며 에러 신호(들)(
Figure 112019068210180-pct00012
)를 제공한다. ABF 블록(500)으로부터 획득된 에러 신호(들)(
Figure 112019068210180-pct00013
)는 희망-신호 경로에서 고정 빔성형기(300)의 빔성형기 출력으로부터의 에러 신호에 상관되는 신호 성분을 적응적으로 제거하는 적응형 간섭 소거기(AIC) 블록(600)으로 전달된다. 이미 언급된 바와 같이, 다른 신호는 대안적으로 또는 부가적으로 ABM 블록으로의 입력으로서 작용할 수 있다. 더욱이, 선택적으로 ABM, AIC 및 APF 블록을 포함할 수 있는, 적응형 빔성형기 블록은 부분적으로 또는 완전히 생략될 수 있다.
첫 번째로, AIC 블록(600)은 적응형 필터(도시되지 않음)를 사용하여 간섭 신호를 계산한다. 그 후, 이러한 적응형 필터의 출력은 기준 신호(b(n))에서의 남아있는 간섭 및 잡음 성분을 제거하기 위해 감산기(103)에 의해, 양의 빔 신호(b(n))일 수 있는, 선택적으로 지연된(지연(102)을 가진) 기준 신호로부터 차감된다. 최종적으로, 적응형 포스트 필터(104)는 통계적 잡음 성분(즉, 별개의 자동상관을 갖지 않은 신호)의 감소를 위해 감산기(103)의 다운스트림에 연결될 수 있다. ABF 블록(500)에서처럼, AIC 블록(600)에서의 필터 계수는 적응형 LMS 알고리즘을 사용하여 업데이트될 수 있다. AIC 블록(600), ABF 블록(500) 및 AEC 블록 중 적어도 하나에서의 필터 계수의 놈(norm)은 그것들이 과도하게 크게 성장하는 것을 방지하기 위해 제한될 수 있다.
도 5는 희망-소스 빔(양의 빔) 신호(b(n))로부터 잡음을 제거하기 위한 대표적인 시스템을 예시한다. 그에 의해, 도 5에서 신호(zi(n))에 의해 표현된, 신호(b(n))에 포함된 잡음 성분은 적응형 시스템(700)에 의해 제공되며 그 안에 포함된 불요 잡음을 특정한 정도로 감소시키기 위해, 지연(102)으로서 선택적으로 지연된, 희망 신호(b(n-γ)로부터 가산기(103)에 의해 차감된다. 이상적으로 단지 잡음만을 포함하며 스피치와 같은 어떤 유용한 신호도 포함하지 않는, 불요-소스 빔을 나타내는, 적응형 필터(700)에 대한 기준 신호, 즉 음의 빔 신호(bn(n))로서, 사용된다. 알려진 NLMS 알고리즘은 BS 블록(400)으로부터의 희망-소스 빔 신호(b(n))로부터 잡음을 필터링하기 위해 사용될 수 있다. 희망-소스 빔 신호(b(n))에서의 잡음 성분은 적응형 시스템 블록(700)을 사용하여 추정된다. 희망 신호(b(n))에서의 추정된 잡음은 희망-소스 빔 신호(b(n))에서 추가 잡음을 감소시키기 위해, 가산기(103)에 의해, 선택적으로 지연된 희망 신호(b(n-γ))로부터 차감된다. 불요-소스 빔 신호(bn(n))는 희망-소스 빔 신호(b(n))에서 임의의 잔여 잡음을 제거하기 위해 적응형 시스템 블록(700)에 대한 잡음 기준 신호로서 사용될 것이다. 이것은 결국 희망-소스 빔 신호(b(n))의 신호-대-잡음(SNR) 비를 증가시킬 것이다. 도 5에 도시된 시스템은 ABF 또는 ABM 블록에 의해 수행된, 불요 신호의 신호 성분의 부가적인 차단이 그것이 희망 신호(b(n-γ))와 비교하여 순수 잡음 신호의 품질을 거의 증가시키지 않는다면 생략될 수 있으므로 어떤 선택적 ABF 또는 ABM 블록도 이용하지 않는다. 따라서, ABF 및/또는 ABM 블록은 불요-소스 빔 신호(bn(n))의 품질에 의존하여, 적응형 빔성형기의 성능을 악화시키지 않고 생략될 수 있다.
도 6에 묘사된 바와 같이, 블록(104)의 희망 출력 스피치 신호(y(n))는 스피치 휴지 검출기(SPD) 블록(700)으로의 입력으로서 작용할 수 있다. SPD 블록(700)과 같은 SPD 블록은 도시된 바와 같이 원거리-장 마이크로폰 시스템에서 또는 임의의 다른 적절한 애플리케이션에서 사용될 수 있다.
도 7을 참조하면, 스피치 휴지 검출기(SPD) 블록(700)은 시간-주파수 변환 블록(701)에 의해 입력 신호(y(n))를 시간 도메인으로부터 주파수 도메인으로 변환시킬 수 있다. 입력 신호의 스펙트럼 성분은, 대역 통과 필터링 및 푸리에 변환을 포함한, 다양한 방식에 의해 획득될 수 있다. 하나의 접근법에서, 이산 또는 고속 푸리에 변환은 입력 신호의 N개 포인트의 순차적 블록을 변환하기 위해 이용될 수 있다. 해닝(Hanning) 윈도우와 같은, 윈도우 함수가 이용될 수 있으며, 이 경우에 N/2 포인트의 중첩이 사용될 수 있다. 이산 푸리에 변환(DFT)이 입력 신호에서의 각각의 주파수 빈에서 이용될 수 있다. 대안적으로, 고속 푸리에 변환(FFT)은 입력 신호에 의해 점유된 전체 주파수 대역에 걸쳐 이용될 수 있다. 스펙트럼은 입력 신호 대역 내에서 각각의 주파수 빈에 대해 저장된다.
본 예에서, 시간-주파수 변환 블록(701)은 주파수 도메인에서 신호(Y(ω))를 생성하기 위해 시간 도메인에서의 입력 신호(y(n))에 선택적 윈도우잉(도시되지 않음)을 가진 고속 푸리에 변환(FFT)을 적용한다. 신호(Y(ω))는 적절한 길이의 이동 평균 필터를 사용한 스펙트럼 평활화 블록(702)에 의해 및 윈도우 함수를 이용함으로써 선택적으로 평활화된다. 윈도우 함수에 대해, 해닝 윈도우 또는 임의의 다른 윈도우 함수가 적용 가능하다.
(선택적) 스펙트럼 평활화의 단점은 그것이, 스펙트럼 분해능을 감소시키는, 복수의 주파수 빈을 감안한다는 것이다. 스펙트럼 평활화와 연관된 단점을 극복하기 위해, 스펙트럼 평활화 블록(702)의 출력은 시간적 평활화 블록(703)을 사용함으로써 추가로 평활화된다. 시간적 평활화 블록(703)은 블록(702)의 출력 신호에서 시간적 역학을 감소시키기 위해 시간에 걸친 주파수 빈 값을 조합한다.
시간적 평활화 블록(703)은 충동적 왜곡뿐만 아니라 배경 잡음을 여전히 포함할 수 있는 시간적으로 평활화된 신호를 출력한다. 잡음 추정 블록(704)은 결국 현재 배경 잡음을 추정하기 위해 시간적 평활화 블록(703)의 출력에서 스피치와 같은 충동적 왜곡을 스미어링하기 위해 시간적 평활화 블록(703)의 다운스트림에 연결된다. 음악 또는 음성 신호와 같은 희망 신호의 스미어링을 감소시키거나 또는 피하기 위해, 비-선형 평활화(도시되지 않음)가 잡음 추정 블록(704)에서 이용될 수 있다.
시간적 평활화 블록(703)으로부터의 평활화된 신호 및 잡음 추정 블록(704)으로부터의 추정된 준 정적 배경 잡음 신호에 기초하여, SNR에서의 변화가 결정될 수 있다(예로서, SNR 값의 주파수 분포로서). SNR의 변화에 의해, 잡음 소스는 희망 스피치 또는 음악 신호로부터 구별될 수 있다. 예를 들면, 낮은 SNR 값은 공기-조절기, 선풍기, 개방된 창문, 또는 컴퓨터와 같은 전기 디바이스 등과 같은 다양한 잡음 소스를 나타낼 수 있다. SNR은 시간 도메인에서 또는 주파수 도메인에서 또는 서브-대역 도메인에서 평가될 수 있다.
비교기 블록(706)에서, 블록(405)으로부터의 출력 SNR 값은 미리 결정된 임계치와 비교된다. 현재 SNR 값이 미리 결정된 임계치보다 크면, 예로서, 희망 스피치 신호를 나타내는 플래그는, 예로서, '1'로 설정될 것이다. 현재 SNR 값이 미리 결정된 임계치보다 작으면, 공기-조절기, 선풍기, 개방된 창문 또는 컴퓨터와 같은 전기 디바이스로부터의 잡음과 같은 불요 신호를 나타내는 플래그는 예로서, '0'으로 설정될 것이다.
블록(706)으로부터의 SNR 값은 합산 블록(707)으로 전달된다. 합산 블록(707)은 블록(706)으로부터의 스펙트럼 플래그를 합하며 적어도 1회 가변 신호(S(n))를 출력한다. 블록(707)으로부터의 출력 신호(S(n))는 비교기 블록(708)으로 전달된다. 비교기 블록(708)에서, 블록(707)으로부터의 출력 신호(S(n))는 또 다른 미리 결정된 임계치와 비교된다. 출력 신호(S(n))의 현재 값이 미리 결정된 임계치보다 크면, 음성 활동을 나타내는 플래그는 예로서, '1'로 설정될 것이다. 대안적으로, 출력 신호(S(n))의 현재 값이 미리 결정된 임계치보다 작으면, 음성 활동을 나타내는 플래그는 예로서, '0'으로 설정될 것이다.
비교기 블록(708)의 출력 신호는 음성 무활동을 나타낼 수 있다. 비교기 블록(708)의 출력은 스피치 휴지 검출(SPD) 타이머 블록(709)으로 전달된다. SPD 타이머 블록(709)은 음성 무활동을 나타내는 비교기 블록(708)으로부터 플래그 '0'의 수(계수치) T(n)를 계수하기 위해 카운터(710)를 사용할 수 있거나 또는 스피치 동안 일시정지한다. SPD 타이머 블록(709)이 음성 무활동을 맞닥뜨리거나 또는 일시정지하면, 계수치(T(n))는 1만큼 감소될 것이며, 그렇지 않으면 계수치(T(n))는 예로서, 그의 초기화 값으로 리셋될 것이다.
SPD 타이머 블록(710)의 출력은 스피치 휴지 검출(SPD) 블록(710)으로 전달된다. SPD 타이머 블록(710)에서, 출력 계수치(T(n))는 미리 결정된 임계치와 비교된다. 현재 계수치(T(n))가 미리 결정된 임계치보다 작다면, 예로서, 스피치 휴지를 나타내는 플래그는 '1'로 설정될 것이다. 현재 계수치(T(n))가 미리 결정된 임계치보다 크다면, 스피치에서의 휴지를 나타내는 플래그는 음성 활동을 나타내는 '0'으로 설정될 것이다. 이미 언급된 바와 같이, 상기 개괄된 방법은 또한 시간 도메인에서 실현될 수 있다.
실시예의 설명은 예시 및 설명의 목적을 위해 제공되어 왔다. 실시예에 대한 적절한 수정 및 변형은 상기 설명을 고려하여 수행될 수 있거나 또는 방법을 실시하는 것으로부터 획득될 수 있다. 예를 들면, 달리 주지되지 않는 한, 설명된 방법 중 하나 이상은 적절한 디바이스 및/또는 디바이스의 조합에 의해 수행될 수 있다. 설명된 방법 및 연관된 동작은 또한 본 출원에서 설명된 순서 외에 다양한 순서로, 병렬로, 그리고/또는 동시에 수행될 수 있다. 설명된 시스템은 사실상 대표적이며, 부가적인 요소를 포함하고/하거나 요소를 생략할 수 있다.
예를 들면, 상기 설명된 바와 같이 원거리-장 사운드 캡처링 시스템에서, 빔-조향 블록은 대안적으로 M개의 마이크로폰 또는 음향 에코 소거기에 의해 제공된 에러 신호, 즉 음향 에코 소거기 전 또는 후 또는 음향 에코 소거기에서 선택적 잔여 에코 억제기 전 또는 후의 신호의 일부 또는 모두에 기초할 수 있다. 희망 소스를 가리키는 음파의 빔을 검출하는 것에 대안적으로 또는 부가적으로, 불요 소스를 가리키는 음파의 빔은 주요 빔으로서 사용될 수 있다. 시스템은 적응형 간섭 소거기의 업스트림에 연결된 그의 입력 신호(들) 내에서 유용한 신호 부분을 정적으로 또는 적응적으로 차단하도록 구성된 선택적 적응형 차단 필터 또는 적응형 차단 행렬을 추가로 포함할 수 있다. 적응형 간섭 소거기는 대안적으로 또는 부가적으로 M개의 에코 소거된 신호에 뿐만 아니라 (또한) 예로서 불요-소스 빔 신호와 같은 다른 신호에 기초하여 추정된 잡음 신호를 제공하도록 구성될 수 있다.
음향 에코 소거기 블록, 후속 (고정) 빔성형기 블록, 후속 빔조향 블록 및 최종적으로 적응형 간섭 소거기인, 상기 설명된 블록의 순서 대신에, 몇몇 신호 처리 블록, 특히 고정 빔성형기 블록 및 음향 에코 소거기 블록 또는 그의 부분이 교환되거나 또는 생략될 수 있으며, 이것은 또한 (고정) 빔성형기 블록, 이어서 음향 에코 소거기 블록, 그 후 빔조향 블록 및 선택적으로 적응형 간섭 소거기의 가능한 순서를 허용할 것이다. 추가 선택적 구조는, 입력 스테이지로서, M개의 마이크로폰 신호의 각각 및 단일-채널을 처리하도록 구성된 보다 짧은 음향 에코 소거기 블록, 잠재적으로 양의-빔 출력 신호 및, 선택적으로, 또 다른 단일-채널을 처리하도록 구성된 보다 긴 음향 에코 소거기 블록, 잠재적으로 불요-소스 빔 신호를 처리하도록 구성된 보다 긴 음향 에코 소거기 블록을 포함한다.
리소스를 절약하기 위해, 음향 에코 소거기 블록(들)은 입력 스테이지로서, 예로서 M < B이면 가장 효율적인 위치에, 및 M > B이면, 빔성형 블록의 다운스트림 또는 상기 설명된 바와 같이 분리 구조에 배열될 수 있다. 추가 대안으로서, (고정) 빔성형기 블록은 상이한 "관찰 각"으로서 보다 쉽게 구현될 수 있으며 예로서 각각의 고유 빔에 대한 단순한 곱셈에 의해 구현된, 단지 부가적인 회전 행렬만을 이용해서 실현될 수 있는, (고정) 양식 빔성형기일 수 있으며, 그 후 가장 적절한 것은 고유빔이 회전 가능하므로 동적으로 미세-조정될 수 있다.
또한, 빔조향 블록은, 그의 가장 단순한 구현에서, 단지 희망-소스 빔 신호만을 제공하며, 이것은 그 후 원거리 장 사운드 캡처링 시스템의 우선 가장 단순한 출력 신호로서 작용할 수 있다. 예를 들면, 선택적 적응형 차단 필터 또는 행렬 블록, 적응형 포스트 필터 블록, 잡음 감소 블록, 자동 이득 제어 블록 및 스피치 휴지 검출 블록과 관련되어 적응형 간섭 소거기에 의해 형성될 수 있는 적응형 빔성형기와 같은, 모든 다른 신호 처리 유닛은 선택적이다. 이들 선택적 블록은 임의의 조합으로 합쳐질 수 있다. 따라서, 양의 빔 출력 신호는, 예를 들면, 먼저 자동 이득 제어 블록을 통해, 또는 먼저 잡음 감소를 통해 그리고 그 후 자동 이득 제어 블록을 통해 구동될 수 있다. 또한, 적응형 빔성형기는 적응형 차단 필터 또는 행렬 블록을 갖고 또는 그것 없이 이용될 수 있다. 다수의 다른 조합이 적용 가능하다. (고정) 양식 빔성형기가 사용되면, 빔조향 블록은 (고정) 양식 빔성형기가 그 후 응답 소스의 방향으로 자동으로(동적으로) 또는 적응적으로 그 자신을 배향하도록 구성될 수 있으며, 따라서 이미 각각의 빔 출력 신호를 제공할 수 있으므로 생략될 수 있다.
상기 설명된 것과 같은 스피치 휴지 검출기에서, 대안적으로 다수의 인접한 빈은 인간 귀의 것과 유사한 주파수 분해능을 제공하기 위해 조합될 수 있다(예로서, 바크(Bark) 척도, 멜(Mel) 척도, ERB 척도 등에 따라). 이것은 처리 단계의 수를 그에 부응하여 감소시킴으로써 복잡도를 줄일 것이다. 더욱이, 스피치 휴지 검출기는 단지 음성 활동 인식의 포인트까지 설명되었으며, 최종 부분(타이머 및 판단기)은 누락되었다. 스피치 휴지 검출기는 주파수 도메인에서 구현될 수 있을 뿐만 아니라 또한 시간 도메인에서 실현될 수 있다. 게다가, 이러한 시스템은 스피치 휴지뿐만 아니라, 또한 결국 음성 활동을 검출할 수 있다. 상기 설명된 스피치 휴지 검출기의 상이한 변형은 따라서 또한 독립형 애플리케이션에서 적용 가능하다.
본 출원에서 사용된 바와 같이, 단수형으로 나열되고 단수 표현으로 이어지는 요소 또는 단계는, 이러한 배제가 서술되지 않는 한, 복수의 상기 요소 또는 단계를 배제하지 않는 것으로 이해되어야 한다. 더욱이, 본 개시내용의 "일 실시예" 또는 "일례"에 대한 언급은 나열된 특징을 또한 통합하는 부가적인 실시예의 존재를 제외하는 것으로 해석되도록 의도되지 않는다. 용어 "제1", "제2", 및 "제3" 등은 단지 라벨로서 사용되며, 이들의 대상에 수치 요건 또는 특정한 위치 순서를 부여하도록 의도되지 않는다.
본 개시내용의 실시예는 일반적으로 복수의 회로, 전기 디바이스, 및/또는 적어도 하나의 제어기를 위해 제공한다. 회로, 적어도 하나의 제어기, 및 다른 전기 디바이스 및 각각에 의해 제공된 기능에 대한 모든 언급은 본 명세서에서 예시되고 설명되는 것만을 포함하는 것으로 제한되도록 의도되지 않는다. 특정한 라벨이 개시된 다양한 회로(들), 제어기(들) 및 다른 전기 디바이스에 할당될 수 있지만, 이러한 라벨은 다양한 회로(들), 제어기(들) 및 다른 전기 디바이스에 대한 동작의 범위를 제한하도록 의도되지 않는다. 이러한 회로(들), 제어기(들) 및 다른 전기 디바이스는 서로 조합되고/되거나 요구되는 특정한 유형의 전기적 구현에 기초하여 임의의 방식으로 분리될 수 있다.
본 명세서에서 개시된 바와 같이 임의의 제어기는 임의의 수의 마이크로프로세서, 집적 회로, 메모리 디바이스(예로서, 플래시, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 프로그램 가능한 판독 전용 메모리(EPROM), 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM), 또는 그의 다른 적절한 변형) 및 본 명세서에서 개시된 동작(들)을 수행하기 위해 서로 협력하는 소프트웨어를 포함할 수 있다는 것이 인식된다. 또한, 개시된 바와 같은 임의의 제어기는 개시된 바와 같이 임의의 수의 기능을 수행하도록 프로그램되는 비-일시적 컴퓨터 판독 가능한 매체에서 구체화되는 컴퓨터-프로그램을 실행하기 위해 임의의 하나 이상의 마이크로프로세서를 이용한다. 또한, 본 명세서에서 제공된 바와 같이 임의의 제어기는 하우징 및 하우징 내에 배치된 다양한 수의 마이크로프로세서, 집적 회로, 및 메모리 디바이스(예로서, 플래시, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 프로그램 가능한 판독 전용 메모리(EPROM), 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM))를 포함한다. 개시된 바와 같이 제어기(들)는 또한 각각 본 명세서에 논의된 바와 같이 다른 하드웨어 기반 디바이스로부터 그리고 이것으로, 데이터를 수신하고 송신하기 위해 하드웨어 기반 입력 및 출력을 포함한다.
본 발명의 다양한 실시예가 설명되었지만, 보다 많은 실시예 및 구현이 본 발명의 범위 내에서 가능하다는 것이 이 기술분야에서 통상의 기술자에게 명백할 것이다. 특히, 숙련자는 상이한 실시예로부터 다양한 특징의 상호 교환성을 인식할 것이다. 이들 기술 및 시스템은 특정한 실시예 및 예의 맥락에서 개시되었지만, 이들 기술 및 시스템은 구체적으로 개시된 실시예를 넘어 다른 실시예 및/또는 사용 및 그의 분명한 수정으로 확대될 수 있다는 것이 이해될 것이다.

Claims (45)

  1. 원거리 장 사운드 캡처링(far field sound capturing)을 위한 시스템으로서,
    사운드를 픽업(pick up)해서 M(M은 2 이상임)개의 전기 마이크로폰 신호를 제공하도록 구성된 M개의 마이크로폰;
    상기 M개의 마이크로폰 신호를 수신하고 M개의 에코 소거된 신호를 제공하도록 구성된 다-채널 음향 에코 소거기;
    상기 M개의 에코 소거된 신호를 수신하고 상기 M개의 에코 소거된 신호를 처리하여 B(B는 1 이상임)개의 빔성형된 신호를 제공하도록 구성된 빔성형기;
    상기 B개의 빔성형된 신호를 수신하고 처리하도록 구성된 빔조향기를 더 포함하고,
    상기 B개의 빔성형된 신호를 처리하는 것은 희망-소스 빔 신호를 검출하는 것을 포함하고, 상기 희망-소스 빔 신호는 희망 소스(desired source)를 가리키는 음파의 빔을 나타내며
    상기 B개의 빔성형된 신호를 처리하는 것은 불요(undesired)-소스 빔 신호를 검출하는 것을 더 포함하되, 상기 불요-소스 빔 신호는 불요 소스를 가리키는 음파의 빔을 나타내는, 원거리 장 사운드 캡처링을 위한 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 희망-소스 빔 신호 및 상기 불요-소스 빔 신호 중 적어도 하나에 기초하여 추정된 잡음 신호를 제공하도록 구성된 적응형 간섭 소거기; 및
    상기 희망-소스 빔 신호로부터 상기 추정된 잡음 신호를 감산하여 출력 신호를 제공하도록 구성된 감산기를 더 포함하는, 원거리 장 사운드 캡처링을 위한 시스템.
  5. 제1항에 있어서, 상기 B개의 빔성형된 신호를 처리하는 것은 최고 신호-대-잡음비를 식별하기 위해 상기 B개의 빔성형된 신호의 신호-대-잡음비를 평가하는 것 및 상기 최고 신호-대-잡음비에 기초하여 상기 희망-소스 빔 신호를 검출하는 것을 더 포함하는, 원거리 장 사운드 캡처링을 위한 시스템.
  6. 제1항에 있어서, 상기 B개의 빔성형된 신호를 처리하는 것은 최저 신호-대-잡음비를 식별하기 위해 상기 B개의 빔성형된 신호의 신호-대-잡음비를 평가하는 것 및 상기 최저 신호-대-잡음비에 기초하여 상기 불요-소스 빔 신호를 검출하는 것을 더 포함하는, 원거리 장 사운드 캡처링을 위한 시스템.
  7. 제1항에 있어서, 상기 B개의 빔성형된 신호를 처리하는 것은 상기 불요-소스 빔 신호가 상기 희망 소스의 반대 방향으로 가리키는 음파의 빔을 나타낸다는 점에서, 상기 희망-소스 빔 신호에 기초하여 상기 불요-소스 빔 신호를 검출하는 것을 더 포함하는, 원거리 장 사운드 캡처링을 위한 시스템.
  8. 제4항에 있어서, 상기 빔조향기 및 상기 적응형 간섭 소거기와 작동 가능하게 결합된 적응형 차단 필터를 더 포함하되, 상기 적응형 차단 필터는 상기 빔조향기로부터 상기 희망-소스 빔 신호 및 불요-소스 빔 신호 중 적어도 하나를 처리하며 에러 신호를 상기 적응형 간섭 소거기로 제공하도록 구성되고, 상기 적응형 간섭 소거기는 상기 에러 신호에 기초하여 추정된 잡음 신호를 제공하도록 구성되는, 원거리 장 사운드 캡처링을 위한 시스템.
  9. 제1항에 있어서,
    상기 빔조향기에 연결되어 출력 신호를 제공하는 감산기; 및
    각각이 상기 감산기의 다운스트림에 연결되는, 적응형 포스트 필터, 스피치 휴지 검출기, 잡음 감소 필터 및 자동 이득 제어 증폭기 중 적어도 하나를 더 포함하되,
    상기 적응형 포스트 필터는 감소된 통계적 광대역 잡음을 제공하도록 구성되고, 상기 자동 이득 제어 증폭기는 상기 출력 신호의 신호 레벨을 제어하도록 구성되며, 상기 스피치 휴지 검출기는 상기 출력 신호에서 스피치 신호의 발생 및 불발을 검출하도록 구성되는, 원거리 장 사운드 캡처링을 위한 시스템.
  10. 제4항에 있어서, 상기 빔조향기 및 상기 감산기와 작동 가능하게 결합되며 상기 빔조향기에 의해 상기 감산기에 공급된 상기 희망-소스 빔 신호를 시간에 맞게(timely) 지연시키도록 구성된 지연 요소를 더 포함하는, 원거리 장 사운드 캡처링을 위한 시스템.
  11. 원거리 장 사운드 캡처링을 위한 방법으로서,
    M(M은 2 이상임)개의 마이크로폰을 이용하여, 사운드를 픽업하여 M개의 전기 마이크로폰 신호를 제공하는 단계;
    다-채널 음향 에코 소거기를 이용하여, 상기 M개의 마이크로폰 신호를 에코 소거 처리하여 M개의 에코 소거된 신호를 제공하는 단계;
    빔성형기를 이용하여, 상기 M개의 에코 소거된 신호를 빔성형 처리하여 B(B는 1 이상임)개의 빔성형된 신호를 제공하는 단계; 및
    빔조향기를 이용하여, 상기 B개의 빔성형된 신호를 빔조향 처리하는 단계를 더 포함하고,
    상기 빔조향 처리하는 단계는 희망-소스 빔 신호를 검출하는 단계를 포함하고, 상기 희망-소스 빔 신호는 희망 소스를 가리키는 음파의 빔을 나타내며,
    상기 B개의 빔성형된 신호를 빔조향 처리하는 단계는 불요-소스 빔 신호를 검출하는 단계를 더 포함하되, 상기 불요-소스 빔 신호는 불요 소스를 가리키는 음파의 빔을 나타내는, 원거리 장 사운드 캡처링을 위한 방법.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    적응형 간섭 소거기를 이용하여, 상기 희망-소스 빔 신호 및 상기 불요-소스 빔 신호 중 적어도 하나에 기초하여 추정된 잡음 신호를 제공하도록 구성된 적응형 간섭 소거 단계; 및
    감산기를 이용하여, 상기 희망-소스 빔 신호로부터 상기 추정된 잡음 신호를 감산하여 출력 신호를 제공하는 단계를 더 포함하는, 원거리 장 사운드 캡처링을 위한 방법.
  15. 제11항에 있어서, 상기 B개의 빔성형된 신호를 빔조향 처리하는 단계는 상기 B개의 빔성형된 신호의 신호-대-잡음비를 평가하여 최고 신호-대-잡음비를 식별하는 단계 및 상기 최고 신호-대-잡음비에 기초하여 상기 희망-소스 빔 신호를 검출하는 단계를 더 포함하는, 원거리 장 사운드 캡처링을 위한 방법.
  16. 삭제
  17. 제11항에 있어서, 상기 B개의 빔성형된 신호를 빔조향 처리하는 단계는, 상기 불요-소스 빔 신호가 상기 희망 소스의 반대 방향을 가리키는 음파의 빔을 나타낸다는 점에서, 상기 희망-소스 빔 신호에 기초하여 상기 불요-소스 빔 신호를 검출하는 단계를 더 포함하는, 원거리 장 사운드 캡처링을 위한 방법.
  18. 제11항에 있어서, 적응형 차단 필터를 이용한, 상기 희망-소스 빔 신호 및 상기 불요-소스 빔 신호 중 적어도 하나를 처리하고 적응형 간섭 소거를 위해 에러 신호를 제공하도록 구성된 적응형 차단 필터링 단계를 더 포함하되, 상기 적응형 간섭 소거는 상기 에러 신호에 기초하여 추정된 잡음 신호를 제공하도록 구성되는, 원거리 장 사운드 캡처링을 위한 방법.
  19. 제11항에 있어서,
    상기 빔조향기에 감산기가 연결되어 출력 신호가 제공되고,
    적응형 포스트 필터에 의한 적응형 포스트 필터링, 스피치 휴지 검출기에 의한 스피치 휴지 검출, 잡음 감소 필터에 의한 잡음 감소 필터링 및 자동 이득 제어 증폭기에 의한 자동 이득 제어 중 적어도 하나를 더 포함하되,
    적응형 포스트 필터링은 감소된 통계적 광대역 잡음을 제공하도록 구성되고, 자동 이득 제어는 상기 출력 신호의 신호 레벨을 제어하도록 구성되며, 스피치 휴지 검출은 상기 출력 신호에서 스피치 신호의 발생 및 불발을 검출하도록 구성되는, 원거리 장 사운드 캡처링을 위한 방법.
  20. 제14항에 있어서, 지연 요소를 이용하여, 지연된 상기 희망-소스 빔 신호로부터 상기 추정된 잡음 신호를 빼기 전에 공급된 상기 희망-소스 빔 신호를 시간에 맞게(timely) 지연시키는 단계를 더 포함하는, 원거리 장 사운드 캡처링을 위한 방법.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
KR1020197019313A 2017-01-04 2017-12-11 원거리 장 사운드 캡처링 KR102517939B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17150217 2017-01-04
EP17150217.2 2017-01-04
PCT/EP2017/082118 WO2018127359A1 (en) 2017-01-04 2017-12-11 Far field sound capturing

Publications (2)

Publication Number Publication Date
KR20190099445A KR20190099445A (ko) 2019-08-27
KR102517939B1 true KR102517939B1 (ko) 2023-04-04

Family

ID=57755191

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197019313A KR102517939B1 (ko) 2017-01-04 2017-12-11 원거리 장 사운드 캡처링

Country Status (6)

Country Link
US (1) US20190348056A1 (ko)
EP (1) EP3545691B1 (ko)
JP (1) JP2020504966A (ko)
KR (1) KR102517939B1 (ko)
CN (1) CN110199528B (ko)
WO (1) WO2018127359A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10938994B2 (en) * 2018-06-25 2021-03-02 Cypress Semiconductor Corporation Beamformer and acoustic echo canceller (AEC) system
US11025324B1 (en) * 2020-04-15 2021-06-01 Cirrus Logic, Inc. Initialization of adaptive blocking matrix filters in a beamforming array using a priori information
KR102306739B1 (ko) * 2020-06-26 2021-09-30 김현석 차량 내부 음성전달 강화 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699437A (en) * 1995-08-29 1997-12-16 United Technologies Corporation Active noise control system using phased-array sensors
US6292433B1 (en) * 1997-02-03 2001-09-18 Teratech Corporation Multi-dimensional beamforming device
US6480823B1 (en) * 1998-03-24 2002-11-12 Matsushita Electric Industrial Co., Ltd. Speech detection for noisy conditions
EP1538867B1 (en) * 2003-06-30 2012-07-18 Nuance Communications, Inc. Handsfree system for use in a vehicle
WO2005076663A1 (en) * 2004-01-07 2005-08-18 Koninklijke Philips Electronics N.V. Audio system having reverberation reducing filter
US7415117B2 (en) * 2004-03-02 2008-08-19 Microsoft Corporation System and method for beamforming using a microphone array
DE602004017603D1 (de) * 2004-09-03 2008-12-18 Harman Becker Automotive Sys Sprachsignalverarbeitung für die gemeinsame adaptive Reduktion von Störgeräuschen und von akustischen Echos
JP4256400B2 (ja) * 2006-03-20 2009-04-22 株式会社東芝 信号処理装置
JP2009302983A (ja) * 2008-06-16 2009-12-24 Sony Corp 音声処理装置および音声処理方法
JP2010085733A (ja) * 2008-09-30 2010-04-15 Equos Research Co Ltd 音声強調システム
CN101763858A (zh) * 2009-10-19 2010-06-30 瑞声声学科技(深圳)有限公司 双麦克风信号处理方法
KR101203926B1 (ko) * 2011-04-15 2012-11-22 한양대학교 산학협력단 다중 빔포머를 이용한 잡음 방향 탐지 방법
KR20120128542A (ko) * 2011-05-11 2012-11-27 삼성전자주식회사 멀티 채널 에코 제거를 위한 멀티 채널 비-상관 처리 방법 및 장치
US9264553B2 (en) * 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
JP2014194437A (ja) * 2011-06-24 2014-10-09 Nec Corp 音声処理装置、音声処理方法および音声処理プログラム
JP6195073B2 (ja) * 2014-07-14 2017-09-13 パナソニックＩｐマネジメント株式会社 収音制御装置及び収音システム

Also Published As

Publication number Publication date
EP3545691B1 (en) 2021-11-17
EP3545691A1 (en) 2019-10-02
WO2018127359A1 (en) 2018-07-12
KR20190099445A (ko) 2019-08-27
CN110199528B (zh) 2021-03-23
US20190348056A1 (en) 2019-11-14
JP2020504966A (ja) 2020-02-13
CN110199528A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
US10827263B2 (en) Adaptive beamforming
CN110169041B (zh) 一种声回波消除的方法和系统
JP6534180B2 (ja) 適応ビーム形成のための事前白色化を用いる適応ブロック行列
CN109087663B (zh) 信号处理器
KR101449433B1 (ko) 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
JP4378170B2 (ja) 所望のゼロ点を有するカーディオイド・ビームに基づく音響装置、システム及び方法
EP2237271B1 (en) Method for determining a signal component for reducing noise in an input signal
EP1995940B1 (en) Method and apparatus for processing at least two microphone signals to provide an output signal with reduced interference
US9313573B2 (en) Method and device for microphone selection
WO2011129725A1 (en) Method and arrangement for noise cancellation in a speech encoder
EP1081985A2 (en) Microphone array processing system for noisly multipath environments
KR20130035990A (ko) 높게 상관된 믹스쳐들에 대한 개선된 블라인드 소스 분리 알고리즘
KR102517939B1 (ko) 원거리 장 사운드 캡처링
CN111078185A (zh) 录制声音的方法及设备
KR20170063618A (ko) 전자 장치 및 이의 잔향 제거 방법
CN109326297B (zh) 自适应后滤波
US20190035414A1 (en) Adaptive post filtering
CN110140346B (zh) 声回波消除
US10692514B2 (en) Single channel noise reduction
Agrawal et al. Dual microphone beamforming algorithm for acoustic signals

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant