KR20100057658A - 자동화된 센서 신호 매칭 - Google Patents

자동화된 센서 신호 매칭 Download PDF

Info

Publication number
KR20100057658A
KR20100057658A KR1020107006205A KR20107006205A KR20100057658A KR 20100057658 A KR20100057658 A KR 20100057658A KR 1020107006205 A KR1020107006205 A KR 1020107006205A KR 20107006205 A KR20107006205 A KR 20107006205A KR 20100057658 A KR20100057658 A KR 20100057658A
Authority
KR
South Korea
Prior art keywords
signal
signals
frequency band
frequency
ratio
Prior art date
Application number
KR1020107006205A
Other languages
English (en)
Other versions
KR101156847B1 (ko
Inventor
존 씨. 틴저
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20100057658A publication Critical patent/KR20100057658A/ko
Application granted granted Critical
Publication of KR101156847B1 publication Critical patent/KR101156847B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays
    • H04R29/006Microphone matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03Synergistic effects of band splitting and sub-band processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07Synergistic effects of band splitting and sub-band processing

Abstract

일 실시예에서, 제1 및 제2 신호를 매칭하는 방법이, 선택된 주파수 대역에 걸쳐, 제1 및 제2 신호를 주파수 도메인으로 변환하여 상기 제1 및 제2 신호들의 주파수 성분들이 적어도 하나의 관련 주파수 대역으로 배정되도록 하는, 변환 단계, 각 주파수 대역과 관련된 스케일링 비율을 생성하는, 스케일링 비율 생성 단계, 및 상기 두 신호들 중 적어도 하나 혹은 적어도 상기 두 신호들 중 적어도 하나로부터 도출된 제3 신호에 대해, 각 주파수 대역과 관련된 주파수 성분들을 해당 주파수 대역과 관련된 스케일링 비율로 스케일링하는 단계를 포함한다. 생성 단계는, 비-개시 구간 동안, 각 주파수 대역에 대해 제1 및 제2 신호의 신호 비율에 대해, 각각의 이러한 신호 비율의 이용가능성을 결정하는 단계, 및 이용 가능한 것으로 결정된 경우 스케일링 비율의 계산에서 신호 비율을 사용하는 단계를 포함한다.

Description

자동화된 센서 신호 매칭{AUTOMATED SENSOR SIGNAL MATCHING}
본 개시물은, 일반적으로 신호의 멀티플 버전들, 예를 들어, 헤드셋, 이어피스, 또는 다른 통신 장치들에서의 멀티플 마이크로폰들에 의해 생성된 버전들의 매칭과 관련된다.
센서 신호들의 매칭은 동일한 신호 또는 신호들의 멀티플 버전들이 모여지는 여러 어플리케이션들에서 필요하다. 어떤 디바이스 또는 시스템 내에서의 자연적인 변형으로 인해, 각 센서들의 감도(sensitivity)는 다른 것들과 달라지고 따라서 동일한 입력 신호를 가지더라도 결과적인 전기적 출력 신호는 동일하지 않을 수 있다. 유사하게, 센서 신호 사전-컨디셔닝(pre-conditioning) 회로와 같은 멀티플 신호 처리 전자장치(Electronics)에서 자연적인 변형들이 있고, 이는 동일한 신호이어야 하는 것에 더 많은 차이를 부가할 수 있다. 멀티-센서 또는 센서 어레이 어플리케이션은 의료 진단 이미징 시스템(초음파 이미저, MRI 스캐너, PET 스캐너)으로부터 해저 소나 시스템, 레이더, 무선 및 셀룰러 통신, 총성 검출(gunshot detection) 또는 음성 채집(voice pick up)을 위한 마이크로폰 시스템에 이르기까지 범위를 뻗치고 있다.
단일 마이크로폰 시스템 특히, 고잡음 환경에서의, 성능 한계가 빠르게 다가오고 있어, 멀티-센서 음성 채집 시스템이 점점 일반적이 되어가고 있다. 멀티-마이크로폰 시스템은 엄청나게 향상된 성능 능력을 제공하고, 따라서 동작 조건이 예측되지 못하는 모바일 어플리케이션들에의 사용이 특히 바람직할 것이다. 이러한 이유로, 멀티플 마이크로폰 픽업 시스템 및 관련 멀티-마이크로폰 신호 조정 (conditioning) 프로세스들이 현재,
Figure pct00001
헤드셋, 셀룰러 헤드셋, 차량 및 트럭 휴대 전화 오디오 인터페이스 키트(kit), 무대 마이크로폰, 청취 보조장치(hearing aids) 등과 같은 수많은 제품들에 사용되고 있다.
동일한 음향적 신호에 대해 다수의 공간적으로 분리된 측정을 제공하기 위한 마이크로폰 어레이에 의존한 수많은 시스템들이 개발되어 왔다. 예를 들어, 공지의 빔 형성 방법들에 더하여, 현재 일반화된 사이드로브 제거기(Sidelobe cancellers; GSC), 블라인드 신호 분리(blind signal separation; BSS) 시스템, 위상-기반 잡음 감소 방법, 그리피쓰-짐 빔포머(Griffiths-Jim beamformer), 및 다른 기술들의 호스트가 있으며, 이들은 모두 원하는 신호의 채집을 향상시키고, 원하지 않는 신호의 감소 또는 제거를 목적으로 한다.
하지만, 멀티플 마이크로폰 채집 시스템의 이점들과 함께 새로운 문제점들도 따라온다. 주요 문제점 하나는 이러한 시스템들의 성능 잠재력을 획득하기 위해서는, 종종 "마이크로폰 매칭"으로 불리는 프로세스인, 센서들의 신호가 잘 매치되어야 한다는 점이다. 이것은 시스템의 세부사항들에 따라 크기 비일치, 위상 비일치, 혹은 양쪽이 다 성능을 심각하게 저하시킬 수 있기 때문이다. 이러한 시스템들 각각의 마이크로폰 비일치에 대한 허용오차(tolerance)가 다르긴 하지만, 대부분은 비록 작은 양의 비일치에 대해서도 매우 민감하다.
많은 어플리케이션들에서, 심지어 잘-매칭된 마이크로폰 성분들도, 일단 마이크로폰 하우징에 장착되고 어플리케이션에 의도된 방식으로 배치 혹은 실장되면 심각하게 다른 응답 특성들을 가질 것이다. 심지어 사용자-의존적 변형예들도 마이크로폰 어레이의 개별적인 마이크로폰들의 응답 특성에 대해 실질적으로 차이가 나는 임팩트를 가질 수 있다.
멀티플 마이크로폰 시스템과 관련한 다른 고려사항으로는 양산가능성(manufacturability)을 들 수 있다. 사전-매칭된 마이크로폰들은 비싸고, 시간(에이징), 온도, 습도 및 지역적 음향 환경에 따른 변화에 따라 그 특성들이 바뀔 수 있다. 따라서, 마이크로폰들이 공장을 떠날 때는 매칭되어 있다 하더라도, 사용시에 변화할 수 있다. 비용 절감을 위해 저렴한 마이크로폰이 사용된다면, 통상적으로 ±3 dB의 기성품 감도 허용오차를 가지며, 이는 2-요소 어레이에서 마이크로폰 쌍이 감도 면에서 ±6 dB만큼의 차이 -12dB의 폭- 를 가질 수 있음을 의미한다. 또한, 비매치는 주파수에 따라 달라질 것이며, 따라서 일반적으로 간단한 광대역 이득 조절로 전체 문제를 정정하기는 불충분하다. 이것은, 주파수-의존적인 비매치가 예외적이 아닌 원칙인 경우에서의 단방향 압력 그래디언트 마이크로폰들의 경우 특히 심각하다.
이러한 시스템들을 최고 레벨에서 동작하도록 하기 위해서는, 종종 센서 매칭 시스템이라고 불리는, 멀티플 센서 신호들의 주파수 의존적인 실시간 매칭의 수행이 가능한, 자동적이고, 로버스트하며, 정확하고 빠른 액팅 센서 감도 차이 보정 시스템이 필요하다.
본 발명은 멀티플 센서 신호들의 주파수 의존적인 실시간 매칭의 수행이 가능한, 자동적이고, 로버스트하며, 정확하고 빠른 액팅 센서 감도 차이 보정 시스템을 제공하는 것을 목적으로 한다.
여기 설명된 바와 같이, 제1 및 제2 신호들을 매칭하는 방법은, 선택된 주파수 대역에 걸쳐, 제1 및 제2 신호를 주파수 도메인으로 변환하여 상기 제1 및 제2 신호들의 주파수 성분들이 적어도 하나의 관련 주파수 대역으로 배정되도록 하는, 변환 단계, 각 주파수 대역과 관련된 스케일링 비율을 생성하는 단계, 및 상기 두 신호들 중 적어도 하나 혹은 적어도 상기 두 신호들 중 적어도 하나로부터 도출된 제3 신호에 대해, 각 주파수 대역과 관련된 주파수 성분들을 해당 주파수 대역과 관련된 스케일링 비율로 스케일링하는 단계를 포함한다. 상기 생성 단계는, 비-개시 구간 동안, 각 주파수 대역에 대해 제1 및 제2 신호의 신호 비율에 대해, 각각의 이러한 신호 비율의 이용가능성을 결정하는 단계, 및 이용 가능한 것으로 결정된 경우 스케일링 비율의 계산에서 신호 비율을 사용하는 단계를 포함한다.
또한 제1 및 제2 신호를 매칭하는 장치가 여기에 개시된다. 상기 장치는, 선택된 주파수 대역에 걸쳐, 제1 및 제2 신호를 주파수 도메인으로 변환하여 상기 제1 및 제2 신호들의 주파수 성분들이 관련 주파수 대역으로 배정되도록 하는 변환 수단, 각 주파수 대역과 관련된 스케일링 비율을 생성하는 수단, 및 상기 두 신호들 중 적어도 하나 혹은 적어도 상기 두 신호들 중 적어도 하나로부터 도출된 제3 신호에 대해, 각 주파수 대역과 관련된 주파수 성분들을 해당 주파수 대역과 관련된 스케일링 비율로 스케일링하는 수단을 포함한다. 상기 스케일링 비율의 생성은, 비-개시 구간 동안, 각 주파수 대역에 대해 제1 및 제2 신호의 신호 비율에 대해, 각각의 이러한 신호 비율의 이용가능성을 결정하고, 이용 가능한 것으로 결정된 경우 스케일링 비율의 계산에서 신호 비율을 사용하는 것을 포함한다.
또한 여기서는, 기계에 의해 제1 및 제2 신호를 매칭하는 방법을 실시하도록 실행 가능한 명령어들의 프로그램을 포함하는, 기계에 의해 판독 가능한 프로그램 저장 장치가 개시된다. 상기 방법은, 선택된 주파수 대역에 걸쳐, 제1 및 제2 신호를 주파수 도메인으로 변환하여 상기 제1 및 제2 신호들의 주파수 성분들이 관련 주파수 대역으로 배정되도록 하는 변환 단계, 각 주파수 대역과 관련된 스케일링 비율을 생성하는 단계, 및 상기 두 신호들 중 적어도 하나 혹은 적어도 상기 두 신호들 중 적어도 하나로부터 도출된 제3 신호에 대해, 각 주파수 대역과 관련된 주파수 성분들을 해당 주파수 대역과 관련된 스케일링 비율로 스케일링하는 단계를 포함한다. 상기 생성 단계는, 비-개시 구간 동안, 각 주파수 대역에 대해 제1 및 제2 신호의 신호 비율에 대해, 각 신호 비율의 이용가능성을 결정하는 단계, 및 이용 가능한 것으로 결정된 경우 스케일링 비율의 계산에서 신호 비율을 사용하는 단계를 포함한다.
또한 여기서는, 제1 및 제2 입력 신호와 관련된 특성 차이를 매칭하는 시스템이 개시된다. 상기 시스템은, 특성 차이를 계산하는 회로, 상기 특성 차이에 기초하여 조정 값을 생성하는 회로, 상기 조정 값이 사용 가능한 조정 값인 때를 결정하는 회로, 및 상기 두 신호들 중 적어도 하나 혹은 적어도 상기 두 신호들 중 적어도 하나로부터 도출된 제3 신호를, 사용 가능한 조정 값의 함수로서 조정하는 회로를 포함한다.
또한 여기서는, 제1 및 제2 신호의 주파수 성분들이 관련 주파수 대역으로 배정되도록 상기 제1 및 제2 신호를, 선택된 주파수 대역에 걸쳐, 주파수 도메인으로 변환하는 단계, 각 주파수 대역과 관련된 보정 팩터를 생성하는 단계, 및 상기 두 신호들 중 적어도 하나 혹은 적어도, 상기 두 신호들 중 적어도 하나로부터 도출된 제3 신호에 대해, 상기 보정 팩터를 이러한 각각의 주파수 대역과 관련된 상기 신호와 산술적으로 결합함으로써 각 주파수 대역과 관련된 적어도 하나의 주파수 성분을 보정하는 단계를 포함하는 제1 및 제2 신호를 매칭하는 방법이 개시된다. 상기 생성 단계는, 각 주파수 대역에 대한 제1 및 제2 신호의 신호 차이에 대해, 각 신호 차이의 이용가능성을 결정하는 단계 및, 이용가능한 것으로 결정된 경우 보정 팩터의 계산에 이러한 신호 차이를 사용하는 단계를 포함한다.
본 발명에 따르면 자동적이고, 로버스트하며, 정확하고 빠른 액팅 센서 감도 차이 보정을 수행할 수 있다.
본 명세서의 일부를 구성하고 또한 본 명세서로 통합되는 첨부의 도면이 적어도 하나의 실시예들을 도시하며, 또한, 실시예의 설명과 함께 실시예들의 원리 및 구현을 설명하기 위해 제공된다.
도 1은 센서 매칭 프로세스(30)가 사용된 범위에서의 컨텍스트를 나타내는 신호 처리 시스템의 한 일반적인 유형의 전방 말단의 블록 다이어그램이다.
도 2는 일 실시예의 제1 섹션(30a)의 프로세스 플로우 챠트이다.
도 3은 도 2와 동일한 실시예의 잔류부의 프로세스 플로우 챠트(30b)이다.
도 4는 도 2의 프로세싱 섹션(30a)에 대한 다른 실시예이다.
도 5는 개별적인 개시/초기화 프로세스가 제거되고 프레임 카운트 의존적인 시간적 평활화(smoothing) 파라미터에 의해 대체된 일 실시예를 나타낸다.
도 6은 여기 설명되는 시스템 및 방법의 내부 신호 특성을 나타내는 그래프이다.
도 7은 헤르쯔(Hz)로 나타난 주파수에 대해 도시된 프레임 n=1500에 대한 신호 P n ,k 를 나타낸다.
도 8은 최소치 트래킹 이후의 신호 M n ,k 를 나타낸다.
도 9는 주파수 평활화 이후의 출력 신호 MS n ,k 의 그래프이다.
도 10은 도 1에 도시된 프로세스를 구현하는 데 사용될 수 있는 여러 회로들의 개략적 도면이다.
해당 기술분야에서 통상의 지식을 가진 자라면 아래의 설명이 예시적일 뿐이며 어떤 식으로든 한정을 목적으로 하지 않는다는 점을 이해할 수 있을 것이다. 본 개시물을 접한 이러한 통상의 지식을 가진 자라면 쉽게 다른 실시예들을 추론할 것이다. 첨부된 도면에 도시된 바와 같은 실시예들의 구현들에 대해 구체적인 참조가 사용될 것이다. 도면들 및 아래의 설명을 통틀어 동일 또는 유사 아이템을 가리키이 위해서 가능한 한 동일한 참조기호가 사용될 것이다.
명료성 측면에서, 여기서 설명되는 구현들의 모든 루틴 특성들이 다 보여지고 설명되는 것은 아니다. 물론, 어떤 이러한 실질적인 구현의 개발에서, 어플리케이션-및 비즈니스-관련 제한들과의 부합과 같은 개발자의 특정 목적을 달성하기 위해 수많은 구현-특정(specific) 결정들이 이루어질 것이고, 이러한 특정 목적들은 구현에 따라 그리고 개발자에 따라 달라질 것임이 이해되어야 할 것이다. 더구나, 이러한 개발 노력은 복잡하고 시간-소비적인 일이 될 수 있지만, 그럼에도 불구하고 본 개시물을 접한 해당 기술분야의 통상의 지식을 가진 자에게는, 엔지니어링의 루틴한 일일 것임이 이해되어야 할 것이다.
본 개시물에 따르면, 여기에 개시된 구성요소, 프로세스 단계들, 및/또는 데이터 구조는 여러 유형의 운영 시스템(operating systems), 컴퓨팅 플랫폼, 컴퓨터 프로그램 및/또는 일반적인 목적의 기계들을 사용해 구현될 수 있을 것이다. 추가적으로, 해당 기술분야에서 통상의 지식을 가진 자라면, 하드웨어에 내장된 디바이스들, 전계 프로그래머블 게이트 어레이들(FPGAs), 어플리케이션 특화된 집적 회로들(ASICs), 디지털 신호 프로세서들(DSPs) 등과 같은 신호 프로세서들과 같은, 보다 덜 일반적인 목적 특성의 디바이스 또한, 여기 개시되는 발명적 개념의 범위 및 사상을 벗어나지 않고 사용될 수 있음을 이해할 것이다. 일련의 프로세스 스텝들을 포함하는 방법이 컴퓨터 또는 머신에 의해 수행되고 이러한 프로세스 스텝들이 머신에 의해 판독 가능한 일련의 지시로서 저장될 수 있는 경우, 이들은 컴퓨터 메모리 디바이스(예를 들어, ROM(Read Only Memory), PROM(Programmable Read Only Memory), EEPROM(Electrically Eraseable Programmable Read Only Memory), FLASH 메모리, 점프 드라이브 등), 자기 저장 매체(예를 들어, 테이프, 자기 디스크 드라이브 등), 광학 저장 매체(예를 들어, CD-ROM, DVD-ROM, 페이퍼 카드, 페이퍼 테이프 등), 및 다른 타입의 프로그램 메모리과 같은 유형의(tangible) 매체 상에 저장될 수 있다.
여기서, 용어 센서(마이크로폰) 신호는, 센서(마이크로폰)로부터 직접적으로 혹은 후속적인 신호 컨디셔닝이 일어난 후에, 센서(마이크로폰)로부터 도출되는 신호를 지칭할 수 있다.
여기서 자동 마이크로폰 매칭 혹은 "AMM" 시스템으로 불려지는, 본 개시물의 자동 센서 신호 매칭 방법 및 장치에서, 멀티-센서 시스템에서 주파수 전 대역에 걸쳐 센서 출력 신호들의 매칭이 수행되거나 하나 또는 그 이상의 서브-밴드들에 걸쳐 수행된다. 여기서 개시되는 방법 및 장치는, 개별적인 센서들의 주파수 응답 특성에서, 그리고 센싱된 필드에 대한 국지적인 방해에 의해 야기된 바와 같은, 명목적인 센서 감도 면에서의 차이를 보상할 수 있다. 센서 입력 신호들이 실질적으로 동일하다고 알려지는 때 센서 출력 신호들의 조정이 발생한다. 이러한 조건의 판단은 특정 어플리케이션의 특정적으로 알려진 조건으로부터, 그리고 어떤 동일한 센서 입력이 암시될 수 있는 것으로부터 환경적인 조건이 만족되는 때를 감지하는 프로세스에 의해 추론될 수 있다.
넓은 범위의 어플리케이션에 적용 가능한 여기 설명되는 방법 및 장치는, 다수의 주파수 대역 각각에서 신호의 크기를 매칭시키기 위해 자동 센서 신호 매칭이 적용되는 속도-기반 통신 디바이스의 예시적 시스템에서 설명된다. 예시적 시스템에서, 사용자의 음성이 원하는 신호이고, 통신 목적의 관점에서 보자면 환경으로부터 장치로 영향을 주는 다른 소리들은 "노이즈"를 구성한다. 원격지의(far-field) 소리들은 "노이즈"로 여겨지고, 각 센서 요소들에 의해 센싱된 음향적 신호들과 일치하는 조건들은, 원격지 노이즈가 유일한 입력일 경우(노이즈 활동 검출기 혹은 "NAD"에 의해 결정됨) 또는 음성 신호의 존재 대비 부재(음성 활동 검출기 혹은 "VAD"에 의해 결정됨)를 포함한다. 그 중 몇몇은 해당 기술분야에서 공지되었을 이러한 장치들은 여기서 총괄적으로 신호 활동 검출기 혹은 "SAD"로 불려질 수 있다. 보청 기구와 같이, 센서 입력 신호들이 실질적으로 모든 경우에 동등성의 필요 조건 내재적으로 만족하는 것이 선험적으로 알려진 경우, 여기서 개시되는 기본적인 자동 매칭 방법은 SAD 사용 없이 구현 가능하다. 다른 경우에, 본 자동 매칭 프로세스에 NAD 인테그랄(integral)의 형태가 개시되고 대표적인 실시예 중 하나에 포함된다. 하지만, 여기서 개시되는 기본적인 매칭 방법은 어떤 형태의 SAD와도 부합하고 인테그럴(integral) SAD 기술의 사용에 국한되지 않는다. 따라서, 필요한 입력 조건이 만족되는 경우 자동 매칭 프로세스에 시그널링하는, 외부 SAD가 제어 신호 또는 "플래그"를 제공하는 대표적인 실시예들이 또한 도시된다.
간결성 및 이해의 용이성을 위해, 여기서 대표적인 실시예들이 두 센서들을 위한 신호 감도를 매칭하는 측면에서 서술되지만, 단순히 각 센서의 신호를 어레이 내에서 공통의 기준 센서의 신호에, 혹은, 보다 로버스트한 시스템에서는 모든 혹은 일부 센서들의 평균에 매칭시킴으로써, 어떤 크기의 센서 어레이라도 활용될 수 있다. 본 개시의 방법 및 장치는 매칭 센서 신호 크기에 국한되지 않으며, 위상을 포함하여 어떤 센서 신호 특성을 매칭하는 데 동등하게 적용 가능함을 해당 기술분야에서 숙련된 자들이라면 이해할 것이다. 예를 들어 위상 매칭을 위해, 크기 매칭에서는 보정 값들이 로그 도메인에서 감산에 의해 결정되고 가산에 의해 적용되는 것과 달리, 위상 매칭을 위한 프로세서는, 보정 값들이 선형 도메인에서 감산에 의해 결정되고 가산에 의해 적용된다는 점이 주로 달라진다. 유사하게, 대표적인 실시예들이 통신 클래스 시스템에서 마이크로폰 어레이들을 매칭하는 것을 나타내지만, 해당 분야에서 통상의 지식을 가진 자라면 여기서 개시된 센서 매칭 방법이 다른 형태의 어플리케이션들에서 다른 센서 시스템에 보다 일반적으로 적용될 수 있음을 이해할 것이다.
여기 개시된 방식들의 이점은 아래의 이점들 중 하나 이상을 포함한다.
정확도(일반적으로 0.03dB 내의 매칭)
센서 및 국지적 음향 변화의 빠른 트래킹
낮은 입력 SNR 조건 하에서 및 높은 입력 노이즈에서의 정확한 성능
레벨 독립적임
연속적인 실시간 조정
출고된 마이크로폰 성분들과 동작함
낮은 계산 복잡도 및 비용
낮은 파워 소비
높은 양산가능성
음향만이 아닌 넓은 범위의 어플리케이션에 부합함
본 개시의 잠재적인 어플리케이션의 폭은 협대역 및 광대역 센서 어레이들 양자의 넓은 다양성을 가지는 사용으로 확대되지만, 여기서의 설명은 모바일 헤드셋 혹은 핸드셋과 같은 통신 시스템 장치 내에서 동작되는 2 개의 마이크로폰 어레이 실시예들을 사용해 이루어진다. 신호 처리 방법들에 의해 개선된 공간적 픽업 패턴들 및/또는 다른 노이즈 감소를 제공하기 위해 헤드셋은 종종 듀얼 마이크로폰을 이용해 구성되고, 프로세서는 종종 디지털 신호 처리기(DSP)를 이용해 구성된다. 공통적으로 마이크로폰 성분들은 자체적으로 원하는 프로세싱의 성능에 부정적으로 영향을 끼칠 감도/주파수 응답 내구성을 가지며, 사용자 상의 하우징의 배치뿐 아니라 헤드셋의 하우징 내에 있는 마이크로폰 성분들의 구성까지 두 마이크로폰의 주파수 응답에 다르게 영향을 미칠 것이다. 추가적으로, 음향적 머리 관련 전달 함수(HRTF)가 동일한 헤드셋에 대해 사용자 간에 달라질 것이고 따라서 사용자 상에 위치하고 동작 중인 마이크로폰 매칭이 사용자 없이 헤드셋 하드웨어에 대해 조정하는 매칭보다 더 잘 동작할 수 있다. 헤드셋의 생명주기를 통해 그 매칭 조건을 자동적이고 투명하게 지속적으로 업데이트하는 본 발명과 같은 마이크로폰 매칭 프로세스는, 하드웨어 부품 내구성 및 사용자 및 주변여건의 변화에 따른 음향적 구성에서의 단기간 변화들을 수정할 뿐 아니라, 센서 하드웨어에 내재하는 시간 의존적 드리프트(drift) 같은 것 또한 보상할 것이다.
여기 개시된 바와 같이, 입력 신호들은 본 발명의 일부인 헤드셋 시스템 내에서 동작하는 다른 신호 프로세스로부터 생성되고 유효하게 만들어진다. 따라서, 이 신호 매칭 방법 및 장치는 헤드셋의 유효 신호들과 함께 동작한다. 하나의 어플리케이션에서, 임계 입력 신호가 각 입력 신호의 STFT 크기들의 비율이고, 각 마이크로폰 신호의 개별적인 레벨에 비례하는 값들에 대한 액세스는 불가능하다. 이와 같이 개별적인 센서 신호 크기는 필수적으로 사용될 필요는 없으며, 매칭 시스템은 크기 비율을 이용해서만 동작할 수 있다. 매칭 목적을 위해 크기 비율이 사용 가능한 때를 지시하는 제어 신호 또한 매칭 시스템에 이용 가능하다.
도 1은 센서 매칭 프로세스(30)가 사용되는 관점을 나타내는 신호 프로세싱 시스템의 하나의 유형의 전단(front-end)의 블록 다이어그램이다. 프로세스(30)는 범용적인 목적 프로세서 혹은 마이크로프로세서에서, 혹은 전용의 신호 프로세서에서, 혹은 디지털 신호 프로세서(DSP)와 같은 특화된 프로세서에서, 혹은 각각이, 프로세스의 하나 혹은 그 이상의 특화된 기능을 수행하는 하나 또는 그 이상의 이산 회로들에서 구현될 수 있다. 따라서, 도 1 및 2에 대응하는 회로 블록 다이어그램이 도 10에서 도시되며, 도 1에 도시된 프로세스들을 구현하는 데 사용될 수 있는 여러 회로들을 도시한다.
센서 매칭 프로세스(30)는 단일-대역 혹은 멀티-대역 프로세스로서 동작 가능하며, 단일 대역 버전은 주파수-독립적인 보정을 생성하고 멀티-대역 프로세스는 주파수 의존적-매칭을 제공한다. 프로세스(30)는 시간 도메인 신호가 다수의 주파수 대역으로 변환되는 멀티-대역 구현예이다. 이러한 멀티-대역 변환은, 밴드패스 필터 뱅크를 사용하여, 혹은 푸리에 변환과 같은 주파수 도메인 변환 프로세스의 적용에 의해, 혹은 이러한 변환을 위한 어떤 다른 프로세스에 의해 얻을 수 있다. 주파수 도메인으로의 변환은 당업계에서 잘 이해될 것이며, 도 1에 나타낸 단시간 푸리에 변환(Short Time Fourier Transform) 기술의 사용 혹은 다른 주파수 도메인 변환 방법에 의해서도 얻을 수 있다. 여기에 개시된 자동 매칭 프로세스가 유용한 시스템들이, 빔 포밍, 스펙트럴 감산, 음성 활동 검출, 등화 등과 같은 다른 시스템 신호 프로세싱 작업들을 위해 이미 STFT를 사용할 가능성이 크기 때문에, 주파수 도메인 변환은 이미 이용 가능할 것이다. 이 경우, 여기 개시된 자동 매칭 프로세스는 비교적 적응 양의 추가적인 프로세싱을 필요로 할 것이다.
여기 개시된 대표적인 실시예들은 고속 푸리에 변환(FFT)을 적용하고, 자동 매칭 프로세스는 주파수 도메인에서 수행된다. 그러므로, 예시적인 시스템마다 자동 매칭 프로세싱에 앞서, 입력 신호가 주파수 도메인으로 변환된다. 푸리에 변환에 의한 센서 입력 신호의 주파수 도메인으로의 변환은 신호를 상응하는 주파수 빈(bin)들과 관련된 작은 주파수 대역들로 나누고, 주파수 대역들은, 짧은 대역(shortband) 만을 위해서는 주파수 빈, 혹은 단순히 빈으로 일컬어질 수 있다. 여기 개시된 프로세스는 빈-바이-빈(bin-by-bin)을 기초로 하여 동작하는 것으로 기술되지만, 빈들은 그룹화될 수 있고 이러한 빈들의 그룹핑에 의해 생성된 대역 상에서 프로세스가 실행될 수 있음이 이해되어야 할 것이다.
도 1 및 10의 시스템 블록 다이어그램을 다시 참조하면, 센서들 A 및 B(혹은 어떤 매칭된 두 신호 소스들)로부터의 아날로그 입력 신호가 아날로그-디지털(A/D) 변환기(미도시)에 의해 아날로그 도메인에서 디지털 도메인으로 변환되어 디지털 입력 신호들 "A 센서 신호 입력" 및 "B 센서 신호 입력"을 생성한다. 이러한 디지털화된 입력 신호들은 프레이밍 블록들(12 및 14) 각각에 의해 프레이밍되는데, 가중치 윈도우가 윈도우 블록(16)에 의해 생성되고, 이 윈도우는 윈도우잉 적용 블록들(18 및 20)에 의해 각각 적용된다. 프레이밍되고, 윈도우잉된 데이터는 그리고 나서, 푸리에 변환 블록들(22 및 24)에 의해 각각 주파수 도메인으로 변환되고(잘 알려진 FFT 혹은 다른 적절한 변환 프로세스일 수 있음), FA n ,k FB n ,k (여기서 n은 프레임 혹은 시간 인덱스이고, k는 빈 혹은 주파수 인덱스)로 이름붙여진 각 주파수 도메인 신호가 신호 활동 검출 블록(26)뿐 아니라 센서 신호 비율 블록(28)으로 제공된다. 도 10에서, 멀티-대역 주파수 도메인 변환기들(102 및 104)은, 비록 단일-대역 구현예에서는 생략될 수도 있지만, 주파수 변환을 시행한다. 또한, 보다 일반화된 도 10의 도시에서, 회로에 대한 입력인 신호들 A 및 B는 디지털 도메인으로부터 신호의 추가적인 업스트림인 아날로그 변환의 결과인 아날로그 신호일 수도 있고, 이러한 변환을 필요로 하지 않는 올-아날로그(all-analog) 시스템으로부터의 아날로그 신호일 수도 있다. 또한, 신호들 A 및 B는 디지털 신호들일 수도 있다. 멀티-대역 주파수 도메인 변환기들(102 및 104)는 일반적으로, 아날로그 필터 뱅크 또는 디지털 필터 뱅크(디지털 도메인으로의 업스트림 변환이 필요할 것임), 디지털 변환기(푸리에 변환, 코사인 변환, 하틀리(Hartley) 변환, 웨이브릿 변환 등 가능한 업스트림 디지털 변환을 또한 필요로 하는) 등을 포함하는 어떤 주파수 도메인 변환 장치일 것으로 의도된다. 기본적으로 광대역 신호를 서브밴드로 나누는 어떤 수단이라도 이용될 수 있다. 멀티-대역 주파수 도메인 변환기(102 및 104)로부터의 출력들이 도 10에서 점선으로 자세히 도시된 회로(105)로 제공되며, 그 동작은 동일한 회로(105)를 이용해(직렬 프로세싱) 혹은 각 빈과 연관된 대응 회로(105n)를 이용해(병렬 프로세싱) 각 주파수 빈에 대해 반복된다.
다수의 잘 알려진 VAD(음성 활동 검출기) 혹은 NAD(노이즈 활동 검출기) 프로세스들 중 어떤 것이라도 내포할 수 있는 신호 활동 검출 블록(26)은, 센서들에 대한 입력 신호들이 정확한 매칭과 일치하는 구간의 검출에 의해 생성된 제어 신호 혹은 "사용가능성" 지시 신호를 제공한다. 이러한 신호들은 도 10의 회로(106)에 의해 제공된다. 블록 26(회로 106)으로부터의 제어 신호는 아래에서 자세히 설명되는 바와 같이 적절한 시점에 매칭 프로세스를 활성화 또는 비활성화시키는 센서 매칭 블록(30)으로 제공된다. 물론, 이러한 제어 신호는 필요하다면 다른 시스템 프로세스에도 또한 사용 가능하다. 센서 비율 블록(280)은 신호들 FA n ,k FB n ,k (상응하는 비율/차이 회로(108)가 도 10에 도시됨)에서 상응하는 동일한 주파수/대역/빈 값들의 각 쌍에 대해 스케일링 비율을 생성하고, 이러한 스케일링 비율을 신호 MR n,k 로서 센서 매칭 블록(30)으로 패스한다. 일 실시예에서, 8 kbps의 샘플 레이트를 가지는 한 쌍의 디지털 통신 오디오 신호의 각 신호는 50%의 중첩을 가지는 512-샘플 프레임들으로 프레이밍되고, 해닝 윈도우(Hanning Window)로 윈도우잉되며, FFT(Fast Fourier Transform)를 사용해 주파수 도메인으로 변환되어, 신호 활동 검출기(26), 신호 비율 블록(28), 그리고 센서 매칭 블록(30)으로 제공된다.
두 센서로부터의 신호들을 매칭할 때, 일반적으로 적어도 하나의 센서로부터의 신호의 경로에서 정확한 조정이 이루어진다. 보정적 조정이 센서 신호 경로들 중 하나에 배타적으로 적용될 수도 있음이 이해되어야 할 것이다. 또한, 신호를 매칭 조건으로 이끄는 어떤 바람직한 비율로, 하나의 경로에 일부 그리고 다른 경로에 일부 적용될 수도 있다.
센서 매칭 블록(30)은 빈-바이-빈을 기초로 하여 주파수 도메인 신호를 보정하고, 따라서 주파수-특화된 센서 매칭을 제공한다. 어떤 시스템의 경우, 결정된 보정은 센서 출력 신호들 중 한쪽 혹은 양쪽에 적용되는 이득이 조정에 의해 구현될 수 있다; 하지만, 실질적인 어플리케이션들에서는 센서 출력 신호들이 일반적으로, 센서 신호들의 함수들인 다양한 중간 신호들이 생산되는 후속하는 프로세싱 단계들에 대한 입력들이고, 이득 조정이 개별적인 센서 신호들의 함수이거나 혹은 그로부터 도출된 어떠한 신호에도 적절히 적용되는 것으로 고려된다. 아래에서 더 자세히 설명되는 바와 같이, 두 주파수 도메인 신호들의 스케잉링 비율은 여기 개시된 센서 매칭 프로세스로 계산되고 사용된다. 후속하는 프로세스들이 이러한 스케일링 비율을 사용하는 경우, 센서 매칭 프로세스에 의해 결정된 보정은, 스케일링 비율 및 이득이 선형 도메인에 있을 때 신호 그 자체보다는 스케일링 비율의 (적절한) 곱하기 연산 혹은 나누기 연산에 의해; 혹은 스케일링 비율 및 이득이 로그 도메인에 있을 때 가산/감산에 의해 적용될 수 있다. 보다 일반적으로, 센서 매칭 프로세스에 의해 결정된 보정은 센서 신호들 혹은 센서 신호들의 함수인 신호들을 위한 이득/감쇄 신호로서 궁극적으로 사용되는 어떤 신호들과도 (적절하게) 산술적으로 결합될 수 있다.
도 2는 일 실시예의 제1 섹션(30a)의 프로세스 플로우 차트이다. 도 3은 동일한 실시예의 잔여부의 프로세스 플로우 차트(30b)이지만; 도 3에 도시된 섹션 또한 이하에서 서술되는 바와 같은 다른 실시예들에 공통적이다. 여기 도시된 바와 같이, 센서 매칭 프로세스의 섹션(30a)은 데이터의 각 프레임의 각 주파수 빈에 독립적으로 실행된다. 이와 같이, 도 2는 n 중 어느 하나의 값 및 k 중 하나의 값에 대한 프로세스를 나타내는데, 즉, 도 2에 나타낸 프로세스는 각 빈에 대해 데이터의 각 프레임 상에서 반복된다.
개시 부분에서, 매칭 프로세스가 활성화되고 이력 데이터가 존재하지 않는 경우, 블록(40)의 프로세싱 단계가 N부터 0까지 유효한 프레임 카운트를 초기화하고, 매칭 테이블 매트릭스(64)의 보정 값들 MT n , k 를 모두 0(선형 도메인에서의 1과 동일한 로그 도메인 값)으로 비운다. 어쨌든 단시간의 동작 후에 값들이 적절한 값들로 자동적으로 조정되어 매칭 조건을 생성할 것이기 때문에, 매칭 테이블 메트릭스의 초기 보정 값들이 모두 0으로 설정될 필요는 없지만, 시스템 설계자에 의해 적절하다고 여겨지는 어떤 값으로 설정될 수 있다. 매트릭스(64)는, 각 주파수 빈에 대해 하나인, 일련의 엔트리를 포함하는데, 아래에서 설명되는 바와 같이 업데이트에 종속적이다. 매칭 테이블 매트릭스(64)의 신호 값들 MT n ,k 을 모두 0으로 비운 후, 도 1의 신호 비율 블록(28)으로부터의 입력 신호 MR n , k 의 로그 값이 로그 단계(42)에서 계산되어 로그 비율 신호 X n , k 를 생성한다. 이러한 목적을 위한 로그 회로가 도 10의 110에 도시되어 있다.
기성품인 마이크로폰이 신호 A 및 B를 생성하는 마이크로폰을 생성하는 센서 어레이를 구성하는 일 실시예에서, 초기 미스매치(mismatch)는 6 dB보다 클 수 있다. 매칭된 조건을 획득하기까지 초기 미스매치의 양을 줄이는 데 필요한 시간은 길 수도 있고 따라서 사용자가 알아챌 수 있다. 동작의 개시 시점에서 매칭 획득 프로세스를 가속하기 위해서는, 당분간 센서들(마이크로폰들)에 대한 초기 입력 신호는 노이즈뿐인 것으로 여겨질 수도 있고, 이 신호 조건은 동일한 센서 신호들을 생성해야 한다. 따라서, 매칭 테이블(64)의 빠른 초기화는, 모두 노이즈뿐인 것으로 여겨지는 첫 번째 Q 프레임들을 평균화하여, 그리고, 아래에서 보다 자세히 설명되는 바와 같이, 초기 매칭 테이블을 평균화된 값으로 설정함으로써 얻을 수 있다. Q는 1 이상의 어떤 값이 될 수 있다. 일 실시예에서, Q는 32로 선택될 수 있고, Q 보다 낮은 프레임 카운트는 프로세스가 초기화 구간에 있음을 나타낸다.
테스트 단계(44)에서, 프레임 카운트 변수 N의 값이 체크되어 프로세스가 개시/초기화 구간에 있는지 결정한다. 만약 그렇다면, X n ,k 의 값들은, 첫 32개의 값들이 축적/평균화되는 단계(46)로 패스된다. 따라서 N이 Q의 값에 다다르는 경우, 각 FFT 빈의 첫 32 개의 프레임 값들의 평균의 결정이 이루어진다. 그리고 나서, 평균치는 로그 도메인 비율 테이블 단계(56)로 패스된다. 개시 구간의 각 새로운 프레임에 대해, 단계(50)에서, 프레임 카운트 변수 N은 1씩 증가하게 되고, N의 현재 값이 단계(44)에서 테스트될 때, 결국 N은 기 설정된 값 Q (예를 들어, 32)에 다다를 것이고, 그 이후의 모든 프레임들에 대해 신호 X n ,k 는 대신 테스트 단계(48)로 전환될 것이다. 프레임 카운트 변수 N의 값은 그리고 나서 Q과 동일하게 유지될 것이다.
첫 32 값들을 통합/평균하는 단계(46)는 첫 Q 프레임들에 대한 입력 값들을 합산하거나 혹은 첫 Q 프레임들에 대한 입력 값들을 평균한다. Q 프레임 개시 구간의 종료 지점에서, 합산 값은 Q에 의해 나뉘어지고 하나의 평균치가 생성되고, 그리고 나서, 이 평균치가 로그 도메인 비율 테이블 단계(56)로 보내지거나, 혹은 최종 평균 값이 그렇게 보내진다. 도 2는 어떤 하나의 주파수 빈에 대한 프로세스를 도시하며 모든 빈들이 동시에 계산되고, 로그 도메인 비율 테이블 단계(56)가 주파수-특정(specific) 스케일링 비율 값들-즉, 각 주파수 빈에 대한 스케일링 비율을 포함하게 될 것이다. 따라서, 둘 중 어느 평균화 방법이, 매칭 시스템이 동작 중인 경우 매칭에 필요한 올바른 값들에 매우 가까운 세트로 로그 도메인 비율 테이블에 포함된 일련의 값들을 초기화할 것이다.
첫 32 값들을 통합/평균하는 단계(46)의 프로세스의 개시 구간에 대해 계산된 평균 스케일링 비율은 산술적 평균이 될 것으로 고려되지만, 조화 평균(harmonic mean)과 같은 다른 수학적 평균들이 또한 대안적으로 사용될 수도 있다. 또한, 실시예가 로그 도메인에서의 계산으로 서술될 것이지만, 동일한 프로세스가 선형 도메인에서 실행될 수도 있다. 예를 들어, 선형 도메인에서 첫 32 값들의 기하학적인 평균은 로그 도메인에서 첫 32 개의 값들의 산술적 평균과 동등하다.
본 실시예에서, 매칭 테이블(64)의 값들은, 첫 32 개의 프레임들이 완료되기까지는 0(로그 도메인에서, 그리고 선형 도메인에서는 1)으로 유지된다. 또한, 중간 평균들은 후속하는 단계들에서 사용될 로그 도메인 비율 테이블(56)로 패스될 수 있지만 여전히 32개 프레임들의 완료 이전이다. 32 개의 프레임들은 1/4 초보다 약간 작은 시간을 필요로 하며, 이는 허용가능한 개시 지연이다. 하지만, 개시 지연은 Q의 선택된 값을 변경함으로써 대안적으로 변형될 수 있다. 개시 절차는 도 10의 초기화 회로에 의해 실행될 수 있다.
매칭 프로세스가 데이터의 현재 프레임이 매칭 목적에 허용가능한 데이터를 나타내는 경우에만 실행되는 것을 확실히 하기 위해, 어떤 형태의 차별 프로세스가 사용되어 데이터의 현재 프레임의 "사용가능성"을 결정한다. 즉, 언제 입력 신호가 매칭가능한 것인지의 판단이 결정될 필요가 있으며, 그러한 결정은 기 설정된 조건의 만족에 기초하고, 이는 SAD(신호 활동 검출기) 회로로부터의 지시(indication)일 수 있으며, 이것은 VAD 혹은 NAD의 형태일 수 있다. 또한, 이러한 지시는 매칭가능한 신호 결정(MSD) 프로세스에 의해 제공될 수 있다.
도 2를 참조하여 계속하여 설명되는 매칭가능한 신호 결정(MSD) 프로세스에서, 테스트 단계(48) 및 최소치 트래킹 단계(62)의 함수들을 실행하기 위한 회로가 제공된다. 현재 실시예에서 신호 매치가 노이즈뿐인 입력의 구간 동안에 최적으로 얻어지기 때문에, 단계들(48 및 62)이 VAD 기능을 효과적으로 수행하기 위해 동작한다. 예를 들어 헤드셋 어플리케이션에서, 신호의 스케일링 비율 값들은 노이즈뿐인 입력 신호 조건에 대해 0에 가깝고, 스피치에 대해서는 대략 2 내지 4인 것으로 알려져 있다. 상술한 개시/초기화 프로세스 이후에, 로그 도메인 비율 테이블(56) 이 노이즈뿐인 입력 조건에 대한 값들에 매우 가까운 값들의 세트로 초기화될 것이다. 따라서, 테스트 단계(48)에서, 신호 X n ,k 는, 다음의 새로운 프레임 값에 대해 신호 X n ,k 가 로그 도메인 비율 테이블에 저장된 값 주변의 작은 허용오차(tolerance) 내인지, 테스트된다. 그렇지 않은 경우, 현재 프레임이 매칭 목적을 위한 사용불가능한 데이터를 가지는 것으로 판단되고, 도 2의 프로세스는 마지막 프레임의 값들을 보유하고 다음 사용 가능한 데이터의 프레임을 기다린다. 하지만, 프레임이 사용가능한 것으로 선언된 경우, 신호 X n ,k 는 시간적 평활화 단계(52)로 보내진다.
최소(MIN) 및 최대(MAX) 테스트 값들이 아래와 같이 계산된다. 에를 들어, 로그 도메인 비율 테이블 값이 특정 주파수에 대해 +3 dB인 경우, X n , k 의 현재 값이 3dB의 ±T 내인지 결정하기 위해 테스트되는데, 여기서 T는 기 설정된 허용오차 값이다. 따라서 MAX = 로그 도메인 비율 테이블 값 + T 이고, MIN = 로그 도메인 비율 테이블 값 - T 이다.
해당 기술분야에서 통상의 지식을 가진 자들에 의해 손쉽게 결정되는 여러 값들이 다른 어플리케이션 및 실시예들에 사용될 수도 있지만, 마이크로폰 어플리케이션에 대한 일반적인 허용오차 값들은 0.25 내지 1 dB 사이의 범위이다. 또한, 대안적인 실시예에서, 테스트는 비대칭적일 수 있는데, 즉, MAX = 로그 도메인 비율 테이블 값 + T 이고, MIN = 로그 도메인 비율 테이블 값 - T', 여기서 T≠T' 일 수 있다.
로그 도메인 비율 테이블(56)이 초기화되면, 데이터의 후속하는 프레임들은 테스트 단계(48)로 보내지고, 사용가능한 것으로 판단되면 시간적 평활화(smoothing) 단계(52)로 보내진다. 시간적인 평활화는, 도 10의 필터(114)와 같은 로우패스 필터 중 어떤 형태로 구현될 수 있지만, 흔히 사용되고 효율적인 필터는 아래의 식에 의해 서술되는 지수(exponential) 필터이고,
(1)
여기서, α는 0 부터 1 사이의 값인 기 설정된 평활화 상수이고, 통상적으로 0.001 및 0.2 사이이다. 예시적인 실시예에서 사용된 값은 0.05이다. 시간적 평활화는 매칭 보정 값에서 통계학적 변동에 의존적인 시간을 줄여준다. 미스매치들은 발생하기 상대적으로 느린 것으로 알려져 있으며, 이는 가장 신속한 미스매치는 마치 사용자가 귀에 폰을 두거나 모자를 쓴 경우처럼, 마이크로폰에 가까운 음향적 환경에서의 변화로 인한 것임을 의미한다. 보다 빠른 변형들은 "실질적"이지 않으며 전기적 노이즈 및 마이크로폰 미스매치와 관련되지 않은 다른 통계적 현상들의 결과로서 발생한다. 따라서, 잘-선택된 시간적 평활화(적절한 α의 선택)가, 실시간으로 실질적인 미스매치 변형들을 보정하는 매칭 프로세스의 능력에 영향을 주지 않으면서, 통계적 변동을 줄여줄 것이다. 시간적 평활화 단계(52)의 출력은 신호 P n,k 이고, 이것은 다른 빈 주파수들에 대한 모든 값들과 함께, 개시 구간 이후에 로그 도메인 비율 테이블(56)에 덧붙여진다. 따라서 로그 도메인 비율 테이블(56)은 테스트 단계(48)가 "사용가능한" 데이터가 있는 것으로 결정한, 즉 매칭가능한 조건이 만족된, 모든 프레임을 업데이트한다.
최소치 단계(62)에 대한 입력 신호는, 두 트래킹 필터 상수들
Figure pct00003
(58) 및
Figure pct00004
(60)에 더하여, 테이블 단계(56)에 포함된 로그도메인 비율 테이블 값들이다. 다른 함수들을 실행할 수도 있고 실행하지 않을 수도 있는 적절한 회로 또는 DSP(미도시)에 의해 수행되는 최소치 트래킹 프로세스는, 앞서 서술된 바와 같이 예시적인 마이크로폰 어플리케이션에 대해 예측된 입력 신호들이 2-4 dB 혹은 0 dB에 중심을 둔다는 사실에 기초한다. 입력 신호들이 0 dB 경우에 대해서만 동등할 것이고, 이 경우가 두 값들 중 최저이기 때문에, 테이블(56)에 포함된 로그 도메인 비율의 최저는 매칭 목적에 사용가능한 데이터를 반영해야 한다. 따라서, 아래 이러한 데이터 값들의 최소치는 최적의 매치를 제공해야 하고 사용불가능한 데이터-즉, 높은 비율의 데이터,를 무시해야 한다.
최소치 트랙 단계(62)는 아래의 식에 따라 동작하고,
Figure pct00005
(2)
여기서, 상수
Figure pct00006
Figure pct00007
는 0과 1 사이의 값을 가진다. 예시적인 실시예에서,
Figure pct00008
= 0.25 및
Figure pct00009
= 0.0005이다. 최소치 트랙 단계(62)의 출력은 신호 M n ,k 이고, 추가적인 사용을 위해 매칭 테이블 단계(64)에서 저장된다. 도 10의 매칭 테이블 메모리(116)가 저장 기능을 제공한다. 매칭 테이블(64)(메모리(116))에서의 저장 이후, 이 프레임의 매칭 테이블 보정 값들이 신호 MT n ,k 와 같이 매칭 프로세스의 잔여 섹션에 유효하다.
앞서 설명된 바와 같이, 도 3은 프로세스의 잔여 부분을 보여주며, 각 프레임에 대해 구현된 절차를 나타낸다. 도 3의 주파수 평활화 단계(72)에서, 현재 프레임에 대한 매칭 테이블 보정 값들 MT n ,k 은 전체 주파수 대역폭을 가로지르는 필터링에 의해 빈-대-빈 변형들의 감소 또는 제거를 겪게 된다. 평활화 기능은 도 10에 도시된 평활화 필터(118)에 의해 제공된다. 프로세스는 단일 광대역 프로세스로서 또는 멀티플 서브밴드로 구현될 수 있기 때문에 서브밴드라는 용어는 여기서, 그것이 입력의 전체 대역폭을 커버하는 단일 광 대역이건, 혹은 해당 신호의 멀티블 서브밴드들 중 어느 하나이건 간에, 각각의 전체 대역을 의미한다. 필터링은 각 서브밴드의 대역폭을 커버하고, 따라서 그 서브밴드 내의 모든 빈들 상의 필터링이다.
여기 서술된 바와 같이, DC 및 나이키스트(Nyquist) 빈들의 독점적인, 단일 전체 대역폭 서브밴드가 사용된다. 주파수 평활화는 해당 기술분야에서 잘 알려져 있고 이를 구현하기 위한 여러 방법들이 존재한다. 주파수 평활화 단계(72)는, 지수 필터링을 포함한 어떤 형태의 평활화도 사용할 수 있으며, 여기서
Figure pct00010
(3)
이고, δ 는 0과 1 사이의 값을 가지는 평활화 상수이고, 일반적으로 0.1 및 0.3 사이이다. 또한, 매칭 테이블 값들의 프레임은 잘 알려진 컨벌루션(convolutional) 혹은 스플라인(spline) 방법들을 잘 적용함으로써 평활화될 수 있다. 이러한 평활화의 결과는 마이크로폰 신호 미스매치를 정확하게 트래킹하는 로그 도메인에서의 마이크로폰 감도 보정을 생성하는 것이다. 주파수 평활화 단계(72)는 신호 MS n , k 를 도출한다.
신호 MS n ,k 는 입력 신호로서, 이러한 신호들의 보정 및 매칭을 얻기 위해 각 주파수 빈에 대한 값이 하나 혹은 모든 센서 신호들에 대해 어플리케이션을 위한 선형 도메인으로 변환되는 안티로그 단계(74)로 제공된다. 도 10의 상응하는 회로(120)가 이 기능을 수행한다. 도 3에서, 예시적인 실시예가 단계(74)로부터의 안티로그 출력을 사용하여, 단계(76)에서 센서 B 신호 입력 FB n ,k 의 주파수 도메인 버전을 곱하고, 그에 따라 센서 A 신호 입력 FA n , k 를 매칭시키기 위해 신호 FB n ,k 를 변경한다. 도 10의 곱셈기/가산기 회로(122)가 이러한 목적으로 제공된다. 이미 설명한 바와 같이, 어느 쪽 센서 입력 신호라도 보정을 위한 어플리케이션을 위해 선택될 수 있다. 센서 A 신호 입력 FA n ,k 에 대해 대신 보정을 적용하기 위해, 단계(74)의 안티로그가 적용되기 전에 먼저 신호 MS n , k 의 값들이 무효화될 것이다. 이것은 센서 A 신호 입력 FA n , k 를 곱하기 전에, 이러한 새로운 보정 값들에 의해 포스트-안티로그(post-antilog) 보정 신호의 값들의 역수(reciprocal)을 취하는 것과 동일하다.
앞서 지시된 바와 같이, 전체 매칭 프로세스가 로그 도메인이 아닌 선형 도메인에서 수행될 수도 있으며, 이는 단계(74)의 안티로그 프로세스를 포함할 필요를 배제시키겠지만, 곱셈 단계(76)에 대한 동일한 선형 보정 팩터를 제공해야 할 것이다. 또한 앞서 나타낸 바와 같이, 보정 팩터를 두 센서 신호들에 나눔으로써, 보정 팩터를 센서 신호 비율에 적용함으로써, 혹은 보정 팩터를 어떤 다른 중간 혹은, 하나의 센서 신호에 직접적으로 보다는 센서 신호들 중 하나 또는 양쪽의 함수인 파생적인 신호에 적용함으로써, 보정 팩터를 적용하는 것은 여기에 개시된 것과 완전히 부합한다. 보정 팩터를, 센서 신호들 중 하나 혹은 양쪽에 이득/감쇄를 제공하는 데 혹은 센서 신호들 중 하나 혹은 양쪽의 함수인 다른 중간 신호에 이득/감쇄를 제공하는 데 실질적으로 사용되는 중간 신호에 적용하여, 보정 팩터를 적용하는 것 또한 여기에 개시된 것과 완전히 부합한다. 또한, 신호들은, 입력 신호들의 2 이상의 평균치 혹은 다른 제3의 기준과 같은 어떤 기준 신호에도 매칭 가능함이 이해되어야 할 것이다. 여기 실시예에서 설명된 바와 같이, 기준 신호는 "제1" 입력으로 여겨질 수 있으며, 센서 입력 신호들 중 하나일 수 있는 "제2"는 제1에 매칭되어진다.
이러한 예시적인 시스템에서, 매칭 보정은 한 쌍의 신호들 중 하나에 모두 적용되어 곱셈 단계(76)의 출력이 어떤 추가적인 프로세싱에도 유효한 매칭된 신호가 되도록 한다. 도 1에 도시된 바와 같이, 이러한 두-센서 실시예에 대해, 자동 센서 매칭 단계(30)로부터의 출력은 한 쌍의 매칭된 센서 신호들이다.
본 신호 매칭 시스템의 동작을 좀더 자세히 설명하기 위해, 내부 신호가 도 6을 참조하여 설명될 것이다. 도 6의 위쪽 곡선은 A/D 변환 후에 센서 A의 전기적 출력으로부터 기록된 노이즈뿐인 음향 입력의 섹션이다. 위쪽 곡선의 수평 축은 Hz 단위(이와 같이 표시되지는 않았음)의 주파수이고, 수직 축은 선형 볼트(volt)로 나타난다. 수직 축은 dB - 즉, 아래 쪽 커브에 대한 로그적 표현 - 단위이고, 그에 따라 표시되어 있다. 도 6의 이러한 입력 신호에 대해, 보정은 0 dB에 매우 가까워야 한다. 그래프의 아래 쪽 부분의 실선은, 카운트 n이 0에서 1573까지(0 내지 11 초) 변하는 동안의 관련된 신호 P n ,k , k=64에 대한, (1000Hz)를 보여준다. 이 시간 동안의 중요한 통계적 변형은 이 도시에서 명백하다. 최소치 트래커 출력 M n ,k 신호 가 대쉬선(dashed line)으로 나타나 있으며, 평활화된 출력 신호 MS n ,k 가 점선으로 나타나 있다. 신호 MS n ,k 인 이 주파수에 대한 결과적인 보정 값은 매우 평탄하고 정확함(0에 가까운)을 유의하자. 테스트는 이러한 자동 매칭 시스템이 100분의 몇 dB 내의 매칭된 신호를 유지할 수 있음을 보여줬다. 도 6에 표시된 0으로부터의 편차들은 마이크로폰 어레이에 국지적인 환경에서 발생하는 음향적 변화들로부터의 실질적인 미스매치 편차들이다.
도 7은 헤르쯔 단위의 주파수에 대해 도시된 바와 같은 프레임 n=1500 에 대한 신호 P n , k 를 나타낸다. 특히 고주파수에서의 막대한 변동성을 주목하자. 이러한 미세한 변동은 음향적 방해로 인한 것이며, 미스매치에 기인한 것이 아니다. 하지만, 일반적인 전체 모양은 제거되어야 할 미스매치이다.
도 8은 최소치 트래킹 이후의 신호 M n , k 를 보여준다. 자동 매칭 프로세스의 이 단계에서 벌써 어느 정도의 변동 감소가 명백하다. 도 9는 주파수 평활화 이후의 출력 신호 MS n , k 를 도시한다. 보는 바와 같이, 이 신호는 매우 정확하고 뛰어난 매칭 결과를 제공한다.
이제, 제2 예시적인 실시예가 서술될 것이다. 단일 프로세싱 어플리케이션들에서 종종 센서 신호 매칭 이외의 목적에 특정 기능들이 요구되는데, 이중 하나의 기능이 신호 활동 검출기(SAD)이다. VAD 및 NAD와 같은 신호 활동 검출기는, 스펙트럴 감산 및 다른 노이즈 감소 프로세싱에 공통적으로 필요하다. 가능하다면, 이러한 SAD로부터의 출력이, 이러한 기능을 얻기 위해 전용 회로를 제공할 필요없이 여기 개시된 자동 매칭 회로에 사용될 수 있다. 도 4는 프로세싱 섹션(30a)(도 2)에 대한 다른 실시예를 보여준다. 도 2에서와 같이, 도 4는 하나의 빈에 대한 다른 프로세싱을 보여주는데, 이 프로세싱은 동작 중 매 프레임의 모든 빈에 대해 반복된다. 도 4의 회로는 따라서 도 1의 블록(26)의 몇몇 절차들 대신 신호 활동 검출 신호를 제공한다. 이 신호가 매칭 목적을 위해 데이터의 사용 가능한 프레임을 표시 가능하다면, 도 4의 구조가 사용될 수 있다. 이 구조는 도 2의 제1 예시적인 실시예 상에 간략화되어, 계산, 코드 복잡성 및 파워 소비 면에서 어느 정도의 감소를 제공한다.
도 4에서 프로세스 단계들이 도 2에서와 동일한 기능을 제공하는 경우, 동일한 숫자가 표시될 것이며 다시 설명되지 않을 것이다. 또한, 동일한 신호들은 동일한 이름으로 명명되어 있다.
도 4에 도시된 바와 같이, 신호 활동 플래그가 신호 활동 검출 단계(26)가 데이터의 현재 프레임이 사용 가능한지 아닌지를 결정하는 테스트 단계(82)에 제공된다. 사용가능하지 않은 경우, 현재의 프레임은 무시되고 매칭 프로세스에서 저장된 어떤 값들이라도, 다음 사용가능한 프레임이 이들을 변경시키도록 허락될 때까지, 그냥 유지된다. 이것은 단계들(44, 46 및 50)의 개시 프로세스가 사용 가능한 프레임 상에서만 수행됨을 확실히 하는 효과를 가지며, 도 2의 실시예에서 설정된 바와 같이 첫 Q 프레임들이 모두 사용가능하다는 가정은 더 이상 사용되지 않는다. 도 2의 실시예에서와 같이, 여기서 Q는 또한 일관성을 위해, 하지만 제한의 목적은 아닌 형태로, 32로 선택된다. 사용가능한 첫 Q 프레임 이후에, 단계(64)의 매칭 테이블이 개시 단계들에 의해 결정된 평균화된 값들의 세트로 초기화된다. 사용가능한 첫 Q 프레임 이후에, 테스트 단계(44)를 조정하면 로그 크기 비율 신호 X n , k 를 시간적 평활화 단계(52)로 전송하며, 그 동작은 도 2와 관련하여 설명되었으며 여기서 다시 반복하지 않을 것이다. 자동 매칭 프로세스 밖으로부터의 신호 활동 플래그를 수신하고 사용하는 능력 자체가 도 2의 최소치 트래킹 단계(62)뿐 아니라 신호 테스트 단계(48)의 필요성을 없애준다. 따라서, 도 4의 실시예에서 시간적 평활화 단계(52)로부터의 출력 P n ,k 이 로그 도메인 신호 매칭 보정 값들의 세트로서 매칭 테이블 단계로 직접 제공된다. 매칭 테이블(64)에 저장된 값들은 그리고 나서, 이전과 마찬가지로, 도 3에 도시된 자동 매칭 프로세스의 나머지 부분에 대한 입력으로 제공된다.
도 5는 개별적인 개시/초기화 프로세스가 제거되고 프레임 카운트 의존적인 시간적 평활화 파라미터에 의해 교체되는 일 실시예를 보여준다. 이 실시예에서, 시간적 평활화는, 개시 바로 직후에는 상대적으로 빠르고 최소 속도 평활화가 프레임 카운트 N MAX 에 도달할 때까지 시간에 따라 느려지는 가변 레이트로 실행된다. 도 4의 실시예와 비교하여, 단계들(40, 42, 52, 64 및 82)의 기능들은 변하지 않는다. 도 2의 프로세스와 비교할 때 단계들(56 및 62)은 제거된다. 도 5의 실시예가 도 4의 실시예와 다른 점은 단계(46)의 제거 및 새로운 단계들(92, 94 및 96)의 추가에 있다. 데이터의 사용가능한 프레임에 대해서, 프레임 카운트 변수 N이 기 설정된 최대 카운트 N MAX 를 초과했는지를 결정하는 테스트가 수행된다. 만일 N MAX 를 초과하지 않은 경우, N은 이 조건을 맞추는 각 프레임에 대해 증가 카운터 단계(50)에 의해 증가된다. N MAX 는 Q보다 훨신 클 수 있으며, 100 내지 200 사이의 값이 일반적이다. 이 최대 카운트에 도달하면, N의 추가적인 증가는 멈춘다.
단계(94)에서 프레임 카운트에 따라
Figure pct00011
의 값을 변경하기 위해 단계(96)에서 프레임 카운트가 사용된다.
Figure pct00012
의 값들은, 필요시 가져오기 위해, 기설정되어 테이블에 저장될 수 있고, 기 설정된 식에 따라 실시간으로 계산될 수 있다. 하지만, 일반적으로,
Figure pct00013
의 값은 상대적으로 크게 시작하고, 프레임 카운트가 증가할수록 최소 값을 향해 감소할 것이다. N이 N MAX 에 도달후,
Figure pct00014
의 변경은 멈추고
Figure pct00015
의 최소 값이 그 이후 사용된다. 이렇게 함으로써, 시간적 평활화 단계(52)가 동작의 시작점에서 빠르지만 더 낮은 정확도로 로그 비율 데이터를 필터링하지만, 그리고 나서 필터링(로우패스 필터 대역폭)의 속도는 감소되고 매칭 결과의 정확도는 시간에 따라 증가된다. 이러한 프로세스는 매칭 테이블 단계(64)에 저장된 매칭 테이블이 빨리 매칭 조건을 획득하고, 매칭의 품질을 개선하게끔 진행하도록 한다. 결과는 매칭 프로세스가 별도의 개시 프로세스 없이 빨리 시작한다는 것이다. 이 섹션(30a)으로부터의 출력 신호는 매칭 테이블 단계(64)에 저장된 보정 값들을 구성하고, 도 3에 도시된 매칭 프로세스의 나머지 섹션에 대한 입력 신호인 신호 MT n ,k 가 된다.
Figure pct00016
에 대한 프레임-대-프레임 값들이 설계자에 의해 요구되는 어떤 특성을 따를 수 있지만, 실시간으로
Figure pct00017
을 생성하는 하나의 유용한 식은,
Figure pct00018
(4)
이며, 여기서 ε는 속도 파라미터이고,
Figure pct00019
Figure pct00020
에 대해 도달되는 최종 값이다. 예를 들어, ε는 대략 0.45이고,
Figure pct00021
은 대략 0.05가 될 수 있으며, N MAX 는 200일 수 있다. 물론,
Figure pct00022
을 결정하기 위한 많은 다른 식들 또는 값들의
시퀀스가 적용가능하며, 어느 하나의 사용이 고려되어진다.
로그/안티로그 단계들(42 및 74)을 생략하는, 도 2 및 도 3에 나타난 예시적 시스템의 다른 어플리케이션이 두 센서 신호들 간의 위상 차이를 입력 MR로서 사용할 수 있다. 따라서, 크기가 다른 입력 신호들, 혹은 그로부터 도출된 신호들의 특성들이 여기 개시된 바와 같이 매칭될 수 있음이 이해되어야 할 것이다. 센서 신호들의 위상을 매칭하기 위해 유사한 접근법이 사용될 수 있고, 따라서 각 대역에 대해 보정 팩터를 형성하고, 센서 신호들의 위상 매칭을 위한 테이블 값들의 상응하는 매칭을 제공한다. 위상 매칭 어플리케이션에서, 2 이상의 신호들 간의 위상 차이는 최소화되거나 제거된다. 이 경우, 회로들(28, 108)과 유사한 비율/차이 회로(미도시)가, 회로들(28, 108)이 나누기 블록(즉, 비율 회로들)으로서 동작하는 상술한 크기 매칭과 비교하여, 감산기로서 동작한다. 이러한 차이 회로는 차이를 결정하고, 그에 기초하여 조정 값을 제공한다. 유사하게, 승산적인 보정(신호라면 비율에 의해 곱함) 조정 값을 사용하기 보다, 위상 매칭을 위해 비율/차이 회로(108)에서 프로세스의 시작점에서 결정된 위상 차이에 상응하는 보정 값 또는 팩터가, 가산적 혹은 감산적 프로세스로서 적용될 수 있다. 보다 일반적으로, 신호 미스매치가 신호들 간의 가산적인 차이에 기인한 경우, 위상 미스매치의 경우와 같이, 차이가 얻어지고, 보정 팩터 혹은 값이 정해지고, 가산 혹은 감산에 의해 보정이 적용된다(보정의 "부호"에 따라). 이득 혹은 감도 (승산적인) 차이가 보정되어야 하는 경우, 비율이 얻어지고, 보정 값이 결정되어 승산적으로 보정이 적용된다.
각 빈 주파수에 대해 개별적인 계산으로 서술되긴 하였으나, 빈 주파수들은 매칭 테이블을 계산하기 전에 먼저 서브밴드(예를 들어, Bark, Mel 혹은 ERB 밴드들)로 결합될 수 있다. 더 적은 서브밴드들이 존재기 때문에 이러한 변형은 계산 파워 요청사항을 줄여줄 것이다. 매칭 값들의 계산 후, 서브밴드들은 센서 신호에 적용되기 전에 원래의 주파수 샘플링 해상도로 확장되어 돌아갈 것이다.
주파수 평활화는 동작적이고 컨벌루션, 지수 필터링, IIR 혹은 FIR 기술 등을 포함하는 여러 방법들 중 하나를 사용하여 구현될 수 있다.
비록 단일 대역 한정적인 입력 신호를 사용해 개시되었지만, 여기 개시된 방식들은 또한 여러 개의 동시적이고 개별적인, 인접한 혹은 중첩하는 대역들이 사용되는 멀티-대역 동작에도 적용 가능하며, 각각은 본 발명의 신호 매칭 프로세스들 중 하나가 적용된다. "SAD" 제어 신호는 유사하게 멀티-대역화될 것이다. 이러한 시스템은 멀티-대역 스펙트럴 감산과 같은 멀티-대역 노이즈 감소 시스템에 적용 가능하다.
실시예들과 어플리케이션들이 도시되고 설명되긴 하였으나, 여기에 개시된 발명의 개념으로부터 벗어남이 없이 위에 언급된 것 보다 더욱 많은 변형예들이 가능하다는 것이 이 개시물의 공개의 이득을 가지는 당업자에게는 명백하다 할 것이다. 그러므로, 본 발명은 첨부된 청구항들의 사상을 제외하고 제한되지 않는다.

Claims (44)

  1. 제1 및 제2 신호를 매칭하는 방법으로서,
    상기 제1 및 제2 신호의 주파수 성분들이 적어도 하나의 관련 주파수 대역으로 배정되도록 상기 제1 및 제2 신호를, 선택된 주파수 대역에 걸쳐, 주파수 도메인으로 변환하는 단계;
    각 주파수 대역과 관련된 스케일링 비율을 생성하는 단계; 및
    상기 두 신호들 중 적어도 하나 혹은 적어도, 상기 두 신호들 중 적어도 하나로부터 도출된 제3 신호에 대해, 각 주파수 대역과 관련된 주파수 성분들을 해당 주파수 대역과 관련된 스케일링 비율로 스케일링하는 단계를 포함하고,
    상기 생성하는 단계는, 비-개시 구간 동안, 각 주파수 대역에 대한 제1 및 제2 신호의 신호 비율에 대해, 각각의 이러한 신호 비율의 이용가능성을 결정하는 단계, 및 이용 가능한 것으로 결정된 경우 스케일링 비율의 계산에 신호 비율을 사용하는 단계를 포함하는, 신호 매칭 방법.
  2. 청구항 1에 있어서,
    상기 생성하는 단계는, 개시 구간 동안, 각 주파수 대역에 대해 제1 및 제2 신호의 신호 비율의 Q 넘버를 평균화하는 단계 및 상기 평균을 해당 주파수 빈의 스케일링 비율로 지정하는 단계를 포함하는, 신호 매칭 방법.
  3. 청구항 1에 있어서,
    상기 이용가능성 결정은 상기 신호 비율이 최소치 및 최대치 범위 내이고 적어도 두 신호 비율의 최소치임을 확인하는 것을 포함하는, 신호 매칭 방법.
  4. 청구항 1에 있어서,
    상기 이용가능성 결정은 신호 활동 검출기(SAD)로부터의 지시(indication)를 수신하는 것을 포함하는, 신호 매칭 방법.
  5. 청구항 4에 있어서,
    상기 SAD는 노이즈 활동 검출기(NAD)인, 신호 매칭 방법.
  6. 청구항 4에 있어서,
    상기 SAD는 음성 활동 검출기(VAD)인, 신호 매칭 방법.
  7. 청구항 1에 있어서,
    신호 비율을 시간적으로 평활화(smoothing)하는 단계를 더 포함하는 신호 매칭 방법.
  8. 청구항 1에 있어서,
    스케일링 비율을 주파수 평활화하는 단계를 더 포함하는 신호 매칭 방법.
  9. 청구항 1에 있어서,
    스케일링 비율을 생성하는 단계는 로그 도메인에서 수행되는, 신호 매칭 방법.
  10. 청구항 1에 있어서,
    스케일링 비율을 생성하는 단계는 선형 도메인에서 수행되는, 신호 매칭 방법.
  11. 제1 및 제2 신호를 매칭하는 장치로서,
    상기 제1 및 제2 신호의 주파수 성분들이 적어도 하나의 관련 주파수 대역으로 배정되도록 상기 제1 및 제2 신호를, 선택된 주파수 대역에 걸쳐, 주파수 도메인으로 변환하는 수단;
    각 주파수 대역과 관련된 스케일링 비율을 생성하는 수단; 및
    상기 두 신호들 중 적어도 하나 혹은 적어도 상기 두 신호들 중 적어도 하나로부터 도출된 제3 신호에 대해, 각 주파수 대역과 관련된 주파수 성분들을 해당 주파수 대역과 관련된 스케일링 비율로 스케일링하는 수단을 포함하고,
    상기 스케일링 비율의 생성은, 비-개시 구간 동안, 각 주파수 대역에 대한 제1 및 제2 신호의 신호 비율에 대해, 각각의 이러한 신호 비율의 이용가능성을 결정하고, 이용 가능한 것으로 결정된 경우 스케일링 비율의 계산에서 신호 비율을 사용하는 것을 포함하는, 신호 매칭 장치.
  12. 청구항 11에 있어서,
    상기 생성은, 개시 구간 동안, 각 주파수 대역에 대해 제1 및 제2 신호의 신호 비율의 Q 넘버를 평균화하는 것 및 상기 평균을 해당 주파수 빈의 스케일링 비율로 지정하는 것을 포함하는, 신호 매칭 장치.
  13. 청구항 11에 있어서,
    상기 이용가능성 결정은, 상기 신호 비율이 최소치 및 최대치 범위 내이고 적어도 두 신호 비율의 최소치임을 확인하는 것을 포함하는, 신호 매칭 장치.
  14. 청구항 11에 있어서,
    상기 이용가능성 결정은 신호 활동 검출기(SAD)로부터의 지시(indication)를 수신하는 것을 포함하는, 신호 매칭 장치.
  15. 청구항 14에 있어서,
    상기 SAD는 노이즈 활동 검출기(NAD)인, 신호 매칭 장치.
  16. 청구항 14에 있어서,
    상기 SAD는 음성 활동 검출기(VAD)인, 신호 매칭 장치.
  17. 청구항 11에 있어서,
    신호 비율을 시간적으로 평활화하는 수단을 더 포함하는 신호 매칭 장치.
  18. 청구항 11에 있어서,
    스케일링 비율을 주파수 평활화하는 수단을 더 포함하는 신호 매칭 장치.
  19. 청구항 11에 있어서,
    스케일링 비율을 생성하는 것은 로그 도메인에서 수행되는, 신호 매칭 장치.
  20. 청구항 11에 있어서,
    스케일링 비율을 생성하는 것은 선형 도메인에서 수행되는, 신호 매칭 장치.
  21. 기계에 의해 제1 및 제2 신호를 매칭하는 방법을 실시하도록 실행 가능한 명령어들의 프로그램을 포함하는, 기계에 의해 판독 가능한 프로그램 저장 장치로서, 상기 방법은,
    상기 제1 및 제2 신호의 주파수 성분들이 관련 주파수 대역으로 배정되도록 상기 제1 및 제2 신호를, 선택된 주파수 대역에 걸쳐, 주파수 도메인으로 변환하는 단계;
    각 주파수 대역과 관련된 스케일링 비율을 생성하는 단계; 및
    상기 두 신호들 중 적어도 하나 혹은 적어도, 상기 두 신호들 중 적어도 하나로부터 도출된 제3 신호에 대해, 각 주파수 대역과 관련된 주파수 성분들을 해당 주파수 대역과 관련된 스케일링 비율로 스케일링하는 단계를 포함하고,
    상기 생성하는 단계는, 비-개시 구간 동안, 각 주파수 대역에 대한 제1 및 제2 신호의 신호 비율에 대해, 각 신호 비율의 이용가능성을 결정하는 단계, 및 이용 가능한 것으로 결정된 경우 스케일링 비율의 계산에 신호 비율을 사용하는 단계를 포함하는, 프로그램 저장 장치.
  22. 청구항 21에 있어서,
    상기 생성하는 단계는, 개시 구간 동안, 각 주파수 대역에 대해 제1 및 제2 신호의 신호 비율의 Q 넘버를 평균화하는 단계 및 상기 평균을 해당 주파수 빈의 스케일링 비율로 지정하는 단계를 포함하는, 프로그램 저장 장치.
  23. 청구항 21에 있어서,
    상기 이용가능성 결정은, 상기 신호 비율이 최소치 및 최대치 범위 이내이고 적어도 두 신호 비율의 최소치임을 확인하는 것을 포함하는, 프로그램 저장 장치.
  24. 청구항 21에 있어서,
    상기 이용가능성을 결정하는 단계는 신호 활동 검출기(SAD)로부터의 지시를 수신하는 단계를 포함하는, 프로그램 저장 장치.
  25. 청구항 24에 있어서,
    상기 SAD는 노이즈 활동 검출기(NAD)인, 프로그램 저장 장치.
  26. 청구항 24에 있어서,
    상기 SAD는 음성 활동 검출기(VAD)인, 프로그램 저장 장치.
  27. 청구항 21에 있어서,
    상기 개시 구간 동안 결정된 신호 비율을 시간적으로 평활화하는 것을 더 포함하는 프로그램 저장 장치.
  28. 청구항 21에 있어서,
    상기 스케일링 비율을 주파수 평활화하는 것을 더 포함하는 프로그램 저장 장치.
  29. 청구항 21에 있어서,
    스케일링 비율을 생성하는 것은 로그 도메인에서 수행되는, 프로그램 저장 장치.
  30. 청구항 21에 있어서,
    스케일링 비율을 생성하는 것은 선형 도메인에서 수행되는, 프로그램 저장 장치.
  31. 제1 및 제2 입력 신호와 관련된 특성 차이를 매칭하는 시스템으로서,
    특성 차이를 결정하는 회로;
    상기 특성 차이에 기초하여 조정 값을 생성하는 회로;
    상기 조정 값이 사용 가능한 조정 값인 때를 결정하는 회로; 및
    상기 제1 및 제2 입력 신호들 중 적어도 하나, 혹은 적어도, 상기 제1 및 제2 입력 신호들 중 적어도 하나로부터 도출된 제3 신호를, 사용 가능한 조정 값의 함수로서 조정하는 회로를 포함하는 매칭 시스템.
  32. 청구항 31에 있어서,
    상기 특성 차이는 위상인, 매칭 시스템.
  33. 청구항 32에 있어서,
    상기 조정 값은 가산적(additive) 혹은 감산적(subtractive) 값인, 매칭 시스템.
  34. 청구항 31에 있어서,
    상기 특성 차이는 크기인, 매칭 시스템.
  35. 청구항 34에 있어서,
    상기 조정 값은 배수적(multiplicative)인, 매칭 시스템.
  36. 청구항 31에 있어서,
    상기 조정 값이 사용가능한 조정 값인 때를 결정하는 회로는 SAD(사운드 활동 검출기)인, 매칭 시스템.
  37. 청구항 31에 있어서,
    상기 이용가능성의 결정은 기 설정된 개시 구간의 함수이고, 상기 개시 구간 동안에는 비-개시 구간과 다른, 매칭 시스템.
  38. 청구항 31에 있어서,
    상기 시스템은 주파수 도메인에서 동작하는, 매칭 시스템.
  39. 청구항 31에 있어서,
    상기 시스템은 선형 도메인에서 동작하는, 매칭 시스템.
  40. 청구항 31에 있어서,
    상기 시스템은 로그 도메인에서 동작하는, 매칭 시스템.
  41. 청구항 1에 있어서,
    스케일링 비율의 로그적 표현 혹은 스케일링 비율의 함수들인 값들의 로그적 표현에 필터를 적용함으로써, 스케일링 비율을 로그 도메인에서 시간적으로 평활화하는 단계를 더 포함하는, 신호 매칭 방법.
  42. 청구항 11에 있어서,
    스케일링 비율의 로그적 표현 혹은 스케일링 비율의 함수인들 값들의 로그적 표현에 필터를 적용함으로써, 스케일링 비율을 로그 도메인에서 시간적으로 평활화하는 단계를 더 포함하는, 신호 매칭 방법.
  43. 청구항 21에 있어서,
    스케일링 비율의 로그적 표현 혹은 스케일링 비율의 함수인 값들의 로그적 표현에 필터를 적용함으로써, 스케일링 비율을 로그 도메인에서 시간적으로 평활화하는 단계를 더 포함하는, 신호 매칭 방법.
  44. 제1 및 제2 신호를 매칭하는 방법으로서,
    상기 제1 및 제2 신호의 주파수 성분들이 관련 주파수 대역으로 배정되도록 상기 제1 및 제2 신호를, 선택된 주파수 대역에 걸쳐, 주파수 도메인으로 변환하는 단계;
    각 주파수 대역과 관련된 보정 팩터를 생성하는 단계; 및
    상기 두 신호들 중 적어도 하나 혹은 적어도, 상기 두 신호들 중 적어도 하나로부터 도출된 제3 신호에 대해, 상기 보정 팩터를 이러한 각각의 주파수 대역과 관련된 상기 신호와 산술적으로 결합함으로써 각 주파수 대역과 관련된 적어도 하나의 주파수 성분을 보정하는 단계를 포함하고,
    상기 생성 단계는, 각 주파수 대역에 대한 제1 및 제2 신호의 신호 차이에 대해, 각 신호 차이의 이용가능성을 결정하는 단계 및, 이용가능한 것으로 결정된 경우 보정 팩터의 계산에 이러한 신호 차이를 사용하는 단계를 포함하는, 신호 매칭 방법.
KR1020107006205A 2007-08-22 2008-08-22 자동화된 센서 신호 매칭 KR101156847B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US96592207P 2007-08-22 2007-08-22
US60/965,922 2007-08-22
PCT/US2008/074113 WO2009026569A1 (en) 2007-08-22 2008-08-22 Automated sensor signal matching

Publications (2)

Publication Number Publication Date
KR20100057658A true KR20100057658A (ko) 2010-05-31
KR101156847B1 KR101156847B1 (ko) 2012-06-20

Family

ID=40378710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107006205A KR101156847B1 (ko) 2007-08-22 2008-08-22 자동화된 센서 신호 매칭

Country Status (7)

Country Link
US (1) US8855330B2 (ko)
EP (1) EP2183547A4 (ko)
JP (1) JP5284359B2 (ko)
KR (1) KR101156847B1 (ko)
CN (1) CN101821585A (ko)
BR (1) BRPI0815669A2 (ko)
WO (1) WO2009026569A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011008994A1 (de) 2010-06-17 2011-12-22 Samsung Electro - Mechanics Co., Ltd. Optisches System

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009069184A1 (ja) * 2007-11-26 2009-06-04 Fujitsu Limited 音処理装置、補正装置、補正方法及びコンピュータプログラム
US8521477B2 (en) * 2009-12-18 2013-08-27 Electronics And Telecommunications Research Institute Method for separating blind signal and apparatus for performing the same
US8908877B2 (en) 2010-12-03 2014-12-09 Cirrus Logic, Inc. Ear-coupling detection and adjustment of adaptive response in noise-canceling in personal audio devices
US9142207B2 (en) 2010-12-03 2015-09-22 Cirrus Logic, Inc. Oversight control of an adaptive noise canceler in a personal audio device
US9357307B2 (en) 2011-02-10 2016-05-31 Dolby Laboratories Licensing Corporation Multi-channel wind noise suppression system and method
WO2012107561A1 (en) 2011-02-10 2012-08-16 Dolby International Ab Spatial adaptation in multi-microphone sound capture
US8948407B2 (en) 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US9824677B2 (en) 2011-06-03 2017-11-21 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US8958571B2 (en) 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US9318094B2 (en) 2011-06-03 2016-04-19 Cirrus Logic, Inc. Adaptive noise canceling architecture for a personal audio device
EP2723103B1 (en) * 2011-06-16 2015-10-28 Panasonic Intellectual Property Management Co., Ltd. Array microphone device and gain control method
US9325821B1 (en) 2011-09-30 2016-04-26 Cirrus Logic, Inc. Sidetone management in an adaptive noise canceling (ANC) system including secondary path modeling
US9648421B2 (en) * 2011-12-14 2017-05-09 Harris Corporation Systems and methods for matching gain levels of transducers
US9123321B2 (en) 2012-05-10 2015-09-01 Cirrus Logic, Inc. Sequenced adaptation of anti-noise generator response and secondary path response in an adaptive noise canceling system
US9319781B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Frequency and direction-dependent ambient sound handling in personal audio devices having adaptive noise cancellation (ANC)
US9318090B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Downlink tone detection and adaptation of a secondary path response model in an adaptive noise canceling system
US9532139B1 (en) 2012-09-14 2016-12-27 Cirrus Logic, Inc. Dual-microphone frequency amplitude response self-calibration
US9369798B1 (en) 2013-03-12 2016-06-14 Cirrus Logic, Inc. Internal dynamic range control in an adaptive noise cancellation (ANC) system
US9414150B2 (en) 2013-03-14 2016-08-09 Cirrus Logic, Inc. Low-latency multi-driver adaptive noise canceling (ANC) system for a personal audio device
US9324311B1 (en) 2013-03-15 2016-04-26 Cirrus Logic, Inc. Robust adaptive noise canceling (ANC) in a personal audio device
US10206032B2 (en) 2013-04-10 2019-02-12 Cirrus Logic, Inc. Systems and methods for multi-mode adaptive noise cancellation for audio headsets
US9462376B2 (en) 2013-04-16 2016-10-04 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9478210B2 (en) 2013-04-17 2016-10-25 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9460701B2 (en) 2013-04-17 2016-10-04 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by biasing anti-noise level
US20140315506A1 (en) * 2013-04-18 2014-10-23 Qualcomm Incorporated Determining radar sub-channel in communication networks
US9578432B1 (en) 2013-04-24 2017-02-21 Cirrus Logic, Inc. Metric and tool to evaluate secondary path design in adaptive noise cancellation systems
US9258661B2 (en) * 2013-05-16 2016-02-09 Qualcomm Incorporated Automated gain matching for multiple microphones
US9264808B2 (en) 2013-06-14 2016-02-16 Cirrus Logic, Inc. Systems and methods for detection and cancellation of narrow-band noise
US9392364B1 (en) 2013-08-15 2016-07-12 Cirrus Logic, Inc. Virtual microphone for adaptive noise cancellation in personal audio devices
US9666176B2 (en) 2013-09-13 2017-05-30 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by adaptively shaping internal white noise to train a secondary path
US9620101B1 (en) 2013-10-08 2017-04-11 Cirrus Logic, Inc. Systems and methods for maintaining playback fidelity in an audio system with adaptive noise cancellation
US9704472B2 (en) 2013-12-10 2017-07-11 Cirrus Logic, Inc. Systems and methods for sharing secondary path information between audio channels in an adaptive noise cancellation system
US10219071B2 (en) 2013-12-10 2019-02-26 Cirrus Logic, Inc. Systems and methods for bandlimiting anti-noise in personal audio devices having adaptive noise cancellation
US10382864B2 (en) 2013-12-10 2019-08-13 Cirrus Logic, Inc. Systems and methods for providing adaptive playback equalization in an audio device
US9369557B2 (en) 2014-03-05 2016-06-14 Cirrus Logic, Inc. Frequency-dependent sidetone calibration
US9319784B2 (en) 2014-04-14 2016-04-19 Cirrus Logic, Inc. Frequency-shaped noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
US10181315B2 (en) 2014-06-13 2019-01-15 Cirrus Logic, Inc. Systems and methods for selectively enabling and disabling adaptation of an adaptive noise cancellation system
US9667842B2 (en) 2014-08-30 2017-05-30 Apple Inc. Multi-band YCbCr locally-adaptive noise modeling and noise reduction based on scene metadata
US9525804B2 (en) 2014-08-30 2016-12-20 Apple Inc. Multi-band YCbCr noise modeling and noise reduction based on scene metadata
US9478212B1 (en) 2014-09-03 2016-10-25 Cirrus Logic, Inc. Systems and methods for use of adaptive secondary path estimate to control equalization in an audio device
US9552805B2 (en) 2014-12-19 2017-01-24 Cirrus Logic, Inc. Systems and methods for performance and stability control for feedback adaptive noise cancellation
US10026388B2 (en) 2015-08-20 2018-07-17 Cirrus Logic, Inc. Feedback adaptive noise cancellation (ANC) controller and method having a feedback response partially provided by a fixed-response filter
US9578415B1 (en) 2015-08-21 2017-02-21 Cirrus Logic, Inc. Hybrid adaptive noise cancellation system with filtered error microphone signal
US9626745B2 (en) * 2015-09-04 2017-04-18 Apple Inc. Temporal multi-band noise reduction
US10061015B2 (en) 2015-09-30 2018-08-28 Texas Instruments Incorporated Multi-chip transceiver testing in a radar system
US9838783B2 (en) 2015-10-22 2017-12-05 Cirrus Logic, Inc. Adaptive phase-distortionless magnitude response equalization (MRE) for beamforming applications
WO2017146970A1 (en) 2016-02-23 2017-08-31 Dolby Laboratories Licensing Corporation Auxiliary signal for detecting microphone impairment
US9813833B1 (en) * 2016-10-14 2017-11-07 Nokia Technologies Oy Method and apparatus for output signal equalization between microphones
US11528556B2 (en) 2016-10-14 2022-12-13 Nokia Technologies Oy Method and apparatus for output signal equalization between microphones
WO2018197011A1 (en) * 2017-04-28 2018-11-01 Telefonaktiebolaget Lm Ericsson (Publ) Frame synchronization
EP3764360B1 (en) * 2019-07-10 2024-05-01 Analog Devices International Unlimited Company Signal processing methods and systems for beam forming with improved signal to noise ratio
EP3764664A1 (en) * 2019-07-10 2021-01-13 Analog Devices International Unlimited Company Signal processing methods and systems for beam forming with microphone tolerance compensation
CN113963709A (zh) 2020-07-03 2022-01-21 哈曼国际工业有限公司 用于补偿麦克风的频率响应的方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219427B1 (en) * 1997-11-18 2001-04-17 Gn Resound As Feedback cancellation improvements
WO2000057671A2 (de) * 1999-03-19 2000-09-28 Siemens Aktiengesellschaft Verfahren und einrichtung zum aufnehmen und bearbeiten von audiosignalen in einer störschallerfüllten umgebung
CN1418448A (zh) * 2000-03-14 2003-05-14 奥迪亚科技股份责任有限公司 多麦克风定向系统的适应性麦克风匹配
US7206421B1 (en) * 2000-07-14 2007-04-17 Gn Resound North America Corporation Hearing system beamformer
US7027607B2 (en) 2000-09-22 2006-04-11 Gn Resound A/S Hearing aid with adaptive microphone matching
WO2002032356A1 (en) * 2000-10-19 2002-04-25 Lear Corporation Transient processing for communication system
US7117145B1 (en) * 2000-10-19 2006-10-03 Lear Corporation Adaptive filter for speech enhancement in a noisy environment
JP2003153372A (ja) 2001-11-14 2003-05-23 Matsushita Electric Ind Co Ltd マイクロホン装置
US6639987B2 (en) 2001-12-11 2003-10-28 Motorola, Inc. Communication device with active equalization and method therefor
US6954021B2 (en) * 2002-07-12 2005-10-11 Applied Materials, Inc. Matching circuit for megasonic transducer device
EP1540986A1 (en) 2002-09-13 2005-06-15 Koninklijke Philips Electronics N.V. Calibrating a first and a second microphone
ATE420539T1 (de) * 2003-05-13 2009-01-15 Harman Becker Automotive Sys Verfahren und system zur adaptiven kompensation von mikrofonungleichheiten
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
JP2005286712A (ja) 2004-03-30 2005-10-13 Sanyo Electric Co Ltd 収音装置
JP2007129373A (ja) 2005-11-01 2007-05-24 Univ Waseda マイクロフォン感度調整方法およびそのシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011008994A1 (de) 2010-06-17 2011-12-22 Samsung Electro - Mechanics Co., Ltd. Optisches System

Also Published As

Publication number Publication date
BRPI0815669A2 (pt) 2017-05-23
KR101156847B1 (ko) 2012-06-20
US8855330B2 (en) 2014-10-07
US20090136057A1 (en) 2009-05-28
EP2183547A4 (en) 2013-07-17
WO2009026569A1 (en) 2009-02-26
JP2010537586A (ja) 2010-12-02
JP5284359B2 (ja) 2013-09-11
CN101821585A (zh) 2010-09-01
EP2183547A1 (en) 2010-05-12

Similar Documents

Publication Publication Date Title
KR101156847B1 (ko) 자동화된 센서 신호 매칭
KR102410447B1 (ko) 적응성 빔포밍
JP5762956B2 (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
US9432766B2 (en) Audio processing device comprising artifact reduction
CN105493518B (zh) 麦克风系统以及用于麦克风系统中抑制不想要声音的方法
CN109845288B (zh) 用于麦克风之间的输出信号均衡的方法和装置
US9082411B2 (en) Method to reduce artifacts in algorithms with fast-varying gain
US20130272540A1 (en) Noise suppressing method and a noise suppressor for applying the noise suppressing method
KR101601197B1 (ko) 마이크로폰 어레이의 이득 조정 장치 및 방법
US20080300869A1 (en) Audio Signal Dereverberation
JP2014232331A (ja) アダプティブ・インテリジェント・ノイズ抑制システム及び方法
EP2893532A1 (en) Apparatus and method for providing an informed multichannel speech presence probability estimation
WO2009042385A1 (en) Method and apparatus for generating an audio signal from multiple microphones
US11483651B2 (en) Processing audio signals
JP2019004465A (ja) 収音装置、及び収音方法
JPWO2018173267A1 (ja) 収音装置および収音方法
CN112272848A (zh) 使用间隙置信度的背景噪声估计
JP6789827B2 (ja) 音声信号を明瞭化するためのマルチ聴覚mmse分析技法
JP6048596B2 (ja) 集音装置、集音装置の入力信号補正方法および移動機器情報システム
JP6840302B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP6314475B2 (ja) 音声信号処理装置及びプログラム
CN115691532A (zh) 风噪声污染范围估算方法及抑制方法、装置、介质、终端
JP2016158072A (ja) 集音装置、音声処理方法、および音声処理プログラム
CN112889299A (zh) 评估传声器阵列一致性的方法和装置
JP6221463B2 (ja) 音声信号処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160527

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180528

Year of fee payment: 7