KR20230057333A - 휴대용 노래방을 위한 저복잡도 하울링 억제 - Google Patents

휴대용 노래방을 위한 저복잡도 하울링 억제 Download PDF

Info

Publication number
KR20230057333A
KR20230057333A KR1020237000072A KR20237000072A KR20230057333A KR 20230057333 A KR20230057333 A KR 20230057333A KR 1020237000072 A KR1020237000072 A KR 1020237000072A KR 20237000072 A KR20237000072 A KR 20237000072A KR 20230057333 A KR20230057333 A KR 20230057333A
Authority
KR
South Korea
Prior art keywords
microphone
input signal
loudspeaker
signal
howling
Prior art date
Application number
KR1020237000072A
Other languages
English (en)
Inventor
지안웬 정
샤오-푸 시
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20230057333A publication Critical patent/KR20230057333A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/24—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument incorporating feedback means, e.g. acoustic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17819—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the reference signals, e.g. to prevent howling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • G10H2250/111—Impulse response, i.e. filters defined or specifed by their temporal impulse response features, e.g. for echo or reverberation applications
    • G10H2250/121—IIR impulse
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/50—Miscellaneous
    • G10K2210/506—Feedback, e.g. howling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Abstract

휴대용 노래방 시스템의 저복잡도 하울링 억제 시스템 및 방법이 제공된다. 하울링 억제에서, 마이크로폰에 의해 픽업된 음향 피드백을 실제 환경으로부터 추정하기 위해 적어도 하나의 무한 임펄스 응답(IIR) 필터들이 도입되고, 이에 의해 마이크로폰 입력 신호로부터 음향 피드백을 제거한다.

Description

휴대용 노래방을 위한 저복잡도 하울링 억제
본 발명은 일반적으로 음향 피드백 제거(cancellation) 기술에 관한 것이다. 특히, 본 발명은 휴대용 노래방 시스템의 저복잡도 하울링(howling) 억제 방법 및 시스템에 관한 것이다.
노래방은 동아시아에서 인터랙티브 엔터테인먼트 활동으로 점점 더 인기를 얻고 있다. 친구들과 노래방 기계를 사용하여 누구나 노래방에서 노래를 부를 수 있다. 최근 사람들은 클럽에서 노래하는 것에 만족하는 것이 아니라 휴대용 일체형 노래방(portable all-in-one karaoke) 기계 등 곳곳에서 노래를 부르고 있다. 이에 따라 많은 휴대용 노래방 제품들이 시장에 출시되고 있다. 그러나 이러한 대부분의 제품들의 음질은 기대만큼 좋지 않는다. 이들 중 상당수는 이러한 하울링 문제로 인해 "음향 하울링"에 시달리거나 충분한 사운드 레벨을 갖지 못한다.
실제로, 하울링은 노래방 또는 기타 사운드 강화 시스템에서 흔히 발생하는 문제이다. 노래방 시스템은 일반적으로 적어도 하나의 마이크로폰 및 라우드스피커를 포함한다. 사운드 신호가 마이크로폰에 의해 픽업되고, 후속적으로 증폭되어 라우드스피커에 공급될 때, 라우드스피커 사운드는 일반적으로 직접 음향 경로 또는 일부 반사 경로들을 통해 마이크로폰에 의해 회수(take back)된다. 라우드스피커와 마이크로폰 사이의 음향 결합은 폐쇄 신호 루프를 야기하고, 여기서 원하지 않는 하울링 형태의 음향 피드백이 발생할 수 있다. 이 경우, 노래방 시스템이 안정적일 필요가 있는 경우 적용할 수 있는 증폭량을 제한하기 때문에, 하울링 문제를 야기하고, 심지어 라우드스피커를 손상시키거나, 사운드 강화의 성능을 제한한다.
따라서 이 문제를 방지하기 위해 다양한 대책들이 적용되었다. 하울링 억제 방법에는 크게 네 가지 범주가 있다. 첫 번째 방법은 주파수 시프트(frequency shifting) 방법으로서, 수 Hz의 주파수 시프트로 매 루프마다 마이크로폰 입력 신호를 변경할 수 있다. 이는 시프트 주파수가 예컨대 20Hz와 같이 더 클 때 더 도움이 될 것이지만, 음질에 대한 부작용은 너무 심하여 허용가능하다고 여겨지지 않는다. 따라서 우리는 일반적으로 너무 많이 변경할 수 없으며 억제 성능을 타협해야 한다. 두 번째 방법은 노치 필터 기반 피드백 억제(NFS)이며, 여기서 노치 필터들은 하울링이 검출된 문제가 있는 주파수들을 억제하기 위해 사용된다. 노치 필터들은 매우 좁은 정지 대역(stop band)을 갖는 정지 대역 필터들이고, 이는 그 특정 주파수 대역에서 이득을 상당히 감소시킬 수 있고, 따라서 마이크로폰 입력 신호로부터 이들 주파수들을 억제한다. 그러나, NFS 방법은 일반적으로 하울링 사운드를 먼저 검출해야 하고 따라서 억제되기 전에 종종 들린다는 의미에서 검출 단계(detection phase) 및 억제 단계(suppression phase)를 포함한다. 세 번째 방법은 빔포밍 방법(beamforming method)인데, 이는 마이크로폰들과 라우드스피커들 사이의 직접 사운드 전파를 감소시키기 위해 지향성들을 수정하기 위해 마이크로폰 어레이 또는 라우드스피커 어레이를 사용한다. 그러나, 이 방법은 추가적인 하드웨어 및 더 많은 계산을 요구하며, 따라서 마이크로폰들 및 라우드스피커들의 수는 종종 제한된다. 네 번째 방법은 음향 반향 제거(Acoustic Echo Cancellation, AEC) 방법으로서, 적응형 필터들을 사용하여 마이크로폰들과 라우드스피커들 사이의 전달 함수를 근사화하고, 마이크로폰에 의해 픽업된 근사화된 피드백 신호를 제거하기 위해 라우드스피커로부터의 출력 신호를 필터링한다. 전달 함수가 적응 필터들에 의해 완벽하게 근사화되면, 하울링이 나오지 않는다. 일반적으로 AEC 방법은 적응적인 메커니즘 덕분에 좋은 성능을 발휘할 수 있지만, 높은 계산과 전력 소비는 물론, 긴 시스템 처리 시간이 필요하므로 특정 플레이 시간과 레이턴시(latency)의 요구사항을 갖는 휴대용 노래방 시스템에서는 적합하지 않다.
그러나 이런 대책들의 대부분은 라우드스피커와 마이크로폰 사이의 거리가 일반적으로 휴대용 일체형 노래방 시스템에 비해 훨씬 거리가 있는 일반 대형 노래방 시스템에 집중하고 있다. 한편, 사용자들은 아마도 이와 같은 작은 노래방 기계에서도 가능한 큰 소리로 노래를 부르고 싶을 것이다. 따라서, 노래방 제품에서 사용자의 기대치를 뛰어넘고 싶다면, 하울링을 억제할 수 있는 더 나은 기법의 개발이 필요하다.
본 발명은 휴대용 노래방 시스템의 저복잡도 하울링 억제 시스템을 제공함으로써 상기의 단점들 중 일부를 극복한다. 하울링 억제 시스템은 환경을 통해 전파되는 음향 피드백 및 소스 신호를 포함하는 입력 신호를 캡처하기 위한 적어도 하나의 마이크로폰; 입력 신호를 압축 및 등화한 다음 증폭된 후 출력 신호로 공급하기 위한 전기 음향 경로; 출력 신호를 재생하기 위한 라우드스피커를 포함한다. 하울링 억제 시스템은 음향 피드백을 추정하기 위한 적어도 하나의 무한 임펄스 응답(IIR) 필터들을 더 포함하고, 이에 의해 입력 신호로부터의 음향 피드백을 제거한다.
본 발명은 휴대용 노래방 시스템을 위한 저복잡도 하울링 억제 방법을 더 제공한다. 하울링 억제 방법은 적어도 하나의 마이크로폰을 통해 소스 신호 및 음향 피드백을 포함하는 입력 신호를 캡처하는 단계, 전기 음향 경로에서 입력 신호를 압축하고 등화하는 단계, 및 증폭된 후 출력 신호를 라우드스피커에 공급하는 단계, 및 출력 신호를 라우드스피커로 재생하는 단계를 포함하고, 출력 신호는 환경을 통해 전파된다. 하울링 억제 방법은 적어도 하나의 무한 임펄스 응답(IIR) 필터들을 통해 음향 피드백을 추정하고, 이에 의해 입력 신호로부터 음향 피드백을 제거하는 단계를 더 포함한다.
본 발명은 첨부된 도면들을 참조하여, 비제한적인 실시예들에 대한 다음의 설명을 읽는 것으로부터 더 잘 이해될 수 있다. 도면에서, 동일한 참조 부호는 대응하는 부분을 나타낸다.
도 1은 하나의 마이크로폰과 하나의 라우드스피커를 갖는 노래방 시스템에서의 예시적인 하울링 시나리오를 예시한다.
도 2a 내지 도 2b는 본 발명에 따른 노래방 시스템에서 하울링 억제를 위한 예시적인 시스템 다이어그램을 예시한다.
도 3은 본 발명에 따른 하울링 억제 방법을 설명하는 예시적인 흐름도를 예시한다.
도 4는 본 발명에 따른 휴대용 일체형 노래방 시스템을 위한 예시적인 하드웨어 시스템을 예시한다.
도 5a-5e는 본 발명과 관련된 일부 시뮬레이션된 비교 결과들을 예시하며, 여기서 도 5a는 라우드스피커 신호의 스펙트로그램을 도시하고; 도 5b는 약 2kHz 및 9.3kHz에서 하울링 사운드를 갖는 라우드스피커 신호의 스펙트로그램을 도시하고; 도 5c는 주파수 시프트 방법으로 획득된 스펙트로그램을 도시하고; 도 5d는 NFS 방법으로 획득된 스펙트로그램을 도시하고, 도 5e는 본 발명으로 획득된 스펙트로그램을 도시한다.
본 발명의 하나 이상의 실시예들의 상세한 설명은 이하에서 개시된다; 그러나, 개시된 실시예들은 다양하고 대안적인 형태로 구현될 수 있는 본 발명의 예시일 뿐이라는 것이 이해된다. 도면들은 반드시 축척대로 도시되지는 않는다; 일부 특징은 특정 컴포넌트의 세부 사항을 도시하기 위해 과장되거나 최소화될 수 있다. 따라서, 본 명세서에 개시되는 구체적인 구조적 및 기능 세부 사항은 제한적인 것으로 해석되어서는 안 되며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 다양하게 채용할 수 있도록 교시하기 위한 대표적인 근거로 해석되어야 한다.
도 1은 하나의 마이크로폰과 하나의 라우드스피커를 갖는 노래방 시스템에서의 예시적인 하울링 시나리오를 예시한다. 도 1에서 볼 수 있는 바와 같이, 시스템(100)은 마이크로폰(110) 및 라우드스피커(140)를 포함하고, 마이크로폰(110)은 전기 음향 경로(120)에 연결되고 그 후 증폭된 후에 라우드스피커(130)에 연결된다. 노래방 시스템이 설정되면, 사용자의 노래하는 음성으로부터의 소스 신호 S(z)는 마이크로폰(110)에 의해 캡처되고, 입력 신호 X(z)는 압축 및 등화를 포함하여 전기 음향 경로 G(z)에서 처리되고, 그 후 이득 팩터(K)에 의해 증폭된다. 출력 신호 Y(z)는 라우드스피커(140)에 공급되고 환경(150)을 통해 전파된다.
사운드 신호가 마이크로폰(110)에 의해 픽업되고, 후속하여 증폭되어 라우드스피커(140)로 공급될 때, 라우드스피커(140)에 의한 오디오 사운드 재생은 직접 또는 반사 경로들을 통해 마이크로폰(110)에 의해 회수 될 수 있다. 라우드스피커(140)와 마이크로폰(110) 사이의 음향 결합은 출력 신호(Y(z))가 환경 전달 함수(F(z))를 통해 전파되어 음향 피드백을 형성하고, 그 후 또한 마이크로폰(110)으로 픽업되게 하며, 따라서 도 1에 도시된 바와 같은 입력 신호(X(z))는 소스 신호(S(z)) 및 음향 피드백 Y(z)
Figure pct00001
F(z) 둘 모두를 포함한다.
따라서, 주파수 영역에서 표시된 모든 신호 및 전달 함수를 사용하여 , 도 1의 프로세스는 다음과 같은 수학식으로 표현될 수 있다:
Figure pct00002
(1)
Figure pct00003
(2)
상기 수학식 2와 관련하여, 노래방 시스템으로의 입력 신호 X(z)는, 예를 들어, 본 명세서에서 생략된, 블루투스 또는 AUX 인터페이스를 통해 입력되는 노래의 반주 음악과 같은 오디오 스트림을 더 포함할 수 있다고 생각할 수 있다.
그런 다음, 소스 신호(S(z))로부터 출력 신호(Y(z))로의 총 전달 함수(H(z))를 계산할 수 있다:
Figure pct00004
(3)
여기서 F(z)·G(z)·K 용어는 시스템의 루프 응답을 나타내며, 그 크기 및 위상 응답은 각각 루프 이득 및 루프 위상을 나타낸다. 따라서, 하울링은 시스템이 불안정해질 때 발생할 것이고, 이는 나이퀴스트 안정성 기준에 요약되어 있다,
Figure pct00005
(4)
지난 수십 년 동안 하울링 억제에 대한 많은 방법들이 논의되었다. 확실히, 고려되어야 할 제1 예방책은 라우드스피커 및 마이크로폰의 지향성들, 그들 사이의 거리, 시스템의 전체 이득(overall gain) 및 잠재적으로 문제가 있는 몇몇 주파수들의 진폭(amplitude)과 같은 전체 노래방 시스템을 최적화하는 것이다. 그러나, 일반적으로 최적화는 제한적인데, 특히 휴대용 일체형 노래방 시스템에서는, 그 폼 팩터(form factor) 및 사운드 성능이 일반적으로 특정 요구사항들 - 작은 크기이지만 가능한 한 높은 사운드 레벨을 갖기 때문이다. 이러한 제한된 시나리오의 경우, 하울링 피드백을 피하기 위해 프로세스들이 자동화되거나 다른 대책들이 적용되어야 한다. 따라서, 본 발명은 저복잡도 하울링 억제 방법을 갖는 휴대용 일체형 노래방 시스템을 제공한다.
휴대용 일체형 노래방 기계에서 하울링 사운드를 보다 잘 억제하고, 처리 계산, 전력 소비 및 시스템 레이턴시를 감소시키기 위하여, 본 발명은 필터를 사용하여 마이크로폰 신호에서 원하지 않는 성분을 제거하는 휴대용 노래방 시스템의 저복잡도 하울링 억제 방법을 제공한다.
도 2a는 본 발명에 따른 노래방 시스템에서 하울링 억제를 위한 예시적인 시스템 다이어그램을 예시한다. 필터(260)가 이 시스템(200) 내로 도입되고, Fest(z)는 필터(260)에 의해 설정된 추정 전달 함수이며, 이는 환경(250) 내의 실제 환경 전달 함수 F(z)와 유사하도록 설계 및 적응된다. 이 방법을 구현하기 위해 최소 자승 평균(Least Mean Square) 및 정규 최소 자승 평균(Normalized Least Mean Square) 알고리즘과 같은 많은 알고리즘들이 제안되었다. 도 2a의 예에서, Fest(z)가 완벽하게 수렴하고 따라서 Fest(z) = F(z), Xest(z) = X(z)인 경우, 라우드스피커(240)로부터의 모든 피드백 신호들이 제거될 것이고, 따라서 입력 신호는 사용자의 노래하는 음성과 같은 것으로부터의 소스 신호 S(z)로만 구성되지만 하울링이 발생하지 않을 것이며, 이는 아래 수학식과 같이 표현될 수 있다:
Figure pct00006
(5)
환경 전달 함수를 추정하기 위해 적응 필터를 사용하는 것은 하울링을 억제하는 양호한 효과를 달성할 수 있다. 그러나, 실제로, 환경 전달 함수를 추정하는 적응 필터를 갖는 하울링 억제에는 여전히 일부 문제점들이 존재한다. 첫째, 레이턴시는 이러한 작은 노래방 기계의 요구사항을 충족하지 않을 수 있다. 라우드스피커가 마이크로폰에 매우 가까운 동안 적응 알고리즘은 긴 처리 시간을 필요로 할 수 있으므로, 사운드 전파 시간은 아마도 처리 시간보다 더 작을 것이고, 따라서 알고리즘은 비효율적이 된다. 둘째로, 적응 알고리즘은 또한 높은 전력을 소비할 수 있고, 배터리는 빠르게 소모될 것이며, 이는 휴대용 디바이스의 명백한 결함이다. 셋째, 적응 알고리즘은 때때로 부드럽게 수렴하지 않아 적응 필터의 현저한 차이를 초래하며, 이는 사용자의 노래 음색에 지속적으로 영향을 미칠 것이다. 더욱이, 노래방 시스템에서 라우드스피커와 마이크로폰 사이에 높은 상관관계가 있는데, 이는 이 구조가 이 시나리오에서 제대로 수행하지 않게 한다.
따라서, 예시적인 시스템에서, 도 2b에 도시된 바와 같이, 전달 함수 F(z)를 모델링하기 위해 몇몇 2차 오더 무한 임펄스 응답(IIR) 필터들(260')이 사용된다. 휴대용 일체형 노래방 시스템의 폼 팩터(form factor)는 라우드스피커(240)와 마이크로폰(210) 사이의 고정 거리를 결정하므로, 오프라인에서 전달함수 Fiir(z)을 측정하고 추정하여 다중 대역 IIR 필터들로 근사화할 수 있다. 더욱이, 일체형 노래방 기계 등의 특정 상황에서는 라우드스피커와 마이크로폰의 상대적인 위치가 상대적으로 고정되어, 적응적인 프로세스가 필요 없는 경우에도 80~90%의 하울링 억제 효과를 얻을 수 있으며, IIR 필터들도 고정된 억제 효과를 가질 수 있다. 이 시스템에서 IIR 필터들을 사용하는 것은 전력 소비를 절약할 뿐만 아니라 칩 컴퓨팅 자원들을 절약한다.
게다가, 역상관관계(decorrelation)(215)는 라우드스피커와 마이크로폰 신호들 사이의 상관관계를 감소시키기 위해 예시적인 시스템(200)에 더 도입될 수 있다. 도 2b에 도시된 바와 같은 모델에서, 라우드스피커 신호는 압축 및 등화 이전에 입력 신호를 주파수 시프트함으로써 마이크로폰 신호로부터 역상관되며, 이는, 역상관관계(215)에서, 총 입력 신호 X(z)-Xiir(z)가 주파수 시프트되고, 그 결과 Y(z) 및 X(z)-Xiir(z)가 역상관된다는 것을 의미한다. 따라서, 출력 신호는 입력 신호로부터 역상관된다. 예를 들어, 주파수 시프트된 출력 신호 xshift(t)는 시간 영역에서 다음과 같이 얻어질 수 있다,
Figure pct00007
(6)
여기서
Figure pct00008
는 시프트된 주파수이고,
Figure pct00009
는 원래 신호
Figure pct00010
의 힐베르트 변환이다.
주파수 시프트의 완전한 장점은 본 방법에 적용될 수 있다. 환경 전달 함수를 모델링하는 몇몇 IIR 필터들을 갖는 이 제안된 모델에서는, 레이턴시 문제 및 높은 전력 소비로 인해 적응적 처리가 필요하지 않는다. 또한, 라우드스피커의 출력 신호가 공기 중의 음향 결합 부분을 통해 입력 마이크로폰으로 리턴되기 때문에 음향 피드백 문제가 발생하므로, 주파수 시프트는 기준 신호와 에러 신호를 역상관시키는데 사용되며, 이는 바이어스된 필터 추정을 완화시키는데 사용될 수 있다.
도 3은 본 발명에 따른 하울링 억제 방법을 설명하는 예시적인 흐름도를 예시한다.
단계(310)에서, 입력 신호는 휴대용 노래방 시스템으로 제공되며, 이는 사용자의 노래하는 음성과 같은 소스 신호 및 음향 피드백을 포함한다. 적어도 하나의 마이크로폰에 의해 캡처된 입력 신호의 이 부분; 또한, 입력 신호는 노래들의 수반되는 음악과 같은 오디오 스트림을 더 포함하고, 입력 신호의 이 부분은 블루투스 또는 AUX 인터페이스와 같은 유선 또는 무선 방식으로 노래방 시스템에 업로드될 수 있다.
단계(315)에서, 역상관관계는 입력 신호를 역상관시키기 위해 제공된 시스템에 도입된다. 이 단계에서, 라우드스피커의 라우드스피커 신호는 입력 신호를 주파수 시프트함으로써 입력 신호로부터 역상관될 수 있다.
단계(320)에서, 그런 다음 주파수 시프트된 입력 신호는 압축 및 등화를 포함하여 전기 음향 경로에서 처리되고, 그 후 이득 팩터(K)에 의해 증폭되어, 출력 신호를 얻는다.
단계(340)에서, 출력 신호는 재생을 위해 라우드스피커에 공급되고 환경을 통해 전파된다.
이 단계에서, 라우드스피커로부터의 출력 신호 재생은, 환경에서 전파된 후, 직접 또는 일부 반사 경로들을 통해 마이크로폰에 의해 음향 피드백으로서 회수되고, 단계(310)에서 위에서 언급된 바와 같이, 음향 피드백은 적어도 하나의 마이크로폰에 의해 수신된 입력 신호의 다른 부분으로서 마이크로폰에 진입한다.
다음으로, 단계(360)에서, 마이크로폰 신호로부터 원하지 않는 성분들을 제거하기 위해, 몇몇 IIR 필터들이 환경 전달 함수를 모델링하기 위해 사용된다. 이 단계는 오프라인에서 환경 전달 함수를 측정하고 추정하는 단계를 포함하고, 다중 대역 IIR 필터들과 같이 함수를 근사화한다. 결과적인 추정 신호는 단계(350)에서 마이크로폰에 진입한 입력 신호의 음향 피드백 부분과 대략 동일하다. 따라서, 마이크로폰에 의해 캡처된 입력 신호들로부터 추정된 음향 피드백을 감산(subtracting)함으로써, 시스템에서 하울링을 생성할 수 있는 음향 피드백이 제거될 수 있다.
도 4는 본 발명에 따른 휴대용 일체형 노래방 시스템을 위한 예시적인 하드웨어 시스템을 예시하며, 여기서 본 명세서에 제공된 저복잡도 하울링 억제 방법이 구현된다. 도 4에 도시된 바와 같이, 지향성을 수정하기 위해 마이크로폰 어레이들 또는 라우드스피커 어레이들을 사용하는 빔포밍 기술이 하울링 억제 방법에 추가적으로 사용된다.
예를 들어, 마이크로폰 어레이(410)로서 상이한 지향성들을 갖는 2개의 마이크로폰들이 도 4에 도시된 바와 같이 카디오이드 지향성 패턴을 형성하기 위해 사용된다. 이것은 또한 더 많은 하울링 성분들을 억제하기 위한 특별한 빔포밍 배열로 간주될 수 있다. 마이크로폰 어레이를 배열하기 위해 더 많은 마이크로폰들이 사용될 수 있다는 것이 이해될 수 있다.
빔포밍 출력
Figure pct00011
은 다음과 같이 작성된다:
Figure pct00012
(7)
여기서
Figure pct00013
와
Figure pct00014
는 각각 k번째 빔포밍 필터와 k번째 마이크로폰 입력 신호이다.
또한, 실제 휴대용 노래방 제품에서, 마이크로폰(410)은 라우드스피커(440)로부터의 사운드 에너지를 더 감소시키기 위해 흡음면(sound-absorbing cotton)(480)으로 감싸질 수 있다. 도 4에 개략적으로 도시된 바와 같이, 수동 라디에이터(470)가 이 예시적인 기계에서 대안적으로 사용된다는 것을 알 수 있다.
도 5a-5e는 일부 시뮬레이션된 비교 결과들을 보여준다. 도 5a는 라우드스피커 신호의 스펙트로그램을 도시하고, 도 5b는 2kHz 및 9.3kHz 부근에서의 하울링 사운드를 예시하며, 이는 극적으로 증가하고 끝까지 지속된다. 주파수 시프트 방법을 갖는 도 5c에서, 하울링 주파수들은 모든 루프에서 아래로 시프트되고, 그들의 파워(power)는 더 낮은 레벨에서 억제되지만, 하울링은 여전히 눈에 띈다. 도 5d는 NFS 방법이 하울링을 성공적으로 억제할 수 있지만 하울링이 들리고 및 검출된 후에만 작동하기 시작한다는 것을 도시한다. 도 5e에 도시된 본 발명에서 제공되는 저복잡도 하울링 억제 방법으로 획득된 스펙트로그램은 문제가 있는 주파수들에서 사운드 에너지의 명백한 증가를 나타내지 않으며, 이는 제공된 방법이 하울링 피드백을 성공적으로 상당히 억제할 수 있다는 것을 의미하며, 이러한 방법들 중에서 가장 잘 수행된다.
휴대용 노래방 기계의 경우, 우리는 항상 긴 플레이 시간을 가지기를 원하지만 여전히 높은 볼륨과 적은 하울링 문제 등 양호한 음질을 기대한다. 본 발명에서 제공된 저복잡도 하울링 억제 방법은 IIR 필터 구조를 채택하여 전력 소비 및 시스템 레이턴시를 감소시킨다. 하울링을 더 억제하기 위해, 비선형 알고리즘들, 예를 들어, 주파수 시프트가 또한 마이크로폰 빔포밍 방법과 조합된다.
본 발명에서 제공되는 저복잡도 하울링 억제 방법 및 시스템은 라우드스피커와 마이크로폰을 모두 포함하는 시스템에서 상대 위치가 고정되면 라우드스피커가 마이크로폰의 입력 신호를 실시간으로 플레이하는 이들 애플리케이션들에 적합하다. 예시적인 애플리케이션들은 휴대용 노래방 기계들, 통합 스피커들, 및 회의 시스템들 등과 같지만 이에 제한되지 않는다.
본 출원에서 사용되는 바와 같이, 단수로 인용되고 단어 "a" 또는 "an"으로 진행되는 요소 또는 단계는 그러한 배제가 언급되지 않는 한 복수의 상기 요소들 또는 단계들을 배제하지 않는 것으로 이해되어야 한다. 또한, 본 개시의 "하나의 실시예" 또는 "하나의 예"에 대한 참조들은 인용된 특징들을 또한 포함하는 추가적인 실시예들의 존재를 배제하는 것으로 해석되도록 의도되지 않는다. 용어들 "제1", "제2", 및 "제3" 등은 단지 라벨들로서 사용되며, 그들의 객체들 상에 수치 요구사항들 또는 특정 위치 순서를 부과하도록 의도되지 않는다.
예시적인 실시예들이 설명되었지만, 이들 실시예들이 본 발명의 모든 가능한 형태들을 설명하는 것은 의도되지 않는다. 오히려 본 명세서에서 사용되는 용어는 제한이 아닌 설명 용어이며, 발명의 사상 및 범위를 벗어나지 않는 범위에서 다양한 변경이 이루어질 수 있는 것으로 이해된다. 추가로, 다양한 구현 실시예들의 특징들이 조합되어 본 발명의 추가 실시예들을 형성할 수 있다

Claims (20)

  1. 휴대용 노래방 시스템을 위한 저복잡도 하울링 억제 방법으로서,
    적어도 하나의 마이크로폰에 의해, 소스 신호 및 음향 피드백을 포함하는 입력 신호를 캡처하는 단계;
    전기 음향 경로에서, 상기 입력 신호를 압축하고 등화한 다음 증폭된 후 출력 신호로 공급하는 단계; 및
    라우드스피커에 의해, 환경을 통해 전파되는 상기 출력 신호를 재생하는 단계를 포함하고;
    상기 방법은 적어도 하나의 무한 임펄스 응답(IIR) 필터들에 의해, 상기 음향 피드백을 추정하고, 이에 의해 상기 입력 신호로부터 상기 음향 피드백을 제거하는 단계를 더 포함하는, 방법.
  2. 제1항에 있어서, 상기 음향 피드백은 상기 라우드스피커와 상기 적어도 하나의 마이크로폰 사이의 음향 결합에 의해 야기되는 폐쇄 신호 루프에서 생성된 하울링을 포함하는, 방법.
  3. 제1항에 있어서, 상기 적어도 하나의 IIR 필터들에 의해, 환경 전달 함수(environmental transfer function)를 모델링하는 단계를 더 포함하는, 방법.
  4. 제3항에 있어서, 상기 적어도 하나의 마이크로폰과 상기 라우드스피커의 상대적 위치는 고정되는, 방법.
  5. 제3항에 있어서, 상기 환경 전달 함수를 모델링하는 단계는 상기 환경 전달 함수를 오프라인에서 측정하고 추정하고 근사화하는 단계를 포함하는, 방법.
  6. 제5항에 있어서, 상기 환경 전달 함수를 근사화하는 단계는 다중 대역 IIR 필터들에 의해 수행될 수 있는, 방법.
  7. 제3항에 있어서, 상기 입력 신호로부터 상기 출력 신호를 역상관시키는 단계를 더 포함하는, 방법.
  8. 제7항에 있어서, 상기 입력 신호로부터 상기 출력 신호를 역상관시키는 단계는 상기 입력 신호를 주파수 시프트시킴으로써 구현될 수 있는, 방법.
  9. 제1항에 있어서, 상기 적어도 하나의 마이크로폰을 빔포밍을 위한 마이크로폰 어레이로서 상이한 지향성들로 배열하는 단계를 더 포함하는, 방법.
  10. 제9항에 있어서, 상기 마이크로폰 어레이는 카디오이드 지향성 패턴(cardioid directivity pattern)을 형성하는, 방법.
  11. 저복잡도 하울링 억제를 갖는 휴대용 노래방 시스템에 있어서,
    소스 신호 및 환경을 통해 전파되는 음향 피드백을 포함하는 입력 신호를 캡처하기 위한 적어도 하나의 마이크로폰;
    상기 입력 신호를 압축 및 등화한 다음 증폭된 후 출력 신호로 공급하기 위한 전기 음향 경로;
    상기 출력 신호를 재생하기 위한 라우드스피커를 포함하고,
    상기 시스템은 상기 음향 피드백을 추정하기 위한 적어도 하나의 무한 임펄스 응답(IIR) 필터들을 더 포함하고, 이에 의해 상기 입력 신호로부터의 상기 음향 피드백을 제거하는, 시스템.
  12. 제11항에 있어서, 상기 음향 피드백은 상기 라우드스피커와 상기 적어도 하나의 마이크로폰 사이의 음향 결합에 의해 야기되는 폐쇄 신호 루프에서 생성된 하울링을 포함하는, 시스템.
  13. 제11항에 있어서, 상기 적어도 하나의 IIR 필터들은 환경 전달 함수를 더 모델링하는, 시스템.
  14. 제13항에 있어서, 상기 적어도 하나의 마이크로폰과 상기 라우드스피커의 상대적 위치는 고정되는, 시스템.
  15. 제13항에 있어서, 상기 적어도 하나의 IIR 필터들은 상기 환경 전달 함수를 오프라인에서 더 측정 및 추정하고 이를 근사화하는, 시스템.
  16. 제15항에 있어서, 상기 환경 전달 함수는 다중 대역 IIR 필터들에 의해 근사화될 수 있는, 시스템.
  17. 제13항에 있어서, 상기 입력 신호로부터 상기 출력 신호를 역상관시키는 것을 더 포함하는, 시스템.
  18. 제17항에 있어서, 상기 입력 신호로부터 상기 출력 신호를 역상관시키는 것은 상기 입력 신호를 주파수 시프트함으로써 구현될 수 있는, 시스템.
  19. 제11항에 있어서, 상기 적어도 하나의 마이크로폰들은 빔포밍을 위한 마이크로폰 어레이로서 상이한 지향성들로 더 배열된, 시스템.
  20. 제19항에 있어서, 상기 마이크로폰 어레이는 카디오이드 지향성 패턴(cardioid directivity pattern)을 형성하는, 시스템.

KR1020237000072A 2020-08-27 2020-08-27 휴대용 노래방을 위한 저복잡도 하울링 억제 KR20230057333A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/111657 WO2022041030A1 (en) 2020-08-27 2020-08-27 Low complexity howling suppression for portable karaoke

Publications (1)

Publication Number Publication Date
KR20230057333A true KR20230057333A (ko) 2023-04-28

Family

ID=80352283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237000072A KR20230057333A (ko) 2020-08-27 2020-08-27 휴대용 노래방을 위한 저복잡도 하울링 억제

Country Status (6)

Country Link
US (1) US20230328434A1 (ko)
EP (1) EP4205309A4 (ko)
JP (1) JP2023546639A (ko)
KR (1) KR20230057333A (ko)
CN (1) CN116325560A (ko)
WO (1) WO2022041030A1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668794A (en) * 1995-09-29 1997-09-16 Crystal Semiconductor Variable gain echo suppressor
US6282176B1 (en) * 1998-03-20 2001-08-28 Cirrus Logic, Inc. Full-duplex speakerphone circuit including a supplementary echo suppressor
US6480610B1 (en) * 1999-09-21 2002-11-12 Sonic Innovations, Inc. Subband acoustic feedback cancellation in hearing aids
EP2621198A3 (en) * 2009-04-02 2015-03-25 Oticon A/s Adaptive feedback cancellation based on inserted and/or intrinsic signal characteristics and matched retrieval
US9053697B2 (en) * 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
SG11201510419UA (en) * 2013-06-19 2016-01-28 Creative Tech Ltd Acoustic feedback canceller
CN109275053A (zh) * 2018-09-20 2019-01-25 贵州奥斯科尔科技实业有限公司 一种手持式麦克风音箱

Also Published As

Publication number Publication date
EP4205309A1 (en) 2023-07-05
EP4205309A4 (en) 2024-05-01
WO2022041030A1 (en) 2022-03-03
US20230328434A1 (en) 2023-10-12
CN116325560A (zh) 2023-06-23
JP2023546639A (ja) 2023-11-07

Similar Documents

Publication Publication Date Title
JP4286637B2 (ja) マイクロホン装置および再生装置
US10720173B2 (en) Voice capture processing modified by back end audio processing state
US10566008B2 (en) Method and apparatus for acoustic echo suppression
KR101566649B1 (ko) 근거리 널 및 빔 형성
US9305540B2 (en) Frequency domain signal processor for close talking differential microphone array
US20090046866A1 (en) Apparatus capable of performing acoustic echo cancellation and a method thereof
CN108141502A (zh) 音频信号处理
US9667803B2 (en) Nonlinear acoustic echo cancellation based on transducer impedance
US10403259B2 (en) Multi-microphone feedforward active noise cancellation
CN110996203B (zh) 一种耳机降噪方法、装置、系统及无线耳机
Zhang et al. Neural cascade architecture for multi-channel acoustic echo suppression
JP4835151B2 (ja) オーディオシステム
JP2009141560A (ja) 音声信号処理装置、音声信号処理方法
US11264004B2 (en) Parallel noise cancellation filters
TWI465121B (zh) 利用全方向麥克風改善通話的系統及方法
US11026038B2 (en) Method and apparatus for audio signal equalization
CN110913312B (zh) 一种回声消除方法及装置
TW201118719A (en) System and method for modifying an audio signal
KR20230057333A (ko) 휴대용 노래방을 위한 저복잡도 하울링 억제
US11523215B2 (en) Method and system for using single adaptive filter for echo and point noise cancellation
JP2002261659A (ja) 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体
JP4492409B2 (ja) ハウリングキャンセラ
TWI703561B (zh) 消除聲音之方法及執行該方法之電子裝置
van Waterschoot et al. Adaptive feedback cancellation for audio signals using a warped all-pole near-end signal model
JP2021135310A (ja) 音声処理装置および音声処理方法