KR102021994B1 - 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법 - Google Patents

음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법 Download PDF

Info

Publication number
KR102021994B1
KR102021994B1 KR1020180102112A KR20180102112A KR102021994B1 KR 102021994 B1 KR102021994 B1 KR 102021994B1 KR 1020180102112 A KR1020180102112 A KR 1020180102112A KR 20180102112 A KR20180102112 A KR 20180102112A KR 102021994 B1 KR102021994 B1 KR 102021994B1
Authority
KR
South Korea
Prior art keywords
signal
sound
broadcast
reverberation
microphone
Prior art date
Application number
KR1020180102112A
Other languages
English (en)
Inventor
차길업
김영식
손병찬
남기훈
신승호
강만수
문종국
서진화
이장명
동환유
노기주
Original Assignee
주식회사 싸이언
주식회사 포스코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 싸이언, 주식회사 포스코 filed Critical 주식회사 싸이언
Priority to KR1020180102112A priority Critical patent/KR102021994B1/ko
Application granted granted Critical
Publication of KR102021994B1 publication Critical patent/KR102021994B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 방송자가 말하는 소리신호를 수집하여 전기적 신호로 출력하는 방송마이크와, 상기 방송마이크와 연동하여 방송현장의 소리신호를 수집하여 전기적 신호로 출력하는 에러마이크와, 상기 방송마이크 및 에러마이크와 전기적으로 연결되어, 상기 방송마이크 및 에러마이크의 소리신호를 입력받아 해당 볼륨으로 조절하면서 증폭하여 방송신호로 출력하는 음향시스템과, 상기 음향시스템과 전기적으로 연결되어, 상기 음향시스템으로 입력된 상기 에러마이크의 소리신호 중 음성 잔향 및 룸 공진을 색출하고, 음성 잔향 및 룸 공진의 주파수로에 대응하는 역 필터로 음성 잔향 및 룸 공진을 보정하여 방송신호로 출력하는 방송신호 보정부, 및 상기 음향시스템과 전기적으로 연결되어, 상기 음향시스템에서 출력된 방송신호를 소리로 출력하는 스피커를 포함하여, 상기 에러마이크를 통해 수집된 방송현장의 음성 잔향에 대한 주파수를 추정하고, 추정된 주파수에 대응하는 역 필터로 역 필터링하여 음성 잔향을 제거하여, 전달하고자 하는 음성방송을 청취자가 보다 명확하게 들을 수 있도록 한 역 필터를 이용한 음성 잔향 제거 방법 및 그 음성 잔향 제거 방법을 이용한 방송시스템을 제공한다.

Description

음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법{Speech broadcasting system and method of removing voice reverberation and room resonance using an inverse filter of the speech broadcasting system}
본 발명은 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법에 관한 것으로, 더욱 상세하게는 에러마이크(Error Microphone)를 통해 수집된 방송현장(실내)의 음성 잔향 및 룸 공진에 대한 주파수를 추정하고, 추정된 주파수에 대응하는 역 필터로 음성 잔향(voice reverberation) 및 룸 공진(room's resonances)을 역 필터링하여, 전달하고자 하는 음성방송을 청취자가 보다 명확하게 들을 수 있도록 한 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법에 관한 것이다.
음향 신호(sound signal)의 실내 전파의 과정 중에는 벽이나 바닥 등과 같은 딱딱한 인터페이스(interface: 경계면)에 의해 야기되는 음향 반사로 인해, 마이크로폰에 도달하는 음향은 음원(sound source)으로부터 직접 도달하는 직접음(direct sound: 현장음)에 더하여, 딱딱한 인터페이스를 통해 반사되어 도달하는 하나 이상의 비직접음이 포함된다.
이 비직접음은 잔향 신호(reverberation signal: 반향 신호)로 음성 방송에서 음성의 명료도를 떨어뜨리는 것으로 알려져 있다.
일례로 음성방송에서 발신자가 마이크로부터 멀리 떨어져 있는 경우, 음성의 명료도가 실내 잔향으로 인해 감소되어, 그에 따른 나쁜 방송 품질로 이어져다.
종래의 잔향 저감 기술로는 이중 마이크에 기초를 둔 스펙트럼 감산(spectral subtraction)에 의해 잔향을 제거하는 기술이 제공되었는데, 이중 마이크에 기초를 둔 스펙트럼 감산에 의해 잔향을 제거하기 위한 기존의 방법에서는 두 채널의 신호가 적응형 빔포밍(adaptive beamforming) 구조를 이용하여 얻어지고, 여기서 제1채널의 신호는 지연 합 빔포머(delay-sum beamformer)의 출력이고, 제2 채널의 신호는 차단 행렬(blocking matrix)의 출력이다.
제1 채널의 신호의 잔향은 적응형 필터를 매개로 두 채널의 신호 에너지 포락선(energy envelope)에 의해 추정되고, 그 다음에 잔향은 스펙트럼 감산 방법을 이용하여 제거하였으나, 상기한 종래의 기술은 잔향을 제거함으로써 처리된 음향이 얇아져, 음성 품질이 낮아지는 문제점이 있었다.
선행기술로는 공개특허 제10-2017-0063618호(2017.06.08)를 제공한다.
본 발명은 음성방송이 이루어지는 방송현장(실내) 내 음성 잔향(voice reverberation) 및 룸 공진(room's resonances)을 제거하여 음성방송이 이루어지도록 함으로써, 음성의 품질 저하 없이 전달하고자 하는 내용(방송)을 청취자가 조금 더 명확하게 들을 수 있도록 한 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법을 제공하는 그 목적으로 한다.
본 발명에 따른 음성 방송시스템은 방송자가 말하는 소리신호를 수집하여 전기적 신호로 출력하는 방송마이크와, 상기 방송마이크와 연동하여 방송현장의 소리신호를 수집하여 전기적 신호로 출력하는 에러마이크와, 상기 방송마이크 및 에러마이크와 전기적으로 연결되어, 상기 방송마이크 및 에러마이크의 소리신호를 입력받아 해당 볼륨으로 조절하면서 증폭하여 방송신호로 출력하는 음향시스템과, 상기 음향시스템과 전기적으로 연결되어, 상기 음향시스템으로 입력된 상기 에러마이크의 소리신호 중 음성 잔향 및 룸 공진을 색출하고, 음성 잔향 및 룸 공진의 주파수에 대응하는 역 필터로 음성 잔향 및 룸 공진을 보정하여 방송신호로 출력하는 방송신호 보정부, 및 상기 음향시스템과 전기적으로 연결되어, 상기 음향시스템에서 출력된 방송신호를 소리로 출력하는 스피커를 포함한다.
이때 본 발명에 따른 상기 방송신호 보정부는 패스트 인버스 필터링(Fast inverse filtering), 개머토운 필터 뱅크스(Gammatone filter banks), 지티 필터 베이스트 인버스 필터링(GT-filter-based inverse filtering,), 룸 리스판스 아이덴터퍼케이션(Room response identification), 어댑티브 룸 리스판스 이퀄리제이션(Adaptive room response equalization) 중 어느 하나를 적용하여 음성 잔향을 역 필터링한다.
그리고 본 발명에 따른 상기 방송신호 보정부는 방송현장(실내)에 존재하는 공진(실내모드)에서 가장 높은 진폭의 주파수 부분을 역 필터링하여 룸 공진을 보정한다.
본 발명에 따른 상기 음향시스템은 상기 방송마이크 및 에러마이크와 전기적으로 연결되어 입력된 음성신호 및 음성 잔향을 신호를 수집하여, 상기 방송신호 보정부로 출력한 후, 보정된 방송신호를 기설정된 해당 대역의 음성신호만을 출력하는 믹서부와, 상기 믹서와 전기적으로 연결되어, 상기 믹서에서 출력하는 음성신호를 증폭하여 증폭된 음성신호를 출력하는 앰프를 포함한다.
본 발명에 따른 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법은 음성 방송시스템을 제공하고, a)방송마이크를 통해 방송자가 말하는 소리신호를 수집하여 음향시스템으로 입력하는 단계와, b)에러마이크를 통해 방송현장의 소리신호를 수집하여 음향시스템으로 입력하는 단계와, c)상기 음향시스템으로 입력된 소리신호 중 에러마이크를 통해 음성 잔향 및 룸 공진이 수집되었는지 확인하는 단계와, d)음성 잔향 및 룸 공진의 수집이 확인되면, 방송신호 보정부로 음성 잔향 및 룸 공진의 주파수 성분을 추정하는 단계와, e)추정된 음성 잔향 및 룸 공진에 상응하는 주파수 신호와 상반된 역 필터로 역필터링(룸 이퀄라이저)한 후, 상기 방송신호 보정부에서 상기 음향시스템으로 출력하는 단계와, f)상기 음향시스템에서 출력되는 방송신호를 스피커로 출력하는 단계를 포함한다.
본 발명에 따른 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법에 의해 나타나는 효과는 다음과 같다.
에러마이크를 통해 수집된 방송현장(실내)의 음성 잔향 및 룸 공진에 대한 주파수를 추정하고, 추정된 주파수에 대응하는 역 필터로 음성 잔향 및 룸 공진을 역 필터링하여, 음성의 품질 저하 없이 전달하고자 하는 음성방송을 청취자가 보다 명확하게 들을 수 있는 효과를 가진다.
도 1은 본 발명의 일 실시 예에 따른 음성 방송시스템의 구성을 예시한 예시도이다.
도 2는 Linear Time Invariant(LTI)시스템을 이용하여 밀폐된 공간에서 소리의 입출력을 보인 예시도이다.
도 3은 Linear Time Invariant(LTI)시스템에 역 필터로 G(k)를 적용하여 밀폐된 공간에서 소리의 입출력을 보인 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 패스트 인버스 필터링(Fast inverse filtering) 구현하여 보인 예시도이다.
도 5는 음성 잔향에 패스트 인버스 필터링(Fast inverse filtering)을 적용하여 음성 잔향이 이퀄리제이션이 이루어지는 것을 보인 그래프이다.
도 6은 본 발명의 일 실시 예에 따른 개머토운 필터 뱅크스(Gammatone filter banks)의 시간 영역 별 임펄스 응답도를 보인 그래프이다.
도 7은 본 발명의 일 실시 예에 따른 지티 필터 베이스트 인버스 필터링(GT-filter-based inverse filtering,)을 구현하여 보인 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 지티 필터 베이스트 인버스 필터링(GT-filter-based inverse filtering,)을 1/3 옥타브 이퀄리제이션과 비교한 그래프이다.
도 9는 본 발명의 일 실시 예에 따른 노어멀라이즈드 엘엠에스(Normalized-LMS) 알고리즘을 기반으로 한 RIR 식별의 블록 다이어그램이다.
도 10은 교실(Classroom), 실내 홀(Indoor-hall), 체육관(Gymnasium) 각각의 시간 영역 RIR(Room Impulse Response)에 따른 노어멀라이즈드 엘엠에스(Normalized-LMS)의 식별 정확도를 나타낸 그래프이다.
도 11은 교실(Classroom), 실내 홀(Indoor-hall), 체육관(Gymnasium) 각각의 주파수 응답 및 음성전송지수(STI: Speech transmission index)에 따른 노어멀라이즈드 엘엠에스(Normalized-LMS)의 식별 정확도를 나타낸 그래프이다.
도 12는 본 발명의 일 실시 예에 따른 단일 위치 어댑티브 룸 리스판스 이퀄리제이션(Adaptive room response equalization)의 블록 다이어그램이다.
도 13은 본 발명의 일 실시 예에 따른 다중 위치 어댑티브 룸 리스판스 이퀄리제이션(Adaptive room response equalization)의 블록 다이어그램이다.
도 14는 본 발명의 일 실시 예에 따른 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법을 단계적으로 보인 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 균등한 변형 예들이 있을 수 있음을 이해하여야 한다.
본 발명은 에러마이크를 통해 수집된 방송현장(실내)의 음성 잔향 및 룸 공진에 대한 주파수를 추정하고, 추정된 주파수에 대응하는 역 필터로 역 필터링하여 음성 잔향(voice reverberation) 및 룸 공진(room's resonances)을 제거하여, 전달하고자 하는 음성방송을 청취자가 보다 명확하게 들을 수 있도록 한 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법에 관한 것으로 도면을 참조하여 살펴보면 다음과 같다.
본 발명의 일 실시 예에 따른 음성 방송시스템은 방송마이크(100), 에러마이크(200), 음향시스템(300), 방송신호 보정부(400) 및 스피커(500)가 포함되는데, 먼저, 상기 방송마이크(100)는 방송자가 말하는 음성을 수집하여 전기적 신호로 출력한다.
이때 상기 방송마이크(100)는 방송실에 설치되는 것이 바람직하다.
그리고 상기 에러마이크(200)는 방송이 이루어지는 실내 공간인 방송현장에 설치되어, 상기 방송마이크(100)와 연동하여 방송현장의 음성 잔향을 수집하여 전기적 신호로 출력한다.
상기 방송마이크(100) 및 에러마이크(200)는 음향시스템(300)과 전기적으로 연결되는데, 상기 음향시스템(300)은 상기 방송마이크(100) 및 에러마이크(200)의 전기적 신호를 입력받아 음성신호로 변조하면서 증폭하여 방송신호로 출력한다.
이때 상기 음향시스템(300)은 방송신호 보정부(400)와 전기적으로 연결되는데, 상기 방송신호 보정부(400)는 상기 음향시스템(300)으로 입력된 상기 에러마이크(200)로 수신된 음성 잔향에 대응하는 역 필터링으로 음성 잔향이 제거된 방송신호로 보정하여 출력한다.
상기 방송신호 보정부(400)에는 패스트 인버스 필터링(Fast inverse filtering), 개머토운 필터 뱅크스(Gammatone filter banks), 지티 필터 베이스트 인버스 필터링(GT-filter-based inverse filtering,), 룸 리스판스 아이덴터퍼케이션(Room response identification), 어댑티브 룸 리스판스 이퀄리제이션(Adaptive room response equalization) 중 어느 하나의 역 필터를 적용하여 음성 잔향 및 룸 공진을 역 필터링한다.
또한, 이에 한정하지 않고 패스트 인버스 필터링(Fast inverse filtering), 개머토운 필터 뱅크스(Gammatone filter banks), 지티 필터 베이스트 인버스 필터링(GT-filter-based inverse filtering,), 룸 리스판스 아이덴터퍼케이션(Room response identification), 어댑티브 룸 리스판스 이퀄리제이션(Adaptive room response equalization) 중 둘 이상을 복합으로 서로 연계시켜 음성 잔향 및 룸 공진을 역 필터링할 수 있다.
그리고 상기 방송신호 보정부는 방송현장(실내)에 존재하는 공진(실내모드)에서 가장 높은 진폭의 주파수 부분을 역 필터링하여 룸 공진을 보정한다.
이때 상기 실내모드는 룸이 라우드 스피커와 같은 음향 소스에 의해 여기(excitation)될 때 룸에 존재 하는 공진의 모음을 말한다.
여기서 상기한 패스트 인버스 필터링(Fast inverse filtering), 개머토운 필터 뱅크스(Gammatone filter banks), 지티 필터 베이스트 인버스 필터링(GT-filter-based inverse filtering,), 룸 리스판스 아이덴터퍼케이션(Room response identification), 어댑티브 룸 리스판스 이퀄리제이션(Adaptive room response equalization)을 보가 상세하게 살펴보면 다음과 같다.
먼저 알렌(Allen)과 닐리(Neely)의 연구를 바탕으로 하면, 밀폐된 공간에서 소리의 전달은 도 2에 도시한 바와 같이 Linear Time Invariant(LTI)시스템이 적용될 수 있는데, 이를 수학식으로 나타내면 아래의 [수학식 1]로 나타낼 수 있다.
Figure 112018085882082-pat00001
여기서,
Figure 112018085882082-pat00002
은 출력신호이고,
Figure 112018085882082-pat00003
은 입력신호이며,
Figure 112018085882082-pat00004
은 LTI신호이다.
이때 [수학식 1]은 아래의 [수학식 2]로 변환할 수 있는데,
Figure 112018085882082-pat00005
여기서 주파수 영역에서 역 필터 G(k)를 찾을 수 있다면, 아래의 [수학식 3]으로 나타낼 수 있다.
Figure 112018085882082-pat00006
상기 Linear Time Invariant(LTI)시스템에 역 필터 G(k)를 적용한 구성은 도 3에 도시한 바와 같이 나타낼 수 있고, 이를 수학식을 나타내면 아래의 [수학식 4]로 나타낼 수 있다.
Figure 112018085882082-pat00007
여기서,
Figure 112018085882082-pat00008
은 출력신호이고,
Figure 112018085882082-pat00009
은 입력신호이며,
Figure 112018085882082-pat00010
은 역 필터이고,
Figure 112018085882082-pat00011
은 LTI신호이다.
그리고 상기한 [수학식 4]는 아래의 [수학식 5]로 변환할 수 있고,
Figure 112018085882082-pat00012
상기한 [수학식 5]를 이용하여 아래의 [수학식 6]을 추정할 수 있다.
Figure 112018085882082-pat00013
그리고 커키비(Kirkeby)와 넬슨(Nelson)은 이 역 함수를 해결하면서 안정적이고 인과관계적인 룸 역 필터를 확보하기 위해 "패스트 인버스 필터링(Fast inverse filtering)"을 방법을 제안하였는데, 상기한 패스트 인버스 필터링(Fast inverse filtering)은 도 4에 도시한 바와 같이 구현되고, 여기서 'ifft'의 'Cyclic shift'는 인과적인 안정적인 시간영역의 역 필터를 얻기 위해 모델링 지연을 구현하는데 사용된다.
이를 수학식으로 나타내면 아래의 [수학식 7]과 같이 나타낼 수 있다.
Figure 112018085882082-pat00014
여기서,
Figure 112018085882082-pat00015
는
Figure 112018085882082-pat00016
의 켤레 복소수이고, β는 정해진 지수로 역 필터의 파워(전력) 출력을 제어하는데 사용된다.
따라서 h(n)*g(n)=δ(n)로 추정할 수 있는데, 도 5에 도시한 바와 같은 음성 잔향을 패스트 인버스 필터링(Fast inverse filtering)로 필터링하게 되면, 음성 잔향이 이퀄리제이션(equalization: 균등화)되어 제거됨을 알 수 있다.
그리고 개머토운 필터 뱅크스(Gammatone filter banks)는 기저막의 특성을 시뮬레이션할 수 있는 일종의 청각 필터로, 개머토운 필터 뱅크스(Gammatone filter banks)의 중심 주파수는 준 로그 형태로 분포되며 등가 직각 대역폭(ERB: Equivalent Rectangular Bandwidth)을 기반으로 하는 음성신호의 주파수 범위에 고르게 분포되고, 등가 직각 대역폭(ERB)은 음향 심리학에서 사용되는 측정법이며 사람의 청력에서 필터의 대역폭을 대략적으로 계산한다.
상기 개머토운 필터 뱅크스(Gammatone filter banks)는 시간 영역에서의 임펄스 응답은 도 6에 도시한 바와 같은 형태로 나타낼 수 있고, 수학식으로 나타내면 아래의 [수학식 8]과 같이 나타낼 수 있다.
Figure 112018085882082-pat00017
여기서, f는 개머토운 필터 뱅크스(Gammatone filter banks)의 중심주파수이고, c는 이득을 제어하기 위한 상수이며, n은 필터 순서(귀의 청각 반응을 정확하게 시뮬레이트 하기 위해 보통 4로 설정)이며, Ø는 일반적으로 무시할 수 있는 필터의 위상이다.
그리고 b는 아래의 [수학식 9]와 같이 중심 주파수를 다음과 같이 사용하여 얻을 수 있는 감쇠 계수이다.
Figure 112018085882082-pat00018
그리고 지티 필터 베이스트 인버스 필터링(GT-filter-based inverse filtering)은 상기한 개머토운 필터 뱅크스(Gammatone filter banks)에 패스트 인버스 필터링(Fast inverse filtering)을 적용한 것으로, 도 7에 도시한 바와 같이 개머토운 필터 뱅크스(Gammatone filter banks)를 기반으로 한 역 필터링을 실시하게 되면, 도 8에 도시한 바와 같이 사람의 귀에 민감한 주파수 대역을 이퀄리제이션(균등화)하여 보다 균등한 결과를 얻을 수 있는데, 1/3 옥타브 이퀄리제이션, 바크-도메인(Bark-domain) 이퀄리제이션과 같은 다른 이퀄리제이션에 비해, 더 나은 이퀄리제이션과 음성 잔향 제거 성능을 얻을 수 있다.
그리고 룸 리스판스 아이덴터퍼케이션(Room response identification)은 노어멀라이즈드 엘엠에스(Normalized-LMS) 알고리즘을 기반으로 하는데, 노어멀라이즈드 엘엠에스(Normalized-LMS)에 따르면, 아래의 [수학식 10]을 사용하여 적응형 필터
Figure 112018085882082-pat00019
의 가중치 계수 벡터를 얻을 수 있다.
Figure 112018085882082-pat00020
여기서, μ는 0<μ<2의 기준을 만족시키는 정규화된 스텝 크기이고, δ는 입력신호의 파워(전력)가 너무 낮을 때 연산오류를 방지하기 위한 추가 정규화된 상수이며, e(n)는 잔류 오차이고, x(n)는 시간 n에서의 입력 벡터이다.
따라서, 도 9에 도시한 바와 같이 룸 리스판스 아이덴터퍼케이션(Room response identification)은 e(n)=0이고, 적용필터의 가중치 계수 벡터
Figure 112018085882082-pat00021
는 실내 충격 응답 h와 동일한 근사치를 갖는다.
도 10은 교실(Classroom), 실내 홀(Indoor-hall), 체육관(Gymnasium) 각각의 시간 영역 RIR(Room Impulse Response)에 따른 노어멀라이즈드 엘엠에스(Normalized-LMS)의 식별 정확도를 나타낸 것으로, 적용필터의 가중치 계수 벡터
Figure 112018085882082-pat00022
는 실내 충격 응답 h와 그의 동일한 근사치로 추정됨을 확인할 수 있다.
도 11은 교실(Classroom), 실내 홀(Indoor-hall), 체육관(Gymnasium) 각각의 주파수 응답 및 음성전송지수(STI: Speech transmission index)에 따른 노어멀라이즈드 엘엠에스(Normalized-LMS)의 식별 정확도를 나타낸 것으로, 주파수 응답 및 음성전송지수 역시 그의 동일한 근사치로 추정됨을 확인할 수 있다.
도 11을 참조하여 실제 RIR 및 예상 RIR 간의 음성전송지수(STI)를 비교해 보면 아래의 [표 1]과 같이 오차가 얼마나지 않는 것을 알 수 있다.
룸 타입 STI(Real RIR) STI(estimated RIR) Error
교실(Classroom) 0.814 0.812 0.002
실내 홀(indoor hall) 0.656 0.651 0.005
체육관(Gymnasium) 0.479 0.462 0.017
그리고 어댑티브 룸 리스판스 이퀄리제이션(Adaptive room response equalization)은 패스트 인버스 필터링(Fast inverse filtering), 개머토운 필터 뱅크스(Gammatone filter banks) 및 노어멀라이즈드 엘엠에스(Normalized-LMS)를 적용한 것으로, 단일 위치 이퀄리제이션 및 다중 위치 이퀄리제이션을 이룬다. 여기서, 단일 위치 이퀄리제이션은 도 12에 도시한 바와 같이 구성되고, ICE 60268-16에 따른 STI 값 평가 표준은 [표 2]와 같다.
STI value Subjective intelligibility impression
0.75-1.00 Excellent
0.60-0.75 Good
0.45-0.60 Satisfactory
0.30-0.45 Poor
0.00-0.30 Very Poor
상기 [표 2]를 토대로 다른 알고리즘의 STI값 비교해 본 결과 [표 3]과 같은 결과를 얻었다.
Algorithm Classroom (T60=0.34s) Indoor hall (T60=1.27s) Gymnasium (T60=4.31s)
No equalized RIR 0.81 0.65 0.47
FIF method 0.85 0.79 0.71
W-EQ method 0.88 0.80 0.73
A-EQ method 0.83 0.74 0.66
Improved FIF method 0.92 0.84 0.79
다중 위치 이퀄리제이션은 도 13에 도시한 바와 같이 구성될 수 있고, 프로트타입 필터 h는 상이한 마이크 위치에서의 룸 크기 응답의 평균으로부터 계산되고, m 위치 프로트타입 필터 H_m 의 크기 응답 |H_p(k)|는 아래의 [수학식 11]과 같이 나타낼 수 있다.
Figure 112018085882082-pat00023
다중 위치 이퀄리제이션은 각 위치의 실내 응답을 평균하기 때문에 등화 결과는 단일 위치의 경우만큼 정확하지 않다. 그러나 이 방법을 사용하면 실제 응용 프로그램에서 작은 영역을 단 하나의 점으로 줄일 수 있는 장점을 가진다.
그러므로 상기 방송신호 보정부는 패스트 인버스 필터링(Fast inverse filtering), 개머토운 필터 뱅크스(Gammatone filter banks), 지티 필터 베이스트 인버스 필터링(GT-filter-based inverse filtering), 룸 리스판스 아이덴터퍼케이션(Room response identification), 어댑티브 룸 리스판스 이퀄리제이션(Adaptive room response equalization)을 포함하여, 상기 에러마이크(200)를 통해 수집된 음성 잔향의 주파수 대역에 대응하는 역 필터를 적용하여 음성 잔향을 제거한다.
또한, 상기 음향시스템(300)에는 믹서부(310) 및 앰프(320)가 포함되는데, 상기 믹서부(310)는 상기 방송마이크(100) 및 에러마이크(200)와 전기적으로 연결되어 입력된 음성신호 및 음성 잔향을 신호를 수집하여, 상기 방송신호 보정부(400)로 출력한 후, 보정된 방송신호를 기설정된 해당 대역의 음성신호만을 출력한다.
상기 앰프(320)는 상기 믹서(310)와 전기적으로 연결되어, 상기 믹서(310)에서 출력하는 음성신호를 증폭하여 증폭된 음성신호를 출력한다.
더불어 상기 음향시스템(300)은 스피커(500)와 전기적으로 연결되는데, 상기 스피커(500)는 상기 음향시스템(300)에서 출력된 방송신호를 소리로 출력한다.
도 14를 참조한 본 발명의 일 실시 예에 따른 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법은 먼저 a)단계(S100)로, 방송마이크(100)를 통해 방송자가 말하는 소리신호를 수집하여 음향시스템(300)으로 입력한다.
그리고 상기 a)단계(S100)와 동시에 b)단계(S110)가 실시되는 것이 바람직한데, b)단계(S110)는 에러마이크(200)를 통해 방송현장의 소리신호를 수집하여 음향시스템(100)으로 입력한다.
상기 a)단계(S100)와 b)단계(S110)를 통해 방송마이크(100) 및 에러마이크(200)를 통해 수신된 소리신호는 상기 음향시스템(300)과 전기적으로 연결된 방송신호 보정부(400)로 송출되어 다음 단계가 실시된다.
다음은 c)단계(S120)로, 상기 음향시스템(300)으로 입력된 소리신호 중 에러마이크(200)를 통해 음성 잔향 및 룸 공진이 수집되었는지 확인한다.
이때 상기 음향시스템(300)에서 음성 잔향 및 룸 공진의 수집이 확인되면, 다음 단계인 d)단계(S130)를 실시하고, 만일 상기 음향시스템(300)에서 음성 잔향 및 룸 공진의 수집이 확인되지 않으면, f)단계(S150)를 실기한다.
여기서 d)단계(S130)는 음성 잔향 및 룸 공진의 수집이 확인되면, 그 음성 잔향 및 룸 공진에 대한 소리데이터가 상기 음향시스템(300)과 전기적으로 연결된 방송신호 보정부(400)로 출력되고, 상기 방송신호 보정부(400)에서는 음성 잔향 및 룸 공진의 주파수 성분을 추정한다.
그리고 다음은 e)단계(S140)로 추정된 음성 잔향 및 룸 공진에 상응하는 주파수 신호와 상반된 역 필터로 역필터링(룸 이퀄라이저)한 후, 상기 방송신호 보정부(400)에서 상기 음향시스템(300)으로 출력한다.
다음은 f)단계(S150)로 상기 음향시스템(S300)에서 출력되는 방송신호를 스피커로 출력한다.
따라서 상기한 과정에 의해 역 필터링으로 음성 잔향 및 룸 공진을 제거하여, 전달하고자 하는 음성방송을 청취자가 보다 명확하게 들을 수 있도록 한다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 방송마이크
200: 에러마이크
300: 음향시스템
310: 믹서부
320: 앰프
400: 방송신호 보정부

Claims (5)

  1. 방송자가 말하는 소리신호를 수집하여 전기적 신호로 출력하는 방송마이크;
    상기 방송마이크와 연동하여 방송현장의 소리신호를 수집하여 전기적 신호로 출력하는 에러마이크;
    상기 방송마이크 및 상기 에러마이크와 전기적으로 연결되어, 상기 방송마이크 및 에러마이크의 소리신호를 입력받아 해당 볼륨으로 조절하면서 증폭하여 방송신호로 출력하는 음향시스템; 및
    상기 음향시스템과 전기적으로 연결되어, 상기 음향시스템에서 출력된 방송신호를 소리로 출력하는 스피커;를 포함하는 음성 방송시스템에 있어서,
    상기 음성 방송시스템은, 방송 신호 보정부를 더 포함하고, 또한
    상기 음향시스템은, 상기 방송마이크 및 에러마이크의 소리신호를 상기 방송 신호 보정부로 전달하고 또한 상기 방송 신호 보정부에 의해 보정된 방송 신호를 전달받고,
    이때 상기 방송 신호 보정부는, 상기 음향시스템과 전기적으로 연결되어, 상기 음향시스템으로 입력된 상기 에러마이크의 소리신호 중 음성 잔향 및 룸 공진을 색출하고, 음성 잔향 및 룸 공진의 주파수에 대응하는 역 필터로 음성 잔향 및 룸 공진을 보정하여 방송신호로 출력하고,
    이때 상기 방송 신호 보정부는 역 필터로 패스트 인버스 필터링을 채용하고, 이에 더하여 개머토운 필터 뱅크스를 더 포함하는, 지티 필터 베이스트 인버스 필터링을 포함하는 것을 특징으로 하는, 음성 방송시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 방송신호 보정부는
    방송현장에 존재하는 공진에서 가장 높은 진폭의 주파수 부분을 역 필터링하여 룸 공진을 보정하는 음성 방송시스템.
  4. 청구항 1에 있어서,
    상기 음향시스템은
    상기 방송마이크 및 에러마이크와 전기적으로 연결되어 입력된 음성신호 및 음성 잔향을 신호를 수집하여, 상기 방송신호 보정부로 출력한 후, 보정된 방송신호를 기설정된 해당 대역의 음성신호만을 출력하는 믹서부;
    상기 믹서와 전기적으로 연결되어, 상기 믹서에서 출력하는 음성신호를 증폭하여 증폭된 음성신호를 출력하는 앰프;를 포함하는 음성 방송시스템.
  5. 청구항 3에 따른 음성 방송시스템을 제공하고,
    a)방송마이크를 통해 방송자가 말하는 소리신호를 수집하여 음향시스템으로 입력하는 단계;
    b)에러마이크를 통해 방송현장의 소리신호를 수집하여 음향시스템으로 입력하는 단계;
    c)상기 음향시스템으로 입력된 소리신호 중 에러마이크를 통해 음성 잔향 및 룸 공진이 수집되었는지 확인하는 단계;
    d)음성 잔향 및 룸 공진의 수집이 확인되면, 방송신호 보정부로 음성 잔향 및 룸 공진의 주파수 성분을 추정하는 단계;
    e)추정된 음성 잔향 및 룸 공진에 상응하는 주파수 신호와 상반된 역 필터로 역필터링한 후, 상기 방송신호 보정부에서 상기 음향시스템으로 출력하는 단계; 및
    f)상기 음향시스템에서 출력되는 방송신호를 스피커로 출력하는 단계;를 포함하는 역 필터를 이용한 음성 잔향 제거 방법.
KR1020180102112A 2018-08-29 2018-08-29 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법 KR102021994B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180102112A KR102021994B1 (ko) 2018-08-29 2018-08-29 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180102112A KR102021994B1 (ko) 2018-08-29 2018-08-29 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법

Publications (1)

Publication Number Publication Date
KR102021994B1 true KR102021994B1 (ko) 2019-09-17

Family

ID=68070149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180102112A KR102021994B1 (ko) 2018-08-29 2018-08-29 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법

Country Status (1)

Country Link
KR (1) KR102021994B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696515A (zh) * 2020-06-15 2020-09-22 杭州艾力特数字科技有限公司 一种用于教学录播的音频混音方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3649847B2 (ja) * 1996-03-25 2005-05-18 日本電信電話株式会社 残響除去方法及び装置
KR20150003487A (ko) * 2013-07-01 2015-01-09 기종연 힐링, 명상, 웰빙, 친환경, 심리, 마음, 리더쉽, 행복 등을 주제로하는 방송채널 사업모델
US20160150337A1 (en) * 2014-11-25 2016-05-26 Knowles Electronics, Llc Reference Microphone For Non-Linear and Time Variant Echo Cancellation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3649847B2 (ja) * 1996-03-25 2005-05-18 日本電信電話株式会社 残響除去方法及び装置
KR20150003487A (ko) * 2013-07-01 2015-01-09 기종연 힐링, 명상, 웰빙, 친환경, 심리, 마음, 리더쉽, 행복 등을 주제로하는 방송채널 사업모델
US20160150337A1 (en) * 2014-11-25 2016-05-26 Knowles Electronics, Llc Reference Microphone For Non-Linear and Time Variant Echo Cancellation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696515A (zh) * 2020-06-15 2020-09-22 杭州艾力特数字科技有限公司 一种用于教学录播的音频混音方法
CN111696515B (zh) * 2020-06-15 2023-08-15 杭州艾力特数字科技有限公司 一种用于教学录播的音频混音方法

Similar Documents

Publication Publication Date Title
US7483831B2 (en) Methods and apparatus for maximizing speech intelligibility in quiet or noisy backgrounds
US6876750B2 (en) Method and apparatus for tuning digital hearing aids
US6885752B1 (en) Hearing aid device incorporating signal processing techniques
EP1843635B1 (en) Method for automatically equalizing a sound system
EP1742509B1 (en) A system and method for eliminating feedback and noise in a hearing device
EP1417679B1 (en) Sound intelligibility enhancement using a psychoacoustic model and an oversampled filterbank
TWI620172B (zh) 產生第一聲音及第二聲音之方法、音訊處理系統及非暫時性電腦可讀媒體
Cubick et al. Listening through hearing aids affects spatial perception and speech intelligibility in normal-hearing listeners
US20050111683A1 (en) Hearing compensation system incorporating signal processing techniques
US20050265560A1 (en) Indoor communication system for a vehicular cabin
US20020172350A1 (en) Method for generating a final signal from a near-end signal and a far-end signal
RU2568281C2 (ru) Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате
EP3255902A1 (en) Method and apparatus for improving speech intelligibility in hearing devices using remote microphone
CN111354368B (zh) 补偿处理后的音频信号的方法
WO2022159621A1 (en) Measuring speech intelligibility of an audio environment
KR102021994B1 (ko) 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법
US10313805B2 (en) Binaurally coordinated frequency translation in hearing assistance devices
US6928171B2 (en) Circuit and method for the adaptive suppression of noise
JP2003224898A (ja) 拡声明瞭度改善装置および拡声明瞭度改善方法
WO2023081535A1 (en) Automated audio tuning and compensation procedure
US9258655B2 (en) Method and device for frequency compression with harmonic correction
Macrae et al. Auditory threshold impairment and everyday speech reception
US20090220105A1 (en) Method for compensating for changes in reproduced audio signals and a corresponding device
WO2023081534A1 (en) Automated audio tuning launch procedure and report
AU2005203487B2 (en) Hearing aid device incorporating signal processing techniques

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant