KR102196519B1 - 소리 제거 시스템 및 이를 이용한 소리 제거 방법 - Google Patents

소리 제거 시스템 및 이를 이용한 소리 제거 방법 Download PDF

Info

Publication number
KR102196519B1
KR102196519B1 KR1020200054499A KR20200054499A KR102196519B1 KR 102196519 B1 KR102196519 B1 KR 102196519B1 KR 1020200054499 A KR1020200054499 A KR 1020200054499A KR 20200054499 A KR20200054499 A KR 20200054499A KR 102196519 B1 KR102196519 B1 KR 102196519B1
Authority
KR
South Korea
Prior art keywords
sound
data
unit
output
output unit
Prior art date
Application number
KR1020200054499A
Other languages
English (en)
Other versions
KR20200054923A (ko
Inventor
심재완
하헌필
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020200054499A priority Critical patent/KR102196519B1/ko
Publication of KR20200054923A publication Critical patent/KR20200054923A/ko
Application granted granted Critical
Publication of KR102196519B1 publication Critical patent/KR102196519B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3026—Feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3028—Filtering, e.g. Kalman filters or special analogue or digital filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

소리 제거 시스템 및 이를 이용한 소리 제거 방법에서, 상기 소리 제거 시스템은 소리를 획득하는 입력부, 상기 획득된 소리를 분석하여 소리 데이터를 생성하는 분석부, 기준 소리 데이터들을 저장하는 데이터베이스 및 상기 소리 데이터와 상기 기준 소리 데이터들을 비교하여 원본 데이터를 검출하는 검출부를 포함하는 서버, 상기 원본 데이터로부터 상기 획득된 소리에 부합하도록 소리 감소 신호를 생성하는 비교부 및 상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시키는 발생부를 포함한다.

Description

소리 제거 시스템 및 이를 이용한 소리 제거 방법{SOUND REDUCTION SYSTEM AND SOUND REDUCTION METHOD USING THE SAME}
본 발명은 소리 제거 시스템 및 이를 이용한 소리 제거 방법에 관한 것으로, 더욱 상세하게는 입력 받은 소리를 미리 저장된 기준데이터와 비교하여 입력 받은 소리에 관한 정보를 파악하고 이를 바탕으로 상쇄파형을 출력함에 따라 소리를 효과적으로 상쇄할 수 있는 소리 제거 시스템 및 이를 이용한 소리 제거 방법에 관한 것이다.
일반적으로, 현대 사회에 사는 사람들은 산업 발달과 더불어 환경오염과 공해 속에서 생활하고 있다고 할 수 있다. 더욱이, 소음의 홍수 속에 생활하여야 한다고 할 정도이며, 소음은 환경 공해의 하나로써 현대인들에게는 막대한 정신적인 피해를 주고 있다.
따라서 소음을 억제하기 위한 노력이 있었지만, 기본적인 기술에 큰 발전은 없었다. 수동적인 소음 방지책으로 소음원을 멀리 두거나, 소음원과의 사이에 소음을 막는 벽을 세우는 것이 대표적이다.
이러한 종래의 문제점을 해결하고자 대한민국 공개특허 공보 특1999-015238호(능동 소음 제어를 이용한 실내 소음의 제어방법)외 다수가 출원되어 있는 상태이다.
상기 특허를 포함하는 종래의 소음 제거 시스템은 외부의 음향을 취득하기 위한 다수개의 마이크와, 마이크를 통해 취득되는 음향 중 소음이 발생되는 지점에 집중하여 소음을 취득하는 다수개의 빔 어레이 센서와, 빔 어레이 센서에서 취득된 소음의 정도에 따라 검출된 소음을 반전/지연하는 역위상 소음 발생 수단, 및 역위상 소음 발생수단에서 출력되는 소음을 실내 어느 지점을 향하도록 설치된 다수개의 스피커로 구성된다.
그러나, 종래의 소음 제거 시스템은 실제 음원과 주변 잡음을 포함하는 소음을 측정하여 측정된 소음을 위상 반전시켜 상쇄시키는 것으로, 원음과 완전히 반대되는 위상의 음파를 생성하기 어렵고, 수신에서 반대위상 음파 생성까지의 시간적 차이가 발생하는 단점이 있다.
대한민국 등록특허 특1999-015238호
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 입력 받은 소리를 미리 저장된 기준데이터와 비교하여 입력 받은 소리에 관한 정보를 파악하고 이를 바탕으로 상쇄파형을 출력함에 따라 소리를 효과적으로 상쇄할 수 있는 소리 제거 시스템에 관한 것이다.
본 발명의 다른 목적은 상기 소리 제거 시스템을 이용한 소리 제거 방법에 관한 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 소리 제거 시스템은 소리를 획득하는 입력부, 상기 입력부로부터 획득된 소리의 일부분을 분석하여 소리 데이터를 생성하는 분석부, 기준 소리 데이터들을 저장하는 데이터베이스 및 상기 소리 데이터와 상기 기준 소리 데이터들을 비교하여 원본 데이터를 검출하는 검출부를 포함하는 서버, 상기 원본 데이터를 이용하여 상기 획득된 소리를 선택적으로 감소시키는 소리 감소 신호를 생성하는 비교부 및 상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 선택적으로 감소시키는 발생부를 포함한다.
일 실시예에서, 상기 소리 데이터는 상기 소리의 주파수 분포 특징 및 소음원에 대한 정보 중 적어도 하나를 더 포함할 수 있다.
일 실시예에서, 상기 서버는 상기 기준 소리 데이터들을 필터링하여 상기 기준 소리 데이터들을 상기 소리 데이터의 특성에 부합하도록 가공하는 필터부를 더 포함할 수 있다.
일 실시예에서, 상기 필터부는 상기 소리 데이터에 포함된 소리의 주파수 분포 특징 및/또는 소음원에 대한 정보를 이용하여 상기 기준 소리 데이터들의 일부 주파수 대역의 정보를 제거, 증강 또는 감쇄할 수 있다.
일 실시예에서, 상기 필터부는 로우 패스 필터(low-pass filter), 하이패스 필터(high-pass filter), 인공 뉴럴 네트워크(neural networks) 또는 제한된 볼츠만 머신(restricted Boltzmann machine) 중 적어도 어느 하나일 수 있다.
일 실시예에서, 상기 검출부는 상기 일부 주파수 대역의 정보가 제거, 증강 또는 감쇄된 기준 소리 데이터들 중에서 상기 소리 데이터와 비교하여 상기 원본 데이터를 검출할 수 있다.
일 실시예에서, 상기 입력부, 상기 분석부 및 상기 발생부는 사용자의 귀를 감싸는 헤드셋 내부에 형성되거나, 실내 공간의 벽 또는 천장에 설치되는 스피커의 내부에 형성될 수 있다.
일 실시예에서, 상기 데이터베이스에는 음악, 방송되었거나 방송될 라디오 또는 TV의 음원, 상영되었거나 상영될 영화의 음원이 저장될 수 있다.
상기한 본 발명의 목적을 실현하기 위한 다른 실시예에 따른 소리 제거 시스템은 재생되는 소리를 획득하는 재생장치, 상기 재생장치로부터 획득된 상기 소리를 전달받는 입력부, 상기 소리를 분석하여 소리 데이터를 생성하는 분석부 및 상기 생성된 소리 데이터로부터 소리 감소 신호를 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시키는 발생부를 포함하며, 상기 재생장치는 상기 발생부에서 소리 감소 신호를 재생함과 동시에 소리를 재생시키는 것을 특징으로 한다.
일 실시예에서, 상기 재생장치는 TV, 오디오, 라디오, 컴퓨터, 모바일 단말기 중 어느 하나일 수 있다.
일 실시예에서, 상기 재생장치는 상기 소리를 획득하는 입력유닛, 상기 소리를 출력하는 재생유닛 및 상기 재생유닛의 소리 출력을 제어하는 제어유닛을 포함할 수 있다.
일 실시예에서, 상기 제어유닛이 상기 재생유닛의 소리 출력을 제어함에 따라, 상기 소리는 일정 시간 지연되어 상기 소리 감소 신호의 재생과 함께 재생될 수 있다.
상기한 본 발명의 목적을 실현하기 위한 또 다른 실시예에 따른 상기 소리 제거 시스템은 영상데이터와 음향데이터가 입력되는 입력모듈, 상기 음향데이터를 분석하여 상기 음향데이터를 상쇄하여 제거하는 상쇄 음향데이터를 생성하는 분석부 및 상기 영상데이터를 영상으로 출력하는 영상 출력부, 상기 음향데이터를 음향으로 출력하는 제1 출력부, 및 상기 상쇄 음향데이터를 상쇄음향으로 출력하는 제2 출력부를 포함하는 출력모듈을 포함한다.
일 실시예에서, 상기 영상, 상기 음향 및 상기 상쇄음향은 동시에 출력될 수 있다.
일 실시예에서, 상기 제1 출력부는 스피커이고, 상기 제2 출력부는 헤드폰이며, 사용자가 상기 제2 출력부를 착용함에 따라 상기 제1 출력부에서 출력되는 음향은 상쇄되어 제거될 수 있다.
일 실시예에서, 상기 음향데이터는 디지털 데이터이고, 상기 분석부는 상기 음향데이터를 제거하는 디지털 데이터인 상기 상쇄 음향데이터를 생성할 수 있다.
일 실시예에서, 상기 제1 출력부에서 출력되는 음향과 상기 제2 출력부에서 출력되는 상쇄음향을 수신하여, 수신된 정보를 상기 분석부로 제공하는 수신부를 더 포함할 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 상기 소리 제거 시스템을 이용한 소리 제거 방법에서, 소리를 획득한다. 상기 획득된 소리의 일부분을 분석하여 소리 데이터를 생성한다. 상기 소리 데이터와 데이터베이스에 저장된 기준 소리 데이터들을 비교하여 상기 기준 소리 데이터들 중에서 원본 데이터를 검출한다. 상기 원본 데이터를 이용하여 상기 획득된 소리를 선택적으로 감소시키는 소리 감소 신호를 생성한다. 상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 선택적으로 감소시킨다.
상기한 본 발명의 다른 목적을 실현하기 위한 다른 실시예에 따른 상기 소리 제거 시스템을 이용한 소리 제거 방법에서, 재생되는 소리를 획득한다. 상기 획득한 소리를 송신한다. 상기 소리를 분석하여 소리 데이터를 생성한다. 상기 생성된 소리 데이터로부터 소리 감소 신호를 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시킨다. 상기 소리 감소 신호를 재생함과 동시에 상기 소리를 재생하는 것을 특징으로 한다.
본 발명의 실시예들에 의하면, 소리가 획득되면 서버의 데이터베이스에 기 저장된 기준 소리 데이터들을 검색하여 사용자가 듣게 되는 실제 소리를 추정함으로써, 현재 진행되는 소리와 시간차이를 두지 않고 현재 진행되는 소리를 상쇄하는 소리 감소 신호를 발생시킬 수 있어, 현재 진행되는 소리와 소리 감소 신호 간의 시간 제약을 줄여 현재 진행되는 소리를 효과적으로 제거할 수 있다.
또한, 필터부에서 소음의 주파수 분포 특징 그리고/또는 소음원에 대한 정보 등을 이용하여 기준 소음 데이터의 일부 주파수 대역의 정보를 선택적으로 증강, 제거, 또는 감쇄함으로써, 현재 진행되는 소음과 비교적 유사한 원본 데이터를 획득할 수 있으며, 이를 통해 현재 진행되는 소음을 정확하게 예측할 수 있어 소음을 효과적으로 제거할 수 있다.
나아가, 재생 장치에서 재생되는 소리에 대한 기준 소리 데이터들이 서버에 미리 저장되지 않을 경우, 상기 재생 장치가 발생부에서 소리 감소 신호를 재생함과 동시에 소리를 재생시킴에 따라, 상기 재생 장치에서 재생되는 소리로부터 발생되는 소리를 효과적으로 제거할 수 있다.
더 나아가, 하나의 입력모듈로 제공되는 음향데이터를 출력 신호인 음향으로 변환함과 동시에 이를 상쇄할 수 있는 상쇄음향데이터도 동시에 출력 신호인 상쇄음향으로 출력을 수행할 수 있어, 하나의 기기에서 음향과 상쇄 음향이 동시에 출력되며, 이에 따라 사용자가 필요에 따라 상쇄 음향을 선택적으로 청취할 수 있다. 따라서, 사용자의 선택에 따라 음향을 제거하여 소리를 제거할 수 있는 효과를 가져올 수 있다.
도 1은 본 발명의 일 실시예에 의한 소리 제거 시스템을 도시한 블록도이다.
도 2는 도 1의 입력부로부터 획득된 임의의 소리의 일부 신호를 나타내는 그래프이다.
도 3은 도 1의 분석부에서 도 2의 획득된 소리의 신호를 분석하여 생성한 예로, 스펙트로그램(spectrogram)으로 처리된 소리 신호를 나타낸 그래프이다.
도 4는 도 1의 소리 제거 시스템의 입력부, 분석부 및 발생부가 내부에 형성되는 헤드셋의 외형 및 사용자의 착용 상태를 나타낸 도면이다.
도 5는 도 1의 소리 제거 시스템의 입력부, 분석부 및 발생부가 내부에 형성되는 스피커를 도시한 도면으로, 상기 스피커가 내부공간의 벽 및/또는 천정부에 설치되는 상태를 도시한 도면이다.
도 6은 도 1의 소리 제거 시스템을 이용한 소리 제거 방법을 도시한 흐름도이다.
도 7은 본 발명의 다른 실시예에 의한 소리 제거 시스템을 도시한 블록도이다.
도 8은 도 7의 소리 제거 시스템을 이용한 소리 제거 방법을 도시한 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 의한 소리 제거 시스템을 도시한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 의한 소리 제거 시스템을 도시한 블록도이다. 도 2는 도 1의 입력부로부터 획득된 임의의 소리의 일부 신호를 나타내는 그래프이다. 도 3은 도 1의 분석부에서 도 2의 획득된 소리의 신호를 분석하여 생성한 예로, 스펙트로그램(spectrogram)으로 처리된 소리 신호를 나타낸 그래프이다.
도 1을 참조하면, 본 실시예에 의한 소리 제거 시스템(10)은 입력부(100), 분석부(200), 서버(300), 비교부(350) 및 발생부(400)를 포함하고, 상기 서버(300)는 수신부(301), 송신부(302), 데이터베이스(320), 검출부(330) 및 필터부(340)를 포함한다.
상기 소리 제거 시스템(10)은 건물 또는 차량 등 구조물의 외부에서 발생한 소리를 제어하여 건물 또는 차량 등 구조물의 내부에서 소리의 효과를 줄여 쾌적한 환경을 제공할 수 있도록 한다. 일반적으로 소리는 실외 또는 외부 공간에서 발생하고 소리를 제어하고자 하는 대상 공간은 실내 또는 소리가 발생하는 공간과 다른 공간이지만, 반드시 이에 한정되는 것은 아니며 소리가 발생하는 공간 및 소리를 제어하고자 하는 공간은 동일한 공간일 수도 있다.
상기 입력부(100)는 소리(음향)를 획득하며, 마이크로폰일 수 있다. 상기 소리는 예를 들어, TV, 라디오 등으로부터 발생하는 디지털 소음과, 교통 소음, 건설 소음 등 환경 소음 등을 포함하며, 이에 한정되지 않고 제어의 대상이 될 수 있는 모든 음향을 포함한다.
상기 입력부(100)는 상기 마이크로폰을 통해 입력되는 아날로그 신호를 디지털 신호로 변경하는 아날로그 디지털 컨버터(Analog digital convertor)를 포함할 수 있다. 즉, 상기 입력부(100)는 상기 디지털 컨버터를 통해 상기 음향을 수집하여 전기적인 입력 소리 신호를 생성하여 출력할 수 있다.
즉, 상기 입력부(100)를 통해 획득된 소리는 매우 다양한 소리 신호일 수 있으며, 예를 들어, 도 2에 도시된 바와 같이 상기 소리는 디지털화되어 획득될 수 있다. 이 때, 상기 도 2에서 가로축은 임의의 시간 단위를 의미하고 세로축은 임의의 강도(intensity) 단위를 의미한다.
즉, 상기 입력부(100)를 통해 획득된 소리는 예시된 바와 같이 디지털화되어 소정의 진폭을 가지는 복수의 점 데이터로 획득될 수 있으며, 이와 달리, 다양한 형태의 디지털화된 신호로 획득될 수 있다.
상기 분석부(200)는 상기 입력부(100)로부터 받은 상기 입력 소리 신호를 가공할 수 있다. 상기 가공의 목적은 데이터 송신의 편의를 위하여 데이터의 양을 줄이는 것, 서버의 계산 부담을 줄이기 위하여, 필요한 데이터 전처리(pre-processing)를 서버 밖에서 미리 실행하는 것 등이다. 또한, 상기 분석부(200)는 상기 소음 데이터를 만들기 위하여 주파수 분포 특징 그리고/또는 소음원에 대한 정보를 포함 시킬 수 있다.
예를 들어, 도 3에 도시된 바와 같은 스펙트로그램(spectrogram)은 상기 입력부(100)에서 얻은 소리 신호를 푸리에(Fourier) 변환을 이용하여 얻은 데이터를 이용하여 얻을 수 있다. 이 경우처럼, 스펙트로그램으로 소음을 처리할 수도 있으며, 이와 달리 다양한 종류의 소음 처리 방법을 적용하여 소음 데이터를 생성할 수 있다.
또한, 상기 분석부(200)는 상기 입력부(100)로부터 획득된 소리의 일부분을 수신하여, 상기 획득된 소리 일부분의 크기 및/또는 주파수 스펙트럼 등을 분석한다.
예를 들어, 상기 입력부(100)로부터 획득되는 소리가 '아리랑 노래'에 관한 것으로 '아리랑 아리랑 아라리요 아리랑 고개를 넘어간다'라는 가사가 입력되는 경우, 상기 분석부(200)는 상기 서버(300)로 상기 가사의 일부분인 '아리랑 아리랑'에 해당하는 부분만을 분석하여 소리 데이터를 생성할 수 있다.
한편, 시간영역에서 귀를 통하여 인식되는 음향은 높은 음과 낮은 음이 서로 중첩되어 있어 사용자에게 하나의 음으로 인식되는데, 이러한 음향의 특성을 알기 위해서 음향의 크기와 주파수 스펙트럼 등 필요한 정보를 분석할 필요가 있다. 상기 분석부(200)는 상기 입력부(100)를 통하여 획득된 음향을 주파수 영역으로 변환하여 주파수 스펙트럼 등의 정보를 구할 수 있으며, 상기 주파수 스펙트럼 등의 정보에서 전 주파수 대역에서의 크기의 합을 계산하여 음향의 크기를 구할 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 상기 분석부(200)에서는 도 2에서와 같이 획득된 소리의 일부분에 대한 디지털화된 신호를 처리하여 스펙트로그램(spectrogram)으로 도출할 수 있다. 이 때, 상기 도 3에서 가로축은 초 단위의 시간축이고 세로축은 주파수축이다.
그리하여, 획득된 소리의 일부분을 매 순간마다의 주파수 스펙트럼으로 표현할 수 있다. 이 경우, 상기 분석부(200)에서는 도 3에 도시된 바와 같은 스펙트로그램으로 소리를 처리할 수도 있으며, 이와 달리 다양한 종류의 소리 처리 방법을 적용하여 소리 데이터를 생성하게 된다.
상기 분석부(200)는 이와 같이 주파수 스펙트럼, 음향의 크기 등의 정보를 구하여 이를 포함하는 소리 데이터를 생성한 후 상기 소리 데이터를 상기 서버(300)의 상기 수신부(301)에 송신한다.
단, 앞서 상기 소음데이터를 상기 서버(300)의 상기 수신부(301)에 송신하기 전에 푸리에 변환을 하는 등의 데이터 가공을 하는 것을 설명하였으나, 이는 상기 서버(300)의 후술하는 검출부(330)에서 실행될 수 있다.
이 경우, 상기 소리 데이터에는 음향의 크기 등이 포함되므로 상기 소리에 포함된 저주파 정보 또는 고주파 정보를 분석한 데이터가 포함될 수 있다.
또한, 상기 소리 데이터는 상기 소리의 주파수 분포 특징 및 소음원에 대한 정보 중 어느 하나를 포함할 수 있다.
상기 서버(300)의 수신부(301)는 상기 분석부(200)로부터 제공되는 소리 데이터를 수신하며, 상기 소리 데이터는 상기 서버(300)의 상기 데이터베이스(320)에 저장된 기준 소리 데이터와 비교된다.
상기 데이터베이스(320)에는 다양한 종류의 음원들이 저장되며, 예를 들어, 다양한 가수들에 의해 제창된 다양한 종류의 음악의 음원들은 물론, 기존 방송되었던 라디오 또는 TV의 방송의 음원들, 현재나 앞으로 방송될 라디오 또는 TV의 방송의 음원들, 상영되거나 상영될 영화 등의 음원들이 모두 저장될 수 있다.
특히, 상기 소리가 특정 방송 프로그램에 의해 발생하는 음원일 경우, 상기 데이터베이스(320)는 방송 서버(미도시)와 통신하여 상기 방송 서버로부터 상기 특정 방송 프로그램에 관한 정보를 획득할 수 있다. 여기서, 상기 특정 방송 프로그램에 관한 정보는 예를 들어 상기 특정 방송 프로그램의 대본일 수 있으며, 상기 특정 방송 프로그램이 녹화 방송일 경우 기 방송된 영상일 수 있으며, 상기 특정 방송 프로그램에서 특정 사람의 음성만을 추출한 데이터일 수 있다.
즉, 상기 서버(300)의 상기 데이터베이스(320)에는 소리로 발생될 수 있는 모든 종류의 음원들의 원본 데이터가 이미 저장될 수 있으며, 필요에 따라 또는 주기적으로 이러한 원본 음원 데이터들은 기준 소리 데이터로 갱신되어 저장된다. 그리하여, 상기 수신부(301)를 통해 수신된 소리 데이터는 상기 데이터베이스(320)에 저장된 기준 소리 데이터와 비교하게 된다.
상기 검출부(330)는 상기 소리 데이터와 상기 데이터베이스(320)에 미리 저장된 하나 이상의 기준 소리 데이터를 비교하여 일치율이 높은 기준 소리 데이터를 추출한다.
즉, 소리가 상기 입력부(100)에 입력되면, 상기 검출부(330)는 상기 소리의 음원 정보와 미리 저장된 기준 소리 데이터들의 음원 정보를 비교하여 원본 데이터를 검출한다.
예를 들어, 상기 음원 데이터의 비교시 피크를 비교하여 원본 데이터를 선택하는 경우는 하기와 같이 수행될 수 있다.
즉, 소리 데이터, 기준 소리 데이터, 원본 데이터를 포함하는 모든 소리 데이터는 시간, 주파수, 크기(intensity)를 요소로 갖는 3차원 벡터를 정의할 때, 이러한 벡터로 이루어지는 3차원 벡터 공간에서의 그래프로 나타낼 수 있다.
이 때, 상기 크기(intensity)가 미리 주어진 상대적 또는 절대적 기준을 넘어서는 경우에 이를 피크로 정의한다. 상기 벡터 공간에서 이러한 피크들 간의 거리는 각각의 소리 데이터를 구분하는 특징으로 역할을 할 수 있다.
일반적으로 소리 데이터는 상기 입력부(100)에 입력되는 소리에 기초하여 짧은 시간동안 녹음하여 만든 것이다. 따라서, 상기 소리 데이터는 기준 소리 데이터의 일부분일 수 있다. 즉, 예를 들어 설명하면, 기준 소리 데이터들이 여러 곡의 노래에 해당한다고 할 때, 상기 소리 데이터는 상기 여러 노래 중에서 어떤 한 곡의 일부분일 수 있다.
상기 소리 데이터가 생성하는 피크들 간의 거리 정보가 어떤 하나의 기준 소리 데이터의 피크들 간의 거리 정보의 일부분과 유사하거나 일치하는 부분이 있을 경우에 이를 원본 데이터로 추정하는 것이다.
이 때, 상기 소리 데이터에서 고주파 영역의 피크들은 소실되고 저주파 영역의 피크들이 기준 소리 데이터의 정보와 일치할 경우에 상기 입력부(100)에서 고주파 영역은 전달되지 못한 것으로 추정할 수 있다. 따라서, 상기 원본 데이터를 저장할 때, 미리 상기 원본 데이터의 고주파 영역은 제거하고 저장할 수 있다.
상기 원본 데이터는 사용자가 듣게 되는 소리의 전체 형태를 포함하는 데이터일 수 있다. 예를 들어, 상기 원본 데이터는 원곡의 반주음악, 악보, 가사 데이터 중 적어도 하나를 포함하는 데이터일 수 있으며, 드라마, 라디오 등의 대본을 포함하는 데이터일 수 있다.
한편, 상기 분석부(200)는 상기 입력 소리 신호를 일정한 주기로 절단할 수 있으며, 상기 검출부(330)는 상기 기준 소리 데이터들에서 절단된 각 주기의 파동과 유사한 부분을 추출할 수 있다.
예를 들어, 앞서 예로 설명한 바와 같이 상기 분석부(200)에서 상기 아리랑 노래를 분석한 경우, 상기 검출부(330)는 상기 아리랑 노래에 관한 원본 데이터를 상기 서버(300)로부터 전송받아 검출할 수 있다.
나아가, 상기 검출부(330)는 상기 소리 데이터의 소리를 주파수별로 구분할 수 있으며, 주파수 별로 구분된 주변 소리의 종류를 판단할 수 있고, 상기 판단된 소리의 종류에 기초하여 상기 서버(300)의 상기 데이터베이스(320)를 검색할 수 있다.
한편, 상기 검출부(330)에서 상기 원본 데이터를 검출하기 전에, 상기 서버(300)의 상기 필터부(340)에서 상기 데이터베이스(320)에 저장된 기준 소리 데이터들을 필터링할 수 있다.
상기 필터부(340)는 로우 패스 필터(low-pass filter) 또는 하이패스 필터(high pass filter)일 수 있으며, 이외 대역통과, 대역저지 중 어느 하나의 특성을 가질 수 있다.
예를 들어, 사용자가 있는 공간의 외부에서 발생된 소리가 상기 사용자가 있는 공간으로 이동하면서 저주파 영역의 정보는 대부분 보존되고, 고주파 영역의 정보가 많은 부분 손실될 수 있다.
이 경우, 상기 입력부(100)에서는 대부분 상기 소리의 저주파 영역의 정보를 입력받게 되고, 상기 분석부(200)에서 생성하는 상기 소리 데이터는 상기 저주파 영역의 정보를 토대로 생성되게 된다.
여기서, 상기 필터부(340)가 예를 들어 로우 패스 필터로써, 상기 데이터베이스(320)에 포함된 상기 기준 소리 데이터들을 필터링하면 상기 기준 소리 데이터들에 포함된 고주파 영역의 정보는 제거되어 저주파 영역의 정보만 남게 된다.
이에 따라, 상기 검출부(330)는 상기 기준 소리 데이터들의 저주파 영역의 정보를 토대로, 상기 기준 소리 데이터들 중 사용자가 있는 공간에서 진행 중인 소리의 저주파 영역의 정보와 동일한 형태의 저주파 영역의 정보를 갖는 상기 원본데이터를 용이하게 검출할 수 있다.
한편, 상기 비교부(350)는 상기 원본 데이터를 이용하여 상기 획득된 소리를 선택적으로 감소시킬 수 있는 소리 감소 신호를 생성하고, 상기 소리 감소 신호를 상기 서버(300)의 상기 송신부(302)로 전송한다.
상기 비교부(350)는 도시된 바와 같이 상기 분석부(200)와도 전기적으로 연결되며, 이에 따라 현재 재생되는 소리를 상쇄시킬 수 없다는 것을 판단되면, 상기 분석부(200)가 새로운 소리 데이터를 생성하도록 하며 상기 소리 데이터를 상기 서버(300)로 전송하도록 하고 상기 서버(300)로부터 새로운 원본 데이터를 획득할 수 있다.
상기 발생부(400)는 상기 송신부(302)로부터 상기 소리 감소 신호를 전달받아 상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 선택적으로 감소시킨다.
예를 들어, 상기 아리랑 노래가 TV의 스피커에서 재생되는 동안 사용자는 다른 사람과 대화중일 수 있다. 이 때, 상기 아리랑 노래의 가사인 '아리랑 고개를 넘어간다'에서 재생중인 '아' 음과 사용자의 대화가 서로 중첩될 수 있으며 이 경우 상기 발생부(400)는 상기 소리 감소 신호에 따라 사용자의 대화 소리는 감소시키지 않고 상기 '아' 음에 맞추어 상기 아리랑 노래만을 선택적으로 감소시킬 수 있다.
이 경우, 상기 발생부(400)는 스피커(speaker)일 수 있으며, 현재 진행되는 소리와 시간 차이를 두지 않고 상기 소리 감소 신호를 음향으로 재생시킴으로써 진행되는 소리 자체를 완전히 상쇄할 수 있다.
도 4는 도 1의 소리 제거 시스템의 입력부, 분석부 및 발생부가 내부에 형성되는 헤드셋의 외형 및 사용자의 착용 상태를 나타낸 도면이다.
상기 소리 제거 시스템(10)의 상기 입력부(100), 상기 분석부(200) 및 상기 발생부(400)는 도시된 바와 같이 헤드셋(5) 내부에 형성될 수 있다.
이 경우, 상기 헤드셋(5)은 사용자(20)의 귀를 완전하게 둘러쌈으로써 귀와 외부 환경을 완전히 차단하고, 사용자(20)의 양쪽 귀를 통해 청각적으로 인지될 수 있는 소리를 향하여 상기 발생부(400)를 통해 상기 소리 감소 신호를 발생시킴으로써 소리를 완전히 상쇄시킬 수 있다.
한편, 발생되는 소리는 상기 헤드셋(5)을 구성하는 방진재에 의해 소리의 일부가 차단될 수 있다. 이러한 방진재에서는 고주파 성분의 소리는 효과적으로 차단할 수 있으나, 저주파 성분의 소리는 차단되지 못하여 방진재를 투과하게 된다.
이 때, 상기 방진재를 투과한 저주파는 상기 헤드셋(5) 내부의 상기 입력부(100)에 의해 감지되고, 감지된 저주파 소리는 상기 분석부(200)로 제공되어 소리 데이터 형태로 생성된다. 그 다음 앞서 설명한 바와 같이 상기 서버(300)에서의 동작이 이루어진 후 상기 발생부(400)가 소리 감소 신호를 상기 사용자의 귀를 향하여 음향으로 재생함으로써 상기 저주파 성분의 소리를 완전히 차단할 수 있게 된다.
한편, 이와 같이 상기 소리 제거 시스템(10)의 상기 입력부(100), 상기 분석부(200) 및 상기 발생부(400)가 상기 헤드셋(5) 내부에 형성되는 경우, 상기 입력부(100), 상기 분석부(200) 및 상기 발생부(400)는 사용자(20)의 한쪽 귀에 적용되는 구성이며, 다른 한쪽의 귀에 대해서도 동일한 형태가 적용되어 동일한 구성이 대칭적으로 구비될 수 있다.
도 5는 도 1의 소리 제거 시스템의 입력부, 분석부 및 발생부가 내부에 형성되는 스피커를 도시한 도면으로, 상기 스피커가 내부공간의 벽 및/또는 천정부에 설치되는 상태를 도시한 도면이다.
이 경우, 상기 소리 제거 시스템(10)의 상기 입력부(100), 상기 분석부(200) 및 상기 발생부(400)는 실내 공간(30)의 천장 또는 벽에 스피커(7)의 내부에 포함되는 형태로 형성되어 소음원의 방향을 향하거나 사용자의 귀를 향하도록 상기 소리 감소 신호를 음향으로 재생시킬 수 있다.
예를 들어, 상기 스피커(7)가 천장에 설치되는 경우, 상기 입력부(100)는 상기 천장에서 발생되는 소리, 예를 들어 천장에서 발소리, 의자 끄는 소리, 음악 소리, TV 소리 등 다양한 소리가 천장에서 발생되는 경우에 소리를 입력받을 수 있다.
마찬가지로, 상기 스피커(7)가 실내 공간(30)의 벽에 설치되는 경우, 상기 입력부(100)는 상기 벽에서 발생되는 TV 소리, 음악 소리 등 다양한 소리가 벽에서 발생되는 경우에 소리를 입력받을 수 있다.
이와 같이 상기 스피커(7)는 각각의 소리가 발생하는 부근에 설치될 수 있으며, 이 경우 상기 스피커(7) 내부의 상기 발생부(400)는 각각의 소리가 발생하는 부근을 향하여 소리 감소 신호를 음향으로 재생함으로써 상기 사용자에게 발생시킬 수 있는 소리를 차단할 수 있다.
도 6은 도 1의 소리 제거 시스템을 이용한 소리 제거 방법을 도시한 흐름도이다.
전체적으로 본 실시예에 의한 소리 제거 방법에서는 상기 입력부(100)를 통해 소리를 획득하고 상기 비교부(350)를 통해 상기 획득된 소리에 부합하도록 소리 감소 신호를 생성하고, 상기 발생부(400)를 통해 상기 소리 감소 신호를 음향으로 재생시킴으로써 상기 소리를 효과적으로 제거할 수 있게 된다.
먼저, 상기 입력부(100)는 소리를 획득할 수 있는 장치, 예를 들어 마이크로폰을 이용하여 소리를 획득한다(단계 S100). 일례로, 획득된 소리는 상기 소리 제거 시스템(10)이 제어하고자 하는 소리일 수 있으며, 이미 설명한 바와 같이, 다른 공간으로부터 입력되는 소리거나 같은 공간에서 입력되는 소리 모두 가능할 수 있으며, 건물이나 차량의 외부로부터 발생되는 소리에 대하여 건물이나 차량의 내부에서 획득된 소리일 수 있다.
상기 입력부(100)가 소리를 획득하면, 상기 분석부(200)는 획득된 음향의 크기 및/또는 주파수 스펙트럼 등의 정보의 분석 등을 수행하여 이를 기초로 소리 데이터를 생성한다(단계 S200).
이 경우, 상기 소리 데이터에는 상기 소리의 저주파 영역의 정보, 고주파 영역의 정보, 소리의 주파수 분포 특징, 소음원에 대한 정보 등에 관한 데이터가 포함된다.
상기 필터부(340)는 상기 소리 데이터에 포함된 상기 저주파 영역의 정보, 상기 고주파 영역의 정보, 소리의 주파수 분포 특징, 소음원에 대한 정보 등에 기초하여, 상기 기준 소리 데이터들을 필터링하여 상기 기준 소리 데이터들을 상기 소리 데이터의 특성에 부합하도록 가공할 수 있다.
예를 들어, 상기 소리 데이터에 주로 저주파 영역의 정보에 관한 데이터가 포함되는 경우, 상기 필터부(340)는 상기 기준 소리 데이터들에 포함된 고주파 영역의 정보를 제거하여 저주파 영역의 정보에 관한 데이터만이 남게 한다. 이와 달리, 상기 소리 데이터에 주로 고주파 영역의 정보에 관한 데이터가 포함되는 경우에는 상기 필터부(340)는 상기 기준 소리 데이터들에 포함된 저주파 영역의 정보를 제거하여 고주파 영역의 정보에 관한 데이터만이 남게 한다.
이 경우, 상기 필터부(340)는 로우 패스 필터(low-pass filter) 또는 하이패스 필터(high-pass filter) 중 적어도 어느 하나일 수 있다.
다른 예로, 상기 소리 데이터에 상기 저주파 영역의 정보 및 상기 고주파 영역의 정보의 일부가 동시에 감쇄된 경우, 상기 필터부(340)는 상기 소리 데이터에 포함된 소음원에 대한 정보를 이용하여 상기 기준 소리 데이터들을 필터링할 수 있다. 이 경우, 상기 소음원에 대한 정보는 옆방, 아래층 등과 같은 소음원의 위치에 관한 정보와 TV방송과 같은 소음원의 종류에 관한 정보를 포함할 수 있다.
즉, 상기 필터부(340)는 상기 소리 데이터에 포함된 주파수 분포 특징 및 소음원에 대한 정보를 이용하여 상기 기준 소리 데이터들에 일부 주파수 대역의 정보에 대하여 제거, 증강 또는 감쇄를 수행함으로써 상기 기준 소리 데이터들을 필터링할 수 있다.
이 경우, 상기 필터부(340)는 인공 뉴럴 네트워크(neural network), 제한된 볼츠만 머신(restricted Boltzmann machine)일 수 있다.
다음으로, 상기 검출부(330)는 상기 서버(300)의 상기 데이터베이스(320)에 저장된 기준 소리 데이터들 중, 상기 소리 데이터의 파동과 일치하는 파동을 가지는 원본 데이터를 검출한다(단계 S300). 즉, 상기 검출부(330)는 일부 주파수 대역의 정보가 제거, 증강 또는 감쇄된 기준 소리 데이터들 중에서 상기 소리 데이터와 비교하여 상기 원본 데이터를 검출한다.
이 경우, 앞서 설명한 바와 같이 상기 필터부(340)에서 상기 기준 소리 데이터들에 포함된 저주파 영역의 정보, 고주파 영역의 정보, 소리의 주파수 분포 특징, 소음원에 대한 정보 등에 관한 데이터를 선택적으로 제거하므로 상기 검출부(330)에서 상기 기준 소리 데이터들 중에서 상기 소리 데이터의 파동과 동일한 파동을 가지는 원본 데이터를 보다 용이하게 검출할 수 있다.
이 경우, 상기 소리가 특정 방송 프로그램에 의해 발생하는 음원일 경우, 상기 데이터베이스(320)는 방송 서버(미도시)와 통신하여 상기 방송 서버로부터 상기 특정 방송 프로그램에 관한 정보를 획득할 수 있다.
여기서, 상기 특정 방송 프로그램에 관한 정보는 예를 들어 상기 특정 방송 프로그램의 대본일 수 있으며, 상기 특정 방송 프로그램이 녹화 방송일 경우 기 방송된 영상일 수 있으며, 상기 특정 방송 프로그램에서 특정 사람의 음성만을 추출한 데이터일 수 있다.
이어서, 상기 비교부(350)는 상기 원본 데이터로부터 획득된 소리에 부합하도록 소리 감소 신호를 생성한다(단계 S400).
이 후, 상기 발생부(400)는 상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시킨다(단계 S500). 상기 발생부(400)는 상기 소리 감소 신호를 소리의 소음원 또는 사용자의 귀를 향하여 방출함으로써 현재 진행되는 소리를 상쇄시킬 수 있다.
도 7은 본 발명의 다른 실시예에 의한 소리 제거 시스템을 도시한 블록도이다.
본 실시예에 의한 소리 제거 시스템(11)은 재생장치(90)를 포함하고, 상기 서버(300)를 포함하지 않는 것을 제외하고는 도 1 내지 도 3을 참조하여 설명한 상기 소리 제거 시스템(10)과 실질적으로 동일하므로, 동일한 참조번호를 사용하고 중복되는 설명은 생략한다.
상기 재생장치(90)는 외부와 통신하여 소리를 획득하는 장치로 예를 들어, TV, 오디오, 라디오, 컴퓨터, 모바일 단말기 중 어느 하나일 수 있으며, 도시된 바와 같이 입력유닛(91), 재생유닛(92) 및 제어유닛(93)을 포함한다.
보다 구체적으로, 상기 재생장치(90)의 상기 입력유닛(91)은 외부로부터 소리를 획득하며, 상기 재생장치(90)가 TV일 경우 상기 소리는 상기 TV에서 방송되는 영상, 음성 등을 포함하는 뉴스, 드라마 등의 프로그램에 관한 정보일 수 있다.
상기 재생장치(90)의 상기 재생유닛(92)은 상기 입력유닛(91)에서 상기 획득한 소리를 스피커, 화면 등을 통해 출력하는 역할을 한다.
상기 재생장치(90)의 상기 제어유닛(93)은 상기 재생유닛(92)의 소리 출력을 제어하는 역할을 한다.
즉, 도 1 내지 도 3을 참조하여 설명한 상기 소리 제거 시스템(10)에서처럼 서버로부터 소리에 해당하는 원본 데이터를 미리 검출하지 못하는 경우, 예를 들어, 상기 재생장치가 TV이고 상기 소리가 생방송 프로그램에 관한 정보일 경우, 상기 원본 데이터로부터 상기 획득된 소리에 부합하도록 소리 감소 신호를 생성하지 못하여 상기 TV에서 발생하는 소리를 제거하지 못할 수 있다.
이에 따라, 본 실시예에서는 상기 입력유닛(91)이 소리를 획득하면 상기 입력부(100)로 소리를 전달한다.
그 다음, 상기 분석부(200)에서 상기 입력부(100)로 전달된 소리를 분석하여 상기 소리 데이터를 생성하면, 상기 발생부(400)는 상기 생성된 소리 데이터로부터 소리 감소 신호를 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시킨다.
이 경우, 상기 재생장치(90)가 상기 발생부(400)에서 소리 감소 신호를 재생함과 동시에 소리를 재생함으로써, 상기 재생되는 소리로부터 발생되는 소리를 제거할 수 있게 된다.
즉, 상기 재생장치(90)의 상기 제어유닛(93)이 상기 재생유닛(92)의 소리 출력을 제어함에 따라 상기 소리는 일정 시간 지연되어 상기 소리 감소 신호의 재생과 함께 재생될 수 있다.
도 8은 도 7의 소리 제거 시스템을 이용한 소리 제거 방법을 도시한 흐름도이다.
먼저, 상기 재생장치(90)는 재생되는 소리를 획득하고, 상기 획득한 소리를 상기 입력부(100)로 송신한다(단계 S10).
이 경우, 상기 재생장치(90)는 TV, 오디오, 라디오, 컴퓨터, 모바일 단말기 중 어느 하나일 수 있으며, 상기 재생장치(90)가 TV일 경우, 상기 소리는 상기 TV에서 방송되는 영상, 음성 등을 포함하는 뉴스, 드라마 등의 프로그램에 관한 정보일 수 있다.
그 다음, 상기 입력부(100)는 상기 분석부(200)로 상기 소리를 전달하고, 상기 분석부(200)는 상기 획득한 소리를 분석하여 소리 데이터의 형태로 생성한다(단계 S30).
이 경우, 특히 상기 소리가 TV에서 방송될 생방송 프로그램에 관한 정보일 경우, 상기 소리 데이터는 상기 생방송 프로그램에 포함된 대화 소리, 음악 등의 소리를 포함하는 데이터일 수 있다.
상기 분석부(200)가 상기 소리 데이터를 생성하여 상기 발생부(400)로 전달하면, 상기 발생부(400)는 상기 생성된 소리 데이터로부터 소리 감소 신호를 재생하여 소리와 음향적인 합성을 통해 상기 소리를 감소시킨다(단계 S40).
이 경우, 상기 재생장치(90)가 상기 소리 감소 신호를 재생함과 동시에 상기 소리를 재생함으로써, 상기 재생되는 소리로부터 발생되는 소리를 제거할 수 있게 된다.
도 9는 본 발명의 또 다른 실시예에 의한 소리 제거 시스템을 도시한 블록도이다.
도 9를 참조하면, 본 실시예에 의한 소리 제거 시스템(12)은 입력모듈(110), 분석부(210), 출력모듈(310) 및 수신부(500)를 포함한다. 이 경우, 상기 출력모듈(310)은 영상 출력부(311), 제1 출력부(312) 및 제2 출력부(313)를 포함한다.
상기 입력모듈(110)은 영상데이터와 음향데이터가 입력되는 것으로, 이 경우 입력되는 영상데이터 및 음향데이터는 모두 디지털화된 신호일 수 있다.
이와 같이 입력된 영상데이터 및 음향데이터는 각각 상기 출력모듈(310)의 영상 출력부(311) 및 제1 출력부(312)를 통해 영상과 음향으로 변환되어 출력된다.
다만, 본 실시예에서는 필요에 따라 상기 제1 출력부(312)를 통해 출력되는 상기 음향을 상쇄하여 제거가 가능하다.
즉, 상기 제2 출력부(313)에서는 상기 제1 출력부(312)에서 출력되는 음향을 상쇄하여 제거할 수 있는 상쇄음향을 출력할 수 있으며, 이를 통해 사용자가 제1 및 제2 출력부들(312, 313)을 통해 각각 출력되는 음향 및 상쇄음향을 동시에 청취하면, 결국 상기 음향은 제거되게 되며, 이를 통해 소리 제거 시스템을 구현할 수 있다.
한편, 이와 같은, 상쇄음향을 상기 제2 출력부(313)를 통해 제공하기 위해서는 상기 상쇄음향을 출력할 수 있도록 상기 입력되는 음향데이터를 분석하여 이를 상쇄하여 제거할 수 있는 상쇄 음향데이터의 생성이 필요하며, 상기 분석부(210)에서 이를 수행한다.
즉, 상기 분석부(210)는 상기 입력모듈(110)로 입력되는 디지털 신호는 상기 음향데이터를 분석하여, 이를 상쇄하여 제거할 수 있는 디지털 신호인 상쇄 음향데이터를 생성하며, 이렇게 생성된 상쇄 음향데이터를 상기 제2 출력부(313)로 제공한다.
그리하여, 상기 제2 출력부(313)에서는 상기 상쇄 음향데이터를 처리하여 상쇄음향으로 처리한다.
이 경우, 상기 분석부(210)에서 상쇄 음향데이터를 처리하는 것은 앞선 실시예들을 통해서, 소리 감소 신호를 디지털 신호로 생성하는 것과 실질적으로 동일하다.
또한, 상기 분석부(210)에서 상쇄 음향데이터를 처리하는 경우 소정의 시간이 필요할 수 있으며, 이를 위해 상기 영상 출력부(311) 및 상기 제1 출력부(312)에서는 영상 및 음향의 출력을 소정 시간 지연시킬 수 있으며, 이에 따라 상기 영상, 상기 음향 및 상기 상쇄음향은 모두 동시에 동기화되어 사용자에게 출력될 수 있다.
한편, 본 실시예에서, 상기 영상 출력부(311)는 일반적인 컴퓨터의 모니터, 모바일 단말기의 화면, TV의 화면 등일 수 있으며, 상기 제1 출력부(312)는 컴퓨터나 모바일 단말기 또는 TV 등에 일체화된 스피커, 또는 이와 별도로 구비되는 스피커, 나아가 이어폰 등으로 구현될 수 있다.
다만, 상기 제2 출력부(313)의 경우, 상기 제1 출력부(312)로서 구현되는 스피커와는 별도의 스피커로 구현되어야 하며, 바람직하게는 별도의 이어폰이나 헤드폰으로 구현되는 것이 필요하다.
그리하여, 사용자가 선택에 따라 제1 출력부(312)를 통해 출력되는 음향을 제거할 필요가 있다고 판단되는 경우, 별도의 이어폰이나 헤드폰을 착용함으로써 상쇄음향을 동시에 청취할 수 있고, 이를 통해 소리 제거가 구현될 수 있다.
한편, 상기 수신부(500)는 상기 제1 출력부(312)에서 출력되는 음향과 상기 제2 출력부(313)에서 출력되는 상쇄음향을 수신하며, 이를 상기 분석부(210)로 제공한다.
그리하여, 상기 분석부(210)에서는 상기 음향과 상기 상쇄음향이 동기화되어 출력되고 있는지, 나아가 상기 상쇄음향이 상기 음향을 정확하게 상쇄하여 제거하고 있는지를 실시간으로 피드백 받을 수 있으며, 이를 보정하여 상쇄음향의 출력 시기를 제어하거나 상쇄 음향데이터를 보다 정확하게 생성할 수 있다.
본 발명의 실시예들에 의하면, 소리가 획득되면 서버의 데이터베이스에 기 저장된 기준 소리 데이터들을 검색하여 사용자가 듣게 되는 실제 소리를 추정함으로써, 현재 진행되는 소리와 시간차이를 두지 않고 현재 진행되는 소리를 상쇄하는 소리 감소 신호를 발생시킬 수 있어, 현재 진행되는 소리와 소리 감소 신호 간의 시간 제약을 줄여 현재 진행되는 소리를 효과적으로 제거할 수 있다.
또한, 필터부에서 소음의 주파수 분포 특징 그리고/또는 소음원에 대한 정보 등을 이용하여 기준 소음 데이터의 일부 주파수 대역의 정보를 선택적으로 증강, 제거, 또는 감쇄함으로써, 현재 진행되는 소음과 비교적 유사한 원본 데이터를 획득할 수 있으며, 이를 통해 현재 진행되는 소음을 정확하게 예측할 수 있어 소음을 효과적으로 제거할 수 있다.
나아가, 재생 장치에서 재생되는 소리에 대한 기준 소리 데이터들이 서버에 미리 저장되지 않을 경우, 상기 재생 장치가 발생부에서 소리 감소 신호를 재생함과 동시에 소리를 재생시킴에 따라, 상기 재생 장치에서 재생되는 소리로부터 발생되는 소리를 효과적으로 제거할 수 있다.
더 나아가, 하나의 입력모듈로 제공되는 음향데이터를 출력 신호인 음향으로 변환함과 동시에 이를 상쇄할 수 있는 상쇄음향데이터도 동시에 출력 신호인 상쇄음향으로 출력을 수행할 수 있어, 하나의 기기에서 음향과 상쇄음향이 동시에 출력되며, 이에 따라 사용자가 필요에 따라 상쇄음향을 선택적으로 청취할 수 있다. 따라서, 사용자의 선택에 따라 음향을 제거하여 소리를 제거할 수 있는 효과를 가져올 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
90 : 재생장치 91 : 입력유닛
92 : 재생유닛 93 : 제어유닛
100 : 입력부 110 : 입력모듈
200 : 분석부 210 : 분석부
300 : 서버 301 : 수신부
302 : 송신부 310 : 출력모듈
311 : 영상 출력부 312 : 제1 출력부
313 : 제2 출력부 320 : 데이터베이스
330 : 검출부 340 : 필터부
350 : 비교부 400 : 발생부
500 : 수신부

Claims (19)

  1. 소리를 획득하는 입력부;
    상기 입력부로부터 획득된 소리의 일부분을 분석하여 소리 데이터를 생성하는 분석부;
    기준 소리 데이터들을 저장하는 데이터베이스 및 상기 소리 데이터와 상기 기준 소리 데이터들을 비교하여 원본 데이터를 검출하는 검출부를 포함하는 서버;
    상기 원본 데이터를 이용하여 상기 입력부로부터 획득된 소리를 선택적으로 감소시키는 소리 감소 신호를 생성하는 비교부; 및
    상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 선택적으로 감소시키는 발생부를 포함하고,
    상기 데이터베이스에는 소리로 발생되는 음원들의 원본 데이터가 기 저장되며,
    상기 원본 데이터는 사용자가 듣게 되는 소리의 전체 형태를 포함하는 데이터로, 원곡의 반주음악, 악보, 가사 데이터, 드라마 대본, 라디오 대본 중 적어도 하나를 포함하는 것을 특징으로 하는 소리 제거 시스템.
  2. 제1항에 있어서, 상기 소리 데이터는,
    상기 소리의 주파수 분포 특징 및 소음원에 대한 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 소리 제거 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 서버는,
    상기 기준 소리 데이터들을 필터링하여 상기 기준 소리 데이터들을 상기 소리 데이터의 특성에 부합하도록 가공하는 필터부를 더 포함하는 것을 특징으로 하는 소리 제거 시스템.
  4. 제3항에 있어서, 상기 필터부는,
    상기 소리 데이터에 포함된 소리의 주파수 분포 특징 및/또는 소음원에 대한 정보를 이용하여 상기 기준 소리 데이터들의 일부 주파수 대역의 정보를 제거, 증강 또는 감쇄하는 것을 특징으로 하는 소리 제거 시스템.
  5. 제4항에 있어서, 상기 필터부는,
    로우 패스 필터(low-pass filter), 하이패스 필터(high-pass filter), 인공 뉴럴 네트워크(neural networks) 또는 제한된 볼츠만 머신(restricted Boltzmann machine) 중 적어도 어느 하나인 것을 특징으로 하는 소리 제거 시스템.
  6. 제5항에 있어서, 상기 검출부는,
    상기 일부 주파수 대역의 정보가 제거, 증강 또는 감쇄된 기준 소리 데이터들 중에서 상기 소리 데이터와 비교하여 상기 원본 데이터를 검출하는 것을 특징으로 하는 소리 제거 시스템.
  7. 제1항에 있어서, 상기 입력부, 상기 분석부 및 상기 발생부는,
    사용자의 귀를 감싸는 헤드셋 내부에 형성되거나,
    실내 공간의 벽 또는 천장에 설치되는 스피커의 내부에 형성되는 것을 특징으로 하는 소리 제거 시스템.
  8. 재생되는 소리를 획득하는 재생장치;
    상기 재생장치로부터 획득된 상기 소리를 전달받는 입력부;
    상기 소리를 분석하여 소리 데이터를 생성하는 분석부;
    기준 소리 데이터들을 저장하는 데이터베이스 및 상기 소리 데이터와 상기 기준 소리 데이터들을 비교하여 원본 데이터를 검출하는 검출부를 포함하는 서버; 및
    상기 원본 데이터를 이용하여 상기 입력부로부터 획득된 소리를 감소시키는 소리 감소 신호를 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시키는 발생부를 포함하며,
    상기 데이터베이스에는 소리로 발생되는 음원들의 원본 데이터가 기 저장되며,
    상기 원본 데이터는 사용자가 듣게 되는 소리의 전체 형태를 포함하는 데이터로, 원곡의 반주음악, 악보, 가사 데이터, 드라마 대본, 라디오 대본 중 적어도 하나를 포함하고,
    상기 소리는 일정 시간 지연되어, 소리 감소 신호의 재생과 함께 재생되는 것을 특징으로 하는 소리 제거 시스템.
  9. 제8항에 있어서, 상기 재생장치는,
    TV, 오디오, 라디오, 컴퓨터, 모바일 단말기 중 어느 하나인 것을 특징으로 하는 소리 제거 시스템.
  10. 제8항에 있어서, 상기 재생장치는,
    상기 소리를 획득하는 입력유닛;
    상기 소리를 출력하는 재생유닛; 및
    상기 재생유닛의 소리 출력을 제어하는 제어유닛을 포함하는 것을 특징으로 하는 소리 제거 시스템.
  11. 제10항에 있어서,
    상기 제어유닛이 상기 재생유닛의 소리 출력을 제어함에 따라, 상기 소리는 일정 시간 지연되어 상기 소리 감소 신호의 재생과 함께 재생되는 것을 특징으로 하는 소리 제거 시스템.
  12. 소리를 획득하는 단계;
    상기 획득된 소리의 일부분을 분석하여 소리 데이터를 생성하는 단계;
    상기 소리 데이터와 데이터베이스에 저장된 기준 소리 데이터들을 비교하여 원본 데이터를 검출하는 단계;
    상기 원본 데이터를 이용하여 상기 획득된 소리를 선택적으로 감소시키는 소리 감소 신호를 생성하는 단계; 및
    상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 선택적으로 감소시키는 단계를 포함하고,
    상기 데이터베이스에는 소리로 발생되는 음원들의 원본 데이터가 기 저장되며,
    상기 원본 데이터는 사용자가 듣게 되는 소리의 전체 형태를 포함하는 데이터로, 원곡의 반주음악, 악보, 가사 데이터, 드라마 대본, 라디오 대본 중 적어도 하나를 포함하는 것을 특징으로 하는 소리 제거 방법.
  13. 재생되는 소리를 획득하는 단계;
    상기 획득한 소리를 송신하는 단계;
    상기 소리를 분석하여 소리 데이터를 생성하는 단계;
    기준 소리 데이터들을 저장하는 데이터베이스로부터, 상기 소리 데이터와 상기 기준 소리 데이터들을 비교하여 원본 데이터를 검출하는 단계; 및상기 원본 데이터를 이용하여 상기 획득된 소리를 감소시키는 소리 감소 신호를 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시키는 단계를 포함하고,
    상기 데이터베이스에는 소리로 발생되는 음원들의 원본 데이터가 기 저장되며,
    상기 원본 데이터는 사용자가 듣게 되는 소리의 전체 형태를 포함하는 데이터로, 원곡의 반주음악, 악보, 가사 데이터, 드라마 대본, 라디오 대본 중 적어도 하나를 포함하고,
    상기 소리는 일정시간 지연되어, 상기 소리 감소 신호를 재생함과 동시에 상기 소리를 재생하는 것을 특징으로 하는 소리 제거 방법.
  14. 영상데이터와 음향데이터가 입력되는 입력모듈;
    상기 음향데이터를 분석하여 상기 음향데이터를 상쇄하여 제거하는 상쇄 음향데이터를 생성하는 분석부; 및
    상기 영상데이터를 영상으로 출력하는 영상 출력부, 상기 음향데이터를 음향으로 출력하는 제1 출력부, 및 상기 상쇄 음향데이터를 상쇄음향으로 출력하는 제2 출력부를 포함하는 출력모듈을 포함하고,
    상기 입력된 음향데이터를, 데이터베이스에 저장된 기준 음향데이터와 비교하여 원본 데이터를 검출하고, 상기 원본 데이터를 이용하여 상기 입력된 음향데이터를 상쇄하여 제거하는 상쇄 음향데이터를 생성하며,
    상기 영상 출력부 및 상기 제1 출력부는, 상기 분석부에서 상기 상쇄 음향데이터를 생성하기 위해 필요한 시간을 고려하여, 상기 영상 및 상기 음향의 출력을 소정 시간 지연시키는 것을 특징으로 하는 소리 제거 시스템.
  15. 제14항에 있어서,
    상기 영상, 상기 음향 및 상기 상쇄음향은 동기화 되어 사용자에게 출력되는 것을 특징으로 하는 소리 제거 시스템.
  16. 제14항에 있어서,
    상기 제1 출력부는 스피커이고, 상기 제2 출력부는 헤드폰이며,
    사용자가 상기 제2 출력부를 착용하지 않으면, 상기 제1 출력부를 통해 상쇄되지 않은 음향이 출력되며,
    사용자가 상기 제2 출력부를 착용함에 따라, 상기 제1 출력부에서 출력되는 음향은 상쇄되어 제거되는 것을 특징으로 하는 소리 제거 시스템.
  17. 제14항에 있어서,
    상기 음향 데이터는 디지털 데이터이고, 상기 분석부는 상기 음향데이터를 제거하는 디지털 데이터인 상기 상쇄 음향데이터를 생성하는 것을 특징으로 하는 소리 제거 시스템.
  18. 제14항에 있어서,
    상기 제1 출력부에서 출력되는 음향과 상기 제2 출력부에서 출력되는 상쇄음향을 수신하여, 수신된 정보를 상기 분석부로 제공하는 수신부를 더 포함하는 소리 제거 시스템.
  19. 영상데이터와 음향데이터가 입력되는 입력모듈;
    상기 음향데이터를 분석하여 상기 음향데이터를 상쇄하여 제거하는 상쇄 음향데이터를 생성하는 분석부; 및
    상기 영상데이터를 영상으로 출력하는 영상 출력부, 상기 음향데이터를 음향으로 출력하는 스피커인 제1 출력부, 및 상기 상쇄 음향데이터를 상쇄음향으로 출력하는 헤드폰인 제2 출력부를 포함하는 출력모듈을 포함하고,
    상기 영상 출력부 및 상기 제1 출력부는, 상기 분석부에서 상기 상쇄 음향데이터를 생성하기 위해 필요한 시간을 고려하여, 상기 영상 및 상기 음향의 출력을 소정 시간 지연시키고,
    상기 영상 출력부는 상쇄되지 않은 영상이 그대로 출력되며,
    상기 영상 출력부의 영상 출력과 함께, 사용자가 상기 제2 출력부를 착용하지 않으면, 상기 제1 출력부를 통해 상쇄되지 않은 음향이 출력되며, 사용자가 상기 제2 출력부를 착용하면 상기 제1 출력부에서 출력되는 음향은 상쇄되어 제거되는 것을 특징으로 하는 소리 제거 시스템.
KR1020200054499A 2020-05-07 2020-05-07 소리 제거 시스템 및 이를 이용한 소리 제거 방법 KR102196519B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200054499A KR102196519B1 (ko) 2020-05-07 2020-05-07 소리 제거 시스템 및 이를 이용한 소리 제거 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200054499A KR102196519B1 (ko) 2020-05-07 2020-05-07 소리 제거 시스템 및 이를 이용한 소리 제거 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180061503A Division KR102113572B1 (ko) 2018-05-30 2018-05-30 소리 제거 시스템 및 이를 이용한 소리 제거 방법

Publications (2)

Publication Number Publication Date
KR20200054923A KR20200054923A (ko) 2020-05-20
KR102196519B1 true KR102196519B1 (ko) 2020-12-30

Family

ID=70919535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200054499A KR102196519B1 (ko) 2020-05-07 2020-05-07 소리 제거 시스템 및 이를 이용한 소리 제거 방법

Country Status (1)

Country Link
KR (1) KR102196519B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102544793B1 (ko) * 2023-03-29 2023-06-20 경상남도 (교육청) 노이즈 캔슬링 원리 체험 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009047968A1 (ja) * 2007-10-10 2009-04-16 Kabushiki Kaisha Audio-Technica ノイズキャンセルヘッドホン

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980065705U (ko) * 1997-05-07 1998-12-05 배순훈 음성노이즈신호가 제거된 브이씨디플레이어
KR100258792B1 (ko) 1997-08-04 2000-06-15 윤덕용 피드백 제어식 소음억제 장치 및 오픈 루프식 소음억제 장치
JP4186745B2 (ja) * 2003-08-01 2008-11-26 ソニー株式会社 マイクロホン装置、ノイズ低減方法および記録装置
KR101659895B1 (ko) * 2014-01-23 2016-09-26 강릉원주대학교산학협력단 소음 제어 및 감쇄 유도를 위한 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009047968A1 (ja) * 2007-10-10 2009-04-16 Kabushiki Kaisha Audio-Technica ノイズキャンセルヘッドホン

Also Published As

Publication number Publication date
KR20200054923A (ko) 2020-05-20

Similar Documents

Publication Publication Date Title
US9648436B2 (en) Augmented reality sound system
JP4591557B2 (ja) 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
KR101984356B1 (ko) 오디오 장면 장치
US9747367B2 (en) Communication system for establishing and providing preferred audio
US8194865B2 (en) Method and device for sound detection and audio control
KR102470962B1 (ko) 사운드 소스들을 향상시키기 위한 방법 및 장치
US20120101819A1 (en) System and a method for providing sound signals
US20120245933A1 (en) Adaptive ambient sound suppression and speech tracking
JP5259622B2 (ja) 収音装置、収音方法、収音プログラム、および集積回路
US8315399B2 (en) Device for and a method of processing audio data
JP2009530950A (ja) ウェアラブル装置のためのデータ処理
JP2008122729A (ja) ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラムおよびノイズ低減音声出力装置
US10555108B2 (en) Filter generation device, method for generating filter, and program
CN110337819A (zh) 来自设备中具有不对称几何形状的多个麦克风的空间元数据的分析
KR102191736B1 (ko) 인공신경망을 이용한 음성향상방법 및 장치
WO2016185668A1 (ja) 指向性制御システム及び音声出力制御方法
US20160267925A1 (en) Audio processing apparatus that outputs, among sounds surrounding user, sound to be provided to user
JP2014174255A5 (ko)
EP3005362B1 (en) Apparatus and method for improving a perception of a sound signal
CN110970010A (zh) 噪音消除方法、装置、存储介质及设备
KR102196519B1 (ko) 소리 제거 시스템 및 이를 이용한 소리 제거 방법
WO2020036058A1 (ja) 信号処理装置および方法、並びにプログラム
KR102113572B1 (ko) 소리 제거 시스템 및 이를 이용한 소리 제거 방법
KR102392460B1 (ko) 소음 제거 장치 및 방법
JP2008228198A (ja) 再生音調整装置及び再生音調整方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant