KR20200054923A

KR20200054923A - Sound reduction system and sound reduction method using the same

Info

Publication number: KR20200054923A
Application number: KR1020200054499A
Authority: KR
Inventors: 심재완; 하헌필
Original assignee: 한국과학기술연구원
Priority date: 2020-05-07
Filing date: 2020-05-07
Publication date: 2020-05-20
Also published as: KR102196519B1

Abstract

Disclosed are a sound removal system and a sound removal method using the same. The sound removal system includes: an input unit for acquiring sound; an analysis unit that analyzes the acquired sound and generates sound data; a server including a database for storing reference sound data and a detection unit for comparing the sound data with the reference sound data to detect original data; a comparison unit for generating a sound reduction signal to match the sound obtained from the original data; and a generation unit that reproduces the sound reduction signal as sound and reduces the sound through acoustic synthesis of the sound.

Description

SOUND REDUCTION SYSTEM AND SOUND REDUCTION METHOD USING THE SAME}

본 발명은 소리 제거 시스템 및 이를 이용한 소리 제거 방법에 관한 것으로, 더욱 상세하게는 입력 받은 소리를 미리 저장된 기준데이터와 비교하여 입력 받은 소리에 관한 정보를 파악하고 이를 바탕으로 상쇄파형을 출력함에 따라 소리를 효과적으로 상쇄할 수 있는 소리 제거 시스템 및 이를 이용한 소리 제거 방법에 관한 것이다.The present invention relates to a sound removal system and a sound removal method using the same, and more specifically, compares the received sound with pre-stored reference data to identify information about the received sound and outputs an offset waveform based on the sound. It relates to a sound removal system that can effectively cancel and a sound removal method using the same.

일반적으로, 현대 사회에 사는 사람들은 산업 발달과 더불어 환경오염과 공해 속에서 생활하고 있다고 할 수 있다. 더욱이, 소음의 홍수 속에 생활하여야 한다고 할 정도이며, 소음은 환경 공해의 하나로써 현대인들에게는 막대한 정신적인 피해를 주고 있다.In general, people living in modern society can be said to live in environmental pollution and pollution with industrial development. Moreover, it is said that it is necessary to live in a flood of noise, and noise is one of environmental pollution, which is causing a great deal of mental damage to modern people.

따라서 소음을 억제하기 위한 노력이 있었지만, 기본적인 기술에 큰 발전은 없었다. 수동적인 소음 방지책으로 소음원을 멀리 두거나, 소음원과의 사이에 소음을 막는 벽을 세우는 것이 대표적이다.Therefore, efforts have been made to suppress noise, but there has been no significant improvement in basic technology. As a passive anti-noise measure, it is typical to keep the noise source away or to build a wall to block the noise between the noise sources.

이러한 종래의 문제점을 해결하고자 대한민국 공개특허 공보 특1999-015238호(능동 소음 제어를 이용한 실내 소음의 제어방법)외 다수가 출원되어 있는 상태이다.In order to solve this conventional problem, a number of applications have been filed in Korea Patent Application Publication No. 1999-015238 (the method for controlling indoor noise using active noise control).

상기 특허를 포함하는 종래의 소음 제거 시스템은 외부의 음향을 취득하기 위한 다수개의 마이크와, 마이크를 통해 취득되는 음향 중 소음이 발생되는 지점에 집중하여 소음을 취득하는 다수개의 빔 어레이 센서와, 빔 어레이 센서에서 취득된 소음의 정도에 따라 검출된 소음을 반전/지연하는 역위상 소음 발생 수단, 및 역위상 소음 발생수단에서 출력되는 소음을 실내 어느 지점을 향하도록 설치된 다수개의 스피커로 구성된다.The conventional noise canceling system including the patent includes a plurality of microphones for acquiring external sound, a plurality of beam array sensors for acquiring noise by focusing on a point at which noise is generated among sounds acquired through the microphone, and a beam It is composed of a reverse phase noise generating means for reversing / delaying the detected noise according to the degree of noise acquired from the array sensor, and a plurality of speakers installed so that the noise output from the reverse phase noise generating means is directed to any point in the room.

그러나, 종래의 소음 제거 시스템은 실제 음원과 주변 잡음을 포함하는 소음을 측정하여 측정된 소음을 위상 반전시켜 상쇄시키는 것으로, 원음과 완전히 반대되는 위상의 음파를 생성하기 어렵고, 수신에서 반대위상 음파 생성까지의 시간적 차이가 발생하는 단점이 있다.However, the conventional noise canceling system cancels the measured noise by reversing the phase by measuring the noise including the actual sound source and ambient noise, making it difficult to generate a sound wave having a phase that is completely opposite to the original sound, and generating an opposite phase sound wave at reception There is a disadvantage in that the time difference up to.

대한민국 등록특허 특1999-015238호Republic of Korea Patent Registration No. 1999-015238

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 입력 받은 소리를 미리 저장된 기준데이터와 비교하여 입력 받은 소리에 관한 정보를 파악하고 이를 바탕으로 상쇄파형을 출력함에 따라 소리를 효과적으로 상쇄할 수 있는 소리 제거 시스템에 관한 것이다.Accordingly, the technical problem of the present invention is conceived in this regard, and the object of the present invention is to compare the received sound with pre-stored reference data to identify information on the received sound and output the offset waveform based on the sound. It relates to a sound cancellation system that can effectively cancel.

본 발명의 다른 목적은 상기 소리 제거 시스템을 이용한 소리 제거 방법에 관한 것이다.Another object of the present invention relates to a sound removal method using the sound removal system.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 소리 제거 시스템은 소리를 획득하는 입력부, 상기 입력부로부터 획득된 소리의 일부분을 분석하여 소리 데이터를 생성하는 분석부, 기준 소리 데이터들을 저장하는 데이터베이스 및 상기 소리 데이터와 상기 기준 소리 데이터들을 비교하여 원본 데이터를 검출하는 검출부를 포함하는 서버, 상기 원본 데이터를 이용하여 상기 획득된 소리를 선택적으로 감소시키는 소리 감소 신호를 생성하는 비교부 및 상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 선택적으로 감소시키는 발생부를 포함한다.The sound removal system according to an embodiment for realizing the object of the present invention described above is an input unit for acquiring sound, an analysis unit for analyzing a part of the sound obtained from the input unit to generate sound data, and storing reference sound data A server including a database and a detection unit that compares the sound data and the reference sound data to detect original data, a comparison unit that generates a sound reduction signal that selectively reduces the acquired sound using the original data, and the sound And a generator for selectively reducing the sound through acoustic synthesis with the sound by reproducing the reduction signal as sound.

일 실시예에서, 상기 소리 데이터는 상기 소리의 주파수 분포 특징 및 소음원에 대한 정보 중 적어도 하나를 더 포함할 수 있다.In one embodiment, the sound data may further include at least one of a frequency distribution characteristic of the sound and information about a noise source.

일 실시예에서, 상기 서버는 상기 기준 소리 데이터들을 필터링하여 상기 기준 소리 데이터들을 상기 소리 데이터의 특성에 부합하도록 가공하는 필터부를 더 포함할 수 있다.In one embodiment, the server may further include a filter unit that filters the reference sound data and processes the reference sound data to match the characteristics of the sound data.

일 실시예에서, 상기 필터부는 상기 소리 데이터에 포함된 소리의 주파수 분포 특징 및/또는 소음원에 대한 정보를 이용하여 상기 기준 소리 데이터들의 일부 주파수 대역의 정보를 제거, 증강 또는 감쇄할 수 있다.In one embodiment, the filter unit may remove, augment, or attenuate information in some frequency bands of the reference sound data by using information on the frequency distribution characteristics and / or noise sources of the sound included in the sound data.

일 실시예에서, 상기 필터부는 로우 패스 필터(low-pass filter), 하이패스 필터(high-pass filter), 인공 뉴럴 네트워크(neural networks) 또는 제한된 볼츠만 머신(restricted Boltzmann machine) 중 적어도 어느 하나일 수 있다. In one embodiment, the filter unit may be at least one of a low-pass filter, a high-pass filter, artificial neural networks or a restricted Boltzmann machine. have.

일 실시예에서, 상기 검출부는 상기 일부 주파수 대역의 정보가 제거, 증강 또는 감쇄된 기준 소리 데이터들 중에서 상기 소리 데이터와 비교하여 상기 원본 데이터를 검출할 수 있다.In one embodiment, the detection unit may detect the original data by comparing the sound data among the reference sound data from which information of the partial frequency band is removed, augmented, or attenuated.

일 실시예에서, 상기 입력부, 상기 분석부 및 상기 발생부는 사용자의 귀를 감싸는 헤드셋 내부에 형성되거나, 실내 공간의 벽 또는 천장에 설치되는 스피커의 내부에 형성될 수 있다.In one embodiment, the input unit, the analysis unit, and the generation unit may be formed inside a headset that surrounds a user's ear, or may be formed inside a speaker installed on a wall or ceiling of an indoor space.

일 실시예에서, 상기 데이터베이스에는 음악, 방송되었거나 방송될 라디오 또는 TV의 음원, 상영되었거나 상영될 영화의 음원이 저장될 수 있다.In one embodiment, the database may store music, a sound source of a radio or TV to be broadcast or broadcast, and a sound source of a screened or to be screened movie.

상기한 본 발명의 목적을 실현하기 위한 다른 실시예에 따른 소리 제거 시스템은 재생되는 소리를 획득하는 재생장치, 상기 재생장치로부터 획득된 상기 소리를 전달받는 입력부, 상기 소리를 분석하여 소리 데이터를 생성하는 분석부 및 상기 생성된 소리 데이터로부터 소리 감소 신호를 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시키는 발생부를 포함하며, 상기 재생장치는 상기 발생부에서 소리 감소 신호를 재생함과 동시에 소리를 재생시키는 것을 특징으로 한다.The sound removal system according to another embodiment for realizing the object of the present invention described above is a playback device that acquires a sound to be played back, an input unit that receives the sound obtained from the playback device, and analyzes the sound to generate sound data And an generating unit that reproduces the sound reduction signal from the generated sound data and reduces the sound through acoustic synthesis with the sound, and the playback device simultaneously reproduces the sound reduction signal from the generation unit. It is characterized by reproducing the sound.

일 실시예에서, 상기 재생장치는 TV, 오디오, 라디오, 컴퓨터, 모바일 단말기 중 어느 하나일 수 있다.In one embodiment, the playback device may be any one of a TV, audio, radio, computer, and mobile terminal.

일 실시예에서, 상기 재생장치는 상기 소리를 획득하는 입력유닛, 상기 소리를 출력하는 재생유닛 및 상기 재생유닛의 소리 출력을 제어하는 제어유닛을 포함할 수 있다.In one embodiment, the playback device may include an input unit that acquires the sound, a playback unit that outputs the sound, and a control unit that controls sound output of the playback unit.

일 실시예에서, 상기 제어유닛이 상기 재생유닛의 소리 출력을 제어함에 따라, 상기 소리는 일정 시간 지연되어 상기 소리 감소 신호의 재생과 함께 재생될 수 있다.In one embodiment, as the control unit controls the sound output of the reproduction unit, the sound may be delayed for a predetermined time and reproduced together with the reproduction of the sound reduction signal.

상기한 본 발명의 목적을 실현하기 위한 또 다른 실시예에 따른 상기 소리 제거 시스템은 영상데이터와 음향데이터가 입력되는 입력모듈, 상기 음향데이터를 분석하여 상기 음향데이터를 상쇄하여 제거하는 상쇄 음향데이터를 생성하는 분석부 및 상기 영상데이터를 영상으로 출력하는 영상 출력부, 상기 음향데이터를 음향으로 출력하는 제1 출력부, 및 상기 상쇄 음향데이터를 상쇄음향으로 출력하는 제2 출력부를 포함하는 출력모듈을 포함한다.The sound removal system according to another embodiment for realizing the above object of the present invention is an input module to which image data and sound data are input, and analyzes the sound data to cancel the sound data to cancel the sound data. An output module including an analysis unit to generate, an image output unit to output the image data as an image, a first output unit to output the sound data as sound, and a second output unit to output the offset sound data as an offset sound. Includes.

일 실시예에서, 상기 영상, 상기 음향 및 상기 상쇄음향은 동시에 출력될 수 있다.In one embodiment, the image, the sound, and the offset sound may be output simultaneously.

일 실시예에서, 상기 제1 출력부는 스피커이고, 상기 제2 출력부는 헤드폰이며, 사용자가 상기 제2 출력부를 착용함에 따라 상기 제1 출력부에서 출력되는 음향은 상쇄되어 제거될 수 있다.In one embodiment, the first output unit is a speaker, the second output unit is a headphone, and as a user wears the second output unit, sound output from the first output unit may be canceled out.

일 실시예에서, 상기 음향데이터는 디지털 데이터이고, 상기 분석부는 상기 음향데이터를 제거하는 디지털 데이터인 상기 상쇄 음향데이터를 생성할 수 있다.In one embodiment, the acoustic data is digital data, and the analysis unit may generate the offset acoustic data that is digital data for removing the acoustic data.

일 실시예에서, 상기 제1 출력부에서 출력되는 음향과 상기 제2 출력부에서 출력되는 상쇄음향을 수신하여, 수신된 정보를 상기 분석부로 제공하는 수신부를 더 포함할 수 있다.In one embodiment, the receiving unit for receiving the sound output from the first output unit and the offset sound output from the second output unit, may further include a receiving unit for providing the received information to the analysis unit.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 상기 소리 제거 시스템을 이용한 소리 제거 방법에서, 소리를 획득한다. 상기 획득된 소리의 일부분을 분석하여 소리 데이터를 생성한다. 상기 소리 데이터와 데이터베이스에 저장된 기준 소리 데이터들을 비교하여 상기 기준 소리 데이터들 중에서 원본 데이터를 검출한다. 상기 원본 데이터를 이용하여 상기 획득된 소리를 선택적으로 감소시키는 소리 감소 신호를 생성한다. 상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 선택적으로 감소시킨다.In the sound removal method using the sound removal system according to an embodiment for realizing the object of the present invention described above, sound is acquired. A part of the acquired sound is analyzed to generate sound data. The original data is detected from the reference sound data by comparing the sound data with reference sound data stored in a database. A sound reduction signal is selectively generated that selectively reduces the acquired sound using the original data. The sound reduction signal is reproduced as sound to selectively reduce the sound through acoustic synthesis with the sound.

상기한 본 발명의 다른 목적을 실현하기 위한 다른 실시예에 따른 상기 소리 제거 시스템을 이용한 소리 제거 방법에서, 재생되는 소리를 획득한다. 상기 획득한 소리를 송신한다. 상기 소리를 분석하여 소리 데이터를 생성한다. 상기 생성된 소리 데이터로부터 소리 감소 신호를 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시킨다. 상기 소리 감소 신호를 재생함과 동시에 상기 소리를 재생하는 것을 특징으로 한다.In the sound removing method using the sound removing system according to another embodiment for realizing another object of the present invention described above, a reproduced sound is acquired. The acquired sound is transmitted. The sound is analyzed to generate sound data. The sound reduction signal is reproduced from the generated sound data to reduce the sound through acoustic synthesis with the sound. The sound reduction signal is reproduced and the sound is reproduced.

본 발명의 실시예들에 의하면, 소리가 획득되면 서버의 데이터베이스에 기 저장된 기준 소리 데이터들을 검색하여 사용자가 듣게 되는 실제 소리를 추정함으로써, 현재 진행되는 소리와 시간차이를 두지 않고 현재 진행되는 소리를 상쇄하는 소리 감소 신호를 발생시킬 수 있어, 현재 진행되는 소리와 소리 감소 신호 간의 시간 제약을 줄여 현재 진행되는 소리를 효과적으로 제거할 수 있다.According to embodiments of the present invention, when a sound is acquired, by searching for reference sound data pre-stored in the database of the server and estimating the actual sound that the user hears, the sound currently being processed without a time difference between the sound currently being processed Since an offset sound reduction signal can be generated, it is possible to effectively remove the current sound by reducing the time constraint between the sound currently being processed and the sound reduction signal.

또한, 필터부에서 소음의 주파수 분포 특징 그리고/또는 소음원에 대한 정보 등을 이용하여 기준 소음 데이터의 일부 주파수 대역의 정보를 선택적으로 증강, 제거, 또는 감쇄함으로써, 현재 진행되는 소음과 비교적 유사한 원본 데이터를 획득할 수 있으며, 이를 통해 현재 진행되는 소음을 정확하게 예측할 수 있어 소음을 효과적으로 제거할 수 있다.In addition, the filter unit selectively augments, removes, or attenuates information in some frequency bands of the reference noise data by using the frequency distribution characteristics of the noise and / or information about the noise source, so that the original data is relatively similar to the current noise. It can be obtained, and through this, it is possible to accurately predict the current noise, thereby effectively removing the noise.

나아가, 재생 장치에서 재생되는 소리에 대한 기준 소리 데이터들이 서버에 미리 저장되지 않을 경우, 상기 재생 장치가 발생부에서 소리 감소 신호를 재생함과 동시에 소리를 재생시킴에 따라, 상기 재생 장치에서 재생되는 소리로부터 발생되는 소리를 효과적으로 제거할 수 있다.Furthermore, when the reference sound data for the sound played in the playback device is not stored in the server in advance, the playback device plays the sound reduction signal and plays the sound at the same time, so that the playback device plays the sound. The sound generated from the sound can be effectively removed.

더 나아가, 하나의 입력모듈로 제공되는 음향데이터를 출력 신호인 음향으로 변환함과 동시에 이를 상쇄할 수 있는 상쇄음향데이터도 동시에 출력 신호인 상쇄음향으로 출력을 수행할 수 있어, 하나의 기기에서 음향과 상쇄 음향이 동시에 출력되며, 이에 따라 사용자가 필요에 따라 상쇄 음향을 선택적으로 청취할 수 있다. 따라서, 사용자의 선택에 따라 음향을 제거하여 소리를 제거할 수 있는 효과를 가져올 수 있다. Furthermore, the sound data provided by one input module is converted into sound as an output signal, and at the same time, the offset sound data capable of canceling the same can also be output as the offset sound as an output signal, so that the sound is output from one device. And the offset sound are output at the same time, so that the user can selectively listen to the offset sound as needed. Therefore, it is possible to remove the sound according to the user's selection, thereby bringing the effect of removing the sound.

도 1은 본 발명의 일 실시예에 의한 소리 제거 시스템을 도시한 블록도이다.
도 2는 도 1의 입력부로부터 획득된 임의의 소리의 일부 신호를 나타내는 그래프이다.
도 3은 도 1의 분석부에서 도 2의 획득된 소리의 신호를 분석하여 생성한 예로, 스펙트로그램(spectrogram)으로 처리된 소리 신호를 나타낸 그래프이다.
도 4는 도 1의 소리 제거 시스템의 입력부, 분석부 및 발생부가 내부에 형성되는 헤드셋의 외형 및 사용자의 착용 상태를 나타낸 도면이다.
도 5는 도 1의 소리 제거 시스템의 입력부, 분석부 및 발생부가 내부에 형성되는 스피커를 도시한 도면으로, 상기 스피커가 내부공간의 벽 및/또는 천정부에 설치되는 상태를 도시한 도면이다.
도 6은 도 1의 소리 제거 시스템을 이용한 소리 제거 방법을 도시한 흐름도이다.
도 7은 본 발명의 다른 실시예에 의한 소리 제거 시스템을 도시한 블록도이다.
도 8은 도 7의 소리 제거 시스템을 이용한 소리 제거 방법을 도시한 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 의한 소리 제거 시스템을 도시한 블록도이다.1 is a block diagram showing a sound removal system according to an embodiment of the present invention.
FIG. 2 is a graph showing some signals of an arbitrary sound obtained from the input unit of FIG. 1.
3 is an example generated by analyzing the signal of the acquired sound of FIG. 2 in the analysis unit of FIG. 1, and is a graph showing a sound signal processed by a spectrogram.
4 is a view showing the appearance of the headset and the user's wearing state in which the input unit, the analysis unit, and the generation unit of the sound removal system of FIG. 1 are formed inside.
FIG. 5 is a diagram showing a speaker in which an input unit, an analysis unit, and a generator of the sound removal system of FIG. 1 are formed inside, and is a view showing a state in which the speaker is installed on the wall and / or ceiling of the interior space.
FIG. 6 is a flowchart illustrating a sound removal method using the sound removal system of FIG. 1.
7 is a block diagram showing a sound removal system according to another embodiment of the present invention.
FIG. 8 is a flowchart illustrating a sound removal method using the sound removal system of FIG. 7.
9 is a block diagram showing a sound removal system according to another embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. The present invention can be applied to various changes and can have various forms, and the embodiments are described in detail in the text. However, this is not intended to limit the present invention to a specific disclosure form, and it should be understood as including all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals are used for similar components. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terms are used only for the purpose of distinguishing one component from other components. The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In this application, terms such as “comprise” or “consist of” are intended to indicate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, and that one or more other features are present. It should be understood that the existence or addition possibilities of fields or numbers, steps, actions, components, parts or combinations thereof are not excluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 의한 소리 제거 시스템을 도시한 블록도이다. 도 2는 도 1의 입력부로부터 획득된 임의의 소리의 일부 신호를 나타내는 그래프이다. 도 3은 도 1의 분석부에서 도 2의 획득된 소리의 신호를 분석하여 생성한 예로, 스펙트로그램(spectrogram)으로 처리된 소리 신호를 나타낸 그래프이다. 1 is a block diagram showing a sound removal system according to an embodiment of the present invention. FIG. 2 is a graph showing some signals of an arbitrary sound obtained from the input unit of FIG. 1. 3 is an example generated by analyzing the signal of the acquired sound of FIG. 2 in the analysis unit of FIG. 1, and is a graph showing a sound signal processed by a spectrogram.

도 1을 참조하면, 본 실시예에 의한 소리 제거 시스템(10)은 입력부(100), 분석부(200), 서버(300), 비교부(350) 및 발생부(400)를 포함하고, 상기 서버(300)는 수신부(301), 송신부(302), 데이터베이스(320), 검출부(330) 및 필터부(340)를 포함한다.Referring to FIG. 1, the sound removal system 10 according to the present embodiment includes an input unit 100, an analysis unit 200, a server 300, a comparison unit 350, and a generation unit 400, and The server 300 includes a reception unit 301, a transmission unit 302, a database 320, a detection unit 330, and a filter unit 340.

상기 소리 제거 시스템(10)은 건물 또는 차량 등 구조물의 외부에서 발생한 소리를 제어하여 건물 또는 차량 등 구조물의 내부에서 소리의 효과를 줄여 쾌적한 환경을 제공할 수 있도록 한다. 일반적으로 소리는 실외 또는 외부 공간에서 발생하고 소리를 제어하고자 하는 대상 공간은 실내 또는 소리가 발생하는 공간과 다른 공간이지만, 반드시 이에 한정되는 것은 아니며 소리가 발생하는 공간 및 소리를 제어하고자 하는 공간은 동일한 공간일 수도 있다.The sound removal system 10 controls sound generated from the outside of a structure such as a building or vehicle to reduce a sound effect inside the structure such as a building or vehicle to provide a comfortable environment. In general, the sound is generated in an outdoor or external space, and the target space to control the sound is a space different from the indoor or sound-producing space, but is not limited thereto, and the space in which the sound is generated and the space for controlling the sound are It may be the same space.

상기 입력부(100)는 소리(음향)를 획득하며, 마이크로폰일 수 있다. 상기 소리는 예를 들어, TV, 라디오 등으로부터 발생하는 디지털 소음과, 교통 소음, 건설 소음 등 환경 소음 등을 포함하며, 이에 한정되지 않고 제어의 대상이 될 수 있는 모든 음향을 포함한다.The input unit 100 acquires sound (sound) and may be a microphone. The sound includes, for example, digital noise generated from a TV, radio, etc., environmental noise such as traffic noise, construction noise, and the like, but is not limited thereto and includes all sounds that can be controlled.

상기 입력부(100)는 상기 마이크로폰을 통해 입력되는 아날로그 신호를 디지털 신호로 변경하는 아날로그 디지털 컨버터(Analog digital convertor)를 포함할 수 있다. 즉, 상기 입력부(100)는 상기 디지털 컨버터를 통해 상기 음향을 수집하여 전기적인 입력 소리 신호를 생성하여 출력할 수 있다.The input unit 100 may include an analog digital converter to convert an analog signal input through the microphone into a digital signal. That is, the input unit 100 may collect the sound through the digital converter to generate and output an electrical input sound signal.

즉, 상기 입력부(100)를 통해 획득된 소리는 매우 다양한 소리 신호일 수 있으며, 예를 들어, 도 2에 도시된 바와 같이 상기 소리는 디지털화되어 획득될 수 있다. 이 때, 상기 도 2에서 가로축은 임의의 시간 단위를 의미하고 세로축은 임의의 강도(intensity) 단위를 의미한다. That is, the sound acquired through the input unit 100 may be a very diverse sound signal, for example, as shown in FIG. 2, the sound may be digitized and obtained. In this case, in FIG. 2, the horizontal axis represents an arbitrary time unit, and the vertical axis represents an arbitrary intensity unit.

즉, 상기 입력부(100)를 통해 획득된 소리는 예시된 바와 같이 디지털화되어 소정의 진폭을 가지는 복수의 점 데이터로 획득될 수 있으며, 이와 달리, 다양한 형태의 디지털화된 신호로 획득될 수 있다. That is, the sound acquired through the input unit 100 may be digitized as illustrated and obtained as a plurality of point data having a predetermined amplitude, or alternatively, may be obtained as various types of digitized signals.

상기 분석부(200)는 상기 입력부(100)로부터 받은 상기 입력 소리 신호를 가공할 수 있다. 상기 가공의 목적은 데이터 송신의 편의를 위하여 데이터의 양을 줄이는 것, 서버의 계산 부담을 줄이기 위하여, 필요한 데이터 전처리(pre-processing)를 서버 밖에서 미리 실행하는 것 등이다. 또한, 상기 분석부(200)는 상기 소음 데이터를 만들기 위하여 주파수 분포 특징 그리고/또는 소음원에 대한 정보를 포함 시킬 수 있다.The analysis unit 200 may process the input sound signal received from the input unit 100. The purpose of the processing is to reduce the amount of data for the convenience of data transmission, to reduce the computational burden on the server, and to perform necessary data pre-processing in advance outside the server. In addition, the analysis unit 200 may include information on frequency distribution characteristics and / or noise sources to generate the noise data.

예를 들어, 도 3에 도시된 바와 같은 스펙트로그램(spectrogram)은 상기 입력부(100)에서 얻은 소리 신호를 푸리에(Fourier) 변환을 이용하여 얻은 데이터를 이용하여 얻을 수 있다. 이 경우처럼, 스펙트로그램으로 소음을 처리할 수도 있으며, 이와 달리 다양한 종류의 소음 처리 방법을 적용하여 소음 데이터를 생성할 수 있다.For example, a spectrogram as shown in FIG. 3 can be obtained by using the data obtained by using the Fourier transform of the sound signal obtained from the input unit 100. As in this case, noise may be processed with a spectrogram, or, alternatively, noise data may be generated by applying various types of noise processing methods.

또한, 상기 분석부(200)는 상기 입력부(100)로부터 획득된 소리의 일부분을 수신하여, 상기 획득된 소리 일부분의 크기 및/또는 주파수 스펙트럼 등을 분석한다.In addition, the analysis unit 200 receives a portion of the sound obtained from the input unit 100, and analyzes the size and / or frequency spectrum of the obtained sound portion.

예를 들어, 상기 입력부(100)로부터 획득되는 소리가 '아리랑 노래'에 관한 것으로 '아리랑 아리랑 아라리요 아리랑 고개를 넘어간다'라는 가사가 입력되는 경우, 상기 분석부(200)는 상기 서버(300)로 상기 가사의 일부분인 '아리랑 아리랑'에 해당하는 부분만을 분석하여 소리 데이터를 생성할 수 있다. For example, when the sound obtained from the input unit 100 is related to 'Arirang Song' and the lyrics 'Arirang Arirang Arariyo Arirang Passes' is input, the analysis unit 200 displays the server 300 ), It is possible to generate sound data by analyzing only the part corresponding to 'Arirang Arirang' which is a part of the lyrics.

한편, 시간영역에서 귀를 통하여 인식되는 음향은 높은 음과 낮은 음이 서로 중첩되어 있어 사용자에게 하나의 음으로 인식되는데, 이러한 음향의 특성을 알기 위해서 음향의 크기와 주파수 스펙트럼 등 필요한 정보를 분석할 필요가 있다. 상기 분석부(200)는 상기 입력부(100)를 통하여 획득된 음향을 주파수 영역으로 변환하여 주파수 스펙트럼 등의 정보를 구할 수 있으며, 상기 주파수 스펙트럼 등의 정보에서 전 주파수 대역에서의 크기의 합을 계산하여 음향의 크기를 구할 수 있다.On the other hand, the sound recognized through the ear in the time domain is recognized as a single sound to the user because the high and low sounds are superimposed on each other. In order to know the characteristics of these sounds, necessary information such as the size and frequency spectrum of the sound can be analyzed. There is a need. The analysis unit 200 may convert the sound acquired through the input unit 100 into a frequency domain to obtain information such as a frequency spectrum, and calculate a sum of magnitudes in all frequency bands from the information such as the frequency spectrum The sound level can be obtained.

예를 들어, 도 3에 도시된 바와 같이, 상기 분석부(200)에서는 도 2에서와 같이 획득된 소리의 일부분에 대한 디지털화된 신호를 처리하여 스펙트로그램(spectrogram)으로 도출할 수 있다. 이 때, 상기 도 3에서 가로축은 초 단위의 시간축이고 세로축은 주파수축이다. For example, as shown in FIG. 3, the analysis unit 200 may process a digitized signal for a portion of the sound obtained as in FIG. 2 and derive it as a spectrogram. At this time, in Figure 3, the horizontal axis is the time axis in seconds and the vertical axis is the frequency axis.

그리하여, 획득된 소리의 일부분을 매 순간마다의 주파수 스펙트럼으로 표현할 수 있다. 이 경우, 상기 분석부(200)에서는 도 3에 도시된 바와 같은 스펙트로그램으로 소리를 처리할 수도 있으며, 이와 달리 다양한 종류의 소리 처리 방법을 적용하여 소리 데이터를 생성하게 된다.Thus, a portion of the acquired sound can be expressed in a frequency spectrum at every instant. In this case, the analysis unit 200 may process sound with a spectrogram as shown in FIG. 3, or alternatively, various types of sound processing methods are applied to generate sound data.

상기 분석부(200)는 이와 같이 주파수 스펙트럼, 음향의 크기 등의 정보를 구하여 이를 포함하는 소리 데이터를 생성한 후 상기 소리 데이터를 상기 서버(300)의 상기 수신부(301)에 송신한다.The analysis unit 200 obtains information such as the frequency spectrum and the volume of the sound as described above, generates sound data including the sound data, and transmits the sound data to the reception unit 301 of the server 300.

단, 앞서 상기 소음데이터를 상기 서버(300)의 상기 수신부(301)에 송신하기 전에 푸리에 변환을 하는 등의 데이터 가공을 하는 것을 설명하였으나, 이는 상기 서버(300)의 후술하는 검출부(330)에서 실행될 수 있다.However, before the transmission of the noise data to the receiving unit 301 of the server 300, it has been described to perform data processing such as Fourier transform, which is detected by the detection unit 330 to be described later of the server 300 Can be implemented.

이 경우, 상기 소리 데이터에는 음향의 크기 등이 포함되므로 상기 소리에 포함된 저주파 정보 또는 고주파 정보를 분석한 데이터가 포함될 수 있다.In this case, since the sound data includes the size of sound, data that analyzes low-frequency information or high-frequency information included in the sound may be included.

또한, 상기 소리 데이터는 상기 소리의 주파수 분포 특징 및 소음원에 대한 정보 중 어느 하나를 포함할 수 있다.In addition, the sound data may include any one of the frequency distribution characteristics of the sound and information about the noise source.

상기 서버(300)의 수신부(301)는 상기 분석부(200)로부터 제공되는 소리 데이터를 수신하며, 상기 소리 데이터는 상기 서버(300)의 상기 데이터베이스(320)에 저장된 기준 소리 데이터와 비교된다. The reception unit 301 of the server 300 receives sound data provided from the analysis unit 200, and the sound data is compared with reference sound data stored in the database 320 of the server 300.

상기 데이터베이스(320)에는 다양한 종류의 음원들이 저장되며, 예를 들어, 다양한 가수들에 의해 제창된 다양한 종류의 음악의 음원들은 물론, 기존 방송되었던 라디오 또는 TV의 방송의 음원들, 현재나 앞으로 방송될 라디오 또는 TV의 방송의 음원들, 상영되거나 상영될 영화 등의 음원들이 모두 저장될 수 있다. Various types of sound sources are stored in the database 320. For example, sound sources of various types of music proposed by various singers, as well as sound sources of existing radio or TV broadcasts, present or future broadcasts All sound sources of a radio or TV broadcast to be played, a movie to be screened or screened, or the like can be stored.

특히, 상기 소리가 특정 방송 프로그램에 의해 발생하는 음원일 경우, 상기 데이터베이스(320)는 방송 서버(미도시)와 통신하여 상기 방송 서버로부터 상기 특정 방송 프로그램에 관한 정보를 획득할 수 있다. 여기서, 상기 특정 방송 프로그램에 관한 정보는 예를 들어 상기 특정 방송 프로그램의 대본일 수 있으며, 상기 특정 방송 프로그램이 녹화 방송일 경우 기 방송된 영상일 수 있으며, 상기 특정 방송 프로그램에서 특정 사람의 음성만을 추출한 데이터일 수 있다.In particular, when the sound is a sound source generated by a specific broadcast program, the database 320 may obtain information about the specific broadcast program from the broadcast server by communicating with a broadcast server (not shown). Here, the information on the specific broadcast program may be, for example, a script of the specific broadcast program, and may be a pre-broadcasted video when the specific broadcast program is a recorded broadcast, and extracts only a specific person's voice from the specific broadcast program. It can be data.

즉, 상기 서버(300)의 상기 데이터베이스(320)에는 소리로 발생될 수 있는 모든 종류의 음원들의 원본 데이터가 이미 저장될 수 있으며, 필요에 따라 또는 주기적으로 이러한 원본 음원 데이터들은 기준 소리 데이터로 갱신되어 저장된다. 그리하여, 상기 수신부(301)를 통해 수신된 소리 데이터는 상기 데이터베이스(320)에 저장된 기준 소리 데이터와 비교하게 된다. That is, in the database 320 of the server 300, original data of all kinds of sound sources that may be generated as sounds may already be stored, and if necessary or periodically, these original sound source data are updated with reference sound data. Is saved. Thus, the sound data received through the receiving unit 301 is compared with reference sound data stored in the database 320.

상기 검출부(330)는 상기 소리 데이터와 상기 데이터베이스(320)에 미리 저장된 하나 이상의 기준 소리 데이터를 비교하여 일치율이 높은 기준 소리 데이터를 추출한다.The detection unit 330 compares the sound data with one or more reference sound data previously stored in the database 320 to extract reference sound data having a high matching rate.

즉, 소리가 상기 입력부(100)에 입력되면, 상기 검출부(330)는 상기 소리의 음원 정보와 미리 저장된 기준 소리 데이터들의 음원 정보를 비교하여 원본 데이터를 검출한다.That is, when a sound is input to the input unit 100, the detection unit 330 detects original data by comparing the sound source information of the sound with sound source information of pre-stored reference sound data.

예를 들어, 상기 음원 데이터의 비교시 피크를 비교하여 원본 데이터를 선택하는 경우는 하기와 같이 수행될 수 있다. For example, when comparing the peaks when comparing the sound source data and selecting the original data, it may be performed as follows.

즉, 소리 데이터, 기준 소리 데이터, 원본 데이터를 포함하는 모든 소리 데이터는 시간, 주파수, 크기(intensity)를 요소로 갖는 3차원 벡터를 정의할 때, 이러한 벡터로 이루어지는 3차원 벡터 공간에서의 그래프로 나타낼 수 있다. That is, all sound data including sound data, reference sound data, and original data are graphs in a 3D vector space composed of such vectors when defining a 3D vector having time, frequency, and intensity as elements. Can be represented.

이 때, 상기 크기(intensity)가 미리 주어진 상대적 또는 절대적 기준을 넘어서는 경우에 이를 피크로 정의한다. 상기 벡터 공간에서 이러한 피크들 간의 거리는 각각의 소리 데이터를 구분하는 특징으로 역할을 할 수 있다. At this time, if the intensity (intensity) exceeds a given relative or absolute criterion, it is defined as a peak. The distance between these peaks in the vector space may serve as a feature that distinguishes each sound data.

일반적으로 소리 데이터는 상기 입력부(100)에 입력되는 소리에 기초하여 짧은 시간동안 녹음하여 만든 것이다. 따라서, 상기 소리 데이터는 기준 소리 데이터의 일부분일 수 있다. 즉, 예를 들어 설명하면, 기준 소리 데이터들이 여러 곡의 노래에 해당한다고 할 때, 상기 소리 데이터는 상기 여러 노래 중에서 어떤 한 곡의 일부분일 수 있다.In general, sound data is created by recording for a short time based on the sound input to the input unit 100. Accordingly, the sound data may be part of the reference sound data. That is, for example, when the reference sound data corresponds to songs of several songs, the sound data may be a part of any one of the several songs.

상기 소리 데이터가 생성하는 피크들 간의 거리 정보가 어떤 하나의 기준 소리 데이터의 피크들 간의 거리 정보의 일부분과 유사하거나 일치하는 부분이 있을 경우에 이를 원본 데이터로 추정하는 것이다. When the distance information between the peaks generated by the sound data is similar to or matches a part of the distance information between the peaks of one reference sound data, it is estimated as original data.

이 때, 상기 소리 데이터에서 고주파 영역의 피크들은 소실되고 저주파 영역의 피크들이 기준 소리 데이터의 정보와 일치할 경우에 상기 입력부(100)에서 고주파 영역은 전달되지 못한 것으로 추정할 수 있다. 따라서, 상기 원본 데이터를 저장할 때, 미리 상기 원본 데이터의 고주파 영역은 제거하고 저장할 수 있다.In this case, when the peaks of the high-frequency region in the sound data are lost and the peaks of the low-frequency region coincide with the information of the reference sound data, it may be estimated that the high-frequency region is not transmitted from the input unit 100. Therefore, when storing the original data, the high frequency region of the original data can be removed and stored in advance.

상기 원본 데이터는 사용자가 듣게 되는 소리의 전체 형태를 포함하는 데이터일 수 있다. 예를 들어, 상기 원본 데이터는 원곡의 반주음악, 악보, 가사 데이터 중 적어도 하나를 포함하는 데이터일 수 있으며, 드라마, 라디오 등의 대본을 포함하는 데이터일 수 있다.The original data may be data including the entire form of sound that the user hears. For example, the original data may be data including at least one of accompaniment music, sheet music, and lyrics data of the original music, and may be data including scripts such as dramas and radios.

한편, 상기 분석부(200)는 상기 입력 소리 신호를 일정한 주기로 절단할 수 있으며, 상기 검출부(330)는 상기 기준 소리 데이터들에서 절단된 각 주기의 파동과 유사한 부분을 추출할 수 있다.Meanwhile, the analysis unit 200 may cut the input sound signal at a constant period, and the detection unit 330 may extract a portion similar to the wave of each period cut from the reference sound data.

예를 들어, 앞서 예로 설명한 바와 같이 상기 분석부(200)에서 상기 아리랑 노래를 분석한 경우, 상기 검출부(330)는 상기 아리랑 노래에 관한 원본 데이터를 상기 서버(300)로부터 전송받아 검출할 수 있다.For example, as described above, when the analysis unit 200 analyzes the Arirang song, the detection unit 330 may receive original data on the Arirang song from the server 300 and detect it. .

나아가, 상기 검출부(330)는 상기 소리 데이터의 소리를 주파수별로 구분할 수 있으며, 주파수 별로 구분된 주변 소리의 종류를 판단할 수 있고, 상기 판단된 소리의 종류에 기초하여 상기 서버(300)의 상기 데이터베이스(320)를 검색할 수 있다.Further, the detection unit 330 may classify the sound of the sound data for each frequency, determine the type of ambient sound classified for each frequency, and based on the determined type of sound, the server 300 may The database 320 can be searched.

한편, 상기 검출부(330)에서 상기 원본 데이터를 검출하기 전에, 상기 서버(300)의 상기 필터부(340)에서 상기 데이터베이스(320)에 저장된 기준 소리 데이터들을 필터링할 수 있다.Meanwhile, before the original data is detected by the detection unit 330, the reference sound data stored in the database 320 may be filtered by the filter unit 340 of the server 300.

상기 필터부(340)는 로우 패스 필터(low-pass filter) 또는 하이패스 필터(high pass filter)일 수 있으며, 이외 대역통과, 대역저지 중 어느 하나의 특성을 가질 수 있다. The filter unit 340 may be a low-pass filter or a high-pass filter, and may have any one of band pass and band stop.

예를 들어, 사용자가 있는 공간의 외부에서 발생된 소리가 상기 사용자가 있는 공간으로 이동하면서 저주파 영역의 정보는 대부분 보존되고, 고주파 영역의 정보가 많은 부분 손실될 수 있다. For example, as the sound generated outside the user's space moves to the user's space, most of the information in the low-frequency region is preserved, and much of the information in the high-frequency region may be lost.

이 경우, 상기 입력부(100)에서는 대부분 상기 소리의 저주파 영역의 정보를 입력받게 되고, 상기 분석부(200)에서 생성하는 상기 소리 데이터는 상기 저주파 영역의 정보를 토대로 생성되게 된다. In this case, most of the input unit 100 receives information of the low-frequency region of the sound, and the sound data generated by the analysis unit 200 is generated based on the information of the low-frequency region.

여기서, 상기 필터부(340)가 예를 들어 로우 패스 필터로써, 상기 데이터베이스(320)에 포함된 상기 기준 소리 데이터들을 필터링하면 상기 기준 소리 데이터들에 포함된 고주파 영역의 정보는 제거되어 저주파 영역의 정보만 남게 된다.Here, when the filter unit 340 filters the reference sound data included in the database 320 as, for example, a low-pass filter, information of a high-frequency region included in the reference sound data is removed to reduce the low-frequency region. Only information remains.

이에 따라, 상기 검출부(330)는 상기 기준 소리 데이터들의 저주파 영역의 정보를 토대로, 상기 기준 소리 데이터들 중 사용자가 있는 공간에서 진행 중인 소리의 저주파 영역의 정보와 동일한 형태의 저주파 영역의 정보를 갖는 상기 원본데이터를 용이하게 검출할 수 있다.Accordingly, the detection unit 330 has the information of the low-frequency region of the same type as the information of the low-frequency region of the sound in progress in the user's space, based on the information of the low-frequency region of the reference sound data The original data can be easily detected.

한편, 상기 비교부(350)는 상기 원본 데이터를 이용하여 상기 획득된 소리를 선택적으로 감소시킬 수 있는 소리 감소 신호를 생성하고, 상기 소리 감소 신호를 상기 서버(300)의 상기 송신부(302)로 전송한다.Meanwhile, the comparison unit 350 generates a sound reduction signal capable of selectively reducing the acquired sound using the original data, and sends the sound reduction signal to the transmission unit 302 of the server 300. send.

상기 비교부(350)는 도시된 바와 같이 상기 분석부(200)와도 전기적으로 연결되며, 이에 따라 현재 재생되는 소리를 상쇄시킬 수 없다는 것을 판단되면, 상기 분석부(200)가 새로운 소리 데이터를 생성하도록 하며 상기 소리 데이터를 상기 서버(300)로 전송하도록 하고 상기 서버(300)로부터 새로운 원본 데이터를 획득할 수 있다.The comparison unit 350 is also electrically connected to the analysis unit 200 as shown, and when it is determined that the currently reproduced sound cannot be canceled, the analysis unit 200 generates new sound data. And transmit the sound data to the server 300, and acquire new original data from the server 300.

상기 발생부(400)는 상기 송신부(302)로부터 상기 소리 감소 신호를 전달받아 상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 선택적으로 감소시킨다.The generator 400 receives the sound reduction signal from the transmitter 302 and reproduces the sound reduction signal as sound to selectively reduce the sound through acoustic synthesis with the sound.

예를 들어, 상기 아리랑 노래가 TV의 스피커에서 재생되는 동안 사용자는 다른 사람과 대화중일 수 있다. 이 때, 상기 아리랑 노래의 가사인 '아리랑 고개를 넘어간다'에서 재생중인 '아' 음과 사용자의 대화가 서로 중첩될 수 있으며 이 경우 상기 발생부(400)는 상기 소리 감소 신호에 따라 사용자의 대화 소리는 감소시키지 않고 상기 '아' 음에 맞추어 상기 아리랑 노래만을 선택적으로 감소시킬 수 있다.For example, while the Arirang song is being played on the speaker of the TV, the user may be in conversation with another person. At this time, the dialogue between the user and the user 'a' playing in the lyrics of the song 'Arirang Pass' may overlap with each other. In this case, the generator 400 may display the user's user signal according to the sound reduction signal. Only the Arirang song can be selectively reduced to the 'Ah' sound without reducing the dialogue sound.

이 경우, 상기 발생부(400)는 스피커(speaker)일 수 있으며, 현재 진행되는 소리와 시간 차이를 두지 않고 상기 소리 감소 신호를 음향으로 재생시킴으로써 진행되는 소리 자체를 완전히 상쇄할 수 있다. In this case, the generator 400 may be a speaker, and may completely cancel out the sound itself by reproducing the sound reduction signal as sound without placing a time difference from the sound currently being processed.

도 4는 도 1의 소리 제거 시스템의 입력부, 분석부 및 발생부가 내부에 형성되는 헤드셋의 외형 및 사용자의 착용 상태를 나타낸 도면이다.4 is a view showing the appearance of the headset and the user's wearing state in which the input unit, the analysis unit, and the generation unit of the sound removal system of FIG. 1 are formed inside.

상기 소리 제거 시스템(10)의 상기 입력부(100), 상기 분석부(200) 및 상기 발생부(400)는 도시된 바와 같이 헤드셋(5) 내부에 형성될 수 있다. The input unit 100, the analysis unit 200, and the generation unit 400 of the sound removal system 10 may be formed inside the headset 5 as shown.

이 경우, 상기 헤드셋(5)은 사용자(20)의 귀를 완전하게 둘러쌈으로써 귀와 외부 환경을 완전히 차단하고, 사용자(20)의 양쪽 귀를 통해 청각적으로 인지될 수 있는 소리를 향하여 상기 발생부(400)를 통해 상기 소리 감소 신호를 발생시킴으로써 소리를 완전히 상쇄시킬 수 있다.In this case, the headset 5 completely surrounds the ear of the user 20 to completely block the ear and the external environment, and the sound is generated toward the sound that can be perceived through both ears of the user 20. Sound may be completely canceled by generating the sound reduction signal through the unit 400.

한편, 발생되는 소리는 상기 헤드셋(5)을 구성하는 방진재에 의해 소리의 일부가 차단될 수 있다. 이러한 방진재에서는 고주파 성분의 소리는 효과적으로 차단할 수 있으나, 저주파 성분의 소리는 차단되지 못하여 방진재를 투과하게 된다.Meanwhile, a part of the sound may be blocked by the vibration-proofing material constituting the headset 5. In such an anti-vibration material, the sound of a high-frequency component can be effectively blocked, but the sound of a low-frequency component cannot be blocked, and thus the anti-vibration material is transmitted.

이 때, 상기 방진재를 투과한 저주파는 상기 헤드셋(5) 내부의 상기 입력부(100)에 의해 감지되고, 감지된 저주파 소리는 상기 분석부(200)로 제공되어 소리 데이터 형태로 생성된다. 그 다음 앞서 설명한 바와 같이 상기 서버(300)에서의 동작이 이루어진 후 상기 발생부(400)가 소리 감소 신호를 상기 사용자의 귀를 향하여 음향으로 재생함으로써 상기 저주파 성분의 소리를 완전히 차단할 수 있게 된다.At this time, the low frequency transmitted through the anti-vibration material is sensed by the input unit 100 inside the headset 5, and the detected low frequency sound is provided to the analysis unit 200 to be generated in the form of sound data. Then, as described above, after the operation in the server 300 is performed, the generator 400 can completely block the sound of the low-frequency component by playing the sound reduction signal toward the user's ear as sound.

한편, 이와 같이 상기 소리 제거 시스템(10)의 상기 입력부(100), 상기 분석부(200) 및 상기 발생부(400)가 상기 헤드셋(5) 내부에 형성되는 경우, 상기 입력부(100), 상기 분석부(200) 및 상기 발생부(400)는 사용자(20)의 한쪽 귀에 적용되는 구성이며, 다른 한쪽의 귀에 대해서도 동일한 형태가 적용되어 동일한 구성이 대칭적으로 구비될 수 있다.Meanwhile, when the input unit 100, the analysis unit 200, and the generation unit 400 of the sound removal system 10 are formed inside the headset 5, the input unit 100, the The analysis unit 200 and the generation unit 400 are configured to be applied to one ear of the user 20, and the same configuration may be applied to the other ear so that the same configuration may be symmetrically provided.

도 5는 도 1의 소리 제거 시스템의 입력부, 분석부 및 발생부가 내부에 형성되는 스피커를 도시한 도면으로, 상기 스피커가 내부공간의 벽 및/또는 천정부에 설치되는 상태를 도시한 도면이다.FIG. 5 is a diagram showing a speaker in which an input unit, an analysis unit, and a generator of the sound removal system of FIG. 1 are formed inside, and is a view showing a state in which the speaker is installed on the wall and / or ceiling of the interior space.

이 경우, 상기 소리 제거 시스템(10)의 상기 입력부(100), 상기 분석부(200) 및 상기 발생부(400)는 실내 공간(30)의 천장 또는 벽에 스피커(7)의 내부에 포함되는 형태로 형성되어 소음원의 방향을 향하거나 사용자의 귀를 향하도록 상기 소리 감소 신호를 음향으로 재생시킬 수 있다.In this case, the input unit 100, the analysis unit 200, and the generator 400 of the sound removal system 10 are included in the interior of the speaker 7 on the ceiling or wall of the indoor space 30. It is formed in a shape so that the sound reduction signal can be reproduced as sound to face the direction of the noise source or to the user's ear.

예를 들어, 상기 스피커(7)가 천장에 설치되는 경우, 상기 입력부(100)는 상기 천장에서 발생되는 소리, 예를 들어 천장에서 발소리, 의자 끄는 소리, 음악 소리, TV 소리 등 다양한 소리가 천장에서 발생되는 경우에 소리를 입력받을 수 있다.For example, when the speaker 7 is installed on the ceiling, the input unit 100 may have various sounds such as sounds generated from the ceiling, for example, footsteps from the ceiling, sound from a chair, music, TV sound, etc. In case it is generated from, sound can be input.

마찬가지로, 상기 스피커(7)가 실내 공간(30)의 벽에 설치되는 경우, 상기 입력부(100)는 상기 벽에서 발생되는 TV 소리, 음악 소리 등 다양한 소리가 벽에서 발생되는 경우에 소리를 입력받을 수 있다.Similarly, when the speaker 7 is installed on the wall of the indoor space 30, the input unit 100 receives sound when various sounds such as TV sound and music sound generated on the wall are generated on the wall. Can be.

이와 같이 상기 스피커(7)는 각각의 소리가 발생하는 부근에 설치될 수 있으며, 이 경우 상기 스피커(7) 내부의 상기 발생부(400)는 각각의 소리가 발생하는 부근을 향하여 소리 감소 신호를 음향으로 재생함으로써 상기 사용자에게 발생시킬 수 있는 소리를 차단할 수 있다.As described above, the speaker 7 may be installed in the vicinity of each sound, and in this case, the generator 400 inside the speaker 7 transmits a sound reduction signal toward the vicinity of each sound. The sound that can be generated to the user can be blocked by playing with sound.

도 6은 도 1의 소리 제거 시스템을 이용한 소리 제거 방법을 도시한 흐름도이다. FIG. 6 is a flowchart illustrating a sound removal method using the sound removal system of FIG. 1.

전체적으로 본 실시예에 의한 소리 제거 방법에서는 상기 입력부(100)를 통해 소리를 획득하고 상기 비교부(350)를 통해 상기 획득된 소리에 부합하도록 소리 감소 신호를 생성하고, 상기 발생부(400)를 통해 상기 소리 감소 신호를 음향으로 재생시킴으로써 상기 소리를 효과적으로 제거할 수 있게 된다. In the overall method of removing the sound according to the present embodiment, the sound is acquired through the input unit 100, a sound reduction signal is generated to match the acquired sound through the comparison unit 350, and the generation unit 400 is generated. Through the reproduction of the sound reduction signal as sound, it is possible to effectively remove the sound.

먼저, 상기 입력부(100)는 소리를 획득할 수 있는 장치, 예를 들어 마이크로폰을 이용하여 소리를 획득한다(단계 S100). 일례로, 획득된 소리는 상기 소리 제거 시스템(10)이 제어하고자 하는 소리일 수 있으며, 이미 설명한 바와 같이, 다른 공간으로부터 입력되는 소리거나 같은 공간에서 입력되는 소리 모두 가능할 수 있으며, 건물이나 차량의 외부로부터 발생되는 소리에 대하여 건물이나 차량의 내부에서 획득된 소리일 수 있다.First, the input unit 100 acquires sound using a device capable of acquiring sound, for example, a microphone (step S100). As an example, the acquired sound may be a sound to be controlled by the sound removal system 10, and as described above, it may be a sound input from another space or a sound input from the same space, and may be used in buildings or vehicles. The sound generated from the outside may be a sound obtained from the inside of a building or vehicle.

상기 입력부(100)가 소리를 획득하면, 상기 분석부(200)는 획득된 음향의 크기 및/또는 주파수 스펙트럼 등의 정보의 분석 등을 수행하여 이를 기초로 소리 데이터를 생성한다(단계 S200). When the input unit 100 acquires sound, the analysis unit 200 performs analysis of information such as the size and / or frequency spectrum of the acquired sound to generate sound data based thereon (step S200).

이 경우, 상기 소리 데이터에는 상기 소리의 저주파 영역의 정보, 고주파 영역의 정보, 소리의 주파수 분포 특징, 소음원에 대한 정보 등에 관한 데이터가 포함된다.In this case, the sound data includes data on information on the low-frequency region of the sound, information on the high-frequency region, frequency distribution characteristics of the sound, and information on noise sources.

상기 필터부(340)는 상기 소리 데이터에 포함된 상기 저주파 영역의 정보, 상기 고주파 영역의 정보, 소리의 주파수 분포 특징, 소음원에 대한 정보 등에 기초하여, 상기 기준 소리 데이터들을 필터링하여 상기 기준 소리 데이터들을 상기 소리 데이터의 특성에 부합하도록 가공할 수 있다.The filter unit 340 filters the reference sound data based on the low frequency region information, the high frequency region information, the sound frequency distribution characteristics, and the noise source information included in the sound data to filter the reference sound data These can be processed to match the characteristics of the sound data.

예를 들어, 상기 소리 데이터에 주로 저주파 영역의 정보에 관한 데이터가 포함되는 경우, 상기 필터부(340)는 상기 기준 소리 데이터들에 포함된 고주파 영역의 정보를 제거하여 저주파 영역의 정보에 관한 데이터만이 남게 한다. 이와 달리, 상기 소리 데이터에 주로 고주파 영역의 정보에 관한 데이터가 포함되는 경우에는 상기 필터부(340)는 상기 기준 소리 데이터들에 포함된 저주파 영역의 정보를 제거하여 고주파 영역의 정보에 관한 데이터만이 남게 한다.For example, in the case where the sound data mainly includes data related to information in the low-frequency region, the filter unit 340 removes information in the high-frequency region included in the reference sound data, thereby data related to information in the low-frequency region. It leaves only the bay. On the other hand, when the data related to the information in the high frequency region is mainly included in the sound data, the filter unit 340 removes the information in the low frequency region included in the reference sound data, so that only the data related to the information in the high frequency region This leaves.

이 경우, 상기 필터부(340)는 로우 패스 필터(low-pass filter) 또는 하이패스 필터(high-pass filter) 중 적어도 어느 하나일 수 있다.In this case, the filter unit 340 may be at least one of a low-pass filter or a high-pass filter.

다른 예로, 상기 소리 데이터에 상기 저주파 영역의 정보 및 상기 고주파 영역의 정보의 일부가 동시에 감쇄된 경우, 상기 필터부(340)는 상기 소리 데이터에 포함된 소음원에 대한 정보를 이용하여 상기 기준 소리 데이터들을 필터링할 수 있다. 이 경우, 상기 소음원에 대한 정보는 옆방, 아래층 등과 같은 소음원의 위치에 관한 정보와 TV방송과 같은 소음원의 종류에 관한 정보를 포함할 수 있다.As another example, when part of the information in the low-frequency region and the information in the high-frequency region are simultaneously attenuated to the sound data, the filter unit 340 uses the information about the noise source included in the sound data to use the reference sound data. You can filter them. In this case, the information about the noise source may include information about the location of the noise source, such as a side room or a lower floor, and information on the type of noise source, such as TV broadcasting.

즉, 상기 필터부(340)는 상기 소리 데이터에 포함된 주파수 분포 특징 및 소음원에 대한 정보를 이용하여 상기 기준 소리 데이터들에 일부 주파수 대역의 정보에 대하여 제거, 증강 또는 감쇄를 수행함으로써 상기 기준 소리 데이터들을 필터링할 수 있다.That is, the filter unit 340 removes, augments, or attenuates the information of some frequency bands to the reference sound data by using information on the frequency distribution characteristics and noise sources included in the sound data, so that the reference sound Data can be filtered.

이 경우, 상기 필터부(340)는 인공 뉴럴 네트워크(neural network), 제한된 볼츠만 머신(restricted Boltzmann machine)일 수 있다.In this case, the filter unit 340 may be an artificial neural network or a restricted Boltzmann machine.

다음으로, 상기 검출부(330)는 상기 서버(300)의 상기 데이터베이스(320)에 저장된 기준 소리 데이터들 중, 상기 소리 데이터의 파동과 일치하는 파동을 가지는 원본 데이터를 검출한다(단계 S300). 즉, 상기 검출부(330)는 일부 주파수 대역의 정보가 제거, 증강 또는 감쇄된 기준 소리 데이터들 중에서 상기 소리 데이터와 비교하여 상기 원본 데이터를 검출한다.Next, the detection unit 330 detects, among the reference sound data stored in the database 320 of the server 300, original data having a wave that matches the wave of the sound data (step S300). That is, the detection unit 330 detects the original data by comparing the sound data among reference sound data from which information of a part of the frequency band is removed, augmented, or attenuated.

이 경우, 앞서 설명한 바와 같이 상기 필터부(340)에서 상기 기준 소리 데이터들에 포함된 저주파 영역의 정보, 고주파 영역의 정보, 소리의 주파수 분포 특징, 소음원에 대한 정보 등에 관한 데이터를 선택적으로 제거하므로 상기 검출부(330)에서 상기 기준 소리 데이터들 중에서 상기 소리 데이터의 파동과 동일한 파동을 가지는 원본 데이터를 보다 용이하게 검출할 수 있다. In this case, as described above, the filter unit 340 selectively removes data related to low frequency region information, high frequency region information, sound frequency distribution characteristics, and noise source information included in the reference sound data. The detection unit 330 may more easily detect original data having the same wave as the wave of the sound data among the reference sound data.

이 경우, 상기 소리가 특정 방송 프로그램에 의해 발생하는 음원일 경우, 상기 데이터베이스(320)는 방송 서버(미도시)와 통신하여 상기 방송 서버로부터 상기 특정 방송 프로그램에 관한 정보를 획득할 수 있다. In this case, when the sound is a sound source generated by a specific broadcast program, the database 320 may communicate with a broadcast server (not shown) to obtain information about the specific broadcast program from the broadcast server.

여기서, 상기 특정 방송 프로그램에 관한 정보는 예를 들어 상기 특정 방송 프로그램의 대본일 수 있으며, 상기 특정 방송 프로그램이 녹화 방송일 경우 기 방송된 영상일 수 있으며, 상기 특정 방송 프로그램에서 특정 사람의 음성만을 추출한 데이터일 수 있다.Here, the information on the specific broadcast program may be, for example, a script of the specific broadcast program, and may be a pre-broadcasted video when the specific broadcast program is a recorded broadcast, and extracts only a specific person's voice from the specific broadcast program. It can be data.

이어서, 상기 비교부(350)는 상기 원본 데이터로부터 획득된 소리에 부합하도록 소리 감소 신호를 생성한다(단계 S400).Subsequently, the comparator 350 generates a sound reduction signal to match the sound obtained from the original data (step S400).

이 후, 상기 발생부(400)는 상기 소리 감소 신호를 음향으로 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시킨다(단계 S500). 상기 발생부(400)는 상기 소리 감소 신호를 소리의 소음원 또는 사용자의 귀를 향하여 방출함으로써 현재 진행되는 소리를 상쇄시킬 수 있다.Thereafter, the generator 400 reproduces the sound reduction signal as sound to reduce the sound through acoustic synthesis with the sound (step S500). The generator 400 may cancel the current sound by emitting the sound reduction signal toward a noise source or a user's ear.

도 7은 본 발명의 다른 실시예에 의한 소리 제거 시스템을 도시한 블록도이다.7 is a block diagram showing a sound removal system according to another embodiment of the present invention.

본 실시예에 의한 소리 제거 시스템(11)은 재생장치(90)를 포함하고, 상기 서버(300)를 포함하지 않는 것을 제외하고는 도 1 내지 도 3을 참조하여 설명한 상기 소리 제거 시스템(10)과 실질적으로 동일하므로, 동일한 참조번호를 사용하고 중복되는 설명은 생략한다.The sound removing system 11 according to the present embodiment includes the playback device 90 and the sound removing system 10 described with reference to FIGS. 1 to 3 except that the server 300 is not included. Since it is substantially the same, the same reference number is used and duplicate description is omitted.

상기 재생장치(90)는 외부와 통신하여 소리를 획득하는 장치로 예를 들어, TV, 오디오, 라디오, 컴퓨터, 모바일 단말기 중 어느 하나일 수 있으며, 도시된 바와 같이 입력유닛(91), 재생유닛(92) 및 제어유닛(93)을 포함한다.The playback device 90 is a device that obtains sound by communicating with the outside, for example, may be any one of a TV, audio, radio, computer, and mobile terminal. As shown, the input unit 91 and playback unit 92 and a control unit 93.

보다 구체적으로, 상기 재생장치(90)의 상기 입력유닛(91)은 외부로부터 소리를 획득하며, 상기 재생장치(90)가 TV일 경우 상기 소리는 상기 TV에서 방송되는 영상, 음성 등을 포함하는 뉴스, 드라마 등의 프로그램에 관한 정보일 수 있다.More specifically, the input unit 91 of the playback device 90 acquires sound from the outside, and when the playback device 90 is a TV, the sound includes video, audio, etc. broadcast on the TV. It may be information about programs such as news and drama.

상기 재생장치(90)의 상기 재생유닛(92)은 상기 입력유닛(91)에서 상기 획득한 소리를 스피커, 화면 등을 통해 출력하는 역할을 한다.The playback unit 92 of the playback device 90 serves to output the acquired sound from the input unit 91 through a speaker, a screen, and the like.

상기 재생장치(90)의 상기 제어유닛(93)은 상기 재생유닛(92)의 소리 출력을 제어하는 역할을 한다.The control unit 93 of the playback device 90 serves to control the sound output of the playback unit 92.

즉, 도 1 내지 도 3을 참조하여 설명한 상기 소리 제거 시스템(10)에서처럼 서버로부터 소리에 해당하는 원본 데이터를 미리 검출하지 못하는 경우, 예를 들어, 상기 재생장치가 TV이고 상기 소리가 생방송 프로그램에 관한 정보일 경우, 상기 원본 데이터로부터 상기 획득된 소리에 부합하도록 소리 감소 신호를 생성하지 못하여 상기 TV에서 발생하는 소리를 제거하지 못할 수 있다.That is, when the original data corresponding to the sound is not detected in advance from the server as in the sound removal system 10 described with reference to FIGS. 1 to 3, for example, the playback device is a TV and the sound is transmitted to a live broadcast program. In the case of related information, a sound reduction signal may not be generated to match the acquired sound from the original data, and thus sound generated from the TV may not be removed.

이에 따라, 본 실시예에서는 상기 입력유닛(91)이 소리를 획득하면 상기 입력부(100)로 소리를 전달한다.Accordingly, in this embodiment, when the input unit 91 acquires sound, the sound is transmitted to the input unit 100.

그 다음, 상기 분석부(200)에서 상기 입력부(100)로 전달된 소리를 분석하여 상기 소리 데이터를 생성하면, 상기 발생부(400)는 상기 생성된 소리 데이터로부터 소리 감소 신호를 재생하여 상기 소리와 음향적인 합성을 통해 상기 소리를 감소시킨다. Then, when the analysis unit 200 analyzes the sound transmitted to the input unit 100 to generate the sound data, the generator 400 reproduces the sound reduction signal from the generated sound data to reproduce the sound And acoustic synthesis to reduce the sound.

이 경우, 상기 재생장치(90)가 상기 발생부(400)에서 소리 감소 신호를 재생함과 동시에 소리를 재생함으로써, 상기 재생되는 소리로부터 발생되는 소리를 제거할 수 있게 된다.In this case, the reproducing apparatus 90 reproduces the sound while simultaneously reproducing the sound reduction signal in the generator 400, thereby removing the sound generated from the reproduced sound.

즉, 상기 재생장치(90)의 상기 제어유닛(93)이 상기 재생유닛(92)의 소리 출력을 제어함에 따라 상기 소리는 일정 시간 지연되어 상기 소리 감소 신호의 재생과 함께 재생될 수 있다.That is, as the control unit 93 of the reproducing apparatus 90 controls the sound output of the reproducing unit 92, the sound may be delayed for a predetermined time and reproduced together with the reproduction of the sound reduction signal.

도 8은 도 7의 소리 제거 시스템을 이용한 소리 제거 방법을 도시한 흐름도이다.8 is a flowchart illustrating a sound removal method using the sound removal system of FIG. 7.

먼저, 상기 재생장치(90)는 재생되는 소리를 획득하고, 상기 획득한 소리를 상기 입력부(100)로 송신한다(단계 S10). First, the playback device 90 acquires the sound to be played back, and transmits the acquired sound to the input unit 100 (step S10).

이 경우, 상기 재생장치(90)는 TV, 오디오, 라디오, 컴퓨터, 모바일 단말기 중 어느 하나일 수 있으며, 상기 재생장치(90)가 TV일 경우, 상기 소리는 상기 TV에서 방송되는 영상, 음성 등을 포함하는 뉴스, 드라마 등의 프로그램에 관한 정보일 수 있다.In this case, the playback device 90 may be any one of a TV, audio, radio, computer, and mobile terminal. When the playback device 90 is a TV, the sound is a video, audio, etc. broadcast from the TV. It may be information about programs such as news, drama, and the like.

그 다음, 상기 입력부(100)는 상기 분석부(200)로 상기 소리를 전달하고, 상기 분석부(200)는 상기 획득한 소리를 분석하여 소리 데이터의 형태로 생성한다(단계 S30). Then, the input unit 100 transmits the sound to the analysis unit 200, and the analysis unit 200 analyzes the acquired sound and generates it in the form of sound data (step S30).

이 경우, 특히 상기 소리가 TV에서 방송될 생방송 프로그램에 관한 정보일 경우, 상기 소리 데이터는 상기 생방송 프로그램에 포함된 대화 소리, 음악 등의 소리를 포함하는 데이터일 수 있다.In this case, in particular, when the sound is information related to a live broadcast program to be broadcast on a TV, the sound data may be data including sounds such as conversation sounds and music included in the live broadcast program.

상기 분석부(200)가 상기 소리 데이터를 생성하여 상기 발생부(400)로 전달하면, 상기 발생부(400)는 상기 생성된 소리 데이터로부터 소리 감소 신호를 재생하여 소리와 음향적인 합성을 통해 상기 소리를 감소시킨다(단계 S40).When the analysis unit 200 generates the sound data and transmits the sound data to the generation unit 400, the generation unit 400 reproduces a sound reduction signal from the generated sound data to perform sound and acoustic synthesis. The sound is reduced (step S40).

이 경우, 상기 재생장치(90)가 상기 소리 감소 신호를 재생함과 동시에 상기 소리를 재생함으로써, 상기 재생되는 소리로부터 발생되는 소리를 제거할 수 있게 된다.In this case, the playback device 90 reproduces the sound reduction signal and simultaneously reproduces the sound, thereby removing the sound generated from the reproduced sound.

도 9는 본 발명의 또 다른 실시예에 의한 소리 제거 시스템을 도시한 블록도이다.9 is a block diagram showing a sound removal system according to another embodiment of the present invention.

도 9를 참조하면, 본 실시예에 의한 소리 제거 시스템(12)은 입력모듈(110), 분석부(210), 출력모듈(310) 및 수신부(500)를 포함한다. 이 경우, 상기 출력모듈(310)은 영상 출력부(311), 제1 출력부(312) 및 제2 출력부(313)를 포함한다. 9, the sound removal system 12 according to the present embodiment includes an input module 110, an analysis unit 210, an output module 310 and a receiving unit 500. In this case, the output module 310 includes an image output unit 311, a first output unit 312 and a second output unit 313.

상기 입력모듈(110)은 영상데이터와 음향데이터가 입력되는 것으로, 이 경우 입력되는 영상데이터 및 음향데이터는 모두 디지털화된 신호일 수 있다. In the input module 110, image data and sound data are input, and in this case, both the input image data and sound data may be digitized signals.

이와 같이 입력된 영상데이터 및 음향데이터는 각각 상기 출력모듈(310)의 영상 출력부(311) 및 제1 출력부(312)를 통해 영상과 음향으로 변환되어 출력된다. The image data and sound data input as described above are respectively converted into image and sound through the image output unit 311 and the first output unit 312 of the output module 310 and output.

다만, 본 실시예에서는 필요에 따라 상기 제1 출력부(312)를 통해 출력되는 상기 음향을 상쇄하여 제거가 가능하다. However, in the present embodiment, the sound output through the first output unit 312 may be canceled and removed as necessary.

즉, 상기 제2 출력부(313)에서는 상기 제1 출력부(312)에서 출력되는 음향을 상쇄하여 제거할 수 있는 상쇄음향을 출력할 수 있으며, 이를 통해 사용자가 제1 및 제2 출력부들(312, 313)을 통해 각각 출력되는 음향 및 상쇄음향을 동시에 청취하면, 결국 상기 음향은 제거되게 되며, 이를 통해 소리 제거 시스템을 구현할 수 있다. That is, the second output unit 313 may output an offset sound that can cancel and remove the sound output from the first output unit 312, through which the user can output the first and second output units ( 312, 313), when the sound and the offset sound respectively output are simultaneously listened to, the sound is eventually removed, and a sound removal system can be implemented through this.

한편, 이와 같은, 상쇄음향을 상기 제2 출력부(313)를 통해 제공하기 위해서는 상기 상쇄음향을 출력할 수 있도록 상기 입력되는 음향데이터를 분석하여 이를 상쇄하여 제거할 수 있는 상쇄 음향데이터의 생성이 필요하며, 상기 분석부(210)에서 이를 수행한다. On the other hand, in order to provide such an offset sound through the second output unit 313, it is necessary to analyze the input sound data so as to output the offset sound and to generate offset sound data that can be canceled and canceled. It is necessary, and the analysis unit 210 performs this.

즉, 상기 분석부(210)는 상기 입력모듈(110)로 입력되는 디지털 신호는 상기 음향데이터를 분석하여, 이를 상쇄하여 제거할 수 있는 디지털 신호인 상쇄 음향데이터를 생성하며, 이렇게 생성된 상쇄 음향데이터를 상기 제2 출력부(313)로 제공한다. That is, the analysis unit 210 analyzes the sound data of the digital signal input to the input module 110 to generate offset sound data, which is a digital signal that can be canceled by canceling it, thereby generating the offset sound Data is provided to the second output unit 313.

그리하여, 상기 제2 출력부(313)에서는 상기 상쇄 음향데이터를 처리하여 상쇄음향으로 처리한다. Thus, the second output unit 313 processes the offset acoustic data and processes it as an offset sound.

이 경우, 상기 분석부(210)에서 상쇄 음향데이터를 처리하는 것은 앞선 실시예들을 통해서, 소리 감소 신호를 디지털 신호로 생성하는 것과 실질적으로 동일하다.In this case, processing the offset acoustic data in the analysis unit 210 is substantially the same as generating a sound reduction signal as a digital signal through the above embodiments.

또한, 상기 분석부(210)에서 상쇄 음향데이터를 처리하는 경우 소정의 시간이 필요할 수 있으며, 이를 위해 상기 영상 출력부(311) 및 상기 제1 출력부(312)에서는 영상 및 음향의 출력을 소정 시간 지연시킬 수 있으며, 이에 따라 상기 영상, 상기 음향 및 상기 상쇄음향은 모두 동시에 동기화되어 사용자에게 출력될 수 있다. Also, when the offset sound data is processed by the analysis unit 210, a predetermined time may be required, and for this purpose, the output of the image and sound is predetermined by the image output unit 311 and the first output unit 312. The time may be delayed, and accordingly, the video, the sound, and the offset sound may be simultaneously synchronized and output to the user.

한편, 본 실시예에서, 상기 영상 출력부(311)는 일반적인 컴퓨터의 모니터, 모바일 단말기의 화면, TV의 화면 등일 수 있으며, 상기 제1 출력부(312)는 컴퓨터나 모바일 단말기 또는 TV 등에 일체화된 스피커, 또는 이와 별도로 구비되는 스피커, 나아가 이어폰 등으로 구현될 수 있다. Meanwhile, in the present embodiment, the image output unit 311 may be a general computer monitor, a mobile terminal screen, a TV screen, etc., and the first output unit 312 is integrated into a computer, mobile terminal, or TV. It may be implemented as a speaker, a speaker provided separately from this, or even an earphone.

다만, 상기 제2 출력부(313)의 경우, 상기 제1 출력부(312)로서 구현되는 스피커와는 별도의 스피커로 구현되어야 하며, 바람직하게는 별도의 이어폰이나 헤드폰으로 구현되는 것이 필요하다. However, in the case of the second output unit 313, it should be implemented as a separate speaker from the speaker implemented as the first output unit 312, and preferably, it is required to be implemented as a separate earphone or headphones.

그리하여, 사용자가 선택에 따라 제1 출력부(312)를 통해 출력되는 음향을 제거할 필요가 있다고 판단되는 경우, 별도의 이어폰이나 헤드폰을 착용함으로써 상쇄음향을 동시에 청취할 수 있고, 이를 통해 소리 제거가 구현될 수 있다. Thus, when the user determines that it is necessary to remove the sound output through the first output unit 312 according to the selection, the offset sound can be simultaneously heard by wearing a separate earphone or headphone, thereby removing the sound Can be implemented.

한편, 상기 수신부(500)는 상기 제1 출력부(312)에서 출력되는 음향과 상기 제2 출력부(313)에서 출력되는 상쇄음향을 수신하며, 이를 상기 분석부(210)로 제공한다.Meanwhile, the receiving unit 500 receives the sound output from the first output unit 312 and the offset sound output from the second output unit 313, and provides it to the analysis unit 210.

그리하여, 상기 분석부(210)에서는 상기 음향과 상기 상쇄음향이 동기화되어 출력되고 있는지, 나아가 상기 상쇄음향이 상기 음향을 정확하게 상쇄하여 제거하고 있는지를 실시간으로 피드백 받을 수 있으며, 이를 보정하여 상쇄음향의 출력 시기를 제어하거나 상쇄 음향데이터를 보다 정확하게 생성할 수 있다. Thus, the analysis unit 210 may receive in real time feedback whether the sound and the canceled sound are synchronized and output, and further, whether the canceled sound accurately cancels and removes the sound, and correct it to compensate for the canceled sound. It is possible to control the timing of the output or to generate offset acoustic data more accurately.

더 나아가, 하나의 입력모듈로 제공되는 음향데이터를 출력 신호인 음향으로 변환함과 동시에 이를 상쇄할 수 있는 상쇄음향데이터도 동시에 출력 신호인 상쇄음향으로 출력을 수행할 수 있어, 하나의 기기에서 음향과 상쇄음향이 동시에 출력되며, 이에 따라 사용자가 필요에 따라 상쇄음향을 선택적으로 청취할 수 있다. 따라서, 사용자의 선택에 따라 음향을 제거하여 소리를 제거할 수 있는 효과를 가져올 수 있다. Furthermore, the sound data provided by one input module is converted into sound as an output signal, and at the same time, the offset sound data capable of canceling it can also perform output as an offset sound, which is an output signal. And the offset sound are output at the same time, so that the user can selectively listen to the offset sound as needed. Therefore, it is possible to remove the sound according to the user's selection, thereby bringing the effect of removing the sound.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to the preferred embodiments of the present invention, those skilled in the art may variously modify and change the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that you can.

90 : 재생장치 91 : 입력유닛
92 : 재생유닛 93 : 제어유닛
100 : 입력부 110 : 입력모듈
200 : 분석부 210 : 분석부
300 : 서버 301 : 수신부
302 : 송신부 310 : 출력모듈
311 : 영상 출력부 312 : 제1 출력부
313 : 제2 출력부 320 : 데이터베이스
330 : 검출부 340 : 필터부
350 : 비교부 400 : 발생부
500 : 수신부90: playback device 91: input unit
92: playback unit 93: control unit
100: input unit 110: input module
200: analysis unit 210: analysis unit
300: server 301: receiving unit
302: Transmitter 310: Output module
311: video output unit 312: first output unit
313: second output unit 320: database
330: detection unit 340: filter unit
350: comparison unit 400: generation unit
500: receiver

Claims

An input unit for acquiring sound;
An analysis unit that analyzes a part of the sound obtained from the input unit to generate sound data;
A server including a database for storing reference sound data and a detection unit for comparing the sound data with the reference sound data to detect original data;
A comparator for generating a sound reduction signal that selectively reduces the sound obtained from the input unit using the original data; And
And a generator for selectively reducing the sound through acoustic synthesis with the sound by reproducing the sound reduction signal as sound,
In the database, original data of sound sources generated by sound are pre-stored,
The original data is data including the entire form of the sound that the user hears, and the sound removing system comprising at least one of accompaniment music, sheet music, lyrics data, drama script, and radio script of the original song.

The method of claim 1, wherein the sound data,
And at least one of a frequency distribution characteristic of the sound and information about a noise source.

According to claim 1 or claim 2, The server,
And filtering the reference sound data to process the reference sound data to match the characteristics of the sound data.

According to claim 3, The filter unit,
A sound removal system characterized by removing, augmenting, or attenuating information in a part of the frequency bands of the reference sound data by using frequency distribution characteristics and / or information about a noise source included in the sound data.

According to claim 4, The filter unit,
A sound removal system characterized by being at least one of a low-pass filter, a high-pass filter, artificial neural networks or a restricted Boltzmann machine.

The method of claim 5, wherein the detection unit,
A sound removal system characterized in that the original data is detected by comparing the sound data among the reference sound data in which the information of the frequency band is removed, augmented, or attenuated.

The method of claim 1, wherein the input unit, the analysis unit and the generation unit,
Formed inside the headset that covers the user's ear, or
Sound removal system, characterized in that formed in the interior of the speaker installed on the wall or ceiling of the indoor space.

A reproducing apparatus for acquiring reproduced sounds;
An input unit that receives the sound obtained from the playback device;
An analysis unit that analyzes the sound to generate sound data;
A server including a database for storing reference sound data and a detection unit for comparing the sound data with the existing sound data to detect original data; And
And a generator for reducing the sound through acoustic synthesis with the sound by reproducing a sound reduction signal that reduces the sound obtained from the input unit using the original data,
In the database, original data of sound sources generated by sound are pre-stored,
The original data is data that includes the entire form of sound that the user hears, and includes at least one of accompaniment music, sheet music, lyrics data, drama script, and radio script of the original song,
The sound is delayed for a period of time, the sound removal system characterized in that the sound is reproduced with the reproduction of the signal reduction.

The method of claim 8, wherein the playback device,
Sound removal system, characterized in that any one of a TV, audio, radio, computer, mobile terminal.

The method of claim 8, wherein the playback device,
An input unit that acquires the sound;
A reproduction unit that outputs the sound; And
Sound control system comprising a control unit for controlling the sound output of the playback unit.

The method of claim 10,
As the control unit controls the sound output of the reproducing unit, the sound is delayed for a certain period of time, the sound removal system, characterized in that reproduced with the reproduction of the sound reduction signal.

Obtaining sound;
Generating sound data by analyzing a portion of the acquired sound;
Comparing the sound data with reference sound data stored in a database to detect original data;
Generating a sound reduction signal to selectively reduce the acquired sound using the original data; And
And selectively reducing the sound through acoustic synthesis with the sound by reproducing the sound reduction signal as sound.
In the database, original data of sound sources generated by sound are pre-stored,
The original data is data including the entire form of the sound that the user hears, and the method of removing sound, characterized in that it includes at least one of accompaniment music, sheet music, lyrics data, drama script, and radio script of the original song.

Obtaining a reproduced sound;
Transmitting the acquired sound;
Analyzing the sound to generate sound data;
Detecting original data by comparing the sound data with the reference sound data from a database storing reference sound data; And reproducing a sound reduction signal for reducing the acquired sound using the original data to reduce the sound through acoustic synthesis with the sound,
In the database, original data of sound sources generated by sound are pre-stored,
The original data is data that includes the entire form of sound that the user hears, and includes at least one of accompaniment music, sheet music, lyrics data, drama script, and radio script of the original song,
The sound is delayed for a certain period of time, so that the sound reduction signal is reproduced simultaneously with the reproduction of the sound reduction signal.

An input module for inputting image data and sound data;
An analysis unit that analyzes the sound data and generates offset sound data that cancels and removes the sound data; And
An output module including an image output unit for outputting the image data as an image, a first output unit for outputting the sound data as sound, and a second output unit for outputting the offset sound data in an offset sound,
The image output unit and the first output unit, taking into account the time required to generate the offset sound data in the analysis unit, characterized in that delaying the output of the image and the sound for a predetermined time.

The method of claim 14,
The video, the sound and the canceling sound is synchronized, the sound removal system characterized in that the output to the user.

The method of claim 14,
The first output is a speaker, the second output is a headphone,
If the user does not wear the second output, sound that is not canceled is output through the first output,
As the user wears the second output unit, a sound removal system characterized in that the sound output from the first output unit is canceled out.

The method of claim 14,
The sound data is digital data, and the analysis unit generates the sound canceling system, characterized in that the digital sound canceling the sound data.

The method of claim 14,
And a receiving unit receiving the sound output from the first output unit and the offset sound output from the second output unit, and providing the received information to the analysis unit.