KR102266560B1

KR102266560B1 - Apparatus for multichannel audio mixing based on wireless communication and method thereof

Info

Publication number: KR102266560B1
Application number: KR1020190112139A
Authority: KR
Inventors: 이세홍; 우정민; 신성호; 김철희; 이두원
Original assignee: 인터텍 주식회사
Priority date: 2019-09-10
Filing date: 2019-09-10
Publication date: 2021-06-18
Also published as: KR20210030684A

Abstract

본 발명은 무선통신 기반의 다채널 오디오 믹싱 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 와이파이(WiFi), 블루투스(Bluetooth), LoRa(Long Range), 또는 지그비(Zigbee)를 포함한 무선통신을 통해 각 입력 채널별로 수신되는 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 복수의 오디오 신호를 믹싱하여 출력할 때, 무선으로 수신한 각각의 오디오 신호별 딜레이를 검출하고, 상기 검출한 딜레이를 참조하여 딜레이가 가장 긴 오디오 신호를 기준으로 각 오디오 신호의 동기를 맞추어 믹싱처리를 수행하도록 하는 무선통신 기반의 다채널 오디오 믹싱 장치 및 그 방법에 관한 것이다.The present invention relates to a wireless communication-based multi-channel audio mixing apparatus and method, and more particularly, through wireless communication including WiFi, Bluetooth, LoRa (Long Range), or Zigbee. When mixing and outputting a plurality of audio signals including user voice, sound, music, or a combination thereof received for each input channel, a delay for each audio signal received wirelessly is detected, and the detected delay is referred to. A wireless communication-based multi-channel audio mixing apparatus and method for performing a mixing process by synchronizing each audio signal based on an audio signal having the longest delay.

Description

Wireless communication-based multi-channel audio mixing apparatus and method {APPARATUS FOR MULTICHANNEL AUDIO MIXING BASED ON WIRELESS COMMUNICATION AND METHOD THEREOF}

일반적으로 방송시스템을 구성할 때 오디오 믹서는 필수적인 방송장비 중 하나로서, 녹음 스튜디오, 방송, 영화 후반 작업, 확성 시스템(PA System) 등과 같은 많은 환경에서 사용되며, 여러 가지의 오디오 신호를 하나로 혼합하여 소리의 균형을 잡아준다.In general, an audio mixer is one of the essential broadcasting equipment when composing a broadcasting system. It is used in many environments such as recording studios, broadcasting, film post-production, and amplification systems (PA systems). Balances the sound.

상기 오디오 믹서는 다양한 오디오 신호들의 믹싱을 통해 수정된 하나의 혼합된 신호(전압이나 디지털 샘플)로 만들어 소리의 세기 및 음색, 그리고 위상과 서라운드 이미지를 제어할 수 있다. 또한 상기 오디오 믹서는 오디오 콘솔, 믹싱 콘솔, 믹싱 데스크, 사운드 보드 등으로 불리우며, 신호처리 방식에 따라 아날로그 믹서와 디지털 믹서로 구분할 수 있다.The audio mixer may create a single mixed signal (voltage or digital sample) modified through mixing of various audio signals to control the intensity and tone of sound, and phase and surround images. Also, the audio mixer is called an audio console, a mixing console, a mixing desk, a sound board, and the like, and may be classified into an analog mixer and a digital mixer according to a signal processing method.

그러나, 상술한 바와 같은 종래의 오디오 믹서는 하드웨어 기반의 아날로그 제어방식으로 구성되어 있고, 별도의 소프트웨어를 지원하지 않아 일반 사용자가 사용하기에 많은 어려움이 있었다.However, the conventional audio mixer as described above has a hardware-based analog control method and does not support separate software, so it is difficult for general users to use it.

또한 상기 오디오 믹서는 공연장이나 화상회의와 같이 다수의 많은 마이크를 필요로 하는 경우, 유선 마이크를 사용하기 위해서는 케이블에 대한 거리제한이 있고, 무선 마이크를 사용하기 위해서는 별도의 리시버를 설치하여야 하기 때문에, 추가 케이블이나 리시버 설치에 대한 비용이 증가하였다.In addition, when the audio mixer requires a large number of microphones, such as in a concert hall or video conference, there is a distance limit for a cable in order to use a wired microphone, and a separate receiver must be installed in order to use a wireless microphone, The cost of installing additional cables or receivers has increased.

특히, 상기 오디오 믹서는 무선 마이크, 재생장치 등으로부터 무선으로 각종 오디오 신호를 수신하기 위해서는 각 입력 채널별로 개별적인 수신기가 필요하였고, 이로 인해서 오디오 믹싱 장치의 부피와 설치비용이 크게 상승되는 것은 물론, 와이파이, 블루투스, LoRa, 지그비 등의 각기 다른 무선통신 방식으로 오디오 신호를 수신하는 경우 딜레이가 전부 다르기 때문에 각 오디오 신호의 동기화가 정확하게 이루어지지 않으면 오디오 믹서에서 믹싱 작업을 원활하게 수행하지 못하는 문제점이 있었다.In particular, the audio mixer requires an individual receiver for each input channel in order to wirelessly receive various audio signals from a wireless microphone, a playback device, etc., which significantly increases the volume and installation cost of the audio mixing device, as well as the Wi-Fi When audio signals are received through different wireless communication methods such as , Bluetooth, LoRa, Zigbee, etc., since the delays are all different, if the audio signals are not synchronized correctly, the audio mixer cannot smoothly perform the mixing operation.

따라서 본 발명에서는 오디오 믹싱 장치에서 무선통신을 통해 전송되는 각 입력 채널별 오디오 신호를 통합하여 수신하고, 각 입력 채널별로 수신한 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 각각의 오디오 신호별 딜레이를 검출하고, 상기 검출한 딜레이를 참조하여 딜레이가 가장 긴 오디오 신호를 기준으로 각 오디오 신호의 동기를 맞추어 믹싱처리를 수행하도록 함으로써, 무선으로 수신한 각종 오디오 신호의 믹싱처리를 정밀하게 수행하고, 듣기 좋은 음질로 출력할 수 있는 방안을 제시하고자 한다.Accordingly, in the present invention, the audio mixing apparatus receives the audio signals for each input channel transmitted through wireless communication in a unified manner, and delays for each audio signal including the user's voice, sound, music, or a combination thereof received for each input channel. Detects and performs mixing processing by synchronizing each audio signal based on the audio signal having the longest delay with reference to the detected delay, thereby precisely performing the mixing processing of various audio signals received wirelessly, We would like to suggest a way to output with good sound quality.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, the prior art existing in the technical field of the present invention will be briefly described, and then the technical matters that the present invention intends to achieve differently compared to the prior art will be described.

먼저 한국등록특허 제1525207호(2015.06.04.)는 오디오 스트림 사이의 신호 동기화 방법에 관한 것으로, 필터뱅크에 의해 임의로 구성되어 오디오 신호처리 제어부에 내장된 멀티 오디오 스트림을 토폴로지와 링커로 분석하고, 필터뱅크를 이루는 각각의 디지털 필터들에 대한 입출력 링커의 경로 누적값을 더미 필터를 통해 동일하게 조정함과 동시에 오디오 신호의 경로 시간을 동일하게 맞춤으로써, 오디오 스트림을 형성하는 복수개의 디지털 필터를 사이의 신호를 동기화하는 방법에 관한 것이다.First, Korean Patent Registration No. 1525207 (2015.06.04.) relates to a signal synchronization method between audio streams. A multi-audio stream that is arbitrarily configured by a filter bank and embedded in an audio signal processing control unit is analyzed with a topology and a linker, By adjusting the path accumulation value of the input/output linker for each digital filter constituting the filter bank to be the same through the dummy filter and at the same time matching the path time of the audio signal to be the same, the plurality of digital filters forming the audio stream How to synchronize the signals of

즉, 상기 선행기술은 오디오 스트림을 형성하는 디지털 필터들 사이의 신호를 동기화함으로써, 디지털 스피커 컨트롤러, 범용 오디오 신호 처리기, 디지털 오디오 믹서, 디지털 오디오 프리앰프 및 리시버 등과 같은 기기에 대하여 다수의 입력 경로를 통해 여러 가지의 오디오 신호가 입력되더라도 해당 음질의 저하 없이 오디오 신호를 출력할 수 있는 방법에 대해 기재하고 있다.That is, the prior art synchronizes signals between digital filters forming an audio stream, thereby providing a plurality of input paths to devices such as a digital speaker controller, a universal audio signal processor, a digital audio mixer, a digital audio preamplifier, and a receiver. A method of outputting an audio signal without degrading the corresponding sound quality even when various audio signals are input through the .

또한 한국등록특허 제1698979호(2017.01.24.)는 전관 방송용 오디오 앰프 장치에 관한 것으로, 네트워크를 통하지 않는 아날로그 오디오 신호를 단독으로 처리하거나 네트워크 디지털 오디오 신호와 믹싱하여 처리할 수 있는 전관 방송용 오디오 앰프 장치를 제공하는 것을 기술적 특징으로 한다.In addition, Korean Patent No. 1698979 (2017.01.24.) relates to an audio amplifier device for public address broadcasting, which is an audio amplifier for public address that can process an analog audio signal that does not go through a network alone or by mixing it with a network digital audio signal. It is a technical feature to provide an apparatus.

즉, 상기 선행기술은 네트워크 디지털 오디오의 네트워크 마스터 클록을 이용하여 로컬 마스터 클록을 생성함으로써 이에 동기화하여 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있도록 하고, 따라서 네트워크를 통하지 않는 아날로그 오디오 신호를 단독으로 처리하거나 네트워크 디지털 오디오 신호와 믹싱하여 처리할 수 있는 장치를 기재하고 있다.That is, the prior art generates a local master clock using the network master clock of the network digital audio to convert the analog audio signal into a digital audio signal in synchronization with it, and thus, the analog audio signal that does not go through the network can be used alone. A device capable of processing or mixing with network digital audio signals for processing is described.

이상에서 선행기술들을 검토한 결과, 상기 선행기술들은 오디오 스트림을 형성하는 복수개의 디지털 필터를 사이의 신호를 동기화하는 구성, 네트워크 디지털 오디오의 네트워크 마스터 클록을 이용하여 로컬 마스터 클록을 생성하고 이에 동기화하여 아날로그 오디오 신호를 디지털 오디오 신호로 변환하는 구성 등을 제시하고 있지만, 본 발명은 오디오 믹싱 장치에서 무선통신을 통해 전송되는 각 입력 채널별 오디오 신호를 통합하여 수신하고, 각 입력 채널별로 수신한 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 각각의 오디오 신호별 딜레이를 검출하여 딜레이가 가장 긴 오디오 신호를 기준으로 각 오디오 신호의 동기를 맞춘 다음, 동기화된 각 오디오 신호를 믹싱하여 출력하는 기술적 특징을 제시하는 것으로서, 이와 관련된 구성에 대해서는 상기 선행기술에 아무런 기재나 그 어떠한 암시도 없기 때문에 상기 선행기술과 본 발명은 기술적 차이점이 분명한 것이다.As a result of reviewing the prior art above, the prior art is a configuration for synchronizing signals between a plurality of digital filters forming an audio stream, generating a local master clock using a network master clock of network digital audio and synchronizing it Although a configuration for converting an analog audio signal into a digital audio signal is proposed, the present invention integrates and receives the audio signal for each input channel transmitted through wireless communication in the audio mixing device, and the user voice received for each input channel , by detecting the delay for each audio signal, including sound, music, or a combination thereof, synchronizing each audio signal based on the audio signal with the longest delay, and then mixing and outputting each synchronized audio signal. As a suggestion, the technical difference between the prior art and the present invention is clear because there is no description or any suggestion in the prior art with respect to the configuration related thereto.

또한 본 발명에 제시된, 무선으로 수신한 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 각 오디오 신호의 동기를 맞추어 믹싱처리한 오디오 신호를 소정의 공간에 구비된 복수의 오디오 출력 장치를 통해 출력하는 과정에서, 각 오디오 출력 장치의 각 출력 채널별로 독립적으로 딜레이를 조절하여 잔향이 발생되지 않도록 하는 구성은 상기 선행기술에서 전혀 제시되지 않은 본 발명의 특징적인 기술적 구성이다.In addition, the present invention outputs an audio signal that is mixed and processed in synchronization with each audio signal including a user's voice, sound, music, or a combination thereof, received wirelessly, through a plurality of audio output devices provided in a predetermined space. In the process, the configuration of independently adjusting the delay for each output channel of each audio output device to prevent reverberation is a characteristic technical configuration of the present invention, which is not presented at all in the prior art.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 무선 마이크, 재생장치(예 : MP3 플레이어 등), 스마트폰 등을 포함한 오디오 제공 장치로부터 와이파이, 블루투스, LoRa, 지그비 등의 무선통신을 통해 각 입력 채널별로 수신되는 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 복수의 오디오 신호를 믹싱하여 오디오 출력 장치로 출력하도록 하는 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention was created to solve the above problems, and through wireless communication such as Wi-Fi, Bluetooth, LoRa, Zigbee, etc. from an audio providing device including a wireless microphone, a playback device (eg, an MP3 player, etc.), a smart phone, etc. An object of the present invention is to provide an apparatus and method for mixing and outputting a plurality of audio signals including a user's voice, sound, music, or a combination thereof received for each input channel to an audio output device.

또한 본 발명은 무선통신을 통해 각 입력 채널별로 수신한 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 각각의 오디오 신호별 딜레이를 검출하고, 상기 검출한 딜레이를 참조하여 딜레이가 가장 긴 오디오 신호를 기준으로 각 오디오 신호의 동기를 맞추어 믹싱처리가 이루어지도록 하는 장치 및 방법을 제공하는 것을 다른 목적으로 한다.In addition, the present invention detects a delay for each audio signal including the user's voice, sound, music, or a combination thereof received for each input channel through wireless communication, and refers to the detected delay to determine the audio signal with the longest delay. Another object of the present invention is to provide an apparatus and method for performing a mixing process by synchronizing each audio signal as a reference.

또한 본 발명은 무선통신을 통해 수신한 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 각 오디오 신호의 동기를 맞추어 믹싱하고, 상기 믹싱한 오디오 신호를 소정의 공간에 구비된 복수의 오디오 출력 장치를 통해 출력할 때, 해당 공간에서 잔향이 발생되지 않도록 각 오디오 출력 장치의 출력 채널별로 독립적으로 딜레이를 조절할 수 있는 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention synchronizes and mixes each audio signal including a user's voice, sound, music, or a combination thereof received through wireless communication, and a plurality of audio output devices provided in a predetermined space for the mixed audio signal. Another object of the present invention is to provide an apparatus and method capable of independently adjusting a delay for each output channel of each audio output device so that reverberation does not occur in a corresponding space when outputting through the device.

또한 본 발명은 상기 오디오 믹싱 장치에서 무선통신을 통해 수신한 각 입력 채널별 오디오 신호의 딜레이 정보와 각 출력 채널별 오디오 신호의 딜레이 정보를 관리자 단말로 제공하여, 관리자가 상기 각 입력 채널별 오디오 신호의 딜레이 정보와 각 출력 채널별 딜레이 정보를 토대로 직접 오디오 신호의 믹싱을 제어할 수 있는 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention provides delay information of the audio signal for each input channel and the delay information of the audio signal for each output channel received through wireless communication in the audio mixing device to the manager terminal, so that the manager can control the audio signal for each input channel. Another object of the present invention is to provide an apparatus and method capable of directly controlling the mixing of an audio signal based on delay information of , and delay information of each output channel.

또한 본 발명은 관리자가 원격지에서 관리자 단말을 통해 오디오 믹싱 장치로 통신 접속을 진행하여, 상기 오디오 믹싱 장치의 각종 기능에 대한 설정조작 및 동작제어를 용이하게 수행할 수 있는 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention provides an apparatus and method in which an administrator can easily perform a setting operation and operation control for various functions of the audio mixing apparatus by conducting a communication connection from a remote location to an audio mixing apparatus through an administrator terminal. for another purpose.

본 발명의 일 실시예에 따른 무선통신 기반의 다채널 오디오 믹싱 장치는, 무선으로 전송되는 각 입력 채널별 오디오 신호를 수신하는 수신부; 상기 수신한 상기 각 입력 채널별 오디오 신호의 딜레이를 검출하는 딜레이 검출부; 상기 검출한 상기 각 입력 채널별 오디오 신호의 딜레이를 참조하여, 상기 수신한 상기 각 입력 채널별 오디오 신호를 동기화하는 동기화부; 및 상기 동기화한 상기 각 입력 채널별 오디오 신호를 믹싱하여 적어도 하나 이상의 오디오 출력 장치를 통해 출력하는 믹싱부;를 포함하는 것을 특징으로 한다.A wireless communication-based multi-channel audio mixing apparatus according to an embodiment of the present invention includes: a receiver configured to receive an audio signal for each input channel transmitted wirelessly; a delay detector configured to detect a delay of the received audio signal for each input channel; a synchronization unit for synchronizing the received audio signal for each input channel with reference to the detected delay of the audio signal for each input channel; and a mixing unit for mixing the synchronized audio signal for each input channel and outputting the synchronized audio signal through at least one audio output device.

또한 상기 수신부는, 와이파이(WiFi), 블루투스(Bluetooth), LoRa(Long Range), 또는 지그비(Zigbee)를 포함한 무선통신 방식으로 전송되는 음성, 음향, 음악 또는 이들의 조합을 포함한 오디오 신호를 각 입력 채널별로 해당 송신 방식에 따라 서로 다르게 수신하고, 상기 수신한 각 입력 채널별 오디오 신호를 디지털로 변환한 다음 디코딩하여 상기 동기화부로 출력하는 것을 특징으로 한다.In addition, the receiver receives an audio signal including voice, sound, music, or a combination thereof transmitted by a wireless communication method including Wi-Fi, Bluetooth, LoRa (Long Range), or Zigbee, respectively. It is characterized in that each channel is differently received according to a corresponding transmission method, the received audio signal for each input channel is digitally converted, decoded, and outputted to the synchronization unit.

또한 상기 딜레이 검출부는, 상기 수신한 각 입력 채널별 오디오 신호를 해당 송신 방식에 따라 수신하는 데에 소요되는 시간으로, 상기 수신부의 입력단과 출력단 사이의 시간 차이를 검출하며, 상기 검출은, 상기 수신부에서 상기 각 입력 채널별 오디오 신호에 대해서 각 송신 방식에 따라 수신하는데 소요되는 시간을 신호의 수신 단계별로 계산하여 결정하는 것을 특징으로 한다.In addition, the delay detection unit detects a time difference between an input terminal and an output terminal of the receiving unit as a time required to receive the received audio signal for each input channel according to a corresponding transmission method, wherein the detection is performed by the receiving unit in the audio signal for each input channel, the time required to receive the audio signal according to each transmission method is calculated and determined for each signal reception step.

또한 상기 동기화부는, 상기 수신부로부터 입력되는 상기 각 입력 채널별 오디오 신호를 버퍼링하는 적어도 하나 이상의 버퍼; 및 상기 검출한 상기 각 입력 채널별 오디오 신호의 딜레이 중 딜레이가 가장 긴 특정 입력 채널의 오디오 신호를 기준으로 상기 적어도 하나 이상의 버퍼를 통해 버퍼링한 다른 입력 채널의 오디오 신호를 동시에 출력하는 동기 처리부;를 포함하는 것을 특징으로 한다.The synchronization unit may include: at least one buffer for buffering the audio signal for each input channel input from the receiving unit; and a synchronization processing unit for simultaneously outputting audio signals of other input channels buffered through the at least one buffer based on the audio signal of a specific input channel having the longest delay among the detected delays of the audio signals for each input channel; characterized by including.

또한 상기 오디오 믹싱 장치는, 상기 믹싱한 오디오 신호를 소정의 공간에 구비된 복수의 오디오 출력 장치로 출력하는 과정에서, 상기 공간에서 잔향이 발생하지 않도록 상기 복수의 오디오 출력 장치의 각 출력 채널별로 독립적으로 딜레이를 조절하여 출력되도록 하는 오디오 출력딜레이 조절부;를 더 포함하는 것을 특징으로 한다.In addition, in the process of outputting the mixed audio signal to a plurality of audio output devices provided in a predetermined space, the audio mixing device is configured to be independent for each output channel of the plurality of audio output devices so that reverberation does not occur in the space It characterized in that it further comprises; audio output delay control unit for output by adjusting the delay.

또한 상기 오디오 믹싱 장치는, 상기 검출한 상기 각 입력 채널별 오디오 신호의 딜레이에 대한 정보와 상기 조절한 상기 각 출력 채널별 오디오 신호의 딜레이에 대한 정보를 생성하여, 네트워크를 통해 관리자 단말로 제공하는 정보 제공부;를 더 포함하며, 상기 관리자 단말은, 상기 각 입력 채널별 오디오 신호의 딜레이에 대한 정보와 상기 각 출력 채널별 오디오 신호의 딜레이에 대한 정보를 화면에 표시함으로써, 관리자가 상기 각 입력 채널별 오디오 신호의 딜레이에 대한 정보와 상기 각 출력 채널별 오디오 신호의 딜레이에 대한 정보를 토대로 직접 상기 각 입력 채널별 오디오 신호의 믹싱을 제어하도록 하는 것을 특징으로 한다.In addition, the audio mixing device generates information on the detected delay of the audio signal for each input channel and the adjusted delay information for the audio signal for each output channel, and provides it to the manager terminal through the network. The information providing unit further includes, wherein the manager terminal displays information on the delay of the audio signal for each input channel and information on the delay of the audio signal for each output channel on the screen, so that the manager can It is characterized in that the mixing of the audio signal for each input channel is directly controlled based on the information on the delay of the audio signal for each channel and the information on the delay of the audio signal for each output channel.

아울러, 본 발명의 일 실시예에 따른 무선통신 기반의 다채널 오디오 믹싱 방법은, 오디오 믹싱 장치에서, 무선으로 전송되는 각 입력 채널별 오디오 신호를 수신부를 통해 수신하는 오디오 신호 수신 단계; 상기 오디오 믹싱 장치에서, 상기 수신한 상기 각 입력 채널별 오디오 신호의 딜레이를 검출하는 딜레이 검출 단계; 상기 오디오 믹싱 장치에서, 상기 검출한 상기 각 입력 채널별 오디오 신호의 딜레이를 참조하여, 상기 수신한 상기 각 입력 채널별 오디오 신호를 동기화하는 동기화 수행 단계; 및 상기 오디오 믹싱 장치에서, 상기 동기화한 상기 각 입력 채널별 오디오 신호를 믹싱하여 적어도 하나 이상의 오디오 출력 장치를 통해 출력하는 믹싱 단계;를 포함하는 것을 특징으로 한다.In addition, a wireless communication-based multi-channel audio mixing method according to an embodiment of the present invention includes, in an audio mixing apparatus, an audio signal receiving step of receiving an audio signal for each input channel wirelessly transmitted through a receiver; a delay detecting step of detecting, in the audio mixing apparatus, a delay of the received audio signal for each input channel; a synchronization performing step of synchronizing, in the audio mixing apparatus, the received audio signal for each input channel by referring to the detected delay of the audio signal for each input channel; and a mixing step of mixing, in the audio mixing device, the synchronized audio signals for each input channel and outputting them through at least one audio output device.

또한 상기 딜레이 검출 단계는, 상기 수신한 각 입력 채널별 오디오 신호를 해당 송신 방식에 따라 수신하는 데에 소요되는 시간으로, 상기 수신부의 입력단과 출력단 사이의 시간 차이를 검출하며, 상기 검출은, 상기 수신부에서 상기 각 입력 채널별 오디오 신호에 대해서 각 송신 방식에 따라 수신하는데 소요되는 시간을 신호의 수신 단계별로 계산하여 결정하는 것을 특징으로 한다.In addition, the delay detection step is a time required to receive the received audio signal for each input channel according to a corresponding transmission method, and detects a time difference between an input terminal and an output terminal of the receiver, wherein the detection includes: It is characterized in that the receiver calculates and determines the time required to receive the audio signal for each input channel according to each transmission method for each signal reception step.

또한 상기 동기화 수행 단계는, 상기 오디오 믹싱 장치에서, 상기 수신한 상기 각 입력 채널별 오디오 신호를 적어도 하나 이상의 버퍼를 통해 버퍼링하는 단계; 및 상기 오디오 믹싱 장치에서, 상기 검출한 상기 각 입력 채널별 오디오 신호의 딜레이 중 딜레이가 가장 긴 특정 입력 채널의 오디오 신호를 기준으로 상기 적어도 하나 이상의 버퍼를 통해 버퍼링한 다른 입력 채널의 오디오 신호를 동시에 출력하는 단계;를 포함하는 것을 특징으로 한다.In addition, the performing of the synchronization may include, in the audio mixing apparatus, buffering the received audio signal for each input channel through at least one buffer; and the audio signal of another input channel buffered through the at least one buffer based on the audio signal of the specific input channel having the longest delay among the detected delays of the audio signal for each input channel in the audio mixing device. outputting; characterized in that it includes.

또한 상기 오디오 믹싱 방법은, 상기 오디오 믹싱 장치에서, 상기 믹싱한 오디오 신호를 소정의 공간에 구비된 복수의 오디오 출력 장치로 출력하는 과정에서, 상기 공간에서 잔향이 발생하지 않도록 상기 복수의 오디오 출력 장치의 각 출력 채널별로 독립적으로 딜레이를 조절하여 출력되도록 하는 오디오 출력딜레이 조절 단계;를 더 포함하는 것을 특징으로 한다.In the audio mixing method, the audio mixing apparatus outputs the mixed audio signal to a plurality of audio output apparatuses provided in a predetermined space, so that reverberation is not generated in the plurality of audio output apparatuses. and an audio output delay adjustment step of independently adjusting the delay for each output channel of .

이상에서와 같이 본 발명의 무선통신 기반의 다채널 오디오 믹싱 장치 및 그 방법에 따르면, 오디오 믹싱 장치에서 와이파이, 블루투스, LoRa, 지그비 등의 무선통신을 통해 각 입력 채널별로 수신한 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 각각의 오디오 신호별 딜레이를 검출하여 딜레이가 가장 긴 오디오 신호를 기준으로 각 오디오 신호의 동기를 맞추어 믹싱처리를 수행함으로써, 무선으로 수신한 각종 오디오 신호의 믹싱처리를 정밀하게 수행할 수 있으며, 듣기 좋은 음질의 오디오 신호를 제공할 수 있는 효과가 있다.As described above, according to the wireless communication-based multi-channel audio mixing apparatus and method of the present invention, the user's voice received by each input channel through wireless communication such as Wi-Fi, Bluetooth, LoRa, and Zigbee in the audio mixing apparatus, sound, By detecting the delay for each audio signal including music or a combination thereof, and performing the mixing processing by synchronizing each audio signal based on the audio signal with the longest delay, the mixing processing of various audio signals received wirelessly is precisely performed. It has the effect of providing an audio signal of good sound quality.

또한 본 발명은 오디오 믹싱 장치에 무선통신 방식을 적용할 때 개별적인 무선 인터페이스 구성을 생략할 수 있으므로 오디오 믹싱 장치의 설계 비용을 줄이고, 실장 공간을 축소할 수 있는 효과가 있다.In addition, the present invention has the effect of reducing the design cost of the audio mixing apparatus and reducing the mounting space because the configuration of the individual air interface can be omitted when the wireless communication method is applied to the audio mixing apparatus.

또한 본 발명은 믹싱한 오디오 신호를 소정의 공간에 구비된 복수의 오디오 출력 장치를 통해 동시에 출력할 때, 상기 복수의 오디오 출력 장치의 각 출력 채널별로 독립적으로 딜레이를 조절하여 출력하도록 함으로써, 여러 개의 오디오 출력 장치가 연동되더라도 잔향 발생을 억제할 수 있는 효과가 있다.In addition, when outputting a mixed audio signal through a plurality of audio output devices provided in a predetermined space at the same time, the present invention independently adjusts the delay for each output channel of the plurality of audio output devices and outputs them. Even if the audio output device is linked, there is an effect of suppressing the generation of reverberation.

또한 본 발명은 오디오 믹싱 장치에서 무선통신을 통해 수신한 각 입력 채널별 오디오 신호의 딜레이 정보와 상기 오디오 출력 장치로 출력되는 각 출력 채널별 오디오 신호의 딜레이 정보를 관리자 단말로 실시간으로 제공함으로써, 관리자가 각 입력 채널별 오디오 신호의 딜레이 정보와 각 출력 채널별 딜레이 정보를 토대로 직접 오디오 신호의 믹싱을 제어할 수 있는 효과가 있다.In addition, the present invention provides, in real time, delay information of an audio signal for each input channel received through wireless communication in the audio mixing device and delay information of an audio signal for each output channel output to the audio output device to the manager terminal in real time. It is possible to directly control the mixing of the audio signal based on the delay information of the audio signal for each input channel and the delay information for each output channel.

또한 본 발명은 원격지에서 관리자 단말을 통해 오디오 믹싱 장치의 각종 기능에 대한 설정조작 및 동작제어를 수행함으로써, 오디오 믹싱 장치를 관리하는 관리자가 공간상의 제약 없이 현재 위치하고 있는 장소에서 오디오 믹싱 장치의 각종 기능에 대한 설정조작 및 동작제어를 수행할 수 있는 효과가 있다.In addition, the present invention performs setting operation and operation control for various functions of the audio mixing apparatus through an administrator terminal at a remote location, thereby providing various functions of the audio mixing apparatus at the location where the manager who manages the audio mixing apparatus is currently located without space restrictions. It has the effect of being able to perform setting operation and operation control for

도 1은 본 발명의 일 실시예에 따른 무선통신 기반의 다채널 오디오 믹싱 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명과 종래 기술의 오디오 믹싱과정의 차이를 설명하기 위한 도면이다.
도 3은 본 발명이 적용된 오디오 믹싱 장치를 이용한 무선통신 기반의 다채널 오디오 믹싱과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 오디오 믹싱 장치의 구성을 상세하게 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 수신부의 구성을 상세하게 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 오디오 믹싱 장치에서의 무선통신 방식에 따른 딜레이에 의한 각 오디오 신호별 동기화 수행과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 무선통신 기반의 다채널 오디오 믹싱 방법의 동작과정을 상세하게 나타낸 순서도이다.1 is a diagram schematically showing the configuration of a wireless communication-based multi-channel audio mixing apparatus according to an embodiment of the present invention.
2 is a view for explaining the difference between the audio mixing process of the present invention and the prior art.
3 is a conceptual diagram illustrating a wireless communication-based multi-channel audio mixing process using an audio mixing apparatus to which the present invention is applied.
4 is a diagram illustrating in detail the configuration of an audio mixing apparatus according to an embodiment of the present invention.
5 is a diagram illustrating in detail the configuration of a receiver according to an embodiment of the present invention.
6 is a diagram for explaining a process of performing synchronization for each audio signal by delay according to a wireless communication method in an audio mixing apparatus according to an embodiment of the present invention.
7 is a flowchart illustrating in detail an operation process of a wireless communication-based multi-channel audio mixing method according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 무선통신 기반의 다채널 오디오 믹싱 장치 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Hereinafter, a preferred embodiment of a wireless communication-based multi-channel audio mixing apparatus and method of the present invention will be described in detail with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements. In addition, specific structural or functional descriptions for the embodiments of the present invention are only exemplified for the purpose of describing the embodiments according to the present invention, and unless otherwise defined, all terms used herein, including technical or scientific terms They have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. It is preferable not to

도 1은 본 발명의 일 실시예에 따른 무선통신 기반의 다채널 오디오 믹싱 장치의 구성을 개략적으로 나타낸 도면이다.1 is a diagram schematically showing the configuration of a wireless communication-based multi-channel audio mixing apparatus according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명은 오디오 믹싱 장치(100), 적어도 하나 이상의 오디오 제공 장치(200), 적어도 하나 이상의 오디오 출력 장치(300), 관리자 단말(400) 등을 포함하여 구성된다.As shown in FIG. 1 , the present invention is configured to include an audio mixing apparatus 100 , at least one audio providing apparatus 200 , at least one audio output apparatus 300 , a manager terminal 400 , and the like.

상기 오디오 믹싱 장치(100)는 통상적으로 오디오 믹서라 불리우는 장치로서, 무선통신을 통해 상기 오디오 제공 장치(200)에서 전송하는 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 오디오 신호를 각 입력 채널별로 통합하여 수신하고, 상기 수신한 각 입력 채널별 오디오 신호의 세기, 음색, 위상, 서라운드 등을 포함한 믹싱 작업을 수행하여 소정 공간에 구비되어 있는 적어도 하나 이상의 오디오 출력 장치(300)로 출력한다.The audio mixing apparatus 100 is a device commonly called an audio mixer, and receives an audio signal including a user's voice, sound, music, or a combination thereof transmitted from the audio providing apparatus 200 through wireless communication for each input channel. It is integrated and received, and a mixing operation including intensity, tone, phase, surround, etc. of the received audio signal for each input channel is performed and output to at least one audio output device 300 provided in a predetermined space.

이때 상기 오디오 믹싱 장치(100)에서 수신한 각 입력 채널별 오디오 신호는 수신 처리 과정에서 와이파이, 블루투스, LoRa, 지그비 등의 무선통신 방식에 따라 딜레이가 발생할 수 있다.In this case, the audio signal for each input channel received by the audio mixing apparatus 100 may have a delay according to a wireless communication method such as Wi-Fi, Bluetooth, LoRa, or Zigbee during the reception process.

즉 무선으로 전송되는 각 입력 채널별 오디오 신호를 수신부에서 수신하여 믹싱부로 출력하는 과정에서, 저잡음 증폭기(Low Noise Amplifier), 아날로그/디지털 변환기(ADC), 디코더 등이 구비된 수신부의 처리 과정에서 각 무선통신 방식의 표준에 따라 딜레이가 전부 다르게 발생할 수 있는 것이다.That is, in the process of receiving the wirelessly transmitted audio signal for each input channel at the receiving unit and outputting it to the mixing unit, in the process of the receiving unit equipped with a low noise amplifier, an analog/digital converter (ADC), a decoder, etc., each Depending on the standard of the wireless communication method, all delays may occur differently.

이처럼 무선으로 수신한 각 입력 채널별 오디오 신호마다 각기 다른 딜레이가 발생하면, 상기 오디오 믹싱 장치(100)에서 각 입력 채널별 오디오 신호를 믹싱하는 과정에서 각 오디오 신호별 동기가 맞지 않아 믹싱 품질이 크게 저하될 수 있는 것은 물론, 작업자가 일일이 각 입력 채널별 오디오 신호의 동기를 맞추어야 하는 불편함이 있었다.As such, when a different delay occurs for each audio signal for each input channel received wirelessly, in the process of mixing the audio signal for each input channel in the audio mixing apparatus 100, synchronization for each audio signal is not matched, so that the mixing quality is greatly improved In addition to possible degradation, there is an inconvenience in that the operator has to manually synchronize the audio signals for each input channel.

이를 해결하기 위하여, 상기 오디오 믹싱 장치(100)는 무선통신을 통해 수신한 각 입력 채널별 오디오 신호의 딜레이를 검출하고, 상기 검출한 딜레이를 참조하여 각 입력 채널별 오디오 신호의 동기를 맞추고, 동기화된 각 입력 채널별 오디오 신호를 믹싱하여 적어도 하나 이상의 오디오 출력 장치(300)로 출력한다.In order to solve this problem, the audio mixing apparatus 100 detects a delay of an audio signal for each input channel received through wireless communication, and synchronizes and synchronizes the audio signal for each input channel with reference to the detected delay. The audio signals for each input channel are mixed and output to at least one audio output device 300 .

이때 상기 오디오 믹싱 장치(100)는 각 입력 채널별 오디오 신호의 동기를 맞출 때, 각 입력 채널별 오디오 신호의 딜레이를 확인하여 딜레이가 가장 긴 특정 입력 채널의 오디오 신호를 검출하고, 상기 검출한 딜레이가 가장 긴 특정 입력 채널의 오디오 신호를 기준으로 다른 입력 채널의 오디오 신호의 동기를 맞추는 방식을 사용하여 동기화 처리를 수행한다. 예를 들어 딜레이가 짧은 다른 입력 채널의 오디오 신호를 버퍼링하고 있다가 딜레이가 가장 긴 특정 입력 채널의 오디오 신호를 기준으로 오디오 신호를 동시에 출력하는 것이다.At this time, when the audio signal for each input channel is synchronized, the audio mixing apparatus 100 checks the delay of the audio signal for each input channel, detects the audio signal of the specific input channel with the longest delay, and the detected delay Synchronization processing is performed using a method of synchronizing audio signals of other input channels with the audio signal of a specific input channel having the longest . For example, an audio signal of another input channel having a short delay is buffered, and the audio signal is simultaneously output based on an audio signal of a specific input channel having the longest delay.

또한 상기 오디오 믹싱 장치(100)는 사용자 음성, 음향, 음악 또는 이들의 조합을 무선으로 수신하는 방식 이외에, IP 네트워크, 케이블, USB 메모리, 마이크 등의 유선을 통해 입력받을 수 있으며, 유선으로 입력되거나 무선으로 수신되는 각 입력 채널별 오디오 신호의 동기를 맞춘 다음, 상기 각 입력 채널별 오디오 신호를 믹싱하여 상기 오디오 출력 장치(300)로 출력할 수 있다.In addition, the audio mixing apparatus 100 may receive input through a wire such as an IP network, cable, USB memory, or microphone, in addition to a method of wirelessly receiving a user's voice, sound, music, or a combination thereof. After synchronizing the wirelessly received audio signals for each input channel, the audio signals for each input channel may be mixed and output to the audio output device 300 .

한편 상기 오디오 믹싱 장치(100)는 무선통신을 통해 수신한 각 입력 채널별 오디오 신호의 딜레이를 검출하여 동기를 맞추고, 동기화된 각 입력 채널별 오디오 신호를 믹싱하여 소정의 공간에 구비된 복수의 오디오 출력 장치(300)를 통해 출력할 때, 상기 믹싱한 오디오 신호가 상기 공간에서 잔향이 발생되지 않도록 각 오디오 출력 장치(300)의 각 출력 채널별로 독립적으로 딜레이를 조절하여 출력되도록 함으로써, 해당 공간에 위치한 사용자들이 편안하게 오디오 신호를 청취할 수 있도록 할 수 있다. 이때 상기 출력되는 딜레이의 조절은, 관리자에 의해 지정된 딜레이만큼 상기 믹싱한 오디오 신호를 딜레이하여 출력할 수 있다.Meanwhile, the audio mixing apparatus 100 detects a delay of an audio signal for each input channel received through wireless communication to synchronize, and mixes the synchronized audio signal for each input channel to a plurality of audios provided in a predetermined space. When outputting through the output device 300, the mixed audio signal is output by adjusting the delay independently for each output channel of each audio output device 300 so as not to generate reverberation in the space, so that it is output in the corresponding space. It is possible to allow located users to comfortably listen to the audio signal. In this case, the output delay may be adjusted by delaying the mixed audio signal by a delay designated by an administrator.

예를 들어 공연장이나 경기장 등의 광범위한 공간에 복수 개의 오디오 출력 장치(300)가 구비되어 있는 경우, 관리자가 상기 복수의 상기 오디오 출력 장치(300)를 통해 각 출력 채널별로 독립적으로 출력되는 오디오 신호를 확인하고, 상기 확인한 결과 잔향이 있다고 판단되어 각 출력 채널별로 독립적으로 딜레이를 조절하면, 상기 오디오 믹싱 장치(100)에서 상기 관리자가 조절하는 딜레이에 따라 상기 복수의 오디오 출력 장치(300)의 각 출력 채널별로 오디오 신호의 출력시간을 조절하여 잔향이 발생되지 않도록 하는 것이다.For example, when a plurality of audio output devices 300 are provided in a wide space such as a performance hall or a stadium, the manager can output audio signals independently for each output channel through the plurality of audio output devices 300 . After checking, if it is determined that there is reverberation and the delay is independently adjusted for each output channel, each output of the plurality of audio output devices 300 according to the delay adjusted by the manager in the audio mixing device 100 By adjusting the output time of the audio signal for each channel, reverberation is not generated.

또한 상기 오디오 믹싱 장치(100)는 무선통신을 통해 수신한 각 입력 채널별 오디오 신호의 딜레이에 대한 정보와 각 출력 채널별 오디오 신호의 딜레이에 대한 정보를 네트워크를 통해 상기 관리자 단말(400)로 제공하여, 관리자가 상기 각 입력 채널별 오디오 신호의 딜레이에 대한 정보와 상기 각 출력 채널별 오디오 신호의 딜레이에 대한 정보를 토대로 직접 오디오 신호의 믹싱을 제어하도록 지원할 수 있다.In addition, the audio mixing apparatus 100 provides information on the delay of the audio signal for each input channel received through wireless communication and information on the delay of the audio signal for each output channel to the manager terminal 400 through the network. Accordingly, it is possible to support the manager to directly control the mixing of the audio signal based on the information on the delay of the audio signal for each input channel and the information on the delay of the audio signal for each output channel.

예를 들어, 상기 관리자 단말(400)에 설치된 애플리케이션 프로그램을 통해 상기 오디오 믹싱 장치(100)에서 제공된 각 입력 채널 및 출력 채널별 오디오 신호의 딜레이를 확인한 관리자가 직접 상기 오디오 믹싱 장치(100)를 통해 각 입력 채널별 오디오 신호의 믹싱을 제어하는데 도움을 주도록 하는 것이다. 이러한 방식을 적용하면, 관리자가 직접 각 입력 채널 및 출력 채널별 오디오 신호를 일일이 확인할 필요 없이 상기 오디오 믹싱 장치(100)에서 제공되는 각 입력 채널 및 출력 채널별 오디오 신호의 딜레이에 대한 정보를 참조하여 믹싱 제어를 용이하게 수행할 수 있게 된다.For example, a manager who has confirmed the delay of the audio signal for each input channel and each output channel provided from the audio mixing device 100 through the application program installed in the manager terminal 400 directly through the audio mixing device 100 This is to help control the mixing of audio signals for each input channel. When this method is applied, the manager does not need to manually check the audio signals for each input channel and each output channel, but by referring to the information on the delay of the audio signal for each input channel and each output channel provided from the audio mixing apparatus 100, It becomes possible to easily perform mixing control.

또한 상기 오디오 믹싱 장치(100)는 관리자가 원격지에서 상기 관리자 단말(400)을 통해 통신 접속을 진행하여, 상기 오디오 믹싱 장치(100)의 각종 기능에 대한 설정조작 및 동작제어를 용이하게 수행할 수 있도록 지원할 수 있다.In addition, the audio mixing apparatus 100 allows an administrator to perform a communication connection through the administrator terminal 400 from a remote location to easily perform setting operation and operation control for various functions of the audio mixing apparatus 100 . can support you to

상기 오디오 제공 장치(200)는 무선 마이크, MP3 플레이어 등의 각종 재생장치, 스마트폰 등을 포함하여 구성되며, 사용자 음성, 음향, 음악, 방송신호(예 AM/FM 라디오 방송, 전관방송 등) 또는 이들의 조합을 포함한 오디오 신호를 와이파이, 블루투스, LoRa, 지그비 등의 다양한 무선통신 방식으로 상기 오디오 믹싱 장치(100)로 전송한다.The audio providing device 200 includes a wireless microphone, various playback devices such as an MP3 player, a smart phone, etc., and includes a user voice, sound, music, broadcast signal (eg, AM/FM radio broadcast, public address, etc.) or An audio signal including a combination thereof is transmitted to the audio mixing apparatus 100 through various wireless communication methods such as Wi-Fi, Bluetooth, LoRa, and Zigbee.

상기 오디오 출력 장치(300)는 통상적인 스피커는 물론, 스피커가 포함된 모든 전자기기를 포함하며, 상기 오디오 믹싱 장치(100)와 선로를 통해 유선으로 일대일로 연결되거나, 무선으로 연결되어 있으며, 상기 오디오 믹싱 장치(100)에서 믹싱한 오디오 신호를 입력받아 재생한다.The audio output device 300 includes not only a typical speaker, but also all electronic devices including a speaker, and is connected to the audio mixing device 100 by wire one-to-one or wirelessly through a line, and the The audio signal mixed by the audio mixing apparatus 100 is received and reproduced.

상기 관리자 단말(400)은 상기 오디오 믹싱 장치(100)의 구동을 관리하는 관리자가 소지한 스마트폰, 노트북 컴퓨터, 태블릿 등의 휴대용 통신기기로서, 상기 오디오 믹싱 장치(100)로부터 무선으로 수신한 각 입력 채널 및 출력 채널별 오디오 신호의 딜레이에 대한 정보를 실시간으로 제공받아 화면에 표시한다. 이에 따라 관리자는 상기 각 입력 채널 및 출력 채널별 오디오 신호의 딜레이에 대한 정보를 참조하여 직접 오디오 신호의 믹싱 제어를 수행할 수 있다.The manager terminal 400 is a portable communication device, such as a smart phone, a notebook computer, or a tablet, owned by a manager who manages the operation of the audio mixing device 100 , and each wirelessly received from the audio mixing device 100 . Information on the delay of the audio signal for each input channel and output channel is provided in real time and displayed on the screen. Accordingly, the manager may directly perform mixing control of the audio signal with reference to the information on the delay of the audio signal for each input channel and each output channel.

또한 상기 관리자 단말(400)은 네트워크를 통해 상기 오디오 믹싱 장치(100)와 통신 접속을 진행(예 : 애플리케이션 프로그램)한 후, 상기 오디오 믹싱 장치(100)에서 제공하는 오디오 신호의 세기, 음색, 위상, 서라운드 등을 포함한 각종 기능에 대한 설정조작을 수행하여 상기 오디오 믹싱 장치(100)의 동작을 제어할 수 있다. 이에 따라 관리자는 상기 오디오 믹싱 장치(100)가 설치되어 있는 장소에서 직접적인 조작을 수행하지 않고서도 공간상의 제약을 받지 않는 원격지에서 상기 오디오 믹싱 장치(100)의 각종 기능에 대한 설정조작 및 동작제어를 자유롭게 수행할 수 있게 된다.In addition, the manager terminal 400 communicates with the audio mixing apparatus 100 through a network (eg, an application program), and then the intensity, tone, and phase of the audio signal provided by the audio mixing apparatus 100 . An operation of the audio mixing apparatus 100 may be controlled by performing a setting operation for various functions including , surround, and the like. Accordingly, the administrator performs setting operation and operation control for various functions of the audio mixing apparatus 100 at a remote location that is not restricted in space without performing direct operation at the place where the audio mixing apparatus 100 is installed. be able to do it freely.

도 2는 본 발명과 종래 기술의 오디오 믹싱과정의 차이를 설명하기 위한 도면이다.2 is a view for explaining the difference between the audio mixing process of the present invention and the prior art.

종래에는 도 2의 (a)에 나타낸 바와 같이 오디오 믹싱 장치에서 무선 마이크나 재생장치 등으로부터 각종 오디오 신호를 수신하기 위해서는 각 입력 채널별로 개별적인 수신기가 필요하였고, 이에 따라 오디오 믹싱 장치의 부피와 설치비용이 크게 상승되었으며, 각기 다른 무선통신 방식으로 오디오 신호를 수신하는 경우 딜레이가 전부 다르기 때문에 각 오디오 신호의 동기화 작업이 정확하게 이루어지지 않으면 믹싱 작업을 원활하게 수행하지 못하였다.Conventionally, as shown in (a) of FIG. 2 , in order to receive various audio signals from a wireless microphone or a playback device in an audio mixing apparatus, an individual receiver is required for each input channel, and accordingly, the volume and installation cost of the audio mixing apparatus is greatly increased, and since the delays are all different when audio signals are received using different wireless communication methods, the mixing operation could not be performed smoothly if the synchronization operation of each audio signal was not performed accurately.

하지만, 본 발명의 방식을 적용하면 도 2의 (b)에 나타낸 바와 같이, 상기 오디오 믹싱 장치(100)에서 통합된 수신부를 통해 각종 무선통신 방식으로 전송되는 각 입력 채널별 오디오 신호를 통합하여 수신할 수 있으며, 각 입력 채널별로 수신한 각 오디오 신호별 딜레이를 참조하여 각 오디오 신호의 동기를 맞추어 믹싱처리를 수행할 수 있는 장점이 있다.However, when the method of the present invention is applied, as shown in (b) of FIG. 2 , the audio signal for each input channel transmitted through various wireless communication methods through the integrated receiver in the audio mixing apparatus 100 is integrated and received. This has the advantage that the mixing process can be performed by synchronizing each audio signal with reference to the delay of each audio signal received for each input channel.

또한 본 발명은 통합된 수신부 구성을 통해 상기 오디오 믹싱 장치(100)의 설계 비용을 줄이고, 실장 공간을 축소할 수 있다.In addition, the present invention can reduce the design cost of the audio mixing apparatus 100 and reduce the mounting space through the integrated receiver configuration.

도 3은 본 발명이 적용된 오디오 믹싱 장치를 이용한 무선통신 기반의 다채널 오디오 믹싱과정을 설명하기 위한 개념도이다.3 is a conceptual diagram illustrating a wireless communication-based multi-channel audio mixing process using an audio mixing apparatus to which the present invention is applied.

도 3에 도시된 바와 같이, 무선 마이크나 재생장치를 포함하는 상기 오디오 제공 장치(200)에서 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 오디오 신호를 와이파이, 블루투스, LoRa, 지그비 등의 무선통신 방식을 통해 무선으로 전송한다.As shown in FIG. 3 , in the audio providing device 200 including a wireless microphone or a playback device, an audio signal including user voice, sound, music, or a combination thereof is transmitted through wireless communication such as Wi-Fi, Bluetooth, LoRa, or Zigbee. transmitted wirelessly through

상기 오디오 믹싱 장치(100)는 상기 오디오 제공 장치(200)로부터 무선으로 전송되는 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 각 입력 채널별 오디오 신호를 수신하고, 상기 수신한 각 입력 채널별 오디오 신호의 저잡음 증폭, 디지털 변환 작업, 송신측의 인코딩에 따른 디코딩 작업 등을 수행하여 출력한다(①).The audio mixing apparatus 100 receives an audio signal for each input channel including a user's voice, sound, music, or a combination thereof, which is wirelessly transmitted from the audio providing apparatus 200 , and receives the received audio for each input channel. The signal is output by performing low-noise amplification, digital conversion, and decoding according to the encoding of the transmitting side (①).

또한 상기 오디오 믹싱 장치(100)는 상기 수신한 각 입력 채널별 오디오 신호의 딜레이를 검출한다(②). 즉 상기 오디오 제공 장치(200)로부터 무선으로 수신한 각 입력 채널별 오디오 신호를 수신 처리하는 과정에서 발생할 수 있는 딜레이를 검출하는 것이다.Also, the audio mixing apparatus 100 detects a delay of the received audio signal for each input channel (②). That is, a delay that may occur in the process of receiving and processing an audio signal for each input channel wirelessly received from the audio providing apparatus 200 is detected.

상기 수신한 각 입력 채널별 오디오 신호의 딜레이를 검출한 이후, 상기 오디오 믹싱 장치(100)는 상기 검출한 각 입력 채널별 오디오 신호의 딜레이를 참조하여, 딜레이가 가장 긴 특정 입력 채널의 오디오 신호를 기준으로 다른 입력 채널의 오디오 신호의 동기를 맞추는 동기화 작업을 수행한다(③). 즉 가장 나쁜 딜레이(worst case delay)를 토대로 각 입력 채널별 오디오 신호를 동시에 출력하는 작업을 수행하는 것이다.After detecting the delay of the received audio signal for each input channel, the audio mixing apparatus 100 refers to the detected delay of the audio signal for each input channel, and selects the audio signal of a specific input channel with the longest delay. A synchronization operation is performed to synchronize audio signals of other input channels as a reference (③). That is, an operation of simultaneously outputting audio signals for each input channel is performed based on the worst case delay.

또한 상기 오디오 믹싱 장치(100)는 동기를 맞춘 각 입력 채널별 오디오 신호를 믹싱하고, 상기 믹싱한 오디오 신호를 증폭한 다음 상기 오디오 출력 장치(300)로 출력하여 재생하도록 한다(④).In addition, the audio mixing apparatus 100 mixes the synchronized audio signal for each input channel, amplifies the mixed audio signal, and outputs it to the audio output apparatus 300 for reproduction (④).

이때 상기 오디오 믹싱 장치(100)는 상기 믹싱한 오디오 신호를 상기 복수의 오디오 출력 장치(300)를 통해 출력할 때, 잔향이 발생되지 않도록 각 오디오 출력 장치(300)의 각 출력 채널별로 독립적으로 딜레이를 조절하여 출력할 수 있다.At this time, when the audio mixing apparatus 100 outputs the mixed audio signal through the plurality of audio output apparatuses 300 , the audio mixing apparatus 100 independently delays each output channel of each audio output apparatus 300 so as not to generate reverberation. can be adjusted to print.

한편 상기 오디오 믹싱 장치(100)는 상기 설명에서와 같이 무선으로 수신한 각 입력 채널별 오디오 신호의 딜레이를 참조하여 동기를 수행한 다음 믹싱 처리하는 것을 예로 설명하였지만, 상기 검출한 각 입력 채널별 오디오 신호의 딜레이에 대한 정보와 각 출력 채널별 오디오 신호의 딜레이에 대한 정보를 상기 관리자 단말(400)로 제공하고, 상기 관리자 단말(400)을 통해 상기 각 입력 채널 및 출력 채널별 오디오 신호의 딜레이에 대한 정보를 확인한 관리자가 상기 오디오 믹싱 장치(100)를 직접 제어하여 각 오디오 신호의 믹싱 제어를 수행하도록 할 수 있다.On the other hand, as described above, the audio mixing apparatus 100 performs synchronization with reference to the delay of the audio signal for each input channel received wirelessly as described above and then performs the mixing process as an example, but the detected audio for each input channel Information on the delay of the signal and information on the delay of the audio signal for each output channel are provided to the manager terminal 400, and the delay of the audio signal for each input channel and each output channel through the manager terminal 400 The manager, who has confirmed the information about the , may directly control the audio mixing apparatus 100 to perform mixing control of each audio signal.

또한 상기 오디오 믹싱 장치(100)는 상기 관리자 단말(400)로부터 원격 제어신호, 즉 상기 오디오 믹싱 장치(100)의 각종 기능에 대한 설정조작 및 동작을 위한 제어신호가 수신되면, 상기 제어신호를 토대로 각종 기능에 대한 설정조작 및 동작을 제어할 수 있다.In addition, the audio mixing apparatus 100 receives a remote control signal from the manager terminal 400 , that is, a control signal for setting operation and operation of various functions of the audio mixing apparatus 100 , based on the control signal. It can control setting operation and operation for various functions.

도 4는 본 발명의 일 실시예에 따른 오디오 믹싱 장치의 구성을 상세하게 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 수신부의 구성을 상세하게 나타낸 도면이다.4 is a diagram showing in detail the configuration of an audio mixing apparatus according to an embodiment of the present invention, and FIG. 5 is a diagram showing in detail the configuration of a receiver according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 상기 오디오 믹싱 장치(100)는 수신부(110), 딜레이 검출부(120), 동기화부(130), 믹싱부(140), 오디오 출력부(150), 오디오 출력딜레이 조절부(160), 정보 제공부(170), 통신부(180), 메모리(190) 등을 포함하여 구성된다.As shown in FIG. 4 , the audio mixing apparatus 100 includes a receiving unit 110 , a delay detecting unit 120 , a synchronizing unit 130 , a mixing unit 140 , an audio output unit 150 , and adjusting the audio output delay. It is configured to include a unit 160 , an information providing unit 170 , a communication unit 180 , a memory 190 , and the like.

또한 상기 오디오 믹싱 장치(100)는 도면에 도시하지는 않았지만, 각 구성 부분에 동작전원을 공급하는 전원부, 각종 기능에 대한 데이터 입력을 위한 입력부, 각종 동작프로그램의 업데이트를 관리하는 업데이트 관리부, 원격에서 설정조작 및 동작을 제어하기 위한 동작 제어부 등을 추가로 포함할 수 있다.In addition, although not shown in the drawings, the audio mixing apparatus 100 includes a power supply unit for supplying operating power to each component, an input unit for data input for various functions, an update management unit for managing updates of various operation programs, and settings remotely It may further include an operation control unit and the like for controlling the operation and operation.

상기 수신부(110)는 도 5에 나타낸 바와 같이, 저잡음 증폭기(Low Noise Amplifier), 아날로그/디지털 변환기(ADC), 디코더 등을 포함한 수신기가 적어도 하나 이상 구비되어 있고, 상기 오디오 제공 장치(200)로부터 무선으로 전송되는 각 입력 채널별 오디오 신호를 수신하여 상기 동기화부(130)로 출력한다.As shown in FIG. 5 , the receiver 110 includes at least one receiver including a low noise amplifier, an analog/digital converter (ADC), a decoder, etc. An audio signal for each input channel transmitted wirelessly is received and output to the synchronization unit 130 .

즉 상기 수신부(110)는 와이파이, 블루투스, LoRa, 지그비 등의 무선통신 방식으로 전송되는 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 오디오 신호를 각 입력 채널별로 수신하며, 상기 수신한 상기 각 입력 채널별 오디오 신호를 저잡음 증폭, 디지털 변환 및 송신측 인코딩에 따른 디코딩 처리를 수행한 후 상기 동기화부(130)로 출력하는 것이다.That is, the receiver 110 receives an audio signal including user voice, sound, music, or a combination thereof transmitted through a wireless communication method such as Wi-Fi, Bluetooth, LoRa, or Zigbee for each input channel, and receives each input The audio signal for each channel is output to the synchronization unit 130 after decoding processing according to low-noise amplification, digital conversion, and transmission-side encoding is performed.

상기 딜레이 검출부(120)는 상기 수신부(110)를 통해 수신한 각 입력 채널별 오디오 신호를 해당 송신 방식에 따라 수신하는 데에 소요되는 시간으로, 상기 수신부(110)의 입력단과 출력단 사이의 시간 차이를 검출한다. 이때 상기 검출은 상기 수신부(110)에서 상기 각 입력 채널별 오디오 신호에 대해서 각 송신 방식에 따라 수신하는데 소요되는 시간을 신호의 수신 단계별로 계산하여 결정하는 것을 의미한다.The delay detection unit 120 is a time required to receive the audio signal for each input channel received through the receiving unit 110 according to a corresponding transmission method, and a time difference between the input terminal and the output terminal of the receiving unit 110 . to detect In this case, the detection means that the receiving unit 110 calculates and determines the time required to receive the audio signal for each input channel according to each transmission method for each signal reception step.

또한 상기 딜레이 검출부(120)는 상기 검출한 각 입력 채널별 오디오 신호의 딜레이 정보를 상기 동기화부(130)로 제공한다.In addition, the delay detection unit 120 provides delay information of the detected audio signal for each input channel to the synchronization unit 130 .

또한 상기 딜레이 검출부(120)는 상기 검출한 각 입력 채널별 오디오 신호의 딜레이를 상기 정보 제공부(170)로 제공하여, 상기 정보 제공부(170)를 통해 원격지에 위치한 관리자가 현재 수신된 각 입력 채널별 오디오 신호의 딜레이를 실시간으로 확인할 수 있도록 한다.In addition, the delay detection unit 120 provides the detected delay of the audio signal for each input channel to the information providing unit 170, and through the information providing unit 170, the manager located at a remote location receives each input currently received. It allows you to check the delay of the audio signal for each channel in real time.

상기 동기화부(130)는 적어도 하나 이상의 버퍼(131)와 동기 처리부(132)를 포함하며, 상기 딜레이 검출부(120)에서 검출한 상기 각 입력 채널별 오디오 신호의 딜레이를 참조하여, 상기 각 입력 채널별 오디오 신호를 동기화하고, 상기 동기화한 각 입력 채널별 오디오 신호를 상기 믹싱부(140)로 출력한다.The synchronization unit 130 includes at least one buffer 131 and a synchronization processing unit 132, and referring to the delay of the audio signal for each input channel detected by the delay detection unit 120, each input channel Each audio signal is synchronized, and the synchronized audio signal for each input channel is output to the mixing unit 140 .

상기 적어도 하나 이상의 버퍼(131)는 상기 수신부(110)로부터 입력되는 상기 각 입력 채널별 오디오 신호를 버퍼링하는 기능을 수행한다. 이때 상기 각 버퍼(131)는 상기 딜레이 검출부(120)에서 검출한 상기 각 입력 채널별 오디오 신호의 딜레이 중 딜레이가 가장 긴 입력 채널의 오디오 신호를 제외하고 다른 모든 입력 채널의 오디오 신호를 버퍼링한다.The at least one buffer 131 performs a function of buffering the audio signal for each input channel input from the receiver 110 . At this time, each of the buffers 131 buffers the audio signals of all other input channels except for the audio signal of the input channel having the longest delay among the delays of the audio signals for each input channel detected by the delay detector 120 .

상기 동기 처리부(132)는 상기 딜레이 검출부(120)에서 검출한 상기 각 입력 채널별 오디오 신호의 딜레이 중 딜레이가 가장 긴 특정 입력 채널의 오디오 신호를 확인하고, 상기 확인한 딜레이가 가장 긴 특정 입력 채널의 오디오 신호를 기준으로 다른 입력 채널의 오디오 신호를 동기화하여 상기 믹싱부(140)로 출력한다.The synchronization processing unit 132 identifies an audio signal of a specific input channel having the longest delay among the delays of the audio signals for each input channel detected by the delay detection unit 120, and determines the specific input channel having the longest delay. An audio signal of another input channel is synchronized with the audio signal and output to the mixing unit 140 .

즉 상기 동기 처리부(132)는 상기 수신부(110)로부터 딜레이가 가장 긴 특정 입력 채널의 오디오 신호가 입력되는 시점을 기준으로 하여, 상기 적어도 하나 이상의 버퍼(131)를 통해 버퍼링하고 있는 다른 입력 채널의 오디오 신호를 동시에 출력하는 것이다.That is, the synchronization processing unit 132 sets the time at which the audio signal of the specific input channel having the longest delay is input from the receiving unit 110, the other input channels being buffered through the at least one buffer 131 . It outputs audio signals at the same time.

상기 믹싱부(140)는 상기 동기화부(130)로부터 입력되는 동기화된 상기 각 입력 채널별 오디오 신호를 믹싱하고, 상기 믹싱한 오디오 신호를 오디오 출력부(150)로 출력한다.The mixing unit 140 mixes the synchronized audio signals for each input channel input from the synchronization unit 130 , and outputs the mixed audio signal to the audio output unit 150 .

즉 상기 믹싱부(140)는 상기 동기화부(130)로부터 입력되는 동기화된 각 입력 채널별 오디오 신호의 이퀄라이징, 게인 조절, 레벨 조정, 필터링 등을 수행하여, 각 입력 채널별 오디오 신호의 세기, 음색, 위상, 서라운드 등을 조정하는 믹싱 작업을 처리하는 것이다.That is, the mixing unit 140 performs equalization, gain adjustment, level adjustment, filtering, etc. of the audio signal for each synchronized input channel inputted from the synchronization unit 130, and the intensity and tone of the audio signal for each input channel , to handle the mixing task of adjusting phase, surround, etc.

상기 오디오 출력부(150)는 전력 증폭기, 디지털/아날로그 변환기(DAC) 등을 포함하여 구성되며, 상기 믹싱부(140)에서 믹싱한 오디오 신호의 증폭 및 아날로그 신호 변환 등을 수행하여 상기 오디오 출력 장치(300)로 출력한다.The audio output unit 150 includes a power amplifier, a digital/analog converter (DAC), and the like, and performs amplification and analog signal conversion of the audio signal mixed by the mixing unit 140 to the audio output device. (300) is output.

또한 상기 오디오 출력부(150)는 적어도 하나 이상의 버퍼(151)를 포함하며, 상기 오디오 출력딜레이 조절부(160)를 통해 상기 복수의 오디오 출력 장치(300)의 각 출력 채널별로 독립적으로 딜레이가 조절되면, 상기 조절된 딜레이에 따라 상기 믹싱한 오디오 신호를 상기 적어도 하나 이상의 버퍼(151)를 통해 각 출력 채널별로 버퍼링한 다음 출력하도록 함으로써, 상기 믹싱한 오디오 신호를 소정의 공간에 구비된 복수의 오디오 출력 장치(300)로 출력하는 과정에서 잔향이 발생하지 않도록 한다.In addition, the audio output unit 150 includes at least one buffer 151 , and the delay is independently adjusted for each output channel of the plurality of audio output devices 300 through the audio output delay control unit 160 . , the mixed audio signal is buffered for each output channel through the at least one buffer 151 according to the adjusted delay and then outputted, so that the mixed audio signal is combined with a plurality of audio signals provided in a predetermined space. In the process of outputting to the output device 300 , reverberation is prevented from occurring.

상기 오디오 출력딜레이 조절부(160)는 상기 믹싱부(140)를 통해 믹싱한 오디오 신호를 소정 공간에 구비되어 있는 복수 개의 오디오 출력 장치(300)로 출력하는 과정에서, 해당 공간에서 잔향이 발생하지 않도록 상기 복수의 오디오 출력 장치(300)의 각 출력 채널별로 독립적으로 딜레이를 조절하여 출력되도록 하는 기능을 수행한다.When the audio output delay control unit 160 outputs the audio signal mixed through the mixing unit 140 to the plurality of audio output devices 300 provided in a predetermined space, reverberation does not occur in the corresponding space. In order to prevent the delay, the output by independently adjusting the delay for each output channel of the plurality of audio output devices 300 is performed.

즉 상기 오디오 출력딜레이 조절부(160)는 관리자에 의해 지정된 각 출력 채널별 딜레이만큼 상기 믹싱한 오디오 신호를 상기 오디오 출력부(150)의 버퍼(151)를 통해 버퍼링한 다음 상기 복수의 오디오 출력 장치(300)로 출력되도록 하는 것이다.That is, the audio output delay control unit 160 buffers the mixed audio signal by the delay for each output channel designated by the manager through the buffer 151 of the audio output unit 150, and then buffers the plurality of audio output devices. (300) is output.

상기 정보 제공부(170)는 상기 딜레이 검출부(120)에서 검출한 각 입력 채널별 오디오 신호의 딜레이 정보와 상기 오디오 출력딜레이 조절부(160)에서 조절한 각 출력 채널별 오디오 신호의 딜레이에 대한 정보를 상기 통신부(180)를 통해 상기 관리자 단말(400)로 출력한다.The information providing unit 170 provides delay information of the audio signal for each input channel detected by the delay detection unit 120 and information on the delay of the audio signal for each output channel adjusted by the audio output delay control unit 160 . is output to the manager terminal 400 through the communication unit 180 .

이에 따라 상기 관리자 단말(400)은 상기 각 입력 채널 및 출력 채널별 오디오 신호의 딜레이에 대한 정보를 화면에 표시함으로써, 관리자가 상기 각 입력 채널 및 출력 채널별 오디오 신호의 딜레이에 대한 정보를 토대로 직접 각 오디오 신호의 믹싱을 제어할 수 있도록 한다.Accordingly, the manager terminal 400 displays the information on the delay of the audio signal for each input channel and the output channel on the screen, so that the manager can directly use the information on the delay of the audio signal for each input channel and the output channel based on the information on the delay. Allows you to control the mixing of each audio signal.

상기 통신부(180)는 상기 정보 제공부(170)로부터 입력된 상기 각 입력 채널 및 출력 채널별 오디오 신호의 딜레이에 대한 정보를 네트워크를 통해 상기 관리자 단말(400)로 전송한다.The communication unit 180 transmits the information on the delay of the audio signal for each input channel and each output channel input from the information providing unit 170 to the manager terminal 400 through the network.

또한 상기 통신부(180)는 네트워크를 통해 상기 관리자 단말(400)로부터 상기 오디오 믹싱 장치(100)의 각종 기능에 대한 설정조작 및 동작을 위한 원격제어신호를 수신하여 동작 제어부(미도시)로 전달하여, 관리자가 원격지에서 상기 오디오 믹싱 장치(100)를 구동할 수 있도록 한다.In addition, the communication unit 180 receives a remote control signal for setting operation and operation of various functions of the audio mixing apparatus 100 from the manager terminal 400 through the network and transmits it to an operation control unit (not shown). , so that an administrator can drive the audio mixing apparatus 100 from a remote location.

상기 메모리(190)는 상기 오디오 믹싱 장치(100)에서 사용하는 각종 동작 프로그램을 저장하고 있으며, 상기 딜레이 검출부(120)에서 검출한 각 입력 채널별 오디오 신호의 딜레이, 상기 오디오 출력딜레이 조절부(160)에서 조절한 각 출력 채널별 오디오 신호의 딜레이, 상기 정보 제공부(170)에서 생성한 각 입력 채널 및 출력채널별 오디오 신호의 딜레이에 대한 정보 등을 임시로 저장한다.The memory 190 stores various operation programs used in the audio mixing apparatus 100 , the delay of the audio signal for each input channel detected by the delay detection unit 120 , and the audio output delay adjustment unit 160 . ), information on the delay of the audio signal for each output channel adjusted in ) and the delay of the audio signal for each input channel and output channel generated by the information providing unit 170 are temporarily stored.

도 6은 본 발명의 일 실시예에 따른 오디오 믹싱 장치에서의 무선통신 방식에 따른 딜레이에 의한 각 오디오 신호별 동기화 수행과정을 설명하기 위한 도면이다.6 is a diagram for explaining a process of performing synchronization for each audio signal by delay according to a wireless communication method in an audio mixing apparatus according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 상기 오디오 제공 장치(200)로부터 와이파이, 블루투스, LoRa, 지그비 등의 무선통신 방식에 의해 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 오디오 신호를 각 입력 채널별로 수신하는 상기 오디오 믹싱 장치(100)의 수신부(110)는 상기 수신한 각 입력 채널별 오디오 신호를 처리하는 과정에서 입력단과 출력단 사이에 딜레이가 발생한다.As shown in FIG. 6 , an audio signal including a user's voice, sound, music, or a combination thereof is received for each input channel by a wireless communication method such as Wi-Fi, Bluetooth, LoRa, or Zigbee from the audio providing device 200 . In the process of processing the received audio signal for each input channel, the receiver 110 of the audio mixing apparatus 100 generates a delay between the input terminal and the output terminal.

즉 다양한 무선통신 방식에 따라 수신한 각 입력 채널별 오디오 신호의 저잡음 증폭, 디지털 변환 작업, 송신측의 인코딩에 따른 디코딩 작업 등을 수행하는 과정에서, 각 무선통신 방식의 표준에 따라 딜레이가 전부 다르게 나타나는 것이다.That is, in the process of performing low-noise amplification, digital conversion, and decoding according to the encoding of the transmitting side of the audio signal for each input channel received according to various wireless communication methods, the delay varies according to the standard of each wireless communication method. will appear

이러한 각 입력 채널별 오디오 신호의 딜레이는 상기 딜레이 검출부(120)를 통해 검출되며, 상기 검출된 상기 각 입력 채널별 오디오 신호의 딜레이를 통해 상기 동기화부(130)에서 상기 수신부(110)를 통해 수신한 각 입력 채널별 오디오 신호의 동기화가 처리되고, 상기 동기화된 각 입력 채널별 오디오 신호가 상기 믹싱부(140)로 출력되어 믹싱 작업이 이루어진다.The delay of the audio signal for each input channel is detected through the delay detector 120, and the synchronization unit 130 receives the delay through the receiver 110 through the detected delay of the audio signal for each input channel. The synchronization of the audio signal for each input channel is processed, and the synchronized audio signal for each input channel is output to the mixing unit 140 to perform a mixing operation.

이때 상기 동기화부(130)에서 처리되는 동기화는 딜레이가 가장 긴 입력 채널의 오디오 신호를 기준으로 다른 모든 입력 채널의 오디오 신호의 동기화를 수행하는 것이 원칙이다.At this time, in principle, the synchronization processed by the synchronization unit 130 performs synchronization of audio signals of all other input channels based on the audio signals of the input channel having the longest delay.

다음에는, 이와 같이 구성된 본 발명에 따른 무선통신 기반의 다채널 오디오 믹싱 방법의 일 실시예를 도 7을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.Next, an embodiment of the wireless communication-based multi-channel audio mixing method according to the present invention configured as described above will be described in detail with reference to FIG. 7 . In this case, the order of each step according to the method of the present invention may be changed by the environment of use or by those skilled in the art.

도 7은 본 발명의 일 실시예에 따른 무선통신 기반의 다채널 오디오 믹싱 방법의 동작과정을 상세하게 나타낸 순서도이다.7 is a flowchart illustrating in detail an operation process of a wireless communication-based multi-channel audio mixing method according to an embodiment of the present invention.

먼저, 오디오 믹싱 장치(100)는 상기 오디오 제공 장치(200)로부터 무선으로 전송되는 각 입력 채널별 오디오 신호를 수신부(110)를 통해 수신하는 오디오 신호 수신 단계를 수행한다(S100).First, the audio mixing apparatus 100 performs an audio signal reception step of receiving an audio signal for each input channel wirelessly transmitted from the audio providing apparatus 200 through the receiver 110 (S100).

즉 상기 수신부(110)를 통해 무선 마이크, 재생장치, 스마트폰 등을 통해 와이파이, 블루투스, LoRa, 지그비 등의 무선통신 방식으로 전송되는 사용자 음성, 음향, 음악 또는 이들의 조합을 포함한 오디오 신호를 각 입력 채널별로 수신하는 것이다. 이때 무선으로 수신한 상기 각 입력 채널별 오디오 신호는 상기 수신부(110)를 통해 저잡음 증폭, 디지털 변환 및 송신측의 인코딩에 따른 디코딩 작업이 수행되어 상기 동기화부(130)로 출력된다.That is, each audio signal including user voice, sound, music, or a combination thereof transmitted through a wireless communication method such as Wi-Fi, Bluetooth, LoRa, Zigbee, etc. through a wireless microphone, a playback device, or a smartphone through the receiver 110 It is received for each input channel. At this time, the audio signal for each input channel received wirelessly is decoded according to low noise amplification, digital conversion, and encoding at the transmitting side through the receiving unit 110 and output to the synchronizing unit 130 .

또한 상기 오디오 믹싱 장치(100)는 무선으로 수신한 상기 각 입력 채널별 오디오 신호의 딜레이를 딜레이 검출부(120)를 통해 검출하는 딜레이 검출 단계를 수행한다(S200). 즉 상기 딜레이 검출부(120)를 통해 상기 각 입력 채널별 오디오 신호의 상기 수신부(110)의 입력단과 출력단 사이의 시간 차이인 딜레이를 검출하는 것이다. 이때 상기 검출은 상기 수신부(110)에서 상기 각 입력 채널별 오디오 신호에 대해서 각 송신 방식에 따라 수신하는데 소요되는 시간을 신호의 수신 단계별로 계산하여 결정한다.In addition, the audio mixing apparatus 100 performs a delay detection step of detecting a delay of the audio signal for each input channel wirelessly received through the delay detection unit 120 (S200). That is, the delay that is the time difference between the input terminal and the output terminal of the receiver 110 of the audio signal for each input channel is detected through the delay detector 120 . In this case, the detection is determined by calculating the time required for the receiver 110 to receive the audio signal for each input channel according to each transmission method for each signal reception step.

상기 S200 단계를 통해 무선으로 수신한 각 입력 채널별 오디오 신호의 딜레이를 검출한 이후, 상기 오디오 믹싱 장치(100)는 상기 검출한 상기 각 입력 채널별 오디오 신호의 딜레이를 참조하여, 상기 동기화부(130)를 통해 상기 각 입력 채널별 오디오 신호를 동기화하는 동기화 수행 단계를 수행한다.After detecting the delay of the audio signal for each input channel wirelessly received through the step S200, the audio mixing apparatus 100 refers to the detected delay of the audio signal for each input channel, and the synchronization unit ( 130), a synchronization performing step of synchronizing the audio signals for each input channel is performed.

상기 동기화 수행 단계를 보다 상세하게 설명하면, 상기 동기화부(130)는 상기 검출한 상기 각 입력 채널별 오디오 신호의 딜레이 중에서 딜레이가 가장 긴 특정 입력 채널의 오디오 신호를 확인한다(S300).The synchronization performing step will be described in more detail. The synchronization unit 130 identifies an audio signal of a specific input channel having the longest delay among the detected delays of the audio signal for each input channel ( S300 ).

또한 상기 동기화부(130)는 상기 S300 단계에서 확인한 딜레이가 가장 긴 특정 입력 채널의 오디오 신호가 상기 수신부(110)로부터 입력될 때까지 다른 입력 채널의 오디오 신호를 버퍼링한다(S400). 즉 상기 수신부(110)로부터 입력되는 각 입력 채널별 오디오 신호 중 딜레이가 가장 긴 특정 입력 채널의 오디오 신호 이외의 모든 입력 채널의 오디오 신호를 적어도 하나 이상의 버퍼(131)를 통해 버퍼링하는 것이다.In addition, the synchronization unit 130 buffers the audio signal of the other input channel until the audio signal of the specific input channel having the longest delay confirmed in step S300 is input from the receiver 110 ( S400 ). That is, audio signals of all input channels other than the audio signal of a specific input channel having the longest delay among the audio signals for each input channel input from the receiver 110 are buffered through at least one buffer 131 .

이후 상기 동기화부(130)는 상기 수신부(110)로부터 딜레이가 가장 긴 특정 입력 채널의 오디오 신호가 입력되는지를 판단하고(S500), 상기 판단한 결과 상기 수신부(110)로부터 딜레이가 가장 긴 특정 입력 채널의 오디오 신호가 입력되면, 딜레이가 가장 긴 특정 입력 채널의 오디오 신호를 기준으로 상기 S400 단계에서 적어도 하나 이상의 버퍼(131)를 통해 버퍼링하고 있는 다른 입력 채널의 오디오 신호를 동시에 출력한다(S600).Thereafter, the synchronization unit 130 determines whether an audio signal of a specific input channel having the longest delay is input from the receiving unit 110 ( S500 ), and as a result of the determination, the specific input channel having the longest delay from the receiving unit 110 . When an audio signal is input, an audio signal of another input channel buffered through at least one buffer 131 in step S400 is simultaneously output based on an audio signal of a specific input channel having the longest delay (S600).

상기 S300 단계 내지 S600 단계를 통해 무선으로 수신한 각 입력 채널별 오디오 신호를 딜레이를 참조하여 동기화한 이후, 상기 오디오 믹싱 장치(100)는 상기 S600 단계를 통해 동기화한 각 입력 채널별 오디오 신호를 믹싱부(140)를 통해 세기, 음색, 위상, 서라운드 등을 조정하는 믹싱 작업을 수행하고(S700), 상기 믹싱한 오디오 신호를 오디오 출력부(150)를 통해 증폭 및 아날로그 변환하여 적어도 하나 이상의 오디오 출력 장치(300)로 출력한다(S800).After synchronizing the audio signals for each input channel wirelessly received through the steps S300 to S600 with reference to the delay, the audio mixing apparatus 100 mixes the audio signals for each input channel synchronized through the steps S600. A mixing operation of adjusting intensity, tone, phase, surround, etc. is performed through the unit 140 (S700), and the mixed audio signal is amplified and analog-converted through the audio output unit 150 to output at least one audio It outputs to the device 300 (S800).

한편, 도 7에 도시하지는 않았지만 상기 오디오 믹싱 장치(100)는 상기 S800 단계를 통해 믹싱한 오디오 신호를 소정의 공간에 구비된 복수의 오디오 출력 장치(300)로 출력하는 과정에서, 상기 공간에서 잔향이 발생하지 않도록, 오디오 출력딜레이 조절부(160)를 통해 상기 복수의 오디오 출력 장치(300)의 각 출력 채널별로 독립적으로 딜레이를 조절하여 출력되도록 하는 오디오 출력딜레이 조절 단계를 더 수행할 수 있다.Meanwhile, although not shown in FIG. 7 , in the process of outputting the audio signal mixed in step S800 to the plurality of audio output devices 300 provided in a predetermined space, the audio mixing apparatus 100 outputs reverberation in the space. To prevent this from occurring, an audio output delay adjustment step of independently adjusting the delay for each output channel of the plurality of audio output devices 300 and outputting the output delay may be further performed through the audio output delay adjusting unit 160 .

또한 상기 오디오 믹싱 장치(100)는 정보 제공부(170)를 통해 상기 S200 단계에서 검출한 각 입력 채널별 오디오 신호의 딜레이에 대한 정보와 상기 S800 단계에서 조절된 각 출력 채널별 오디오 신호의 딜레이에 대한 정보를 상기 관리자 단말(400)로 제공하는 정보 제공 단계를 더 수행할 수 있다.In addition, the audio mixing apparatus 100 provides information on the delay of the audio signal for each input channel detected in step S200 through the information providing unit 170 and the delay of the audio signal for each output channel adjusted in step S800. An information providing step of providing information about the information to the manager terminal 400 may be further performed.

이에 따라 상기 관리자 단말(400)을 통해 각 입력 채널 및 출력 채널별 오디오 신호의 딜레이에 대한 정보를 확인한 관리자는 상기 각 입력 채널 및 출력채널별 오디오 신호의 딜레이 정보를 토대로 상기 오디오 믹싱 장치(100)를 직접 수동으로 조작하여 각 오디오 신호의 믹싱을 제어할 수 있다.Accordingly, the manager, who has checked the information on the delay of the audio signal for each input channel and each output channel through the manager terminal 400, is based on the delay information of the audio signal for each input channel and each output channel, the audio mixing apparatus 100 You can manually control the mixing of each audio signal.

이처럼, 본 발명은 오디오 믹싱 장치에서 무선통신을 통해 각 입력 채널별로 수신되는 각각의 오디오 신호별 딜레이를 검출하여 딜레이가 가장 긴 오디오 신호를 기준으로 동기를 맞추어 믹싱처리를 수행하기 때문에, 무선으로 수신한 각종 오디오 신호의 믹싱처리를 정밀하게 수행할 수 있다.As described above, the present invention detects a delay for each audio signal received for each input channel through wireless communication in the audio mixing apparatus and performs the mixing process in synchronization with the audio signal having the longest delay, so that the wireless reception is performed It is possible to precisely perform mixing processing of various audio signals.

또한 개별적인 무선 인터페이스 구성을 생략할 수 있으므로 오디오 믹싱 장치의 설계 비용을 줄이고, 실장 공간을 축소할 수 있다.In addition, since the configuration of an individual air interface can be omitted, the design cost of the audio mixing device can be reduced, and the mounting space can be reduced.

또한 본 발명은 믹싱한 오디오 신호를 소정의 공간에 구비된 복수의 오디오 출력 장치를 통해 동시에 출력할 때, 각 오디오 출력 장치의 각 출력 채널별로 독립적으로 딜레이를 조절하여 출력할 수 있으므로 여러 개의 오디오 출력 장치가 연동되더라도 잔향 발생을 억제할 수 있다.Also, according to the present invention, when a mixed audio signal is simultaneously output through a plurality of audio output devices provided in a predetermined space, the delay can be independently adjusted and outputted for each output channel of each audio output device, so that multiple audio outputs are output. Even if the device is interlocked, it is possible to suppress the generation of reverberation.

또한 본 발명은 오디오 믹싱 장치에서 각 오디오 신호별 딜레이 정보를 관리자 단말로 실시간으로 제공할 수 있으므로, 관리자가 각 오디오 신호별 딜레이 정보를 토대로 직접 오디오 신호의 믹싱 작업을 수행할 수 있다.In addition, since the present invention can provide the delay information for each audio signal to the manager terminal in real time from the audio mixing apparatus, the manager can directly mix the audio signal based on the delay information for each audio signal.

또한 본 발명은 오디오 믹싱 장치를 관리하는 관리자가 공간상의 제약 없이 현재 위치하고 있는 장소에서 관리자 단말을 통해 오디오 믹싱 장치의 각종 기능에 대한 설정조작 및 동작제어를 용이하게 수행할 수 있다.In addition, according to the present invention, the manager who manages the audio mixing apparatus can easily perform setting operation and operation control for various functions of the audio mixing apparatus through the manager terminal at the place where the audio mixing apparatus is currently located without space restrictions.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, which are merely exemplary, and those of ordinary skill in the art can make various modifications and equivalent other embodiments therefrom. You will understand that it is possible. Therefore, the technical protection scope of the present invention should be determined by the following claims.

100 : 오디오 믹싱 장치 110 : 수신부
120 : 딜레이 검출부 130 : 동기화부
131 : 버퍼 132 : 동기 처리부
140 : 믹싱부 150 : 오디오 출력부
151 : 버퍼 160 : 오디오 출력딜레이 조절부
170 : 정보 제공부 180 : 통신부
190 : 메모리 200 : 오디오 제공 장치
300 : 오디오 출력 장치 400 : 관리자 단말100: audio mixing device 110: receiver
120: delay detection unit 130: synchronization unit
131: buffer 132: synchronization processing unit
140: mixing unit 150: audio output unit
151: buffer 160: audio output delay control unit
170: information providing unit 180: communication unit
190: memory 200: audio providing device
300: audio output device 400: manager terminal

Claims

a receiver for receiving an audio signal for each input channel that is wirelessly transmitted;
a delay detector configured to detect a delay of the received audio signal for each input channel;
a synchronization unit for synchronizing the received audio signal for each input channel with reference to the detected delay of the audio signal for each input channel; and
a mixing unit for mixing the synchronized audio signals for each input channel and outputting them through at least one audio output device;
The delay detection unit,
In the process of digital conversion and decoding of the audio signal for each input channel received according to a wireless communication method including Wi-Fi, Bluetooth, LoRa (Long Range), or Zigbee in the receiver, Wireless communication-based multi-channel audio mixing apparatus, characterized in that it further comprises detecting a delay that is a time difference.

delete

The method according to claim 1,
The synchronization unit,
at least one buffer for buffering the audio signal for each input channel received from the receiver; and
A synchronization processing unit for synchronizing and outputting audio signals of other input channels buffered through the at least one buffer based on the audio signal of a specific input channel having the longest delay among the detected delays of the audio signals for each input channel; Wireless communication-based multi-channel audio mixing apparatus, characterized in that it comprises.

The method according to claim 1,
The audio mixing device,
When outputting the mixed audio signal to a plurality of audio output devices provided in a predetermined space, the delay is independently adjusted for output by each output channel of the plurality of audio output devices so that reverberation does not occur in the space Audio output delay control unit; Wireless communication-based multi-channel audio mixing apparatus characterized in that it further comprises.

6. The method of claim 5,
The audio mixing device,
Information on the detected delay of the audio signal for each input channel and information on the delay of the adjusted audio signal for each output channel are generated, and the generated information on the delay of the audio signal for each input channel and each output It further includes; an information providing unit for providing information on the delay of the audio signal for each channel to the manager terminal through the network,
The manager terminal, by displaying information on the delay of the audio signal for each input channel and the delay of the audio signal for each output channel on the screen, allows the manager information on the delay of the audio signal for each input channel and a wireless communication-based multi-channel audio mixing apparatus capable of directly controlling mixing of an audio signal based on the information on the delay of the audio signal for each output channel.

An audio signal receiving step of receiving, in an audio mixing apparatus, an audio signal for each input channel transmitted wirelessly;
a delay detecting step of detecting, in the audio mixing apparatus, a delay of the received audio signal for each input channel;
a synchronization performing step of synchronizing, in the audio mixing apparatus, the received audio signal for each input channel with reference to the detected delay of the audio signal for each input channel; and
a mixing step of mixing, in the audio mixing device, the synchronized audio signals for each input channel and outputting them through at least one audio output device;
The delay detection step is
The time difference that occurs in the process of digital conversion and decoding of audio signals for each input channel received according to wireless communication methods including Wi-Fi, Bluetooth, LoRa (Long Range), or Zigbee. Wireless communication-based multi-channel audio mixing method further comprising detecting a delay.

delete

8. The method of claim 7,
The synchronization is performed,
buffering, in the audio mixing apparatus, the received audio signal for each input channel through at least one buffer; and
In the audio mixing apparatus, based on the audio signal of a specific input channel having the longest delay among the detected delays of the audio signals for each input channel, the audio signals of other input channels buffered through the at least one buffer are synchronized. A wireless communication-based multi-channel audio mixing method comprising: outputting;

8. The method of claim 7,
The audio mixing method comprises:
When the audio mixing apparatus outputs the mixed audio signal to a plurality of audio output apparatuses provided in a predetermined space, each output channel of the plurality of audio output apparatuses is independently delayed so as not to generate reverberation in the space The wireless communication-based multi-channel audio mixing method further comprising; an audio output delay adjustment step of adjusting and outputting the .