KR102480880B1 - Voice mixing device and method for online video/audio conference to reduce the amount of computation - Google Patents
Voice mixing device and method for online video/audio conference to reduce the amount of computation Download PDFInfo
- Publication number
- KR102480880B1 KR102480880B1 KR1020210076875A KR20210076875A KR102480880B1 KR 102480880 B1 KR102480880 B1 KR 102480880B1 KR 1020210076875 A KR1020210076875 A KR 1020210076875A KR 20210076875 A KR20210076875 A KR 20210076875A KR 102480880 B1 KR102480880 B1 KR 102480880B1
- Authority
- KR
- South Korea
- Prior art keywords
- group
- groups
- participants
- voice mixing
- operations
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
Abstract
본 발명의 일 실시예에 따른 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 장치는 온라인 영상 회의 또는 온라인 음성 회의에 참여하는 복수의 참여자를 그룹화하여 복수의 그룹을 생성하는 그룹 생성부; 상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 연산을 수행하는 그룹 연산부; 및 상기 각 그룹별 연산값을 이용하여 상기 복수의 참여자의 음성을 믹싱하여 출력하는 음성 믹싱부를 포함한다.According to an embodiment of the present invention, a voice mixing apparatus for an online video/audio conference for reducing an amount of operation includes a group generator for generating a plurality of groups by grouping a plurality of participants participating in an online video conference or an online audio conference; a group calculation unit for performing an operation for voice mixing of a participant in each group for each group with respect to the generated plurality of groups; and a voice mixing unit configured to mix and output voices of the plurality of participants using the calculated value for each group.
Description
본 발명의 실시예들은 음성 믹싱 기술에 관한 것으로, 더욱 상세하게는 온라인 영상/음성 회의 시 음성 믹싱(Mixing) 연산량을 줄일 수 있는 온라인 영상/음성 회의용 음성 믹싱 장치 및 방법에 관한 것이다.Embodiments of the present invention relate to voice mixing technology, and more particularly, to a voice mixing apparatus and method for an online video/audio conference capable of reducing the amount of voice mixing calculations during an online video/audio conference.
다지점 회의 서비스에서는 음성 부호화기에 의해 부호화된 각 참가자의 음성 데이터가 다지점 회의 서버에 송신된다. 다지점 회의 서버는 각 참가자에게 해당 참가자 이외의 참가자의 모든 음성을 믹싱한 음성 데이터를 송신한다. 음성 데이터를 믹싱할 때, 우선 각 참가자의 음성 데이터를 복호하여 얻은 복호 음성 신호를 모두 가산함으로써 전체 참가자의 음성 신호를 산출한다. 다음으로, 각 참가자에 대해 전체 참가자의 음성 신호로부터 자신의 음성을 감산한 음성 신호를 산출하고, 그 음성 신호를 부호화하여 생성한 음성 데이터를 송신한다.In the multi-point conference service, voice data of each participant encoded by a voice coder is transmitted to a multi-point conference server. The multi-point conference server transmits voice data in which all voices of participants other than the corresponding participant are mixed to each participant. When mixing audio data, first, the audio signals of all participants are calculated by adding all the decoded audio signals obtained by decoding the audio data of each participant. Next, for each participant, an audio signal obtained by subtracting their own voice from the audio signals of all participants is calculated, and the audio data generated by encoding the audio signal is transmitted.
다지점 회의 서비스에서의 단말기와 서버 간의 통신 프로토콜로서, 일례로서 회선 교환망에서는 ITU-T H.323, H.324가 이용되고, 모바일망에서는 3G-324M이 이용되고, IP(Internet Protocol)에 기초하는 패킷망에서는 IETF RFC3550 RTP(Real-time Transport Protocol)가 이용된다. 또한, 음성 부호화기로서는 ITU-T 권고인 G.711이나 G.729, 3GPP TS26.090에서 규정되어 있는 AMR(Adaptive Multi-Rate) 방식, TS26.190에서 규정되어 있는 AMR-WB(Wide Band) 방식이나 3GPP2에서 규정되어 있는 EVRC(Enhanced Variable Rate Codec) 방식 등이 이용된다. G.711 방식에서는 8㎑에서 샘플링된 음성 신호에서의 16비트의 각 샘플을 대수 변환을 이용하여 8비트로 압축하는 방식이며, 연산량은 적지만 압축률은 낮다.As a communication protocol between a terminal and a server in a multi-point conference service, as an example, ITU-T H.323 and H.324 are used in a circuit-switched network, and 3G-324M is used in a mobile network, based on IP (Internet Protocol). IETF RFC3550 RTP (Real-time Transport Protocol) is used in the packet network. In addition, as a voice coder, ITU-T recommendation G.711 or G.729, AMR (Adaptive Multi-Rate) method specified in 3GPP TS26.090, AMR-WB (Wide Band) method specified in TS26.190 Alternatively, an Enhanced Variable Rate Codec (EVRC) method specified in 3GPP2 is used. In the G.711 method, each sample of 16 bits in an audio signal sampled at 8 kHz is compressed into 8 bits using logarithmic conversion, and the amount of calculation is small, but the compression rate is low.
한편, G.729 방식, AMR 방식, EVRC 방식은, CELP(Code Excited Linear Prediction) 원리에 의한 예측 부호화 방식에 기초하고 있고, 음성 신호를 보다 고능률로 부호화하는 것이 가능하다. CELP에서는 부호화기에서 프레임마다(예를 들면 20㎳) 음성 신호로부터 선형 예측(LPC : Linear Predictive Coding) 분석을 이용하여, 음성 신호의 스펙트럼 특성을 나타내는 스펙트럼 파라미터를 추출한다. 또한 프레임 분할한 음성 신호를 서브 프레임(예를 들면 5㎳)으로 분할하고, 서브 프레임마다 과거의 음원 신호에 기초하여 적응 코드북에서의 파라미터(피치 주기에 대응하는 지연 파라미터와 게인 파라미터)를 추출하고, 적응 코드북에 의해 해당하는 서브 프레임의 음성 신호를 피치 예측한다. 피치 예측에 의해 구한 잔차 신호에 대해, 미리 구해진 종류의 잡음 신호로 이루어지는 음원 코드북(벡터 양자화 코드북)으로부터 최적의 음원 코드 벡터를 선택하고, 최적의 게인을 계산함으로써, 음원 신호를 양자화한다.On the other hand, the G.729 method, the AMR method, and the EVRC method are based on a predictive coding method based on the CELP (Code Excited Linear Prediction) principle, and can encode audio signals with higher efficiency. In CELP, a spectral parameter representing the spectral characteristics of a speech signal is extracted from a speech signal in a coder every frame (for example, 20 ms) by using Linear Predictive Coding (LPC) analysis. In addition, the frame-divided audio signal is divided into subframes (
이와 같이 종래의 음성 믹싱 장치는 영상 회의 단말로부터 전달되는 압축 부호화된 동영상압축그룹-1(MPEG-1 : Moving Picture Expert Group-1) 오디오 비트열을 압축 음성신호를 복호화하여 선형 펄스 부호 변조(PCM: Pulse Code Modulation) 신호로 만든 다음, 이 신호를 믹싱하는 방법을 사용하고 있다. 그러나, 상기한 바와 같은 종래의 음성 믹싱 장치의 경우, 압축 음성신호를 부호화 및 복호화하는 과정을 거침으로써, 부호화 장치 및 복호화 장치에 의해 구성이 너무 복잡하고, 또한 참여자 수가 많을수록 음성 믹싱 연산 횟수가 증가하여 음성 믹싱 시간이 지나치게 많이 소요되는 문제점이 있다.In this way, the conventional voice mixing device decodes the compressed voice signal of the moving picture expert group-1 (MPEG-1) audio bit stream transmitted from the video conference terminal and converts the linear pulse code modulation (PCM). : Pulse Code Modulation) signal and then mixing the signal. However, in the case of the conventional voice mixing device as described above, the configuration is too complicated by the encoding device and the decoding device by going through the process of encoding and decoding the compressed voice signal, and the number of voice mixing operations increases as the number of participants increases. Thus, there is a problem in that voice mixing takes too much time.
관련 선행기술로는 대한민국 공개특허공보 제호(발명의 명칭: 음성 믹싱 방법 및 그 방법을 이용하는 다지점 회의 서버와 컴퓨터 판독가능 기록 매체, 등록일자: 2011.05.18.)가 있다.As related prior art, there is Republic of Korea Patent Publication No. (Title of Invention: Voice Mixing Method and Multi-Point Conference Server Using the Method and Computer-readable Recording Medium, Registration Date: 2011.05.18.).
본 발명의 일 실시예는 온라인 영상/음성 회의 시 음성 믹싱(Mixing) 연산량을 줄일 수 있는 온라인 영상/음성 회의용 음성 믹싱 장치 및 방법을 제공한다.An embodiment of the present invention provides a voice mixing apparatus and method for an online video/audio conference capable of reducing the amount of voice mixing operations during an online video/audio conference.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-mentioned problem (s), and another problem (s) not mentioned will be clearly understood by those skilled in the art from the following description.
본 발명의 일 실시예에 따른 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 장치는 온라인 영상 회의 또는 온라인 음성 회의에 참여하는 복수의 참여자를 그룹화하여 복수의 그룹을 생성하는 그룹 생성부; 상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 연산을 수행하는 그룹 연산부; 및 상기 각 그룹별 연산값을 이용하여 상기 복수의 참여자의 음성을 믹싱하여 출력하는 음성 믹싱부를 포함한다.According to an embodiment of the present invention, a voice mixing apparatus for an online video/audio conference for reducing an amount of operation includes a group generator for generating a plurality of groups by grouping a plurality of participants participating in an online video conference or an online audio conference; a group calculation unit for performing an operation for voice mixing of a participant in each group for each group with respect to the generated plurality of groups; and a voice mixing unit configured to mix and output voices of the plurality of participants using the calculated value for each group.
상기 그룹 연산부는 상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성을 전체 합산하여, 상기 각 그룹별로 그룹 내 전체 합산값을 산출하는 그룹 내 전체 합산부; 및 상기 각 그룹별로 그룹 내 자신을 제외한 참여자의 음성을 개별 합산하여 상기 각 그룹별로 그룹 내 개별 합산값을 산출하는 그룹 내 개별 합산부를 포함할 수 있다.The group calculating unit may include a total summing unit within a group summing up the voices of participants in each group for each of the generated plurality of groups, and calculating a total sum value within the group for each group; and an intra-group individual summing unit configured to calculate an individual intra-group summed value for each group by individually summing voices of participants other than the participant in the group for each group.
상기 그룹 연산부는 상기 각 그룹별로 산출된, 상기 그룹 내 전체 합산값 및 상기 그룹 내 개별 합산값을 상기 각 그룹별 연산값으로서 출력하고, 상기 음성 믹싱부는 상기 그룹 내 전체 합산값 및 상기 그룹 내 개별 합산값을 각각의 다른 그룹 내 참여자의 음성과 믹싱하여 출력하는 음성 믹싱부를 포함할 수 있다.The group operation unit outputs the total sum value within the group and the individual sum value within the group calculated for each group as the calculated value for each group, and the voice mixing unit outputs the total sum value within the group and the individual sum value within the group. It may include a voice mixing unit that mixes the summed value with the voices of participants in each other group and outputs the mixed value.
상기 그룹 연산부는 하기 수학식 1에 기초하여 1개 그룹별 연산 횟수를 구한 후 그룹 개수를 곱하여 상기 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 총 연산 횟수를 계산할 수 있다.The group operator may calculate the total number of operations for voice mixing of participants in each group by calculating the number of operations for each group based on
[수학식 1][Equation 1]
T1 = (X2 + (G-2) * X - 1) * GT 1 = (X 2 + (G-2) * X - 1) * G
여기서, T1은 총 연산 횟수, X는 그룹 내 음성 수, G는 그룹 개수(참여자 수 N을 X로 나눈 결과값, X는 최소 2 이상의 자연수)를 나타냄.Here, T 1 is the total number of operations, X is the number of voices in a group, and G is the number of groups (the result of dividing the number of participants N by X, where X is a natural number of at least 2).
상기 그룹 생성부는 상기 참여자의 숫자를 고려하여 상기 그룹의 개수를 결정하되, 상기 그룹의 개수로 상기 참여자의 숫자가 나누어 떨어지도록 연산을 수행할 수 있다.The group creation unit may determine the number of groups in consideration of the number of participants, and perform an operation such that the number of participants is divided by the number of groups.
상기 그룹 생성부는 예외적으로, 상기 그룹의 개수로 상기 참여자의 숫자가 나누어 떨어지지 않는 경우, 나머지에 해당하는 참여자들을 나머지 그룹으로 생성할 수 있다.As an exception, the group creation unit may generate participants corresponding to the remainder as remaining groups when the number of participants is not divisible by the number of groups.
상기 그룹 연산부는 상기 복수의 그룹에 상기 나머지 그룹이 포함된 경우, 하기 수학식 2에 기초하여 1개 그룹별 연산 횟수를 구한 후 그룹 개수를 곱한 결과에 상기 나머지 그룹의 연산수를 합계하여 상기 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 총 연산 횟수를 계산할 수 있다.When the remaining groups are included in the plurality of groups, the group operation unit calculates the number of operations for each group based on
[수학식 2][Equation 2]
T1 = (X2 + (G-2) * X - 1) * G + MT 1 = (X 2 + (G-2) * X - 1) * G + M
M = K2 + (G + 1) * K - 1M = K 2 + (G + 1) * K - 1
여기서, T1은 총 연산 횟수, X는 그룹 내 음성 수, G는 그룹 개수(참여자 수 N을 X로 나눈 결과값, X는 최소 2 이상의 자연수), M은 나머지 그룹의 연산 횟수, K는 N을 X로 나눈 나머지(K는 최소 2 이상의 자연수)를 나타냄.Here, T 1 is the total number of operations, X is the number of voices in a group, G is the number of groups (the result of dividing the number of participants N by X, X is a natural number of at least 2), M is the number of operations of the remaining groups, K is N Represents the remainder of dividing by X (K is a natural number of at least 2).
본 발명의 일 실시예에 따른 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 방법은 상기 음성 믹싱 장치의 그룹 생성부가 온라인 영상 회의 또는 온라인 음성 회의에 참여하는 복수의 참여자를 그룹화하여 복수의 그룹을 생성하는 단계; 상기 음성 믹싱 장치의 그룹 연산부가 상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 연산을 수행하는 단계; 및 상기 음성 믹싱 장치의 음성 믹싱부가 상기 각 그룹별 연산값을 이용하여 상기 복수의 참여자의 음성을 믹싱하여 출력하는 단계를 포함한다.According to an embodiment of the present invention, a voice mixing method for an online video/voice conference for reducing an amount of operation includes generating a plurality of groups by grouping a plurality of participants participating in an online video conference or an online audio conference by a group generating unit of the voice mixing device. doing; performing, by a group calculation unit of the voice mixing device, calculation for voice mixing of a participant in the group for each group with respect to the generated plurality of groups; and mixing and outputting, by a voice mixing unit of the voice mixing device, the voices of the plurality of participants using the calculation values for each group.
상기 연산을 수행하는 단계는 상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성을 전체 합산하여, 상기 각 그룹별로 그룹 내 전체 합산값을 산출하는 단계; 상기 각 그룹별로 그룹 내 자신을 제외한 참여자의 음성을 개별 합산하여 상기 각 그룹별로 그룹 내 개별 합산값을 산출하는 단계; 및 상기 각 그룹별로 산출된, 상기 그룹 내 전체 합산값 및 상기 그룹 내 개별 합산값을 상기 각 그룹별 연산값으로서 출력하는 단계를 포함할 수 있다.The performing of the operation may include summing up all voices of participants in each group for each of the generated plurality of groups, and calculating an overall intra-group sum value for each group; calculating individual intra-group summed values for each group by individually summing voices of participants other than the participant in the group for each group; and outputting the total summed value within the group and the individual summed value within the group calculated for each group as the calculated value for each group.
상기 믹싱하여 출력하는 단계는 상기 그룹 내 개별 합산값을 각각의 다른 그룹 내 전체 합산값과 믹싱하여 출력하는 단계를 포함할 수 있다.The mixing and outputting may include mixing individual summed values in the group with total summed values in each other group and outputting the mixture.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.Details of other embodiments are included in the detailed description and accompanying drawings.
본 발명의 일 실시예에 따르면, 온라인 영상/음성 회의 시 참여자 음성을 그룹화하여 각 그룹별로 음성 믹싱 연산을 수행하고 이에 따른 그룹별 연산값을 이용하여 음성 믹싱을 수행함으로써 음성 믹싱 연산의 횟수를 줄일 수 있으며, 이를 통해 온라인 영상/음성 회의 시 음성 믹싱 연산량을 줄일 수 있다.According to an embodiment of the present invention, during an online video/audio conference, the number of voice mixing operations is reduced by grouping participants' voices, performing voice mixing operations for each group, and performing voice mixing using the resultant calculation values for each group. Through this, it is possible to reduce the amount of voice mixing operation during online video/voice conference.
도 1은 본 발명의 일 실시예에 따른 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 장치를 설명하기 위해 도시한 블록도이다.
도 2는 도 1의 그룹 생성부의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따라 회의 참여자의 음성 합산 연산을 진행하는 구체적인 방법에 대하여 설명하기 위해 도시한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 음성 믹싱의 연산 횟수와 기존의 일반적인 방법에 따른 음성 믹싱의 연산 횟수를 비교하여 표로 나타낸 도면이다.
도 8 및 도 9는 기존의 일반적인 방법에 따른 음성 믹싱 방법을 설명하기 위해 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 방법을 설명하기 위해 도시한 흐름도이다.
도 11은 본 발명의 일 실시예에 따라 음성 믹싱의 연산을 수행하는 과정을 설명하기 위해 도시한 흐름도이다.1 is a block diagram illustrating a voice mixing device for an online video/audio conference to reduce the amount of computation according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a detailed configuration of a group creation unit of FIG. 1 .
3 to 6 are exemplary diagrams for explaining a specific method of performing a voice summing operation of a conference participant according to an embodiment of the present invention.
7 is a table showing the comparison between the number of operations of voice mixing according to an embodiment of the present invention and the number of operations of voice mixing according to an existing general method.
8 and 9 are diagrams for explaining a voice mixing method according to an existing general method.
10 is a flowchart illustrating a voice mixing method for an online video/audio conference to reduce an amount of computation according to an embodiment of the present invention.
11 is a flowchart illustrating a process of performing a voice mixing operation according to an embodiment of the present invention.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.Advantages and/or features of the present invention, and methods of achieving them, will become apparent with reference to the following detailed description of the embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various forms different from each other, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention pertains. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.In addition, preferred embodiments of the present invention to be carried out below are provided in each system functional configuration in order to efficiently explain the technical components constituting the present invention, or system functions commonly provided in the technical field to which the present invention belongs. The configuration is omitted as much as possible, and the functional configuration that should be additionally provided for the present invention will be mainly described. If one of ordinary skill in the art to which the present invention pertains, one will be able to easily understand the functions of conventionally used components among the omitted functional configurations not shown below, and also the omitted configurations as described above. The relationship between elements and components added for the present invention will also be clearly understood.
또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.In addition, in the following description, "transmission", "communication", "transmission", "reception" and other similar terms of signals or information refer to direct transmission of signals or information from one component to another. as well as passing through other components. In particular, "transmitting" or "transmitting" a signal or information as a component indicates the final destination of the signal or information, and does not mean a direct destination. The same is true for "reception" of signals or information.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 장치를 설명하기 위해 도시한 블록도이다.1 is a block diagram illustrating a voice mixing device for an online video/audio conference to reduce the amount of computation according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 장치(100)는 그룹 생성부(110), 그룹 연산부(120), 음성 믹싱부(130), 및 제어부(140)를 포함하여 구성될 수 있다.Referring to FIG. 1 , a
상기 그룹 생성부(110)는 온라인 영상 회의 또는 온라인 음성 회의에 참여하는 복수의 참여자를 그룹화하여 복수의 그룹을 생성할 수 있다. 이때, 상기 그룹 생성부(110)는 상기 온라인 영상/음성 회의 참여자의 숫자를 고려하여 상기 그룹의 개수를 결정할 수 있다.The
예를 들면, 상기 그룹 생성부(110)는 상기 온라인 영상/음성 회의 참여자의 수가 100명인 경우 각 그룹 내 참여자의 수를 5명으로 하여 상기 그룹의 개수를 20으로 결정할 수 있다. 이와 같이, 상기 그룹 생성부(110)는 상기 그룹의 개수로 상기 온라인 영상/음성 회의 참여자의 숫자가 나누어 떨어지도록 연산을 수행할 수 있다.For example, when the number of participants in the online video/audio conference is 100, the
다만, 상기 온라인 영상/음성 회의 참여자의 숫자에 따라 나누어 떨어지지 않는 경우가 발생할 수 있다. 이러한 경우에는 상기 그룹 생성부(110)는 예외적으로 나머지 그룹을 생성 처리할 수 있으며, 이에 대해서는 뒤에서 자세히 설명하기로 한다.However, there may be cases in which the number of participants in the online video/audio conference is not divided. In this case, the
상기 그룹 연산부(120)는 상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 연산을 수행할 수 있다.The
이를 위해, 상기 그룹 연산부(120)는 도 2에 도시된 바와 같이 그룹 내 전체 합산부(121) 및 그룹 내 개별 합산부(122)를 포함할 수 있다. 참고로, 도 2는 도 1의 그룹 생성부(110)의 상세 구성을 설명하기 위해 도시한 블록도이다.To this end, the
상기 그룹 내 전체 합산부(121)는 상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성을 전체 합산하여, 상기 각 그룹별로 그룹 내 전체 합산값을 산출할 수 있다.The intra-group
상기 그룹 내 개별 합산부(122)는 상기 각 그룹별로 그룹 내 자신을 제외한 참여자의 음성을 개별 합산하여 상기 각 그룹별로 그룹 내 개별 합산값을 산출할 수 있다.The intra-group
상기 그룹 내 전체 합산부(121) 및 상기 그룹 내 개별 합산부(122) 각각의 음성 합산 연산을 진행하는 구체적인 방법에 대해서는 도 3 내지 도 6을 참조하여 보다 구체적으로 후술하기로 한다.A detailed method of performing the voice summing operation of each of the total summing
상기 그룹 연산부(120)는 상기 그룹 내 전체 합산부(121)에 의해 상기 각 그룹별로 산출된 그룹 내 전체 합산값, 및 상기 그룹 내 개별 합산부(122)에 의해 상기 각 그룹별로 산출된 그룹 내 개별 합산값을 상기 각 그룹별 연산값으로서 출력할 수 있다.The
여기서, 상기 그룹 연산부(120)는 하기 수학식 1에 기초하여 1개 그룹별 연산 횟수를 구한 후 그룹 개수를 곱하여 상기 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 총 연산 횟수를 계산할 수 있다.Here, the
이로써 본 발명의 일 실시예에 따르면 상기 온라인 영상/음성 회의 시 음성 믹싱 연산량의 감소 정도에 따른 개선율을 확인할 수 있다.Thus, according to an embodiment of the present invention, it is possible to check the improvement rate according to the degree of reduction in the amount of voice mixing operation during the online video/audio conference.
[수학식 1][Equation 1]
T1 = (X2 + (G-2) * X - 1) * GT 1 = (X 2 + (G-2) * X - 1) * G
여기서, T1은 총 연산 횟수, X는 그룹 내 음성 수, G는 그룹 개수(참여자 수 N을 X로 나눈 결과값, X는 최소 2 이상의 자연수)를 나타냄.Here, T 1 is the total number of operations, X is the number of voices in a group, and G is the number of groups (the result of dividing the number of participants N by X, where X is a natural number of at least 2).
한편, 상기 그룹 생성부(110)는 상기 그룹의 개수로 상기 참여자의 숫자가 나누어 떨어지지 않는 경우, 예외 처리를 수행할 수 있다. 즉, 상기 그룹 생성부(110)는 예외적으로, 나머지에 해당하는 참여자들을 나머지 그룹으로 생성할 수 있다.Meanwhile, the
이와 같이 상기 복수의 그룹에 상기 나머지 그룹이 포함된 경우, 상기 그룹 연산부(110)는 하기 수학식 2에 기초하여 1개 그룹별 연산 횟수를 구한 후 그룹 개수를 곱한 결과에 상기 나머지 그룹의 연산수를 합계하여 상기 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 총 연산 횟수를 계산할 수 있다.As such, when the remaining groups are included in the plurality of groups, the
이로써 본 발명의 일 실시예에 따르면, 상기 온라인 영상/음성 회의 시 음성 믹싱 연산량의 감소 정도에 따른 개선율을 출력할 수 있다.Accordingly, according to an embodiment of the present invention, an improvement rate according to a degree of reduction in the amount of voice mixing operations can be output during the online video/audio conference.
[수학식 2][Equation 2]
T1 = (X2 + (G-2) * X - 1) * G + MT 1 = (X 2 + (G-2) * X - 1) * G + M
M = K2 + (G + 1) * K - 1M = K 2 + (G + 1) * K - 1
여기서, T1은 총 연산 횟수, X는 그룹 내 음성 수, G는 그룹 개수(참여자 수 N을 X로 나눈 결과값, X는 최소 2 이상의 자연수), M은 나머지 그룹의 연산 횟수, K는 N을 X로 나눈 나머지(K는 최소 2 이상의 자연수)를 나타냄.Here, T 1 is the total number of operations, X is the number of voices in a group, G is the number of groups (the result of dividing the number of participants N by X, X is a natural number of at least 2), M is the number of operations of the remaining groups, K is N Represents the remainder of dividing by X (K is a natural number of at least 2).
상기 음성 믹싱부(130)는 상기 그룹 연산부(120)에 의해 출력된 각 그룹별 연산값을 이용하여 상기 복수의 참여자의 음성을 믹싱하여 출력할 수 있다.The
즉, 상기 음성 믹싱부(130)는 상기 그룹 내 전체 합산부(121)에 의해 상기 각 그룹별로 산출된 그룹 내 전체 합산값, 및 상기 그룹 내 개별 합산부(122)에 의해 상기 각 그룹별로 산출된 그룹 내 개별 합산값을, 다른 그룹 내 참여자의 음성과 믹싱하여 출력할 수 있다.That is, the
상기 제어부(140)는 본 발명의 일 실시예에 따른 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 장치(100), 즉 상기 그룹 생성부(110), 상기 그룹 연산부(120), 상기 음성 믹싱부(130) 등의 동작을 전반적으로 제어할 수 있다.The
도 3 내지 도 6은 본 발명의 일 실시예에 따라 회의 참여자의 음성 합산 연산을 진행하는 구체적인 방법에 대하여 설명하기 위해 도시한 예시도이다.3 to 6 are exemplary diagrams for explaining a specific method of performing a voice summing operation of a conference participant according to an embodiment of the present invention.
먼저 도 3에 도시된 바와 같이, 100명의 회의 참여자에 대하여 각 그룹 내 참여자의 음성 수를 5개로 하여 20(100/5 = 20)개의 그룹을 생성할 수 있다. 이와 같이 100명의 회의 참여자에 대하여 20개의 그룹을 생성하게 되면, 예를 들어 1번째 그룹에 속한 5개의 음성은 2 ~ 20번째 그룹을 합산한 값을 공통으로 사용할 수 있으므로 연산 횟수를 줄일 수 있다.First, as shown in FIG. 3, 20 (100/5 = 20) groups can be created by setting the number of voices of participants in each group to 5 for 100 conference participants. If 20 groups are created for 100 conference participants in this way, for example, 5 voices belonging to the 1st group can commonly use the sum of the 2nd to 20th groups, so the number of operations can be reduced.
다음으로, 도 4에 도시된 바와 같이 그룹 내 자신을 제외한 나머지 참여자의 음성을 합산하는 연산을 진행할 수 있다. 각 그룹별로 그룹 내 참여자 중 자신을 제외한 나머지 참여자 수(5 - 1 = 4)의 음성을 합산할 수 있다.Next, as shown in FIG. 4 , an operation of summing up voices of participants other than themselves in the group may be performed. For each group, the voices of the remaining participants (5 - 1 = 4) can be summed up.
예를 들면, 1번째 그룹에서 1번째 합산은 2 + 3 + 4 + 5이므로 3번의 연산을 진행하고, 이를 1번째 그룹에서 5번째 합산까지 연산을 반복 진행할 수 있다. 그리고, 계속해서 반복함으로써 20번째 그룹의 5번째 합산까지 연산을 진행하여 완료할 수 있다.For example, since the 1st sum in the 1st group is 2 + 3 + 4 + 5, 3 operations can be performed, and this operation can be repeated from the 1st group to the 5th summation. Then, by continuously repeating, the operation can be completed by proceeding to the 5th summation of the 20th group.
이와 같이 각 그룹별 합산 정보는 도 5에 도시된 바와 같이 존재할 수 있다. 즉, 그룹 내 개별 합산으로서 그룹 내 자신의 제외하고 1번째 합산부터 5번째 합산까지 진행하는 연산을 의미하며, 그룹 내 전체 합산으로서 그룹 내 참여자 모두를 포함하여 1번째 합산부터 5번째 합산까지 진행하는 연산을 의미한다.In this way, summation information for each group may exist as shown in FIG. 5 . That is, as an individual summation within a group, it means an operation that proceeds from the 1st summation to the 5th summation excluding itself within the group, and as an overall summation within the group, including all participants in the group, the operation proceeds from the 1st summation to the 5th summation. means calculation.
이에 따라, 1개 그룹의 연산 횟수는 그룹 내 개별 합산에 따른 연산 횟수와 그룹 내 전체 합산에 따른 연산 횟수를 더한 값으로 아래와 같이 나타낼 수 있다.Accordingly, the number of operations of one group is the sum of the number of operations according to the individual summation within the group and the number of operations according to the total summation within the group, and can be expressed as follows.
1개 그룹의 연산 횟수 = (X - 2) * X + (X - 1) = X2 - X - 1Number of operations in 1 group = (X - 2) * X + (X - 1) = X 2 - X - 1
이어서 도 6에 도시된 바와 같이 각 그룹별 합산값을 다른 그룹의 전체 합산값과 믹싱할 수 있다. 즉, 1번째 그룹의 1번째 믹싱은 1번째 그룹의 1번째 합산과 나머지 그룹(2 ~ 20번째 그룹)을 전체 합산한 값과 믹싱하고, 1번째 그룹의 2번째 믹싱은 1번째 그룹의 2번째 합산과 나머지 그룹을 전체 합산한 값과 믹싱하며, 이를 마지막 그룹인 20번째 그룹의 5번재 믹싱까지 반복 진행하여 온라인 영상/음성 회의 시 음성 믹싱의 연산량을 기존에 비해서 월등히 많이 줄일 수 있다.Subsequently, as shown in FIG. 6 , the summed values of each group may be mixed with the total summed values of other groups. That is, the 1st mixing of the 1st group is mixed with the total sum of the 1st sum of the 1st group and the rest of the groups (
도 7은 본 발명의 일 실시예에 따른 음성 믹싱의 연산 횟수와 기존의 일반적인 방법에 따른 음성 믹싱의 연산 횟수를 비교하여 표로 나타낸 도면이고, 도 8 및 도 9는 기존의 일반적인 방법에 따른 음성 믹싱 방법을 설명하기 위해 도시한 도면이다.7 is a table showing a comparison between the number of operations of voice mixing according to an embodiment of the present invention and the number of operations of voice mixing according to an existing general method, and FIGS. 8 and 9 show voice mixing according to an existing general method It is a drawing shown to explain the method.
먼저 도 7에 도시된 바와 같이, 본 발명의 일 실시예(개선 방법)에 따른 음성 믹싱의 연산 횟수가 기존의 일반적인 방법에 따른 음성 믹싱의 연산 횟수에 비하여 줄어든 것을 확인할 수 있다. 특히, 참여자 수가 많아질수록, 그에 따라 그룹 내 음성 수가 많아질수록, 연산 횟수의 감소에 따른 개선율이 더욱 향상되는 것을 확인할 수 있다.First, as shown in FIG. 7 , it can be confirmed that the number of operations for voice mixing according to an embodiment (improvement method) of the present invention is reduced compared to the number of operations for voice mixing according to the existing general method. In particular, it can be confirmed that the improvement rate according to the decrease in the number of calculations is further improved as the number of participants increases and, accordingly, the number of voices in the group increases.
여기서, 상기 일반적인 방법에 따른 음성 믹싱 방법에 대하여 도 8 및 도 9를 참조하여 설명한다. 도 8 및 도 9에 도시된 바와 같이, 예를 들어 참여자 수(N)가 100명인 경우 1사람당 음성 믹싱을 위한 연산 횟수는 자신의 목소리를 제외한 99(N - 1)이고, 이에 따라 전체 음성 믹싱을 위한 총 연산 횟수는 99 * 100, 즉 (N - 1) * N이다.Here, a voice mixing method according to the general method will be described with reference to FIGS. 8 and 9 . As shown in FIGS. 8 and 9 , for example, when the number of participants (N) is 100, the number of operations for voice mixing per person is 99 (N - 1) excluding their own voice, and accordingly, the entire voice mixing The total number of operations for is 99 * 100, i.e. (N - 1) * N.
즉, 1번째 음성 합산(Mixing)은 1번째 참여자의 음성을 제외 후 모두 전송하기에 99번의 연산이 수행되며, 2번째 음성 합산 역시 2번째 참여자의 음성을 제외 후 모두 전송하기에 99번의 연산이 수행되며, 이를 100번째 음성 합산까지 반복하여 수행하면 총 연산 회수는 99 * 100 = 9,900이 된다. 더욱이, 이러한 일반적인 방법에 따른 음성 믹싱 방법은 참여자의 수가 많으면 많을수록 음성 믹싱 연산 횟수가 증가하게 되는 문제가 있다.That is, the first voice mixing (mixing) requires 99 operations to transmit all after excluding the voice of the first participant, and the second voice mixing also requires 99 operations to transmit all after excluding the voice of the second participant. If this is repeated up to the 100th voice summation, the total number of operations is 99 * 100 = 9,900. Furthermore, the voice mixing method according to this general method has a problem in that the number of voice mixing operations increases as the number of participants increases.
따라서, 본 발명의 일 실시예에 따른 음성 믹싱 장치를 통해 참여자의 음성을 그룹화하여 각 그룹별로 연산을 수행하고 각 그룹별 연산값을 이용하여 온라인 영상/음성 회의 시 음성 믹싱의 연산 횟수를 감소시켜 연산량을 줄일 수 있다.Therefore, the audio mixing device according to an embodiment of the present invention groups participants' voices, performs calculations for each group, and reduces the number of calculations for voice mixing during online video/voice conferences using calculation values for each group. The amount of computation can be reduced.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.
도 10은 본 발명의 일 실시예에 따른 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 방법을 설명하기 위해 도시한 흐름도이다.10 is a flowchart illustrating a voice mixing method for an online video/audio conference to reduce an amount of computation according to an embodiment of the present invention.
여기서 설명하는 음성 믹싱 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 아래와 같이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.The voice mixing method described here is only one embodiment of the present invention, and other than that, various steps may be added as follows, and the following steps may be performed by changing the order, so that the present invention It is not limited to each step described below and its order.
도 1 및 도 10을 참조하면, 단계(1010)에서 상기 음성 믹싱 장치(100)의 그룹 생성부(110)는 온라인 영상 회의 또는 온라인 음성 회의에 참여하는 복수의 참여자를 그룹화하여 복수의 그룹을 생성할 수 있다.1 and 10, in
다음으로, 단계(1020)에서 상기 음성 믹싱 장치(100)의 그룹 연산부(120)는 상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 연산을 수행할 수 있다.Next, in
이에 대하여 도 11을 더 참조하여 구체적으로 설명하면 다음과 같다. 참고로, 도 11은 본 발명의 일 실시예에 따라 음성 믹싱의 연산을 수행하는 과정을 설명하기 위해 도시한 흐름도이다.This will be described in detail with further reference to FIG. 11 . For reference, FIG. 11 is a flowchart illustrating a process of performing a voice mixing operation according to an embodiment of the present invention.
도 11을 더 참조하면, 단계(1110)에서 상기 음성 믹싱 장치(100)의 그룹 연산부(120)는 상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성을 전체 합산하여, 상기 각 그룹별로 그룹 내 전체 합산값을 산출할 수 있다.Referring further to FIG. 11, in
이후, 단계(1120)에서 상기 음성 믹싱 장치(100)의 그룹 연산부(120)는 상기 각 그룹별로 그룹 내 자신을 제외한 참여자의 음성을 개별 합산하여 상기 각 그룹별로 그룹 내 개별 합산값을 산출할 수 있다.Thereafter, in
이후, 단계(1130)에서 상기 음성 믹스 장치(100)의 그룹 연산부(120)는 상기 각 그룹별로 산출된, 상기 그룹 내 전체 합산값 및 상기 그룹 내 개별 합산값을 상기 각 그룹별 연산값으로서 출력할 수 있다.Then, in
다시 도 1 및 도 10을 참조하면, 단계(1030)에서 상기 음성 믹싱 장치(100)의 음성 믹싱부(130)는 상기 각 그룹별 연산값을 이용하여 상기 복수의 참여자의 음성을 믹싱하여 출력할 수 있다.Referring back to FIGS. 1 and 10 , in
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and magnetic-optical media such as floptical disks. Included are hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
110: 그룹 생성부
120: 그룹 연산부
130: 음성 믹싱부
140: 제어부
121: 그룹 내 전체 합산부
122: 그룹 내 개별 합산부110: group creation unit
120: group calculation unit
130: voice mixing unit
140: control unit
121: total summation part in group
122: individual summation unit within the group
Claims (10)
상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 연산을 수행하는 그룹 연산부; 및
상기 각 그룹별 연산값을 이용하여 상기 복수의 참여자의 음성을 믹싱하여 출력하는 음성 믹싱부
를 포함하고,
상기 그룹 생성부는
상기 참여자의 숫자를 고려하여 상기 그룹의 개수를 결정하되, 상기 그룹의 개수로 상기 참여자의 숫자가 나누어 떨어지도록 연산을 수행하며,
예외적으로, 상기 그룹의 개수로 상기 참여자의 숫자가 나누어 떨어지지 않는 경우, 나머지에 해당하는 참여자들을 나머지 그룹으로 생성하고,
상기 그룹 연산부는
상기 복수의 그룹에 상기 나머지 그룹이 포함된 경우, 하기 수학식 2에 기초하여 1개 그룹별 연산 횟수를 구한 후 그룹 개수를 곱한 결과에 상기 나머지 그룹의 연산수를 합계하여 상기 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 총 연산 횟수를 계산하는 것을 특징으로 하는 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 장치.
[수학식 2]
T1 = (X2 + (G-2) * X - 1) * G + M
M = K2 + (G + 1) * K - 1
여기서, T1은 총 연산 횟수, X는 그룹 내 음성 수, G는 그룹 개수(참여자 수 N을 X로 나눈 결과값, X는 최소 2 이상의 자연수), M은 나머지 그룹의 연산 횟수, K는 N을 X로 나눈 나머지(K는 최소 2 이상의 자연수)를 나타냄.
Group creation unit for generating a plurality of groups by grouping a plurality of participants participating in the online video conference or online audio conference;
a group calculation unit for performing an operation for voice mixing of a participant in each group for each group with respect to the generated plurality of groups; and
A voice mixing unit mixing and outputting the voices of the plurality of participants using the calculated values for each group
including,
The group creation unit
The number of groups is determined in consideration of the number of participants, and an operation is performed so that the number of participants is divided by the number of groups.
Exceptionally, when the number of participants is not divisible by the number of groups, the remaining participants are created as the remaining groups,
The group calculation unit
When the remaining groups are included in the plurality of groups, the number of operations for each group is obtained based on Equation 2 below, and the number of operations for the remaining groups is summed by multiplying the number of groups by the number of groups. A voice mixing device for online video/audio conferences for reducing the amount of calculations, characterized in that for calculating the total number of operations for voice mixing of participants.
[Equation 2]
T 1 = (X 2 + (G-2) * X - 1) * G + M
M = K 2 + (G + 1) * K - 1
Here, T 1 is the total number of operations, X is the number of voices in a group, G is the number of groups (the result of dividing the number of participants N by X, X is a natural number of at least 2), M is the number of operations of the remaining groups, K is N Represents the remainder of dividing by X (K is a natural number of at least 2).
상기 그룹 연산부는
상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성을 전체 합산하여, 상기 각 그룹별로 그룹 내 전체 합산값을 산출하는 그룹 내 전체 합산부; 및
상기 각 그룹별로 그룹 내 자신을 제외한 참여자의 음성을 개별 합산하여 상기 각 그룹별로 그룹 내 개별 합산값을 산출하는 그룹 내 개별 합산부
를 포함하는 것을 특징으로 하는 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 장치.
According to claim 1,
The group calculation unit
a total summing unit within a group summing up the voices of participants in each group for each group with respect to the generated plurality of groups, and calculating a total sum value within the group for each group; and
In-group individual summing unit for calculating the individual summed value within the group for each group by individually summing up the voices of participants other than themselves in the group for each group.
Voice mixing device for online video / audio conference to reduce the amount of calculation, characterized in that it comprises a.
상기 그룹 연산부는
상기 각 그룹별로 산출된, 상기 그룹 내 전체 합산값 및 상기 그룹 내 개별 합산값을 상기 각 그룹별 연산값으로서 출력하고,
상기 음성 믹싱부는
상기 그룹 내 전체 합산값 및 상기 그룹 내 개별 합산값을 각각의 다른 그룹 내 참여자의 음성과 믹싱하여 출력하는 것을 특징으로 하는 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 장치.
According to claim 2,
The group calculation unit
Outputting the total summed value within the group and the individual summed value within the group, calculated for each group, as the calculated value for each group;
The voice mixing unit
A voice mixing device for online video/audio conference for reducing the amount of calculation, characterized in that the total sum value within the group and the individual sum value within the group are mixed with the voices of participants in each other group and output.
상기 음성 믹싱 장치의 그룹 생성부가 온라인 영상 회의 또는 온라인 음성 회의에 참여하는 복수의 참여자를 그룹화하여 복수의 그룹을 생성하는 단계;
상기 음성 믹싱 장치의 그룹 연산부가 상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 연산을 수행하는 단계; 및
상기 음성 믹싱 장치의 음성 믹싱부가 상기 각 그룹별 연산값을 이용하여 상기 복수의 참여자의 음성을 믹싱하여 출력하는 단계
를 포함하고,
상기 복수의 그룹을 생성하는 단계는
상기 참여자의 숫자를 고려하여 상기 그룹의 개수를 결정하되, 상기 그룹의 개수로 상기 참여자의 숫자가 나누어 떨어지도록 연산을 수행하는 단계; 및
예외적으로, 상기 그룹의 개수로 상기 참여자의 숫자가 나누어 떨어지지 않는 경우, 나머지에 해당하는 참여자들을 나머지 그룹으로 생성하는 단계를 포함하며,
상기 연산을 수행하는 단계는
상기 복수의 그룹에 상기 나머지 그룹이 포함된 경우, 하기 수학식 2에 기초하여 1개 그룹별 연산 횟수를 구한 후 그룹 개수를 곱한 결과에 상기 나머지 그룹의 연산수를 합계하여 상기 각 그룹별로 그룹 내 참여자의 음성 믹싱을 위한 총 연산 횟수를 계산하는 것을 특징으로 하는 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 방법.
[수학식 2]
T1 = (X2 + (G-2) * X - 1) * G + M
M = K2 + (G + 1) * K - 1
여기서, T1은 총 연산 횟수, X는 그룹 내 음성 수, G는 그룹 개수(참여자 수 N을 X로 나눈 결과값, X는 최소 2 이상의 자연수), M은 나머지 그룹의 연산 횟수, K는 N을 X로 나눈 나머지(K는 최소 2 이상의 자연수)를 나타냄.
In the voice mixing method using a voice mixing device for online video / audio conference,
generating a plurality of groups by grouping a plurality of participants participating in an online video conference or an online audio conference by a group creation unit of the voice mixing device;
performing, by a group calculation unit of the voice mixing device, calculation for voice mixing of a participant in the group for each group with respect to the generated plurality of groups; and
Mixing and outputting, by a voice mixing unit of the voice mixing device, the voices of the plurality of participants using the calculated values for each group.
including,
The step of creating the plurality of groups is
determining the number of groups in consideration of the number of participants, and performing an operation such that the number of participants is divided by the number of groups; and
Exceptionally, if the number of participants is not divisible by the number of groups, generating participants corresponding to the remainder as remaining groups,
The step of performing the above operation is
When the remaining groups are included in the plurality of groups, the number of operations for each group is obtained based on Equation 2 below, and the number of operations for the remaining groups is summed by multiplying the number of groups by the number of groups. A voice mixing method for online video/audio conference to reduce the amount of calculation, characterized in that the total number of calculations for voice mixing of participants is calculated.
[Equation 2]
T 1 = (X 2 + (G-2) * X - 1) * G + M
M = K 2 + (G + 1) * K - 1
Here, T 1 is the total number of operations, X is the number of voices in a group, G is the number of groups (the result of dividing the number of participants N by X, X is a natural number of at least 2), M is the number of operations of the remaining groups, K is N Represents the remainder of dividing by X (K is a natural number of at least 2).
상기 연산을 수행하는 단계는
상기 생성된 복수의 그룹에 대하여 각 그룹별로 그룹 내 참여자의 음성을 전체 합산하여, 상기 각 그룹별로 그룹 내 전체 합산값을 산출하는 단계;
상기 각 그룹별로 그룹 내 자신을 제외한 참여자의 음성을 개별 합산하여 상기 각 그룹별로 그룹 내 개별 합산값을 산출하는 단계; 및
상기 각 그룹별로 산출된, 상기 그룹 내 전체 합산값 및 상기 그룹 내 개별 합산값을 상기 각 그룹별 연산값으로서 출력하는 단계
를 포함하는 것을 특징으로 하는 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 방법.
According to claim 8,
The step of performing the above operation is
summing up all voices of participants in each group for each group with respect to the generated plurality of groups, and calculating an overall intra-group summed value for each group;
calculating individual intra-group summed values for each group by individually summing voices of participants other than the participant in the group for each group; and
Outputting the total summed value within the group and the individual summed value within the group calculated for each group as the calculated value for each group
Voice mixing method for online video / audio conference to reduce the amount of calculation, characterized in that it comprises a.
상기 믹싱하여 출력하는 단계는
상기 그룹 내 전체 합산값 및 상기 그룹 내 개별 합산값을 각각의 다른 그룹 내 참여자의 음성과 믹싱하여 출력하는 단계를 포함하는 것을 특징으로 하는 연산량을 줄이기 위한 온라인 영상/음성 회의용 음성 믹싱 방법.According to claim 9,
The step of mixing and outputting
A voice mixing method for online video/audio conference to reduce the amount of calculation, comprising mixing the total sum value within the group and the individual sum value within the group with the voices of participants in each other group and outputting the mixture.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210076875A KR102480880B1 (en) | 2021-06-14 | 2021-06-14 | Voice mixing device and method for online video/audio conference to reduce the amount of computation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210076875A KR102480880B1 (en) | 2021-06-14 | 2021-06-14 | Voice mixing device and method for online video/audio conference to reduce the amount of computation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220167639A KR20220167639A (en) | 2022-12-21 |
| KR102480880B1 true KR102480880B1 (en) | 2022-12-23 |
Family
ID=84536542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210076875A KR102480880B1 (en) | 2021-06-14 | 2021-06-14 | Voice mixing device and method for online video/audio conference to reduce the amount of computation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102480880B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010166425A (en) * | 2009-01-16 | 2010-07-29 | Nec Corp | Multi-point conference system, server device, sound mixing device, and multi-point conference service providing method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210020376A (en) * | 2019-08-14 | 2021-02-24 | 라인플러스 주식회사 | Method and system for controlling audio using asymmetric channel of voice conference |
-
2021
- 2021-06-14 KR KR1020210076875A patent/KR102480880B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010166425A (en) * | 2009-01-16 | 2010-07-29 | Nec Corp | Multi-point conference system, server device, sound mixing device, and multi-point conference service providing method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220167639A (en) | 2022-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4582238B2 (en) | Audio mixing method and multipoint conference server and program using the method | |
| USRE49363E1 (en) | Variable bit rate LPC filter quantizing and inverse quantizing device and method | |
| US6594626B2 (en) | Voice encoding and voice decoding using an adaptive codebook and an algebraic codebook | |
| US6125343A (en) | System and method for selecting a loudest speaker by comparing average frame gains | |
| EP2786552B1 (en) | Method to select active channels in audio mixing for multi-party teleconferencing | |
| CN101167124B (en) | Audio encoding device and audio encoding method | |
| US7840402B2 (en) | Audio encoding device, audio decoding device, and method thereof | |
| JP5792821B2 (en) | Apparatus and method for estimating the level of a coded audio frame in the bitstream domain | |
| US7904292B2 (en) | Scalable encoding device, scalable decoding device, and method thereof | |
| WO2014046916A1 (en) | Layered approach to spatial audio coding | |
| WO2006118179A1 (en) | Audio encoding device and audio encoding method | |
| JPWO2006035705A1 (en) | Scalable encoding apparatus and scalable encoding method | |
| US8380495B2 (en) | Transcoding method, transcoding device and communication apparatus used between discontinuous transmission | |
| US8271275B2 (en) | Scalable encoding device, and scalable encoding method | |
| KR102480880B1 (en) | Voice mixing device and method for online video/audio conference to reduce the amount of computation | |
| JP2008519308A (en) | Efficient audio coding using signal characteristics | |
| JPH10240299A (en) | Voice encoding and decoding device | |
| CN109427338B (en) | Coding method and coding device for stereo signal | |
| Seto et al. | Scalable speech coding for IP networks: beyond iLBC | |
| TW200903454A (en) | Multiple stream decoder | |
| CN103503065B (en) | For method and the demoder of the signal area of the low accuracy reconstruct that decays | |
| JP4238535B2 (en) | Code conversion method and apparatus between speech coding and decoding systems and storage medium thereof | |
| JPH028900A (en) | Voice encoding and decoding method, voice encoding device, and voice decoding device | |
| JPH0612097A (en) | Method and device for predictively encoding voice | |
| JP2005215502A (en) | Encoding device, decoding device, and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |