KR20180048786A - 사운드-믹싱 처리 방법, 장치 및 디바이스 및 저장 매체 - Google Patents

사운드-믹싱 처리 방법, 장치 및 디바이스 및 저장 매체 Download PDF

Info

Publication number
KR20180048786A
KR20180048786A KR1020187008481A KR20187008481A KR20180048786A KR 20180048786 A KR20180048786 A KR 20180048786A KR 1020187008481 A KR1020187008481 A KR 1020187008481A KR 20187008481 A KR20187008481 A KR 20187008481A KR 20180048786 A KR20180048786 A KR 20180048786A
Authority
KR
South Korea
Prior art keywords
signal
frame
channel
mixed
audio
Prior art date
Application number
KR1020187008481A
Other languages
English (en)
Other versions
KR102084338B1 (ko
Inventor
웨이펑 쟈오
Original Assignee
광저우 쿠고우 컴퓨터 테크놀로지 컴퍼니, 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광저우 쿠고우 컴퓨터 테크놀로지 컴퍼니, 리미티드 filed Critical 광저우 쿠고우 컴퓨터 테크놀로지 컴퍼니, 리미티드
Publication of KR20180048786A publication Critical patent/KR20180048786A/ko
Application granted granted Critical
Publication of KR102084338B1 publication Critical patent/KR102084338B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/46—Volume control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • G10L21/034—Automatic adjustment
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3089—Control of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/34—Muting amplifier when no signal is present or when only weak signals are present, or caused by the presence of noise signals, e.g. squelch systems
    • H03G3/342—Muting when some special characteristic of the signal is sensed which distinguishes it from noise, e.g. using speech detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04—Studio equipment; Interconnection of studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Abstract

사운드-믹싱 처리 방법, 장치 및 디바이스, 및 저장 매체가 개시된다. 상기 방법은, 제1-경로 시그널로부터 프레임 시그널 sm(n)을 추출하고, 상기 제1-경로 시그널과 함께 사운드-믹싱을 수행할 필요가 있는 제2-경로 시그널로부터 sm(n)과 대응되는 시그널 vm(n)을 추출하는 단계 - n은 샘플링 포인트(110)의 개수를 나타냄 -; 시그널 sm(n) 및 vm(n)에 각각 가중치를 부여하는 단계; 및 가중치 부여 처리 후 상기 두 프레임 시그널들을 가산하여 믹스된 시그널 ym(n) (120)을 획득하는 단계; 및 믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 따라 가변 감쇠 인자를 계산하는 단계; 및 가변 감쇠 인자를 이용하여 믹스된 시그널 ym(n) 상에 감쇠 처리를 수행하여 아웃풋 시그널 Zm(n) (130)을 생성하는 단계를 포함한다.

Description

사운드-믹싱 처리 방법, 장치 및 디바이스 및 저장 매체
본원은, 2015년 9월 29일 중국인민공화국 지식재산권국에 출원된 중국 특허 출원 No. 201510631912.3, 발명의 명칭 "사운드-믹싱 처리 방법, 장치 및 디바이스"에 대해 우선권을 주장하며, 그 전문이 인용을 통해 여기에 포함된다.
본원 기재 내용은 오디오-믹싱 분야에 관한 것으로, 특히 오디오-믹싱 처리 방법, 오디오-믹싱 처리 장치, 디바이스 및 저장 매체에 관한 것이다.
가라오케 시스템에 있어서, 가장 기초적인 기술은, 가장 어려운 오디오-믹싱 알고리즘을 포함(involve)한다. 현재, 일반적으로(normally) 인터넷 및 오픈 소스 코드 내의 오디오-믹싱 알고리즘은 아래와 같이 존재한다.
한 가지(one) 오디오-믹싱 알고리즘은 볼륨이 낮은 단점이 있으나 오버플로우(overflow)가 없는 장점을 가진 가산(adding) 및 평균화(averaging)이다. 그러나, 오버플로우는 시그널이 증폭(amplification)을 위해 인자(factor)에 의해 직접적으로 곱해지는(multiplied) 경우, 발생할 것이다.
다른 오디오-믹싱 알고리즘은 직접 추가(directly adding)인데 볼륨을 잘 보존할 수 있지만, 오버플로우가 발생할 경우, 주파수 왜곡 및 음질 손실을 야기하는 단점이 있다.
또 다른 오디오-믹싱 알고리즘에 있어서, 수학식 Y=A+B-(A*B/(-(2pow(n-1)-1)))이 이용되는데, A 및 B는 믹스되는 2개의 채널들의 시그널이고, n은 샘플 포인트의 개수이고, pow는 지수 연산(exponentiation operation)을 나타낸다. 상기 알고리즘은 오버플로우를 일으키지 않으나, 중간 피치 약화를 일으킨다. 또한, 상기 알고리즘은 A 및 B에 증폭 인자가 곱해질 경우 오버플로우를 일으키기 때문에 A 및 B가 증폭 인자에 의해 곱해져야 하는 상황에 적합하지 않다.
상술한 알고리즘들은 모두 단점을 가지고, 그 중 다중 채널의 비율에 따른(in proportion) 믹싱 시그널들의 어플리케이션을 지원할 수 있는 것이 없다.
다중 채널의 시그널들의 비율에 따른(in proportion) 믹싱을 지원하지 않는 종래의 오디오-믹싱 기술들에 대한 이슈 및 다른 이슈들을 다루기 위한 오디오-믹싱 처리 방법, 오디오-믹싱 처리 장치, 디바이스 및 저장 매체가 본원의 실시예에 따라 제공된다.
본원의 제1 실시예에 따른 오디오-믹싱 처리 방법에 있어서,
제1 채널의 시그널 내의 프레임의 시그널 sm(n) 및 제2 채널의 시그널 내의 프레임의 시그널 vm(n)을 추출하는 단계 - 상기 시그널 vm(n)은 상기 시그널 sm(n)과 대응되고, 상기 제2 채널의 시그널은 상기 제1 채널의 시그널과 믹스(mix)되도록 요구되고, n은 샘플 포인트의 개수를 나타냄 -;
상기 시그널 sm(n) 및 상기 시그널 vm(n)에 가중치를 부여하고, 상기 가중치가 부여된 시그널 sm(n)과 시그널 vm(n)을 가산(add)하여 믹스된 시그널 ym(n)을 획득하는 단계; 및
믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 가변(variable) 감쇠 인자(attenuation factor)을 계산하고, 상기 가변(variable) 감쇠 인자를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠(attenuate)하여 아웃풋 시그널 Zm(n)을 생성하는 단계
를 포함하는, 오디오-믹싱 처리 방법이 제공된다.
본원의 제2 실시예에 따른 오디오-믹싱 처리 장치에 있어서, 제1 채널의 시그널 내의 프레임의 시그널 sm(n) 및 제2 채널의 시그널 내의 프레임의 시그널 vm(n)을 추출하도록 구성되는 추출 모듈 - 상기 시그널 vm(n)은 상기 시그널 sm(n)과 대응되고, 상기 제2 채널의 시그널은 상기 제1 채널의 시그널과 믹스(mix)되도록 요구되고, n은 샘플 포인트의 개수를 나타냄 -;
상기 시그널 sm(n) 및 상기 시그널 vm(n)에 가중치를 부여하고, 상기 가중치가 부여된 시그널 sm(n)과 시그널 vm(n)을 가산(add)하여 믹스된 시그널 ym(n)을 획득하도록 구성되는 믹싱 모듈; 및
믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 가변(variable) 감쇠 인자(attenuation factor)을 계산하고, 상기 가변 감쇠 인자를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠(attenuate)하여 아웃풋 시그널 Zm(n)을 생성하도록 구성되는 감쇠 처리 모듈
을 포함하는, 오디오-믹싱 처리 장치가 제공된다.
본원의 제3 실시예에 따른 프로세서, 메모리, 버스 및 통신 인터페이스를 포함하는 컴퓨터 디바이스가 제공된다.
상기 메모리는 컴퓨터-실행 가능한 인스트럭션을 저장하도록 구성되고, 상기 프로세서 및 상기 메모리는 상기 버스를 통해 서로 연결되고, 상기 프로세서는, 상기 컴퓨터 디바이스가 동작할 때, 상기 메모리에 저장된 상기 컴퓨터-실행 가능한 인스트럭션을 실행하여 상기 컴퓨터 디바이스가 아래 단계:
제1 채널의 시그널 내의 프레임의 시그널 sm(n) 및 제2 채널의 시그널 내의 프레임의 시그널 vm(n)을 추출하는 단계 - 상기 시그널 vm(n)은 상기 시그널 sm(n)과 대응되고, 상기 제2 채널의 시그널은 상기 제1 채널의 시그널과 믹스(mix)되도록 요구되고, n은 샘플 포인트의 개수를 나타냄 -;
상기 시그널 sm(n) 및 상기 시그널 vm(n)에 가중치를 부여하고, 상기 가중치가 부여된 시그널 sm(n)과 시그널 vm(n)을 가산(add)하여 믹스된 시그널 ym(n)을 획득하는 단계; 및
믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 가변(variable) 감쇠 인자(attenuation factor)을 계산하고, 상기 가변 감쇠 인자를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠(attenuate)하여 아웃풋 시그널 Zm(n)을 생성하는 단계
를 수행하도록 구성된다.
본원의 제4 실시예에 따른 비휘발성 저장 매체가 제공된다. 비휘발성 저장 매체는 컴퓨터에 의해 실행되는 경우, 상기 컴퓨터가 상술한 오디오-믹싱 처리 방법을 수행하도록 하는, 컴퓨터 판독 가능한 인스트럭션을 저장한다.
위의 관점에서, 본원의 구현 가능한(feasible) 실시예에 따르면, 믹스되는 각각의 채널의 시그널들은 프레임들 내에서 추출되고, 가중치가 부여되고 가산되고, 상기 믹스된 시그널은 가변 감쇠 인자를 이용함으로써 감쇠된다. 따라서, 오디오-믹싱은 아래의 기술적 효과들과 함께 달성된다.
일실시예에 있어서, 다중 채널의 비율에 따른 믹싱 시그널들이 뒷받침된다. 예를 들어, 육성(human voice) 및 반주(accompaniment) 중 적어도 하나의 음량이 두 배 또는 그 이상으로 증폭되는 경우 적용 가능하다.
다른 일실시예에 있어서, 가중치 부여 및 가산 이후 획득되는 믹스된 시그널은 감쇠 인자를 이용함으로써 감쇠되어, 획득된 아웃풋 시그널이 오버플로우되는 문제를 방지할 수 있다.
또한, 본원의 실시예들에 따른 솔루션을 이용함으로써, 버 노이즈(burr noise)가 거의 없도록 음질이 잘 유지된다.
본원 또는 종래 기술의 실시예에 따른 기술적 솔루션들의 더 명확한 도해(illustration)를 위해, 이하에서는 본원 및 종래 기술의 실시예들의 설명에 이용되는 도면들이 간단히 설명된다. 상세한 설명에 인용되는 도면은 본원의 일부 실시예에 관한 것으로, 다른 도면도 상기 제공되는 도면에 기초하여 본원 발명의 기술분야에 속하는 통상의 기술자가 창조적인 노력 없이 획득될 수 있다.
도 1은 본원의 일실시예에 따른 오디오-믹싱 처리 방법의 흐름도이다.
도 2는 테스트 결과의 개념도이다.
도 3은 본원의 일실시예에 다른 오디오-믹싱 처리 장치의 개념적 구조도이다.
도 4는 본원의 일실시예에 따른 다른 오디오-믹싱 처리 장치의 개념적 구조도이다.
도 5는 본원의 일실시예에 따른 컴퓨터 디바이스의 개념적 구조도이다.
해당 기술분야의 통상의 기술자가 본원의 솔루션들을 더 잘 이해하도록, 본원의 실시예에 따른 기술적 솔루션들은 본원 실시예의 도면들과 함께 명확하고 완벽하게 설명될 것이다. 설명되는 실시예들은 본원의 실시예들에 따른 일부이고, 모든 실시예가 아님은 명백하다. 본원의 실시예들에 기초하여 통상의 기술자에 의해 창조적 노력 없이 획득되는 모든 실시예는 본원의 보호 범위 내에 있다.
본원의 일실시예에 따른 기술적 솔루션은 가라오케 시스템에 적용된다. 가라오케 시스템은 KTV, 홈 가라오케 시스템, 가라오케 소프트웨어가 설치된 컴퓨터 디바이스를 포함하지만 이에 국한되지 않는다. 상기 컴퓨터 디바이스는, 범용 컴퓨터, 고객-맞춤형 기계 또는 모바일 폰 단말 및 테블릿 기계와 같은 포터블 디바이스 중 하나일 수 있다. 통상적으로, 가라오케 시스템은 오디오 시스템 및 마이크로폰을 더 포함한다.
이하에서 구체적인 실시예들이 자세히 설명된다.
본원의 제1 실시예에 따른 오디오-믹싱 처리 방법이 제공된다. 상기 방법에 따르면, 믹스되는 각각의 채널의 시그널들은 프레임 내에서 추출되고, 가중치가 부여되고, 가산되고, 상기 믹스된 시그널은 가변 감쇠 인자를 이용함으로써 감쇠되고, 상기 감쇠된 믹스된 시그널은 아웃풋 시그널로 제공한다.
도 1을 참조하면, 본원의 일실시예에 따른 오디오-믹싱 처리 방법은 단계(110) 내지 단계(130)을 포함한다.
단계(110)에서, 제1 채널의 시그널 내의 프레임의 시그널 sm(n)이 추출되고, 제2 채널의 시그널 내의 프레임의 시그널 vm(n)이 추출되며, 상기 시그널 vm(n)은 상기 시그널 sm(n)과 대응되고, 상기 제2 채널의 시그널은 상기 제1 채널의 시그널과 믹스되도록 요구되고, n은 샘플 포인트의 개수를 나타낸다.
두 개 채널의 시그널들에 대한 오디오-믹싱이 본원의 실시예 도해에 대한 예시로 채택된다. 그러나, 다중 채널의 시그널에 대한 오디오-믹싱은 항상 두 개 채널의 시그널에 대한 오디오-믹싱으로 단순화(simplified)될 수 있으므로 다른 채널들의 시그널의 개수는 본원의 기술적 솔루션에 제한되지 않는다.
가라오케 시스템이 동작할 때, 특히, 가라오케 시스템 내의 가라오케 소프트웨어가 설치된 컴퓨터 디바이스가 동작할 때, 컴퓨터 디바이스의 프로세서는 믹스되는 두 개 채널의 시그널들을 획득한다. 본원의 일실시예에 있어서, s(n)은 제1 채널의 시그널을 나타내고, v(n)은 제2 채널의 시그널을 나타내고, n은 샘플 포인트의 개수를 나타낸다. 예를 들어, 1024 샘플 포인트는 1초와 같은 단위 시간 내에 포함될 수 있다.
본원의 일실시예에 있어서, 상기 두 개의 채널의 시그널 s(n) 및 v(n)은 비율에 따라 믹스된다. 비율이 p/q라고 가정하면, 즉, q 및 p가 0보다 큰 임의의 값을 가지는 경우, 시그널 s(n)은 인자 p에 의해 증폭되고, 시그널 v(n)은 인자 q에 의해 증폭된다. 통상적으로, p 및 q는 10보다 크지 않은 값을 가진다.
본원의 일실시예에 있어서, 두 채널의 시그널 s(n) 및 v(n)은 프레임 내에서 처리된다. s(n) 및 v(n) 내의 현재 시그널 프레임이 믹스된 후, 다음(next) 시그널 프레임들이 반복적으로 믹스된다. 프레임 길이는, 예를 들어, 프레임의 시그널 길이 N이 1024 샘플 포인트로 세팅 되듯이 임의로 세팅(setting)될 수 있다. s(n) 내의 프레임의 시그널 및 v(n) 내의 프레임의 시그널은 동일한 길이를 가져야 한다.
예를 들어, m번째 프레임의 시그널이 특정한 시각(certain time)에 믹스되는 경우, 제1 채널의 시그널 s(n) 내의 m번째 프레임의 시그널 sm(n) 및 제2 채널의 시그널 v(n) 내의 m번째 프레임의 시그널 vm(n)이 추출되고, 시그널 vm(n)은 시그널 sm(n)과 대응되고, 시그널 s(n)은 시그널 v(n)과 믹스되도록 요구되고, m은 양의 정수이다.
단계(120)에서, 시그널 sm(n) 및 시그널 vm(n)에 가중치가 부여되고, 두 개의 가중치가 부여된 시그널이 가산되어 믹스된 시그널 ym(n)이 획득된다.
상기 단계에서, 두 프레임들의 시그널 sm(n) 및 vm(n)은 가중치 부여 계수 p 및 q를 이용함으로써 각각 가중치가 부여되고, 두 개의 가중치가 부여된 시그널이 아래 등식에 표현되는 것과 같이 가산된다.
ym(n)=p*sm(n)+q*vm(n), where n=0,1,2,...,N-1, N은 프레임의 시그널 sm(n) 및 프레임의 시그널 vm(n)의 프레임 길이이다.
상기 등식에서, ym(n)은 상기 시그널 sm(n) 및 vm(n)에 가중치를 부여하고 가산함으로써 획득되는 믹스된 시그널이다. 1024 등과 같은 N인 ym(n)의 길이는 sm(n) 및 vm(n)의 길이와 동일한 것으로 이해된다.
단계(130)에서, 가변 감쇠 인자는 믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 계산되고, 믹스된 시그널 ym(n)은 가변 감쇠 인자를 이용함으로써 감쇠되어 아웃풋 시그널 Zm(n)을 생성한다.
믹스된 시그널은 상기 믹스된 시그널 ym(n)의 큰 최대값 ymax의 경우, 오버플로우의 위험을 가진다. 따라서, 아웃풋 시그널로서 ym(n)을 직접 출력하기에 적합하지 않다. 상기 오버플로우 이슈를 다루기 위해, 본원의 일실시예에 따르면, 가변 감쇠 인자 deta는 믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 계산되고, 상기 계산된 ym(n)은 가변 감쇠 인자 deta를 이용함으로써 감쇠되어 상기 시그널 ym(n)이, 스무스(smooth)한 데이터 변화를 일으키는 크리티컬 값(critical value)보다 작은 값을 갖도록 한다. 가변 감쇠 인자는 가변하고(variable), 현재 프레임의 ym(n)의 시퀀스의 최대값 ymax에 기초하여 계산됨을 주목한다. 따라서, deta의 값들은 다른 프레임들의 시그널에 대한 오디오-믹싱에 어렵다.
본원의 일실시예에 있어서, 감쇠 인자를 계산하고 감쇠를 수행하는 프로세서가 아래와 같이 개시된다.
우선, 글로벌 참조값 f가 정의되고, 글로벌 참조값 f는 그것의 이전 값을 유지할 수 있다. 시작 시, 즉, s(n) 내의 제1 프레임의 시그널 및 v(n) 내의 제1 프레임의 시그널이 믹스될 때, f 값이 1.0으로 할당될 수 있다. 다른 프레임들의 시그널이 처리될 경우, f는 항상 변화하는 것은 아래 단계에서 더 도시된다. 임시 참조값 fnew는 여기에서 더 정의된다.
ym(n)의 감쇠에 있어서, 최대값 ymax는 우선 ymax=max(abs(ym))으로 획득되고, abs는 절대값 획득을 의미하고, max는 최대값 획득을 의미한다. 또한, n은 0 내지 N-1까지의 정수값을 취하고(take), n이 0 내지 N-1까지의 정수 중 하나와 동일할 경우, ym은 최대값을 가진다.
그러면, ymax는 프리셋 값 Ma와 비교되고, 임시 참조값 fnew는 비교 결과에 기초하여 결정된다. 최대값 yman가 프리셋 값 Ma보다 크지 않은 경우, 임시 참조값은 fnew=1.0으로 세팅된다. 최대값 ymax가 프리셋 값 Ma보다 큰 경우, 임시 참조값은 fnew=Ma/ymax로 세팅된다. 이런 경우, fnew는 1.0보다 근소하게 작은 값을 가지고, 계수 fnew에 의해 곱해지는 ymax는 Ma보다 크지 않고 Ma와 정확히 동일하다.
통상적으로, 오디오 신호는 16비트(bites, bit) 내에서 표현되고, 그것의 최대값은 216-1, i.e., 32767이다. 따라서, 바람직하게는, Ma는 Ma=32767로 세팅될 수 있다. 다른 어플리케이션 씬(scene)에 있어서, 오디오 신호가 p 비트로 표현되는 경우, Ma는 Ma=2p-1이고, p는 8, 16, 24, 32 등일 수 있다.
그러면, 가변 감쇠 인자는 등식 deta=(f-fnew)/N를 이용하여 계산되고, deta는 가변 감쇠 인자를 나타내고, N은 예를 들어, 1024와 같은 ym(n)의 프레임 길이를 나타낸다.
그러면, ym(n)은 deta를 이용함으로써 감쇠되고, n=0,1,2,...,N-1이고, N이 sm(n) 및 vm(n)의 시그널의 프레임 길이이고, Zm(n)의 프레임 길이일 때, 등식 Zm(n)=(f-n*deta)*ym(n)을 이용함으로써 아웃풋 시그널 Zm(n)을 생성한다. 상기 등식 Zm(n)=(f-n*deta)*ym(n)로부터, 시그널 ym(n)은 오버플로우를 방지하기 위해 크리티컬 값 이내로 제한되고, 데이터 변화는 상대적으로 스무스(smooth)한 것으로 보일 수 있다.
예를 들어, 초기에는 f=1.0이다. ymax가 프리셋 값 Ma보다 크지 않은 경우, 오디오 시그널은 오버플로우가 발생하지 않는다. 그 때, fnew=1.0, deta=0이고, 그러므로 Zm(n)=ym(n)이다. 오디오 시그널에 오버플로우가 발생하지 않으므로, ym(n)은 감쇠 없이 직접 아웃풋 시그널로서 제공한다.
최종적으로, 다음 프레임의 시그널 처리를 위해 글로벌 참조값 f는 임시 참조값 fnew와 동일하게 업데이트된다. 예를 들어, 제1 프레임의 시그널 처리 시 f는 초기값 1.0과 동일하고, 이 때 fnew는 0.95와 동일하다고 추정된다. 그러면, 제1 프레임의 시그널이 처리된 후, f=fnew=0.05로 세팅된다. 따라서, 제2 프레임의 시그널 처리 시 f의 현재 값은 0.95이다.
본원의 일실시예에 있어서, 모든 프레임들의 시그널이 처리될 때까지, 각각의 프레임의 시그널은 상술한 방법에 기초하여 오디오-믹싱을 위해 처리되고, 그렇게 함으로써 비율에 따른 오디오-믹싱을 달성한다.
테스트 결과의 개념도인 도 2를 참조하면, (a)는 종래 오디오-믹싱 기술을 이용한 오디오-믹싱 테스트 결과의 개념도이고, (b)는 본원의 일실시예에 따른 방법을 이용한 오디오-믹싱 테스트 결과의 개념도이다. (a)에는 (도면의 수직선을 참조하면) 사람의 청각으로는 구별하기 어려운 백그라운드 노이즈를 나타내는 버 임펄스(burr impulses)가 있다. 반면, (b)는 매우 깨끗하고, 버 임펄스가 거의 없다. 상기 알고리즘의 테스트 결과는, 본원의 일실시예의 기술적 솔루션에 따른 오디오-믹싱 방법에 따라 최종적으로 버 노이즈가 거의 없도록 음질이 잘 보존된다.
상술한 바에 따르면, 오디오-믹싱 처리 방법은 본원의 몇몇 구현 가능한 실시예들에 따라 개시된다. 상기 방법에 있어서, 각각의 채널의 시그널들은 프레임 내에서 추출되고, 가중치가 부여되고 가산되고, 상기 믹스된 시그널은 가변 감쇠 인자를 이용함으로써 감쇠된다. 따라서, 오디오-믹싱은 아래의 기술적 효과들과 함께 달성된다.
일실시예에 있어서, 다중 채널의 비율에 따른 믹싱 시그널의 어플리케이션이 뒷받침된다. 예를 들어, 육성 및 반주(accompaniment) 중 적어도 하나의 음량이 두 배 또는 그 이상으로 증폭되도록 요구되는 경우 적용 가능하다.
다른 일실시예에 있어서, 믹스된 시그널은 가중치 부여 및 가산 후 감쇠 인자를 이용하여 감쇠되어 획득된 아웃풋 시그널이 오버플로우를 일으키는 문제를 방지할 수 있다.
또한, 본원의 실시예들에 따른 오디오-믹싱 솔루션을 이용함으로써 버 노이즈가 거의 없도록 음질이 잘 보존된다.
본원의 실시예들에 따른 기술적 솔루션들을 더 잘 이해하기 위해, 아래의 특정 씬(scene)에서 실시예를 참조하여 설명된다.
p 및 q가 0보다 크고 M보다 작은 경우, s(n) 및 v(n)는 p/q 비율에 따라 믹스되고, M은 0보다 큰 임의의 값을 가지고, 바람직하게는 M=10이다.
상기 처리는 아래 단계들을 포함한다.
우선, 이전 값을 유지하기 위한 파라미터 f가 세팅되고, 오토-믹싱이 시작되면 1.0으로 초기화된다(다음 프레임들에 대해 다시 초기화되지 않고, 이전 값을 유지함).
단계(S1)에서, 프레임 길이가 임의로 세팅되는 경우, 제1 프레임의 시그널 sm(n) 및 vm(n) s(n) 및 v(n)로부터 각각 추출되고, 바람직하게는 샘플 포인트 N=1024로 세팅된다.
단계(S2)에서, N의 길이를 가진 ym(n)=p*sm(n)+q*vm(n)가 생성된다.
단계(S3)에서, ym(n)의 시퀀스의 최대값 ymax=max( ym)이 획득된다.
단계(S4)에서, ymax≤32767인 경우, fnew=1.0이다.
단계(S5)에서, ymax>32767인 경우, fnew=32767이다.
단계(S6)에서, deta=(f-fnew)/N이 계산된다.
단계(S7)에서, n이 0 내지 N-1을 취할 경우, Zm(n)=(f-n*deta)*ym(n)이 획득된다.
단계(S8)에서, f=fnew가 세팅된다.
단계(S9)에서, zm이 처리된 프레임의 데이터로 출력된다.
단계(S10)에서, 다음 프레임을 위해 상기 f값이 보존된다.
제2 프레임, 제3 프레임, 제4 프레임, ..., 이 모든 프레임들이 처리될 때까지 차례대로 처리된다.
최종적으로 비율에 따른 오디오-믹싱이 완료된다.
본원의 실시예들에 따른 상술한 기술적 솔루션들을 더 잘 이해하기 위해, 상술한 기술적 솔루션들을 수행하는 관련 장치가 더 제공된다.
도 3을 참조하면, 추출 모듈(310), 믹싱 모듈(320) 및 감쇠 처리 모듈(330)을 포함하는 오디오-믹싱 처리 장치가 본원의 제2 실시예에 따라 제공된다.
추출 모듈(310)은 제1 채널의 시그널 내의 프레임의 시그널 sm(n) 및 제2 채널의 시그널 내의 프레임의 시그널 vm(n)을 추출하도록 구성되고, 시그널 vm(n)은 시그널 sm(n)과 대응되고, 제2 채널의 시그널은 제1 채널의 시그널과 믹스되도록 요구되고, n은 샘플 포인트의 개수를 나타낸다.
믹싱 모듈은 시그널 sm(n) 및 시그널 vm(n)에 가중치를 부여하고, 가중치가 부여된 시그널 sm(n) 및 vm(n)을 가산하여 믹스된 시그널 ym(n)을 획득하도록 구성된다.
감쇠 처리 모듈(330)은 믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 가변 감쇠 인자를 계산하고, 상기 가변 인자를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠하여 아웃풋 시그널 Zm(n)을 생성하도록 구성된다.
도 4를 참조하면, 본원의 실시예들에 있어서, 감쇠 처리 모듈(330)은 획득 유닛(3301), 할당 유닛(3302) 및 계산 유닛(3303)을 포함한다.
획득 유닛(3301)은 ym(n)의 시퀀스의 최대값 ymax 및 현재 글로벌 참조값 f를 획득하도록 구성되고, ymax=max(abs(ym))이고, abs는 절대값 획득을 의미하고, max는 최대값 획득을 의미한다.
할당 유닛(3302)는 최대값 ymax가 프리셋 값 Ma보다 크지 않은 경우, 임시 참조값을 fnew=1.0으로 세팅하고, 최대값 ymax가 프리셋 값 Ma보다 큰 경우 임시 참조값을 fnew=Ma/ymax로 세팅한다.
계산 유닛(3303)은 프리셋 가변 감쇠 인자 deta를 deta=(f-fnew)/N으로 계산하도록 구성된다.
또한, 감쇠 처리 모듈(330)은 감쇠 처리 유닛(3304)를 더 포함한다.
감쇠 처리 유닛(3304)는 가변 감쇠 인자 deta를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠하여 Zm(n)을 Zm(n)=(f-n*deta)*ym(n)로 획득하고, n=0,1,2,...,N-1이고, 상기 N은 상기 프레임의 시그널 sm(n) 및 시그널 vm(n)의 프레임 길이이고, 감쇠 이후 획득되는 상기 시그널 Zm(n)은 아웃풋 시그널로 제공하도록 구성된다.
또한, 감쇠 처리 모듈은 업데이팅 유닛(3305)를 더 포함한다.
업데이팅 유닛(3305)는 다음 프레임 처리를 위해 글로벌 참조값 f를 상기 임시 값 fnew과 동일하게 업데이트하도록 구성된다.
선택적으로, 글로벌 참조값 f의 초기값은 1.0이고, 프리셋 값 Ma는 32767과 동일하다.
본원의 실시예에 따른 오디오-믹싱 처리 장치의 각각의 기능적인 모듈의 기능은, 특히 상술한 방법 실시예들에 따른 방법에 기초하여 구현되는 것으로 이해된다. 구현의 구체적인 내용은, 상술한 방법 실시예 내의 관련된 설명을 참조할 수 것은 여기에서 반복하지 않는다.
상술한 바에 따르면, 오디오-믹싱 처리 장치는 본원의 몇몇 구현 가능한 실시예들에 따라 개시된다. 상기 방법에 기초하여, 믹스되는 각각의 채널의 시그널들이 프레임들 내에서 추출되고, 가중치가 부여되고, 가산되고, 믹스된 시그널은 가변 감쇠 인자를 이용하여 감쇠된다. 따라서, 오디오-믹싱은 아래의 기술적인 효과들과 함께 달성된다.
일실시예에 있어서, 다중 채널의 비율에 따른 믹싱 시그널의 어플리케이션이 뒷받침된다. 예를 들어, 육성 및 반주(accompaniment) 중 적어도 하나의 음량이 두 배 또는 그 이상으로 증폭되는 경우 적용 가능하다.
다른 일실시예에 있어서, 가중치 부여 및 가산 이후 획득되는 믹스된 시그널은 감쇠 인자를 이용함으로써 감쇠되어, 획득된 아웃풋 시그널이 오버플로우되는 문제를 방지할 수 있다.
또한, 본원의 실시예들에 따른 오디오-믹싱 솔루션들을 이용함으로써, 버 노이즈가 거의 없도록 음질이 잘 유지된다.
도 5를 참조하면, 프로세서(501), 메모리(502), 버스(503) 및 통신 인터페이스(504)를 포함하는 컴퓨터 디바이스(500)은 본원의 제3 실시예에 따라 더 제공된다.
메모리(502)는 컴퓨터-실행 가능한 인스트럭션을 저장하도록 구성된다. 프로세서(501) 및 메모리(502)는 버스(503)를 통해 서로 연결된다. 프로세서(501)은 컴퓨터 디바이스(500)이 동작할 때, 메모리(502)에 저장된 컴퓨터-실행 가능한 인스트럭션을 실행하여 컴퓨터 디바이스(500)이 아래의 단계들을 수행하도록 구성된다.
한 단계에 있어서, 제1 채널의 시그널 내의 프레임의 시그널 sm(n) 및 제2 채널의 시그널 내의 프레임의 시그널이 추출되고, 상기 시그널 vm(n)은 상기 시그널 sm(n)과 대응되고, 상기 제2 채널의 시그널은 상기 제1 채널의 시그널과 믹스(mix)되도록 요구되고, n은 샘플 포인트의 개수를 나타낸다.
다른 단계에 있어서, 상기 시그널 sm(n) 및 상기 시그널 vm(n)에 가중치를 부여하고, 상기 가중치가 부여된 시그널 sm(n)과 시그널 vm(n)을 가산(add)하여 믹스된 시그널 ym(n)을 획득한다.
다른 단계에 있어서, 믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 가변(variable) 감쇠 인자(attenuation factor)을 계산하고, 상기 가변 감쇠 인자를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠(attenuate)하여 아웃풋 시그널 Zm(n)을 생성한다.
본원의 몇몇 실시예들에 있어서, 프로세서(501)에 의해, 믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 상기 가변 감쇠 인자를 계산하는 단계는, ym(n)의 시퀀스의 최대값 ymax를 획득하는 단계 - ymax-max(abs(ym))이고, abs는 절대값 획득을 의미하고, max는 최대값 획득을 의미함 -; 현재 글로벌 참조값 f를 획득하는 단계; 최대값 ymax가 프리셋 값 Ma보다 크지 않은 경우, 임시 참조값을 fnew=1.0으로 세팅하고, 최대값 ymax가 프리셋 값 Ma보다 큰 경우, 임시 참조값을 fnew=Ma/ymax로 세팅하고, 가변 감쇠 인자 deta를 deta=(f-fnew)/N로 계산하는 단계를 포함한다.
본원의 다른 실시예들에 있어서, 프로세서(501)에 의해, 가변 감쇠 인자를 이용하여 믹스된 시그널 ym(n)을 감쇠하여 아웃풋 시그널 Zm(n)을 생성하는 단계는, 가변 감쇠 인자 deta를 이용하여 믹스된 시그널 ym(n)을 감쇠하여 시그널 Zm(n)을 Zm(n)=(f-n*deta)*ym(n)로 획득하는 단계를 포함하고, N은 상기 프레임의 시그널 sm(n) 및 시그널 vm(n)의 프레임 길이이고, 감쇠 후 획득되는 시그널 Zm(n)은 아웃풋 시그널로 제공한다.
본원의 실시예들에 있어서, 프로세서(504)는 다음 프레임 처리를 위해 글로벌 참조값 f가 임시 값 fnew와 같도록 업데이트하는 단계를 더 수행할 수 있다.
본원의 실시예들에 있어서, 글로벌 참조 값 f의 초기값은 1.0이고, 상기 프리셋 값 Ma는 32767과 동일하다.
상술한 바에 따르면, 오디오-믹싱 처리 장치는 본원의 구현 가능한 몇몇 실시예들에 따라 개시된다. 상기 방법에 기초하여, 믹스되는 각각의 채널의 시그널이 프레임들 내에서 추출되고, 가중치가 부여되고 가산되고, 상기 믹스된 시그널은 가변 감쇠 인자를 이용하여 감쇠된다. 따라서, 오디오-믹싱은 아래의 기술적 효과들과 함께 달성된다.
일실시예에 있어서, 다중 채널의 비율에 따른 믹싱 시그널의 어플리케이션이 뒷받침된다. 예를 들어, 육성 및 반주(accompaniment) 중 적어도 하나의 음량이 두 배 또는 그 이상으로 증폭되도록 요구되는 경우 적용 가능하다.
다른 일실시예에 있어서, 가중치 부여 및 가산 이후 획득되는 믹스된 시그널은 감쇠 인자를 이용함으로써 감쇠되어, 획득된 아웃풋 시그널이 오버플로우되는 문제를 방지할 수 있다.
또한, 본원의 실시예들에 따른 오디오-믹싱 솔루션들을 이용함으로써, 버 노이즈가 거의 없도록 음질이 잘 유지된다.
본원의 제4 실시예에 따른 컴퓨터 저장 매체가 더 제공된다. 상기 컴퓨터 저장 매체는 프로그램을 기록하고, 상기 프로그램이 실행될 때, 상술한 방법의 실시예들에 대해 설명된 일부 또는 전부의 단계들이 수행된다.
상술한 실시예들에 있어서, 각각의 실시예들의 설명은 그것들을 강조한다. 다른 실시예들 내의 관련된 설명을 참조할 수 있는 것은 여기에서 반복되지 않는다.
정확한 설명을 위해, 상술한 방법의 각각의 실시예들은 일련의 동작의 조합으로 설명된다. 그러나, 일부 단계들은 다른 순서 또는 본원에 따라 동시에 수행될 수 있기 때문에, 해당 분야의 통상의 기술자는 설명된 동작들의 순서가 본원의 설명에 의해 제한되지 않는다고 이해해야 한다. 또한, 해당 분야의 통상의 기술자는 상세한 설명 내의 실시예들이 모두 바람직한 실시예인 것으로 이해하고, 포함된 동작 또는 모듈은 본원에 대해 추가적인 것으로 이해해야 한다.
해당 기술 분야의 통상의 기술자는 상술한 실시예들에 따른 다양한 방법들의 일부 또는 모든 단계들이 관련 하드웨어에 명령을 전달하는 프로그램에 의해 수행되는 것으로 이해할 수 있고, 상기 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있고, 상기 저장 매체는 ROM, RAM, 자기 디스크, 광학 디스크 등을 포함할 수 있다.
본원의 실시예들에 따른 오디오-믹싱 처리 방법, 오디오-믹싱 처리 장치 및 디바이스는 위에서 자세히 소개된다. 본원의 원칙 및 구현은 특정 실시예들 및 상술한 실시예들의 도해와 함께 상기 방법 및 본원의 중요 개념에 대한 이해를 돕기 위한 것일 뿐이다. 해당 분야의 통상의 기술자에게 있어서, 본원의 개념들에 기초하여 특정한 구현들 또는 어플리케이션에 변화가 생성될 수 있다. 요약하면, 본원의 내용은 본원을 제한하는 것으로 이해되어서는 안 된다.

Claims (12)

  1. 오디오-믹싱 처리 방법에 있어서,
    제1 채널의 시그널 내의 프레임의 시그널 sm(n) 및 제2 채널의 시그널 내의 프레임의 시그널 vm(n)을 추출하는 단계 - 상기 시그널 vm(n)은 상기 시그널 sm(n)과 대응되고, 상기 제2 채널의 시그널은 상기 제1 채널의 시그널과 믹스(mix)되도록 요구되고, n은 샘플 포인트의 개수를 나타냄 -;
    상기 시그널 sm(n) 및 상기 시그널 vm(n)에 가중치를 부여하고, 상기 가중치가 부여된 시그널 sm(n)과 시그널 vm(n)을 가산(add)하여 믹스된 시그널 ym(n)을 획득하는 단계; 및
    믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 가변(variable) 감쇠 인자(attenuation factor)을 계산하고, 상기 가변(variable) 감쇠 인자를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠(attenuate)하여 아웃풋 시그널 Zm(n)을 생성하는 단계
    를 포함하는,
    오디오-믹싱 처리 방법.
  2. 제1항에 있어서,
    상기 믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 가변 감쇠 인자를 계산하는 단계는,
    상기 시그널 ym(n)의 시퀀스의 최대값 ymax 및 현재(current) 글로벌 참조값(reference value) f를 획득하는 단계 - ymax=max(abs(ym))이고, abs는 절대값 획득을 의미하고, max는 최대값 획득을 의미함 - ;
    최대값 ymax가 프리셋(preset) 값 Ma보다 크지 않은 경우, 임시(temporary) 참조값을 fnew=1.0으로 세팅(setting)하고, 최대값 ymax가 프리셋 값 Ma보다 큰 경우, 상기 임시 참조값을 fnew=Ma/ymax로 세팅하는 단계; 및
    상기 가변 감쇠 인자 deta를 deta=(f-fnew)/N로 계산하는 단계
    를 포함하는,
    오디오-믹싱 처리 방법.
  3. 제2항에 있어서,
    상기 가변 감쇠 인자를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠(attenuate)하여 시그널 Zm(n)을 생성하는 단계는,
    상기 가변 감쇠 인자 deta를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠하여 시그널 Zm(n)을 Zm(n)=(f-n*deta)*ym(n)로 획득하고, n=0,1,2,...,N-1이고, 상기 N은 상기 프레임의 시그널 sm(n) 및 상기 프레임의 시그널 vm(n)의 프레임 길이이고, 감쇠 이후 획득되는 상기 시그널 Zm(n)은 아웃풋 시그널로 제공(serve)하는 단계
    를 포함하는,
    오디오-믹싱 처리 방법.
  4. 제3항에 있어서,
    다음(next) 프레임 처리를 위해 글로벌 참조값 f를 상기 임시 값 fnew과 동일하게 업데이트하는 단계
    를 더 포함하는,
    오디오-믹싱 처리 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 글로벌 참조값 f의 초기값(initial value)는 1.0이고,
    상기 프리셋 값 Ma는 32767과 동일한,
    오디오-믹싱 처리 방법.
  6. 오디오-믹싱 처리 장치에 있어서,
    제1 채널의 시그널 내의 프레임의 시그널 sm(n) 및 제2 채널의 시그널 내의 프레임의 시그널 vm(n)을 추출하도록 구성되는 추출 모듈 - 상기 시그널 vm(n)은 상기 시그널 sm(n)과 대응되고, 상기 제2 채널의 시그널은 상기 제1 채널의 시그널과 믹스(mix)되도록 요구되고, n은 샘플 포인트의 개수를 나타냄 -;
    상기 시그널 sm(n) 및 상기 시그널 vm(n)에 가중치를 부여하고, 상기 가중치가 부여된 시그널 sm(n)과 시그널 vm(n)을 가산(add)하여 믹스된 시그널 ym(n)을 획득하도록 구성되는 믹싱 모듈; 및
    믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 가변(variable) 감쇠 인자(attenuation factor)을 계산하고, 상기 가변 감쇠 인자를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠(attenuate)하여 아웃풋 시그널 Zm(n)을 생성하도록 구성되는 감쇠 처리 모듈
    을 포함하는,
    오디오-믹싱 처리 장치.
  7. 제6항에 있어서,
    상기 감쇠 처리 모듈은,
    상기 시그널 ym(n)의 시퀀스의 최대값 ymax 및 현재(current) 글로벌 참조값 f를 획득하도록 구성되는 획득 유닛 - ymax=max(abs(ym))이고, abs는 절대값 획득을 의미하고, max는 최대값 획득을 의미함 -;
    최대값 ymax가 프리셋(preset) 값 Ma보다 크지 않은 경우, 임시 참조값을 fnew=1.0으로 세팅하고, 최대값 ymax가 프리셋 값 Ma보다 큰 경우, 상기 임시 참조값을 fnew=Ma/ymax로 세팅하도록 구성되는 할당(assignment) 유닛; 및
    상기 가변 감쇠 인자 deta를 deta=(f-fnew)/N로 계산하도록 구성되는 계산 유닛
    을 포함하는,
    오디오-믹싱 처리 장치.
  8. 제7항에 있어서,
    상기 감쇠 처리 모듈은,
    상기 가변 감쇠 인자 deta를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠하여 시그널 Zm(n)을 Zm(n)=(f-n*deta)*ym(n)로 획득하고, n=0,1,2,...,N-1이고, 상기 N은 상기 프레임의 시그널 sm(n) 및 상기 프레임의 시그널 vm(n)의 프레임 길이이고, 감쇠 이후 획득되는 상기 시그널 Zm(n)은 아웃풋 시그널로 제공(serve)하도록 구성되는 감쇠 처리 유닛
    을 더 포함하는,
    오디오-믹싱 처리 장치.
  9. 제7항에 있어서,
    상기 감쇠 처리 모듈은,
    다음(next) 프레임 처리를 위해 글로벌 참조값 f를 상기 임시 값 fnew과 동일하게 업데이트하도록 구성되는 업데이팅 유닛
    을 더 포함하는,
    오디오-믹싱 처리 장치.
  10. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 글로벌 참조값 f의 초기값(initial value)는 1.0이고,
    상기 프리셋 값 Ma는 32767과 동일한,
    오디오-믹싱 처리 장치.
  11. 컴퓨터 디바이스에 있어서,
    프로세서;
    메모리;
    버스; 및
    통신 인터페이스를 포함하고,
    상기 메모리는 컴퓨터-실행 가능한 인스트럭션을 저장하도록 구성되고,
    상기 프로세서 및 상기 메모리는 상기 버스를 통해 서로 연결되고,
    상기 프로세서는, 상기 컴퓨터 디바이스가 동작할 때, 상기 메모리에 저장된 상기 컴퓨터-실행 가능한 인스트럭션을 실행하여 상기 컴퓨터 디바이스가 아래 단계:
    제1 채널의 시그널 내의 프레임의 시그널 sm(n) 및 제2 채널의 시그널 내의 프레임의 시그널 vm(n)을 추출하는 단계 - 상기 시그널 vm(n)은 상기 시그널 sm(n)과 대응되고, 상기 제2 채널의 시그널은 상기 제1 채널의 시그널과 믹스(mix)되도록 요구되고, n은 샘플 포인트의 개수를 나타냄 -;
    상기 시그널 sm(n) 및 상기 시그널 vm(n)에 가중치를 부여하고, 상기 가중치가 부여된 시그널 sm(n)과 시그널 vm(n)을 가산(add)하여 믹스된 시그널 ym(n)을 획득하는 단계; 및
    믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 가변(variable) 감쇠 인자(attenuation factor)을 계산하고, 상기 가변 감쇠 인자를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠(attenuate)하여 아웃풋 시그널 Zm(n)을 생성하는 단계
    들을 수행하도록 하는,
    컴퓨터 디바이스.
  12. 하나 또는 그 이상의 컴퓨터 프로그램을 저장하는 비휘발성 저장 매체에 있어서,
    상기 하나 또는 그 이상의 컴퓨터 프로그램은 하나 또는 그 이상의 메모리를 포함하는 프로세서에 의해 실행 가능한 인스트럭션을 포함하고, 상기 인스트럭션은 컴퓨터에 의해 실행될 때, 상기 컴퓨터가 아래 단계:
    제1 채널의 시그널 내의 프레임의 시그널 sm(n) 및 제2 채널의 시그널 내의 프레임의 시그널 vm(n)을 추출하는 단계 - 상기 시그널 vm(n)은 상기 시그널 sm(n)과 대응되고, 상기 제2 채널의 시그널은 상기 제1 채널의 시그널과 믹스(mix)되도록 요구되고, n은 샘플 포인트의 개수를 나타냄 -;
    상기 시그널 sm(n) 및 상기 시그널 vm(n)에 가중치를 부여하고, 상기 가중치가 부여된 시그널 sm(n)과 시그널 vm(n)을 가산(add)하여 믹스된 시그널 ym(n)을 획득하는 단계; 및
    믹스된 시그널 ym(n)의 시퀀스의 최대값 ymax에 기초하여 가변 감쇠 인자(attenuation factor)을 계산하고, 상기 가변 감쇠 인자를 이용하여 상기 믹스된 시그널 ym(n)을 감쇠(attenuate)하여 아웃풋 시그널 Zm(n)을 생성하는 단계
    들을 수행하도록 하는,
    저장 매체.
KR1020187008481A 2015-09-29 2016-06-03 사운드-믹싱 처리 방법, 장치 및 디바이스 및 저장 매체 KR102084338B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510631912.3 2015-09-29
CN201510631912.3A CN106558314B (zh) 2015-09-29 2015-09-29 一种混音处理方法和装置及设备
PCT/CN2016/084718 WO2017054494A1 (zh) 2015-09-29 2016-06-03 一种混音处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
KR20180048786A true KR20180048786A (ko) 2018-05-10
KR102084338B1 KR102084338B1 (ko) 2020-03-03

Family

ID=58416857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187008481A KR102084338B1 (ko) 2015-09-29 2016-06-03 사운드-믹싱 처리 방법, 장치 및 디바이스 및 저장 매체

Country Status (6)

Country Link
US (1) US10283134B2 (ko)
EP (1) EP3358567B1 (ko)
JP (1) JP6587742B2 (ko)
KR (1) KR102084338B1 (ko)
CN (1) CN106558314B (ko)
WO (1) WO2017054494A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113113046A (zh) * 2021-04-14 2021-07-13 杭州朗和科技有限公司 音频处理的性能检测方法、装置、存储介质及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559763B (zh) * 2017-09-26 2021-01-15 华为技术有限公司 一种实时数字音频信号混音的方法及装置
CN108831425B (zh) * 2018-06-22 2022-01-04 广州酷狗计算机科技有限公司 混音方法、装置及存储介质
CN109859729B (zh) * 2019-01-21 2021-03-05 北京小唱科技有限公司 对音频进行波形幅度控制方法及装置
CN111510549A (zh) * 2020-04-26 2020-08-07 厦门亿联网络技术股份有限公司 无线通信设备、语音数据处理方法及装置
CN111770413B (zh) * 2020-06-30 2021-08-27 浙江大华技术股份有限公司 一种多音源混音方法、装置及存储介质
CN113257257B (zh) * 2021-07-14 2021-11-09 统信软件技术有限公司 多路语音信号的混音处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090104073A (ko) * 2006-12-27 2009-10-05 노키아 코포레이션 컨퍼런스 세션 중에 신호들을 믹싱하는 네트워크 엔티티, 방법 및 컴퓨터 프로그램 제품
JP2010500613A (ja) * 2006-08-09 2010-01-07 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 緩慢段階と急速段階の音声ピーク値制限
CN102610235A (zh) * 2011-12-22 2012-07-25 深圳市万兴软件有限公司 混音处理方法、装置及智能设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404892B1 (en) 1995-09-06 2002-06-11 Apple Computer, Inc. Reduced complexity audio mixing apparatus
US7379961B2 (en) * 1997-04-30 2008-05-27 Computer Associates Think, Inc. Spatialized audio in a three-dimensional computer-based scene
US6728584B1 (en) * 1998-09-02 2004-04-27 Ati Technologies Synchronization and mixing of multiple streams at different sampling rates
JP2002299975A (ja) * 2001-04-02 2002-10-11 Matsushita Electric Ind Co Ltd デジタルａｇｃ装置
KR100735368B1 (ko) * 2001-08-23 2007-07-04 삼성전자주식회사 오디오 출력 이득 조정장치 및 그 방법
US7145883B2 (en) * 2002-02-25 2006-12-05 Sonexis, Inc. System and method for gain control of audio sample packets
US20080228470A1 (en) * 2007-02-21 2008-09-18 Atsuo Hiroe Signal separating device, signal separating method, and computer program
JP2008219549A (ja) * 2007-03-06 2008-09-18 Nec Corp 信号処理の方法、装置、及びプログラム
KR20090022551A (ko) * 2007-08-31 2009-03-04 삼성전자주식회사 무선 오디오 믹싱 장치 및 방법
US9113240B2 (en) * 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
US8208659B2 (en) * 2008-03-27 2012-06-26 Analog Devices Bv Method and apparatus for scaling signals to prevent amplitude clipping
CN101674450A (zh) * 2008-09-10 2010-03-17 深圳市邦彦信息技术有限公司 视频指挥调度系统中的混音方法
CN101989430B (zh) * 2009-07-30 2012-07-04 比亚迪股份有限公司 一种混音处理系统及混音处理方法
CN102226944B (zh) * 2011-05-25 2014-11-12 贵阳朗玛信息技术股份有限公司 混音方法及设备
US9349385B2 (en) * 2012-02-22 2016-05-24 Htc Corporation Electronic device and gain controlling method
US9070371B2 (en) * 2012-10-22 2015-06-30 Ittiam Systems (P) Ltd. Method and system for peak limiting of speech signals for delay sensitive voice communication
CN103021419A (zh) * 2012-12-26 2013-04-03 大唐移动通信设备有限公司 一种混合音频的处理方法及装置
US10469947B2 (en) * 2014-10-07 2019-11-05 Nokia Technologies Oy Method and apparatus for rendering an audio source having a modified virtual position

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010500613A (ja) * 2006-08-09 2010-01-07 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 緩慢段階と急速段階の音声ピーク値制限
KR20090104073A (ko) * 2006-12-27 2009-10-05 노키아 코포레이션 컨퍼런스 세션 중에 신호들을 믹싱하는 네트워크 엔티티, 방법 및 컴퓨터 프로그램 제품
CN102610235A (zh) * 2011-12-22 2012-07-25 深圳市万兴软件有限公司 混音处理方法、装置及智能设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113113046A (zh) * 2021-04-14 2021-07-13 杭州朗和科技有限公司 音频处理的性能检测方法、装置、存储介质及电子设备
CN113113046B (zh) * 2021-04-14 2024-01-19 杭州网易智企科技有限公司 音频处理的性能检测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN106558314B (zh) 2021-05-07
KR102084338B1 (ko) 2020-03-03
JP6587742B2 (ja) 2019-10-09
CN106558314A (zh) 2017-04-05
EP3358567A4 (en) 2019-05-29
EP3358567A1 (en) 2018-08-08
JP2018533294A (ja) 2018-11-08
US10283134B2 (en) 2019-05-07
EP3358567B1 (en) 2020-07-22
US20180268833A1 (en) 2018-09-20
WO2017054494A1 (zh) 2017-04-06

Similar Documents

Publication Publication Date Title
KR102084338B1 (ko) 사운드-믹싱 처리 방법, 장치 및 디바이스 및 저장 매체
US10657977B2 (en) Method for processing speech/audio signal and apparatus
US8498429B2 (en) Acoustic correction apparatus, audio output apparatus, and acoustic correction method
WO2022174727A1 (zh) 啸叫抑制方法、装置、助听器及存储介质
CN110688518A (zh) 节奏点的确定方法、装置、设备及存储介质
CN103929692B (zh) 一种音频信息处理方法及电子设备
US11380312B1 (en) Residual echo suppression for keyword detection
WO2024088142A1 (zh) 音频信号处理方法、装置、电子设备及可读存储介质
CN109920444B (zh) 回声时延的检测方法、装置以及计算机可读存储介质
JP6486351B2 (ja) 空間効果を用いる音響空間化
CN112669878A (zh) 声音增益值的计算方法、装置和电子设备
CN112997249B (zh) 语音处理方法、装置、存储介质及电子设备
CN112770063B (zh) 一种图像生成方法及装置
JP6842497B2 (ja) 混合信号の雑音を低減するための方法及び装置
CN113223553B (zh) 分离语音信号的方法、装置及介质
US9313582B2 (en) Hearing aid and method of enhancing speech output in real time
CN111933170A (zh) 语音信号的处理方法、装置、设备及存储介质
WO2016026263A1 (zh) 确定自适应滤波器的稳定因子的方法和装置
CN112067927A (zh) 中高频振荡检测方法及装置
CN106341519B (zh) 音频数据处理方法和装置
CN112908352B (zh) 一种音频去噪方法、装置、电子设备及存储介质
CN109378019B (zh) 音频数据读取方法及处理系统
WO2017054507A1 (zh) 音效模拟方法和装置及系统
CN110648680B (zh) 语音数据的处理方法、装置、电子设备及可读存储介质
CN116206619A (zh) 语音处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant