KR101082419B1 - Upmix method and apparatus for converting stereo channel input signal to multi-channel output signal - Google Patents

Upmix method and apparatus for converting stereo channel input signal to multi-channel output signal Download PDF

Info

Publication number
KR101082419B1
KR101082419B1 KR1020100085713A KR20100085713A KR101082419B1 KR 101082419 B1 KR101082419 B1 KR 101082419B1 KR 1020100085713 A KR1020100085713 A KR 1020100085713A KR 20100085713 A KR20100085713 A KR 20100085713A KR 101082419 B1 KR101082419 B1 KR 101082419B1
Authority
KR
South Korea
Prior art keywords
signal
channel
input signal
difference value
sound
Prior art date
Application number
KR1020100085713A
Other languages
Korean (ko)
Inventor
정종진
임태범
이석필
박영철
전세운
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020100085713A priority Critical patent/KR101082419B1/en
Application granted granted Critical
Publication of KR101082419B1 publication Critical patent/KR101082419B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field

Abstract

PURPOSE: An up-mixing method for converting a stereo channel input signal into a multichannel output signal and an apparatus thereof are provided to apply a sound source separation technique in a stereo signal itself, thereby maintaining spatial properties including sound sources during a mixing process of a multichannel signal. CONSTITUTION: An up-mixing apparatus divides an input signal of a stereo channel into a plurality of sub-bands in a frequency range(S210). The sub-band with a highest mutual correlation is selected as a representative sub-band by measuring a mutual correlation between two channels of a stereo input signal(S220). A sound source level difference value between estimated two channels is determined as a first sound image fixing level difference value by analyzing the stereo input signal(S230). A sound image fixed sound source signal and reverberation signal are separated(S240). A sound image fixing level difference value is calculated with respect to a front channel of a multichannel speaker output system(S250). The up-mixing apparatus synthesizes the separated sound image fixed sound source signal and reverberation signal into a multichannel output signal(S260).

Description

스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법 및 장치{UPMIX METHOD AND APPARATUS FOR CONVERTING STEREO CHANNEL INPUT SIGNAL TO MULTI-CHANNEL OUTPUT SIGNAL}UPMIX METHOD AND APPARATUS FOR CONVERTING STEREO CHANNEL INPUT SIGNAL TO MULTI-CHANNEL OUTPUT SIGNAL}

본 발명은 두 채널의 스테레오 입력신호를 그 이상의 다채널 출력신호로 변환하기 위한 업믹스 방법 및 장치에 관한 것으로서, 상세하게는 두 채널의 스테레오 입력신호를 3개 이상의 다채널 스피커 출력 시스템에서 효과적으로 재생하기 위한 업믹스 방법 및 장치에 관한 것이다.The present invention relates to an upmix method and apparatus for converting a stereo input signal of two channels into a multi-channel output signal. Specifically, the stereo input signal of two channels is effectively reproduced in three or more multi-channel speaker output systems. A method and apparatus for upmixing are provided.

종래 기술에 의한 업믹스 방법은, 스테레오 입력신호에 있어서, 두 채널간의 파워 레벨의 차이를 사용하거나, 시간축 또는 주파수축에서의 PCA(Principle Component Analysis) 방법을 적용하여 음원의 음상 정위 레벨 차이 값을 추출하였다. The prior art upmix method uses a power level difference between two channels in a stereo input signal, or applies a PCA (Principle Component Analysis) method on a time axis or a frequency axis to obtain a sound phase level difference value of a sound source. Extracted.

그러나 종래 기술에 의한 업믹스 방법은, 스테레오 입력신호에 함께 포함된 잔향신호의 영향으로 인하여, 정확한 음상 정위 레벨 차이 값을 얻지 못하는 단점을 가지고 있었다. 특히, 입력신호의 시간축 또는 주파수축에서의 통계적 특성이 일정하지 않은 경우, 추출된 음상 정위 레벨 차이 값의 오차 범위는 더욱 커질 수 있고 따라서 적절한 업믹스가 이루어지지 못하는 문제점이 있었다. However, the prior art upmix method has a disadvantage in that it is impossible to obtain an accurate sound position level difference value due to the influence of the reverberation signal included in the stereo input signal. In particular, when the statistical characteristics of the input signal on the time axis or the frequency axis are not constant, the error range of the extracted sound image position level difference value may be further increased, and thus there is a problem that proper upmixing is not achieved.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 두 채널의 스테레오 입력신호를 다채널 스피커 출력 시스템에서 효과적으로 재생하기 위한 업믹스 방법 및 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide an upmix method and apparatus for effectively reproducing a stereo input signal of two channels in a multi-channel speaker output system.

본 발명의 다른 목적은, 두 채널의 스테레오 입력신호의 분석을 통해 음상 정위된 음원의 음상 정위 레벨 차이 값을 정확하게 추출하는 방법 및 장치를 제공하는 것이다. It is another object of the present invention to provide a method and apparatus for accurately extracting a stereotactic level difference value of a stereotactic sound source by analyzing stereo input signals of two channels.

본 발명의 또 다른 목적은, 음원을 음상 정위된 음원신호와 잔향신호로 분리하고 분리된 음상 정위된 음원신호와 잔향신호를 효과적으로 분배하여 다채널 출력신호로 합성하는 방법 및 장치를 제공하는 것이다. It is still another object of the present invention to provide a method and apparatus for separating a sound source into a sound-phase-oriented sound source signal and a reverberation signal, and effectively distributing the separated sound-phase-oriented sound source signal and a reverberation signal into a multi-channel output signal.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 장치는, 스테레오 채널의 입력신호를 분석하여 음상 정위된 음원신호와 잔향신호를 분리하는 입력신호 분석부와, 분리된 음상 정위된 음원신호와 잔향신호를 합성하여 다채널 출력신호를 출력하는 다채널 합성부를 포함한다.According to an aspect of the present invention, an upmixing apparatus for converting an input signal of a stereo channel into an output signal of a multi-channel is provided. And a multi-channel synthesizer for synthesizing the separated sound source-positioned sound source signal and the reverberation signal and outputting a multi-channel output signal.

본 발명의 다른 면에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법은, 스테레오 채널의 입력신호에서 음상 정위된 음원에 대한 인지적 방향정보를 나타내는 음상 정위 레벨 차이 값을 추출하는 단계와, 추출된 음상 정위 레벨 차이 값을 이용하여, 스테레오 채널의 입력신호에서 음상 정위된 음원신호와 잔향신호를 분리하는 단계를 포함한다.According to another aspect of the present invention, there is provided an upmix method for converting an input signal of a stereo channel into an output signal of a multi-channel. And extracting the sound-phase-determined sound source signal and the reverberation signal from the input signal of the stereo channel by using the extracted sound-position level difference value.

본 발명의 또 다른 면에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법은, 스테레오 채널의 입력신호에서 제1 음상 정위 레벨 차이 값을 추출하는 단계와, 제1 음상 정위 레벨 차이 값을 이용하여 다채널 스피커 시스템의 전방 채널에 대한 제2 음상 정위 레벨 차이 값을 계산하는 단계와, 제2 음상 정위 레벨 차이 값을 이용하여 다채널 출력신호를 합성하는 단계를 포함한다.According to another aspect of the present invention, an upmixing method for converting an input signal of a stereo channel into an output signal of a multichannel includes extracting a first sound position level difference value from an input signal of a stereo channel, Calculating a second acoustic phase level difference value for the front channel of the multichannel speaker system using the stereotactic level difference value, and synthesizing the multichannel output signal using the second acoustic phase level difference value. .

본 발명의 또 다른 면에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법은. 스테레오 채널의 입력신호에서 제1 음상 정위 레벨 차이 값을 추출하는 단계와, 제1 음상 정위 레벨 차이 값을 이용하여, 입력신호에서 음상 정위된 음원신호와 잔향신호를 분리하는 단계와, 제1 음상 정위 레벨 차이 값을 이용하여, 다채널 스피커 시스템의 전방 채널에 대한 제2 음상 정위 레벨 차이 값을 계산하는 단계와, 제2 음상 정위 레벨 차이 값을 이용하여, 분리된 음상 정위된 음원신호와 잔향신호를 합성하여 다채널 출력신호를 출력하는 단계를 포함한다.
An upmixing method for converting an input signal of a stereo channel into an output signal of a multichannel according to another aspect of the present invention. Extracting a first negative stereotactic level difference value from an input signal of the stereo channel, separating the negatively-sourced sound source signal and a reverberation signal from the input signal using the first negative stereotactic level difference value, and a first audio image Calculating a second sound image level difference value for the front channel of the multi-channel speaker system using the stereotactic level difference value, and using the second sound image level level difference value, the separated sound image signal source and reverberation are separated. Synthesizing the signals and outputting a multi-channel output signal.

본 발명에 의하면, 스테레오 신호가 가지는 음원의 공간적 특성을 다채널에서 유지하면서 음장감을 조절할 수 있다. 스테레오 신호에 포함된 음원의 특성을 유지하기 위하여, 스테레오 신호를 분석하여 음상 정위된 음원의 인지적 방향 정보를 추출하고, 음상 정위된 음원신호와 좌우 채널의 잔향신호를 분리함으로써, 종래의 기술이 가지고 있던 음상 정위 레벨 차이 값의 정확도에 관한 문제점을 해결하였다.According to the present invention, the sound field can be adjusted while maintaining the spatial characteristics of the sound source of the stereo signal in multiple channels. In order to maintain the characteristics of the sound source included in the stereo signal, by analyzing the stereo signal to extract the cognitive direction information of the sound-positioned sound source, and separating the sound-oriented sound source signal and the reverberation signal of the left and right channels, We solved the problem of the accuracy of the existing stereophonic level difference values.

음상 정위된 음원의 방향성과 같은 부가정보를 나타내는 음상 정위 레벨 차이 값을 추출하는 데에 있어서, 종래의 기술은 잔향신호의 영향으로 인하여 정확한 값을 얻지 못하는 한계를 가지고 있었으나, 본 발명은 입력신호의 특성에 영향을 적게 받으면서 정확한 음상 정위 레벨 차이 값을 추출할 수 있는 이점이 있다.In extracting a sound position level difference value indicating additional information such as the direction of a sound source orientated sound source, the conventional technology has a limitation in that an accurate value cannot be obtained due to the influence of a reverberation signal. It is advantageous to extract the exact image position level difference value while being less affected by the characteristic.

그리고 스테레오 신호에 자체에 음원 분리 기술을 적용함으로써, 이후 다채널신호로 합성하는 과정에서, 음원들이 가지는 공간적 특성을 그대로 유지할 수 있고, 잔향신호의 레벨 차이 값을 후방 채널에서 조정함으로써, 음장감을 조절할 수 있는 효과를 발휘한다 In addition, by applying the sound source separation technology to the stereo signal itself, in the process of synthesizing the multi-channel signal, it is possible to maintain the spatial characteristics of the sound source, and to adjust the sound field feeling by adjusting the level difference value of the reverberation signal in the rear channel I show an effect that I can

도 1은 본 발명의 일 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법을 개략적으로 나타내는 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법을 구체적으로 나타내는 순서도이다.
도 3은 ITU 3/2 스피커 배치에 따른 다채널 합성 및 음원 분배 과정에 대한 일 실시 예를 나타내는 설명도이다.
도 4는 본 발명의 다른 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 장치를 개략적으로 나타내는 블럭도이다.
도 5는 본 발명의 다른 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 장치를 구체적으로 나타내는 블럭도이다.
1 is a flowchart schematically illustrating an upmix method for converting an input signal of a stereo channel into an output signal of a multichannel according to an exemplary embodiment of the present invention.
2 is a flowchart specifically illustrating an upmixing method for converting an input signal of a stereo channel into an output signal of a multichannel according to an embodiment of the present invention.
3 is an explanatory diagram illustrating an embodiment of a multi-channel synthesis and sound source distribution process according to an ITU 3/2 speaker layout.
4 is a block diagram schematically illustrating an upmix apparatus for converting an input signal of a stereo channel into an output signal of a multichannel according to another embodiment of the present invention.
5 is a block diagram specifically illustrating an upmix apparatus for converting an input signal of a stereo channel into an output signal of a multichannel according to another embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the present embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the art to which the present invention pertains. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the elements of each drawing, the same elements are denoted by the same reference numerals as much as possible even though they are shown in other drawings, and in describing the present invention, If the description can obscure the subject matter of the present invention, the detailed description is omitted.

도 1을 참조하여 본 발명의 일 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법을 설명한다. 도 1은 본 발명의 일 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법을 개략적으로 나타내는 순서도이다. An upmix method for converting an input signal of a stereo channel into an output signal of multiple channels according to an embodiment of the present invention will be described with reference to FIG. 1. 1 is a flowchart schematically illustrating an upmix method for converting an input signal of a stereo channel into an output signal of a multichannel according to an exemplary embodiment of the present invention.

도 1을 참조하면, 업믹스 장치는 좌/우 두 채널로 구성된 스테레오 입력신호를 분석하여, 음상 정위를 만드는 음원의 레벨 차이 값으로부터 음원의 공간정보를 추출하고, 음상 정위된 음원신호와 잔향신호를 분리한다(S110). Referring to FIG. 1, the upmixing device analyzes a stereo input signal composed of two left and right channels, extracts spatial information of a sound source from a level difference value of a sound source to create a sound position, and adjusts the sound source signal and a reverberation signal. To separate (S110).

여기서 음상 정위를 만드는 레벨 차이 값은 스테레오 입력신호의 분석 단계에서 추출되는 값으로서, 입력되는 스테레오 신호를 음상 정위된 음원신호와 잔향신호로 분리하는 데에 이용되며, 또한 분리된 음상 정위된 음원신호와 잔향신호를 다채널 스피커 시스템에서 다채널의 출력신호로 합성하는 데에 필요한 부가 정보로 이용된다.Here, the level difference value for making the sound phase is a value extracted in the analysis step of the stereo input signal, and is used to separate the input stereo signal into the sound-phase-oriented sound source signal and the reverberation signal, and the separated sound-phase-aligned sound source signal. And the reverberation signal are used as additional information required for synthesizing a multi-channel output signal in a multi-channel speaker system.

다음으로, 추출된 음상 정위 레벨 차이 값(INteraural Intensity Difference:IID)과 분리된 음상 정위된 음원신호 및 잔향신호를 이용하여, 재생하려고 하는 출력 채널 수와 배치에 맞는 다채널 출력신호로 합성한다(S120). Next, by using the extracted sound image position level difference value (Iteraural Intensity Difference (IID)) and the separated sound image signal source and reverberation signal, synthesized into a multi-channel output signal that matches the number and arrangement of output channels to be reproduced ( S120).

이하, 스테레오 입력신호를 분석하는 단계(S110)와, 분리된 음원을 다채널 출력신호로 합성하는 단계(S120)를 도 2 및 도 3을 참조하여 구체적으로 설명한다.Hereinafter, a step (S110) of analyzing the stereo input signal and a step (S120) of synthesizing the separated sound source into the multi-channel output signal will be described in detail with reference to FIGS. 2 and 3.

도 2는 본 발명의 일 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법을 구체적으로 나타내는 순서도이고, 도 3은 ITU 3/2 스피커 배치에 따른 다채널 합성 및 음원 분배 과정에 대한 일 실시 예를 나타내는 설명도이다.2 is a flowchart specifically illustrating an upmixing method for converting an input signal of a stereo channel into an output signal of a multichannel according to an embodiment of the present invention, and FIG. 3 is a multichannel synthesis according to an ITU 3/2 speaker arrangement. And explanatory diagram showing an embodiment of the sound source distribution process.

본 발명에서 음원의 분리는 음원 분리용 수도 역함수(Pseudo Inverse)를 구하여 스테레오 신호 모델에 대하여 적용함으로써 음상 정위된 음원과 잔향 성분의 음원을 동시에 분리하는 방법을 취하는 데, 이 때 정확한 역함수 행렬을 구하기 위하여는 음상 정위된 음원에 대한 레벨 차에 대한 정확한 추정이 필요하다.In the present invention, the separation of sound sources takes a method of simultaneously separating a sound source and a reverberation component by obtaining a Pseudo Inverse for sound source separation and applying it to a stereo signal model. To do this, accurate estimation of the level difference with respect to the sound-located sound source is required.

이를 위하여 본 발명의 업믹스 장치는, 도 2에 도시된 바와 같이, 스테레오 채널의 입력신호를 주파수 영역에서 복수의 서브밴드로 분할한다(S210). 즉, 스테레오 입력신호를 이산 푸리에 변환(Discrete Fourier Transform; DFT)을 통해 주파수 영역에서 각각의 주파수 영역에 해당하는 서브밴드로 분할한다.To this end, the upmixing apparatus of the present invention, as shown in Figure 2, divides the input signal of the stereo channel into a plurality of subbands in the frequency domain (S210). That is, the stereo input signal is divided into subbands corresponding to the respective frequency domains in the frequency domain through a Discrete Fourier Transform (DFT).

다음으로, 하기의 수학식 1을 이용하여, 각 서브밴드에 대해 스테레오 입력신호의 두 채널 사이의 상호 상관도를 측정하며, 가장 높은 상호 상관도 값을 가지는 서브밴드를 대표 서브밴드로 선택한다(S220). Next, by using Equation 1 below, cross-correlation between two channels of a stereo input signal is measured for each subband, and a subband having the highest cross-correlation value is selected as a representative subband ( S220).

[수학식 1][Equation 1]

Figure 112010056952710-pat00001
여기서, b는 주파수 서브밴드 인덱스, B는 한 프레임에서의 서브밴드의 총 수를 나타낸다. [수학식 1]과 같이 주파수 서브밴드에서 상호 상관도(
Figure 112010056952710-pat00002
)가 가장 높은 밴드의 인덱스(b)를 찾는다. 이렇게 찾아진 대표 서브밴드를 이용하여 잔향신호의 영향이 상대적으로 가장 적은 주파수 영역으로 음상 정위된 음원의 레벨 차이를 가장 정확하게 찾을 수 있다.
Figure 112010056952710-pat00001
Where b is a frequency subband index and B is the total number of subbands in one frame. As shown in Equation 1, the cross-correlation (
Figure 112010056952710-pat00002
Find the index (b) of the highest band. Using the representative subbands found in this way, it is possible to most accurately find the level difference of the sound source orientated in the frequency region where the influence of the reverberation signal is relatively small.

다음으로, 선택된 대표 서브밴드의 주파수 영역에서 스테레오 입력신호를 분석하여 추정된 두 채널 사이의 음원 레벨 차이 값을 제1 음상 정위 레벨 차이 값으로 결정한다(S230). 여기서, 결정된 제1 음상 정위 레벨 차이 값은 스테레오 입력신호를 분리하는 데 필요한 정보와, 분리된 스테레오 입력신호를 다채널 출력신호로 합성하기 위한 부가정보로 이용된다.Next, the stereo input signal is analyzed in the frequency domain of the selected representative subband to determine the sound source level difference value between the estimated two channels as the first sound position level difference value (S230). In this case, the determined first sound image level difference value is used as information necessary for separating the stereo input signal and additional information for synthesizing the separated stereo input signal into a multi-channel output signal.

그리고 제1 음상 정위 레벨 차이 값을 이용하여, 하기의 수학식 2를 통해 스테레오 채널의 입력신호에서 음상 정위된 음원신호와 잔향신호를 분리한다(S240).In addition, the sound source signal and the reverberation signal that are sound-positioned are separated from the input signal of the stereo channel through Equation 2 below by using the first sound image level difference value (S240).

[수학식 2][Equation 2]

Figure 112010056952710-pat00003
Figure 112010056952710-pat00003

여기서,

Figure 112010056952710-pat00004
는 스테레오 입력신호에서 분리된 음상 정위된 음원신호를 의미하고,
Figure 112010056952710-pat00005
은 좌측 채널에 존재하는 분리된 잔향신호,
Figure 112010056952710-pat00006
는 우측 채널에 존재하는 분리된 잔향신호를 의미한다.
Figure 112010056952710-pat00007
Figure 112010056952710-pat00008
는 스테레오 채널에서의 좌우 두 채널의 입력신호를 의미한다. 이에 대해 수도 역(Pseudo Inverse)행렬(
Figure 112010056952710-pat00009
)을 상기 [수학식 2]와 같이 계산함으로써, 스테레오 좌우채널의 입력신호로부터 음원신호를 분리할 수 있다. 수도 역행렬을 이루는 제1 음상 정위 레벨 차이 값(
Figure 112010056952710-pat00010
)은 [수학식 1]을 이용하여 대표 서브밴드에서 추정된 값이다.here,
Figure 112010056952710-pat00004
Means a sound-phase-oriented sound source signal separated from the stereo input signal,
Figure 112010056952710-pat00005
Is the separated reverberation signal present in the left channel,
Figure 112010056952710-pat00006
Denotes a separated reverberation signal present in the right channel.
Figure 112010056952710-pat00007
Wow
Figure 112010056952710-pat00008
Denotes input signals of two left and right channels in a stereo channel. Pseudo Inverse matrix (
Figure 112010056952710-pat00009
) Can be separated from the input signal of the stereo left and right channels by calculating Equation (2). First negative stereotactic level difference value forming the inverse of the matrix (
Figure 112010056952710-pat00010
) Is an estimated value in the representative subband using Equation 1.

그리고 분리된 음상 정위된 음원신호 및 잔향신호는, 제1 음상 정위 레벨 차이 값에 의해 다채널 출력 신호로 합성된다.The separated sound-position-oriented sound source signal and the reverberation signal are synthesized into a multi-channel output signal by the first sound-position position level difference value.

다음으로, 제1 음상 정위 레벨 차이 값을 이용하여, 다채널 스피커 출력 시스템의 전방 채널에 대한 음상 정위 레벨 차이 값(이하, 제2 음상 정위 레벨 차이 값)을 계산한다(S250). Next, an acoustic phase level difference value (hereinafter, referred to as a second acoustic phase level difference value) for the front channel of the multichannel speaker output system is calculated using the first acoustic phase level difference value (S250).

제1 음상 정위 레벨 차이 값 값을 통해서 청취자에게 인지되는 스트레오 음원의 방향 정보를 파악할 수 있다. 인지되는 음원의 방향은 스테레오 신호가 두 채널의 스피커에서 출력될 경우, 그 사이의 공간 내에서 특정 각도를 갖게 된다. 이 각도는 다채널 스피커 시스템으로 업믹스 되어도 유지되어야 하므로, 이를 위하여 다채널 스피커 시스템의 전방 채널에 대한 음상 정위 레벨 차이 값(제2 음상 정위 레벨 차이 값)을 계산하는 것이다. 이때, 제2 음상 정위 레벨 차이 값은 전방 채널의 수에 따라 인접한 스피커 쌍에 대해서 벡터 기반의 크기 패닝(Vector Base Amplitude Panning; VBAP) 방법을 이용하여 계산되며, 계산된 제2 음상 정위 레벨 차이 값은 분리된 음상 정위된 음원신호에 적용되어 다채널 출력에 포함된다.The direction information of the stereo sound source perceived by the listener may be grasped through the first sound image position level difference value. The direction of the perceived sound source has a specific angle in the space therebetween when the stereo signal is output from the speakers of the two channels. Since this angle must be maintained even if it is upmixed to the multichannel speaker system, for this purpose, it is to calculate a phase difference level value (second sound phase level difference value) for the front channel of the multichannel speaker system. In this case, the second negative stereotactic level difference value is calculated using a vector base amplitude panning (VBAP) method for adjacent pairs of speakers according to the number of front channels, and the calculated second negative stereotactic level difference value is calculated. Is applied to the separated sound-positioned sound source signal and included in the multi-channel output.

업믹스 장치는 분리된 음상 정위된 음원신호 및 잔향신호를 제2 음상 정위 레벨 차이 값을 이용하여 다채널 출력신호로 합성한다(S260). 본 발명의 일 실시 예에 따른 다채널 합성 및 음원 분배 과정, 특히 ITU 3/2 스피커 배치에 따른 다채널 합성 및 음원 분배 과정을 도 3을 참조하여 설명한다.The upmix apparatus combines the separated sound-phase-determined sound source signal and the reverberation signal into a multi-channel output signal by using the second sound-position position level difference value (S260). A multi-channel synthesis and sound source distribution process according to an embodiment of the present invention, in particular, multi-channel synthesis and sound source distribution process according to the ITU 3/2 speaker arrangement will be described with reference to FIG.

도 3을 참조하면, 스테레오 입력신호에서 분리된 음상 정위된 음원신호는 제2 음상 정위 레벨 차이 값이 곱해져, 전방의 세 채널 (

Figure 112010056952710-pat00011
,
Figure 112010056952710-pat00012
,
Figure 112010056952710-pat00013
)로 전송된다. 그리고 잔향신호는 측면의 전/후방 채널로 전송되며, 후방채널에는 음장감을 조절할 수 있는 값이 곱해진다. Referring to FIG. 3, the sound-phase-oriented sound source signal separated from the stereo input signal is multiplied by the second sound-position level difference value, so that the front three channels (
Figure 112010056952710-pat00011
,
Figure 112010056952710-pat00012
,
Figure 112010056952710-pat00013
Is sent). The reverberation signal is transmitted to the front and rear channels on the side, and the rear channel is multiplied by a value for adjusting the sound field.

상세하게는, 하기의 [수학식 3]을 이용하여, 입력신호에서 분리된 음상 정위된 음원신호 및 잔향신호를 제2 음상 정위 레벨 차이 값과 연산하여, 전방 채널신호를 생성한다. In detail, the front channel signal is generated by calculating the sound-positioned sound source signal and the reverberation signal separated from the input signal with the second sound-position level difference value by using Equation 3 below.

[수학식 3]&Quot; (3) "

Figure 112010056952710-pat00014
Figure 112010056952710-pat00014

여기서, 좌변의 벡터의

Figure 112010056952710-pat00015
,
Figure 112010056952710-pat00016
,
Figure 112010056952710-pat00017
는 다채널 출력의 전방 세 채널의 신호를 나타내고, 우변의 우측 벡터의
Figure 112010056952710-pat00018
,
Figure 112010056952710-pat00019
,
Figure 112010056952710-pat00020
는 [수학식 2]에서 분리된 음원신호를 나타낸다. 우변의 합성 행렬의 성분값(
Figure 112010056952710-pat00021
)는 음상 정위된 방향 정보를 통해 새롭게 계산된 세 채널의 제2 음상 정위 레벨 차이 값이다. 이 값은 벡터기반의 크기 패닝(VBAP) 방법으로 스피커 쌍을 통해 계산된다.Where the vector of the left side
Figure 112010056952710-pat00015
,
Figure 112010056952710-pat00016
,
Figure 112010056952710-pat00017
Represents the signals of the front three channels of the multi-channel output, and
Figure 112010056952710-pat00018
,
Figure 112010056952710-pat00019
,
Figure 112010056952710-pat00020
Denotes a sound source signal separated in [Equation 2]. The component value of the composite matrix on the right side
Figure 112010056952710-pat00021
) Is the second sound image level difference value of the three channels newly calculated through the sound image orientation direction information. This value is computed through a pair of speakers using vector-based magnitude panning (VBAP).

이러한 다채널 출력신호의 합성 과정을 통해 스테레오 입력신호에서의 음원의 공간적 특성이 다채널에서도 유지될 수 있으며, 입력신호에서 분리된 잔향신호를 이용하여 후방 채널신호를 생성하고, 후방채널에는 음장감을 조절할 수 있는 값이 곱해짐으로써, 음장감을 증감할 수 있다.Through the synthesis of the multi-channel output signal, the spatial characteristics of the sound source in the stereo input signal can be maintained even in the multi-channel, and the rear channel signal is generated using the reverberation signal separated from the input signal, and the sound field is sensed in the rear channel. By multiplying the adjustable value, the sound field can be increased or decreased.

도 4를 참조하여 본 발명의 다른 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 장치를 설명한다. 도 4는 본 발명의 다른 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 장치를 개략적으로 나타내는 블럭도이다.An upmix apparatus for converting an input signal of a stereo channel into an output signal of a multichannel according to another embodiment of the present invention will be described with reference to FIG. 4. 4 is a block diagram schematically illustrating an upmix apparatus for converting an input signal of a stereo channel into an output signal of a multichannel according to another embodiment of the present invention.

도 4를 참조하면, 본 발명의 다른 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 장치는 입력신호 분석부(410)과 다채널 합성부(420)를 포함한다.Referring to FIG. 4, an upmixing apparatus for converting an input signal of a stereo channel into an output signal of a multichannel according to another embodiment of the present invention includes an input signal analyzer 410 and a multichannel synthesizer 420. do.

입력신호 분석부(410)는 좌/우 두 채널로 구성된 스테레오 입력신호를 분석하여, 음상 정위를 만드는 음원의 레벨 차이 값으로부터 음원의 공간정보를 추출하고, 음상 정위된 음원신호와 잔향신호를 분리한다.다채널 합성부(420)는 추출된 음상 정위 레벨 차이 값(INteraural Intensity Difference:IID)과 분리된 음상 정위된 음원신호 및 잔향신호를 이용하여, 재생하려고 하는 출력 채널 수와 배치에 맞는 다채널 출력신호로 합성한다.The input signal analyzer 410 analyzes a stereo input signal composed of two left and right channels, extracts spatial information of a sound source from a level difference value of a sound source to create a sound localization, and separates the sound localized sound source signal and a reverberation signal. The multi-channel synthesizer 420 is adapted to the number and arrangement of output channels to be reproduced by using the sound-phase-oriented sound source signal and the reverberation signal separated from the extracted sound-intensity level difference value (IID). Synthesize into channel output signal.

이하, 입력신호 분석부(410)와, 다채널 합성부(420)를 도 5를 참조하여 구체적으로 설명한다. 도 5는 본 발명의 다른 실시 예에 따른 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 장치를 구체적으로 나타내는 블럭도이다.Hereinafter, the input signal analyzer 410 and the multichannel synthesizer 420 will be described in detail with reference to FIG. 5. 5 is a block diagram specifically illustrating an upmix apparatus for converting an input signal of a stereo channel into an output signal of a multichannel according to another embodiment of the present invention.

도 5를 참조하면, 입력신호 분석부(410)는 제1 추출부(510)와 음원 분리부(520)를 포함한다.Referring to FIG. 5, the input signal analyzer 410 includes a first extractor 510 and a sound source separator 520.

제1 추출부(510)는 스테레오 채널의 입력신호에서 제1 음상 정위 레벨 차이 값을 추출한다. 이를 위해, 제1 추출부(510)는 상호 상관도 분석부(511)와, 제1 음상 정위 레벨 차이 값 결정부(513)를 포함한다. The first extractor 510 extracts a first sound image level difference value from an input signal of a stereo channel. To this end, the first extractor 510 includes a cross-correlation analyzer 511 and a first sound position level difference value determiner 513.

상호 상관도 분석부(511)는 스테레오 채널의 입력신호를 주파수 영역에서 복수의 서브밴드로 분할한다. 즉, 상호 상관도 분석부(511)는 스테레오 입력신호를 이산 푸리에 변환(Discrete Fourier Transform; DFT)을 통해 주파수 영역에서 각각의 주파수 영역에 해당하는 서브밴드로 분할한다.The cross correlation analyzer 511 divides an input signal of a stereo channel into a plurality of subbands in a frequency domain. In other words, the cross correlation analysis unit 511 divides the stereo input signal into subbands corresponding to the respective frequency domains in the frequency domain through a Discrete Fourier Transform (DFT).

그리고 상호 상관도 분석부(511)는 상기 수학식 1을 이용하여, 각 서브밴드에 대해 스테레오 입력신호의 두 채널 사이의 상호 상관도를 측정하며, 가장 높은 상호 상관도 값을 가지는 서브밴드를 대표 서브밴드로 선택한다.The cross-correlation analysis unit 511 measures the cross-correlation between two channels of the stereo input signal for each sub-band using Equation 1, and represents a sub-band having the highest cross-correlation value. Select by subband.

제1 음상 정위 레벨 차이 값 결정부(513)는 선택된 대표 서브밴드의 주파수 영역에서 스테레오 입력신호를 분석하여 추정된 두 채널 사이의 음원 레벨 차이 값을 제1 음상 정위 레벨 차이 값으로 결정한다. 여기서, 결정된 제1 음상 정위 레벨 차이 값은 스테레오 입력신호를 분리하는 데 필요한 정보와, 분리된 스테레오 입력신호를 다채널 출력신호로 합성하기 위한 부가정보로 이용된다.The first sound image level level difference determining unit 513 analyzes the stereo input signal in the frequency domain of the selected representative subband and determines the estimated sound source level difference between the two channels as the first sound level level difference value. In this case, the determined first sound image level difference value is used as information necessary for separating the stereo input signal and additional information for synthesizing the separated stereo input signal into a multi-channel output signal.

음원 분리부(520)는 제1 음상 정위 레벨 차이 값을 이용하여, 상기 수학식 2를 통해 스테레오 채널의 입력신호에서 음상 정위된 음원신호와 잔향신호를 분리한다. The sound source separating unit 520 separates the sound source signal and the reverberation signal from which the sound image has been positioned from the input signal of the stereo channel by using the first sound image position level difference value.

다채널 합성부(420)는 제2 추출부(530)와, 전방 채널신호 생성부(540)와, 후방 채널신호 생성부(550)와, 신호 합성부(560)를 포함한다.The multichannel combiner 420 includes a second extractor 530, a front channel signal generator 540, a rear channel signal generator 550, and a signal synthesizer 560.

제2 추출부(530)는 제1 추출부(510)에서 추출된 제1 음상 정위 레벨 차이 값을 이용하여, 다채널 스피커 출력 시스템의 전방 채널에 대한 음상 정위 레벨 차이 값(이하, 제2 음상 정위 레벨 차이 값)을 계산한다. 이때, 제2 음상 정위 레벨 차이 값은 전방 채널의 수에 따라 인접한 스피커 쌍에 대해서 벡터 기반의 크기 패닝(Vector Base Amplitude Panning; VBAP) 방법을 이용하여 계산되며, 계산된 제2 음상 정위 레벨 차이 값은 분리된 음상 정위된 음원신호에 적용되어 다채널 출력에 포함된다.The second extractor 530 uses the first sound image position level difference value extracted by the first extractor 510 to determine a sound image position level difference value for the front channel of the multi-channel speaker output system (hereinafter, referred to as a second sound image). Calculate the stereotactic level difference value). In this case, the second negative stereotactic level difference value is calculated using a vector base amplitude panning (VBAP) method for adjacent pairs of speakers according to the number of front channels, and the calculated second negative stereotactic level difference value is calculated. Is applied to the separated sound-positioned sound source signal and included in the multi-channel output.

전방 채널신호 생성부(540)는 상기 수학식 3을 이용하여, 입력신호에서 분리된 음상 정위된 음원신호 및 잔향신호를 제2 음상 정위 레벨 차이 값과 연산하여, 전방 채널신호를 생성한다. The front channel signal generation unit 540 generates the front channel signal by calculating the sound-positioned sound source signal and the reverberation signal separated from the input signal with the second sound-position level difference value using Equation 3 above.

후방 채널신호 생성부(550)는 분리된 잔향신호를 이용하여 후방 채널신호를 생성하고, 음장감을 조절할 수 있는 값을 이용하여, 음장감을 증감할 수 있다.The rear channel signal generator 550 may generate the rear channel signal using the separated reverberation signal and increase or decrease the sound field by using a value capable of adjusting the sound field.

신호 합성부(560)는 전방 채널신호와 후방 채널신호를 합성하여, 최종적으로 다채널의 출력신호를 출력한다.The signal synthesizing unit 560 synthesizes the front channel signal and the rear channel signal and finally outputs a multi-channel output signal.

이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As mentioned above, the configuration of the present invention has been described in detail through preferred embodiments of the present invention, but a person having ordinary knowledge in the art to which the present invention pertains disclosed herein without changing the technical spirit or essential features of the present invention. It will be appreciated that the present invention may be embodied in other specific forms than. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

410: 입력신호 분석부 530: 제2 추출부
420: 다채널 합성부 540: 전방 채널신호 생성부
510: 제1 추출부 550: 후방 채널신호 생성부
511: 상호 상관도 분석부 560: 신호 합성부
513: 제1 음상 정위 레벨 차이 값 결정부
520: 음원 분리부
410: input signal analysis unit 530: second extraction unit
420: multi-channel synthesizer 540: front channel signal generator
510: first extractor 550: rear channel signal generator
511: cross correlation analysis unit 560: signal synthesis unit
513: first sound image stereotype level difference value determination unit
520: sound source separator

Claims (20)

스테레오 채널의 입력신호를 분석하여 음상 정위된 음원신호와 잔향신호를 분리하는 입력신호 분석부; 및
상기 분리된 음상 정위된 음원신호와 상기 잔향신호를 합성하여 다채널 출력신호를 출력하는 다채널 합성부
를 포함하는 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 장치.
An input signal analyzer configured to analyze an input signal of a stereo channel and separate a sound source signal and a reverberation signal from which a sound is located; And
A multi-channel synthesizer for synthesizing the separated sound-phase-oriented sound source signal and the reverberation signal and outputting a multi-channel output signal
Upmixing device for converting the input signal of the stereo channel to a multi-channel output signal comprising a.
제1항에 있어서, 상기 입력신호 분석부는,
상기 스테레오 채널의 입력신호에서 제1 음상 정위 레벨 차이 값을 추출하는 제1 추출부; 및
상기 제1 음상 정위 레벨 차이 값을 이용하여, 상기 입력신호에서 상기 음상 정위된 음원신호와 상기 잔향신호를 분리하는 음원 분리부를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 장치.
The method of claim 1, wherein the input signal analyzer,
A first extracting unit extracting a first sound image level difference value from an input signal of the stereo channel; And
And a sound source separator configured to separate the sound-phase-oriented sound source signal and the reverberation signal from the input signal by using the first sound image level difference value.
Upmixing device for converting the input signal of the stereo channel into a multi-channel output signal.
제2항에 있어서, 상기 제1 추출부는,
상기 입력신호를 주파수 영역에서 서브밴드로 분할하고, 상기 각각의 서브밴드에 대한 상기 스테레오 채널 사이의 상호 상관도를 연산하여, 상기 서브밴드 중, 상기 상호 상관도가 가장 높은 값을 가지는 서브밴드를 대표 서브밴드로 선택하는 상호 상관도 분석부; 및
상기 대표 서브밴드의 상기 입력신호로부터 분석된 상기 음상 정위된 음원에 대한 레벨 차이 값을 상기 제1 음상 정위 레벨 차이 값으로 결정하는 제1 음상 정위 레벨 차이 값 결정부를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 장치.
The method of claim 2, wherein the first extraction unit,
The input signal is divided into subbands in the frequency domain, and the correlation between the stereo channels for the respective subbands is calculated to obtain a subband having the highest value among the subbands. A cross correlation analysis unit selected as a representative subband; And
And a first sound position level difference value determining unit configured to determine a level difference value of the sound source positioned sound source analyzed from the input signal of the representative subband as the first sound position level difference value.
Upmixing device for converting the input signal of the stereo channel into a multi-channel output signal.
제 2항에 있어서, 상기 음원 분리부는,
상기 제1 음상 정위 레벨 차이 값을 이용하여 수도 역함수(Pseudo Inverse) 행렬을 연산하고, 상기 수도 역함수 행렬과 상기 입력신호의 곱셈 연산을 이용하여 상기 음상 정위된 신호와 상기 잔향신호를 분리하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 장치.
The method of claim 2, wherein the sound source separation unit,
Computing a pseudo inverse matrix using the first negative stereotactic level difference value, and separating the negatively oriented signal and the reverberation signal using a multiplication operation of the pseudo inverse matrix and the input signal.
Upmixing device for converting the input signal of the stereo channel into a multi-channel output signal.
제1항에 있어서, 상기 다채널 합성부는,
상기 제1 음상 정위 레벨 차이 값으로부터 상기 입력신호의 전방 채널에 대한 방향정보를 추출하고, 상기 방향정보와, 다채널 스피커 시스템의 전방 채널의 수에 따라, 제2 음상 정위 레벨 차이 값을 추출하는 제2 추출부;
상기 음상 정위된 음원신호 및 상기 잔향신호와 상기 제2 음상 정위 레벨 차이 값을 이용하여, 전방 채널신호를 생성하는 전방 채널신호 생성부;
상기 잔향신호를 이용하여 후방 채널신호를 생성하는 후방 채널신호 생성부; 및
상기 전방 채널신호와 상기 후방 채널신호를 합성하는 신호 합성부를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 장치.
The method of claim 1, wherein the multi-channel synthesis unit,
Extracting direction information on the front channel of the input signal from the first sound image level difference value, and extracting a second sound image level level difference value according to the direction information and the number of front channels of the multi-channel speaker system. A second extraction unit;
A front channel signal generation unit configured to generate a front channel signal by using the sound phase-aligned sound source signal and the reverberation signal and the second sound phase level difference value;
A rear channel signal generator for generating a rear channel signal using the reverberation signal; And
And a signal synthesizing unit for synthesizing the front channel signal and the rear channel signal.
Upmixing device for converting the input signal of the stereo channel into a multi-channel output signal.
스테레오 채널의 입력신호에서 음상 정위된 음원에 대한 인지적 방향정보를 나타내는 음상 정위 레벨 차이 값을 추출하는 단계; 및
상기 추출된 음상 정위 레벨 차이 값을 이용하여, 상기 스테레오 채널의 입력신호에서 음상 정위된 음원신호와 잔향신호를 분리하는 단계
를 포함하는 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법.
Extracting a stereotactic level level difference value representing cognitive direction information of the stereotactic sound source from the input signal of the stereo channel; And
Separating the sound source signal and the reverberation signal that is sound-positioned from the input signal of the stereo channel by using the extracted sound image position level difference value
Upmix method for converting the input signal of the stereo channel to a multi-channel output signal comprising a.
제6항에 있어서, 상기 음상 정위 레벨 차이 값을 추출하는 단계는,
상기 입력신호를 주파수 영역에서 서브밴드로 분할하는 단계;
상기 서브밴드 중에서, 상기 음상 정위 레벨 차이 값을 추출하기 위한 대표 서브밴드를 선택하는 단계; 및
상기 대표 서브밴드에서의 상기 입력신호로부터 분석된 상기 음상 정위된 음원에 대한 레벨 차이 값을 음상 정위 레벨 차이 값으로 결정하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 6, wherein the extracting the stereotactic level difference value comprises:
Dividing the input signal into subbands in a frequency domain;
Selecting a representative subband from among the subbands for extracting the acoustic stereotactic level difference value; And
Determining a level difference value for the sound localized sound source analyzed from the input signal in the representative subband as a phonetic position level difference value.
Upmix method for converting an input signal of a stereo channel into a multi-channel output signal.
제7항에 있어서, 상기 대표 서브밴드를 선택하는 단계는,
각각의 상기 서브밴드에 대한 상기 스테레오 채널 사이의 상호 상관도를 연산하는 단계;
상기 서브밴드 중, 상기 상호 상관도가 가장 높은 값을 가지는 서브밴드를 상기 대표 서브밴드로 선택하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 7, wherein selecting the representative subband,
Calculating a cross correlation between the stereo channels for each of the subbands;
Selecting a subband having the highest cross-correlation value among the subbands as the representative subband.
Upmix method for converting an input signal of a stereo channel into a multi-channel output signal.
제6항에 있어서, 상기 분리하는 단계는,
상기 음상 정위 레벨 차이 값을 이용하여 수도 역함수(Pseudo Inverse) 행렬을 연산하는 단계; 및
상기 수도 역함수 행렬과 상기 입력신호의 곱셈 연산을 이용하여, 상기 음상 정위된 음원신호와 상기 잔향신호를 분리하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 6, wherein the separating step,
Calculating a pseudo inverse matrix using the negative stereotactic level difference value; And
Separating the sound-positioned sound source signal and the reverberation signal by using a multiplication operation of the water inverse function matrix and the input signal.
Upmix method for converting an input signal of a stereo channel into a multi-channel output signal.
스테레오 채널의 입력신호에서 제1 음상 정위 레벨 차이 값을 추출하는 단계;
상기 제1 음상 정위 레벨 차이 값을 이용하여 다채널 스피커 시스템의 전방 채널에 대한 제2 음상 정위 레벨 차이 값을 계산하는 단계; 및
상기 제2 음상 정위 레벨 차이 값을 이용하여 다채널 출력신호를 합성하는 단계
를 포함하는 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법.
Extracting a first audio position level difference value from an input signal of a stereo channel;
Calculating a second sound position level difference value for the front channel of the multichannel speaker system using the first sound position level difference value; And
Synthesizing a multi-channel output signal using the second sound image level difference value;
Upmix method for converting the input signal of the stereo channel to a multi-channel output signal comprising a.
제 10항에 있어서, 상기 제2 음상 정위 레벨 차이 값을 계산하는 단계는,
상기 제1 음상 정위 레벨 차이 값으로부터 상기 입력신호의 전방 채널에 대한 방향정보를 추출하는 단계; 및
상기 방향정보와, 상기 다채널 스피커 시스템의 전방 채널의 수에 따라 인접한 스피커 쌍에 대해서 벡터기반의 크기 패닝(Vector Base Amplitude Panning;VBAP) 방법을 이용하여, 상기 제2 음상 정위 레벨 차이 값을 계산하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 10, wherein the calculating of the second negative stereotactic level difference value comprises:
Extracting direction information of a front channel of the input signal from the first sound image level difference value; And
Computing the second sound image stereophonic level difference value using a vector base amplitude panning (VBAP) method for adjacent speaker pairs according to the direction information and the number of front channels of the multi-channel speaker system. Comprising the step of
Upmixing method for converting an input signal of a stereo channel into an output signal of a multi-channel.
제10항에 있어서, 상기 다채널 출력신호를 합성하는 단계는,
상기 입력신호에서 분리된 음상 정위된 음원신호 및 잔향신호와 상기 제2 음상 정위 레벨 차이 값을 이용하여, 전방 채널신호를 생성하는 단계;
상기 입력신호에서 분리된 상기 잔향신호를 이용하여 후방 채널신호를 생성하는 단계; 및
상기 전방 채널신호와 상기 후방 채널신호를 합성하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 10, wherein synthesizing the multichannel output signal comprises:
Generating a front channel signal by using a sound source signal and a reverberation signal separated from the input signal and the second sound image level difference value;
Generating a rear channel signal using the reverberation signal separated from the input signal; And
Synthesizing the front channel signal and the rear channel signal;
Upmixing method for converting an input signal of a stereo channel into an output signal of a multi-channel.
제12항에 있어서, 상기 후방 채널신호를 생성하는 단계는,
상기 다채널 스피커 시스템의 후방 채널의 잔향신호의 세기를 조절하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 12, wherein generating the rear channel signal comprises:
Adjusting the intensity of a reverberation signal of a rear channel of the multichannel speaker system;
Upmix method for converting an input signal of a stereo channel into a multi-channel output signal.
스테레오 채널의 입력신호에서 제1 음상 정위 레벨 차이 값을 추출하는 단계;
상기 제1 음상 정위 레벨 차이 값을 이용하여, 상기 입력신호에서 음상 정위된 음원신호와 잔향신호를 분리하는 단계;
상기 제1 음상 정위 레벨 차이 값을 이용하여, 다채널 스피커 시스템의 전방 채널에 대한 제2 음상 정위 레벨 차이 값을 계산하는 단계; 및
상기 제2 음상 정위 레벨 차이 값을 이용하여, 상기 분리된 음상 정위된 음원신호와 상기 잔향신호를 합성하여 다채널 출력신호를 출력하는 단계
를 포함하는 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법.
Extracting a first audio position level difference value from an input signal of a stereo channel;
Separating the sound source signal and the reverberation signal, which are sound-positioned from the input signal, by using the first sound-phase position level difference value;
Calculating a second sound position level difference value for the front channel of the multi-channel speaker system using the first sound position level difference value; And
Outputting a multi-channel output signal by synthesizing the separated sound-positioned sound source signal and the reverberation signal by using the second sound-phase position level difference value;
Upmix method for converting the input signal of the stereo channel to a multi-channel output signal comprising a.
제14항에 있어서, 상기 제1 음상 정위 레벨 차이 값을 추출하는 단계는,
상기 입력신호를 주파수 영역에서 서브밴드로 분할하는 단계;
상기 서브밴드 중에서, 상기 제1 음상 정위 레벨 차이 값을 추출하기 위한 대표 서브밴드를 선택하는 단계; 및
상기 대표 서브밴드의 상기 입력신호로부터 분석된 상기 음상 정위된 음원에 대한 레벨 차이 값을 상기 제1 음상 정위 레벨 차이 값으로 결정하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 14, wherein the extracting of the first sound image position level difference value comprises:
Dividing the input signal into subbands in a frequency domain;
Selecting a representative subband from among the subbands for extracting the first acoustic position level difference value; And
Determining a level difference value for the sound-phase-aligned sound source analyzed from the input signal of the representative subband as the first sound-phase position level difference value.
Upmix method for converting an input signal of a stereo channel into a multi-channel output signal.
제15항에 있어서, 상기 대표 서브밴드를 선택하는 단계는,
상기 각각의 서브밴드에 대한 상기 스테레오 채널 사이의 상호 상관도를 연산하는 단계;
상기 서브밴드 중, 상기 상호 상관도가 가장 높은 값을 가지는 서브밴드를 상기 대표 서브밴드로 선택하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 15, wherein selecting the representative subband comprises:
Computing cross-correlation between the stereo channels for each subband;
Selecting a subband having the highest cross-correlation value among the subbands as the representative subband.
Upmix method for converting an input signal of a stereo channel into a multi-channel output signal.
제14항에 있어서, 상기 분리하는 단계는,
상기 제1 음상 정위 레벨 차이 값을 이용하여 수도 역함수(Pseudo Inverse) 행렬을 연산하는 단계; 및
상기 수도 역함수 행렬과 상기 입력신호의 곱셈 연산을 이용하여 상기 음상 정위된 신호와 상기 잔향신호를 분리하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 14, wherein the separating step,
Calculating a pseudo inverse matrix using the first negative stereotactic level difference value; And
Separating the negatively located signal from the reverberation signal by using a multiplication operation of the water inverse matrix and the input signal;
Upmix method for converting an input signal of a stereo channel into a multi-channel output signal.
제14항에 있어서, 상기 제2 음상 정위 레벨 차이 값을 계산하는 단계는,
상기 제1 음상 정위 레벨 차이 값으로부터 상기 입력신호의 전방 채널에 대한 방향정보를 추출하는 단계; 및
상기 방향정보와, 상기 다채널 스피커 시스템의 전방 채널의 수에 따라 인접한 스피커 쌍에 대해서 벡터기반의 크기 패닝(Vector Base Amplitude Panning;VBAP) 방법을 이용하여
상기 제2 음상 정위 레벨 차이 값을 계산하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 14, wherein the calculating of the second negative stereotactic level difference value comprises:
Extracting direction information of a front channel of the input signal from the first sound image level difference value; And
A vector base amplitude panning (VBAP) method is used for adjacent speaker pairs according to the direction information and the number of front channels of the multi-channel speaker system.
Calculating the second negative stereotactic level difference value
Upmixing method for converting an input signal of a stereo channel into an output signal of a multi-channel.
제14항에 있어서, 상기 다채널 출력신호를 출력하는 단계는,
상기 음상 정위된 음원신호 및 상기 잔향신호와 상기 제2 음상 정위 레벨 차이 값을 이용하여, 전방 채널신호를 생성하는 단계;
상기 잔향신호를 이용하여 후방 채널신호를 생성하는 단계; 및
상기 전방 채널신호와 상기 후방 채널신호를 합성하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널의 출력신호로 변환하기 위한 업믹스 방법.
The method of claim 14, wherein the outputting the multi-channel output signal,
Generating a front channel signal by using the sound-phase-oriented sound source signal and the reverberation signal and the second sound-phase position difference value;
Generating a rear channel signal using the reverberation signal; And
Synthesizing the front channel signal and the rear channel signal;
Upmixing method for converting an input signal of a stereo channel into an output signal of a multi-channel.
제19항에 있어서, 상기 후방 채널신호를 생성하는 단계는,
상기 다채널 스피커 시스템의 후방 채널의 잔향신호의 세기를 조절하는 단계를 포함하는 것
인 스테레오 채널의 입력신호를 다채널 출력신호로 변환하기 위한 업믹스 방법.
20. The method of claim 19, wherein generating the rear channel signal comprises:
Adjusting the intensity of a reverberation signal of a rear channel of the multichannel speaker system;
Upmix method for converting an input signal of a stereo channel into a multi-channel output signal.
KR1020100085713A 2010-09-01 2010-09-01 Upmix method and apparatus for converting stereo channel input signal to multi-channel output signal KR101082419B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100085713A KR101082419B1 (en) 2010-09-01 2010-09-01 Upmix method and apparatus for converting stereo channel input signal to multi-channel output signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100085713A KR101082419B1 (en) 2010-09-01 2010-09-01 Upmix method and apparatus for converting stereo channel input signal to multi-channel output signal

Publications (1)

Publication Number Publication Date
KR101082419B1 true KR101082419B1 (en) 2011-11-10

Family

ID=45397540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100085713A KR101082419B1 (en) 2010-09-01 2010-09-01 Upmix method and apparatus for converting stereo channel input signal to multi-channel output signal

Country Status (1)

Country Link
KR (1) KR101082419B1 (en)

Similar Documents

Publication Publication Date Title
JP5654692B2 (en) Apparatus and method for decomposing an input signal using a downmixer
JP5957446B2 (en) Sound processing system and method
KR101283741B1 (en) A method and an audio spatial environment engine for converting from n channel audio system to m channel audio system
KR101532505B1 (en) Apparatus and method for generating an output signal employing a decomposer
EP3399776B1 (en) Audio signal processing method and device
KR101341523B1 (en) Method to generate multi-channel audio signals from stereo signals
KR101828138B1 (en) Segment-wise Adjustment of Spatial Audio Signal to Different Playback Loudspeaker Setup
RU2568926C2 (en) Device and method of extracting forward signal/ambient signal from downmixing signal and spatial parametric information
EP2449795B1 (en) Positional disambiguation in spatial audio
US9191763B2 (en) Method for headphone reproduction, a headphone reproduction system, a computer program product
EP3133833A1 (en) Sound field reproduction apparatus, method and program
KR20100084319A (en) Method and apparatus for adaptive remastering of rear audio channel
KR101082419B1 (en) Upmix method and apparatus for converting stereo channel input signal to multi-channel output signal
Takanen et al. Binaural assessment of parametrically coded spatial audio signals
Anemüller et al. Binaural Rendering of Heterogeneous Sound Sources with Extent
JP6630599B2 (en) Upmix device and program
AU2015255287B2 (en) Apparatus and method for generating an output signal employing a decomposer
Choi A Mono-To-Stereo Upmixing Algorithm Based on the Harmonic-Percussive Separation

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161101

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee