KR102161157B1 - Method and apparatus for processing audio signal - Google Patents

Method and apparatus for processing audio signal Download PDF

Info

Publication number
KR102161157B1
KR102161157B1 KR1020140072324A KR20140072324A KR102161157B1 KR 102161157 B1 KR102161157 B1 KR 102161157B1 KR 1020140072324 A KR1020140072324 A KR 1020140072324A KR 20140072324 A KR20140072324 A KR 20140072324A KR 102161157 B1 KR102161157 B1 KR 102161157B1
Authority
KR
South Korea
Prior art keywords
audio signal
output
information
output information
reproducing terminal
Prior art date
Application number
KR1020140072324A
Other languages
Korean (ko)
Other versions
KR20150005438A (en
Inventor
서정일
박태진
강경옥
유재현
이용주
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20150005438A publication Critical patent/KR20150005438A/en
Application granted granted Critical
Publication of KR102161157B1 publication Critical patent/KR102161157B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Abstract

오디오 신호 처리 방법 및 장치가 개시된다. 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 설정하는 단계; 상기 설정한 출력 정보에 대응하여 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정하는 단계; 상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말의 출력 정보를 이용하여 전달함수를 계산하는 단계; 상기 계산한 전달함수와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 단계; 및 상기 생성한 출력 오디오 신호를 처리하는 단계를 포함할 수 있다.A method and apparatus for processing an audio signal are disclosed. Setting output information using the output environment information of the audio signal reproducing terminal; Determining output information of a virtual microphone array disposed in a listening space in response to the set output information; Calculating a transfer function using the determined output information of the virtual microphone array and output information of an audio signal reproducing terminal; Generating an output audio signal using the calculated transfer function and an input audio signal; And processing the generated output audio signal.

Description

오디오 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING AUDIO SIGNAL}Audio signal processing method and apparatus {METHOD AND APPARATUS FOR PROCESSING AUDIO SIGNAL}

입력 오디오 신호와 전달함수를 이용하여 오디오 신호 재생 단말에 적합한 출력 오디오 신호를 생성하는 오디오 신호 처리 방법 및 장치에 관한 것이다.The present invention relates to an audio signal processing method and apparatus for generating an output audio signal suitable for an audio signal reproducing terminal by using an input audio signal and a transfer function.

최근 UHDTV(Ultra High Definition TeleVision)와 같은 고임장감(Immersive) 방송기술이 개발됨에 따라 5.1채널 이상의 스피커들로 구성되는 10.2채널, 또는 22.2채널 오디오 재생포맷이 등장하고 있다. 이에 따라, 고차 멀티채널 오디오(High-order Multichannel Audio) 콘텐츠를 제작하기 위해 필요한 3차원 음장 재현(Sound Field Reconstruction) 기술에 대한 관심은 높아지고 있다.Recently, as immersive broadcasting technology such as UHDTV (Ultra High Definition TeleVision) has been developed, a 10.2 channel or 22.2 channel audio playback format composed of speakers of 5.1 channels or more has appeared. Accordingly, interest in 3D sound field reconstruction technology required to produce high-order multichannel audio content is increasing.

또한, 10.2채널 및 22.2채널과 같은 고차 멀티채널 오디오 콘텐츠를 5.1채널과 같이 보다 적은 수의 스피커들로 재생하기 위해 오디오 신호 처리 장치는 입력 멀티채널 오디오 신호를 재생 스피커의 채널 신호로 다운믹스(downmix)하여야 한다. 다운믹스 과정은 다운믹스 매트릭스(downmix matrix)를 이용하여 입력 채널과 출력 채널 간의 선형조합(linear combination) 과정으로 처리된다. 그러나 다운믹스 매트릭스를 이용할 경우, 위상에 대한 고려가 없기 때문에 음질이 손상된다.In addition, in order to reproduce high-order multi-channel audio contents such as 10.2 channels and 22.2 channels with fewer speakers such as 5.1 channels, the audio signal processing apparatus downmixes the input multi-channel audio signals to the channel signals of the playback speakers. )shall. The downmix process is processed as a linear combination process between input channels and output channels using a downmix matrix. However, when a downmix matrix is used, the sound quality is impaired because there is no consideration of the phase.

예를 들어, 입력 채널과 출력 채널 간의 위상이 반전되는 경우 소리가 없어지는 현상이 발생하게 된다. 또한, 오디오 신호 재생 단말의 스피커들이 5.1채널과 같은 표준 포맷이 아니거나 또는 스피커들의 위치가 표준위치를 벗어나 있는 경우와 같은 Flexible Rendering 환경은 다운믹스 매트릭스 과정을 통해 일반화하여 표현하기 어렵다. 따라서, 출력 스피커 포맷은 Flexible Rendering 환경에서 적응적으로 처리하기가 어렵다는 문제점이 있다. 이에 따라, 음장 재현(Soundfield Reconstruction) 기술을 이용하여 임의의 스피커 포맷에서도 균일한 가상음원 재현이 가능한 기술들이 소개되고 있다.For example, when the phase between the input channel and the output channel is reversed, a phenomenon in which sound disappears occurs. In addition, it is difficult to generalize and express a flexible rendering environment such as when the speakers of the audio signal reproducing terminal are not in a standard format such as 5.1 channels or the positions of the speakers are out of the standard position, through a downmix matrix process. Therefore, there is a problem in that it is difficult to adaptively process the output speaker format in a flexible rendering environment. Accordingly, techniques capable of uniformly reproducing a virtual sound source even in an arbitrary speaker format using soundfield reconstruction techniques have been introduced.

입력 오디오 신호의 채널을 오디오 신호 재생 단말에 적합하게 변환하거나 또는 오디오 신호 재생 단말의 출력 정보에 따라 적응적으로 원음장을 재현하는 오디오 신호 처리 방법 및 장치에 관한 것이다.It relates to an audio signal processing method and apparatus for converting a channel of an input audio signal to suit an audio signal reproducing terminal or adaptively reproducing an original sound field according to output information of an audio signal reproducing terminal.

일실시예에 따른 오디오 신호 처리 방법에 있어서, 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 설정하는 단계; 상기 설정한 출력 정보에 대응하여 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정하는 단계; 상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말의 출력 정보를 이용하여 전달함수를 계산하는 단계; 상기 계산한 전달함수와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 단계; 및 상기 생성한 출력 오디오 신호를 처리하는 단계를 포함할 수 있다.An audio signal processing method according to an embodiment, the method comprising: setting output information using output environment information of an audio signal reproducing terminal; Determining output information of a virtual microphone array disposed in a listening space in response to the set output information; Calculating a transfer function using the determined output information of the virtual microphone array and output information of an audio signal reproducing terminal; Generating an output audio signal using the calculated transfer function and an input audio signal; And processing the generated output audio signal.

다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 결정하는 단계는, 상기 오디오 신호 재생 단말과 연결된 스피커의 채널정보 및 위치정보를 포함하는 출력 정보를 이용하여 상기 가상 마이크로폰 어레이의 출력 정보를 결정할 수 있다.In the audio signal processing method according to another embodiment, the determining comprises determining output information of the virtual microphone array using output information including channel information and location information of a speaker connected to the audio signal reproducing terminal. I can.

또 다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 계산하는 단계는, 상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말과 연결된 스피커의 채널정보 및 위치정보를 포함하는 출력 정보를 이용하여 전달함수를 계산할 수 있다.In the audio signal processing method according to another embodiment, the calculating includes output information including output information of the determined virtual microphone array and channel information and position information of a speaker connected to the audio signal reproducing terminal. You can calculate the transfer function.

또 다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 생성하는 단계는, 상기 계산한 전달함수를 이용하여 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성할 수 있다.In the audio signal processing method according to another embodiment, the generating step includes extracting a sound field synthesis filter function using the calculated transfer function, and using the extracted sound field synthesis filter function and the input audio signal. It can generate an output audio signal.

또 다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 생성하는 단계는, 상기 계산한 전달함수와 음향입자의 속도 벡터 중에서 반경 성분을 이용하여 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성할 수 있다.In the audio signal processing method according to another embodiment, the generating comprises extracting a sound field synthesis filter function using a radial component from the calculated transfer function and a velocity vector of the sound particle, and the extracted sound field synthesis filter An output audio signal may be generated using a function and the input audio signal.

일실시예에 따른 오디오 신호 처리 장치에 있어서, 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 설정하는 설정부; 상기 설정한 출력 정보에 대응하여 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정하는 결정부; 상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말의 출력 정보를 이용하여 전달함수를 계산하는 계산부; 상기 계산한 전달함수와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 생성부; 및 상기 생성한 출력 오디오 신호를 처리하는 처리부를 포함할 수 있다.An audio signal processing apparatus according to an embodiment, comprising: a setting unit configured to set output information using output environment information of an audio signal reproducing terminal; A determination unit for determining output information of a virtual microphone array disposed in the listening space in response to the set output information; A calculation unit that calculates a transfer function using the determined output information of the virtual microphone array and the output information of the audio signal reproducing terminal; A generator generating an output audio signal using the calculated transfer function and an input audio signal; And a processing unit that processes the generated output audio signal.

다른 일실시예에 따른 오디오 신호 처리 장치에 있어서, 상기 결정부는, 상기 오디오 신호 재생 단말과 연결된 스피커의 채널정보 및 위치정보를 포함하는 출력 정보를 이용하여 상기 가상 마이크로폰 어레이의 출력 정보를 결정할 수 있다.In the audio signal processing apparatus according to another embodiment, the determination unit may determine output information of the virtual microphone array using output information including channel information and location information of a speaker connected to the audio signal reproducing terminal. .

또 다른 일실시예에 따른 오디오 신호 처리 장치에 있어서, 상기 계산부는, 상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말과 연결된 스피커의 채널정보 및 위치정보를 포함하는 출력 정보를 이용하여 전달함수를 계산할 수 있다.In the audio signal processing apparatus according to another embodiment, the calculation unit comprises: a transfer function using output information including output information of the determined virtual microphone array and channel information and position information of a speaker connected to the audio signal reproducing terminal. Can be calculated.

또 다른 일실시예에 따른 오디오 신호 처리 장치에 있어서, 상기 생성부는, 상기 계산한 전달함수를 이용하여 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성할 수 있다.In the audio signal processing apparatus according to another embodiment, the generation unit extracts a sound field synthesis filter function using the calculated transfer function, and outputs audio using the extracted sound field synthesis filter function and the input audio signal. Can generate signals.

또 다른 일실시예에 따른 오디오 신호 처리 장치에 있어서, 상기 생성부는, 상기 계산한 전달함수와 음향입자의 속도 벡터 중에서 반경 성분을 이용하여 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성할 수 있다.In the audio signal processing apparatus according to another embodiment, the generation unit extracts a sound field synthesis filter function using a radius component from among the calculated transfer function and the velocity vector of the sound particle, and the extracted sound field synthesis filter function and An output audio signal may be generated by using the input audio signal.

입력 오디오 신호의 채널을 오디오 신호 재생 단말에 적합하게 변환하거나 또는 오디오 신호 재생 단말의 포맷에 따라 적응적으로 원음장을 재현하는 오디오 신호 처리 방법 및 장치에 관한 것이다.It relates to an audio signal processing method and apparatus for converting a channel of an input audio signal to suit an audio signal reproducing terminal or adaptively reproducing an original sound field according to a format of an audio signal reproducing terminal.

도 1은 일실시예에 따라 오디오 재생 단말의 채널에 적합하게 입력 오디오 신호를 다운믹스하는 오디오 신호 처리 장치를 도시한 도면이다.
도 2는 일실시예에 따라 오디오 신호 재생 단말의 출력(스피커)의 위치가 변경되더라도 원음장의 재현이 가능한 출력 오디오 신호를 제공하는 오디오 신호 처리 방법을 도시한 도면이다.
도 3은 일실시예에 따라 입력 멀티채널 오디오 신호를 오디오 신호 재생 단말의 출력 환경에 적합하게 변환한 출력 멀티채널 오디오 신호를 제공하는 오디오 신호 처리 방법을 도시한 도면이다.
도 4은 일실시예에 따라 다운믹스 매트릭스를 이용하여 22.2채널 오디오 신호를 5.1채널로 다운믹스하는 과정을 도시한 도면이다.1 is a diagram illustrating an audio signal processing apparatus for downmixing an input audio signal suitable for a channel of an audio reproducing terminal according to an embodiment.
FIG. 2 is a diagram illustrating an audio signal processing method for providing an output audio signal capable of reproducing an original sound field even when a position of an output (speaker) of an audio signal reproducing terminal is changed according to an embodiment.
3 is a diagram illustrating an audio signal processing method for providing an output multichannel audio signal obtained by converting an input multichannel audio signal suitable for an output environment of an audio signal reproducing terminal according to an embodiment.
4 is a diagram illustrating a process of downmixing a 22.2 channel audio signal to 5.1 channels using a downmix matrix according to an embodiment.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 일실시예에 따라 오디오 재생 단말의 채널에 적합하게끔 입력 오디오 신호를 다운믹스하는 오디오 신호 처리 장치를 도시한 도면이다.1 is a diagram illustrating an audio signal processing apparatus for downmixing an input audio signal to suit a channel of an audio reproducing terminal according to an embodiment.

이하에서 설명되는 오디오 신호 처리 장치(100)는 입력 오디오 신호를 출력 오디오 신호로 변환하는 장치를 의미할 수 있다. 오디오 신호 처리 장치(100)는 별개로 존재하거나 또는 단말 내에 포함되어 있을 수 있다. 예를 들어, 오디오 신호 처리 장치(100)는 오디오 신호 재생 단말에 포함되어 있거나 또는 오디오 신호 처리 장치(100)는 입력 오디오 신호를 제공하는 오디오 신호 제공 단말에 포함되어 있을 수도 있다.The audio signal processing apparatus 100 described below may mean a device that converts an input audio signal into an output audio signal. The audio signal processing apparatus 100 may exist separately or may be included in a terminal. For example, the audio signal processing apparatus 100 may be included in an audio signal reproducing terminal, or the audio signal processing apparatus 100 may be included in an audio signal providing terminal that provides an input audio signal.

이하에서 설명되는 입력 오디오 신호는 오디오 신호 처리 장치(100)로 입력되는 모든 오디오 신호를 의미할 수 있다. 일례로, 입력 오디오 신호는 입력 멀티채널 오디오 신호 또는 입력 객체음원 오디오 신호를 포함할 수 있다. 이에 대응하여, 출력 오디오 신호는 출력 다운믹스 오디오 신호 또는 출력 멀티채널 오디오 신호를 포함할 수 있다.The input audio signals described below may mean all audio signals input to the audio signal processing apparatus 100. For example, the input audio signal may include an input multi-channel audio signal or an input object sound source audio signal. Correspondingly, the output audio signal may include an output downmix audio signal or an output multichannel audio signal.

오디오 신호 처리 장치(100)의 다운믹스 환경 결정부(110)는 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 결정할 수 있다. 예를 들어, 사용자는 오디오 신호 처리 장치(100) 또는 오디오 신호 재생 단말의 인터페이스를 통해 오디오 신호 재생 단말의 출력환경 정보를 입력할 수 있다. 예를 들어, 오디오 신호 재생 단말의 출력환경 정보는 오디오 신호 재생 단말의 스피커의 채널정보, 및 위치정보를 포함할 수 있다. 일실시예에 따르면, 다운믹스 환경 결정부(110)는 오디오 신호 재생 단말의 출력환경 정보를 수신하여 다운믹스 채널 수와 각 채널 별 위치정보를 결정할 수 있다.The downmix environment determiner 110 of the audio signal processing apparatus 100 may determine output information by using the output environment information of the audio signal reproducing terminal. For example, the user may input output environment information of the audio signal reproducing terminal through the audio signal processing apparatus 100 or the interface of the audio signal reproducing terminal. For example, the output environment information of the audio signal reproducing terminal may include channel information and location information of a speaker of the audio signal reproducing terminal. According to an embodiment, the downmix environment determination unit 110 may determine the number of downmix channels and location information for each channel by receiving output environment information of the audio signal reproducing terminal.

오디오 신호 처리 장치(100)의 가상 마이크로폰 어레이 결정부(120)는 오디오 신호 재생 단말의 출력환경 정보에 적합하게 사용자의 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정할 수 있다. 가상 마이크로폰 어레이 결정부(120)는 결정된 출력 정보를 기초로 사용자의 청취 공간에 가상 마이크로폰을 배치할 수 있다. 일례로, 가상 마이크로폰 어레이의 출력 정보는 가상 마이크로폰의 개수 정보 및 위치 정보를 포함할 수 있다. 예를 들어, 오디오 신호 재생 단말의 채널이 2차원 구조를 구성하는 경우, 가상 마이크로폰 어레이는 2차원 구조(원 형태)로 배치될 수 있다. 또는, 오디오 신호 재생 단말의 채널이 NHK 22.2채널과 같이 3차원 구조를 구성하는 경우, 가상 마이크로폰 어레이는 3차원 구조(구 형태)로 배치될 수 있다.The virtual microphone array determining unit 120 of the audio signal processing apparatus 100 may determine output information of the virtual microphone array disposed in the user's listening space to suit the output environment information of the audio signal reproducing terminal. The virtual microphone array determiner 120 may place the virtual microphone in the user's listening space based on the determined output information. For example, the output information of the virtual microphone array may include information on the number of virtual microphones and location information. For example, when the channels of the audio signal reproducing terminal constitute a two-dimensional structure, the virtual microphone array may be arranged in a two-dimensional structure (circle shape). Alternatively, when the channel of the audio signal reproducing terminal has a three-dimensional structure such as an NHK 22.2 channel, the virtual microphone array may be arranged in a three-dimensional structure (spherical shape).

오디오 신호 처리 장치(100)의 전달함수 계산부(130)는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다. 전달함수는 음향입자의 속도와 관련된 함수를 의미할 수 있다. 전달함수는 오디오 신호 재생 단말의 스피커의 위치에서 가상 마이크로폰의 배치된 위치로 방출되는 음향의 입자속도와 관련된 함수를 의미할 수 있다.The transfer function calculation unit 130 of the audio signal processing apparatus 100 may calculate a transfer function using output information of an audio signal reproducing terminal and output information of a virtual microphone disposed in a listening space. The transfer function may mean a function related to the velocity of an acoustic particle. The transfer function may mean a function related to the particle velocity of sound emitted from the position of the speaker of the audio signal reproducing terminal to the position of the virtual microphone.

오디오 신호 처리 장치(100)의 스피커 신호 계산부(140)는 전달함수를 이용하여 음장합성 필터함수를 계산할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 멀티채널 오디오 신호를 오디오 신호 재생 단말의 출력 정보에 적합한 출력 오디오 신호로 변환하는 함수를 의미할 수 있다. 구체적으로, 오디오 신호 처리 장치(100)는 전달함수와 음향입자의 속도 벡터 중에서 반경 성분을 이용하여 음장합성 필터함수를 계산할 수 있다.The speaker signal calculation unit 140 of the audio signal processing apparatus 100 may calculate a sound field synthesis filter function using a transfer function. The sound field synthesis filter function may mean a function for converting an input multichannel audio signal into an output audio signal suitable for output information of an audio signal reproducing terminal in order to provide an N-dimensional sound image regardless of a user's location. Specifically, the audio signal processing apparatus 100 may calculate a sound field synthesis filter function by using a radius component from among the transfer function and the velocity vector of the acoustic particle.

스피커 신호 계산부(140)는 입력 오디오 신호와 음장합성 필터함수를 이용하여 출력 다운믹스 오디오 신호를 생성할 수 있다. 구체적으로, 스피커 신호 계산부(140)는 입력 멀티채널 오디오 신호를 주파수 영역으로 변환한 후 음장합성 필터함수와 컨벌루션(convolution) 연산을 수행하여 출력 다운믹스 오디오 신호를 생성할 수 있다. 이 때, 스피커 신호 계산부(140)는 입력 멀티채널 오디오 신호를 각 채널 별로 분리하여 음장합성 필터함수와 컨벌루션 연산을 수행할 수 있다. 이에 따라, 스피커 신호 계산부(140)는 각 채널 별로 연산을 수행하고, 수행한 결과를 중첩하여 합침으로써 출력 다운믹스 오디오 신호를 생성할 수 있다. 또한, 도 1에 도시된 바와 같이 스피커 신호 계산부(140)는 입력 멀티채널의 채널 별 위치 정보를 고려하여 출력 다운믹스 오디오 신호를 생성할 수 있다. 구체적으로 스피커 신호 계산부(140)는 입력 멀티채널 오디오 신호의 각 채널 별 신호를 음원으로 가정하고, 입력 멀티채널 오디오 신호가 재생되어야 할 위치(음원의 위치)를 고려하여 출력 다운믹스 오디오 신호를 생성할 수 있다.The speaker signal calculation unit 140 may generate an output downmixed audio signal using an input audio signal and a sound field synthesis filter function. Specifically, the speaker signal calculation unit 140 may generate an output downmixed audio signal by converting the input multichannel audio signal into a frequency domain and then performing a sound field synthesis filter function and a convolution operation. In this case, the speaker signal calculation unit 140 may perform a sound field synthesis filter function and a convolution operation by separating the input multi-channel audio signal for each channel. Accordingly, the speaker signal calculation unit 140 may generate an output downmixed audio signal by performing an operation for each channel and superimposing and adding the result of the operation. In addition, as illustrated in FIG. 1, the speaker signal calculation unit 140 may generate an output downmixed audio signal in consideration of location information for each channel of the input multichannel. Specifically, the speaker signal calculation unit 140 assumes a signal for each channel of the input multi-channel audio signal as a sound source, and calculates the output downmix audio signal in consideration of the position where the input multi-channel audio signal is to be reproduced (the position of the sound source). Can be generated.

오디오 신호 처리 장치(100)는 오디오 신호 재생 단말이 지원하는 채널에 적합하게끔 입력 멀티채널 오디오 신호를 다운믹스할 수 있다. 일례로, 입력 멀티채널 오디오 신호가 22.2채널이고, 오디오 신호 재생 단말이 5.1채널을 지원하는 단말인 경우, 오디오 신호 처리 장치(100)는 22.2 채널 오디오 신호를 5.1 채널로 다운믹스할 수 있다. 이에 따라, 오디오 신호 처리 장치(100)는 5.1채널의 출력 다운믹스 오디오 신호를 제공할 수 있다.The audio signal processing apparatus 100 may downmix the input multi-channel audio signal to suit a channel supported by the audio signal reproducing terminal. For example, when the input multi-channel audio signal is 22.2 channels and the audio signal reproducing terminal is a terminal supporting 5.1 channels, the audio signal processing apparatus 100 may downmix the 22.2 channel audio signal to 5.1 channels. Accordingly, the audio signal processing apparatus 100 may provide an output downmixed audio signal of 5.1 channels.

도 2는 일실시예에 따라 오디오 신호 재생 단말의 출력(스피커)의 위치가 변경되더라도 원음장의 재현이 가능한 출력 멀티채널 오디오 신호를 제공하는 오디오 신호 처리 방법을 도시한 도면이다.2 is a diagram illustrating an audio signal processing method for providing an output multi-channel audio signal capable of reproducing an original sound field even when a position of an output (speaker) of an audio signal reproducing terminal is changed according to an embodiment.

이하에서 설명되는 오디오 신호 처리 장치(200)의 오디오 신호 처리 방법은 앞서 설명한 과정과 유사하다.The audio signal processing method of the audio signal processing apparatus 200 described below is similar to the process described above.

오디오 신호 처리 장치(200)의 출력 스피커 환경 설정부(210)는 오디오 신호 재생 단말의 출력 정보를 수신할 수 있다. 예를 들어, 사용자는 오디오 신호 처리 장치(200) 또는 오디오 신호 재생 단말의 인터페이스를 통해 오디오 신호 재생 단말의 출력 정보를 입력할 수 있다.The output speaker environment setting unit 210 of the audio signal processing apparatus 200 may receive output information of an audio signal reproducing terminal. For example, the user may input output information of the audio signal reproducing terminal through the audio signal processing apparatus 200 or the interface of the audio signal reproducing terminal.

출력 스피커 환경 결정부(210)는 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 결정할 수 있다. 일실시예에 따르면, 출력 스피커 환경 결정부(210)는 오디오 신호 재생 단말의 출력환경 정보(오디오 신호 재생 단말에 연결된 스피커의 개수, 및 각 스피커의 위치)를 수신하여 각 스피커의 채널, 및 각 스피커의 위치정보를 설정할 수 있다.The output speaker environment determining unit 210 may determine output information by using the output environment information of the audio signal reproducing terminal. According to an embodiment, the output speaker environment determination unit 210 receives output environment information (the number of speakers connected to the audio signal reproduction terminal and the position of each speaker) of the audio signal reproduction terminal, and You can set the speaker location information.

오디오 신호 처리 장치(200)의 가상 마이크로폰 어레이 결정부(220)는 오디오 신호 재생 단말의 출력 환경에 적합하게 사용자의 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정할 수 있다. 가상 마이크로폰 어레이 결정부(220)는 결정된 출력 정보를 기초로 사용자의 청취 공간에 가상 마이크로폰을 배치할 수 있다.The virtual microphone array determining unit 220 of the audio signal processing apparatus 200 may determine output information of a virtual microphone array disposed in a user's listening space suitable for an output environment of the audio signal reproducing terminal. The virtual microphone array determiner 220 may place the virtual microphone in the user's listening space based on the determined output information.

전달함수 계산부(230)는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다. 전달함수는 음향입자의 속도와 관련된 함수를 의미할 수 있다. 전달함수는 오디오 신호 재생 단말의 스피커의 위치에서 가상 마이크로폰의 배치된 위치로 방출되는 음향의 입자속도와 관련된 함수를 의미할 수 있다.The transfer function calculation unit 230 may calculate a transfer function using output information of the audio signal reproducing terminal and output information of a virtual microphone arranged in the listening space. The transfer function may mean a function related to the velocity of an acoustic particle. The transfer function may mean a function related to the particle velocity of sound emitted from the position of the speaker of the audio signal reproducing terminal to the position of the virtual microphone.

오디오 신호 처리 장치(200)의 스피커 신호 계산부(240)는 전달함수를 이용하여 음장합성 필터함수를 계산할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 객체음원 오디오 신호를 오디오 신호 재생 단말의 출력 환경에 적합한 출력 멀티채널 오디오 신호로 변환하는 함수를 의미할 수 있다.The speaker signal calculation unit 240 of the audio signal processing apparatus 200 may calculate a sound field synthesis filter function using a transfer function. The sound field synthesis filter function may mean a function for converting an input object sound source audio signal into an output multichannel audio signal suitable for an output environment of an audio signal reproducing terminal in order to provide an N-dimensional sound image regardless of a user's location.

스피커 신호 계산부(240)는 입력 객체음원 오디오 신호와 음장합성 필터함수를 이용하여 출력 멀티채널 오디오 신호를 계산할 수 있다. 구체적으로, 스피커 신호 계산부(240)는 입력 객체음원 신호를 주파수 영역으로 변환한 후 음장합성 필터함수와 컨벌루션(convolution) 연산을 수행하여 오디오 신호 재생 단말의 출력 환경에 적합한 출력 멀티채널 오디오 신호를 계산할 수 있다. 또한, 도 2에 도시된 바와 같이 오디오 신호 처리 장치(200)는 입력 객체음원의 위치 정보를 고려하여 출력 멀티채널 오디오 신호를 계산할 수 있다. 즉, 오디오 신호 처리 장치(200)는 입력 객체음원 오디오 신호가 재생되어야 할 위치를 고려하여 출력 멀티채널 오디오 신호를 계산할 수 있다.The speaker signal calculation unit 240 may calculate an output multi-channel audio signal using an input object sound source audio signal and a sound field synthesis filter function. Specifically, the speaker signal calculation unit 240 converts the input object sound source signal into the frequency domain and then performs a sound field synthesis filter function and convolution operation to generate an output multi-channel audio signal suitable for the output environment of the audio signal reproducing terminal. Can be calculated. In addition, as shown in FIG. 2, the audio signal processing apparatus 200 may calculate an output multi-channel audio signal in consideration of location information of an input object sound source. That is, the audio signal processing apparatus 200 may calculate the output multi-channel audio signal in consideration of a location where the input object sound source audio signal is to be reproduced.

오디오 신호 처리 장치(200)는 입력 객체음원 오디오 신호를 오디오 신호 재생 단말에 적합하게 렌더링할 수 있다. 이에 따라, 오디오 신호 처리 장치(200)는 오디오 신호 재생 단말의 스피커의 위치가 변경되더라도 원음장의 재현이 가능한 출력 멀티채널 오디오 신호를 사용자에게 제공할 수 있다.The audio signal processing apparatus 200 may properly render the input object sound source audio signal to the audio signal reproducing terminal. Accordingly, the audio signal processing apparatus 200 may provide an output multi-channel audio signal capable of reproducing the original sound field to the user even if the position of the speaker of the audio signal reproducing terminal is changed.

도 3은 일실시예에 따라 입력 멀티채널 오디오 신호를 오디오 신호 재생 단말의 출력 환경에 적합하게 변환한 출력 멀티채널 오디오 신호를 제공하는 오디오 신호 처리 방법을 도시한 도면이다.3 is a diagram illustrating an audio signal processing method for providing an output multi-channel audio signal obtained by converting an input multi-channel audio signal suitable for an output environment of an audio signal reproducing terminal according to an exemplary embodiment.

이하에서 설명되는 오디오 신호 처리 장치(300)의 오디오 신호 처리 방법은 앞서 설명한 과정과 유사하다.The audio signal processing method of the audio signal processing apparatus 300 described below is similar to the process described above.

오디오 신호 처리 장치(300)의 출력 스피커 환경 결정부(310)는 오디오 신호 재생 단말의 출력 정보를 수신할 수 있다. 예를 들어, 사용자는 오디오 신호 처리 장치(300) 또는 오디오 신호 재생 단말의 인터페이스를 통해 오디오 신호 재생 단말의 출력 정보를 입력할 수 있다.The output speaker environment determination unit 310 of the audio signal processing apparatus 300 may receive output information of the audio signal reproducing terminal. For example, the user may input output information of the audio signal reproducing terminal through the audio signal processing apparatus 300 or the interface of the audio signal reproducing terminal.

출력 스피커 환경 결정부(310)는 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 결정할 수 있다. 일실시예에 따르면, 출력 스피커 환경 설정부(310)는 오디오 신호 재생 단말의 출력환경 정보(오디오 신호 재생 단말에 연결된 스피커의 개수, 및 각 스피커의 위치)를 수신하여 각 스피커의 채널, 및 각 스피커의 위치정보를 결정할 수 있다.The output speaker environment determination unit 310 may determine output information by using the output environment information of the audio signal reproducing terminal. According to an embodiment, the output speaker environment setting unit 310 receives output environment information (the number of speakers connected to the audio signal reproducing terminal and the position of each speaker) of the audio signal reproducing terminal, and You can determine the location information of the speaker.

오디오 신호 처리 장치(300)의 가상 마이크로폰 어레이 결정부(320)는 오디오 신호 재생 단말의 출력 환경에 적합하게 사용자의 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정할 수 있다. 가상 마이크로폰 어레이 결정부(320)는 결정된 출력 정보를 기초로 사용자의 청취 공간에 가상 마이크로폰을 배치할 수 있다.The virtual microphone array determining unit 320 of the audio signal processing apparatus 300 may determine output information of the virtual microphone array disposed in the user's listening space suitable for the output environment of the audio signal reproducing terminal. The virtual microphone array determiner 320 may place the virtual microphone in the user's listening space based on the determined output information.

오디오 신호 처리 장치(300)의 전달함수 계산부(330)는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다. 전달함수는 음향입자의 속도와 관련된 함수를 의미할 수 있다. 전달함수는 오디오 신호 재생 단말의 스피커의 위치에서 가상 마이크로폰의 배치된 위치로 방출되는 음향의 입자속도와 관련된 함수를 의미할 수 있다.The transfer function calculation unit 330 of the audio signal processing apparatus 300 may calculate a transfer function using output information of an audio signal reproducing terminal and output information of a virtual microphone arranged in a listening space. The transfer function may mean a function related to the velocity of an acoustic particle. The transfer function may mean a function related to the particle velocity of sound emitted from the position of the speaker of the audio signal reproducing terminal to the position of the virtual microphone.

오디오 신호 처리 장치(300)의 스피커 신호 계산부(340)는 전달함수를 이용하여 음장합성 필터함수를 계산할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 멀티채널 오디오 신호를 오디오 신호 재생 단말의 출력 환경에 적합한 출력 오디오 신호로 변환하는 함수를 의미할 수 있다.The speaker signal calculation unit 340 of the audio signal processing apparatus 300 may calculate a sound field synthesis filter function using a transfer function. The sound field synthesis filter function may refer to a function for converting an input multi-channel audio signal into an output audio signal suitable for an output environment of an audio signal reproducing terminal in order to provide an N-dimensional sound image regardless of a user's location.

스피커 신호 계산부(340)는 입력 멀티채널 오디오 신호와 음장합성 필터함수를 이용하여 출력 멀티채널 오디오 신호를 계산할 수 있다. 구체적으로, 스피커 신호 계산부(340)는 입력 멀티채널 오디오 신호를 주파수 영역으로 변환한 후 음장합성 필터함수와 컨벌루션(convolution) 연산을 수행하여 오디오 신호 재생 단말의 출력 환경에 적합한 출력 멀티채널 오디오 신호를 계산할 수 있다. 스피커 신호 계산부(340)는 각 채널 별로 연산을 수행하고, 수행한 결과를 중첩하여 합침으로써 출력 멀티채널 오디오 신호를 계산할 수 있다. 또한, 스피커 신호 계산부(340)는 입력 멀티채널 오디오 신호의 각 채널 별 신호를 음원으로 가정하고, 입력 멀티채널 신호가 재생되어야 할 위치(음원의 위치)를 고려하여 출력 멀티채널 오디오 신호를 계산할 수 있다.The speaker signal calculation unit 340 may calculate an output multichannel audio signal using an input multichannel audio signal and a sound field synthesis filter function. Specifically, the speaker signal calculation unit 340 converts the input multi-channel audio signal into the frequency domain and then performs a sound field synthesis filter function and convolution operation to provide an output multi-channel audio signal suitable for the output environment of the audio signal reproducing terminal. Can be calculated. The speaker signal calculation unit 340 may calculate an output multi-channel audio signal by performing an operation for each channel and superimposing and adding the result of the operation. In addition, the speaker signal calculation unit 340 assumes a signal for each channel of the input multi-channel audio signal as a sound source, and calculates the output multi-channel audio signal in consideration of the position (position of the sound source) where the input multi-channel signal is to be played. I can.

일실시예에 따르면, 오디오 신호 처리 장치(200)는 오디오 신호 재생 단말이 지원하는 채널에 적합하게 입력 멀티채널 오디오 신호를 변환할 수 있다. 예를 들어, 오디오 신호 처리 장치(200)는 N채널의 입력 오디오 신호를 M채널의 출력 오디오 신호로 변환할 수 있다.According to an embodiment, the audio signal processing apparatus 200 may convert an input multi-channel audio signal suitable for a channel supported by the audio signal reproducing terminal. For example, the audio signal processing apparatus 200 may convert an N-channel input audio signal into an M-channel output audio signal.

도 4는 일실시예에 따라 다운믹스 매트릭스를 이용하여 22.2채널 오디오 신호를 5.1채널로 다운믹스하는 과정을 도시한 도면이다.4 is a diagram illustrating a process of downmixing a 22.2 channel audio signal to 5.1 channels using a downmix matrix according to an embodiment.

오디오 신호 처리 장치는 오디오 신호 재생 단말의 출력 정보를 이용하여 가상 마이크로폰 어레이의 출력 정보를 추출할 수 있다. 구체적으로, 오디오 신호 처리 장치는 오디오 신호 재생 단말의 출력 정보에 대응하도록 가상 마이크로폰의 출력 정보를 추출할 수 있다. 예를 들어, 오디오 신호 재생 단말의 채널정보가 2차원 구조를 포함하는 경우, 가상 마이크로폰 어레이의 채널정보는 2차원 구조(원 형태)로 추출될 수 있다. 이에 따라 오디오 신호 처리 장치는 사용자의 청취 공간에 원 형태로 가상 마이크로폰 어레이를 배치시킬 수 있다.The audio signal processing apparatus may extract output information of the virtual microphone array by using the output information of the audio signal reproducing terminal. Specifically, the audio signal processing apparatus may extract output information of the virtual microphone to correspond to the output information of the audio signal reproducing terminal. For example, when the channel information of the audio signal reproducing terminal includes a two-dimensional structure, the channel information of the virtual microphone array may be extracted in a two-dimensional structure (circle shape). Accordingly, the audio signal processing apparatus may arrange the virtual microphone array in a circle shape in the user's listening space.

가상 마이크로폰 어레이(제어 서클)의 반지름은 주파수에 따라 변할 수 있다. 구체적으로, 가상 마이크로폰 어레이의 반지름은 하기 수학식 1과 같이 표현할 수 있다.The radius of the virtual microphone array (control circle) can vary with frequency. Specifically, the radius of the virtual microphone array can be expressed as Equation 1 below.

Figure 112014055518384-pat00001
Figure 112014055518384-pat00001

λ 는 음파의 파장을 의미할 수 있고, c는 음파의 속도를 의미할 수 있다. 또한, f 는 주파수를 의미할 수 있다. λ may mean the wavelength of the sound wave, and c may mean the speed of the sound wave. Also, f may mean a frequency.

오디오 신호 처리 장치는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 결정할 수 있다. 전달함수는 음향입자의 속도와 관련된 전달함수를 의미할 수 있다. 구체적으로, 전달함수는 오디오 신호 재생 단말의 스피커의 위치로부터 가상 마이크로폰이 배치된 위치로 방출되는 음향입자의 속도와 관련된 전달함수를 의미할 수 있다. 구체적으로, 전달함수는 하기 수학식 2와 같이 표현할 수 있다.The audio signal processing apparatus may determine a transfer function using the output information of the audio signal reproducing terminal and the output information of the virtual microphone arranged in the listening space. The transfer function may mean a transfer function related to the velocity of an acoustic particle. Specifically, the transfer function may mean a transfer function related to the velocity of sound particles emitted from the location of the speaker of the audio signal reproducing terminal to the location where the virtual microphone is disposed. Specifically, the transfer function can be expressed as in Equation 2 below.

Figure 112014055518384-pat00002
Figure 112014055518384-pat00002

Figure 112014055518384-pat00003
은 m번째 가상 마이크로폰의 위치,
Figure 112014055518384-pat00004
은 오디오 신호 재생 단말의 n번째 스피커의 위치를 의미할 수 있다.
Figure 112014055518384-pat00005
는 웨이브 넘버(wave number,
Figure 112014055518384-pat00006
)를 의미할 수 있다. 또한,
Figure 112014055518384-pat00007
는 익스포넨셜 펑션(exponential function)를 의미할 수 있다. 추가적으로,
Figure 112014055518384-pat00008
,
Figure 112014055518384-pat00009
,
Figure 112014055518384-pat00010
을 의미할 수 있다.
Figure 112014055518384-pat00011
은 수학식 1에서 나타낸 바와 같이 주파수 f일 때의 m번째 가상 마이크로폰의 반지름을 나타낸다. 따라서 전달함수는 주파수에 따라 변화할 수 있다.
Figure 112014055518384-pat00003
Is the location of the mth virtual microphone,
Figure 112014055518384-pat00004
May mean the location of the n-th speaker of the audio signal reproducing terminal.
Figure 112014055518384-pat00005
Is the wave number,
Figure 112014055518384-pat00006
Can mean ). In addition,
Figure 112014055518384-pat00007
May mean an exponential function. Additionally,
Figure 112014055518384-pat00008
,
Figure 112014055518384-pat00009
,
Figure 112014055518384-pat00010
Can mean
Figure 112014055518384-pat00011
Denotes the radius of the m-th virtual microphone at the frequency f as shown in Equation 1. Therefore, the transfer function can change according to the frequency.

전달함수는 입력 오디오 신호를 수신하기 전에 결정될 수 있다. 따라서, 오디오 신호 처리 장치는 사전에 전달함수를 결정한 후 내부 저장 장치에 저장하여 활용할 수 있다. 이에 따라, 오디오 신호 처리 장치는 실시간으로 입력 오디오 신호를 출력 오디오 신호로 변환하여 처리할 수 있다.The transfer function can be determined before receiving the input audio signal. Accordingly, the audio signal processing apparatus may determine a transfer function in advance and store it in an internal storage device for use. Accordingly, the audio signal processing apparatus may convert and process an input audio signal into an output audio signal in real time.

오디오 신호 처리 장치는 전달함수를 이용하여 음장합성 필터함수를 계산할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 오디오 신호를 오디오 신호 재생 단말의 출력 정보에 적합한 출력 오디오 신호로 변환하는 함수를 의미할 수 있다. 구체적으로, 음장합성 필터함수는 하기 수학식 3과 같이 표현할 수 있다.The audio signal processing apparatus may calculate a sound field synthesis filter function using a transfer function. The sound field synthesis filter function may mean a function for converting an input audio signal into an output audio signal suitable for output information of an audio signal reproducing terminal in order to provide an N-dimensional sound image regardless of a user's location. Specifically, the sound field synthesis filter function can be expressed as Equation 3 below.

Figure 112014055518384-pat00012
Figure 112014055518384-pat00012

Figure 112014055518384-pat00013
은
Figure 112014055518384-pat00014
번째 채널의 출력 오디오 신호를 위한 음장합성 필터함수를 의미할 수 있다. 오디오 신호 처리 장치는 입력 오디오 신호와 음장합성 필터함수의 컨벌루션을 각 채널 별로 수행할 수 있다. 이에 따라, 오디오 신호 처리 장치는 채널 별로 수행한 결과를 중첩하여 더함으로써 출력 오디오 신호를 생성할 수 있다.
Figure 112014055518384-pat00015
은 수학식 2에 표현된 전달함수를 의미할 수 있다. 또한,
Figure 112014055518384-pat00016
는
Figure 112014055518384-pat00017
의 허미션 트랜즈포즈 행렬(Hermitian Transpose Matrix)를 의미할 수 있고,
Figure 112014055518384-pat00018
는 아이덴티티(identity) 행렬을 의미할 수 있다. 또한,
Figure 112014055518384-pat00019
는 정규화 파라미터(regularization parameter)를 의미할 수 있고,
Figure 112014055518384-pat00020
은 음향입자의 속도 벡터의 반경(inner radial)을 의미할 수 있다.
Figure 112014055518384-pat00013
silver
Figure 112014055518384-pat00014
It may mean a sound field synthesis filter function for the output audio signal of the second channel. The audio signal processing apparatus may perform convolution of the input audio signal and the sound field synthesis filter function for each channel. Accordingly, the audio signal processing apparatus may generate an output audio signal by superimposing and adding the results performed for each channel.
Figure 112014055518384-pat00015
May mean the transfer function expressed in Equation 2. In addition,
Figure 112014055518384-pat00016
Is
Figure 112014055518384-pat00017
It may mean the Hermitian Transpose Matrix of,
Figure 112014055518384-pat00018
May mean an identity matrix. In addition,
Figure 112014055518384-pat00019
May mean a regularization parameter,
Figure 112014055518384-pat00020
May mean an inner radial of the velocity vector of the acoustic particle.

일실시예에 따르면, 도 4에 도시된 바와 같이 오디오 신호 처리 장치는 미리 정의된 22.2채널의 입력 멀티채널 오디오 신호를 5.1채널로 다운믹스하는 다운믹스 매트릭스를 이용하여 22.2채널의 입력 오디오 신호를 5.1채널로 다운믹스할 수 있다. 이에 따라, 오디오 신호 처리 장치는 다운믹스한 5.1 채널의 출력 멀티채널 오디오 신호를 출력하거나 또는 오디오 신호 재생 단말에 전달할 수 있다. According to an embodiment, as shown in FIG. 4, the audio signal processing apparatus uses a downmix matrix for downmixing a predefined 22.2-channel input multi-channel audio signal to 5.1-channel. You can downmix to channels. Accordingly, the audio signal processing apparatus may output the downmixed 5.1-channel output multi-channel audio signal or transmit it to the audio signal reproducing terminal.

다른 실시예에 따르면, 오디오 신호 처리 장치는 N채널의 입력 오디오 신호를 M채널의 출력오디오 신호로 변환할 수 있다. 도 4를 참조하면, 오디오 신호 처리 장치는 오디오 신호 재생 단말의 스피커 별(채널 별)로 각각 컨벌루션 연산을 수행하여 스피커 별(채널 별)로 출력 오디오 신호를 생성할 수 있다. 이에 따라, 오디오 신호 처리 장치는 채널 별로 생성한 출력 오디오 신호를 중첩하여 더함으로써 출력 오디오 신호를 생성할 수 있다.According to another embodiment, the audio signal processing apparatus may convert an N-channel input audio signal into an M-channel output audio signal. Referring to FIG. 4, the audio signal processing apparatus may generate an output audio signal for each speaker (for each channel) by performing a convolution operation for each speaker (for each channel) of the audio signal reproducing terminal. Accordingly, the audio signal processing apparatus may generate an output audio signal by superimposing and adding the output audio signals generated for each channel.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the present invention has been described by the limited embodiments and drawings, the present invention is not limited to the above embodiments, and various modifications and variations from these descriptions are those of ordinary skill in the field to which the present invention belongs. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention is limited to the described embodiments and should not be defined, but should be defined by the claims to be described later as well as equivalents to the claims.

Claims (10)

오디오 신호 재생 단말의 출력환경 정보를 이용하여 상기 오디오 신호 재생 단말과 연결된 스피커의 채널정보 및 위치정보를 포함하는 출력 정보를 설정하는 단계;
상기 설정한 출력 정보에 대응하여 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정하는 단계;
상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말의 출력 정보를 이용하여 입력 오디오 신호로부터 출력 오디오 신호를 생성하는 단계; 및
상기 생성한 출력 오디오 신호를 처리하는 단계
를 포함하는 오디오 신호 처리 방법.
Setting output information including channel information and location information of a speaker connected to the audio signal reproducing terminal using the output environment information of the audio signal reproducing terminal;
Determining output information of a virtual microphone array disposed in a listening space in response to the set output information;
Generating an output audio signal from an input audio signal using the determined output information of the virtual microphone array and output information of an audio signal reproducing terminal; And
Processing the generated output audio signal
Audio signal processing method comprising a.
 제1항에 있어서,
상기 출력 오디오 신호를 생성하는 단계는,
상기 가상 마이크로폰 어레이의 출력 정보 및 오디오 신호 재생 단말의 출력 정보를 이용하여 전달함수를 계산하는 단계; 및
상기 전달함수 및 입력 오디오 신호로부터 출력 오디오 신호를 생성하는 단계
를 포함하는 오디오 신호 처리 방법.
The method of claim 1,
Generating the output audio signal,
Calculating a transfer function using output information of the virtual microphone array and output information of an audio signal reproducing terminal; And
Generating an output audio signal from the transfer function and the input audio signal
Audio signal processing method comprising a.
 제2항에 있어서,
상기 전달함수는,
상기 오디오 신호 재생 단말의 스피커에서 방출되는 음향의 입자속도와 관련된 함수인, 오디오 신호 처리 방법.
The method of claim 2,
The transfer function is,
The audio signal processing method, which is a function related to the particle velocity of sound emitted from the speaker of the audio signal reproduction terminal.
 제1항에 있어서,
상기 출력 오디오 신호를 생성하는 단계는,
상기 가상 마이크로폰 어레이의 출력 정보 및 오디오 신호 재생 단말의 출력 정보를 이용하여 상기 오디오 신호 재생 단말의 출력 환경에 따라 입력 오디오 함수를 변환하는 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는, 오디오 신호 처리 방법.
The method of claim 1,
Generating the output audio signal,
Using the output information of the virtual microphone array and output information of the audio signal reproducing terminal, a sound field synthesis filter function for converting an input audio function according to the output environment of the audio signal reproducing terminal is extracted, and the extracted sound field synthesis filter function and the An audio signal processing method for generating an output audio signal using an input audio signal.
 제2항에 있어서,
상기 출력 오디오 신호를 생성하는 단계는,
상기 계산한 전달함수와 음향입자의 속도 벡터 중에서 반경 성분을 이용하여 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는, 오디오 신호 처리 방법.
The method of claim 2,
Generating the output audio signal,
An audio signal processing method of extracting a sound field synthesis filter function using a radius component from the calculated transfer function and velocity vector of sound particles, and generating an output audio signal using the extracted sound field synthesis filter function and the input audio signal .
 오디오 신호 재생 단말의 출력환경 정보를 이용하여 상기 오디오 신호 재생 단말과 연결된 스피커의 채널정보 및 위치정보를 포함하는 출력 정보를 설정하는 설정부;
상기 설정한 출력 정보에 대응하여 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정하는 결정부;
상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말의 출력 정보를 이용하여 입력 오디오 신호로부터 출력 오디오 신호를 생성하는 생성부; 및
상기 생성한 출력 오디오 신호를 처리하는 처리부
를 포함하는 오디오 신호 처리 장치.
A setting unit for setting output information including channel information and position information of a speaker connected to the audio signal reproducing terminal by using the output environment information of the audio signal reproducing terminal;
A determination unit configured to determine output information of a virtual microphone array disposed in the listening space in response to the set output information;
A generator for generating an output audio signal from an input audio signal using the determined output information of the virtual microphone array and output information of an audio signal reproducing terminal; And
Processing unit to process the generated output audio signal
Audio signal processing apparatus comprising a.
 제6항에 있어서,
상기 가상 마이크로폰 어레이의 출력 정보 및 오디오 신호 재생 단말의 출력 정보를 이용하여 전달함수를 계산부를 포함하고,
상기 생성부는,
상기 전달함수 및 입력 오디오 신호로부터 출력 오디오 신호를 생성하는, 오디오 신호 처리 장치.
The method of claim 6,
A transfer function is calculated by using the output information of the virtual microphone array and the output information of the audio signal reproducing terminal,
The generation unit,
An audio signal processing apparatus for generating an output audio signal from the transfer function and an input audio signal.
 제7항에 있어서,
상기 전달함수는,
상기 오디오 신호 재생 단말의 스피커에서 방출되는 음향의 입자속도와 관련된 함수인, 오디오 신호 처리 장치.
The method of claim 7,
The transfer function is,
The audio signal processing apparatus which is a function related to the particle velocity of sound emitted from the speaker of the audio signal reproduction terminal.
 제6항에 있어서,
상기 생성부는,
상기 가상 마이크로폰 어레이의 출력 정보 및 오디오 신호 재생 단말의 출력 정보를 이용하여 상기 오디오 신호 재생 단말의 출력 환경에 따라 입력 오디오 함수를 변환하는 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는, 오디오 신호 처리 장치.
The method of claim 6,
The generation unit,
Using the output information of the virtual microphone array and output information of the audio signal reproducing terminal, a sound field synthesis filter function for converting an input audio function according to the output environment of the audio signal reproducing terminal is extracted, and the extracted sound field synthesis filter function and the An audio signal processing apparatus for generating an output audio signal by using an input audio signal.
 제7항에 있어서,
상기 생성부는,
상기 생성부는, 상기 계산한 전달함수와 음향입자의 속도 벡터 중에서 반경 성분을 이용하여 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는, 오디오 신호 처리 장치.
The method of claim 7,
The generation unit,
The generation unit extracts a sound field synthesis filter function using a radius component from among the calculated transfer function and velocity vectors of sound particles, and generates an output audio signal using the extracted sound field synthesis filter function and the input audio signal, Audio signal processing device.
KR1020140072324A 2013-07-05 2014-06-13 Method and apparatus for processing audio signal KR102161157B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130078949 2013-07-05
KR1020130078949 2013-07-05

Publications (2)

Publication Number Publication Date
KR20150005438A KR20150005438A (en) 2015-01-14
KR102161157B1 true KR102161157B1 (en) 2020-09-29

Family

ID=52477286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140072324A KR102161157B1 (en) 2013-07-05 2014-06-13 Method and apparatus for processing audio signal

Country Status (1)

Country Link
KR (1) KR102161157B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368878B2 (en) 2013-06-11 2019-08-06 Orthotaxy System for positioning a surgical device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319823A (en) * 2005-05-16 2006-11-24 Sony Corp Acoustic device, sound adjustment method and sound adjustment program
JP2011193164A (en) * 2010-03-12 2011-09-29 Nippon Hoso Kyokai <Nhk> Down-mix device of multi-channel acoustic signal and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319823A (en) * 2005-05-16 2006-11-24 Sony Corp Acoustic device, sound adjustment method and sound adjustment program
JP2011193164A (en) * 2010-03-12 2011-09-29 Nippon Hoso Kyokai <Nhk> Down-mix device of multi-channel acoustic signal and program

Also Published As

Publication number Publication date
KR20150005438A (en) 2015-01-14

Similar Documents

Publication Publication Date Title
JP7181371B2 (en) Rendering method, rendering device and recording medium
CN109906616B (en) Method, system and apparatus for determining one or more audio representations of one or more audio sources
TWI744341B (en) Distance panning using near / far-field rendering
CN107925815B (en) Spatial audio processing apparatus
KR102653560B1 (en) Processing appratus mulit-channel and method for audio signals
JP6105062B2 (en) System, method, apparatus and computer readable medium for backward compatible audio encoding
CN107533843B (en) System and method for capturing, encoding, distributing and decoding immersive audio
KR102294767B1 (en) Multiplet-based matrix mixing for high-channel count multichannel audio
RU2661775C2 (en) Transmission of audio rendering signal in bitstream
US8284946B2 (en) Binaural decoder to output spatial stereo sound and a decoding method thereof
JP5865899B2 (en) Stereo sound reproduction method and apparatus
CN111316354B (en) Determination of target spatial audio parameters and associated spatial audio playback
KR102458956B1 (en) Audio signal procsessing apparatus and method for sound bar
CA3069403C (en) Concept for generating an enhanced sound-field description or a modified sound field description using a multi-layer description
JP2015522183A (en) System, method, apparatus, and computer readable medium for 3D audio coding using basis function coefficients
CN105637902A (en) Method for and apparatus for decoding an ambisonics audio soundfield representation for audio playback using 2D setups
JP7294135B2 (en) SIGNAL PROCESSING APPARATUS AND METHOD, AND PROGRAM
EP4121958A1 (en) Rendering reverberation
KR20130080819A (en) Apparatus and method for localizing multichannel sound signal
CN112823534B (en) Signal processing device and method, and program
KR102161157B1 (en) Method and apparatus for processing audio signal
KR102161169B1 (en) Method and apparatus for processing audio signal
KR102322120B1 (en) Method of producing a sound and apparatus for performing the same
JP6017352B2 (en) Audio signal conversion apparatus and method
US20230379648A1 (en) Audio signal isolation related to audio sources within an audio environment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant