KR20150005439A - Method and apparatus for processing audio signal - Google Patents

Method and apparatus for processing audio signal Download PDF

Info

Publication number
KR20150005439A
KR20150005439A KR1020140072325A KR20140072325A KR20150005439A KR 20150005439 A KR20150005439 A KR 20150005439A KR 1020140072325 A KR1020140072325 A KR 1020140072325A KR 20140072325 A KR20140072325 A KR 20140072325A KR 20150005439 A KR20150005439 A KR 20150005439A
Authority
KR
South Korea
Prior art keywords
audio signal
sound field
signal
field synthesis
output
Prior art date
Application number
KR1020140072325A
Other languages
Korean (ko)
Other versions
KR102161169B1 (en
Inventor
서정일
강경옥
박태진
유재현
이용주
장대영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20150005439A publication Critical patent/KR20150005439A/en
Application granted granted Critical
Publication of KR102161169B1 publication Critical patent/KR102161169B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

Disclosed are a method and an apparatus for processing an audio signal, capable of processing the generation of an audio signal at high speed. The method for processing an audio signal comprises the steps of: calculating a transmission function using the output information of an audio signal playing device and the output information of a virtual microphone arranged in a listening space; extracting a sound synthesis filter function using the transmission function; generating a second sound synthesis signal wherein zero signals are inserted into a first sound synthesis signal made by converting the sound synthesis filter function into a time region; generating an output audio signal using the second sound synthesis signal and an input audio signal in a frequency region; and processing the generated output audio signal.

Description

오디오 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING AUDIO SIGNAL}TECHNICAL FIELD [0001] The present invention relates to an audio signal processing method,

입력 오디오 신호와 음장합성 필터함수를 이용하여 오디오 신호 재생 단말에 적합한 출력 오디오 신호를 생성하는 오디오 신호 처리 방법 및 장치에 관한 것이다.To an audio signal processing method and apparatus for generating an output audio signal suitable for an audio signal reproducing terminal using an input audio signal and a sound field synthesis filter function.

최근 UHDTV(Ultra High Definition TeleVision)와 같은 고임장감(Immersive) 방송기술이 개발됨에 따라 5.1채널 이상의 스피커들로 구성되는 10.2채널, 또는 22.2채널 오디오 재생포맷이 등장하고 있다. 이에 따라, 고차 멀티채널 오디오(High??order Multichannel Audio) 콘텐츠를 제작하기 위해 필요한 3차원 음장 재현(Sound Field Reconstruction) 기술에 대한 관심은 높아지고 있다.With the development of immersive broadcasting technology such as UHDTV (Ultra High Definition TeleVision), 10.2 channel or 22.2 channel audio playback format composed of speakers of more than 5.1 channels is emerging. Accordingly, there is a growing interest in a three-dimensional sound field reconstruction technique required for producing high-order multi-channel audio content.

또한, 10.2채널 및 22.2채널과 같은 고차 멀티채널 오디오 콘텐츠를 5.1채널과 같이 보다 적은 수의 스피커들로 재생하기 위해 오디오 신호 처리 장치는 입력 채널 오디오 신호를 재생 스피커의 채널 신호로 다운믹스(downmix)하여야 한다. 다운믹스 과정은 다운믹스 매트릭스(downmix matrix)를 이용하여 입력 채널과 출력 채널 간의 선형조합(linear combination) 과정으로 처리된다. 그러나 다운믹스 매트릭스를 이용할 경우, 위상에 대한 고려가 없기 때문에 음질이 손상된다.Further, in order to reproduce higher order multi-channel audio contents such as 10.2 channel and 22.2 channel with a smaller number of speakers such as 5.1 channel, the audio signal processing device downmixes the input channel audio signal into the channel signal of the reproducing speaker, shall. The downmix process is a linear combination process between an input channel and an output channel using a downmix matrix. However, when a downmix matrix is used, sound quality is impaired because there is no consideration of phase.

예를 들어, 입력 채널과 출력 채널 간의 위상이 반전되는 경우 소리가 없어지는 현상이 발생하게 된다. 또한, 오디오 신호 재생 단말의 스피커들이 5.1채널과 같은 표준 포맷이 아니거나 또는 스피커들의 위치가 표준위치를 벗어나 있는 경우와 같은 플렉서블 렌더링(Flexible Rendering) 환경은 다운믹스 매트릭스 과정을 통해 일반화하여 표현하기 어렵다. 따라서, 출력 스피커 포맷은 플렉서블 렌더링 환경에서 적응적으로 처리하기가 어렵다는 문제점이 있다. 이에 따라, 음장 재현(Soundfield Reconstruction) 기술을 이용하여 임의의 스피커 포맷에서도 균일한 가상음원 재현이 가능한 기술들이 소개되고 있다.For example, when the phase between the input channel and the output channel is reversed, the sound disappears. In addition, it is difficult to generalize the flexible rendering environment such as the case where the speakers of the audio signal reproducing terminal are not in the standard format such as 5.1 channel or the speakers are out of the standard position through the downmix matrix process . Therefore, there is a problem that the output speaker format is difficult to adaptively process in a flexible rendering environment. Accordingly, technologies capable of reproducing a virtual sound source uniformly in an arbitrary speaker format using a sound field reconstruction technique have been introduced.

본 발명은 음장합성 필터함수를 이용하여 입력 오디오 신호를 오디오 신호 재생 단말의 출력 정보에 적합하게 변환하거나 또는 오디오 신호 재생 단말의 출력 정보에 적합하게 렌더링(rendering)할 수 있다. 이 때, 본 발명은 음장합성 필터함수를 시간 영역에서 간략화 함에 따라 출력 오디오 신호 생성의 고속 처리가 가능한 오디오 신호 처리 방법 및 장치에 관한 것이다.The present invention can convert the input audio signal to output information of the audio signal reproducing terminal or render it appropriately to the output information of the audio signal reproducing terminal using the sound field synthesis filter function. At this time, the present invention relates to a method and an apparatus for processing an audio signal capable of high-speed processing of output audio signal generation by simplifying a sound field synthesis filter function in a time domain.

일실시예에 따른 오디오 신호 처리 방법에 있어서, 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산하는 단계; 상기 전달함수를 이용하여 음장합성 필터함수를 추출하는 단계; 상기 음장합성 필터함수를 시간 영역으로 변환한 제1 음장합성 신호에 영신호를 삽입한 제2 음장합성 신호를 생성하는 단계; 주파수 영역 상에서 상기 제2 음장합성 신호와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 단계; 및 상기 생성한 출력 오디오 신호를 처리하는 단계를 포함할 수 있다.The method may further include calculating a transfer function using the output information of the audio signal reproducing terminal and the output information of the virtual microphone placed in the listening space, Extracting a sound field synthesis filter function using the transfer function; Generating a second sound field synthesis signal in which a null signal is embedded in a first sound field synthesis signal obtained by converting the sound field synthesis filter function into a time domain; Generating an output audio signal using the second sound field synthesis signal and the input audio signal in a frequency domain; And processing the generated output audio signal.

다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 제2 음장합성 신호를 생성하는 단계는, 상기 음장합성 필터함수를 시간 영역으로 변환한 제1 음장합성 신호에 상기 제1 음장합성 신호와 동일한 길이를 가지는 영신호를 삽입한 제2 음장합성 신호를 생성할 수 있다.In the method of processing an audio signal according to another embodiment, the step of generating the second sound field synthesis signal may include the step of converting the first sound field synthesis signal into the first sound field synthesis signal It is possible to generate a second sound field synthesis signal in which a null signal having a length is inserted.

또 다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 출력 오디오 신호를 생성하는 단계는, 상기 음장합성 필터함수를 시간 영역으로 변환한 제1 음장합성 신호에 상기 제1 음장합성 신호와 동일한 길이를 가지는 영신호를 삽입한 제2 음장합성 신호 및 상기 입력 오디오 신호를 블록으로 분할한 프레임 신호를 이용하여 QMF(Quadrature Mirror Filter) 영역에서의 출력 오디오 신호를 생성할 수 있다.In the method of processing an audio signal according to another embodiment, the step of generating the output audio signal may include the step of converting the first sound field synthesis signal into a first sound field synthesis signal having the same sound field synthesis signal as the first sound field synthesis signal, And an output audio signal in a Quadrature Mirror Filter (QMF) region using a frame signal obtained by dividing the input audio signal into blocks.

또 다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 출력 오디오 신호를 생성하는 단계는, 상기 음장합성 필터함수를 시간 영역으로 변환한 제1 음장합성 신호에 상기 제1 음장합성 신호와 동일한 길이를 가지는 영신호를 삽입한 제2 음장합성 신호 및 상기 입력 오디오 신호를 블록으로 분할한 프레임 신호를 이용하여 출력 오디오 신호를 생성할 수 있다.In the method of processing an audio signal according to another embodiment, the step of generating the output audio signal may include the step of converting the first sound field synthesis signal into a first sound field synthesis signal having the same sound field synthesis signal as the first sound field synthesis signal, And a frame signal obtained by dividing the input audio signal into blocks can be used to generate an output audio signal.

또 다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 계산하는 단계는, 상기 오디오 신호 재생 단말과 연결된 스피커의 채널 정보 및 위치 정보를 포함하는 출력 정보 및 상기 출력 정보으로부터 결정되는 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다.In the audio signal processing method according to another embodiment, the calculating may include output information including channel information and position information of a speaker connected to the audio signal reproducing terminal, output information of a virtual microphone determined from the output information, Information can be used to calculate the transfer function.

일실시예에 따른 오디오 신호 처리 방법에 있어서, 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산하는 단계; 상기 전달함수를 이용하여 음장합성 필터함수를 추출하는 단계; 상기 음장합성 필터함수를 시간 영역으로 변환한 제1 음장합성 신호에서 미리 정의된 기준에 따라 출력 오디오 신호의 생성에 영향을 적게 미치는 부분을 제거함으로써 제1 음장합성 신호를 모델링하는 단계; 상기 모델링한 제1 음장합성 신호와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 단계; 및 상기 생성한 출력 오디오 신호를 처리하는 단계를 포함할 수 있다.The method may further include calculating a transfer function using the output information of the audio signal reproducing terminal and the output information of the virtual microphone placed in the listening space, Extracting a sound field synthesis filter function using the transfer function; Modeling a first sound field synthesis signal by removing a portion of the first sound field synthesis signal obtained by converting the sound field synthesis filter function into a time domain in such a manner as to have a less effect on generation of an output audio signal according to a predefined criterion; Generating an output audio signal using the modeled first sound field synthesis signal and the input audio signal; And processing the generated output audio signal.

다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 모델링하는 단계는, 상기 제1 음장합성 신호 내에서 크기가 미리 설정된 기준보다 작은 값들이 연속해서 나타나는 부분, 및 대칭 형태에서 어느 하나의 부분을 제거함으로써 제1 음장합성 신호를 모델링할 수 있다.In the method for processing an audio signal according to another embodiment, the modeling step may include: a step of generating a part of the first sound field composition signal in which values smaller than a preset reference value are continuously displayed, So that the first sound field synthesis signal can be modeled.

또 다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 계산하는 단계는, 상기 오디오 신호 재생 단말과 연결된 스피커의 채널 정보 및 위치 정보를 포함하는 출력 정보 및 상기 출력 정보으로부터 결정되는 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다.In the audio signal processing method according to another embodiment, the calculating may include output information including channel information and position information of a speaker connected to the audio signal reproducing terminal, output information of a virtual microphone determined from the output information, Information can be used to calculate the transfer function.

일실시예에 따른 오디오 신호 처리 장치에 있어서, 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산하는 계산부; 상기 전달함수를 이용하여 음장합성 필터함수를 추출하는 추출부; 상기 음장합성 필터함수를 시간 영역으로 변환한 제1 음장합성 신호에 영신호를 삽입한 제2 음장합성 신호를 생성하는 제2 음장합성 신호 생성부; 주파수 영역 상에서 상기 제2 음장합성 신호와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 출력 오디오 신호 생성부; 및 상기 생성한 출력 오디오 신호를 처리하는 처리부를 포함할 수 있다.The audio signal processing apparatus may further include a calculation unit for calculating a transfer function using output information of the audio signal reproducing terminal and output information of the virtual microphone arranged in the listening space, An extracting unit for extracting a sound field synthesis filter function using the transfer function; A second sound field synthesis signal generator for generating a second sound field synthesis signal in which a null signal is inserted into a first sound field synthesis signal obtained by converting the sound field synthesis filter function into a time domain; An output audio signal generation unit for generating an output audio signal using the second sound field synthesis signal and the input audio signal in the frequency domain; And a processing unit for processing the generated output audio signal.

일실시예에 따른 오디오 신호 처리 장치에 있어서, 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산하는 계산부; 상기 전달함수를 이용하여 음장합성 필터함수를 추출하는 추출부; 상기 음장합성 필터함수를 시간 영역으로 변환한 제1 음장합성 신호에서 미리 정의된 기준에 따라 출력 오디오 신호의 생성에 영향을 적게 미치는 부분을 제거함으로써 제1 음장합성 신호를 모델링하는 모델링부; 상기 모델링한 제1 음장합성 신호와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 생성부; 및 상기 생성한 출력 오디오 신호를 처리하는 처리부를 포함할 수 있다.The audio signal processing apparatus may further include a calculation unit for calculating a transfer function using output information of the audio signal reproducing terminal and output information of the virtual microphone arranged in the listening space, An extracting unit for extracting a sound field synthesis filter function using the transfer function; A modeling unit for modeling the first sound field synthesis signal by removing a part of the first sound field synthesis signal obtained by converting the sound field synthesis filter function into a time domain with less influence on the generation of the output audio signal according to a predefined criterion; A generator for generating an output audio signal using the modeled first sound field synthesis signal and the input audio signal; And a processing unit for processing the generated output audio signal.

일실시예에 따르면, 본 발명은 음장합성 필터함수를 이용하여 입력 채널 오디오 신호를 오디오 신호 재생 단말의 출력 정보에 적합하게 변환하거나 또는 다운믹스할 수 있다. 일실시예에 따르면, 본 발명은 입력 음원 신호를 오디오 신호 재생 단말에 적합하게 렌더링(rendering)할 수 있다. 이 때, 본 발명은 음장합성 필터함수를 시간 영역에서 간략화 함에 따라 출력 오디오 신호 생성의 고속 처리가 가능한 오디오 신호 처리 방법 및 장치에 관한 것이다.According to an embodiment of the present invention, an input channel audio signal may be converted or downmixed to output information of an audio signal reproducing terminal using a sound field synthesis filter function. According to one embodiment, the present invention can render an input sound source signal appropriately to an audio signal reproducing terminal. At this time, the present invention relates to a method and an apparatus for processing an audio signal capable of high-speed processing of output audio signal generation by simplifying a sound field synthesis filter function in a time domain.

도 1은 일실시예에 따라 주파수 영역상에서 출력 오디오 신호를 계산하는 오디오 신호 처리 장치를 도시한 도면이다.
도 2는 일실시예에 따라 시간 영역상에서 출력 오디오 신호를 계산하는 오디오 신호 처리 장치를 도시한 도면이다.
도 3은 일실시예에 따라 QMF 영역상에서 출력 오디오 신호를 계산하는 오디오 신호 처리 장치를 도시한 도면이다.
도 4는 일실시예에 따라 입력 오디오 신호의 채널을 변환하여 출력 오디오 신호 생성하는 과정을 도시한 도면이다.1 is a diagram showing an audio signal processing apparatus for calculating an output audio signal on a frequency domain according to an embodiment.
2 is a diagram illustrating an audio signal processing apparatus that calculates an output audio signal on a time domain in accordance with one embodiment.
3 is a diagram showing an audio signal processing apparatus for calculating an output audio signal on a QMF region according to an embodiment.
4 illustrates a process of converting an input audio signal to generate an output audio signal according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 일실시예에 따라 주파수 영역상에서 출력 오디오 신호를 계산하는 오디오 신호 처리 장치를 도시한 도면이다.1 is a diagram showing an audio signal processing apparatus for calculating an output audio signal on a frequency domain according to an embodiment.

이하에서 설명되는 오디오 신호 처리 장치는 입력 오디오 신호를 입력 받아 출력 오디오 신호를 계산하는 장치를 의미할 수 있다. 오디오 신호 처리 장치는 별개로 존재하거나 또는 단말 내에 포함되어 있을 수 있다. 예를 들어, 오디오 신호 처리 장치는 오디오 신호 재생 단말에 포함되어 있거나 또는 오디오 신호 처리 장치는 입력 오디오 신호를 제공하는 오디오 신호 제공 단말에 포함되어 있을 수도 있다. 오디오 신호 재생 단말은 오디오 신호를 재생하는 단말을 의미할 수 있다. 일례로, 오디오 신호 재생 단말은 PC, 디지털 방송 단말, DVD/Blue??ray 플레이어, 및 스마트폰과 같은 모바일 단말 등을 포함할 수 있다.The audio signal processing apparatus described below may refer to an apparatus that receives an input audio signal and calculates an output audio signal. The audio signal processing device may be present separately or may be included in the terminal. For example, the audio signal processing apparatus may be included in an audio signal reproducing terminal, or the audio signal processing apparatus may be included in an audio signal providing terminal that provides an input audio signal. The audio signal reproducing terminal may be a terminal for reproducing an audio signal. For example, the audio signal reproducing terminal may include a PC, a digital broadcasting terminal, a DVD / Blu ray player, and a mobile terminal such as a smart phone.

이하에서 설명되는 입력 오디오 신호는 오디오 신호 처리 장치로 입력되는 모든 오디오 신호를 의미할 수 있다. 일례로, 입력 오디오 신호는 입력 채널 오디오 신호 또는 입력 음원 오디오 신호를 포함할 수 있다. 이에 대응하여, 출력 오디오 신호는 출력 다운믹스 오디오 신호 또는 출력 채널 오디오 신호를 포함할 수 있다.The input audio signal described below may refer to all audio signals input to the audio signal processing apparatus. As an example, the input audio signal may include an input channel audio signal or an input sound source audio signal. Correspondingly, the output audio signal may comprise an output downmix audio signal or an output channel audio signal.

오디오 신호 처리 장치의 전달함수 계산부(100)는 오디오 신호 재생 단말의 출력 정보와 사용자의 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 수신할 수 있다. 일례로, 오디오 신호 재생 단말의 출력 정보는 오디오 신호 재생 단말과 연결된 스피커의 개수 정보, 및 위치 정보를 포함할 수 있다. 일례로, 가상 마이크로폰 어레이의 출력 정보는 가상 마이크로폰의 개수 정보 및 위치 정보를 포함할 수 있다.The transfer function calculation unit 100 of the audio signal processing apparatus can receive the output information of the audio signal reproducing terminal and the output information of the virtual microphone array disposed in the user's listening space. For example, the output information of the audio signal reproducing terminal may include information on the number of speakers connected to the audio signal reproducing terminal, and position information. For example, the output information of the virtual microphone array may include the number information and location information of the virtual microphone.

전달함수 계산부(100)는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다. 전달함수는 음향입자의 속도와 관련된 함수를 의미할 수 있다. 구체적으로, 전달함수는 오디오 신호 재생 단말의 스피커의 위치에서 가상 마이크로폰의 배치된 위치로 방출되는 음향입자의 속도와 관련된 함수를 의미할 수 있다.The transfer function calculator 100 may calculate the transfer function using the output information of the audio signal reproducing terminal and the output information of the virtual microphone arranged in the listening space. The transfer function may refer to a function related to the velocity of acoustic particles. Specifically, the transfer function may refer to a function related to the speed of acoustic particles emitted from the position of the speaker of the audio signal reproducing terminal to the position where the virtual microphone is disposed.

오디오 신호 처리 장치의 음장합성 필터 계산부(110)는 전달함수를 이용하여 음장합성 필터함수를 계산할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 오디오 신호를 오디오 신호 재생 단말의 출력 정보에 적합한 출력 오디오 신호로 변환하는 함수를 의미할 수 있다. 구체적으로, 음장합성 필터 계산부(110)는 전달함수와 음향입자의 속도 벡터 중에서 반경 성분을 이용하여 음장합성 필터함수를 계산할 수 있다. 이에 따라, 스피커 신호 계산부(170)는 입력 오디오 신호와 음장합성 필터함수를 이용하여 출력 오디오 신호를 생성할 수 있다.The sound field synthesis filter calculation unit 110 of the audio signal processing apparatus can calculate the sound field synthesis filter function using the transfer function. The sound field synthesis filter function may be a function for converting an input audio signal into an output audio signal suitable for output information of the audio signal reproducing terminal in order to provide an N-dimensional sound image regardless of the position of the user. Specifically, the sound field synthesis filter calculation unit 110 may calculate the sound field synthesis filter function using the radius component of the transfer function and the velocity vector of the acoustic particles. Accordingly, the speaker signal calculation unit 170 can generate an output audio signal using the input audio signal and the sound field synthesis filter function.

예를 들어, 오디오 신호 처리 장치의 주파수/시간 변환부(120)는 음장합성 필터함수를 시간 영역으로 변환할 수 있다. 여기서, 음장합성 필터함수는 주파수 영역 상에서의 신호일 수 있다. 음장합성 필터함수를 시간 영역으로 변환한 신호는 제1 음장합성 신호에 대응할 수 있다. 오디오 신호 처리 장치의 영신호 삽입부(130)는 제1 음장합성 신호에 영 신호를 삽입한 제2 음장합성 신호를 생성할 수 있다. 이 때, 영 신호의 길이는 제1 음장합성 신호와 동일한 길이일 수 있다.For example, the frequency / time conversion unit 120 of the audio signal processing apparatus can convert the sound field synthesis filter function into the time domain. Here, the sound field synthesis filter function may be a signal in the frequency domain. The signal obtained by converting the sound field synthesis filter function into the time domain may correspond to the first sound field synthesis signal. The null signal inserting unit 130 of the audio signal processing apparatus can generate the second sound field synthesized signal in which the null signal is inserted into the first sound field synthesized signal. At this time, the length of the null signal may be the same length as that of the first sound field synthesis signal.

오디오 신호 처리 장치의 프레임 처리부(150)는 입력 오디오 신호를 블록으로 중첩하며 분할하여 프레임 단위로 처리함으로써 프레임 신호를 생성할 수 있다. 프레임 처리부(150)는 제2 음장합성 신호의 길이와 동일하게 프레임 신호를 생성할 수 있다.The frame processing unit 150 of the audio signal processing apparatus can generate a frame signal by superimposing an input audio signal on a block, dividing the input audio signal, and processing the divided audio signal by frame. The frame processor 150 can generate a frame signal equal to the length of the second sound field composition signal.

오디오 신호 처리 장치의 시간/주파수 변환부(140, 160)는 각각 프레임 신호와 제2 음장합성 신호를 주파수 영역으로 변환할 수 있다. 이에 따라, 오디오 신호 처리 장치의 스피커 신호 계산부(170)는 주파수 영역으로 변환한 제2 음장합성 신호 및 프레임 신호에 대해 컨볼루션(convolution) 연산을 수행함으로써 출력 오디오 신호를 생성할 수 있다. 구체적으로, 스피커 신호 계산부(170)는 동일한 길이를 가지는 프레임 신호와 제2 음장합성 신호를 이용하여 선형 컨볼루션(linear convolution) 연산을 수행함으로써 보다 빠르게 출력 오디오 신호(출력 스피커 신호)를 생성할 수 있다.The time / frequency conversion units 140 and 160 of the audio signal processing apparatus can convert the frame signal and the second sound field synthesis signal into the frequency domain, respectively. Accordingly, the speaker signal calculation unit 170 of the audio signal processing apparatus can generate an output audio signal by performing a convolution operation on the second sound field synthesized signal and the frame signal converted into the frequency domain. Specifically, the speaker signal calculation unit 170 performs a linear convolution operation using the frame signal having the same length and the second sound field composition signal to generate an output audio signal (output speaker signal) more quickly .

스피커 신호 계산부(170)는 입력 오디오 신호를 채널 별로 분리하여 연산을 수행할 수 있다. 이에 따라, 스피커 신호 계산부(170)는 채널 별로 생성된 신호를 전부 중첩하여 더해(superposition) 출력 오디오 신호를 생성할 수 있다. 출력 오디오 신호는 주파수 영역 상에서의 신호일 수 있다. 이에 따라, 오디오 신호 처리 장치의 주파수/시간 변환 및 중첩 처리부(180)는 출력 오디오 신호를 시간 영역으로 변환할 수 있다. 또한, 컨볼루션 데이터 버퍼(history buffer)와 입력 오디오 신호가 중첩하며 처리된 경우, 주파수/시간 변환 및 중첩 처리부(180)는 추가적으로 중첩 부분에 대한 처리 과정을 수행하여 최종적인 출력 오디오 신호를 생성할 수 있다. 이에 따라, 오디오 신호 처리 장치는 시간 영역으로 변환한 출력 오디오 신호를 재생하거나 또는 시간 영역으로 변환한 출력 오디오 신호를 오디오 신호 재생 단말에 전달할 수 있다.The speaker signal calculation unit 170 may perform an operation by separating the input audio signal for each channel. Accordingly, the speaker signal calculator 170 may superimpose all of the signals generated on a channel-by-channel basis to generate an output audio signal. The output audio signal may be a signal in the frequency domain. Accordingly, the frequency / time conversion and superposition processor 180 of the audio signal processing apparatus can convert the output audio signal into the time domain. In addition, when the convolution data buffer and the input audio signal are overlapped and processed, the frequency / time conversion and superposition processor 180 additionally performs a process on the overlapping portion to generate a final output audio signal . Accordingly, the audio signal processing apparatus may reproduce the output audio signal converted into the time domain, or may convert the time domain audio signal to the audio signal reproducing terminal.

도 2는 일실시예에 따라 시간 영역상에서 출력 오디오 신호를 계산하는 오디오 신호 처리 장치를 도시한 도면이다.2 is a diagram illustrating an audio signal processing apparatus that calculates an output audio signal on a time domain in accordance with one embodiment.

이하에서 설명되는 오디오 신호 처리 장치의 오디오 신호 처리 방법은 앞서 설명한 과정과 유사하다.The audio signal processing method of the audio signal processing apparatus described below is similar to the above-described process.

오디오 신호 처리 장치의 전달함수 계산부(200)는 오디오 신호 재생 단말의 출력 정보와 사용자의 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 수신할 수 있다. 일례로, 가상 마이크로폰 어레이의 출력 정보는 가상 마이크로폰의 개수 정보 및 위치 정보를 포함할 수 있다. 이에 따라, 전달함수 계산부(200)는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다. 전달함수는 음향입자의 속도와 관련된 함수를 의미할 수 있다. 구체적으로, 전달함수는 오디오 신호 재생 단말의 스피커의 위치에서 가상 마이크로폰의 배치된 위치로 방출되는 음향입자의 속도와 관련된 함수를 의미할 수 있다.The transfer function calculation unit 200 of the audio signal processing apparatus can receive the output information of the audio signal reproducing terminal and the output information of the virtual microphone array disposed in the user's listening space. For example, the output information of the virtual microphone array may include the number information and location information of the virtual microphone. Accordingly, the transfer function calculator 200 can calculate the transfer function using the output information of the audio signal reproducing terminal and the output information of the virtual microphone arranged in the listening space. The transfer function may refer to a function related to the velocity of acoustic particles. Specifically, the transfer function may refer to a function related to the speed of acoustic particles emitted from the position of the speaker of the audio signal reproducing terminal to the position where the virtual microphone is disposed.

오디오 신호 처리 장치의 음장합성 필터 계산부(210)는 전달함수를 이용하여 음장합성 필터함수를 추출할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 오디오 신호를 오디오 신호 재생 단말의 출력 정보에 적합한 출력 오디오 신호로 변환하는 함수를 의미할 수 있다. 구체적으로, 음장합성 필터 계산부(210)는 전달함수와 음향입자의 속도 벡터 중에서 반경 성분을 이용하여 음장합성 필터함수를 추출할 수 있다. 이에 따라, 음장합성 필터 계산부(210)는 입력 오디오 신호와 음장합성 필터함수를 이용하여 출력 오디오 신호를 생성할 수 있다.The sound field synthesis filter calculation unit 210 of the audio signal processing apparatus can extract the sound field synthesis filter function using the transfer function. The sound field synthesis filter function may be a function for converting an input audio signal into an output audio signal suitable for output information of the audio signal reproducing terminal in order to provide an N-dimensional sound image regardless of the position of the user. Specifically, the sound field synthesis filter calculation unit 210 can extract the sound field synthesis filter function using the radius component of the transfer function and the velocity vector of the acoustic particles. Accordingly, the sound field synthesis filter calculation unit 210 can generate an output audio signal using the input audio signal and the sound field synthesis filter function.

음장합성 필터함수는 주파수에 따라 변화하는 주파수 영역 상에서의 신호일 수 있다. 이에 따라, 오디오 신호 처리 장치의 시간/주파수 변환부(220)는 음장합성 필터함수를 시간 영역에서 간략화(모델링)하기 위해 시간 영역으로 변환할 수 있다. 음장합성 필터함수를 시간 영역으로 변환한 신호는 제1 음장합성 신호(충격 응답 신호)를 의미할 수 있다.The sound field synthesis filter function may be a signal on a frequency domain that varies with frequency. Accordingly, the time / frequency conversion unit 220 of the audio signal processing apparatus can convert the sound field synthesis filter function into the time domain in order to simplify (model) the time domain synthesis filter function. The signal obtained by converting the sound field synthesis filter function into the time domain may mean a first sound field synthesis signal (impulse response signal).

오디오 신호 처리 장치의 충격 응답 신호 모델링부(230)는 미리 정의된 기준에 따라 컨볼루션 연산 과정에서 영향을 적게 미치는 부분을 제거할 수 있다. 이에 따라, 충격 응답 신호 모델링부(230)는 컨볼루션 연산 과정을 단축시켜 고속 연산을 제공할 수 있다. 오디오 신호 처리 장치는 메모리에 미리 정의된 기준을 저장하여 모델링시 활용할 수 있다. 예를 들어, 충격 응답 신호 모델링부(230)는 제1 음장합성 신호에서 미리 설정된 기준 값보다 작은 크기가 연속해서 나타나는 부분을 제거할 수 있다. 또한, 제1 음장합성 신호에서 대칭 형태의 부분이 포함되어 있는 경우, 충격 응답 신호 모델링부(230)는 대칭 형태의 반대 부분을 제거할 수 있다. 그러나, 본 발명에서의 제1 음장합성 신호에서 컨볼루션 연산 과정에 영향을 끼치지 않는 부분을 제거하는 방법은 이에 한정되지 않고, 오디오 신호 처리 장치는 다양한 방법을 통해 제1 음장합성 신호에서 컨볼루션 연산 과정에 영향을 끼치지 않는 부분을 제거할 수 있다.The impulse response signal modeling unit 230 of the audio signal processing apparatus may remove a part of the impulse response signal that is less affected by the convolution operation according to a predefined criterion. Accordingly, the impulse response signal modeling unit 230 can shorten the convolution operation process and provide a high-speed operation. The audio signal processing apparatus stores the predefined reference in the memory and can utilize it in modeling. For example, the impulse response signal modeling unit 230 may remove a portion of the first sound field synthesis signal that is smaller in size than a preset reference value. In addition, when the first sound field synthesis signal includes the symmetrical portion, the impulse response signal modeling unit 230 can remove the opposite portion of the symmetrical shape. However, the method of removing the portion that does not affect the convolution operation in the first sound field synthesis signal in the present invention is not limited to this, and the audio signal processing apparatus may perform convolution It is possible to remove a portion that does not affect the calculation process.

오디오 신호 처리 장치의 프레임 처리부(250)는 입력 오디오 신호를 일정한 길이의 블록으로 중첩하며 분할하여 프레임 단위로 처리함으로써 프레임 신호를 생성할 수 있다. 이에 따라, 오디오 신호 처리 장치의 컨볼루션부(240)는 제1 음장합성 신호와 프레임 신호의 컨볼루션(convolution) 연산을 수행함으로써 출력 오디오 신호를 생성할 수 있다.The frame processing unit 250 of the audio signal processing apparatus can generate a frame signal by superimposing an input audio signal on a block of a predetermined length and dividing the input audio signal into a plurality of blocks and processing the result in units of frames. Accordingly, the convolution unit 240 of the audio signal processing apparatus can generate an output audio signal by performing a convolution operation between the first sound field synthesis signal and the frame signal.

컨벌루션부(240)는 입력 오디오 신호를 채널 별로 분리하여 연산을 수행할 수 있다. 이에 따라, 컨벌루션부(240)는 채널 별로 생성된 신호를 전부 중첩하여 더해(superposition) 출력 오디오 신호를 생성할 수 있다. 오디오 신호 처리 장치는 출력 오디오 신호를 재생하거나 또는 시간 영역으로 변환한 출력 오디오 신호를 오디오 신호 재생 단말에 전달할 수 있다.The convolution unit 240 may perform an operation by separating the input audio signal for each channel. Accordingly, the convolution unit 240 superposes all of the signals generated on a channel-by-channel basis to generate an output audio signal. The audio signal processing apparatus may reproduce the output audio signal or may convert the output audio signal into a time domain and transmit the output audio signal to the audio signal reproducing terminal.

도 3은 일실시예에 따라 QMF 영역상에서 출력 오디오 신호를 계산하는 오디오 신호 처리 장치를 도시한 도면이다.3 is a diagram showing an audio signal processing apparatus for calculating an output audio signal on a QMF region according to an embodiment.

이하에서 설명되는 오디오 신호 처리 장치의 오디오 신호 처리 방법은 앞서 설명한 과정과 유사하다.The audio signal processing method of the audio signal processing apparatus described below is similar to the above-described process.

오디오 신호 처리 장치의 전달함수 계산부(300)는 오디오 신호 재생 단말의 출력 정보와 사용자의 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 수신할 수 있다. 그러면, 전달함수 계산부(300)는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다. 전달함수는 음향입자의 속도와 관련된 함수를 의미할 수 있다. 구체적으로, 전달함수는 오디오 신호 재생 단말의 스피커의 위치에서 가상 마이크로폰의 배치된 위치로 방출되는 음향입자의 속도와 관련된 함수를 의미할 수 있다.The transfer function calculation unit 300 of the audio signal processing apparatus can receive the output information of the audio signal reproducing terminal and the output information of the virtual microphone array disposed in the user's listening space. Then, the transfer function calculator 300 can calculate the transfer function using the output information of the audio signal reproducing terminal and the output information of the virtual microphone arranged in the listening space. The transfer function may refer to a function related to the velocity of acoustic particles. Specifically, the transfer function may refer to a function related to the speed of acoustic particles emitted from the position of the speaker of the audio signal reproducing terminal to the position where the virtual microphone is disposed.

음장합성 필터 계산부(310)는 전달함수를 이용하여 음장합성 필터함수를 추출할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 오디오 신호를 오디오 신호 재생 단말의 출력 정보에 적합한 출력 오디오 신호로 변환하는 함수를 의미할 수 있다.The sound field synthesis filter calculation unit 310 can extract the sound field synthesis filter function using the transfer function. The sound field synthesis filter function may be a function for converting an input audio signal into an output audio signal suitable for output information of the audio signal reproducing terminal in order to provide an N-dimensional sound image regardless of the position of the user.

음장합성 필터함수는 주파수에 따라 변화하는 주파수 영역 상에서의 신호를 의미할 수 있다. 오디오 신호 처리 장치의 주파수/시간 변환부(320)는 음장합성 필터함수를 시간 영역으로 변환한 제1 음장합성 신호를 생성할 수 있다. 오디오 신호 처리 장치의 영신호 삽입부(330)는 제1 음장합성 신호의 뒷부분에 제1 음장합성 신호와 동일한 길이를 갖는 영신호를 삽입하여 제2 음장합성 신호를 생성할 수 있다.The sound field synthesis filter function may refer to a signal on a frequency domain that varies with frequency. The frequency / time conversion unit 320 of the audio signal processing apparatus can generate the first sound field synthesis signal obtained by converting the sound field synthesis filter function into the time domain. The null signal inserting unit 330 of the audio signal processor may generate a second sound field synthesized signal by inserting a null signal having the same length as that of the first sound field synthesized signal at the rear portion of the first sound field synthesized signal.

오디오 신호 처리 장치의 QMF 변환부(340, 370)는 제2 음장합성 신호와 입력 오디오 신호를 QMF 영역으로 변환할 수 있다. 일례로, QMF 변환부(340, 370)는 제2 음장합성 신호와 입력 오디오 신호를 K개의 밴드를 가지는 QMF 영역의 신호로 각각 변환할 수 있다. 이하에서 설명되는 제2 음장합성 신호를 QMF 영역으로 변환한 신호는 QMF 제2 음장합성 신호를 의미할 수 있다. 또한, 입력 오디오 신호를 QMF 영역으로 변환한 신호는 QMF 프레임 신호를 의미할 수 있다.The QMF conversion units 340 and 370 of the audio signal processing apparatus can convert the second sound field synthesis signal and the input audio signal into QMF regions. For example, the QMF converting units 340 and 370 may convert the second sound field synthesis signal and the input audio signal into signals of a QMF region having K bands, respectively. The signal obtained by converting the second sound field synthesis signal into the QMF domain described below may mean a QMF second sound field synthesis signal. In addition, a signal obtained by converting an input audio signal into a QMF region may mean a QMF frame signal.

오디오 신호 처리 장치의 QMF 충격 응답 모델링부(350)는 QMF 제2 음장합성 신호에서 컨볼루션 연산 수행에 영향을 적게 미치는 부분을 제거함으로써, 컨볼루션 연산 수행을 단축시킬 수 있다. 예를 들어, QMF 충격 응답 모델링부(350)는 QMF 제2 음장합성 신호에서 미리 설정된 기준보다 작은 크기를 갖는 신호를 제거할 수 있다. 또한, QMF 제2 음장합성 신호에서 대칭 형태의 부분이 포함되어 있는 경우, QMF 충격 응답 모델링부(350)는 대칭 형태의 반대 부분을 제거할 수 있다. 그러나, 본 발명에서의 QMF 제2 음장합성 신호에서 컨볼루션 연산 과정에 영향을 미치지 않는 부분을 제거하는 방법은 이에 한정되지 않고, 오디오 신호 처리 장치는 다양한 방법에 의해 제거할 수 있다. 오디오 신호 처리 장치의 컨볼루션부(380)는 컨볼루션 연산 수행을 적게 미치는 부분을 제거한 QMF 제2 음장합성 신호 및 QMF 프레임 신호를 이용하여 QMF 영역에서의 출력 오디오 신호를 생성할 수 있다.The QMF impulse response modeling unit 350 of the audio signal processing apparatus can shorten the convolution operation by removing a portion of the QMF second sound field synthesis signal that has less influence on the convolution operation. For example, the QMF impulse response modeling unit 350 may remove a signal having a size smaller than a predetermined reference in the QMF second sound field synthesis signal. In addition, when the symmetric portion is included in the QMF second sound field synthesis signal, the QMF impulse response modeling unit 350 can remove the opposite portion of the symmetric shape. However, the method of removing a portion that does not affect the convolution operation in the QMF second sound field synthesis signal in the present invention is not limited to this, and the audio signal processing apparatus can be removed by various methods. The convolution unit 380 of the audio signal processing apparatus can generate an output audio signal in the QMF region by using the QMF second sound field synthesis signal and the QMF frame signal from which a portion of less convolution operation is removed.

컨볼루션부(380)는 입력 오디오 신호를 채널 별로 분리하여 연산을 수행할 수 있다. 이에 따라, 컨볼루션부(380)는 채널 별로 생성된 신호를 전부 중첩(superposition)하여 합칠 수 있다. 오디오 신호 처리 장치의 QMF 역변환부(390)는 QMF 영역 상에서의 출력 오디오 신호를 역변환하여 시간 영역의 출력 오디오 신호(출력 스피커 신호)를 생성할 수 있다. 이에 따라, 오디오 신호 처리 장치는 시간 영역의 출력 오디오 신호를 재생하거나 또는 시간 영역의 출력 오디오 신호를 오디오 신호 재생 단말에 전달할 수 있다.The convolution unit 380 can perform an operation by separating the input audio signal for each channel. Accordingly, the convolution unit 380 superposes and superimposes the signals generated on a channel-by-channel basis. The QMF inverse transform unit 390 of the audio signal processing apparatus can invert the output audio signal on the QMF region to generate an output audio signal (output speaker signal) in the time domain. Accordingly, the audio signal processing apparatus can reproduce the output audio signal in the time domain or transmit the output audio signal in the time domain to the audio signal reproduction terminal.

도 4는 일실시예에 따른 입력 오디오 신호의 채널을 변환하여 출력 오디오 신호 생성하는 과정을 도시한 도면이다.4 is a diagram illustrating a process of converting an input audio signal according to an embodiment to generate an output audio signal.

오디오 신호 처리 장치는 오디오 신호 재생 단말의 출력 정보를 이용하여 사용자의 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 추출할 수 있다. 이에 따라, 오디오 신호 처리 장치는 추출된 출력 정보를 기초로 가상 마이크로폰 어레이를 배치할 수 있다. 예를 들어, 오디오 신호 재생 단말의 채널이 2차원 구조를 구성하는 경우, 가상 마이크로폰 어레이는 2차원 구조(원 형태)로 배치될 수 있다. 또는, 오디오 신호 재생 단말의 채널 정보가 NHK 22.2채널과 같이 3차원 구조를 구성하는 경우, 가상 마이크로폰 어레이는 3차원 구조(구 형태)로 배치될 수 있다.The audio signal processing apparatus can extract the output information of the virtual microphone array disposed in the user's listening space using the output information of the audio signal reproducing terminal. Thus, the audio signal processing apparatus can arrange the virtual microphone array based on the extracted output information. For example, when the channels of the audio signal reproducing terminal constitute a two-dimensional structure, the virtual microphone arrays can be arranged in a two-dimensional structure (circular shape). Alternatively, when the channel information of the audio signal reproducing terminal constitutes a three-dimensional structure such as the NHK 22.2 channel, the virtual microphone array may be arranged in a three-dimensional structure (spherical shape).

가상 마이크로폰 어레이(제어 서클)의 반지름은 주파수에 따라 변할 수 있다. 구체적으로, 가상 마이크로폰 어레이의 반지름은 하기 수학식 1과 같이 표현할 수 있다.The radius of the virtual microphone array (control circle) may vary with frequency. Specifically, the radius of the virtual microphone array can be expressed by the following equation (1).

Figure pat00001
Figure pat00001

λ 는 음파의 파장을 의미할 수 있고, c는 음파의 속도를 의미할 수 있다. 또한, f 는 주파수를 의미할 수 있다. lambda can be the wavelength of the sound wave, and c can mean the speed of the sound wave. Also, f may mean frequency.

오디오 신호 처리 장치는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 결정할 수 있다. 전달함수는 음향입자의 속도와 관련된 전달함수를 의미할 수 있다. 구체적으로, 전달함수는 오디오 신호 재생 단말의 스피커의 위치로부터 가상 마이크로폰이 배치된 위치로 방출되는 음향입자의 속도와 관련된 전달함수를 의미할 수 있다. 구체적으로, 전달함수는 하기 수학식 2와 같이 표현할 수 있다.The audio signal processing apparatus can determine the transfer function using the output information of the audio signal reproducing terminal and the output information of the virtual microphone arranged in the listening space. The transfer function may refer to a transfer function related to the velocity of acoustic particles. Specifically, the transfer function may refer to a transfer function related to the velocity of acoustic particles emitted from the position of the speaker of the audio signal reproducing terminal to the position where the virtual microphone is disposed. Specifically, the transfer function can be expressed by the following equation (2).

Figure pat00002
Figure pat00002

Figure pat00003
은 m번째 가상 마이크로폰의 위치,
Figure pat00004
은 오디오 신호 재생 단말의 n번째 스피커의 위치를 의미할 수 있다.
Figure pat00005
는 웨이브 넘버(wave number,
Figure pat00006
)를 의미할 수 있다. 또한,
Figure pat00007
는 익스포넨셜 펑션(exponential function)를 의미할 수 있다. 추가적으로,
Figure pat00008
,
Figure pat00009
,
Figure pat00010
을 의미할 수 있다.
Figure pat00011
은 수학식 1에서 나타낸 바와 같이 주파수 f일 때의 m번째 가상 마이크로폰의 반지름을 의미할 수 있다. 따라서 전달함수는 주파수에 따라 변화할 수 있다.
Figure pat00003
Is the position of the mth virtual microphone,
Figure pat00004
May represent the position of the n-th speaker of the audio signal reproducing terminal.
Figure pat00005
Is a wave number (wave number,
Figure pat00006
). ≪ / RTI > Also,
Figure pat00007
May refer to an exponential function. Additionally,
Figure pat00008
,
Figure pat00009
,
Figure pat00010
. ≪ / RTI >
Figure pat00011
May be the radius of the mth virtual microphone at frequency f, as shown in equation (1). Therefore, the transfer function may vary with frequency.

전달함수는 입력 오디오 신호를 수신하기 전에 결정될 수 있다. 따라서, 오디오 신호 처리 장치는 사전에 전달함수를 결정한 후 내부 저장 장치에 저장하여 활용할 수 있다. 이에 따라, 오디오 신호 처리 장치는 실시간으로 입력 오디오 신호를 출력 오디오 신호로 변환하여 처리할 수 있다.The transfer function may be determined before receiving the input audio signal. Therefore, the audio signal processing apparatus can determine the transfer function in advance and store it in the internal storage device for utilization. Accordingly, the audio signal processing apparatus can process the input audio signal into an output audio signal in real time.

오디오 신호 처리 장치는 전달함수를 이용하여 음장합성 필터함수를 계산할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 오디오 신호를 오디오 신호 재생 단말의 출력 정보에 적합한 출력 오디오 신호로 변환하는 함수를 의미할 수 있다. 구체적으로, 음장합성 필터함수는 하기 수학식 3과 같이 표현할 수 있다.The audio signal processing apparatus can calculate the sound field synthesis filter function using the transfer function. The sound field synthesis filter function may be a function for converting an input audio signal into an output audio signal suitable for output information of the audio signal reproducing terminal in order to provide an N-dimensional sound image regardless of the position of the user. Specifically, the sound field synthesis filter function can be expressed by the following equation (3).

Figure pat00012
Figure pat00012

Figure pat00013
은
Figure pat00014
번째 채널의 출력 오디오 신호를 위한 음장합성 필터함수를 의미할 수 있다. 오디오 신호 처리 장치는 입력 오디오 신호와 음장합성 필터함수의 컨볼루션 연산을 각 채널 별로 수행할 수 있다. 이에 따라, 오디오 신호 처리 장치는 채널 별로 수행한 결과를 중첩하여 더함으로써 출력 오디오 신호를 생성할 수 있다.
Figure pat00015
은 수학식 2에 표현된 전달함수를 의미할 수 있다. 또한,
Figure pat00016
는
Figure pat00017
의 허미션 트랜즈포즈 행렬(Hermitian Transpose Matrix)를 의미할 수 있고,
Figure pat00018
는 아이덴티티(identity) 행렬을 의미할 수 있다. 또한,
Figure pat00019
는 정규화 파라미터(regularization parameter)를 의미할 수 있고,
Figure pat00020
은 음향입자의 속도 벡터의 반경(inner radial)을 의미할 수 있다. 수학식 1에서 표현된 바와 같이, 주파수의 크기에 따라 가상 마이크로폰의 반지름은 변화할 수 있다. 따라서, 음장합성 필터함수는 주파수에 따라 변화하는 주파수 영역의 신호일 수 있다.
Figure pat00013
silver
Figure pat00014
Lt; th > channel < / RTI > output audio signal. The audio signal processing apparatus can perform a convolution operation of the input audio signal and the sound field synthesis filter function for each channel. Accordingly, the audio signal processing apparatus can generate an output audio signal by superimposing and superimposing the results performed for each channel.
Figure pat00015
Can be a transfer function expressed in Equation (2). Also,
Figure pat00016
The
Figure pat00017
Quot; Hermitian < / RTI > Transpose Matrix "
Figure pat00018
May refer to an identity matrix. Also,
Figure pat00019
May mean a regularization parameter,
Figure pat00020
May mean the inner radius of the velocity vector of acoustic particles. As expressed in Equation (1), the radius of the virtual microphone may vary according to the magnitude of the frequency. Thus, the sound field synthesis filter function may be a frequency domain signal that varies with frequency.

이에 따라 도 3에 도시된 바와 같이, 오디오 신호 처리 장치는 음장합성 필터함수를 제1 음장합성 신호로 변환할 수 있다. 오디오 신호 처리 장치는 제1 음장합성 신호에서 미리 설정된 기준에 따라 컨볼루션 연산에 영향을 미치지 않는 부분을 제거할 수 있다. 오디오 신호 처리 장치는 미리 설정된 기준을 오디오 신호 처리 장치의 메모리에 저장하여 활용할 수 있다.Accordingly, as shown in FIG. 3, the audio signal processing apparatus can convert the sound field synthesis filter function into a first sound field synthesis signal. The audio signal processing apparatus can remove a portion that does not affect the convolution operation according to a preset reference in the first sound field synthesis signal. The audio signal processing apparatus can store a preset reference in a memory of the audio signal processing apparatus and utilize it.

예를 들어, 도 3(a)에 도시된 바와 같이 제1 음장합성 신호는 앞쪽 부분만 의미 있는 크기를 가지고, 100 샘플 이후에는 아주 작은 크기의 신호들로 구성될 수 있다. 따라서, 도 3(b)에 도시된 바와 같이, 오디오 신호 처리 장치는 제1 음장 합성 신호의 앞부분 64샘플 이외의 부분을 제거하여 모델링할 수 있다. 또는, 제1 음장 합성 신호에 대칭 부분이 있는 경우, 오디오 신호 처리 장치는 어느 한 부분만을 선택하여 모델링함으로써 고속 연산을 수행할 수 있다. 예를 들어, 도 3(c)에 도시된 바와 같이, 오디오 신호 처리 장치는 제1 음장합성 신호에서 29샘플부터 64샘플만을 취하여 모델링 할 수 있다.For example, as shown in FIG. 3 (a), the first sound field synthesis signal may have a meaningful size only at the front portion and a very small size signal after 100 samples. Therefore, as shown in FIG. 3 (b), the audio signal processing apparatus can remove the portion other than the front 64 samples of the first sound field synthesis signal to model it. Alternatively, when there is a symmetric portion in the first sound field synthesis signal, the audio signal processing apparatus can perform a high-speed operation by selecting only one portion and modeling it. For example, as shown in FIG. 3 (c), the audio signal processing apparatus can model the first sound field synthesis signal by taking only 64 samples from 29 samples.

또한, 오디오 신호 처리 장치는 입력 오디오 신호를 블록으로 중첩하며 프레임 단위로 분할할 수 있다. 프레임 단위로 분할한 신호는 프레임 신호에 대응할 수 있다. 이 때, 오디오 신호 처리 장치는 프레임 신호의 길이와 영신호를 삽입한 제2 음장합성 신호의 길이는 동일할 수 있다.In addition, the audio signal processing apparatus can divide an input audio signal into blocks and divide them into units of frames. A signal obtained by dividing a frame unit may correspond to a frame signal. At this time, in the audio signal processing apparatus, the length of the frame signal and the length of the second sound field synthesis signal inserted with the zero signal may be the same.

예를 들어, 입력 오디오 신호의 프레임 크기가 N 샘플이면, 오디오 신호 처리 장치는 음장합성 필터함수를 N/2 샘플 길이의 제1 음장합성 신호로 변환할 수 있다. 또한, 오디오 신호 처리 장치는 N/2 샘플 길이의 영 신호를 뒤에 삽입하여 제2 음장합성 신호를 생성할 수 있다. 따라서, 프레임 신호와 제2 음장합성 신호의 길이는 동일할 수 있다.For example, if the frame size of the input audio signal is N samples, the audio signal processing device may convert the sound field synthesis filter function to a first sound field synthesis signal of N / 2 sample length. Further, the audio signal processing apparatus may insert a zero-length signal of N / 2 sample length to generate a second sound field synthesis signal. Therefore, the length of the frame signal and the second sound field synthesis signal may be the same.

오디오 신호 처리 장치는 프레임 신호와 제2 음장합성 신호를 주파수 영역상에서 컨볼루션 연산을 수행하여 출력 오디오 신호를 생성할 수 있다. 오디오 신호 처리 장치는 동일한 길이를 가지는 프레임 신호와 제2 음장합성 신호를 이용하여 선형 컨볼루션(linear convolution) 연산을 수행할 수 있다.The audio signal processing apparatus may perform a convolution operation on the frame signal and the second sound field synthesis signal on the frequency domain to generate an output audio signal. The audio signal processing apparatus can perform a linear convolution operation using a frame signal having the same length and a second sound field synthesis signal.

또한, 컨볼루션 연산 수행에 따른 출력 오디오 신호를 생성하기 전, 컨볼루션 데이터 버퍼(history buffer)와 입력 오디오 신호가 중첩하며 처리될 수 있다. 그러면, 오디오 신호 처리 장치는 추가적으로 중첩 부분에 대한 처리 과정을 수행할 수 있다.Further, the convolution data buffer and the input audio signal can be superimposed and processed before generating the output audio signal according to the convolution operation. Then, the audio signal processing apparatus can further perform a process for the overlapping portion.

오디오 신호 처리 장치는 입력 오디오 신호에 따라 다양한 기능을 제공할 수 있다. 예를 들어, 오디오 신호 처리 장치는 입력 오디오 신호를 입력 받아 오디오 신호 재생 단말의 출력 정보에 대응하는 출력 오디오 신호를 제공할 수 있다. 오디오 신호 처리 장치는 오디오 신호 재생 단말의 스피커의 위치 정보를 고려하여 출력 오디오 신호를 생성함으로써 원음장을 재현할 수 있다. 이때, 오디오 신호 처리 장치는 음장합성 필터함수를 통한 연산을 시간영역에서 간략하게 수행함으로써 고속 처리가 가능할 수 있다. 또한, 오디오 신호 처리 장치는 입력 오디오 신호를 오디오 신호 재생 단말에 적합하게 렌더링할 수 있다. 이에 따라, 오디오 신호 처리 장치는 원하는 렌더링 위치에 효율적으로 재생할 수 있다.The audio signal processing apparatus can provide various functions according to the input audio signal. For example, the audio signal processing apparatus may receive an input audio signal and provide an output audio signal corresponding to output information of the audio signal reproducing terminal. The audio signal processing apparatus can reproduce the original sound field by generating the output audio signal in consideration of the position information of the speaker of the audio signal reproducing terminal. At this time, the audio signal processing apparatus can perform the high-speed processing by performing the calculation through the sound field synthesis filter function briefly in the time domain. In addition, the audio signal processing apparatus can appropriately render the input audio signal to the audio signal reproducing terminal. Thereby, the audio signal processing apparatus can efficiently reproduce at a desired rendering position.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

Claims (1)

오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산하는 단계;
상기 전달함수를 이용하여 음장합성 필터함수를 추출하는 단계;
상기 음장합성 필터함수를 시간 영역으로 변환한 제1 음장합성 신호에 영신호를 삽입한 제2 음장합성 신호를 생성하는 단계;
주파수 영역 상에서 상기 제2 음장합성 신호와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 단계; 및
상기 생성한 출력 오디오 신호를 처리하는 단계
를 포함하는 오디오 신호 처리 방법.Calculating a transfer function using output information of an audio signal reproducing terminal and output information of a virtual microphone arranged in a listening space;
Extracting a sound field synthesis filter function using the transfer function;
Generating a second sound field synthesis signal in which a null signal is embedded in a first sound field synthesis signal obtained by converting the sound field synthesis filter function into a time domain;
Generating an output audio signal using the second sound field synthesis signal and the input audio signal in a frequency domain; And
Processing the generated output audio signal
/ RTI >
KR1020140072325A 2013-07-05 2014-06-13 Method and apparatus for processing audio signal KR102161169B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130078803 2013-07-05
KR1020130078803 2013-07-05

Publications (2)

Publication Number Publication Date
KR20150005439A true KR20150005439A (en) 2015-01-14
KR102161169B1 KR102161169B1 (en) 2020-09-29

Family

ID=52477287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140072325A KR102161169B1 (en) 2013-07-05 2014-06-13 Method and apparatus for processing audio signal

Country Status (1)

Country Link
KR (1) KR102161169B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119456A (en) * 2018-04-24 2020-12-22 应确始听(上海)互联网科技有限公司 Arbitrary signal insertion method and arbitrary signal insertion system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319823A (en) * 2005-05-16 2006-11-24 Sony Corp Acoustic device, sound adjustment method and sound adjustment program
JP2011193164A (en) * 2010-03-12 2011-09-29 Nippon Hoso Kyokai <Nhk> Down-mix device of multi-channel acoustic signal and program
WO2013024085A1 (en) * 2011-08-17 2013-02-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319823A (en) * 2005-05-16 2006-11-24 Sony Corp Acoustic device, sound adjustment method and sound adjustment program
JP2011193164A (en) * 2010-03-12 2011-09-29 Nippon Hoso Kyokai <Nhk> Down-mix device of multi-channel acoustic signal and program
WO2013024085A1 (en) * 2011-08-17 2013-02-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119456A (en) * 2018-04-24 2020-12-22 应确始听(上海)互联网科技有限公司 Arbitrary signal insertion method and arbitrary signal insertion system
CN112119456B (en) * 2018-04-24 2024-03-01 应确始听(上海)互联网科技有限公司 Arbitrary signal insertion method and arbitrary signal insertion system

Also Published As

Publication number Publication date
KR102161169B1 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
RU2661775C2 (en) Transmission of audio rendering signal in bitstream
ES2330274T3 (en) PROCEDURE AND DEVICE OF SPECIALIZATION SOUND BINAURAL EFFECTIVE IN THE TRANSFORMED DOMAIN.
US8284946B2 (en) Binaural decoder to output spatial stereo sound and a decoding method thereof
US11257478B2 (en) Signal processing device, signal processing method, and program
WO2017005978A1 (en) Spatial audio processing apparatus
KR102380192B1 (en) Binaural rendering method and apparatus for decoding multi channel audio
CN105325013A (en) Filtering with binaural room impulse responses
WO2010089357A2 (en) Sound system
CN105637902A (en) Method for and apparatus for decoding an ambisonics audio soundfield representation for audio playback using 2D setups
US11632643B2 (en) Recording and rendering audio signals
KR102656969B1 (en) Discord Audio Visual Capture System
EP3402221B1 (en) Audio processing device and method, and program
JP2020508590A (en) Apparatus and method for downmixing multi-channel audio signals
EP3025514B1 (en) Sound spatialization with room effect
CN112823534B (en) Signal processing device and method, and program
KR102161169B1 (en) Method and apparatus for processing audio signal
KR102161157B1 (en) Method and apparatus for processing audio signal
JP6463955B2 (en) Three-dimensional sound reproduction apparatus and program
CA3159189A1 (en) Multichannel audio encode and decode using directional metadata
CN105308989B (en) The method for playing back the sound of digital audio and video signals
KR102322120B1 (en) Method of producing a sound and apparatus for performing the same
JP2019050445A (en) Coefficient matrix-calculating device for binaural reproduction and program
CN113194400B (en) Audio signal processing method, device, equipment and storage medium
KR20190079993A (en) Method for authoring stereoscopic contents and application thereof
KR20090026009A (en) Method and apparatus of wfs reproduction to reconstruct the original sound scene in conventional audio formats

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant