KR102217832B1

KR102217832B1 - Method and apparatus for 3D sound reproducing using active downmix

Info

Publication number: KR102217832B1
Application number: KR1020200120307A
Authority: KR
Inventors: 김선민; 전상배
Original assignee: 삼성전자주식회사
Priority date: 2020-09-18
Filing date: 2020-09-18
Publication date: 2021-02-19
Also published as: KR20200113178A

Abstract

높이 입력 채널 신호를 포함하는 복수의 입력 채널 신호를 수신하고, 복수의 입력 채널 신호에 기초하여 위상 정렬을 위한 파라미터를 생성하고, 복수의 입력 채널 신호의 제1 주파수 범위를 위상 정렬하기 위해, 위상 정렬을 위한 파라미터에 기초하여 다운믹스 매트릭스를 수정하고, 수정된 다운믹스 매트릭스에 기초하여 복수의 입력 채널 신호를 복수의 출력 채널 신호로 다운믹싱하고, 제1 주파수 범위는 2.8 kHz 미만 및 10 kHz 초과를 포함하고, 높이 입력 채널 신호는 고도 정보에 기초하여 식별되고, 수정된 다운믹스 매트릭스는 일반 장면을 위한 제1 다운믹스 매트릭스와 고도로 디코릴레이트된(highly decorrelated) 광대역 장면을 위한 제2 다운믹스 매트릭스를 포함하고, 다운믹싱하는 것은 수신된 플래그에 따라 선택되는 제1 다운믹스 매트릭스 및 제2 다운믹스 매트릭스 중 하나에 의해 수행되는, 오디오 신호 렌더링 방법이 개시된다.To receive a plurality of input channel signals including a height input channel signal, generate a parameter for phase alignment based on the plurality of input channel signals, and phase align a first frequency range of the plurality of input channel signals, phase Modify the downmix matrix based on the parameters for alignment, downmix multiple input channel signals into multiple output channel signals based on the modified downmix matrix, the first frequency range is less than 2.8 kHz and greater than 10 kHz Including, the height input channel signal is identified based on the elevation information, and the modified downmix matrix is a first downmix matrix for a general scene and a second downmix for a highly decorrelated broadband scene. A method of rendering an audio signal is disclosed, comprising a matrix and downmixing is performed by one of a first downmix matrix and a second downmix matrix selected according to a received flag.

Description

Method and apparatus for 3D sound reproducing using active downmix method and apparatus {Method and apparatus for 3D sound reproducing using active downmix}

본 발명은 입체 음향 재생 방법 및 장치에 관한 것으로, 특히 고도감을 제공하는 다채널 오디오 신호를 재생하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for reproducing a stereoscopic sound, and more particularly, to a method and apparatus for reproducing a multi-channel audio signal providing a sense of height.

영상 및 음향 처리 기술의 발달에 힘입어 고화질 고음질의 컨텐츠가 다량 생산되고 있다. 고화질 고음질의 컨텐츠를 요구하던 사용자는 현실감 있는 영상 및 음향을 원하고 있으며, 이에 따라 입체 영상 및 입체 음향에 대한 연구가 활발히 진행되고 있다. With the development of image and sound processing technology, a large amount of high-definition, high-quality content is being produced. Users who have requested high-definition, high-quality content want realistic images and sounds, and accordingly, studies on stereoscopic images and stereophonic sound are being actively conducted.

입체 음향은 복수 개의 스피커를 수평면상의 다른 위치에 배치하고, 각각의 스피커에서 동일한 또는 상이한 음향 신호를 출력함으로써 사용자가 공간감을 느끼도록 하는 기술이다. 그러나, 실제 음향은 수평면상의 다양한 위치에서 발생할 뿐만 아니라 상이한 고도에서도 발생할 수 있다. 따라서, 상이한 고도에서 발생하는 음향 신호를 수평면상에 배치된 스피커를 통해 재생하는 기술이 필요하다.Stereoscopic sound is a technology that allows a user to feel a sense of space by disposing a plurality of speakers at different positions on a horizontal plane and outputting the same or different sound signals from each speaker. However, the actual sound can occur not only at various locations on the horizontal plane, but also at different altitudes. Therefore, there is a need for a technique for reproducing sound signals generated at different altitudes through speakers disposed on a horizontal plane.

본 발명은 입체 음향 재생 방법 및 장치에 관한 것으로, 다운 믹스 방식에 따라 입체 음향을 재생하는 방법에 관한 것입니다.The present invention relates to a method and apparatus for reproducing stereophonic sound, and to a method for reproducing stereophonic sound according to a downmix method.

실시 예에 의한 오디오 신호 렌더링 방법은 높이 입력 채널 신호를 포함하는 복수의 입력 채널 신호를 수신하는 단계, 상기 복수의 입력 채널 신호에 기초하여 위상 정렬을 위한 파라미터를 생성하는 단계, 상기 복수의 입력 채널 신호의 제1 주파수 범위를 위상 정렬하기 위해, 상기 위상 정렬을 위한 파라미터에 기초하여 다운믹스 매트릭스를 수정하는 단계 및 상기 수정된 다운믹스 매트릭스에 기초하여 상기 복수의 입력 채널 신호를 복수의 출력 채널 신호로 다운믹싱하는 단계를 포함하고, 상기 제1 주파수 범위는 2.8 kHz 미만 및 10 kHz 초과를 포함하고, 상기 높이 입력 채널 신호는 고도 정보에 기초하여 식별되고, 상기 수정된 다운믹스 매트릭스는 일반 장면을 위한 제1 다운믹스 매트릭스와 고도로 디코릴레이트된(highly decorrelated) 광대역 장면을 위한 제2 다운믹스 매트릭스를 포함하고, 상기 다운믹싱하는 단계는 수신된 플래그에 따라 선택되는 상기 제1 다운믹스 매트릭스 및 상기 제2 다운믹스 매트릭스 중 하나에 의해 수행될 수 있다. An audio signal rendering method according to an embodiment includes receiving a plurality of input channel signals including a height input channel signal, generating a parameter for phase alignment based on the plurality of input channel signals, the plurality of input channels Modifying a downmix matrix based on the parameter for phase alignment to phase align a first frequency range of the signal, and converting the plurality of input channel signals to a plurality of output channel signals based on the modified downmix matrix Downmixing to, wherein the first frequency range includes less than 2.8 kHz and greater than 10 kHz, the height input channel signal is identified based on altitude information, and the modified downmix matrix represents a general scene. A first downmix matrix for a highly decorrelated broadband scene and a second downmix matrix for a highly decorrelated broadband scene, wherein the downmixing step includes the first downmix matrix selected according to the received flag and the It can be performed by one of the second downmix matrices.

실시 예에 따른 오디오 신호 렌더링 장치는 프로세서 및 상기 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고, 상기 프로세서는 높이 입력 채널 신호를 포함하는 복수의 입력 채널 신호를 수신하고, 상기 복수의 입력 채널 신호에 기초하여 위상 정렬을 위한 파라미터를 생성하고, 상기 복수의 입력 채널 신호의 제1 주파수 범위를 위상 정렬하기 위해, 상기 위상 정렬을 위한 파라미터에 기초하여 다운믹스 매트릭스를 수정하고, 및 상기 수정된 다운믹스 매트릭스에 기초하여 상기 복수의 입력 채널 신호를 복수의 출력 채널 신호로 다운믹싱하고, 여기서, 상기 제1 주파수 범위는 2.8 kHz 미만 및 10 kHz 초과를 포함하고, 상기 높이 입력 채널 신호는 고도 정보에 기초하여 식별되고, 상기 수정된 다운믹스 매트릭스는 일반 장면을 위한 제1 다운믹스 매트릭스와 고도로 디코릴레이트된(highly decorrelated) 광대역 장면을 위한 제2 다운믹스 매트릭스를 포함하고, 상기 다운믹싱은 수신된 플래그에 따라 선택되는 상기 제1 다운믹스 매트릭스 및 상기 제2 다운믹스 매트릭스 중 하나에 의해 수행될 수 있다. An audio signal rendering apparatus according to an embodiment includes a processor and a memory for storing at least one instruction executed by the processor, wherein the processor receives a plurality of input channel signals including a height input channel signal, and the plurality of Generating a parameter for phase alignment based on the input channel signal of, and modifying a downmix matrix based on the parameter for phase alignment to phase align the first frequency ranges of the plurality of input channel signals, and Downmixing the plurality of input channel signals into a plurality of output channel signals based on the modified downmix matrix, wherein the first frequency range comprises less than 2.8 kHz and greater than 10 kHz, and the height input channel signal Is identified based on altitude information, and the modified downmix matrix includes a first downmix matrix for a general scene and a second downmix matrix for a highly decorrelated broadband scene, and the downmix matrix Mixing may be performed by one of the first downmix matrix and the second downmix matrix selected according to the received flag.

본 발명의 일 실시 예에 의하면, 액티브다운 믹스 방식에 따라 음향 신호 믹싱을 수행할 때, 고도감이 감소되지 않게 믹싱을 수행할 수 있다.According to an embodiment of the present invention, when mixing an acoustic signal according to an active-down mixing method, mixing may be performed so that the sense of altitude is not reduced.

본 발명의 일 실시 예에 있어서, 액티브다운 믹스 방식에 의한 효과가 실질적으로 나타날 수 있는 저주파 신호에 대하여 액티브다운 믹스 방식을 적용함으로써 액티브다운 믹스 방식에 따라 믹싱되는 경우 발생될 수 있는 연산량 증가 및 고도감 저하를 최소화할 수 있다.In one embodiment of the present invention, by applying the active-down mixing method to a low-frequency signal in which the effect of the active-down mixing method may be substantially exhibited, the amount of computation that may be generated when the active-down mixing method is mixed is increased and high. It is possible to minimize the degradation of the encyclopedia.

도 1 및 도 2는 본 발명의 일 실시 예에 의한 입체 음향 재생 장치의 내부 구조를 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 있어서, 3D 렌더러 및 믹서의 내부 구조를 나타낸 블록도이다.
도 4 및 도 5는 본 발명의 일 실시 예에 의한 입체 음향 재생 방법을 도시한 순서도이다.
도 6은 본 발명의 일 실시 예에 의한 액티브다운 믹싱 방식의 일 예를 나타낸 예시도이다.1 and 2 are block diagrams showing the internal structure of a stereoscopic sound reproducing apparatus according to an embodiment of the present invention.
3 is a block diagram showing an internal structure of a 3D renderer and a mixer according to an embodiment of the present invention.
4 and 5 are flowcharts illustrating a method for reproducing a stereoscopic sound according to an embodiment of the present invention.
6 is an exemplary diagram showing an example of an active-down mixing method according to an embodiment of the present invention.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in the following description and the accompanying drawings, detailed descriptions of known functions or configurations that may obscure the subject matter of the present invention will be omitted. In addition, it should be noted that the same components are indicated by the same reference numerals as possible throughout the drawings.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the present specification and claims described below should not be construed as being limited to a conventional or dictionary meaning, and the inventors are appropriately defined as terms for describing their own invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that it can be done. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical ideas of the present invention, and thus various alternatives that can be substituted for them at the time of application It should be understood that there may be equivalents and variations.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When a part of the specification is said to "include" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated. In addition, terms such as "... unit" and "module" described in the specification mean units that process at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. .

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

도 1 및 도 2는 본 발명의 일 실시 예에 의한 입체 음향 재생 장치의 내부 구조를 나타낸 블록도이다.1 and 2 are block diagrams showing the internal structure of a stereoscopic sound reproducing apparatus according to an embodiment of the present invention.

본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 재생될 채널로 다운 믹싱된 다채널 오디오 신호를 출력할 수 있다. The stereoscopic sound reproducing apparatus 100 according to an embodiment of the present invention may output a multi-channel audio signal down-mixed to a channel to be reproduced.

입체 음향이란, 음의 고저, 음색뿐만 아니라 방향이나 거리감까지 재생하여 임장감을 가지게 하고, 음원이 발생한 공간에 위치하지 않은 청취자에게 방향감, 거리감 및 공간감을 지각할 수 있게 하는 공간 정보를 부가한 음향을 의미한다.Three-dimensional sound is a sound with spatial information that reproduces not only the pitch and tone of the sound, but also a sense of direction and distance, and adds spatial information that allows listeners who are not located in the space where the sound source is generated to perceive a sense of direction, distance, and space. it means.

이하 설명에서 오디오 신호의 채널은 음향이 출력되는 스피커의 개수를 의미할 수 있다. 채널 수가 많을수록, 음향이 출력되는 스피커의 개수가 많아질 수 있다. 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 채널 수가 많은 다채널 오디오 신호가 채널 수가 적은 환경에서 출력되고 재생될 수 있도록 다채널 오디오 신호를 재생될 채널로 렌더링하고 믹싱할 수 있다. 이때 다채널 오디오 신호는 고도 음향을 출력할 수 있는 채널을 포함할 수 있다. In the following description, a channel of an audio signal may mean the number of speakers through which sound is output. As the number of channels increases, the number of speakers through which sound is output may increase. The stereoscopic sound reproducing apparatus 100 according to an embodiment of the present invention may render and mix a multi-channel audio signal into a channel to be reproduced so that a multi-channel audio signal having a large number of channels can be output and reproduced in an environment with a small number of channels. . In this case, the multi-channel audio signal may include a channel capable of outputting a high level sound.

고도 음향을 출력할 수 있는 채널은 고도감을 느낄 수 있도록 청취자의 머리 위에 위치한 스피커를 통해 음향 신호를 출력할 수 있는 채널을 의미할 수 있다. 수평면 채널은 청취자와 수평한 면에 위치한 스피커를 통해 음향 신호를 출력할 수 있는 채널을 의미할 수 있다.A channel capable of outputting a high level sound may mean a channel capable of outputting a sound signal through a speaker located above a listener's head so that a sense of altitude can be felt. The horizontal channel may mean a channel capable of outputting an audio signal through a speaker positioned on a horizontal surface with a listener.

상술된 채널 수가 적은 환경은 고도 음향을 출력할 수 있는 채널을 포함하지 않고, 수평면 채널에 따라 수평면 상에 배치된 스피커를 통해 음향을 출력할 수 있는 환경을 의미할 수 있다.The above-described environment with a small number of channels does not include a channel capable of outputting a high level sound, and may mean an environment capable of outputting sound through a speaker disposed on a horizontal plane according to a horizontal channel.

*또한, 이하 설명에서 수평면 채널(horizontal channel)은 수평면 상에 배치된 스피커를 통해 출력될 수 있는 오디오 신호를 포함하는 채널을 의미할 수 있다. 오버헤드 채널(Overhead channel)은 수평면이 아닌 고도 상에 배치되어 고도음을 출력할 수 있는 스피커를 통해 출력될 수 있는 오디오 신호를 포함하는 채널을 의미할 수 있다.*In addition, in the following description, a horizontal channel may mean a channel including an audio signal that can be output through a speaker disposed on a horizontal plane. The overhead channel may refer to a channel including an audio signal that can be output through a speaker that is disposed on an altitude rather than a horizontal plane and can output a high altitude sound.

도 1을 참조하면, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 렌더러(110) 및 믹서(120)를 포함할 수 있다. 그러나 도시된 구성요소가 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 입체 음향 재생 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 입체 음향 재생 장치(100)가 구현될 수 있다.Referring to FIG. 1, a stereoscopic sound reproducing apparatus 100 according to an embodiment of the present invention may include a renderer 110 and a mixer 120. However, not all of the illustrated components are essential components. The 3D sound reproducing apparatus 100 may be implemented by more components than the illustrated components, and the 3D sound reproducing apparatus 100 may be implemented by fewer components than the illustrated components.

이하 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the above components will be described in order.

본 발명의 일 실시 예에 의한, 입체 음향 재생 장치(100)는 다채널 오디오 신호를 렌더링하고, 믹싱하여 재생될 채널로 출력할 수 있다. 예를 들면, 다채널 오디오 신호는 22.2 채널 신호이고, 재생될 채널은 5.1 또는 7.1 채널일 수 있다. 입체 음향 재생 장치(100)는 다채널 오디오 신호의 각 채널들을 대응시킬 채널을 정함으로써 렌더링을 수행하고 재생될 채널과 대응된 각 채널들의 신호를 합쳐 최종 신호로 출력함으로써 렌더링된 오디오 신호들을 믹싱할 수 있다.According to an embodiment of the present invention, the stereoscopic sound reproducing apparatus 100 may render, mix, and output a multichannel audio signal as a channel to be reproduced. For example, a multi-channel audio signal may be a 22.2 channel signal, and a channel to be reproduced may be a 5.1 or 7.1 channel. The 3D sound reproducing apparatus 100 performs rendering by determining a channel to correspond to each channel of a multi-channel audio signal, and combines the rendered audio signals by combining the signals of the channels to be reproduced and the corresponding channels as a final signal. I can.

렌더러(110)는 다채널 오디오 신호를 채널 및 주파수에 따라 렌더링할 수 있다. 렌더러(110)는 다채널 오디오 신호를 오버헤드 채널과 수평면 채널에 따른 신호를 각각 3D(dimensional) 렌더링 및 2D(dimensional) 렌더링할 수 있다. The renderer 110 may render multi-channel audio signals according to channels and frequencies. The renderer 110 may perform 3D (dimensional) rendering and 2D (dimensional) rendering of a multichannel audio signal according to an overhead channel and a horizontal channel, respectively.

렌더러(110)는 오버헤드 채널을 3D 렌더링하기 위해 HRTF(Head Related Transfer filter) 변형 필터를 통과한 오버헤드 채널을 주파수에 따라 각각 다른 방법으로 렌더링할 수 있다. HRTF 변형 필터는 두 귀간의 레벨 차이 및 두 귀 간에서 음향 시간이 도달하는 시간 차이 등의 단순한 경로 차이뿐만 아니라, 머리 표면에서의 회절, 귓바퀴에 의한 반사 등 복잡한 경로상의 특성이 음의 도래 방향에 따라 변화하는 현상에서 발생하는 음색의 변형을 적용시켜 다른 방향에서 도달하는 음향의 음색으로 변형시킨다. HRTF 변형 필터는 오디오 신호의 음질을 변화시킴으로써 입체 음향이 인식될 수 있도록 오버헤드 채널에 포함된 오디오 신호들을 처리할 수 있다.In order to 3D render the overhead channel, the renderer 110 may render the overhead channels that have passed through the HRTF (Head Related Transfer Filter) deformation filter in different ways according to frequencies. The HRTF strain filter has not only simple path differences, such as the difference in level between the two ears and the time difference between the sound time reaching between the two ears, but also the complex path characteristics such as diffraction on the head surface and reflection by the auricle. By applying the transformation of the tone that occurs in the phenomena that change accordingly, it transforms the tone of the sound arriving from another direction. The HRTF transforming filter may process audio signals included in an overhead channel so that a stereophonic sound can be recognized by changing the sound quality of the audio signal.

렌더러(110)는 오버해드 채널 신호 중 저주파 신호에 대하여는 애드-투-클로지스트-채널(Add to the closest channel) 방법에 따라 렌더링하고, 고주파 신호에 대하여는 멀티채널 패닝(Multichannel panning) 방법에 따라 렌더링할 수 있다. 멀티 채널 패닝 방법에 의하면, 다채널 오디오 신호의 각 채널의 신호가 각 채널 신호에 렌더링될 채널마다 서로 다르게 설정된 게인 값이 적용되어 적어도 하나의 수평면 채널에 각각 렌더링될 수 있다. 게인 값이 적용된 각 채널의 신호들은 믹싱을 통해 합쳐짐으로써 최종 신호로 출력될 수 있다.The renderer 110 renders a low-frequency signal among overhead channel signals according to an add-to-close-channel method, and a multichannel panning method for a high-frequency signal. can do. According to the multi-channel panning method, a signal of each channel of a multi-channel audio signal may be rendered in at least one horizontal channel by applying a gain value set differently for each channel to be rendered to each channel signal. Signals of each channel to which a gain value is applied are summed through mixing, and thus can be output as a final signal.

저주파 신호는 회절성이 강하므로, 멀티 채널 패닝 방법에 따라 다채널 오디오 신호의 각 채널을 여러 채널에 각각 나누어 렌더링하지 않고, 하나의 채널에만 렌더링하여도 청취자가 듣기에 비슷한 음질을 가질 수 있다. 따라서, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 저주파 신호를 애드-투-클로지스트-채널 방법에 따라 랜더링함으로써 하나의 출력 채널에 여러 채널이 믹싱됨에 따라 발생될 수 있는 음질 열화를 방지할 수 있다. 즉, 하나의 출력 채널에 여러 채널이 믹싱되면 각 채널 신호 간의 간섭에 따라 음질이 증폭되거나 감소되어 열화될 수 있으므로, 하나의 출력 채널에 하나의 채널을 믹싱함으로써 음질 열화를 방지할 수 있다.Since the low-frequency signal has strong diffraction properties, the multi-channel panning method does not divide each channel of the multi-channel audio signal into several channels, and renders only one channel to have similar sound quality for listeners to hear. Accordingly, the stereoscopic sound reproducing apparatus 100 according to an embodiment of the present invention renders a low-frequency signal according to an add-to-closest-channel method, thereby producing sound quality that may be generated as multiple channels are mixed in one output channel. It can prevent deterioration. That is, when multiple channels are mixed in one output channel, sound quality may be amplified or reduced and deteriorated according to interference between each channel signal, and thus sound quality deterioration may be prevented by mixing one channel into one output channel.

애드 투 클로지스트 채널 방법에 의하면, 다채널 오디오 신호의 각 채널은 여러 채널에 나누어 렌더링하는 대신 재생될 채널들 중 가장 가까운 채널에 렌더링될 수 있다.According to the add-to-closed channel method, each channel of a multi-channel audio signal may be rendered to the nearest channel among channels to be reproduced instead of being divided into several channels for rendering.

또한, 입체 음향 재생 장치(100)는 주파수에 따라 다른 방법으로 렌더링을 수행함으로써 스위트 스팟(sweet spot)을 음질 열화 없이 넓힐 수 있다. 즉, 회절 특성이 강한 저주파 신호에 대하여는 애드 투 클로지스트 채널 방법에 따라 렌더링함으로써, 하나의 출력 채널에 여러 채널이 믹싱됨에 따라 발생될 수 있는 음질 열화를 방지할 수 있다. 스위트 스팟이란, 청취자가 왜곡되지 않은 입체 음향을 최적으로 청취할 수 있는 소정 범위를 의미한다. 스위트 스팟이 넓을수록 청취자는 넓은 범위에서 왜곡되지 않은 입체 음향을 최적으로 청취할 수 있고, 청취자가 스위트 스팟에 위치하지 않는 경우, 음질 또는 음상 등이 왜곡된 음향을 청취할 수 있다. In addition, the 3D sound reproducing apparatus 100 may widen a sweet spot without deteriorating sound quality by performing rendering in a different manner according to a frequency. That is, by rendering a low-frequency signal having strong diffraction characteristics according to the add-to-closed channel method, it is possible to prevent deterioration of sound quality that may occur as multiple channels are mixed in one output channel. The sweet spot means a predetermined range in which a listener can optimally listen to a stereoscopic sound without distortion. The wider the sweet spot, the more optimally the listener can listen to a stereophonic sound that is not distorted over a wide range, and when the listener is not located in the sweet spot, the sound quality or sound image is distorted.

믹서(120)는 렌더러(110)에 의해 수평 채널과 대응된 각 채널들의 신호를 합쳐 최종 신호로 출력할 수 있다. 믹서(120)는 소정 구간별로 각 채널들의 신호를 믹싱할 수 있다. 예를 들면, 믹서(120)는 1 프레임 별로 각 채널들의 신호를 믹싱할 수 있다. The mixer 120 may combine signals of the horizontal channels and corresponding channels by the renderer 110 and output them as a final signal. The mixer 120 may mix signals of channels for each predetermined period. For example, the mixer 120 may mix signals of channels for each frame.

본 발명의 일 실시 예에 의한 믹서(120)는 주파수에 따라 렌더링된 신호들을 액티브다운 믹스(Active downmix) 방식으로 믹싱할 수 있다. 자세히 설명하면, 믹서(120)는 저주파 신호에 대하여는 액티브다운 믹스 방식으로 믹싱할 수 있다. 또한, 믹서(120)는 고주파 신호에 대하여는 재생될 각 채널들에 렌더링된 신호들의 파워 값에 기초하여 최종 신호의 진폭 또는 최종 신호에 적용될 게인(gain)을 결정하는 파워 보존 방식(Power preserving module)으로 믹싱할 수 있다. 더하여, 믹서(120)는 고주파 신호에 대하여, 파워 보존 방식에 한하지 않고, 각 신호의 위상이 보정되어 믹싱되는 방식을 제외한 다른 방법에 따라 믹싱할 수도 있다. The mixer 120 according to an embodiment of the present invention may mix signals rendered according to frequencies in an active downmix method. In detail, the mixer 120 may mix low-frequency signals in an active-down mix method. In addition, the mixer 120 is a power preserving module for determining the amplitude of the final signal or a gain to be applied to the final signal based on the power values of the signals rendered in each channel to be reproduced for a high frequency signal. Can be mixed with. In addition, the mixer 120 may mix the high-frequency signals according to a method other than a method in which the phase of each signal is corrected and mixed, not limited to the power conservation method.

액티브다운 믹스 방식이란, 믹싱될 채널로 합해지는 신호들 간의 공분산 매트릭스(covariance matrix)를 사용하여 다운믹싱할 때 각 신호의 위상(phase)을 보정하여 믹싱하는 방법을 의미한다. 예를 들면, 다운믹싱되는 신호들 중 에너지가 가장 큰 신호를 기준으로 각 신호들의 위상이 보정될 수 있다. 액티브다운 믹스 방식에 의하면, 합해지는 신호들 간에 보강 간섭이 이루어질 수 있도록 각 신호의 위상이 보정됨으로써, 믹싱될 때 발생될 수 있는 상쇄 간섭으로 인한 음질의 왜곡을 방지할 수 있다. 특히, 액티브다운 믹스 방식에 따라 음향 신호를 믹싱하는 경우, 각 신호의 위상이 맞지 않아 상쇄 간섭이 발생됨으로 인해 믹싱된 음향 신호의 음색이 변화하거나 소리가 사라지는 현상을 방지할 수 있다.The active-down mixing method refers to a method of mixing by correcting a phase of each signal when downmixing by using a covariance matrix between signals added to a channel to be mixed. For example, a phase of each signal may be corrected based on a signal having the largest energy among downmixed signals. According to the active-down mixing method, the phase of each signal is corrected so that constructive interference can occur between the signals to be summed, thereby preventing distortion of sound quality due to destructive interference that may occur when mixing. In particular, when the sound signals are mixed according to the active-down mixing method, it is possible to prevent a phenomenon in which the tone of the mixed sound signal changes or the sound disappears due to the occurrence of destructive interference due to the out-of-phase of each signal.

한편, 오버헤드 채널 신호를 HRTF 변형 필터를 통과시키고 멀티 채널 패닝을 통하여 입체 음향 신호를 재생하는 가상 렌더링 기술은 좌우 써라운드 스피커(surround speaker)을 통해 동기가 맞는 음원이 재생됨으로써 고도감 있는 입체 음향이 출력될 수 있다. 특히, 좌우 써라운드 스피커를 통해 동기가 맞는 음원이 재생됨으로써 동일한 양이 입력 신호(binaural signal)가 제공됨에 따라 음상에 고도감이 부여될 수 있다.On the other hand, the virtual rendering technology that passes the overhead channel signal through the HRTF transform filter and reproduces the stereophonic sound signal through multi-channel panning is a high-level stereoscopic sound by reproducing a synchronized sound source through the left and right surround speakers. Can be output. Particularly, a sound source that is synchronized through the left and right surround speakers is reproduced, thereby providing a binaural signal having the same amount, thereby giving a sense of height to the sound image.

그러나, 액티브다운 믹스 방식에 따라 신호들을 다운믹싱하는 경우, 신호들의 위상이 제각각 달라질 수 있으므로, 각 채널간 신호들의 동기가 어긋남에 따라 고도감이 제공되지 않을 수 있다. 예를 들면, 오버헤드 채널에 대한 신호들의 동기가 믹싱 과정에서 어긋나는 경우, 두 귀간 음향 시간이 도달하는 시간 차이에 따라 인식될 수 있는 고도감이 없어지므로, 액티브다운 믹스의 적용으로 인해 음질이 열화될 수 있다.However, when signals are downmixed according to the active-down mixing scheme, since the phases of the signals may be different, the sense of altitude may not be provided as synchronization between signals between channels is shifted. For example, if the synchronization of signals for the overhead channel is out of sync during the mixing process, the sense of altitude that can be perceived according to the time difference between the two ears reaching the sound time is lost, and the sound quality deteriorates due to the application of the active-down mix. Can be.

따라서, 믹서(120)는 회절성이 강한 저주파 신호에 대하여는 두 귀간 음향 시간이 도달하는 시간 차이가 거의 인식되지 않고, 저주파 성분에서 위상 중첩 현상이 두드러지는 점에서 액티브다운 믹스 방식에 따라 저주파 신호를 믹싱할 수 있다. 또한, 믹서(120)는 두 귀간 음향 시간이 도달하는 시간 차이에 따라 인식될 수 있는 고도감 정도가 강한 고주파 신호에 대하여는 위상이 보정되지 않는 믹싱 방식에 따라 믹싱할 수 있다. 예를 들면, 믹서(120)는 파워 보존 방식에 따라 상쇄 간섭이 발생됨에 의해 상쇄된 에너지를 보존시킴으로써 상쇄 간섭으로 인한 음질의 왜곡을 최소화하면서 고주파 신호를 믹싱할 수 있다.Therefore, the mixer 120 hardly recognizes the time difference between the two ears reaching the acoustic time for the low-frequency signal with strong diffraction, and the phase overlap phenomenon is remarkable in the low-frequency component, so that the low-frequency signal is generated according to the active-down mixing method. You can mix. In addition, the mixer 120 may mix a high-frequency signal with a strong sense of altitude that can be recognized according to a time difference between the two ears reaching the sound time, according to a mixing method in which a phase is not corrected. For example, the mixer 120 may mix a high-frequency signal while minimizing distortion of sound quality due to the destructive interference by conserving energy canceled by the occurrence of destructive interference according to the power conservation method.

더하여, 본 발명의 일 실시 예에 있어서, QMF(quadrature mirror filter) 필터뱅크에서 특정 크로스오버 주파수 이상의 밴드 성분은 고주파로 간주하고, 나머지는 저주파로 간주하는 방식으로 구현됨으로써 저주파 신호와 고주파 신호에 대해 각각 렌더링 및 믹싱이 수행될 수 있다. QMF 필터는 입력 신호를 저주파와 고주파로 나누어 출력하는 필터를 의미할 수 있다.In addition, in an embodiment of the present invention, in a quadrature mirror filter (QMF) filter bank, a band component of a specific crossover frequency or higher is regarded as high frequency, and the rest is regarded as low frequency. Rendering and mixing may be performed respectively. The QMF filter may refer to a filter that divides an input signal into low frequency and high frequency and outputs it.

더하여, 액티브다운 믹스는 주파수 밴드 별로 수행될 수 있는데, 다운 믹스가 이루어지는 채널들 간 공분산(covariance)를 산출해야 하는 등의 매우 높은 연산량을 가지고 있어, 저주파 신호만 액티브다운 믹스로 믹싱하면 그 자체의 연산량을 줄일 수 있다. 예를 들어, 음향 신호 재생 장치(100)에서 48kHz로 샘플링된 신호를 QMF 필터뱅크에서 3kHz 이하의 소리만 액티브다운 믹스를 적용하고 그 이상의 주파수의 소리는 파워 보존 모듈을 적용하는 경우, 연산량이 약 1/3 정도로 감소될 수 있다. In addition, active-down mixing can be performed for each frequency band, and it has a very high amount of computation, such as having to calculate covariance between channels in which down-mixing is performed, so when only low-frequency signals are mixed with an active-down mix, the The amount of computation can be reduced. For example, when the audio signal reproducing apparatus 100 applies the active-down mix to only sounds of 3 kHz or less in the QMF filter bank to the signal sampled at 48 kHz and the power conservation module is applied for sounds of higher frequencies, the computational amount is weak. It can be reduced to about 1/3.

뿐만 아니라, 실질적으로 녹음된 음원과 같은 경우에는 고주파 신호들일수록 한 채널 신호가 다른 채널과 위상이 같을 확률이 낮아 액티브다운 믹스에 의해 믹싱 시 불필요한 연산이 수행되기도 한다.In addition, in the case of a substantially recorded sound source, the higher the high frequency signals are, the lower the probability that one channel signal is in phase with the other channel, and thus unnecessary calculations are performed during mixing by active-down mixing.

도 2를 참조하면, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(200)는 음향 분석부(210), 렌더러(220), 믹서(230) 및 출력부(240)를 포함할 수 있다. 도 2의 입체 음향 재생 장치(200), 렌더러(220) 및 믹서(230)는 도 1의 입체 음향 재생 장치(100), 렌더러(210) 및 믹서(220)와 대응되고, 중복되는 설명은 생략하기로 한다. 그러나 도시된 구성요소가 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 입체 음향 재생 장치(200)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 입체 음향 재생 장치(200)가 구현될 수 있다.Referring to FIG. 2, a stereoscopic sound reproducing apparatus 200 according to an embodiment of the present invention may include an acoustic analysis unit 210, a renderer 220, a mixer 230, and an output unit 240. The 3D sound reproducing apparatus 200, the renderer 220, and the mixer 230 of FIG. 2 correspond to the 3D sound reproducing apparatus 100, the renderer 210, and the mixer 220 of FIG. 1, and duplicate descriptions are omitted. I will do it. However, not all of the illustrated components are essential components. The 3D sound reproducing apparatus 200 may be implemented by more components than the illustrated components, and the 3D sound reproducing apparatus 200 may be implemented by fewer components than the illustrated components.

음향 분석부(210)는 다채널 오디오 신호를 분석하여 렌더링 모드를 선택하고, 다채널 오디오 신호에 포함된 일부 신호를 분리하여 출력할 수 있다. 음향 분석부(210)는 렌더링 모드 선택부(211)와 렌더링 신호 분리부(212)를 포함할 수 있다.The acoustic analysis unit 210 may analyze the multi-channel audio signal to select a rendering mode, and separate and output some signals included in the multi-channel audio signal. The acoustic analysis unit 210 may include a rendering mode selection unit 211 and a rendering signal separation unit 212.

렌더링 모드 선택부(211)는 다채널 오디오 신호에 박수 소리나 빗(rain) 소리와 같이 트랜지언트(transient)한 신호가 많은지 여부를 소정 구간별로 판단할 수 있다. 이하 설명에서 박수(applause) 소리나 빗소리와 같이 트랜지언트(transient)한, 즉 순간적이고 일시적인 신호가 많은 오디오 신호를 어플라우즈(applause) 신호로 지칭하기로 한다. The rendering mode selector 211 may determine whether there are many transient signals such as a clap sound or a rain sound in the multi-channel audio signal for each predetermined section. In the following description, a transient audio signal such as an applause sound or a rain sound, that is, a lot of instantaneous and temporary signals, will be referred to as an applause signal.

본 발명의 일 실시 예에 의한 입체 음향 재생 장치(200)는 어플라우즈 신호를 분리하여, 어플라우즈 신호의 특징에 따라 채널 렌더링 및 믹싱을 처리할 수 있다.The stereoscopic sound reproducing apparatus 200 according to an embodiment of the present invention may separate the applause signal and perform channel rendering and mixing according to characteristics of the applause signal.

렌더링 모드 선택부(211)는 어플라우즈 신호가 다채널 오디오 신호에 포함되어 있는지 여부에 따라 렌더링 모드를 일반(general) 모드 또는 어플라우즈 모드 중 하나로 선택할 수 있다. 렌더러(220)는 렌더링 모드 선택부(211)에 의해 선택된 모드에 따라 렌더링할 수 있다. 즉, 렌더러(220)는 선택된 모드에 따라 어플라우즈 신호에 대한 렌더링을 수행할 수 있다.The rendering mode selection unit 211 may select a rendering mode as either a general mode or an applause mode according to whether the applause signal is included in the multi-channel audio signal. The renderer 220 may render according to the mode selected by the rendering mode selection unit 211. That is, the renderer 220 may perform rendering on the applause signal according to the selected mode.

렌더링 모드 선택부(211)는 어플라우즈 신호가 다채널 오디오 신호에 포함되어 있지 않은 경우, 일반 모드를 선택할 수 있다. 일반 모드에 의하면, 오버헤드 채널 신호는 3D 렌더러(221)에 의해 렌더링될 수 있고, 수평 채널 신호는 2D 렌더러(222)에 의해 렌더링될 수 있다. 즉, 어플라우즈 신호의 고려 없이 렌더링이 수행될 수 있다.The rendering mode selection unit 211 may select a normal mode when the applause signal is not included in the multi-channel audio signal. In the normal mode, the overhead channel signal can be rendered by the 3D renderer 221, and the horizontal channel signal can be rendered by the 2D renderer 222. That is, rendering can be performed without considering the applause signal.

렌더링 모드 선택부(211)는 어플라우즈 신호가 다채널 오디오 신호에 포함되어 있는 경우, 어플라우즈 모드를 선택할 수 있다. 어플라우즈 모드에 의하면, 어플라우즈 신호가 분리되고, 분리된 어플라우즈 신호에 대해 렌더링이 수행될 수 있다.The rendering mode selection unit 211 may select the applause mode when the applause signal is included in the multi-channel audio signal. According to the applause mode, the applause signal is separated, and rendering may be performed on the separated applause signal.

렌더링 모드 선택부(211)는 다채널 오디오 신호에 포함되어 있거나 다른 장치로부터 별도로 수신된 어플라우즈 비트 정보를 이용하여 어플라우즈 신호가 다채널 오디오 신호에 포함되어 있는지 여부를 소정 구간별로 판단할 수 있다. 어플라우즈 비트 정보는 MPEG 계열의 코덱에 의하면 bsTsEnable 또는 bsTempShapeEnableChannel 플래그 정보를 포함하여, 상술된 플래그 정보에 의해 렌더링 모드가 렌더링 모드 선택부(211)에 의해 선택될 수 있다.The rendering mode selection unit 211 determines whether or not the applause signal is included in the multi-channel audio signal by using the applause bit information included in the multi-channel audio signal or separately received from another device. I can. The applause bit information includes bsTsEnable or bsTempShapeEnableChannel flag information according to an MPEG-based codec, and a rendering mode may be selected by the rendering mode selection unit 211 according to the above-described flag information.

또한, 렌더링 모드 선택부(211)는 판단하고자 하는 소정 구간의 다채널 오디오 신호의 특성에 기초하여 렌더링 모드를 선택할 수 있다. 즉, 렌더링 모드 선택부(211)는 소정 구간의 다채널 오디오 신호의 특성이 어플라우즈 신호를 포함하는 오디오 신호의 특성을 가지는지 여부에 따라 렌더링 모드를 선택할 수 있다. In addition, the rendering mode selection unit 211 may select a rendering mode based on characteristics of a multi-channel audio signal of a predetermined section to be determined. That is, the rendering mode selection unit 211 may select a rendering mode according to whether the characteristic of the multi-channel audio signal in a predetermined section has the characteristic of an audio signal including an applause signal.

렌더링 모드 선택부(211)는 소정 구간의 다채널 오디오 신호에 다수의 입력 채널에 토널(Tonal) 하지 않은 광대역(wideband) 신호가 존재하고, 그 신호의 레벨이 채널 별로 유사한지 여부, 짧은 구간의 임펄스(impulse) 형태가 반복되는지 여부 및 채널 간 연관성(correlation)이 낮은지 여부 중 적어도 하나의 조건에 기초하여 어플라우즈(applause) 신호가 다채널 오디오 신호에 포함되어 있는지 여부를 판단할 수 있다. The rendering mode selection unit 211 includes a wideband signal that is not tonal in a plurality of input channels in a multi-channel audio signal of a predetermined section, and whether the level of the signal is similar for each channel, It is possible to determine whether an applause signal is included in a multi-channel audio signal based on at least one condition of whether an impulse shape is repeated and whether a correlation between channels is low. .

렌더링 모드 선택부(211)는 어플라우즈(applause) 신호가 현재 구간에서 다채널 오디오 신호에 포함되어 있는 것으로 판단한 경우, 렌더링 모드를 어플라우즈 모드로 선택할 수 있다.When it is determined that the applause signal is included in the multi-channel audio signal in the current section, the rendering mode selector 211 may select the rendering mode as the applause mode.

렌더링 신호 분리부(212)는 렌더링 신호 선택부(211)에 의해 어플라우즈 모드가 선택된 경우, 다채널 오디오 신호에 포함된 어플라우즈 신호를 일반 음향 신호와 분리할 수 있다. When the applause mode is selected by the rendering signal selection unit 211, the rendering signal separation unit 212 may separate the applause signal included in the multi-channel audio signal from the general sound signal.

MPEG USAC 계열에서의 bsTsdEnable 플래그가 사용되는 경우, 해당 채널의 고도(elevation)에 관련 없이 플래그 정보에 따라 수평 채널 신호와 같이 2D 렌더링될 수 있다. 또한, 오버헤드 신호도 플래그 정보에 따라 수평 채널 신호로 가정되어 믹싱될 수 있다. 즉, 렌더링 신호 분리부(212)는 플래그 정보에 따라 소정 구간의 다채널 오디오 신호에 포함된 어플라우즈 신호를 분리할 수 있고, 분리된 어플라우즈 신호는 수평 채널 신호와 같이 2D 랜더링될 수 있다.When the bsTsdEnable flag in the MPEG USAC series is used, it may be 2D rendered like a horizontal channel signal according to flag information regardless of the elevation of the corresponding channel. Also, the overhead signal may be mixed assuming a horizontal channel signal according to flag information. That is, the rendering signal separating unit 212 may separate the applause signal included in the multi-channel audio signal of a predetermined section according to the flag information, and the separated applause signal may be 2D rendered like a horizontal channel signal. have.

플래그가 사용되지 않는 경우, 렌더링 신호 분리부(212)는 채널들간의 신호를 분석하여 어플라우즈 신호 성분을 분리할 수 있다. 오버헤드 신호 중에서 분리된 어플라우즈 신호는 2D 렌더링되고, 어플라우즈 신호가 아닌 나머지 신호는 3D 렌더링될 수 있다.When the flag is not used, the rendering signal separating unit 212 may separate the applause signal component by analyzing signals between channels. The applause signal separated from the overhead signals may be 2D rendered, and other signals other than the applause signal may be 3D rendered.

렌더러(220)는 오버 헤드 신호를 3D 랜더링 방법에 따라 렌더링하는 3D 렌더러(221)와 수평면 채널 신호 또는 어플라우즈 신호를 2D 랜더링 방법에 따라 렌더링하는 2D 렌더러(222)를 포함할 수 있다.The renderer 220 may include a 3D renderer 221 for rendering an overhead signal according to a 3D rendering method, and a 2D renderer 222 for rendering a horizontal channel signal or an applause signal according to a 2D rendering method.

3D 렌더러(221)는 오버 헤드 신호를 주파수에 따라 각각 다른 방법으로 렌더링할 수 있다. 3D 랜더러(221)는 저주파 신호는 애드 투 클로지스트 채널 방법으로 랜더링하고, 고주파 신호는 3D 랜더링 방법에 따라 랜더링할 수 있다. 이하에서, 3D 랜더링 방법은 오버헤드 신호를 랜더링하는 방법을 의미하는 것으로, 3D 랜더링 방법은 멀티 채널 패닝 방법을 포함할 수 있다.The 3D renderer 221 may render the overhead signal in different ways depending on the frequency. The 3D renderer 221 may render a low-frequency signal according to an add-to-closed channel method and a high-frequency signal according to a 3D rendering method. Hereinafter, the 3D rendering method refers to a method of rendering an overhead signal, and the 3D rendering method may include a multi-channel panning method.

2D 렌더러(222)는 수평면 채널 신호 또는 어플라우즈 신호를 2D 랜더링 방법, 애드 투 클로지스트 채널 방법 및 에너지 부스트(energy boost) 방법 중 적어도 하나의 방법에 따라 렌더링할 수 있다. 이하에서 2D 랜더링 방법은 수평면 채널 신호를 랜더링하는 방법을 의미하는 것으로, 2D 랜더링 방법은 다운믹스 수식(Downmix Equation) 또는 VBAP 방법을 포함할 수 있다.The 2D renderer 222 may render a horizontal channel signal or an applause signal according to at least one of a 2D rendering method, an add-to-close channel method, and an energy boost method. Hereinafter, the 2D rendering method refers to a method of rendering a horizontal channel signal, and the 2D rendering method may include a downmix equation or a VBAP method.

믹서(230)는 렌더링된 신호들을 각 채널별로 연산하여 최종 신호를 출력할 수 있다. 본 발명의 일 실시 예에 의한 믹서(230)는 주파수에 따라 렌더링된 신호들을 액티브다운 믹스(Active downmix) 방식으로 믹싱할 수 있다. 따라서, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(200)는 저주파 신호에 대하여 액티브다운 믹스 방식으로 믹싱함으로써 상쇄 간섭에 따라 발생될 수 있는 음색 왜곡을 감소시킬 수 있다. 또한, 입체 음향 재생 장치(200)는 저주파 신호를 제외한 고주파 신호에 대하여는 액티브다운 믹스 방식 외에 예를 들면, 파워 보존 모듈에 따라 믹싱함으로써 액티브다운 믹스의 적용으로 발생될 수 있는 고도감 저하를 방지할 수 있다.The mixer 230 may calculate the rendered signals for each channel and output a final signal. The mixer 230 according to an embodiment of the present invention may mix signals rendered according to frequencies in an active downmix method. Accordingly, the 3D sound reproducing apparatus 200 according to an embodiment of the present invention may reduce tone distortion that may occur due to destructive interference by mixing a low frequency signal in an active-down mixing method. In addition, the 3D sound reproducing apparatus 200 prevents a decrease in altitude that may occur due to the application of the active-down mix by mixing the high-frequency signals excluding the low-frequency signals in addition to the active-down mixing method, for example, according to the power conservation module. I can.

출력부(240)는 믹서(230)에 의해 믹싱된 신호를 스피커를 통해 최종 출력시킬 수 있다. 이때 출력부(240)는 믹싱된 신호의 채널에 따라 각각 다른 스피커를 통해 음향 신호를 출력시킬 수 있다.The output unit 240 may finally output the signal mixed by the mixer 230 through a speaker. In this case, the output unit 240 may output sound signals through different speakers according to channels of the mixed signal.

도 3은 본 발명의 일 실시 예에 있어서, 3D 렌더러 및 믹서의 내부 구조를 나타낸 블록도이다. 도 3의 3D 렌더러(301) 및 믹서(302)는 도 2의 3D 렌더러(221) 및 믹서(230)와 대응되며 중복되는 설명은 생략하기로 한다. 그러나 도시된 구성요소가 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 3D 렌더러(301) 및 믹서(302)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 3D 렌더러(301) 및 믹서(302)가 구현될 수 있다.3 is a block diagram showing an internal structure of a 3D renderer and a mixer according to an embodiment of the present invention. The 3D renderer 301 and the mixer 302 of FIG. 3 correspond to the 3D renderer 221 and the mixer 230 of FIG. 2, and redundant descriptions will be omitted. However, not all of the illustrated components are essential components. The 3D renderer 301 and the mixer 302 may be implemented by more components than the illustrated components, and the 3D renderer 301 and the mixer 302 may be implemented by fewer components.

도 5를 참조하면, 3D 렌더러(301)는 HRTF 변형 필터(310), LPF(320), HPF(330), 애드-투-클로지스트 채널(340) 및 멀티채널 패닝(350)을 포함할 수 있다.Referring to FIG. 5, the 3D renderer 301 may include an HRTF transform filter 310, an LPF 320, an HPF 330, an add-to-close channel 340, and a multichannel panning 350. have.

HRTF 변형 필터(310)는 다채널 오디오 신호 중 오버헤드 채널 신호를 HRTF 변형 필터링할 수 있다.The HRTF transformation filter 310 may perform HRTF transformation filtering on an overhead channel signal among multi-channel audio signals.

LPF(320)는 HRTF 변형 필터링된 오버헤드 채널 신호 중 저주파 성분을 분리하여 출력할 수 있다.The LPF 320 may separate and output a low frequency component of the HRTF modified filtered overhead channel signal.

HPF(320)는 HRTF 변형 필터링된 오버헤드 채널 신호 중 고주파 성분을 분리하여 출력할 수 있다.The HPF 320 may separate and output a high frequency component of the HRTF modified filtered overhead channel signal.

애드 투 클로지스트 채널(340)는 오버헤드 채널 신호 중 저주파 성분을 각 채널 수평면에 투영하였을 경우 가장 가까운 채널로 렌더링할 수 있다.When the low frequency component of the overhead channel signal is projected onto the horizontal plane of each channel, the add-to-closest channel 340 may render to the nearest channel.

멀티 채널 패닝(350)는 오버헤드 채널 신호 중 고주파 성분을 멀티 채널 패닝 방법에 따라 렌더링할 수 있다.The multi-channel panning 350 may render a high-frequency component of the overhead channel signal according to a multi-channel panning method.

또한, 도 3을 참조하면, 믹서(302)는 액티브다운 믹스 모듈(360) 및 파워 보존 모듈(370)을 포함할 수 있다.In addition, referring to FIG. 3, the mixer 302 may include an active-down mix module 360 and a power conservation module 370.

액티브다운 믹스 모듈(360)은 3D 렌더러(301)에 의해 렌더링된 신호 중 애드 투 클로지스트 채널(540)에 의해 렌더링된 오버헤드 채널 신호 중 저주파 성분에 대하여 액티브다운 믹싱 방식으로 믹싱할 수 있다. 액티브다운 믹스 모듈(360)은 보강 간섭을 유도하기 위해 각 채널별로 합해지는 신호들의 위상을 보정하는 액티브다운 믹스 방식에 따라 저주파 성분을 믹싱할 수 있다.The active-down mixing module 360 may mix low-frequency components of the overhead channel signals rendered by the add-to-close channel 540 among signals rendered by the 3D renderer 301 in an active-down mixing method. The active-down mixing module 360 may mix low-frequency components according to an active-down mixing method for correcting phases of signals added to each channel in order to induce constructive interference.

파워 보존 모듈(370)은 3D 렌더러(301)에 의해 렌더링된 신호 중 멀티 채널 패닝(350)에 의해 렌더링된 오버헤드 채널 신호 중 고주파 성분에 대하여 파워 보존 방식에 따라 믹싱할 수 있다. 파워 보존 모듈(370)은 고주파 성분에 대하여 각 채널들에 렌더링된 신호들의 파워 값에 기초하여 최종 신호의 진폭 또는 최종 신호에 적용될 게인(gain)을 결정하는 파워 보존 방식으로 믹싱할 수 있다. 본 발명의 일 실시 예에 의한 파워 보존 모듈(370)은 상술된 파워 보존 방식으로 고주파 성분의 신호를 믹싱할 수 있으나 이에 한하지 않고, 다른 방법에 따라 믹싱할 수도 있다.The power conservation module 370 may mix high-frequency components of the overhead channel signals rendered by the multi-channel panning 350 among signals rendered by the 3D renderer 301 according to a power conservation method. The power conservation module 370 may mix the high-frequency components in a power conservation method that determines the amplitude of the final signal or a gain to be applied to the final signal based on the power values of the signals rendered to each channel. The power conservation module 370 according to an embodiment of the present invention may mix a signal of a high frequency component using the power conservation method described above, but is not limited thereto, and may be mixed according to another method.

믹서(302)는 액티브다운 믹스 모듈(360) 및 파워 보존 모듈(370)에 의해 믹싱된 신호들을 합하여 믹싱된 3D 음향 신호를 출력할 수 있다.The mixer 302 may combine signals mixed by the active-down mix module 360 and the power conservation module 370 to output a mixed 3D sound signal.

이하에서는 상술된 액티브다운 믹스 방식에 따라 입체 음향을 재생하는 방법에 대해 도 4 및 도 5를 참조하여 자세히 살펴보기로 한다.Hereinafter, a method of reproducing 3D sound according to the above-described active-down mixing method will be described in detail with reference to FIGS. 4 and 5.

도 4 및 도 5는 본 발명의 일 실시 예에 의한 입체 음향 재생 방법을 도시한 순서도이다.4 and 5 are flowcharts illustrating a method for reproducing a stereoscopic sound according to an embodiment of the present invention.

도 4를 참조하면, 단계 S401에서, 입체 음향 재생 장치(100)는 재생하고자 하는 다채널 오디오 신호를 획득할 수 있다.Referring to FIG. 4, in step S401, the stereoscopic sound reproducing apparatus 100 may acquire a multi-channel audio signal to be reproduced.

단계 S403에서, 입체 음향 재생 장치(100)는 각 채널별로 렌더링할 수 있다. 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 주파수에 따라 렌더링할 수 있으나, 이에 한하지 않고, 다양한 방법으로 렌더링할 수 있다.In step S403, the stereoscopic sound reproducing apparatus 100 may render for each channel. The stereoscopic sound reproducing apparatus 100 according to an embodiment of the present invention may render according to a frequency, but is not limited thereto, and may be rendered in various ways.

단계 S405에서, 입체 음향 재생 장치(100)는 단계 S403에서 렌더링된 신호들을 주파수에 따라 액티브다운 믹스 방식으로 믹싱할 수 있다. 자세히 설명하면, 입체 음향 재생 장치(100)는 저주파 성분에 대하여는 액티브다운 믹스 방식으로 믹싱하고, 고주파 성분에 대하여는 다른 방식으로 믹싱할 수 있다. 예를 들면, 입체 음향 재생 장치(100)는 고주파 성분에 대하여는 각 채널별로 렌더링된 신호들의 파워값에 따라 결정된 게인을 적용함으로써 상쇄 간섭에 의해 상쇄된 에너지를 보존될 수 있도록 믹싱하는 파워 보존 방식으로 믹싱할 수 있다.In step S405, the 3D sound reproducing apparatus 100 may mix the signals rendered in step S403 in an active-down mixing method according to a frequency. In detail, the 3D sound reproducing apparatus 100 may mix low-frequency components in an active-down mixing method and high-frequency components in a different manner. For example, the 3D sound reproducing apparatus 100 applies a gain determined according to the power value of signals rendered for each channel to a high frequency component, thereby mixing the energy canceled by destructive interference to be preserved. You can mix.

따라서, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 액티브다운 믹스 방식을 고주파 성분에 적용함에 따라 발생될 수 있는 고도감의 저하를 최소화할 수 있다.Accordingly, the 3D sound reproducing apparatus 100 according to an embodiment of the present invention can minimize a decrease in altitude that may occur when the active-down mixing method is applied to a high frequency component.

도 5는 도 4에 도시된 입체 음향 재생 방법에서 주파수별로 렌더링하고 믹싱하는 방법이 더 상세히 도시된 순서도이다.5 is a flowchart illustrating in more detail a method of rendering and mixing for each frequency in the stereoscopic sound reproduction method illustrated in FIG. 4.

도 5를 참조하면, 단계 S501에서, 입체 음향 재생 장치(100)는 재생하고자 하는 다채널 오디오 신호를 획득할 수 있다. 이때, 입체 음향 재생 장치(100)는 어플라우즈 신호가 삽입되어 있는 경우, 어플라우즈 신호를 분리하여, 어플라우즈 신호의 특징에 따라 채널 렌더링 및 믹싱을 처리할 수 있다. Referring to FIG. 5, in step S501, the stereoscopic sound reproducing apparatus 100 may acquire a multi-channel audio signal to be reproduced. In this case, when the applause signal is inserted, the stereoscopic sound reproducing apparatus 100 may separate the applause signal and process channel rendering and mixing according to characteristics of the applause signal.

단계 S503에서, 입체 음향 재생 장치(100)는 단계 S501에서 획득한 입체 음향 신호를 오버헤드 채널 신호와 수평면 채널의 신호로 분리하여 렌더링 및 믹싱을 각각 수행할 수 있다. 즉, 입체 음향 재생 장치(100)는 오버헤드 채널 신호는 3D 렌더링 및 믹싱, 수평면 채널 신호는 2D 렌더링 및 믹싱 처리를 수행할 수 있다.In step S503, the 3D sound reproducing apparatus 100 may perform rendering and mixing by separating the 3D sound signal obtained in step S501 into an overhead channel signal and a horizontal channel signal. That is, the 3D sound reproducing apparatus 100 may perform 3D rendering and mixing for an overhead channel signal, and 2D rendering and mixing for a horizontal channel signal.

단계 S505에서, 입체 음향 재생 장치(100)는 고도감이 제공될 수 있도록 오버헤드 채널 신호를 HRTF 변형 필터로 필터링할 수 있다.In step S505, the 3D sound reproducing apparatus 100 may filter the overhead channel signal with an HRTF transform filter so that a sense of height may be provided.

단계 S507에서, 입체 음향 재생 장치(100)는 오버헤드 채널 신호를 고주파와 저주파로 분리하여, 렌더링 및 믹싱 처리를 수행할 수 있다.In step S507, the 3D sound reproducing apparatus 100 may perform rendering and mixing processing by separating the overhead channel signal into high frequency and low frequency.

단계 S509에서, 입체 음향 재생 장치(100)는 오버헤드 채널 신호 중 고주파 신호에 대하여, 단계 S511에서, 3D 렌더링 방법에 따라 렌더링할 수 있다. 3D 렌더링 방법은 멀티 채널 패닝 방법을 포함할 수 있다. 멀티 채널 패닝(panning)이란 다채널 오디오 신호의 각 채널 신호들이 재생될 채널들에 배분되는 것을 의미할 수 있다. 이때, 패닝 계수가 적용된 각 채널 신호들이 재생될 채널들에 배분될 수 있다. 고주파 신호의 경우, 고도감이 올라갈수록 두 귀간의 레벨 차이(Interaural level difference, ILD)가 줄어드는 특성을 제공하기 위해 서라운드 채널에 신호가 배분될 수 있다. 또한, 프론트 채널과 패닝되는 다수의 채널의 개수에 의해 음향 신호의 방향이 정위될 수 있다.In step S509, the 3D sound reproducing apparatus 100 may render a high-frequency signal among the overhead channel signals according to a 3D rendering method in step S511. The 3D rendering method may include a multi-channel panning method. Multi-channel panning may mean that each channel signal of a multi-channel audio signal is distributed to channels to be reproduced. In this case, each channel signal to which the panning coefficient is applied may be distributed to channels to be reproduced. In the case of a high-frequency signal, a signal may be allocated to a surround channel to provide a characteristic that an interaural level difference (ILD) between two ears decreases as the sense of altitude increases. In addition, the direction of the sound signal may be positioned according to the number of the front channel and the plurality of channels that are panned.

단계 S513에서, 입체 음향 재생 장치(100)는 단계 S511에서 렌더링된 고주파 신호를 액티브다운 믹스 방식 이외의 방식으로 믹싱할 수 있다. 예를 들어, 입체 음향 재생 장치(100)는 렌더링된 고주파 신호를 파워 보존 모듈에 따라 믹싱할 수 있다.In step S513, the 3D sound reproducing apparatus 100 may mix the high-frequency signal rendered in step S511 in a manner other than the active-down mixing method. For example, the 3D sound reproducing apparatus 100 may mix the rendered high-frequency signal according to the power conservation module.

또한, 단계 S515에서, 입체 음향 재생 장치(100)는 오버헤드 채널 신호 중 저주파 신호는 상술된 애드 투 클로지스트 채널 방법에 따라 렌더링할 수 있다. 하나의 채널에 많은 신호, 즉 다채널 오디오 신호의 여러 개의 채널 신호가 섞이게 되면 각기 다른 위상으로 인해 음질이 상쇄되거나 증폭됨에 따라 음질 열화가 발생될 수 있다. 애드 투 클로지스트 채널 방법에 의하면, 입체 음향 재생 장치(100)는 상술된 음질 열화의 발생을 방지하기 위해 각 채널 수평면에 투영하였을 경우 가장 가까운 채널로 매핑할 수 있다.Further, in step S515, the 3D sound reproducing apparatus 100 may render the low-frequency signal among the overhead channel signals according to the above-described add-to-closest channel method. When many signals, that is, multiple channel signals of a multi-channel audio signal are mixed in one channel, sound quality may be deteriorated as sound quality is canceled or amplified due to different phases. According to the add-to-closest channel method, the 3D sound reproducing apparatus 100 may map to the nearest channel when projected on a horizontal plane of each channel in order to prevent the above-described sound quality deterioration.

다채널 오디오 신호가 주파수 신호 또는 필터 뱅크 신호인 경우, 저주파에 해당하는 빈(bin) 또는 밴드(band)는 애드 투 클로지스트 채널 방법, 고주파에 해당하는 빈(bin) 또는 밴드(band)는 멀티 채널 패닝 방법에 따라 렌더링될 수 있다. 빈(bin) 또는 밴드(band)는 주파수 도메인에서의 소정 단위만큼의 신호 구간을 의미할 수 있다.When the multi-channel audio signal is a frequency signal or a filter bank signal, the bin or band corresponding to the low frequency is an add-to-close channel method, and the bin or band corresponding to the high frequency is multi-channel. It can be rendered according to the channel panning method. A bin or a band may mean a signal interval of a predetermined unit in the frequency domain.

단계 S521에서, 입체 음향 재생 장치(100)는 단계 S519에서 렌더링된 수평면 채널의 신호를 파워 보존 모듈에 따라 믹싱할 수 있다.In step S521, the 3D sound reproducing apparatus 100 may mix the signal of the horizontal plane channel rendered in step S519 according to the power conservation module.

단계 S523에서, 입체 음향 재생 장치(100)는 오버헤드 채널 신호와 수평면 채널 신호의 믹싱된 최종 신호를 출력할 수 있다.In step S523, the 3D sound reproducing apparatus 100 may output a mixed final signal of the overhead channel signal and the horizontal channel signal.

도 6은 본 발명의 일 실시 예에 의한 액티브다운 믹싱 방식의 일 예를 나타낸 예시도이다.6 is an exemplary diagram showing an example of an active-down mixing method according to an embodiment of the present invention.

신호(610)과 신호(620)이 믹싱되는 경우, 각 신호의 위상이 일치하지 않아 상쇄 간섭이 발생되어 음질이 왜곡될 수 있다. 따라서, 액티브다운 믹스 방식에 따라 에너지가 상대적으로 적은 신호(610)의 위상을 신호(620)에 맞추어 보정하고, 각 신호를 믹싱할 수 있다. 믹싱된 신호(630)를 참조하면, 신호(610)의 위상이 뒤로 시프트됨에 따라 보강 간섭이 발생될 수 있다.When the signal 610 and the signal 620 are mixed, the phase of each signal is not matched, resulting in destructive interference, and sound quality may be distorted. Accordingly, the phase of the signal 610 having relatively low energy may be corrected according to the signal 620 according to the active-down mixing method, and each signal may be mixed. Referring to the mixed signal 630, constructive interference may occur as the phase of the signal 610 is shifted backward.

본 발명의 일 실시 예에 있어서, 액티브다운 믹스 방식에 의한 효과가 실질적으로 나타날 수 있는 저주파 신호에 대하여 액티브다운 믹스 방식을 적용함으로써 액티브다운 믹스 방식에 따라 믹싱되는 경우 발생될 수 있는 연산량 증가 및 고도감 저하를 최소화할 수 있다.In one embodiment of the present invention, by applying the active-down mixing method to a low-frequency signal in which the effect of the active-down mixing method may be substantially exhibited, the amount of computation that may be generated when the active-down mixing method is mixed is increased and high. You can minimize the deterioration of the encyclopedia.

본 발명의 일 실시 예에 의한 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.The method according to an embodiment of the present invention may be implemented as code that can be read by a computer (including all devices having an information processing function) on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices storing data that can be read by a computer system. Examples of computer-readable recording devices include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, and optical data storage devices.

비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.Although the above description has been described with focus on the novel features of the present invention applied to various embodiments, those skilled in the art will have the above-described apparatus and method without departing from the scope of the present invention. It will be appreciated that various deletions, substitutions, and changes are possible in the form and detail of a. Accordingly, the scope of the invention is defined by the appended claims rather than by the above description. All modifications within the equivalent range of the claims are included in the scope of the present invention.

Claims

Receiving a plurality of input channel signals including height input channel signals;
Generating a parameter for phase alignment based on the plurality of input channel signals;
Modifying a downmix matrix based on the parameter for phase alignment to phase align the first frequency ranges of the plurality of input channel signals; And
Downmixing the plurality of input channel signals into a plurality of output channel signals based on the modified downmix matrix,
The first frequency range includes less than 2.8 kHz and greater than 10 kHz,
The height input channel signal is identified based on altitude information,
The modified downmix matrix includes a first downmix matrix for a general scene and a second downmix matrix for a highly decorrelated broadband scene,
The downmixing step is performed by one of the first downmix matrix and the second downmix matrix selected according to a received flag.

In the audio signal rendering apparatus,
Processor; And
And a memory storing at least one instruction executed by the processor,
The processor is
Receiving a plurality of input channel signals including a height input channel signal,
Generate a parameter for phase alignment based on the plurality of input channel signals,
Modifying a downmix matrix based on the parameter for phase alignment to phase align the first frequency ranges of the plurality of input channel signals, and
Downmixing the plurality of input channel signals into a plurality of output channel signals based on the modified downmix matrix,
Here, the first frequency range includes less than 2.8 kHz and more than 10 kHz,
The height input channel signal is identified based on altitude information,
The modified downmix matrix includes a first downmix matrix for a general scene and a second downmix matrix for a highly decorrelated broadband scene,
The downmixing is performed by one of the first downmix matrix and the second downmix matrix selected according to a received flag.