KR100636251B1 - Method and apparatus for spatial stereo sound - Google Patents
Method and apparatus for spatial stereo sound Download PDFInfo
- Publication number
- KR100636251B1 KR100636251B1 KR1020050100403A KR20050100403A KR100636251B1 KR 100636251 B1 KR100636251 B1 KR 100636251B1 KR 1020050100403 A KR1020050100403 A KR 1020050100403A KR 20050100403 A KR20050100403 A KR 20050100403A KR 100636251 B1 KR100636251 B1 KR 100636251B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- reflection
- channel
- delay
- filter
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
Description
도 1은 통상적인 반사음 생성 방법을 설명하기 위한 에코그램도이다. 1 is an echogram diagram for explaining a conventional method for generating a reflection sound.
도 2는 종래의 입체 음향 생성 장치의 블록도이다.2 is a block diagram of a conventional stereoscopic sound generating apparatus.
도 3는 두귀간의 시간차를 보이는 개념도이다. 3 is a conceptual diagram showing a time difference between two ears.
도 4는 가상 공간에서의 반사음 생성 개념도이다. 4 is a conceptual diagram illustrating reflection sound generation in a virtual space.
도 5는 본 발명에 따른 입체 음향 생성 장치에서 사용되는 기본 단위 블록도이다. 5 is a basic unit block diagram used in the 3D sound generating apparatus according to the present invention.
도 6은 도 5의 블록도의 동작에 발생하는 반사음 패턴을 도시한 것이다. FIG. 6 illustrates a reflection sound pattern generated in the operation of the block diagram of FIG. 5.
도 7은 본 발명의 일실시예에 따른 입체음향 생성장치의 블록도이다.Figure 7 is a block diagram of a three-dimensional sound generating apparatus according to an embodiment of the present invention.
도 8은 도 7의 입체음향 생성장치에서 반사음 생성 방법을 설명하기 위한 신호 패턴도이다.FIG. 8 is a signal pattern diagram illustrating a method for generating reflection sound in the stereoscopic sound generating apparatus of FIG. 7.
도 9는 본 발명의 다른 실시예에 따른 입체음향 생성장치의 블록도이다.9 is a block diagram of a stereophonic sound generating apparatus according to another embodiment of the present invention.
도 10a 내지 도 10f는 도 9의 위치화 필터부의 여러 가지 다른 일시예이다. 10A to 10F are various other examples of the localization filter unit of FIG. 9.
도 11은 본 발명에 따른 입체음향 생성방법을 보이는 흐름도이다.11 is a flowchart showing a three-dimensional sound generating method according to the present invention.
본 발명은 입체 음향 시스템에 관한 것으로, 더욱 상세하게는 입력되는 음향신호에 대하여 반사음들을 생성하고, 그 반사음들을 이용하여 입체음향을 생성하는 입체음향 생성방법 및 그 장치에 관한 것이다. The present invention relates to a three-dimensional sound system, and more particularly, to a three-dimensional sound generating method and apparatus for generating reflected sounds for the input sound signal, and generating a stereo sound using the reflected sounds.
통상적으로 입체음향 생성 장치는 헤드폰이나 특정 위치에 놓인 스피커를 통해 가상 공간의 특정 위치에 가상 음원을 형성하여, 청취자가 듣는 소리가 마치 실제로 그 가상 음원이 위치하고 있는 곳에서 들려오는 것처럼 방향감, 거리감, 공간감 등을 형성해 준다. 예컨대, 입체음향 생성장치는 반사음을 이용해 입체음향 신호를 생성하여 2채널의 헤드폰, 이어폰, 또는 스피커 등을 통해 재생할 때 입체감과 공간감을 청취자가 느낄 수 있도록 한다. Typically, the stereophonic sound generating apparatus forms a virtual sound source at a specific position in a virtual space through headphones or a speaker placed at a specific position, so that the sound heard by the listener is actually heard from where the virtual sound source is located. It creates a sense of space. For example, the 3D sound generating device generates a 3D sound signal using the reflected sound so that the listener can feel a 3D feeling and a spatial feeling when playing through 2 channels of headphones, earphones, or speakers.
도 1은 통상적인 반사음 생성 방법을 설명하기 위한 에코그램도이다. 1 is an echogram diagram for explaining a conventional method for generating a reflection sound.
도 1을 참조하면, 에코그램도는 직접음(무반사음), 초기 반사음, 후기 반사음(잔향음)으로 이루어진다. Referring to FIG. 1, the echogram is composed of a direct sound (no reflection sound), an early reflection sound, and a late reflection sound (reverberation sound).
초기 반사음은 통상적으로 딜레이 필터와 곱셈기들로 이루어진 탭 딜레이 라인(Tapped delay line) 방법을 이용한다. 탭 딜레이 라인(Tapped delay line) 방법은 일종의 FIR 필터링을 수행하는 것으로, 수십 ∼ 수백개의 초기 반사음을 생성하기 위해 수십 ∼ 수백개의 딜레이 필터, 곱셈기, 가산기등을 필요로 한다. Early reflections typically use the Tapped delay line method, which consists of a delay filter and multipliers. The Tapped Delay Line method performs a kind of FIR filtering and requires tens to hundreds of delay filters, multipliers, adders, etc. to generate tens to hundreds of early reflections.
또한 후기 반사음은 도 2에 도시된바와 같이 통상적으로 슈레더(Schroeder) 잔향기를 이용하여 인공적으로 생성된다. 슈레더(Schroeder) 잔향기는 US 5,491,754(filed Feb. 19, 1993 titled Method and system for artificial spatialisation of digital audio signals)등에 종래 기술로서 언급되어 있다. Late reflection is also artificially generated using a Schroeder reverberator, as shown in FIG. Schroeder reverberators are mentioned as prior art in US 5,491,754 (filed Feb. 19, 1993 titled Method and system for artificial spatialization of digital audio signals).
이 슈레더 잔향기는 4개의 피드백 콤 필터(Feedback Comb Filter), 및 2개의 전역통과 필터(All-pass filter)를 포함한다. 입력 음향신호 x(z)는 서로 다른 시간 지연값과 이득값을 갖고 병렬적으로 연결된 4개의 피드백 콤 필터를 통과한 후, 합산되어 출력된다. 4개의 피드백 콤 필터의 합산 출력은, 서로 다른 시간 지연값과 이득값을 갖고 직렬적으로 연결된 2개의 전역통과 필터(All-pass filter)를 통과하여 반사음들을 생성킨다. 최종적으로 전역통과 필터(All-pass filter)를 통과한 신호는 공간감을 가진 음향신호 y(z)로 출력된다. This shredder reverberator includes four feedback comb filters and two all-pass filters. The input acoustic signals x (z) pass through four feedback comb filters connected in parallel with different time delay values and gain values, and are summed and output. The summation output of the four feedback comb filters passes through two all-pass filters in series with different time delays and gains to produce reflections. Finally, the signal passing through the all-pass filter is output as a spatial sound signal y (z).
그러나 슈레더 잔향기는 반사음들의 위치화가 되어 있지 않아서, 청취자가 음원의 방향을 인지하는데 중요한 역할을 하는 방향성에 대한 고려가 되어 있지 않으므로, 정교한 가상 입체 음향을 생성하는데 한계가 있다. However, since the shredder reverberator is not located in the reflection sounds, there is no consideration in the direction that plays an important role in the listener's perception of the direction of the sound source.
따라서 기존의 반사음을 이용한 입체 음향 생성 방법은 탭 딜레이 라인과 인공 잔향기를 따로 사용하여 계산량이 많고 반사음원들의 위치화가 되어 있지 않았다. Therefore, the conventional stereo sound generation method using the reflected sound has a large amount of calculation using the tap delay line and the artificial reverberator separately, and the reflection sound sources are not located.
그리고, 상기한 종래 기술 이외에도 보다 정교한 입체 음향을 생성하기 위하여 머리전달함수(Head Related Transfer Function : HRTF)를 이용하는 방식들도 있으나, 머리전달함수를 이용하는 방식들은 많은 연산량을 요구하기 때문에 휴대용 음향 기기에는 적합하지 못한 단점이 있다. In addition to the above-described prior art, there are methods using a head related transfer function (HRTF) to generate more sophisticated stereo sound, but methods using the head transfer function require a large amount of computation. There is a disadvantage.
본 발명이 이루고자하는 기술적 과제는 반사음을 패턴화하여 적은 계산량으 로 효과적인 공간감을 제공하고 다수개의 반사음을 위치화하여 입체감을 제공하는 입체 음향 생성 방법 및 장치를 제공하는 데 있다. The technical problem to be achieved by the present invention is to provide a three-dimensional sound generating method and apparatus for providing a three-dimensional effect by providing a sense of space with a small amount of calculation by reflecting the patterned reflection sound and positioning a plurality of reflection sounds.
상기의 기술적 과제를 해결하기 위하여, 본 발명은 입체 음향 생성 방법에 있어서, In order to solve the above technical problem, the present invention is a stereo sound generating method,
입력 신호를 서로 다른 복수개의 딜레이값에 따라 지연시켜 복수개의 반사음들로 생성하는 과정;Delaying an input signal according to a plurality of different delay values to generate a plurality of reflection sounds;
상기 지연된 각 반사음들에 서로 다른 소정의 게인값들을 승산하는 과정;Multiplying the delayed reflections by predetermined gains;
상기 과정에서 승산된 각 반사음들에 대해 서로 다른 딜레이값과 게인값을 반영한 궤환 루프를 통해 연속적인 반사음들로 생성하는 과정을 포함하며, 상기 서로 다른 딜레이값은 소정 가상 공간의 크기에 기초하여 결정되고, 상기 서로 다른 게인값은 상기 가상 공간의 흡음 정도에 기초하여 결정되는 것을 특징으로 한다.Generating continuous reflections through a feedback loop reflecting a different delay value and a gain value for each reflected sound multiplied in the above process, wherein the different delay values are determined based on a size of a predetermined virtual space. The different gain values may be determined based on the degree of sound absorption of the virtual space.
상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 입체 음향 생성 장치에 있어서, In order to solve the above other technical problem, the present invention provides a stereo sound generating apparatus,
한 채널의 신호를 서로 다른 복수개의 딜레이값에 따라 지연시켜 복수개의 반사음들로 생성하는 지연 필터부;A delay filter unit delaying a signal of one channel according to a plurality of delay values and generating a plurality of reflection sounds;
상기 지연 필터부에서 생성된 각 반사음들에 서로 다른 소정의 게인 값들을 승산하는 게인 조정부;A gain adjusting unit multiplying predetermined reflection values different from each of the reflection sounds generated by the delay filter unit;
상기 게인 조정부에서 승산된 각 반사음들에 대해 서로 다른 복수개의 딜레이값과 게인값을 반영하여 궤환 루프를 통해 연속적인 반사음 패턴들로 생성하는 피드백 콤 필터부;A feedback comb filter unit generating continuous reflection sound patterns through a feedback loop by reflecting a plurality of different delay values and gain values for each reflection sound multiplied by the gain adjusting unit;
상기 피드백 콤필터부에서 생성된 각 반사음에 대해 두 귀간의 입사하는 시간 차이와 음압 차이를 반영하여 제1,제2 채널의 신호로 분리하는 위치화 필터부;A localization filter unit for splitting the reflected sound generated by the feedback comb filter unit into signals of the first and second channels by reflecting an incident time difference between two ears and a sound pressure difference;
상기 위치화 필터부에서 채널 분리된 각 반사음 신호들에 대해 제1채널 및 제2 채널 끼리 더하는 믹서부를 포함하며, 상기 위치화 필터부는 두 귀간의 레벨 차이를 반영한 IDL 필터 및 두 귀간의 시간차이를 반영한 ITD 필터를 구비하고, 한 채널의 신호를 그대로 출력하고 다른 한 채널의 신호를 ITD 필터 및 ILD 필터를 통해 출력하는 것을 특징으로 한다.And a mixer unit for adding the first channel and the second channel to each of the reflected sound signals separated by the channel from the localization filter unit, wherein the localization filter unit generates an IDL filter reflecting a level difference between two ears and a time difference between the two ears. It has a reflected ITD filter, and outputs the signal of one channel as it is, and outputs the signal of the other channel through the ITD filter and the ILD filter.
이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.
본 발명은 기본적으로 각 채널별로 한 채널의 입력 신호에 대하여 입체감과 공간감을 반영한 2채널 입체음향 신호를 생성하고, 2채널 헤드폰, 이어폰, 또는 스피커 등을 사용하여 신호를 재생할 때 청취자가 입체감과 공간감을 느낄 수 있도록 한다. 입체감과 공간감을 얻는 방법은 여러 개의 가상 음원을 청취자 주위에 배치하여 청취자가 음에 둘러싸인 듯한 느낌을 가지는 입체 서라운드(Surround) 효과를 주는 것이며, 또한, 헤드폰이나 이어폰 등을 통해 발생하기 쉬운 머리속 음상 정위(in head localization)를 피하고, 머리 밖에 음상이 정위된 것처럼 청취자가 느끼게 하는 것이다. 이를 위해 본 발명은 가상 공간(virtual room)을 설계하여 여러개의 반사음들을 생성하여 줌으로써, 청취자가 가상 공간에서 청취하는 듯한 음장 효과를 느낄 수 있도록 한다. The present invention basically generates a two-channel stereo sound signal reflecting a three-dimensional feeling and a sense of space with respect to the input signal of one channel for each channel, when the listener reproduces the signal using two-channel headphones, earphones, speakers, etc. Make you feel The method of obtaining a three-dimensional feeling and a sense of space is to arrange a plurality of virtual sound sources around the listener to give a three-dimensional surround effect that makes the listener feel surrounded by the sound. It avoids in head localization and makes the listener feel as if the image is out of head. To this end, the present invention design a virtual room to generate a plurality of reflections, so that the listener can feel the sound field effect as if listening in the virtual space.
입체음향 생성과 관련하여, 청취자로부터 상대적인 음원의 방향 지각은 두 귀에 입사하는 신호의 음압 차이로부터 얻을 수 있다. 대표적인 음원의 방향의 지각은 두 귀간의 시간차(ITD, Interaural time difference)와 두 귀간의 레벨차(ILD, Interaural level difference)이다. 두 귀간의 시간차 (ITD)는 도 3에서 도시된 바와 같이 음원(source)으로부터 청취자의 두 귀까지 도달하는 경로의 길이차로 부터 발생하는 두 귀 사이에 전달되는 신호의 시간차를 말한다. ITD는 수학식 1과 같이 나타낼 수 있다.With regard to stereophonic sound generation, the relative perception of the sound source from the listener can be obtained from the difference in sound pressure of the signal incident on both ears. The typical perception of the direction of the sound source is the time difference between two ears (ITD) and the level difference between two ears (ILD). The time difference between two ears (ITD) refers to the time difference of a signal transmitted between two ears resulting from the difference in the length of the path from the source to the two ears of the listener as shown in FIG. ITD may be represented as in
여기서 C0 는 음속으로서 공기에서 약 344 m/s 이다.Where C 0 is the speed of sound, about 344 m / s in air.
ITD는 대략 700Hz 이하의 저주파 영역에서 효과적으로 지각할 수 있다.The ITD can effectively perceive in the low frequency range below approximately 700 Hz.
한편, ILD는 청취자의 두 귀 사이에 전달되는 신호의 진폭차 혹은 레벨차를 의미한다. ILD는 주로 머리와 귀에서 발생하는 음의 산란 현상 때문에 발생한다. On the other hand, ILD means the amplitude difference or the level difference of the signal transmitted between the two ears of the listener. ILD is mainly caused by negative scattering in the head and ears.
따라서 ITD, ILD를 이용하여 음원의 위치화를 실현할 수 있다. 즉, ITD는 딜레이값으로, ILD는 게인 조정에 의해 구현 가능하다. Therefore, location of sound source can be realized by using ITD and ILD. That is, ITD is a delay value and ILD can be implemented by gain adjustment.
일반적으로 스테레오 음향 신호를 헤드폰이나 이어폰으로 청취할 때는 음상이 머리 안이나 양 귀에 맺히는 경우가 많은데 두개의 스피커를 통해 듣는 것처럼 음상을 이동시키면 청취자는 입체감을 느낄 수 있다.In general, when listening to a stereo sound signal through headphones or earphones, the sound image is often formed in the head or both ears. If the sound image is moved like listening through two speakers, the listener may feel a 3D effect.
한편, 헤드폰 재생 시스템은 입체음향이 정확히 재생되지 않거나 제공되지 않는 경우 음상이 청취자의 머리 안에 맺히는 소위 "In-head localization" 현상이 일어나기 쉽다. 따라서 가상 공간에서 생성되는 반사음들을 헤드폰 재생 음에 더해 줌으로써 "In-head localization" 현상을 제거하고 음상이 머리 밖의 원하는 위치에 맺힐 수 있다.On the other hand, the headphone playback system is susceptible to the so-called "In-head localization" phenomenon in which the sound image forms in the head of the listener when stereo sound is not reproduced or provided correctly. Therefore, by adding the reflections generated in the virtual space to the headphone playback sound, the "in-head localization" phenomenon can be eliminated and the image can be formed at a desired position outside the head.
도 4에 도시된 바와 같이 반사음은 방의 간단한 구조적 모델로부터 구현될 수 있다. 도 4는 주어진 가상 공간(virtual room)에서 하나의 음원(403)에 대한 미러 이미지 음원(mirror image source)들 중 하나를 나타내고 있다. 미러 이미지 음원(405)은 가상 벽면을 대칭면으로 음원(403)이 벽면 으로부터 반사된 가상 음원이다. 반사음은 가상 벽면에 비친 미러 이미지 음원을 이용하여 모델링할 수 있다. 즉, 음원(403)으로부터 청취자(400)의 귀까지 도달하는 반사음의 지연시간은 대응하는 미러 이미지 음원(405)으로부터 청취자(400)의 귀까지 직선 거리의 지연시간으로 대치될 수 있다. 또한 반사음의 세기는 벽면의 흡음 정도에 의존하는 미러 이미지 음원의 세기(strength)로 부터 계산될 수 있다. 원래 음원뿐만 아니라 가상 음원들은 가상 공간의 벽면에 의한 반사음으로 인해 무한개의 음원으로 다시 생성된다. 무한개의 가상음원 중 적절한 수준에서 유한개의 가상음원을 설정한다. 그리고 각각의 가상 음원에 대한 지연 시간과 음원 세기를 계산한다. 그리고 각각의 가상 음원에 대해 청취자로의 입사각에 따른 각각의 ITD와 ILD를 계산한다. 각 계산되는 파라메터들은 주어진 방의 형태와 경계조건과 청취자와 음원의 위치에 따라 달라진다. 따라서 효과적인 반사음을 생성하기 위하여 가상공간을 적절히 설계해 줄 필요가 있다.As shown in FIG. 4, the reflected sound can be implemented from a simple structural model of the room. 4 shows one of the mirror image sources for one
도 5는 본 발명에 따른 입체 음향 생성 장치에서 사용되는 기본 단위 블록도이다. 5 is a basic unit block diagram used in the 3D sound generating apparatus according to the present invention.
도 5를 참조하면, 단위 블록은 가상 공간에서 어느 한 벽면에 반사된 반사음들의 패턴화를 수행하는 것으로, 제1지연기(501) 및 제1게인조정기(503)를 이용해 첫 번째 반사음을 생성하며, 가산기(505), 제2지연기(507) 및 제2 게인조정기(509)로 구성된 피드백 콤 필터를 통해 첫 번째 반사음에 관련된 반사음 패턴을 생성한다. Referring to FIG. 5, the unit block performs patterning of reflection sounds reflected on a wall in a virtual space, and generates a first reflection sound using the
제1 지연기(501)와 제1 게인조정기(503)는 도 6에서 도시된 바와 같이 입력신호에 대한 첫 번째 반사음 신호를 생성한다. 즉, 입력 신호는 제1지연기(501)의 딜레이값으로 시간 지연된 후, 제1게인조정기(503)의 게인값으로 게인이 조절된다. 이때, 제1 지연기(501)의 딜레이값과 제1 게인조정기(503)의 게인값을 적절하게 조절하게 되면, 공간에서 입력신호에 대한 반사음과 동일한 신호를 생성할 수 있다.The
가산기(505), 제2 지연기(507), 및 제2 게인조정기(509)로 구성된 피드백 콤 필터는 도 6에 도시된 바와 같이 첫 번째 반사음에 관련된 추가적인 반사음 패턴들을 계속적으로 생성한다. 피드백 콤 필터는 도 6에서 도시된 바와 같이 2번째 반사음, 3번째 반사음, ...n번째 반사음을 발생한다. 반사음들의 패턴은 제2 지연기(507)에서 설정된 딜레이값의 간격으로, 제2 게인조정기(509)에 설정된 게인값에 따라 레벨이 점차 감소되어 출력된다. 따라서, 제2 지연기(507)의 딜레이값과 제2 게인조정기(509)의 게인값을 적절하게 조절하면, 심리음향학적 측면에서 공간에서의 반사음들과 거의 유사한 신호 패턴을 생성할 수 있다.The feedback comb filter composed of the
제2게인조정기(509)의 게인값을 조절하여, 가산기(505)로 피드백되는 반사음의 크기(세기)를 조절할 수 있다. 이것은 실제 공간에서 평균 흡음률을 변화시키는 것에 해당한다. 또한, 공간 크기의 느낌, 즉 공간감을 가변시키기 위해서는 제2 지연기(507)의 딜레이값을 변화시키면 된다. 즉, 제2 지연기(507)의 딜레이값을 가변하면, 음향 현상적으로 시간 축상에서 반사음 밀도가 변화되어 청각적으로 공간감이 변화된 것으로 들린다. The gain value of the
따라서 도 5와 같은 구성의 단위 블럭을 병렬적으로 연결시켜 본 발명에 따른 입체음향 생성장치를 구성할 수 있다. Accordingly, the apparatus for generating stereo sound according to the present invention can be configured by connecting unit blocks having the configuration as shown in FIG. 5 in parallel.
도 7은 본 발명의 일실시예에 따른 입체음향 생성장치의 블록도이다.Figure 7 is a block diagram of a three-dimensional sound generating apparatus according to an embodiment of the present invention.
도 7의 입체음향 생성장치는 가상 공간의 n개의 벽면에 반사된 반사음들의 패턴화를 구현한 것으로, 지연부(701), 게인조정부(703), 피드백 콤 필터부(705) 및 가산부(750)를 포함한다. 본 실시예에 따른 입체음향 생성장치는, 기본적으로 도 5에서 설명한 단위 블럭을 병렬로 배치하고, 이들 단위 블럭의 출력을 가산부(750)를 통해 가산한다. The stereoscopic sound generating apparatus of FIG. 7 implements the patterning of the reflected sounds reflected on the n walls of the virtual space, and includes a
본 입체음향 생성장치에서, 지연부(701)는 제11 내지 제n1 지연기(7011 ~ 701n)을 포함하며, 제11 내지 제n1 지연기(7011 ~ 701n)는 입력 신호(IN)를 각각 t11, t21,,tn1 시간 만큼 딜레이시켜 출력한다. 게인조정부(703)는 제11 내지 제n1 게인조정기(7031 ~ 703n)를 포함하며, 제11 내지 제n1 게인 조정기(7031 ~ 703n)는 각각 제11 내지 제n1 지연기(7011 ~ 701n)의 출력에 각각의 게인값 g11, g21,,gn1 을 승산한 신호를 출력한다. In the 3D sound generating apparatus, the
제11 내지 제n1 지연기(7011 ~ 701n) 각각의 딜레이값은 가상 공간(Virtual Room) 안에 위치된 가상 음원으로부터 생성된 n개의 미러 이미지 음원으로부터 각각 청취자까지 도달하는 지연시간으로부터 설정될 수 있으며, 이는 가상 공간의 크기에 의존한다.Delay values of each of the eleventh to
제11 내지 제n1 게인조정기(7031 ~ 703n)의 이득값 g11, g21,,gn1 은 가상 음원으로부터 생성된 n개의 미러 이미지 음원들이 가진 상대적 음압량에 비례하고, 이는 가상 공간(virtual room)의 경계 조건에 따라 결정된다. The gain values g11, g21, and gn1 of the eleventh to
게인조정부(703)에서 병렬로 출력되는 반사음들은 피드백 콤 필터부(705)로 전달된다. 피드백 콤 필터부(705)는 게인조정부(703)로부터 입력되는 반사음 각각에 대하여 시간이 딜레이되고 게인이 조정된 다수의 반사음들을 피드백 루프(Feedback loop)를 통하여 연속적으로 생성한다. 즉, 피드백 콤 필터부(705)는 게인조정부(703)로부터 출력되는 반사음 각각에 대해 추가적으로 반사음들을 계속해서 생성한다. 피드백 콤 필터부(705)의 딜레이값을 t12, t22, , tn1 라고 하고, 게인값을 g12, g22,,gn2 라고 하면, 이들 각각의 값들은 가상 공간에서의 반사 패턴에 기초하여 설정할 수 있다. 이 경우, 게인값 g11, g22,,gn2 는 절대값이 1보다 작은 값이 된다. Reflected sounds output in parallel from the
가산부(750)는 피드백 콤 필터부(705)에서 출력되는 각 반사음들을 합산하여 한 개의 출력 신호를 생성한다. The
도 8은 도 7의 입체음향 생성장치에서 반사음 생성 방법을 설명하기 위한 신호 패턴도이다. FIG. 8 is a signal pattern diagram illustrating a method for generating reflection sound in the stereoscopic sound generating apparatus of FIG. 7.
도 8a는 제11지연기(7011) 및 제11게인조정기(7031)를 통해 생성된 첫 번째 반사음과 제1피드백 콤필터(7051, 7091, 7071)를 통해 연속적으로 생성된 반사음 패턴을 도시한 것이다. FIG. 8A illustrates the first reflection sound generated by the
도 8b는 제21지연기(7012) 제21게인조정기(7032)를 통해 지연된 반사음과 제2피드백 콤필터(7052, 7092, 7072)를 통해 연속적으로 생성된 반사음 패턴을 도시한 것이다. FIG. 8B illustrates the reflection sound delayed through the twenty-first delay unit 7022 and the twenty-first gain adjuster 7082 and the reflection sound patterns continuously generated through the second
도 8c는 제n1지연기(701n) 제n1게인조정기(703n)를 통해 지연된 반사음과 제n피드백 콤필터(705n, 709n, 707n)를 통해 연속적으로 생성된 반사음 패턴을 도시한 것이다. FIG. 8C illustrates the reflection sound delayed through the n
도 8d는 도 8a 내지 도 8b에서 각 기본 블록들에서 발생생되는 각 반사음들을 가산하여 최종적으로 출력되는 반사음들이다. FIG. 8D is a reflection sound finally output by adding each reflection sound generated in each basic block in FIGS. 8A to 8B.
도 9는 본 발명의 다른 실시예에 따른 입체음향 생성장치의 블록도이다.9 is a block diagram of a stereophonic sound generating apparatus according to another embodiment of the present invention.
도 9의 입체음향 생성장치는, 위치화 필터부(911) 및 믹서부(950)를 더 포함한다는 점에서 전술한 실시예와 차이점이 있다. The stereoscopic sound generating apparatus of FIG. 9 differs from the above-described embodiment in that it further includes a
즉, 지연부(901), 게인조정부(903), 및 피드백 콤 필터부(905)의 기능 및 구성은, 도 7과 관련하여 설명한 바와 동일하다. 다만, 본 실시예에서는 위치화 필터부(911) 및 가산부(950)를 더 포함하여, 피드 백 콤 필터부(905)에서 출력되는 신호를 좌, 우 채널로 분리하여 더욱 입체감이 있는 음향 신호로 생성한다. 여기서 위치화 필터부(911)는 두 귀간의 시간차이나 두 귀간의 레벨 차이 또는 주파수별로 다른 두 귀간의 레벨 차이와 같은 특성을 반영하여 반사음을 위치화한다. 도 9에서 위치화 필터부(911)는 딜레이 필터 및 게인 조정기로 구성되나 실시예에 따라서 두 귀간의 시간차이나 두 귀간의 레벨 차이 또는 주파수별로 다른 두 귀간의 레벨 차이와 같은 특성을 반영하여 여러 가지로 조합 가능하다. In other words, the functions and configurations of the
이에 대해 설명하면, 피드백 콤 필터부(905)를 거친 각각의 반사음들은 음상을 이동시키는 위치화 필터부(911)로 전달된다. 음상을 이동시키는 위치화 필터부(911)에 입력된 각 반사음은 좌, 우 채널로 각각 분리되어, 좌, 우 채널중 어느 한쪽에 속하는 반사음들에 대해서 지연 필터 및 게인 조정기 혹은 두귀간 레벨차 필터를 거치게 된다. 예를 들면, 피드백 콤 필터부(905)의 제1피드백 콤 필터(9051, 9071, 9091)를 거친 반사음의 음상이 왼쪽에 있다고 가정하면, 이 반사음은 좌 채널의 신호에 속하고, 제13지연기(9111) 및 게인 조정기(9131) 또는 두귀간 레벨 필터를 거친 반사음은 우 채널의 신호에 속한다.In this regard, each of the reflection sounds passing through the feedback
위치화 필터부(911)의 제13내지 제n3 지연기(9111 ~ 911n)의 딜레이값을 t13, t23, , tn3 라 하고, 제13 내지 제n3 게인조정기(9131 ~ 913n)의 게인값을 g13, g23,,gn3 라 하자. 딜레이값들(t13, t23, , tn3) 및 게인값들(g13, g23,,gn3)은 각 반사음들이 청취자의 두 귀에 도달하는 시간차와 음압차이를 구현하고, 음의 입사각에 의존한다. 따라서 각각의 반사음들이 여러 가지 다른 입사각을 가지게 되면, 입체감 있는 음향 효과를 낼 수 있다. Delay values of the thirteenth to
위치화 필터부(911)에서 출력되는 각각의 좌 채널 또는 우채널의 반사음들은 믹서부(950)로 전달된다. The reflection sounds of the left channel or the right channel output from the
믹서부(950)는 위치화 필터부(911)에서 출력되는 각 반사음의 좌 채널들끼리 또는 우채널 끼리 가산한다. 즉, 제1가산기(951)는 위치화 필터부(911)에서 분리된 각 반사음의 좌 채널들 끼리 가산하여 좌 채널의 신호(Lo)로 출력하고, 제2가산기(952)는 위치화 필터부(911)에서 분리된 각 반사음의 우 채널들 끼리 가산하여 우 채널의 신호(Ro)로 출력한다.The
최종적으로 믹서부(950)에서 출력되는 Lo 및 Ro 신호를 헤드폰 등을 통해 재생하여 입체 음향을 청취할 수 있다.Finally, the Lo and Ro signals output from the
도 10a 내지 도 10f는 도 9의 위치화 필터부(911)의 여러 가지 다른 일시예이다. 10A to 10F are various other examples of the
도 10a를 참조하면, 위치화 필터부(911)는 ITD 및 ILD를 반영한 지연 필터(DL) 및 저역필터(LPF:Low Pass Filter)를 구비하고, 좌, 우 채널중 어느 한쪽에 속하는 신호에 대해서 지연 필터(DL) 및 저역필터(LPF:Low Pass Filter)를 거치게 된다.Referring to FIG. 10A, the
도 10b를 참조하면, 위치화 필터부(911)는 ITD 및 ILD를 반영한 지연 필터(DL) 및 ILD 필터를 구비하고, 좌, 우 채널중 어느 한쪽에 속하는 신호에 대해서 지연 필터(DL) 및 ILD 필터를 거치게 된다.Referring to FIG. 10B, the
도 10c를 참조하면, 위치화 필터부(911)는 ITD 및 ILD를 반영한 제1,제2 지연 필터(DL1, DL2) 및 제1,제2게인조정기(g1, g2)를 구비하며, 좌, 우 채널의 신호에 대해서 각각 제1지연 필터(DL1) 및 제1게인조정기(g1)와 제1지연 필터(DL2) 및 제1게인조정기(g2)를 거치게 된다.Referring to FIG. 10C, the
도 10d를 참조하면, 위치화 필터부(911)는 ITD 및 ILD를 반영한 제1,제2지연 필터(DL1, DL2) 및 제1,제2저역필터(LPF1, LPF2)를 구비하며, 좌, 우 채널의 신호에 대해서 각각 제1지연 필터(DL1) 및 제1저역필터(LPF1)와 제2지연 필터(DL2) 및 제2저역필터(LPF2)를 거치게 된다.Referring to FIG. 10D, the
도 10e를 참조하면, 위치화 필터부(911)는 양 채널에 대해 각각 제1지연 필터(DL1) 및 제1HRTF 필터(HRTF1)와 제2지연 필터(DL2) 및 제2HRTF 필터(HRTF2)을 구비하며, 좌, 우 채널의 신호에 대해서 각각 제1지연 필터(DL1) 및 제1HRTF 필터(HRTF1)와 제2지연 필터(DL2) 및 제2HRTF 필터(HRTF2)를 거치게 된다.Referring to FIG. 10E, the
도 10f를 참조하면, 위치화 필터부(911)는 양 채널에 대해 제1, 제2HRTF 필터(HRTF1, HRTF2)를 구비하며, 좌, 우 채널의 신호에 대해서 각각 제1HRTF 필터(HRTF1) 및 제2HRTF 필터(HRTF2)와 콘볼루션된다.Referring to FIG. 10F, the
도 11은 본 발명에 따른 입체음향 생성방법을 보이는 흐름도이다.11 is a flowchart showing a three-dimensional sound generating method according to the present invention.
먼저, 입력 신호에 대하여 병렬로 연결된 딜레이 필터들을 통해 n개의 반사음들을 생성한다(S1210). First, n reflection sounds are generated through delay filters connected in parallel with respect to an input signal (S1210).
n개의 반사음은 가상 공간의 크기에 따라 결정되는 서로 다른 시간 지연값과, 가상 공간의 경계조건에 따라 결정되는 서로 다른 이득값을 사용하여, 입력신호를 지연 및 이득 조정하여 생성할 수 있다. The n reflection sounds may be generated by delaying and gain adjusting the input signal using different time delay values determined according to the size of the virtual space and different gain values determined according to the boundary conditions of the virtual space.
생성된 각각의 n개의 반사음 각각에 대하여 궤환 루프를 통해 연속적으로 반사음을 생성한다(S1220). 그리고, 생성된 반사음들은 가상 청취자의 좌우측 귀간의 입사하는 시간 차이와 음압 차이를 반영하는 음원의 위치화(S1230)를 수행한다. A reflection sound is continuously generated through the feedback loop for each of the n reflected sounds generated (S1220). The generated reflection sounds perform the positioning of the sound source reflecting the difference in time and sound pressure incident between the left and right ears of the virtual listener (S1230).
따라서 입력 신호에 대해 반사음을 생성하여 공간감을 제공하고 다수개의 가 상 반사음을 위치화하여 입체감을 생성할 수 있다. Therefore, a reflection may be generated for the input signal to provide a sense of space, and a plurality of virtual reflections may be positioned to generate a three-dimensional effect.
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다. The present invention is not limited to the above-described embodiment, and of course, modifications may be made by those skilled in the art within the spirit of the present invention.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, flash memory, optical data storage device, and also carrier waves (for example, transmission over the Internet). It also includes the implementation in the form of. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
상술한 바와 같이 본 발명에 의하면, 입력 신호를 시간 지연 및 게인 조정하여 생성한 반사음들을 이용하여 입체음향 신호를 생성할 수 있다. 또한, 다수개의 가상 음원을 위치화하여 입체감을 제공한다. 또한, 본 발명은 머리전달함수(Head Related Transfer Function : HRTF)를 사용하지 않고, 가상 공간에서의 입체 음향을 효과적으로 구현하여 음색의 변형이 거의 없으면서 연산량을 대폭적으로 절감할 수 있다. 따라서, 헤드폰, 이어폰 등과 같은 휴대용 기기에 용이하게 적용하여, 청취자는 음색의 변형이 거의 없으면서 입체감과 공간감이 있는 음향신호를 청취할 수 있다.As described above, according to the present invention, the stereophonic sound signal may be generated using the reflected sounds generated by time delay and gain adjustment of the input signal. In addition, a plurality of virtual sound sources are positioned to provide a three-dimensional effect. In addition, the present invention can implement a three-dimensional sound effectively in a virtual space without using a Head Related Transfer Function (HRTF), it is possible to significantly reduce the amount of calculation with little variation of the tone. Therefore, by easily applied to a portable device such as headphones, earphones, etc., the listener can listen to the sound signal having a three-dimensional sense and a spatial feeling with little change in the tone.
Claims (20)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/518,931 US8340304B2 (en) | 2005-10-01 | 2006-09-12 | Method and apparatus to generate spatial sound |
PCT/KR2006/003867 WO2007040315A1 (en) | 2005-10-01 | 2006-09-28 | Method and apparatus to generate spatial sound |
EP06798950A EP1929838B1 (en) | 2005-10-01 | 2006-09-28 | Method and apparatus to generate spatial sound |
CN2006800366204A CN101278597B (en) | 2005-10-01 | 2006-09-28 | Method and apparatus to generate spatial sound |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20050092658 | 2005-10-01 | ||
KR1020050092658 | 2005-10-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100636251B1 true KR100636251B1 (en) | 2006-10-19 |
Family
ID=37621477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050100403A KR100636251B1 (en) | 2005-10-01 | 2005-10-24 | Method and apparatus for spatial stereo sound |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR100636251B1 (en) |
CN (1) | CN101278597B (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012005507A3 (en) * | 2010-07-07 | 2012-04-26 | Samsung Electronics Co., Ltd. | 3d sound reproducing method and apparatus |
CN112153535A (en) * | 2020-09-03 | 2020-12-29 | Oppo(重庆)智能科技有限公司 | Sound field expansion method, circuit, electronic equipment and storage medium |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5141738B2 (en) * | 2010-09-17 | 2013-02-13 | 株式会社デンソー | 3D sound field generator |
CN104581602B (en) * | 2014-10-27 | 2019-09-27 | 广州酷狗计算机科技有限公司 | Recording data training method, more rail Audio Loop winding methods and device |
CN113611272B (en) * | 2021-07-08 | 2023-09-29 | 北京小唱科技有限公司 | Multi-mobile-terminal-based loudspeaker method, device and storage medium |
-
2005
- 2005-10-24 KR KR1020050100403A patent/KR100636251B1/en not_active IP Right Cessation
-
2006
- 2006-09-28 CN CN2006800366204A patent/CN101278597B/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012005507A3 (en) * | 2010-07-07 | 2012-04-26 | Samsung Electronics Co., Ltd. | 3d sound reproducing method and apparatus |
US10531215B2 (en) | 2010-07-07 | 2020-01-07 | Samsung Electronics Co., Ltd. | 3D sound reproducing method and apparatus |
CN112153535A (en) * | 2020-09-03 | 2020-12-29 | Oppo(重庆)智能科技有限公司 | Sound field expansion method, circuit, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
CN101278597B (en) | 2010-08-11 |
CN101278597A (en) | 2008-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100636252B1 (en) | Method and apparatus for spatial stereo sound | |
US9918179B2 (en) | Methods and devices for reproducing surround audio signals | |
KR100608025B1 (en) | Method and apparatus for simulating virtual sound for two-channel headphones | |
US8442237B2 (en) | Apparatus and method of reproducing virtual sound of two channels | |
US6078669A (en) | Audio spatial localization apparatus and methods | |
KR100739798B1 (en) | Method and apparatus for reproducing a virtual sound of two channels based on the position of listener | |
KR100677629B1 (en) | Method and apparatus for simulating 2-channel virtualized sound for multi-channel sounds | |
US20050265558A1 (en) | Method and circuit for enhancement of stereo audio reproduction | |
JP2008522483A (en) | Apparatus and method for reproducing multi-channel audio input signal with 2-channel output, and recording medium on which a program for doing so is recorded | |
US20110026718A1 (en) | Virtualizer with cross-talk cancellation and reverb | |
US8340304B2 (en) | Method and apparatus to generate spatial sound | |
KR100636251B1 (en) | Method and apparatus for spatial stereo sound | |
EP1968348B1 (en) | Stereophonic sound output apparatus and early reflection generation method thereof | |
JP5505395B2 (en) | Sound processor | |
JPH10136497A (en) | Sound image localizing device | |
JP2006148936A (en) | Apparatus and method to generate virtual 3d sound using asymmetry and recording medium storing program to perform the method | |
US20200402496A1 (en) | Reverberation adding apparatus, reverberation adding method, and reverberation adding program | |
US7974418B1 (en) | Virtualizer with cross-talk cancellation and reverb | |
JP4357218B2 (en) | Headphone playback method and apparatus | |
JPH06261399A (en) | Sound image localization controller | |
KR20050060552A (en) | Virtual sound system and virtual sound implementation method | |
KR20060026234A (en) | 3d audio playback system and method thereof | |
Maté-Cid | Rendering of Source Distance in Virtual Auditory Displays | |
KR19990069336A (en) | 3D sound reproducing apparatus and method | |
KR20080097564A (en) | Stereophony outputting apparatus to enhance stereo effect of 2-channal acoustic signals and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120927 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20130927 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20140929 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20150925 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |