KR20180018464A - 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system - Google Patents
3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system Download PDFInfo
- Publication number
- KR20180018464A KR20180018464A KR1020170127970A KR20170127970A KR20180018464A KR 20180018464 A KR20180018464 A KR 20180018464A KR 1020170127970 A KR1020170127970 A KR 1020170127970A KR 20170127970 A KR20170127970 A KR 20170127970A KR 20180018464 A KR20180018464 A KR 20180018464A
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- signal
- sound source
- space
- stereoscopic image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H04N13/0402—
-
- H04N13/0007—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
Description
본 발명은 입체 영상, 홀로그램 등의 동영상 파일에 포함된 오디오 신호를 특정 위치에서 재생되는 것처럼 들리도록 음향 발생 위치를 제어하면서 동영상을 재생할 수 있는 입체 영상 재생 방법, 음향 재생 방법, 입체 영상 재생 시스템 및 음향 재생 시스템에 관한 것이다.The present invention relates to a stereoscopic image reproducing method, a sound reproducing method, a stereoscopic image reproducing system, and a stereoscopic image reproducing method capable of reproducing a moving image while controlling a sound generating position so that an audio signal included in a moving image file of a stereoscopic image, a hologram, To an acoustic reproduction system.
다수의 음원을 사용한 음향 제어 기술은 전통적으로 몇 개의 지점에서의 음향 특성을 개선하기 위하여 개발되어 왔지만, 최근에는 청취자가 위치하는 특정 공간에 대하여 음향 특성을 개선하기 위한 것으로 개발되고 있다. [0002] Acoustic control techniques using multiple sound sources have been developed to improve acoustic characteristics at several points, but recently, they have been developed to improve the acoustic characteristics of a specific space where the listener is located.
다수의 음원을 사용한 음향 제어는 크게 두 가지로 나누어지는데, 하나는 다수의 능동 음원(active source, 예를 들어 음원)을 사용하여 공간의 소리 크기를 감소시키고자 하는 능동 소음 제어이며, 다른 하나는 특정 형상으로 배열한 음원 사이의 간격을 변화시키거나[R. C. Jones, 'On the theory of the directional patterns of continuous source distributions on a plane surface,' J. Acoust. Soc. Am.16(3), 147-171(1945)], 각 음원 간의 시간 지연과 크기를 변화시킴으로써 특정 각도로 방사되는 음향 파워를 증대시키는 제어[R. L. Prichard, 'Maximum directivity index of a linear point array,' J. Acoust. Soc. Am. 26, 1034-1039(1954)]이다. 이러한 제어는 주로 능동 소나(active sonar)를 위하여 연구되었는데, 대표적으로는 Dolph[C. L. Dolph, 'A current distribution for broadside arrays which optimizes the relationship between beamwidth and sidelobe level,' Proc. IRE 34(6), 335-348 (1946)]에 의해 제안된 바와 같이, 음원으로부터 특정한 방향각 내로 방사되는 음향 파워 외의 성분, 즉 부엽(side lobe)의 영향을 받지 않도록 일정한 크기의 부엽을 발생시키는 음원 어레이의 가중치 함수를 갖는 수학적인 해(수식해)에 대해 연구되었다. 그러나, 이러한 특정 음원 어레이에 대한 수식해는 임의의 음원에 대해 적용하기 어려웠고, 그래서 임의의 음원 배열을 가정하여 특정 방향으로의 최대 방향성을 갖도록 하는 최적화 연구가 Streit[Roy L. Streit, 'Optimization of discrete array of arbitrary geometry,'J. Acost. Soc. Am. 69(1), 199-212 (1981)]에 의해 수행되었다. 하지만, 이러한 연구 역시 음원 배열만을 임의로 가정하였을 뿐, 다양한 음원의 방사 형태 및 반사와 흡음을 갖는 일반적인 청취 공간에 적용하기는 적합하지 않은 방법이라 할 수 있다.There are two main types of sound control using multiple sound sources: active noise control to reduce the sound volume of the space using multiple active sources (eg, sound sources), and the other one By varying the spacing between sound sources arranged in a particular shape [R. C. Jones, 'On the theory of directional patterns of continuous source distributions on a plane surface', J. Acoust. Soc. Am. 16 (3), 147-171 (1945)], control for increasing the acoustic power radiated at a specific angle by varying the time delay and magnitude between respective sound sources [R. L. Prichard, 'Maximum directivity index of a linear point array,' J. Acoust. Soc. Am. 26, 1034-1039 (1954)). This control has been studied mainly for active sonar, typically Dolph [C. L. Dolph, 'A current distribution for broadside arrays which optimizes the relationship between beamwidth and sidelobe level,' Proc. As proposed by IRE 34 (6), 335-348 (1946), a side lobe of a certain size is generated so as not to be influenced by components other than acoustic power radiated into a specific directional angle from a sound source, (Mathematical solution) which has a weight function of a sound source array. However, it has been difficult to apply a mathematical solution to this specific sound source array to any sound source, so an optimization study that assumes an arbitrary sound source array and has a maximum direction in a specific direction has been proposed by Streit [Roy L. Streit, discrete array of arbitrary geometry, 'J. Acost. Soc. Am. 69 (1), 199-212 (1981). However, this research also assumes that only the sound source arrangement is arbitrary, and it is not suitable to be applied to a general listening space having various types of sound source radiation and reflection and sound absorption.
이와 같이 방사 패턴을 최적화 하는 연구와는 달리, 청취자가 위치하는 공간에 대해 음압 레벨을 제어하는 기술은 능동 소음 제어[P. Lueg 1936 Process of silencing sound oscillations. US Patent No. 2,043,416]에서 연구되었다.Unlike the study of optimizing the radiation pattern, the technique of controlling the sound pressure level for the space in which the listener is located is called active noise control [P. Lueg 1936 Process of silencing sound oscillations. U.S. Pat. 2,043,416.
능동 소음 제어 방법은 배경 소음원이 형성하는 음향 위치 에너지 혹은 음향 파워를 2차 음원을 사용하여 능동적으로 소음을 제어하는 방법으로, 저 주파수 대역에서 청취자를 중심으로 혹은 전 공간에 대하여 정숙성을 획득하는 방법이다. 이 때, 소음이 성공적으로 제어되어 정숙성을 획득한 공간을 정숙 공간(quiet zone)이라 한다.The active noise control method is a method to actively control the noise by using the secondary sound source, the acoustic position energy or the sound power formed by the background noise source, and to acquire the quietness with respect to the listener in the low frequency band or the whole space to be. In this case, the space where the noise is successfully controlled and the quietness is acquired is called a quiet zone.
그리고, 미국특허 제5,802,190호(Linear speaker array)에는 청취자까지의 거리 혹은 반사를 무시하는 등의 제한된 가정을 사용하여 방향성과 같은 간접적인 특성을 제어하는 기술에 대해 공지되어 있다. 또한, 미국특허 제5,910,990호(Apparatus and method for automatic equalization of personal multi-channel audio system)에는 전달 함수를 사용하여 왜곡 없이 신호를 재생하는 방법에 대해 공지되어 있다.And, U.S. Patent No. 5,802,190 (Linear speaker array) discloses a technique for controlling indirect characteristics such as directionality using limited assumptions such as ignoring distances or reflections to a listener. Also, U.S. Patent No. 5,910,990 (Apparatus and method for automatic equalization of personal multi-channel audio system) discloses a method for reproducing a signal without distortion using a transfer function.
이와 같이, 종래의 다수의 음원을 이용한 공간의 소리 제어 방법은 단순히 음원 사이의 시간 지연과 그 입력 크기를 변화시키는 것에 그쳤으며, 제한된 형태의 음원 배열을 사용하여 음원의 방향성만을 변화시켰을 뿐, 가변적인 청취자의 위치 혹은 청취자가 위치할 수 있는 공간에 대한 고려가 없었다. 또한, 종래의 방법은 대부분 자유 공간의 경우만을 고려하여, 반사나 흡음 등 청취 공간의 특성을 고려하지 못하는 문제점을 가지고 있었다.In this way, the conventional sound control method of a space using a plurality of sound sources merely changes the time delay between the sound sources and the input size thereof, and only the directionality of the sound source is changed using the limited sound source arrangement, There was no consideration of the location of the listener or the space where the listener could be located. In addition, the conventional method has a problem that the characteristics of the listening space, such as reflection and sound absorption, can not be taken into consideration, considering only the free space.
한편, 입체 영상, 가상 현실 등에 대한 기술의 발전과 함께 다양한 제품이 등장했지만 영상과 소리를 실제에 가깝게 구현할 수 있는 기술에 대한 개발은 아직 미흡하다.On the other hand, various products have emerged along with the development of technologies for stereoscopic images and virtual reality, but the development of technologies capable of realizing video and sound close to real life is still insufficient.
본 발명은 상술한 문제점 및 기술적 요구를 감안하여 안출된 것으로, 본 발명의 목적은 시청각 공간 내 음향 발생 위치를 임의적으로 제어하여 실제감 있게 음향을 재생할 수 있는 입체 영상 재생 방법, 입체 음향 재생 방법, 입체 영상 재생 시스템 및 입체 음향 재생 시스템을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a stereoscopic image reproducing method, a stereoscopic sound reproducing method, a stereoscopic image reproducing method, and a stereoscopic image reproducing method capable of real- A stereoscopic image reproducing system and a stereo sound reproducing system.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 입체 영상 재생 방법은 입체 영상 파일로부터 오디오 신호 및 오브젝트의 3차원 위치 정보를 추출하는 추출 단계, 상기 3차원 위치 정보에 대응하는 전달 함수를 결정하는 결정 단계, 상기 전달 함수를 이용하여, 상기 3차원 위치 정보에 대응하는 위치에서 상기 오디오 신호에 의한 음향이 발생하는 것처럼 들리게 하는 음원 신호를 생성하는 생성 단계 및 상기 입체 영상 파일의 비디오 신호에 동기화하여 상기 음원 신호를 재생하는 재생 단계를 포함하고, 상기 비디오 신호는 3D 공간상의 3차원 영상 신호이고, 상기 3차원 위치 정보는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표를 포함하며, 상기 음원 신호는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표에 대응하는 위치(이하, '음향 집중점'이라 함)에서의 음압레벨이 상기 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 것이고, 상기 음향 집중점은 사용자에 의해 선택되는 것이며, 상기 음향 집중점이 상기 사용자에 의해 선택될 때 음향학적 밝은 점의 개수, 각 점의 위치를 제어, 각 점의 세기를 제어하는 것 중 적어도 어느 하나를 고려하여 선택되는 것을 특징으로 할 수 있다.According to an aspect of the present invention, there is provided a stereoscopic image reproducing method including an extracting step of extracting three-dimensional position information of an audio signal and an object from a stereoscopic image file, determining a transfer function corresponding to the three- A generating step of generating a sound source signal by using the transfer function to sound as if the sound by the audio signal occurs at a position corresponding to the three-dimensional position information; Wherein the video signal is a three-dimensional image signal on a 3D space, the three-dimensional position information includes spatial coordinates of the object included in the three-dimensional image signal on the 3D space, , And the sound source signal is a sound signal of the object included in the 3D image signal on the 3D space The sound pressure level at a position corresponding to a coordinate (hereinafter, referred to as 'sound concentration point') is higher than a sound pressure level in a region other than the sound concentration point, and the sound concentration point is selected by the user, The acoustic focus point is selected in consideration of at least one of the number of acoustically bright points, the position of each point, and the intensity of each point when the user selects the acoustic focus point.
상기 입체 영상 재생 방법은 청취 영역 내의 각 음향 집중점에 대응하는 전달 함수를 산출하여 저장하는 저장 단계;를 더 포함하고, 상기 결정 단계는, 기저장된 전달 함수 중에서 상기 음향 집중점에 대응하는 전달 함수를 독출하여 상기 음원 신호를 생성하기 위한 전달 함수로 결정하는 것일 수 있다. The stereoscopic image reproducing method may further include a storing step of calculating and storing a transfer function corresponding to each sound concentration point in the listening area, and the determining step may include: determining a transfer function corresponding to the sound concentration point, As a transfer function for generating the sound source signal.
상기 비디오 신호는 좌안 이미지 신호 및 우안 이미지 신호를 포함하고, 상기 3차원 위치 정보는 상기 좌안 이미지 신호 및 우안 이미지 신호에 의해 구현되는 입체 영상에 포함된 객체의 공간 좌표를 포함할 수 있다.The video signal includes a left eye image signal and a right eye image signal, and the three-dimensional position information may include spatial coordinates of an object included in the stereoscopic image implemented by the left eye image signal and the right eye image signal.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 입체 영상 재생 시스템은 입체 영상 파일로부터 오디오 신호 및 오브젝트의 3차원 위치 정보를 추출하고, 상기 3차원 위치 정보에 대응하는 전달 함수를 독출하여, 상기 3차원 위치 정보에 대응하는 위치에서 상기 오디오 신호에 의한 음향이 발생하는 것처럼 들리도록 하는 음원 신호를 생성하는 신호 분석 및 발생부, 상기 음원 신호를 다채널로 분리하여 증폭하는 앰프부 및 상기 앰프부로부터 전달된 상기 음원 신호를 상기 입체 영상 파일의 비디오 신호에 동기화하여 출력하는 스피커부를 포함하고, 상기 비디오 신호는 3D 공간상의 3차원 영상 신호이고, 상기 3차원 위치 정보는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표를 포함하며, 상기 음원 신호는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표에 대응하는 위치(이하, '음향 집중점'이라 함)에서의 음압레벨이 상기 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 것이고, 상기 음향 집중점은 사용자에 의해 선택되는 것이며, 상기 음향 집중점이 상기 사용자에 의해 선택될 때 음향학적 밝은 점의 개수, 각 점의 위치를 제어, 각 점의 세기를 제어하는 것 중 적어도 어느 하나를 고려하여 선택되는 것일 수 있다.According to another aspect of the present invention, there is provided a stereoscopic image reproducing system for extracting three-dimensional position information of an audio signal and an object from a stereoscopic image file, reading a transfer function corresponding to the three- A signal analyzing and generating unit for generating a sound source signal that sounds as if the sound by the audio signal occurs at a position corresponding to the three-dimensional position information, an amplifier unit for dividing and amplifying the sound source signal into multiple channels, And a speaker unit for synchronizing the sound source signal delivered from the stereoscopic image file with a video signal of the stereoscopic image file, wherein the video signal is a 3D image signal in 3D space, And the spatial coordinates of the object included in the video signal, The sound pressure level at a position corresponding to the spatial coordinates of the object included in the three-dimensional image signal on the three-dimensional image signal (hereinafter, referred to as 'sound concentration point') is higher than the sound pressure level in the area other than the sound concentration point, Wherein the acoustic concentration point is selected by a user and controls at least one of the number of acoustic bright points, the position of each point, and the intensity of each point when the acoustic concentration point is selected by the user May be selected by considering.
상기 비디오 신호는 좌안 이미지 신호 및 우안 이미지 신호를 포함하고, 상기 3차원 위치 정보는 상기 좌안 이미지 신호 및 우안 이미지 신호에 의해 구현되는 입체 영상에 포함된 객체의 공간 좌표를 포함할 수 있다.The video signal includes a left eye image signal and a right eye image signal, and the three-dimensional position information may include spatial coordinates of an object included in the stereoscopic image implemented by the left eye image signal and the right eye image signal.
상기 스피커부는 M X N(M,N은 자연수) 어레이로 이루어진 복수의 스피커를 포함할 수 있다.The speaker unit may include a plurality of speakers formed of M X N (M, N is a natural number) array.
본 발명에 따른 입체 영상 재생 방법, 음향 재생 방법, 입체 영상 재생 시스템 및 음향 재생 시스템에 의하면, 제어된 음향 발생 위치에서 음원이 발생하는 것처럼 들리도록 입체 음향을 구현할 수 있기 때문에 실제에 가까운 음장 구현이 가능해진다. 또한, 시각적으로 감지되는 객체에서 직접 음향이 발생하는 듯한 느낌을 줄 수 있기 때문에 보다 현실감 있는 입체 영상 시청이 가능해진다. 또한, 음향 발생 위치는 사용자 조작에 의해 쉽게 제어될 수 있다.According to the stereoscopic image reproducing method, the sound reproducing method, the stereoscopic image reproducing system, and the sound reproducing system according to the present invention, stereo sound can be implemented so that sound sources are generated at controlled sound generating positions, It becomes possible. In addition, since it is possible to give the impression that the sound is generated directly from the object to be visually sensed, more realistic stereoscopic image viewing becomes possible. Further, the sound generating position can be easily controlled by a user operation.
도 1은 본 발명에 관련된 이론적인 내용을 설명하기 위한 개략도이다.
도 2는 위에서 설명한 이론적 배경이 구현된 음향 재생 장치의 구성도이다.
도 3은 청취 공간 내에서 음향 발생 위치를 제어하는 과정을 나타내는 흐름도이다.
도 4는 본 발명에 따른 입체 음향 재생 시스템을 나타내는 개략도이다.
도 5는 본 발명의 일 실시예에 따른 입체 영상 재생 시스템의 구성도이다.
도 6은 본 발명의 일 실시예에 따른 입체 영상 재생 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 입체 음향 재생 시스템의 구성도이다.
도 8은 본 발명의 일 실시예에 따른 입체 음향 재생 방법의 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 입체 음향 재생 시스템의 구성도이다.
도 10a 내지 10d는 본 발명의 또 다른 실시예에 따른 입체 음향 재생 방법의 사용자 입력부를 설명하는 개념도이다.
도 11은 본 발명의 또 다른 실시예에 따른 입체 음향 재생 방법의 흐름도이다.1 is a schematic diagram for explaining the theoretical content related to the present invention.
FIG. 2 is a block diagram of a sound reproducing apparatus in which the above-described theoretical background is implemented.
3 is a flowchart showing a process of controlling the sound generation position in the listening space.
4 is a schematic view showing a stereo sound reproducing system according to the present invention.
5 is a configuration diagram of a stereoscopic image reproducing system according to an embodiment of the present invention.
6 is a flowchart of a stereoscopic image reproducing method according to an embodiment of the present invention.
7 is a block diagram of a stereo sound reproducing system according to an embodiment of the present invention.
8 is a flowchart of a stereophonic sound reproducing method according to an embodiment of the present invention.
9 is a block diagram of a stereo sound reproducing system according to another embodiment of the present invention.
10A to 10D are conceptual diagrams illustrating a user input unit of a stereophonic sound reproducing method according to another embodiment of the present invention.
11 is a flowchart of a stereophonic sound reproducing method according to another embodiment of the present invention.
본 발명이 실시될 수 있는 특정 실시예를 도시한 첨부 도면을 참조하면서, 본 발명을 상세히 설명한다. 첨부 도면에 도시된 특정 실시예에 대하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시하기에 충분하도록 상세히 설명된다. 특정 실시예 이외의 다른 실시예는 서로 상이하지만 상호배타적일 필요는 없다. 아울러, 후술의 상세한 설명은 한정적인 의미로서 취하려는 것이 아님을 이해해야 한다.The present invention will now be described in detail with reference to the accompanying drawings, which show specific embodiments in which the present invention may be practiced. For a specific embodiment shown in the accompanying drawings, those skilled in the art will be described in detail so as to be sufficient for practicing the present invention. Other embodiments than the particular embodiment need not be mutually exclusive but different from each other. It is to be understood that the following detailed description is not to be taken in a limiting sense.
첨부 도면에 도시된 특정 실시예에 대한 상세한 설명은, 그에 수반하는 도면들과 연관하여 읽히게 되며, 도면은 전체 발명의 설명에 대한 일부로 간주한다. 방향이나 지향성의 언급은 설명의 편의를 위한 것일 뿐, 어떠한 방식으로도 본 발명의 권리범위를 제한하는 의도를 갖지 않는다. The detailed description of the specific embodiments shown in the accompanying drawings is read in conjunction with the accompanying drawings, and the drawings are considered as a part of the description of the entire invention. The mention of direction or orientation is for convenience of description only and is not intended to limit the scope of the invention in any way.
먼저, 본 발명에 관련된 이론적인 배경을 상세히 설명한다.First, the theoretical background related to the present invention will be described in detail.
도 1은 본 발명에 관련된 이론적인 내용을 설명하기 위한 개략도이다. 도 1은 청취 공간(a)을 개략적으로 나타내고 있는데, 이 청취 공간(a)에는 음원으로서의 역할을 하는 제1 스피커 및 제2 스피커가 설치되어 있다. 또한, 이 청취 공간(a)은 청취자(사용자)가 위치하는 공간이며, 청취자 위치(b)는 청취자가 청취 공간(a) 내에서 현재 위치하는 곳이다. 도 1에서는 음향학적 밝은 점이 1개인 경우를 나타내었으나, 음향학적 밝은 점이 여러 개인 경우에도 청취 공간(a) 내에 음향학적 밝은 점을 여러 개 도시하는 방식으로 나타낼 수 있다.1 is a schematic diagram for explaining the theoretical content related to the present invention. 1 schematically shows a listening space (a) in which a first speaker and a second speaker serving as sound sources are provided. The listening space a is a space where the listener (user) is located, and the listener position b is a place where the listener is currently located in the listening space a. 1 shows a case in which one acoustic bright point is shown. However, even when there are a plurality of acoustic bright points, a plurality of acoustic bright points may be displayed in the listening space (a).
1. 1개의 음향학적 밝은 점에 대한 입력신호의 결정1. Determination of the input signal for one acoustically bright point
청취 공간(a)에 제1 내지 제n 음원이 있을 때, 제1 내지 제n 음원에 의하여 만들어지는, 청취 공간(a) 내에 있어서의 임의의 지점(음향학적 밝은 점 또는 음향 집중점, c)에서의 음압 은 다음의 수학식 1과 같이 표현할 수 있다.(Acoustic bright point or acoustic focus point c) in the listening space a, which is made by the first to n-th sound sources when there is a first to an n-th sound source in the listening space (a) Sound pressure in Can be expressed by the following equation (1).
여기서, 은 공간상의 지점이고, 는 i번째 음원의 위치를 의미한다. 그리고 는 과 사이의 관계를 표현해주는 전달함수이다. 여기서 전달함수는 수학적인 모델로 정의하거나 실제 측정을 통해서 쉽게 얻을 수 있다. 공간상의 지점 에 대한 제1 내지 제n 음원 사이의 전달함수는 수학식 2와 같이 행렬로 표현할 수 있다.here, Is a point in space, Is the position of the i-th sound source. And The and Is a transfer function that expresses the relationship between. Here, the transfer function can be defined as a mathematical model or easily obtained through actual measurement. Point in space The transfer function between the first to n-th sound sources can be represented by a matrix as shown in Equation (2).
공간상의 지점 에 대한 공간상관행렬(Spatial Correlation matrix) 는 다음과 같이 정의된다.Point in space (Spatial Correlation Matrix) Is defined as follows.
한 지점 에서의 음향 포텐셜 에너지 밀도 는 공간상관행렬과 입력해의 내적(innerproduct)을 사용하여 나타낼 수 있으며 수학식 4와 같다.One point The acoustic potential energy density Can be expressed using the spatial correlation matrix and the innerproduct of the input solution.
정해진 입력 파워에 대해 한 지점 의 음향 포텐셜 에너지 밀도를 최대화하는 입력해 벡터 를 구할 수 있고, 이를 음향밝기제어라 부른다. 한 지점 에 대해서 음향밝기제어를 수행하면 N개의 음원을 제어하는 입력해 벡터 는 수학식 5과 같다.For a given input power, The input acoustic vector maximizing the acoustic potential energy density of And this is called an acoustic brightness control. One point The sound intensity control for the input sound vector Is expressed by Equation (5).
여기서, 는 수학식 2에서 정의된 벡터 의 크기로 수학식 6와 같이 계산된다.here, Is a vector defined in equation (2) As shown in Equation (6).
수학식 5의 벡터 를 통해 각 음원을 통해 나가는 오디오 신호의 크기와 위상차를 계산할 수 있다. i번째 스피커에 입력되는 오디오 신호의 크기 는 수학식 7과 같다.The vector of equation (5) The size and phase difference of the audio signal output through each sound source can be calculated. The size of the audio signal input to the i-th speaker Is expressed by Equation (7).
i번째 스피커에 입력되는 오디오 신호의 위상차는 의 복소수 편각을 통해 구할 수 있다.The phase difference of the audio signal input to the i-th speaker is Can be obtained through complex declination of.
2. 여러 개의 음향학적 밝은 점에 대한 입력신호의 결정2. Determination of the input signal for several acoustically bright points
사용자가 음장을 제어하기 위해 사용하는 점의 개수가 2개 이상인 경우, 다음과 같은 방법으로 제어할 수 있다. 공간상의 M개의 지점을 이라 하면, 각 지점에 대한 음향밝기제어 해는 수학식 8과 같다.When the number of points used by the user to control the sound field is two or more, it can be controlled in the following manner. M points in space , The acoustic brightness control solution for each point is expressed by Equation (8).
여러 개의 점에 대한 입력 해는 수학식 9로 정의할 수 있다.An input solution for several points can be defined by equation (9).
제어점의 개수가 많아지는 경우, 입력해의 크기가 계속 커질 수 있으므로, 이를 정규화한 를 N개의 음원의 제어 입력 해로 사용한다. 여기서 는 수학식 4에서 정의한 바 있다. 는 i번째 점의 세기를 조절하는 상수이고 0과 1 사이의 실수값을 가진다. 값을 0으로 설정하는 경우, i번째 점의 세기를 0으로 하여 해당 점을 사용하지 않는 것을 뜻하며, 이 값을 1로 설정하는 경우, 음향 밝기 제어에 의해 집중되는 밝기를 100% 사용하는 것을 뜻한다.If the number of control points increases, the size of the input solution may continue to increase. Therefore, Is used as the control input solution of N sound sources. here Is defined in Equation (4). Is a constant that controls the intensity of the i-th point and has a real value between 0 and 1. When the value is set to 0, the intensity of the i-th point is set to 0 and the corresponding point is not used. If this value is set to 1, 100% of the brightness concentrated by the acoustic brightness control is used do.
이하에서는 본 발명에 따른 구체적인 실시예를 첨부된 도면을 참조하여 설명한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
도 2는 위에서 설명한 이론적 배경이 구현된 음향 재생 장치의 구성도이다. 도 2에 도시된 음향 재생 장치는 음원재생부(100), 신호 분석 및 발생부(200), 사용자 콘트롤러(300)로 이루어진다.FIG. 2 is a block diagram of a sound reproducing apparatus in which the above-described theoretical background is implemented. The sound reproducing apparatus shown in FIG. 2 includes a sound
음원재생부 (100)는 다수의 음원에 해당하는 스피커부(110)와 이 복수의 스피커(110)를 구동할 수 있는 앰프부(120)로 이루어진다. 여기서, 스피커부(110)는 M×N(M,N은 자연수) 어레이로 이루어진 복수의 스피커를 포함하고, 앰프부(120)는 다채널 오디오 앰프로 이루어질 수 있다.The sound
신호 분석 및 발생부(200)는 입력 오디오 신호를 가지고 있는 CD나 MP3 등의 디지털 데이터를 받아들일 수 있는 재생(playback)기기(210)와, 재생기기(210)로부터의 원음신호와 사용자 콘트롤러(300)로부터 제어 신호(q)를 받아 신호분석을 하는 신호분석부(220)와, 신호분석부 (220)로부터의 정보를 받아 앰프부(120)로 각각의 스피커부(110)에 동기화된 개별 음원 신호를 부여하는 다채널 신호 발생기(230)로 이루어진다. 신호분석부(220)는 청취 공간 내에서의 특정의 위치 즉, 음향 집중점에서 음향이 재생되는 것처럼 들리도록 하는 음원 신호를 결정하여 그 정보를 다채널 신호 발생기(230)에 전달하는 다채널 신호 분석기(221)로 이루어진다. 구체적으로, 음원 신호를 결정함에 있어서, 음향 집중점에서의 음압레벨이 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 음원 신호를 결정한다. 더 구체적으로는, 음향 집중점에서의 음향 포텐셜 에너지 밀도와 개별 음원 신호의 에너지의 합과의 비가 최대가 되도록 하는 음원 신호를 결정한다. The signal analysis and
사용자 콘트롤러(300)는, 사용자로부터 음향학적 밝은 점의 개수, 위치, 세기 등에 관한 입력이 이루어지는 입력부(310), 신호 분석 및 발생부 (200)와 데이터를 송수신할 수 있는 송수신부(320), 및 현재의 제어상태를 확인할 수 있는 디스플레이부(330)로 이루어진다.The
따라서, 이와 같은 음향 재생 장치에 의하면, 청취 공간 중 특정의 위치에서 음향이 재생되는 것처럼 들리도록 할 수 있기 때문에, 청취자가 원하는 위치에서 음향이 재생되는 것처럼 들리게 할 수 있고, 청취자의 요구에 맞는 최적의 음향환경을 제공할 수 있다.Therefore, according to such an audio reproducing apparatus, it is possible to make it sound as if the sound is reproduced at a specific position in the listening space, so that it is possible to make the listener feel as if the sound is reproduced at a desired position, Can be provided.
도 3은 청취 공간에서 음향이 재생되는 특정 위치를 생성하는 과정을 나타낸 플로우차트이다.FIG. 3 is a flowchart showing a process of generating a specific position at which sound is reproduced in a listening space.
먼저, 신호 분석 및 발생부(200)의 신호 분석부(220)에서, 사용자 컨트롤러 (300)의 입력부(310)를 통하여 사용자가 선택한 음향 집중점의 위치에 따른, 스피커부(110)에 입력되는 음원신호와 음향집중점으로부터 출력되는 음향신호 사이의 전달함수를 계산한다(단계 S1).The
다음으로, 신호 분석 및 발생부(200)의 신호 분석부(220)에서, 단계 S1에서 측정된 전달 함수를 이용하여 음향 집중점에서 음향이 재생되는 것처럼 들리도록 하는 음원 신호를 결정하고, 이 정보를 다채널 신호 발생기 (230)에 전달한다(단계 S2). 구체적으로, 음원 신호를 결정함에 있어서, 음향 집중점에서의 음압레벨이 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 음원 신호를 결정한다. 더 구체적으로는, 음향 집중점에서의 음향 포텐셜 에너지 밀도와 개별 음원 신호의 에너지의 합과의 비가 최대가 되도록 하는 음원 신호를 결정한다. 여기서, 단일의 주파수에 대하여 기술하고 있으나, 복수의 주파수로 이루어진 경우에는 각각의 주파수에 대한 음원 신호를 결정하는 것으로 이해하면 무방하다. 또한, 여기서 결정된 음원 신호는, 후술하는 단계 S3에서, 원음 신호(청취 공간 내의 특정 위치에서 재생되는 것처럼 들리도록 하고자 하는 임의의 소리)를 필터링하는 필터링 계수로 기능한다. Next, the
다음으로, 신호 분석 및 발생부(200)의 다채널 신호 발생기(300)에서, 신호분석부(220)로부터 전달 받은 정보에 기초하여 원음 신호를 단계 S2에서 결정된 음원 신호로 필터링하여, 청취 공간에서 음향이 재생되는 특정위치 생성에 최적화된 음원 신호(필터링된 음원 신호), 즉 제어 음원 신호를 발생시키고, 이를 음원재생부(100)에 전달한다(단계 S3). 여기서, 단일의 주파수에 대하여 기술하고 있으나, 복수의 주파수로 이루어진 경우에는 각각의 주파수에 있어서, 원음 신호를 결정된 음원 신호로 필터링하고, 최적화된에 대한 음원 신호, 즉 제어 음원 신호를 발생시키는 것으로 이해하면 무방하다.Next, in the
다음으로, 음원재생부(100)는 신호 분석 및 발생부(200)의 다채널 신호발생기(300)로부터의 최적화된 음원 신호, 즉 제어 음원 신호를 앰프부(120) 및 스피커부(110)를 통하여 재생하고(단계 S4), 이에 따라 청취 공간에는 음향이 재생되는 특정위치가 생성된다(단계 S5).Next, the sound
이러한 일 실시예의 음향 재생 장치는 청취 공간의 크기 등과, 그 청취 공간 내에서 다수의 스피커부(110)가 설치되는 위치, 청취자의 위치 등의 가변 변수들이 임의로 결정될 수 있는 경우에 대응하는 것을 고려한 것이다. 따라서, 이 경우에는 변수들이 달라질 때마다 전달함수가 달라지게 되므로, 전달함수의 계산을 위하여 신호 분석부(220)가 포함되어 있다.The sound reproducing apparatus of this embodiment takes into consideration the case where variable variables such as the size of the listening space, the position where a plurality of
한편, 청취공간에서 사용자가 음장을 제어하는 경우에는 다음의 3가지 조절이 가능하다. 즉, (i) 음향학적 밝은 점의 개수를 설정하는 기능, (ii) 각 점의 위치를 제어하는 기능, 및 (iii) 각 점의 세기를 제어하는 기능이다. 설정된 여러 개의 점은 각각의 번호를 가지고, 해당하는 번호의 위치와 세기를 신호 분석 및 발생부(200)에 전달한다. 이때, 앞에서 구한 해에 따라 N개의 채널의 입력해가 결정된다. On the other hand, when the user controls the sound field in the listening space, the following three adjustments are possible. That is, (i) a function to set the number of acoustically bright points, (ii) a function to control the position of each point, and (iii) a function to control the intensity of each point. The set points have respective numbers, and transmit the position and intensity of corresponding numbers to the signal analysis and
첫째, 한 개의 음향 집중점을 사용하는 경우에, 청취자는 음향 집중점이 위치하는 지점에서 음향이 발생하는 것으로 느낄 수 있다. 음향 집중점의 세기를 조절하면 청취자는 청취하는 음향의 거리감이 바뀌는 것을 인지하게 된다. 예를 들어, 음향 집중점의 세기를 작게하면, 음향의 방향은 바뀌지 않지만 더 멀리서 음향이 들리는 것으로 인지하게 된다. 음향 집중점의 위치를 청취자의 귀 근처로 가까이 하면, 청취자는 자신에게 집중된 음향을 듣게 되어 현장감을 느낄 수 있다.First, in the case of using one acoustic concentration point, the listener may feel that sound occurs at the point where the acoustic concentration point is located. By adjusting the intensity of the acoustic focus point, the listener is aware of the change in the sense of distance of the sound being heard. For example, if you decrease the intensity of the acoustic focus, you will notice that the direction of the sound does not change, but the sound is heard farther away. When the location of the acoustic focus point is located near the listener's ears, the listener can feel the presence feeling by listening to the sound concentrated on him / her.
둘째, 여러 개의 음향 집중점을 사용하는 경우에는, 음향이 재생되는 것처럼 들리는 특정의 위치가 2개 이상이기 때문에, 청취자는 음향 집중점이 위치하는 2개 이상의 지점에서 음향이 발생하는 것으로 느낄 수 있다. 나아가, 각각의 음향 집중점에 다른 음원을 사용하는 경우와, 각각의 음향 집중점에 하나의 음원(동일한 음원)을 사용하는 경우로 구분할 수 있다.Second, in the case of using multiple acoustic focus points, the listener may feel that sound occurs at two or more points where acoustic focus points are located, since there are two or more specific positions where the sound sounds as if it were reproduced. Furthermore, it is possible to distinguish the case where different sound sources are used for each sound concentration point and the case where one sound source (same sound source) is used for each sound concentration point.
먼저, 각각의 음향 집중점에 다른 음원을 사용하는 경우, 2개 이상의 특정의 위치에서 서로 다른 음향이 재생되는 것처럼 들리기 때문에, 음향 집중점들이 위치하는 서로 다른 방향에서 음향이 발생하는 것으로 느낄 수 있다. 예를 들어, 청취자 앞 방향에 하나의 음향 집중점을 집중하여 바이올린 음향의 음원을 사용하고 청취자 뒤 방향에 다른 음향 집중점을 집중하여 피아노 음향의 음원을 사용한다면, 청취자는 바이올린 연주자와 피아노 연주자 사이에 위치하여 음악을 듣는 현장감을 느낄 수 있다. 이는 많은 수의 점에 대해서 동일하게 성립한다.First, when using different sound sources for each sound concentration point, it can be perceived that sound is generated in different directions in which the sound concentration points are located, because it sounds as if different sounds are reproduced at two or more specific positions . For example, if you concentrate one sound concentration point in front of the listener and use the sound source of violin sound and concentrate the other sound concentration points in the back of the listener to use the sound source of piano sound, the listener can hear the sound of the violinist and the piano player And you can feel the sense of presence listening to music. This holds true for a large number of points.
그리고, 각각의 음향 집중점에 하나의 음원을 사용하는 경우, 음향 집중점들의 조합에 따라 전혀 다른 공간감을 느낄 수 있다. 즉,음향 집중점들의 위치를 조절하여 각각의 스피커에서 출력되는 음향의 크기차이와 위상차이를 크게 만들어 줄 수 있다.예를 들어, 2개 이상의 특정의 위치에서 서로 다른 음향이 재생되는 것처럼 들리기 때문에, 넓은 콘서트 홀에서 울림 같은 긴 잔향시간을 갖는 소리(wet sound)를 만들 수 있다. 그 반대의 경우에는 짧은 잔향시간을 갖는 소리(dry sound)를 만들 수 있다. 즉, 청취자가 실제 위치하는 공간에 상관없이 전혀 다른 공간에 위치하고 있다는 느낌을 줄 수 있다.In addition, when one sound source is used for each sound concentration point, a different spatial feeling can be felt depending on the combination of sound concentration points. In other words, by adjusting the position of the sound concentration points, it is possible to increase the size difference and the phase difference of the sound output from each speaker. For example, since it sounds as if different sounds are reproduced at two or more specific positions , And a long sounding reverberation time (wet sound) in a wide concert hall. Conversely, a dry sound with short reverberation time can be created. That is, the listener can feel that he / she is located in a completely different space regardless of the space actually occupied by the listener.
도 4는 본 발명에 따른 입체 음향 재생 시스템을 나타내는 개략도이다. 도 4에 도시된 바와 같이, 본 발명에 따른 입체 음향 재생 시스템은 M×N(M,N은 자연수) 어레이(array)로 이루어진 스피커부(110)를 포함하고, 위에서 설명한 방식으로 생성된 음원 신호가 스피커부(110)를 통해 재생됨에 따라, 음향 발생 위치(C1, C2)(위에서 언급한 '음향집중점'에 대응)가 조절될 수 있다. 여기서, 음향 발생 위치(C1, C2)는 x,y,z축의 공간 좌표로 표시될 수 있고, 청취자(b)는 스피커부(110)를 통해 재생된 오디오 신호가 해당 위치에서 발생되는 것처럼 들리게 된다. 이때, 음향 발생 위치(C1, C2)는 청취 공간(a) 내에 위치하게 되며, 청취 공간(a)은 스피커부(110)가 차지하는 영역과 스피커부(110)와 청취자(b) 사이의 거리에 의해 정의될 수 있다.4 is a schematic view showing a stereo sound reproducing system according to the present invention. 4, the stereophonic sound reproducing system according to the present invention includes a
도 5는 본 발명의 일 실시예에 따른 입체 영상 재생 시스템의 구성도이다. 본 발명에 따른 입체 영상 재생 시스템은 스피커부(110), 앰프부(120), 스크린부(130), 신호 분석 및 발생부(200) 및 저장부(300)를 포함한다. 5 is a configuration diagram of a stereoscopic image reproducing system according to an embodiment of the present invention. The stereoscopic image reproducing system according to the present invention includes a
입체 영상 파일(10)은 오디오 신호(12)와 비디오 신호(13)를 포함할 수 있다. 입체 영상 파일(10)의 비디오 신호(13)는 좌안 이미지 신호와 우안 이미지 신호로 구성될 수 있다. 좌안 이미지 신호 및 우안 이미지 신호에 의해 구현되는 입체 영상에 포함된 객체의 공간 좌표(오브젝트 위치 정보)는 음원 신호를 생성하기 위한 위치 정보로 이용될 수 있다. 이와 달리, 입체 영상 파일(10)의 비디오 신호(13)는 홀로그램 영상 신호일 수 있고, 홀로그램 영상에 포함된 객체의 공간 좌표(오브젝트 위치 정보)는 음원 신호를 생성하기 위한 위치 정보로 이용될 수 있다.The
신호 분석 및 발생부(200)는 입체 영상 파일(10)로부터 오브젝트 위치 정보를 추출하여 음원 신호를 생성한다. 음원 신호는 위에서 설명한 바와 같이 특정 위치 정보에 대응하는 전달 함수에 의해 생성되며, 청취 영역(a) 내의 각 음향 발생 위치에 대응하는 전달 함수는 저장부(300)에 미리 저장되어 있을 수 있다. 신호 분석 및 발생부(200)는 오브젝트 위치 정보에 포함된 3차원 공간 좌표에 기초하여 음원 신호를 생성한 뒤 앰프부(120)에 전달한다. The signal analysis and
앰프부(120)는 음원 신호를 다채널로 분리하여 증폭한 뒤 스피커부(110)로 전달하고, M×N 어레이로 구성된 스피커부(110)는 앰프부(120)에서 전달된 음원 신호를 재생한다. 이때, 스피커부(110)를 통해 재생되는 음원 신호는 스크린부(130)를 통해 재생되는 비디오 신호(13)와 동기화되어야 한다.The
본 발명에 따른 입체 영상 재생 시스템에 의하면, 입체 영상에 포함된 객체(예를 들어, 주인공)에 대응하는 오디오 신호(12)(예를 들어, 주인공의 대사 등)를 해당 객체가 위치한 곳에서 발생하는 것처럼 들리게 함으로써 더욱 현실감 있는 입체 영상 시청이 가능해진다. According to the stereoscopic image reproducing system of the present invention, an audio signal 12 (for example, a metabolism of a main character) corresponding to an object (for example, a main character) included in a stereoscopic image is generated So that a more realistic stereoscopic image can be viewed.
도 6은 본 발명에 따른 입체 영상 재생 방법의 흐름도이다. 먼저, 입체 영상 파일로부터 오디오 신호 및 오브젝트의 3차원 위치 정보를 추출한다(S500). 오브젝트의 3차원 위치 정보(12)는 입체 영상에 포함된 객체의 공간 좌표를 포함할 수 있다.6 is a flowchart of a stereoscopic image reproducing method according to the present invention. First, the 3D position information of the audio signal and the object is extracted from the stereoscopic image file (S500). The three-
신호 분석 및 발생부(200)는 3차원 위치 정보에 대응하는 전달 함수를 결정한다(S510). 이때, 청취 영역(a)의 각 음향 발생 위치에 대응하는 전달 함수는 위에서 설명한 방법으로 미리 산출되어 저장될 수 있다. The signal analysis and
이후, 전달 함수를 이용해 3차원 위치 정보에 대응하는 위치에서 오디오 신호가 발생하는 것처럼 들리게 하는 음원 신호를 생성하고(S510), 입체 영상 파일의 비디오 신호에 동기화하여 음원 신호를 재생한다(S530).Thereafter, a sound source signal is generated (S510) to make it sound as if an audio signal is generated at a position corresponding to the three-dimensional position information using the transfer function (S530), and the sound source signal is synchronized with the video signal of the stereoscopic image file at operation S530.
본 발명에 따른 입체 영상 재생 방법에 의하면, 입체 영상에 포함된 객체에 대응하는 오디오 신호를 해당 객체가 위치한 곳에서 발생되는 것처럼 들리게 함으로써 더욱 현실감 있는 입체 영상 시청이 가능해진다. According to the stereoscopic image reproducing method of the present invention, audio signals corresponding to the objects included in the stereoscopic image are displayed as if they occur at the location of the corresponding object, thereby enabling more realistic stereoscopic image viewing.
도 7은 본 발명의 일 실시예에 따른 입체 음향 재생 시스템의 구성도이고, 도 8은 본 발명의 일 실시예에 따른 입체 음향 재생 방법의 흐름도이다. 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 입체 음향 재생 시스템은 스피커부(110), 앰프부(120), 신호 분석 및 발생부(200) 및 저장부(300)를 포함한다.FIG. 7 is a configuration diagram of a stereo sound reproducing system according to an embodiment of the present invention, and FIG. 8 is a flowchart of a stereo sound reproducing method according to an embodiment of the present invention. 7, a stereophonic sound reproducing system according to an embodiment of the present invention includes a
동영상 파일(20)은 오디오 신호(21)와 동영상 내 객체의 위치 정보(오브젝트 위치 정보(22))를 포함하고, 입체 음향 재생 방법은 먼저 동영상 파일(20)로부터 오디오 신호(21)와 오브젝트 위치 정보(22)를 추출한다(S600).The moving
이후, 신호 분석 및 발생부(200)는 오브젝트 위치에 대응하는 전달 함수를 결정한다(S610). 이때, 청취 영역 내의 각 음향 발생 위치에 대응하는 전달 함수는 저장부(300)에 미리 저장되어 있을 수 있다. 신호 분석 및 발생부(200)는 동영상 파일(20)로부터 추출된 오브젝트 위치 정보(22)에 기초하여, 이에 대응하는 전달 함수를 저장부(300)로부터 독출한다.Thereafter, the signal analysis and
전달 함수가 결정되면, 이를 이용해 오브젝트 위치 정보에 대응하는 위치에서 오디오 신호(21)에 의한 음향이 발생하는 것처럼 들리도록 하는 음원 신호를 생성한다(S620).When the transfer function is determined, a sound source signal is generated so that sound is generated by the
음원 신호는 앰프부(120)에서 다채널로 분리 및 증폭되어 스피커부(110)로 전달되며, M×N(M,N은 자연수) 어레이로 구성된 스피커부(110)를 통해 재생된다.이에 따라, 오디오 신호(21)에 의한 음향이 오브젝트 위치 정보(22)에 대응하는 위치에서 발생하는 것처럼 들리게 된다.The sound source signal is separated and amplified into a plurality of channels by the
도 9는 본 발명의 또 다른 실시예에 따른 입체 음향 재생 시스템의 구성도이다. 도 9에 도시된 입체 음향 재생 시스템은, 도 7의 실시예와 달리, 오브젝트 위치 정보(22)에 대응하는 공간 위치 정보(32)가 사용자 컨트롤러(400)를 통해 입력된다. 즉, 신호 분석 및 발생부(200)는 사용자 컨트롤러(400)로부터 입력된 공간 위치 정보(32)에 대응하는 위치에서 오디오 신호(31)에 의한 음향이 발생되는 것처럼 들리게 하는 음원 신호를 생성한다. 공간 위치 정보(32)를 입력받기 위한 사용자 컨트롤러(400)는 사용자 입력을 용이하게 하기 위한 디스플레이부(미도시) 및 입력부(미도시)를 포함한다. 9 is a block diagram of a stereo sound reproducing system according to another embodiment of the present invention. 9, the spatial position information 32 corresponding to the
도 10a 내지 10d는 사용자 컨트롤러(400)가 터치스크린으로 구현된 것으로 디스플레이부(미도시)에 표시된 이미지를 나타낸다. 물론, 다른 실시예에서는 터치스크린 외의 입력 수단으로 구현될 수 있다. 10A to 10D show an image displayed on the display unit (not shown) in which the
터치스크린에는 청취 공간(a), 청취자 위치(b), 음향 발생 위치(c)가 디스플레이된다. 사용자는 터치스크린 상에 디스플레이된 청취 공간(a) 내에서 터치 등의 조작을 통해 음향 발생 위치(c)를 설정할 수 있다.In the touch screen, the listening space (a), the listener position (b), and the sound generating position (c) are displayed. The user can set the sound generating position c through an operation such as touch within the listening space a displayed on the touch screen.
터치스크린에는 도 10a와 같은 청취 공간(a)이 디스플레이될 수 있고, 사용자 터치에 의해 음향 발생 위치(c)가 표시된다. 청취 공간(a)은 폐곡선으로 닫힌 공간으로 표시되는데, 이 그 외부공간과 색깔이 구분되도록 표시될 수 있다.10A can be displayed on the touch screen, and the sound generating position c is displayed by the user's touch. The listening space (a) is displayed as a closed space with a closed curve, which can be displayed so as to distinguish colors from the external space.
사용자는 도 10b 및 10c와 같이 복수의 음향 발생 위치(c)을 설정할 수 있다. 도 10b 및 10c에서는 3개의 음향 발생 위치(c)를 설정하는 것으로 도시했지만, 이보다 적거나 많은 수의 음향 발생 위치(c)를 설정할 수도 있을 것이다. 음향 발생 위치(c)의 설정 개수에 따라 오디오 신호에 의한 음향이 발생되는 것처럼 들리는 위치의 개수가 정해질 수 있다. 한편, 사용자는 터치스크린 상에서 드래그 등의 조작방식을 통해 음향 발생 위치(c)를 변경할 수 있다. The user can set a plurality of sound generating positions c as shown in Figs. 10B and 10C. Although Fig. 10B and Fig. 10C illustrate the setting of three acoustic generating positions c, it is also possible to set the number of acoustic generating positions c to be less or larger than this. The number of positions at which sounds due to the audio signal appear to be generated can be determined according to the set number of sound generating positions c. On the other hand, the user can change the sound generating position c through a manipulation such as dragging on the touch screen.
사용자는, 도 10d에 도시된 바와 같이, 터치스크린 상에서 음향 발생 위치(c)를 터치하거나 일정시간 눌러 해당 위치에서 재생되는 음향의 세기를 변경할 수도 있다. 10D, the user may touch the sound generating position c on the touch screen or press the sound generating position c for a predetermined time to change the intensity of the sound reproduced at the corresponding position.
사용자가 처음에 음향 발생 위치(c)를 설정하면, 해당 위치에서 재생되는 음향의 세기가 기준값으로 설정된다. 예를 들어, 이 기준값은 “레벨 1”의 소리 크기일 수 있다. 그리고, 사용자가 해당 음향 발생 위치(c)를 터치하면, 터치 횟수에 따라 레벨 2, 3 … 으로 세기가 증가될 수 있다. 반대로, 음향의 세기를 줄이고자할 때에는 해당 음향 발생 위치(c)를 일정 기간 터치하거나 소정 세기의 압력을 갖는 터치를 인가할 수 있다. 그 밖에도 연속 터치 등의 방식으로 음향의 세기를 조절할 수 있다. 음향의 세기를 디스플레이하는 것과 관련해서는, 레벨 1, 2, 3의 세기를 각각 1, 2, 3, 또는 약, 중, 강 등으로 디스플레이할 수 있지만, 이에 한정되지 않는다.When the user first sets the sound generating position c, the intensity of the sound reproduced at the position is set as the reference value. For example, the reference value may be a sound level of "
도 11은 본 발명의 또 다른 실시예에 따른 입체 음향 재생 방법의 흐름도이다.11 is a flowchart of a stereophonic sound reproducing method according to another embodiment of the present invention.
먼저, 동영상 파일로부터 오디오 신호를 추출하고(S700), 사용자로부터 공간 좌표 정보를 수신한다(S710). 여기서 공간 좌표 정보란 위의 오브젝트 위치 정보에 대응하는 것으로, 사용자가 임의로 설정하고자 하는 음향 발생 위치를 의미한다.First, an audio signal is extracted from a moving picture file (S700), and spatial coordinate information is received from the user (S710). Here, the space coordinate information corresponds to the above object position information, and means a sound generation position that the user desires to set arbitrarily.
이후, 공간 좌표에 대응하는 전달 함수를 결정하고(S720), 전달 함수를 이용하여 해당 공간 좌표에서 동영상 파일로부터 추출된 오디오 신호에 의한 음향이 발생하는 것처럼 들리도록 하는 음원 신호를 생성하고(S730), 생성된 음원 신호를 스피커를 통해 재생한다(S740).Then, a transfer function corresponding to the spatial coordinates is determined (S720), and a sound source signal is generated such that sound due to the audio signal extracted from the moving picture file is sounded in the spatial coordinates using the transfer function (S730) , And reproduces the generated sound source signal through the speaker (S740).
이에 의하면, 제어된 음향 발생 위치에서 음원이 발생하는 것처럼 들리도록 입체 음향을 구현할 수 있기 때문에 실제에 가까운 음장 구현이 가능해진다. 또한, 시각적으로 감지되는 객체에서 직접 음향이 발생하는 듯한 느낌을 줄 수 있기 때문에 보다 현실감 있는 입체 영상 시청이 가능해진다. 또한, 음향 발생 위치는 사용자 조작에 의해 쉽게 제어될 수 있다.According to this, a stereophonic sound can be implemented so that a sound source is generated at a controlled sound generating position, so that it is possible to realize a sound field close to actual one. In addition, since it is possible to give the impression that the sound is generated directly from the object to be visually sensed, more realistic stereoscopic image viewing becomes possible. Further, the sound generating position can be easily controlled by a user operation.
본 발명의 바람직한 실시 형태를 포함하는 특정 실시예의 관점에서 본 발명을 설명했지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 위에서 설명된 발명의 구성에 있어, 다양한 치환이나 변형을 예측할 수 있을 것이다. 또한, 본 발명의 권리범위와 기술적 사상을 벗어나지 않는 한, 구조적이고 기능적인 변조가 다양하게 이루어질 수 있다. 따라서, 본 발명의 사상이나 권리범위는 본 명세서에 첨부된 청구범위에 기술된 바와 같이 광범위하게 이해될 수 있을 것이다.While the present invention has been described in terms of specific embodiments including the preferred embodiments thereof, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, will be. In addition, various structural and functional modifications can be made without departing from the scope and spirit of the present invention. Accordingly, the spirit and scope of the present invention may be understood broadly as described in the claims appended hereto.
100 : 음원재생부
110 : 스피커부
120 : 앰프부
130 : 스크린부
200 : 신호 분석 및 발생부
210 : 재생기기
220 : 신호분석부
221 : 신호분석기
230 : 다채널 신호 발생기
300 : 저장부
400 : 사용자 컨트롤러100: sound source reproducing section
110: Speaker
120: Amplifier
130:
200: Signal Analysis and Generator
210: Playback device
220: Signal Analysis Unit
221: Signal Analyzer
230: Multi-channel signal generator
300:
400: User controller
Claims (6)
상기 3차원 위치 정보에 대응하는 전달 함수를 결정하는 결정 단계;
상기 전달 함수를 이용하여, 상기 3차원 위치 정보에 대응하는 위치에서 상기 오디오 신호에 의한 음향이 발생하는 것처럼 들리게 하는 음원 신호를 생성하는 생성 단계; 및
상기 입체 영상 파일의 비디오 신호에 동기화하여 상기 음원 신호를 재생하는 재생 단계;를 포함하고,
상기 비디오 신호는 3D 공간상의 3차원 영상 신호이고, 상기 3차원 위치 정보는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표를 포함하며,
상기 음원 신호는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표에 대응하는 위치(이하, '음향 집중점'이라 함)에서의 음압레벨이 상기 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 것이고,
상기 음향 집중점은 사용자에 의해 선택되는 것이며, 상기 음향 집중점이 상기 사용자에 의해 선택될 때 음향학적 밝은 점의 개수, 각 점의 위치를 제어, 각 점의 세기를 제어하는 것 중 적어도 어느 하나를 고려하여 선택되는,
입체 영상 재생 방법.An extraction step of extracting three-dimensional position information of an audio signal and an object from a stereoscopic image file;
Determining a transfer function corresponding to the three-dimensional position information;
A generating step of generating a sound source signal by using the transfer function so as to sound as if the sound by the audio signal occurs at a position corresponding to the three-dimensional position information; And
And a reproducing step of reproducing the sound source signal in synchronization with a video signal of the stereoscopic image file,
Wherein the video signal is a 3D image signal on a 3D space, the 3D position information includes spatial coordinates of the object included in the 3D image signal on the 3D space,
Wherein the sound source signal includes a sound pressure level at a position corresponding to a spatial coordinate of the object included in the three-dimensional image signal on the 3D space (hereinafter, referred to as an 'acoustic concentration point'), Level,
Wherein the acoustic concentration point is selected by a user and controls at least one of the number of acoustic bright points, the position of each point, and the intensity of each point when the acoustic concentration point is selected by the user Considered to be chosen,
Stereoscopic image reproduction method.
청취 영역 내의 각 음향 집중점에 대응하는 전달 함수를 산출하여 저장하는 저장 단계;를 더 포함하고,
상기 결정 단계는, 기저장된 전달 함수 중에서 상기 음향 집중점에 대응하는 전달 함수를 독출하여 상기 음원 신호를 생성하기 위한 전달 함수로 결정하는 입체 영상 재생 방법.The method according to claim 1,
And a storage step of calculating and storing a transfer function corresponding to each acoustic concentration point in the listening area,
Wherein the determining step determines the transfer function corresponding to the sound concentration point as a transfer function for generating the sound source signal by reading a transfer function corresponding to the sound concentration point among the transfer functions previously stored.
상기 비디오 신호는 좌안 이미지 신호 및 우안 이미지 신호를 포함하고, 상기 3차원 위치 정보는 상기 좌안 이미지 신호 및 우안 이미지 신호에 의해 구현되는 입체 영상에 포함된 객체의 공간 좌표를 포함하는 입체 영상 재생 방법.The method according to claim 1,
Wherein the video signal includes a left eye image signal and a right eye image signal, and the three-dimensional position information includes spatial coordinates of an object included in the stereoscopic image implemented by the left eye image signal and the right eye image signal.
상기 음원 신호를 다채널로 분리하여 증폭하는 앰프부; 및
상기 앰프부로부터 전달된 상기 음원 신호를 상기 입체 영상 파일의 비디오 신호에 동기화하여 출력하는 스피커부;를 포함하고,
상기 비디오 신호는 3D 공간상의 3차원 영상 신호이고, 상기 3차원 위치 정보는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표를 포함하며,
상기 음원 신호는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표에 대응하는 위치(이하, '음향 집중점'이라 함)에서의 음압레벨이 상기 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 것이고,
상기 음향 집중점은 사용자에 의해 선택되는 것이며, 상기 음향 집중점이 상기 사용자에 의해 선택될 때 음향학적 밝은 점의 개수, 각 점의 위치를 제어, 각 점의 세기를 제어하는 것 중 적어도 어느 하나를 고려하여 선택되는,
입체 영상 재생 시스템.Extracting an audio signal and three-dimensional position information of the object from the stereoscopic image file, reading a transfer function corresponding to the three-dimensional position information, and generating sound by the audio signal at a position corresponding to the three- A signal analyzing and generating unit for generating a sound source signal for causing the sound source signal to sound;
An amplifier unit for separating and amplifying the sound source signal into multiple channels; And
And a speaker unit for synchronizing and outputting the sound source signal transmitted from the amplifier unit to a video signal of the stereoscopic image file,
Wherein the video signal is a 3D image signal on a 3D space, the 3D position information includes spatial coordinates of the object included in the 3D image signal on the 3D space,
Wherein the sound source signal includes a sound pressure level at a position corresponding to a spatial coordinate of the object included in the three-dimensional image signal on the 3D space (hereinafter, referred to as an 'acoustic concentration point'), Level,
Wherein the acoustic concentration point is selected by a user and controls at least one of the number of acoustic bright points, the position of each point, and the intensity of each point when the acoustic concentration point is selected by the user Considered to be chosen,
Stereoscopic image reproduction system.
상기 비디오 신호는 좌안 이미지 신호 및 우안 이미지 신호를 포함하고, 상기 3차원 위치 정보는 상기 좌안 이미지 신호 및 우안 이미지 신호에 의해 구현되는 입체 영상에 포함된 객체의 공간 좌표를 포함하는 입체 영상 재생 시스템.5. The method of claim 4,
Wherein the video signal includes a left eye image signal and a right eye image signal, and the three-dimensional position information includes spatial coordinates of an object included in the stereoscopic image implemented by the left eye image signal and the right eye image signal.
상기 스피커부는 M X N(M,N은 자연수) 어레이로 이루어진 복수의 스피커를 포함하는 입체 영상 재생 시스템.5. The method of claim 4,
Wherein the speaker unit includes a plurality of speakers formed of an MXN (M, N is a natural number) array.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170127970A KR102388361B1 (en) | 2016-08-12 | 2017-09-29 | 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160102814 | 2016-08-12 | ||
KR1020170127970A KR102388361B1 (en) | 2016-08-12 | 2017-09-29 | 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160102814 Division | 2016-08-12 | 2016-08-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180018464A true KR20180018464A (en) | 2018-02-21 |
KR102388361B1 KR102388361B1 (en) | 2022-04-20 |
Family
ID=61525173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170127970A KR102388361B1 (en) | 2016-08-12 | 2017-09-29 | 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102388361B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102101771B1 (en) | 2018-12-12 | 2020-04-17 | 서울과학기술대학교 산학협력단 | Device and method for providing contents |
KR20200072346A (en) | 2018-12-12 | 2020-06-22 | 서울과학기술대학교 산학협력단 | Device and method for deriving object coordinate |
WO2023207884A1 (en) * | 2022-04-27 | 2023-11-02 | 华为技术有限公司 | Audio playback method and related apparatus |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5802190A (en) | 1994-11-04 | 1998-09-01 | The Walt Disney Company | Linear speaker array |
US5910990A (en) | 1996-11-20 | 1999-06-08 | Electronics And Telecommunications Research Institute | Apparatus and method for automatic equalization of personal multi-channel audio system |
KR20100066289A (en) * | 2008-12-08 | 2010-06-17 | 한국전자통신연구원 | Method and apparatus for providing realistic immersive multimedia services |
KR101381396B1 (en) * | 2013-09-12 | 2014-04-04 | 하수호 | Multiple viewer video and 3d stereophonic sound player system including stereophonic sound controller and method thereof |
KR102043416B1 (en) | 2019-04-15 | 2019-11-12 | 주식회사 첨단공간정보 | Geodetic surveying system for survey method of datum poing |
-
2017
- 2017-09-29 KR KR1020170127970A patent/KR102388361B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5802190A (en) | 1994-11-04 | 1998-09-01 | The Walt Disney Company | Linear speaker array |
US5910990A (en) | 1996-11-20 | 1999-06-08 | Electronics And Telecommunications Research Institute | Apparatus and method for automatic equalization of personal multi-channel audio system |
KR20100066289A (en) * | 2008-12-08 | 2010-06-17 | 한국전자통신연구원 | Method and apparatus for providing realistic immersive multimedia services |
KR101381396B1 (en) * | 2013-09-12 | 2014-04-04 | 하수호 | Multiple viewer video and 3d stereophonic sound player system including stereophonic sound controller and method thereof |
KR102043416B1 (en) | 2019-04-15 | 2019-11-12 | 주식회사 첨단공간정보 | Geodetic surveying system for survey method of datum poing |
Non-Patent Citations (4)
Title |
---|
C. L. Dolph, 'A current distribution for broadside arrays which optimizes the relationship between beamwidth and sidelobe level,' Proc. IRE 34(6), 335-348 (1946). |
R. C. Jones, 'On the theory of the directional patterns of continuous source distributions on a plane surface,' J. Acoust. Soc. Am.16(3), 147-171(1945). |
R. L. Prichard, 'Maximum directivity index of a linear point array,' J. Acoust. Soc. Am. 26, 1034-1039(1954). |
Roy L. Streit, 'Optimization of discrete array of arbitrary geometry,'J. Acost. Soc. Am. 69(1), 199-212 (1981). |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102101771B1 (en) | 2018-12-12 | 2020-04-17 | 서울과학기술대학교 산학협력단 | Device and method for providing contents |
KR20200072346A (en) | 2018-12-12 | 2020-06-22 | 서울과학기술대학교 산학협력단 | Device and method for deriving object coordinate |
WO2023207884A1 (en) * | 2022-04-27 | 2023-11-02 | 华为技术有限公司 | Audio playback method and related apparatus |
Also Published As
Publication number | Publication date |
---|---|
KR102388361B1 (en) | 2022-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4819823B2 (en) | Acoustic system driving apparatus, driving method, and acoustic system | |
KR101844511B1 (en) | Method and apparatus for reproducing stereophonic sound | |
US5764777A (en) | Four dimensional acoustical audio system | |
CN104822036B (en) | The technology of audio is perceived for localization | |
US10779083B2 (en) | Soundbar having single interchangeable mounting surface and multi-directional audio output | |
KR101764175B1 (en) | Method and apparatus for reproducing stereophonic sound | |
Theile | On the naturalness of two-channel stereo sound | |
US20130028424A1 (en) | Method and apparatus for processing audio signal | |
JP2007266967A (en) | Sound image localizer and multichannel audio reproduction device | |
KR20030003694A (en) | System and method for optimization of three-dimensional audio | |
Zotter et al. | A beamformer to play with wall reflections: The icosahedral loudspeaker | |
JP4780057B2 (en) | Sound field generator | |
KR102388361B1 (en) | 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system | |
Brinkmann et al. | Audio quality assessment for virtual reality | |
KR20100062773A (en) | Apparatus for playing audio contents | |
KR100955328B1 (en) | Apparatus and method for surround soundfield reproductioin for reproducing reflection | |
KR101179876B1 (en) | Sound reproducing apparatus | |
US11388540B2 (en) | Method for acoustically rendering the size of a sound source | |
JP5505763B2 (en) | Sound field creation device | |
CN109923877A (en) | The device and method that stereo audio signal is weighted | |
Woszczyk et al. | Streamlined 3D sound design: the capture and composition of a sound field | |
US20230007421A1 (en) | Live data distribution method, live data distribution system, and live data distribution apparatus | |
US20230005464A1 (en) | Live data distribution method, live data distribution system, and live data distribution apparatus | |
KR101269873B1 (en) | Sound reproducing apparatus | |
KR101271013B1 (en) | Sound reproducing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) |