KR102388361B1 - 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system - Google Patents

3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system Download PDF

Info

Publication number
KR102388361B1
KR102388361B1 KR1020170127970A KR20170127970A KR102388361B1 KR 102388361 B1 KR102388361 B1 KR 102388361B1 KR 1020170127970 A KR1020170127970 A KR 1020170127970A KR 20170127970 A KR20170127970 A KR 20170127970A KR 102388361 B1 KR102388361 B1 KR 102388361B1
Authority
KR
South Korea
Prior art keywords
sound
signal
sound source
stereoscopic image
position information
Prior art date
Application number
KR1020170127970A
Other languages
Korean (ko)
Other versions
KR20180018464A (en
Inventor
김양한
이종화
박준영
김완중
김환
Original Assignee
주식회사 에스큐그리고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스큐그리고 filed Critical 주식회사 에스큐그리고
Priority to KR1020170127970A priority Critical patent/KR102388361B1/en
Publication of KR20180018464A publication Critical patent/KR20180018464A/en
Application granted granted Critical
Publication of KR102388361B1 publication Critical patent/KR102388361B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Abstract

본 발명의 실시예에 따른 입체 영상 재생 방법은 입체 영상 파일로부터 오디오 신호 및 오브젝트의 3차원 위치 정보를 추출하는 추출 단계, 상기 3차원 위치 정보에 대응하는 전달 함수를 결정하는 결정 단계, 상기 전달 함수를 이용하여, 상기 3차원 위치 정보에 대응하는 위치에서 상기 오디오 신호에 의한 음향이 발생하는 것처럼 들리게 하는 음원 신호를 생성하는 생성 단계 및 상기 입체 영상 파일의 비디오 신호에 동기화하여 상기 음원 신호를 재생하는 재생 단계를 포함하고,
상기 비디오 신호는 3D 공간상의 3차원 영상 신호이고, 상기 3차원 위치 정보는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표를 포함하며, 상기 음원 신호는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표에 대응하는 위치(이하, '음향 집중점'이라 함)에서의 음압레벨이 상기 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 것이고, 상기 음향 집중점은 사용자에 의해 선택되는 것이며, 상기 음향 집중점이 상기 사용자에 의해 선택될 때 음향학적 밝은 점의 개수, 각 점의 위치를 제어, 각 점의 세기를 제어하는 것 중 적어도 어느 하나를 고려하여 선택되는 것을 특징으로 한다.A stereoscopic image reproducing method according to an embodiment of the present invention includes an extraction step of extracting an audio signal and 3D position information of an object from a stereoscopic image file, a determining step of determining a transfer function corresponding to the 3D position information, and the transfer function A generating step of generating a sound source signal that sounds as if the sound by the audio signal is generated at a position corresponding to the three-dimensional position information using regenerating step;
The video signal is a 3D image signal in 3D space, the 3D position information includes spatial coordinates of the object included in the 3D image signal in 3D space, and the sound source signal is a 3D image in 3D space. The sound pressure level at a location corresponding to the spatial coordinates of the object included in the signal (hereinafter referred to as a 'sound concentration point') is higher than the sound pressure level at a region other than the sound concentration point, and the sound concentration point is selected by the user, and is selected in consideration of at least one of the number of acoustically bright points, controlling the position of each point, and controlling the intensity of each point when the acoustic focus point is selected by the user characterized in that

Description

입체 영상 재생 방법, 입체 음향 재생 방법, 입체 영상 재생 시스템 및 입체 음향 재생 시스템{3D MOVING IMAGE PLAYING METHOD, 3D SOUND REPRODUCING METHOD, 3D MOVING IMAGE PLAYING SYSTEM AND 3D SOUND REPRODUCING SYSTEM}A stereoscopic image reproducing method, a 3D sound reproducing method, a 3D image reproducing system, and a 3D sound reproducing system

본 발명은 입체 영상, 홀로그램 등의 동영상 파일에 포함된 오디오 신호를 특정 위치에서 재생되는 것처럼 들리도록 음향 발생 위치를 제어하면서 동영상을 재생할 수 있는 입체 영상 재생 방법, 음향 재생 방법, 입체 영상 재생 시스템 및 음향 재생 시스템에 관한 것이다.The present invention relates to a three-dimensional image reproducing method, sound reproducing method, three-dimensional image reproducing system and It relates to a sound reproduction system.

다수의 음원을 사용한 음향 제어 기술은 전통적으로 몇 개의 지점에서의 음향 특성을 개선하기 위하여 개발되어 왔지만, 최근에는 청취자가 위치하는 특정 공간에 대하여 음향 특성을 개선하기 위한 것으로 개발되고 있다. Sound control technology using a plurality of sound sources has traditionally been developed to improve the acoustic characteristics at several points, but recently has been developed to improve the acoustic characteristics for a specific space in which a listener is located.

다수의 음원을 사용한 음향 제어는 크게 두 가지로 나누어지는데, 하나는 다수의 능동 음원(active source, 예를 들어 음원)을 사용하여 공간의 소리 크기를 감소시키고자 하는 능동 소음 제어이며, 다른 하나는 특정 형상으로 배열한 음원 사이의 간격을 변화시키거나[R. C. Jones, 'On the theory of the directional patterns of continuous source distributions on a plane surface,' J. Acoust. Soc. Am.16(3), 147-171(1945)], 각 음원 간의 시간 지연과 크기를 변화시킴으로써 특정 각도로 방사되는 음향 파워를 증대시키는 제어[R. L. Prichard, 'Maximum directivity index of a linear point array,' J. Acoust. Soc. Am. 26, 1034-1039(1954)]이다. 이러한 제어는 주로 능동 소나(active sonar)를 위하여 연구되었는데, 대표적으로는 Dolph[C. L. Dolph, 'A current distribution for broadside arrays which optimizes the relationship between beamwidth and sidelobe level,' Proc. IRE 34(6), 335-348 (1946)]에 의해 제안된 바와 같이, 음원으로부터 특정한 방향각 내로 방사되는 음향 파워 외의 성분, 즉 부엽(side lobe)의 영향을 받지 않도록 일정한 크기의 부엽을 발생시키는 음원 어레이의 가중치 함수를 갖는 수학적인 해(수식해)에 대해 연구되었다. 그러나, 이러한 특정 음원 어레이에 대한 수식해는 임의의 음원에 대해 적용하기 어려웠고, 그래서 임의의 음원 배열을 가정하여 특정 방향으로의 최대 방향성을 갖도록 하는 최적화 연구가 Streit[Roy L. Streit, 'Optimization of discrete array of arbitrary geometry,'J. Acost. Soc. Am. 69(1), 199-212 (1981)]에 의해 수행되었다. 하지만, 이러한 연구 역시 음원 배열만을 임의로 가정하였을 뿐, 다양한 음원의 방사 형태 및 반사와 흡음을 갖는 일반적인 청취 공간에 적용하기는 적합하지 않은 방법이라 할 수 있다.Sound control using a plurality of sound sources is largely divided into two types, one is active noise control that uses a plurality of active sources (for example, sound sources) to reduce the volume of sound in a room, and the other is Changing the spacing between sound sources arranged in a specific shape [R. C. Jones, 'On the theory of the directional patterns of continuous source distributions on a plane surface,' J. Acoust. Soc. Am.16(3), 147-171(1945)], a control that increases the sound power radiated at a specific angle by changing the time delay and magnitude between each sound source [R. L. Prichard, 'Maximum directivity index of a linear point array,' J. Acoust. Soc. Am. 26, 1034-1039 (1954)]. This control was mainly studied for active sonar, representatively Dolph [C. L. Dolph, 'A current distribution for broadside arrays which optimizes the relationship between beamwidth and sidelobe level,' Proc. As suggested by IRE 34(6), 335-348 (1946)], a side lobe of a certain size is generated so as not to be affected by a component other than the acoustic power radiated within a specific direction angle from the sound source, that is, the side lobe. A mathematical solution (equation solution) with a weight function of the sound source array was studied. However, it is difficult to apply the mathematical solution for this specific sound source array to any sound source, so an optimization study to have the maximum directionality in a specific direction assuming an arbitrary sound source arrangement is Streit [Roy L. Streit, 'Optimization of discrete array of arbitrary geometry,'J. Acost. Soc. Am. 69(1), 199-212 (1981)]. However, this study also assumed only the sound source arrangement arbitrarily, and it can be said that it is not a suitable method to be applied to a general listening space having the radiation form of various sound sources, reflection and sound absorption.

이와 같이 방사 패턴을 최적화 하는 연구와는 달리, 청취자가 위치하는 공간에 대해 음압 레벨을 제어하는 기술은 능동 소음 제어[P. Lueg 1936 Process of silencing sound oscillations. US Patent No. 2,043,416]에서 연구되었다.Unlike research on optimizing the radiation pattern like this, the technology to control the sound pressure level for the space where the listener is located is active noise control [P. Lueg 1936 Process of silencing sound oscillations. US Patent No. 2,043,416].

능동 소음 제어 방법은 배경 소음원이 형성하는 음향 위치 에너지 혹은 음향 파워를 2차 음원을 사용하여 능동적으로 소음을 제어하는 방법으로, 저 주파수 대역에서 청취자를 중심으로 혹은 전 공간에 대하여 정숙성을 획득하는 방법이다. 이 때, 소음이 성공적으로 제어되어 정숙성을 획득한 공간을 정숙 공간(quiet zone)이라 한다.The active noise control method is a method of actively controlling noise using a secondary sound source using acoustic potential energy or acoustic power formed by a background noise source, and is a method of acquiring quietness centered on the listener or the entire space in a low frequency band am. At this time, a space in which noise is successfully controlled and quietness is obtained is called a quiet zone.

그리고, 미국특허 제5,802,190호(Linear speaker array)에는 청취자까지의 거리 혹은 반사를 무시하는 등의 제한된 가정을 사용하여 방향성과 같은 간접적인 특성을 제어하는 기술에 대해 공지되어 있다. 또한, 미국특허 제5,910,990호(Apparatus and method for automatic equalization of personal multi-channel audio system)에는 전달 함수를 사용하여 왜곡 없이 신호를 재생하는 방법에 대해 공지되어 있다.And, in US Patent No. 5,802,190 (Linear speaker array), there is known a technique for controlling an indirect characteristic such as directionality by using a limited assumption such as a distance to a listener or ignoring reflection. Also, US Patent No. 5,910,990 (Apparatus and method for automatic equalization of personal multi-channel audio system) discloses a method of reproducing a signal without distortion using a transfer function.

이와 같이, 종래의 다수의 음원을 이용한 공간의 소리 제어 방법은 단순히 음원 사이의 시간 지연과 그 입력 크기를 변화시키는 것에 그쳤으며, 제한된 형태의 음원 배열을 사용하여 음원의 방향성만을 변화시켰을 뿐, 가변적인 청취자의 위치 혹은 청취자가 위치할 수 있는 공간에 대한 고려가 없었다. 또한, 종래의 방법은 대부분 자유 공간의 경우만을 고려하여, 반사나 흡음 등 청취 공간의 특성을 고려하지 못하는 문제점을 가지고 있었다.As such, the conventional method of controlling sound in a space using a plurality of sound sources merely changes the time delay between sound sources and the input size thereof, and only changes the direction of the sound source using a limited-form sound source arrangement, and is variable There was no consideration of the listener's location or the space where the listener could be located. In addition, most of the conventional methods have a problem in that they do not consider the characteristics of the listening space, such as reflection or sound absorption, considering only the case of the free space.

한편, 입체 영상, 가상 현실 등에 대한 기술의 발전과 함께 다양한 제품이 등장했지만 영상과 소리를 실제에 가깝게 구현할 수 있는 기술에 대한 개발은 아직 미흡하다.On the other hand, various products have appeared along with the development of 3D images and virtual reality, but the development of technologies that can implement images and sounds close to reality is still insufficient.

미국 등록특허 등록번호 제2,043,416호US Patent Registration No. 2,043,416 미국 등록특허 등록번호 제5,802,190호US Patent Registration No. 5,802,190 미국 등록특허 등록번호 제5,910,990호US Patent Registration No. 5,910,990

R. C. Jones, 'On the theory of the directional patterns of continuous source distributions on a plane surface,' J. Acoust. Soc. Am.16(3), 147-171(1945).R. C. Jones, 'On the theory of the directional patterns of continuous source distributions on a plane surface,' J. Acoust. Soc. Am. 16(3), 147-171 (1945). R. L. Prichard, 'Maximum directivity index of a linear point array,' J. Acoust. Soc. Am. 26, 1034-1039(1954).R. L. Prichard, 'Maximum directivity index of a linear point array,' J. Acoust. Soc. Am. 26, 1034-1039 (1954). C. L. Dolph, 'A current distribution for broadside arrays which optimizes the relationship between beamwidth and sidelobe level,' Proc. IRE 34(6), 335-348 (1946).C. L. Dolph, 'A current distribution for broadside arrays which optimizes the relationship between beamwidth and sidelobe level,' Proc. IRE 34(6), 335-348 (1946). Roy L. Streit, 'Optimization of discrete array of arbitrary geometry,'J. Acost. Soc. Am. 69(1), 199-212 (1981).Roy L. Streit, 'Optimization of discrete array of arbitrary geometry,' J. Acost. Soc. Am. 69(1), 199-212 (1981).

본 발명은 상술한 문제점 및 기술적 요구를 감안하여 안출된 것으로, 본 발명의 목적은 시청각 공간 내 음향 발생 위치를 임의적으로 제어하여 실제감 있게 음향을 재생할 수 있는 입체 영상 재생 방법, 입체 음향 재생 방법, 입체 영상 재생 시스템 및 입체 음향 재생 시스템을 제공함에 있다.The present invention has been devised in view of the above problems and technical needs, and an object of the present invention is to arbitrarily control the location of sound generation in an audiovisual space to reproduce sound realistically, a method for reproducing a stereoscopic image, a method for reproducing a stereophonic sound, An object of the present invention is to provide a stereoscopic image playback system and a stereoscopic sound playback system.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 입체 영상 재생 방법은 입체 영상 파일로부터 오디오 신호 및 오브젝트의 3차원 위치 정보를 추출하는 추출 단계, 상기 3차원 위치 정보에 대응하는 전달 함수를 결정하는 결정 단계, 상기 전달 함수를 이용하여, 상기 3차원 위치 정보에 대응하는 위치에서 상기 오디오 신호에 의한 음향이 발생하는 것처럼 들리게 하는 음원 신호를 생성하는 생성 단계 및 상기 입체 영상 파일의 비디오 신호에 동기화하여 상기 음원 신호를 재생하는 재생 단계를 포함하고, 상기 비디오 신호는 3D 공간상의 3차원 영상 신호이고, 상기 3차원 위치 정보는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표를 포함하며, 상기 음원 신호는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표에 대응하는 위치(이하, '음향 집중점'이라 함)에서의 음압레벨이 상기 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 것이고, 상기 음향 집중점은 사용자에 의해 선택되는 것이며, 상기 음향 집중점이 상기 사용자에 의해 선택될 때 음향학적 밝은 점의 개수, 각 점의 위치를 제어, 각 점의 세기를 제어하는 것 중 적어도 어느 하나를 고려하여 선택되는 것을 특징으로 할 수 있다.A stereoscopic image reproducing method according to an embodiment of the present invention for achieving the above object includes an extraction step of extracting an audio signal and 3D position information of an object from a stereoscopic image file, and determining a transfer function corresponding to the 3D position information A determining step, a generating step of generating a sound source signal that sounds as if a sound is generated by the audio signal at a position corresponding to the 3D position information by using the transfer function, and synchronizing with the video signal of the stereoscopic image file a reproducing step of reproducing the sound source signal, wherein the video signal is a 3D image signal in 3D space, and the 3D position information includes spatial coordinates of the object included in the 3D image signal in 3D space, , the sound source signal is a sound pressure level at a position corresponding to the spatial coordinates of the object included in the 3D image signal in the 3D space (hereinafter referred to as a 'sound concentration point') in a region other than the acoustic concentration point. to be higher than the sound pressure level, the acoustic focal point is selected by the user, and when the acoustic focal point is selected by the user It may be characterized in that it is selected in consideration of at least any one of the controlling.

상기 입체 영상 재생 방법은 청취 영역 내의 각 음향 집중점에 대응하는 전달 함수를 산출하여 저장하는 저장 단계;를 더 포함하고, 상기 결정 단계는, 기저장된 전달 함수 중에서 상기 음향 집중점에 대응하는 전달 함수를 독출하여 상기 음원 신호를 생성하기 위한 전달 함수로 결정하는 것일 수 있다. The stereoscopic image reproducing method further includes a storage step of calculating and storing a transfer function corresponding to each acoustic focus point in the listening region, wherein the determining step includes a transfer function corresponding to the acoustic focus point from among the previously stored transfer functions. may be read and determined as a transfer function for generating the sound source signal.

상기 비디오 신호는 좌안 이미지 신호 및 우안 이미지 신호를 포함하고, 상기 3차원 위치 정보는 상기 좌안 이미지 신호 및 우안 이미지 신호에 의해 구현되는 입체 영상에 포함된 객체의 공간 좌표를 포함할 수 있다.The video signal may include a left-eye image signal and a right-eye image signal, and the 3D position information may include spatial coordinates of an object included in a stereoscopic image implemented by the left-eye image signal and the right-eye image signal.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 입체 영상 재생 시스템은 입체 영상 파일로부터 오디오 신호 및 오브젝트의 3차원 위치 정보를 추출하고, 상기 3차원 위치 정보에 대응하는 전달 함수를 독출하여, 상기 3차원 위치 정보에 대응하는 위치에서 상기 오디오 신호에 의한 음향이 발생하는 것처럼 들리도록 하는 음원 신호를 생성하는 신호 분석 및 발생부, 상기 음원 신호를 다채널로 분리하여 증폭하는 앰프부 및 상기 앰프부로부터 전달된 상기 음원 신호를 상기 입체 영상 파일의 비디오 신호에 동기화하여 출력하는 스피커부를 포함하고, 상기 비디오 신호는 3D 공간상의 3차원 영상 신호이고, 상기 3차원 위치 정보는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표를 포함하며, 상기 음원 신호는 상기 3D 공간상의 3차원 영상 신호에 포함된 상기 오브젝트의 공간 좌표에 대응하는 위치(이하, '음향 집중점'이라 함)에서의 음압레벨이 상기 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 것이고, 상기 음향 집중점은 사용자에 의해 선택되는 것이며, 상기 음향 집중점이 상기 사용자에 의해 선택될 때 음향학적 밝은 점의 개수, 각 점의 위치를 제어, 각 점의 세기를 제어하는 것 중 적어도 어느 하나를 고려하여 선택되는 것일 수 있다.A stereoscopic image reproduction system according to another embodiment of the present invention for achieving the above object extracts an audio signal and 3D position information of an object from a stereoscopic image file, and reads a transfer function corresponding to the 3D position information, A signal analysis and generation unit for generating a sound source signal to sound as if the sound by the audio signal is generated at a position corresponding to the three-dimensional position information, an amplifier unit for amplifying the sound source signal by dividing it into multiple channels, and the amplifier and a speaker unit for synchronizing and outputting the sound source signal transmitted from the unit to the video signal of the stereoscopic image file, wherein the video signal is a 3D image signal in 3D space, and the 3D position information is 3D in 3D space It includes the spatial coordinates of the object included in the image signal, and the sound source signal is located at a position corresponding to the spatial coordinates of the object included in the 3D image signal in the 3D space (hereinafter referred to as a 'sound focus point'). The sound pressure level of is higher than the sound pressure level in a region other than the acoustic concentration point, the acoustic concentration point is selected by the user, and the number of acoustically bright points when the acoustic concentration point is selected by the user , may be selected in consideration of at least one of controlling the position of each point and controlling the intensity of each point.

상기 비디오 신호는 좌안 이미지 신호 및 우안 이미지 신호를 포함하고, 상기 3차원 위치 정보는 상기 좌안 이미지 신호 및 우안 이미지 신호에 의해 구현되는 입체 영상에 포함된 객체의 공간 좌표를 포함할 수 있다.The video signal may include a left-eye image signal and a right-eye image signal, and the 3D position information may include spatial coordinates of an object included in a stereoscopic image implemented by the left-eye image signal and the right-eye image signal.

상기 스피커부는 M X N(M,N은 자연수) 어레이로 이루어진 복수의 스피커를 포함할 수 있다.The speaker unit may include a plurality of speakers in an M X N (M, N are natural numbers) array.

본 발명에 따른 입체 영상 재생 방법, 음향 재생 방법, 입체 영상 재생 시스템 및 음향 재생 시스템에 의하면, 제어된 음향 발생 위치에서 음원이 발생하는 것처럼 들리도록 입체 음향을 구현할 수 있기 때문에 실제에 가까운 음장 구현이 가능해진다. 또한, 시각적으로 감지되는 객체에서 직접 음향이 발생하는 듯한 느낌을 줄 수 있기 때문에 보다 현실감 있는 입체 영상 시청이 가능해진다. 또한, 음향 발생 위치는 사용자 조작에 의해 쉽게 제어될 수 있다.According to the three-dimensional image reproducing method, the sound reproducing method, the three-dimensional image reproducing system, and the sound reproducing system according to the present invention, since the three-dimensional sound can be implemented so as to sound as if a sound source is generated at a controlled sound generating position, a sound field close to reality can be realized it becomes possible In addition, it is possible to view a more realistic 3D image because it can give a feeling that sound is generated directly from a visually sensed object. Also, the sound generating position can be easily controlled by a user operation.

도 1은 본 발명에 관련된 이론적인 내용을 설명하기 위한 개략도이다.
도 2는 위에서 설명한 이론적 배경이 구현된 음향 재생 장치의 구성도이다.
도 3은 청취 공간 내에서 음향 발생 위치를 제어하는 과정을 나타내는 흐름도이다.
도 4는 본 발명에 따른 입체 음향 재생 시스템을 나타내는 개략도이다.
도 5는 본 발명의 일 실시예에 따른 입체 영상 재생 시스템의 구성도이다.
도 6은 본 발명의 일 실시예에 따른 입체 영상 재생 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 입체 음향 재생 시스템의 구성도이다.
도 8은 본 발명의 일 실시예에 따른 입체 음향 재생 방법의 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 입체 음향 재생 시스템의 구성도이다.
도 10a 내지 10d는 본 발명의 또 다른 실시예에 따른 입체 음향 재생 방법의 사용자 입력부를 설명하는 개념도이다.
도 11은 본 발명의 또 다른 실시예에 따른 입체 음향 재생 방법의 흐름도이다.1 is a schematic diagram for explaining the theoretical content related to the present invention.
2 is a block diagram of a sound reproducing apparatus in which the theoretical background described above is implemented.
3 is a flowchart illustrating a process of controlling a sound generation position in a listening space.
4 is a schematic diagram illustrating a stereoscopic sound reproduction system according to the present invention.
5 is a block diagram of a stereoscopic image reproducing system according to an embodiment of the present invention.
6 is a flowchart of a method for reproducing a stereoscopic image according to an embodiment of the present invention.
7 is a block diagram of a stereophonic sound reproduction system according to an embodiment of the present invention.
8 is a flowchart of a method for reproducing a stereophonic sound according to an embodiment of the present invention.
9 is a block diagram of a stereophonic sound reproducing system according to another embodiment of the present invention.
10A to 10D are conceptual diagrams illustrating a user input unit of a method for reproducing a stereophonic sound according to another embodiment of the present invention.
11 is a flowchart of a method for reproducing a stereophonic sound according to another embodiment of the present invention.

본 발명이 실시될 수 있는 특정 실시예를 도시한 첨부 도면을 참조하면서, 본 발명을 상세히 설명한다. 첨부 도면에 도시된 특정 실시예에 대하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시하기에 충분하도록 상세히 설명된다. 특정 실시예 이외의 다른 실시예는 서로 상이하지만 상호배타적일 필요는 없다. 아울러, 후술의 상세한 설명은 한정적인 의미로서 취하려는 것이 아님을 이해해야 한다.The invention will be described in detail with reference to the accompanying drawings, which show specific embodiments in which the invention may be practiced. With respect to specific embodiments shown in the accompanying drawings, description is given in sufficient detail to enable those skilled in the art to practice the present invention. Embodiments other than the specific embodiment are different from, but need not be mutually exclusive of. In addition, it should be understood that the detailed description given below is not intended to be taken in a limiting sense.

첨부 도면에 도시된 특정 실시예에 대한 상세한 설명은, 그에 수반하는 도면들과 연관하여 읽히게 되며, 도면은 전체 발명의 설명에 대한 일부로 간주한다. 방향이나 지향성의 언급은 설명의 편의를 위한 것일 뿐, 어떠한 방식으로도 본 발명의 권리범위를 제한하는 의도를 갖지 않는다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of specific embodiments shown in the accompanying drawings is read in conjunction with the accompanying drawings, which are considered to be part of the entire description of the invention. Mention of direction or orientation is for convenience of description only, and is not intended to limit the scope of the present invention in any way.

먼저, 본 발명에 관련된 이론적인 배경을 상세히 설명한다.First, the theoretical background related to the present invention will be described in detail.

도 1은 본 발명에 관련된 이론적인 내용을 설명하기 위한 개략도이다. 도 1은 청취 공간(a)을 개략적으로 나타내고 있는데, 이 청취 공간(a)에는 음원으로서의 역할을 하는 제1 스피커 및 제2 스피커가 설치되어 있다. 또한, 이 청취 공간(a)은 청취자(사용자)가 위치하는 공간이며, 청취자 위치(b)는 청취자가 청취 공간(a) 내에서 현재 위치하는 곳이다. 도 1에서는 음향학적 밝은 점이 1개인 경우를 나타내었으나, 음향학적 밝은 점이 여러 개인 경우에도 청취 공간(a) 내에 음향학적 밝은 점을 여러 개 도시하는 방식으로 나타낼 수 있다.1 is a schematic diagram for explaining the theoretical content related to the present invention. Fig. 1 schematically shows a listening space a, in which a first speaker and a second speaker serving as a sound source are installed. Also, this listening space (a) is a space in which the listener (user) is located, and the listener position (b) is where the listener is currently located in the listening space (a). Although the case of one acoustic bright point is shown in FIG. 1, even when there are several acoustic bright points, it can be represented in a manner in which several acoustic bright points are shown in the listening space (a).

1. 1개의 음향학적 밝은 점에 대한 입력신호의 결정1. Determination of input signal for one acoustic bright point

청취 공간(a)에 제1 내지 제n 음원이 있을 때, 제1 내지 제n 음원에 의하여 만들어지는, 청취 공간(a) 내에 있어서의 임의의 지점(음향학적 밝은 점 또는 음향 집중점, c)에서의 음압

Figure 112017096302642-pat00001
은 다음의 수학식 1과 같이 표현할 수 있다.When there are first to nth sound sources in the listening space (a), any point in the listening space (a) created by the first to nth sound sources (acoustic bright point or acoustic focus point, c) sound pressure in
Figure 112017096302642-pat00001
can be expressed as in Equation 1 below.

Figure 112017096302642-pat00002
Figure 112017096302642-pat00002

여기서,

Figure 112017096302642-pat00003
은 공간상의 지점이고,
Figure 112017096302642-pat00004
는 i번째 음원의 위치를 의미한다. 그리고
Figure 112017096302642-pat00005
는
Figure 112017096302642-pat00006
과
Figure 112017096302642-pat00007
사이의 관계를 표현해주는 전달함수이다. 여기서 전달함수는 수학적인 모델로 정의하거나 실제 측정을 통해서 쉽게 얻을 수 있다. 공간상의 지점
Figure 112017096302642-pat00008
에 대한 제1 내지 제n 음원 사이의 전달함수는 수학식 2와 같이 행렬로 표현할 수 있다.here,
Figure 112017096302642-pat00003
is a point in space,
Figure 112017096302642-pat00004
denotes the position of the i-th sound source. And
Figure 112017096302642-pat00005
Is
Figure 112017096302642-pat00006
class
Figure 112017096302642-pat00007
It is a transfer function that expresses the relationship between Here, the transfer function can be defined as a mathematical model or easily obtained through actual measurement. point in space
Figure 112017096302642-pat00008
The transfer function between the first to nth sound sources for .

Figure 112017096302642-pat00009
Figure 112017096302642-pat00009

공간상의 지점

Figure 112017096302642-pat00010
에 대한 공간상관행렬(Spatial Correlation matrix)
Figure 112017096302642-pat00011
는 다음과 같이 정의된다.point in space
Figure 112017096302642-pat00010
Spatial Correlation matrix for
Figure 112017096302642-pat00011
is defined as

Figure 112017096302642-pat00012
Figure 112017096302642-pat00012

한 지점

Figure 112017096302642-pat00013
에서의 음향 포텐셜 에너지 밀도
Figure 112017096302642-pat00014
는 공간상관행렬과 입력해의 내적(innerproduct)을 사용하여 나타낼 수 있으며 수학식 4와 같다.one point
Figure 112017096302642-pat00013
Acoustic potential energy density at
Figure 112017096302642-pat00014
can be expressed using the spatial correlation matrix and the inner product of the input solution, as shown in Equation (4).

Figure 112017096302642-pat00015
Figure 112017096302642-pat00015

정해진 입력 파워에 대해 한 지점

Figure 112017096302642-pat00016
의 음향 포텐셜 에너지 밀도를 최대화하는 입력해 벡터
Figure 112017096302642-pat00017
를 구할 수 있고, 이를 음향밝기제어라 부른다. 한 지점
Figure 112017096302642-pat00018
에 대해서 음향밝기제어를 수행하면 N개의 음원을 제어하는 입력해 벡터
Figure 112017096302642-pat00019
는 수학식 5과 같다.One point for a given input power
Figure 112017096302642-pat00016
The input vector that maximizes the acoustic potential energy density of
Figure 112017096302642-pat00017
can be obtained, and this is called sound brightness control. one point
Figure 112017096302642-pat00018
If the sound brightness control is performed on the
Figure 112017096302642-pat00019
is the same as in Equation 5.

Figure 112017096302642-pat00020
Figure 112017096302642-pat00020

여기서,

Figure 112017096302642-pat00021
는 수학식 2에서 정의된 벡터
Figure 112017096302642-pat00022
의 크기로 수학식 6와 같이 계산된다.here,
Figure 112017096302642-pat00021
is the vector defined in Equation 2
Figure 112017096302642-pat00022
It is calculated as in Equation 6 as the size of .

Figure 112017096302642-pat00023
Figure 112017096302642-pat00023

수학식 5의 벡터

Figure 112017096302642-pat00024
를 통해 각 음원을 통해 나가는 오디오 신호의 크기와 위상차를 계산할 수 있다. i번째 스피커에 입력되는 오디오 신호의 크기
Figure 112017096302642-pat00025
는 수학식 7과 같다.vector of equation 5
Figure 112017096302642-pat00024
It is possible to calculate the magnitude and phase difference of the audio signal outgoing through each sound source. The size of the audio signal input to the i-th speaker
Figure 112017096302642-pat00025
is the same as in Equation 7.

Figure 112017096302642-pat00026
Figure 112017096302642-pat00026

i번째 스피커에 입력되는 오디오 신호의 위상차는

Figure 112017096302642-pat00027
의 복소수 편각을 통해 구할 수 있다.The phase difference of the audio signal input to the i-th speaker
Figure 112017096302642-pat00027
It can be obtained through the complex declination of .

2. 여러 개의 음향학적 밝은 점에 대한 입력신호의 결정2. Determination of Input Signals for Multiple Acoustic Bright Spots

사용자가 음장을 제어하기 위해 사용하는 점의 개수가 2개 이상인 경우, 다음과 같은 방법으로 제어할 수 있다. 공간상의 M개의 지점을

Figure 112017096302642-pat00028
이라 하면, 각 지점에 대한 음향밝기제어 해는 수학식 8과 같다.When the number of points used by the user to control the sound field is two or more, the control can be performed in the following way. M points in space
Figure 112017096302642-pat00028
, the sound brightness control solution for each point is as Equation (8).

Figure 112017096302642-pat00029
Figure 112017096302642-pat00029

여러 개의 점에 대한 입력 해는 수학식 9로 정의할 수 있다.An input solution for several points can be defined by Equation (9).

Figure 112017096302642-pat00030
Figure 112017096302642-pat00030

제어점의 개수가 많아지는 경우, 입력해의 크기가 계속 커질 수 있으므로, 이를 정규화한

Figure 112017096302642-pat00031
를 N개의 음원의 제어 입력 해로 사용한다. 여기서
Figure 112017096302642-pat00032
는 수학식 4에서 정의한 바 있다.
Figure 112017096302642-pat00033
는 i번째 점의 세기를 조절하는 상수이고 0과 1 사이의 실수값을 가진다.
Figure 112017096302642-pat00034
값을 0으로 설정하는 경우, i번째 점의 세기를 0으로 하여 해당 점을 사용하지 않는 것을 뜻하며, 이 값을 1로 설정하는 경우, 음향 밝기 제어에 의해 집중되는 밝기를 100% 사용하는 것을 뜻한다.If the number of control points increases, the size of the input solution may continue to increase, so it is
Figure 112017096302642-pat00031
is used as the control input solution for N sound sources. here
Figure 112017096302642-pat00032
is defined in Equation (4).
Figure 112017096302642-pat00033
is a constant that controls the intensity of the i-th point and has a real value between 0 and 1.
Figure 112017096302642-pat00034
If the value is set to 0, it means that the intensity of the i-th point is set to 0 and the corresponding point is not used. do.

이하에서는 본 발명에 따른 구체적인 실시예를 첨부된 도면을 참조하여 설명한다.Hereinafter, specific embodiments according to the present invention will be described with reference to the accompanying drawings.

도 2는 위에서 설명한 이론적 배경이 구현된 음향 재생 장치의 구성도이다. 도 2에 도시된 음향 재생 장치는 음원재생부(100), 신호 분석 및 발생부(200), 사용자 콘트롤러(300)로 이루어진다.2 is a block diagram of a sound reproducing apparatus in which the theoretical background described above is implemented. The sound reproducing apparatus shown in FIG. 2 includes a sound source reproducing unit 100 , a signal analyzing and generating unit 200 , and a user controller 300 .

음원재생부 (100)는 다수의 음원에 해당하는 스피커부(110)와 이 복수의 스피커(110)를 구동할 수 있는 앰프부(120)로 이루어진다. 여기서, 스피커부(110)는 M×N(M,N은 자연수) 어레이로 이루어진 복수의 스피커를 포함하고, 앰프부(120)는 다채널 오디오 앰프로 이루어질 수 있다.The sound source reproducing unit 100 includes a speaker unit 110 corresponding to a plurality of sound sources and an amplifier unit 120 capable of driving the plurality of speakers 110 . Here, the speaker unit 110 may include a plurality of speakers formed in an M×N (M, N are natural numbers) array, and the amplifier unit 120 may be formed of a multi-channel audio amplifier.

신호 분석 및 발생부(200)는 입력 오디오 신호를 가지고 있는 CD나 MP3 등의 디지털 데이터를 받아들일 수 있는 재생(playback)기기(210)와, 재생기기(210)로부터의 원음신호와 사용자 콘트롤러(300)로부터 제어 신호(q)를 받아 신호분석을 하는 신호분석부(220)와, 신호분석부 (220)로부터의 정보를 받아 앰프부(120)로 각각의 스피커부(110)에 동기화된 개별 음원 신호를 부여하는 다채널 신호 발생기(230)로 이루어진다. 신호분석부(220)는 청취 공간 내에서의 특정의 위치 즉, 음향 집중점에서 음향이 재생되는 것처럼 들리도록 하는 음원 신호를 결정하여 그 정보를 다채널 신호 발생기(230)에 전달하는 다채널 신호 분석기(221)로 이루어진다. 구체적으로, 음원 신호를 결정함에 있어서, 음향 집중점에서의 음압레벨이 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 음원 신호를 결정한다. 더 구체적으로는, 음향 집중점에서의 음향 포텐셜 에너지 밀도와 개별 음원 신호의 에너지의 합과의 비가 최대가 되도록 하는 음원 신호를 결정한다. The signal analysis and generation unit 200 includes a playback device 210 that can accept digital data such as a CD or MP3 having an input audio signal, an original sound signal from the playback device 210 and a user controller ( The signal analysis unit 220 that receives the control signal q from 300 and performs signal analysis, and the amplifier unit 120 that receives information from the signal analysis unit 220 and is synchronized with each speaker unit 110 It consists of a multi-channel signal generator 230 that provides a sound source signal. The signal analysis unit 220 determines a sound source signal that sounds as if the sound is reproduced at a specific location in the listening space, that is, a sound concentration point, and transmits the information to the multi-channel signal generator 230 . It consists of an analyzer 221 . Specifically, in determining the sound source signal, the sound source signal is determined such that the sound pressure level at the sound concentration point is higher than the sound pressure level in the region other than the sound concentration point. More specifically, a sound source signal is determined such that a ratio between the acoustic potential energy density at the sound concentration point and the sum of the energies of the individual sound source signals is maximized.

사용자 콘트롤러(300)는, 사용자로부터 음향학적 밝은 점의 개수, 위치, 세기 등에 관한 입력이 이루어지는 입력부(310), 신호 분석 및 발생부 (200)와 데이터를 송수신할 수 있는 송수신부(320), 및 현재의 제어상태를 확인할 수 있는 디스플레이부(330)로 이루어진다.The user controller 300 includes an input unit 310 for inputting the number, position, intensity, etc. of acoustic bright points from the user, a signal analysis and generation unit 200 and a transceiver 320 for transmitting and receiving data, and a display unit 330 that can check the current control state.

따라서, 이와 같은 음향 재생 장치에 의하면, 청취 공간 중 특정의 위치에서 음향이 재생되는 것처럼 들리도록 할 수 있기 때문에, 청취자가 원하는 위치에서 음향이 재생되는 것처럼 들리게 할 수 있고, 청취자의 요구에 맞는 최적의 음향환경을 제공할 수 있다.Therefore, according to such a sound reproducing apparatus, since sound can be heard as being reproduced at a specific position in the listening space, it is possible to make the sound appear to be reproduced at a position desired by the listener, and the optimum fit for the listener's needs can be achieved. of the acoustic environment can be provided.

도 3은 청취 공간에서 음향이 재생되는 특정 위치를 생성하는 과정을 나타낸 플로우차트이다.3 is a flowchart illustrating a process of generating a specific position where a sound is reproduced in a listening space.

먼저, 신호 분석 및 발생부(200)의 신호 분석부(220)에서, 사용자 컨트롤러 (300)의 입력부(310)를 통하여 사용자가 선택한 음향 집중점의 위치에 따른, 스피커부(110)에 입력되는 음원신호와 음향집중점으로부터 출력되는 음향신호 사이의 전달함수를 계산한다(단계 S1).First, in the signal analysis unit 220 of the signal analysis and generation unit 200, the speaker unit 110 according to the location of the acoustic focus point selected by the user through the input unit 310 of the user controller 300, A transfer function between the sound source signal and the sound signal output from the sound focal point is calculated (step S1).

다음으로, 신호 분석 및 발생부(200)의 신호 분석부(220)에서, 단계 S1에서 측정된 전달 함수를 이용하여 음향 집중점에서 음향이 재생되는 것처럼 들리도록 하는 음원 신호를 결정하고, 이 정보를 다채널 신호 발생기 (230)에 전달한다(단계 S2). 구체적으로, 음원 신호를 결정함에 있어서, 음향 집중점에서의 음압레벨이 음향 집중점 이외의 영역에서의 음압레벨보다 높도록 하는 음원 신호를 결정한다. 더 구체적으로는, 음향 집중점에서의 음향 포텐셜 에너지 밀도와 개별 음원 신호의 에너지의 합과의 비가 최대가 되도록 하는 음원 신호를 결정한다. 여기서, 단일의 주파수에 대하여 기술하고 있으나, 복수의 주파수로 이루어진 경우에는 각각의 주파수에 대한 음원 신호를 결정하는 것으로 이해하면 무방하다. 또한, 여기서 결정된 음원 신호는, 후술하는 단계 S3에서, 원음 신호(청취 공간 내의 특정 위치에서 재생되는 것처럼 들리도록 하고자 하는 임의의 소리)를 필터링하는 필터링 계수로 기능한다. Next, in the signal analysis unit 220 of the signal analysis and generation unit 200, the sound source signal is determined using the transfer function measured in step S1 to sound as if the sound is reproduced at the acoustic concentration point, and this information is transmitted to the multi-channel signal generator 230 (step S2). Specifically, in determining the sound source signal, the sound source signal is determined such that the sound pressure level at the sound concentration point is higher than the sound pressure level in the region other than the sound concentration point. More specifically, a sound source signal is determined such that a ratio between the acoustic potential energy density at the sound concentration point and the sum of the energies of the individual sound source signals is maximized. Here, although a single frequency is described, in the case of a plurality of frequencies, it may be understood that the sound source signal for each frequency is determined. In addition, the sound source signal determined here functions as a filtering coefficient for filtering the original sound signal (any sound desired to be heard as being reproduced at a specific location in the listening space) in step S3 to be described later.

다음으로, 신호 분석 및 발생부(200)의 다채널 신호 발생기(300)에서, 신호분석부(220)로부터 전달 받은 정보에 기초하여 원음 신호를 단계 S2에서 결정된 음원 신호로 필터링하여, 청취 공간에서 음향이 재생되는 특정위치 생성에 최적화된 음원 신호(필터링된 음원 신호), 즉 제어 음원 신호를 발생시키고, 이를 음원재생부(100)에 전달한다(단계 S3). 여기서, 단일의 주파수에 대하여 기술하고 있으나, 복수의 주파수로 이루어진 경우에는 각각의 주파수에 있어서, 원음 신호를 결정된 음원 신호로 필터링하고, 최적화된에 대한 음원 신호, 즉 제어 음원 신호를 발생시키는 것으로 이해하면 무방하다.Next, in the multi-channel signal generator 300 of the signal analysis and generation unit 200, on the basis of the information received from the signal analysis unit 220, the original sound signal is filtered into the sound source signal determined in step S2, and in the listening space A sound source signal (filtered sound source signal), that is, a control sound source signal optimized for generating a specific location where sound is reproduced, is generated, and the sound source signal is transmitted to the sound source reproducing unit 100 (step S3). Here, it is described with respect to a single frequency, but in the case of a plurality of frequencies, it is understood that at each frequency, the original sound signal is filtered with the determined sound source signal, and the sound source signal for the optimized, that is, the control sound source signal is generated. it's free if you do

다음으로, 음원재생부(100)는 신호 분석 및 발생부(200)의 다채널 신호발생기(300)로부터의 최적화된 음원 신호, 즉 제어 음원 신호를 앰프부(120) 및 스피커부(110)를 통하여 재생하고(단계 S4), 이에 따라 청취 공간에는 음향이 재생되는 특정위치가 생성된다(단계 S5).Next, the sound source reproducing unit 100 receives the optimized sound source signal from the multi-channel signal generator 300 of the signal analysis and generation unit 200, that is, the control sound source signal to the amplifier unit 120 and the speaker unit 110. and the sound is reproduced (step S4), and accordingly, a specific position where the sound is reproduced is created in the listening space (step S5).

이러한 일 실시예의 음향 재생 장치는 청취 공간의 크기 등과, 그 청취 공간 내에서 다수의 스피커부(110)가 설치되는 위치, 청취자의 위치 등의 가변 변수들이 임의로 결정될 수 있는 경우에 대응하는 것을 고려한 것이다. 따라서, 이 경우에는 변수들이 달라질 때마다 전달함수가 달라지게 되므로, 전달함수의 계산을 위하여 신호 분석부(220)가 포함되어 있다.The sound reproducing apparatus of this embodiment considers a case in which variable variables such as the size of a listening space, a location where a plurality of speaker units 110 are installed, and a listener's location in the listening space can be arbitrarily determined. . Accordingly, in this case, since the transfer function is changed whenever the variables are changed, the signal analyzer 220 is included to calculate the transfer function.

한편, 청취공간에서 사용자가 음장을 제어하는 경우에는 다음의 3가지 조절이 가능하다. 즉, (i) 음향학적 밝은 점의 개수를 설정하는 기능, (ii) 각 점의 위치를 제어하는 기능, 및 (iii) 각 점의 세기를 제어하는 기능이다. 설정된 여러 개의 점은 각각의 번호를 가지고, 해당하는 번호의 위치와 세기를 신호 분석 및 발생부(200)에 전달한다. 이때, 앞에서 구한 해에 따라 N개의 채널의 입력해가 결정된다. Meanwhile, when the user controls the sound field in the listening space, the following three adjustments are possible. That is, (i) a function of setting the number of acoustic bright points, (ii) a function of controlling the position of each point, and (iii) a function of controlling the intensity of each point. The set several points have respective numbers, and the positions and strengths of the corresponding numbers are transmitted to the signal analysis and generation unit 200 . In this case, the input solutions of the N channels are determined according to the previously obtained solutions.

첫째, 한 개의 음향 집중점을 사용하는 경우에, 청취자는 음향 집중점이 위치하는 지점에서 음향이 발생하는 것으로 느낄 수 있다. 음향 집중점의 세기를 조절하면 청취자는 청취하는 음향의 거리감이 바뀌는 것을 인지하게 된다. 예를 들어, 음향 집중점의 세기를 작게하면, 음향의 방향은 바뀌지 않지만 더 멀리서 음향이 들리는 것으로 인지하게 된다. 음향 집중점의 위치를 청취자의 귀 근처로 가까이 하면, 청취자는 자신에게 집중된 음향을 듣게 되어 현장감을 느낄 수 있다.First, in the case of using one acoustic focal point, the listener may feel that sound is generated at the point where the acoustic focal point is located. When the intensity of the acoustic focal point is adjusted, the listener perceives that the sense of distance of the listening sound is changed. For example, if the intensity of the acoustic focal point is decreased, the direction of the sound is not changed, but the sound is perceived as being heard from a farther away. When the location of the acoustic focus point is brought close to the listener's ear, the listener hears the sound focused on the listener and can feel a sense of presence.

둘째, 여러 개의 음향 집중점을 사용하는 경우에는, 음향이 재생되는 것처럼 들리는 특정의 위치가 2개 이상이기 때문에, 청취자는 음향 집중점이 위치하는 2개 이상의 지점에서 음향이 발생하는 것으로 느낄 수 있다. 나아가, 각각의 음향 집중점에 다른 음원을 사용하는 경우와, 각각의 음향 집중점에 하나의 음원(동일한 음원)을 사용하는 경우로 구분할 수 있다.Second, in the case of using several acoustic focal points, since there are two or more specific locations where the sound is heard as being reproduced, the listener can feel that the sound is generated at two or more points where the acoustic focal points are located. Furthermore, it can be divided into a case where a different sound source is used for each sound concentration point and a case where one sound source (same sound source) is used for each sound focus point.

먼저, 각각의 음향 집중점에 다른 음원을 사용하는 경우, 2개 이상의 특정의 위치에서 서로 다른 음향이 재생되는 것처럼 들리기 때문에, 음향 집중점들이 위치하는 서로 다른 방향에서 음향이 발생하는 것으로 느낄 수 있다. 예를 들어, 청취자 앞 방향에 하나의 음향 집중점을 집중하여 바이올린 음향의 음원을 사용하고 청취자 뒤 방향에 다른 음향 집중점을 집중하여 피아노 음향의 음원을 사용한다면, 청취자는 바이올린 연주자와 피아노 연주자 사이에 위치하여 음악을 듣는 현장감을 느낄 수 있다. 이는 많은 수의 점에 대해서 동일하게 성립한다.First, when a different sound source is used for each acoustic focus point, since it sounds as if different sounds are reproduced at two or more specific locations, it can be felt that the sound is generated from different directions where the acoustic focus points are located. . For example, if one acoustic focus point is focused in front of the listener to use a violin sound source, and another acoustic focus point is focused to the rear of the listener to use a piano sound source, the listener is the target between the violinist and the piano player. You can feel the sense of presence while listening to music. The same holds true for a large number of points.

그리고, 각각의 음향 집중점에 하나의 음원을 사용하는 경우, 음향 집중점들의 조합에 따라 전혀 다른 공간감을 느낄 수 있다. 즉,음향 집중점들의 위치를 조절하여 각각의 스피커에서 출력되는 음향의 크기차이와 위상차이를 크게 만들어 줄 수 있다.예를 들어, 2개 이상의 특정의 위치에서 서로 다른 음향이 재생되는 것처럼 들리기 때문에, 넓은 콘서트 홀에서 울림 같은 긴 잔향시간을 갖는 소리(wet sound)를 만들 수 있다. 그 반대의 경우에는 짧은 잔향시간을 갖는 소리(dry sound)를 만들 수 있다. 즉, 청취자가 실제 위치하는 공간에 상관없이 전혀 다른 공간에 위치하고 있다는 느낌을 줄 수 있다.And, when one sound source is used for each sound focus point, a completely different sense of space can be felt according to the combination of the sound focus points. That is, by adjusting the location of the sound concentration points, the difference in the magnitude and the phase difference of the sound output from each speaker can be made large. , can produce wet sounds with long reverberation times, such as echoes in large concert halls. Conversely, it can produce a dry sound with a short reverberation time. That is, it can give the listener a feeling that they are located in a completely different space regardless of the space where they are actually located.

도 4는 본 발명에 따른 입체 음향 재생 시스템을 나타내는 개략도이다. 도 4에 도시된 바와 같이, 본 발명에 따른 입체 음향 재생 시스템은 M×N(M,N은 자연수) 어레이(array)로 이루어진 스피커부(110)를 포함하고, 위에서 설명한 방식으로 생성된 음원 신호가 스피커부(110)를 통해 재생됨에 따라, 음향 발생 위치(C1, C2)(위에서 언급한 '음향집중점'에 대응)가 조절될 수 있다. 여기서, 음향 발생 위치(C1, C2)는 x,y,z축의 공간 좌표로 표시될 수 있고, 청취자(b)는 스피커부(110)를 통해 재생된 오디오 신호가 해당 위치에서 발생되는 것처럼 들리게 된다. 이때, 음향 발생 위치(C1, C2)는 청취 공간(a) 내에 위치하게 되며, 청취 공간(a)은 스피커부(110)가 차지하는 영역과 스피커부(110)와 청취자(b) 사이의 거리에 의해 정의될 수 있다.4 is a schematic diagram illustrating a stereoscopic sound reproduction system according to the present invention. As shown in FIG. 4, the stereophonic sound reproduction system according to the present invention includes a speaker unit 110 formed of an M×N (M,N is a natural number) array, and a sound source signal generated in the manner described above. is reproduced through the speaker unit 110 , the sound generation positions C 1 , C 2 (corresponding to the above-mentioned 'sound focus point') may be adjusted. Here, the sound generation positions (C 1 , C 2 ) may be represented by spatial coordinates of x, y, and z axes, and the listener (b) may feel as if the audio signal reproduced through the speaker unit 110 is generated at the corresponding position. will be heard At this time, the sound generating positions (C 1 , C 2 ) are located in the listening space (a), and the listening space (a) is between the area occupied by the speaker unit 110 and the speaker unit 110 and the listener (b). It can be defined by distance.

도 5는 본 발명의 일 실시예에 따른 입체 영상 재생 시스템의 구성도이다. 본 발명에 따른 입체 영상 재생 시스템은 스피커부(110), 앰프부(120), 스크린부(130), 신호 분석 및 발생부(200) 및 저장부(300)를 포함한다. 5 is a block diagram of a stereoscopic image reproducing system according to an embodiment of the present invention. The stereoscopic image reproducing system according to the present invention includes a speaker unit 110 , an amplifier unit 120 , a screen unit 130 , a signal analysis and generation unit 200 , and a storage unit 300 .

입체 영상 파일(10)은 오디오 신호(12)와 비디오 신호(13)를 포함할 수 있다. 입체 영상 파일(10)의 비디오 신호(13)는 좌안 이미지 신호와 우안 이미지 신호로 구성될 수 있다. 좌안 이미지 신호 및 우안 이미지 신호에 의해 구현되는 입체 영상에 포함된 객체의 공간 좌표(오브젝트 위치 정보)는 음원 신호를 생성하기 위한 위치 정보로 이용될 수 있다. 이와 달리, 입체 영상 파일(10)의 비디오 신호(13)는 홀로그램 영상 신호일 수 있고, 홀로그램 영상에 포함된 객체의 공간 좌표(오브젝트 위치 정보)는 음원 신호를 생성하기 위한 위치 정보로 이용될 수 있다.The stereoscopic image file 10 may include an audio signal 12 and a video signal 13 . The video signal 13 of the stereoscopic image file 10 may include a left eye image signal and a right eye image signal. The spatial coordinates (object position information) of the object included in the stereoscopic image implemented by the left-eye image signal and the right-eye image signal may be used as position information for generating a sound source signal. Alternatively, the video signal 13 of the stereoscopic image file 10 may be a holographic image signal, and spatial coordinates (object position information) of an object included in the holographic image may be used as position information for generating a sound source signal. .

신호 분석 및 발생부(200)는 입체 영상 파일(10)로부터 오브젝트 위치 정보를 추출하여 음원 신호를 생성한다. 음원 신호는 위에서 설명한 바와 같이 특정 위치 정보에 대응하는 전달 함수에 의해 생성되며, 청취 영역(a) 내의 각 음향 발생 위치에 대응하는 전달 함수는 저장부(300)에 미리 저장되어 있을 수 있다. 신호 분석 및 발생부(200)는 오브젝트 위치 정보에 포함된 3차원 공간 좌표에 기초하여 음원 신호를 생성한 뒤 앰프부(120)에 전달한다. The signal analysis and generation unit 200 generates a sound source signal by extracting object position information from the stereoscopic image file 10 . As described above, the sound source signal is generated by a transfer function corresponding to specific position information, and the transfer function corresponding to each sound generation position in the listening area a may be previously stored in the storage unit 300 . The signal analysis and generation unit 200 generates a sound source signal based on the three-dimensional spatial coordinates included in the object position information and then transmits it to the amplifier unit 120 .

앰프부(120)는 음원 신호를 다채널로 분리하여 증폭한 뒤 스피커부(110)로 전달하고, M×N 어레이로 구성된 스피커부(110)는 앰프부(120)에서 전달된 음원 신호를 재생한다. 이때, 스피커부(110)를 통해 재생되는 음원 신호는 스크린부(130)를 통해 재생되는 비디오 신호(13)와 동기화되어야 한다.The amplifier unit 120 divides the sound source signal into multiple channels, amplifies it, and transmits it to the speaker unit 110 , and the speaker unit 110 composed of an M×N array reproduces the sound source signal transmitted from the amplifier unit 120 . do. At this time, the sound source signal reproduced through the speaker unit 110 must be synchronized with the video signal 13 reproduced through the screen unit 130 .

본 발명에 따른 입체 영상 재생 시스템에 의하면, 입체 영상에 포함된 객체(예를 들어, 주인공)에 대응하는 오디오 신호(12)(예를 들어, 주인공의 대사 등)를 해당 객체가 위치한 곳에서 발생하는 것처럼 들리게 함으로써 더욱 현실감 있는 입체 영상 시청이 가능해진다. According to the stereoscopic image reproducing system according to the present invention, an audio signal 12 (eg, dialogue of the protagonist) corresponding to an object (eg, a protagonist) included in a stereoscopic image is generated at a location where the corresponding object is located By making it sound like it is, it becomes possible to view a more realistic 3D image.

도 6은 본 발명에 따른 입체 영상 재생 방법의 흐름도이다. 먼저, 입체 영상 파일로부터 오디오 신호 및 오브젝트의 3차원 위치 정보를 추출한다(S500). 오브젝트의 3차원 위치 정보(12)는 입체 영상에 포함된 객체의 공간 좌표를 포함할 수 있다.6 is a flowchart of a stereoscopic image reproducing method according to the present invention. First, an audio signal and 3D position information of an object are extracted from a stereoscopic image file (S500). The 3D position information 12 of the object may include spatial coordinates of the object included in the stereoscopic image.

신호 분석 및 발생부(200)는 3차원 위치 정보에 대응하는 전달 함수를 결정한다(S510). 이때, 청취 영역(a)의 각 음향 발생 위치에 대응하는 전달 함수는 위에서 설명한 방법으로 미리 산출되어 저장될 수 있다. The signal analysis and generation unit 200 determines a transfer function corresponding to the 3D position information (S510). In this case, the transfer function corresponding to each sound generation position in the listening region a may be calculated and stored in advance by the method described above.

이후, 전달 함수를 이용해 3차원 위치 정보에 대응하는 위치에서 오디오 신호가 발생하는 것처럼 들리게 하는 음원 신호를 생성하고(S510), 입체 영상 파일의 비디오 신호에 동기화하여 음원 신호를 재생한다(S530).Thereafter, a sound source signal that sounds as if an audio signal is generated at a position corresponding to the three-dimensional position information is generated using the transfer function (S510), and the sound source signal is reproduced by synchronizing with the video signal of the stereoscopic image file (S530).

본 발명에 따른 입체 영상 재생 방법에 의하면, 입체 영상에 포함된 객체에 대응하는 오디오 신호를 해당 객체가 위치한 곳에서 발생되는 것처럼 들리게 함으로써 더욱 현실감 있는 입체 영상 시청이 가능해진다. According to the stereoscopic image reproducing method according to the present invention, a more realistic stereoscopic image viewing is possible by making an audio signal corresponding to an object included in the stereoscopic image sound as if it is generated at a location where the corresponding object is located.

도 7은 본 발명의 일 실시예에 따른 입체 음향 재생 시스템의 구성도이고, 도 8은 본 발명의 일 실시예에 따른 입체 음향 재생 방법의 흐름도이다. 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 입체 음향 재생 시스템은 스피커부(110), 앰프부(120), 신호 분석 및 발생부(200) 및 저장부(300)를 포함한다.7 is a block diagram of a 3D sound reproducing system according to an embodiment of the present invention, and FIG. 8 is a flowchart of a 3D sound reproducing method according to an embodiment of the present invention. 7 , the stereophonic sound reproduction system according to an embodiment of the present invention includes a speaker unit 110 , an amplifier unit 120 , a signal analysis and generation unit 200 , and a storage unit 300 . .

동영상 파일(20)은 오디오 신호(21)와 동영상 내 객체의 위치 정보(오브젝트 위치 정보(22))를 포함하고, 입체 음향 재생 방법은 먼저 동영상 파일(20)로부터 오디오 신호(21)와 오브젝트 위치 정보(22)를 추출한다(S600).The moving picture file 20 includes an audio signal 21 and position information (object position information 22) of an object in the moving picture, and the stereoscopic sound reproduction method is first performed with the audio signal 21 and the object position from the moving picture file 20. The information 22 is extracted (S600).

이후, 신호 분석 및 발생부(200)는 오브젝트 위치에 대응하는 전달 함수를 결정한다(S610). 이때, 청취 영역 내의 각 음향 발생 위치에 대응하는 전달 함수는 저장부(300)에 미리 저장되어 있을 수 있다. 신호 분석 및 발생부(200)는 동영상 파일(20)로부터 추출된 오브젝트 위치 정보(22)에 기초하여, 이에 대응하는 전달 함수를 저장부(300)로부터 독출한다.Thereafter, the signal analysis and generation unit 200 determines a transfer function corresponding to the position of the object ( S610 ). In this case, the transfer function corresponding to each sound generation position in the listening region may be previously stored in the storage unit 300 . The signal analysis and generation unit 200 reads a transfer function corresponding thereto from the storage unit 300 based on the object position information 22 extracted from the moving picture file 20 .

전달 함수가 결정되면, 이를 이용해 오브젝트 위치 정보에 대응하는 위치에서 오디오 신호(21)에 의한 음향이 발생하는 것처럼 들리도록 하는 음원 신호를 생성한다(S620).When the transfer function is determined, a sound source signal that sounds as if the sound by the audio signal 21 is generated at a position corresponding to the object position information is generated using the determined (S620).

음원 신호는 앰프부(120)에서 다채널로 분리 및 증폭되어 스피커부(110)로 전달되며, M×N(M,N은 자연수) 어레이로 구성된 스피커부(110)를 통해 재생된다.이에 따라, 오디오 신호(21)에 의한 음향이 오브젝트 위치 정보(22)에 대응하는 위치에서 발생하는 것처럼 들리게 된다.The sound source signal is separated and amplified into multiple channels by the amplifier unit 120 and transmitted to the speaker unit 110, and reproduced through the speaker unit 110 composed of an M×N (M, N is a natural number) array. , it is heard as if the sound by the audio signal 21 is generated at a position corresponding to the object position information 22 .

도 9는 본 발명의 또 다른 실시예에 따른 입체 음향 재생 시스템의 구성도이다. 도 9에 도시된 입체 음향 재생 시스템은, 도 7의 실시예와 달리, 오브젝트 위치 정보(22)에 대응하는 공간 위치 정보(32)가 사용자 컨트롤러(400)를 통해 입력된다. 즉, 신호 분석 및 발생부(200)는 사용자 컨트롤러(400)로부터 입력된 공간 위치 정보(32)에 대응하는 위치에서 오디오 신호(31)에 의한 음향이 발생되는 것처럼 들리게 하는 음원 신호를 생성한다. 공간 위치 정보(32)를 입력받기 위한 사용자 컨트롤러(400)는 사용자 입력을 용이하게 하기 위한 디스플레이부(미도시) 및 입력부(미도시)를 포함한다. 9 is a block diagram of a stereophonic sound reproducing system according to another embodiment of the present invention. In the stereoscopic sound reproduction system shown in FIG. 9 , spatial location information 32 corresponding to the object location information 22 is input through the user controller 400 , unlike the embodiment of FIG. 7 . That is, the signal analysis and generation unit 200 generates a sound source signal that sounds as if a sound is generated by the audio signal 31 at a location corresponding to the spatial location information 32 input from the user controller 400 . The user controller 400 for receiving the spatial location information 32 includes a display unit (not shown) and an input unit (not shown) for facilitating user input.

도 10a 내지 10d는 사용자 컨트롤러(400)가 터치스크린으로 구현된 것으로 디스플레이부(미도시)에 표시된 이미지를 나타낸다. 물론, 다른 실시예에서는 터치스크린 외의 입력 수단으로 구현될 수 있다. 10A to 10D show images displayed on a display unit (not shown) in which the user controller 400 is implemented as a touch screen. Of course, in another embodiment, it may be implemented as an input means other than a touch screen.

터치스크린에는 청취 공간(a), 청취자 위치(b), 음향 발생 위치(c)가 디스플레이된다. 사용자는 터치스크린 상에 디스플레이된 청취 공간(a) 내에서 터치 등의 조작을 통해 음향 발생 위치(c)를 설정할 수 있다.A listening space (a), a listener position (b), and a sound generating position (c) are displayed on the touch screen. The user may set the sound generating position (c) through manipulation such as a touch in the listening space (a) displayed on the touch screen.

터치스크린에는 도 10a와 같은 청취 공간(a)이 디스플레이될 수 있고, 사용자 터치에 의해 음향 발생 위치(c)가 표시된다. 청취 공간(a)은 폐곡선으로 닫힌 공간으로 표시되는데, 이 그 외부공간과 색깔이 구분되도록 표시될 수 있다.A listening space (a) as shown in FIG. 10A may be displayed on the touch screen, and a sound generating location (c) is displayed by a user's touch. The listening space (a) is displayed as a closed space with a closed curve, and may be displayed so as to be distinguished by color from the external space.

사용자는 도 10b 및 10c와 같이 복수의 음향 발생 위치(c)을 설정할 수 있다. 도 10b 및 10c에서는 3개의 음향 발생 위치(c)를 설정하는 것으로 도시했지만, 이보다 적거나 많은 수의 음향 발생 위치(c)를 설정할 수도 있을 것이다. 음향 발생 위치(c)의 설정 개수에 따라 오디오 신호에 의한 음향이 발생되는 것처럼 들리는 위치의 개수가 정해질 수 있다. 한편, 사용자는 터치스크린 상에서 드래그 등의 조작방식을 통해 음향 발생 위치(c)를 변경할 수 있다. The user may set a plurality of sound generating positions (c) as shown in FIGS. 10B and 10C. Although it is illustrated that three sound generating positions c are set in FIGS. 10B and 10C , a smaller or larger number of sound generating positions c may be set. According to the set number of the sound generating positions (c), the number of positions at which the sound by the audio signal sounds as if it is generated may be determined. On the other hand, the user may change the sound generating position (c) through a manipulation method such as dragging on the touch screen.

사용자는, 도 10d에 도시된 바와 같이, 터치스크린 상에서 음향 발생 위치(c)를 터치하거나 일정시간 눌러 해당 위치에서 재생되는 음향의 세기를 변경할 수도 있다. As shown in FIG. 10D , the user may change the intensity of the sound reproduced at the location by touching or pressing the sound generating location c on the touch screen for a certain period of time.

사용자가 처음에 음향 발생 위치(c)를 설정하면, 해당 위치에서 재생되는 음향의 세기가 기준값으로 설정된다. 예를 들어, 이 기준값은 “레벨 1”의 소리 크기일 수 있다. 그리고, 사용자가 해당 음향 발생 위치(c)를 터치하면, 터치 횟수에 따라 레벨 2, 3 … 으로 세기가 증가될 수 있다. 반대로, 음향의 세기를 줄이고자할 때에는 해당 음향 발생 위치(c)를 일정 기간 터치하거나 소정 세기의 압력을 갖는 터치를 인가할 수 있다. 그 밖에도 연속 터치 등의 방식으로 음향의 세기를 조절할 수 있다. 음향의 세기를 디스플레이하는 것과 관련해서는, 레벨 1, 2, 3의 세기를 각각 1, 2, 3, 또는 약, 중, 강 등으로 디스플레이할 수 있지만, 이에 한정되지 않는다.When the user initially sets the sound generating position (c), the intensity of the sound reproduced at the corresponding position is set as a reference value. For example, this reference value may be a sound level of “level 1”. And, when the user touches the corresponding sound generating position (c), level 2, 3 ... depending on the number of touches. strength can be increased. Conversely, when it is desired to reduce the intensity of the sound, the corresponding sound generating position c may be touched for a certain period of time or a touch having a predetermined intensity of pressure may be applied. In addition, the intensity of the sound can be adjusted by a method such as continuous touch. In relation to displaying the intensity of the sound, the intensity of levels 1, 2, and 3 may be displayed as 1, 2, 3, or weak, medium, strong, etc., respectively, but is not limited thereto.

도 11은 본 발명의 또 다른 실시예에 따른 입체 음향 재생 방법의 흐름도이다.11 is a flowchart of a method for reproducing a stereophonic sound according to another embodiment of the present invention.

먼저, 동영상 파일로부터 오디오 신호를 추출하고(S700), 사용자로부터 공간 좌표 정보를 수신한다(S710). 여기서 공간 좌표 정보란 위의 오브젝트 위치 정보에 대응하는 것으로, 사용자가 임의로 설정하고자 하는 음향 발생 위치를 의미한다.First, an audio signal is extracted from a moving picture file (S700), and spatial coordinate information is received from a user (S710). Here, the spatial coordinate information corresponds to the above object position information, and means a sound generation position that a user wants to set arbitrarily.

이후, 공간 좌표에 대응하는 전달 함수를 결정하고(S720), 전달 함수를 이용하여 해당 공간 좌표에서 동영상 파일로부터 추출된 오디오 신호에 의한 음향이 발생하는 것처럼 들리도록 하는 음원 신호를 생성하고(S730), 생성된 음원 신호를 스피커를 통해 재생한다(S740).Thereafter, a transfer function corresponding to the spatial coordinates is determined (S720), and a sound source signal is generated using the transfer function to sound as if a sound is generated by the audio signal extracted from the video file in the corresponding spatial coordinates (S730). , the generated sound source signal is reproduced through the speaker (S740).

이에 의하면, 제어된 음향 발생 위치에서 음원이 발생하는 것처럼 들리도록 입체 음향을 구현할 수 있기 때문에 실제에 가까운 음장 구현이 가능해진다. 또한, 시각적으로 감지되는 객체에서 직접 음향이 발생하는 듯한 느낌을 줄 수 있기 때문에 보다 현실감 있는 입체 영상 시청이 가능해진다. 또한, 음향 발생 위치는 사용자 조작에 의해 쉽게 제어될 수 있다.According to this, since three-dimensional sound can be implemented to sound as if a sound source is generated at a controlled sound generating position, a sound field close to reality can be realized. In addition, it is possible to view a more realistic 3D image because it can give a feeling that sound is generated directly from a visually sensed object. Also, the sound generating position can be easily controlled by a user operation.

본 발명의 바람직한 실시 형태를 포함하는 특정 실시예의 관점에서 본 발명을 설명했지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 위에서 설명된 발명의 구성에 있어, 다양한 치환이나 변형을 예측할 수 있을 것이다. 또한, 본 발명의 권리범위와 기술적 사상을 벗어나지 않는 한, 구조적이고 기능적인 변조가 다양하게 이루어질 수 있다. 따라서, 본 발명의 사상이나 권리범위는 본 명세서에 첨부된 청구범위에 기술된 바와 같이 광범위하게 이해될 수 있을 것이다.Although the present invention has been described in terms of specific embodiments, including preferred embodiments of the present invention, those of ordinary skill in the art to which the present invention pertains may foresee various substitutions or modifications in the construction of the invention described above. will be. In addition, without departing from the scope and technical spirit of the present invention, structural and functional modulation may be variously made. Accordingly, the spirit and scope of the present invention will be broadly understood as set forth in the claims appended hereto.

100 : 음원재생부
110 : 스피커부
120 : 앰프부
130 : 스크린부
200 : 신호 분석 및 발생부
210 : 재생기기
220 : 신호분석부
221 : 신호분석기
230 : 다채널 신호 발생기
300 : 저장부
400 : 사용자 컨트롤러100: sound source playback unit
110: speaker unit
120: amplifier unit
130: screen unit
200: signal analysis and generation unit
210: playback device
220: signal analysis unit
221: signal analyzer
230: multi-channel signal generator
300: storage
400 : user controller

Claims (9)

스크린부와, M X N(M,N은 2 이상의 자연수) 어레이로 이루어진 복수의 스피커로 구성된 스피커부를 포함하는 입체 영상 재생 시스템에서의 입체 영상 재생 방법으로,
입체 영상 파일로부터, 입체 영상에 포함되는 오브젝트의 3차원 위치 정보 및 오디오 신호를 추출하는 추출 단계;
상기 오브젝트의 3차원 위치 정보에 대응하는 전달 함수를 결정하는 결정 단계;
상기 결정 단계에서 결정된 상기 전달 함수를 이용하여, 상기 오브젝트의 상기 3차원 위치 정보에 대응하는 음향 발생 위치에서 상기 오디오 신호에 의한 음향이 발생하는 것처럼 들리게 하는 음원 신호를 생성하는 생성 단계; 및
상기 입체 영상 파일의 비디오 신호에 동기화하여 상기 스피커부를 통해 상기 음원 신호를 재생하는 재생 단계;를 포함하고,
상기 음원 신호는 상기 음향 발생 위치에서의 음압레벨이 상기 음향 발생 위치 이외의 영역에서의 음압레벨보다 높고,
상기 음향 발생 위치 및 상기 오브젝트의 공간 좌표는 상기 스피커부와 청취자 사이에 위치하고,
상기 스피커부와 상기 청취자 사이의 청취 공간, 상기 청취 공간 내의 복수의 상기 음향 발생 위치 및 상기 청취자의 위치를 터치 스크린을 통해 디스플레이하고,
복수의 상기 음향 발생 위치 각각은 상기 터치 스크린의 조작을 통해 개별적으로 조절되며,
상기 터치 스크린에 디스플레이되는 상기 청취 공간은 폐곡선으로 닫힌 공간으로 표시되되, 외부 공간과 구분되는 색상으로 표시되는 입체 영상 재생 방법.A stereoscopic image reproduction method in a stereoscopic image reproducing system comprising a screen unit and a speaker unit composed of a plurality of speakers formed of an MXN (M and N are natural numbers equal to or greater than 2) array,
an extraction step of extracting, from the stereoscopic image file, 3D position information and an audio signal of an object included in the stereoscopic image;
a determining step of determining a transfer function corresponding to the three-dimensional position information of the object;
a generating step of generating a sound source signal that sounds as if a sound is generated by the audio signal at a sound generating position corresponding to the three-dimensional position information of the object by using the transfer function determined in the determining step; and
a reproducing step of reproducing the sound source signal through the speaker unit in synchronization with the video signal of the stereoscopic image file;
In the sound source signal, the sound pressure level at the sound generating position is higher than the sound pressure level in a region other than the sound generating position,
The sound generation position and the spatial coordinates of the object are located between the speaker unit and the listener,
Displaying a listening space between the speaker unit and the listener, a plurality of the sound generating positions in the listening space, and the position of the listener through a touch screen,
Each of the plurality of sound generating positions is individually controlled through manipulation of the touch screen,
The listening space displayed on the touch screen is displayed as a closed space with a closed curve, and is displayed in a color distinct from the external space. 삭제delete 제1항에 있어서,
상기 스피커부와 상기 청취자 사이의 청취 영역 내의 각 음향 발생 위치에 대응하는 전달 함수를 산출하여 저장하는 저장 단계;를 더 포함하고,
상기 결정 단계는, 기저장된 전달 함수 중에서 상기 음향 발생 위치에 대응하는 전달 함수를 독출하여 상기 음원 신호를 생성하기 위한 전달 함수로 결정하는 입체 영상 재생 방법.According to claim 1,
A storage step of calculating and storing a transfer function corresponding to each sound generation position in a listening area between the speaker unit and the listener;
In the determining step, a transfer function corresponding to the sound generation position is read out from a previously stored transfer function and determined as a transfer function for generating the sound source signal. 제1항에 있어서,
상기 비디오 신호는 좌안 이미지 신호 및 우안 이미지 신호를 포함하고,
상기 3차원 위치 정보는 상기 좌안 이미지 신호 및 우안 이미지 신호에 의해 구현되는 상기 오브젝트의 상기 공간 좌표이고, 상기 오브젝트의 공간 좌표는 상기 스피커와 청취자 사이에 위치하는 상기 음향 발생 위치에 대응하는 입체 영상 재생 방법.According to claim 1,
The video signal includes a left eye image signal and a right eye image signal,
The 3D position information is the spatial coordinates of the object implemented by the left-eye image signal and the right-eye image signal, and the spatial coordinates of the object are stereoscopic image reproduction corresponding to the sound generating position located between the speaker and the listener. Way. 삭제delete 입체 영상 파일로부터, 입체 영상에 포함되는 오브젝트의 3차원 위치 정보 및 오디오 신호를 추출하고, 상기 오브젝트의 3차원 위치 정보에 대응하는 전달 함수를 독출한 뒤, 상기 오브젝트의 3차원 위치 정보에 대응하는 음향 발생 위치에서 상기 오디오 신호에 의한 음향이 발생하는 것처럼 들리도록 하는 음원 신호를 생성하는 신호 분석 및 발생부;
상기 음원 신호를 다채널로 분리하여 증폭하는 앰프부; 및
상기 앰프부로부터 전달된 상기 음원 신호를 상기 입체 영상 파일의 비디오 신호에 동기화하여 출력하며, M X N(M,N은 2 이상의 자연수) 어레이로 이루어진 복수의 스피커로 구성된 스피커부;를 포함하고,
상기 음원 신호는 음향 발생 위치에서의 음압레벨이 상기 음향 발생 위치 이외의 영역에서의 음압레벨보다 높고,
상기 음향 발생 위치 및 상기 오브젝트의 공간 좌표는 상기 스피커부와 청취자 사이에 위치하고,
상기 스피커부와 상기 청취자 사이의 청취 공간, 상기 청취 공간 내의 복수의 상기 음향 발생 위치 및 상기 청취자의 위치를 터치 스크린을 통해 디스플레이하고,
복수의 상기 음향 발생 위치 각각은 상기 터치 스크린의 조작을 통해 개별적으로 조절되며,
상기 터치 스크린에 디스플레이되는 상기 청취 공간은 폐곡선으로 닫힌 공간으로 표시되되, 외부 공간과 구분되는 색상으로 표시되는 입체 영상 재생 시스템.3D position information and audio signal of the object included in the stereoscopic image are extracted from the stereoscopic image file, a transfer function corresponding to the 3D position information of the object is read, and then the 3D position information of the object is extracted. a signal analysis and generation unit for generating a sound source signal to sound as if a sound is generated by the audio signal at a sound generating position;
an amplifier for amplifying the sound source signal by dividing it into multiple channels; and
a speaker unit configured to synchronize and output the sound source signal transmitted from the amplifier unit to the video signal of the stereoscopic image file, and a plurality of speakers formed of an MXN (M, N is a natural number equal to or greater than 2) array; and
In the sound source signal, the sound pressure level at the sound generating position is higher than the sound pressure level in the region other than the sound generating position,
The sound generation position and the spatial coordinates of the object are located between the speaker unit and the listener,
Displaying a listening space between the speaker unit and the listener, a plurality of the sound generating positions in the listening space, and the position of the listener through a touch screen,
Each of the plurality of sound generating positions is individually controlled through manipulation of the touch screen,
The listening space displayed on the touch screen is displayed as a closed space with a closed curve, and is displayed in a color distinct from the external space. 삭제delete 제6항에 있어서,
상기 비디오 신호는 좌안 이미지 신호 및 우안 이미지 신호를 포함하고,
상기 3차원 위치 정보는 상기 좌안 이미지 신호 및 우안 이미지 신호에 의해 구현되는 상기 오브젝트의 상기 공간 좌표이고, 상기 오브젝트의 공간 좌표는 상기 스피커와 청취자 사이에 위치하는 상기 음향 발생 위치에 대응하는 입체 영상 재생 시스템.7. The method of claim 6,
The video signal includes a left eye image signal and a right eye image signal,
The 3D position information is the spatial coordinates of the object implemented by the left-eye image signal and the right-eye image signal, and the spatial coordinates of the object are stereoscopic image reproduction corresponding to the sound generating position located between the speaker and the listener. system. 삭제delete
KR1020170127970A 2016-08-12 2017-09-29 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system KR102388361B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170127970A KR102388361B1 (en) 2016-08-12 2017-09-29 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160102814 2016-08-12
KR1020170127970A KR102388361B1 (en) 2016-08-12 2017-09-29 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160102814 Division 2016-08-12 2016-08-12

Publications (2)

Publication Number Publication Date
KR20180018464A KR20180018464A (en) 2018-02-21
KR102388361B1 true KR102388361B1 (en) 2022-04-20

Family

ID=61525173

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170127970A KR102388361B1 (en) 2016-08-12 2017-09-29 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system

Country Status (1)

Country Link
KR (1) KR102388361B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102151250B1 (en) 2018-12-12 2020-09-02 서울과학기술대학교 산학협력단 Device and method for deriving object coordinate
KR102101771B1 (en) 2018-12-12 2020-04-17 서울과학기술대학교 산학협력단 Device and method for providing contents
CN117014785A (en) * 2022-04-27 2023-11-07 华为技术有限公司 Audio playing method and related device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381396B1 (en) * 2013-09-12 2014-04-04 하수호 Multiple viewer video and 3d stereophonic sound player system including stereophonic sound controller and method thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802190A (en) 1994-11-04 1998-09-01 The Walt Disney Company Linear speaker array
KR0185021B1 (en) 1996-11-20 1999-04-15 한국전기통신공사 Auto regulating apparatus and method for multi-channel sound system
KR101235832B1 (en) * 2008-12-08 2013-02-21 한국전자통신연구원 Method and apparatus for providing realistic immersive multimedia services
KR102043416B1 (en) 2019-04-15 2019-11-12 주식회사 첨단공간정보 Geodetic surveying system for survey method of datum poing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381396B1 (en) * 2013-09-12 2014-04-04 하수호 Multiple viewer video and 3d stereophonic sound player system including stereophonic sound controller and method thereof

Also Published As

Publication number Publication date
KR20180018464A (en) 2018-02-21

Similar Documents

Publication Publication Date Title
KR102182526B1 (en) Spatial audio rendering for beamforming loudspeaker array
KR102507476B1 (en) Systems and methods for modifying room characteristics for spatial audio rendering over headphones
US5764777A (en) Four dimensional acoustical audio system
US8855340B2 (en) Apparatus for reproducting wave field using loudspeaker array and the method thereof
US10779083B2 (en) Soundbar having single interchangeable mounting surface and multi-directional audio output
JP2007266967A (en) Sound image localizer and multichannel audio reproduction device
Theile On the naturalness of two-channel stereo sound
KR20030003694A (en) System and method for optimization of three-dimensional audio
KR102388361B1 (en) 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system
JP4780057B2 (en) Sound field generator
US9226091B2 (en) Acoustic surround immersion control system and method
JPH09121400A (en) Depthwise acoustic reproducing device and stereoscopic acoustic reproducing device
KR20190109019A (en) Method and apparatus for reproducing audio signal according to movenemt of user in virtual space
JPWO2013057948A1 (en) Acoustic rendering apparatus and acoustic rendering method
KR20100062773A (en) Apparatus for playing audio contents
KR100955328B1 (en) Apparatus and method for surround soundfield reproductioin for reproducing reflection
JP5533282B2 (en) Sound playback device
KR101179876B1 (en) Sound reproducing apparatus
US20180262859A1 (en) Method for sound reproduction in reflection environments, in particular in listening rooms
US11388540B2 (en) Method for acoustically rendering the size of a sound source
Linkwitz The magic in 2-channel sound reproduction—Why is it so rarely heard?
JP5505763B2 (en) Sound field creation device
KR101269873B1 (en) Sound reproducing apparatus
KR101271014B1 (en) Sound reproducing apparatus
KR101271013B1 (en) Sound reproducing apparatus

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)