KR20190109019A - 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치 - Google Patents

가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치 Download PDF

Info

Publication number
KR20190109019A
KR20190109019A KR1020180030845A KR20180030845A KR20190109019A KR 20190109019 A KR20190109019 A KR 20190109019A KR 1020180030845 A KR1020180030845 A KR 1020180030845A KR 20180030845 A KR20180030845 A KR 20180030845A KR 20190109019 A KR20190109019 A KR 20190109019A
Authority
KR
South Korea
Prior art keywords
user
sound source
audio signal
virtual space
distance
Prior art date
Application number
KR1020180030845A
Other languages
English (en)
Other versions
KR102527336B1 (ko
Inventor
장대영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180030845A priority Critical patent/KR102527336B1/ko
Priority to US16/207,252 priority patent/US20190289418A1/en
Publication of KR20190109019A publication Critical patent/KR20190109019A/ko
Application granted granted Critical
Publication of KR102527336B1 publication Critical patent/KR102527336B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Abstract

일 실시예에 의하면, 가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 상기 사용자가 이동한 경우, 메타데이터를 이용하여 상기 사용자의 이동에 따른 상기 사용자의 새로운 위치와 음원 간의 상대적인 위치를 결정하는 단계; 및 상기 결정된 상대적인 위치에 기반하여, 상기 사용자의 기존의 위치에서 상기 음원으로부터 제1 오디오 신호를 상기 사용자의 새로운 위치에서 상기 음원으로부터 제2 오디오 신호로 수정하는 단계를 포함하는 오디오 신호 재생 방법일 수 있다.

Description

가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치{METHOD AND APPARATUS FOR REPRODUCING AUDIO SIGNAL ACCORDING TO MOVENEMT OF USER IN VIRTUAL SPACE}
아래 실시예들은 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치에 관한 것으로, 보다 구체적으로 가상 공간에서 사용자와 음원 간의 상대적인 위치를 결정하여 수정된 오디오 신호를 재생하는 방법 및 장치에 관한 것이다.
VR(Virtual Reality)환경에서 입체 음향의 재현에 있어, 헤드폰 기반하여 헤드 트래킹에 의해 머리의 방향의 변화에 대한 멀티채널 가상 스피커의 방향을 조정함으로써 입체 음향은 재현될 수 있다.
게임과 같이 컴퓨터 그래픽에 의한 영상을 활용하는 객체기반 오디오의 경우, 객체음원의 방향 및 거리를 헤드 트래킹에 따라 렌더링함으로써 객체음원의 3차원 위치는 보다 자세하게 재현될 수 있다. 하지만, 현실 공간을 녹음한 경우에는 모든 소리를 객체기반 오디오로 표현하는 것이 어렵기 때문에 채널기반 오디오와 객체기반 오디오를 포함하는 하이브리드 포맷의 오디오가 사용되고 있다. 현재 영화 콘텐츠를 중심으로 돌비의 ATMOS, DTS의 DTS-X, 방송 콘텐츠를 중심으로 돌비의 AC4, MPEG의 MPEG-H 3D Audio가 하이브리드 포맷의 오디오를 이용하고 있다.
따라서, 사용자가 고정된 위치에서 머리만 움직이는 3DoF(Degree of Freedom)환경에서는 하이브리드 포맷의 오디오가 적용될 수 있다. 그러나, 가상 공간에서 사용자가 자유롭게 움직이는 6DoF환경에서는 채널기반 오디오의 경우 사용자의 위치에 따라 입체 음향을 정확하게 재현하는 것이 어렵다.
일 실시예에 따르면, 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치는 6DoF 환경에서 가상 공간에 있는 사용자가 이동할 때, 사용자의 이동한 위치에 대응하여 입체 음향이 재현될 수 있도록 채널기반 오디오를 수정할 수 있다.
일 실시예에 따르면, 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치는 가상 공간 정보를 포함하는 메타데이터를 이용하여 사용자의 이동한 위치에 대응하는 입체 음향을 재현할 수 있다.
일 실시예에 따르면, 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치는 메타데이터를 이용하여 사용자의 이동에 불구하고 사용자의 머리와 음원의 상대적인 위치를 결정함으로써, 사용자의 이동한 위치에 대응하는 입체 음향을 재현할 수 있다.
일 측면에 따르면, 가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 상기 사용자가 이동한 경우, 메타데이터를 이용하여 상기 사용자의 이동에 따른 상기 사용자의 새로운 위치와 음원 간의 상대적인 위치를 결정하는 단계; 및 상기 결정된 상대적인 위치에 기반하여, 상기 사용자의 기존의 위치에서 상기 음원으로부터 제1 오디오 신호를 상기 사용자의 새로운 위치에서 상기 음원으로부터 제2 오디오 신호로 수정하는 단계를 포함하는 오디오 신호 재생 방법일 수 있다.
상기 메타데이터는, 상기 음원이 배치된 가상 공간 정보, 상기 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함하는 오디오 신호 재생 방법일 수 있다.
상기 제2 오디오 신호는, 상기 제1 오디오 신호에 상기 사용자의 새로운 위치에 따른 음향 효과가 적용되는 오디오 신호 재생 방법일 수 있다.
상기 사용자와 음원 간의 상대적인 위치를 결정하는 단계는, 상기 메타데이터에 포함된 정보를 이용하여, 상기 사용자와 상기 음원 간의 방향 및 거리에 따른 상기 상대적인 위치를 결정하는 단계를 포함하는 오디오 신호 재생 방법일 수 있다.
상기 사용자의 새로운 위치에서 상기 음원으로부터 제2 오디오 신호로 수정하는 단계는, 상기 사용자의 이동에 따른 지연 시간 및 이득을 반영하여 상기 제1 오디오 신호를 상기 제2 오디오 신호로 수정하는 오디오 신호 재생 방법일 수 있다.
상기 지연 시간은, 상기 사용자의 기존의 위치와 음원 간의 거리와 새로운 위치와 음원 간의 거리를 비교하여 결정되고, 상기 제1 오디오 신호는, 상기 지연 시간이 반영되어 제2 오디오 신호로 수정되는 오디오 신호 재생 방법일 수 있다.
상기 이득은, 상기 사용자의 기존의 위치에서 상기 음원까지의 거리보다 상기 사용자의 새로운 위치에서 상기 음원까지의 거리가 짧은 경우 상기 이득은 증가하며, 상기 사용자의 기존의 위치에서 상기 음원까지의 거리보다 상기 사용자의 새로운 위치에서 상기 음원까지의 거리가 긴 경우 상기 이득은 감소하는 오디오 신호 재생 방법일 수 있다.
상기 제1 오디오 신호를 상기 제2 오디오 신호로 수정하는 단계는, 상기 사용자와 상기 음원 간의 거리가 감소하는 경우 상기 음원으로부터 직접음은 증가하고 잔향은 감소하거나, 또는 상기 사용자와 상기 음원 간의 거리가 증가하는 경우 상기 음원으로부터 직접음은 감소하고 잔향은 증가하는 오디오 신호 재생 방법일 수 있다.
일 측면에 따르면, 녹음 공간에 배치된 음원으로부터 오디오 신호를 수신하는 단계; 가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 상기 사용자가 이동한 경우, 상기 사용자의 이동에 따른 상기 사용자의 새로운 위치와 상기 음원 간의 상대적인 위치를 결정할 때 이용되는 메타데이터를 생성하는 단계를 포함하는 오디오 신호 생성 방법일 수 있다.
상기 메타데이터는, 상기 음원이 배치된 가상 공간 정보, 상기 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함하는 오디오 신호 생성 방법일 수 있다.
일 측면에 따르면, 오디오 신호 재생 장치에 있어서, 상기 오디오 신호 재생 장치는 프로세서를 포함하고, 상기 프로세서는, 가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 상기 사용자가 이동한 경우, 메타데이터를 이용하여 상기 사용자의 이동에 따른 상기 사용자의 새로운 위치와 음원 간의 상대적인 위치를 결정하고, 상기 결정된 상대적인 위치에 기반하여, 상기 사용자의 기존의 위치에서 상기 음원으로부터 제1 오디오 신호를 상기 사용자의 새로운 위치에서 상기 음원으로부터 제2 오디오 신호로 수정하는 오디오 신호 재생 장치일 수 있다.
상기 메타데이터는, 상기 음원이 배치된 가상 공간 정보, 상기 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함하는 오디오 신호 재생 장치일 수 있다.
상기 제2 오디오 신호는, 상기 제1 오디오 신호에 상기 사용자의 새로운 위치에 따른 음향 효과가 적용되는 오디오 신호 재생 장치일 수 있다.
상기 프로세서는, 상기 사용자와 음원 간의 상대적인 위치를 결정할 때, 상기 메타데이터에 포함된 정보를 이용하여, 상기 사용자와 상기 음원 간의 방향 및 거리에 따른 상기 상대적인 위치를 결정하는 단계를 포함하는 오디오 신호 재생 장치일 수 있다.
상기 프로세서는, 상기 사용자의 새로운 위치에서 상기 음원으로부터 제2 오디오 신호로 수정할 때, 상기 사용자의 이동에 따른 지연 시간 및 이득을 반영하여 상기 제1 오디오 신호를 상기 제2 오디오 신호로 수정하는 오디오 신호 재생 장치일 수 있다.
상기 지연 시간은, 상기 사용자의 기존의 위치와 음원 간의 거리와 새로운 위치와 음원 간의 거리를 비교하여 결정되고, 상기 제1 오디오 신호는, 상기 지연 시간이 반영되어 제2 오디오 신호로 수정되는 오디오 신호 재생 장치일 수 있다.
상기 이득은, 상기 사용자의 기존의 위치에서 상기 음원까지의 거리보다 상기 사용자의 새로운 위치에서 상기 음원까지의 거리가 짧은 경우 상기 이득은 증가하며, 상기 사용자의 기존의 위치에서 상기 음원까지의 거리보다 상기 사용자의 새로운 위치에서 상기 음원까지의 거리가 긴 경우 상기 이득은 감소하는 오디오 신호 재생 장치일 수 있다.
상기 프로세서는, 상기 제1 오디오 신호를 상기 제2 오디오 신호로 수정할 때, 상기 사용자와 상기 음원 간의 거리가 감소하는 경우 상기 음원으로부터 직접음은 증가하고 잔향은 감소하거나, 또는 상기 사용자와 상기 음원 간의 거리가 증가하는 경우 상기 음원으로부터 직접음은 감소하고 잔향은 증가하는 오디오 신호 재생 장치일 수 있다.
일 측면에 따르면, 오디오 신호 생성 장치에 있어서, 상기 오디오 신호 생성 장치는 프로세서를 포함하고, 상기 프로세서는, 녹음 공간에 배치된 음원으로부터 수신된 오디오 신호를 식별하고, 가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 상기 사용자가 이동한 경우, 상기 사용자의 이동에 따른 상기 사용자의 새로운 위치와 상기 음원 간의 상대적인 위치를 결정할 때 이용되는 메타데이터를 생성하는 오디오 신호 생성 장치일 수 있다.
상기 메타데이터는, 상기 음원이 배치된 가상 공간 정보, 상기 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함하는 오디오 신호 생성 장치일 수 있다.
일 실시예에 따르면, 6DoF 환경에서 가상 공간에 있는 사용자가 이동할 때, 사용자의 이동한 위치에 대응하여 입체 음향이 재현될 수 있도록 채널기반 오디오는 수정될 수 있다.
일 실시예에 따르면, 가상 공간 정보를 포함하는 메타데이터를 이용하여 사용자의 이동한 위치에 대응하는 입체 음향은 재현될 수 있다.
일 실시예에 따르면, 메타데이터를 이용하여 사용자의 이동에 불구하고 사용자의 머리와 음원의 상대적인 위치를 결정함으로써, 사용자의 이동한 위치에 대응하는 입체 음향은 재현될 수 있다.
도 1은 일 실시예에 따른, 사용자에게 가상 공간에서 입체 음향을 제공하는 것을 나타낸 도면이다.
도 2는 일 실시예에 따른, 오케스트라 연주를 청취하는 사용자를 나타낸 도면이다.
도 3은 일 실시예에 따른, 가상 공간에서 사용자의 이동이 반영되지 않은 상태에서 오케스트라 연주를 청취하는 사용자를 나타낸 도면이다.
도 4는 일 실시예에 따른, 가상 공간에서 사용자의 이동이 반영된 상태에서 오케스트라 연주를 청취하는 사용자를 나타낸 도면이다.
도 5은 다른 일 실시예에 따른, 가상 공간에서 사용자의 이동이 반영되지 않은 상태에서 오케스트라 연주를 청취하는 사용자를 나타낸 도면이다.
도 6은 다른 일 실시예에 따른, 가상 공간에서 사용자의 이동이 반영된 상태에서 오케스트라 연주를 청취하는 사용자를 나타낸 도면이다.
도 7은 일 실시예에 따른, 사용자의 이동에 따른 새로운 위치에서의 지연 시간 및 이득을 결정하는 것을 나타낸 도면이다.
도 8은 일 실시예에 따른, 오디오 신호 재생 장치가 수행하는 오디오 신호 재생 방법을 나타낸 도면이다.
도 9는 일 실시예에 따른, 오디오 신호 생성 장치가 수행하는 오디오 신호 생성 방법을 나타낸 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제 1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소는 제 1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른, 사용자에게 가상 공간에서 입체 음향을 제공하는 것을 나타낸 도면이다.
사용자는 VR 기기(110)를 이용하여 가상 현실(virtual reality) 또는 가상 공간을 경험할 수 있다. 예를 들면, 사용자는 오케스트라 연주 또는 콘서트에 참석하지 않았지만, VR 기기(110)에 의해 가상 공간 속에서 오케스트라 연주 또는 콘서트에 참석한 것과 같은 경험을 할 수 있다. 따라서, VR 기기(110)에 의해 가상 공간에 있는 사용자는 콘서트 홀에서 오케스트라 연주 또는 콘서트를 보는 경험을 할 수 있다. 여기서, 오케스트라 연주 또는 콘서트는 일례에 불과하다.
사용자는 재생 장치(120)을 이용하여, VR 기기(110)에 의한 가상 공간에 대응하는 소리를 들을 수 있다. 이때, 재생 장치(120)는 사용자의 신체 일부에 착용될 수 있거나, 또는 사용자의 귀 근처에서 사용자에게 소리를 제공할 수 있다. 재생 장치(120)은 사용자의 사용 목적에 따라 다양한 형태를 취할 수 있으며, 다양한 기능을 제공할 수 있다. 이때, 재생 장치(120)는 가상 공간에 있는 사용자에게 실제와 같은 입체 음향을 제공할 수 있다. 예를 들면, 재생 장치(120)는 헤드셋(headset), 헤드폰(headphone), 이어피스(earpiece), 보청기(hearing aids)등을 포함할 수 있다.
이때, VR 기기(110)를 통해 사용자가 보는 VR 영상에 대응하는 소리를 재생 장치(120)은 재생할 수 있다. 예를 들면, VR 기기를 통해 사용자가 가상 공간에서 오케스트라 연주를 보는 동안 사용자가 움직인 경우, 사용자는 재생 장치에 의해 움직임에 따라 다른 소리를 오케스트라 연주로부터 들을 수 있다.
일 실시예에 따르면, VR 기기(110)에 의해 가상 공간에서 콘서트 홀에서 오케스트라 연주를 보는 사용자는 재생 장치(120)인 헤드폰에 의해 오케스트라 연주를 들을 수 있다. 이때, 헤드폰은 가상 공간에 있는 사용자에게 실제 콘서트 홀에 있는 것과 같은 입체 음향을 제공할 수 있다.
구체적으로, 오케스트라 연주와 보컬이 협연할 경우, 오케스트라 연주는 채널기반 오디오 신호로서 멀티채널 스피커로 출력될 수 있으며, 보컬은 객체기반 오디오 신호일 수 있다. 하이브리드 포맷 오디오 신호는 채널기반 오디오 신호와 객체기반 오디오 신호를 포함할 수 있다. 이때, 채널기반 오디오 신호와 객체기반 오디오 신호는 독립적으로 전송 및/또는 재생될 수 있다.
보다 구체적으로, VR 기기(110)를 착용한 사용자가 이동하여 가상 공간에서 오케스트라 연주되는 무대에 보다 가까이 간 경우, 헤드폰은 가상 공간에 있는 사용자가 실제 콘서트 홀에 있는 것과 같이 음원으로부터 직접음이 더 크게 들리고 잔향이 작게 들리는 입체 음향을 제공할 수 있다. 또는, VR 기기(110)를 착용한 사용자가 이동하여 가상 공간에서 오케스트라 연주되는 무대에서 보다 멀어진 경우, 헤드폰은 가상 공간에 있는 사용자가 실제 콘서트 홀에 있는 것과 같이 음원으로부터 직접음이 더 작게 들리고 잔향이 크게 들리는 입체 음향을 제공할 수 있다.
도 2는 일 실시예에 따른, 오케스트라 연주를 청취하는 사용자를 나타낸 도면이다.
VR 기기를 착용한 사용자는 가상 공간에서 오케스트라 연주를 볼 수 있다. 또한, 재생 장치의 일례인 헤드폰을 착용한 사용자는 실제 콘서트 홀에 있는 것처럼 오케스트라 연주를 들을 수 있다. 오케스트라 연주와 보컬이 협연할 경우, 오케스트라 연주는 채널기반 오디오 신호이며, 보컬은 객체기반 오디오 신호일 수 있다. 채널기반 오디오 신호와 객체기반 오디오 신호는 독립적으로 전송 및/또는 재생될 수 있다. 헤드폰을 착용한 사용자는 실제 콘서트 홀에 있는 것과 같이 오케스트라 연주와 보컬의 협연을 들을 수 있다.
이때, 가상 공간은 실제 콘서트 홀과 동일하거나 다르게 설정될 수 있다. 예를 들면, 실제 콘서트 홀과 동일한 가상 공간에서 사용자는 연주를 보는 경험을 할 수 있다. 또는 실제 콘서트 홀과 달리 설정된 가상 공간에서 사용자는 연주를 보는 경험을 할 수 있다.
이때, 실제 콘서트 홀과 달리 설정된 가상 공간은 사용자에 의해 설정될 수 있다. 예를 들면, 실제 콘서트 홀이 실내 공연인 경우, 사용자는 가상 공간에서 실외 공연으로 설정하여 연주를 보는 경험을 할 수 있다. 또는 사용자는 실제 콘서트 홀과 다른 콘서트 홀을 선택하고, 사용자는 다른 콘서트 홀에서 연주를 보는 경험을 할 수 있다. 또는 사용자는 실제 콘서트 홀과 달리 집을 선택하고, 사용자는 집에서 연주를 보는 경험을 할 수 있다. 여기서, 사용자에 의해 설정되는 가상 공간은 위 예에 한정되지 않는다.
오케스트라 연주되는 위치는 음원이 있는 음원의 위치를 나타낼 수 있고, 음원으로부터 오디오 신호는 생성될 수 있다. 예를 들면, 음원인 오케스트라 연주에 따라 발생한 각각의 오디오 신호는 생성될 수 있다.
재생 장치의 일례인 멀티채널 스피커에 의해 사용자는 실제 콘서트 홀에 있는 것과 같은 연주를 들을 수 있다. 5개의 스피커로 구성된 멀티채널 스피커에 의해 사용자는 실제 콘서트 홀에 있는 것과 같은 연주를 들을 수 있다.
또는, 재생 장시의 일례인 헤드폰에 의해 사용자는 실제 콘서트 홀에 있는 것과 같은 연주를 들을 수 있다. 이때, 헤드폰에 의한 가상 스피커를 멀티채널 스피커와 동일하게 렌더링하는 경우, 사용자는 멀티채널 스피커와 동일한 연주를 헤드폰에 의해 들을 수 있다.
일 실시예에 따르면, 입체 음향을 재현하기 위해 5.1 채널에 대한 6DoF 사용자 이동에 대한 오디오 신호 재생 방법뿐만 아니라, 7.1 채널, 10.2 채널, 9.1 채널, 11.1 채널과 같은 다양한 채널에 대한 6DoF 사용자 이동에 대한 오디오 신호 재생 방법도 가능하다.
녹음시 멀티채널 마이크로폰 세트가 2개 이상인 경우도 생각할 수 있으며, 각 마이크로폰 세트의 위치를 미리 알고 있는 경우, 이들 2개 이상의 멀티채널 오디오 신호의 조합에 의해 6DoF 오디오 재현도 가능하게 된다. 예를 들면, 인접한 거리를 알고 있는 2개 이상의 카메라 및/또는 마이크로폰 세트에 있어서, 상관도를 기반으로 하는 패턴매칭과 같은 방법에 의해 동일한 영상 및/또는 음향 객체를 검출할 수 있고, 동일한 객체의 방향각의 연장선에 의해 실제 객체의 좌표는 추출될 수 있다. 따라서, 2개 이상의 멀티채널 오디오 신호의 조합에 의해 실제 객체의 좌표로부터 6DoF 오디오 재현도 가능할 수 있다.
도 3은 일 실시예에 따른, 가상 공간에서 사용자의 이동이 반영되지 않은 상태에서 오케스트라 연주를 청취하는 사용자를 나타낸 도면이다. 도 4는 일 실시예에 따른, 가상 공간에서 사용자의 이동이 반영된 상태에서 오케스트라 연주를 청취하는 사용자를 나타낸 도면이다.
도 3에 의하면, 사용자가 멀티채널 스피커(310)에 의해 오케스트라 연주를 들을 경우, VR 기기에 의해 가상 공간의 콘서트 홀에 있는 사용자의 이동이 반영되지 않을 수 있다. 왜냐하면, 사용자는 멀티채널 스피커로부터 음원의 방향을 인식하기 때문이다. 따라서, 이동이 반영되지 않은 멀티채널 스피커에 의해 사용자는 왜곡된 오케스트라 연주를 들을 수 있다. 즉, 가상 공간에 있는 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생하여, 사용자는 왜곡된 오케스트라 연주를 들을 수 있다.
또한, 도 3에 의하면, 사용자의 이동에 의해 객체의 위치가 왜곡되는 것을 확인할 수 있다. 즉, 사용자의 이동에 따른 상대적인 객체의 위치가 반영되지 않고 고정된 객체의 위치를 이용할 경우, 사용자의 이동에 따라 객체의 위치가 왜곡되는 것을 확인할 수 있다.
또한, 도 3에 의하면, 헤드폰에 의한 가상 스피커(320)에 의해 오케스트라 연주를 들을 경우에도, VR 기기에 의해 가상 공간의 콘서트 홀에 있는 사용자의 이동이 반영되지 않을 수 있다. 예를 들면, 사용자가 음원에 가까이 간 경우 음원으로부터 직접음은 증가하고 잔향은 감소하거나 사용자가 음원에서 멀어진 경우 음원으로부터 직접음은 감소하고 잔향은 증가해야 하지만, 가상 스피커(320)는 사용자의 이동에 따른 직접음과 잔향의 변화와 같은 음향 효과를 반영할 수 없다. 따라서, 가상 공간에 있는 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생하여, 사용자는 왜곡된 오케스트라 연주를 들을 수 있다.
일 실시예에 따르면, 가상 공간에 있는 사용자는 가상 공간에서 이동에 따라 다른 오케스트라 연주를 들을 수 있다. 가상 공간에서 오케스트라 연주되는 위치는 음원의 위치를 나타낼 수 있다. 즉, 음원의 위치는 멀티채널 스피커 또는 가상 스피커가 아닌 가상 공간인 콘서트 홀에서 음원이 위치한 곳을 나타낸다. 따라서, 사용자의 새로운 위치와 음원의 위치에 기반할 경우, 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생하지 않아 사용자는 왜곡되지 않은 오케스트라 연주를 들을 수 있다.
도 3과 달리, 도 4는 사용자의 이동에 따른 사용자와 객체의 상대적인 위치 및 사용자와 오케스트라 연주의 상대적인 위치를 반영한 결과, 사용자의 이동에도 불구하고 객체 및 오케스트라 연주는 실제 콘서트 홀에 있는 것과 같이 들릴 수 있다. 예를 들면, 변경된 사용자의 위치에 따른 상대적인 객체 위치를 반영하여 멀티채널 오디오에 믹싱할 경우, 객체의 절대적인 위치가 고정된 것처럼 들릴 수 있다.
예를 들면, 도 4에 의하면, 오케스트라 연주되는 음원의 위치는 헤드폰에 의한 가상 스피커의 위치가 아닌, 가상 공간에서 음원이 존재하는 것으로 설정된 위치를 나타낼 수 있다. 만약, 가상 공간이 콘서트 홀 인 경우, 음원의 위치는 콘서트 홀 중에서 오케스트라 연주되는 무대의 위치를 나타낼 수 있다.
이때, 가상 공간에 있는 사용자가 기존의 위치에서 새로운 위치로 이동한 경우, 음원의 위치와 사용자의 새로운 위치 간의 상대적인 위치는 변할 수 있다. 즉, 사용자의 기존의 위치와 음원의 위치 간의 상대적인 위치와 사용자의 새로운 위치와 음원의 위치 간의 상대적인 위치는 다를 수 있다. 따라서, 가상 공간인 콘서트 홀에 있는 사용자는 기존의 위치에서 듣는 오케스트라 연주와 새로운 위치에서 듣는 오케스트라 연주는 다를 수 있다. 다만 도 3과 달리, 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치간의 왜곡이 발생하지 않을 수 있다.
이때, 사용자의 새로운 위치와 음원의 위치 간의 거리에 따라 다른 오케스트라 연주를 들을 수 있다. 또는 사용자의 새로운 위치와 음원의 위치 간의 방향에 따라 다른 오케스트라 연주를 들을 수 있다.
일 실시예에 따르면, 메타데이터는 가상 공간 정보, 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함할 수 있다. 여기서, 가상 공간 정보는 음원이 있는 가상 공간의 구조, 가상 공간의 벽면, 가상 공간의 특성과 관련된 정보를 포함할 수 있고, 음원의 위치 정보는 가상 공간에 있는 음원의 위치를 포함할 수 있다. 따라서, 가상 공간에 있는 사용자가 기존의 위치에서 오케스트라 연주로부터 들리는 제1 오디오 신호는 사용자의 이동에 따른 새로운 위치에서 오케스트라 연주로부터 들리는 제2 오디오 신호로 수정될 수 있다. 따라서, 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생되지 않을 수 있다.
멀티채널 마이크로폰의 각 채널 방향에 따른 음원의 거리뿐만 아니라 채널 사이의 음원의 위치 정보를 콘텐츠에 메타데이터로 추가함으로써, 음원분리등과 연계하여 채널 사이의 음원의 위치를 청취자의 이동에 따른 상대적 위치로 제어할 수 있게 된다.
제2 오디오 신호는 제1 오디오 신호에 청취자의 새로운 위치에 따른 음향 효과가 적용될 수 있다. 예를 들면, 사용자의 이동에 따른 벽면과의 거리를 반영하여 잔향의 변화, 공진 주파수에 따른 현장감 있는 입체 음향을 재현, 음원으로부터의 직접음의 변화와 같은 음향 효과가 제1 오디오 신호에 적용되어, 제1 오디오 신호는 제2 오디오 신호로 수정될 수 있다.
여기서, 가상 공간은 녹음 공간과 동일하거나 다를 수 있다. 사용자가 듣는 오케스트라 연주는 미리 녹음된 후, 가상 공간에 있는 사용자에게 재생될 수 있다. 오케스트라 연주는 가상 공간이 아닌 현실 공간에서 녹음될 수 있고, 이때 현실 공간은 녹음 공간일 수 있다.
예를 들면, 오케스트라 연주를 녹음하는 녹음 공간은 오케스트라 연주가 재생되는 가상 공간과 동일한 콘서트 홀일 수 있다. 또는 녹음 공간과 가상 공간은 다른 콘서트 홀일 수 있다. 따라서, 녹음 공간과 가상 공간이 동일한 콘서트 홀인 경우, 가상 공간 정보는 녹음 공간의 구조, 녹음 공간의 벽면, 녹음 공간의 특성과 관련된 정보를 포함할 수 있다. 또는 녹음 공간과 가상 공간이 다른 콘서트 홀인 경우, 가상 공간 정보는 녹음 공간이 아닌 가상 공간의 구조, 가상 공간의 벽면, 가상 공간의 특성과 관련된 정보를 포함할 수 있다.
일 실시예에 의하면, 도 3에 따르면 사용자의 이동에 의해 가상 공간에서 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생할 수 있지만, 도 4에 따르면 사용자의 이동에 불구하고 가상 공간에서 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생하지 않을 수 있다.
이때, 사용자의 새로운 위치와 음원 간의 수정된 방향 및 거리에 의해, 제1 오디오 신호에 이득 및 지연 시간을 반영하여 제2 오디오 신호는 결정될 수 있다. 여기서, 지연 시간은 사용자의 기존 위치와 새로운 위치간의 거리가 먼 경우 증가할 수 있고, 기존의 위치와 새로운 위치간의 거리가 가까운 경우 감소할 수 있다. 또한, 이득은 사용자의 기존의 위치에서 음원까지의 거리보다 새로운 위치에서 음원까지의 거리가 긴 경우 감소할 수 있으며, 사용자의 기존의 위치에서 음원까지의 거리보다 새로운 위치에서 음원까지의 거리가 짧은 경우 증가할 수 있다. 이득 및 지연 시간을 결정하는 방법은 도 7에서 자세히 설명한다.
도 5은 다른 일 실시예에 따른, 가상 공간에서 사용자의 이동이 반영되지 않은 상태에서 오케스트라 연주를 청취하는 사용자를 나타낸 도면이다. 도 6은 다른 일 실시예에 따른, 가상 공간에서 사용자의 이동이 반영된 상태에서 오케스트라 연주를 청취하는 사용자를 나타낸 도면이다.
도 5와 도6은 도 3과 도 4와 가상 공간에서 사용자의 다른 이동 형태를 나타낸다. 예를 들면, 도 3과 도 4는 사용자가 앞으로 이동한 형태를 나타내며, 도 5와 도 6은 사용자가 대각선으로 이동한 형태를 나타낸다. 도 5와 도 6의 경우에도, 아래와 같이 도 3과 도 4의 설명이 적용될 수 있다.
도 5에 의하면, 사용자가 멀티채널 스피커(510)에 의해 오케스트라 연주를 들을 경우, VR 기기에 의해 가상 공간의 콘서트 홀에 있는 사용자의 이동이 반영되지 않을 수 있다. 왜냐하면, 사용자는 멀티채널 스피커로부터 음원의 방향을 인식하기 때문이다. 따라서, 사용자의 이동이 반영되지 않은 멀티채널 스피커에 의해 사용자는 왜곡된 콘서트를 들을 수 있다. 즉, 가상 공간에 있는 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생하여, 사용자는 왜곡된 오케스트라 연주를 들을 수 있다.
또한, 도 5에 의하면, 사용자의 이동에 의해 객체의 위치가 왜곡되는 것을 확인할 수 있다. 즉, 사용자의 이동에 따른 상대적인 객체의 위치가 반영되지 않고 고정된 객체의 위치를 이용할 경우, 사용자의 이동에 따라 객체의 위치가 왜곡되는 것을 확인할 수 있다.
또한, 도 5에 의하면, 헤드폰에 의한 가상 스피커(520)에 의해 오케스트라 연주를 들을 경우에도, VR 기기에 의해 가상 공간의 콘서트 홀에 있는 사용자의 이동이 반영되지 않을 수 있다. 예를 들면, 사용자가 음원에 가까이 간 경우 음원으로부터 직접음은 증가하고 잔향은 감소하거나 사용자가 음원에서 멀어진 경우 음원으로부터 직접음은 감소하고 잔향은 증가해야 하지만, 가상 스피커(520)는 사용자의 이동에 따른 직접음과 잔향의 변화와 같은 음향 효과를 반영할 수 없다. 따라서, 가상 공간에 있는 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생하여, 사용자는 왜곡된 오케스트라 연주를 들을 수 있다.
일 실시예에 따르면, 가상 공간에 있는 사용자는 가상 공간에서 이동에 따라 다른 오케스트라 연주를 들을 수 있다. 가상 공간에서 오케스트라 연주되는 위치는 음원의 위치를 나타낼 수 있다. 즉, 음원의 위치는 멀티채널 스피커 또는 가상 스피커가 아닌 가상 공간인 콘서트 홀에서 음원이 위치한 곳을 나타낸다. 따라서, 사용자의 새로운 위치와 음원의 위치에 기반할 경우, 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생하지 않아 사용자는 왜곡되지 않은 오케스트라 연주를 들을 수 있다.
도 5과 달리, 도 6는 사용자의 이동에 따른 사용자와 객체의 상대적인 위치 및 사용자와 오케스트라 연주의 상대적인 위치를 반영한 결과, 사용자의 이동에도 불구하고 객체 및 오케스트라 연주는 실제 콘서트 홀에 있는 것과 같이 들릴 수 있다. 예를 들면, 변경된 사용자의 위치에 따른 상대적인 객체 위치를 반영하여 멀티채널 오디오에 믹싱할 경우, 객체의 절대적인 위치가 고정된 것처럼 들릴 수 있다.
예를 들면, 도 6에 의하면, 오케스트라 연주되는 음원의 위치는 헤드폰에 의한 가상 스피커의 위치가 아닌, 가상 공간에서 음원이 존재하는 것으로 설정된 위치를 나타낼 수 있다. 만약, 가상 공간이 콘서트 홀 인 경우, 음원의 위치는 콘서트 홀 중에서 오케스트라 연주되는 무대의 위치를 나타낼 수 있다.
이때, 가상 공간에 있는 사용자가 기존의 위치에서 새로운 위치로 이동한 경우, 음원의 위치와 사용자의 새로운 위치 간의 상대적인 위치는 변할 수 있다. 즉, 사용자의 기존의 위치와 음원의 위치 간의 상대적인 위치와 사용자의 새로운 위치와 음원의 위치 간의 상대적인 위치는 다를 수 있다. 따라서, 가상 공간인 콘서트 홀에 있는 사용자는 기존의 위치에서 듣는 오케스트라 연주와 새로운 위치에서 듣는 오케스트라 연주는 다를 수 있다. 다만 도 5와 달리, 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치간의 왜곡이 발생하지 않을 수 있다.
이때, 사용자의 새로운 위치와 음원의 위치 간의 거리에 따라 다른 오케스트라 연주를 들을 수 있다. 예를 들면, 사용자가 음원의 위치로부터 거리가 멀어진 경우, 사용자는 오케스트라 연주에 의한 직접음은 감소하고 잔향은 증가한 소리를 들을 수 있다.
또는 사용자의 새로운 위치와 음원의 위치 간의 방향에 따라 다른 오케스트라 연주를 들을 수 있다. 예를 들면, 사용자가 제자리에서 방향을 변경한 경우, 사용자는 다른 오케스트라 연주를 들을 수 있다. 왜냐하면, 오케스트라 연주를 듣는 사용자의 머리의 방향이 변하였기 때문이다.
또는, 사용자가 기존의 위치로부터 거리와 방향이 모두 변경된 새로운 위치로 이동한 경우, 마찬가지로 사용자는 기존의 위치에서 듣던 오케스트라 연주와 다른 오케스트라 연주를 새로운 위치에서 들을 수 있다.
일 실시예에 따르면, 메타데이터는 가상 공간 정보, 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함할 수 있다. 여기서, 가상 공간 정보는 음원이 있는 가상 공간의 구조, 가상 공간의 벽면, 가상 공간의 특성과 관련된 정보를 나타낼 수 있고, 음원의 위치 정보는 가상 공간에 있는 음원의 위치를 나타낼 수 있다. 따라서, 가상 공간에 있는 사용자가 기존의 위치에서 오케스트라 연주로부터 들리는 제1 오디오 신호는 사용자의 이동에 따른 새로운 위치에서 오케스트라 연주로부터 들리는 제2 오디오 신호로 수정될 수 있다. 따라서, 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생되지 않을 수 있다.
제2 오디오 신호는 제1 오디오 신호에 청취자의 새로운 위치에 따른 음향 효과가 적용될 수 있다. 예를 들면, 사용자의 이동에 따른 벽면과의 거리를 반영하여 잔향의 변화, 공진 주파수에 따른 현장감 있는 입체 음향을 재현, 음원으로부터의 직접음의 변화와 같은 음향 효과가 제1 오디오 신호에 적용되어, 제1 오디오 신호는 제2 오디오 신호로 수정될 수 있다.
여기서, 가상 공간은 녹음 공간과 동일하거나 다를 수 있다. 사용자가 듣는 오케스트라 연주는 미리 녹음된 후, 가상 공간에 있는 사용자에게 재생될 수 있다. 오케스트라 연주는 가상 공간이 아닌 현실 공간에서 녹음될 수 있고, 이때 현실 공간은 녹음 공간일 수 있다.
예를 들면, 오케스트라 연주를 녹음하는 녹음 공간은 오케스트라 연주가 재생되는 가상 공간과 동일한 콘서트 홀일 수 있다. 또는 녹음 공간과 가상 공간은 다른 콘서트 홀일 수 있다. 따라서, 녹음 공간과 가상 공간이 동일한 콘서트 홀인 경우, 가상 공간 정보는 녹음 공간의 구조, 녹음 공간의 벽면, 녹음 공간의 특성과 관련된 정보를 포함할 수 있다. 또는 녹음 공간과 가상 공간이 다른 콘서트 홀인 경우, 가상 공간 정보는 녹음 공간이 아닌 가상 공간의 구조, 가상 공간의 벽면, 가상 공간의 특성과 관련된 정보를 포함할 수 있다.
일 실시예에 의하면, 도 5에 따르면 사용자의 이동에 의해 가상 공간에서 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생할 수 있지만, 도 6에 따르면 사용자의 이동에 불구하고 가상 공간에서 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생하지 않을 수 있다.
이때, 사용자의 새로운 위치와 음원 간의 수정된 방향 및 거리에 의해, 제1 오디오 신호에 이득 및 지연 시간을 반영하여 제2 오디오 신호는 결정될 수 있다. 여기서, 지연 시간은 사용자의 기존 위치와 새로운 위치간의 거리가 먼 경우 증가할 수 있고, 기존의 위치와 새로운 위치간의 거리가 가까운 경우 감소할 수 있다. 또한, 이득은 사용자의 기존의 위치에서 음원까지의 거리보다 새로운 위치에서 음원까지의 거리가 긴 경우 감소할 수 있으며, 사용자의 기존의 위치에서 음원까지의 거리보다 새로운 위치에서 음원까지의 거리가 짧은 경우 증가할 수 있다. 이득 및 지연 시간을 결정하는 방법은 도 7에서 자세히 설명한다.
도 7은 일 실시예에 따른, 사용자의 이동에 따른 새로운 위치에서의 지연 시간 및 이득을 결정하는 것을 나타낸 도면이다.
사용자는 기존의 위치(710) (0,0)에서 새로운 위치(720) (X1, Y1)으로 이동할 수 있다. 기존의 위치(710)에 있는 사용자는 음원의 위치(730) (Xs, Ys)로부터 제1 오디오 신호를 들을 수 있고, 새로운 위치(720)에 있는 사용자는 음원의 위치(730)으로부터 제2 오디오 신호를 들을 수 있다.
이때, 사용자는 기존의 위치 (0,0)에 있을때, 사용자는 음원의 위치 (Xs, Ys)에서 음원이 들리는 것으로 판단할 수 있고, 또한 사용자가 보는 음원은 (Xs, Ys)에 위치하는 것으로 판단될 수 있다. 마찬가지로, 사용자는 새로운 위치 (X1, Y1)에 있을때, 사용자는 음원의 위치 (Xs, Ys)에서 음원이 들리는 것으로 판단할 수 있고, 또한 사용자가 보는 음원은 (Xs, Ys)에 위치하는 것으로 판단될 수 있다.
기존의 위치(710) (0,0)와 음원의 위치(730) (Xs, Ys) 간의 거리 D0는 수학식 1에 의해 결정될 수 있다.
Figure pat00001
새로운 위치(720) (X1, Y1)과 음원의 위치(730) (Xs, Ys) 간의 거리 D는 수학식 2에 의해 결정될 수 있다.
Figure pat00002
기존의 위치(710) (0,0)에서 음원으로부터 수신하는 제1 오디오 신호에 이득이 반영되어 새로운 위치(720) (X1, Y1)에서 음원으로부터 수신하는 제2 오디오 신호가 결정될 수 있다. 이때, 이득은 수학식 3에 의해 결정될 수 있다.
Figure pat00003
예를 들면, 사용자의 기존의 위치 (0,0)에서 음원(Xs, Ys)까지의 거리 D0보다 사용자의 새로운 위치(X1, Y1)에서 음원(Xs, Ys)까지의 거리 D가 짧은 경우, 제1 오디오 신호와 비교하여 사용자의 새로운 위치에서 듣는 제2 오디오 신호의 이득은 증가할 수 있다.
또 다른 예를 들면, 사용자의 기존의 위치 (0,0)에서 음원(Xs, Ys)까지의 거리 D0보다 사용자의 새로운 위치(X1, Y1)에서 음원(Xs, Ys)까지의 거리 D가 긴 경우, 제1 오디오 신호와 비교하여 사용자의 새로운 위치에서 듣는 제2 오디오 신호의 이득은 감소할 수 있다.
기존의 위치(710) (0,0)에서 음원으로부터 수신하는 제1 오디오 신호에 지연 시간이 반영되어 새로운 위치(720) (X1, Y1)에서 음원으로부터 수신하는 제2 오디오 신호가 결정될 수 있다. 이때, 지연 시간은 수학식 3에 의해 결정될 수 있다. 여기서, V는 소리의 전파 속도를 나타낼 수 있다.
Figure pat00004
예를 들면, 사용자의 기존의 위치 (0,0)와 음원(Xs, Ys)간의 거리 D0가 새로운 위치(X1, Y1)와 음원(Xs, Ys)간의 거리 D보다 짧은 경우, 제1 오디오 신호는 지연 시간 T 만큼 지연되어 제2 오디오 신호로 수정될 수 있다.
또 다른 예를 들면, 사용자의 기존의 위치 (0,0)와 음원(Xs, Ys)간의 거리 D0가 새로운 위치(X1, Y1)와 음원(Xs, Ys)간의 거리 D보다 긴 경우, 제1 오디오 신호는 음수인 지연 시간 T 만큼 반영되어 제2 오디오 신호로 수정될 수 있다.
즉, 사용자의 기존의 위치와 음원 간의 거리와 새로운 위치와 음원 간의 거리를 비교하여 지연 시간은 결정되고, 제1 오디오 신호는 지연 시간이 반영되어 제2 오디오 신호로 수정될 수 있다.
따라서, 수학식 3과 수학식 4에 의해 결정된 이득 및 지연 시간을 제1 오디오 신호에 반영하여, 새로운 위치(720) (X1, Y1)에서 음원(Xs, Ys)으로부터 수신하는 제2 오디오 신호는 수학식 5와 같이 결정될 수 있다.
Figure pat00005
도 8은 일 실시예에 따른, 오디오 신호 재생 장치가 수행하는 오디오 신호 재생 방법을 나타낸 도면이다.
단계(810)에서, 오디오 신호 재생 장치는 가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 사용자가 이동한 경우, 메타데이터를 이용하여 상기 사용자의 이동에 따른 상기 사용자의 새로운 위치와 음원 간의 상대적인 위치를 결정할 수 있다.
여기서, 메타데이터는 음원이 배치된 가상 공간 정보, 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함할 수 있다. 여기서, 가상 공간 정보는 음원이 있는 가상 공간의 구조, 가상 공간의 벽면, 가상 공간의 특성과 관련된 정보를 포함할 수 있고, 음원의 위치 정보는 가상 공간에 있는 음원의 위치를 포함할 수 있다. 따라서, 가상 공간에 있는 사용자가 기존의 위치에서 오케스트라 연주로부터 들리는 제1 오디오 신호는 사용자의 이동에 따른 새로운 위치에서 오케스트라 연주로부터 들리는 제2 오디오 신호로 수정될 수 있다. 따라서, 사용자가 보는 음원의 위치와 사용자에게 들리는 음원의 위치 간의 왜곡이 발생되지 않을 수 있다.
또한, 사용자의 기존의 위치는 사용자가 이동하기 전의 위치를 나타낼 수 있고, 사용자의 새로운 위치는 사용자가 이동한 후의 위치를 나타낼 수 있다. 예를 들면, 가상 공간인 콘서트 홀에 있는 사용자가 콘서트 홀의 가운데에서 무대의 가까운 곳으로 이동한 경우, 콘서트 홀의 가운데는 기존의 위치이고 무대의 가까운 곳은 새로운 위치일 수 있다.
일 실시예에 따르면, 가상 공간에 있는 사용자의 이동에 따라 사용자에게 왜곡되지 않은 입체 음향을 제공하기 위해, 사용자와 음원 간의 상대적인 위치는 결정될 수 있다.
따라서, 사용자와 음원 간의 상대적인 위치를 결정할 때, 메타데이터에 포함된 정보를 이용하여, 사용자와 음원 간의 방향 및 거리에 따른 상대적인 위치를 결정할 수 있다.
오디오 신호 재생 장치는 메타데이터를 이용하여 음원의 위치를 식별할 수 있다. 또한, 오디오 신호 재생 장치는 사용자의 기존의 위치 및 이동에 따른 새로운 위치를 식별할 수 있다. 따라서, 오디오 신호 재생 장치는 사용자의 기존의 위치와 음원의 위치 간의 상대적인 위치를 식별할 수 있고, 사용자의 새로운 위치와 음원의 위치 간의 상대적인 위치를 식별할 수 있다.
예를 들면, 콘서트 홀의 무대에서 오케스트라 연주되고 사용자가 콘서트 홀의 가운데에서 무대의 가까운 곳으로 이동하는 경우, 오디오 신호 재생 장치는 콘서트 홀의 무대와 콘서트 홀의 가운데 간의 상대적인 위치를 식별할 수 있고, 또한 콘서트 홀의 무대와 무대에 가까운 곳 간의 상대적인 위치를 식별할 수 있다.
또 다른 예를 들면, 콘서트 홀의 무대에서 오케스트라 연주되고 사용자가 콘서트 홀의 가운데에서 대각선 방향으로 무대의 가까운 곳으로 이동하는 경우, 오디오 신호 재생 장치는 콘서트 홀의 무대와 콘서트 홀의 가운데 간의 상대적인 위치를 식별할 수 있고, 또한 콘서트 홀의 무대와 무대에 가까운 곳 간의 상대적인 위치를 식별할 수 있다.
이때, 사용자와 오케스트라 연주되는 무대 간의 거리뿐만 아니라 사용자와 오케스트라 연주되는 무대 간의 방향도 고려될 수 있다. 즉, 상대적인 위치를 결정할 때, 거리뿐만 아니라 사용자와 음원 간의 방향도 함께 고려될 수 있다.
단계(820)에서, 오디오 신호 재생 장치는 결정된 상대적인 위치에 기반하여, 상기 청취자의 기존의 위치에서 상기 음원으로부터 제1 오디오 신호를 상기 청취자의 새로운 위치에서 상기 음원으로부터 제2 오디오 신호로 수정할 수 있다.
여기서, 사용자의 새로운 위치에 따른 음향 효과가 제1 오디오 신호에 적용되어, 제1 오디오 신호가 제2 오디오 신호로 수정될 수 있다. 여기서 음향 효과는 지연 시간, 이득, 직접음과 잔향과 같이 입체 음향의 재현에 필요한 효과를 의미할 수 있다.
이때, 사용자의 기존의 위치에서 음원까지의 거리보다 사용자의 새로운 위치에서 음원까지의 거리가 짧은 경우 이득은 증가하며, 사용자의 기존의 위치에서 음원까지의 거리보다 사용자의 새로운 위치에서 음원까지의 거리가 긴 경우 이득은 감소할 수 있다.
또한, 사용자와 음원 간의 거리가 감소하는 경우 음원으로부터 직접음은 증가하고 잔향은 감소하며, 또는 사용자와 음원 간의 거리가 증가하는 경우 음원으로부터 직접음은 감소하고 잔향은 증가할 수 있다.
예를 들면, 사용자가 콘서트 홀의 가운데에서 무대의 가까운 곳으로 이동한 경우, 이득은 증가하고 음원으로부터 직접음은 증가하고 잔향은 감소할 수 있다. 또 다른 예를 들면, 사용자가 콘서트 홀의 가운데에서 무대의 먼 곳으로 이동한 경우, 이득은 감소하고 음원으로부터 직접음은 감소하고 잔향은 증가할 수 있다.
일 실시예에 따르면, 6DoF에서 음원과 사용자 간의 방향만 고려되고 거리가 고려되지 않을 경우 왜곡에 의해 입체 음향이 재현되지 않을 수 있지만, 가상 공간 정보 및/또는 음원의 위치 정보를 포함하는 메타데이터를 이용하여 사용자의 이동에도 불구하고 거리와 방향을 함께 고려하여 입체 음향이 재현될 수 있다.
일 실시예에 따르면, 녹음 공간에서 멀티채널 마이크로폰에 의해 녹음된 오디오 신호를 재생할 수 있다. 그러나 녹음된 오디오 신호를 분석함으로써, 음원을 분리하고 음원의 방향 및 음원의 위치를 추정하는 음원 분리 기술을 사용하여, 분리된 음원의 신호 및 음원의 위치에 의한 객체 기반 오디오의 제어가 가능할 수 있다.
도 9는 일 실시예에 따른, 오디오 신호 생성 장치가 수행하는 오디오 신호 생성 방법을 나타낸 도면이다.
단계(910)에서, 오디오 신호 생성 장치는 녹음 공간에 배치된 음원으로부터 오디오 신호를 수신할 수 있다.
여기서, 녹음 공간은 가상 공간이 아닌 현실 공간을 의미할 수 있다. 음원으로부터 발생하는 오디오 신호는 녹음 공간에서 녹음되어, 가상 공간에서 재생될 수 있다. 예를 들면, 녹음 공간이 콘서트 홀인 경우, 콘서트 홀에서 오케스트라 연주는 녹음될 수 있고, 녹음된 오케스트라 연주는 가상 공간에서 재생될 수 있다.
단계(920)에서, 오디오 신호 생성 장치는 가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 사용자가 이동한 경우, 사용자의 이동에 따른 사용자의 새로운 위치와 음원 간의 상대적인 위치를 결정할 때 이용되는 메타데이터를 생성할 수 있다.
이때, 가상 공간인 콘서트 홀에 있는 사용자는 현실 공간의 콘서트 홀에 있는 것과 같이 오케스트라 연주를 들을 수 있다. 따라서, 현실 공간의 콘서트 홀에서 사용자의 위치에 따라 오케스트라 연주가 다르게 들리는 것과 같이, 가상 공간에서도 사용자의 이동에 따라 다른 오케스트라 연주를 사용자는 들을 수 있다. 그래서, 가상 공간에 있는 사용자에게 입체 음향을 제공하기 위해 사용자와 음원 간의 상대적인 위치는 결정될 필요가 있다.
상대적인 위치를 결정할 때, 메타데이터는 이용될 수 있다. 메타데이터는 음원이 배치된 가상 공간 정보, 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함할 수 있다.
여기서, 음원이 배치된 가상 공간 정보는, 오케스트라 연주되는 가상 공간의 구조, 가상 공간의 벽면, 가상 공간의 특성과 관련된 정보를 포함할 수 있다. 예를 들면, 가상 공간이 녹음 공간과 동일한 콘서트 홀인 경우, 녹음 공간인 콘서트 홀의 구조, 벽면, 특성과 관련된 정보가 메타데이터에 포함될 수 있다.
또한, 메타데이터는 음원의 위치 정보를 포함하고 있으며, 음원의 위치 정보는 가상 공간에서 음원의 위치에 대한 정보를 포함하고 있다. 따라서, 사용자와 음원 간의 상대적인 위치는 결정될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다

Claims (20)

  1. 가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 상기 사용자가 이동한 경우, 메타데이터를 이용하여 상기 사용자의 이동에 따른 상기 사용자의 새로운 위치와 음원 간의 상대적인 위치를 결정하는 단계; 및
    상기 결정된 상대적인 위치에 기반하여, 상기 사용자의 기존의 위치에서 상기 음원으로부터 제1 오디오 신호를 상기 사용자의 새로운 위치에서 상기 음원으로부터 제2 오디오 신호로 수정하는 단계
    를 포함하는 오디오 신호 재생 방법.
  2. 제1항에 있어서,
    상기 메타데이터는,
    상기 음원이 배치된 가상 공간 정보, 상기 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함하는 오디오 신호 재생 방법.
  3. 제1항에 있어서,
    상기 제2 오디오 신호는, 상기 제1 오디오 신호에 상기 사용자의 새로운 위치에 따른 음향 효과가 적용되는 오디오 신호 재생 방법.
  4. 제2항에 있어서,
    상기 사용자와 음원 간의 상대적인 위치를 결정하는 단계는,
    상기 메타데이터에 포함된 정보를 이용하여, 상기 사용자와 상기 음원 간의 방향 및 거리에 따른 상기 상대적인 위치를 결정하는 단계를 포함하는 오디오 신호 재생 방법.
  5. 제1항에 있어서,
    상기 사용자의 새로운 위치에서 상기 음원으로부터 제2 오디오 신호로 수정하는 단계는,
    상기 사용자의 이동에 따른 지연 시간 및 이득을 반영하여 상기 제1 오디오 신호를 상기 제2 오디오 신호로 수정하는 오디오 신호 재생 방법.
  6. 제5항에 있어서,
    상기 지연 시간은, 상기 사용자의 기존의 위치와 음원 간의 거리와 새로운 위치와 음원 간의 거리를 비교하여 결정되고,
    상기 제1 오디오 신호는, 상기 지연 시간이 반영되어 제2 오디오 신호로 수정되는 오디오 신호 재생 방법.
  7. 제5항에 있어서,
    상기 이득은,
    상기 사용자의 기존의 위치에서 상기 음원까지의 거리보다 상기 사용자의 새로운 위치에서 상기 음원까지의 거리가 짧은 경우 상기 이득은 증가하며,
    상기 사용자의 기존의 위치에서 상기 음원까지의 거리보다 상기 사용자의 새로운 위치에서 상기 음원까지의 거리가 긴 경우 상기 이득은 감소하는 오디오 신호 재생 방법.
  8. 제4항에 있어서,
    상기 제1 오디오 신호를 상기 제2 오디오 신호로 수정하는 단계는,
    상기 사용자와 상기 음원 간의 거리가 감소하는 경우 상기 음원으로부터 직접음은 증가하고 잔향은 감소하거나, 또는 상기 사용자와 상기 음원 간의 거리가 증가하는 경우 상기 음원으로부터 직접음은 감소하고 잔향은 증가하는 오디오 신호 재생 방법.
  9. 녹음 공간에 배치된 음원으로부터 오디오 신호를 수신하는 단계;
    가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 상기 사용자가 이동한 경우, 상기 사용자의 이동에 따른 상기 사용자의 새로운 위치와 상기 음원 간의 상대적인 위치를 결정할 때 이용되는 메타데이터를 생성하는 단계
    를 포함하는 오디오 신호 생성 방법.
  10. 제9항에 있어서,
    상기 메타데이터는,
    상기 음원이 배치된 가상 공간 정보, 상기 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함하는 오디오 신호 생성 방법.
  11. 오디오 신호 재생 장치에 있어서,
    상기 오디오 신호 재생 장치는 프로세서를 포함하고,
    상기 프로세서는,
    가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 상기 사용자가 이동한 경우, 메타데이터를 이용하여 상기 사용자의 이동에 따른 상기 사용자의 새로운 위치와 음원 간의 상대적인 위치를 결정하고,
    상기 결정된 상대적인 위치에 기반하여, 상기 사용자의 기존의 위치에서 상기 음원으로부터 제1 오디오 신호를 상기 사용자의 새로운 위치에서 상기 음원으로부터 제2 오디오 신호로 수정하는 오디오 신호 재생 장치.
  12. 제11항에 있어서,
    상기 메타데이터는,
    상기 음원이 배치된 가상 공간 정보, 상기 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함하는 오디오 신호 재생 장치.
  13. 제11항에 있어서,
    상기 제2 오디오 신호는, 상기 제1 오디오 신호에 상기 사용자의 새로운 위치에 따른 음향 효과가 적용되는 오디오 신호 재생 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 사용자와 음원 간의 상대적인 위치를 결정할 때, 상기 메타데이터에 포함된 정보를 이용하여, 상기 사용자와 상기 음원 간의 방향 및 거리에 따른 상기 상대적인 위치를 결정하는 단계를 포함하는 오디오 신호 재생 장치.
  15. 제11항에 있어서,
    상기 프로세서는,
    상기 사용자의 새로운 위치에서 상기 음원으로부터 제2 오디오 신호로 수정할 때, 상기 사용자의 이동에 따른 지연 시간 및 이득을 반영하여 상기 제1 오디오 신호를 상기 제2 오디오 신호로 수정하는 오디오 신호 재생 장치.
  16. 제15항에 있어서,
    상기 지연 시간은, 상기 사용자의 기존의 위치와 음원 간의 거리와 새로운 위치와 음원 간의 거리를 비교하여 결정되고,
    상기 제1 오디오 신호는, 상기 지연 시간이 반영되어 제2 오디오 신호로 수정되는 오디오 신호 재생 장치.
  17. 제15항에 있어서,
    상기 이득은,
    상기 사용자의 기존의 위치에서 상기 음원까지의 거리보다 상기 사용자의 새로운 위치에서 상기 음원까지의 거리가 짧은 경우 상기 이득은 증가하며,
    상기 사용자의 기존의 위치에서 상기 음원까지의 거리보다 상기 사용자의 새로운 위치에서 상기 음원까지의 거리가 긴 경우 상기 이득은 감소하는 오디오 신호 재생 장치.
  18. 제14항에 있어서,
    상기 프로세서는,
    상기 제1 오디오 신호를 상기 제2 오디오 신호로 수정할 때, 상기 사용자와 상기 음원 간의 거리가 감소하는 경우 상기 음원으로부터 직접음은 증가하고 잔향은 감소하거나, 또는 상기 사용자와 상기 음원 간의 거리가 증가하는 경우 상기 음원으로부터 직접음은 감소하고 잔향은 증가하는 오디오 신호 재생 장치.
  19. 오디오 신호 생성 장치에 있어서,
    상기 오디오 신호 생성 장치는 프로세서를 포함하고,
    상기 프로세서는,
    녹음 공간에 배치된 음원으로부터 수신된 오디오 신호를 식별하고,
    가상 공간에서 사용자의 기존의 위치로부터 새로운 위치로 상기 사용자가 이동한 경우, 상기 사용자의 이동에 따른 상기 사용자의 새로운 위치와 상기 음원 간의 상대적인 위치를 결정할 때 이용되는 메타데이터를 생성하는 오디오 신호 생성 장치.
  20. 제19항에 있어서,
    상기 메타데이터는,
    상기 음원이 배치된 가상 공간 정보, 상기 가상 공간에서 음원의 위치 정보 중에서 적어도 하나를 포함하는 오디오 신호 생성 장치.
KR1020180030845A 2018-03-16 2018-03-16 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치 KR102527336B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180030845A KR102527336B1 (ko) 2018-03-16 2018-03-16 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
US16/207,252 US20190289418A1 (en) 2018-03-16 2018-12-03 Method and apparatus for reproducing audio signal based on movement of user in virtual space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180030845A KR102527336B1 (ko) 2018-03-16 2018-03-16 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190109019A true KR20190109019A (ko) 2019-09-25
KR102527336B1 KR102527336B1 (ko) 2023-05-03

Family

ID=67903676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180030845A KR102527336B1 (ko) 2018-03-16 2018-03-16 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치

Country Status (2)

Country Link
US (1) US20190289418A1 (ko)
KR (1) KR102527336B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523048B1 (ko) * 2022-04-08 2023-04-18 조현석 가상공간에서의 소리 변환 시스템 및 그 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11304021B2 (en) * 2018-11-29 2022-04-12 Sony Interactive Entertainment Inc. Deferred audio rendering
US10735885B1 (en) * 2019-10-11 2020-08-04 Bose Corporation Managing image audio sources in a virtual acoustic environment
GB2594265A (en) * 2020-04-20 2021-10-27 Nokia Technologies Oy Apparatus, methods and computer programs for enabling rendering of spatial audio signals

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016134769A (ja) * 2015-01-20 2016-07-25 ヤマハ株式会社 オーディオ信号処理装置
WO2017218973A1 (en) * 2016-06-17 2017-12-21 Edward Stein Distance panning using near / far-field rendering
US20180071631A1 (en) * 2016-09-14 2018-03-15 Bally Gaming, Inc. Multi-Player Gaming Sound System

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015066062A1 (en) * 2013-10-31 2015-05-07 Dolby Laboratories Licensing Corporation Binaural rendering for headphones using metadata processing
US10492016B2 (en) * 2016-09-29 2019-11-26 Lg Electronics Inc. Method for outputting audio signal using user position information in audio decoder and apparatus for outputting audio signal using same
US11395087B2 (en) * 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016134769A (ja) * 2015-01-20 2016-07-25 ヤマハ株式会社 オーディオ信号処理装置
WO2017218973A1 (en) * 2016-06-17 2017-12-21 Edward Stein Distance panning using near / far-field rendering
US20180071631A1 (en) * 2016-09-14 2018-03-15 Bally Gaming, Inc. Multi-Player Gaming Sound System

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523048B1 (ko) * 2022-04-08 2023-04-18 조현석 가상공간에서의 소리 변환 시스템 및 그 방법
WO2023195830A1 (ko) * 2022-04-08 2023-10-12 조현석 가상공간에서의 소리 변환 시스템 및 그 방법

Also Published As

Publication number Publication date
US20190289418A1 (en) 2019-09-19
KR102527336B1 (ko) 2023-05-03

Similar Documents

Publication Publication Date Title
CN109644314B (zh) 渲染声音程序的方法、音频回放系统和制造制品
TWI635753B (zh) 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器
KR102182526B1 (ko) 빔형성 라우드스피커 어레이를 위한 공간적 오디오 렌더링
US9749767B2 (en) Method and apparatus for reproducing stereophonic sound
US11516616B2 (en) System for and method of generating an audio image
US9769589B2 (en) Method of improving externalization of virtual surround sound
US20060165247A1 (en) Ambient and direct surround sound system
US20140050325A1 (en) Multi-dimensional parametric audio system and method
KR102527336B1 (ko) 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
KR20210110253A (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20200038162A (ko) 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
JP6663490B2 (ja) スピーカシステム、音声信号レンダリング装置およびプログラム
JP5338053B2 (ja) 波面合成信号変換装置および波面合成信号変換方法
US10440495B2 (en) Virtual localization of sound
CN111512648A (zh) 启用空间音频内容的渲染以用于由用户消费
KR100955328B1 (ko) 반사음 재생을 위한 입체 음장 재생 장치 및 그 방법
JP5743003B2 (ja) 波面合成信号変換装置および波面合成信号変換方法
KR102483470B1 (ko) 다중 렌더링 방식을 이용하는 입체 음향 생성 장치 및 입체 음향 생성 방법, 그리고 입체 음향 재생 장치 및 입체 음향 재생 방법
JP5590169B2 (ja) 波面合成信号変換装置および波面合成信号変換方法
KR20240008241A (ko) 녹음 거리 파라미터 기반 오디오 렌더링 방법 및 이를 수행하는 장치
US20200120435A1 (en) Audio triangular system based on the structure of the stereophonic panning
JP2022143165A (ja) 再生装置、再生システムおよび再生方法
KR20230150711A (ko) 객체 오디오 렌더링 방법 및 상기 방법을 수행하는 전자 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)