KR20220150592A - 볼륨 음원의 렌더링 방법 및 장치 - Google Patents

볼륨 음원의 렌더링 방법 및 장치 Download PDF

Info

Publication number
KR20220150592A
KR20220150592A KR1020210057763A KR20210057763A KR20220150592A KR 20220150592 A KR20220150592 A KR 20220150592A KR 1020210057763 A KR1020210057763 A KR 1020210057763A KR 20210057763 A KR20210057763 A KR 20210057763A KR 20220150592 A KR20220150592 A KR 20220150592A
Authority
KR
South Korea
Prior art keywords
sound source
listener
volume
information
determining
Prior art date
Application number
KR1020210057763A
Other languages
English (en)
Inventor
장대영
강경옥
유재현
이용주
이태진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210057763A priority Critical patent/KR20220150592A/ko
Priority to US17/681,429 priority patent/US11882425B2/en
Publication of KR20220150592A publication Critical patent/KR20220150592A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

볼륨 음원의 렌더링 방법 및 장치가 개시된다. 본 발명의 일실시예에 따른 볼륨 음원의 렌더링 방법은 청취자에 대한 정보 및 상기 볼륨 음원에 대한 정보를 식별하는 단계; 상기 청취자에 대한 정보를 고려하여, 상기 볼륨 음원에서 음원 요소(source element)가 배치되는 대응 영역을 결정하는 단계; 상기 청취자에 대한 정보 및 상기 볼륨 음원에 대한 정보에 기초하여, 상기 청취자와 상기 대응 영역 간의 각도를 결정하는 단계; 상기 각도에 따라 상기 대응 영역에 배치되는 음원 요소의 개수를 결정하는 단계; i) 상기 음원 요소의 개수 및 ii) 상기 청취자와 상기 볼륨 음원 간의 거리를 이용하여 상기 음원 요소의 위치 및 이득을 결정하는 단계; 및 상기 음원 요소의 위치 및 이득에 따라 상기 볼륨 음원을 렌더링하는 단계를 포함할 수 있다.

Description

볼륨 음원의 렌더링 방법 및 장치 {METHOD AND APPARATUS FOR RENDERING A VOLUME SOUND SOURCE}
본 발명은 볼륨 음원의 렌더링 방법 및 장치에 관한 것으로, 보다 구체적으로는, 청취자에 대한 정보에 기초하여, 볼륨 음원에 맵핑되는 음원의 개수 및 각 음원의 이득을 결정함으로써, 효율적으로 볼륨 음원을 렌더링할 수 있는 기술에 관한 것이다.
최근, VR 기술이나, 게임에 대한 수요나 높아짐에 따라, 현실감 있는 공간 음향을 재현하기 위한 음향 기술의 연구가 활발히 이루어지고 있다. 공간 음향을 재현하기 위한 객체 기반 음향 신호는 음원을 객체로 보고, 객체의 위치와 청취자의 관계를 고려하여 렌더링된 음향 신호를 의미한다.
기존의 객체 기반 음향 신호는 음원을 공간 상의 점으로 처리하나, 실제 환경에서 음원은 공간 상의 음원은 다양한 형태로 존재할 수 있다. 예를 들어, 자연 현상에서 분수, 폭포, 강, 부서지는 파도소리 등은 일정한 영역의 전체에서 소리가 발생할 수 있다.
선, 면 또는 부피와 같이 일정한 영역의 전체에서 소리가 발생하는 음원을 볼륨 음원이라고 한다. 볼륨 음원의 모든 영역에 음원 요소를 배치할 경우, 볼륨 음원을 렌더링함에 있어 과도나 연산이 요구될 수 있고, 볼륨 음원에 하나의 음원 요소만을 배치할 경우, 공간 음향의 현실감이 부족할 수 있다. 따라서, 효율적으로 볼륨 음원을 렌더링하는 기술이 요구된다.
본 발명은 청취자에 대한 정보에 기초하여, 볼륨 음원에 맵핑되는 음원의 개수 및 각 음원의 이득을 결정하여, 볼륨 음원을 렌더링함으로써 현실감 있는 공간 음향을 재현하는 방법 및 장치를 제공한다.
본 발명은 청취자가 자유롭게 이동할 수 있는 6 자유도(6 degrees of freedom, 6DOF) 가상 현실에 적용될 수 있는, 렌더링 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 볼륨 음원의 렌더링 방법은 청취자에 대한 정보 및 상기 볼륨 음원에 대한 정보를 식별하는 단계; 상기 청취자에 대한 정보를 고려하여, 상기 볼륨 음원에서 음원 요소(source element)가 배치되는 대응 영역을 결정하는 단계; 상기 청취자에 대한 정보 및 상기 볼륨 음원에 대한 정보에 기초하여, 상기 청취자와 상기 대응 영역 간의 각도를 결정하는 단계; 상기 각도에 따라 상기 대응 영역에 배치되는 음원 요소의 개수를 결정하는 단계; i) 상기 음원 요소의 개수 및 ii) 상기 청취자와 상기 볼륨 음원 간의 거리를 이용하여 상기 음원 요소의 위치 및 이득을 결정하는 단계; 및 상기 음원 요소의 위치 및 이득에 따라 상기 볼륨 음원을 렌더링하는 단계를 포함할 수 있다.
상기 볼륨 음원에 대한 정보에 기초하여, 상기 음원 요소의 최대 개수를 결정하는 단계를 더 포함할 수 있다.
상기 음원 요소의 최대 개수를 결정하는 단계는, 상기 볼륨 음원의 크기 및 형태를 이용하여, 상기 음원 요소의 최대 개수 및 상기 볼륨 음원에서 상기 음원 요소가 배치될 수 있는 음원 위치를 결정할 수 있다.
상기 청취자에 대한 정보는, 상기 청취자의 위치 및 상기 청취자의 방향 중 하나 이상을 포함할 수 있다.
상기 볼륨 음원에 대한 정보는, 상기 볼륨 음원의 위치, 상기 볼륨 음원의 크기 및 상기 볼륨 음원의 형태 중 적어도 하나 이상을 포함할 수 있다.
상기 볼륨 음원의 음향 신호를 식별하는 단계; 및 상기 음향 신호의 채널과 상기 결정된 개수가 다른 경우, 상기 음향 신호를 믹싱(mixing)하는 단계를 더 포함할 수 있다.
상기 믹싱하는 단계는, 상기 음향 신호의 채널 보다 상기 결정된 개수가 큰 경우, 상기 음향 신호를 업-믹싱할 수 있다.
상기 믹싱하는 단계는, 상기 음향 신호의 채널 보다 상기 결정된 개수가 작은 경우, 상기 음향 신호를 다운-믹싱할 수 있다.
상기 대응 영역의 윤곽을 결정하는 단계를 더 포함하고, 상기 각도를 결정하는 단계는, 상기 대응 영역의 윤곽과 상기 청취자의 위치를 고려하여, 상기 청취자와 상기 대응 영역 간의 각도를 결정할 수 있다.
상기 대응 영역을 결정하는 단계는, 상기 청취자의 위치와 접하는 경계에 따라 상기 대응 영역을 결정할 수 있다.
본 발명의 일실시예에 따른 볼륨 음원의 렌더링 장치에 있어서, 상기 렌더링 장치는 프로세서를 포함하고, 상기 프로세서는, 청취자에 대한 정보 및 상기 볼륨 음원에 대한 정보를 식별하고, 상기 청취자에 대한 정보를 고려하여, 상기 볼륨 음원에서 음원 요소(source element)가 배치되는 대응 영역을 결정하고, 상기 청취자에 대한 정보 및 상기 볼륨 음원에 대한 정보에 기초하여, 상기 청취자와 상기 대응 영역 간의 각도를 결정하고, 상기 각도에 따라 상기 대응 영역에 배치되는 음원 요소의 개수를 결정하고, i) 상기 음원 요소의 개수 및 ii) 상기 청취자와 상기 볼륨 음원 간의 거리를 이용하여 상기 음원 요소의 위치 및 이득을 결정하고, 상기 음원 요소의 위치 및 이득에 따라 상기 볼륨 음원을 렌더링할 수 있다.
상기 프로세서는, 상기 볼륨 음원에 대한 정보에 기초하여, 상기 음원 요소의 최대 개수를 결정할 수 있다.
상기 프로세서는, 상기 볼륨 음원의 크기 및 형태를 이용하여, 상기 음원 요소의 최대 개수 및 상기 볼륨 음원에서 상기 음원 요소가 배치될 수 있는 음원 위치를 결정할 수 있다.
상기 청취자에 대한 정보는, 상기 청취자의 위치 및 상기 청취자의 방향 중 하나 이상을 포함할 수 있다.
상기 볼륨 음원에 대한 정보는, 상기 볼륨 음원의 위치, 상기 볼륨 음원의 크기 및 상기 볼륨 음원의 형태 중 적어도 하나 이상을 포함할 수 있다.
상기 프로세서는, 상기 볼륨 음원의 음향 신호를 식별하고, 상기 음향 신호의 채널과 상기 결정된 개수가 다른 경우, 상기 음향 신호를 믹싱(mixing)할 수 있다.
상기 프로세서는, 상기 음향 신호의 채널 보다 상기 결정된 개수가 큰 경우, 상기 음향 신호를 업-믹싱할 수 있다.
상기 프로세서는, 상기 음향 신호의 채널 보다 상기 결정된 개수가 작은 경우, 상기 음향 신호를 다운-믹싱할 수 있다.
상기 프로세서는, 상기 대응 영역의 윤곽을 결정하고, 상기 대응 영역의 윤곽과 상기 청취자의 위치를 고려하여, 상기 청취자와 상기 대응 영역 간의 각도를 결정할 수 있다.
상기 프로세서는, 상기 청취자의 위치와 접하는 경계에 따라 상기 대응 영역을 결정할 수 있다.
본 발명의 일실시예에 따르면 청취자에 대한 정보에 기초하여, 볼륨 음원에 맵핑되는 음원의 개수 및 각 음원의 이득을 결정하여 볼륨 음원을 렌더링함으로써 현실감 있는 공간 음향을 재현할 수 있다.
본 발명의 일실시예에 따르면 청취자가 자유롭게 이동할 수 있는 6 자유도(6 degrees of freedom, 6DOF) 가상 현실에 적용될 수 있는, 렌더링 방법 및 장치가 제공될 수 있다.
도 1은 본 발명의 일실시예에 따른 렌더링 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 볼륨 음원의 렌더링 방법을 플로우 차트로 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 2 채널의 음향 신호를 제공하는 볼륨 음원의 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 청취자와 볼륨 음원 간의 위치 관계를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 청취자와 볼륨 음원 간의 거리에 따라 음원의 수가 다르게 결정되는 예를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 음향 신호의 채널 수와 요구되는 음원의 수가 다른 경우를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 청취자와 볼륨 음원 간의 각도에 따라 음원의 수가 다르게 결정되는 예를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 결정된 음원 간의 중첩을 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 청취자의 방향에 대응하는 볼륨 음원의 단면과 청취자 간의 위치 관계를 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일실시예에 따른 렌더링 장치를 도시한 도면이다.
본 발명은, 볼륨 음원(volume sound source)을 렌더링(rendering)하는 기술에 관한 것으로, 청취자에 대한 정보(104) 및 볼륨 음원에 대한 정보(102)에 기초하여, 볼륨 음원에 맵핑되는 음원의 개수 및 각 음원의 이득을 결정함으로써, 효율적으로 볼륨 음원을 렌더링할 수 있다.
볼륨 음원은 선, 면, 부피 등 일정한 형상을 가지는 객체로, 볼륨 음원의 모든 외면에서 음향 신호(103)가 발생할 수 있으나, 본 발명에서는, 청취자와의 각도를 고려하여 일부의 음원 요소 만을 배치함으로써, 볼륨 음원을 효율적으로 렌더링할 수 있다.
도 1을 참조하면, 본 발명의 렌더링 장치(101)는, 볼륨 음원에 대한 정보(102), 볼륨 음원의 음향 신호(103) 및 청취자에 대한 정보(104)를 이용하여, 볼륨 음원을 렌더링함으로써 공간 음향 신호(105)(103)를 생성할 수 있다. 렌더링 장치(101)는, 프로세서를 포함할 수 있다. 렌더링 장치(101)에 포함된 프로세서는, 본 발명의 다양한 실시예에 따른 볼륨 음원의 렌더링 방법을 수행할 수 있다.
청취자에 대한 정보(104)는, 청취자의 위치 및 청취자의 방향 중 적어도 하나 이상을 포함할 수 있다. 청취자의 위치 또는 방향은 시간에 따라 변경될 수 있고, 본 발명의 일실시예에 따르면, 실시간으로 청취자의 이동이나 방향 전환까지 고려하여, 볼륨 음원을 렌더링할 수 있다.
청취자의 위치는, 3차원 공간 상의 좌표(예: 카데시안 좌표(Cartesian coordinate))로 표현될 수 있다. 일례로, 청취자의 위치는, 청취자의 머리 위치를 의미할 수 있다. 청취자의 위치는, 적용되는 가상 현실 어플리케이션에서 이용되는 가속도 센서, 깊이 센서 등에 측정될 수 있다.
일례로, 청취자의 방향은, 머리 방향을 의미할 수 있다. 청취자의 머리를 중심으로하는 구면 좌표계 상 각도 또는 피치(pitch), 롤(roll), 요(yaw)와 같은 오일러 각도로 표현될 수 있다.
볼륨 음원의 음향 신호(103)는, 객체 기반의 음향 신호(103), 채널 기반의 음향 신호(103) 또는 앰비소닉(Ambisonic) 기반의 음향 신호(103)일 수 있다. 음향 신호(103)의 종류는 기재된 예로 제한되지 않을 수 있다. 본 발명에서 볼륨 음원의 음향 신호(103)는 미리 생성될 수 있다.
볼륨 음원의 음향 신호(103)가 객체 기반의 음향 신호(103)인 경우, 본 발명의 일시예에 따라 결정되는 음원 요소에 대한 메타 데이터를 기준으로 렌더링할 수 있다. 볼륨 음원의 음향 신호(103)가 채널 기반의 음향 신호(103)인 경우, 본 발명의 일시예에 따라 결정되는 음원 요소를 채널 수에 따라 미리 정해진 배치로 맵핑하여 렌더링할 수 있다.
볼륨 음원의 음향 신호(103)가 앰비소닉 기반의 음향 신호(103)인 경우, 본 발명의 일시예에 따라 결정되는 음원 요소를 구면에 균일 분포(ESD : Equivalent Spatial Domain)로 배치된 음원 요소들로 변환하여 렌더링할 수 있다.
볼륨 음원에 대한 정보(102)는, 볼륨 음원의 위치, 볼륨 음원의 크기 및 볼륨 음원의 형태 중 적어도 하나 이상을 포함할 수 있다. 볼륨 음원의 형태는, 기하학적(geometric) 형태를 의미할 수 있다. 일례로, 볼륨 음원은, 선, 면, 구, 육면체, 사면체 등 다양한 형태일 수 있으며, 기재된 예 또는 도시된 예로 제한되지 않는다. 일례로, 볼륨 음원은 점들의 집합 또는 다수의 삼각형 메쉬의 그룹으로 구현될 수 있다.
청취자에 대한 정보(104) 및 볼륨 음원에 대한 정보(102)에 기초하여, 볼륨 음원에 맵핑되는 음원의 개수 및 각 음원의 이득을 결정함으로써, 효율적으로 볼륨 음원을 렌더링하는 구체적인 방법은 도 2에서 후술한다.
도 2는 본 발명의 일실시예에 따른 볼륨 음원의 렌더링 방법을 플로우 차트로 도시한 도면이다.
단계(201)에서, 렌더링 장치는, 청취자에 대한 정보, 볼륨 음원에 대한 정보 및 볼륨 음원의 음향 신호를 식별할 수 있다. 볼륨 음원에 대한 정보는, 볼륨 음원의 위치, 볼륨 음원의 크기 및 볼륨 음원의 형태 중 적어도 하나 이상을 포함할 수 있다. 청취자에 대한 정보는, 청취자의 위치 및 청취자의 방향 중 적어도 하나 이상을 포함할 수 있다.
렌더링 장치는 볼륨 음원에 대한 정보에 기초하여, 음원 요소의 최대 개수를 결정할 수 있다. 구체적으로, 렌더링 장치는 볼륨 음원의 크기 및 형태에 기초하여, 음원 요소의 최대 개수 및 볼륨 음원에서 음원 요소가 배치될 수 있는 음원 위치를 결정할 수 있다. 렌더링 장치는, 청취자가 볼륨 음원에 근접했을 때 음원의 넓이에 대응하여 최대의 음원 신호의 개수를 미리 결정할 수 있다. 일례로, 청취자를 기준으로 볼륨 음원이 이루는 각도가 60도일 때 2개의 음원 요소가 배치되는 것을 기준으로, 최대 개수가 결정될 수 있다.
단계(202)에서, 렌더링 장치는, 청취자에 대한 정보를 고려하여, 볼륨 음원에서 음원 요소(source element)가 배치되는 대응 영역을 결정할 수 있다.
볼륨 음원의 대응 영역는 청취자의 위치와 접하는 경계에 따라 결정될 수 있다. 즉, 대응 영역은 볼륨 음원의 표면을 이루는 점들 중 청취자의 위치를 지나는 직선에 만나는 점들로 이루어진 영역일 수 있다.
단계(203)에서, 렌더링 장치는, 청취자에 대한 정보 및 볼륨 음원에 대한 정보에 기초하여, 청취자와 대응 영역 간의 각도를 결정할 수 있다.
렌더링 장치는, 대응 영역의 윤곽과 청취자의 위치를 고려하여, 청취자와 대응 영역 간의 각도를 결정할 수 있다. 일례로, 청취자와 대응 영역 간의 각도는, 대응 영역의 경계와 청취자의 위치가 이루는 각도들 중 가장 큰 각도를 의미할 수 있다.
단계(204)에서, 렌더링 장치는, 각도에 따라 대응 영역에 배치되는 음원 요소의 개수를 결정할 수 있다. 청취자와 대응 영역 간의 각도가 작아질수록 음원 요소의 개수가 적게 결정될 수 있다. 청취자와 대응 영역 간의 각도가 클수록 음원 요소의 개수가 크게 결정될 수 있다. 음원 요소의 개수는, 볼륨 음원에 대하여 미리 결정된 최대 개수가 넘지 않도록 설정될 수 있다.
음향 신호의 채널과 결정된 개수가 다른 경우, 렌더링 장치는, 음향 신호를 믹싱(mixing)할 수 있다. 일례로, 음향 신호의 채널 보다 결정된 개수가 큰 경우, 렌더링 장치는 음향 신호를 결정된 개수에 따라 업-믹싱할 수 있다. 음향 신호의 채널 보다 결정된 개수가 작은 경우, 렌더링 장치는 음향 신호를 결정된 개수에 따라 다운-믹싱하여, 음원 요소에 맵핑할 수 있다.
단계(205)에서, 렌더링 장치는, 음원 요소의 개수 및 ii) 청취자와 볼륨 음원 간의 거리를 이용하여 음원 요소의 위치 및 이득을 결정할 수 있다. 일례로, 렌더링 장치는, 대응 영역을 음원 요소의 개수로 분할하고, 각 분할된 영역의 임의의 위치로 음원 요소들의 위치를 결정할 수 있다.
일례로, 렌더링 장치는 대응 영역을 음원 요소의 개수에 따라 동일한 면적으로 분할하고, 각 분할된 영역의 중심점을 음원 요소의 위치로 결정할 수 있다.
청취자와 볼륨 음원 간의 거리는 청취자와 대응 영역 간의 거리를 의미할 수 있다. 렌더링 장치는, 청취자와 볼륨 음원 간의 거리에 따라 음원 요소의 이득을 결정할 수 있다. 일례로, 렌더링 장치는 동일한 가중치로 각 음원 요소들의 이득을 결정할 수 있다.
렌더링 장치는, 청취자와 볼륨 음원 간의 거리가 클수록 음원 요소의 이득을 작게 결정할 수 있다. 렌더링 장치는, 청취자와 볼륨 음원 간의 거리가 작을수록 음원 요소의 이득을 크게 결정할 수 있다.
다만, 청취자와 볼륨 음원 간의 거리가 음원 요소의 개수가 변경되는 구간에 포함되는 경우, 렌더링 장치는, 음원 요소들의 이득을 조정함으로써 잡음이 발생하지 않도록 할 수 있다.
음원 요소의 개수가 변경되는 구간은 청취자와 대응 영역 간의 각도에 따라 결정되는 음원 요소가 바뀌는 지점을 포함하는 구간을 의미할 수 있다. 음원 요소의 개수가 변경되는 구간은 기준 거리 보다 작게 결정될 수 있다. 단계(206)에서, 렌더링 장치는, 음원 요소의 위치 및 이득에 따라 볼륨 음원을 렌더링할 수 있다.
도 3은 본 발명의 일실시예에 따른 2 채널의 음향 신호를 제공하는 볼륨 음원의 예를 도시한 도면이다.
도 3에 도시된 볼륨 음원(303)은 피아노일 수 있다. 도 3을 참조하면, TL(Top Left), T(Top), TR(Top Right), L(Left), C(center), R(right), BL(Bottom Left), B(Bottom), BR(Bottom Right) 영역들로 구성된 영역이 볼륨 음원(303)의 대응 영역일 수 있다.
도 3에서, 볼륨 음원(303)에서 발생한 음향 신호(예: 피아노 소리)의 채널이 2인 경우, 피아노에서는 건반 부분에서 소리가 발생하기 때문에, 렌더링 장치는, L 영역(302)과 및 R 영역(304)에 음원 요소를 배치하고, 배치된 음원 요소의 위치에 기초하여 볼륨 음원(303)을 렌더링할 수 있다.
본 발명의 일실시예에 따르면, 음향 신호의 채널에 따라 음원 요소를 결정하는 것이 아니라 청취자와 볼륨 음원(303) 간의 위치 관계를 고려하여 음원 요소의 수 및 위치를 결정하고, 이에 따라 음향 신호를 믹싱하여 볼륨 음원(303)을 렌더링할 수 있다.
일례로, 단순히 볼륨 음원(303)의 정면(301)을 기준으로 음원 요소를 결정하지 않고, 청취자의 위치 및 청취자와의 거리, 각도를 고려하여 음원 요소의 위치가 실시간으로 다르게 결정될 수 있다.
도 4는 본 발명의 일실시예에 따른 청취자와 볼륨 음원 간의 위치 관계를 도시한 도면이다.
청취자(410)의 위치는 청취자(410)의 머리 위치를 기준으로 결정될 수 있다. 볼륨 음원(420)의 대응 영역(예: 도 4의 (C))는 청취자(410)의 위치와 접하는 경계에 따라 결정될 수 있다. 즉, 대응 영역은 볼륨 음원(420)의 표면을 이루는 점들 중 청취자(410)의 위치를 지나는 직선에 만나는 점들로 이루어진 영역일 수 있다. 일례로, 청취자(410) 위치에서 방위각-고각(Elevation-Azimuth) 섹터(예: 도 4의 (B))에 따른 볼륨 음원(420)의 경계가 대응 영역으로 결정될 수 있다.
청취자(410)와 볼륨 음원(420) 간의 위치 관계는, 청취자(410)의 위치와 볼륨 음원(420) 간의 거리 및 청취자(410)의 위치와 대응 영역 간의 각도를 포함할 수 있다. 청취자(410)의 위치와 볼륨 음원(420) 간의 거리(예: 도 4의 (A))는, 청취자(410)의 위치에서 대응 영역의 최단 거리를 의미할 수 있다.
청취자(410)의 위치와 볼륨 음원(420) 간의 거리는, 볼륨 음원(420)의 표면을 이루는 점들 중 청취자(410)의 위치와 가장 가까운 점과 청취자(410) 간의 거리를 의미할 수 있다.
도 4에서, 볼륨 음원(420)은 원기둥 형태일 수 있다. 도 4을 참조하면, 볼륨 음원(420)의 대응 영역은, 곡률을 가질 수 있다. 본 발명의 일실시예에 따르면, 볼륨 음원(420)의 곡률까지 고려하여 볼륨 음원(420)의 렌더링을 수행할 수 있다.
도 5는 본 발명의 일실시예에 따른 청취자와 볼륨 음원 간의 거리에 따라 음원의 수가 다르게 결정되는 예를 도시한 도면이다.
도 5는, 청취자(501)와 대응 영역 간의 각도에 따라 음원 요소(502)의 개수가 다르게 결정된 예를 도시한 도면이다. 일례로, 청취자(501)와 대응 영역 간의 각도는, 대응 영역의 경계와 청취자(501)의 위치가 이루는 각도들 중 가장 큰 각도를 의미할 수 있다.
도 5를 참조하면, 청취자(501)와 대응 영역 간의 각도가 작아질수록 음원 요소(502)의 개수가 적게 결정될 수 있다. 도 5를 참조하면, 청취자(501)와 대응 영역 간의 각도가 클수록 음원 요소(502)의 개수가 크게 결정될 수 있다.
일례로, 도 5에서 청취자(501)와 이루는 각도가 가장 큰 대응 영역(503)에 대해 3개의 음원 요소(502)가 배치될 수 있다. 이 때, 음원 요소(502)의 개수는, 볼륨 음원에 대하여 미리 결정된 최대 개수가 넘지 않도록 설정될 수 있다.
일례로, 도 5에서, 대응 영역(504)에 대해 2개의 음원 요소(502)가 배치될 수 있다. 일례로, 도 5에서 청취자(501)와 이루는 각도가 가장 작은 대응 영역(505)에 대해 1개의 음원 요소(502)가 배치될 수 있다.
일례로, 음원 요소(502)의 개수는, 각도의 구간에 따라 미리 설정될 수 있다. N개의 각도 구간 별로 음원 요소(502)의 개수가 미리 결정될 수 있다. 예를 들어, 각도가 10도 이하인 경우, 1개의 음원 요소(502)가 배치되고, 10도 초과 60도 이하인 경우, 2개의 음원 요소(502)가 배치되고, 60도 초과인 경우 3개의 음원 요소(502)가 배치될 수 있다.
도 6은 본 발명의 일실시예에 따른 음향 신호의 채널 수와 요구되는 음원의 수가 다른 경우를 도시한 도면이다.
도 6은, 복수의 볼륨 음원(603-606)의 대응 영역들과 대응 영역에 배치되는 음원 요소들을 도시한 도면이다. 일례로, 볼륨 음원(603-606)의 음향 신호(601)의 채널이 m개이고, 볼륨 음원(603-606)의 대응 영역에 배치되는 음원 요소의 개수가 m가 다른 n개로 결정된 경우, 렌더링 장치는 음향 신호(601)의 채널 수를 변경할 수 있다.
음향 신호(601)의 채널과 결정된 개수가 다른 경우, 렌더링 장치의 믹싱 모듈(602)는, 음향 신호(601)를 믹싱(mixing)할 수 있다. 믹싱 모듈(602)은 렌더링 장치의 프로세서에 대응할 수 있다.
일례로, 음향 신호(601)의 채널 보다 결정된 개수가 큰 경우, 렌더링 장치는 음향 신호(601)를 업-믹싱할 수 있다. 음향 신호(601)의 채널 보다 결정된 개수가 작은 경우, 렌더링 장치는 음향 신호(601)를 다운-믹싱하여, 음원 요소에 맵핑할 수 있다.
일례로, 패닝을 이용한 가중치 평균이 다운 믹싱에 이용될 수 있다. 또는, 다운 믹싱은, 복수의 채널 중 일부 채널을 제외하는 방식으로 구현될 수 있다. 업 믹싱은, 음원 분리 혹은 비상관화(Decorrelation)를 이용하여 구현될 수 있다. 일례로, 비상관화는 위상 변경, 주파수 선택 마스크, 전 대역 필터, 30msec 이하의 지연 등의 방법으로 실현될 수 있다.
도 7은 본 발명의 일실시예에 따른 청취자와 볼륨 음원 간의 각도에 따라 음원의 수가 다르게 결정되는 예를 도시한 도면이다.
도 7을 참조하면, 청취자(703)와 볼륨 음원의 대응 영역(704) 간의 각도가 75도로 결정되고, 이에 따라 음원 요소(705-707)가 3개로 결정될 수 있다. 도 7을 참조하면, 청취자(702)와 볼륨 음원의 대응 영역(704) 간의 각도가 45도로 결정되고, 이에 따라 음원 요소가 2개로 결정될 수 있다. 도 7을 참조하면, 청취자(701)와 볼륨 음원의 대응 영역(704) 간의 각도가 45도 미만로 결정되고, 이에 따라 음원 요소가 1개로 결정될 수 있다.
도 7은, 음원 요소(705-707)의 최대 개수가 3으로 결정된 경우일 수 있다. 음원 요소(705-707)의 최대 개수는, 기준 거리에 기초하여 미리 결정될 수 있다. 일례로, 기준 거리가 1m이고, 청취자와 볼륨 음원의 거리가 1m 이하일 때 음원 요소(705-707)의 최대 개수가 3으로 설정될 수 있다.
대응 영역(704)의 전체 길이가 h일 때, 청취자(703)와 볼륨 음원의 대응 영역(704) 간의 각도가 75도인 경우, 청취자(703)와 대응 영역(704) 간 거리는 h / 2*tan(75/2) (약 0.65h)로 결정될 수 있다.
대응 영역(704)의 전체 길이가 h일 때, 청취자(702)와 볼륨 음원의 대응 영역(704) 간의 각도가 75도인 경우, 청취자(702)와 대응 영역(704) 간 거리는 h / 2*tan(45/2)(약 1.2h)로 결정될 수 있다.
도 8은 본 발명의 일실시예에 따라 결정된 음원 요소 간의 중첩을 나타낸 도면이다.
렌더링 장치는, 동일한 가중치로 음원 요소(801-803)들의 이득을 결정할 수 있다. 다만, 청취자가 이동하는 경우, 청취자와 볼륨 음원의 대응 영역 간의 각도가 변함에 따라 음향 신호 출력 중에 음원 요소(801-803)의 개수가 변경될 수 있다. 음원 요소(801-803)의 개수가 변경되는 지점의 경우, 잡음이 발생할 수 있다.
렌더링 장치는, 음원 요소(801-803)의 개수가 변경되는 위치에서, 중첩(overlap and add) 연산을 이용하여 음원의 개수가 점진적으로 변동하도록 할 수 있다.
예를 들어, 도 7의 청취자(703)의 위치에서 대응 영역 방향으로 이동할 경우, 음원 요소(801-803)는 3개로 렌더링되나, 반대 방향으로 이동할 경우 음원 요소(801-803)가 2개로 렌더링될 수 있다. 이를 방지하기 위하여, 렌더링 장치는, 음원 요소(801-803)의 개수가 변경되는 지점에서, 이득은 음원 요소(801-803) 별로 다르게 결정할 수 있다.
일례로, 도 7의 음원 요소가 3개에서 2개로 변경되는 구간(0.6h ~ 0.7h)에 청취자가 위치하는 경우, 음원 요소(801-803)의 이득은, 각각 수학식 1-3에 따라 결정될 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
수학식 1-3에서, di는 청취자와 대응 영역 간의 거리를 의미할 수 있다. h는 대응 영역의 전체 길이를 의미할 수 있다. g1은 음원 요소(801)의 이득, g2는 음원 요소(802)의 이득, g3는 음원 요소(803)의 이득을 의미할 수 있다.
즉, 도 7의 음원 요소가 3개에서 2개로 변경되는 구간(0.6h ~ 0.7h)에 청취자가 위치하는 경우, 음원 요소(801)이 이득이 0으로 감쇄되는 과정일 수 있다. 렌더링 장치는, 감쇄되는 음원 요소(801) 이득(예: g1)의 일부를 나머지 음원 요소(802, 803)에 더하여 음원 요소들(801-803)의 이득을 결정할 수 있다.
일례로, 렌더링 장치는, 감쇄되는 음원 요소(801) 이득(예: g1)을 나머지 음원 요소들의 개수(예: 음원 요소가 3개에서 2개로 변경되는 구간(0.6h ~ 0.7h)인 경우 2개)로 나눈 값을 나머지 음원 요소(802, 803)에 더하여 음원 요소들(801-803)의 이득을 결정할 수 있다.
일례로, 도 7의 음원 요소가 2개에서 1개로 변경되는 구간(1.15h ~ 1.25h)에 청취자가 위치하는 경우, 음원 요소(801-803)의 이득은, 각각 수학식 4-6에 따라 결정될 수 있다.
도 6의 1.15h ~ 1.25h 거리 구간:
Figure pat00004
Figure pat00005
Figure pat00006
수학식 1-3에서, di는 청취자와 대응 영역 간의 거리를 의미할 수 있다. h는 대응 영역의 전체 길이를 의미할 수 있다. g1은 음원 요소(801)의 이득, g2는 음원 요소(802)의 이득, g3는 음원 요소(803)의 이득을 의미할 수 있다.
도 9는 본 발명의 일실시예에 따른 청취자의 방향에 대응하는 볼륨 음원의 단면과 청취자 간의 위치 관계를 도시한 도면이다.
상황에 따라, 청취자(901)의 위치에 따른 볼륨 음원의 대응 영역(902)(A)이 대칭적이지 않을 수 있다. 일례로, 아래 수학식 7-12를 이용하여, 청취자(901)와 대응 영역(902) 간의 거리(d)를 결정할 수 있다.
Figure pat00007
Figure pat00008
Figure pat00009
Figure pat00010
Figure pat00011
Figure pat00012
Q는 도 7에서 청취자(901)와 대응 영역(902)(A) 간의 각도를 의미할 수 있다. A는 도 7에서 대응 영역(902)의 전체 길이를 의미하고, C, D는 청취자(901)와 대응 영역(902)의 경계 간의 거리일 수 있다. o는 대응 영역(902)과, h2의 각도를 의미할 수 있다. d1, d2는 청취자(901)와 대응 영역(902)의 경계 간의 수평 거리를 의미할 수 있다.
A, C, D 값에 의해 청취자(901)와 볼륨 음원의 양 끝점에 의해 결정되는 각도 Q 및 h2, d2 값을 산출될 수 있다. 수학식 10에 따라 각도 o를 산출되면, d, h가 결정될 수 있다. 렌더링 장치는, d, h에 기초하여 볼륨 음원의 음향 신호를 렌더링할 수 있다.
일례로, 렌더링 장치는, 선분 h를 음원 요소의 개수만큼 분할하여 음원 신호를 배치할 수 있다. 그리고, 렌더링 장치는, 거리에 따른 이득의 가중치를 달리 결정하여 대응 영역(902)(A)으로 렌더링한 것과 유사한 결과를 도출할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
101: 렌더링 장치
102: 음원에 대한 정보
103: 음원의 음향 신호
104: 청취자에 대한 정보
105: 공간 음향 신호

Claims (17)

  1. 볼륨 음원의 렌더링 방법에 있어서,
    청취자에 대한 정보 및 상기 볼륨 음원에 대한 정보를 식별하는 단계;
    상기 청취자에 대한 정보를 고려하여, 상기 볼륨 음원에서 음원 요소(source element)가 배치되는 대응 영역을 결정하는 단계;
    상기 청취자에 대한 정보 및 상기 볼륨 음원에 대한 정보에 기초하여, 상기 청취자와 상기 대응 영역 간의 각도를 결정하는 단계;
    상기 각도에 따라 상기 대응 영역에 배치되는 음원 요소의 개수를 결정하는 단계;
    i) 상기 음원 요소의 개수 및 ii) 상기 청취자와 상기 볼륨 음원 간의 거리를 이용하여 상기 음원 요소의 위치 및 이득을 결정하는 단계; 및
    상기 음원 요소의 위치 및 이득에 따라 상기 볼륨 음원을 렌더링하는 단계
    를 포함하는 렌더링 방법.
  2. 제1항에 있어서,
    상기 볼륨 음원에 대한 정보에 기초하여, 상기 음원 요소의 최대 개수를 결정하는 단계를 더 포함하는, 렌더링 방법.
  3. 제2항에 있어서,
    상기 음원 요소의 최대 개수를 결정하는 단계는,
    상기 볼륨 음원의 크기 및 형태를 이용하여, 상기 음원 요소의 최대 개수 및 상기 볼륨 음원에서 상기 음원 요소가 배치될 수 있는 음원 위치를 결정하는, 렌더링 방법.
  4. 제1항에 있어서,
    상기 청취자에 대한 정보는,
    상기 청취자의 위치 및 상기 청취자의 방향 중 하나 이상을 포함하는, 렌더링 방법.
  5. 제1항에 있어서,
    상기 볼륨 음원에 대한 정보는,
    상기 볼륨 음원의 위치, 상기 볼륨 음원의 크기 및 상기 볼륨 음원의 형태 중 적어도 하나 이상을 포함하는, 렌더링 방법.
  6. 제1항에 있어서,
    상기 볼륨 음원의 음향 신호를 식별하는 단계; 및
    상기 음향 신호의 채널과 상기 결정된 개수가 다른 경우, 상기 음향 신호를 믹싱(mixing)하는 단계를 더 포함하는, 렌더링 방법.
  7. 제6항에 있어서,
    상기 믹싱하는 단계는,
    상기 음향 신호의 채널 보다 상기 결정된 개수가 큰 경우, 상기 음향 신호를 업-믹싱하고, 상기 음향 신호의 채널 보다 상기 결정된 개수가 작은 경우, 상기 음향 신호를 다운-믹싱하는, 렌더링 방법.
  8. 제1항에 있어서,
    상기 대응 영역의 윤곽을 결정하는 단계를 더 포함하고,
    상기 각도를 결정하는 단계는,
    상기 대응 영역의 윤곽과 상기 청취자의 위치를 고려하여, 상기 청취자와 상기 대응 영역 간의 각도를 결정하는, 렌더링 방법.
  9. 제1항에 있어서,
    상기 대응 영역을 결정하는 단계는,
    상기 청취자의 위치와 접하는 경계에 따라 상기 대응 영역을 결정하는, 렌더링 방법.
  10. 볼륨 음원의 렌더링 장치에 있어서,
    상기 렌더링 장치는 프로세서를 포함하고,
    상기 프로세서는,
    청취자에 대한 정보 및 상기 볼륨 음원에 대한 정보를 식별하고, 상기 청취자에 대한 정보를 고려하여, 상기 볼륨 음원에서 음원 요소(source element)가 배치되는 대응 영역을 결정하고, 상기 청취자에 대한 정보 및 상기 볼륨 음원에 대한 정보에 기초하여, 상기 청취자와 상기 대응 영역 간의 각도를 결정하고, 상기 각도에 따라 상기 대응 영역에 배치되는 음원 요소의 개수를 결정하고, i) 상기 음원 요소의 개수 및 ii) 상기 청취자와 상기 볼륨 음원 간의 거리를 이용하여 상기 음원 요소의 위치 및 이득을 결정하고, 상기 음원 요소의 위치 및 이득에 따라 상기 볼륨 음원을 렌더링하는,
    렌더링 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 볼륨 음원에 대한 정보에 기초하여, 상기 음원 요소의 최대 개수를 결정하는, 렌더링 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 볼륨 음원의 크기 및 형태를 이용하여, 상기 음원 요소의 최대 개수 및 상기 볼륨 음원에서 상기 음원 요소가 배치될 수 있는 음원 위치를 결정하는, 렌더링 장치.
  13. 제10항에 있어서,
    상기 볼륨 음원에 대한 정보는,
    상기 볼륨 음원의 위치, 상기 볼륨 음원의 크기 및 상기 볼륨 음원의 형태 중 적어도 하나 이상을 포함하는, 렌더링 장치.
  14. 제10항에 있어서,
    상기 프로세서는,
    상기 볼륨 음원의 음향 신호를 식별하고, 상기 음향 신호의 채널과 상기 결정된 개수가 다른 경우, 상기 음향 신호를 믹싱(mixing)하는, 렌더링 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 음향 신호의 채널 보다 상기 결정된 개수가 큰 경우, 상기 음향 신호를 업-믹싱하고, 상기 음향 신호의 채널 보다 상기 결정된 개수가 작은 경우, 상기 음향 신호를 다운-믹싱하는, 렌더링 장치.
  16. 제10항에 있어서,
    상기 프로세서는,
    상기 대응 영역의 윤곽을 결정하고, 상기 대응 영역의 윤곽과 상기 청취자의 위치를 고려하여, 상기 청취자와 상기 대응 영역 간의 각도를 결정하는, 렌더링 장치.
  17. 제10항에 있어서,
    상기 프로세서는,
    상기 청취자의 위치와 접하는 경계에 따라 상기 대응 영역을 결정하는, 렌더링 장치.
KR1020210057763A 2021-05-04 2021-05-04 볼륨 음원의 렌더링 방법 및 장치 KR20220150592A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210057763A KR20220150592A (ko) 2021-05-04 2021-05-04 볼륨 음원의 렌더링 방법 및 장치
US17/681,429 US11882425B2 (en) 2021-05-04 2022-02-25 Method and apparatus for rendering volume sound source

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210057763A KR20220150592A (ko) 2021-05-04 2021-05-04 볼륨 음원의 렌더링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220150592A true KR20220150592A (ko) 2022-11-11

Family

ID=83900777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210057763A KR20220150592A (ko) 2021-05-04 2021-05-04 볼륨 음원의 렌더링 방법 및 장치

Country Status (2)

Country Link
US (1) US11882425B2 (ko)
KR (1) KR20220150592A (ko)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003269551A1 (en) 2002-10-15 2004-05-04 Electronics And Telecommunications Research Institute Method for generating and consuming 3d audio scene with extended spatiality of sound source
KR101596504B1 (ko) 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
JP5640911B2 (ja) * 2011-06-30 2014-12-17 ヤマハ株式会社 スピーカアレイ装置
WO2013181272A2 (en) * 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning
EP2922313B1 (en) * 2012-11-16 2019-10-09 Yamaha Corporation Audio signal processing device and audio signal processing system
GB2542054B (en) * 2014-05-13 2021-04-14 Crutchfield Corp Virtual simulation of spatial audio characteristics
US9942687B1 (en) * 2017-03-30 2018-04-10 Microsoft Technology Licensing, Llc System for localizing channel-based audio from non-spatial-aware applications into 3D mixed or virtual reality space
WO2019067370A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc 3D AUDIO RENDERING USING A VOLUMETRIC AUDIO RENDER AND A PRE-DEFINED AUDIO DETAIL LEVEL
US10425762B1 (en) * 2018-10-19 2019-09-24 Facebook Technologies, Llc Head-related impulse responses for area sound sources located in the near field

Also Published As

Publication number Publication date
US11882425B2 (en) 2024-01-23
US20220360932A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
CN112567767B (zh) 用于交互式音频环境的空间音频
KR101828138B1 (ko) 상이한 재생 라우드스피커 셋업에 대한 공간 오디오 신호의 세그먼트-와이즈 조정
EP3684083A1 (en) Processing audio signals
US20090310802A1 (en) Virtual sound source positioning
US20160150345A1 (en) Method and apparatus for controlling sound using multipole sound object
JP5826996B2 (ja) 音響信号変換装置およびそのプログラム、ならびに、３次元音響パンニング装置およびそのプログラム
US11924626B2 (en) Sound tracing apparatus and method
EP3807872B1 (en) Reverberation gain normalization
US20230362572A1 (en) Method and apparatus for spatial audio reproduction using directional room impulse responses interpolation
KR20220150592A (ko) 볼륨 음원의 렌더링 방법 및 장치
KR102032803B1 (ko) 멀티미디어 컨텐츠를 위한 입체 음향 효과 제공 방법 및 상기 방법을 수행하는 멀티미디어 디바이스
KR102658471B1 (ko) 익스텐트 음원에 기초한 오디오 신호의 처리 방법 및 장치
US20230224661A1 (en) Method and apparatus for rendering object-based audio signal considering obstacle
US11895480B2 (en) Method and system for processing obstacle effect in virtual acoustic space
KR102658472B1 (ko) 객체 오디오 신호에 도플러 효과를 적용하는 방법 및 그 방법을 수행하는 렌더링 장치
RU2022102145A (ru) Способы, устройство и системы для представления, кодирования и декодирования дискретных данных направленности
Ogi et al. Immersive sound field simulation in multi-screen projection displays
KR102358514B1 (ko) 다극 음향 객체를 이용한 음향 제어 장치 및 그 방법
EP3002960A1 (en) System and method for generating surround sound
CN118020320A (zh) 一种音频渲染系统和方法
Gutiérrez A et al. Audition
EP3013072B1 (en) System and method for generating surround sound
KR20210069910A (ko) 렌더링 최적화를 위한 오디오 데이터 전송 방법 및 오디오 데이터 재생 방법, 오디오 데이터 전송 장치 및 오디오 데이터 재생 장치
Gröhn Application of spatial sound reproduction in virtual environments: experiments in localization, navigation, and orientation

Legal Events

Date Code Title Description
A201 Request for examination