KR20230109430A - 음선 추적을 이용한 임펄스 응답 생성 방법 및 임펄스 응답 생성 장치 - Google Patents

음선 추적을 이용한 임펄스 응답 생성 방법 및 임펄스 응답 생성 장치 Download PDF

Info

Publication number
KR20230109430A
KR20230109430A KR1020220005411A KR20220005411A KR20230109430A KR 20230109430 A KR20230109430 A KR 20230109430A KR 1020220005411 A KR1020220005411 A KR 1020220005411A KR 20220005411 A KR20220005411 A KR 20220005411A KR 20230109430 A KR20230109430 A KR 20230109430A
Authority
KR
South Korea
Prior art keywords
sound
impulse response
receiver
transmitter
path
Prior art date
Application number
KR1020220005411A
Other languages
English (en)
Inventor
이용주
유재현
장대영
강경옥
이태진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020220005411A priority Critical patent/KR20230109430A/ko
Priority to US18/146,685 priority patent/US20230224662A1/en
Publication of KR20230109430A publication Critical patent/KR20230109430A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

음선 추적을 이용한 임펄스 응답 생성 방법 및 임펄스 응답 생성 장치가 개시된다. 임펄스 응답 생성 방법은 음향 공간에 배치된 송신기의 위치와 수신기의 위치를 포함하는 음향 공간 정보와 음선의 최대 길이 또는 음향 공간 볼륨 및 수신기의 반경에 기초하여 송신기에서 수신기에 도달하는 음선의 개수를 계산하는 단계; 상기 계산된 음선의 경로를 이용하여 음선을 추적하는 단계; 상기 추적된 음선에 기초하여 임펄스 응답을 생성하는 단계; 및 상기 임펄스 응답에 직접음이 포함되었는지 여부에 따라 상기 직접음의 투과 경로를 임펄스 응답에 반영하는 단계를 포함할 수 있다.

Description

음선 추적을 이용한 임펄스 응답 생성 방법 및 임펄스 응답 생성 장치 {APPARATUS AND METHOD FOR GENERATING IMPULSE RESPONSE USING RAY TRACING}
객체 오디오를 렌더링하기 위해 공간 렌더링이 필요하다. 공간 정보는 청취자와 객체 오디오 간의 거리나 각도 등의 다양한 정보를 포함하며 객체 오디오를 렌더링하기 위해 사용된다.
객체 오디오를 렌더링하기 위해 음향 공간 정보를 이용하여 임펄스 응답을 생성할 수 있다. 이 때, 임펄스 응답은 직접음, 초기 반사음 및 잔향으로 구분될 수 있다. 이러한 임펄스 응답의 정확도를 높이기 위한 방안이 요구된다.
본 발명은 객체 오디오로부터 도출된 음선을 추적하여 임펄스 응답을 향상시키는 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 임펄스 응답 생성 방법은 음향 공간에 배치된 송신기의 위치와 수신기의 위치를 포함하는 음향 공간 정보와 음선의 최대 길이 또는 음향 공간 볼륨 및 수신기의 반경에 기초하여 송신기에서 수신기에 도달하는 음선의 개수를 계산하는 단계; 상기 계산된 음선의 경로를 이용하여 음선을 추적하는 단계; 상기 추적된 음선에 기초하여 임펄스 응답을 생성하는 단계를 포함할 수 있다.
상기 음선의 개수를 계산하는 단계는, 상기 수신기의 반경과 상기 음선의 최대 길이에 기초하여 상기 음선의 개수를 계산할 수 있다.
상기 음선의 개수를 계산하는 단계는, 상기 수신기의 반경과 상기 음향 공간 볼륨에 기초하여 상기 음선의 개수를 계산할 수 있다.
상기 임펄스 응답을 생성하는 단계는, 상기 송신기에서 수신기로 직접 도달하는 경로에 대응하는 음선을 나타내는 직접음과 상기 송신기에서 음향 공간에 반사된 후 수신기에 도달하는 경로에 대응하는 음선을 나타내는 반사음에 기초하여 임펄스 응답을 생성할 수 있다.
본 발명의 일실시예에 따른 임펄스 응답 생성 방법은 음향 공간에 배치된 송신기의 위치와 수신기의 위치를 포함하는 음향 공간 정보와 음선의 최대 길이 또는 음향 공간 볼륨 및 수신기의 반경에 기초하여 송신기에서 수신기에 도달하는 음선의 개수를 계산하는 단계; 상기 계산된 음선의 경로를 이용하여 음선을 추적하는 단계; 상기 추적된 음선에 기초하여 임펄스 응답을 생성하는 단계; 및 상기 임펄스 응답에 직접음이 포함되었는지 여부에 따라 상기 직접음의 투과 경로를 임펄스 응답에 반영하는 단계를 포함할 수 있다.
상기 음선의 개수를 계산하는 단계는, 상기 수신기의 반경과 상기 음선의 최대 길이에 기초하여 상기 음선의 개수를 계산할 수 있다.
상기 음선의 개수를 계산하는 단계는, 상기 수신기의 반경과 상기 음향 공간 볼륨에 기초하여 상기 음선의 개수를 계산할 수 있다.
상기 임펄스 응답을 생성하는 단계는, 상기 송신기에서 수신기로 직접 도달하는 경로에 대응하는 음선을 나타내는 직접음과 상기 송신기에서 음향 공간에 반사된 후 수신기에 도달하는 경로에 대응하는 음선을 나타내는 반사음에 기초하여 임펄스 응답을 생성할 수 있다.
상기 임펄스 응답에 반영하는 단계는, 상기 임펄스 응답에 직접음이 포함된 경우, 상기 추적된 음선에 기초하여 생성된 임펄스 응답을 그대로 출력할 수 있다.
상기 임펄스 응답에 반영하는 단계는, 상기 임펄스 응답에 직접음이 포함되지 않은 경우, 음향 공간에 배치된 장애물을 투과한 경로에 대응하는 직접음을 임펄스 응답을 반영할 수 있다.
상기 장애물을 투과한 경로에 따른 직접음은, 상기 장애물의 투과 특성에 따라 다르게 결정될 수 있다.
상기 임펄스 응답에 반영하는 단계는, 상기 임펄스 응답에서 가장 가까운 거리에서 발생하는 임펄스의 경로 길이가 송신기와 수신기 간의 거리와 같은지 여부에 따라 직접음이 임펄스 응답에 포함된 것으로 판단할 수 있다.
본 발명의 일실시예에 따른 임펄스 응답 생성 장치는 프로세서를 포함하고, 상기 프로세서는, 음향 공간에 배치된 송신기의 위치와 수신기의 위치를 포함하는 음향 공간 정보와 음선의 최대 길이 또는 음향 공간 볼륨 및 수신기의 반경에 기초하여 송신기에서 수신기에 도달하는 음선의 개수를 계산하고, 상기 계산된 음선의 경로를 이용하여 음선을 추적하고, 상기 추적된 음선에 기초하여 임펄스 응답을 생성하고, 상기 임펄스 응답에 직접음이 포함되었는지 여부에 따라 상기 직접음의 투과 경로를 임펄스 응답에 반영할 수 있다.
상기 프로세서는, 상기 수신기의 반경과 상기 음선의 최대 길이에 기초하여 상기 음선의 개수를 계산할 수 있다.
상기 프로세서는, 상기 수신기의 반경과 상기 음향 공간 볼륨에 기초하여 상기 음선의 개수를 계산할 수 있다.
상기 프로세서는, 상기 송신기에서 수신기로 직접 도달하는 경로에 대응하는 음선을 나타내는 직접음과 상기 송신기에서 음향 공간에 반사된 후 수신기에 도달하는 경로에 대응하는 음선을 나타내는 반사음에 기초하여 임펄스 응답을 생성할 수 있다.
상기 프로세서는, 상기 임펄스 응답에 직접음이 포함된 경우, 상기 추적된 음선에 기초하여 생성된 임펄스 응답을 그대로 출력할 수 있다.
상기 프로세서는, 상기 임펄스 응답에 직접음이 포함되지 않은 경우, 음향 공간에 배치된 장애물을 투과한 경로에 대응하는 직접음을 임펄스 응답을 반영할 수 있다.
상기 장애물을 투과한 경로에 따른 직접음은, 상기 장애물의 투과 특성에 따라 다르게 결정될 수 있다.
상기 프로세서는, 상기 임펄스 응답에서 가장 가까운 거리에서 발생하는 임펄스의 경로 길이가 송신기와 수신기 간의 거리와 같은지 여부에 따라 직접음이 임펄스 응답에 포함된 것으로 판단할 수 있다.
본 발명의 일실시예에 따르면, 객체 오디오로부터 도출된 음선을 추적하여 임펄스 응답을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 임펄스 응답 생성 장치의 동작 방법을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 임펄스 응답 생성 장치의 동작 방법을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 음선의 개수와 수신기 간의 관계를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 수신기의 사이즈와 음선 간의 관계를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 장애물이 존재하지 않을 때 직접 반사음에 따른 임펄스 응답을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 임펄스 응답을 고려한 물체의 투과율을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 장애물이 존재할 때 직접 반사음에 따른 임펄스 응답을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 투과 경로를 반영한 임펄스 응답을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 투과 경로를 반영한 임펄스 응답을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 임펄스 응답 생성 장치의 동작 방법을 도시한 도면이다.
도 1을 참고하면, 임펄스 응답 생성 장치(100)가 다양한 공간 정보를 이용하여 임펄스 응답을 생성할 수 있다. 임펄스 응답 생성 장치(100)는 프로세서를 포함하고, 프로세서를 통해 임펄스 응답 생성 방법을 수행할 수 있다.
단계(1)에서, 임펄스 응답 생성 장치(100)는 음선(ray)의 개수를 계산할 수 있다. 여기서, 음선은 음원인 객체 오디오에서 출력되는 복수의 신호를 의미한다. 음선을 추적함으로써 음원과 사용자(청취자) 사이의 직접음 및 직접 반사음을 생성할 수 있다. 직접음과 직접 반사음에 기초하여 음원과 사용자 사이의 임펄스 응답이 결정될 수 있다.
음선을 추적하는 과정은, 특정 공간 내에 음원인 음선 송신기(ray transmitter)와 복수의 음선의 수신기(ray receiver)를 배치하고, 음성 송신기에서 방사된 복수의 음선이 특정 공간에 반사되어 음선의 수신기에 도달하거나 또는 반사없이 직접 음선의 수신기에 도달하는 것과 같이 음선 송신기에서 방사된 음선이 음선의 수신기까지 도달하는 경로를 추적하는 것을 의미한다. 임펄스 응답 생성 장치(100)는 음선이 음선의 수신기까지 도달한 경로를 이용하여 음원과 사용자 사이의 임펄스 응답이 생성할 수 있다. 여기서, 음선의 수신기는 사용자인 청취자의 머리와 유사한 크기로 설정될 수 있다. 그러면, 음선 송신기는 음원인 객체 오디오에 대응하고, 음선의 수신기는 사용자인 청취자에 대응함으로써, 현실적인 임펄스 응답을 생성하는 과정이 묘사될 수 있다.
임펄스 응답 생성 장치(100)는 음선의 수신기의 반경 (radius of receiver), 음선의 최대 길이 (maximum length of ray), 음향 공간 볼륨 (volume of sound space), 음향 공간 정보 (acoustic geometry information), 음선 송신기의 위치 (transmitter position) 및 음선의 수신기의 위치(receiver position)에 기초하여 음선의 개수를 계산할 수 있다.
단계(2)에서, 임펄스 응답 생성 장치(100)는 음선의 개수를 이용하여 음선을 추적할 수 있다.
본 발명의 일실시예에 따르면, 임펄스 응답 생성 장치(100)는 아래 설명되는 수학식 1 및 수학식 3에 따라 음선의 개수가 결정될 수 있다. 일례로, 본 발명의 경우, 음선이 도달하는 수신기의 크기가 청취자의 머리 크기와 동일 또는 유사하게 설정될 수 있다. 임펄스 응답 생성 장치(100)은 음선이 송신기에서 수신기로 직접 도달하는 경로(직접음)와 음향 공간에 반사되어 수신기로 도달하는 경로(반사음)을 파악하여 임펄스 응답을 생성할 수 있다.
임펄스 응답 생성 장치(100)는 수학식 1을 이용하여, 음선의 최대 추적 경로에 따라 음선의 개수를 결정할 수 있다. 수학식 1은 음선의 최대 길이인 dSR에서 두 개의 음선 중 최소 하나의 음선은 수신기를 통과하는 것을 만족하는 최소 수신기의 반지름을 계산하는 것을 의미한다. 음선의 개수를 결정할 때, 음향 공간 정보, 송신기의 위치, 수신기의 위치 정보가 직접적으로 활용되지 않을 수 있다. 다만, 음향 공간 정보는 음선의 최대 추적 경로의 길이를 결정할 때 활용될 수 있다. 송신기의 위치와 수신기의 위치 정보는 실질적인 음선 추적을 할 때 사용될 수 있다.
예를 들어, 수신기의 크기는 사람의 머리 크기와 유사한 반지름 0.1m 로 고정하고, 음선의 최대 추적 경로의 길이가 100m 라고 가정한다. 그러면, 수학식 2에 따라 음선의 개수는 N = 4,000,000 으로 결정될 수 있다.
또 다른 예로, 임펄스 응답 생성 장치(100)는 음향 공간 볼륨(V)과 수신기의 반경(r)과 음선의 개수(N)간의 관계를 나타내는 수학식 3을 이용하여 음선의 개수를 결정할 수 있다.
예를 들어, 수신기의 크기는 사람의 머리 크기와 유사한 반지름 0.1m 로 고정하고, 음향 공간 볼륨이 500㎥ 라고 가정한다. 그러면, 수학식 4에 따라 공간의 부피가 500㎥ 이고, r = 0.1 m 을 입력하면, 음선의 개수 N = 1,074,840 가 도출될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 임펄스 응답 생성 장치의 동작 방법을 도시한 도면이다.
도 2에 도시된 임펄스 응답 생성 장치(200)는 도 1의 임펄스 응답 생성 장치(100)에 추가적으로 직접음 투과 경로를 생성하여 보다 향상된 임펄스 응답을 생성할 수 있다.
임펄스 응답 생성 장치(200)가 수행하는 (1) 음선의 개수를 계산하는 과정과 (2) 음선을 추적하는 과정은 도 1의 설명이 그대로 적용될 수 있다. 추가적으로, 임펄스 응답 생성 장치(200)는 단계(3)에서 직접음의 투과 경로를 생성할 수 있다.
임펄스 응답 생성 장치(200)는 직접음의 경로를 판단한 후에 직접음의 투과 경로를 생성할 수 있다. 임펄스 응답 생성 장치(200)는 음선을 추적하는 과정에서 임펄스 응답에 직접음이 포함되어 있는지를 확인할 수 있다.
음선을 추적한 이후에 도출된 임펄스 응답에서 직접음이 포함된 경우, 임펄스 응답 생성 장치(200)는 음선을 추적함으로써 도출된 임펄스 응답을 그대로 출력할 수 있다. 음선을 추적한 이후에 도출된 임펄스 응답에서 직접음이 포함되지 않은 경우, 임펄스 응답 생성 장치(200)는 직접음의 투과에 의한 경로를 계산하고 이를 음선의 추적 결과를 통해 도출된 임펄스 응답에 추가할 수 있다.
임펄스 응답 생성 장치(200)는 음선의 추적을 통해 도출된 임펄스 응답에 직접음이 포함되었는지 여부를 다음의 과정을 통해 판단할 수 있다. 임펄스 응답에서 가장 가까운 거리에서 발생한 임펄스의 경로의 길이가 송신기와 수신기 간의 거리와 같은 지를 비교함으로써 임펄스 응답에 직접음이 포함되었는지 여부가 판단될 수 있다. 만약, 임펄스 응답에서 가장 가까운 거리에서 발생한 임펄스 응답의 경로의 길이가 송신기와 수신기 간의 거리와 같으면, 임펄스 응답에 직접음이 포함된 것으로 판단될 수 있다.
만약에 임펄스 응답에 직접음 경로가 포함되어 있지 않은 경우, 임펄스 응답 생성 장치(200)는 직접음이 장애물에 의해 반사된 것으로 판단할 수 있다. 그러면, 임펄스 응답 생성 장치(200)는 직접음의 장애물에 의한 투과 경로를 계산하여 단계(2)의 음선의 추적 과정을 통해 도출된 임펄스 응답에 추가할 수 있다.
직접음이 장애물에 의해 반사되는 경우, 음선 추적만으로는 음선이 투과되는 경로에 대한 음향 특성 반영이 되지 않는 부분을 직접음의 투과 경로를 생성함으로써 보완될 수 있으며, 임펄스 응답이 보다 현실적으로 생성될 수 있다.
본 발명에 있어서, 음선을 추적하기 위해 수신기의 크기는 고정되고, 음선의 음선의 최대 추적 경로 또는 공간의 크기를 고려하여 음선의 개수가 조절될 수 있다.
도 3은 본 발명의 일실시예에 따른 음선의 개수와 수신기 간의 관계를 도시한 도면이다.
도 3을 참고하면, 음원인 객체 오디오에 대응하는 음선의 송신기(300)에서 방사된 음선의 개수와 수신기(301)의 관계를 도시한다. 도 3을 참고하면, 송신기(300)에서 방사된 음선의 개수가 많을수록 수신기(301)를 통과하는 음선이 존재할 수 있다.
즉, (a)가 (b)보다는 음선의 개수가 많기 때문에, 음선의 개수가 상대적으로 더 많은 (a)의 경우에 수신기(301)를 통과하는 음선이 존재할 수 있다. 그래서, 음선의 개수를 적절하게 설정하는 것이 필요하다.
도 4는 본 발명의 일실시예에 따른 수신기의 사이즈와 음선 간의 관계를 도시한 도면이다.
도 4를 참고하면, 음원인 객체 오디오에 대응하는 음선의 송신기(400)에서 방사된 음선과 수신기(301)의 크기 간의 관계를 도시한다. 도 4를 참고하면, 송신기(400)에서 방사된 음선이 동일하더라도 수신기(401)의 크기(반경으로 표현됨)가 클수록 음선이 수신기(401)를 통과할 가능성이 증가할 수 있다.
즉, (a)가 (b)보다는 수신기(401)의 크기가 크기 때문에, 송신기(400)에서 동일한 음선이 방사되더라도 수신기(401)의 크기가 더 큰 (a)의 경우에 수신기(401)를 통과하는 음선이 존재할 수 있다. 그래서, 수신기(401)의 크기를 적절하게 설정하는 것이 필요하다.
도 5는 본 발명의 일실시예에 따른 장애물이 존재하지 않을 때 직접 반사음에 따른 임펄스 응답을 도시한 도면이다.
도 5(a)는 장애물이 존재하지 않을 때의 임펄스 응답을 나타내고, 도 5(b)는 장애물이 존재할 때의 임펄스 응답을 도시한다.
도 5(a)를 참고하면, 송신기(500)에서 방사된 음선은 경로 1과 같이 수신기(501)에 직접 도달하거나 또는 경로 2 내지 경로 6와 같이 공간에 반사되어 수신기(501)에 도달할 수 있다. 이 경우, 임펄스 응답은 경로 1의 직접음과 경로 2 내지 경로 6의 반사음으로 표현될 수 있다.
도 5(b)를 참고하면, 송신기(500)에서 방사된 음선은 경로 2 내지 경로 6와 같이 공간에 반사되어 수신기(501)에 도달할 수 있다. 다만, 경로 1의 경우 장애물(501)에 반사되어 임펄스 응답에 경로 1에 따른 직접음이 반영되지 않는다. 이를 반영하기 위해, 본 발명의 임펄스 응답 생성 장치(200)는 장애물에 의해 투과된 직접음도 임펄스 응답에 반영할 수 있다.
도 6은 본 발명의 일실시예에 따른 임펄스 응답을 고려한 물체의 투과율을 나타낸 도면이다.
소리가 장애물을 만났을 때, 반사가 되기도 하지만, 일부는 투과되어 전달될 수 있다. 그래서, 본 발명은 장애물을 투과한 소리를 임펄스 응답에 반영할 수 있다.
장애물을 투과한 소리의 특성은 장애물의 투과 특성에 따라 결정될 수 있다. 일반적으로 물체의 투과율은 0 ~ 1.0 사이의 값을 가지며, 주파수 별로 다르게 설정될 수 있다. 도 6은 물체의 specular reflected energy(r), coupled energy(c), transmitted energy(t)를 주파수별로 설정한 예를 나타낸다.
도 7은 본 발명의 일실시예에 따른 장애물이 존재할 때 직접 반사음에 따른 임펄스 응답을 도시한 도면이다.
도 7은 도 5(b)와 같이 장애물이 존재할 때 송신기(700)에서 방사된 음선이 수신기(701)에 도달할 때의 경로 1 내지 경로 6가 결정될 수 있다. 여기서, 경로 1 내지 경로 6가 음선을 추적하는 것을 의미할 수 있다.
경로 2 내지 경로 6의 경우, 반사음으로 임펄스 응답에 표현될 수 있다. 하지만, 경로 1의 경우 장애물(702)에 의해 투과될 수 있는 바, 본 발명의 임펄스 응답 생성 장치(200)는 장애물(702)에 의해 투과된 음선까지 반영하여 임펄스 응답을 생성할 수 있다.
도 7은 직접음이 장애물에 의해 수신기로 전달되지 못하는 상황을 도시한다. 본 발명에서 설명하는 음선 추적법을 이용하는 경우, 도 8의 <a>와 같은 임펄스 응답이 생성될 수 있다. 이 때, 생성되는 임펄스 응답은 직접음에 의한 임펄스가 포함되지 않는다.
음향 공간에 장애물이 존재하지 않을 경우의 직접음에 대한 응답(도착 시간)은 음선 추적법이 아닌 수신기와 송신기 간의 거리에 따라 계산될 수 있다. 예를 들어 수신기와 송신기가 3.40m 떨어진 경우 소리의 속도가 340m/sec 라고 가정한다면 직접음은 10msec 부근에 임펄스 형태로 나타날 수 있다.
만약, 음선 추적법에 따라 임펄스 응답을 계산하는 경우, 10msec 부근에 직접음에 대한 임펄스 응답이 없다면 직접음이 장애물에 의해 수신기에 전달되지 않은 상황으로 판단될 수 있습니다. 반대로 음선 추적법에 따라 임펄스 응답을 계산하는 경우, 10msec 부근에 직접음에 대한 임펄스 응답이 존재한다면 직접음이 장애물의 간섭없이 수신기에 전달된 상황으로 판단될 수 있다.
도 8은 본 발명의 일실시예에 따른 투과 경로를 반영한 임펄스 응답을 도시한 도면이다.
도 8(a)는 도 7의 장애물(702)을 투과한 경로를 반영하지 못한 임펄스 응답을 나타내고, 도 8(b)는 도 7의 장애물(702)을 투과한 경로를 반영한 임펄스 응답을 나타낸다.
송신기(700)에서 방사된 음선이 장애물(702)을 투과한 경로 1에 대해 도 8(a)의 임펄스 응답은 경로 1에 따른 반사음을 반영하지 못하지만, 도 8(b)의 임펄스 응답은 경로 1에 따른 반사음을 반영할 수 있다.
본 발명의 일실시예에 따르면, 장애물(702)에 대한 투과 경로를 지나가는 음섬을 임펄스 응답에 반영할 수 있다.
도 9는 본 발명의 일실시예에 따른 투과 경로를 반영한 임펄스 응답을 도시한 도면이다.
도 9는 도 8(b)와 같이 장애물의 투과 경로를 반영하지만, 장애물의 투과 특성이 주파수별로 다른 경우의 임펄스 응답을 나타낸다.
본 발명의 일실시예에 따르면, 송신기에서 수신기까지의 음선의 경로를 판단하는 음선의 추적에 기초하여 임펄스 응답을 생성할 수 있다. 이 때, 임펄스 응답 생성 장치(200)는 음선의 추적에 따라 생성된 임펄스 응답에 직접음이 포함되었는지를 확인할 수 있다. 음선의 추적에 따라 생성된 임펄스 응답에 직접음이 포함된 경우, 임펄스 응답 생성 장치(200)는 음선의 추적에 따라 생성된 임펄스 응답을 그래도 이용할 수 있다. 그리고, 음선의 추적에 따라 생성된 임펄스 응답에 직접음이 포함되지 않은 경우, 임펄스 응답 생성 장치(200)는 직접음이 장애물을 투과한 경로를 반영하여 음선의 추적에 따라 생성된 임펄스 응답에 반영할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (20)

  1. 임펄스 응답 생성 방법에 있어서,
    음향 공간에 배치된 송신기의 위치와 수신기의 위치를 포함하는 음향 공간 정보와 음선의 최대 길이 또는 음향 공간 볼륨 및 수신기의 반경에 기초하여 송신기에서 수신기에 도달하는 음선의 개수를 계산하는 단계;
    상기 계산된 음선의 경로를 이용하여 음선을 추적하는 단계;
    상기 추적된 음선에 기초하여 임펄스 응답을 생성하는 단계
    를 포함하는 임펄스 응답 생성 방법.
  2. 제1항에 있어서,
    상기 음선의 개수를 계산하는 단계는,
    상기 수신기의 반경과 상기 음선의 최대 길이에 기초하여 상기 음선의 개수를 계산하는 임펄스 응답 생성 방법.
  3. 제1항에 있어서,
    상기 음선의 개수를 계산하는 단계는,
    상기 수신기의 반경과 상기 음향 공간 볼륨에 기초하여 상기 음선의 개수를 계산하는 임펄스 응답 생성 방법.
  4. 제1항에 있어서,
    상기 임펄스 응답을 생성하는 단계는,
    상기 송신기에서 수신기로 직접 도달하는 경로에 대응하는 음선을 나타내는 직접음과 상기 송신기에서 음향 공간에 반사된 후 수신기에 도달하는 경로에 대응하는 음선을 나타내는 반사음에 기초하여 임펄스 응답을 생성하는 임펄스 응답 생성 방법.
  5. 제1항에 있어서,
    상기 수신기의 크기는, 상기 음향 공간에서 청취자의 머리 크기와 동일 또는 유사하게 설정되는 임펄스 응답 생성 방법.
  6. 임펄스 응답 생성 방법에 있어서,
    음향 공간에 배치된 송신기의 위치와 수신기의 위치를 포함하는 음향 공간 정보와 음선의 최대 길이 또는 음향 공간 볼륨 및 수신기의 반경에 기초하여 송신기에서 수신기에 도달하는 음선의 개수를 계산하는 단계;
    상기 계산된 음선의 경로를 이용하여 음선을 추적하는 단계;
    상기 추적된 음선에 기초하여 임펄스 응답을 생성하는 단계;
    상기 임펄스 응답에 직접음이 포함되었는지 여부에 따라 상기 직접음의 투과 경로를 임펄스 응답에 반영하는 단계
    를 포함하는 임펄스 응답 생성 방법.
  7. 제6항에 있어서,
    상기 음선의 개수를 계산하는 단계는,
    상기 수신기의 반경과 상기 음선의 최대 길이에 기초하여 상기 음선의 개수를 계산하는 임펄스 응답 생성 방법.
  8. 제6항에 있어서,
    상기 음선의 개수를 계산하는 단계는,
    상기 수신기의 반경과 상기 음향 공간 볼륨에 기초하여 상기 음선의 개수를 계산하는 임펄스 응답 생성 방법.
  9. 제6항에 있어서,
    상기 임펄스 응답을 생성하는 단계는,
    상기 송신기에서 수신기로 직접 도달하는 경로에 대응하는 음선을 나타내는 직접음과 상기 송신기에서 음향 공간에 반사된 후 수신기에 도달하는 경로에 대응하는 음선을 나타내는 반사음에 기초하여 임펄스 응답을 생성하는 임펄스 응답 생성 방법.
  10. 제6항에 있어서,
    상기 임펄스 응답에 반영하는 단계는,
    상기 임펄스 응답에 직접음이 포함된 경우, 상기 추적된 음선에 기초하여 생성된 임펄스 응답을 그대로 출력하는 임펄스 응답 생성 방법.
  11. 제6항에 있어서,
    상기 임펄스 응답에 반영하는 단계는,
    상기 임펄스 응답에 직접음이 포함되지 않은 경우, 음향 공간에 배치된 장애물을 투과한 경로에 대응하는 직접음을 임펄스 응답을 반영하는 임펄스 응답 생성 방법.
  12. 제11항에 있어서,
    상기 장애물을 투과한 경로에 따른 직접음은,
    상기 장애물의 투과 특성에 따라 다르게 결정되는 임펄스 응답 생성 방법.
  13. 제6항에 있어서,
    상기 임펄스 응답에 반영하는 단계는,
    상기 임펄스 응답에서 가장 가까운 거리에서 발생하는 임펄스의 경로 길이가 송신기와 수신기 간의 거리와 같은지 여부에 따라 직접음이 임펄스 응답에 포함된 것으로 판단하는 임펄스 응답 생성 방법.
  14. 제6항에 있어서,
    상기 수신기의 크기는, 상기 음향 공간에서 청취자의 머리 크기와 동일 또는 유사하게 설정되는 임펄스 응답 생성 방법.
  15. 임펄스 응답 생성 장치에 있어서,
    상기 임펄스 응답 생성 장치는 프로세서를 포함하고,
    상기 프로세서는,
    음향 공간에 배치된 송신기의 위치와 수신기의 위치를 포함하는 음향 공간 정보와 음선의 최대 길이 또는 음향 공간 볼륨 및 수신기의 반경에 기초하여 송신기에서 수신기에 도달하는 음선의 개수를 계산하고,
    상기 계산된 음선의 경로를 이용하여 음선을 추적하고,
    상기 추적된 음선에 기초하여 임펄스 응답을 생성하고,
    상기 임펄스 응답에 직접음이 포함되었는지 여부에 따라 상기 직접음의 투과 경로를 임펄스 응답에 반영하는 임펄스 응답 생성 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 수신기의 반경과 상기 음선의 최대 길이에 기초하여 상기 음선의 개수를 계산하거나 또는
    상기 프로세서는,
    상기 수신기의 반경과 상기 음향 공간 볼륨에 기초하여 상기 음선의 개수를 계산하는 임펄스 응답 생성 장치.
  17. 제15항에 있어서,
    상기 수신기의 크기는, 상기 음향 공간에서 청취자의 머리 크기와 동일 또는 유사하게 설정되는 임펄스 응답 생성 장치.
  18. 제15항에 있어서,
    상기 프로세서는,
    상기 송신기에서 수신기로 직접 도달하는 경로에 대응하는 음선을 나타내는 직접음과 상기 송신기에서 음향 공간에 반사된 후 수신기에 도달하는 경로에 대응하는 음선을 나타내는 반사음에 기초하여 임펄스 응답을 생성하는 임펄스 응답 생성 장치.
  19. 제15항에 있어서,
    상기 프로세서는,
    상기 임펄스 응답에 직접음이 포함된 경우, 상기 추적된 음선에 기초하여 생성된 임펄스 응답을 그대로 출력하고,
    상기 임펄스 응답에 직접음이 포함되지 않은 경우, 음향 공간에 배치된 장애물을 투과한 경로에 대응하는 직접음을 임펄스 응답을 반영하는 임펄스 응답 생성 장치.
  20. 제15항에 있어서,
    상기 프로세서는,
    상기 임펄스 응답에서 가장 가까운 거리에서 발생하는 임펄스의 경로 길이가 송신기와 수신기 간의 거리와 같은지 여부에 따라 직접음이 임펄스 응답에 포함된 것으로 판단하는 임펄스 응답 생성 장치.
KR1020220005411A 2022-01-13 2022-01-13 음선 추적을 이용한 임펄스 응답 생성 방법 및 임펄스 응답 생성 장치 KR20230109430A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220005411A KR20230109430A (ko) 2022-01-13 2022-01-13 음선 추적을 이용한 임펄스 응답 생성 방법 및 임펄스 응답 생성 장치
US18/146,685 US20230224662A1 (en) 2022-01-13 2022-12-27 Apparatus and method for generating impulse response using ray tracing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220005411A KR20230109430A (ko) 2022-01-13 2022-01-13 음선 추적을 이용한 임펄스 응답 생성 방법 및 임펄스 응답 생성 장치

Publications (1)

Publication Number Publication Date
KR20230109430A true KR20230109430A (ko) 2023-07-20

Family

ID=87069229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220005411A KR20230109430A (ko) 2022-01-13 2022-01-13 음선 추적을 이용한 임펄스 응답 생성 방법 및 임펄스 응답 생성 장치

Country Status (2)

Country Link
US (1) US20230224662A1 (ko)
KR (1) KR20230109430A (ko)

Also Published As

Publication number Publication date
US20230224662A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
CN110992974B (zh) 语音识别方法、装置、设备以及计算机可读存储介质
CN103797821B (zh) 使用直接声的到达时间差确定
Siderius et al. Modeling broadband ocean acoustic transmissions with time-varying sea surfaces
US9554227B2 (en) Method and apparatus for processing audio signal
JP4829278B2 (ja) 室内インパルス応答モデリング方法および装置
US11353581B2 (en) System and method for localization for non-line of sight sound source
CN102893175A (zh) 使用声音信号的距离估计
CN111683325B (zh) 音效控制方法、装置、音箱、可穿戴设备及可读存储介质
CN106537501A (zh) 混响估计器
CN108379842B (zh) 游戏音频处理方法、装置、电子设备及存储介质
MXPA06011579A (es) Prediccion generalizada de multiplos de superfie 3-d.
EP3807872B1 (en) Reverberation gain normalization
KR20230109430A (ko) 음선 추적을 이용한 임펄스 응답 생성 방법 및 임펄스 응답 생성 장치
US11262234B2 (en) Directional acoustic sensor and method of detecting distance from sound source using the directional acoustic sensor
KR102019179B1 (ko) 사운드 트레이싱 장치 및 방법
US11624804B2 (en) System and method for location determination utilizing direct path information
US20230224661A1 (en) Method and apparatus for rendering object-based audio signal considering obstacle
KR101955552B1 (ko) 사운드 트레이싱 코어 및 이를 포함하는 사운드 트레이싱 시스템
Grinstein et al. Dual input neural networks for positional sound source localization
KR102196388B1 (ko) 음원과 마이크로폰을 이용하는 공간 추정 장치 및 방법
KR102620729B1 (ko) 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치
US11882425B2 (en) Method and apparatus for rendering volume sound source
US20230362572A1 (en) Method and apparatus for spatial audio reproduction using directional room impulse responses interpolation
KR102494851B1 (ko) 사운드 전파 성능 향상을 위한 사운드 트레이싱 방법
Moreira et al. An Architecture Using a Finite Difference Method to Calculate Realistic Sound Equalization in Games