KR102620729B1 - 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치 - Google Patents

사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치 Download PDF

Info

Publication number
KR102620729B1
KR102620729B1 KR1020210183124A KR20210183124A KR102620729B1 KR 102620729 B1 KR102620729 B1 KR 102620729B1 KR 1020210183124 A KR1020210183124 A KR 1020210183124A KR 20210183124 A KR20210183124 A KR 20210183124A KR 102620729 B1 KR102620729 B1 KR 102620729B1
Authority
KR
South Korea
Prior art keywords
edge
sub
diffraction
sound
edge point
Prior art date
Application number
KR1020210183124A
Other languages
English (en)
Other versions
KR20230094002A (ko
Inventor
박우찬
김은재
김지영
최인화
Original Assignee
엑사리온 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑사리온 주식회사 filed Critical 엑사리온 주식회사
Priority to KR1020210183124A priority Critical patent/KR102620729B1/ko
Priority to PCT/KR2022/015087 priority patent/WO2023120902A1/ko
Publication of KR20230094002A publication Critical patent/KR20230094002A/ko
Application granted granted Critical
Publication of KR102620729B1 publication Critical patent/KR102620729B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

본 발명은 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치에 관한 것으로, 상기 방법은 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출하는 사운드 전파(sound propagation) 단계; 및 상기 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)를 산출하고 상기 음원 또는 청취자를 기준으로 상기 적어도 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 상기 에지 포인트에서의 회절 여부를 결정하는 에지 검출(edge-detection) 단계;를 포함한다.

Description

사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치{EDGE DETECTION METHOD AND APPARATUS FOR DIFFRACTION OF SOUND TRACING}
본 발명은 3차원 사운드 처리 기술에 관한 것으로, 보다 상세하게는 사운드 트레이싱 과정에서 런타임 동안 회절 가능한 에지 후보들을 계산함으로써 동적 장면에 대한 사운드 렌더링을 실시간 처리할 수 있는 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치에 관한 것이다.
현실감 있는 가상현실 환경을 지원하기 위해, 가상공간을 통한 고품질의 청각적 공간감 재현이 필수적이다. 이를 위해, 머리전달함수 (HRTF: Head Related Transfer Function)를 이용한 3D 사운드 기술이 기본적으로 사용될 수 있다.
기존의 3D 사운드 기술은 미리 계산된 음향조절필터를 사용하거나 직육면체 모양의 슈박스와 같은 간단한 가상공간 안에서 청각적 공간감을 재현할 수 있다. 가상공간 상의 주변 환경과 복잡한 객체(object)의 재질(material)에 대한 물리적인 효과가 반영 되어있지 않기 때문에 이러한 기술은 현실감 있는 사운드를 재현하기에 한계를 가질 수 있다.
이를 해결하기 위하여 기하학적 음향 방법(Geometric Acoustic method, GA) 기반으로 한 3D 사운드 기술이 지속적으로 발표되고 있다. 이러한 방식들 중에서, 3D graphics의 레이 트레이싱(ray tracing) 기술과 사운드 처리(sound processing) 기술을 융합한 방식을 사운드 트레이싱(혹은 sound ray tracing)이라 할 수 있다. 사운드 트레이싱은 사운드 렌더링(sound rendering) 기법의 한 종류로써 청취자(listener)와 음원(sound source) 사이의 사운드 전파 경로(sound propagation path)들을 추적하여 사운드를 생성하는 기법에 해당할 수 있다.
사운드 트레이싱은 현실감 있는 사운드를 재현하기 위해 직접(direct), 반사(reflection), 에지-회절 경로(edge-diffraction path)와 같은 다양한 사운드 전파 경로(sound propagation path)를 생성할 수 있다. 특히, 회절(diffraction)은 소리가 음영 영역으로 전달되는 효과로써 현실감 있는 음원을 생성하기 위해 필수적일 수 있다. 하지만, 에지-회절은 에지(edge)를 찾는 에지 검출(edge-detection) 알고리즘을 수반하기 때문에 실시간으로 처리가 매우 어려울 수 있다. 따라서, 기존 방식들의 경우 에지 검출은 전처리(pre-processing) 단계에서 수행되며, 이로 인하여 동적 장면(dynamic scene)의 처리에 적용하기가 매우 어려울 수 있다.
한국등록특허 제10-1828908호 (2018.02.07)
본 발명의 일 실시예는 사운드 트레이싱 과정에서 런타임 동안 회절 가능한 에지 후보들을 계산함으로써 동적 장면에 대한 사운드 렌더링을 실시간 처리할 수 있는 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치를 제공하고자 한다.
실시예들 중에서, 사운드 트레이싱의 회절을 위한 에지 검출 방법은 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출하는 삼각형 검출(triangle-detection) 단계; 및 상기 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)를 산출하고 상기 음원 또는 청취자를 기준으로 상기 적어도 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 상기 에지 포인트에서의 회절 여부를 결정하는 에지 검출(edge-detection) 단계;를 포함한다.
상기 삼각형 검출 단계는 원점(origin) 및 방향(direction)을 정의하여 상기 레이를 생성하는 단계; 상기 음원이 위치하는 3차원 공간에 관한 가속구조(AS)를 탐색하는 단계; 및 상기 가속구조의 삼각형들을 탐색하면서 상기 레이와 삼각형 간의 교차 테스트를 수행하여 상기 충돌 삼각형들을 결정하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 충돌 삼각형과 인접 삼각형 사이의 에지를 결정하는 단계; 상기 에지 상의 점들 중에서 상기 음원 및 상기 청취자 사이의 직선과 가장 가까운 점을 상기 에지 포인트로서 결정하는 단계; 및 상기 에지 포인트로부터 특정 방향으로 소정의 값만큼 이동하여 적어도 하나의 서브 에지 포인트(sub-edge point)를 생성하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 에지 및 상기 직선을 각각 제1 및 제2 벡터방정식들로 표현하는 단계; 상기 에지 및 상기 직선의 시작점들을 연결하는 제1 벡터와 상기 에지 및 상기 직선 사이의 가장 가까운 점들을 연결하는 제2 벡터를 정의하는 단계; 상기 제1 벡터방정식의 u 벡터의 크기를 미지수로 정의하여 상기 에지 포인트를 벡터 방정식으로 표현하는 단계; 및 상기 에지 및 상기 직선 각각과 상기 제2 벡터 사이의 내적 연산(dot product)을 통해 상기 미지수를 산출하여 상기 에지 포인트를 산출하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 에지 포인트를 기준으로 상기 특정 방향에 따라 양의 방향 및 음의 방향으로 각각 상기 소정의 값만큼 이동하여 서로 다른 2개의 서브 에지 포인트들을 생성하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 2개의 서브 에지 포인트들 중에서 상기 청취자와 가까우면 제1 서브 에지 포인트로 결정하고 상기 음원과 가까우면 제2 서브 에지 포인트로 결정하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 청취자로부터 상기 제1 서브 에지 포인트를 향해 출발하는 제1 테스트 레이를 생성하는 단계; 상기 청취자로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제2 테스트 레이를 생성하는 단계; 및 상기 음원으로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제3 테스트 레이를 생성하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 제1 테스트 레이가 상기 충돌 삼각형과 충돌하고 상기 제2 및 제3 테스트 레이들이 상기 충돌 삼각형과 충돌하지 않는 경우 상기 에지 포인트에서 회절을 결정하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 충돌 삼각형들 각각에 대해 반복적으로 수행될 수 있다.
실시예들 중에서, 사운드 트레이싱의 회절을 위한 에지 검출 장치는 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출하는 삼각형 검출(triangle-detection) 처리부; 및 상기 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)를 산출하고 상기 음원 또는 청취자를 기준으로 상기 적어도 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 상기 에지 포인트에서의 회절 여부를 결정하는 에지 검출(edge-detection) 처리부;를 포함한다.
상기 에지 검출 처리부는 충돌 삼각형과 인접 삼각형 사이의 에지를 결정하고 상기 에지 상의 점들 중에서 상기 음원 및 상기 청취자 사이의 직선과 가장 가까운 점을 상기 에지 포인트로서 결정할 수 있다.
상기 에지 검출 처리부는 상기 에지 포인트를 기준으로 특정 방향에 따라 양의 방향 및 음의 방향으로 각각 소정의 값만큼 이동하여 서로 다른 2개의 서브 에지 포인트들을 생성할 수 있다.
상기 에지 검출 처리부는 상기 2개의 서브 에지 포인트들 중에서 상기 청취자와 가까우면 제1 서브 에지 포인트로 결정하고 상기 음원과 가까우면 제2 서브 에지 포인트로 결정할 수 있다.
상기 에지 검출 처리부는 상기 청취자로부터 상기 제1 서브 에지 포인트를 향해 출발하는 제1 테스트 레이, 상기 청취자로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제2 테스트 레이, 및 상기 음원으로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제3 테스트 레이를 기초로 상기 에지 포인트에서 회절을 결정할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에 따른 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치는 사운드 트레이싱 과정에서 런타임 동안 회절 가능한 에지 후보들을 계산함으로써 동적 장면에 대한 사운드 렌더링을 실시간 처리할 수 있다.
기존의 방식은 전처리(pre-processing) 단계에서 회절이 가능한 에지 후보들을 미리 계산할 수 있으며, 정적 장면(static scene)을 위한 회절에 적합하지만 동적 장면(dynamic scene)을 위한 회절에는 적합하지 않을 수 있다.
본 발명에 따른 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치는 런타임(run-time)에 회절이 가능한 에지들을 실시간으로 계산할 수 있고, 정적 장면뿐만 아니라 동적 장면에서도 회절 수행이 가능할 수 있으며, 동적 장면에서 런타임에 에지 검출이 수행됨으로써 사용자들에게 높은 몰입감과 현실감 있는 사운드를 제공할 수 있다.
도 1은 사운드 트레이싱의 파이프라인을 설명하는 도면이다.
도 2는 사운드 전파 경로의 종류를 설명하는 도면이다.
도 3은 에지 회절 경로를 설명하는 도면이다.
도 4는 전처리를 이용한 에지 검출 방법을 설명하는 도면이다.
도 5는 본 발명에 따른 에지 검출 장치의 기능적 구성을 설명하는 도면이다.
도 6은 본 발명에 따른 에지 검출 과정을 설명하는 도면이다.
도 7 및 8은 본 발명에 따른 에지 포인트의 산출 과정을 설명하는 도면이다.
도 9는 본 발명에 따른 에지 검출 과정을 설명하는 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 사운드 트레이싱의 파이프라인을 설명하는 도면이다.
도 1을 참조하면, 사운드 트레이싱(sound tracing) 파이프라인(pipeline)은 사운드 합성(sound synthesis), 사운드 전파(sound propagation), 사운드 생성(sound generation, auralization) 단계로 구성될 수 있다. 사운드 트레이싱 처리 단계 중에 사운드 전파 단계는 가상현실에 몰입감을 부여하는 가장 중요한 단계에 해당할 수 있고, 계산 복잡도가 높고 계산 시간이 가장 오래 걸리는 단계에 해당할 수 있다. 또한, 이 단계의 가속여부가 사운드 트레이싱의 실시간 처리를 좌우할 수 있다.
사운드 합성(sound synthesis) 단계는 사용자의 상호작용에 따른 사운드 효과를 생성하는 단계에 해당할 수 있다. 예를 들어, 사운드 합성은 사용자가 문을 두드리거나 또는 물건을 떨어뜨린 경우 발생하는 소리에 관한 처리를 수행할 수 있고, 기존 게임, UI 등에서 일반적으로 사용되는 기술에 해당할 수 있다.
사운드 전파(sound propagation) 단계는 합성된 사운드가 가상현실을 통해 청취자에게 전달되는 과정을 시뮬레이션 하는 단계로 가상현실의 음향적 특성(반사계수, 흡수계수 등)과 소리의 특성(반사, 흡수, 투과 등)을 가상현실의 기하적 특성(scene geometry)에 기반하여 처리하는 단계에 해당할 수 있다.
사운드 생성(sound generation) 단계는 사운드 전파 단계에서 계산된 소리의 특성값 (반사/투과/흡수 계수, 거리 감쇠 특성 등)을 이용하여 청취자 스피커의 구성을 바탕으로 입력 음향을 재생성하는 단계에 해당할 수 있다.
도 2는 사운드 전파 경로의 종류를 설명하는 도면이다.
도 2를 참조하면, 직접 경로(Direct Path)는 청취자(Listener)와 음원(Sound source) 사이에 어떤 장애물(Obstruction)도 없이 직접적으로 전달되는 경로에 해당할 수 있다. 반사 경로(Reflection Path)는 사운드가 장애물과 충돌 후 반사되어 청취자에게 도달하는 경로에 해당하고, 투과 경로(Transmission Path)는 청취자와 음원 사이에 장애물이 있을 때, 사운드가 장애물을 투과하여 청취자에게 전달되는 경로에 해당할 수 있다.
사운드 트레이싱은 다수개의 음원들의 각각의 위치에서 레이(ray)를 슈팅(shooting)할 수 있다. 슈팅된 각각의 레이는 자신과 충돌된 기하구조 물체를 찾고, 충돌된 물체에 대하여 반사, 투과, 회절에 해당하는 레이를 생성할 수 있다. 이러한 과정은 재귀적으로 반복 수행될 수 있다. 이렇게 음원들에서 슈팅된 레이와 청취자에서 슈팅된 레이들은 서로 만나게 될 수 있으며, 만나게 되는 경로를 사운드 전파 경로(Sound propagation path)라고 할 수 있다. 결과적으로, 사운드 전파 경로는 음원 위치에서 출발한 사운드가 반사, 투과, 흡수, 회절 등을 거쳐서 청취자에 도착하는 유효한 경로를 의미할 수 있다. 최종 사운드는 이러한 사운드 전파 경로들을 가지고 계산될 수 있다.
한편, 사운드 전파 처리 과정은 셋업 처리(Setup processing) 단계, 레이 생성(Ray Generation) 단계, 방문/교차 테스트(Traversal/Intersection test, TnI)단계, 충돌 지점 계산(Hit Point Calculation) 단계, PPVnRGC 단계 및 IR 산출(IR calculation) 단계를 포함할 수 있다.
셋업 처리(Setup processing) 단계는 사운드 전파 유닛의 모드(SPU mode)의 전환을 제어하고, 가시성 테스트(visibility test)를 위해 청취자(listener)로부터 생성된 가이드 레이(guide ray) 정보와 음원(sound source)으로부터 생성된 리버브 레이(reverb ray) 정보를 생성하는데 필요한 정보를 설정하는 단계에 해당할 수 있다. 설정이 완료된 후, 사운드 전파 유닛의 모드(SPU mode)에 따라 셋업 처리(setup processing) 단계 자체에서 생성된 가이드 레이(guide ray) 혹은 리버브 레이(reverb ray) 정보와 PPV(S450)를 거쳐서 생성된 반사 레이(reflection ray)의 정보 중 하나를 선택해서 이를 레이 생성(ray generation) 단계로 보낼 수 있다.
레이 생성(Ray Generation) 단계에서는 셋업 처리(setup processing) 단계에서 생성된 레이(ray) 정보를 기반으로 해당 레이를 생성하고, 레이의 원점(origin)과 방향(direction)을 계산할 수 있다. 생성된 레이는 방문/교차 테스트traversal/intersection test)를 위한 입력 데이터(input data)가 저장되는 공간인 TnI 입력 버퍼(TnI input buffer)에 저장될 수 있다.
방문/교차 테스트(Traversal/Intersection test, TnI)단계에서는 레이 생성(ray generation) 단계로부터 생성된 레이를 TnI 입력 버퍼(TnI input buffer)로부터 읽어오고 가속구조(acceleration structure)에서 레이와 충돌하는 삼각형(triangle)이 있는지 검사할 수 있다. 충돌검사를 위해서, TnI 유닛(TnI unit)은 가속구조에 대한 방문(traversal)과 레이-삼각형 교차 테스트(ray-triangle intersection test)를 반복 수행할 수 있다. TnI 유닛(TnI unit)의 판별결과는 TnI 입력 버퍼(TnI output buffer)에 저장할 수 있다.
충돌 지점 계산(Hit Point Calculation) 단계에서는 TnI 입력 버퍼(TnI output buffer)로부터 전달된 결과를 기반으로 레이와 기하구조(geometry) 사이의 교차 지점(intersection point)를 계산할 수 있다. 레이가 충돌(hit)된 경우, 해당 충돌 삼각형(hit triangle) ID에 대한 삼각형 정보 데이터(triangle info. data)를 요청할 수 있다. 계산된 결과와 충돌 삼각형 정보 데이터(hit triangle info. data)는 PPVnRGC를 수행하기 위해 전달될 수 있다.
PPVnRGC 단계는 사운드 전파 시뮬레이션(sound propagation simulation)을 수행하는 핵심 기능블록으로써, 전달받은 데이터의 레이 특성에 따라 반사 사운드 경로 테스트(reflection sound path test)를 진행할지 리버브 기하 수집(reverb geometry collection)을 진행할지 결정할 수 있다. PPVnRGC 단계는 전파 경로 검증기(propagation path validator)(PPV)와 리버브 기하구조 수집기(reverb geometry collector)(RGC)로 구성될 수 있다.
PPV 단계는 직접(direct), 투과(transmission), 반사(reflection), 회절(diffraction) 사운드 경로(sound path)의 탐색을 수행하는 단계이다. 전형적으로 PPV는 회절 사운드 경로(diffraction sound path)를 찾기 위해 uniform theory diffraction method(UTD)를 사용하고, 반사 사운드 경로(reflection sound path)를 찾기 위해 이미지 소스 기법(image source method)를 사용할 수 있다. 만약 직접 사운드 경로(direct sound path) 또는 투과 사운드 경로(transmission sound path) 또는 회절 사운드 경로(diffraction sound path) 또는 반사 사운드 경로(reflection sound path)를 찾았다면, PPV는 임펄스 응답(impulse response) 계산에 필요한 정보를 생성하여 IR 계산기(IR Calculator)로 전달할 수 있다.
RGC는 리버브 시간(reverb time) 계산에 필요한 리버브 기하구조(reverb geometry) 정보를 이용할 수 있다. 리버브 시간(Reverb time)은 자연스러운 잔향음(reverb sound) 생성을 위한 중요한 요소 중 하나로써, 리버브 시간(reverb time)을 계산하기 위해 일반적으로 통계 음향 모델을 사용할 수 있다. 이 중 Eyring 모델은 단일 공간 내 에너지 붕괴(energy decay)를 계산하는 모델로 속도와 간소성을 위해 많이 사용된다. 리버브 시간(Reverb time) 계산을 위해 가이드 레이(guide ray)와 충돌된 삼각형(triangle) 정보 중 전파 경로 테스트(propagation path test)를 거쳐서 찾은 유효한 경로 삼각형(path triangle)과 리버브 레이(reverb ray)로 찾은 충돌 삼각형(hit triangle) 정보인 리버브 삼각형(reverb triangle)을 이용할 수 있다.
이 때, 경로 삼각형(path triangle)이 전부 생성되지 않았다면 리버브(reverb)를 계산할 수 없기 때문에 경로 삼각형(path triangle)의 정보가 전부 생성될 때까지 사운드 경로 모드(sound path mode)를 반복 수행할 수 있다. 경로 삼각형(Path triangle) 및 리버브 삼각형(reverb triangle)의 정보가 준비되면, 경로 삼각형(path triangle)과 리버브 삼각형(reverb triangle)에서 중복되는 삼각형 제거 및 경로 삼각형(path triangle)과 리버브 삼각형(reverb triangle) ID 비교를 효율적이고 빠르게 처리하기 위해 정렬(sorting)을 수행할 수 있다. 정렬된 경로 삼각형(path triangle)과 리버브 삼각형(reverb triangle)의 ID를 비교하여 동일한 ID에 대한 삼각형을 찾고 유효한 잔향(reverberation) 정보를 계산할 수 있다. 계산된 유효한 리버브 데이터(reverberation data)는 IR 계산기(IR calculator)로 전달될 수 있다.
최종적으로, IR 산출(IR calculation) 단계에서는 PPVnRGC 단계로부터 처리된 유효한 직접/투과(direct/transmission), 반사(reflection), 회절(diffraction) 경로(path)의 임펄스 응답(IR) 혹은 리버브 임펄스 응답(reverb IR)을 계산하여 유효 경로 버퍼(valid path buffer)에 저장할 수 있다. 유효 경로 버퍼(Valid path buffer)에 경로 데이터가 저장되면 현재 프레임(frame)에 대한 사운드 전파(sound propagation) 수행이 완료되며, 가청화(auralization) 처리 단계로 보내어질 수 있다.
도 3은 에지 회절 경로를 설명하는 도면이다.
도 3을 참조하면, 에지 회절(Edge-diffraction)은 음원(sound source)과 청취자(listener) 사이에 있는 장애물의 에지를 통해 소리가 음영 영역(shadow region)으로 넘어가는 현상을 의미할 수 있다. GA방식의 에지 회절은 Biot-Tolstoy-Medwin(BTM)과 균일 회절 이론(Uniform Theory of Diffraction, UTD) 방식으로 나뉠 수 있다. 이 중 UTD 방식이 실시간으로 달성하기 위한 적합한 방식으로 알려져 있다.
에지 회절 경로(Edge-diffraction path)를 찾기 위해서는 크게 3가지 작업이 수행될 수 있다. 첫째, 에지 검출 알고리즘을 이용하여 에지 후보들을 찾을 수 있다. 둘째, 에지 후보들이 UTD 조건에 부합하는지 검사할 수 있다. 마지막으로, UTD 조건에 맞는 에지들을 기반으로 주파수 대역(frequency-band) 기반 충돌 응답(Impulse Response, IR)를 계산할 수 있다.
첫 번째 단계인 에지 검출 단계는 계산 비용이 가장 많이 드는 단계에 해당할 수 있다. 이와 같은 이유로 기존의 솔루션은 에지 검출을 전처리(pre-processing) 단계에서 미리 처리하여 모든 에지들 중 회절이 가능한 에지 후보들을 저장할 수 있다.
두 번째 단계는 에지 후보들이 청취자의 위치 기반으로 회절 경로를 생성하는지 검사할 수 있다. 이는 청취자가 음원으로부터 직접적으로 보이지 않는 영역인 음영 영역 안에 있는지에 따라서 결정될 수 있다.
마지막으로, 위 단계들을 통과한 에지 기반으로 주파수 대역마다 IR이 계산될 수 있다. 이를 위해, 에지와 청취자와의 거리, 에지와 음원과의 거리, 에지와 삼각형들의 각도 등이 계산될 수 있다. 위 요소(factor)들이 UTD 기반에 IR 계산식에 대입되어서 최종 IR이 생성될 수 있다.
도 4는 전처리를 이용한 에지 검출 방법을 설명하는 도면이다.
도 4를 참조하면, 기존의 방식으로써 전처리(pre-processing)를 통하여 에지 검출을 수행할 수 있다. 해당 방법은 에지를 4개의 형태로 분류하고 회절이 수행 가능한 에지들을 선별할 수 있다. 그림 (a)는 에지를 공유하는 삼각형들을 나타낼 수 있다. 그림 (a)의 삼각형들은 같은 방향의 노말(normal)(즉, 화살표에 해당함)을 가질 수 있다. 이 경우 회절이 발생하지 않는 것으로 판단될 수 있다.
그림 (b)도 에지를 공유하는 삼각형들을 나타낼 수 있다. 그림 (b)의 삼각형들은 바깥쪽으로 각각 다른 방향의 노말(normal)을 가질 수 있다. 이 경우 회절이 발생하는 에지로 판단될 수 있다. 그림 (c)와 그림 (d)는 삼각형들의 노말(normal)이 안쪽으로 향하는 것을 나타낼 수 있다.
그림 (c)는 에지를 공유하는 삼각형들이 있는 경우이며, 그림 (d)는 에지를 공유하는 삼각형들이 없는 경우를 나타낼 수 있다. 그림 (c)와 그림 (d)의 경우, 장면 설계(scene design)에 따라서 유저가 직접 회절이 가능한 에지로 판단할지를 별도로 세팅할 수 있다.
위와 같은 작업은 모든 삼각형들의 에지에 대해 수행될 수 있고 에지 후보를 선별할 수 있다. 위 작업이 수행된 후, 사운드 트레이싱은 런타임(run-time)에 음원으로부터 슈팅된 레이(ray)와 충돌(hit)된 삼각형(triangle)들을 기반으로 에지 후보가 있는지 판단할 수 있다. 만약 에지 후보가 있다면, 사운드 트레이싱은 에지로부터 청취자가 음영 영역(shadow region) 안에 있는지 검사할 수 있다. 만약 음영 영역 안에 있다면, 해당 에지를 기준으로 회절 IR(diffraction IR)이 계산될 수 있다.
도 5는 본 발명에 따른 에지 검출 장치의 기능적 구성을 설명하는 도면이다.
도 5를 참조하면, 에지 검출 장치(130)는 삼각형 검출 처리부(510), 에지 검출 처리부(530) 및 제어부(550)를 포함할 수 있다.
삼각형 검출 처리부(510)는 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출할 수 있다. 즉, 삼각형 검출 처리부(510)는 사운드 트레이싱 과정의 사운드 전파(sound propagation) 단계를 수행할 수 있으며, 사운드 전파 단계는 레이의 생성, 탐색 및 충돌 검사를 순차적으로 수행하는 단계에 해당할 수 있다.
일 실시예에서, 삼각형 검출 처리부(510)는 원점(origin) 및 방향(direction)을 정의하여 레이를 생성하고, 음원이 위치하는 3차원 공간에 관한 가속구조(Acceleration Structure, AS)를 탐색하며, 가속구조의 삼각형들을 탐색하면서 레이와 삼각형 간의 교차 테스트(intersection test)를 수행하여 충돌 삼각형(hit triangle)들을 결정할 수 있다. 이때, 가속구조는 정적 장면 및 동적 장면에 대해 독립적으로 생성될 수 있다. 삼각형 검출 처리부(510)는 삼각형 검출 단계를 통해 레이와 충돌된 충돌 삼각형들을 찾을 수 있으며, 삼각형 검출 단계가 완료된 이후 충돌 삼각형들을 기초로 에지 검출 단계가 수행될 수 있다.
에지 검출 처리부(530)는 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)를 산출하고 음원 또는 청취자를 기준으로 적어도 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 에지 포인트에서의 회절 여부를 결정할 수 있다. 에지 검출 단계는 에지 포인트를 산출하는 과정과, 테스트 레이(test ray)를 생성하는 과정 및 테스트 레이에 관한 교차 테스트를 수행하는 과정을 포함할 수 있다. 일 실시예에서, 에지 검출 처리부(530)는 충돌 삼각형들 각각에 대해 에지 검출 단계를 반복적으로 수행할 수 있다. 즉, 에지 검출 단계는 충돌 삼각형마다 반복적으로 수행될 수 있으며, 삼각형 검출 단계에서 검출된 충돌 삼각형들 모두에 대해 에지 검출 단계가 수행 완료되면 해당 장면에 대한 최종 사운드가 생성될 수 있다.
일 실시예에서, 에지 검출 처리부(530)는 충돌 삼각형과 인접 삼각형 사이의 에지를 결정하고, 에지 상의 점들 중에서 음원 및 청취자 사이의 직선과 가장 가까운 점을 에지 포인트로서 결정하며, 에지 포인트로부터 특정 방향으로 소정의 값만큼 이동하여 적어도 하나의 서브 에지 포인트(sub-edge point)를 생성할 수 있다. 일 실시예에서, 에지 검출 처리부(530)는 청취자로부터 제1 서브 에지 포인트를 향해 출발하는 제1 테스트 레이를 생성하고, 청취자로부터 제2 서브 에지 포인트를 향해 출발하는 제2 테스트 레이를 생성하며, 음원으로부터 제2 서브 에지 포인트를 향해 출발하는 제3 테스트 레이를 생성할 수 있다.
일 실시예에서, 에지 검출 처리부(530)는 제1 테스트 레이가 충돌 삼각형과 충돌하고 제2 및 제3 테스트 레이들이 충돌 삼각형과 충돌하지 않는 경우 에지 포인트에서 회절을 결정할 수 있다. 이에 대해서는 도 6을 통해 보다 자세히 설명한다.
일 실시예에서, 에지 검출 처리부(530)는 에지 및 직선을 각각 제1 및 제2 벡터방정식들로 표현하고, 에지 및 직선의 시작점들을 연결하는 제1 벡터와 에지 및 직선 사이의 가장 가까운 점들을 연결하는 제2 벡터를 정의하며, 제1 벡터방정식의 u 벡터의 크기를 미지수로 정의하여 에지 포인트를 벡터 방정식으로 표현하고, 에지 및 직선 각각과 제2 벡터 사이의 내적 연산(dot product)을 통해 미지수를 산출하여 에지 포인트를 산출할 수 있다. 일 실시예에서, 에지 검출 처리부(530)는 에지 포인트를 기준으로 특정 방향에 따라 양의 방향 및 음의 방향으로 각각 소정의 값만큼 이동하여 서로 다른 2개의 서브 에지 포인트들을 생성할 수 있다. 일 실시예에서, 에지 검출 처리부(530)는 2개의 서브 에지 포인트들 중에서 청취자와 가까우면 제1 서브 에지 포인트로 결정하고 음원과 가까우면 제2 서브 에지 포인트로 결정할 수 있다. 이에 대해서는 도 7 및 8을 통해 보다 자세히 설명한다.
제어부(550)는 에지 검출 장치(130)의 전체적인 동작을 제어하고, 삼각형 검출 처리부(510) 및 에지 검출 처리부(530) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 6은 본 발명에 따른 에지 검출 과정을 설명하는 도면이다.
도 6을 참조하면, 왼쪽 삼각형(610)은 삼감형 검출(triangle-detection)로부터 전달받은 충돌 삼각형이며, 오른쪽 삼각형(620)은 왼쪽 삼각형(610)과 에지(edge)를 공유하는 인접 삼각형에 해당할 수 있다. L(640)은 청취자 위치, S(630)는 음원 위치, 빨간 원은 에지 포인트(edge-point), 빗금친 원은 서브 에지 포인트(sub-edge point)를 각각 나타낼 수 있다. 각 삼각형으로부터 위 방향의 화살표는 삼각형 노말(triangle normal)이고 왼쪽 방향의 화살표는 삼각형 노말(triangle normal)에 수직인 노말(normal perpendicular to the triangle normal)이다.
에지 포인트는 에지 위의 점들 중 L(640)과 S(630)를 이은 직선(LS 직선)로부터 가장 가까운 점으로 정의될 수 있다. 서브 에지 포인트는 에지 포인트로부터 특정 방향으로 엡실론(epsilon, 즉 매우 작은 값)만큼 더한 값인 '서브 에지 포인트+'와 뺀 값인 '서브 에지 포인트-'로 각각 구분될 수 있다. 이 값들은 회절(diffraction)이 가능한 에지인지를 판단할 때 매우 중요하게 사용될 수 있다. 특정 방향은 삼각형 노말(triangle normal)의 수직인 노말을 사용할 수 있다. 해당 수직인 노말은 삼각형 노말과 에지와의 외적(cross product)을 이용해 계산될 수 있다. 만약 서브 에지 포인트가 L과 가깝다면 서브 에지 포인트-(sub-edge point-)라고 정의되고 그렇지 않다면 서브 에지 포인트+(sub-edge point+)라고 정의될 수 있다. 이때, 서브 에지 포인트-는 제1 서브 에지 포인트에 해당할 수 있고, 서브 에지 포인트+는 제2 서브 에지 포인트에 해당할 수 있다.
도 6에서, 레이 (1), (2) 및 (3)은 에지 검출을 수행하기 위한 레이들이다. 레이 (1)은 L(640)로부터 서브 에지 포인트-까지 슈팅한 레이이다. 레이 (2)는 L(640)로부터 서브 에지 포인트+까지 슈팅한 레이이다. 마지막으로 레이 (3)은 S(630)로부터 서브 에지 포인트+까지 슈팅한 레이이다. 즉, 레이 (1), (2) 및 (3)은 각각 제1 내지 제3 테스트 레이에 대응될 수 있다.
에지 검출의 핵심 아이디어는 먼저 레이와 충돌(hit)된 삼각형에 대해서 에지 포인트를 계산하고, 해당 값을 기반으로 서브 에지 포인트-와 서브 에지 포인트+를 계산할 수 있으며, 이를 통하여 레이 (1), (2) 및 (3)을 각각 산출할 수 있다. 만약, 도 6에서의 레이 (1)은 삼각형에 충돌되고 레이 (2)와 (3)은 충돌되지 않으면 해당 에지는 회절이 발생될 수 있는 에지로 판정될 수 있다.
도 7 및 8은 본 발명에 따른 에지 포인트의 산출 과정을 설명하는 도면이다.
도 7의 경우, 에지 포인트를 산출하기 위하여 도 6에서의 에지 직선(710)와 LS 직선(730)을 탑뷰(top-view)로 도시하고 있다. 즉, LS 직선(730)과 에지 직선(710)은 각각 직선에 대응되는 벡터방정식으로 표현될 수 있다. LS 직선(730)은 (L→S) 방향의 v벡터, 벡터의 크기인 t, 시작점 를 통해 로 표현될 수 있다. 에지 직선(710)은 () 방향의 u벡터, 벡터의 크기인 s, 시작점 를 통해 로 표현될 수 있다.
도 8을 참조하면, 도 7을 프론트뷰(front-view)로 도시하고 있으며, 두 직선 사이의 가장 가까운 점(에지 기준으로 빨간 원)을 찾는 실시예를 나타낼 수 있다. 는 LS 직선과 에지 직선의 시작점끼리 연결한 벡터이다. 즉, 로부터 로 향하는 벡터이다. 는 두 직선 사이의 가장 가까운 두 개의 점을 이은 벡터이다.
또한, 에지 포인트를 벡터 방정식으로 표현하기 위해 u 벡터의 크기는 미지수 로 정의될 수 있다. 즉, 에지 포인트는 로 표현될 수 있다. 만약 미지수인 의 값을 구할 수 있다면, 에지 포인트가 계산될 수 있다.
두 직선 사이의 가장 가까운 점은 두 직선이 와 서로 수직이 되는 지점일 수 있다. 두 직선이 서로 수직이라는 것은 직선들 간의 내적(dot product) 값이 0이라는 것을 의미할 수 있다. 이와 같은 특성을 이용하면 의 값이 산출될 수 있다.
도 9는 본 발명에 따른 에지 검출 과정을 설명하는 순서도이다.
도 9를 참조하면, 먼저 삼각형 검출(Triangle-detection)이 수행되어 음원으로부터 슈팅한 레이와 충돌되는 삼각형들을 찾을 수 있다(S910). 그 이후에 본 발명에 따른 에지 검출이 수행될 수 있다. 에지 포인트 산출(Edge-point calculation) 단계에서는 위에서 설명했듯이 충돌된 삼각형에 대한 에지 포인트, 서브 에지 포인트+(Sub-edge point+) 및 서브 에지 포인트-(Sub-edge point-)를 계산될 수 있다. 그 후, 해당 정보를 기반으로 해당 에지가 회절이 수행 가능한지 검사할 수 있다. 이를 위해 LSE-I, LSE+I, SSE+I 단계가 순서대로 수행될 수 있다(S930). 해당 과정은 에지 검출(Edge-detection)에 해당할 수 있으며, 삼각형 검출(S910)을 통해 검출된 삼각형들 각각에 대해 반복적으로 수행될 수 있다.
보다 구체적으로, LSE-I는 도 6의 레이 (1)에 해당하는 과정으로써, 청취자로부터 서브 에지 포인트-(Sub-edge point-) 방향으로 레이를 슈팅하고 교차 테스트(intersection-test)를 수행할 수 있다. 만약 슈팅된 레이가 어떠한 삼각형과 충돌된다면, 해당 교차 테스트는 성공한 것으로 판단하고 다음 단계로 진행하여 LSE+I가 수행될 수 있다. 그렇지 않은 경우 알고리즘은 종료될 수 있다.
LSE+I는 도 6의 레이 (2)에 해당하는 과정으로써, 청취자로부터 서브 에지 포인트+(Sub-edge point+) 방향으로 레이를 슈팅하고 교차 테스트를 수행할 수 있다. 만약 슈팅된 레이가 어떠한 삼각형과 충돌된다면, 해당 교차 테스트는 성공한 것으로 판단하고 다음 단계로 진행하여 SSE+I가 수행될 수 있다. 그렇지 않은 경우 알고리즘은 종료될 수 있다.
SSE+I는 도 6의 레이 (3)에 해당하는 과정으로써, 음원으로부터 서브 에지 포인트+(Sub-edge point+) 방향으로 레이를 슈팅하고 교차 테스트를 수행할 수 있다. 만약 슈팅된 레이가 어떠한 삼각형과 충돌되지 않는다면, 해당 교차 테스트는 성공한 것으로 판단하며 최종적으로 해당 에지를 회절이 수행 가능한 에지로 판단할 수 있다. 이러한 일련의 작업은 삼각형 검출(Triangle-detection) 단계(S910)를 통해 계산된 모든 삼각형들에 대해 수행될 수 있다.
본 발명에 따른 에지 검출 방법은 동적 장면에서 런타임에 회절이 수행 가능한 에지를 찾는다는 차별요소를 가질 수 있다. 기존의 사운드 트레이싱은 전처리 단계에서 에지 후보들을 계산하고 저장하기 때문에 동적 장면에서 대응이 불가능한 반면, 본 발명에 따른 방법은 매프레임마다 에지들을 찾음으로써 동적 장면에서도 대응이 가능할 수 있다. 이를 통해, 동적 장면에서 사용자들은 더 높은 현실감과 몰입감 있는 사운드를 전달받을 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
500: 에지 검출 장치
510: 삼각형 검출 처리부 530: 에지 검출 처리부;
550: 제어부
610: 왼쪽 삼각형 620: 오른쪽 삼각형
630: S(음원 위치) 640: L(청취자 위치)
710: 에지 직선 730: LS 직선

Claims (14)

  1. 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출하는 삼각형 검출(triangle-detection) 단계; 및
    상기 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)와 서브 에지 포인트를 산출하고 상기 음원 또는 청취자를 기준으로 상기 적어도 에지 포인트와 서브 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 상기 에지 포인트에서의 회절 여부를 결정하는 에지 검출(edge-detection) 단계;를 포함하되,
    상기 에지 검출 단계는 충돌 삼각형과 인접 삼각형 사이의 에지를 결정하는 단계; 상기 에지 상의 점들 중에서 상기 음원 및 상기 청취자 사이의 직선과 가장 가까운 점을 상기 에지 포인트로서 결정하는 단계; 및 상기 에지 포인트를 기준으로 특정 방향에 따라 양의 방향 및 음의 방향으로 각각 소정의 값만큼 이동하여 서로 다른 2개의 서브 에지 포인트(sub-edge point)들을 생성하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  2. 제1항에 있어서, 상기 삼각형 검출 단계는
    원점(origin) 및 방향(direction)을 정의하여 상기 레이를 생성하는 단계;
    상기 음원이 위치하는 3차원 공간에 관한 가속구조(AS)를 탐색하는 단계; 및
    상기 가속구조의 삼각형들을 탐색하면서 상기 레이와 삼각형 간의 교차 테스트를 수행하여 상기 충돌 삼각형들을 결정하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 에지 검출 단계는
    상기 에지 및 상기 직선을 각각 제1 및 제2 벡터방정식들로 표현하는 단계;
    상기 에지 및 상기 직선의 시작점들을 연결하는 제1 벡터와 상기 에지 및 상기 직선 사이의 가장 가까운 점들을 연결하는 제2 벡터를 정의하는 단계;
    상기 제1 벡터방정식의 u 벡터의 크기를 미지수로 정의하여 상기 에지 포인트를 벡터 방정식으로 표현하는 단계; 및
    상기 에지 및 상기 직선 각각과 상기 제2 벡터 사이의 내적 연산(dot product)을 통해 상기 미지수를 산출하여 상기 에지 포인트를 산출하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  5. 삭제
  6. 제1항에 있어서, 상기 에지 검출 단계는
    상기 2개의 서브 에지 포인트들 중에서 상기 청취자와 가까우면 제1 서브 에지 포인트로 결정하고 상기 음원과 가까우면 제2 서브 에지 포인트로 결정하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  7. 제6항에 있어서, 상기 에지 검출 단계는
    상기 청취자로부터 상기 제1 서브 에지 포인트를 향해 출발하는 제1 테스트 레이를 생성하는 단계;
    상기 청취자로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제2 테스트 레이를 생성하는 단계; 및
    상기 음원으로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제3 테스트 레이를 생성하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  8. 제7항에 있어서, 상기 에지 검출 단계는
    상기 제1 테스트 레이가 상기 충돌 삼각형과 충돌하고 상기 제2 및 제3 테스트 레이들이 상기 충돌 삼각형과 충돌하지 않는 경우 상기 에지 포인트에서 회절을 결정하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  9. 제1항에 있어서, 상기 에지 검출 단계는
    상기 충돌 삼각형들 각각에 대해 반복적으로 수행되는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  10. 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출하는 삼각형 검출(triangle-detection) 처리부; 및
    상기 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)와 서브 에지 포인트를 산출하고 상기 음원 또는 청취자를 기준으로 상기 적어도 에지 포인트와 서브 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 상기 에지 포인트에서의 회절 여부를 결정하는 에지 검출(edge-detection) 처리부;를 포함하되,
    상기 에지 검출 처리부는 충돌 삼각형과 인접 삼각형 사이의 에지를 결정하고 상기 에지 상의 점들 중에서 상기 음원 및 상기 청취자 사이의 직선과 가장 가까운 점을 상기 에지 포인트로서 결정하며, 상기 에지 포인트를 기준으로 특정 방향에 따라 양의 방향 및 음의 방향으로 각각 소정의 값만큼 이동하여 서로 다른 2개의 서브 에지 포인트들을 생성하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 장치.
  11. 삭제
  12. 삭제
  13. 제10항에 있어서, 상기 에지 검출 처리부는
    상기 2개의 서브 에지 포인트들 중에서 상기 청취자와 가까우면 제1 서브 에지 포인트로 결정하고 상기 음원과 가까우면 제2 서브 에지 포인트로 결정하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 장치.
  14. 제13항에 있어서, 상기 에지 검출 처리부는
    상기 청취자로부터 상기 제1 서브 에지 포인트를 향해 출발하는 제1 테스트 레이, 상기 청취자로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제2 테스트 레이, 및 상기 음원으로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제3 테스트 레이를 기초로 상기 에지 포인트에서 회절을 결정하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 장치.
KR1020210183124A 2021-12-20 2021-12-20 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치 KR102620729B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210183124A KR102620729B1 (ko) 2021-12-20 2021-12-20 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치
PCT/KR2022/015087 WO2023120902A1 (ko) 2021-12-20 2022-10-07 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210183124A KR102620729B1 (ko) 2021-12-20 2021-12-20 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230094002A KR20230094002A (ko) 2023-06-27
KR102620729B1 true KR102620729B1 (ko) 2024-01-05

Family

ID=86902791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183124A KR102620729B1 (ko) 2021-12-20 2021-12-20 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102620729B1 (ko)
WO (1) WO2023120902A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102019179B1 (ko) * 2018-12-19 2019-09-09 세종대학교산학협력단 사운드 트레이싱 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101076807B1 (ko) * 2009-05-29 2011-10-25 주식회사 실리콘아츠 레이 트레이싱 장치 및 방법
KR101828908B1 (ko) 2016-12-28 2018-02-13 세종대학교 산학협력단 사운드 트레이싱 장치 및 방법
KR101955552B1 (ko) * 2017-11-29 2019-03-07 세종대학교 산학협력단 사운드 트레이싱 코어 및 이를 포함하는 사운드 트레이싱 시스템
KR102117932B1 (ko) * 2018-12-26 2020-06-02 세종대학교산학협력단 사운드 트레이싱 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102019179B1 (ko) * 2018-12-19 2019-09-09 세종대학교산학협력단 사운드 트레이싱 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Carl Schissler 외 2명. Fast diffraction pathfinding for dynamic sound propagation. ACM Transactions on Graphics, Volume 40, Issue 4, 2021.08.31. 1부.*

Also Published As

Publication number Publication date
WO2023120902A1 (ko) 2023-06-29
KR20230094002A (ko) 2023-06-27

Similar Documents

Publication Publication Date Title
CN112106385B (zh) 一种用于声音建模和呈现的系统
Taylor et al. Guided multiview ray tracing for fast auralization
KR102174598B1 (ko) 회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템
US10382881B2 (en) Audio system and method
KR102197067B1 (ko) 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치
US11924626B2 (en) Sound tracing apparatus and method
KR20220162718A (ko) 격자 경로 찾기를 기초로 하는 회절 모델링
KR20150039496A (ko) 이전 렌더링의 결과를 이용하여 광선을 추적하는 방법 및 장치
EP4101182A1 (en) Augmented reality virtual audio source enhancement
KR102252374B1 (ko) 광선 추적 유닛 및 광선 데이터를 처리하는 방법
KR102620729B1 (ko) 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치
Taylor et al. Fast edge-diffraction for sound propagation in complex virtual environments
KR20110051315A (ko) 영상 처리 장치 및 방법
KR102019179B1 (ko) 사운드 트레이싱 장치 및 방법
KR101955552B1 (ko) 사운드 트레이싱 코어 및 이를 포함하는 사운드 트레이싱 시스템
KR20170048003A (ko) 가속 구조를 생성하는 방법 및 장치
KR102494851B1 (ko) 사운드 전파 성능 향상을 위한 사운드 트레이싱 방법
KR102474824B1 (ko) 사운드 전파 성능 향상을 위한 사운드 트레이싱 장치
KR101885887B1 (ko) 사운드 트레이싱 장치, 방법 및 기록매체
Liu et al. Visibility preprocessing suitable for virtual reality sound propagation with a moving receiver and multiple sources
Moreira et al. An Architecture Using a Finite Difference Method to Calculate Realistic Sound Equalization in Games
Chandak Efficient geometric sound propagation using visibility culling
US20230199418A1 (en) Sound tracing method and device to improve sound propagation performance
TWI797587B (zh) 基於柵格路徑尋找之繞射模型化
US20230224661A1 (en) Method and apparatus for rendering object-based audio signal considering obstacle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right