KR101790137B1 - 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체 - Google Patents

컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체 Download PDF

Info

Publication number
KR101790137B1
KR101790137B1 KR1020160041857A KR20160041857A KR101790137B1 KR 101790137 B1 KR101790137 B1 KR 101790137B1 KR 1020160041857 A KR1020160041857 A KR 1020160041857A KR 20160041857 A KR20160041857 A KR 20160041857A KR 101790137 B1 KR101790137 B1 KR 101790137B1
Authority
KR
South Korea
Prior art keywords
sound
propagation path
sink
change
rate
Prior art date
Application number
KR1020160041857A
Other languages
English (en)
Other versions
KR20160121778A (ko
Inventor
박우찬
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to PCT/KR2016/003749 priority Critical patent/WO2016163833A1/ko
Publication of KR20160121778A publication Critical patent/KR20160121778A/ko
Application granted granted Critical
Publication of KR101790137B1 publication Critical patent/KR101790137B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

컴퓨터 실행 가능한 사운드 트레이싱 방법은 (a) 사운드 소스의 위치와 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 단계, (b) 상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 단계 및 (c) 상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 단계를 포함 한다. 따라서, 사운드 트레이싱 방법은 사운드의 투과, 흡수, 반사, 굴절 또는 회절 효과를 자연적으로 제공하여 현실감 있는 3D 사운드를 제공할 수 있다.

Description

컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체{COMPUTER-EXECUTABLE SOUND TRACING METHOD, APPARATUS PERFORMING THE SAME AND STORAGE MEDIA STORING THE SAME}
본 발명은 사운드 트레이싱 기술에 관한 것으로, 보다 상세하게는, 투과, 흡수, 반사, 굴절 또는 회절 등의 사운드 효과를 실현하여 현실감 있는 사운드 환경을 구축할 수 있는 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체에 관한 것이다.
3차원 사운드 기술은 컴퓨팅에 저장된 기하 데이터(Geometric Data)의 3차원 표현을 사용하는 사운드 기술로, 오늘날 영화, 게임 산업 및 가상 현실 분야에서 널리 사용되고 있다. 일반적으로 3차원 그래픽 기술은 많은 연산량으로 인하여 별개의 고성능 그래픽 프로세서를 요구한다. 특히, 최근 프로세서의 발전에 따라 현실적인 3차원 사운드를 생성할 수 있는 사운드 트레이싱(Sound Tracing) 기술이 연구되고 있다.
사운드 트레이싱(Sound Tracing) 기술은 레이 트레이싱(Ray Tracing)의 원리를 사운드에 적용한 방식으로, 다른 물체에서 투과, 흡수, 반사, 굴절 또는 회절된 사운드가 청자(또는 사운드 싱크)에 미치는 영향을 고려하여 투과, 흡수, 반사, 굴절 또는 회절 효과가 자연적으로 제공되기 때문에 현실감 있는 3D 사운드를 생성할 수 있다.
한국등록특허 제10-1107120호는 음원 추적 및 객체 인식 방법에 관한 것으로, 복수의 마이크로폰들이 구비된 마이크로폰 어레이를 이용하여 음원이 발생한 방향을 계산하고 해당 방향으로 카메라를 회전시켜 객체를 확인하는 장치 및 방법에 대하여 개시한다.
한국등록특허 제10-1369139호는 음원 위치 추적 방법 및 장치에 관한 것으로, 음원 신호를 수신하여 디지털 신호로 변환하고 디지털 신호를 주파수 영역 신호로 변환하며, 신뢰도가 작은 산출 결과를 제거하고 음원의 시간차를 산출하여 산출 결과를 기초로 음원의 위치를 추적하는 음원 위치 추적 방법에 대하여 개시한다.
한국등록특허 제10-1107120호 (2012. 01. 11 등록) 한국등록특허 제10-1369139호 (2014. 02. 24 등록)
본 발명의 일 실시예는 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치가 변경되지 않는 경우, 반복되는 사운드 전파 경로의 생성 과정을 생략하여 컴퓨터의 연산량을 감소시키는 사운드 트레이싱 방법을 제공하고자 한다.
본 발명의 일 실시예는 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치가 변경되지 않는 경우, 오프라인 처리를 통해 생성된 사운드 전파 경로를 기초로 사운드에 대한 가청화를 온라인 처리하는 사운드 트레이싱 방법을 제공하고자 한다.
본 발명의 일 실시예는 사운드의 투과, 흡수, 반사, 굴절 또는 회절 효과를 자연적으로 제공하여 현실감 있는 3D 사운드를 제공하는 사운드 트레이싱 방법을 제공하고자 한다.
실시예들 중에서, 컴퓨터 실행 가능한 사운드 트레이싱 방법은 (a) 사운드 소스의 위치와 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 단계, (b) 상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 단계 및 (c) 상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 단계를 포함한다.
일 실시예에서, 상기 (b) 단계는 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 또는 상기 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하면, 상기 사운드 소스, 상기 적어도 하나의 객체 및 상기 사운드 싱크 간에 형성되는 사운드 전파 경로를 재생성하는 단계를 포함할 수 있다. 상기 (b) 단계는 상기 생성된 사운드 전파 경로를 메모리부에 저장하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (c) 단계는 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 상기 사운드 전파 경로를 생성하는 과정을 생략하고 상기 메모리부에 저장된 사운드 전파 경로를 불러오는 단계를 포함할 수 있다. 상기 (b) 단계는 상기 가청화를 수행하는 단계로부터 독립적으로 상기 적어도 하나의 사운드 전파 경로를 생성하여 상기 메모리부에 저장하는 과정을 미리 오프라인 처리하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (c) 단계는 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 상기 오프라인 처리를 통해 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화를 온라인 처리하는 단계를 포함할 수 있다.
상기 (a) 단계는 상기 디스플레이 화면에 존재하는 적어도 하나의 객체 중 사운드 발생 객체를 검출하는 단계를 포함할 수 있다. 일 실시예에서, 상기 (a) 단계는 상기 사운드 소스가 디스플레이 화면 내에 존재하지 않는 경우, 기하 데이터 내의 특정 객체를 사운드 발생 객체로 지정하고, 상기 지정된 사운드 발생 객체의 위치를 가상 사운드 소스의 위치로 결정하는 단계를 포함할 수 있다.
상기 (b) 단계는 상기 사운드 소스로부터 출력될 수 있는 주요 사운드(Primary Sound) 및 상기 적어도 하나의 객체를 통해 유도되는 적어도 하나의 파생 사운드(Secondary Sound)를 합성하여 상기 적어도 하나의 사운드 전파 경로를 생성하는 단계를 포함할 수 있다. 상기 (b) 단계는 상기 사운드 소스의 속성 또는 상기 적어도 하나의 객체의 물질 속성(사운드의 투과, 흡수, 반사, 굴절 또는 회절 경로를 결정)을 기초로 상기 주요 사운드 및 상기 적어도 하나의 파생 사운드를 합성하는 방식을 결정하는 단계를 포함할 수 있다.
상기 (b) 단계는 상기 생성되는 사운드 전파 경로의 개수를 조절하여 사운드의 출력을 제어하는 단계를 포함할 수 있다. 상기 (c) 단계는 제1 채널에 대한 상기 사운드 전파 경로를 제어하고 제2 채널에 대한 가청화를 수행하여 채널을 변환하는 단계를 포함할 수 있다.
실시예들 중에서, 사운드 트레이싱 장치는 사운드 소스의 위치를 결정하는 소스 위치 결정부, 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 싱크 위치 결정부 및 상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 전파 경로 생성부를 포함한다.
상기 사운드 트레이싱 장치는 상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 가청화 수행부를 더 포함할 수 있다.
실시예들 중에서, 사운드 트레이싱 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체는 사운드 소스의 위치와 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 기능, 상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 기능 및 상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 기능을 포함한다.
본 발명의 일 실시예에 따른 사운드 트레이싱 방법은 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치가 변경되지 않는 경우, 반복되는 사운드 전파 경로의 생성 과정을 생략하여 컴퓨터의 연산량을 감소시킬 수 있다.
본 발명의 일 실시예에 따른 사운드 트레이싱 방법은 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치가 변경되지 않는 경우, 오프라인 처리를 통해 생성된 사운드 전파 경로를 기초로 사운드에 대한 가청화를 온라인 처리할 수 있다.
본 발명의 일 실시예에 따른 사운드 트레이싱 방법은 사운드의 투과, 흡수, 반사, 굴절 또는 회절 효과를 자연적으로 제공하여 현실감 있는 3D 사운드를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사운드 트레이싱 장치를 설명하는 블록도이다.
도 2는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 트레이싱 의 원리를 설명하는 도면이다.
도 3은 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 트레이싱 과정을 설명하는 순서도이다.
도 4는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 따른 사운드 트레이싱 과정을 설명하는 순서도이다.
도 5는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 전파 경로의 제어에 따른 사운드 트레이싱 과정을 설명하는 순서도이다.
도 6은 도 1에 있는 사운드 트레이싱 장치에서 수행된 사운드 트레이싱 실시예를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 사운드 트레이싱 장치를 설명하는 블록도이다.
도 1을 참조하면, 사운드 트레이싱 장치(100)는 소스 위치 결정부(110), 싱크 위치 결정부(120), 전파 경로 생성부(130), 가청화 수행부(140), 사운드 출력부(150), 메모리부(160) 및 제어부(170)를 포함한다.
소스 위치 결정부(110)는 적어도 하나의 객체를 포함하는 디스플레이 화면에서 사운드 소스의 위치를 결정할 수 있다. 소스 위치 결정부(110)는 디스플레이 화면에 존재하는 적어도 하나의 객체 중 사운드 발생 객체를 검출할 수 있다. 여기에서, 사운드 소스는 적어도 하나의 객체 중 사운드를 발생시키는 사운드 발생 객체에 해당할 수 있다. 사운드 발생 객체는 디스플레이 화면 내에 존재할 수 있다. 일 실시예에서, 사운드 발생 객체가 디스플레이 화면 내에 존재하는 경우, 소스 위치 결정부(110)는 사운드 발생 객체를 검출하여, 사운드 소스의 위치를 결정할 수 있다. 적어도 하나의 사운드 소스가 디스플레이 화면 내에 존재하는 경우, 소스 위치 결정부(110)는 각각의 사운드 소스의 위치, 방향, 종류 및 특성을 결정할 수 있다. 또한, 소스 위치 결정부(110)는 사운드 소스의 위치 변경을 감지하여 사운드 소스의 위치, 방향, 종류 및 특성을 다시 결정할 수 있다.
싱크 위치 결정부(120)는 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정할 수 있다. 사운드 싱크는 사운드가 도달하는 최종 목적지에 해당할 수 있다. 일 실시예에서, 사운드 싱크의 위치는 실시간으로 변경될 수 있고, 사운드 전파 경로는 사운드 싱크의 위치 변화에 대응하여 재생성될 수 있다.
전파 경로 생성부(130)는 사운드 소스에서 출력되고 적어도 하나의 객체 각각에 의하여 유도되는 사운드 전파 경로를 생성하고, 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리할 수 있다. 여기에서, 사운드 전파 경로는 적어도 하나의 객체에 의하여 투과, 흡수, 반사, 굴절 또는 회절을 통해 유도되는 사운드의 경로를 의미한다. 또한, 사운드 전파 경로는 사운드 소스로부터 출력되어 사운드 싱크에 도달한 사운드의 경로에 해당할 수 있다. 즉, 전파 경로 생성부(130)는 사운드 소스에서 출력되고 사운드 싱크에 도달하기 위한 사운드 전파 경로를 생성할 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 사운드 소스의 위치 관점에서 적어도 하나의 객체를 통해 유도되는 파생 사운드(Secondary Sound)를 생성할 수 있다. 파생 사운드(Secondary Sound)는 사운드 소스로부터 출력된 주요 사운드(Primary Sound)가 적어도 하나의 객체에 의하여 유도된 사운드를 의미한다. 즉, 전파 경로 생성부(130)는 파생 사운드의 전파 경로를 생성하여 가청화 수행부(140)에 제공할 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 적어도 하나의 객체의 물질 속성(Material Property)을 갖는 3차원 기하 데이터를 사용할 수 있다. 객체의 물질 속성은 사운드의 투과, 흡수, 반사, 굴절 또는 회절 경로를 결정할 수 있다. 즉, 각각의 객체들은 고유의 물질 속성을 보유할 수 있고, 기하 데이터는 물질 속성에 의한 사운드의 투과, 흡수, 반사, 굴절 및 회절 경로에 대한 정보를 포함할 수 있다. 또한, 기하 데이터는 적어도 하나의 객체의 위치 및 개수에 대한 정보를 포함할 수 있다. 전파 경로 생성부(130)는 기하 데이터를 기초로 파생 사운드를 생성할 수 있다.
전파 경로 생성부(130)는 사운드 소스로부터 출력될 수 있는 주요 사운드(Primary Sound) 및 적어도 하나의 객체를 통해 유도되는 적어도 하나의 파생 사운드(Secondary Sound)를 합성하여 적어도 하나의 사운드 전파 경로를 생성할 수 있다. 여기에서, 주요 사운드는 투과, 흡수, 반사, 굴절 및 회절되지 않고 사운드 소스로부터 직접 전송된 사운드를 의미한다. 사운드 소스 및 사운드 싱크 사이에 방해 객체가 존재하지 않는 경우, 주요 사운드는 사운드 싱크에 도달할 수 있고, 전파 경로 생성부(130)는 주요 사운드 및 적어도 하나의 파생 사운드를 합성할 수 있다. 하지만, 사운드 소스 및 사운드 싱크 사이에 방해 객체가 존재하는 경우, 파생 사운드만이 사운드 싱크에 도달할 수 있고, 전파 경로 생성부(130)는 적어도 하나의 파생 사운드를 합성할 수 있다. 즉, 전파 경로 생성부(130)는 주요 사운드 및 적어도 하나의 파생 사운드를 합성하여 적어도 하나의 사운드 전파 경로를 생성할 수 있다. 전파 경로 생성부(130)는 생성된 사운드 전파 경로를 메모리부(160)에 저장할 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 사운드 소스의 속성을 기초로 주요 사운드 및 적어도 하나의 파생 사운드를 합성하는 방식을 결정할 수 있다. 여기에서, 사운드 소스의 속성은 소스의 위치, 소리의 세기, 감쇠율 및 방향성에 해당할 수 있다. 사용자는 사운드 소스의 속성에 관련한 사운드 합성 방식을 미리 설정할 수 있다. 전파 경로 생성부(130)는 소스 위치 결정부(110)에 의하여 결정된 사운드 소스의 속성을 수신할 수 있고, 기 설정된 방식에 의하여 주요 사운드 및 적어도 하나의 파생 사운드를 합성할 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 적어도 하나의 객체의 물질 속성을 기초로 주요 사운드 및 적어도 하나의 파생 사운드를 합성하는 방식을 결정할 수 있다. 사용자는 적어도 하나의 객체의 물질 속성에 관련한 사운드 합성 방식을 미리 설정할 수 있다. 전파 경로 생성부(130)는 메모리부(160)로부터 적어도 하나의 객체에 대한 물질 속성을 수신할 수 있고, 기 설정된 방식에 의하여 주요 사운드 및 적어도 하나의 파생 사운드를 합성할 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 디스플레이 화면(220)에 대한 영상 처리를 미리 수행하여 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리할 수 있다. 예를 들어, 전파 경로 생성부(130)는 사운드 트레이싱의 프레임보다 앞선 프레임에서 영상 처리를 수행할 수 있고, 해당 영상 처리를 기초로 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률을 미리 검출할 수 있다. 따라서, 전파 경로 생성부(130)는 디스플레이 화면(220)에 대한 영상 처리를 미리 수행하여 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 대한 연산량을 감소시킬 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 디스플레이 화면(220)에 대한 영상 처리를 미리 수행하여 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 사운드에 대한 변경 스케일을 제어할 수 있다. 예를 들어, 사운드 소스의 위치, 사운드 싱크의 위치 또는 적어도 하나의 객체의 위치가 디스플레이 화면(220)을 기준으로 0.1R만큼 이동하면, 전파 경로 생성부(130)는 사운드의 위치 변경 스케일을 0.1k*R(k는 사운드 팩터)로 증가시켜 위치 변경을 효율적으로 검출할 수 있다.
가청화 수행부(140)는 생성된 사운드 전파 경로를 기초로 사운드에 대한 가청화(Auralization)를 수행할 수 있다. 일 실시예에서, 가청화 수행부(140)는 제1 채널에 대한 사운드 전파 경로를 제어하고 제2 채널에 대한 가청화를 수행하여 채널을 변환할 수 있다. 보다 구체적으로, 가청화 수행부(140)는 전파 경로 생성부(130)에 의하여 생성된 제1 채널에 대한 사운드 전파 경로를 제어할 수 있다. 가청화 수행부(140)는 제어된 사운드 전파 경로를 기초로 주요 사운드 및 파생 사운드를 합성하여 제2 채널에 대한 가청화를 수행할 수 있다. 한편, 사운드 트레이싱 장치(100)는 외부로부터 채널 변환 명령을 받거나 또는 기 설정된 조건이 충족되는 경우 가청화 수행부(140)에 채널 변환 명령을 제공할 수 있다. 가청화 수행부(140)가 채널 변환 명령을 수신하면, 가청화 수행부(140)는 제1 채널에 대한 사운드 전파 경로를 기초로 제2 채널에 대한 가청화를 수행할 수 있다. 즉, 가청화 수행부(140)는 사운드 전파 경로를 제어하여 채널 변환을 수행할 수 있다. 예를 들어, 제1 채널의 채널 수가 제2 채널의 채널 수보다 많은 경우, 가청화 수행부(140)는 다운 믹싱(Down Mixing)을 수행할 수 있다. 한편, 제1 채널의 채널 수가 제2 채널의 채널 수보다 적은 경우, 가청화 수행부(140)는 업 믹싱(Up Mixing)을 수행할 수 있다.
사운드 출력부(150)는 가청화 수행부(140)로부터 가청화된 사운드를 수신하여 출력할 수 있다. 사용자는 제어부(170)를 통해 사운드 출력부(150)를 제어할 수 있다. 일 실시예에서, 사운드 출력부(150)는 스피커로 구현될 수 있다.
메모리부(160)는 소스 위치 결정부(110), 전파 경로 생성부(130) 및 가청화 수행부(140) 각각과 연결될 수 있다. 메모리부(160)는 전파 경로 생성부(130)에서 사용되는 기하 데이터 및 생성된 전파 경로를 저장할 수 있다. 메모리부(160)는 물질 속성에 대한 정보를 포함하는 기하 데이터를 미리 저장할 수 있다. 따라서, 메모리부(160)는 기 저장된 기하 데이터 및 사운드 트레이싱을 수행하여 3차원 기하 데이터를 사운드 트레이싱 장치(100)에 제공할 수 있다. 일 실시예에서, 메모리부(140)는 DRAM(Dynamic Random Access Memory)으로 구현될 수 있다. 사운드 트레이싱 장치(100)는 기하 데이터 및 사운드 전파 경로를 미리 메모리부(160)에 저장하여 사운드 트레이싱에 필요한 데이터 연산량을 감소시킬 수 있고, 실시간 사운드 트레이싱 기술을 구현할 수 있다.
제어부(170)는 사운드 트레이싱 장치(100)의 전체적인 동작을 제어하고, 소스 위치 결정부(110), 싱크 위치 결정부(120), 전파 경로 생성부(130), 가청화 수행부(140), 사운드 출력부(150) 및 메모리부(160) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
도 2는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 트레이싱 의 원리를 설명하는 도면이다.
도 2를 참조하면, 디스플레이 화면(220)은 그 내부에 적어도 하나의 객체(240, 250, 260, 270)를 포함할 수 있다. 사운드 소스(230)에서 출력된 사운드는 적어도 하나의 객체에 의하여 투과, 흡수, 반사, 굴절 또는 회절될 수 있다. 적어도 하나의 객체는 고유의 물질 속성을 보유할 수 있다. 기하 데이터는 객체의 물질 속성에 대한 정보를 포함할 수 있고, 메모리부(160)에 미리 저장될 수 있다. 사운드는 객체의 물질 속성에 의하여 경로가 결정될 수 있다. 따라서, 전파 경로 생성부(130)는 기하 데이터를 기초로 투과, 흡수, 반사, 굴절 또는 회절된 사운드의 전파 경로를 생성할 수 있다.
일 실시예에서, 사운드는 방해 객체(240)에 의하여 흡수(S)될 수 있다. 따라서, 사운드 소스(230) 및 사운드 싱크(210) 사이에 방해 객체(240)가 존재하는 경우, 주요 사운드는 방해 객체에 흡수되고 파생 사운드가 사운드 싱크(210)에게 도달할 수 있다. 즉, 사운드는 적어도 하나의 방해 객체(240)에 의하여 회절될 수 있고, 회절된 사운드는 파생 사운드에 해당할 수 있다. 여기에서, 사운드는 방해 객체(240)에 의하여 흡수되는 것에 한정되지 않고, 방해 객체(240)의 물질 속성, 사운드의 파동 및 입사각에 따라 반사, 굴절 또는 회절될 수 있다.
일 실시예에서, 사운드는 분산 객체(250a)에 의하여 반사(R)될 수 있다. 주요 사운드는 분산 객체(250a)에 의하여 흡수(S)될 수 있고, 파생 사운드는 분산 객체(250a)에 의하여 반사(R)되어 생성될 수 있다. 즉, 사운드는 적어도 하나의 분산 객체(250)에 의하여 반사(R)될 수 있고, 반사된 사운드는 파생 사운드에 해당할 수 있다. 사운드의 반사각은 분산 객체(250)의 물질 속성에 의하여 결정될 수 있다. 여기에서, 사운드는 분산 객체(250)에 의하여 반사되는 것에 한정되지 않고, 분산 객체(250)의 물질 속성, 사운드의 파동 및 입사각에 따라 굴절, 회절 또는 흡수될 수 있다.
일 실시예에서, 사운드는 굴절 객체(260)를 통과할 수 있고, 굴절 객체에 입사하거나 굴절 객체로부터 출사될 때 굴절될 수 있다. 사운드는 적어도 하나의 굴절 객체(260)에 의하여 굴절될 수 있고, 굴절된 사운드는 파생 사운드에 해당할 수 있다. 사운드의 굴절각은 굴절 객체(260)의 물질 속성에 의하여 결정될 수 있다. 여기에서, 사운드는 굴절 객체(260)에 의하여 굴절되는 것에 한정되지 않고, 굴절 객체(260)의 물질 속성, 사운드의 파동 및 입사각에 따라 반사, 회절 또는 흡수될 수 있다.
일 실시예에서, 사운드는 투과 객체(270)를 투과(T)할 수 있다. 사운드는 투과 객체(270)에 입사된 각과 동일한 출사각을 가질 수 있다. 즉, 사운드는 투과 객체(270)에 흡수되거나 반사되지 않고 투과 객체(270)를 통과할 수 있다.
일 실시예에서, 사운드 발생 객체가 디스플레이 화면(220) 내에 존재하는 경우, 소스 위치 결정부(110)는 사운드 소스(230)의 위치를 결정하여 전파 경로 생성부(130)에 제공할 수 있다.
도 3은 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 트레이싱 과정을 설명하는 순서도이다.
도 3을 참조하면, 소스 위치 결정부(110)는 적어도 하나의 객체를 포함하는 디스플레이 화면 (220)에서 사운드 소스(230)의 위치를 결정할 수 있다. 보다 구체적으로, 적어도 하나의 사운드 소스(230)가 디스플레이 화면 내에 존재하는 경우, 소스 위치 결정부(110)는 각각의 사운드 소스(230)의 위치 및 방향을 결정할 수 있다. 한편, 사운드 소스(230)가 디스플레이 화면 내에 존재하지 않는 경우, 소스 위치 결정부(110)는 3차원 기하 데이터 내의 특정 객체를 사운드 발생 객체로 지정하고, 이의 위치를 가상 사운드 소스(230)의 위치로 결정할 수 있다(단계 S310).
싱크 위치 결정부(120)는 현재 디스플레이 화면에서 사운드 싱크(210)의 위치를 결정할 수 있다. 일 실시예에서, 사운드 싱크(210)의 위치는 실시간으로 변경될 수 있고, 사운드 전파 경로는 사운드 싱크의 위치 변화에 대응하여 재생성될 수 있다(단계 S320).
전파 경로 생성부(130)는 사운드 소스(230)에서 출력되고 적어도 하나의 객체 각각에 의하여 유도되는 사운드 전파 경로를 생성할 수 있다. 보다 구체적으로, 전파 경로 생성부(130)는 사운드 소스(230)의 위치 관점에서 적어도 하나의 객체를 통해 유도되는 파생 사운드를 생성할 수 있다. 일 실시예에서, 전파 경로 생성부(130)는 적어도 하나의 객체의 물질 속성을 갖는 기하 데이터를 사용하여 파생 사운드를 생성할 수 있다(단계 S330).
전파 경로 생성부(130)는 사운드 소스로부터 출력될 수 있는 주요 사운드(Primary Sound) 및 적어도 하나의 객체를 통해 유도되는 적어도 하나의 파생 사운드(Secondary Sound)를 합성하여 사운드 전파 경로를 생성할 수 있다. 가청화 수행부(140)는 생성된 사운드 전파 경로에 대한 가청화를 수행할 수 있다(단계 S340).
도 4는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 따른 사운드 트레이싱 과정을 설명하는 순서도이다.
소스 위치 결정부(110)는 적어도 하나의 객체를 포함하는 디스플레이 화면(220)에서 사운드 소스(230)의 위치를 결정할 수 있다(단계 S410).
싱크 위치 결정부(120)는 현재 디스플레이 화면에서 사운드 싱크(210)의 위치를 결정할 수 있다(단계 S420).
전파 경로 생성부(130)는 사운드 소스(230) 및 사운드 싱크(210) 간에 형성되고 디스플레이 화면(220)에 있는 객체에 의하여 왜곡될 수 있는 사운드 전파 경로를 생성할 수 있다(단계 S430).
메모리부(160)는 전파 경로 생성부(130)에서 생성된 사운드 전파 경로를 저장할 수 있고 사용자의 요청에 따라 가청화 수행부(140)에 제공할 수 있다(단계 S440).
전파 경로 생성부(130)는 사운드 소스(230)로부터 출력될 수 있는 주요 사운드(Primary Sound) 및 적어도 하나의 객체를 통해 유도되는 적어도 하나의 파생 사운드(Secondary Sound)를 합성할 수 있다. 가청화 수행부(140)는 생성된 합성 사운드에 대한 가청화를 수행할 수 있다(단계 S450).
전파 경로 생성부(130)는 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리할 수 있다(단계 S460). 일 실시예에서, 전파 경로 생성부(130)는 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 또는 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하면, 사운드 소스(230), 적어도 하나의 객체 및 사운드 싱크(210) 간에 형성되는 사운드 전파 경로를 재생성할 수 있다. 여기에서, 사운드 소스(230)의 위치 변경률, 사운드 싱크(210)의 위치 변경률 및 적어도 하나의 객체의 위치 변경률은 이전 위치를 기준으로 현재 위치의 변경 정도를 의미하고, 기준 변경률은 사운드 소스(230)의 위치 변경률, 사운드 싱크(210)의 위치 변경률 또는 적어도 하나의 객체의 위치 변경률에 따라 사운드 전파 경로가 변경되는 임계치를 의미한다. 즉, 전파 경로 생성부(130)는 위치 변경률이 기준 변경률 미만이면 사운드 전파 경로가 변경되지 않기 때문에 사운드 전파 경로를 재생성할 필요가 없고, 위치 변경률이 기준 변경률을 초과하면 사운드 전파 경로를 재생성할 수 있다. 예를 들어, 전파 경로 생성부(130)는 현재의 위치 및 이전의 위치를 비교하여 위치 변경률을 결정할 수 있다. 전파 경로 생성부(130)는 위치 변경률의 기준 변경률을 설정할 수 있고, 위치 변경률을 기준 변경률과 비교할 수 있다. 전파 경로 생성부(130)는 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 또는 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하면, 전파 경로 생성부(130)는 다음 프레임에서 사운드 전파 경로를 재생성할 수 있고, 가청화 수행부(140)는 가청화를 다시 수행할 수 있다.
일 실시예에서, 가청화 수행부(140)는 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 및 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 사운드 전파 경로를 생성하는 과정을 생략하고 메모리부(160)에 저장된 사운드 전파 경로를 불러올 수 있다. 즉, 가청화 수행부(140)는 전파 경로 생성부(130)로부터 실시간으로 검출된 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 및 적어도 하나의 객체의 위치의 변경률을 수신하여 이전 프레임에서 메모리부(160)에 저장된 사운드 전파 경로의 수신 여부를 결정할 수 있다.
다른 일 실시예에서, 전파 경로 생성부(130)는 가청화 수행부(140)로부터 독립적으로 적어도 하나의 사운드 전파 경로를 생성하여 메모리부(160)에 저장하는 과정을 미리 오프라인 처리할 수 있다. 가청화 수행부(140)는 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 및 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 오프라인 처리를 통해 생성된 사운드 전파 경로를 기초로 사운드에 대한 가청화를 온라인 처리할 수 있다. 따라서, 사운드 트레이싱 장치(100)는 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 및 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 사운드 전파 경로를 생성하는 과정을 오프라인 처리하고 가청화를 온라인 처리하여 실시간 연산량을 감소시켜 사운드 트레이싱의 성능을 향상시키고 전력 소모를 최소화할 수 있다.
한편, 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 또는 적어도 하나의 객체의 위치의 변경률이 기준 변경률 미만이고 해당 사운드 트레이싱 과정이 마지막 프레임에 해당하지 않는 경우, 가청화 수행부(140)는 기 생성된 사운드 전파 경로를 기초로 다음 프레임에서 가청화를 반복하여 수행할 수 있다(단계 S470). 따라서, 사운드 트레이싱 장치(100)는 불필요한 연산 과정을 생략할 수 있고, 실시간 사운드 트레이싱 기술을 구현할 수 있다.
도 5는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 전파 경로의 제어에 따른 사운드 트레이싱 과정을 설명하는 순서도이다.
소스 위치 결정부(110)는 적어도 하나의 객체를 포함하는 디스플레이 화면(220)에서 사운드 소스(230)의 위치를 결정할 수 있다(단계 S510).
싱크 위치 결정부(120)는 현재 디스플레이 화면에서 사운드 싱크(210)의 위치를 결정할 수 있다(단계 S520).
전파 경로 생성부(130)는 사운드 소스에서 출력되고 적어도 하나의 객체 각각에 의하여 유도되는 사운드 전파 경로를 생성할 수 있다(단계 S530).
메모리부(160)는 생성된 전파 경로를 저장하고 사용자의 요청에 따라 전파 경로를 가청화 수행부(140)에 제공할 수 있다. 일 실시예에서, 사용자는 제어부(170)를 통하여 전파 경로의 개수를 입력할 수 있다. 메모리부(160)는 사용자에 의하여 입력된 명령을 기초로, 전파 경로를 가청화 수행부(140)에 제공할 수 있다(단계 S540).
가청화 수행부(140)는 메모리부(160)로부터 수신된 사운드 전파 경로에 대한 가청화를 반복하여 수행할 수 있다. 즉, 가청화 수행부(140)는 사용자에 의하여 제어된 전파 경로를 기초로 가청화를 반복하여 수행할 수 있다(단계 S550).
도 6은 도 1에 있는 사운드 트레이싱 장치에서 수행된 사운드 트레이싱 실시예를 설명하는 도면이다.
도 6을 참조하면, 사운드 소스(230)는 디스플레이 화면(220) 내에 존재할 수 있고, 사운드 소스(230)에서 출력된 사운드는 적어도 하나의 객체에 의하여 반사, 굴절, 회절 또는 흡수될 수 있다. 사운드는 객체의 물질 속성에 의하여 전파 경로가 생성될 수 있고, 생성된 사운드 전파 경로를 따라 사운드 싱크(210)에 도달할 수 있다.
따라서, 사운드 트레이싱 장치(100)는 적어도 하나의 객체 각각에 의하여 유도되는 사운드 전파 경로를 생성할 수 있다. 사운드 트레이싱 장치(100)는 기하 데이터를 기초로 투과, 반사, 전송, 흡수 및 회절과 같은 사운드 효과를 실현할 수 있고, 현실감 있는 3D 사운드를 제공할 수 있다.
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 통상의 기술자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 사운드 트레이싱 장치
110: 소스 위치 결정부 120: 싱크 위치 결정부
130: 전파 경로 생성부 140: 가청화 수행부
150: 사운드 출력부 160: 메모리부
170: 제어부
210: 사운드 싱크 220: 디스플레이 화면
230: 사운드 소스 240: 방해 객체
250: 분산 객체 260: 굴절 객체
270: 투과 객체

Claims (15)

  1. (a) 사운드 소스의 위치와 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 단계;
    (b) 상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률을 상기 디스플레이 화면에 대해 미리 수행한 영상 처리 결과를 이용하여 실시간 검출하는 단계; 및
    (c) 상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 단계를 포함하되,
    상기 (b) 단계는
    상기 검출된 위치의 변경률을 상기 위치 변경률에 따라 상기 사운드 전파 경로가 변경되는 임계치를 의미하는 기준 변경률과 비교하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 실행 가능한 사운드 트레이싱 방법.
  2. 제1항에 있어서, 상기 (b) 단계는
    상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 또는 상기 적어도 하나의 객체의 위치의 변경률이 상기 기준 변경률을 초과하면, 상기 사운드 소스, 상기 적어도 하나의 객체 및 상기 사운드 싱크 간에 형성되는 사운드 전파 경로를 재생성하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  3. 제1항에 있어서, 상기 (b) 단계는
    상기 생성된 사운드 전파 경로를 메모리부에 저장하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  4. 제3항에 있어서, 상기 (c) 단계는
    상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률이 상기 기준 변경률을 초과하지 않으면, 상기 사운드 전파 경로를 생성하는 과정을 생략하고 상기 메모리부에 저장된 사운드 전파 경로를 불러오는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  5. 제3항에 있어서, 상기 (b) 단계는
    상기 가청화를 수행하는 단계로부터 상기 적어도 하나의 사운드 전파 경로를 생성하여 상기 메모리부에 저장하는 과정을 미리 독립적으로 처리하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  6. 제5항에 있어서, 상기 (c) 단계는
    상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률이 상기 기준 변경률을 초과하지 않으면, 상기 미리 독립적으로 처리되어 생성된 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화를 실시간으로 처리하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  7. 제1항에 있어서, 상기 (a) 단계는
    상기 디스플레이 화면에 존재하는 적어도 하나의 객체 중 사운드 발생 객체를 검출하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  8. 제7항에 있어서, 상기 (a) 단계는
    상기 사운드 소스가 디스플레이 화면 내에 존재하지 않는 경우, 기하 데이터 내의 특정 객체를 사운드 발생 객체로 지정하고, 상기 지정된 사운드 발생 객체의 위치를 가상 사운드 소스의 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  9. 제1항에 있어서, 상기 (b) 단계는
    상기 사운드 소스로부터 출력될 수 있는 주요 사운드(Primary Sound) 및 상기 적어도 하나의 객체를 통해 유도되는 적어도 하나의 파생 사운드(Secondary Sound)를 합성하여 상기 적어도 하나의 사운드 전파 경로를 생성하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  10. 제9항에 있어서, 상기 (b) 단계는
    상기 사운드 소스의 속성 또는 상기 적어도 하나의 객체의 물질 속성(사운드의 투과, 흡수, 반사, 굴절 또는 회절 경로를 결정)을 기초로 상기 주요 사운드 및 상기 적어도 하나의 파생 사운드를 합성하는 방식을 결정하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  11. 제1항에 있어서, 상기 (b) 단계는
    상기 생성되는 사운드 전파 경로의 개수를 조절하여 사운드의 출력을 제어하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  12. 제11항에 있어서, 상기 (c) 단계는
    제1 채널에 대한 상기 사운드 전파 경로를 제어하고 제2 채널에 대한 가청화를 수행하여 채널을 변환하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  13. 사운드 소스의 위치를 결정하는 소스 위치 결정부;
    현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 싱크 위치 결정부; 및
    상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률을 상기 디스플레이 화면에 대해 미리 수행한 영상 처리 결과를 이용하여 실시간 검출하는 전파 경로 생성부를 포함하되,
    상기 전파 경로 생성부는 상기 검출된 위치의 변경률을 상기 위치 변경률에 따라 상기 사운드 전파 경로가 변경되는 임계치를 의미하는 기준 변경률과 비교하는 것을 특징으로 하는 사운드 트레이싱 장치.
  14. 제13항에 있어서,
    상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 가청화 수행부를 더 포함하는 것을 특징으로 하는 사운드 트레이싱 장치.
  15. 사운드 소스의 위치와 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 기능;
    상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률을 상기 디스플레이 화면에 대해 미리 수행한 영상 처리 결과를 이용하여 실시간 검출하는 기능; 및
    상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 기능을 포함하되,
    상기 위치의 변경률을 검출하는 기능은 상기 검출된 위치의 변경률을 상기 위치 변경률에 따라 상기 사운드 전파 경로가 변경되는 임계치를 의미하는 기준 변경률과 비교하는 기능을 더 포함하는 것을 특징으로 하는 사운드 트레이싱 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020160041857A 2015-04-10 2016-04-05 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체 KR101790137B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/003749 WO2016163833A1 (ko) 2015-04-10 2016-04-08 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150051037 2015-04-10
KR20150051037 2015-04-10

Publications (2)

Publication Number Publication Date
KR20160121778A KR20160121778A (ko) 2016-10-20
KR101790137B1 true KR101790137B1 (ko) 2017-10-27

Family

ID=57251268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160041857A KR101790137B1 (ko) 2015-04-10 2016-04-05 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체

Country Status (1)

Country Link
KR (1) KR101790137B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019066348A1 (ko) * 2017-09-28 2019-04-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
KR101885887B1 (ko) * 2017-12-26 2018-08-07 세종대학교 산학협력단 사운드 트레이싱 장치, 방법 및 기록매체
KR102019179B1 (ko) * 2018-12-19 2019-09-09 세종대학교산학협력단 사운드 트레이싱 장치 및 방법
KR102481252B1 (ko) * 2021-03-09 2022-12-26 주식회사 엔씨소프트 음향 효과 적용 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270182A1 (en) * 2013-03-14 2014-09-18 Nokia Corporation Sound For Map Display

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101369139B1 (ko) 2007-08-14 2014-03-24 엘지전자 주식회사 음원 위치 추적 방법 및 장치
KR101107120B1 (ko) 2010-03-04 2012-01-31 주식회사 크라스아이디 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270182A1 (en) * 2013-03-14 2014-09-18 Nokia Corporation Sound For Map Display

Also Published As

Publication number Publication date
KR20160121778A (ko) 2016-10-20

Similar Documents

Publication Publication Date Title
KR101790137B1 (ko) 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체
JP6367258B2 (ja) オーディオ処理装置
EP2981101B1 (en) Audio apparatus and audio providing method thereof
JP2021086154A (ja) 音声認識方法、装置、機器及びコンピュータ読み取り可能な記憶媒体
RU2554510C2 (ru) Устройство
AU2011340890B2 (en) Apparatus and method for decomposing an input signal using a pre-calculated reference curve
US20230100071A1 (en) Rendering reverberation
US9554227B2 (en) Method and apparatus for processing audio signal
US10542368B2 (en) Audio content modification for playback audio
JP6939786B2 (ja) 音場形成装置および方法、並びにプログラム
JP2015019371A5 (ko)
KR20120089369A (ko) 제 1 파라메트릭 공간 오디오 신호를 제 2 파라메트릭 공간 오디오 신호로 변환하기 위한 장치 및 방법
JP2009053694A (ja) 室内インパルス応答モデリング方法および装置
US9502047B2 (en) Talker collisions in an auditory scene
JP2013529017A (ja) 立体音響の再生方法及び装置
KR20200038162A (ko) 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
CN111355840A (zh) 用于移动设备的基于近超声的接近度感测
KR101828908B1 (ko) 사운드 트레이싱 장치 및 방법
CN114788304A (zh) 用于减少环境噪声补偿系统中的误差的方法
KR102677399B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
WO2017209196A1 (ja) スピーカシステム、音声信号レンダリング装置およびプログラム
JP2017181899A (ja) 雑音抑圧装置、音声認識装置、雑音抑圧方法、及び雑音抑圧プログラム
CN113853529A (zh) 用于空间音频捕获的装置和相关方法
KR102028122B1 (ko) 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체
KR102019179B1 (ko) 사운드 트레이싱 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration