KR101975920B1 - 가상 음향 합성 장치 및 방법 - Google Patents

가상 음향 합성 장치 및 방법 Download PDF

Info

Publication number
KR101975920B1
KR101975920B1 KR1020170138567A KR20170138567A KR101975920B1 KR 101975920 B1 KR101975920 B1 KR 101975920B1 KR 1020170138567 A KR1020170138567 A KR 1020170138567A KR 20170138567 A KR20170138567 A KR 20170138567A KR 101975920 B1 KR101975920 B1 KR 101975920B1
Authority
KR
South Korea
Prior art keywords
virtual
sound
sound wave
virtual space
virtual object
Prior art date
Application number
KR1020170138567A
Other languages
English (en)
Other versions
KR20190045696A (ko
Inventor
신승호
김휴대
임국찬
조익환
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170138567A priority Critical patent/KR101975920B1/ko
Publication of KR20190045696A publication Critical patent/KR20190045696A/ko
Application granted granted Critical
Publication of KR101975920B1 publication Critical patent/KR101975920B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명의 일 실시예에 따른 가상 음향 합성 방법은, 영상 데이터로부터 실제 객체에 대한 정보를 획득하는 단계, 3차원의 가상 공간 내에, 상기 실제 객체를 3차원 모델링하여 생성되는 가상 객체를 위치시키는 단계, 상기 가상 공간 내에 위치하는 가상 음원(音源)으로부터 방사되는 하나 이상의 가상 음파(音波)에 대해, 상기 가상 객체의 위치 및 형상에 기초하여 상기 음파의 상기 가상 공간 내에서의 진행 경로를 결정하는 단계 및 상기 음파의 진행 경로에 기초하여, 상기 가상 공간 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성하는 단계를 포함할 수 있다.

Description

가상 음향 합성 장치 및 방법 {APPARATUS AND METHOD FOR SYNTHESIZING VIRTUAL SOUND}
본 발명은 가상 공간에서의 음향 효과 구현에 있어서, 보다 현실감 있는 음향의 구현이 가능하도록 하기 위한 장치 및 방법에 관한 것이다.
근래에 들어, 가상 현실 혹은 증강 현실과 같이 가상의 정보를 이용하여 구현된 다양한 컨텐츠가 제안되고 있다. 일반적인 가상 현실(virtual reality)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어 낸 가상 공간으로서, 실제와 유사하지만 실제가 아닌 특징이 있다. 증강 현실(augmented reality, AR)은 가상 현실의 한 분야로서, 사용자가 보는 현실의 객체에 가상의 정보를 합성하여, 가상의 정보를 현실의 일부로서 인식하도록 할 수 있는 기법을 가리킨다.
이와 같은 가상 현실 혹은 증강 현실이 적용된 가상 공간(virtual space)에서는, 시각적 컨텐츠뿐 아니라 청각적 컨텐츠도 사용자에게 제공될 수 있다. 예컨대, 가상 공간 내를 이동할 수 있는 가상의 캐릭터의 시선과 사용자의 시선이 서로 일치하도록 함으로써, 사용자가 상기 캐릭터의 입장에서 상기 가상 공간 내에 구현된 가상의 사물을 직접 볼 수 있도록 할 수 있다. 이에 더하여, 상기 가상 공간 내에는 가상의 음원(音源)이 위치할 수 있으며, 이 때 사용자는 상기 캐릭터의 입장에서 상기 음원이 방사하는 소리를 들을 수도 있다.
현실 세계에서는 같은 소리라 해도 청취자의 위치 혹은 주변 환경에 따라 다르게 들릴 수 있다. 전술한 바와 같은 청각적 컨텐츠를 사용자에게 제공하는 가상 공간에서도, 상기 가상 공간의 구체적인 환경 및 청각적 컨텐츠의 청취 위치 등을 고려하여 음향 효과를 구현해야, 보다 실감나는 컨텐츠를 사용자에게 제공할 수 있을 것이다.
한국공개특허공보 제 10-2013-0109615 호 (2013.10.08. 공개)
본 발명이 해결하고자 하는 과제는, 가상 공간을 통해 청각적 컨텐츠를 제공받는 사용자에게 보다 현실감 있는 컨텐츠를 제공하기 위한 장치 및 방법에 관한 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 가상 음향 합성 방법은, 영상 데이터로부터 실제 객체에 대한 정보를 획득하는 단계, 3차원의 가상 공간 내에, 상기 실제 객체를 3차원 모델링하여 생성되는 가상 객체를 위치시키는 단계, 상기 가상 공간 내에 위치하는 가상 음원(音源)으로부터 방사되는 하나 이상의 가상 음파(音波)에 대해, 상기 가상 객체의 위치 및 형상에 기초하여 상기 음파의 상기 가상 공간 내에서의 진행 경로를 결정하는 단계 및 상기 음파의 진행 경로에 기초하여, 상기 가상 공간 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 가상 음향 합성 장치는, 영상 데이터로부터 실제 객체에 대한 정보를 획득하는 정보 획득부, 3차원의 가상 공간 내에, 상기 실제 객체를 3차원 모델링하여 생성되는 가상 객체를 위치시키는 가상 공간 정보 생성부, 상기 가상 공간 내에 위치하는 가상 음원(音源)으로부터 방사되는 하나 이상의 가상 음파(音波)에 대해, 상기 가상 객체의 위치 및 형상에 기초하여 상기 음파의 상기 가상 공간 내에서의 진행 경로를 결정하는 연산부 및 상기 음파의 진행 경로에 기초하여, 상기 가상 공간 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성하는 음향 합성부를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 가상 현실과 증강 현실 등을 이용하여 구현된 가상 공간을 통해 청각적 컨텐츠를 사용자에게 제공함에 있어서, 상기 가상 공간 내의 객체 배치 및 청각적 컨텐츠의 청취 위치 등에 기초하여, 가상 음원으로부터 방사된 음파(音波)의 직진(直進) 및 반사(反射)가 고려된 음향 효과를 구현할 수 있다. 이를 통해, 보다 현실에 가까운 청각적 컨텐츠를 사용자에게 제공할 수 있으며, 사용자가 가상 공간을 마치 현실의 공간처럼 느끼도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 음향 합성 방법에 대해 개념적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가상 음향 합성 방법에 이용될 수 있는 영상 데이터를 예시적으로 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 가상 음향 합성 장치의 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가상 음향 합성 방법의 각 단계를 도시한 도면이다.
도 5 및 6은 본 발명의 일 실시예에 따른 가상 음향 합성 방법 중 가상 객체에 의한 음파의 반사에 대해 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 가상 음향 합성 방법에 대해 개념적으로 설명하기 위한 도면이다. 도 1의 가상 공간(10)은 시각 혹은 청각을 통해 사용자가 인지할 수 있는 컨텐츠를 제공하기 위한 3차원의 가상적 공간일 수 있다. 가상 공간(10)의 사용자는 가상 공간(10) 내에 위치하는 가상 캐릭터(20)를 통해 이와 같은 컨텐츠를 제공받을 수 있다.
가상 공간(10) 내에는 하나 이상의 가상 객체(30)가 위치할 수 있다. 예컨대, 도 1의 가상 공간(10)은 벽과 바닥, 천장으로 둘러싸인 방(房, room)일 수 있으며, 가상 객체(30)는 방 내에 비치된 가구 등의 사물일 수 있다. 또한, 가상 공간(10) 내의 소정 위치에는 가상 음원(40)이 위치하여 사용자에게 음악이나 음성 등의 청각적 컨텐츠를 제공할 수 있다.
가상 음원(40)은 직진성(直進性)을 갖는 하나 이상의 음파를 가상 공간(10) 내에 방사(放射)할 수 있다. 비유하자면, 상기 가상 음원(40)에서 방사되는 각 음파는 광원(光源)으로부터 방사되는 각 광선속(光線束)에 대응된다고 볼 수 있다. 물론 이러한 음파는 실제의 음파가 아닌, 사용자가 청취할 청각적 컨텐츠를 전송하는 것으로 상정되는 가상의 음파이다.
가상 캐릭터(20)의 위치, 즉 가상 음원(40)이 제공하는 청각적 컨텐츠의 청취 위치에 도달하는 음파 중에는, 가상 음원(40)과 가상 캐릭터(20)를 연결하는 직선 경로를 직진하여 상기 청취 위치에 도달하는 음파(41)가 있을 수 있다. 하지만 이와 달리, 가상 객체(30) 혹은 가상 공간(10)의 벽면에 반사됨으로써 상기 청취 위치에 도달하는 음파(42)도 있을 수 있다. 이와 같은 현상은 현실에서 일어나는 음파의 직진 및 반사를 가상 공간(10)에 반영한 결과라 할 수 있다.
상기한 바와 같은 각 음파(41, 42)를 합성하여 사용자에게 들려줌으로써, 현실에 보다 가까운 실감나는 청각적 컨텐츠를 사용자에게 제공하는 것이 가능하다. 이 때, 가상 공간(10)의 형태 혹은 가상 객체(30)의 가상 공간(10) 내에서의 배치가 달라지거나, 가상 캐릭터(20)의 이동에 의해 청취 위치가 변화된 경우, 이를 반영하여 새롭게 합성된 음향을 사용자에게 제공할 필요가 있다. 일반화시켜 말하면, 가상 공간(10)의 형태, 가상 객체(30)의 배치 등에 기초하여 가상 음원(40)으로부터 방사되는 각 음파의 진행 경로를 계산하고, 상기 계산 결과에 기초하여 소정의 청취 위치에서 느껴질 음향 효과를 구현할 수 있다.
가상 공간(10) 내에 배치될 가상 객체(30)는 순수한 가상 객체일 수도 있지만, 증강 현실에 의해 현실의 실제 객체가 증강되어 생성된 객체일 수도 있다. 예컨대, 사용자가 카메라(camera) 등의 촬영 장치를 통해 현실의 객체를 촬영한 경우, 아래의 도 3을 통해 설명할 가상 음향 합성 장치(100)는 상기 현실 객체를 3차원 모델링하여 가상 객체(30)를 생성하고, 생성된 가상 객체(30)를 가상 공간(10) 내에 배치할 수 있다.
도 2는 본 발명의 일 실시예에 따른 가상 음향 합성 방법에 이용될 수 있는 영상 데이터를 예시적으로 설명하기 위한 도면이다. 전술한 실제 객체를 촬영한 영상은, 예컨대 도 2와 같이 깊이(depth) 정보를 갖는 영상(50)일 수 있다. 이러한 영상(50)은 뎁스 카메라(depth camera)를 통해 얻어질 수 있다.
도 3은 본 발명의 일 실시예에 따른 가상 음향 합성 장치의 구성을 도시한 도면이다. 본 발명의 일 실시예에 따른 가상 음향 합성 장치(100)는 정보 획득부(110), 가상 공간 정보 생성부(120), 연산부(130) 및 음향 합성부(140)를 포함할 수 있다. 단, 도 3의 가상 음향 합성 장치(100)는 본 발명의 일 실시예에 불과하므로, 도 3에 의해 본 발명의 사상이 제한 해석되는 것은 아니다.
정보 획득부(110)는 실제 객체를 촬영한 영상 데이터로부터 촬영된 실제 객체에 대한 정보를 획득할 수 있다. 영상 데이터는 도 2를 통해 설명한 바와 같이 깊이 정보를 갖는 영상(50)일 수 있으나, 반드시 이에 한정되는 것은 아니다. 상기 영상 데이터의 획득을 위해, 정보 획득부(110)는 뎁스 카메라 등의 영상 촬영 장치를 포함하여 구현될 수 있다. 혹은, 정보 획득부(110)는 가상 음향 합성 장치(100)와는 별개로 존재하는 영상 촬영 장치에 의해 촬영된 영상을 전송받을 수 있으며, 이 경우 정보 획득부(110)는 데이터의 수신을 위한 데이터 버스, 혹은 유/무선 통신 모듈을 통해 구현될 수 있다.
가상 공간 정보 생성부(120)는 3차원의 가상 공간(10) 내에, 영상 데이터에 의해 촬영된 실제 객체를 3차원 모델링하여 생성되는 가상 객체(30)를 위치시킬 수 있다. 이를 위해, 가상 공간 정보 생성부(120)는 가상 공간(10)을 생성할 수 있다. 또한, 가상 공간 정보 생성부(120)는 특정한 실제 객체의 영상이 획득될 경우 상기 영상으로부터 추출된 실제 객체의 정보를 이용하여 실제 객체에 대한 3차원 모델링을 수행함으로써 가상 객체(30)를 생성하고, 생성된 가상 객체(30)를 가상 공간(10)에 배치할 수 있다. 또한, 가상 공간 정보 생성부(120)는 가상 공간(10)의 소정 위치에 가상 음원(40)을 배치할 수도 있다. 이러한 가상 공간 정보 생성부(120)는 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 후술할 연산부(130) 및 음향 합성부(140)에 있어서도 같다.
연산부(130)는 가상 공간(10) 내의 가상 음원(40)으로부터 방사되는 하나 이상의 가상 음파에 대해, 가상 공간(10)의 구조, 가상 객체(30)의 위치 및 형상 등에 기초하여 상기 각 음파의 가상 공간(10) 내에서의 진행 경로를 결정할 수 있다. 상기 각 음파는 기본적으로 가상 음원(40)으로부터 방사되면 방사된 방향으로 직진하나, 직진 중 가상 객체(30)의 표면과 만나면 반사된 후 반사된 방향으로 재차 직진할 수 있다. 연산부(130)는 이와 같은 각 음파의 직진 및 반사를 고려하여 각 음파의 진행 경로를 결정할 수 있다.
음향 합성부(140)는 상기 결정된 각 음파의 진행 경로에 기초하여, 가상 공간(10) 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성할 수 있다. 즉, 음향 합성부(140)는 가상 음원(40)으로부터 방사되는 음파에 의해 가상 공간(10) 내의 가상 캐릭터(20)가 듣게 될 것으로 예상되는 소리를 생성할 수 있다. 더 나아가, 음향 합성부(140)는 사용자가 실제로 소리를 들을 수 있도록 합성된 소리를 재생할 수 있으며, 이 경우 스피커(speaker)와 같은 청각적 컨텐츠의 출력을 위한 하드웨어 장치를 포함하여 구현될 수 있다.
도 4는 본 발명의 일 실시예에 따른 가상 음향 합성 방법의 각 단계를 도시한 도면이다. 도 4의 방법은 도 3을 참조하여 설명한 가상 음향 합성 장치(100)를 이용하여 수행될 수 있으며, 도 1 내지 3과 중복되는 부분에 대해서는 설명이 생략될 수 있다. 단, 도 4의 방법은 본 발명의 일 실시예에 불과하므로 도 4에 의해 본 발명의 사상이 제한 해석되는 것은 아니며, 도 4의 방법의 각 단계는 도 4에 제시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.
우선, 정보 획득부(110)는 영상 데이터로부터 실제 객체의 정보를 획득할 수 있다(S110). 이어서, 가상 공간 정보 생성부(120)는 실제 객체로부터 생성된 가상 객체(30)를 가상 공간(10) 내에 배치할 수 있다(S120). 그리고 연산부(130)는 가상 음원(40)으로부터 방사되는 음파의 진행 경로를 결정할 수 있다(S130).
이하에서는 상기 단계 S120 및 S130에 대해 보다 구체적으로 설명하도록 한다. 가상 공간 정보 생성부(120)는 영상 데이터로부터 실제 객체 정보를 추출할 때, 영상 데이터 내에서 실제 객체에 해당하는 부분에 대한 구획(segmentation)을 수행한 후, 상기 실제 객체를 모델링한 가상 객체(30)의 형상 및 가상 공간(10) 내에서의 위치를 결정할 수 있다.
또한, 가상 공간 정보 생성부(120)는 상기 영상 데이터에 담긴 실제 객체의 형상에 관한 정보로부터 상기 실제 객체의 속성이 기 정해진 복수의 속성 중 어떤 속성에 해당되는지를 파악할 수 있다. 여기서 실제 객체의 속성이란, 예컨대 실제 객체의 종류(텔레비전, 소파, 장롱 등)가 될 수 있다. 가상 공간 정보 생성부(120)는 실제 객체와 동일한 속성을 실제 객체로부터 모델링된 가상 객체(30)에 대해서도 부여할 수 있다. 지금까지 서술한 바와 같은 가상 공간 정보 생성부(120)의 동작은, 예컨대 딥 러닝(deep learning) 기법을 이용하여 구현될 수 있다.
상기 가상 객체(30)의 위치 및 형상 등의 정보는 연산부(130)가 가상 음원(40)으로부터 방사되는 각 음파의 진행 경로를 결정하는 데 이용될 수 있다. 구체적으로, 연산부(130)는 직진하던 각 음파가 어느 지점에서 반사되는지, 반사가 된다면 어느 방향으로 반사되는지를 결정하는 데 상기 위치 및 형상에 관한 정보를 이용할 수 있다.
또한, 연산부(130)는 상기 음파의 진행 경로뿐 아니라, 상기 진행 경로 상의 임의의 위치에서의 음파의 세기(intensity)에 관한 정보도 산출할 수 있다. 현실 세계에서도 음파의 세기는 음원으로부터의 거리가 멀어질수록 감소하는 것을 참조하여, 연산부(130)는 소정의 감쇠율(減衰率)에 기초하여 음파의 진행에 따른 음파의 세기 변화에 대한 정보를 산출할 수 있다.
아울러, 현실 세계에서는 반사 전과 반사 후의 음파의 세기가 다르다는 것 역시 알려져 있다. 이를 반영하여, 연산부(130)는 음파의 반사가 있을 때에 소정의 반사율(反射率) 및 반사 전의 음파의 세기에 기초하여 반사 후의 음파의 세기를 산출할 수 있다. 경우에 따라, 가상 객체(30)에 부딪힌 음파는 일반적인 반사 외에 반사 후 음파가 여러 방향으로 분산되는 산란(散亂)을 겪을 수도 있다. 이와 같은 산란도 반사의 일종이라 볼 수 있으며, 이와 같은 산란이 일어나도록 설정된 경우, 연산부(130)는 소정의 산란 정보에 기초하여 산란 후의 각 분산된 음파의 진행 경로 및 세기에 관한 정보를 산출할 수 있다.
한편, 상기 반사율은 가상 객체(30)의 속성에 따라 다를 수 있으므로, 연산부(130)는 반사의 원인이 된 가상 객체(30)의 속성에 대응되는 반사율을 상기 반사 후의 음파의 세기 산출에 이용할 수 있다. 이와 같은 반사율 및 전술한 감쇠율과 관련된 정보를 이용하여, 연산부(130)는 음파의 진행 경로 및 음파의 세기 변화에 대한 정보를 산출할 수 있다.
이하에서는 도 5 및 6을 참조하여, 가상 객체(30)에 의해 반사된 음파의 반사 후 진행 경로를 산출하는 법에 대해 보다 상세히 설명하도록 한다. 도 5 및 6은 본 발명의 일 실시예에 따른 가상 음향 합성 방법 중 가상 객체에 의한 음파의 반사에 대해 설명하기 위한 도면이다.
우선 도 5를 참조하면, 가상 공간 정보 생성부(120)에 의해 복수의 폴리곤(polygon)으로 구획된 가상 객체(30)의 표면(60)을 확인할 수 있다. 즉, 가상 공간 정보 생성부(120)는 복수의 폴리곤을 포함하는 메쉬(mesh)를 이용하여 가상 객체(30)의 형상을 정의할 수 있다. 도 5의 예시에 의하면, 각 폴리곤은 삼각형 형상을 가짐을 볼 수 있다.
연산부(130)는 도 5의 여러 폴리곤들 중, 가상 객체(30)로 입사되는 음파(63)와 교차하는 폴리곤(61)을 식별할 수 있다. 이와 같은 식별 동작은, 폴리곤을 포함하는 평면과 입사되는 음파(63)가 만나는 점이 해당 폴리곤 내부에 존재하는지 판단하는 동작을 각 폴리곤에 대해 수행함으로써 가능할 수 있다. 그리고 도 5에서 확인할 수 있는 바와 같이, 연산부(130)는 식별된 폴리곤(61)의 법선 벡터(normal vector, 62)를 기준으로 한 입사각(入射角, θi)과 반사각(反射角, θf)이 서로 동일하도록, 반사 후의 음파(64)의 진행 경로를 결정할 수 있다.
지금까지는 도 5를 참조하여, 메쉬를 이용하여 모델링된 가상 객체(30)에 의한 음파의 반사를 처리하는 실시예에 대해 서술하였다. 이하에서는 이와 달리, 메쉬를 생성하지 않고도 영상 데이터의 깊이 정보만을 이용하여 음파의 반사를 처리하는 실시예에 대해 도 6을 참조하여 설명하도록 한다.
도 6은 실제 객체를 촬영한, 깊이 정보를 포함하고 있는 영상(70)을 나타내고 있다. 가상 공간 정보 생성부(120)는 이와 같은 깊이 영상(70)을 이용하여, 촬영된 실제 객체에 대응되는 가상 객체(30)의 표면을 구현할 수 있다. 이를 위해 우선, 가상 공간 정보 생성부(120)는 가상 객체(30)의 표면을 복수의 영역(71)으로 분할할 수 있다. 도 6은 이해를 쉽게 하기 위해 상기 복수의 영역(71)으로 구획된 가상 객체(30)의 표면을 영상(70)의 대응되는 위치에 겹쳐 보이도록 한 것이다.
각 영역(71)은 저마다 복수의 기준점(72)을 포함할 수 있다. 즉, 이와 같은 복수의 기준점(72)은 가상 객체(30)의 표면에 위치한다고 볼 수 있으며, 가상 공간 정보 생성부(120)는 깊이 영상(70)의 각 화소(pixel)의 깊이 정보에 기초하여 각 기준점(72)의 가상 공간(10) 내에서의 위치를 결정할 수 있다. 즉, 각각의 기준점(72)은 저마다 하나씩 깊이 영상(70)의 각 화소에 대응될 수 있다.
이와 같은 상태에서, 가상 객체(30)의 표면에 대한 정보를 반영하여, 가상 객체(30)에 입사된 음파의 반사 경로를 계산하는 방법에 대해 설명하도록 한다. 우선 하나의 방법으로, 가상 공간(10) 내에서의 각 기준점(72)의 위치를 나타내는 좌표에 기초하여, 가상 객체(30)의 표면을 구성하는 곡면을 다항식(polynomial)을 이용하여 표현하는 방법을 들 수 있다. 즉, 가상 공간 정보 생성부(120)는 상기 각 기준점(72)을 지나는 곡면을 다항식을 이용해 근사하여 나타낼 수 있다.
단, 가상 객체(30)의 표면을 구성하는 모든 기준점(72)을 지나는 곡면을 하나의 다항식으로 나타내고자 한다면 다항식의 차수가 지나치게 높아질 수 있으므로, 가상 공간 정보 생성부(120)는 각 영역(71)별로 서로 다른 다항식을 적용할 수 있다. 이 경우, 가상 공간 정보 생성부(120)는 특정한 하나의 영역(71)에 포함된 기준점(72)들만을 지나는 곡면을 나타내는 다항식을 구하는 과정을, 각 영역(71)에 대해 수행할 수 있다.
이와 같이 다항식을 이용하여 표면을 나타낸 가상 객체(30)에 음파가 입사될 경우, 연산부(130)는 상기 입사된 음파의 경로와, 상기 가상 객체(30)를 이루는 곡면 간의 교점을 산출할 수 있다. 이와 같은 교점의 산출은 각 영역(71)을 이루는 다항식들을 이용하여 수행될 수 있으며, 구체적인 과정에 대해서는 통상의 기술자에게 용이한 것이므로 자세한 설명을 생략하도록 한다. 연산부(130)는 상기 입사된 음파가 상기 교점에서 반사되도록 하되, 상기 교점에서의 상기 곡면의 법선을 기준으로 한 입사각과 반사각이 서로 동일하도록 반사된 음파의 진행 경로를 결정할 수 있다.
이하에서는 전술한 방법과 또 다른 방법에 대해 설명하도록 한다. 가상 객체(30)의 표면이 복수의 영역(71)으로 분할될 수 있음은 위에서 설명한 바와 같다. 이 때, 복수의 영역(71)에 수직한 방향, 즉 본래의 깊이 영상(70)에 수직한 방향과 동일한 방향을 시선의 방향으로 하여 가상 객체(30)를 바라볼 때, 상기 각 영역(71)을 구분하기 위한 격자는 시선의 방향과 수직한 기준 평면에 놓여 있다고 생각할 수 있다.
이 때, 임의의 한 영역(71)은 해당 영역 전체에서 동일한 깊이를 갖고 있다고 가정할 수 있다. 가상 공간 정보 생성부(120)는 이와 같은 특정 영역(71)의 깊이의 값을, 해당 특정 영역(71)에 속한 모든 기준점(72)의 깊이를 평균한 값과 같도록 설정할 수 있다. 이에 따라, 서로 다른 영역(70)끼리는 깊이가 다를 수 있다.
상기 각 영역(71)의 깊이 값을 이용하여, 연산부(130)는 가상 객체(30)에 입사된 음파가 각 영역(71) 중 어떤 영역(71)과 만나는지를 구할 수 있으며, 더 나아가 상기 입사된 음파가 반사되는 점이 상기 기준 평면 상에서 어느 위치에 존재하는지도 구할 수 있다.
다음으로, 연산부(130)는 상기 반사되는 점에서의 법선을 구하고, 상기 법선에 대하여 입사각과 반사각이 동일하도록 반사된 음파의 진행 경로를 구할 수 있다. 상기 법선을 구하기 위해, 우선 도 6을 통해 설명된 각 기준점(72)들에서의 법선을 구할 수 있다. 각 기준점(72)에서의 법선은, 해당 기준점(72)의 깊이 값 및 인접한 기준점(72)의 깊이 값을 이용하여 구할 수 있다. 보다 구체적으로는 다음의 수학식 1 및 2를 참고하여 유한차분법(finite difference approximation)을 통해 구할 수 있다.
여기서 i와 j는 기준점(72)의 인덱스(index)를 나타내며, i는 상기 기준 평면에서의 x축 방향에서의 인덱스, j는 y축 방향에서의 인덱스를 각각 나타낼 수 있다. h는 기준 평면 상에서 서로 인접한 기준점(72) 간의 거리를, u는 특정 기준점(72)에서의 깊이의 값을 각각 나타낸다. 즉, ui,j는 (i, j)의 인덱스를 갖는 기준점(72)에서의 깊이의 값을 나타낸다. uxx(xi, yj) 및 uyy(xi, yj)는 (i, j)의 인덱스를 갖는 기준점(72)에서의 깊이의 2계 미분값을 나타내는데, uxx(xj, yj)는 x축 방향의, uyy(xj, yj)는 y축 방향의 2계 미분값을 각각 나타낸다.
Figure 112017105125488-pat00001
Figure 112017105125488-pat00002
연산부(130)는 전술한 바와 같은 과정을 거쳐 각 기준점(72)들에서의 상기 수학식 1 및 2의 값을 구할 수 있으며, 이에 기초하여 각 기준점(72)들에서의 3차원 가상 공간(10)에서의 법선(보다 정확히는, 단위 길이를 갖는 법선 벡터)을 구할 수 있다. 그리고 연산부(130)는 반사가 이루어지는 점에 인접한(예컨대, 반사가 이루어지는 점으로부터 기 정해진 거리 내에 있는) 기준점(72)들에서의 법선을 이용하여(예컨대, 4개의 인접한 기준점(72) 각각에서의 법선 벡터를, 각 인접한 기준점(72)들로부터의 거리에 기초해 가중평균하여) 상기 반사되는 점에서의 법선을 구할 수 있으며, 이를 통해 반사된 후의 음파의 진행 경로를 결정할 수 있다.
지금까지 설명한 바와 같이 각 음파의 진행 경로 및 진행에 따른 음파의 세기와 관련된 정보가 결정되고 나면, 음향 합성부(140)는 상기 결정된 정보에 기초하여 음향 합성을 수행할 수 있다(S140). 이 때, 음향 합성부(140)는 상기 합성된 가상 음향에 실제 음향을 부가하여 최종적인 음향을 사용자에게 출력할 수도 있다. 본 발명의 일 실시예에 의한 가상 음향 합성 방법의 전술한 일련의 단계들을 통해, 보다 현실에 가까운 청각적 컨텐츠를 사용자에게 제공할 수 있으며, 사용자가 가상 공간을 마치 현실의 공간처럼 느끼도록 할 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 일 실시예에 따르면, 가상 공간을 통해 청각적 컨텐츠를 사용자에게 제공함에 있어서, 상기 가상 공간 내의 객체 배치 및 청각적 컨텐츠의 청취 위치 등이 고려된 음향 효과를 구현할 수 있다. 이를 통해, 보다 현실에 가까운 청각적 컨텐츠를 사용자에게 제공할 수 있으며, 사용자가 가상 공간을 마치 현실의 공간처럼 느끼도록 할 수 있다.
10: 가상 공간
20: 가상 캐릭터
30: 가상 객체
40: 가상 음원
50: 영상 데이터
100: 가상 음향 합성 장치
110: 정보 획득부
120: 가상 공간 정보 생성부
130: 연산부
140: 음향 합성부

Claims (11)

  1. 영상 데이터로부터 실제 객체에 대한 정보를 획득하는 단계;
    3차원의 가상 공간 내에, 상기 실제 객체를 3차원 모델링하여 생성되는 가상 객체를 위치시키는 단계;
    상기 가상 공간 내에 위치하는 가상 음원(音源)으로부터 방사되는 하나 이상의 가상 음파(音波)에 대해, 상기 가상 객체의 위치 및 형상에 기초하여 상기 음파의 상기 가상 공간 내에서의 진행 경로를 결정하는 단계; 및
    상기 음파의 진행 경로에 기초하여, 상기 가상 공간 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성하는 단계를 포함하고,
    상기 음파는, 상기 가상 공간 내에서 직진성(直進性)을 가지며, 상기 가상 객체의 표면과 만날 경우 반사되며,
    상기 가상 객체의 표면은, 복수의 폴리곤(polygon)에 의해 구획되며,
    상기 진행 경로를 결정하는 단계는,
    상기 폴리곤 중 상기 음파와 만나는 폴리곤을 식별하는 단계; 및
    상기 음파가 상기 식별된 폴리곤에 의해 반사되도록 하되, 상기 식별된 폴리곤의 법선 벡터(normal vector)를 기준으로 한 입사각(入射角)과 반사각(反射角)이 서로 동일하도록 상기 음파의 진행 경로를 결정하는 단계를 포함하는
    가상 음향 합성 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 가상 객체가, 기 정해진 복수의 속성 중 어떤 속성에 해당하는지 식별하는 단계; 및
    상기 가상 객체의 속성에 대응되는 소정의 반사율(反射率)과, 상기 음파의 진행에 따른 소정의 감쇠율(減衰率)에 기초하여, 상기 진행 경로를 진행함에 따른 상기 음파의 세기 변화에 대한 정보를 획득하는 단계를 더 포함하며,
    상기 합성하는 단계는, 상기 음파의 진행 경로 및 상기 음파의 세기 변화에 대한 정보에 기초하여 상기 예상되는 소리를 합성하는 단계를 포함하는
    가상 음향 합성 방법.
  5. 제 1 항에 있어서,
    상기 위치시키는 단계는, 상기 영상 데이터의 각 화소(pixel)의 깊이(depth) 정보에 기초하여, 상기 가상 객체의 표면을 모델링하기 위한 복수 개의 점의 상기 가상 공간 내에서의 위치를 결정하는 단계를 포함하는
    가상 음향 합성 방법.
  6. 제 5 항에 있어서,
    상기 위치시키는 단계는, 상기 복수 개의 점의 위치를 나타내는 좌표에 기초하여, 상기 가상 객체의 표면을 구성하는 곡면을 다항식(polynomial)을 이용하여 표현하는 단계를 포함하는
    가상 음향 합성 방법.
  7. 제 6 항에 있어서,
    상기 진행 경로를 결정하는 단계는,
    상기 가상 객체로 입사되는 상기 음파의 경로와 상기 곡면 간의 교점을 상기 다항식을 이용하여 산출하는 단계; 및
    상기 음파가 상기 교점에서 반사되도록 하되, 상기 곡면의 상기 교점에서의 법선을 기준으로 한 입사각과 반사각이 서로 동일하도록 상기 진행 경로를 결정하는 단계를 포함하는
    가상 음향 합성 방법.
  8. 제 5 항에 있어서,
    상기 진행 경로를 결정하는 단계는,
    상기 가상 객체로 입사되는 상기 음파의 경로와 상기 가상 객체의 표면 간의 교점에서의 법선을, 상기 복수 개의 점들 중 상기 교점으로부터 소정 거리 내에 존재하는 점들의 가상 공간 내에서의 위치에 기초하여 구하는 단계; 및
    상기 음파가 상기 교점에서 반사되도록 하되, 상기 법선을 기준으로 한 입사각과 반사각이 서로 동일하도록 상기 진행 경로를 결정하는 단계를 포함하는
    가상 음향 합성 방법.
  9. 영상 데이터로부터 실제 객체에 대한 정보를 획득하는 정보 획득부;
    3차원의 가상 공간 내에, 상기 실제 객체를 3차원 모델링하여 생성되는 가상 객체를 위치시키는 가상 공간 정보 생성부;
    상기 가상 공간 내에 위치하는 가상 음원(音源)으로부터 방사되는 하나 이상의 가상 음파(音波)에 대해, 상기 가상 객체의 위치 및 형상에 기초하여 상기 음파의 상기 가상 공간 내에서의 진행 경로를 결정하는 연산부; 및
    상기 음파의 진행 경로에 기초하여, 상기 가상 공간 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성하는 음향 합성부를 포함하고,
    상기 음파는, 상기 가상 공간 내에서 직진성(直進性)을 가지며, 상기 가상 객체의 표면과 만날 경우 반사되며,
    상기 가상 객체의 표면은, 복수의 폴리곤(polygon)에 의해 구획되며,
    상기 연산부는,
    상기 폴리곤 중 상기 음파와 만나는 폴리곤을 식별하고, 상기 음파가 상기 식별된 폴리곤에 의해 반사되도록 하되, 상기 식별된 폴리곤의 법선 벡터(normal vector)를 기준으로 한 입사각(入射角)과 반사각(反射角)이 서로 동일하도록 상기 음파의 진행 경로를 결정하는
    가상 음향 합성 장치.
  10. 제 1 항 및 제 4 항 내지 제 8 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는, 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  11. 제 1 항 및 제 4 항 내지 제 8 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
KR1020170138567A 2017-10-24 2017-10-24 가상 음향 합성 장치 및 방법 KR101975920B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170138567A KR101975920B1 (ko) 2017-10-24 2017-10-24 가상 음향 합성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170138567A KR101975920B1 (ko) 2017-10-24 2017-10-24 가상 음향 합성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190045696A KR20190045696A (ko) 2019-05-03
KR101975920B1 true KR101975920B1 (ko) 2019-05-09

Family

ID=66545522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170138567A KR101975920B1 (ko) 2017-10-24 2017-10-24 가상 음향 합성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101975920B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240617B2 (en) 2020-04-02 2022-02-01 Jlab Corporation Augmented reality based simulation apparatus for integrated electrical and architectural acoustics
US11582571B2 (en) 2021-05-24 2023-02-14 International Business Machines Corporation Sound effect simulation by creating virtual reality obstacle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523048B1 (ko) * 2022-04-08 2023-04-18 조현석 가상공간에서의 소리 변환 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080124A (ja) * 2003-09-02 2005-03-24 Japan Science & Technology Agency リアルタイム音響再現システム
US20160109284A1 (en) * 2013-03-18 2016-04-21 Aalborg Universitet Method and device for modelling room acoustic based on measured geometrical data

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901593B1 (ko) 2012-03-28 2018-09-28 삼성전자주식회사 가상 입체 음향 생성 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080124A (ja) * 2003-09-02 2005-03-24 Japan Science & Technology Agency リアルタイム音響再現システム
US20160109284A1 (en) * 2013-03-18 2016-04-21 Aalborg Universitet Method and device for modelling room acoustic based on measured geometrical data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240617B2 (en) 2020-04-02 2022-02-01 Jlab Corporation Augmented reality based simulation apparatus for integrated electrical and architectural acoustics
US11582571B2 (en) 2021-05-24 2023-02-14 International Business Machines Corporation Sound effect simulation by creating virtual reality obstacle

Also Published As

Publication number Publication date
KR20190045696A (ko) 2019-05-03

Similar Documents

Publication Publication Date Title
CN111095952B (zh) 使用体积音频渲染和脚本化音频细节级别的3d音频渲染
US11010958B2 (en) Method and system for generating an image of a subject in a scene
CN113597777B (zh) 音频处理
KR101975920B1 (ko) 가상 음향 합성 장치 및 방법
US10382881B2 (en) Audio system and method
JP2008165784A (ja) 静的影生成方法及び静的影生成システム
KR101835675B1 (ko) 증강현실 환경에서 입체 음향을 제공하기 위한 장치 및 그 방법
KR102398850B1 (ko) 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템
CN113711278A (zh) 用于处理虚拟3d对象表面交互的方法和系统
EP2552130B1 (en) Method for sound signal processing, and computer program for implementing the method
CN106846450B (zh) 实时渲染次表面散射的方法及相关装置
KR101699847B1 (ko) ３차원 그래픽 렌더링을 위한 클리핑 장치 및 방법
JP3899782B2 (ja) 模擬音発生装置及び模擬音発生方法
JP2015515058A (ja) シーン内の関与媒質を表現する方法および対応する装置
Cowan et al. Interactive rate acoustical occlusion/diffraction modeling for 2D virtual environments & games
JP2022041721A (ja) バイノーラル信号生成装置及びプログラム
WO2015011471A2 (en) Acoustic spatial sensory aid
TWI797577B (zh) 用於渲染包括離散曲面的一聲音場景的設備及方法
JP6086453B2 (ja) 音響システム及びその仮想音源の設定方法
Dias et al. 3D reconstruction and spatial auralization of the Painted Dolmen of Antelas
Kim et al. Efficient Propagation and Remapping of Sound through a Geometric Approach in Virtual Environments and Terrains
TW202145806A (zh) 基於柵格路徑尋找之繞射模型化
KR20200095766A (ko) 공간내의 가상의 위치에 한개 이상의 음원이 존재할 수 있게 하는 모의 실험법 그리고 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant