KR102398850B1 - 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템 - Google Patents

Abstract

본 발명은 증강현실이나 가상현실에서 실제공간에 최적화된 음향을 출력하는 사운드제어시스템에 관한 것으로, 사용자가 실제로 위치하는 공간정보와, 해당공간에서의 사용자 위치정보를 실시간 추적하는 인식부(10); 상기 인식부(10)로부터 검출된 실제 공간정보와 위치정보 및 컨텐츠로부터 송신되는 소스정보를 입력받아 좌표로 변환하는 연산부(20); 상기 송신되는 실제 및 가상의 공간정보 및 객체정보를 서로 합성하여 실제공간에서의 최적화된 객체의 절대위치 좌표를 생성하는 해석부(30); 상기 해석부(30)에 의해 생성된 객체의 절대위치 좌표를 바탕으로 추적된 객체의 위치에서 최적화된 사운드 제어정보를 생성하는 제어부(40); 상기 제어정보를 바탕으로 컨텐츠로부터 출력되는 음원신호를 스피커의 채널별로 볼륨을 조절하는 구동부(50);를 포함하여 이루어지는 것을 특징으로 한다.
따라서 본 발명은 사용자가 실제 위치하는 공간과 위치추적을 통해 별다른 직접적인 조작 없이도 사용자에게 실시간으로 입체 음향을 전달할 수 있으며, 이로 인해 현실의 공간 내에서도 가상의 물체 및 공간과 상호작용하는 것이 가능함에 따라 마치 가상의 객체가 현실에 실제로 존재하는 사실감과 현실과 가상이 융합된 혼합세계에 속해 있는 몰입감을 제공할 수 있는 효과가 있다.

Description

증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템{Sound control system that realizes 3D sound effects in augmented reality and virtual reality}

본 발명은 증강현실이나 가상현실에서 실제공간에 최적화된 음향을 출력하는 사운드제어시스템에 관한 것으로, 더욱 상세하게는 사용자가 실제 위치하는 공간과 위치추적을 통해 별다른 직접적인 조작 없이도 사용자에게 실시간으로 입체 음향을 전달할 수 있으며, 이로 인해 현실의 공간 내에서도 가상의 물체 및 공간과 상호작용하는 것이 가능함에 따라 마치 가상의 객체가 현실에 실제로 존재하는 사실감은 물론 현실과 가상이 융합된 혼합세계에 속해 있는 몰입감을 제공할 수 있는 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템에 관한 것이다.

오늘날 증강현실, 가상현실과 같은 실감기술은 게임, 교육, 엔터테인먼트, 건축 등 일반 사용자 및 산업 분야에서 다양하게 응용되고 있어 차세대 컴퓨팅 기술로 각광받고 있다.

이러한 공간 컴퓨팅 기술의 발전은 사용자에게 더 사실적이고 실감을 느낄 수 있는 피드백을 제공할 수 있게 하였으며, 이에 따라 공간 컴퓨팅 기술에 대한 수요 또한 계속해서 증가하고 있는 추세이다.

이러한 실감기술 기반의 증강 또는 가상현실 연구의 대부분은 이미지 및 영상 정보에 기반 한 시각화(Visualization)를 사실적으로 구현하는 연구가 진행되었다.

그러나 시각정보만을 제공하는 환경의 경우 시각적인 특성으로 인해 사용자가 동시에 제공받을 수 있는 정보가 한정되어 있다.

이를 보완하기 위해 현재의 연구들은 점차 시각정보 위주에서 청각을 포함한 오감기술 연구로 확대되고 있다.

여기서 청각적 정보는 방향에 관계없이 인지할 수 있으며, 칵테일 파티 효과(Cocktail Party Effect)에 의해 동시에 복수의 청각적 정보가 전달될 때에도 필요한 정보를 선택할 수 있다.

특히 청각적 정보는 방향성과 세기를 가지고 있어 사용자로 하여금 소리가 어느 방향과 거리에서 발생했는지를 파악할 수 있다.

이러한 청각적 정보의 특성은 시각적 정보를 보완하는 효과를 갖으며, 이를 사실적으로 표현하기 위해 많은 연구가 진행되고 있어 입체 음향 기술이 점차 공간 컴퓨팅 기술에 도입되고 있다.

대부분의 증강 현실에서의 입체음향연구에서는 가상 사운드로부터 사용자에게 도달하는 음파 중 직접적으로 전달되는 1차적인 사운드만을 출력하여 사용자에게 제공하며, 소리의 반사, 회절 등에 의해 2차적으로 발생하는 입체효과를 생성하는 연구가 많이 진행되지 않았다.

이러한 입체효과를 증강현실 또는 가상현실에서 활용하기 위해서는 실제 환경에 대한 공간적인 정보를 필요로 한다. 따라서 사용자의 공간적 정보인 위치 및 방향정보를 실시간으로 감지해 이에 맞는 사운드를 제공할 필요성이 있다.

대한민국 등록특허공보 제10-1835675호 (발명의 명칭: 증강현실 환경에서 입체 음향을 제공하기 위한 장치 및 그 방법) 대한민국 등록특허공보 제10-1988244호 (발명의 명칭: 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법)

본 발명은 상기와 같은 문제를 해결하고자 제안된 것으로, 사용자가 존재하는 현실 환경에 대한 정보와 함께 사용자의 위치 및 방향정보를 실시간으로 추적하고, 이를 통해 사용자와 물체 간의 상대적 위치와 방향에 의해 발생하는 직접적인 요인과 함께 소리의 회절 및 가림현상에 따라 나타나는 간접적인 요인에 맞춰 최적화된 입체 음향효과를 제공해줌으로써, 더 나은 사실감과 몰입도로 전반적인 사용자의 만족도를 높일 수 있는 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템을 제공하려는데 그 목적이 있다.

또한, 본 발명은 AR (augmented reality, AR) 장치를 통해서 컨텐츠가 출력될 때 객체의 3차원 실제 위치를 정보를 실시간 확인하고, 객체의 위치에 가장 최적화된 사운드 조절을 통해서 보다 역동적이고 실감나는 증강현실을 제공하고자 한다.

본 발명은 증강현실이나 가상현실에서 최적화된 음향을 출력하는 사운드제어시스템에 관한 것으로, 사용자가 실제로 위치하는 공간정보와, 해당공간에서의 사용자 위치정보를 실시간 추적하는 인식부; 상기 인식부로부터 검출된 실제 공간정보와 위치정보 및 컨텐츠로부터 송신되는 소스정보를 입력받아 좌표로 변환하는 연산부; 상기 송신되는 실제 및 가상의 공간정보 및 객체정보를 서로 합성하여 실제공간에서의 최적화된 객체의 절대위치 좌표를 생성하는 해석부; 상기 해석부에 의해 생성된 객체의 절대위치 좌표를 바탕으로 추적된 객체의 위치에서 최적화된 사운드 제어정보를 생성하는 제어부; 상기 제어정보를 바탕으로 컨텐츠로부터 출력되는 음원신호를 스피커의 채널별로 볼륨을 조절하는 구동부;를 포함하여 이루어지는 것을 특징으로 한다.

이때, 본 발명에 의한 상기 인식부는 사용자가 실제로 위치하는 공간정보와 함께 사용자의 위치와 방향을 입체적으로 인식하는 깊이카메라로 구성된 것을 특징으로 한다.

또한, 본 발명에 의한 상기 인식부는 사용자의 움직임에 따라 발생하는 머리방향의 변화를 추적하는 지자기센서, 가속도센서, 자이로센서를 더 포함하는 것을 특징으로 한다.

또한, 본 발명에 의한 상기 해석부는 컨텐츠의 소스정보를 로드하여 광선추적기법으로 사운드 광선의 경로좌표를 생성하고, 생성된 경로좌표를 검증하여 최종적인 전파좌표를 설정하는 것을 특징으로 한다.

또한, 본 발명에 의한 상기 해석부는 현실공간과 가상공간의 오브젝트를 정점(Vertex), 삼각형(Triangle) 및 색상(Color) 정보로 변환하여 경계볼륨계층을 생성한 다음, 경계볼륨계층 내부에서 소리의 속도, 세기, 방향정보가 포함되어 있는 사운드 광선을 생성하여 무작위의 방향으로 전파시킨 이후, 사운드 객체로부터 사용자의 위치로 도달되는 광선들을 유효좌표들로 저장하는 것을 특징으로 한다.

또한, 본 발명에 의한 상기 해석부는 저장된 유효좌표들을 순차 로드하고, 생성된 사운드 광선을 사용자로부터 사운드 객체의 위치로 도달되는 좌표만을 최종적으로 선정하는 것을 특징으로 한다.

본 발명은 사용자가 실제 위치하는 공간과 위치추적을 통해 별다른 직접적인 조작 없이도 사용자에게 실시간으로 입체 음향을 전달할 수 있으며, 이로 인해 현실의 공간 내에서도 가상의 물체 및 공간과 상호작용하는 것이 가능함에 따라 마치 가상의 객체가 현실에 실제로 존재하는 사실감은 물론 현실과 가상이 융합된 혼합세계에 속해 있는 몰입감을 제공할 수 있는 효과가 있다.

또한, 본 발명은 사용자가 증강현실(AR) 및 가상현실(VR : virtual reality) 컨텐츠를 통해 사운드를 재생하였을 때 실시간 객체의 움직임 및 효과에 따라 음향시스템이 최적화되어 보다 역동적이고 실감나는 증강현실 및 가상현실을 제공할 수 있는 효과가 있다.

상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.

도 1은 본 발명에 따른 시스템을 간략하게 나타내는 블록도이다.
도 2는 본 발명에 따른 시스템의 전체 구성도를 상세하게 나타내는 블록도이다.
도 3은 본 발명에 따른 시스템의 인식부를 상세하게 나타내는 블록도이다.
도 4는 본 발명에 따른 시스템의 연산부와 해석부를 상세하게 나타내는 블록도이다.
도 5는 본 발명에 따른 시스템의 제어부와 구동부를 상세하게 나타내는 블록도이다.

이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

또한, 본 문서에서 사용된 "제1," "제2," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, '제1 부분'과 '제2 부분'은 순서 또는 중요도와 무관하게, 서로 다른 부분을 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.

또한, 본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.

본 발명은 증강현실이나 가상현실에서 실제공간에 최적화된 음향을 출력하는 사운드제어시스템에 관한 것으로, 도 1에 도시된 바와 같이 인식부(10)와 연산부(20) 및 해석부(30)와 제어부(40) 그리고 구동부(50)를 주요 구성으로 하는 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템이다.

먼저, 본 발명에 따른 인식부(10)는 도 2 및 도 3처럼 사용자가 실제로 위치하는 공간정보와, 해당공간에서의 사용자 위치정보를 실시간 추적한다.

상기 인식부(10)는 3D 공간에서의 객체 위치인식 및 추적에 대한 장치로는 일반적인 깊이 카메라(Depth Camera)와RGB 카메라를 함께 내장하고 있는 장치를 활용하며, 위치 및 추적 정보는 촬영된 영상을 기반으로 인식장치에서 3차원 좌표로 환원되게 되며, 실시간 촬영된 RGB 영상은 AR 컨텐츠로 전송하게 된다.

이러한 인식부(10)는 사용자가 실제로 위치하는 공간정보와 함께 사용자의 위치와 방향을 입체적으로 인식하는 깊이카메라(11)를 포함한다.

깊이카메라(11)는 사용자의 실체공간에 설치되는 것으로, 깊이 데이터를 토대로 하여 사용자의 위치와 거리를 측정할 수 있다.

이러한 깊이카메라(11)는 사용자의 몸은 물론 손, 얼굴 등을 비롯한 신체의 주요 부위와 관절 단위까지 위치 추적이 가능하다.

하지만 시야각이 제한되어 있다는 단점이 있는데, 시야각 내에서는 다른 조건에 관계없이 정확한 추적 데이터를 높은 갱신률로 추출할 수 있다.

여기서 깊이카메라(11)는 영상을 촬영하는 RGB카메라가 통합 구성된 것을 이용하는 것이 바람직하다.

그리고 본 발명에 따른 연산부(20)는 도 2 및 도 4처럼 인식부(10)로부터 검출된 실제 공간정보와 위치정보 및 컨텐츠로부터 송신되는 소스정보를 입력받아 좌표로 변환한다.

이어서 본 발명에 따른 해석부(30)는 도 2 및 도 4처럼 송신되는 실제 및 가상의 공간정보 및 객체정보를 서로 합성하여 실제공간에서의 최적화된 객체의 절대위치 좌표를 생성한다.

즉, 실제공간 상에서 인식된 객체의 위치정보(Object Position)는 실시간 AR 콘텐츠로부터 송싱된 가상공간 속에서의 위치정보와 합쳐져서 실제공간에서의 최적화된 좌표정보로 변환된다.

이어서 본 발명에 따른 제어부(40)는 도 2 및 도 5처럼 해석부(30)에 의해 생성된 객체의 절대위치 좌표를 바탕으로 추적된 객체의 위치에서 최적화된 사운드 제어정보를 생성한다.

일반적인 AR콘텐츠에서의 사운드카드를 통한 사운드 출력은 실제 3D공간에서 최적화되지 않는 사운드이다.

즉, 해석부(30)의 결과물인 객체의 절대위치 좌표를 바탕으로 추적된 객체의 위치에서 최적화된 사운드 출력을 위해서 사운드볼륨제어장치를 이용한다.

마지막으로 본 발명에 따른 구동부(50)는 도 2 및 도 5처럼 제어부(40)의 결과물인 제어정보를 바탕으로 컨텐츠로부터 출력되는 음원신호를 스피커의 채널별로 볼륨을 조절한다.

한편, 본 발명에 의한 인식부(10)는 사용자의 움직임에 따라 발생하는 머리방향의 변화를 추적하는 지자기센서, 가속도센서, 자이로센서를 더 포함할 수도 있다.

이러한 지자기센서와 가속도센서 및 자이로센서는 사용자의 머리에 장착되는 기기에 통합 탑재된다.

즉, 가속도센서를 사용하여 오일러 각도(Euler's angle)인 피치(pitch)와 롤(roll) 값을 추출한다.

여기서 가속도센서 단독으로는 요우(yaw) 값을 측정할 수가 없으므로 지자기센서와 자이로센서를 사용한다.

즉, 자이로센서에서 추출되는 각속도 값을 통해 가속도센서의 피치(pitch)와 롤(roll) 값을 지자기센서와 칼만 필터(Kalman Filter)로 여과하여 보다 정밀한 값을 추출한다.

이러한 지자기센서와 칼만 필터를 거친 피치(pitch)와 롤(roll) 값에 대해 기울임 필터(Tilt Compenstion)를 사용하여 요우(yaw) 값을 추출한다.

이렇게 캘리브레이션 작업을 통하여 사용자 머리의 방향 값을 실시간으로 추적할 수가 있다.

또한, 본 발명에 의한 해석부(30)는 사운드 전파 시뮬레이션 기법을 이용한다.

즉, 해석부(30)는 광선 추적기법에 의해 이미지 소스와 그에 따른 사운드 광선의 진행경로를 찾는 전처리과정과, 생성된 경로를 검증하여 최종적인 전파경로를 선정하는 후처리과정을 거친다.

이후에 시뮬레이션에 의해 생성된 임펄스 응답을 수집하고, 변환하고자 하는 컨텐츠 음원신호와 합성하여 최종적인 입체음향을 생성한다.

즉, 현실공간과 가상공간의 오브젝트 정보가 정점(Vertex)과, 정점으로 구성된 삼각형(Triangle) 및 색깔(Color) 정보로 변환되어 하나의 지오메트리를 형성한다.

이러한 지오메트리를 토대로 사운드가 전파 시뮬레이션을 수행할 수 있도록 하는 가속 구조체인 BVH(Bounding Volume Hierarchy)를 생성한다.

BVH는 공간을 표현하는 자료 구조 중 한 종류로써, 잎사귀 노드(Leaf node)가 단위 도형을 감싸는 AABB(Axis-Aligned Bounding Volume)로 구성된다.

이 노드들은 부모 노드로 올라갈수록 더 큰 레벨의 집합으로 그룹핑되고, 더 큰 AABB로 감싸진다.

최종적으로 루트 노드(Root node)는 공간 전체를 감싸는 AABB를 포함하게 된다.

BVH는 일반적인 이진트리의 생성과 같이 루트 노드에서부터 재귀적으로 생성된다.

여기서 x, y, z축에 대해 번갈아가며 분할이 되며, 탐색에 최적화된 분할 지점을 찾는 기법이 사용된다.

사운드 광선의 탐색은 BVH 내부에서 이루어지게 되며, 계층 구조로 되어 있기 때문에 처음 교차 검사에 성공한 물체 뒤의 물체들을 무시할 수 있어 탐색 성능이 향상된다.

즉, 가상의 사운드가 위치하는 점 좌표로부터 단위 샘플의 개수만큼, 소리의 속도, 세기, 생성된 위치 및 방향과 같은 물리적 정보가 포함되어 있는 사운드 광선을 생성하여 무작위의 방향으로 BVH 내부에서 전파시킨다.

생성된 사운드는 빠른 광선 탐색을 위해 만들어진 가속 구조체인 BVH 트리 내에서 탐색을 진행하며 3D 오브젝트들의 단위 삼각형과 교차 검사를 수행한다.

교차 검사 중에 찾은 가장 가까운 삼각형을 지정하고, 사용자의 위치에 있는 삼각형인지 판별한다.

사용자가 아닌 주변 오브젝트인 경우, 3D 모델 내에서 미리 전처리로 지정한 회절 단면(diffracting edge)인지 확인한다.

이 값이 참일 때는 주변 일정 범위 내의 삼각형의 그림자 구역으로 회절 광선을 생성한다.

반면 거짓의 경우 입사각과 같은 반사각의 방향으로 정반사 광선을 생성한다.

재귀적으로 생성된 2차 광선들은 1차 광선들과 같이 주어진 방향으로 교차 검사를 수행하고 새로운 광선을 생성한다.

광선이 사용자의 위치 내로 접근할 경우 사운드의 위치에서부터 교차한 삼각형들을 유효 경로 후보 리스트에 저장한다.

모든 광선 탐색이 끝난 후에 리스트에 저장된 유효 경로 후보들에 대한 검증을 진행한다.

각각의 유효 경로에 대해서 사용자의 위치에서 시작하여 사운드의 위치까지 반대 순서로 교차 지점의 대칭점 대해 사운드의 이미지 소스를 생성한다.

다시 말해, 사용자로부터 교차한 후 반사 또는 회절된 지점이 일직선이 되도록 반사면에 대해 대칭되도록 사운드의 가상의 이미지 소스를 생성한다.

그리고 나서 이미지 소스에 의한 직선 경로 상에서 지오메트리 내에서 해당되는 반사면 이외의 삼각형과 교차가 이뤄지는지 검사한다.

만일 한 개 이상의 삼각형과 교차가 발생했다면, 그 경로는 유효하지 않은 것으로 표시되어 리스트에서 삭제된다.

모든 경로에 대한 유효 검사가 끝난 후에는 경로 리스트 내의 삼각형 자료를 바탕으로 입체 음향을 생성하는 데 필요한 데이터를 계산한다.

이 과정에는 삼각형과의 교차에 의해 감쇄된(attenuation) 소리의 세기, 사용자에게 도달했을 때의 소리의 방향, 사운드로부터 사용자까지의 총 거리 및 도달하는데 걸린 시간에 대한 계산이 포함된다.

또한, 본 발명에 의한 제어부(40)는 음원신호를 임펄스 응답(Finite Impulse Response)필터와의 콘볼루션(convolution) 연산을 통해 공간 정보를 가지는 사운드를 합성한다.

즉, 움직이는 사운드와 사용자, 그리고 장면 내 오브젝트가 포함된 동적인 장면 안에서는 사운드 위치로부터 사용자까지의 임펄스 응답이 도달하는 시간 및 프레임 렌더링 시간 간의 지연이 발생하여 최종 오디오 출력물에서 결함이 발생할 수 있다.

따라서 현재 재생되고 있는 프레임에 대한 정보를 수집하고, 오디오를 조절하는 부분은 렌더중인 프레임에 대한 출력값과 수집된 프레임에 대한 출력값을 보정하여 예측되는 미래의 프레임에 대한 출력을 미리 수행한다.

이와 같이 본 발명의 시스템은 차세대 컴퓨터 기술로서 각광받고 있는 증강현실, 가상현실 등 여러 분야에서 응용될 수 있다.

예컨대, 실감 프로젝션 또는 머리 착용형 디스플레이(Head Mounted Display, HMD)에 의한 실감 시각 효과 기법과 결합하여 전시회 등 공간 예술, 엔터테인먼트, 게임 어플리케이션을 제작하는 데 활용할 수 있다.

그밖에도 실제 공간에 대한 음향 시뮬레이션, 청각적 아이콘(Auditory Icon)과 입체 음향에 의한 스마트 디바이스 피드백 및 제어 인터페이스 등에 응용될 수도 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

10: 인식부
11: 깊이카메라
20: 연산부
30: 해석부
40: 제어부
50: 구동부

Claims (6)

1. 증강현실이나 가상현실에서 최적화된 음향을 출력하는 사운드제어시스템에 있어서,
   사용자가 실제로 위치하는 공간정보와, 해당공간에서의 사용자 위치정보를 실시간 추적하는 인식부(10);
   상기 인식부(10)로부터 검출된 실제 공간정보와 위치정보 및 컨텐츠로부터 송신되는 소스정보를 입력받아 좌표로 변환하는 연산부(20);
   상기 연산부(20)로부터 송신되는 실제 및 가상의 공간정보 및 객체정보를 서로 합성하여 실제공간에서의 최적화된 객체의 절대위치 좌표를 생성하는 해석부(30);
   상기 해석부(30)에 의해 생성된 객체의 절대위치 좌표를 바탕으로 추적된 객체의 위치에서 최적화된 사운드 제어정보를 생성하는 제어부(40);
   상기 제어부(40)로부터 제어신호를 바탕으로 컨텐츠로부터 출력되는 음원신호를 스피커의 채널별로 볼륨을 조절하는 구동부(50);를 포함하여,
   상기 인식부(10)는 사용자가 실제로 위치하는 공간정보와 함께 사용자의 위치와 방향을 입체적으로 인식하는 깊이카메라(11)로 구성되어,
   촬영된 영상을 기반으로 3차원 좌표로 환원되게 되고, 실시간 촬영된 RGB 영상은 AR 컨텐츠로 전송되며,
   상기 해석부(30)는 컨텐츠의 이미지소스를 로드하여 광선추적기법으로 사운드 광선의 경로좌표를 생성하고, 생성된 경로좌표를 검증하여 최종적인 전파좌표를 설정하며,
   상기 제어부(40)는 음원신호를 임펄스 응답(Finite Impulse Response)필터와의 콘볼루션(convolution) 연산을 통해 공간 정보를 가지는 사운드를 합성하며, 현재 재생되고 있는 프레임에 대한 정보를 수집하고, 오디오를 조절하는 부분은 렌더중인 프레임에 대한 출력값과 수집된 프레임에 대한 출력값을 보정하여 예측되는 미래의 프레임에 대한 출력을 미리 수행하고,
   상기 인식부(10)는 사용자의 움직임에 따라 발생하는 머리방향의 변화를 추적하는 지자기센서, 가속도센서, 자이로센서를 구비하여, 상기 자이로센서에서 추출되는 각속도 값을 통해 가속도센서의 피치(pitch)와 롤(roll) 값을 지자기센서와 칼만 필터(Kalman Filter)로 여과하여 정밀한 값을 추출하는 것을 특징으로 하는 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 해석부(30)는 현실공간과 가상공간의 오브젝트를 정점(Vertex), 삼각형(Triangle) 및 색상(Color) 정보로 변환하여 경계볼륨계층을 생성한 다음, 경계볼륨계층 내부에서 소리의 속도, 세기, 방향정보가 포함되어 있는 사운드 광선을 생성하여 무작위의 방향으로 전파시킨 이후, 사운드 객체로부터 사용자의 위치로 도달되는 광선들을 유효좌표들로 저장하는 것을 특징으로 하는 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템.
   
6. 청구항 5에 있어서,
   상기 해석부(30)는 저장된 유효좌표들을 순차 로드하고, 생성된 사운드 광선을 사용자로부터 사운드 객체의 위치로 도달되는 좌표만을 최종적으로 선정하는 것을 특징으로 하는 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템.

Images