KR102372792B1 - 사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템 - Google Patents

Abstract

본 실시예들은 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 제어 시스템에 있어서, 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어하는 메인 제어부 및 메인 제어부에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부를 포함하는 사운드 제어 시스템을 제시한다.

Description

사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템{Sound Control System through Parallel Output of Sound and Integrated Control System having the same}

본 발명은 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템에 관한 것으로, 사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

VR 사운드 개발의 가장 큰 문제는 VR 관련 기술 개발이 초기 단계의 경우 그 콘텐츠가 표준화되지 않은 개발환경 속에서 제작되고 있는 점이다. VR로 변환되는 영상 콘텐츠들은 대부분 영화 산업의 표준에 기반하여 제작되고 있으며, 페이스북, 유튜브 등의 회사에서는 공간음(Spatial-sound) 등 기존 사운드프로덕션의 프로그램을 활용하여 페이스북 모바일 사용자의 환경에 맞게끔 이어폰으로 사운드를 들을 수 있도록 사운드 파일을 2채널 서라운드 포맷인 바이노럴 방식으로 인코딩해주는 소프트웨어를 개발, 배포하고 있다.

영화 산업 표준에 따라 제작된 VR 사운드는 실시간 상황에 맞게 상호작용적으로 반응하게끔 프로그래밍된 소리가 아니라 선형적 시간 기반의 콘텐츠인 영화에 포함된 사운드와 같이 고정적인 소리로서 렌더링되는 제한이 있다.

물리엔진을 활용한 3D게임 기술 기반의 VR 콘텐츠는 실시간 상에서 사용자의 움직임과 위치에 따라 가상현실 내부의 상황과 인터렉션되며, 이에 따라 적합화된 소리가 발생하게 되어야 한다. 이와 같이 영상 VR과 게임기반 VR은 서로 전혀 다른 구조의 제작 방식을 가진다. 현재 촬영 기반의 VR은 기존 영화나 음악 산업의 사운드 엔지니어가 작업하는 경우가 대부분이며, 컴퓨팅 기반의 VR 콘텐츠는 컴퓨터 프로그래머가 주로 사운드 제작에 참여하게 된다.

몰입감 있는 VR 사운드를 만들기 위해서는 깊이감 있는 사운드를 다루는 사운드 엔지니어링 전문가도 필요로 하고, 다양한 컴퓨팅 기반의 인터렉티브 사운드를 제작하는 엔지니어도 필요하다.

본 발명의 실시예들은 몰입감 있는 사운드 체험을 사용자에게 제공하기 위하여 5.1채널 서라운드 사운드와 2채널 헤드폰 사운드를 혼용하여 VR 콘텐츠를 개발하는데 발명의 주된 목적이 있다.

또한, 본 발명의 실시예들은 서라운드 스피커와 골전도 이어폰의 연결될 수 있는 지점을 찾아 양측에 출력하는 사운드의 환경을 동일하게 하드웨어 및 사운드 제작을 구성하는 동시에 VR 사운드에서 드러나는 음질 저하를 해소하는데 발명의 주된 목적이 있다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 사운드 제어 시스템은, 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 제어 시스템에 있어서, 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어하는 메인 제어부 및 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부를 포함한다.

바람직하게는, 상기 메인 제어부는 상기 사용자의 모션을 감지하여 상기 콘텐츠에 적용하고, 상기 적용된 콘텐츠를 상기 사용자에게 제공하는 콘텐츠 제어부 및 상기 제2 사운드 제어부에 상기 동기화 데이터를 전송하고, 상기 동기화 데이터를 기반으로 제1 출력 기기에 상기 제1 사운드를 전달하는 제1 사운드 제어부를 포함한다.

바람직하게는, 상기 제1 사운드 제어부는 상기 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록되는 프로세스 모듈, 상기 등록된 사운드를 상기 콘텐츠에 적용하여 상기 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 상기 동기화 데이터를 생성하는 3D 엔진모듈, 상기 생성된 동기화 데이터를 상기 제2 사운드 제어부에 전송하는 제1 통신모듈 및 상기 동기화 데이터를 기반으로 상기 콘텐츠 내 장소 및 상기 사용자의 움직임에 따라 생성된 제1 사운드를 상기 제1 출력 기기에 전달하는 제1 사운드 출력 처리모듈을 포함한다.

바람직하게는, 상기 동기화 데이터는 상기 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 상기 콘텐츠 내에서 변화하는 복수의 장소를 포함하고, 상기 복수의 장소 별 씬 번호, 배경음, 효과음을 포함하는 것을 특징으로 한다.

바람직하게는, 상기 제2 사운드 제어부는 상기 동기화 데이터를 전달받는 제2 통신모듈, 상기 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송하는 사운드 전송모듈, 상기 전송된 상기 동기화 데이터 및 상기 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리하는 사운드 처리모듈 및 상기 장소 별로 처리된 환경음 및 효과음과 상기 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기에 전달하는 제2 사운드 출력 처리모듈을 포함한다.

바람직하게는, 상기 음향 출력 장치는 골전도 이어폰으로 구현되는 제1 출력 기기 및 서라운드 스피커로 구현되는 제2 출력 기기를 포함하고, 상기 제1 출력 기기에 의해 상기 제1 사운드가 출력되는 영역과 상기 제2 출력 기기에 의해 상기 제2 사운드가 출력되는 영역이 서로 상이함에 따라 상기 제1 사운드 및 제2 사운드에 동일한 저음을 재생시켜 상기 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현되는 것을 특징으로 한다.

바람직하게는, 상기 메인 제어부는 상기 사용자의 상대 속도 또는 가속도에 의해 고려된 속도와 상기 콘텐츠 내의 장소를 고려하여 제3 사운드를 상기 사운드 기기에 전달하며, 상기 제3 사운드는 상기 속도가 증가함에 따라 제1 음원에서 제2 음원으로 전환되고, 일정구간 동안 상기 제1 음원 및 상기 제2 음원이 기 설정된 시간 동안 믹스되어 출력되며, 상기 속도가 제1 음원과 상기 제2 음원 사이로 유지되는 경우 상기 유지되는 속도와 유지되기 전의 속도와 비교하여 상기 속도가 증가하면 상기 제2 음원을 출력하고, 감소하면 상기 제1 음원이 출력되는 것을 특징으로 한다.

바람직하게는, 상기 제1 출력 기기는 상기 콘텐츠의 효과음, 나레이션, 보완 내용을 적어도 하나 포함하는 상기 제1 사운드가 출력되고, 상기 제2 출력 기기는 상기 콘텐츠의 배경음, 대사를 적어도 하는 포함하는 상기 제2 사운드가 출력되는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 통합 제어 시스템은, HMD를 통해 콘텐츠가 구현되고, 사용자의 손에 착용되는 컨트롤러에 의해 상기 사용자의 움직임에 따라 상기 콘텐츠를 제어하는 콘텐츠 구동 장치, 상기 콘텐츠가 사용되는 방향, 위치 및 좌표를 인식하고, 상기 인식된 범위 내에서 상기 HMD 또는 상기 컨트롤러를 통해 상기 사용자의 움직임에 따른 모션을 감지하는 센서부, 상기 콘텐츠의 사운드를 상기 사용자에게 제공하기 위해 적어도 하나의 출력 기기를 포함하는 음향 출력 장치, 상기 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 상기 모션에 따라 제1 사운드를 제어하는 메인 제어부 및 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부를 포함한다.

바람직하게는, 상기 메인 제어부는 상기 사용자의 모션을 감지하여 상기 콘텐츠에 적용하고, 상기 적용된 콘텐츠를 상기 사용자에게 제공하는 콘텐츠 제어부 및 상기 제2 사운드 제어부에 상기 동기화 데이터를 전송하고, 상기 동기화 데이터를 기반으로 제1 출력 기기에 상기 제1 사운드를 전달하는 제1 사운드 제어부를 포함하고, 상기 제1 사운드 제어부는 상기 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록되는 프로세스 모듈, 상기 등록된 사운드를 상기 콘텐츠에 적용하여 상기 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 상기 동기화 데이터를 생성하는 3D 엔진모듈, 상기 생성된 동기화 데이터를 상기 제2 사운드 제어부에 전송하는 제1 통신모듈 및 상기 동기화 데이터를 기반으로 상기 콘텐츠 내 장소 및 상기 사용자의 움직임에 따라 생성된 제1 사운드를 상기 제1 출력 기기에 전달하는 제1 사운드 출력 처리모듈을 포함한다.

바람직하게는, 상기 동기화 데이터는 상기 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 상기 콘텐츠 내에서 변화하는 복수의 장소를 포함하고, 상기 복수의 장소 별 씬 번호, 배경음, 효과음을 포함하는 것을 특징으로 한다.

바람직하게는, 상기 센서부는 상기 사용자의 속도 및 위치를 더 측정하여 상기 메인 제어부에 제공하며, 상기 메인 제어부는 상기 사용자의 상대 속도 또는 가속도에 의해 고려된 속도와 상기 콘텐츠 내의 장소를 고려하여 제3 사운드를 상기 사운드 기기에 전달하며, 상기 제3 사운드는 상기 속도가 증가함에 따라 제1 음원에서 제2 음원으로 변화하며, 상기 제1 음원에서 상기 제2 음원으로 변화하는 일정 구간에서 상기 제1 음원 및 상기 제2 음원이 믹스되어 출력되는 것을 특징으로 한다.

바람직하게는, 상기 제2 사운드 제어부는 상기 동기화 데이터를 전달받는 제2 통신모듈, 상기 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송하는 사운드 전송모듈, 상기 전송된 상기 동기화 데이터 및 상기 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리하는 사운드 처리모듈 및 상기 장소 별로 처리된 환경음 및 효과음과 상기 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기에 전달하는 제2 사운드 출력 처리모듈을 포함한다.

바람직하게는, 상기 음향 출력 장치는 골전도 이어폰으로 구현되는 제1 출력 기기 및 서라운드 스피커로 구현되는 제2 출력 기기를 포함하고, 상기 제1 출력 기기에 의해 상기 제1 사운드가 출력되는 영역과 상기 제2 출력 기기에 의해 상기 제2 사운드와 출력되는 영역이 중복되지 않으며, 상기 사용자의 위치 별로 상기 제1 사운드 및 제2 사운드 간의 거리감이 구현되어 연속적인 상기 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현되는 것을 특징으로 한다.

바람직하게는, 상기 센서부는 상기 사용자의 속도 및 위치를 더 측정하여 상기 메인 제어부에 제공하며, 상기 메인 제어부는 상기 사용자의 상대 속도 또는 가속도에 의해 고려된 속도와 상기 콘텐츠 내의 장소를 고려하여 제3 사운드를 상기 사운드 기기에 전달하며, 상기 제3 사운드는 상기 속도가 증가함에 따라 제1 음원에서 제2 음원으로 변화하며, 상기 제1 음원에서 상기 제2 음원으로 변화하는 일정 구간에서 상기 제1 음원 및 상기 제2 음원이 믹스되어 출력되는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 사운드 처리 방법은, 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 제어 시스템에 의한 사운드 제어 방법에 있어서, 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어하는 단계 및 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 단계를 포함한다.

바람직하게는, 상기 제1 사운드를 제어하는 단계는 상기 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록되는 단계, 상기 등록된 사운드를 상기 콘텐츠에 적용하여 상기 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 상기 동기화 데이터를 생성하는 단계, 상기 생성된 동기화 데이터를 상기 제2 사운드 제어부에 전송하는 단계 및 상기 동기화 데이터를 기반으로 상기 콘텐츠 내 장소 및 상기 사용자의 움직임에 따라 생성된 제1 사운드를 제1 출력 기기에 전달하는 단계를 포함하고, 상기 제2 사운드를 제어하는 단계는 상기 동기화 데이터를 전달받는 단계, 상기 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송하는 단계, 상기 전송된 상기 동기화 데이터 및 상기 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리하는 단계 및 상기 장소 별로 처리된 환경음 및 효과음과 상기 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기에 전달하는 단계를 포함한다.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 본 발명은 렌더링된 오디오 파일을 VR 프로그램(Unity와 Unreal 등)과 평행하게 재생되며, 통합될 수 있도록 사운드 출력 하드웨어 쪽으로의 아웃풋 과정 중간에 통신 가능한 사운드 서버를 자체적으로 제공하는 효과가 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1은 본 발명의 일 실시예에 따른 사운드 제어 시스템을 포함하는 통합 제어 시스템을 나타내는 도면이다.
도 2 및 도 3는 본 발명의 일 실시예에 따른 사운드 제어 시스템을 포함하는 통합 제어 시스템을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 일반 이어폰과 골전도 이어폰을 나타내는 도면이다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 골전도 이어폰과 멀티 채널 서라운드의 혼용을 나타내는 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 사용자의 이동에 다른 사운드를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 사운드 제어 방법을 나타내는 도면이다.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

및/또는 이라는 용어는 복수의 관련된 기재된 항들의 조합 또는 복수의 관련된 기재된 항들 중의 어느 항을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명은 사운드의 서라운드 스피커와 골전도 이어폰의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템에 관한 것이다.

미디어 기술의 발전으로 가상현실을 이용한 산업과 작업이 빠른 속도로 발전하고 있으며, 이에 따른 VR 콘텐츠에서의 영상 기법과 기기 개발이 가속화되고 있다. 하지만 풍부한 VR 경험을 만들기 위한 연구가 아직까지는 시각 분야에 치우쳐져 있으며, 청각 분야에 대한 개발은 더딘 상황이다. 또한, VR 영상에 대한 접근이 현재 영화 영상에서 출발한 접근과 인터렉티브 게임에서 출발한 접근으로 분리되는 것처럼 VR 사운드 분야에서도 그 접근이 기존 영상이나 음악 산업에 기반하여 서라운드 사운드를 사용하는 방식과 게임 산업의 인터렉티브 사운드 출력 방식으로 나뉘어 접근되고 있다.

사운드의 병행 출력을 통한 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 VR 사운드 영역에서 분리되는 이러한 두 영역의 상이한 개발 방식을 보다 융합적으로 접근하여, 사용자에게 몰입감 있는 사운드 체험을 제공하기 위하여 5.1채널 서라운드 사운드와 2채널 헤드폰 사운드를 혼용한 콘텐츠를 제공한다.

사운드의 병행 출력을 통한 사운드 시스템(10)은 서라운드 스피커(520)와 골전도 헤드폰(510)을 함께 배치하여 VR 사운드를 출력, 제어할 수 있다.

사운드 출력 방식은 더 안정적인 VR 시청각 시스템을 구축하는 동시에 사운드 엔지니어에게 사운드의 개별 조정을 허락함으로써 VR 사운드 콘텐츠 제작과 편집 과정을 단순화시킬 수 있다.

사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 VR 외에 3D 게임 콘텐츠에도 적용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 사운드 제어 시스템을 포함하는 통합 제어 시스템을 나타내는 도면이다.

통상적으로 VR에서 밀도 있는 사운드개발이 지연되는 이유는 물리엔진을 이용한 가상공간의 환경을 만드는 컴퓨팅 기반의 제작환경과 사운드를 만드는 사운드 엔지니어의 제작과정이 너무나 상이하기 때문이다. 여기서, 제작환경은 프로그래밍을 통해 소프트웨어를 제작하는 과정을 나타내고, 사운드 엔지니어는 시간을 베이스로 하나의 렌더링된 파일을 만들어 음원을 재생시키는 엔지니어를 의미한다.

프로그래밍은 절차적이며 무엇보다 사용자를 중심으로 시간이 진행되어 가는 것을 염두에 두고 상호 반응할 수 있게 제작이 되며 사용자가 발생하는 이벤트를 중심으로 만들어질 수 있다.

음악은 많은 음악산업과 영화 산업의 기준에 따라 디지털 오디오 워크스테이션 환경(DAW)에서 제작되며 다양한 사운드를 표현하기 위해 가상악기(VST)라는 미들웨어를 사용하여 제작되게끔 발전하고 있다.

사운드의 병행 출력을 통한 사운드 제어 시스템(20)은 상술한 상이한 작업을 상보적으로 작동할 수 있도록 구현하기 위해서 재생을 위한 사운드서버를 별도로 구성할 수 있다.

기존의 VR 어플리케이션은 사운드를 처리하는 방법이 프로그래머에 의해 전담되거나 사운드 엔지니어가 따로 존재한다 하더라도 사운드 엔지니어는 제작된 사운드 파일을 전달하여 간단하게 재생하는 방식의 제작방법을 가진다. 이에 의해 사운드 엔지니어의 제작의도가 완벽하게 전달되지 못하는 문제가 있다. 이는 사운드를 처리하는 VR 어플리케이션이 하나의 컴파일된 프로그램으로 만들어져야 하기 때문에 발생한다. VR 사운드 엔진은 VR 어플리케이션 내에 종속될 수 있다.

도 1을 참조하면, 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 머리 착용 디스플레이(Head Mounted Display, HMD)(110), 컨트롤러(120), 센서부(200), 제1 출력 기기(510), 제2 출력 기기(520), 메인 제어부(300) 및 제2 사운드 제어부(400)를 포함한다. 통합 제어 시스템(10)은 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

여기서, HMD(110), 컨트롤러(120) 및 제1 출력 기기(510)는 콘텐츠를 사용하는 사용자가 착용하고 있는 것으로 콘텐츠 사용 전 세팅된 공간 내에서 이용할 수 있다. 구체적으로, 사용자는 센서부(200), 제2 출력 기기(520), 제2 사운드 제어부(400) 및 메인 제어부(300)가 위치하는 공간 내에서 콘텐츠를 이용할 수 있으며, 공간을 벗어나는 경우 콘텐츠를 이용할 수 없다.

사운드 제어 시스템(20)은 메인 제어부(300) 및 제2 사운드 제어부(400)를 포함할 수 있으며, 메인 제어부(300)는 콘텐츠 제어부(310) 및 제1 사운드 제어부(320)로 구현될 수 있다. 사운드 제어 시스템(20)은 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

본 발명의 일 실시예에 따르면, 제1 출력 기기(510)는 골전도 이어폰으로 구현될 수 있으며, 반드시 이에 한정되는 것은 아니며 사용자의 귀가 개방되어서 사운드가 내이에 바로 전달될 수 있는 장치로 구현될 수 있다.

골전도 이어폰은 귓바퀴 뒤의 뼈의 진동을 전달하여 고막에 진동을 전달하는 방식으로 소리를 전달하며 귀 주변 연골에 부착하는 형식이기에 이어폰을 통해서 듣는 소리뿐 아니라 외부의 소리도 동시에 들을 수 있는 청취 환경을 가능하게 한다.

제2 출력 기기(520)는 콘텐츠를 사용하는 사용자의 앞, 뒤, 좌, 우에 배치하여 음향의 입체 효과를 높여주기 위해 사용될 수 있으며, 서라운드 스피커로 구현될 수 있으며 반드시 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 따르면, 센서부(200)는 복수의 위치 측정 센서, 모션 센서 등으로 구현될 수 있다. 구체적으로, 복수의 위치 측정 센서, 모션 센서 등을 통해 콘텐츠가 구현되는 범위를 설정할 수 있다.

콘텐츠 구동 장치(100)는 HMD(110) 및 컨트롤러(120)를 포함한다.

HMD(110)는 사용자의 머리에 고정되어 사용자의 시야를 기반으로 콘텐츠가 구현될 수 있다.

컨트롤러(120)는 사용자의 손에 구비되어 사용자의 손의 움직임에 따라 콘텐츠를 제어할 수 있다. 여기서, 컨트롤러(120)는 사용자가 손에 들고 있는 것으로 구현되었으나 반드시 이에 한정되는 것은 아니며 사용자가 손에 착용하나 부착되어 구현될 수 있다.

도 1을 참조하면, 센서부(200)는 4개의 위치 측정 센서가 구비되며, 4개의 위치 측정 센서가 서로 연결되는 범위 내에서 콘텐츠가 구현될 수 있다. 여기서, 콘텐츠의 구현을 위한 범위 설정은 4개의 위치 측정 센서가 구비되어 설정되는 것으로 도시하였으나, 반드시 이에 한정되는 것은 아니며, 2개 이상의 위치 측정 센서를 통해 사용자의 위치를 감지할 수 있으며, 컨트롤러(120)를 통해 콘텐츠가 구현되는 범위를 설정하는 것으로 구현될 수 있다.

기존의 VR에서 물리 엔진을 이용한 가상 공간의 환경을 만드는 컴퓨팅 기반의 프로그래밍을 통해 소프트웨어를 제작하는 제작 환경 과정과 사운드를 만드는 사운드 엔지니어의 제작 과정이 너무 상이하기 때문에 VR에서 밀도 있는 사운드 개발이 지연된다. 여기서, 사운드 엔지니어는 시간을 베이스로 하나의 렌더링된 파일을 만들어 음원을 재생시키는 것이다. 프로그래밍은 절차적이며 무엇보다 사용자를 중심으로 시간이 진행되어 가는 것을 염두에 두고 상호 반응할 수 있게 제작이 되며 사용자가 발생하는 이벤트를 중심으로 만들어 진다. 음악은 많은 음악 산업과 영화 산업에 기준에 따라 디지털 오디오 워크스테이션 환경(DAW)에서 제작되어 다양한 사운드를 표현하기 위해 가상악기(VST)라는 미들웨어를 사용하여 제작되도록 발전하고 있다. 이러한 상이한 작업을 상보적으로 작동할 수 있도록 구현하기 위해서 사운드 재생을 위한 사운드 서버를 별도로 구성하는 통합 제어 시스템(10)을 제안한다. 통합 제어 시스템(10)의 구성에 대해서는 도 2 내지 도 4를 참조하여 자세히 설명한다.

도 2 및 도 3는 본 발명의 일 실시예에 따른 사운드 제어 시스템을 포함하는 통합 제어 시스템을 나타내는 블록도이다.

도 2를 참조하면, 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 콘텐츠 구동 장치(100), 센서부(200), 메인 제어부(300), 제2 사운드 제어부(400) 및 음향 출력 장치(500)를 포함한다. 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

콘텐츠 구동 장치(100)는 HMD(110) 및 컨트롤러(120)를 포함한다.

콘텐츠 구동 장치(100)는 HMD(110)를 통해 콘텐츠가 구현되고, 사용자의 손에 착용되는 컨트롤러(120)에 의해 사용자의 움직임에 따라 콘텐츠를 제어할 수 있다.

HMD(110)는 머리에 착용되는 디스플레이로 안경처럼 착용하여 영상을 즐길 수 있는 장치로서 콘텐츠가 구현될 수 있다.

컨트롤러(120)는 HMD(110)를 통해 구현된 콘텐츠를 이용하기 위한 조종기로서, 게임의 장르에 따라 패드, 조이스틱, 건, 핸들 등으로 구현되어 사용될 수 있다.

센서부(200)는 콘텐츠가 사용되는 방향, 위치 및 좌표를 인식하고, 인식된 범위 내에서 HMD(110) 또는 컨트롤러(120)를 통해 사용자의 움직임에 따른 모션을 감지할 수 있다.

센서부(200)는 위치 측정 센서로 구현되어 위치 측정 센서 내에 위치하는 사용자의 위치를 측정할 수 있다. 구체적으로, 센서부(200)는 사용자의 이동을 감지하여 사용자가 위치하는 좌표를 구현할 수 있다.

사운드 제어 시스템(20)은 적어도 하나의 출력 기기를 포함하는 음향 출력 장치(500)와 연동될 수 있다. 여기서 음향 출력 장치(500)는 제1 출력 기기(510) 및 제2 출력 기기(520)를 포함할 수 있다.

메인 제어부(300)는 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어할 수 있다.

메인 제어부(300)는 사용자의 상대 속도 또는 가속도에 의해 고려된 속도와 콘텐츠 내의 장소를 고려하여 생성된 제3 사운드를 사운드 기기에 전달할 수 있다. 제3 사운드는 속도가 증가함에 따라 제1 음원에서 제2 음원으로 전환되고, 일정구간 동안 제1 음원 및 제2 음원이 기 설정된 시간 동안 믹스되어 출력되며, 속도가 제1 음원과 제2 음원 사이로 유지되는 경우 유지되는 속도와 유지되기 전의 속도와 비교하여 속도가 증가하면 제2 음원을 출력하고, 감소하면 제1 음원이 출력될 수 있다.

메인 제어부(300)는 콘텐츠 제어부(310) 및 제1 사운드 제어부(320)를 포함한다.

콘텐츠 제어부(310)는 사용자의 모션을 감지하여 콘텐츠에 적용하고, 적용된 콘텐츠를 상기 사용자에게 제공할 수 있다.

제1 사운드 제어부(320)는 제2 사운드 제어부(400)에 동기화 데이터를 전송하고, 동기화 데이터를 기반으로 제1 출력 기기(510)에 제1 사운드를 전달할 수 있다.

도 3을 참조하면, 제1 사운드 제어부(320)는 프로세스 모듈(322), 3D 엔진 모듈(324), 제1 통신 모듈(326) 및 제1 사운드 출력 처리 모듈(328)을 포함한다. 제1 사운드 제어부(320)는 도 3에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

프로세스 모듈(322)은 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록될 수 있다.

3D 엔진 모듈(324)은 등록된 사운드를 콘텐츠에 적용하여 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 동기화 데이터를 생성할 수 있다.

제1 통신 모듈(326)은 생성된 동기화 데이터를 제2 사운드 제어부(400)에 전송할 수 있다.

동기화 데이터는 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 콘텐츠 내에서 변화하는 복수의 장소를 포함할 수 있으며, 복수의 장소 별 씬 번호, 배경음, 효과음을 포함할 수 있다.

제1 사운드 출력 처리 모듈(328)은 동기화 데이터를 기반으로 콘텐츠 내 장소 및 사용자의 움직임에 따라 생성된 제1 사운드를 제1 출력 기기(510)에 전달할 수 있다.

제2 사운드 제어부(400)는 메인 제어부(300)에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어할 수 있다.

제2 사운드 제어부(400)는 제2 통신모듈(410), 사운드 전송모듈(420), 사운드 처리모듈(430) 및 제2 사운드 출력 처리모듈(440)을 포함한다. 제2 사운드 제어부(400)는 도 3에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

제2 통신모듈(410)은 제1 통신모듈(326)에서 동기화 데이터를 전달받을 수 있다.

사운드 전송모듈(420)은 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송할 수 있다.

사운드 처리모듈(430)은 전송된 동기화 데이터 및 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리할 수 있다.

제2 사운드 출력 처리모듈(440)은 장소 별로 처리된 환경음 및 효과음과 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기(520)에 전달할 수 있다.

음향 출력 장치(500)는 콘텐츠의 사운드를 사용자에게 제공하기 위해 적어도 하나의 출력 기기를 포함할 수 있다.

음향 출력 장치(500)는 골전도 이어폰으로 구현되는 제1 출력 기기(510) 및 서라운드 스피커로 구현되는 제2 출력 기기(520)를 포함한다.

사운드 제어 시스템(20)은 제1 출력 기기(510)에 의해 제1 사운드가 출력되는 영역과 제2 출력 기기(520)에 의해 제2 사운드가 출력되는 영역이 중복되지 않으며, 사용자의 위치 별로 제1 사운드 및 제2 사운드 간의 거리감이 구현되어 연속적인 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현될 수 있다.

제1 출력 기기(510)는 콘텐츠의 효과음, 나레이션, 보완 내용을 적어도 하나 포함하는 제1 사운드를 출력할 수 있다.

제2 출력 기기(520)는 콘텐츠의 배경음, 대사를 적어도 하는 포함하는 제2 사운드를 출력할 수 있다.

도 3을 참조하면, 메인 제어부(300)는 제1 사운드 출력 처리모듈(328)을 통해 제1 출력 기기(510)로 제1 사운드를 제공할 수 있으며, 제2 사운드 제어부(400)는 제2 사운드 출력 처리모듈(440)을 통해 제2 출력 기기(520)로 제2 사운드를 제공할 수 있다.

기존의 콘텐츠 제어부는 사운드를 처리하는 방법이 프로그래머에 의해 전담되거나 사운드 엔지니어가 따로 존재한다 하더라도 사운드 엔지니어는 제작된 사운드 파일을 전달하여 간단하게 재생하는 방식의 제작 방법을 가진다. 이에 의해 사운드 엔지니어의 제작의도가 완벽하게 전달되지 못한다. 이는 사운드를 처리하는 어플리케이션이 하나의 컴파일된 프로그램으로 만들어져야 하기 때문에 발생하는 문제이며, 콘테츠 제어부 내에 사운드 제어부가 종속되어 HMD에 포함된 2ch 헤드셋에 사운드를 출력할 수 있다.

본 발명의 일 실시예에 따르면, 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 사운드 엔지니어가 사용하는 상용 사운드 엔진이 입력 가능한 메인 제어부(300)와 별개의 제2 사운드 제어부(400)를 개발하여 두 프로그램이 사운드 처리에 관한 데이터를 자유롭게 사용할 수 있다. 또한, 기존의 헤드폰에서 재생되던 메인 제어부(300)의 사운드 출력 또한 제2 사운드 제어부(400)를 통해 사운드를 출력할 수 있도록 제작하여 동시에 작업이 가능할 수 있다. 여기서, 제2 사운드 제어부(400)는 제2 출력 기기(520)로 사운드를 출력하고, 메인 제어부(300)는 제1 출력 기기(510)로 사운드를 출력할 수 있다. 구체적으로, 제1 출력 기기(510)는 골전도 이어폰으로 구현되며, 제2 출력 기기(520)는 서라운드 스피커로 구현될 수 있다.

본 발명의 일 실시예에 따르면, 메인 제어부(300)의 제1 사운드 제어부(320)는 제1 통신 모듈(326)을 포함하고, 제2 사운드 제어부(400)는 제2 통신 모듈(410)을 포함한다. 한가지 음원에 대한 부분을 두 가지의 음향 출력 장치(500)가 출력해야 하므로 메인 제어부(300)의 내부적으로는 제1 출력 기기(510)에 기본적인 사운드를 보내는 동시에 제2 사운드 제어부(400)에 동기화 데이터를 전송할 수 있다.

제1 통신 모듈(326) 및 제2 통신 모듈(410)은 공간을 기준으로 한 통신 프로토콜을 나타내는 동기화 데이터로 나뉘게 된다.

동기화 데이터는 장소 태그, 씬 번호, 배경음, 배경 음악, 효과음 등을 포함하며, 제1 통신 모듈(326)에서 제2 통신 모듈(410)로 전송할 수 있다. 구체적으로, 장소 태그는 장소 1, 장소 2, 장소 3 등으로 표현될 수 있으며, 효과음은 효과음1, 효과음2 등으로 표현되거나 발걸음과 같은 실제명으로 표현될 수 있으며, 반드시 이에 한정되는 것은 아니다.

제2 통신 모듈(410)은 동기화 데이터가 수신되면, 장소 태그에 따라 각 소리 효과를 결정하고, 배경음, 배경 음악을 재생하고, 효과음이 들어오면 장소 태그에 맞는 공간 효과를 거치게 된다. 이를 통해 제2 사운드 제어부(400)는 공간의 소리를 정의하는 방식으로 표현될 수 있다.

본 발명의 일 실시예에 따르면, 메인 제어부(300)는 모든 사운드의 명령을 제어하고 관리할 수 있다. 예를 들어, 메인 제어부(300)는 제1 출력 기기(510)의 소리가 필요하면 자체적으로 출력하며 제2 출력 기기(520)의 소리가 필요한 경우 제2 사운드 제어부(400)에 메시지를 전송하여 사운드를 동기화할 수 있다.

사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 제2 사운드 제어부(400)에서 구분해놓은 장소 별 사운드 효과의 채널을 만들어 단순한 소리 트리거의 명령을 받는다 하더라도 해당 소리의 장소가 연결되기 때문에 제2 사운드 제어부(400)에서 제작해놓은 공간 효과를 실시간으로 만들어주며, 메인 제어부(300)의 제1 사운드 제어부(320)의 작업과 완전히 분할되어 작동하기 때문에 독립적인 개발 환경 및 소리의 질적인 영향은 메인 제어부(300)에서 결정지을 수 없고 제2 사운드 제어부(400)에 종속될 수 있다.

본 발명의 일 실시예에 따르면, 사운드의 병행 출력을 통한 사운드 시스템(10)은 사운드 엔지니어가 사용하는 상용 사운드 엔진이 입력 가능한 메인 제어부(300)와 종속되지 않은 별개의 프로그램의 제2 사운드 제어부(400)를 개발하여 두 프로그램이 사운드 처리에 관한 데이터를 자유롭게 사용할 수 있다. 또한 기존의 헤드폰에서 재생되던 메인 제어부(300)의 사운드 출력 또한 재생할 수 있도록 제작하여 동시에 작업이 가능할 수 있다

사운드의 병행 출력을 통한 사운드 시스템(10)은 메인 제어부(300)와 사제2 사운드 제어부(400)가 서로 통신모듈을 가지고 있으며, 한가지 음원에 대한 부분을 두 가지의 사운드 시스템이 출력해야 하므로 메인 제어부(300)에서 내부적으로는 골전도 이어폰에 기본적인 사운드 시스템을 보내는 동시에 제2 사운드 제어부(400)에 동기화 데이터를 전송할 수 있으며, 공간을 기준으로 한 통신 프로토콜로 나뉠 수 있다.

메인 제어부(300)는 장소를 기반으로 씬이 나뉘는 특징을 가지고 있으며, 사운드 엔지니어도 소리를 결정하는 가장 기본적인 기능은 공간을 기준으로 한다. 사운드의 병행 출력을 통한 사운드 시스템(10)은 이 둘의 공통점을 소프트웨어에 적용한 것으로, 공간적 특징을 콘텐츠에 적용할 때의 사운드의 질적인 결정을 프로그래머가 아니라 사운드 엔지니어가 전부 정하여주고 그것에 대한 적용시점의 절차만을 프로그래머가 등록함에 있다.

본 발명의 일 실시예에 따르면, 메인 제어부(300)는 기본적으로 비주얼을 관리하고, 모든 사운드의 명령을 제어하고 관리할 수 있다.

본 발명의 일 실시예에 따르면, 사운드의 병행 출력을 통한 사운드 시스템(10)은 골전도의 소리가 필요하면 자체적으로 출력하며 서라운드 채널이 필요할 때 제2 사운드 제어부(400)에 동기화 데이터를 전송하여 사운드를 동기화한다.

사운드의 병행 출력을 통한 사운드 시스템(10)은 제2 사운드 제어부(400)에서 구분해놓은 장소 별 사운드 효과의 채널을 만들어 단순한 소리트리거의 명령을 받는다 하더라도 해당소리의 장소가 연결되기 때문에 사운드 엔진에서 제작해놓은 공간효과를 실시간으로 만들어주며 메인 제어부(300)의 작업과 완전히 분할되어 작동하기 때문에 독립적인 개발환경 및 소리의 질적인 향은 메인 제어부(300)에서 결정지을 수 없고 사운드 서버에 종속된다.

도 4는 본 발명의 일 실시예에 따른 일반 이어폰과 골전도 이어폰을 나타내는 도면이다.

도 4의 (a)는 통상적인 HMD(110)에서의 사운드 장치의 사용을 나타내는 도면이며, 도 4의 (b)는 본 발명의 일 실시예에 따른 골전도 이어폰의 사용을 나타내는 도면이다.

기존의 사운드 장치(302)는 귓구멍을 통해 고정되는 이어폰일 수 있으며, 착용 시 외부 소리를 들을 수 없어 집중도를 향상시킬 수 있지만 사운드 장치(302)를 통해 출력되는 사운드 밖에 들을 수 없는 문제가 있다.

이에 따라, 사운드의 병행 출력을 통한 사운드 제어 시스템(20)은 골전도 이어폰을 사용함에 따라 개방된 귀를 통해 추가적인 사운드를 사용할 수 있는 통로를 만들 수 있다.

골전도 이어폰은 두개골의 뼈들을 통하여 소리가 속귀(내이)로 전도되는 것으로, 골전도를 통해 소리를 전달하기 때문에 일반인이나 청각 장애인 모두 사용할 수 있다.

도 5 내지 도 7은 본 발명의 일 실시예에 따른 골전도 이어폰과 멀티 채널 서라운드의 혼용을 나타내는 도면이다.

본 발명의 일 실시예에 따르면, 사용자는 상용적인 음악산업과 영화 산업에서 사용하는 서라운드 채널을 아무 제약 없이 청취할 수 있다.

본 발명의 일 실시예에 따르면, 사운드의 병행 출력을 통한 사운드 제어 시스템(20)은 4.4 채널의 구조지만 영화산업에서 사용하는 5.1, 7.1.4, 10.2 등 다양한 방법으로 확장하여 사용될 수 있다.

따라서, 사운드 제어 시스템(20)은 기존의 개발 방식 안에서 사운드 엔지니어가 제작을 진행해 나갈 수 있으며 일반적인 헤드폰이 지니는 저역 재생의 한계와 실감 있는 음악, 머리 위에서 음상이 맺히는 단점을 해소할 수 있다. 또한 VR을 체험하는 또 다른 관객들에게 선택적인 정보를 제공하여 연출적인 요소로 사용할 수 있다. 여기서, 사운드 제어 시스템(20)은 골전도 이어폰을 사용함에 따라 콘텐츠를 이용하는 사용자에게만 들리는 효과를 제공할 수 있다.

도 5는 본 발명의 일 실시예에 따른 제2 출력 기기(520)를 나타내는 도면이다.

제2 출력 기기(520)는 복수의 서라운드 스피커(520a, 520b, 520c, 520d) 및 복수의 서브 우퍼(522a, 522b, 522c, 522d)를 포함할 수 있으며, 반드시 이에 한정되는 것은 아니다.

일반적으로 영화에서 쓰이는 서라운드 사운드는 복수의 서라운드 스피커(520a, 520b, 520c, 520d)와 복수의 서브 우퍼(522a, 522b, 522c, 522d)의 조합을 통해 일반적인 스피커에서 표현할 수 없는 저역을 표현하고 일반 스피커로는 중고역을 재생하여 서로의 단점을 보완할 수 있다. 하지만 스피커에서 나오는 볼륨을 조정하여 작은 소리가 멀리 있거나 큰소리는 가까이 있다는 가정 하에 사운드 음원을 재생하지만 음원의 방향성을 만드는데는 유리한 측면이 있으나 원형의 사용자를 중심으로 거리감을 완벽하게 구현하는 일은 어렵다. 이는 도 6을 참조하여 자세히 설명한다.

도 6은 본 발명의 일 실시예에 따른 사운드 제어 시스템을 통한 거리감 향상과 음질 향상을 나타내는 도면이다.

기존의 발전된 서라운드 사운드는 스크린 뒤에 스피커를 사용하여 스크린에 소리를 맺히게 하는 것이 목적이다. 사운드 엔지니어가 최대한 음상을 조절한다 하더라도 일반적으로 소리가 맺히는 공간을 제1 공간(524)에 제한적으로 소리가 위치하게 될 수 있다. 이에 소리의 위치를 조정한다 하더라도 제2 공간(512) 및 제3 공간(514)에 소리를 위치시키기 어려운 문제가 있다.

또한, 헤드폰(골전도 이어폰)은 소리의 음상이 좁아 대부분의 소리가 머리 안에서 맺히게 되며, 최대한 넓게 사운드를 조정한다 하더라도 사용자의 근거리에서 위치하는 경우가 대부분이며, 이는 제3 공간(514)을 의미한다.

따라서, 사운드 제어 시스템(20)은 제1 출력 기기(510) 및 제2 출력 기기(520)의 사용 특성을 이용하여 두 부분의 단점을 메워 전체적인 사운드 사용의 음상을 넓히고 음질을 향상시킬 수 있다.

음향 출력 장치(500)는 콘텐츠가 구현되는 범위 내에서 복수의 위치에 소리가 맺히게 할 수 있다. 복수의 위치(504a, 504b, 504c, 504d, 504e, 504f)는 제1 공간(524), 제2 공간(512) 및 제3 공간(514)에 위치할 수 있다.

구체적으로 제1 공간(524)은 제2 출력 기기(520)에서 출력된 제2 사운드의 대부분이 맺히는 공간을 나타내고, 제2 공간(512)은 제1 출력 기기(510) 및 제2 출력 기기(520)에서 출력되는 사운드가 대부분 맺히지 않는 공간을 나타내며, 제3 공간(514)은 제1 출력 기기(510)에서 출력되는 제1 사운드가 대부분 맺히는 공간을 나타낸다.

도 6을 참조하면, 제1 위치(504a)는 제1 공간(524) 및 제2 공간(512) 사이에 위치하고, 제2 위치(504b)는 제3 공간(514)에 위치하고, 제3 위치(504c)는 제3 공간(514)과 사용자 사이에 위치하고, 제4 위치(504d)는 제1 공간(524)에 위치하고, 제5 위치(504e)는 제1 공간(524)에 위치하고, 제6 위치(504f)는 제2 공간(512)과 제3 공간(514) 사이에 위치한다.

구체적으로, 사운드 제어 시스템(20)은 제1 출력 기기(510)를 통해 소리가 맺히는 공간과 제2 출력 기기(520)를 통해 소리가 맺히는 공간을 구분하여 출력하며, 제1 출력 기기(510) 및 제2 출력 기기(520)를 통해 생성되는 사운드가 대부분 맺히지 않는 공간에서는 제1 출력 기기(510) 및 제2 출력 기기(520)의 음량 등을 조절하여 음상을 넓히고 음질을 향상시킬 수 있다.

예를 들어, 사운드 제어 시스템(20)은 소리가 외부에서 내부로 전달되는 경우, 먼 거리에서 출발한 사운드는 제2 출력 기기(520)를 통해 근접하고, 제1 출력 기기(510)의 한계로 인해 제1 공간(524)에서 사운드가 멈출 수 있으며, 이 사운드를 지속적으로 전달시키기 위해서는 제1 출력 기기(510)를 사용하여 동일하게 연속적인 소리를 표현하여 자연스럽게 하나의 소리로 인식시킬 수 있다. 이는 제1 출력 기기(510) 및 제2 출력 기기(520) 각각에서 나누어 소리를 재생시킬 수 있으며, 동일한 저음을 통해 사용자가 하나의 사운드로 인식하게 할 수 있다.

구체적으로, 사운드 제어 시스템(20)은 소리의 이동 경로가 외재적 사운드에서 내재적 사운드로, 내재적 사운드에서 외재적 사운드로 이동할 수 있으며, 저음 재생을 일정하게 유지할 수 있다. 사운드 제어 시스템(20)은 동일한 저음 재생을 통해 사용자가 하나의 사운드로 두 소리를 인식할 수 있으며, 골전도 이어폰으로 구현되는 제1 출력 기기(510)의 특성상 저음 표현이 효과적이지 않고 피부의 진동으로 변하게 될 수 있다. 따라서, 90hz 이하의 음역대를 제1 출력 기기(510)에서 삭제시켜 재생하게 되므로 사용 시 불편한 진동을 제거할 수 있다.

사운드 제어 시스템(20)은 제1 출력 기기(510) 및 제2 출력 기기(520)를 이용함에 따라 거리감을 향상시키고 음역대를 분리하여 재생하게 되므로 진동으로 인한 효과적인 불편함을 제거한 상태에서 좋은 음질을 사용자에게 제공할 수 있다.

도 7은 본 발명의 일 실시예에 따른 영역 별 사운드 제공을 나타내는 도면이다.

도 7을 참조하면, 제1 영역은 제1 출력 기기(510)에 의해 출력되는 제1 사운드가 들리는 골전도 영역으로 구현될 수 있으며, 제2 영역은 제2 출력 기기(520)에 의해 출력되는 제2 사운드가 들리는 서라운드 영역으로 구현될 수 있다.

제1 영역은 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)을 통해 콘텐츠를 이용하는 사용자만 들을 수 있는 영역을 나타낸다. 제2 영역은 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)을 사용하는 사용자뿐만 아니라 사용자를 구경하는 사람도 들을 수 있는 영역을 나타낸다. 구체적으로, 제1 영역은 직접적인 사용자(체험자)만 정보를 들을 수 있으므로 정보를 선택적으로 출력할 수 있으며, 제2 영역은 체험자를 포함하여 체험자를 바라보는 대기하는 사람(대기자)까지 들을 수 있는 영역이다.

예를 들어 제1 영역은 정보의 보안이 중요한 내용으로 대기자가 내용을 미리 알게되면 안되는 부분, 나레이션, 효과음 등이 출력되며, 제2 영역은 전체적인 분위기를 전달하여 대기 인원에게 궁금증을 자아내는 배경음, 배경 음악, 기본적인 전제가 되는 대사 등을 출력할 수 있다.

사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 소수의 프로세서를 통해 제한적인 사람이 참여하는 콘텐츠로서, 콘텐츠를 이용하는 사용자와 사용자를 보는 사람에 의해 구현될 수 있다. 사용자를 보는 사람은 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)을 사용하기 위해 대기하는 사람이다.

사용자는 제1 출력 기기(510) 및 제2 출력 기기(520)에서 출력되는 사운드를 모두 들을 수 있으며, 대기하는 사람은 제2 출력 기기(520)에서 출력되는 사운드만 들을 수 있다. 이에 따라 제1 영역에서는 소리가 새는 환경에서의 플레이어의 보안성을 높이고, 제2 영역에서는 대기하는 사람이 집중할 수 있도록 할 수 있다.

도 8 및 도 9는 본 발명의 일 실시예에 따른 사용자의 이동에 다른 사운드를 나타내는 도면이다.

도 8 및 도 9을 참조하면, VR 사용자의 속도와 가속도를 측정한 충돌 효과음의 음원 선택 및 선형적 진폭 믹스 제어 방법에 대해서 확인할 수 있다.

사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)을 이용하는 사용자가 위치를 이동하는 경우 3차원의 속도 변화량을 측정할 수 있다. 구체적으로, 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 x 속도 변화량, Y 속도 변화량, Z 속도 변화량을 센서부(200)를 통해 측정하며, 이에 따라 음향 출력 장치(500)에서 출력되는 음원이 변화할 수 있다.

본 발명의 일 실시예에 따르면, 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 센서부(200)와의 연결성을 부각시키기 위해 통신 프로토콜을 확장하여 위치 감지 센서에서 음원의 선택 정보와 볼륨 정보를 추가로 전달할 수 있다.

예를 들어, 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 사용자의 속도와 위치를 고려한 음원 선택이 나올 수 있으며, 발자국 소리는 속도에 따라 전혀 다른 소리가 나게 되므로 음원 선택이 가능해질 수 있다.

또한, VR 사운드의 병행 출력을 통한 사운드 시스템(10)은 강하게 부딪히는 경우에서 볼륨의 차이가 존재할 수 있으며, 세게 부딪히면 더 큰소리가 출력되고 약하게 부딪히면 작은 소리가 출력될 수 있다.

도 9는 속도에 따른 볼륨 값의 변화 및 음원의 파형적 특징 변화를 나타낸다. 구체적으로, 속도가 변화함에 따라 추천 음원이 정해지고 그 사이에 세밀한 변화는 볼륨 믹스를 통해 채워줄 수 있다.

예를 들어, 사운드 제어 시스템(20)은 사용자의 속도가 빠르게 변화함에 따라 음원1, 음원2, 음원3, 음원4, 음원5를 음향 출력 장치(500)에 출력할 수 있으며, 각 음원 별로 볼륨의 크기는 서로 다를 수 있다. 구체적으로 사운드 제어 시스템(20)은 사용자의 속도가 빠를수록 음향 출력 장치(500)에 출력되는 음원의 볼륨의 크기가 높을 수 있으며, 반드시 이에 한정되는 것은 아니다.

도 9를 참조하면, 사운드 제어 시스템(20)은 사용자의 속도가 증가함에 따라 음원1에서 음원2로 자연스럽게 이동하기 위해 구간 a 동안 음원1과 음원2가 믹스되어 출력될 수 있다. 또한, 사운드 제어 시스템(20)은 음원2에서 음원3으로 이동하기 위해 구간 b 동안 음원2와 음원3이 믹스되어 출력될 수 있으며, 음원3에서 음원4로 이동하기 위해 구간 c 동안 음원3과 음원4가 믹스되어 출력될 수 있으며, 음원4에서 음원5로 이동하기 위해 구간 d 동안 음원4와 음원5가 믹스되어 출력될 수 있다. 여기서, 음원1 및 음원2는 볼륨의 크기 범위가 크므로 믹스되는 구간이 넓으며, 음원4 및 음원5는 볼륨의 크기 범위가 작으므로 믹스되는 구간이 짧을 수 있으며, 반드시 이에 한정되는 것은 아니다. 여기서 구간 a, 구간 b, 구간 c 및 구간 d는 사용자의 이동 속도에 따른 볼륨의 크기 별로 구현된다.

본 발명의 일 실시예에 따르면, 사운드 제어 시스템(20)은 사용자의 이동 속도에 따른 볼륨의 크기 별로 음원1에서 음원2로 전환되는 일정 시간 동안 음원1과 음원2가 믹스되어 출력될 수 있으며, 이를 통해 두 개의 음원이 하나의 음원과 같이 표현되어 자연스럽게 음원을 전환시킬 수 있다. 구체적으로, 사운드 제어 시스템(20)은 사용자의 이동 속도가 음원1과 음원2의 일정 범위 사이에 위치할 때 기 설정된 시간 동안은 음원1과 음원2가 믹스되어 출력되며, 기 설정된 시간이 지난 후에도 사용자의 이동 속도에 따른 볼륨의 크기가 구간 a에 위치하는 경우에 음원1과 음원2의 믹스를 중단하고 사용자의 이동 속도에 따른 음원의 사운드가 출력되도록 구현할 수 있다. 또한, 사운드 제어 시스템(20)은 음원1에서 음원2의 전환 구간에서는 기 설정된 시간이 지난 후에도 지속적으로 음원1과 음원2이 믹스되어 출력될 수 있다.

본 발명의 일 실시예에 따르면, 사운드 제어 시스템(20)은 속도가 증가함에 따라 믹스 구간에서 전환되는 음원이 믹스되며, 믹스가 중단되는 기 설정된 시간이 지난 후에 음원이 전환되는 속도로 사용자가 이동하여 속도를 유지하는 경우 속도 변화 이전의 속도를 확인하여 그에 따른 음원을 출력할 수 있다. 구체적으로, 사운드 제어 시스템(20)은 사용자의 속도가 변화하다가 음원1과 음원2 사이의 속도로 유지하는 경우, 유지 전 속도와 유지되는 속도의 변화를 통해 속도의 증가가 확인되면 음원2를 출력할 수 있고, 속도의 감소가 확인되면 음원1을 출력할 수 있다. 이는 속도의 변화에 따른 볼륨을 속도가 증가하는 추세인지 감소하는 추세인지를 판단하여 속도에 따른 음원을 출력할 수 있도록 설정하여 복수의 음원이 지속적으로 믹스되어 발생하는 음질 저하 및 노이즈를 방지할 수 있다.

도 10은 본 발명의 일 실시예에 따른 사운드 제어 방법을 나타내는 도면이다. 사운드 제어 방법은 사운드 제어 시스템에 의하여 수행될 수 있으며, 사운드 제어 시스템이 수행하는 동작 및 방법에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.

사운드 제어 방법은 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어하는 단계(S1010) 및 메인 제어부에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 단계(S1020)를 포함한다.

콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어하는 단계(S1010)는 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록되는 단계, 등록된 사운드를 콘텐츠에 적용하여 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 동기화 데이터를 생성하는 단계, 생성된 동기화 데이터를 제2 사운드 제어부에 전송하는 단계 및 동기화 데이터를 기반으로 콘텐츠 내 장소 및 사용자의 움직임에 따라 생성된 제1 사운드를 제1 출력 기기에 전달하는 단계를 포함한다.

메인 제어부에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 단계(S1020)는 동기화 데이터를 전달받는 단계, 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송하는 단계, 전송된 상기 동기화 데이터 및 상기 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리하는 단계 및 장소 별로 처리된 환경음 및 효과음과 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기에 전달하는 단계를 포함한다.

도 10에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 10에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능하다.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 통합 제어 시스템
20:　사운드 제어 시스템
100: 콘텐츠 구동 장치
200: 센서부
300: 메인 제어부
400: 제2 사운드 제어부
500: 음향 출력 장치

Claims (16)

1. 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 제어 시스템에 있어서,
   콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어하는 메인 제어부; 및
   상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부를 포함하고,
   상기 메인 제어부는, 상기 제2 사운드 제어부에 상기 동기화 데이터를 전송하고, 상기 동기화 데이터를 기반으로 제1 출력 기기에 상기 제1 사운드를 전달하는 제1 사운드 제어부를 포함하며,
   상기 제1 사운드 제어부는, 상기 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록되는 프로세스 모듈; 상기 등록된 사운드를 상기 콘텐츠에 적용하여 상기 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 상기 동기화 데이터를 생성하는 3D 엔진모듈; 상기 생성된 동기화 데이터를 상기 제2 사운드 제어부에 전송하는 제1 통신모듈; 및 상기 동기화 데이터를 기반으로 상기 콘텐츠 내 장소 및 상기 사용자의 움직임에 따라 생성된 제1 사운드를 제1 출력 기기에 전달하는 제1 사운드 출력 처리모듈을 포함하고,
   상기 제2 사운드 제어부는, 상기 동기화 데이터를 전달받는 제2 통신모듈; 상기 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송하는 사운드 전송모듈; 상기 전송된 상기 동기화 데이터 및 상기 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리하는 사운드 처리모듈; 및 상기 장소 별로 처리된 환경음 및 효과음과 상기 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기에 전달하는 제2 사운드 출력 처리모듈을 포함하며,
   상기 콘텐츠가 구현되는 범위 내에서 상기 제2 사운드가 맺히는 제1 공간, 상기 제1 사운드 및 상기 제2 사운드가 맺히지 않는 제2 공간 및 상기 제1 사운드가 맺히는 제3 공간을 구분하고, 상기 제1 사운드 제어부와 상기 제2 사운드 제어부를 별개로 운용함에 따라 상기 제1 공간, 상기 제2 공간 및 상기 제3 공간 별로 상기 제1 사운드 및 상기 제2 사운드의 거리감과 음역대를 조절하여 재생하여 진동을 제거한 음질을 제공하는 것을 특징으로 하는 사운드 제어 시스템.
2. 제1항에 있어서,
   상기 메인 제어부는,
   상기 사용자의 모션을 감지하여 상기 콘텐츠에 적용하고, 상기 적용된 콘텐츠를 상기 사용자에게 제공하는 콘텐츠 제어부를 포함하는 사운드 제어 시스템.
3. 삭제
4. 제1항에 있어서,
   상기 동기화 데이터는,
   상기 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 상기 콘텐츠 내에서 변화하는 복수의 장소를 포함하고,
   상기 복수의 장소 별 씬 번호, 배경음, 효과음을 포함하는 것을 특징으로 하는 사운드 제어 시스템.
5. 삭제
6. 제1항에 있어서,
   상기 음향 출력 장치는,
   골전도 이어폰으로 구현되는 제1 출력 기기 및 서라운드 스피커로 구현되는 제2 출력 기기를 포함하고,
   상기 제1 출력 기기에 의해 상기 제1 사운드가 출력되는 영역과 상기 제2 출력 기기에 의해 상기 제2 사운드가 출력되는 영역이 서로 상이함에 따라 상기 제1 사운드 및 제2 사운드에 동일한 저음을 재생시켜 상기 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현되는 것을 특징으로 하는 사운드 제어 시스템.
7. 제6항에 있어서,
   상기 메인 제어부는,
   상기 사용자의 상대 속도 또는 가속도에 의해 고려된 속도와 상기 콘텐츠 내의 장소를 고려하여 생성된 제3 사운드를 상기 음향 출력 장치에 전달하며,
   상기 제3 사운드는 상기 속도가 증가함에 따라 제1 음원에서 제2 음원으로 전환되고, 일정구간 동안 상기 제1 음원 및 상기 제2 음원이 기 설정된 시간 동안 믹스되어 출력되며,
   상기 속도가 상기 제1 음원과 상기 제2 음원 사이로 유지되는 경우 상기 유지되는 속도와 유지되기 전의 속도와 비교하여 상기 속도가 증가하면 상기 제2 음원을 출력하고, 감소하면 상기 제1 음원이 출력되는 것을 특징으로 하는 사운드 제어 시스템.
8. 제6항에 있어서,
   상기 제1 출력 기기는,
   상기 콘텐츠의 효과음, 나레이션, 보완 내용을 적어도 하나 포함하는 상기 제1 사운드를 출력하고,
   상기 제2 출력 기기는 상기 콘텐츠의 배경음, 대사를 적어도 하는 포함하는 상기 제2 사운드를 출력하는 것을 특징으로 하는 사운드 제어 시스템.
9. HMD를 통해 콘텐츠가 구현되고, 사용자의 손에 착용되는 컨트롤러에 의해 상기 사용자의 움직임에 따라 상기 콘텐츠를 제어하는 콘텐츠 구동 장치;
   상기 콘텐츠가 사용되는 방향, 위치 및 좌표를 인식하고, 상기 인식된 범위 내에서 상기 HMD 또는 상기 컨트롤러를 통해 상기 사용자의 움직임에 따른 모션을 감지하는 센서부;
   상기 콘텐츠의 사운드를 상기 사용자에게 제공하기 위해 적어도 하나의 출력 기기를 포함하는 음향 출력 장치;
   상기 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 상기 모션에 따라 제1 사운드를 제어하는 메인 제어부; 및
   상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부를 포함하고,
   상기 메인 제어부는, 상기 제2 사운드 제어부에 상기 동기화 데이터를 전송하고, 상기 동기화 데이터를 기반으로 제1 출력 기기에 상기 제1 사운드를 전달하는 제1 사운드 제어부를 포함하며,
   상기 제1 사운드 제어부는, 상기 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록되는 프로세스 모듈; 상기 등록된 사운드를 상기 콘텐츠에 적용하여 상기 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 상기 동기화 데이터를 생성하는 3D 엔진모듈; 상기 생성된 동기화 데이터를 상기 제2 사운드 제어부에 전송하는 제1 통신모듈; 및 상기 동기화 데이터를 기반으로 상기 콘텐츠 내 장소 및 상기 사용자의 움직임에 따라 생성된 제1 사운드를 제1 출력 기기에 전달하는 제1 사운드 출력 처리모듈을 포함하고,
   상기 제2 사운드 제어부는, 상기 동기화 데이터를 전달받는 제2 통신모듈; 상기 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송하는 사운드 전송모듈; 상기 전송된 상기 동기화 데이터 및 상기 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리하는 사운드 처리모듈; 및 상기 장소 별로 처리된 환경음 및 효과음과 상기 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기에 전달하는 제2 사운드 출력 처리모듈을 포함하며,
   상기 콘텐츠가 구현되는 범위 내에서 상기 제2 사운드가 맺히는 제1 공간, 상기 제1 사운드 및 상기 제2 사운드가 맺히지 않는 제2 공간 및 상기 제1 사운드가 맺히는 제3 공간을 구분하고, 상기 제1 사운드 제어부와 상기 제2 사운드 제어부를 별개로 운용함에 따라 상기 제1 공간, 상기 제2 공간 및 상기 제3 공간 별로 상기 제1 사운드 및 상기 제2 사운드의 거리감과 음역대를 조절하여 재생하여 진동을 제거한 음질을 제공하는 것을 특징으로 하는 통합 제어 시스템.
10. 제9항에 있어서,
    상기 메인 제어부는,
    상기 사용자의 모션을 감지하여 상기 콘텐츠에 적용하고, 상기 적용된 콘텐츠를 상기 사용자에게 제공하는 콘텐츠 제어부를 포함하는 통합 제어 시스템.
11. 제10항에 있어서,
    상기 동기화 데이터는,
    상기 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 상기 콘텐츠 내에서 변화하는 복수의 장소를 포함하고,
    상기 복수의 장소 별 씬 번호, 배경음, 효과음을 포함하는 것을 특징으로 하는 통합 제어 시스템.
12. 제10항에 있어서,
    상기 센서부는,
    상기 사용자의 속도 및 위치를 더 측정하여 상기 메인 제어부에 제공하며,
    상기 메인 제어부는 상기 사용자의 상대 속도 또는 가속도에 의해 고려된 속도와 상기 콘텐츠 내의 장소를 고려하여 제3 사운드를 상기 출력 기기에 전달하며,
    상기 제3 사운드는 상기 속도가 증가함에 따라 제1 음원에서 제2 음원으로 변화하며, 상기 제1 음원에서 상기 제2 음원으로 변화하는 일정 구간에서 상기 제1 음원 및 상기 제2 음원이 믹스되어 출력되는 것을 특징으로 하는 통합 제어 시스템.
13. 삭제
14. 제9항에 있어서,
    상기 음향 출력 장치는,
    골전도 이어폰으로 구현되는 제1 출력 기기 및 서라운드 스피커로 구현되는 제2 출력 기기를 포함하고,
    상기 제1 출력 기기에 의해 상기 제1 사운드가 출력되는 영역과 상기 제2 출력 기기에 의해 상기 제2 사운드와 출력되는 영역이 중복되지 않으며, 상기 사용자의 위치 별로 상기 제1 사운드 및 제2 사운드 간의 거리감이 구현되어 연속적인 상기 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현되는 것을 특징으로 하는 통합 제어 시스템.
15. 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 제어 시스템에 의한 사운드 제어 방법에 있어서,
    메인 제어부가, 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어하는 단계; 및
    제2 사운드 제어부가, 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 단계를 포함하고,
    상기 제1 사운드를 제어하는 단계는, 상기 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록되는 단계; 상기 등록된 사운드를 상기 콘텐츠에 적용하여 상기 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 상기 동기화 데이터를 생성하는 단계; 상기 생성된 동기화 데이터를 상기 제2 사운드 제어부에 전송하는 단계; 및 상기 동기화 데이터를 기반으로 상기 콘텐츠 내 장소 및 상기 사용자의 움직임에 따라 생성된 제1 사운드를 제1 출력 기기에 전달하는 단계를 포함하며,
    상기 제2 사운드를 제어하는 단계는, 상기 동기화 데이터를 전달받는 단계; 상기 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송하는 단계; 상기 전송된 상기 동기화 데이터 및 상기 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리하는 단계; 및 상기 장소 별로 처리된 환경음 및 효과음과 상기 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기에 전달하는 단계를 포함하고,
    상기 콘텐츠가 구현되는 범위 내에서 상기 제2 사운드가 맺히는 제1 공간, 상기 제1 사운드 및 상기 제2 사운드가 맺히지 않는 제2 공간 및 상기 제1 사운드가 맺히는 제3 공간을 구분하고, 상기 메인 제어부의 제1 사운드 제어부와 상기 제2 사운드 제어부를 별개로 운용함에 따라 상기 제1 공간, 상기 제2 공간 및 상기 제3 공간 별로 상기 제1 사운드 및 상기 제2 사운드의 거리감과 음역대를 조절하여 재생하여 진동을 제거한 음질을 제공하는 것을 특징으로 하는 사운드 제어 방법.
16. 삭제

Images