KR20210133601A - 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법 - Google Patents

Abstract

본 실시예들은 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 인터렉션 시스템에 있어서, 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션 또는 공간의 이동에 따라 제1 사운드를 제어하는 메인 제어부 및 메인 제어부에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부를 포함하고, 사용자가 제1 공간에서 제2 공간으로 이동하는 경우, 메인 제어부에서 공간 이동 데이터를 생성하여 제1 사운드를 제어하고, 제2 사운드 제어부에서 공간 이동 데이터를 전달받아 제2 사운드를 제어하는 것을 특징으로 하는 사운드 인터렉션 시스템을 제시한다.

Description

사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법{System and Method for Sound Interaction according to Spatial Movement through Parallel Output of Sound}

본 발명은 사운드 인터렉션 시스템 및 방법에 관한 것으로서, 특히 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

VR 사운드 개발의 가장 큰 문제는 VR 관련 기술 개발이 초기 단계의 경우 그 콘텐츠가 표준화되지 않은 개발환경 속에서 제작되고 있는 점이다. VR로 변환되는 영상 콘텐츠들은 대부분 영화 산업의 표준에 기반하여 제작되고 있으며, 페이스북, 유튜브 등의 회사에서는 공간음(Spatial-sound) 등 기존 사운드프로덕션의 프로그램을 활용하여 페이스북 모바일 사용자의 환경에 맞게끔 이어폰으로 사운드를 들을 수 있도록 사운드 파일을 2채널 서라운드 포맷인 바이노럴 방식으로 인코딩해주는 소프트웨어를 개발, 배포하고 있다.

영화 산업 표준에 따라 제작된 VR 사운드는 실시간적 상황에 맞게 상호작용적으로 반응하게끔 프로그래밍된 소리가 아니라 선형적 시간 기반의 콘텐츠인 영화에 포함된 사운드와 같이 고정적인 소리로서 렌더링되는 제한이 있다.

물리엔진을 활용한 3D게임 기술 기반의 VR 콘텐츠는 실시간 상에서 사용자의 움직임과 위치에 따라 가상현실 내부의 상황과 인터렉션되며, 이에 따라 적합화된 소리가 발생하게 되어야 한다. 이와 같이 영상 VR과 게임기반 VR은 서로 전혀 다른 구조의 제작 방식을 가진다. 현재 촬영 기반의 VR은 기존 영화나 음악 산업의 사운드 엔지니어가 작업하는 경우가 대부분이며, 컴퓨팅 기반의 VR 콘텐츠는 컴퓨터 프로그래머가 주로 사운드 제작에 참여하게 된다.

몰입감 있는 VR 사운드를 만들기 위해서는 깊이감 있는 사운드를 다루는 사운드 엔지니어링 전문가도 필요로 하고, 다양한 컴퓨팅 기반의 인터렉티브 사운드를 제작하는 엔지니어도 필요하다.

본 발명의 실시예들은 몰입감 있는 사운드 체험을 사용자에게 제공하기 위하여 5.1채널 서라운드 사운드와 2채널 헤드폰 사운드를 혼용하여 VR 콘텐츠를 개발하는데 발명의 주된 목적이 있다.

또한, 본 발명의 실시예들은 게임 상에서 사용자가 공간을 이동하는 경우 발생할 수 있는 사운드 환경 변화에 따른 재생환경을 구축하여 양질의 사운드를 생성하는데 발명의 주된 목적이 있다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 사운드 인터렉션 시스템은, 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 인터렉션 시스템에 있어서, 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션 또는 공간의 이동에 따라 제1 사운드를 제어하는 메인 제어부, 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부 및 상기 사용자가 공간을 이동하는 경우, 상기 동기화 데이터를 기반으로 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 공간 사운드 처리부를 포함한다.

바람직하게는, 상기 공간 사운드 처리부는 상기 사용자의 공간의 이동에 따른 현재 장소 정보를 획득하고, 상기 장소에 대응하는 초기 사운드 데이터를 획득하는 장소 인식부, 상기 초기 사운드 데이터에 따른 사운드 조정 정보를 생성하는 사운드 정보 생성부 및 상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 사운드 조절부를 포함한다.

바람직하게는, 상기 장소 인식부는 상기 메인 제어부를 통해 상기 사용자의 이동에 따라 변화하는 공간을 인식하여 장소의 특징을 표현하는 초기 사운드 데이터를 획득하고, 상기 사운드 정보 생성부는 상기 제1 사운드 및 상기 제2 사운드 각각에 상기 초기 사운드 데이터를 적용하여 상기 제1 사운드 및 상기 제2 사운드를 조정하기 위한 상기 사운드 조정 정보를 생성하는 것을 특징으로 한다.

바람직하게는, 상기 동기화 데이터는 상기 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 상기 콘텐츠 내에서 변화하는 복수의 장소를 포함하고, 상기 사운드 정보 생성부를 통해 생성된 상기 제1 사운드 및 상기 제2 사운드 각각은 상기 복수의 장소 별 씬 번호, 지시음, 배경음 또는 효과음을 적어도 하나 포함하여 출력되는 것을 특징으로 한다.

바람직하게는, 상기 사운드 조절부는 상기 사용자가 공간을 이동함에 따라 상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 인식된 장소에 따라 상기 제1 사운드 및 상기 제2 사운드의 울림 또는 볼륨을 조절하고, 상기 사운드 조절부는 상기 사용자가 상기 제1 공간에서 상기 제2 공간으로 이동하는 경우, 상기 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 상기 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절하는 것을 특징으로 한다.

바람직하게는, 상기 사운드 조절부는 상기 음향 출력 장치에 의해 상기 제1 사운드가 출력되는 영역과 상기 제2 사운드가 출력되는 영역이 서로 상이함에 따라 상기 제1 사운드 및 상기 제2 사운드에 동일한 저음이 출력되도록 조절하고, 상기 사운드 조절부는 상기 제1 사운드 중 90hz 이하의 음역대로 구성된 사운드를 제거하여 출력하는 것을 특징으로 한다.

바람직하게는, 사운드 조절부는 상기 사운드 정보 생성부를 통해 생성된 사운드 조정 정보를 기반으로 상기 제1 사운드의 보정음 또는 상기 제1 사운드에 따른 효과음을 상기 제2 사운드에 출력하여 이격된 소리를 표현하는 것을 특징으로 한다.

바람직하게는, 상기 음향 출력 장치는 골전도 이어폰으로 구현되는 제1 출력 기기 및 서라운드 스피커로 구현되는 제2 출력 기기를 포함하고, 상기 제1 출력 기기는 상기 콘텐츠의 효과음, 나레이션, 보완 내용을 적어도 하나 포함하고 인터렉션된 상기 제1 사운드를 출력하고, 상기 제2 출력 기기는 상기 콘텐츠의 배경음, 대사를 적어도 하는 포함하고 인터렉션된 상기 제2 사운드를 출력하는 것을 특징으로 한다.

바람직하게는, 상기 공간은 상기 사용자가 착용한 콘텐츠 구동 장치의 위치를 인식하는 센서를 통해 상기 사용자의 위치를 파악하여 인식되며, 상기 공간 사운드 처리부는 사용자가 상기 제1 공간 및 상기 제2 공간 사이에 위치하는 경우 상기 사용자의 행동 패턴을 분석하고, 상기 행동 패턴에 따른 가중치를 부여하여 제1 공간 또는 제2 공간으로 인식하고, 상기 인식된 공간에 따른 사운드를 출력하고, 상기 가중치는 사용자가 이동하기 위한 목표 공간 또는 상기 사용자의 신체가 어느 공간에 위치하는지 여부에 의해 부여되는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 사운드 인터렉션 방법은, 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 인터렉션 시스템에 의한 사운드 인터렉션 방법에 있어서,

메인 제어부가, 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션 또는 공간의 이동에 따라 제1 사운드를 제어하는 단계, 제2 사운드 제어부가, 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 단계 및 공간 사운드 처리부가, 상기 사용자가 공간을 이동하는 경우, 상기 동기화 데이터를 기반으로 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 단계를 포함한다.

바람직하게는, 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 단계는, 상기 사용자의 공간의 이동에 따른 현재 장소 정보를 획득하고, 상기 장소에 대응하는 초기 사운드 데이터를 획득하는 단계, 상기 초기 사운드 데이터에 따른 사운드 조정 정보를 생성하는 단계 및 상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계를 포함한다.

바람직하게는, 상기 초기 사운드 데이터를 획득하는 단계는, 상기 메인 제어부를 통해 상기 사용자의 이동에 따라 변화하는 공간을 인식하여 장소의 특징을 표현하는 초기 사운드 데이터를 획득하고, 상기 사운드 정보 생성부는 상기 제1 사운드 및 상기 제2 사운드 각각에 상기 초기 사운드 데이터를 적용하여 상기 제1 사운드 및 상기 제2 사운드를 조정하기 위한 상기 사운드 조정 정보를 생성하는 것을 특징으로 한다.

바람직하게는, 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는,

상기 사용자가 공간을 이동함에 따라 상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 인식된 장소에 따라 상기 제1 사운드 및 상기 제2 사운드의 울림 또는 볼륨을 조절하고,

상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는 상기 사용자가 상기 제1 공간에서 상기 제2 공간으로 이동하는 경우, 상기 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 상기 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절하는 것을 특징으로 한다.

바람직하게는, 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는, 상기 음향 출력 장치에 의해 상기 제1 사운드가 출력되는 영역과 상기 제2 사운드가 출력되는 영역이 서로 상이함에 따라 상기 제1 사운드 및 상기 제2 사운드에 동일한 저음이 출력되도록 조절하고, 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는 상기 제1 사운드 중 90hz 이하의 음역대로 구성된 사운드를 제거하여 출력하는 것을 특징으로 한다.

바람직하게는, 상기 제2 사운드를 제어하는 단계는 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는, 상기 사운드 정보 생성부를 통해 생성된 사운드 조정 정보를 기반으로 상기 제1 사운드의 보정음 또는 상기 제1 사운드에 따른 효과음을 상기 제2 사운드에 출력하여 이격된 소리를 표현하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 통합 제어 시스템은, HMD를 통해 콘텐츠가 구현되고, 사용자의 손에 착용되는 컨트롤러에 의해 상기 사용자의 움직임에 따라 상기 콘텐츠를 제어하는 콘텐츠 구동 장치, 상기 콘텐츠가 사용되는 방향, 위치 및 좌표를 인식하고, 상기 인식된 범위 내에서 상기 HMD 또는 상기 컨트롤러를 통해 상기 사용자의 움직임에 따른 모션을 감지하는 센서부, 상기 콘텐츠의 사운드를 상기 사용자에게 제공하기 위해 적어도 하나의 출력 기기를 포함하는 음향 출력 장치, 상기 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 상기 모션에 따라 제1 사운드를 제어하는 메인 제어부, 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부 및 상기 사용자가 공간을 이동하는 경우, 상기 동기화 데이터를 기반으로 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 공간 사운드 처리부를 포함한다.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 본 발명은 안정적인 VR 시청각 시스템을 구축하는 동시에 사운드 엔지니어에게 사운드의 개별 조정을 허락함으로써 VR 사운드 컨텐츠 제작과 편집 과정을 단순화시키는 효과가 있다.

또한, 본 발명은 양질의 사운드를 사용자에게 제공하기 위해 두 사운드 출력체계를 상보적으로 사용하여 사운드 연출을 제작함으로써 연출에 따라 두 사운드 채널을 상보적으로 사용하여 하나의 출력 시스템처럼 느끼게 하는 효과가 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1은 본 발명의 일 실시예에 따른 사운드 인터렉션 시스템을 포함하는 통합 제어 시스템을 나타내는 도면이다.
도 2 및 도 3는 본 발명의 일 실시예에 따른 사운드 인터렉션 시스템을 포함하는 통합 제어 시스템을 나타내는 블록도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 출력 채널에 따른 사운드 응용을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 공간 이동을 나타내는 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 VR을 참여하는 사용자를 바라보는 다른 사용자를 위한 사운드를 나타내는 도면이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 사운드 인터렉션 방법을 나타내는 도면이다.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

및/또는 이라는 용어는 복수의 관련된 기재된 항들의 조합 또는 복수의 관련된 기재된 항들 중의 어느 항을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명은 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법 에 관한 것이다.

미디어 기술의 발전으로 가상현실을 이용한 산업과 작업이 빠른 속도로 발전하고 있으며, 이에 따른 VR 콘텐츠에서의 영상 기법과 기기 개발이 가속화되고 있다. 하지만 풍부한 VR 경험을 만들기 위한 연구가 아직까지는 시각 분야에 치우쳐져 있으며, 청각 분야에 대한 개발은 더딘 상황이다. 또한, VR 영상에 대한 접근이 현재 영화 영상에서 출발한 접근과 인터렉티브 게임에서 출발한 접근으로 분리되는 것처럼 VR 사운드 분야에서도 그 접근이 기존 영상이나 음악 산업에 기반하여 서라운드 사운드를 사용하는 방식과 게임 산업의 인터렉티브 사운드 출력 방식으로 나뉘어 접근되고 있다.

사운드의 병행 출력을 통한 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 VR 사운드 영역에서 분리되는 이러한 두 영역의 상이한 개발 방식을 보다 융합적으로 접근하여, 사용자에게 몰입감 있는 사운드 체험을 제공하기 위하여 5.1채널 서라운드 사운드와 2채널 헤드폰 사운드를 혼용한 콘텐츠를 제공한다.

사운드의 병행 출력을 통한 사운드 시스템(10)은 서라운드 스피커(520)와 골전도 헤드폰(510)을 함께 배치하여 VR 사운드를 출력, 제어할 수 있다.

사운드 출력 방식은 더 안정적인 VR 시청각 시스템을 구축하는 동시에 사운드 엔지니어에게 사운드의 개별 조정을 허락함으로써 VR 사운드 콘텐츠 제작과 편집 과정을 단순화시킬 수 있다.

사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 VR 외에 3D 게임 콘텐츠에도 적용될 수 있다.

사운드 인터렉션 시스템(20)은 서라운드 스피커와 골전도 이어폰의 연결될 수 있는 지점을 찾아 양측에 출력하는 사운드의 환경을 동일하게 하드웨어 및 사운드 제작을 구성하는 동시에 VR 사운드에서 드러나는 음질 저하를 해소할 수 있다.

본 발명은 렌더링된 오디오 파일을 VR 프로그램(Unity와 Unreal 등)과 평행하게 재생되며, 잘 통합될 수 있도록, 사운드 출력 하드웨어 쪽으로의 아웃풋 과정 중간에 통신 가능한 사운드 서버를 자체적으로 제공하는 효과가 있다.

사운드 인터렉션 시스템(20)은 서라운드 채널의 특성상 모든 소리를 VR을 현재 체험하는 사용자와 그 사용자를 바라보는 주변 사용자까지 함께 공유할 수 있기 때문에 앞으로 콘텐츠를 즐기고 체험하는 사용자를 바라보는 주변 사용자에게 대기하는 동안 체험할 콘텐츠에 대한 기대효과를 주는 동시에 대기 시간이 지루하지 않게 하거나 함께 감상할 수 있는 환경을 제공하는 부분까지 고려해서 콘텐츠를 기획할 수 있다.

도 1은 본 발명의 일 실시예에 따른 사운드 인터렉션 시스템을 포함하는 통합 제어 시스템을 나타내는 도면이다.

통상적으로 VR에서 밀도 있는 사운드개발이 지연되는 이유는 물리엔진을 이용한 가상공간의 환경을 만드는 컴퓨팅 기반의 제작환경과 사운드를 만드는 사운드 엔지니어의 제작과정이 너무나 상이하기 때문이다. 여기서, 제작환경은 프로그래밍을 통해 소프트웨어를 제작하는 과정을 나타내고, 사운드 엔지니어는 시간을 베이스로 하나의 렌더링된 파일을 만들어 음원을 재생시키는 엔지니어를 의미한다.

프로그래밍은 절차적이며 무엇보다 사용자를 중심으로 시간이 진행되어 가는 것을 염두에 두고 상호 반응할 수 있게 제작이 되며 사용자가 발생하는 이벤트를 중심으로 만들어질 수 있다.

음악은 많은 음악산업과 영화 산업의 기준에 따라 디지털 오디오 워크스테이션 환경(DAW)에서 제작되며 다양한 사운드를 표현하기 위해 가상악기(VST)라는 미들웨어를 사용하여 제작되게끔 발전하고 있다.

사운드의 병행 출력을 통한 사운드 인터렉션 시스템(20)은 상술한 상이한 작업을 상보적으로 작동할 수 있도록 구현하기 위해서 재생을 위한 사운드서버를 별도로 구성할 수 있으며, 이를 통해 소리를 자연스럽게 표현할 수 있도록 할 수 있다.

기존의 VR 어플리케이션은 사운드를 처리하는 방법이 프로그래머에 의해 전담되거나 사운드 엔지니어가 따로 존재한다 하더라도 사운드 엔지니어는 제작된 사운드 파일을 전달하여 간단하게 재생하는 방식의 제작방법을 가진다. 이에 의해 사운드 엔지니어의 제작의도가 완벽하게 전달되지 못하는 문제가 있다. 이는 사운드를 처리하는 VR 어플리케이션이 하나의 컴파일된 프로그램으로 만들어져야 하기 때문에 발생한다. VR 사운드 엔진은 VR 어플리케이션 내에 종속될 수 있다.

도 1을 참조하면, 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 머리 착용 디스플레이(Head Mounted Display, HMD)(110), 컨트롤러(120), 센서부(200), 제1 출력 기기(510), 제2 출력 기기(520), 메인 제어부(300) 및 제2 사운드 제어부(400)를 포함한다. 통합 제어 시스템(10)은 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

여기서, HMD(110), 컨트롤러(120) 및 제1 출력 기기(510)는 콘텐츠를 사용하는 사용자가 착용하고 있는 것으로 콘텐츠 사용 전 세팅된 공간 내에서 이용할 수 있다. 구체적으로, 사용자는 센서부(200), 제2 출력 기기(520), 제2 사운드 제어부(400) 및 메인 제어부(300)가 위치하는 공간 내에서 콘텐츠를 이용할 수 있으며, 공간을 벗어나는 경우 콘텐츠를 이용할 수 없다.

사운드 인터렉션 시스템(20)은 메인 제어부(300) 및 제2 사운드 제어부(400)를 포함할 수 있으며, 메인 제어부(300)는 콘텐츠 제어부(310) 및 제1 사운드 제어부(320)로 구현될 수 있다. 사운드 인터렉션 시스템(20)은 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

본 발명의 일 실시예에 따르면, 제1 출력 기기(510)는 골전도 이어폰으로 구현될 수 있으며, 반드시 이에 한정되는 것은 아니며 사용자의 귀가 개방되어서 사운드가 내이에 바로 전달될 수 있는 장치로 구현될 수 있다.

골전도 이어폰은 귓바퀴 뒤의 뼈의 진동을 전달하여 고막에 진동을 전달하는 방식으로 소리를 전달하며 귀 주변 연골에 부착하는 형식이기에 이어폰을 통해서 듣는 소리뿐 아니라 외부의 소리도 동시에 들을 수 있는 청취 환경을 가능하게 한다.

제2 출력 기기(520)는 콘텐츠를 사용하는 사용자의 앞, 뒤, 좌, 우에 배치하여 음향의 입체 효과를 높여주기 위해 사용될 수 있으며, 서라운드 스피커로 구현될 수 있으며 반드시 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 따르면, 센서부(200)는 복수의 위치 측정 센서로 구현될 수 있다. 구체적으로, 복수의 위치 측정 센서를 통해 콘텐츠가 구현되는 범위를 설정할 수 있다.

콘텐츠 구동 장치(100)는 HMD(110) 및 컨트롤러(120)를 포함한다.

HMD(110)는 사용자의 머리에 고정되어 사용자의 시야를 기반으로 콘텐츠가 구현될 수 있다.

컨트롤러(120)는 사용자의 손에 구비되어 사용자의 손의 움직임에 따라 콘텐츠를 제어할 수 있다. 여기서, 컨트롤러(120)는 사용자가 손에 들고 있는 것으로 구현되었으나 반드시 이에 한정되는 것은 아니며 사용자가 손에 착용하나 부착되어 구현될 수 있다.

도 1을 참조하면, 센서부(200)는 4개의 위치 측정 센서가 구비되며, 4개의 위치 측정 센서가 서로 연결되는 범위 내에서 콘텐츠가 구현될 수 있다. 여기서, 콘텐츠의 구현을 위한 범위 설정은 4개의 위치 측정 센서가 구비되어 설정되는 것으로 도시하였으나, 반드시 이에 한정되는 것은 아니며, 2개 이상의 위치 측정 센서를 통해 사용자의 위치를 감지할 수 있으며, 컨트롤러(120)를 통해 콘텐츠가 구현되는 범위를 설정하는 것으로 구현될 수 있다.

기존의 VR에서 물리 엔진을 이용한 가상 공간의 환경을 만드는 컴퓨팅 기반의 프로그래밍을 통해 소프트웨어를 제작하는 제작 환경 과정과 사운드를 만드는 사운드 엔지니어의 제작 과정이 너무 상이하기 때문에 VR에서 밀도 있는 사운드 개발이 지연된다. 여기서, 사운드 엔지니어는 시간을 베이스로 하나의 렌더링된 파일을 만들어 음원을 재생시키는 것이다. 프로그래밍은 절차적이며 무엇보다 사용자를 중심으로 시간이 진행되어 가는 것을 염두에 두고 상호 반응할 수 있게 제작이 되며 사용자가 발생하는 이벤트를 중심으로 만들어 진다. 음악은 많은 음악 산업과 영화 산업에 기준에 따라 디지털 오디오 워크스테이션 환경(DAW)에서 제작되어 다양한 사운드를 표현하기 위해 가상악기(VST)라는 미들웨어를 사용하여 제작되도록 발전하고 있다. 이러한 상이한 작업을 상보적으로 작동할 수 있도록 구현하기 위해서 사운드 재생을 위한 사운드 서버를 별도로 구성하는 통합 제어 시스템(10)을 제안한다. 통합 제어 시스템(10)의 구성에 대해서는 도 2 내지 도 4를 참조하여 자세히 설명한다.

도 2 및 도 3는 본 발명의 일 실시예에 따른 사운드 인터렉션 시스템을 포함하는 통합 제어 시스템을 나타내는 블록도이다.

도 2를 참조하면, 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 콘텐츠 구동 장치(100), 센서부(200), 메인 제어부(300), 제2 사운드 제어부(400), 음향 출력 장치(500) 및 공간 사운드 처리부(600)를 포함한다. 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

본 발명의 일 실시예에 따르면, 사용자는 상용적인 음악산업과 영화 산업에서 사용하는 서라운드 채널을 아무 제약 없이 청취할 수 있다.

본 발명의 일 실시예에 따르면, 사운드의 병행 출력을 통한 사운드 인터렉션 시스템(20)은 4.4 채널의 구조지만 영화산업에서 사용하는 5.1, 7.1.4, 10.2 등 다양한 방법으로 확장하여 사용될 수 있다.

따라서, 사운드 인터렉션 시스템(20)은 기존의 개발 방식 안에서 사운드 엔지니어가 제작을 진행해 나갈 수 있으며 일반적인 헤드폰이 지니는 저역 재생의 한계와 실감 있는 음악, 머리 위에서 음상이 맺히는 단점을 해소할 수 있다. 또한 VR을 체험하는 또 다른 관객들에게 선택적인 정보를 제공하여 연출적인 요소로 사용할 수 있다. 여기서, 사운드 인터렉션 시스템(20)은 골전도 이어폰을 사용함에 따라 콘텐츠를 이용하는 사용자에게만 들리는 효과를 제공할 수 있다.

공간 사운드 처리부(600)는 사용자가 공간을 이동하는 경우, 동기화 데이터를 기반으로 제1 사운드 및 제2 사운드 간의 인터렉션을 제어할 수 있다. 여기서, 인터렉션은 사용자의 장소 이동에 따른 제1 사운드 및 제2 사운드를 각각 보정하여 하나의 사운드처럼 인식되도록 하는 것이 바람직하나 제1 사운드 및 제2 사운드 간의 상호작용으로 제1 사운드에서 출력되는 사운드의 보정을 위한 제2 사운드를 출력하고, 변형하는 등의 제1 사운드 및 제2 사운드 간의 상호작용을 포함할 수 있다.

공간은 사용자가 착용한 콘텐츠 구동 장치(100)의 위치를 인식하는 센서를 통해 사용자의 위치를 파악하여 인식할 수 있다.

콘텐츠 구동 장치(100)는 HMD(110) 및 컨트롤러(120)를 포함한다.

콘텐츠 구동 장치(100)는 HMD(110)를 통해 콘텐츠가 구현되고, 사용자의 손에 착용되는 컨트롤러(120)에 의해 사용자의 움직임에 따라 콘텐츠를 제어할 수 있다.

HMD(110)는 머리에 착용되는 디스플레이로 안경처럼 착용하여 영상을 즐길 수 있는 장치로서 콘텐츠가 구현될 수 있다.

컨트롤러(120)는 HMD(110)를 통해 구현된 콘텐츠를 이용하기 위한 조종기로서, 게임의 장르에 따라 패드, 조이스틱, 건, 핸들 등으로 구현되어 사용될 수 있다.

센서부(200)는 콘텐츠가 사용되는 방향, 위치 및 좌표를 인식하고, 인식된 범위 내에서 HMD(110) 또는 컨트롤러(120)를 통해 사용자의 움직임에 따른 모션을 감지할 수 있다.

센서부(200)는 위치 측정 센서로 구현되어 위치 측정 센서 내에 위치하는 사용자의 위치를 측정할 수 있다. 구체적으로, 센서부(200)는 사용자의 이동을 감지하여 사용자가 위치하는 좌표를 구현할 수 있다.

사운드 인터렉션 시스템(20)은 적어도 하나의 출력 기기를 포함하는 음향 출력 장치(500)와 연동될 수 있다. 여기서 음향 출력 장치(500)는 제1 출력 기기(510) 및 제2 출력 기기(520)를 포함할 수 있다.

메인 제어부(300)는 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어할 수 있다.

메인 제어부(300)는 콘텐츠 제어부(310) 및 제1 사운드 제어부(320)를 포함한다.

콘텐츠 제어부(310)는 사용자의 모션을 감지하여 콘텐츠에 적용하고, 적용된 콘텐츠를 상기 사용자에게 제공할 수 있다.

제1 사운드 제어부(320)는 제2 사운드 제어부(400)에 동기화 데이터를 전송하고, 동기화 데이터를 기반으로 제1 출력 기기(510)에 제1 사운드를 전달할 수 있다.

도 3의 (a)를 참조하면, 제1 사운드 제어부(320)는 프로세스 모듈(322), 3D 엔진 모듈(324), 제1 통신 모듈(326) 및 제1 사운드 출력 처리 모듈(328)을 포함한다. 제1 사운드 제어부(320)는 도 3의 (a)에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

프로세스 모듈(322)은 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록될 수 있다.

3D 엔진 모듈(324)은 등록된 사운드를 콘텐츠에 적용하여 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 동기화 데이터를 생성할 수 있다.

제1 통신 모듈(326)은 생성된 동기화 데이터를 제2 사운드 제어부(400)에 전송할 수 있다.

동기화 데이터는 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 콘텐츠 내에서 변화하는 복수의 장소를 포함할 수 있으며, 복수의 장소 별 씬 번호, 배경음, 효과음을 포함할 수 있다.

제1 사운드 출력 처리 모듈(328)은 동기화 데이터를 기반으로 콘텐츠 내 장소 및 사용자의 움직임에 따라 생성된 제1 사운드를 제1 출력 기기(510)에 전달할 수 있다.

제2 사운드 제어부(400)는 메인 제어부(300)에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어할 수 있다.

제2 사운드 제어부(400)는 제2 통신모듈(410), 사운드 전송모듈(420), 사운드 처리모듈(430) 및 제2 사운드 출력 처리모듈(440)을 포함한다. 제2 사운드 제어부(400)는 도 3의 (a)에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

제2 통신모듈(410)은 제1 통신모듈(326)에서 동기화 데이터를 전달받을 수 있다.

사운드 전송모듈(420)은 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송할 수 있다.

사운드 처리모듈(430)은 전송된 동기화 데이터 및 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리할 수 있다.

제2 사운드 출력 처리모듈(440)은 장소 별로 처리된 환경음 및 효과음과 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기(520)에 전달할 수 있다.

음향 출력 장치(500)는 콘텐츠의 사운드를 사용자에게 제공하기 위해 적어도 하나의 출력 기기를 포함할 수 있다.

음향 출력 장치(500)는 골전도 이어폰으로 구현되는 제1 출력 기기(510) 및 서라운드 스피커로 구현되는 제2 출력 기기(520)를 포함한다.

기존의 사운드 장치(302)는 귓구멍을 통해 고정되는 이어폰일 수 있으며, 착용 시 외부 소리를 들을 수 없어 집중도를 향상시킬 수 있지만 사운드 장치(302)를 통해 출력되는 사운드 밖에 들을 수 없는 문제가 있다.

이에 따라, 사운드의 병행 출력을 통한 사운드 인터렉션 시스템(20)은 골전도 이어폰을 사용함에 따라 개방된 귀를 통해 추가적인 사운드를 사용할 수 있는 통로를 만들 수 있다.

골전도 이어폰은 두개골의 뼈들을 통하여 소리가 속귀(내이)로 전도되는 것으로, 골전도를 통해 소리를 전달하기 때문에 일반인이나 청각 장애인 모두 사용할 수 있다.

사운드 인터렉션 시스템(20)은 제1 출력 기기(510)에 의해 제1 사운드가 출력되는 영역과 제2 출력 기기(520)에 의해 제2 사운드가 출력되는 영역이 중복되지 않으며, 사용자의 위치 별로 제1 사운드 및 제2 사운드 간의 거리감이 구현되어 연속적인 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현될 수 있다.

제1 출력 기기(510)는 콘텐츠의 효과음, 나레이션, 보완 내용을 적어도 하나 포함하는 제1 사운드를 출력할 수 있다.

제2 출력 기기(520)는 콘텐츠의 배경음, 대사를 적어도 하는 포함하는 제2 사운드를 출력할 수 있다.

본 발명의 일 실시예에 따르면, 제2 출력 기기(520)는 복수의 서라운드 스피커 및 복수의 서브 우퍼를 포함할 수 있으며, 반드시 이에 한정되는 것은 아니다. 일반적으로 영화에서 쓰이는 서라운드 사운드는 복수의 서라운드 스피커와 복수의 서브 우퍼의 조합을 통해 일반적인 스피커에서 표현할 수 없는 저역을 표현하고 일반 스피커로는 중고역을 재생하여 서로의 단점을 보완할 수 있다. 하지만 스피커에서 나오는 볼륨을 조정하여 작은 소리가 멀리 있거나 큰소리는 가까이 있다는 가정 하에 사운드 음원을 재생하지만 음원의 방향성을 만드는데는 유리한 측면이 있으나 원형의 사용자를 중심으로 거리감을 완벽하게 구현하는 일은 어려운 문제가 있다.

기존의 발전된 서라운드 사운드는 스크린 뒤에 스피커를 사용하여 스크린에 소리를 맺히게 하는 것이 목적이다. 사운드 엔지니어가 최대한 음상을 조절한다 하더라도 일반적으로 소리가 맺히는 공간을 서라운드 영역에 제한적으로 소리가 위치하게 될 수 있다. 이에 소리의 위치를 조정한다 하더라도 서라운드 영역과 골전도 영역 사이의 중간 영역 및 골전도 영역에 소리를 위치시키기 어려운 문제가 있다.

또한, 헤드폰(골전도 이어폰)은 소리의 음상이 좁아 대부분의 소리가 머리 안에서 맺히게 되며, 최대한 넓게 사운드를 조정한다 하더라도 사용자의 근거리에서 위치하는 경우가 대부분이며, 이는 골전도 영역을 의미한다.

따라서, 사운드 인터렉션 시스템(20)은 제1 출력 기기(510) 및 제2 출력 기기(520)의 사용 특성을 이용하여 두 부분의 단점을 메워 전체적인 사운드 사용의 음상을 넓히고 음질을 향상시킬 수 있다.

음향 출력 장치(500)는 콘텐츠가 구현되는 범위 내에서 복수의 위치에 소리가 맺히게 할 수 있다. 복수의 위치는 서라운드 영역, 서라운드 영역과 골전도 영역 사이의 중간 영역 및 골전도 영역에 위치할 수 있다.

구체적으로 서라운드 영역은 제2 출력 기기(520)에서 출력된 제2 사운드의 대부분이 맺히는 공간을 나타내고, 서라운드 영역과 골전도 영역 사이의 중간 영역은 제1 출력 기기(510) 및 제2 출력 기기(520)에서 출력되는 사운드가 대부분 맺히지 않는 공간을 나타내며, 골전도 영역은 제1 출력 기기(510)에서 출력되는 제1 사운드가 대부분 맺히는 공간을 나타낸다.

본 발명의 일 실시예에 따르면, 사운드 인터렉션 시스템(20)은 제1 출력 기기(510)를 통해 소리가 맺히는 공간과 제2 출력 기기(520)를 통해 소리가 맺히는 공간을 구분하여 출력하며, 제1 출력 기기(510) 및 제2 출력 기기(520)를 통해 생성되는 사운드가 대부분 맺히지 않는 공간에서는 제1 출력 기기(510) 및 제2 출력 기기(520)의 음량 등을 조절하여 음상을 넓히고 음질을 향상시킬 수 있다.

예를 들어, 사운드 인터렉션 시스템(20)은 소리가 외부에서 내부로 전달되는 경우, 먼 거리에서 출발한 사운드는 제2 출력 기기(520)를 통해 근접하고, 제1 출력 기기(510)의 한계로 인해 서라운드 영역에서 사운드가 멈출 수 있으며, 이 사운드를 지속적으로 전달시키기 위해서는 제1 출력 기기(510)를 사용하여 동일하게 연속적인 소리를 표현하여 자연스럽게 하나의 소리로 인식시킬 수 있다. 이는 제1 출력 기기(510) 및 제2 출력 기기(520) 각각에서 나누어 소리를 재생시킬 수 있으며, 동일한 저음을 통해 사용자가 하나의 사운드로 인식하게 할 수 있다.

구체적으로, 사운드 인터렉션 시스템(20)은 소리의 이동 경로가 외재적 사운드에서 내재적 사운드로, 내재적 사운드에서 외재적 사운드로 이동할 수 있으며, 저음 재생을 일정하게 유지할 수 있다. 사운드 인터렉션 시스템(20)은 동일한 저음 재생을 통해 사용자가 하나의 사운드로 두 소리를 인식할 수 있으며, 골전도 이어폰으로 구현되는 제1 출력 기기(510)의 특성상 저음 표현이 효과적이지 않고 피부의 진동으로 변하게 될 수 있다. 따라서, 90hz 이하의 음역대를 제1 출력 기기(510)에서 삭제시켜 재생하게 되므로 사용 시 불편한 진동을 제거할 수 있다.

사운드 인터렉션 시스템(20)은 제1 출력 기기(510) 및 제2 출력 기기(520)를 이용함에 따라 거리감을 향상시키고 음역대를 분리하여 재생하게 되므로 진동으로 인한 효과적인 불편함을 제거한 상태에서 좋은 음질을 사용자에게 제공할 수 있다.

도 3의 (a)를 참조하면, 메인 제어부(300)는 제1 사운드 출력 처리모듈(328)을 통해 제1 출력 기기(510)로 제1 사운드를 제공할 수 있으며, 제2 사운드 제어부(400)는 제2 사운드 출력 처리모듈(440)을 통해 제2 출력 기기(520)로 제2 사운드를 제공할 수 있다.

기존의 콘텐츠 제어부는 사운드를 처리하는 방법이 프로그래머에 의해 전담되거나 사운드 엔지니어가 따로 존재한다 하더라도 사운드 엔지니어는 제작된 사운드 파일을 전달하여 간단하게 재생하는 방식의 제작 방법을 가진다. 이에 의해 사운드 엔지니어의 제작의도가 완벽하게 전달되지 못한다. 이는 사운드를 처리하는 어플리케이션이 하나의 컴파일된 프로그램으로 만들어져야 하기 때문에 발생하는 문제이며, 콘테츠 제어부 내에 사운드 제어부가 종속되어 HMD에 포함된 2ch 헤드셋에 사운드를 출력할 수 있다.

본 발명의 일 실시예에 따르면, 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 사운드 엔지니어가 사용하는 상용 사운드 엔진이 입력 가능한 메인 제어부(300)와 별개의 제2 사운드 제어부(400)를 개발하여 두 프로그램이 사운드 처리에 관한 데이터를 자유롭게 사용할 수 있다. 또한, 기존의 헤드폰에서 재생되던 메인 제어부(300)의 사운드 출력 또한 제2 사운드 제어부(400)를 통해 사운드를 출력할 수 있도록 제작하여 동시에 작업이 가능할 수 있다. 여기서, 제2 사운드 제어부(400)는 제2 출력 기기(520)로 사운드를 출력하고, 메인 제어부(300)는 제1 출력 기기(510)로 사운드를 출력할 수 있다. 구체적으로, 제1 출력 기기(510)는 골전도 이어폰으로 구현되며, 제2 출력 기기(520)는 서라운드 스피커로 구현될 수 있다.

본 발명의 일 실시예에 따르면, 메인 제어부(300)의 제1 사운드 제어부(320)는 제1 통신 모듈(326)을 포함하고, 제2 사운드 제어부(400)는 제2 통신 모듈(410)을 포함한다. 한가지 음원에 대한 부분을 두 가지의 음향 출력 장치(500)가 출력해야 하므로 메인 제어부(300)의 내부적으로는 제1 출력 기기(510)에 기본적인 사운드를 보내는 동시에 제2 사운드 제어부(400)에 동기화 데이터를 전송할 수 있다.

제1 통신 모듈(326) 및 제2 통신 모듈(410)은 공간을 기준으로 한 통신 프로토콜을 나타내는 동기화 데이터로 나뉘게 된다.

동기화 데이터는 장소 태그, 씬 번호, 배경음, 배경 음악, 효과음 등을 포함하며, 제1 통신 모듈(326)에서 제2 통신 모듈(410)로 전송할 수 있다. 구체적으로, 장소 태그는 장소 1, 장소 2, 장소 3 등으로 표현될 수 있으며, 효과음은 효과음1, 효과음2 등으로 표현되거나 발걸음과 같은 실제명으로 표현될 수 있으며, 반드시 이에 한정되는 것은 아니다.

제2 통신 모듈(410)은 동기화 데이터가 수신되면, 장소 태그에 따라 각 소리 효과를 결정하고, 배경음, 배경 음악을 재생하고, 효과음이 들어오면 장소 태그에 맞는 공간 효과를 거치게 된다. 이를 통해 제2 사운드 제어부(400)는 공간의 소리를 정의하는 방식으로 표현될 수 있다.

본 발명의 일 실시예에 따르면, 메인 제어부(300)는 모든 사운드의 명령을 제어하고 관리할 수 있다. 예를 들어, 메인 제어부(300)는 제1 출력 기기(510)의 소리가 필요하면 자체적으로 출력하며 제2 출력 기기(520)의 소리가 필요한 경우 제2 사운드 제어부(400)에 메시지를 전송하여 사운드를 동기화할 수 있다.

사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 제2 사운드 제어부(400)에서 구분해놓은 장소 별 사운드 효과의 채널을 만들어 단순한 소리 트리거의 명령을 받는다 하더라도 해당 소리의 장소가 연결되기 때문에 제2 사운드 제어부(400)에서 제작해놓은 공간 효과를 실시간으로 만들어주며, 메인 제어부(300)의 제1 사운드 제어부(320)의 작업과 완전히 분할되어 작동하기 때문에 독립적인 개발 환경 및 소리의 질적인 영향은 메인 제어부(300)에서 결정지을 수 없고 제2 사운드 제어부(400)에 종속될 수 있다.

본 발명의 일 실시예에 따르면, 사운드의 병행 출력을 통한 사운드 시스템(10)은 사운드 엔지니어가 사용하는 상용 사운드 엔진이 입력 가능한 메인 제어부(300)와 종속되지 않은 별개의 프로그램의 제2 사운드 제어부(400)를 개발하여 두 프로그램이 사운드 처리에 관한 데이터를 자유롭게 사용할 수 있다. 또한 기존의 헤드폰에서 재생되던 메인 제어부(300)의 사운드 출력 또한 재생할 수 있도록 제작하여 동시에 작업이 가능할 수 있다

사운드의 병행 출력을 통한 사운드 시스템(10)은 메인 제어부(300)와 사제2 사운드 제어부(400)가 서로 통신모듈을 가지고 있으며, 한가지 음원에 대한 부분을 두 가지의 사운드 시스템이 출력해야 하므로 메인 제어부(300)에서 내부적으로는 골전도 이어폰에 기본적인 사운드 시스템을 보내는 동시에 제2 사운드 제어부(400)에 동기화 데이터를 전송할 수 있으며, 공간을 기준으로 한 통신 프로토콜로 나뉠 수 있다.

메인 제어부(300)는 장소를 기반으로 씬이 나뉘는 특징을 가지고 있으며, 사운드 엔지니어도 소리를 결정하는 가장 기본적인 기능은 공간을 기준으로 한다. 사운드의 병행 출력을 통한 사운드 시스템(10)은 이 둘의 공통점을 소프트웨어에 적용한 것으로, 공간적 특징을 콘텐츠에 적용할 때의 사운드의 질적인 결정을 프로그래머가 아니라 사운드 엔지니어가 전부 정하여주고 그것에 대한 적용시점의 절차만을 프로그래머가 등록함에 있다.

본 발명의 일 실시예에 따르면, 메인 제어부(300)는 기본적으로 비주얼을 관리하고, 모든 사운드의 명령을 제어하고 관리할 수 있다.

본 발명의 일 실시예에 따르면, 사운드의 병행 출력을 통한 사운드 시스템(10)은 골전도의 소리가 필요하면 자체적으로 출력하며 서라운드 채널이 필요할 때 제2 사운드 제어부(400)에 동기화 데이터를 전송하여 사운드를 동기화한다.

사운드의 병행 출력을 통한 사운드 시스템(10)은 제2 사운드 제어부(400)에서 구분해놓은 장소 별 사운드 효과의 채널을 만들어 단순한 소리트리거의 명령을 받는다 하더라도 해당소리의 장소가 연결되기 때문에 사운드 엔진에서 제작해놓은 공간효과를 실시간으로 만들어주며 메인 제어부(300)의 작업과 완전히 분할되어 작동하기 때문에 독립적인 개발환경 및 소리의 질적인 향은 메인 제어부(300)에서 결정지을 수 없고 사운드 서버에 종속된다.

메인 제어부(300) 및 제2 사운드 제어부(400)는 사용자가 상기 제1 공간에서 제2 공간으로 이동하는 경우, 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절하여 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현할 수 있다.

도 3의 (b)를 참조하면, 공간 사운드 처리부(600)는 장소 인식부(610), 사운드 정보 생성부(620) 및 사운드 조절부(630)를 포함한다. 공간 사운드 처리부(600)는 도 3의 (b)에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

장소 인식부(610)는 사용자의 공간의 이동에 따른 현재 장소 정보를 획득하고, 장소에 대응하는 초기 사운드 데이터를 획득할 수 있다.

장소 인식부(610)는 메인 제어부(300)를 통해 사용자의 이동에 따라 변화하는 공간을 인식하여 장소의 특징을 표현하도록 구현된 장소 별 사운드를 인식할 수 있다. 여기서, 장소 인식부(610)는 사용자의 모션을 더 이용하여 장소의 특징을 표현하는 초기 사운드 데이터를 획득할 수 있다.

사운드 정보 생성부(620)는 초기 사운드 데이터에 따른 사운드 조정 정보를 생성할 수 있다. 여기서, 사운드 조정 정보는 제1 사운드 및 제2 사운드의 볼륨, 울림 등을 조절하기 위한 정보로서, 공간에 따라 조절하는 정보가 상이하며 볼륨, 울림 외에도 늘어지는 길이 등을 추가적으로 더 조절할 수 있다.

사운드 정보 생성부(620)는 제1 사운드 및 제2 사운드 각각에 장소 별 사운드를 적용하여 사운드 정보를 생성할 수 있다.

사운드 정보 생성부(620)를 통해 생성된 제1 사운드 및 제2 사운드 각각은 복수의 장소 별 씬 번호, 지시음, 배경음 또는 효과음을 적어도 하나 포함하여 출력될 수 있다.

사운드 정보 생성부(620)는 제1 사운드 및 제2 사운드 각각에 초기 사운드 데이터를 적용하여 제1 사운드 및 제2 사운드를 조정하기 위한 사운드 조정 정보를 생성할 수 있다.

사운드 조절부(630)는 제1 사운드 및 상기 제2 사운드에 사운드 조정 정보를 적용하여 상기 제1 사운드 또는 상기 제2 사운드를 조절할 수 있다.

사운드 조절부(630)는 사용자가 공간을 이동함에 따라 제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 인식된 장소에 따라 제1 사운드 및 제2 사운드의 울림 또는 볼륨을 조절할 수 있다.

사운드 조절부(630)는 사용자가 제1 공간에서 제2 공간으로 이동하는 경우, 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절할 수 있다.

사운드 조절부(630)는 음향 출력 장치(500)에 의해 제1 사운드가 출력되는 영역과 제2 사운드가 출력되는 영역이 서로 상이함에 따라 제1 사운드 및 제2 사운드에 동일한 저음이 출력되도록 조절할 수 있다.

사운드 조절부(630)는 제1 사운드 중 90hz 이하의 음역대로 구성된 사운드를 제거하여 출력할 수 있다.

사운드 조절부(630)는 사운드 정보 생성부(620)를 통해 생성된 사운드 정보를 기반으로 제1 사운드의 보정음 또는 제1 사운드에 따른 효과음을 제2 사운드 제어부(400) 더 출력하여 이격된 소리를 표현할 수 있다.

도 4 및 도 5는 본 발명의 일 실시예에 따른 출력 채널에 따른 사운드 응용을 나타내는 도면이다.

본 발명의 일 실시예에 따르면, 사용자가 제1 공간에서 제2 공간으로 이동하면 동일한 사운드라도 사운드 환경 변화가 생겨나게 된다. 여기서, 각 공간은 각 공간만의 지연음, 잔향이 다르며, 앰비언스(환경음)이 변하게 된다. 이 때 오디오 엔지니어는 상용 가상악기를 적극적으로 활용하여 공간음을 구성하지만 실제로 VR 개발환경에서는 정해져있는 오디오 엔진을 사용해야 하므로 사운드 엔지니어의 요구를 정확하게 받아들일 수 없다. 따라서, 사운드 인터렉션 시스템(20)은 이를 요소로 사운드 엔지니어가 제작한 상용가상악기가 재생되는 재생 환경을 구축하여 제공할 수 있다. 여기서, 가상 악기는 컴퓨터에서 소프트웨어를 사용하여 하드웨어 악기를 모방하여 연주할 수 있게 한 가상의 악기이다.

골전도 이어폰으로 구성된 제1 출력 기기(510)는 저음 표현과 공간 표현이 불가능하며, 회전 적용이 가능하고, 서라운드 스피커로 구성된 제2 출력 기기(520)는 저음 표현과 공간 표현이 가능하고, 회전 적용이 불가능 할 수 있다. 여기서, 저음 표현은 깊고 밀도감이 있는 환경음을 나타내며, 서라운드 스피커를 통해 전달할 수 있으며, 몰입감 측면에서 100hz 아래의 초저역 주파수를 재생함으로써 웅장함을 전달함은 물론 사용자가 몸으로 느낄 수 있는 판타지 경험을 제공할 수 있기 때문에 중요하게 활용될 수 있다. 또한, 전체적으로 서라운드와 개별 입체 사운드가 혼용되어 전달되나, 시스템 상으로 분리되어 페러렐로 출력되는 방식을 사용할 경우, 컴퓨팅 환경에서도 VR 체험자의 움직임에 따라 머리 회전에 반응하기 위해 머리 전달 함수를 통해 계산되며 이어폰의 포맷인 2채널로 변환할 필요가 없게 될 수 있다. 이는 사용자가 고개를 돌리더라도 사운드는 이미 재생되고 있는 스피커의 위치에 고정된 채 전달될 수 있기 때문이다. 따라서, 사운드 인터렉션 시스템(20)은 HMD(110)에 장착되어 잇는 이어폰을 사용하는 경우보다 더 간편하게 음원 제작을 가능하게 할 수 있다.

도 4는 본 발명의 일 실시예에 따른 출력 채널에 따른 제1 공간에서 제2 공간으로 이동 시 사운드 응용을 나타내는 도면이다.

본 발명의 일 실시예에 따르면, HMD(110)를 착용하고 사용자가 VR 공간으로 들어가게 되면 HMD(110)의 위치를 인식하는 추적 센서에 의해 사용자의 위치를 파악하게 된다. 여기서, 센서부(200)는 추적 센서로 구현될 수 있으며, 반드시 이에 한정되는 것은 아니다.

사운드 엔지니어는 회전 표현력과 저음 표현력인 높은 사운드는 서라운드에 배치하고, VR 환경 내부 다양한 오브젝트와 상호작용하는 소리들은 골전도에 우선 배치하여 양질의 사운드를 만들어 낼 수 있다.

구체적으로, 회전 표현력과 저음 표현력인 높은 사운드는 새소리, 발자국 소리, 외부 목소리 등을 포함할 수 있으며, VR 환경 내부 다양한 오브젝트와 상호작용하는 소리는 나레이션, 지시음 등을 포함할 수 있다.

서라운드 스피커에서 출력되는 사운드는 제1 공간에서 제2 공간으로 이동하는 경우, 소리가 연속적으로 재생되지만 공간의 변화에 따라 소리의 볼륨, 울림 등이 변화할 수 있다.

본 발명의 일 실시예에 따르면, 공간 사운드 처리부(600)는 제1 공간과 제2 공간 각각에 따른 동기화 데이터를 이용하여 제1 사운드 및 제2 사운드 간의 인터렉션을 수행한다. 예를 들어, 제1 공간이 실외이고, 제2 공간이 실내이면 제1 공간에서 제2 공간으로 이동하는 경우에 실외 사운드는 볼륨이 작아지고 실내로 들어오면서 울림이 커질 수 있다.

본 발명의 일 실시예에 따르면, 공간 사운드 처리부(600)는 사용자가 제1 공간 및 제2 공간 사이에 위치하는 경우, 사용자의 행동 패턴을 분석하고 각 행동 패턴에 따른 가중치를 부여하여 제1 공간 또는 제2 공간으로 인식하고, 그 공간에 따른 사운드를 출력할 수 있다. 공간 사운드 처리부(600)는 사용자가 이동하기 위한 목표 공간, 상기 사용자의 신체가 어느 공간에 위치하는지 여부에 가중치를 부여하여 제1 공간 또는 제2 공간으로 인식할 수 있다. 구체적으로, 사용자가 제1 공간에서 제2 공간으로 이동하는 도중 제1 공간 및 제2 공간 사이에 위치하는 경우 상기 사용자의 목표 공간은 제2 공간일 수 있으며, 제2 공간에 가중치를 부여할 수 있다. 또한, 사용자가 제1 공간 및 제2 공간 사이에 위치하는 경우, 사용자의 발, 손, 머리, 배 등의 신체 부위가 제1 공간과 제2 공간에 위치하는 정도에 가중치를 부여하고, 신체 부위 각각에도 가중치를 부여할 수 있다. 이에 따라, 공간 사운드 처리부(600)는 사용자가 제1 공간 및 제2 공간 사이에 위치하는 경우, 사용자의 목표 공간 및 신체 위치 여부에 가중치를 부여하여 제1 공간 또는 제2 공간으로 인식하여 그에 따른 사운드를 출력할 수 있다.

도 5는 본 발명의 일 실시예에 따른 출력 채널에 따른 상보적인 사운드 응용을 나타내는 도면이다.

본 발명의 일 실시예에 따르면, 사운드 인터렉션 시스템(20)은 양질의 사운드를 사용자에게 제공하기 위해 두 사운드 출력 체계를 상보적으로 사용하여 사운드의 연출을 제작할 수 있다.

구체적으로, 사운드 인터렉션 시스템(20)은 사용자가 스스로 대사를 외치는 지시음 1을 제1 출력 기기(510)를 통해 듣게 되며 주변의 바람 소리가 그에 협응하는 씬을 제작하여 이 둘을 다른 출력 채널에 배치하여 하나의 소리를 상보적으로 운용할 수 있다.

도 5의 (a)를 참조하면, 사운드 인터렉션 시스템(20)은 새소리 1이 제1 출력 기기(520)를 통해 출력되는 동안 일정 시간 후 새소리 1의 보정음을 출력하여 거리적으로 이격된 소리를 자연스럽게 표현하는 등 연출에 따라 제1 출력 기기(510) 및 제2 출력 기기(520)로 구현된 사운드 채널의 장점과 단점을 나누어 분리되어 이용하며 상보적으로 사용하여 하나의 출력 시스템처럼 느끼게 할 수 있다.

예를 들어, 제1 출력 기기(510)는 나레이션, 지시음 1, 새소리 1을 제1 사운드로 출력할 수 있으며, 나레이션과 새소리 1이 중복되어 출력될 수 있다.

도 5의 (b)를 참조하면, 사운드 인터렉션 시스템(20)은 제1 출력 기기(510)를 통해 나레이션이 지속적으로 출력되며, 지시음 1이 출력된 후 일정 시간이 지난 후 소리 1이 출력되는 것을 확인할 수 있다. 이때, 제2 출력 기기(520)는 지시음 1에 따른 효과음과 소리 1의 보정음이 출력될 수 있다. 지시음 1에 따른 효과음은 제1 출력 기기(510)를 통해 지시음 1의 출력이 완료되는 경우 제2 출력 기기(520)에서 이어 출력될 수 있다. 또한, 소리 1의 보정음은 제1 출력 기기(510)를 통해 소리 1의 출력이 진행되며 일정 시간이 지난 후 제2 출력 기기(520)에서 이어 출력될 수 있으며, 제1 출력 기기(510)에서 출력되는 소리 1을 보정할 수 있다.

도 5를 참조하면, 사운드 인터렉션 시스템(20)은 제1 출력 기기(510) 또는 제2 출력 기기(520) 각각에서 복수의 사운드가 중복되어 출력될 수 있으며, 2가지의 사운드가 출력되는 것으로 도시하였으나 반드시 이에 한정되는 것은 아니며 상황에 따라 복수의 사운드가 중복 병행되어 출력될 수 있다.

도 6은 본 발명의 일 실시예에 따른 공간 이동을 나타내는 도면이다.

본 발명의 일 실시예에 따르면, 사운드 인터렉션 시스템(20)의 공간 사운드 처리부(600)는 공간의 변화를 실시간으로 반영할 수 있다.

사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 사운드 엔지니어가 일반적인 사운드 작업에 사용하는 가상의 공간을 만들어 실시간으로 플레이할 수 있다.

도 6을 참조하면, 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 사용자가 공간을 이동하게 되면 재생되는 소리를 바꿔서 재생하는 것이 아니라 효과를 거쳐서 동일한 사운드를 실시간으로 변화시킬 수 있다.

예를 들어, 사운드 제어 시스템(20)은 사용자가 야외의 공간을 나타내는 제1 공간에서 실내의 공간을 나타내는 제2 공간으로 이동하는 경우 외부의 바람소리와 새소리들은 볼륨이 작아지게 되고 직접음 보다 멀리서 간접음이 더 많이 들리는 방식으로 소리가 변환할 수 있다. 또한, 사운드 제어 시스템(20)은 야외의 제1 공간에서 실내의 제2 공간으로 이동함에 따라 발자국 소리가 더 크고 울림을 가지도록 사용자에게 전달할 수 있다.

본 발명의 일 실시예에 따르면, 사운드 제어 시스템(20)은 오디오 엔지니어가 관장하는 사운드 서버가 거쳐 소리가 나게 되므로 개발자는 공간에 대한 세팅값을 전송해준다는 코딩만 진행하면 되고 이후에는 사운드 엔지니어가 사운드에 대한 모든 부분을 자신이 익숙한 소프트웨어를 사용하여 사운드를 제적할 수 있다. 여기서, 소프트웨어는 VST 프로그램 중 하나인 altiverb일 수 있으며, 반드시 이에 한정되는 것은 아니다.

구체적으로, 기존에 공간이 변화하는 경우에는 Time_Attack, Delay, EQ, Volume 등이 변화할 수 있다. 예를 들어 Time_Attack은 40에서 10으로, Delay는 3에서 300으로, EQ는 0,0,0에서 0,0,-30으로, Volume은 -10에서 -30으로 변화될 수 있다. 사운드 제어 시스템(20)은 상술한 값들을 각각 변화시키는 것이 아니고, 엔지니어가 세팅한 사운드 세팅1(tag(Stage1BGReverb_out))에서 엔지니어가 세팅한 사운드 세팅2(tag(Stage1BGReverb_theater))로 변화시킬 수 있다.

도 7 및 도 8은 본 발명의 일 실시예에 따른 VR을 참여하는 사용자를 바라보는 다른 사용자를 위한 사운드를 나타내는 도면이다.

도 7 및 도 8은 사용자를 바라보는 사용자'를 위한 사운드 연출을 나타내는 도면으로, VR을 참여하고 있는 사용자와 VR을 참여하고 있는 사용자를 구경하는 사용자'로 구분되어 출력될 수 있다.

제1 출력 기기(510)는 VR을 참여하고 있는 사용자(12)에게만 들리게될 수 있다. 대사, 비프음 등을 골전도에 위치시켜 제작하게 되면 VR을 참여하는 것은 바라보는 사용자'(14)의 경험을 새롭게 제작할 수 있다. 체험 내용의 보안을 지킴과 동시에 VR을 사용하는 사용자(12)를 바라보는 사용자'(14)를 새로운 시나리오 경험에 추가할 수 있다.

구체적으로, VR을 참여하고 있는 사용자(12)는 제1 출력 기기(510) 및 제2 출력 기기(520)를 통해 출력되는 제1 사운드 및 제2 사운드를 모두 들을 수 있으며, VR을 참여하고 있는 사용자(12)를 바라보는 사용자'(14)는 제2 출력 기기(520)를 통해 출력되는 제2 사운드만 들을 수 있다.

VR은 소수의 컴퓨터에 제한적인 사람이 참여하게 되는 컨텐츠로서, 그에 따라 참여하는 사용자(12)를 구경하는 사용자'(14)로서의 대기 인원이 발생할 수 있다.

VR을 참여하고 있는 사용자(12)가 위치하는 영역은 제1 출력 기기(510)와 제2 출력 기기(520)를 통해 제1 사운드 및 제2 사운드가 동시에 출력되는 구역이다. VR을 참여하고 있는 사용자(12)를 구경하는 사용자'(14)가 위치하는 영역은 사용자(12)를 바라보며 제2 출력 기기(520)를 통해 출력되는 제2 사운드만 들을 수 있는 구역이다.

따라서, 사운드 제어 시스템(20)은 제1 출력 기기(510)와 제2 출력 기기(520)를 사용하여 소리가 새는 환경에서의 플레이어의 보안성을 높이고 대기중인 사용자'가 집중하여 가상 환경을 체험할 수 있게 할 수 있다.

사운드 제어 시스템(20)은 제1 출력 기기(510)에 의해 출력되는 제1 사운드가 들리는 골전도 영역과 제2 출력 기기(520)에 의해 출력되는 제2 사운드가 들리는 서라운드 영역으로 구현될 수 있다.

구체적으로, 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)을 통해 콘텐츠를 이용하는 사용자(12)만 들을 수 있는 영역과 사용자(12)뿐만 아니라 사용자(12)를 구경하는 사용자'(14)도 들을 수 있는 영역을 나타낸다. 구체적으로, 사운드 인터렉션 시스템(20)은 직접적인 사용자(12)만 정보를 들을 수 있으므로 정보를 선택적으로 출력할 수 있으며, 사용자(12)를 포함하여 사용자(12)를 바라보는 대기하는 사용자'(14)까지 들을 수 있는 영역이다. 사용자(12)는 VR을 체험하는 체험자일 수 있으며, 사용자'(14)는 대기자일 수 있다.

예를 들어 사용자(12)는 정보의 보안이 중요한 내용으로 사용자'(14)가 내용을 미리 알게되면 안되는 부분, 나레이션, 효과음 등이 출력된 사운드를 들을 수 있으며, 사용자'(14)는 전체적인 분위기를 전달하여 대기 인원에게 궁금증을 자아내는 배경음, 배경 음악, 기본적인 전제가 되는 대사 등이 출력된 사운드를 들을 수 있다.

사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 소수의 프로세서를 통해 제한적인 사람이 참여하는 콘텐츠로서, 콘텐츠를 이용하는 사용자와 사용자를 보는 사람에 의해 구현될 수 있다. 사용자를 보는 사람은 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)을 사용하기 위해 대기하는 사람이다.

사용자는 제1 출력 기기(510) 및 제2 출력 기기(520)에서 출력되는 사운드를 모두 들을 수 있으며, 대기하는 사람은 제2 출력 기기(520)에서 출력되는 사운드만 들을 수 있다. 이에 따라 제1 영역에서는 소리가 새는 환경에서의 플레이어의 보안성을 높이고, 제2 영역에서는 대기하는 사람이 집중할 수 있도록 할 수 있다.

본 발명의 일 실시예에 따르면, 사운드 인터렉션 시스템(20)은 소리가 외부에서 내부로 전달되는 경우 제2 출력 기기(520)를 통해 먼거리에서 출발한 소리는 근접하지만 제2 출력 기기(520)의 한계로 인해 음원의 표현 한계인 서라운드 영역에서 멈출 수 있으며, 외부에서 내부로 전달되는 소리를 지속적으로 전달시키기 위해서 제1 출력 기기(510)를 사용하여 동일하게 연속적인 소리를 골전도 영역에서 표현하여 자연스럽게 하나의 소리로 인식시킬 수 있다.

예를 들어, 서라운드 영역은 전체적인 분위기를 전달하여 대기인원에게 궁금증을 자아내는 배경음, 배경 음악, 기본적인 전제가 되는 대사 등이 출력될 수 있다. 골전도 영역은 체험자의 내용을 미리 알게되면 안되는 부분으로 정보의 보안이 중요한 내용, 나레이션, 효과음 등이 출력될 수 있다.

구체적으로 사운드 인터렉션 시스템(20)은 이동하는 소리를 제1 출력 영역(510) 및 제2 출력 영역(520)으로 나누어 출력할 수 있다. 소리의 이동 경로는 외재적 사운드에서 내재적 사운드 또는 장거리 소리 표현에서 근거리 소리 표현으로 이동할 수 있다. 여기서, 사운드 인터렉션 시스템(20)은 저음 재생을 일정하게 유지할 수 있으며 두가지 출력 시스템에서 나누어 소리가 재생되지만 동일한 저음을 통해 사용자가 하나의 사운드로 두 소리를 인식시켜 주는데 도움을 줄 수 있다.

또한, 골전도 이어폰의 특성상 저음 표현이 효과적이지 않고 피부의 진동으로 변할 수 있다. 따라서, 사운드 인터렉션 시스템(20)은 90hz 이하의 음역대를 골전도 이어폰에서 삭제시켜 재생하게 되므로 사용 시 불편한 진동을 제거할 수 있다.

따라서, 사운드 인터렉션 시스템(20)은 제1 출력 기기(510) 및 제2 출력 기기(520)의 병용으로 거리감을 향상시키고, 음역대를 분리하여 재생하게 되므로 진동으로 인한 효과적인 불편함을 제거한 상태에서 좋은 음질을 사용자에게 제공할 수 있다.

도 8을 참조하면, 사운드 인터렉션 시스템(20)은 일반적인 VR과 다르게 제1 사운드 제어부(320)와 연동된 제1 출력 기기(510) 및 제2 사운드 제어부(400)와 연동된 제2 출력 기기(520)를 동시에 사용하여 사운드를 선택적으로 출력할 수 있다.

도 9 및 도 10은 본 발명의 일 실시예에 따른 사운드 인터렉션 방법을 나타내는 도면이다. 사운드 제어 방법은 사운드 인터렉션 시스템에 의하여 수행될 수 있으며, 사운드 인터렉션 시스템이 수행하는 동작 및 방법에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.

메인 제어부가, 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어하는 단계(S910), 제2 사운드 제어부가, 메인 제어부에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 단계(S920) 및 공간 사운드 처리부가, 사용자가 공간을 이동하는 경우, 동기화 데이터를 기반으로 제1 사운드 및 제2 사운드간의 인터렉션을 제어하는 단계(S930)를 포함한다.

사용자가 공간을 이동하는 경우, 동기화 데이터를 기반으로 제1 사운드 및 제2 사운드간의 인터렉션을 제어하는 단계(S930)는 도 10을 참조하여 자세히 설명한다.

사용자가 공간을 이동하는 경우, 동기화 데이터를 기반으로 제1 사운드 및 제2 사운드간의 인터렉션을 제어하는 단계(S930)는 사용자의 공간 이동 여부를 확인한다(S932). 여기서, 공간 이동은 VR 게임 내의 장소 이동으로서 예를 들어 운동장에서 학교 안과 같이 사용자의 움직임에 따라 장소가 변화되는 것을 의미한다.

사용자가 공간 이동을 할 경우, 사용자가 공간을 이동하는 경우, 동기화 데이터를 기반으로 제1 사운드 및 제2 사운드간의 인터렉션을 제어하는 단계(S930)는 사용자의 공간의 이동에 따른 현재 장소 정보를 획득하고, 장소에 대응하는 초기 사운드 데이터를 획득하는 단계(S934), 초기 사운드 데이터에 따른 사운드 조정 정보를 생성하는 단계(S936) 및 제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)를 포함한다.

사용자의 모션 또는 공간의 이동에 따른 장소 별 사운드를 인식하는 단계(S934)는 메인 제어부를 통해 상기 사용자의 이동에 따라 변화하는 공간을 인식하여 장소의 특징을 표현하도록 구현된 장소 별 사운드를 인식한다.

인식된 장소 별 사운드에 따라 제1 사운드 및 제2 사운드의 사운드 정보를 생성하는 단계(S936)는 제1 사운드 및 제2 사운드 각각에 초기 사운드 데이터를 적용하여 제1 사운드 및 제2 사운드를 조정하기 위한 사운드 조정 정보를 생성할 수 있다.

제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)는 사용자가 공간을 이동함에 따라 제1 사운드 및 제2 사운드에 사운드 정보를 적용하여 인식된 장소 별 사운드에 따른 울림 또는 볼륨을 조절한다.

제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)는 사용자가 제1 공간에서 제2 공간으로 이동하는 경우, 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절하여 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현한다.

제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)는 음향 출력 장치에 의해 제1 사운드가 출력되는 영역과 제2 사운드가 출력되는 영역이 서로 상이함에 따라 제1 사운드 및 제2 사운드에 동일한 저음을 재생시켜 제1 사운드 및 제2 사운드가 하나의 사운드로 인식되도록 구현할 수 있다.

제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)는 제1 사운드 중 90hz 이하의 음역대로 구성된 사운드를 제거하여 출력할 수 있다.

제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)는 사운드 정보 생성부를 통해 생성된 사운드 조정 정보를 기반으로 제1 사운드의 보정음 또는 제1 사운드에 따른 효과음을 제2 사운드로 출력하여 이격된 소리를 표현할 수 있다.

도 9 및 도 10에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 9 및 도 10에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능하다.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 통합 제어 시스템
20:　사운드 인터렉션 시스템
100: 콘텐츠 구동 장치
200: 센서부
300: 메인 제어부
400: 제2 사운드 제어부
500: 음향 출력 장치
600: 공간 사운드 처리부

Claims (16)

1. 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 인터렉션 시스템에 있어서,
   콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션 또는 공간의 이동에 따라 제1 사운드를 제어하는 메인 제어부;
   상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부; 및
   상기 사용자가 공간을 이동하는 경우, 상기 동기화 데이터를 기반으로 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 공간 사운드 처리부를 포함하는 사운드 인터렉션 시스템.
2. 제1항에 있어서,
   상기 공간 사운드 처리부는,
   상기 사용자의 공간의 이동에 따른 현재 장소 정보를 획득하고, 상기 장소에 대응하는 초기 사운드 데이터를 획득하는 장소 인식부;
   상기 초기 사운드 데이터에 따른 사운드 조정 정보를 생성하는 사운드 정보 생성부; 및
   상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 사운드 조절부를 포함하는 사운드 인터렉션 시스템.
3. 제2항에 있어서,
   상기 장소 인식부는,
   상기 메인 제어부를 통해 상기 사용자의 이동에 따라 변화하는 공간을 인식하여 장소의 특징을 표현하는 초기 사운드 데이터를 획득하고,
   상기 사운드 정보 생성부는 상기 제1 사운드 및 상기 제2 사운드 각각에 상기 초기 사운드 데이터를 적용하여 상기 제1 사운드 및 상기 제2 사운드를 조정하기 위한 상기 사운드 조정 정보를 생성하는 것을 특징으로 하는 사운드 인터렉션 시스템.
4. 제2항에 있어서,
   상기 동기화 데이터는,
   상기 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 상기 콘텐츠 내에서 변화하는 복수의 장소를 포함하고,
   상기 사운드 정보 생성부를 통해 생성된 상기 제1 사운드 및 상기 제2 사운드 각각은 상기 복수의 장소 별 씬 번호, 지시음, 배경음 또는 효과음을 적어도 하나 포함하여 출력되는 것을 특징으로 하는 사운드 인터렉션 시스템.
5. 제2항에 있어서,
   상기 사운드 조절부는,
   상기 사용자가 공간을 이동함에 따라 상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 인식된 장소에 따라 상기 제1 사운드 및 상기 제2 사운드의 울림 또는 볼륨을 조절하고,
   상기 사운드 조절부는 상기 사용자가 상기 제1 공간에서 상기 제2 공간으로 이동하는 경우, 상기 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 상기 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절하는 것을 특징으로 하는 사운드 인터렉션 시스템.
6. 제2항에 있어서,
   상기 사운드 조절부는,
   상기 음향 출력 장치에 의해 상기 제1 사운드가 출력되는 영역과 상기 제2 사운드가 출력되는 영역이 서로 상이함에 따라 상기 제1 사운드 및 상기 제2 사운드에 동일한 저음이 출력되도록 조절하고,
   상기 사운드 조절부는 상기 제1 사운드 중 90hz 이하의 음역대로 구성된 사운드를 제거하여 출력하는 것을 특징으로 하는 사운드 인터렉션 시스템.
7. 제2항에 있어서,
   상기 사운드 조절부는,
   상기 사운드 정보 생성부를 통해 생성된 사운드 조정 정보를 기반으로 상기 제1 사운드의 보정음 또는 상기 제1 사운드에 따른 효과음을 상기 제2 사운드로 출력하여 더 이격된 소리를 표현하는 것을 특징으로 하는 사운드 인터렉션 시스템.
8. 제1항에 있어서,
   상기 음향 출력 장치는,
   골전도 이어폰으로 구현되는 제1 출력 기기 및 서라운드 스피커로 구현되는 제2 출력 기기를 포함하고,
   상기 제1 출력 기기는 상기 콘텐츠의 효과음, 나레이션, 보완 내용을 적어도 하나 포함하고 인터렉션된 상기 제1 사운드를 출력하고,
   상기 제2 출력 기기는 상기 콘텐츠의 배경음, 대사를 적어도 하는 포함하고 인터렉션된 상기 제2 사운드를 출력하는 것을 특징으로 하는 사운드 인터렉션 시스템.
9. 제1항에 있어서,
   상기 공간은,
   상기 사용자가 착용한 콘텐츠 구동 장치의 위치를 인식하는 센서를 통해 상기 사용자의 위치를 파악하여 인식되며,
   상기 공간 사운드 처리부는 사용자가 상기 제1 공간 및 상기 제2 공간 사이에 위치하는 경우 상기 사용자의 행동 패턴을 분석하고, 상기 행동 패턴에 따른 가중치를 부여하여 제1 공간 또는 제2 공간으로 인식하고, 상기 인식된 공간에 따른 사운드를 출력하고,
   상기 가중치는 사용자가 이동하기 위한 목표 공간 또는 상기 사용자의 신체가 어느 공간에 위치하는지 여부에 의해 부여되는 것을 특징으로 하는 사운드 인터렉션 시스템.
10. 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 인터렉션 시스템에 의한 사운드 인터렉션 방법에 있어서,
    메인 제어부가, 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션 또는 공간의 이동에 따라 제1 사운드를 제어하는 단계;
    제2 사운드 제어부가, 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 단계; 및
    공간 사운드 처리부가, 상기 사용자가 공간을 이동하는 경우, 상기 동기화 데이터를 기반으로 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 단계를 포함하는 사운드 인터렉션 방법.
11. 제10항에 있어서,
    상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 단계는,
    상기 사용자의 공간의 이동에 따른 현재 장소 정보를 획득하고, 상기 장소에 대응하는 초기 사운드 데이터를 획득하는 단계;
    상기 초기 사운드 데이터에 따른 사운드 조정 정보를 생성하는 단계; 및
    상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계를 포함하는 사운드 인터렉션 방법.
12. 제11항에 있어서,
    상기 초기 사운드 데이터를 획득하는 단계는,
    상기 메인 제어부를 통해 상기 사용자의 이동에 따라 변화하는 공간을 인식하여 장소의 특징을 표현하는 초기 사운드 데이터를 획득하고,
    상기 사운드 정보 생성부는 상기 제1 사운드 및 상기 제2 사운드 각각에 상기 초기 사운드 데이터를 적용하여 상기 제1 사운드 및 상기 제2 사운드를 조정하기 위한 상기 사운드 조정 정보를 생성하는 것을 특징으로 하는 사운드 인터렉션 방법.
13. 제10항에 있어서,
    상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는,
    상기 사용자가 공간을 이동함에 따라 상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 인식된 장소에 따라 상기 제1 사운드 및 상기 제2 사운드의 울림 또는 볼륨을 조절하고,
    상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는 상기 사용자가 상기 제1 공간에서 상기 제2 공간으로 이동하는 경우, 상기 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 상기 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절하는 것을 특징으로 하는 사운드 인터렉션 방법.
14. 제13항에 있어서,
    상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는,
    상기 음향 출력 장치에 의해 상기 제1 사운드가 출력되는 영역과 상기 제2 사운드가 출력되는 영역이 서로 상이함에 따라 상기 제1 사운드 및 상기 제2 사운드에 동일한 저음이 출력되도록 조절하고,
    상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는 상기 제1 사운드 중 90hz 이하의 음역대로 구성된 사운드를 제거하여 출력하는 것을 특징으로 하는 사운드 인터렉션 방법.
15. 제10항에 있어서,
    상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는,
    상기 사운드 정보 생성부를 통해 생성된 사운드 조정 정보를 기반으로 상기 제1 사운드의 보정음 또는 상기 제1 사운드에 따른 효과음을 상기 제2 사운드로 출력하여 이격된 소리를 표현하는 것을 특징으로 하는 사운드 인터렉션 방법.
16. HMD를 통해 콘텐츠가 구현되고, 사용자의 손에 착용되는 컨트롤러에 의해 상기 사용자의 움직임에 따라 상기 콘텐츠를 제어하는 콘텐츠 구동 장치;
    상기 콘텐츠가 사용되는 방향, 위치 및 좌표를 인식하고, 상기 인식된 범위 내에서 상기 HMD 또는 상기 컨트롤러를 통해 상기 사용자의 움직임에 따른 모션을 감지하는 센서부;
    상기 콘텐츠의 사운드를 상기 사용자에게 제공하기 위해 적어도 하나의 출력 기기를 포함하는 음향 출력 장치;
    상기 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 상기 모션에 따라 제1 사운드를 제어하는 메인 제어부;
    상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부; 및
    상기 사용자가 공간을 이동하는 경우, 상기 동기화 데이터를 기반으로 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 공간 사운드 처리부를 포함하는 통합 제어 시스템.

Images