KR102324816B1

KR102324816B1 - System and Method for Sound Interaction according to Spatial Movement through Parallel Output of Sound

Info

Publication number: KR102324816B1
Application number: KR1020200052408A
Authority: KR
Inventors: 이현진; 장석호; 김호남; 홍광민
Original assignee: 연세대학교 산학협력단
Priority date: 2020-04-29
Filing date: 2020-04-29
Publication date: 2021-11-09
Also published as: KR20210133601A

Abstract

본 실시예들은 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 인터렉션 시스템에 있어서, 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션 또는 공간의 이동에 따라 제1 사운드를 제어하는 메인 제어부 및 메인 제어부에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부를 포함하고, 사용자가 제1 공간에서 제2 공간으로 이동하는 경우, 메인 제어부에서 공간 이동 데이터를 생성하여 제1 사운드를 제어하고, 제2 사운드 제어부에서 공간 이동 데이터를 전달받아 제2 사운드를 제어하는 것을 특징으로 하는 사운드 인터렉션 시스템을 제시한다.According to the present embodiments, in a sound interaction system interworking with a sound output device including at least one output device, the first sound is generated according to the user's motion or movement of space by generating content and generating synchronization data for each content. a main control unit and a second sound control unit that receives synchronization data from the main control unit and controls a second sound based on the synchronization data and a pre-stored sound, wherein when the user moves from the first space to the second space, A sound interaction system is provided, wherein the main controller generates spatial movement data to control the first sound, and receives the spatial movement data from the second sound controller to control the second sound.

Description

System and Method for Sound Interaction according to Spatial Movement through Parallel Output of Sound

본 발명은 사운드 인터렉션 시스템 및 방법에 관한 것으로서, 특히 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법에 관한 것이다.The present invention relates to a sound interaction system and method, and more particularly, to a sound interaction system and method according to spatial movement through parallel output of sound.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present embodiment and does not constitute the prior art.

VR 사운드 개발의 가장 큰 문제는 VR 관련 기술 개발이 초기 단계의 경우 그 콘텐츠가 표준화되지 않은 개발환경 속에서 제작되고 있는 점이다. VR로 변환되는 영상 콘텐츠들은 대부분 영화 산업의 표준에 기반하여 제작되고 있으며, 페이스북, 유튜브 등의 회사에서는 공간음(Spatial-sound) 등 기존 사운드프로덕션의 프로그램을 활용하여 페이스북 모바일 사용자의 환경에 맞게끔 이어폰으로 사운드를 들을 수 있도록 사운드 파일을 2채널 서라운드 포맷인 바이노럴 방식으로 인코딩해주는 소프트웨어를 개발, 배포하고 있다.The biggest problem with VR sound development is that, in the early stages of VR-related technology development, the content is being produced in a non-standardized development environment. Most of the video contents converted to VR are produced based on the standards of the film industry, and companies such as Facebook and YouTube are using existing sound production programs such as Spatial-Sound to adapt to the environment of Facebook mobile users. We are developing and distributing software that encodes sound files in the binaural method, a two-channel surround format, so that you can listen to the sound through earphones.

영화 산업 표준에 따라 제작된 VR 사운드는 실시간적 상황에 맞게 상호작용적으로 반응하게끔 프로그래밍된 소리가 아니라 선형적 시간 기반의 콘텐츠인 영화에 포함된 사운드와 같이 고정적인 소리로서 렌더링되는 제한이 있다.VR sounds produced according to film industry standards have the limitation of being rendered as static sounds, such as sounds included in movies, which are linear time-based content, rather than sounds programmed to react interactively to real-time situations.

물리엔진을 활용한 3D게임 기술 기반의 VR 콘텐츠는 실시간 상에서 사용자의 움직임과 위치에 따라 가상현실 내부의 상황과 인터렉션되며, 이에 따라 적합화된 소리가 발생하게 되어야 한다. 이와 같이 영상 VR과 게임기반 VR은 서로 전혀 다른 구조의 제작 방식을 가진다. 현재 촬영 기반의 VR은 기존 영화나 음악 산업의 사운드 엔지니어가 작업하는 경우가 대부분이며, 컴퓨팅 기반의 VR 콘텐츠는 컴퓨터 프로그래머가 주로 사운드 제작에 참여하게 된다.VR content based on 3D game technology using a physics engine interacts with the situation inside virtual reality according to the user's movement and location in real time, and accordingly, an appropriate sound should be generated. As such, video VR and game-based VR have a completely different construction method. Currently, in most cases of shooting-based VR, sound engineers in the existing film or music industry work, and computer programmers mainly participate in sound production for computing-based VR contents.

몰입감 있는 VR 사운드를 만들기 위해서는 깊이감 있는 사운드를 다루는 사운드 엔지니어링 전문가도 필요로 하고, 다양한 컴퓨팅 기반의 인터렉티브 사운드를 제작하는 엔지니어도 필요하다.In order to create immersive VR sound, sound engineering experts who deal with depth sound are needed, and engineers who produce interactive sounds based on various computing are needed.

본 발명의 실시예들은 몰입감 있는 사운드 체험을 사용자에게 제공하기 위하여 5.1채널 서라운드 사운드와 2채널 헤드폰 사운드를 혼용하여 VR 콘텐츠를 개발하는데 발명의 주된 목적이 있다.Embodiments of the present invention have a main purpose of the invention to develop VR content by mixing 5.1-channel surround sound and 2-channel headphone sound in order to provide a user with an immersive sound experience.

또한, 본 발명의 실시예들은 게임 상에서 사용자가 공간을 이동하는 경우 발생할 수 있는 사운드 환경 변화에 따른 재생환경을 구축하여 양질의 사운드를 생성하는데 발명의 주된 목적이 있다.In addition, embodiments of the present invention have a main object of the present invention to generate high-quality sound by establishing a reproduction environment according to a change in the sound environment that may occur when a user moves through a space in a game.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified in the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.

상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 사운드 인터렉션 시스템은, 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 인터렉션 시스템에 있어서, 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션 또는 공간의 이동에 따라 제1 사운드를 제어하는 메인 제어부, 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부 및 상기 사용자가 공간을 이동하는 경우, 상기 동기화 데이터를 기반으로 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 공간 사운드 처리부를 포함한다.In order to solve the above problems, a sound interaction system according to an embodiment of the present invention is a sound interaction system that interworks with a sound output device including at least one output device, generates content, and synchronizes data for each content a main control unit that generates and controls the first sound according to the user's motion or movement of space; and a sound controller and a spatial sound processor configured to control an interaction between the first sound and the second sound based on the synchronization data when the user moves through space.

바람직하게는, 상기 공간 사운드 처리부는 상기 사용자의 공간의 이동에 따른 현재 장소 정보를 획득하고, 상기 장소에 대응하는 초기 사운드 데이터를 획득하는 장소 인식부, 상기 초기 사운드 데이터에 따른 사운드 조정 정보를 생성하는 사운드 정보 생성부 및 상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 사운드 조절부를 포함한다.Preferably, the spatial sound processing unit acquires current place information according to the movement of the user's space, a place recognizer that acquires initial sound data corresponding to the place, and generates sound adjustment information according to the initial sound data and a sound information generator configured to adjust the first sound or the second sound by applying the sound adjustment information to the first sound and the second sound.

바람직하게는, 상기 장소 인식부는 상기 메인 제어부를 통해 상기 사용자의 이동에 따라 변화하는 공간을 인식하여 장소의 특징을 표현하는 초기 사운드 데이터를 획득하고, 상기 사운드 정보 생성부는 상기 제1 사운드 및 상기 제2 사운드 각각에 상기 초기 사운드 데이터를 적용하여 상기 제1 사운드 및 상기 제2 사운드를 조정하기 위한 상기 사운드 조정 정보를 생성하는 것을 특징으로 한다.Preferably, the place recognizing unit recognizes a space that changes according to the movement of the user through the main controller to obtain initial sound data expressing the characteristics of the place, and the sound information generating unit recognizes the first sound and the second sound. and generating the sound adjustment information for adjusting the first sound and the second sound by applying the initial sound data to each of the two sounds.

바람직하게는, 상기 동기화 데이터는 상기 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 상기 콘텐츠 내에서 변화하는 복수의 장소를 포함하고, 상기 사운드 정보 생성부를 통해 생성된 상기 제1 사운드 및 상기 제2 사운드 각각은 상기 복수의 장소 별 씬 번호, 지시음, 배경음 또는 효과음을 적어도 하나 포함하여 출력되는 것을 특징으로 한다.Preferably, the synchronization data includes a plurality of places that change in the content based on the user's motion according to the user's moving direction, position, and coordinates, and the first sound generated through the sound information generating unit and each of the second sounds is output by including at least one of a scene number, an indication sound, a background sound, or an effect sound for each of the plurality of places.

바람직하게는, 상기 사운드 조절부는 상기 사용자가 공간을 이동함에 따라 상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 인식된 장소에 따라 상기 제1 사운드 및 상기 제2 사운드의 울림 또는 볼륨을 조절하고, 상기 사운드 조절부는 상기 사용자가 상기 제1 공간에서 상기 제2 공간으로 이동하는 경우, 상기 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 상기 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절하는 것을 특징으로 한다.Preferably, the sound control unit applies the sound adjustment information to the first sound and the second sound as the user moves through the space, so that the first sound and the second sound echo or The volume is adjusted, and the sound control unit gradually lowers the volume of the sound in the first space and gradually increases the volume of the sound in the second space when the user moves from the first space to the second space. It is characterized by adjusting the volume so that indirect sounds are heard more than direct sounds.

바람직하게는, 상기 사운드 조절부는 상기 음향 출력 장치에 의해 상기 제1 사운드가 출력되는 영역과 상기 제2 사운드가 출력되는 영역이 서로 상이함에 따라 상기 제1 사운드 및 상기 제2 사운드에 동일한 저음이 출력되도록 조절하고, 상기 사운드 조절부는 상기 제1 사운드 중 90hz 이하의 음역대로 구성된 사운드를 제거하여 출력하는 것을 특징으로 한다.Preferably, the sound control unit outputs the same low tone to the first sound and the second sound as a region to which the first sound is output and a region to which the second sound is output by the sound output device are different from each other. and the sound adjusting unit removes and outputs a sound composed of a sound range of 90 hz or less among the first sound.

바람직하게는, 사운드 조절부는 상기 사운드 정보 생성부를 통해 생성된 사운드 조정 정보를 기반으로 상기 제1 사운드의 보정음 또는 상기 제1 사운드에 따른 효과음을 상기 제2 사운드에 출력하여 이격된 소리를 표현하는 것을 특징으로 한다.Preferably, the sound control unit outputs a correction sound of the first sound or an effect sound according to the first sound to the second sound based on the sound adjustment information generated through the sound information generation unit to express a spaced sound characterized in that

바람직하게는, 상기 음향 출력 장치는 골전도 이어폰으로 구현되는 제1 출력 기기 및 서라운드 스피커로 구현되는 제2 출력 기기를 포함하고, 상기 제1 출력 기기는 상기 콘텐츠의 효과음, 나레이션, 보완 내용을 적어도 하나 포함하고 인터렉션된 상기 제1 사운드를 출력하고, 상기 제2 출력 기기는 상기 콘텐츠의 배경음, 대사를 적어도 하는 포함하고 인터렉션된 상기 제2 사운드를 출력하는 것을 특징으로 한다.Preferably, the sound output device includes a first output device implemented as a bone conduction earphone and a second output device implemented as a surround speaker, and the first output device includes at least sound effects, narration, and supplementary contents of the content. It includes one and outputs the interacted first sound, and the second output device outputs the interacted second sound including at least a background sound and dialogue of the content.

바람직하게는, 상기 공간은 상기 사용자가 착용한 콘텐츠 구동 장치의 위치를 인식하는 센서를 통해 상기 사용자의 위치를 파악하여 인식되며, 상기 공간 사운드 처리부는 사용자가 상기 제1 공간 및 상기 제2 공간 사이에 위치하는 경우 상기 사용자의 행동 패턴을 분석하고, 상기 행동 패턴에 따른 가중치를 부여하여 제1 공간 또는 제2 공간으로 인식하고, 상기 인식된 공간에 따른 사운드를 출력하고, 상기 가중치는 사용자가 이동하기 위한 목표 공간 또는 상기 사용자의 신체가 어느 공간에 위치하는지 여부에 의해 부여되는 것을 특징으로 한다.Preferably, the space is recognized by recognizing the position of the user through a sensor that recognizes the position of the content driving device worn by the user, and the spatial sound processing unit allows the user to select between the first space and the second space. , analyzes the user's behavior pattern, assigns a weight according to the behavior pattern, recognizes the first space or the second space, outputs a sound according to the recognized space, and the weight is moved by the user It is characterized in that it is given by whether the target space or the user's body is located in which space.

본 발명의 일 실시예에 따른 사운드 인터렉션 방법은, 적어도 하나의 출력 기기를 포함하는 음향 출력 장치와 연동되는 사운드 인터렉션 시스템에 의한 사운드 인터렉션 방법에 있어서,A sound interaction method according to an embodiment of the present invention is a sound interaction method by a sound interaction system interworking with a sound output device including at least one output device,

메인 제어부가, 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션 또는 공간의 이동에 따라 제1 사운드를 제어하는 단계, 제2 사운드 제어부가, 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 단계 및 공간 사운드 처리부가, 상기 사용자가 공간을 이동하는 경우, 상기 동기화 데이터를 기반으로 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 단계를 포함한다.The main controller generates content and generates synchronization data for each content to control the first sound according to the user's motion or movement of space, the second sound controller receives the synchronization data from the main controller , controlling a second sound based on the synchronization data and a pre-stored sound, and when the spatial sound processing unit moves the space, the interaction between the first sound and the second sound based on the synchronization data including controlling the

바람직하게는, 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 단계는, 상기 사용자의 공간의 이동에 따른 현재 장소 정보를 획득하고, 상기 장소에 대응하는 초기 사운드 데이터를 획득하는 단계, 상기 초기 사운드 데이터에 따른 사운드 조정 정보를 생성하는 단계 및 상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계를 포함한다.Preferably, the controlling of the interaction between the first sound and the second sound comprises: acquiring current place information according to the movement of the user's space, and acquiring initial sound data corresponding to the place; generating sound adjustment information according to initial sound data; and adjusting the first sound or the second sound by applying the sound adjustment information to the first sound and the second sound.

바람직하게는, 상기 초기 사운드 데이터를 획득하는 단계는, 상기 메인 제어부를 통해 상기 사용자의 이동에 따라 변화하는 공간을 인식하여 장소의 특징을 표현하는 초기 사운드 데이터를 획득하고, 상기 사운드 정보 생성부는 상기 제1 사운드 및 상기 제2 사운드 각각에 상기 초기 사운드 데이터를 적용하여 상기 제1 사운드 및 상기 제2 사운드를 조정하기 위한 상기 사운드 조정 정보를 생성하는 것을 특징으로 한다.Preferably, the acquiring of the initial sound data includes: acquiring initial sound data expressing the characteristics of a place by recognizing a space that changes according to the movement of the user through the main control unit, and the sound information generating unit and generating the sound adjustment information for adjusting the first sound and the second sound by applying the initial sound data to each of the first sound and the second sound.

바람직하게는, 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는,Preferably, adjusting the first sound or the second sound comprises:

상기 사용자가 공간을 이동함에 따라 상기 제1 사운드 및 상기 제2 사운드에 상기 사운드 조정 정보를 적용하여 인식된 장소에 따라 상기 제1 사운드 및 상기 제2 사운드의 울림 또는 볼륨을 조절하고,As the user moves through space, applying the sound adjustment information to the first sound and the second sound to adjust the resonance or volume of the first sound and the second sound according to a recognized place,

상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는 상기 사용자가 상기 제1 공간에서 상기 제2 공간으로 이동하는 경우, 상기 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 상기 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절하는 것을 특징으로 한다.The adjusting of the first sound or the second sound may include, when the user moves from the first space to the second space, gradually lowering the volume of the sound of the first space, and the sound of the second space. It is characterized in that the volume is gradually increased, and the volume is adjusted so that more indirect sounds are heard than direct sounds.

바람직하게는, 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는, 상기 음향 출력 장치에 의해 상기 제1 사운드가 출력되는 영역과 상기 제2 사운드가 출력되는 영역이 서로 상이함에 따라 상기 제1 사운드 및 상기 제2 사운드에 동일한 저음이 출력되도록 조절하고, 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는 상기 제1 사운드 중 90hz 이하의 음역대로 구성된 사운드를 제거하여 출력하는 것을 특징으로 한다.Preferably, the adjusting of the first sound or the second sound includes the first sound outputting the first sound as a region outputting the first sound and a region outputting the second sound being different from each other by the sound output device. The sound and the second sound are adjusted so that the same low tone is output, and the adjusting of the first sound or the second sound is characterized in that the first sound is output by removing a sound composed of a sound range of 90hz or less. .

바람직하게는, 상기 제2 사운드를 제어하는 단계는 상기 제1 사운드 또는 상기 제2 사운드를 조절하는 단계는, 상기 사운드 정보 생성부를 통해 생성된 사운드 조정 정보를 기반으로 상기 제1 사운드의 보정음 또는 상기 제1 사운드에 따른 효과음을 상기 제2 사운드에 출력하여 이격된 소리를 표현하는 것을 특징으로 한다.Preferably, the controlling of the second sound may include adjusting the first sound or the second sound, based on the sound adjustment information generated through the sound information generator, a correction sound of the first sound or An effect sound according to the first sound is output to the second sound to express a spaced sound.

본 발명의 일 실시예에 따른 통합 제어 시스템은, HMD를 통해 콘텐츠가 구현되고, 사용자의 손에 착용되는 컨트롤러에 의해 상기 사용자의 움직임에 따라 상기 콘텐츠를 제어하는 콘텐츠 구동 장치, 상기 콘텐츠가 사용되는 방향, 위치 및 좌표를 인식하고, 상기 인식된 범위 내에서 상기 HMD 또는 상기 컨트롤러를 통해 상기 사용자의 움직임에 따른 모션을 감지하는 센서부, 상기 콘텐츠의 사운드를 상기 사용자에게 제공하기 위해 적어도 하나의 출력 기기를 포함하는 음향 출력 장치, 상기 콘텐츠를 생성하고, 상기 콘텐츠 별로 동기화 데이터를 생성하여 상기 모션에 따라 제1 사운드를 제어하는 메인 제어부, 상기 메인 제어부에서 상기 동기화 데이터를 전달 받으며, 상기 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 제2 사운드 제어부 및 상기 사용자가 공간을 이동하는 경우, 상기 동기화 데이터를 기반으로 상기 제1 사운드 및 상기 제2 사운드간의 인터렉션을 제어하는 공간 사운드 처리부를 포함한다.The integrated control system according to an embodiment of the present invention provides a content driving device that implements content through an HMD and controls the content according to the user's movement by a controller worn on the user's hand, the content being used A sensor unit that recognizes a direction, a position, and coordinates and senses a motion according to the user's movement through the HMD or the controller within the recognized range, and at least one output to provide a sound of the content to the user A sound output device including a device, a main controller that generates the content, generates synchronization data for each content to control a first sound according to the motion, and receives the synchronization data from the main controller, the synchronization data and A second sound control unit for controlling a second sound based on a pre-stored sound, and a spatial sound processing unit for controlling an interaction between the first sound and the second sound based on the synchronization data when the user moves in space include

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 본 발명은 안정적인 VR 시청각 시스템을 구축하는 동시에 사운드 엔지니어에게 사운드의 개별 조정을 허락함으로써 VR 사운드 컨텐츠 제작과 편집 과정을 단순화시키는 효과가 있다.As described above, according to the embodiments of the present invention, the present invention has the effect of simplifying the VR sound content production and editing process by allowing the sound engineer to individually adjust the sound while building a stable VR audiovisual system.

또한, 본 발명은 양질의 사운드를 사용자에게 제공하기 위해 두 사운드 출력체계를 상보적으로 사용하여 사운드 연출을 제작함으로써 연출에 따라 두 사운드 채널을 상보적으로 사용하여 하나의 출력 시스템처럼 느끼게 하는 효과가 있다.In addition, the present invention produces a sound production using two sound output systems complementarily in order to provide high-quality sound to the user, so that the two sound channels are complementarily used according to the production to make them feel like one output system. have.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if it is an effect not explicitly mentioned herein, the effects described in the following specification expected by the technical features of the present invention and their potential effects are treated as if they were described in the specification of the present invention.

도 1은 본 발명의 일 실시예에 따른 사운드 인터렉션 시스템을 포함하는 통합 제어 시스템을 나타내는 도면이다.
도 2 및 도 3는 본 발명의 일 실시예에 따른 사운드 인터렉션 시스템을 포함하는 통합 제어 시스템을 나타내는 블록도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 출력 채널에 따른 사운드 응용을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 공간 이동을 나타내는 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 VR을 참여하는 사용자를 바라보는 다른 사용자를 위한 사운드를 나타내는 도면이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 사운드 인터렉션 방법을 나타내는 도면이다.1 is a diagram illustrating an integrated control system including a sound interaction system according to an embodiment of the present invention.
2 and 3 are block diagrams illustrating an integrated control system including a sound interaction system according to an embodiment of the present invention.
4 and 5 are diagrams illustrating a sound application according to an output channel according to an embodiment of the present invention.
6 is a diagram illustrating spatial movement according to an embodiment of the present invention.
7 and 8 are diagrams illustrating sounds for other users looking at the user participating in VR according to an embodiment of the present invention.
9 and 10 are diagrams illustrating a sound interaction method according to an embodiment of the present invention.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.Hereinafter, in the description of the present invention, if it is determined that the subject matter of the present invention may be unnecessarily obscured as it is obvious to those skilled in the art with respect to related known functions, the detailed description thereof will be omitted, and some embodiments of the present invention will be described. It will be described in detail with reference to exemplary drawings. However, the present invention may be embodied in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

및/또는 이라는 용어는 복수의 관련된 기재된 항들의 조합 또는 복수의 관련된 기재된 항들 중의 어느 항을 포함한다.and/or includes a combination of a plurality of related recited claims or any of a plurality of related recited claims.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffixes "module" and "part" for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

본 발명은 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법 에 관한 것이다.The present invention relates to a sound interaction system and method according to spatial movement through parallel output of sound.

미디어 기술의 발전으로 가상현실을 이용한 산업과 작업이 빠른 속도로 발전하고 있으며, 이에 따른 VR 콘텐츠에서의 영상 기법과 기기 개발이 가속화되고 있다. 하지만 풍부한 VR 경험을 만들기 위한 연구가 아직까지는 시각 분야에 치우쳐져 있으며, 청각 분야에 대한 개발은 더딘 상황이다. 또한, VR 영상에 대한 접근이 현재 영화 영상에서 출발한 접근과 인터렉티브 게임에서 출발한 접근으로 분리되는 것처럼 VR 사운드 분야에서도 그 접근이 기존 영상이나 음악 산업에 기반하여 서라운드 사운드를 사용하는 방식과 게임 산업의 인터렉티브 사운드 출력 방식으로 나뉘어 접근되고 있다.With the development of media technology, the industry and work using virtual reality are developing at a rapid pace, and the development of video techniques and devices in VR content is accelerating accordingly. However, research to create a rich VR experience is still focused on the visual field, and development in the auditory field is slow. Also, just as the approach to VR video is currently divided into an approach starting from movie images and an approach starting from interactive games, in the field of VR sound, the approach is based on the existing video or music industry, and the method using surround sound and the game industry. of the interactive sound output method.

사운드의 병행 출력을 통한 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 VR 사운드 영역에서 분리되는 이러한 두 영역의 상이한 개발 방식을 보다 융합적으로 접근하여, 사용자에게 몰입감 있는 사운드 체험을 제공하기 위하여 5.1채널 서라운드 사운드와 2채널 헤드폰 사운드를 혼용한 콘텐츠를 제공한다.The integrated control system 10 including the sound interaction system 20 through the parallel output of sound approaches the different development methods of these two areas separated from the VR sound area more convergence, providing users with an immersive sound experience. In order to provide content, a mixture of 5.1-channel surround sound and 2-channel headphone sound is provided.

사운드의 병행 출력을 통한 사운드 시스템(10)은 서라운드 스피커(520)와 골전도 헤드폰(510)을 함께 배치하여 VR 사운드를 출력, 제어할 수 있다.The sound system 10 through the parallel output of sound may output and control VR sound by arranging the surround speaker 520 and the bone conduction headphones 510 together.

사운드 출력 방식은 더 안정적인 VR 시청각 시스템을 구축하는 동시에 사운드 엔지니어에게 사운드의 개별 조정을 허락함으로써 VR 사운드 콘텐츠 제작과 편집 과정을 단순화시킬 수 있다.The sound output method can simplify the VR sound content creation and editing process by building a more stable VR audiovisual system, while also allowing sound engineers to individually adjust the sound.

사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 VR 외에 3D 게임 콘텐츠에도 적용될 수 있다.The integrated control system 10 including the sound interaction system 20 may be applied to 3D game content in addition to VR.

사운드 인터렉션 시스템(20)은 서라운드 스피커와 골전도 이어폰의 연결될 수 있는 지점을 찾아 양측에 출력하는 사운드의 환경을 동일하게 하드웨어 및 사운드 제작을 구성하는 동시에 VR 사운드에서 드러나는 음질 저하를 해소할 수 있다.The sound interaction system 20 finds a connection point between the surround speaker and the bone conduction earphone and configures the hardware and sound production in the same environment of the sound output to both sides, and at the same time, it is possible to solve the deterioration of sound quality revealed in the VR sound.

본 발명은 렌더링된 오디오 파일을 VR 프로그램(Unity와 Unreal 등)과 평행하게 재생되며, 잘 통합될 수 있도록, 사운드 출력 하드웨어 쪽으로의 아웃풋 과정 중간에 통신 가능한 사운드 서버를 자체적으로 제공하는 효과가 있다.The present invention has the effect of providing a communicable sound server itself in the middle of the output process to the sound output hardware so that the rendered audio file is reproduced in parallel with the VR program (Unity and Unreal, etc.) and can be well integrated.

사운드 인터렉션 시스템(20)은 서라운드 채널의 특성상 모든 소리를 VR을 현재 체험하는 사용자와 그 사용자를 바라보는 주변 사용자까지 함께 공유할 수 있기 때문에 앞으로 콘텐츠를 즐기고 체험하는 사용자를 바라보는 주변 사용자에게 대기하는 동안 체험할 콘텐츠에 대한 기대효과를 주는 동시에 대기 시간이 지루하지 않게 하거나 함께 감상할 수 있는 환경을 제공하는 부분까지 고려해서 콘텐츠를 기획할 수 있다.Since the sound interaction system 20 can share all sounds with the user who is currently experiencing VR and the user who is looking at the user due to the nature of the surround channel, the user is waiting for the user to enjoy and experience the content in the future. Contents can be planned by giving the expected effect of the content to be experienced during the time, and also considering the part that does not make waiting time boring or provides an environment where people can enjoy together.

도 1은 본 발명의 일 실시예에 따른 사운드 인터렉션 시스템을 포함하는 통합 제어 시스템을 나타내는 도면이다.1 is a diagram illustrating an integrated control system including a sound interaction system according to an embodiment of the present invention.

통상적으로 VR에서 밀도 있는 사운드개발이 지연되는 이유는 물리엔진을 이용한 가상공간의 환경을 만드는 컴퓨팅 기반의 제작환경과 사운드를 만드는 사운드 엔지니어의 제작과정이 너무나 상이하기 때문이다. 여기서, 제작환경은 프로그래밍을 통해 소프트웨어를 제작하는 과정을 나타내고, 사운드 엔지니어는 시간을 베이스로 하나의 렌더링된 파일을 만들어 음원을 재생시키는 엔지니어를 의미한다.The reason why dense sound development is usually delayed in VR is that the production process of a sound engineer who creates sound is very different from the computing-based production environment that creates the virtual space environment using a physics engine. Here, the production environment represents the process of producing software through programming, and the sound engineer means an engineer who reproduces a sound source by making one rendered file based on time.

프로그래밍은 절차적이며 무엇보다 사용자를 중심으로 시간이 진행되어 가는 것을 염두에 두고 상호 반응할 수 있게 제작이 되며 사용자가 발생하는 이벤트를 중심으로 만들어질 수 있다.Programming is procedural, and above all, it is made to be interactive, with the user in mind as time progresses, and it can be made around events that the user occurs.

음악은 많은 음악산업과 영화 산업의 기준에 따라 디지털 오디오 워크스테이션 환경(DAW)에서 제작되며 다양한 사운드를 표현하기 위해 가상악기(VST)라는 미들웨어를 사용하여 제작되게끔 발전하고 있다.Music is produced in a digital audio workstation environment (DAW) according to the standards of many music and film industries, and it is developing to be produced using a middleware called a virtual instrument (VST) to express various sounds.

사운드의 병행 출력을 통한 사운드 인터렉션 시스템(20)은 상술한 상이한 작업을 상보적으로 작동할 수 있도록 구현하기 위해서 재생을 위한 사운드서버를 별도로 구성할 수 있으며, 이를 통해 소리를 자연스럽게 표현할 수 있도록 할 수 있다.The sound interaction system 20 through the parallel output of sound can separately configure a sound server for reproduction in order to implement the above-mentioned different tasks to operate complementary, and through this, it is possible to express the sound naturally. have.

기존의 VR 어플리케이션은 사운드를 처리하는 방법이 프로그래머에 의해 전담되거나 사운드 엔지니어가 따로 존재한다 하더라도 사운드 엔지니어는 제작된 사운드 파일을 전달하여 간단하게 재생하는 방식의 제작방법을 가진다. 이에 의해 사운드 엔지니어의 제작의도가 완벽하게 전달되지 못하는 문제가 있다. 이는 사운드를 처리하는 VR 어플리케이션이 하나의 컴파일된 프로그램으로 만들어져야 하기 때문에 발생한다. VR 사운드 엔진은 VR 어플리케이션 내에 종속될 수 있다.In the existing VR application, the sound processing method is dedicated by the programmer or even if a sound engineer exists separately, the sound engineer has a production method of simply playing the sound file by delivering it. Accordingly, there is a problem in that the production intention of the sound engineer cannot be perfectly conveyed. This happens because VR applications that process sound must be created as a single compiled program. A VR sound engine can be subordinated within a VR application.

도 1을 참조하면, 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 머리 착용 디스플레이(Head Mounted Display, HMD)(110), 컨트롤러(120), 센서부(200), 제1 출력 기기(510), 제2 출력 기기(520), 메인 제어부(300) 및 제2 사운드 제어부(400)를 포함한다. 통합 제어 시스템(10)은 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.Referring to FIG. 1 , the integrated control system 10 including the sound interaction system 20 includes a head mounted display (HMD) 110 , a controller 120 , a sensor unit 200 , and a first output. It includes a device 510 , a second output device 520 , a main controller 300 , and a second sound controller 400 . The integrated control system 10 may omit some of the various components exemplarily illustrated in FIG. 1 or may additionally include other components.

여기서, HMD(110), 컨트롤러(120) 및 제1 출력 기기(510)는 콘텐츠를 사용하는 사용자가 착용하고 있는 것으로 콘텐츠 사용 전 세팅된 공간 내에서 이용할 수 있다. 구체적으로, 사용자는 센서부(200), 제2 출력 기기(520), 제2 사운드 제어부(400) 및 메인 제어부(300)가 위치하는 공간 내에서 콘텐츠를 이용할 수 있으며, 공간을 벗어나는 경우 콘텐츠를 이용할 수 없다.Here, the HMD 110 , the controller 120 , and the first output device 510 are worn by the user who uses the content and can be used in a space set before using the content. Specifically, the user can use the content within the space in which the sensor unit 200, the second output device 520, the second sound controller 400, and the main controller 300 are located, and when out of the space, the user can use the content. not available

사운드 인터렉션 시스템(20)은 메인 제어부(300) 및 제2 사운드 제어부(400)를 포함할 수 있으며, 메인 제어부(300)는 콘텐츠 제어부(310) 및 제1 사운드 제어부(320)로 구현될 수 있다. 사운드 인터렉션 시스템(20)은 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.The sound interaction system 20 may include a main control unit 300 and a second sound control unit 400 , and the main control unit 300 may be implemented as a content control unit 310 and a first sound control unit 320 . . The sound interaction system 20 may omit some of the various components illustrated by way of example or may additionally include other components.

본 발명의 일 실시예에 따르면, 제1 출력 기기(510)는 골전도 이어폰으로 구현될 수 있으며, 반드시 이에 한정되는 것은 아니며 사용자의 귀가 개방되어서 사운드가 내이에 바로 전달될 수 있는 장치로 구현될 수 있다.According to an embodiment of the present invention, the first output device 510 may be implemented as a bone conduction earphone, but is not necessarily limited thereto. can

골전도 이어폰은 귓바퀴 뒤의 뼈의 진동을 전달하여 고막에 진동을 전달하는 방식으로 소리를 전달하며 귀 주변 연골에 부착하는 형식이기에 이어폰을 통해서 듣는 소리뿐 아니라 외부의 소리도 동시에 들을 수 있는 청취 환경을 가능하게 한다.Bone conduction earphones deliver sound by transmitting vibrations from the bones behind the pinna to the eardrum, and since they are attached to the cartilage around the ears, it is a listening environment that allows you to hear external sounds as well as sounds through earphones at the same time. makes it possible

제2 출력 기기(520)는 콘텐츠를 사용하는 사용자의 앞, 뒤, 좌, 우에 배치하여 음향의 입체 효과를 높여주기 위해 사용될 수 있으며, 서라운드 스피커로 구현될 수 있으며 반드시 이에 한정되는 것은 아니다.The second output device 520 may be disposed in front, back, left, and right of a user who uses the content to increase the stereoscopic effect of the sound, and may be implemented as a surround speaker, but is not necessarily limited thereto.

본 발명의 일 실시예에 따르면, 센서부(200)는 복수의 위치 측정 센서로 구현될 수 있다. 구체적으로, 복수의 위치 측정 센서를 통해 콘텐츠가 구현되는 범위를 설정할 수 있다.According to an embodiment of the present invention, the sensor unit 200 may be implemented as a plurality of position measuring sensors. Specifically, a range in which content is implemented may be set through a plurality of position measuring sensors.

콘텐츠 구동 장치(100)는 HMD(110) 및 컨트롤러(120)를 포함한다.The content driving device 100 includes an HMD 110 and a controller 120 .

HMD(110)는 사용자의 머리에 고정되어 사용자의 시야를 기반으로 콘텐츠가 구현될 수 있다.The HMD 110 may be fixed to the user's head to implement content based on the user's field of view.

컨트롤러(120)는 사용자의 손에 구비되어 사용자의 손의 움직임에 따라 콘텐츠를 제어할 수 있다. 여기서, 컨트롤러(120)는 사용자가 손에 들고 있는 것으로 구현되었으나 반드시 이에 한정되는 것은 아니며 사용자가 손에 착용하나 부착되어 구현될 수 있다.The controller 120 may be provided in the user's hand to control content according to the movement of the user's hand. Here, the controller 120 is implemented as being held in the user's hand, but is not necessarily limited thereto, and may be implemented by being worn or attached to the user's hand.

도 1을 참조하면, 센서부(200)는 4개의 위치 측정 센서가 구비되며, 4개의 위치 측정 센서가 서로 연결되는 범위 내에서 콘텐츠가 구현될 수 있다. 여기서, 콘텐츠의 구현을 위한 범위 설정은 4개의 위치 측정 센서가 구비되어 설정되는 것으로 도시하였으나, 반드시 이에 한정되는 것은 아니며, 2개 이상의 위치 측정 센서를 통해 사용자의 위치를 감지할 수 있으며, 컨트롤러(120)를 통해 콘텐츠가 구현되는 범위를 설정하는 것으로 구현될 수 있다.Referring to FIG. 1 , the sensor unit 200 is provided with four position measuring sensors, and content may be implemented within a range in which the four position measuring sensors are connected to each other. Here, the range setting for the implementation of the content is illustrated as being provided with four position measuring sensors, but is not necessarily limited thereto, and the user's position can be detected through two or more position measuring sensors, and the controller ( 120) can be implemented by setting the range in which the content is implemented.

기존의 VR에서 물리 엔진을 이용한 가상 공간의 환경을 만드는 컴퓨팅 기반의 프로그래밍을 통해 소프트웨어를 제작하는 제작 환경 과정과 사운드를 만드는 사운드 엔지니어의 제작 과정이 너무 상이하기 때문에 VR에서 밀도 있는 사운드 개발이 지연된다. 여기서, 사운드 엔지니어는 시간을 베이스로 하나의 렌더링된 파일을 만들어 음원을 재생시키는 것이다. 프로그래밍은 절차적이며 무엇보다 사용자를 중심으로 시간이 진행되어 가는 것을 염두에 두고 상호 반응할 수 있게 제작이 되며 사용자가 발생하는 이벤트를 중심으로 만들어 진다. 음악은 많은 음악 산업과 영화 산업에 기준에 따라 디지털 오디오 워크스테이션 환경(DAW)에서 제작되어 다양한 사운드를 표현하기 위해 가상악기(VST)라는 미들웨어를 사용하여 제작되도록 발전하고 있다. 이러한 상이한 작업을 상보적으로 작동할 수 있도록 구현하기 위해서 사운드 재생을 위한 사운드 서버를 별도로 구성하는 통합 제어 시스템(10)을 제안한다. 통합 제어 시스템(10)의 구성에 대해서는 도 2 내지 도 4를 참조하여 자세히 설명한다.The development of dense sound in VR is delayed because the production environment process that creates software through computing-based programming that creates a virtual space environment using a physics engine in existing VR and the production process of a sound engineer who creates sound are so different. . Here, the sound engineer plays the sound source by creating one rendered file based on time. Programming is procedural, and above all, it is made to be interactive with the user as the center of time, and it is made to focus on the events that occur by the user. Music is being produced in a digital audio workstation environment (DAW) according to the standards of many music and film industries, and is being produced using a middleware called a virtual instrument (VST) to express various sounds. In order to implement these different tasks to be complementary to each other, we propose an integrated control system 10 that separately configures a sound server for sound reproduction. The configuration of the integrated control system 10 will be described in detail with reference to FIGS. 2 to 4 .

도 2 및 도 3는 본 발명의 일 실시예에 따른 사운드 인터렉션 시스템을 포함하는 통합 제어 시스템을 나타내는 블록도이다.2 and 3 are block diagrams illustrating an integrated control system including a sound interaction system according to an embodiment of the present invention.

도 2를 참조하면, 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 콘텐츠 구동 장치(100), 센서부(200), 메인 제어부(300), 제2 사운드 제어부(400), 음향 출력 장치(500) 및 공간 사운드 처리부(600)를 포함한다. 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.Referring to FIG. 2 , the integrated control system 10 including the sound interaction system 20 includes the content driving device 100 , the sensor unit 200 , the main control unit 300 , the second sound control unit 400 , and the sound It includes an output device 500 and a spatial sound processing unit 600 . The integrated control system 10 including the sound interaction system 20 may omit some of the various components exemplarily illustrated in FIG. 2 or may additionally include other components.

본 발명의 일 실시예에 따르면, 사용자는 상용적인 음악산업과 영화 산업에서 사용하는 서라운드 채널을 아무 제약 없이 청취할 수 있다.According to an embodiment of the present invention, a user can listen to surround channels used in commercial music and movie industries without any restrictions.

본 발명의 일 실시예에 따르면, 사운드의 병행 출력을 통한 사운드 인터렉션 시스템(20)은 4.4 채널의 구조지만 영화산업에서 사용하는 5.1, 7.1.4, 10.2 등 다양한 방법으로 확장하여 사용될 수 있다. According to an embodiment of the present invention, the sound interaction system 20 through the parallel output of sound has a structure of 4.4 channels, but can be extended and used in various ways such as 5.1, 7.1.4, and 10.2 used in the movie industry.

따라서, 사운드 인터렉션 시스템(20)은 기존의 개발 방식 안에서 사운드 엔지니어가 제작을 진행해 나갈 수 있으며 일반적인 헤드폰이 지니는 저역 재생의 한계와 실감 있는 음악, 머리 위에서 음상이 맺히는 단점을 해소할 수 있다. 또한 VR을 체험하는 또 다른 관객들에게 선택적인 정보를 제공하여 연출적인 요소로 사용할 수 있다. 여기서, 사운드 인터렉션 시스템(20)은 골전도 이어폰을 사용함에 따라 콘텐츠를 이용하는 사용자에게만 들리는 효과를 제공할 수 있다.Accordingly, the sound interaction system 20 can be produced by a sound engineer within the existing development method, and the limitations of low-frequency reproduction of general headphones, realistic music, and sound images formed above the head can be resolved. In addition, it can be used as a directing element by providing selective information to other audiences experiencing VR. Here, the sound interaction system 20 may provide an audible effect only to the user who uses the content as the bone conduction earphone is used.

공간 사운드 처리부(600)는 사용자가 공간을 이동하는 경우, 동기화 데이터를 기반으로 제1 사운드 및 제2 사운드 간의 인터렉션을 제어할 수 있다. 여기서, 인터렉션은 사용자의 장소 이동에 따른 제1 사운드 및 제2 사운드를 각각 보정하여 하나의 사운드처럼 인식되도록 하는 것이 바람직하나 제1 사운드 및 제2 사운드 간의 상호작용으로 제1 사운드에서 출력되는 사운드의 보정을 위한 제2 사운드를 출력하고, 변형하는 등의 제1 사운드 및 제2 사운드 간의 상호작용을 포함할 수 있다.The spatial sound processing unit 600 may control the interaction between the first sound and the second sound based on synchronization data when the user moves through space. Here, in the interaction, it is preferable to correct the first sound and the second sound according to the movement of the user to be recognized as a single sound, but the interaction between the first sound and the second sound is It may include an interaction between the first sound and the second sound, such as outputting a second sound for correction, transforming, and the like.

공간은 사용자가 착용한 콘텐츠 구동 장치(100)의 위치를 인식하는 센서를 통해 사용자의 위치를 파악하여 인식할 수 있다.The space may be recognized by recognizing the location of the user through a sensor that recognizes the location of the content driving device 100 worn by the user.

콘텐츠 구동 장치(100)는 HMD(110)를 통해 콘텐츠가 구현되고, 사용자의 손에 착용되는 컨트롤러(120)에 의해 사용자의 움직임에 따라 콘텐츠를 제어할 수 있다.The content driving device 100 may implement the content through the HMD 110 and control the content according to the user's movement by the controller 120 worn on the user's hand.

HMD(110)는 머리에 착용되는 디스플레이로 안경처럼 착용하여 영상을 즐길 수 있는 장치로서 콘텐츠가 구현될 수 있다.The HMD 110 is a display that is worn on the head and is a device that can be worn like glasses to enjoy images, and contents can be implemented.

컨트롤러(120)는 HMD(110)를 통해 구현된 콘텐츠를 이용하기 위한 조종기로서, 게임의 장르에 따라 패드, 조이스틱, 건, 핸들 등으로 구현되어 사용될 수 있다.The controller 120 is a manipulator for using content implemented through the HMD 110 , and may be implemented as a pad, a joystick, a gun, a handle, etc. according to a game genre.

센서부(200)는 콘텐츠가 사용되는 방향, 위치 및 좌표를 인식하고, 인식된 범위 내에서 HMD(110) 또는 컨트롤러(120)를 통해 사용자의 움직임에 따른 모션을 감지할 수 있다.The sensor unit 200 may recognize the direction, position, and coordinates in which the content is used, and detect a motion according to the user's movement through the HMD 110 or the controller 120 within the recognized range.

센서부(200)는 위치 측정 센서로 구현되어 위치 측정 센서 내에 위치하는 사용자의 위치를 측정할 수 있다. 구체적으로, 센서부(200)는 사용자의 이동을 감지하여 사용자가 위치하는 좌표를 구현할 수 있다. The sensor unit 200 may be implemented as a position measuring sensor to measure the position of a user located in the position measuring sensor. Specifically, the sensor unit 200 may sense the user's movement to implement coordinates at which the user is located.

사운드 인터렉션 시스템(20)은 적어도 하나의 출력 기기를 포함하는 음향 출력 장치(500)와 연동될 수 있다. 여기서 음향 출력 장치(500)는 제1 출력 기기(510) 및 제2 출력 기기(520)를 포함할 수 있다.The sound interaction system 20 may be linked with the sound output device 500 including at least one output device. Here, the sound output device 500 may include a first output device 510 and a second output device 520 .

메인 제어부(300)는 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어할 수 있다.The main controller 300 may generate content and generate synchronization data for each content to control the first sound according to a user's motion.

메인 제어부(300)는 콘텐츠 제어부(310) 및 제1 사운드 제어부(320)를 포함한다.The main controller 300 includes a content controller 310 and a first sound controller 320 .

콘텐츠 제어부(310)는 사용자의 모션을 감지하여 콘텐츠에 적용하고, 적용된 콘텐츠를 상기 사용자에게 제공할 수 있다.The content controller 310 may detect a user's motion, apply it to the content, and provide the applied content to the user.

제1 사운드 제어부(320)는 제2 사운드 제어부(400)에 동기화 데이터를 전송하고, 동기화 데이터를 기반으로 제1 출력 기기(510)에 제1 사운드를 전달할 수 있다.The first sound control unit 320 may transmit synchronization data to the second sound control unit 400 and transmit the first sound to the first output device 510 based on the synchronization data.

도 3의 (a)를 참조하면, 제1 사운드 제어부(320)는 프로세스 모듈(322), 3D 엔진 모듈(324), 제1 통신 모듈(326) 및 제1 사운드 출력 처리 모듈(328)을 포함한다. 제1 사운드 제어부(320)는 도 3의 (a)에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.Referring to FIG. 3A , the first sound control unit 320 includes a process module 322 , a 3D engine module 324 , a first communication module 326 , and a first sound output processing module 328 . do. The first sound control unit 320 may omit some of the various components exemplarily illustrated in FIG. 3A or may additionally include other components.

프로세스 모듈(322)은 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록될 수 있다.The process module 322 may register a sound set by a sound engineer according to content.

3D 엔진 모듈(324)은 등록된 사운드를 콘텐츠에 적용하여 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 동기화 데이터를 생성할 수 있다.The 3D engine module 324 may apply the registered sound to the content to generate synchronization data including the sound for each location in the content according to the movement of the user.

제1 통신 모듈(326)은 생성된 동기화 데이터를 제2 사운드 제어부(400)에 전송할 수 있다.The first communication module 326 may transmit the generated synchronization data to the second sound controller 400 .

동기화 데이터는 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 콘텐츠 내에서 변화하는 복수의 장소를 포함할 수 있으며, 복수의 장소 별 씬 번호, 배경음, 효과음을 포함할 수 있다.The synchronization data may include a plurality of places that change within the content based on the user's motion according to the user's moving direction, location, and coordinates, and may include a scene number, background sound, and sound effect for each of the plurality of places.

제1 사운드 출력 처리 모듈(328)은 동기화 데이터를 기반으로 콘텐츠 내 장소 및 사용자의 움직임에 따라 생성된 제1 사운드를 제1 출력 기기(510)에 전달할 수 있다.The first sound output processing module 328 may transmit the first sound generated according to a user's movement and a location in the content based on the synchronization data to the first output device 510 .

제2 사운드 제어부(400)는 메인 제어부(300)에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어할 수 있다. The second sound controller 400 may receive synchronization data from the main controller 300 and may control the second sound based on the synchronization data and pre-stored sound.

제2 사운드 제어부(400)는 제2 통신모듈(410), 사운드 전송모듈(420), 사운드 처리모듈(430) 및 제2 사운드 출력 처리모듈(440)을 포함한다. 제2 사운드 제어부(400)는 도 3의 (a)에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.The second sound control unit 400 includes a second communication module 410 , a sound transmission module 420 , a sound processing module 430 , and a second sound output processing module 440 . The second sound control unit 400 may omit some of the various components exemplarily illustrated in FIG. 3A or may additionally include other components.

제2 통신모듈(410)은 제1 통신모듈(326)에서 동기화 데이터를 전달받을 수 있다.The second communication module 410 may receive synchronization data from the first communication module 326 .

사운드 전송모듈(420)은 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송할 수 있다.The sound transmission module 420 may transmit the synchronization data and the pre-stored sound by classifying them for each location.

사운드 처리모듈(430)은 전송된 동기화 데이터 및 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리할 수 있다.The sound processing module 430 may process by applying an environmental sound and an effect sound for each place based on the transmitted synchronization data and pre-stored sound.

제2 사운드 출력 처리모듈(440)은 장소 별로 처리된 환경음 및 효과음과 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기(520)에 전달할 수 있다.The second sound output processing module 440 may transmit the environmental sound and effect sound processed for each location and the second sound generated according to the user's movement to the second output device 520 .

음향 출력 장치(500)는 콘텐츠의 사운드를 사용자에게 제공하기 위해 적어도 하나의 출력 기기를 포함할 수 있다.The sound output device 500 may include at least one output device to provide sound of content to a user.

음향 출력 장치(500)는 골전도 이어폰으로 구현되는 제1 출력 기기(510) 및 서라운드 스피커로 구현되는 제2 출력 기기(520)를 포함한다.The sound output device 500 includes a first output device 510 implemented as a bone conduction earphone and a second output device 520 implemented as a surround speaker.

기존의 사운드 장치(302)는 귓구멍을 통해 고정되는 이어폰일 수 있으며, 착용 시 외부 소리를 들을 수 없어 집중도를 향상시킬 수 있지만 사운드 장치(302)를 통해 출력되는 사운드 밖에 들을 수 없는 문제가 있다.The existing sound device 302 may be an earphone fixed through an ear hole, and when worn, an external sound cannot be heard, so concentration can be improved, but there is a problem that only the sound output through the sound device 302 can be heard.

이에 따라, 사운드의 병행 출력을 통한 사운드 인터렉션 시스템(20)은 골전도 이어폰을 사용함에 따라 개방된 귀를 통해 추가적인 사운드를 사용할 수 있는 통로를 만들 수 있다.Accordingly, the sound interaction system 20 through the parallel output of sound can create a passage through which additional sound can be used through the open ear as the bone conduction earphone is used.

골전도 이어폰은 두개골의 뼈들을 통하여 소리가 속귀(내이)로 전도되는 것으로, 골전도를 통해 소리를 전달하기 때문에 일반인이나 청각 장애인 모두 사용할 수 있다.Bone conduction earphones conduct sound to the inner ear (inner ear) through the bones of the skull.

사운드 인터렉션 시스템(20)은 제1 출력 기기(510)에 의해 제1 사운드가 출력되는 영역과 제2 출력 기기(520)에 의해 제2 사운드가 출력되는 영역이 중복되지 않으며, 사용자의 위치 별로 제1 사운드 및 제2 사운드 간의 거리감이 구현되어 연속적인 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현될 수 있다.The sound interaction system 20 does not overlap the region where the first sound is output by the first output device 510 and the region where the second sound is output by the second output device 520, and is A sense of distance between the first sound and the second sound may be realized so that successive first and second sounds are recognized as one sound.

제1 출력 기기(510)는 콘텐츠의 효과음, 나레이션, 보완 내용을 적어도 하나 포함하는 제1 사운드를 출력할 수 있다.The first output device 510 may output a first sound including at least one of a sound effect, narration, and supplementary content of the content.

제2 출력 기기(520)는 콘텐츠의 배경음, 대사를 적어도 하는 포함하는 제2 사운드를 출력할 수 있다.The second output device 520 may output a second sound including at least a background sound and dialogue of the content.

본 발명의 일 실시예에 따르면, 제2 출력 기기(520)는 복수의 서라운드 스피커 및 복수의 서브 우퍼를 포함할 수 있으며, 반드시 이에 한정되는 것은 아니다. 일반적으로 영화에서 쓰이는 서라운드 사운드는 복수의 서라운드 스피커와 복수의 서브 우퍼의 조합을 통해 일반적인 스피커에서 표현할 수 없는 저역을 표현하고 일반 스피커로는 중고역을 재생하여 서로의 단점을 보완할 수 있다. 하지만 스피커에서 나오는 볼륨을 조정하여 작은 소리가 멀리 있거나 큰소리는 가까이 있다는 가정 하에 사운드 음원을 재생하지만 음원의 방향성을 만드는데는 유리한 측면이 있으나 원형의 사용자를 중심으로 거리감을 완벽하게 구현하는 일은 어려운 문제가 있다.According to an embodiment of the present invention, the second output device 520 may include a plurality of surround speakers and a plurality of subwoofers, but is not limited thereto. In general, surround sound used in movies uses a combination of a plurality of surround speakers and a plurality of subwoofers to express a low range that cannot be expressed by a general speaker, and a high range can be reproduced with a general speaker to compensate for each other's shortcomings. However, by adjusting the volume from the speaker, a sound source is reproduced on the assumption that a small sound is far away or a loud sound is near, but there is an advantage in creating the directionality of the sound source, but it is difficult to perfectly realize the sense of distance with a circular user. have.

기존의 발전된 서라운드 사운드는 스크린 뒤에 스피커를 사용하여 스크린에 소리를 맺히게 하는 것이 목적이다. 사운드 엔지니어가 최대한 음상을 조절한다 하더라도 일반적으로 소리가 맺히는 공간을 서라운드 영역에 제한적으로 소리가 위치하게 될 수 있다. 이에 소리의 위치를 조정한다 하더라도 서라운드 영역과 골전도 영역 사이의 중간 영역 및 골전도 영역에 소리를 위치시키기 어려운 문제가 있다.The purpose of the existing advanced surround sound is to produce sound on the screen by using a speaker behind the screen. Even if the sound engineer adjusts the sound image as much as possible, the sound can be located in the surround area with a limited space where the sound is generally formed. Accordingly, even if the position of the sound is adjusted, there is a problem in that it is difficult to locate the sound in the middle region between the surround region and the bone conduction region and the bone conduction region.

또한, 헤드폰(골전도 이어폰)은 소리의 음상이 좁아 대부분의 소리가 머리 안에서 맺히게 되며, 최대한 넓게 사운드를 조정한다 하더라도 사용자의 근거리에서 위치하는 경우가 대부분이며, 이는 골전도 영역을 의미한다.In addition, headphones (bone conduction earphones) have a narrow sound image so that most of the sound is concentrated in the head.

따라서, 사운드 인터렉션 시스템(20)은 제1 출력 기기(510) 및 제2 출력 기기(520)의 사용 특성을 이용하여 두 부분의 단점을 메워 전체적인 사운드 사용의 음상을 넓히고 음질을 향상시킬 수 있다.Accordingly, the sound interaction system 20 may use the characteristics of use of the first output device 510 and the second output device 520 to fill the shortcomings of the two parts, thereby broadening the overall sound image and improving the sound quality.

음향 출력 장치(500)는 콘텐츠가 구현되는 범위 내에서 복수의 위치에 소리가 맺히게 할 수 있다. 복수의 위치는 서라운드 영역, 서라운드 영역과 골전도 영역 사이의 중간 영역 및 골전도 영역에 위치할 수 있다.The sound output device 500 may make a sound focus at a plurality of locations within a range in which content is implemented. The plurality of locations may be located in the surround area, an intermediate area between the surround area and the bone conduction area, and the bone conduction area.

구체적으로 서라운드 영역은 제2 출력 기기(520)에서 출력된 제2 사운드의 대부분이 맺히는 공간을 나타내고, 서라운드 영역과 골전도 영역 사이의 중간 영역은 제1 출력 기기(510) 및 제2 출력 기기(520)에서 출력되는 사운드가 대부분 맺히지 않는 공간을 나타내며, 골전도 영역은 제1 출력 기기(510)에서 출력되는 제1 사운드가 대부분 맺히는 공간을 나타낸다.Specifically, the surround region represents a space where most of the second sound output from the second output device 520 is formed, and the middle region between the surround region and the bone conduction region includes the first output device 510 and the second output device ( The sound output from the 520 represents a space where most of the sound is not formed, and the bone conduction region represents a space where the first sound output from the first output device 510 is mostly formed.

본 발명의 일 실시예에 따르면, 사운드 인터렉션 시스템(20)은 제1 출력 기기(510)를 통해 소리가 맺히는 공간과 제2 출력 기기(520)를 통해 소리가 맺히는 공간을 구분하여 출력하며, 제1 출력 기기(510) 및 제2 출력 기기(520)를 통해 생성되는 사운드가 대부분 맺히지 않는 공간에서는 제1 출력 기기(510) 및 제2 출력 기기(520)의 음량 등을 조절하여 음상을 넓히고 음질을 향상시킬 수 있다.According to an embodiment of the present invention, the sound interaction system 20 divides and outputs a space in which a sound is formed through the first output device 510 and a space in which a sound is formed through the second output device 520 and outputs the second output device 510 . In a space where most of the sound generated through the first output device 510 and the second output device 520 does not form, the volume of the first output device 510 and the second output device 520 is adjusted to widen the sound image and improve sound quality. can improve

예를 들어, 사운드 인터렉션 시스템(20)은 소리가 외부에서 내부로 전달되는 경우, 먼 거리에서 출발한 사운드는 제2 출력 기기(520)를 통해 근접하고, 제1 출력 기기(510)의 한계로 인해 서라운드 영역에서 사운드가 멈출 수 있으며, 이 사운드를 지속적으로 전달시키기 위해서는 제1 출력 기기(510)를 사용하여 동일하게 연속적인 소리를 표현하여 자연스럽게 하나의 소리로 인식시킬 수 있다. 이는 제1 출력 기기(510) 및 제2 출력 기기(520) 각각에서 나누어 소리를 재생시킬 수 있으며, 동일한 저음을 통해 사용자가 하나의 사운드로 인식하게 할 수 있다.For example, in the sound interaction system 20 , when sound is transmitted from the outside to the inside, the sound originating from a long distance approaches the second output device 520 through the second output device 520 , and is limited to the first output device 510 . Due to this, the sound may stop in the surround area, and in order to continuously transmit the sound, the same continuous sound may be expressed using the first output device 510 and recognized as a natural sound. In this case, the sound may be reproduced separately in each of the first output device 510 and the second output device 520 , and the user may recognize the sound as one sound through the same low tone.

구체적으로, 사운드 인터렉션 시스템(20)은 소리의 이동 경로가 외재적 사운드에서 내재적 사운드로, 내재적 사운드에서 외재적 사운드로 이동할 수 있으며, 저음 재생을 일정하게 유지할 수 있다. 사운드 인터렉션 시스템(20)은 동일한 저음 재생을 통해 사용자가 하나의 사운드로 두 소리를 인식할 수 있으며, 골전도 이어폰으로 구현되는 제1 출력 기기(510)의 특성상 저음 표현이 효과적이지 않고 피부의 진동으로 변하게 될 수 있다. 따라서, 90hz 이하의 음역대를 제1 출력 기기(510)에서 삭제시켜 재생하게 되므로 사용 시 불편한 진동을 제거할 수 있다.Specifically, the sound interaction system 20 may move the sound movement path from the extrinsic sound to the intrinsic sound, and from the intrinsic sound to the extrinsic sound, and may maintain constant bass reproduction. The sound interaction system 20 allows the user to recognize two sounds as one sound through the same bass reproduction, and the low tone expression is not effective due to the characteristics of the first output device 510 implemented as a bone conduction earphone, and vibration of the skin can be changed to Therefore, since the sound range of 90hz or less is deleted and reproduced by the first output device 510, it is possible to remove uncomfortable vibrations during use.

사운드 인터렉션 시스템(20)은 제1 출력 기기(510) 및 제2 출력 기기(520)를 이용함에 따라 거리감을 향상시키고 음역대를 분리하여 재생하게 되므로 진동으로 인한 효과적인 불편함을 제거한 상태에서 좋은 음질을 사용자에게 제공할 수 있다.As the sound interaction system 20 uses the first output device 510 and the second output device 520, the sense of distance is improved and sound ranges are separated and reproduced. can be provided to users.

도 3의 (a)를 참조하면, 메인 제어부(300)는 제1 사운드 출력 처리모듈(328)을 통해 제1 출력 기기(510)로 제1 사운드를 제공할 수 있으며, 제2 사운드 제어부(400)는 제2 사운드 출력 처리모듈(440)을 통해 제2 출력 기기(520)로 제2 사운드를 제공할 수 있다.Referring to FIG. 3A , the main control unit 300 may provide a first sound to the first output device 510 through the first sound output processing module 328 , and the second sound control unit 400 . ) may provide the second sound to the second output device 520 through the second sound output processing module 440 .

기존의 콘텐츠 제어부는 사운드를 처리하는 방법이 프로그래머에 의해 전담되거나 사운드 엔지니어가 따로 존재한다 하더라도 사운드 엔지니어는 제작된 사운드 파일을 전달하여 간단하게 재생하는 방식의 제작 방법을 가진다. 이에 의해 사운드 엔지니어의 제작의도가 완벽하게 전달되지 못한다. 이는 사운드를 처리하는 어플리케이션이 하나의 컴파일된 프로그램으로 만들어져야 하기 때문에 발생하는 문제이며, 콘테츠 제어부 내에 사운드 제어부가 종속되어 HMD에 포함된 2ch 헤드셋에 사운드를 출력할 수 있다.In the existing content control unit, even if a programmer is in charge of processing sound or a sound engineer exists separately, the sound engineer has a production method in which the produced sound file is transmitted and played back simply. As a result, the sound engineer's production intention cannot be completely conveyed. This is a problem that occurs because an application that processes sound must be made as a single compiled program, and the sound control unit is subordinated within the content control unit to output sound to the 2ch headset included in the HMD.

본 발명의 일 실시예에 따르면, 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 사운드 엔지니어가 사용하는 상용 사운드 엔진이 입력 가능한 메인 제어부(300)와 별개의 제2 사운드 제어부(400)를 개발하여 두 프로그램이 사운드 처리에 관한 데이터를 자유롭게 사용할 수 있다. 또한, 기존의 헤드폰에서 재생되던 메인 제어부(300)의 사운드 출력 또한 제2 사운드 제어부(400)를 통해 사운드를 출력할 수 있도록 제작하여 동시에 작업이 가능할 수 있다. 여기서, 제2 사운드 제어부(400)는 제2 출력 기기(520)로 사운드를 출력하고, 메인 제어부(300)는 제1 출력 기기(510)로 사운드를 출력할 수 있다. 구체적으로, 제1 출력 기기(510)는 골전도 이어폰으로 구현되며, 제2 출력 기기(520)는 서라운드 스피커로 구현될 수 있다.According to an embodiment of the present invention, the integrated control system 10 including the sound interaction system 20 is a second sound control unit 400 separate from the main control unit 300 to which a commercial sound engine used by a sound engineer can input. ) so that the two programs can freely use the data related to sound processing. In addition, the sound output of the main control unit 300 reproduced in the existing headphones may also be produced so that the sound may be output through the second sound control unit 400 so that the operation can be performed at the same time. Here, the second sound controller 400 may output sound to the second output device 520 , and the main controller 300 may output sound to the first output device 510 . Specifically, the first output device 510 may be implemented as a bone conduction earphone, and the second output device 520 may be implemented as a surround speaker.

본 발명의 일 실시예에 따르면, 메인 제어부(300)의 제1 사운드 제어부(320)는 제1 통신 모듈(326)을 포함하고, 제2 사운드 제어부(400)는 제2 통신 모듈(410)을 포함한다. 한가지 음원에 대한 부분을 두 가지의 음향 출력 장치(500)가 출력해야 하므로 메인 제어부(300)의 내부적으로는 제1 출력 기기(510)에 기본적인 사운드를 보내는 동시에 제2 사운드 제어부(400)에 동기화 데이터를 전송할 수 있다.According to an embodiment of the present invention, the first sound control unit 320 of the main control unit 300 includes a first communication module 326 , and the second sound control unit 400 includes a second communication module 410 . include Since the two sound output devices 500 have to output a part of one sound source, the main controller 300 internally sends a basic sound to the first output device 510 and at the same time synchronizes it with the second sound controller 400 . data can be transmitted.

제1 통신 모듈(326) 및 제2 통신 모듈(410)은 공간을 기준으로 한 통신 프로토콜을 나타내는 동기화 데이터로 나뉘게 된다.The first communication module 326 and the second communication module 410 are divided into synchronization data representing a communication protocol based on space.

동기화 데이터는 장소 태그, 씬 번호, 배경음, 배경 음악, 효과음 등을 포함하며, 제1 통신 모듈(326)에서 제2 통신 모듈(410)로 전송할 수 있다. 구체적으로, 장소 태그는 장소 1, 장소 2, 장소 3 등으로 표현될 수 있으며, 효과음은 효과음1, 효과음2 등으로 표현되거나 발걸음과 같은 실제명으로 표현될 수 있으며, 반드시 이에 한정되는 것은 아니다.The synchronization data includes a place tag, a scene number, background sound, background music, sound effect, and the like, and may be transmitted from the first communication module 326 to the second communication module 410 . Specifically, the place tag may be expressed as place 1, place 2, place 3, etc., and the sound effect may be expressed as sound effect 1, sound effect 2, etc. or a real name such as footsteps, but is not necessarily limited thereto.

제2 통신 모듈(410)은 동기화 데이터가 수신되면, 장소 태그에 따라 각 소리 효과를 결정하고, 배경음, 배경 음악을 재생하고, 효과음이 들어오면 장소 태그에 맞는 공간 효과를 거치게 된다. 이를 통해 제2 사운드 제어부(400)는 공간의 소리를 정의하는 방식으로 표현될 수 있다.When the synchronization data is received, the second communication module 410 determines each sound effect according to the place tag, plays a background sound and background music, and when the sound effect comes in, it undergoes a spatial effect suitable for the place tag. Through this, the second sound control unit 400 may be expressed in a manner that defines the sound of the space.

본 발명의 일 실시예에 따르면, 메인 제어부(300)는 모든 사운드의 명령을 제어하고 관리할 수 있다. 예를 들어, 메인 제어부(300)는 제1 출력 기기(510)의 소리가 필요하면 자체적으로 출력하며 제2 출력 기기(520)의 소리가 필요한 경우 제2 사운드 제어부(400)에 메시지를 전송하여 사운드를 동기화할 수 있다.According to an embodiment of the present invention, the main controller 300 may control and manage all sound commands. For example, when the sound of the first output device 510 is required, the main control unit 300 outputs it by itself, and when the sound of the second output device 520 is required, the main control unit 300 transmits a message to the second sound control unit 400 . You can synchronize the sound.

사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 제2 사운드 제어부(400)에서 구분해놓은 장소 별 사운드 효과의 채널을 만들어 단순한 소리 트리거의 명령을 받는다 하더라도 해당 소리의 장소가 연결되기 때문에 제2 사운드 제어부(400)에서 제작해놓은 공간 효과를 실시간으로 만들어주며, 메인 제어부(300)의 제1 사운드 제어부(320)의 작업과 완전히 분할되어 작동하기 때문에 독립적인 개발 환경 및 소리의 질적인 영향은 메인 제어부(300)에서 결정지을 수 없고 제2 사운드 제어부(400)에 종속될 수 있다.The integrated control system 10 including the sound interaction system 20 creates channels of sound effects for each place separated by the second sound control unit 400, and even if a simple sound trigger command is received, the place of the sound is connected. The spatial effect produced by the second sound control unit 400 is created in real time, and since the operation is completely divided from the operation of the first sound control unit 320 of the main control unit 300, an independent development environment and sound quality influence may not be determined by the main control unit 300 and may be subordinated to the second sound control unit 400 .

본 발명의 일 실시예에 따르면, 사운드의 병행 출력을 통한 사운드 시스템(10)은 사운드 엔지니어가 사용하는 상용 사운드 엔진이 입력 가능한 메인 제어부(300)와 종속되지 않은 별개의 프로그램의 제2 사운드 제어부(400)를 개발하여 두 프로그램이 사운드 처리에 관한 데이터를 자유롭게 사용할 수 있다. 또한 기존의 헤드폰에서 재생되던 메인 제어부(300)의 사운드 출력 또한 재생할 수 있도록 제작하여 동시에 작업이 가능할 수 있다According to an embodiment of the present invention, the sound system 10 through the parallel output of sound is a main control unit 300 that can input a commercial sound engine used by a sound engineer and a second sound control unit ( 400), so that both programs can freely use data related to sound processing. In addition, the sound output of the main control unit 300, which was reproduced in the existing headphones, can also be reproduced, so that work can be performed at the same time.

사운드의 병행 출력을 통한 사운드 시스템(10)은 메인 제어부(300)와 사제2 사운드 제어부(400)가 서로 통신모듈을 가지고 있으며, 한가지 음원에 대한 부분을 두 가지의 사운드 시스템이 출력해야 하므로 메인 제어부(300)에서 내부적으로는 골전도 이어폰에 기본적인 사운드 시스템을 보내는 동시에 제2 사운드 제어부(400)에 동기화 데이터를 전송할 수 있으며, 공간을 기준으로 한 통신 프로토콜로 나뉠 수 있다.In the sound system 10 through the parallel output of sound, the main control unit 300 and the second sound control unit 400 have communication modules with each other, and since two sound systems need to output a part for one sound source, the main control unit In 300, a basic sound system may be transmitted to the bone conduction earphone internally, and synchronization data may be transmitted to the second sound control unit 400 at the same time, and may be divided into communication protocols based on space.

메인 제어부(300)는 장소를 기반으로 씬이 나뉘는 특징을 가지고 있으며, 사운드 엔지니어도 소리를 결정하는 가장 기본적인 기능은 공간을 기준으로 한다. 사운드의 병행 출력을 통한 사운드 시스템(10)은 이 둘의 공통점을 소프트웨어에 적용한 것으로, 공간적 특징을 콘텐츠에 적용할 때의 사운드의 질적인 결정을 프로그래머가 아니라 사운드 엔지니어가 전부 정하여주고 그것에 대한 적용시점의 절차만을 프로그래머가 등록함에 있다.The main control unit 300 has a feature of dividing a scene based on a place, and the most basic function for a sound engineer to determine a sound is based on a space. The sound system 10 through the parallel output of sound applies these two commonalities to software, and the sound engineer, not the programmer, determines the quality of sound when applying spatial characteristics to the content, and the application time for it Only the procedure of the programmer is registered.

본 발명의 일 실시예에 따르면, 메인 제어부(300)는 기본적으로 비주얼을 관리하고, 모든 사운드의 명령을 제어하고 관리할 수 있다.According to an embodiment of the present invention, the main controller 300 may basically manage a visual, and control and manage all sound commands.

본 발명의 일 실시예에 따르면, 사운드의 병행 출력을 통한 사운드 시스템(10)은 골전도의 소리가 필요하면 자체적으로 출력하며 서라운드 채널이 필요할 때 제2 사운드 제어부(400)에 동기화 데이터를 전송하여 사운드를 동기화한다. According to an embodiment of the present invention, the sound system 10 through the parallel output of sound outputs the sound of bone conduction by itself when necessary, and transmits synchronization data to the second sound controller 400 when a surround channel is required. Synchronize the sound.

사운드의 병행 출력을 통한 사운드 시스템(10)은 제2 사운드 제어부(400)에서 구분해놓은 장소 별 사운드 효과의 채널을 만들어 단순한 소리트리거의 명령을 받는다 하더라도 해당소리의 장소가 연결되기 때문에 사운드 엔진에서 제작해놓은 공간효과를 실시간으로 만들어주며 메인 제어부(300)의 작업과 완전히 분할되어 작동하기 때문에 독립적인 개발환경 및 소리의 질적인 향은 메인 제어부(300)에서 결정지을 수 없고 사운드 서버에 종속된다.The sound system 10 through the parallel output of sound creates a channel of sound effect for each place separated by the second sound control unit 400, and even if a simple sound trigger command is received, the place of the sound is connected, so it is produced by the sound engine Since the space effect is created in real time and is completely divided from the work of the main control unit 300 , the independent development environment and the qualitative flavor of the sound cannot be determined by the main control unit 300 and are dependent on the sound server.

메인 제어부(300) 및 제2 사운드 제어부(400)는 사용자가 상기 제1 공간에서 제2 공간으로 이동하는 경우, 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절하여 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현할 수 있다.When the user moves from the first space to the second space, the main controller 300 and the second sound controller 400 gradually lower the volume of the sound in the first space and gradually increase the volume of the sound in the second space. The first sound and the second sound can be recognized as one sound by adjusting the volume so that the indirect sound is heard more than the direct sound.

도 3의 (b)를 참조하면, 공간 사운드 처리부(600)는 장소 인식부(610), 사운드 정보 생성부(620) 및 사운드 조절부(630)를 포함한다. 공간 사운드 처리부(600)는 도 3의 (b)에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.Referring to FIG. 3B , the spatial sound processing unit 600 includes a place recognizing unit 610 , a sound information generating unit 620 , and a sound adjusting unit 630 . The spatial sound processing unit 600 may omit some of the various components exemplarily illustrated in FIG. 3B or may additionally include other components.

장소 인식부(610)는 사용자의 공간의 이동에 따른 현재 장소 정보를 획득하고, 장소에 대응하는 초기 사운드 데이터를 획득할 수 있다.The place recognizer 610 may obtain current place information according to the movement of the user's space, and may acquire initial sound data corresponding to the place.

장소 인식부(610)는 메인 제어부(300)를 통해 사용자의 이동에 따라 변화하는 공간을 인식하여 장소의 특징을 표현하도록 구현된 장소 별 사운드를 인식할 수 있다. 여기서, 장소 인식부(610)는 사용자의 모션을 더 이용하여 장소의 특징을 표현하는 초기 사운드 데이터를 획득할 수 있다.The place recognition unit 610 may recognize a sound for each place implemented to express the characteristics of a place by recognizing a space that changes according to the movement of the user through the main controller 300 . Here, the place recognizing unit 610 may acquire initial sound data expressing the characteristics of the place by further using the user's motion.

사운드 정보 생성부(620)는 초기 사운드 데이터에 따른 사운드 조정 정보를 생성할 수 있다. 여기서, 사운드 조정 정보는 제1 사운드 및 제2 사운드의 볼륨, 울림 등을 조절하기 위한 정보로서, 공간에 따라 조절하는 정보가 상이하며 볼륨, 울림 외에도 늘어지는 길이 등을 추가적으로 더 조절할 수 있다.The sound information generator 620 may generate sound adjustment information according to the initial sound data. Here, the sound adjustment information is information for adjusting the volume, echo, etc. of the first sound and the second sound, and the information to be adjusted according to the space is different, and in addition to the volume and the sound, the length of the sound can be further adjusted.

사운드 정보 생성부(620)는 제1 사운드 및 제2 사운드 각각에 장소 별 사운드를 적용하여 사운드 정보를 생성할 수 있다.The sound information generator 620 may generate sound information by applying a sound for each place to each of the first sound and the second sound.

사운드 정보 생성부(620)를 통해 생성된 제1 사운드 및 제2 사운드 각각은 복수의 장소 별 씬 번호, 지시음, 배경음 또는 효과음을 적어도 하나 포함하여 출력될 수 있다.Each of the first sound and the second sound generated by the sound information generator 620 may be output including at least one of a scene number for each location, an indication sound, a background sound, or an effect sound.

사운드 정보 생성부(620)는 제1 사운드 및 제2 사운드 각각에 초기 사운드 데이터를 적용하여 제1 사운드 및 제2 사운드를 조정하기 위한 사운드 조정 정보를 생성할 수 있다.The sound information generator 620 may generate sound adjustment information for adjusting the first sound and the second sound by applying initial sound data to each of the first sound and the second sound.

사운드 조절부(630)는 제1 사운드 및 상기 제2 사운드에 사운드 조정 정보를 적용하여 상기 제1 사운드 또는 상기 제2 사운드를 조절할 수 있다.The sound adjusting unit 630 may adjust the first sound or the second sound by applying sound adjustment information to the first sound and the second sound.

사운드 조절부(630)는 사용자가 공간을 이동함에 따라 제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 인식된 장소에 따라 제1 사운드 및 제2 사운드의 울림 또는 볼륨을 조절할 수 있다.The sound control unit 630 may adjust the resonance or volume of the first sound and the second sound according to a recognized place by applying sound adjustment information to the first sound and the second sound as the user moves through space.

사운드 조절부(630)는 사용자가 제1 공간에서 제2 공간으로 이동하는 경우, 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절할 수 있다.When the user moves from the first space to the second space, the sound control unit 630 gradually lowers the volume of the sound in the first space and gradually increases the volume of the sound in the second space, and is more indirect than the direct sound. You can adjust the volume to hear more notes.

사운드 조절부(630)는 음향 출력 장치(500)에 의해 제1 사운드가 출력되는 영역과 제2 사운드가 출력되는 영역이 서로 상이함에 따라 제1 사운드 및 제2 사운드에 동일한 저음이 출력되도록 조절할 수 있다.The sound control unit 630 may adjust the first sound and the second sound to output the same low-pitched tone as the region where the first sound is output and the region where the second sound is output by the sound output device 500 are different from each other. have.

사운드 조절부(630)는 제1 사운드 중 90hz 이하의 음역대로 구성된 사운드를 제거하여 출력할 수 있다.The sound control unit 630 may remove and output a sound composed of a sound range of 90 hz or less among the first sound.

사운드 조절부(630)는 사운드 정보 생성부(620)를 통해 생성된 사운드 정보를 기반으로 제1 사운드의 보정음 또는 제1 사운드에 따른 효과음을 제2 사운드 제어부(400) 더 출력하여 이격된 소리를 표현할 수 있다.The sound control unit 630 further outputs a correction sound of the first sound or an effect sound according to the first sound based on the sound information generated by the sound information generation unit 620 to the second sound control unit 400 to further output the sound spaced apart. can be expressed

도 4 및 도 5는 본 발명의 일 실시예에 따른 출력 채널에 따른 사운드 응용을 나타내는 도면이다.4 and 5 are diagrams illustrating a sound application according to an output channel according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면, 사용자가 제1 공간에서 제2 공간으로 이동하면 동일한 사운드라도 사운드 환경 변화가 생겨나게 된다. 여기서, 각 공간은 각 공간만의 지연음, 잔향이 다르며, 앰비언스(환경음)이 변하게 된다. 이 때 오디오 엔지니어는 상용 가상악기를 적극적으로 활용하여 공간음을 구성하지만 실제로 VR 개발환경에서는 정해져있는 오디오 엔진을 사용해야 하므로 사운드 엔지니어의 요구를 정확하게 받아들일 수 없다. 따라서, 사운드 인터렉션 시스템(20)은 이를 요소로 사운드 엔지니어가 제작한 상용가상악기가 재생되는 재생 환경을 구축하여 제공할 수 있다. 여기서, 가상 악기는 컴퓨터에서 소프트웨어를 사용하여 하드웨어 악기를 모방하여 연주할 수 있게 한 가상의 악기이다.According to an embodiment of the present invention, when the user moves from the first space to the second space, a change in the sound environment occurs even with the same sound. Here, each space has a different delay sound and reverberation only for each space, and the ambience (environmental sound) is changed. At this time, audio engineers actively utilize commercial virtual instruments to compose spatial sounds, but in reality, in the VR development environment, a fixed audio engine must be used, so the demands of sound engineers cannot be accurately met. Accordingly, the sound interaction system 20 may build and provide a reproduction environment in which a commercial virtual instrument produced by a sound engineer is reproduced using this element. Here, the virtual instrument is a virtual instrument that can be played by imitating a hardware instrument using software in a computer.

골전도 이어폰으로 구성된 제1 출력 기기(510)는 저음 표현과 공간 표현이 불가능하며, 회전 적용이 가능하고, 서라운드 스피커로 구성된 제2 출력 기기(520)는 저음 표현과 공간 표현이 가능하고, 회전 적용이 불가능 할 수 있다. 여기서, 저음 표현은 깊고 밀도감이 있는 환경음을 나타내며, 서라운드 스피커를 통해 전달할 수 있으며, 몰입감 측면에서 100hz 아래의 초저역 주파수를 재생함으로써 웅장함을 전달함은 물론 사용자가 몸으로 느낄 수 있는 판타지 경험을 제공할 수 있기 때문에 중요하게 활용될 수 있다. 또한, 전체적으로 서라운드와 개별 입체 사운드가 혼용되어 전달되나, 시스템 상으로 분리되어 페러렐로 출력되는 방식을 사용할 경우, 컴퓨팅 환경에서도 VR 체험자의 움직임에 따라 머리 회전에 반응하기 위해 머리 전달 함수를 통해 계산되며 이어폰의 포맷인 2채널로 변환할 필요가 없게 될 수 있다. 이는 사용자가 고개를 돌리더라도 사운드는 이미 재생되고 있는 스피커의 위치에 고정된 채 전달될 수 있기 때문이다. 따라서, 사운드 인터렉션 시스템(20)은 HMD(110)에 장착되어 잇는 이어폰을 사용하는 경우보다 더 간편하게 음원 제작을 가능하게 할 수 있다.The first output device 510 composed of a bone conduction earphone cannot express bass tone and space, and can be rotated, and the second output device 520 composed of a surround speaker can express bass tone and space, and rotates. may not be applicable. Here, the bass expression represents a deep and dense environmental sound, and it can be delivered through the surround speaker, and in terms of immersion, it not only delivers grandeur by reproducing the ultra-low frequency below 100Hz, but also provides a fantasy experience that users can feel with their body. It can be used as important because it can be provided. In addition, although surround and individual stereophonic sound are transmitted in a mixed manner as a whole, if the method is used to separate and output in parallel on the system, it is calculated through the head transfer function to respond to the head rotation according to the movement of the VR experiencer in the computing environment. There may be no need to convert to the two-channel format of earphones. This is because even if the user turns his head, the sound can be delivered while being fixed at the position of the speaker that is already being played. Accordingly, the sound interaction system 20 may enable a sound source to be produced more conveniently than in the case of using an earphone mounted on the HMD 110 .

도 4는 본 발명의 일 실시예에 따른 출력 채널에 따른 제1 공간에서 제2 공간으로 이동 시 사운드 응용을 나타내는 도면이다.4 is a diagram illustrating a sound application when moving from a first space to a second space according to an output channel according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면, HMD(110)를 착용하고 사용자가 VR 공간으로 들어가게 되면 HMD(110)의 위치를 인식하는 추적 센서에 의해 사용자의 위치를 파악하게 된다. 여기서, 센서부(200)는 추적 센서로 구현될 수 있으며, 반드시 이에 한정되는 것은 아니다.According to an embodiment of the present invention, when the user enters the VR space while wearing the HMD 110 , the user's location is identified by a tracking sensor that recognizes the location of the HMD 110 . Here, the sensor unit 200 may be implemented as a tracking sensor, but is not limited thereto.

사운드 엔지니어는 회전 표현력과 저음 표현력인 높은 사운드는 서라운드에 배치하고, VR 환경 내부 다양한 오브젝트와 상호작용하는 소리들은 골전도에 우선 배치하여 양질의 사운드를 만들어 낼 수 있다.A sound engineer can create high-quality sound by placing high sounds, which are rotational expressive power and bass expressive power, in the surround, and placing sounds interacting with various objects in the VR environment first in bone conduction.

구체적으로, 회전 표현력과 저음 표현력인 높은 사운드는 새소리, 발자국 소리, 외부 목소리 등을 포함할 수 있으며, VR 환경 내부 다양한 오브젝트와 상호작용하는 소리는 나레이션, 지시음 등을 포함할 수 있다.Specifically, the high sound that is the rotational expressive power and the low-pitched expressive power may include a bird sound, a footstep sound, an external voice, and the like, and the sound interacting with various objects inside the VR environment may include a narration, an instruction sound, and the like.

서라운드 스피커에서 출력되는 사운드는 제1 공간에서 제2 공간으로 이동하는 경우, 소리가 연속적으로 재생되지만 공간의 변화에 따라 소리의 볼륨, 울림 등이 변화할 수 있다.When the sound output from the surround speaker moves from the first space to the second space, the sound is continuously reproduced, but the volume, reverberation, etc. of the sound may change according to the change of the space.

본 발명의 일 실시예에 따르면, 공간 사운드 처리부(600)는 제1 공간과 제2 공간 각각에 따른 동기화 데이터를 이용하여 제1 사운드 및 제2 사운드 간의 인터렉션을 수행한다. 예를 들어, 제1 공간이 실외이고, 제2 공간이 실내이면 제1 공간에서 제2 공간으로 이동하는 경우에 실외 사운드는 볼륨이 작아지고 실내로 들어오면서 울림이 커질 수 있다.According to an embodiment of the present invention, the spatial sound processing unit 600 performs an interaction between the first sound and the second sound by using synchronization data according to each of the first and second spaces. For example, if the first space is outdoors and the second space is indoors, when moving from the first space to the second space, the volume of the outdoor sound may decrease and the sound may increase as it enters the room.

본 발명의 일 실시예에 따르면, 공간 사운드 처리부(600)는 사용자가 제1 공간 및 제2 공간 사이에 위치하는 경우, 사용자의 행동 패턴을 분석하고 각 행동 패턴에 따른 가중치를 부여하여 제1 공간 또는 제2 공간으로 인식하고, 그 공간에 따른 사운드를 출력할 수 있다. 공간 사운드 처리부(600)는 사용자가 이동하기 위한 목표 공간, 상기 사용자의 신체가 어느 공간에 위치하는지 여부에 가중치를 부여하여 제1 공간 또는 제2 공간으로 인식할 수 있다. 구체적으로, 사용자가 제1 공간에서 제2 공간으로 이동하는 도중 제1 공간 및 제2 공간 사이에 위치하는 경우 상기 사용자의 목표 공간은 제2 공간일 수 있으며, 제2 공간에 가중치를 부여할 수 있다. 또한, 사용자가 제1 공간 및 제2 공간 사이에 위치하는 경우, 사용자의 발, 손, 머리, 배 등의 신체 부위가 제1 공간과 제2 공간에 위치하는 정도에 가중치를 부여하고, 신체 부위 각각에도 가중치를 부여할 수 있다. 이에 따라, 공간 사운드 처리부(600)는 사용자가 제1 공간 및 제2 공간 사이에 위치하는 경우, 사용자의 목표 공간 및 신체 위치 여부에 가중치를 부여하여 제1 공간 또는 제2 공간으로 인식하여 그에 따른 사운드를 출력할 수 있다.According to an embodiment of the present invention, when the user is located between the first space and the second space, the spatial sound processing unit 600 analyzes the user's behavior pattern and assigns a weight according to each behavior pattern to the first space. Alternatively, the second space may be recognized and a sound according to the space may be output. The spatial sound processing unit 600 may recognize a first space or a second space by giving weight to a target space for the user to move and a space in which the user's body is located. Specifically, when the user is positioned between the first space and the second space while moving from the first space to the second space, the user's target space may be the second space, and a weight may be assigned to the second space. have. In addition, when the user is positioned between the first space and the second space, weight is given to the degree to which body parts such as the user's feet, hands, head, and stomach are positioned in the first space and the second space, Each can also be weighted. Accordingly, when the user is located between the first space and the second space, the spatial sound processing unit 600 recognizes the user as the first space or the second space by giving weight to whether the user's target space and body position are located between the first space and the second space. Sound can be output.

도 5는 본 발명의 일 실시예에 따른 출력 채널에 따른 상보적인 사운드 응용을 나타내는 도면이다.5 is a diagram illustrating a complementary sound application according to an output channel according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면, 사운드 인터렉션 시스템(20)은 양질의 사운드를 사용자에게 제공하기 위해 두 사운드 출력 체계를 상보적으로 사용하여 사운드의 연출을 제작할 수 있다.According to an embodiment of the present invention, the sound interaction system 20 can produce sound production by using the two sound output systems complementary to provide high-quality sound to the user.

구체적으로, 사운드 인터렉션 시스템(20)은 사용자가 스스로 대사를 외치는 지시음 1을 제1 출력 기기(510)를 통해 듣게 되며 주변의 바람 소리가 그에 협응하는 씬을 제작하여 이 둘을 다른 출력 채널에 배치하여 하나의 소리를 상보적으로 운용할 수 있다. Specifically, the sound interaction system 20 listens to the instruction sound 1 in which the user shouts his own lines through the first output device 510, creates a scene in which the sound of the surrounding wind responds thereto, and sends these two to another output channel. By placing one sound, it can be operated complementarily.

도 5의 (a)를 참조하면, 사운드 인터렉션 시스템(20)은 새소리 1이 제1 출력 기기(520)를 통해 출력되는 동안 일정 시간 후 새소리 1의 보정음을 출력하여 거리적으로 이격된 소리를 자연스럽게 표현하는 등 연출에 따라 제1 출력 기기(510) 및 제2 출력 기기(520)로 구현된 사운드 채널의 장점과 단점을 나누어 분리되어 이용하며 상보적으로 사용하여 하나의 출력 시스템처럼 느끼게 할 수 있다.Referring to (a) of FIG. 5 , the sound interaction system 20 outputs the correction sound of the bird sound 1 after a predetermined time while the bird sound 1 is output through the first output device 520 to produce a sound spaced apart by a distance. The advantages and disadvantages of the sound channel implemented by the first output device 510 and the second output device 520 can be divided and used separately and used complementary to make it feel like one output system according to the direction, such as natural expression. have.

예를 들어, 제1 출력 기기(510)는 나레이션, 지시음 1, 새소리 1을 제1 사운드로 출력할 수 있으며, 나레이션과 새소리 1이 중복되어 출력될 수 있다.For example, the first output device 510 may output the narration, the instruction sound 1, and the bird sound 1 as the first sound, and the narration and the bird sound 1 may be overlapped and output.

도 5의 (b)를 참조하면, 사운드 인터렉션 시스템(20)은 제1 출력 기기(510)를 통해 나레이션이 지속적으로 출력되며, 지시음 1이 출력된 후 일정 시간이 지난 후 소리 1이 출력되는 것을 확인할 수 있다. 이때, 제2 출력 기기(520)는 지시음 1에 따른 효과음과 소리 1의 보정음이 출력될 수 있다. 지시음 1에 따른 효과음은 제1 출력 기기(510)를 통해 지시음 1의 출력이 완료되는 경우 제2 출력 기기(520)에서 이어 출력될 수 있다. 또한, 소리 1의 보정음은 제1 출력 기기(510)를 통해 소리 1의 출력이 진행되며 일정 시간이 지난 후 제2 출력 기기(520)에서 이어 출력될 수 있으며, 제1 출력 기기(510)에서 출력되는 소리 1을 보정할 수 있다.Referring to (b) of FIG. 5 , the sound interaction system 20 continuously outputs narration through the first output device 510, and after a predetermined time has elapsed after the indication sound 1 is output, the sound 1 is output. that can be checked In this case, the second output device 520 may output an effect sound according to the indication sound 1 and a correction sound of the sound 1 . The sound effect according to the indication sound 1 may be continuously output from the second output device 520 when the output of the indication sound 1 is completed through the first output device 510 . In addition, the corrected sound of sound 1 is outputted through the first output device 510 and may be continuously output from the second output device 520 after a predetermined time has elapsed, and the first output device 510 . You can correct sound 1 output from .

도 5를 참조하면, 사운드 인터렉션 시스템(20)은 제1 출력 기기(510) 또는 제2 출력 기기(520) 각각에서 복수의 사운드가 중복되어 출력될 수 있으며, 2가지의 사운드가 출력되는 것으로 도시하였으나 반드시 이에 한정되는 것은 아니며 상황에 따라 복수의 사운드가 중복 병행되어 출력될 수 있다.Referring to FIG. 5 , in the sound interaction system 20 , a plurality of sounds may be overlapped and output from each of the first output device 510 or the second output device 520 , and two sounds are output. However, the present invention is not necessarily limited thereto, and a plurality of sounds may be overlapped and output in parallel depending on circumstances.

도 6은 본 발명의 일 실시예에 따른 공간 이동을 나타내는 도면이다.6 is a diagram illustrating spatial movement according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면, 사운드 인터렉션 시스템(20)의 공간 사운드 처리부(600)는 공간의 변화를 실시간으로 반영할 수 있다.According to an embodiment of the present invention, the spatial sound processing unit 600 of the sound interaction system 20 may reflect changes in space in real time.

사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 사운드 엔지니어가 일반적인 사운드 작업에 사용하는 가상의 공간을 만들어 실시간으로 플레이할 수 있다.The integrated control system 10 including the sound control system 20 can create a virtual space used by a sound engineer for general sound work and play it in real time.

도 6을 참조하면, 사운드 제어 시스템(20)을 포함하는 통합 제어 시스템(10)은 사용자가 공간을 이동하게 되면 재생되는 소리를 바꿔서 재생하는 것이 아니라 효과를 거쳐서 동일한 사운드를 실시간으로 변화시킬 수 있다.Referring to FIG. 6 , the integrated control system 10 including the sound control system 20 can change the same sound in real time through an effect, rather than changing the reproduced sound when the user moves through the space. .

예를 들어, 사운드 제어 시스템(20)은 사용자가 야외의 공간을 나타내는 제1 공간에서 실내의 공간을 나타내는 제2 공간으로 이동하는 경우 외부의 바람소리와 새소리들은 볼륨이 작아지게 되고 직접음 보다 멀리서 간접음이 더 많이 들리는 방식으로 소리가 변환할 수 있다. 또한, 사운드 제어 시스템(20)은 야외의 제1 공간에서 실내의 제2 공간으로 이동함에 따라 발자국 소리가 더 크고 울림을 가지도록 사용자에게 전달할 수 있다.For example, in the sound control system 20, when the user moves from a first space representing an outdoor space to a second space representing an indoor space, the volume of external wind sounds and birdsongs becomes smaller and the sound is farther away than the direct sound. Sound can transform in such a way that indirect sounds are more audible. Also, as the sound control system 20 moves from the first outdoor space to the second indoor space, the sound of the footsteps may be transmitted to the user in such a way that it becomes louder and reverberates.

본 발명의 일 실시예에 따르면, 사운드 제어 시스템(20)은 오디오 엔지니어가 관장하는 사운드 서버가 거쳐 소리가 나게 되므로 개발자는 공간에 대한 세팅값을 전송해준다는 코딩만 진행하면 되고 이후에는 사운드 엔지니어가 사운드에 대한 모든 부분을 자신이 익숙한 소프트웨어를 사용하여 사운드를 제적할 수 있다. 여기서, 소프트웨어는 VST 프로그램 중 하나인 altiverb일 수 있으며, 반드시 이에 한정되는 것은 아니다.According to an embodiment of the present invention, the sound control system 20 goes through the sound server managed by the audio engineer, so the developer only needs to proceed with coding that transmits the setting values for the space, and then the sound engineer You can weave all parts of the sound using the software you are familiar with. Here, the software may be altiverb, which is one of the VST programs, but is not necessarily limited thereto.

구체적으로, 기존에 공간이 변화하는 경우에는 Time_Attack, Delay, EQ, Volume 등이 변화할 수 있다. 예를 들어 Time_Attack은 40에서 10으로, Delay는 3에서 300으로, EQ는 0,0,0에서 0,0,-30으로, Volume은 -10에서 -30으로 변화될 수 있다. 사운드 제어 시스템(20)은 상술한 값들을 각각 변화시키는 것이 아니고, 엔지니어가 세팅한 사운드 세팅1(tag(Stage1BGReverb_out))에서 엔지니어가 세팅한 사운드 세팅2(tag(Stage1BGReverb_theater))로 변화시킬 수 있다.Specifically, when the existing space is changed, Time_Attack, Delay, EQ, Volume, etc. may change. For example, Time_Attack can be changed from 40 to 10, Delay from 3 to 300, EQ from 0,0,0 to 0,0,-30, and Volume from -10 to -30. The sound control system 20 does not change each of the above-described values, but may change from sound setting 1 (tag(Stage1BGReverb_out)) set by the engineer to sound setting 2 (tag(Stage1BGReverb_theater)) set by the engineer.

도 7 및 도 8은 본 발명의 일 실시예에 따른 VR을 참여하는 사용자를 바라보는 다른 사용자를 위한 사운드를 나타내는 도면이다.7 and 8 are diagrams illustrating sounds for other users looking at the user participating in VR according to an embodiment of the present invention.

도 7 및 도 8은 사용자를 바라보는 사용자'를 위한 사운드 연출을 나타내는 도면으로, VR을 참여하고 있는 사용자와 VR을 참여하고 있는 사용자를 구경하는 사용자'로 구분되어 출력될 수 있다.7 and 8 are diagrams illustrating sound production for a user who looks at the user, and may be divided into a user participating in VR and a user watching the user participating in VR.

제1 출력 기기(510)는 VR을 참여하고 있는 사용자(12)에게만 들리게될 수 있다. 대사, 비프음 등을 골전도에 위치시켜 제작하게 되면 VR을 참여하는 것은 바라보는 사용자'(14)의 경험을 새롭게 제작할 수 있다. 체험 내용의 보안을 지킴과 동시에 VR을 사용하는 사용자(12)를 바라보는 사용자'(14)를 새로운 시나리오 경험에 추가할 수 있다.The first output device 510 can only be heard by the user 12 participating in VR. If dialogues, beeps, etc. are placed in bone conduction and produced, participating in VR can create a new experience for the viewing user (14). While protecting the security of the experience content, the user 14 looking at the user 12 using VR can be added to the new scenario experience.

구체적으로, VR을 참여하고 있는 사용자(12)는 제1 출력 기기(510) 및 제2 출력 기기(520)를 통해 출력되는 제1 사운드 및 제2 사운드를 모두 들을 수 있으며, VR을 참여하고 있는 사용자(12)를 바라보는 사용자'(14)는 제2 출력 기기(520)를 통해 출력되는 제2 사운드만 들을 수 있다.Specifically, the user 12 participating in VR can hear both the first sound and the second sound output through the first output device 510 and the second output device 520, and The user 14 looking at the user 12 may hear only the second sound output through the second output device 520 .

VR은 소수의 컴퓨터에 제한적인 사람이 참여하게 되는 컨텐츠로서, 그에 따라 참여하는 사용자(12)를 구경하는 사용자'(14)로서의 대기 인원이 발생할 수 있다.VR is content in which a limited number of people participate in a small number of computers, and accordingly, a waiting number as a user '14 watching the participating user 12 may occur.

VR을 참여하고 있는 사용자(12)가 위치하는 영역은 제1 출력 기기(510)와 제2 출력 기기(520)를 통해 제1 사운드 및 제2 사운드가 동시에 출력되는 구역이다. VR을 참여하고 있는 사용자(12)를 구경하는 사용자'(14)가 위치하는 영역은 사용자(12)를 바라보며 제2 출력 기기(520)를 통해 출력되는 제2 사운드만 들을 수 있는 구역이다.The region in which the user 12 participating in VR is located is an area in which the first sound and the second sound are simultaneously output through the first output device 510 and the second output device 520 . The area where the user 14 watching the user 12 participating in VR is located is an area in which only the second sound output through the second output device 520 can be heard while looking at the user 12 .

따라서, 사운드 제어 시스템(20)은 제1 출력 기기(510)와 제2 출력 기기(520)를 사용하여 소리가 새는 환경에서의 플레이어의 보안성을 높이고 대기중인 사용자'가 집중하여 가상 환경을 체험할 수 있게 할 수 있다.Accordingly, the sound control system 20 uses the first output device 510 and the second output device 520 to increase the security of the player in an environment in which a sound is leaking, and a waiting user's concentration to experience the virtual environment. can make it possible

사운드 제어 시스템(20)은 제1 출력 기기(510)에 의해 출력되는 제1 사운드가 들리는 골전도 영역과 제2 출력 기기(520)에 의해 출력되는 제2 사운드가 들리는 서라운드 영역으로 구현될 수 있다.The sound control system 20 may be implemented as a bone conduction region in which the first sound output by the first output device 510 is heard and a surround region in which the second sound output by the second output device 520 is heard. .

구체적으로, 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)을 통해 콘텐츠를 이용하는 사용자(12)만 들을 수 있는 영역과 사용자(12)뿐만 아니라 사용자(12)를 구경하는 사용자'(14)도 들을 수 있는 영역을 나타낸다. 구체적으로, 사운드 인터렉션 시스템(20)은 직접적인 사용자(12)만 정보를 들을 수 있으므로 정보를 선택적으로 출력할 수 있으며, 사용자(12)를 포함하여 사용자(12)를 바라보는 대기하는 사용자'(14)까지 들을 수 있는 영역이다. 사용자(12)는 VR을 체험하는 체험자일 수 있으며, 사용자'(14)는 대기자일 수 있다.Specifically, through the integrated control system 10 including the sound interaction system 20, an area that can only be heard by the user 12 using the content and the user 12 as well as the user watching the user 12' 14 ) also represents the audible area. Specifically, the sound interaction system 20 can selectively output information because only the direct user 12 can hear the information, and the waiting users including the user 12 looking at the user 12' 14 ) can be heard. The user 12 may be a person experiencing VR, and the user 14 may be a waiting person.

예를 들어 사용자(12)는 정보의 보안이 중요한 내용으로 사용자'(14)가 내용을 미리 알게되면 안되는 부분, 나레이션, 효과음 등이 출력된 사운드를 들을 수 있으며, 사용자'(14)는 전체적인 분위기를 전달하여 대기 인원에게 궁금증을 자아내는 배경음, 배경 음악, 기본적인 전제가 되는 대사 등이 출력된 사운드를 들을 수 있다.For example, the user 12 can listen to the output sound of the part, narration, sound effect, etc. that the user '14 should not know in advance as the security of information is important, and the user' 14 is the overall atmosphere. You can listen to the output sound of background sound, background music, and basic premise lines that arouse curiosity in the waiting personnel.

사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)은 소수의 프로세서를 통해 제한적인 사람이 참여하는 콘텐츠로서, 콘텐츠를 이용하는 사용자와 사용자를 보는 사람에 의해 구현될 수 있다. 사용자를 보는 사람은 사운드 인터렉션 시스템(20)을 포함하는 통합 제어 시스템(10)을 사용하기 위해 대기하는 사람이다.The integrated control system 10 including the sound interaction system 20 is content in which a limited number of people participate through a small number of processors, and may be implemented by a user using the content and a person viewing the user. The person viewing the user is the person waiting to use the integrated control system 10 including the sound interaction system 20 .

사용자는 제1 출력 기기(510) 및 제2 출력 기기(520)에서 출력되는 사운드를 모두 들을 수 있으며, 대기하는 사람은 제2 출력 기기(520)에서 출력되는 사운드만 들을 수 있다. 이에 따라 제1 영역에서는 소리가 새는 환경에서의 플레이어의 보안성을 높이고, 제2 영역에서는 대기하는 사람이 집중할 수 있도록 할 수 있다.The user may hear both the sound output from the first output device 510 and the second output device 520 , and the waiting person may only hear the sound output from the second output device 520 . Accordingly, in the first area, it is possible to increase the security of the player in an environment in which a sound is leaking, and in the second area, it is possible to allow a waiting person to concentrate.

본 발명의 일 실시예에 따르면, 사운드 인터렉션 시스템(20)은 소리가 외부에서 내부로 전달되는 경우 제2 출력 기기(520)를 통해 먼거리에서 출발한 소리는 근접하지만 제2 출력 기기(520)의 한계로 인해 음원의 표현 한계인 서라운드 영역에서 멈출 수 있으며, 외부에서 내부로 전달되는 소리를 지속적으로 전달시키기 위해서 제1 출력 기기(510)를 사용하여 동일하게 연속적인 소리를 골전도 영역에서 표현하여 자연스럽게 하나의 소리로 인식시킬 수 있다.According to an embodiment of the present invention, when the sound is transmitted from the outside to the inside, in the sound interaction system 20 , the sound originating from a distance through the second output device 520 is close to the sound of the second output device 520 . Due to the limitation, it can stop in the surround region, which is the limit of expression of the sound source, and in order to continuously deliver the sound transmitted from the outside to the inside, the same continuous sound is expressed in the bone conduction region using the first output device 510. Naturally, it can be recognized as a single sound.

예를 들어, 서라운드 영역은 전체적인 분위기를 전달하여 대기인원에게 궁금증을 자아내는 배경음, 배경 음악, 기본적인 전제가 되는 대사 등이 출력될 수 있다. 골전도 영역은 체험자의 내용을 미리 알게되면 안되는 부분으로 정보의 보안이 중요한 내용, 나레이션, 효과음 등이 출력될 수 있다.For example, in the surround area, a background sound, background music, basic premise lines, etc. that convey the overall atmosphere and arouse curiosity to the waiting people may be output. The bone conduction area is a part where the content of the experiencer should not be known in advance, and information security is important, narration, sound effects, etc. may be output.

구체적으로 사운드 인터렉션 시스템(20)은 이동하는 소리를 제1 출력 영역(510) 및 제2 출력 영역(520)으로 나누어 출력할 수 있다. 소리의 이동 경로는 외재적 사운드에서 내재적 사운드 또는 장거리 소리 표현에서 근거리 소리 표현으로 이동할 수 있다. 여기서, 사운드 인터렉션 시스템(20)은 저음 재생을 일정하게 유지할 수 있으며 두가지 출력 시스템에서 나누어 소리가 재생되지만 동일한 저음을 통해 사용자가 하나의 사운드로 두 소리를 인식시켜 주는데 도움을 줄 수 있다.In more detail, the sound interaction system 20 may divide the moving sound into a first output area 510 and a second output area 520 and output the divided sound. The movement path of a sound may move from an extrinsic sound to an intrinsic sound or from a long-range sound expression to a near-field sound expression. Here, the sound interaction system 20 can constantly maintain the reproduction of the low tone, and the sound is reproduced in two output systems, but it can help the user to recognize the two sounds as one sound through the same low tone.

또한, 골전도 이어폰의 특성상 저음 표현이 효과적이지 않고 피부의 진동으로 변할 수 있다. 따라서, 사운드 인터렉션 시스템(20)은 90hz 이하의 음역대를 골전도 이어폰에서 삭제시켜 재생하게 되므로 사용 시 불편한 진동을 제거할 수 있다.In addition, due to the characteristics of the bone conduction earphone, the low-pitched sound expression is not effective and may change to vibration of the skin. Therefore, since the sound interaction system 20 deletes and reproduces the sound range of 90hz or less from the bone conduction earphone, it is possible to remove uncomfortable vibrations during use.

따라서, 사운드 인터렉션 시스템(20)은 제1 출력 기기(510) 및 제2 출력 기기(520)의 병용으로 거리감을 향상시키고, 음역대를 분리하여 재생하게 되므로 진동으로 인한 효과적인 불편함을 제거한 상태에서 좋은 음질을 사용자에게 제공할 수 있다.Therefore, the sound interaction system 20 improves the sense of distance by using the first output device 510 and the second output device 520 in combination, and reproduces the sound bands separately, so it is good in a state that effectively eliminates inconvenience caused by vibration. Sound quality can be provided to the user.

도 8을 참조하면, 사운드 인터렉션 시스템(20)은 일반적인 VR과 다르게 제1 사운드 제어부(320)와 연동된 제1 출력 기기(510) 및 제2 사운드 제어부(400)와 연동된 제2 출력 기기(520)를 동시에 사용하여 사운드를 선택적으로 출력할 수 있다.Referring to FIG. 8 , the sound interaction system 20 includes a first output device 510 interlocked with the first sound control unit 320 and a second output device interlocking with the second sound control unit 400 differently from a general VR ( 520) can be used to selectively output sound.

도 9 및 도 10은 본 발명의 일 실시예에 따른 사운드 인터렉션 방법을 나타내는 도면이다. 사운드 제어 방법은 사운드 인터렉션 시스템에 의하여 수행될 수 있으며, 사운드 인터렉션 시스템이 수행하는 동작 및 방법에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.9 and 10 are diagrams illustrating a sound interaction method according to an embodiment of the present invention. The sound control method may be performed by the sound interaction system, and detailed descriptions of operations and methods performed by the sound interaction system will be omitted.

메인 제어부가, 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션에 따라 제1 사운드를 제어하는 단계(S910), 제2 사운드 제어부가, 메인 제어부에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어하는 단계(S920) 및 공간 사운드 처리부가, 사용자가 공간을 이동하는 경우, 동기화 데이터를 기반으로 제1 사운드 및 제2 사운드간의 인터렉션을 제어하는 단계(S930)를 포함한다.The main controller generates content and generates synchronization data for each content to control the first sound according to the user's motion (S910), the second sound controller receives the synchronization data from the main controller, the synchronization data and Controlling the second sound based on the pre-stored sound (S920) and the spatial sound processing unit controlling the interaction between the first sound and the second sound based on the synchronization data when the user moves through the space (S930) ) is included.

사용자가 공간을 이동하는 경우, 동기화 데이터를 기반으로 제1 사운드 및 제2 사운드간의 인터렉션을 제어하는 단계(S930)는 도 10을 참조하여 자세히 설명한다.When the user moves in space, the step of controlling the interaction between the first sound and the second sound based on the synchronization data ( S930 ) will be described in detail with reference to FIG. 10 .

사용자가 공간을 이동하는 경우, 동기화 데이터를 기반으로 제1 사운드 및 제2 사운드간의 인터렉션을 제어하는 단계(S930)는 사용자의 공간 이동 여부를 확인한다(S932). 여기서, 공간 이동은 VR 게임 내의 장소 이동으로서 예를 들어 운동장에서 학교 안과 같이 사용자의 움직임에 따라 장소가 변화되는 것을 의미한다.When the user moves through the space, controlling the interaction between the first sound and the second sound based on the synchronization data (S930) checks whether the user moves through the space (S932). Here, the spatial movement is a movement of a place in a VR game, and means that the place is changed according to the movement of the user, for example, in a playground or in a school.

사용자가 공간 이동을 할 경우, 사용자가 공간을 이동하는 경우, 동기화 데이터를 기반으로 제1 사운드 및 제2 사운드간의 인터렉션을 제어하는 단계(S930)는 사용자의 공간의 이동에 따른 현재 장소 정보를 획득하고, 장소에 대응하는 초기 사운드 데이터를 획득하는 단계(S934), 초기 사운드 데이터에 따른 사운드 조정 정보를 생성하는 단계(S936) 및 제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)를 포함한다.When the user moves in space, when the user moves in space, the step of controlling the interaction between the first sound and the second sound based on the synchronization data (S930) is to obtain information about the current place according to the movement of the user's space. and obtaining initial sound data corresponding to the place (S934), generating sound adjustment information according to the initial sound data (S936), and applying the sound adjustment information to the first sound and the second sound to obtain the first sound or adjusting the second sound (S938).

사용자의 모션 또는 공간의 이동에 따른 장소 별 사운드를 인식하는 단계(S934)는 메인 제어부를 통해 상기 사용자의 이동에 따라 변화하는 공간을 인식하여 장소의 특징을 표현하도록 구현된 장소 별 사운드를 인식한다.Recognizing the sound for each place according to the user's motion or movement of space (S934) recognizes the sound for each place implemented to express the characteristics of the place by recognizing the space that changes according to the movement of the user through the main controller. .

인식된 장소 별 사운드에 따라 제1 사운드 및 제2 사운드의 사운드 정보를 생성하는 단계(S936)는 제1 사운드 및 제2 사운드 각각에 초기 사운드 데이터를 적용하여 제1 사운드 및 제2 사운드를 조정하기 위한 사운드 조정 정보를 생성할 수 있다.In the step of generating sound information of the first sound and the second sound according to the recognized sound for each place (S936), the first sound and the second sound are adjusted by applying the initial sound data to each of the first sound and the second sound. You can create sound adjustment information for

제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)는 사용자가 공간을 이동함에 따라 제1 사운드 및 제2 사운드에 사운드 정보를 적용하여 인식된 장소 별 사운드에 따른 울림 또는 볼륨을 조절한다.The step of adjusting the first sound or the second sound by applying the sound adjustment information to the first sound and the second sound ( S938 ) is recognized by applying the sound information to the first sound and the second sound as the user moves in space. Adjust the sound or volume according to the sound of each location.

제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)는 사용자가 제1 공간에서 제2 공간으로 이동하는 경우, 제1 공간의 사운드의 볼륨을 점진적으로 낮추고, 제2 공간의 사운드의 볼륨을 점진적으로 향상시키며, 직접음 보다 간접음이 더 많이 들리도록 볼륨을 조절하여 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현한다.In the step of adjusting the first sound or the second sound by applying the sound adjustment information to the first sound and the second sound (S938), when the user moves from the first space to the second space, the volume of the sound in the first space is gradually lowered, the volume of the sound in the second space is gradually increased, and the volume is adjusted so that an indirect sound is heard more than a direct sound, so that the first sound and the second sound are recognized as one sound.

제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)는 음향 출력 장치에 의해 제1 사운드가 출력되는 영역과 제2 사운드가 출력되는 영역이 서로 상이함에 따라 제1 사운드 및 제2 사운드에 동일한 저음을 재생시켜 제1 사운드 및 제2 사운드가 하나의 사운드로 인식되도록 구현할 수 있다.In the step of adjusting the first sound or the second sound by applying the sound adjustment information to the first sound and the second sound (S938), the region where the first sound is output and the region where the second sound is output are divided by the sound output device. As they are different from each other, the same low tone may be reproduced in the first sound and the second sound so that the first sound and the second sound are recognized as one sound.

제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)는 제1 사운드 중 90hz 이하의 음역대로 구성된 사운드를 제거하여 출력할 수 있다.The step of adjusting the first sound or the second sound by applying the sound adjustment information to the first sound and the second sound ( S938 ) may be output by removing a sound composed of a sound range of 90hz or less among the first sound.

제1 사운드 및 제2 사운드에 사운드 조정 정보를 적용하여 제1 사운드 또는 제2 사운드를 조절하는 단계(S938)는 사운드 정보 생성부를 통해 생성된 사운드 조정 정보를 기반으로 제1 사운드의 보정음 또는 제1 사운드에 따른 효과음을 제2 사운드로 출력하여 이격된 소리를 표현할 수 있다.The step of adjusting the first sound or the second sound by applying the sound adjustment information to the first sound and the second sound (S938) is a correction sound or a second sound of the first sound based on the sound adjustment information generated through the sound information generating unit. The sound effect according to the first sound may be output as the second sound to express the separated sound.

도 9 및 도 10에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 9 및 도 10에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능하다.Although it is described that each process is sequentially executed in FIGS. 9 and 10, this is only an exemplary description, and those skilled in the art are shown in FIGS. It is possible to apply various modifications and variations by changing the order described, executing one or more processes in parallel, or adding other processes.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.The operations according to the present embodiments may be implemented in the form of program instructions that can be performed through various computer means and recorded in a computer-readable medium. Computer-readable media refers to any medium that participates in providing instructions to a processor for execution. Computer-readable media may include program instructions, data files, data structures, or a combination thereof. For example, there may be a magnetic medium, an optical recording medium, a memory, and the like. A computer program may be distributed over a networked computer system so that computer readable code is stored and executed in a distributed manner. Functional programs, codes, and code segments for implementing the present embodiment may be easily inferred by programmers in the technical field to which the present embodiment pertains.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The present embodiments are for explaining the technical idea of the present embodiment, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present embodiment.

10: 통합 제어 시스템
20:　사운드 인터렉션 시스템
100: 콘텐츠 구동 장치
200: 센서부
300: 메인 제어부
400: 제2 사운드 제어부
500: 음향 출력 장치
600: 공간 사운드 처리부10: Integrated control system
20: sound interaction system
100: content driving device
200: sensor unit
300: main control unit
400: second sound control unit
500: sound output device
600: spatial sound processing unit

Claims

A sound interaction system interworking with a sound output device including at least one output device, the sound interaction system comprising:
a main controller for generating content and generating synchronization data for each content to control a first sound according to a user's motion or movement of space;
a second sound control unit receiving the synchronization data from the main control unit and controlling a second sound based on the synchronization data and a pre-stored sound; and
and a spatial sound processing unit controlling an interaction between the first sound and the second sound based on the synchronization data when the user moves through space;
The spatial sound processing unit may include: a place recognition unit configured to obtain current place information according to the movement of the user's space, and to obtain initial sound data corresponding to the place; a sound information generation unit generating sound adjustment information according to the initial sound data; and a sound adjusting unit configured to adjust the first sound or the second sound by applying the sound adjustment information to the first sound and the second sound,
The sound information generating unit is, when the user moves from the first space to the second space and is located between the first space and the second space, (i) sets the second space as the user's target space, A weight is given to the target space, and (ii) the degree to which the user's body part is positioned in the first space and the second space or the degree to which the user's body part is positioned in the first space or the second space for each body part The sound interaction system according to claim 1, wherein the sound adjustment information is generated so as to output the sound according to the first space or the second space by assigning a weight according to the recognition as the first space or the second space.

delete

According to claim 1,
The place recognition unit,
Acquire initial sound data expressing the characteristics of a place by recognizing a space that changes according to the movement of the user through the main control unit,
The sound information generating unit generates the sound adjustment information for adjusting the first sound and the second sound by applying the initial sound data to each of the first sound and the second sound. .

According to claim 1,
The synchronization data is
A plurality of places that change in the content based on the user's motion according to the direction, location, and coordinates of the user's movement,
The sound interaction system, characterized in that each of the first sound and the second sound generated through the sound information generator includes at least one of a scene number, an indication sound, a background sound, or an effect sound for each of the plurality of places.

According to claim 1,
The sound control unit,
As the user moves through space, applying the sound adjustment information to the first sound and the second sound to adjust the resonance or volume of the first sound and the second sound according to a recognized place,
When the user moves from the first space to the second space, the sound control unit gradually lowers the volume of the sound in the first space and gradually increases the volume of the sound in the second space, A sound interaction system, characterized in that the volume is adjusted so that more indirect sounds are heard.

According to claim 1,
The sound control unit,
Adjusting the first sound and the second sound to output the same low-pitched sound as the region where the first sound is output and the region where the second sound is output are different from each other by the sound output device,
The sound interaction system, characterized in that for outputting the sound control unit to remove the sound composed of the sound range of 90hz or less of the first sound.

According to claim 1,
The sound control unit,
Sound interaction, characterized in that based on the sound adjustment information generated through the sound information generating unit, outputting a correction sound of the first sound or an effect sound according to the first sound as the second sound to express a more spaced sound system.

According to claim 1,
The sound output device,
A first output device implemented as a bone conduction earphone and a second output device implemented as a surround speaker,
The first output device outputs the first sound interacted with at least one of a sound effect, narration, and supplementary content of the content,
The second output device comprises at least a background sound and dialogue of the content, and outputs the interacted second sound.

According to claim 1,
The space is
A sound interaction system, characterized in that the user's location is recognized and recognized through a sensor for recognizing the location of the content driving device worn by the user.

A sound interaction method by a sound interaction system interworking with a sound output device including at least one output device, the method comprising:
generating, by the main controller, content and generating synchronization data for each content to control a first sound according to a user's motion or movement of space;
receiving, by a second sound controller, the synchronization data from the main controller, and controlling a second sound based on the synchronization data and a pre-stored sound; and
Comprising the step of a spatial sound processing unit, when the user moves in space, controlling an interaction between the first sound and the second sound based on the synchronization data,
The controlling of the interaction between the first sound and the second sound may include: acquiring current place information according to the movement of the user's space, and acquiring initial sound data corresponding to the place; generating sound adjustment information according to the initial sound data; and adjusting the first sound or the second sound by applying the sound adjustment information to the first sound and the second sound,
The generating of the sound adjustment information may include: (i) setting the second space as a target of the user when the user is located between the first space and the second space when moving from the first space to the second space setting a space to give weight to the target space, and (ii) the degree to which the user's body part is located in the first space and the second space, respectively, or the first space or the second space for each body part It is characterized in that the sound adjustment information is generated so as to give weight according to the degree of location in How to interact with sound.

delete

11. The method of claim 10,
Obtaining the initial sound data includes:
Acquire initial sound data expressing the characteristics of a place by recognizing a space that changes according to the movement of the user through the main control unit,
The generating of the sound adjustment information comprises generating the sound adjustment information for adjusting the first sound and the second sound by applying the initial sound data to each of the first sound and the second sound. How to do sound interaction.

11. The method of claim 10,
The step of adjusting the first sound or the second sound,
As the user moves through space, applying the sound adjustment information to the first sound and the second sound to adjust the resonance or volume of the first sound and the second sound according to a recognized place,
The adjusting of the first sound or the second sound may include, when the user moves from the first space to the second space, gradually lowering the volume of the sound of the first space, and the sound of the second space. A sound interaction method, characterized in that by gradually increasing the volume of the sound, and adjusting the volume so that indirect sounds are heard more than direct sounds.

14. The method of claim 13,
The step of adjusting the first sound or the second sound,
Adjusting the first sound and the second sound to output the same low-pitched sound as the region where the first sound is output and the region where the second sound is output are different from each other by the sound output device,
The step of adjusting the first sound or the second sound is a sound interaction method, characterized in that the output by removing a sound composed of a sound range of 90 hz or less from among the first sound.

11. The method of claim 10,
The step of adjusting the first sound or the second sound,
Based on the sound adjustment information generated through the step of generating the sound adjustment information, a correction sound of the first sound or an effect sound according to the first sound is output as the second sound to express a spaced sound How to do sound interaction.

a content driving device that implements content through an HMD and controls the content according to the user's movement by a controller worn on the user's hand;
a sensor unit for recognizing a direction, position, and coordinates in which the content is used, and detecting a motion according to the user's movement through the HMD or the controller within the recognized range;
a sound output device including at least one output device to provide a sound of the content to the user;
a main control unit for generating the content, generating synchronization data for each content, and controlling a first sound according to the motion;
a second sound control unit receiving the synchronization data from the main control unit and controlling a second sound based on the synchronization data and a pre-stored sound; and
and a spatial sound processing unit controlling an interaction between the first sound and the second sound based on the synchronization data when the user moves through space;
The spatial sound processing unit may include: a place recognition unit configured to obtain current place information according to the movement of the user's space, and to obtain initial sound data corresponding to the place; a sound information generation unit generating sound adjustment information according to the initial sound data; and a sound adjusting unit configured to adjust the first sound or the second sound by applying the sound adjustment information to the first sound and the second sound,
The sound information generating unit is, when the user moves from the first space to the second space and is located between the first space and the second space, (i) sets the second space as the user's target space, weight is given to the target space; The integrated control system according to claim 1, wherein the sound adjustment information is generated so as to recognize the first space or the second space by assigning a weight according to , and output the sound according to the recognized first space or the second space.