KR102610825B1

KR102610825B1 - Tangible sound object system that can track object position through sound parallel output

Info

Publication number: KR102610825B1
Application number: KR1020220028198A
Authority: KR
Inventors: 이현진; 김호남; 홍광민
Original assignee: 연세대학교 산학협력단
Priority date: 2022-03-04
Filing date: 2022-03-04
Publication date: 2023-12-05
Also published as: KR20230130955A

Abstract

본 실시예들은 위치 추적이 가능한 트래커와 음향 기기를 결합시켜 소리와 위치를 동기화시키며, 소리가 나는 물건 자체에서 소리가 발생하므로 사용자는 정확하게 사운드로서의 대상을 인식할 수 있고, 가상현실 구현 프로세스 상에서 직접 만져볼 수 있는 오브젝트에 사운드를 결합하여 촉각적으로 소리가 나는 물건을 집고 움직임을 통해 위치감을 향상시키고 가상현실 공간에서 생겨나는 시각과 청각의 어색함을 해소할 수 있는 텐저블 사운드 출력 시스템을 제공한다.These embodiments synchronize sound and location by combining a tracker capable of location tracking and an audio device, and since the sound is generated from the sound-producing object itself, the user can accurately recognize the object as a sound, and directly in the virtual reality implementation process. By combining sound with tangible objects, it provides a tactile sound output system that improves the sense of position through tactile movement and picking up objects that produce sound, and can resolve the visual and auditory awkwardness that arises in virtual reality spaces. .

Description

TANGIBLE SOUND OBJECT SYSTEM THAT CAN TRACK OBJECT POSITION THROUGH SOUND PARALLEL OUTPUT} capable of position tracking through parallel sound output

본 발명이 속하는 기술 분야는 위치 추적이 가능한 텐저블 사운드 오브젝트를 통해 거리감을 확보하는 사운드 출력 시스템 및 방법에 관한 것이다. The technical field to which the present invention belongs relates to a sound output system and method that secures a sense of distance through a tenable sound object capable of position tracking.

특허문헌1 및 특허문헌2는 멀티 채널 서라운드 사운드와 골전도 이어폰을 이용하여 음장감을 확대시키는 사운드 시스템이다. 멀티 채널 서라운드 사운드와 골전도 이어폰의 단점을 보완하여 몰입감 있는 현장감을 사용자에게 제공한다.Patent Document 1 and Patent Document 2 are sound systems that expand the sound field using multi-channel surround sound and bone conduction earphones. It complements the shortcomings of multi-channel surround sound and bone conduction earphones, providing users with an immersive sense of realism.

특허문헌1 및 특허문헌2는 사용자의 내부와 외부(외부 스피커 선상)에 소리를 위치시키는 것이 가능하지만 두 소리 공간 사이의 채워지지 않는 공간이 여전히 존재한다. 골전도 헤드폰과 서라운드 시스템의 동기화를 통하여 소리의 방향성은 알려줄 수 있지만 거리감에서는 부족한 부분이 존재하게 된다. VR(Virtual Reality) 화면의 스크린 장치로 시각 측면을 보완할 수 있지만 소리 측면에서는 여전히 이질감이 생긴다.Patent Document 1 and Patent Document 2 enable sound to be placed inside and outside the user (on the external speaker line), but there is still an unfilled space between the two sound spaces. Through synchronization of bone conduction headphones and a surround system, the direction of sound can be indicated, but there is a lack of distance. Although the visual aspect can be supplemented with a VR (Virtual Reality) screen device, there is still a sense of heterogeneity in the sound aspect.

한국공개특허공보 제10-2021-0130486호 (2021.11.01)Korean Patent Publication No. 10-2021-0130486 (2021.11.01) 한국공개특허공보 제10-2021-0133601호 (2021.11.08)Korea Patent Publication No. 10-2021-0133601 (2021.11.08)

본 발명의 실시예들은 위치 추적이 가능한 트래커와 사운드 시스템을 결합시켜 소리와 위치를 동기화시키는 텐저블 사운드 시스템에 관한 것으로 소리가 나는 물건 자체에서 소리가 발생하므로 사용자는 정확하게 사운드로서의 대상을 인식할 수 있고, 가상현실 구현 프로세스 상에서 직접 만져볼 수 있는 오브젝트에 스피커를 결합하여 촉각적으로 소리가 나는 물건을 집고 움직임을 통해 위치감을 향상시키고 가상현실 공간에서 생겨나는 시각과 청각의 어색함을 해소하는데 주된 목적이 있다.Embodiments of the present invention relate to a tenable sound system that synchronizes sound and location by combining a tracker capable of location tracking and a sound system. Since the sound is generated from the sound-producing object itself, the user can accurately recognize the object as a sound. The main purpose is to combine speakers with objects that can be touched directly in the virtual reality implementation process to improve the sense of position by tactilely picking up and moving objects that produce sound, and to resolve the awkwardness of sight and hearing that arises in virtual reality space. There is.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other unspecified objects of the present invention can be additionally considered within the scope that can be easily inferred from the following detailed description and its effects.

본 실시예의 일 측면에 의하면 텐저블 사운드 출력 시스템에 의한 텐저블 사운드 출력 방법에 있어서, 디스플레이 장치를 통해 콘텐츠를 제공하는 단계; 상기 디스플레이 장치와 별도로 착용 가능한 제1 출력 기기를 통해 제1 소리 공간을 형성하는 단계; 상기 제1 출력 기기로부터 이격되어 주변에 설치된 제2 출력 기기를 통해 소리 공백 영역을 갖는 제2 소리 공간을 형성하는 단계; 상기 제2 소리 공간의 소리 공백 영역보다 상기 제1 소리 공간의 크기가 작아서 커버되지 않는 제3 소리 공간을 형성하는 단계; 상기 제1 출력 기기를 통해 상기 제1 소리 공간에 제1 사운드를 출력하는 단계; 상기 제2 출력 기기를 통해 상기 제2 소리 공간에 제2 사운드를 출력하는 단계; 상기 디스플레이 장치와 통신하며 사용자 인터페이스를 제공하는 컨트롤러에 결합된 제3 출력 기기를 통해 제3 사운드를 출력하는 단계를 포함하는 텐저블 사운드 출력 방법을 제공한다.According to one aspect of the present embodiment, a method of outputting tentable sound by a tentable sound output system includes providing content through a display device; forming a first sound space through a first output device that can be worn separately from the display device; forming a second sound space having a sound blank area through a second output device installed nearby and away from the first output device; forming a third sound space that is not covered because the size of the first sound space is smaller than the sound blank area of the second sound space; outputting a first sound to the first sound space through the first output device; outputting a second sound to the second sound space through the second output device; Provided is a tenable sound output method including the step of outputting a third sound through a third output device coupled to a controller that communicates with the display device and provides a user interface.

상기 제3 사운드를 출력하는 단계는, 상기 콘텐츠에 포함된 복수의 오브젝트 중에서 상기 컨트롤러에 의해 선택된 일부 오브젝트와 인터랙션하는 타이밍에 상기 제3 출력 기기에서 상기 제3 사운드를 출력할 수 있다.In the step of outputting the third sound, the third sound may be output from the third output device at the timing of interaction with some objects selected by the controller among a plurality of objects included in the content.

상기 제3 사운드를 출력하는 단계는, 상기 컨트롤러에 의해 상기 일부 오브젝트의 위치를 추적하여 상기 일부 오브젝트의 시각적 움직임에 동기화된 상기 제3 사운드를 추적하는 시간 동안 출력할 수 있다.In the step of outputting the third sound, the position of the partial object may be tracked by the controller and the third sound synchronized with the visual movement of the partial object may be output during the tracking time.

상기 콘텐츠를 제공하는 단계는 상기 디스플레이 장치를 통해 상기 일부 오브젝트를 상기 제3 소리 공간에 매칭하는 위치에 출력하고, 상기 제 2 사운드를 출력하는 단계는 상기 일부 오프젝트가 상기 컨트롤러에 의해 인터랙션하기 전까지는 상기 제3 소리 공간에 상기 제3 사운드를 출력하지 않고 상기 제2 소리 공간에 상기 제2 사운드를 출력할 수 있다.The step of providing the content outputs the some objects at a location matching the third sound space through the display device, and the step of outputting the second sound occurs until the some objects are interacted with by the controller. may output the second sound to the second sound space without outputting the third sound to the third sound space.

상기 제3 사운드를 출력하는 단계는, 상기 제3 출력 기기를 통해 상기 제1 소리 공간 및 상기 제2 소리 공간의 상기 소리 공백 영역 간의 경계에서 상기 제3 사운드를 출력하거나, 상기 제3 출력 기기를 통해 상기 제2 소리 공간의 상기 소리 공백 영역의 바깥 경계에서 상기 제3 사운드를 출력하거나, 상기 제3 출력 기기를 통해 상기 제3 소리 공간에 제3 사운드를 출력할 수 있다.The step of outputting the third sound includes outputting the third sound at the boundary between the sound blank area of the first sound space and the second sound space through the third output device, or using the third output device. The third sound can be output at the outer boundary of the sound blank area of the second sound space, or the third sound can be output to the third sound space through the third output device.

상기 제3 사운드를 출력하는 단계는 상기 제3 소리 공간의 경계 부근에 설치된 음향 입력 장치를 통해 상기 제3 사운드를 수신 받아 테스트를 수행하고, 테스트 결과에 따라 추출된 상기 제3 소리 공간을 시각적 위치 정보로 변환하여 상기 디스플레이 장치에 제공할 수 있다.The step of outputting the third sound includes receiving the third sound through an audio input device installed near the border of the third sound space, performing a test, and visually positioning the third sound space extracted according to the test result. It can be converted into information and provided to the display device.

상기 콘텐츠를 제공하는 단계는 상기 일부 오브젝트의 위치 추적 과정에서 상기 일부 오브젝트의 소리가 출력되는 위치 및 형상에 대해서 상기 테스트 결과를 피드백하여 보정할 수 있다.In the step of providing the content, the test results may be fed back and corrected for the location and shape of the sound output of the some objects in the process of tracking the positions of the some objects.

본 실시예의 다른 측면에 의하면 텐저블 사운드 출력 시스템에 있어서, 콘텐츠를 제공하는 디스플레이 장치; 상기 디스플레이 장치와 통신하며 사용자 인터페이스를 제공하는 컨트롤러; 상기 디스플레이 장치와 별도로 착용 가능한 형태의 제1 출력 기기; 상기 제1 출력 기기로부터 이격되어 주변에 설치된 제2 출력 기기; 상기 컨트롤러에 결합된 제3 출력 기기; 상기 제1 출력 기기를 통해 제1 사운드가 제1 소리 공간에 출력하도록 상기 제1 사운드를 신호 처리하는 제1 사운드 제어부; 상기 제2 출력 기기를 통해 제2 사운드가 제2 소리 공간에 출력하도록 상기 제2 사운드를 신호 처리하는 제2 사운드 제어부; 상기 제3 출력 기기를 통해 제3 사운드가 제3 소리 공간에 출력하도록 상기 제3 사운드를 신호 처리하는 제3 사운드 제어부를 포함하는 텐저블 사운드 출력 시스템을 제공한다.According to another aspect of this embodiment, a tenable sound output system includes: a display device providing content; a controller that communicates with the display device and provides a user interface; a first output device that can be worn separately from the display device; a second output device installed nearby and spaced apart from the first output device; a third output device coupled to the controller; a first sound control unit that processes the first sound to output the first sound to a first sound space through the first output device; a second sound control unit that processes the second sound to output the second sound to a second sound space through the second output device; It provides a tenable sound output system including a third sound control unit that processes the third sound to signal the third sound to be output to the third sound space through the third output device.

상기 제1 출력 기기는 골전도 이어폰 형태로 구현되고, 상기 제2 출력 기기는 복수의 음향 채널을 갖는 서라운드 스피커 형태로 구현되고, 상기 제3 출력 기기는 상기 컨트롤러에 부착되고 상기 제3 사운드 제어부는 상기 컨트롤러에 부착될 수 있다.The first output device is implemented in the form of bone conduction earphones, the second output device is implemented in the form of a surround speaker having a plurality of sound channels, the third output device is attached to the controller, and the third sound controller is It can be attached to the controller.

상기 제3 사운드 제어부는 상기 콘텐츠에 포함된 복수의 오브젝트 중에서 상기 컨트롤러에 의해 선택된 일부 오브젝트와 인터랙션하는 타이밍에 상기 제3 출력 기기에서 상기 제3 사운드를 출력하도록 상기 제3 사운드를 신호 처리할 수 있다.The third sound control unit may process the third sound so that the third output device outputs the third sound at the timing of interaction with some objects selected by the controller among the plurality of objects included in the content. .

상기 제3 사운드 제어부는 상기 컨트롤러에 의해 상기 일부 오브젝트의 위치를 추적하여 상기 일부 오브젝트의 시각적 움직임에 동기화된 상기 제3 사운드를 추적하는 시간 동안 출력하도록 상기 제3 사운드를 신호 처리할 수 있다.The third sound control unit may track the position of the partial object by the controller and process the third sound to output the third sound synchronized with the visual movement of the partial object during the tracking time.

상기 디스플레이 장치는 상기 일부 오브젝트를 상기 제3 소리 공간에 매칭하는 위치에 출력하고, 상기 일부 오프젝트가 상기 컨트롤러에 의해 인터랙션하기 전까지는 상기 제3 출력 기기는 상기 제3 소리 공간에 상기 제3 사운드를 출력하지 않고 상기 제2 출력 기기는 상기 제2 소리 공간에 상기 제2 사운드를 출력할 수 있다.The display device outputs the some objects at a location matching the third sound space, and the third output device displays the third sound in the third sound space until the some objects are interacted with by the controller. The second output device may output the second sound to the second sound space without outputting.

상기 제3 출력 기기는, 상기 제1 소리 공간 및 상기 제2 소리 공간의 상기 소리 공백 영역 간의 경계에서 상기 제3 사운드를 출력하거나, 상기 제2 소리 공간의 상기 소리 공백 영역의 바깥 경계에서 상기 제3 사운드를 출력하거나, 상기 제3 소리 공간에 제3 사운드를 출력할 수 있다.The third output device outputs the third sound at the boundary between the sound blank area of the first sound space and the second sound space, or outputs the third sound at the outer boundary of the sound blank area of the second sound space. 3 sounds can be output, or a third sound can be output in the third sound space.

상기 제1 사운드 제어부 또는 상기 제3 사운드 제어부는 상기 제3 소리 공간의 경계 부근에 설치된 음향 입력 장치를 통해 상기 제3 사운드를 수신 받아 테스트를 수행하고, 테스트 결과에 따라 추출된 상기 제3 소리 공간을 시각적 위치 정보로 변환하여 상기 디스플레이 장치에 제공할 수 있다.The first sound control unit or the third sound control unit receives the third sound through an audio input device installed near the border of the third sound space, performs a test, and extracts the third sound space according to the test result. can be converted into visual location information and provided to the display device.

상기 디스플레이 장치는 상기 일부 오브젝트의 위치 추적 과정에서 상기 일부 오브젝트의 소리가 출력되는 위치 및 형상에 대해서 상기 테스트 결과를 피드백하여 보정할 수 있다.The display device may feed back the test results to correct the position and shape of the sound output of some objects during the process of tracking the positions of some objects.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 가상현실 구현 프로세스 상에서 직접 만져볼 수 있는 오브젝트에 스피커를 결합하여 촉각적으로 소리가 나는 물건을 집고 움직임을 통해 위치감을 향상시키고 가상현실 공간에서 생겨나는 시각과 청각의 어색함을 해소할 뿐만 아니라 계속적으로 트래커(컨트롤러)를 통해 오브젝트의 위치가 추적되므로 오브젝트에 자체 소리를 동기화시킬 수 있는 효과가 있다.As described above, according to embodiments of the present invention, a speaker is coupled to an object that can be touched directly in the virtual reality implementation process, and the sense of position is improved through tactile movement by picking up and moving an object that emits a sound. Not only does it eliminate visual and auditory awkwardness, but it also has the effect of synchronizing its own sound to the object because the position of the object is continuously tracked through a tracker (controller).

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if the effects are not explicitly mentioned here, the effects described in the following specification and their potential effects expected by the technical features of the present invention are treated as if described in the specification of the present invention.

도 1은 골전도 이어폰-서라운드 스피커 간의 정보 단절을 통한 전시 효과를 예시한 도면이다.
도 2는 골전도 이어폰-서라운드 스피커 간의 상보적 출력을 연출 효과를 예시한 도면이다.
도 3은 위치 추적이 가능한 텐저블 사운드가 적용된 사운드 시스템을 예시한 도면이다.
도 4는 위치 추적이 가능한 텐저블 사운드가 적용된 소리 공간을 예시한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 사운드 제어 장치를 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제1 출력 기기를 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제2 출력 기기를 예시한 도면이다.
도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제3 출력 기기를 예시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 사용자가 오브젝트를 이동시키는 동작을 예시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 오브젝트를 이동하는 소리 공간을 예시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 가상현실로 구현한 화면을 예시한 도면이다.
도 14는 본 발명의 다른 실시예에 따른 텐저블 사운드 출력 방법을 예시한 흐름도이다.Figure 1 is a diagram illustrating the display effect through information disconnection between bone conduction earphones and surround speakers.
Figure 2 is a diagram illustrating the effect of producing complementary output between bone conduction earphones and surround speakers.
Figure 3 is a diagram illustrating a sound system using tenable sound capable of location tracking.
Figure 4 is a diagram illustrating a sound space to which tenable sound capable of position tracking is applied.
Figures 5 and 6 are diagrams illustrating a tenable sound output system according to an embodiment of the present invention.
Figure 7 is a diagram illustrating a sound control device of a tenable sound output system according to an embodiment of the present invention.
Figure 8 is a diagram illustrating a first output device of the tenable sound output system according to an embodiment of the present invention.
Figure 9 is a diagram illustrating a second output device of the tenable sound output system according to an embodiment of the present invention.
10A to 10C are diagrams illustrating a third output device of the tenable sound output system according to an embodiment of the present invention.
Figure 11 is a diagram illustrating an operation of a user moving an object in a tenable sound output system according to an embodiment of the present invention.
Figure 12 is a diagram illustrating a sound space in which an object is moved in a tenable sound output system according to an embodiment of the present invention.
Figure 13 is a diagram illustrating a screen implemented in virtual reality in the tenable sound output system according to an embodiment of the present invention.
Figure 14 is a flowchart illustrating a tenable sound output method according to another embodiment of the present invention.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.Hereinafter, in describing the present invention, if it is determined that related known functions may unnecessarily obscure the gist of the present invention as they are obvious to those skilled in the art, the detailed description will be omitted, and some embodiments of the present invention will be described. It will be described in detail through exemplary drawings.

도 1은 골전도 이어폰-서라운드 스피커 간의 정보 단절을 통한 전시 효과를 예시한 도면이다.Figure 1 is a diagram illustrating the display effect through information disconnection between bone conduction earphones and surround speakers.

사운드 제어 장치를 포함하는 사운드 출력 시스템이 제공하는 콘텐츠는 제한적인 사람이 참여하는 콘텐츠로서, 콘텐츠를 이용하는 사용자와 사용자를 보는 사람에 의해 구현될 수 있다. 사용자를 보는 사람은 사운드 제어 장치를 포함하는 사운드 출력 시스템을 사용하기 위해 대기하는 사람이다.Content provided by a sound output system including a sound control device is content in which a limited number of people participate, and can be implemented by users who use the content and people who view the user. The person viewing the user is the person waiting to use the sound output system including the sound control device.

사용자는 제1 출력 기기(골전도 이어폰) 및 제2 출력 기기(서라운드 스피커)에서 출력되는 사운드를 모두 들을 수 있으며, 대기하는 사람은 제2 출력 기기에서 출력되는 사운드만 들을 수 있다. 이에 따라 제1 영역에서는 소리가 새는 환경에서의 플레이어의 보안성을 높이고, 제2 영역에서는 대기하는 사람이 집중할 수 있도록 할 수 있다.The user can hear both the sound output from the first output device (bone conduction earphones) and the second output device (surround speaker), and the person waiting can only hear the sound output from the second output device. Accordingly, in the first area, the security of players in a sound-leaking environment can be improved, and in the second area, people waiting can be able to concentrate.

제1 영역은 사운드 제어 장치를 포함하는 사운드 출력 시스템을 통해 콘텐츠를 이용하는 사용자만 들을 수 있는 영역을 나타낸다. 제2 영역은 사운드 제어 장치를 포함하는 사운드 출력 시스템을 사용하는 사용자뿐만 아니라 사용자를 구경하는 사람도 들을 수 있는 영역을 나타낸다. The first area represents an area that can only be heard by users who use content through a sound output system including a sound control device. The second area represents an area that can be heard not only by the user using the sound output system including the sound control device but also by bystanders.

제1 영역은 제1 출력 기기에 의해 출력되는 제1 사운드가 들리는 골전도 영역으로 구현될 수 있으며, 제2 영역은 제2 출력 기기에 의해 출력되는 제2 사운드가 들리는 서라운드 영역으로 구현될 수 있다.The first area can be implemented as a bone conduction area where the first sound output by the first output device is heard, and the second area can be implemented as a surround area where the second sound output by the second output device is heard. .

제1 영역은 직접적인 사용자(체험자)만 정보를 들을 수 있으므로 정보를 선택적으로 출력할 수 있으며, 제2 영역은 체험자를 포함하여 체험자를 바라보는 대기하는 사람(대기자)까지 들을 수 있는 영역이다.In the first area, only the direct user (the experiencer) can hear the information, so information can be output selectively, and the second area is an area where the experiencer as well as the people waiting looking at the experiencer (the waiter) can hear the information.

제1 영역은 정보의 보안이 중요한 내용으로 대기자가 내용을 미리 알게되면 안되는 부분, 나레이션, 효과음 등이 출력되며, 제2 영역은 전체적인 분위기를 전달하여 대기 인원에게 궁금증을 자아내는 배경음, 배경 음악, 기본적인 전제가 되는 대사 등을 출력할 수 있다.The first area contains content where information security is important, and parts that the waiting person should not know in advance, narration, sound effects, etc. are displayed. The second area contains background sounds, background music, etc. that convey the overall atmosphere and arouse curiosity in the waiting people. You can print out basic premise lines, etc.

사용자는 상용적인 음악산업과 영화 산업에서 사용하는 서라운드 채널을 제약없이 청취할 수 있다.Users can listen to surround channels used in the commercial music and film industries without restrictions.

기존의 개발 방식 범주에서 사운드 엔지니어가 제작을 진행해 나갈 수 있으며 일반적인 헤드폰이 지니는 저역 재생의 한계와 실감 있는 음악, 머리 위에서 음상이 맺히는 단점을 해소할 수 있다. Sound engineers can proceed with production within the scope of existing development methods, and overcome the limitations of low-range reproduction, realistic music, and overhead sound images of general headphones.

VR을 체험하는 다른 관객들에게 선택적인 정보를 제공하여 연출적인 요소로 사용할 수 있다. 사운드 제어 장치는 골전도 이어폰을 사용함에 따라 콘텐츠를 이용하는 사용자에게만 들리는 효과를 제공할 수 있다.It can be used as a production element by providing selective information to other audiences experiencing VR. The sound control device can provide an audible effect only to the user using the content by using bone conduction earphones.

도 2는 골전도 이어폰-서라운드 스피커 간의 상보적 출력을 연출 효과를 예시한 도면이다.Figure 2 is a diagram illustrating the effect of producing complementary output between bone conduction earphones and surround speakers.

양질의 사운드를 사용자에게 제공하기 위해 골전도 이어폰과 서라운드 스피커의 출력을 상보적으로 사용하여 사운드를 연출할 수 있다.In order to provide users with high-quality sound, the output of bone conduction earphones and surround speakers can be used complementary to produce sound.

소리가 외부에서 내부로 전달되는 경우 제2 출력 기기를 통해 먼거리에서 출발한 소리는 근접하지만 제2 출력 기기의 한계로 인해 음원의 표현 한계인 서라운드 영역에서 멈출 수 있으며, 외부에서 내부로 전달되는 소리를 지속적으로 전달시키기 위해서 제1 출력 기기를 사용하여 동일하게 연속적인 소리를 골전도 영역에서 표현하여 자연스럽게 하나의 소리로 인식시킬 수 있다.When sound is transmitted from the outside to the inside, the sound that starts from a distance through the second output device is close, but due to the limitations of the second output device, it may stop in the surround area, which is the expression limit of the sound source, and the sound transmitted from the outside to the inside In order to continuously transmit the sound, the first output device can be used to express the same continuous sound in the bone conduction area so that it is naturally recognized as one sound.

이동하는 소리를 제1 출력 영역 및 제2 출력 영역으로 나누어 출력할 수 있다. 소리의 이동 경로는 외재적 사운드에서 내재적 사운드 또는 장거리 소리 표현에서 근거리 소리 표현으로 이동할 수 있다. 사운드 출력 시스템은 저음 재생을 일정하게 유지할 수 있으며 두 유형의 출력에서 나누어 소리가 재생되지만 동일한 저음을 통해 사용자가 하나의 사운드로 두 소리를 인식시켜 주는데 도움을 줄 수 있다.The moving sound can be output by dividing it into a first output area and a second output area. The path of sound can move from extrinsic sound to intrinsic sound, or from long-distance sound representation to near-distance sound representation. The sound output system can maintain constant bass reproduction, and although the sound is reproduced separately from the two types of output, the same bass tone can help the user recognize the two sounds as one sound.

골전도 이어폰의 특성상 저음 표현이 효과적이지 않고 피부의 진동으로 변할 수 있다. 사운드 제어 장치는 90hz 이하의 음역대를 골전도 이어폰에서 삭제시켜 재생하게 하므로 사용 시 불편한 진동을 제거할 수 있다.Due to the characteristics of bone conduction earphones, bass expression is not effective and may change into skin vibration. The sound control device deletes the sound range below 90hz from bone conduction earphones and plays them back, eliminating uncomfortable vibrations when using them.

사운드 출력 시스템은 제1 출력 기기 및 제2 출력 기기의 병용으로 방향감을 향상시키고, 음역대를 분리하여 재생하게 되므로 진동으로 인한 효과적인 불편함을 제거한 상태에서 좋은 음질을 사용자에게 제공할 수 있다.The sound output system improves the sense of direction through the combined use of the first output device and the second output device, and reproduces sound ranges separately, so that good sound quality can be provided to the user while effectively eliminating discomfort due to vibration.

제1 출력 기기(골전도 이어폰) 및 제2 출력 기기(서라운드 스피커)를 동기화하더라도 소리 측면의 거리감에서 부족한 부분이 존재하게 된다. Even if the first output device (bone conduction earphones) and the second output device (surround speaker) are synchronized, there is a lack of distance in terms of sound.

골전도 이어폰과 서라운드 스피커를 병용하여 사용한다 하더라도 사운드의 질적인 부분에서 어떠한 물건을 들고 이동할 때 해당 물체에 대한 세밀한 소리를 처리하기란 쉽지 않은 문제가 있다. Even if bone conduction earphones and surround speakers are used together, there is a problem in terms of sound quality that makes it difficult to process the detailed sound of an object when carrying and moving it.

본 실시예에 따른 텐저블 사운드 출력 시스템은 위치 추적이 가능한 사운드 출력 모듈을 직접 배치하여 가상 환경에서 기존의 한계를 극복한 거리감을 제공하고자 한다. The tenable sound output system according to this embodiment seeks to provide a sense of distance that overcomes existing limitations in a virtual environment by directly placing a sound output module capable of position tracking.

도 3은 위치 추적이 가능한 텐저블 사운드가 적용된 사운드 시스템을 예시한 도면이고, 도 4는 위치 추적이 가능한 텐저블 사운드가 적용된 소리 공간을 예시한 도면이다.Figure 3 is a diagram illustrating a sound system to which tenable sound capable of position tracking is applied, and Figure 4 is a diagram illustrating a sound space to which tenable sound capable of position tracking is applied.

소리에 대한 감각은 소리가 나는 그 곳에 대상 물체가 존재한다는 경험에 기반하여 작동한다. 물체에서 어떤 사건이 일어난다면 그에 따른 진동이 생기게 되고 공기 입자를 통해 발생한 파동에너지가 우리의 양쪽 귀에 전달되어 소리로 인식되기 때문이다.The sense of sound operates based on the experience that an object exists where the sound occurs. This is because when an event occurs in an object, a corresponding vibration occurs, and the wave energy generated through air particles is transmitted to both our ears and recognized as sound.

텐저블 사운드 출력 시스템은 사용자에게 위치 추적뿐만 아니라 개별적으로 소리 출력이 가능한 클라이언트를 제공하여 사운드를 재생하는 방식을 통해 다양한 연출적인 요소를 만들 수 있다. 추적되는 오브젝트에 스피커를 결합시켜 만질 수 있는 오브젝트의 영역에서 직접 사운드 재생을 가능하게 하고 몰입감을 개선할 수 있다.The Tensible Sound Output System provides users with a client capable of not only tracking location but also outputting sound individually, allowing various production elements to be created through sound reproduction. By combining a speaker with the tracked object, you can enable sound playback directly in the area of the touchable object and improve immersion.

도 5 및 도 6은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템을 예시한 도면이다. 도 7은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 사운드 제어 장치를 예시한 도면이다.Figures 5 and 6 are diagrams illustrating a tenable sound output system according to an embodiment of the present invention. Figure 7 is a diagram illustrating a sound control device of a tenable sound output system according to an embodiment of the present invention.

텐저블 사운드 출력 시스템은 골전도 이어폰-서라운드 스피커-트래킹 스피커 간에 동기화 프로토콜을 사용하여 음향 출력 기기에 맞는 사운드를 재생할지 결정하고, 소리나는 대상은 더이상 사용자의 외부에서 존재하는 것이 아니라 게임엔진에서 오브젝트의 위치를 검색하여 사용할 수 있기 때문에 상호 반응적인 사운드 오브젝트로서 활용할 용도가 증가하게 된다.The Tensible Sound Output System uses a synchronization protocol between bone conduction earphones, surround speakers, and tracking speakers to determine whether to play sound suitable for the sound output device, and the sound object no longer exists outside the user, but is an object in the game engine. Since the location of can be searched and used, its use as an interactive sound object increases.

공백이 존재하는 소리 공간을 보완한 연출이 가능하며 촉각적인 반응과 함께 실시간 사운드 오브젝트가 사운드 표현 공간 안에 들어와 더욱더 몰입감 있는 사운드를 연출할 수 있다. It is possible to create a production that complements the empty sound space, and a real-time sound object with a tactile response can enter the sound expression space to create an even more immersive sound.

사운드 제어 장치(20)를 포함하는 텐저블 사운드 출력 시스템(10)은 콘텐츠 구동 장치(100), 센서부(200), 메인 제어부(300), 제2 사운드 제어부(400), 제3 사운드 제어부, 및 음향 출력 장치(500)를 포함한다. 사운드 제어 장치(20)를 포함하는 텐저블 사운드 출력 시스템(10)은 머리 착용 디스플레이(Head Mounted Display, HMD)(110), 컨트롤러(120), 센서부(200), 제1 출력 기기(510), 제2 출력 기기(520), 제3 출력 기기(530), 메인 제어부(300) 제2 사운드 제어부(400), 제3 사운드 제어부(600)를 포함한다. 텐저블 사운드 출력 시스템(10)은 도 6에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.The tenable sound output system 10 including the sound control device 20 includes a content driving device 100, a sensor unit 200, a main control unit 300, a second sound control unit 400, a third sound control unit, and an audio output device 500. The tenable sound output system 10 including the sound control device 20 includes a Head Mounted Display (HMD) 110, a controller 120, a sensor unit 200, and a first output device 510. , a second output device 520, a third output device 530, a main control unit 300, a second sound control unit 400, and a third sound control unit 600. The tenable sound output system 10 may omit some of the various components exemplarily shown in FIG. 6 or may additionally include other components.

HMD(110), 컨트롤러(120) 및 제1 출력 기기(510)는 콘텐츠를 사용하는 사용자가 착용하고 있는 것으로 콘텐츠 사용 전 세팅된 공간 내에서 이용할 수 있다. 구체적으로, 사용자는 센서부(200), 제2 출력 기기(520), 제2 사운드 제어부(400) 및 메인 제어부(300)가 위치하는 공간 내에서 콘텐츠를 이용할 수 있으며, 공간을 벗어나는 경우 콘텐츠를 이용할 수 없다.The HMD 110, controller 120, and first output device 510 are worn by the user using the content and can be used within the space set before using the content. Specifically, the user can use content within the space where the sensor unit 200, the second output device 520, the second sound control unit 400, and the main control unit 300 are located, and when leaving the space, the content is Not available.

사운드 제어 장치(20)는 메인 제어부(300) 및 제2 사운드 제어부(400)를 포함할 수 있으며, 메인 제어부(300)는 콘텐츠 제어부(310) 및 제1 사운드 제어부(320)로 구현될 수 있다. 사운드 제어 장치(20)는 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.The sound control device 20 may include a main control unit 300 and a second sound control unit 400, and the main control unit 300 may be implemented with a content control unit 310 and a first sound control unit 320. . The sound control device 20 may omit some components or additionally include other components among the various components shown as examples.

제1 출력 기기(510)는 골전도 이어폰으로 구현될 수 있으며, 반드시 이에 한정되는 것은 아니며 사용자의 귀가 개방되어서 사운드가 내이에 바로 전달될 수 있는 장치로 구현될 수 있다.The first output device 510 may be implemented as a bone conduction earphone, but is not necessarily limited thereto, and may be implemented as a device that allows sound to be transmitted directly to the inner ear by opening the user's ears.

골전도 이어폰은 귓바퀴 뒤의 뼈의 진동을 전달하여 고막에 진동을 전달하는 방식으로 소리를 전달하며 귀 주변 연골에 부착하는 형식이기에 이어폰을 통해서 듣는 소리뿐 아니라 외부의 소리도 동시에 들을 수 있는 청취 환경을 가능하게 한다.Bone conduction earphones deliver sound by transmitting the vibration of the bone behind the ear to the eardrum, and are attached to the cartilage around the ear, creating a listening environment where you can hear not only the sound heard through the earphone, but also external sounds at the same time. makes possible.

제2 출력 기기(520)는 콘텐츠를 사용하는 사용자의 앞, 뒤, 좌, 우에 배치하여 음향의 입체 효과를 높여주기 위해 사용될 수 있으며, 서라운드 스피커로 구현될 수 있으며 반드시 이에 한정되는 것은 아니다.The second output device 520 can be placed in front, behind, left, and right of the user using the content to enhance the three-dimensional effect of the sound, and can be implemented as a surround speaker, but is not necessarily limited thereto.

콘텐츠 구동 장치(100)는 HMD(110) 및 컨트롤러(120)를 포함한다.The content driving device 100 includes an HMD 110 and a controller 120.

HMD(110)는 사용자의 머리에 고정되어 사용자의 시야를 기반으로 콘텐츠가 구현될 수 있다. 머리에 착용되는 디스플레이로 안경처럼 착용하여 영상을 즐길 수 있는 장치로서 콘텐츠가 구현될 수 있다.The HMD 110 is fixed to the user's head and can implement content based on the user's field of view. Content can be implemented as a device that can be worn like glasses and enjoy images through a display worn on the head.

컨트롤러(120)는 사용자의 손에 구비되어 사용자의 손의 움직임에 따라 콘텐츠를 제어할 수 있다. 여기서, 컨트롤러(120)는 사용자가 손에 들고 있는 것으로 구현되었으나 반드시 이에 한정되는 것은 아니며 사용자가 손에 착용하나 부착되어 구현될 수 있다. 컨트롤러(120)는 트래킹 기능을 제공하는 일종의 트래커라고 볼 수 있다. 컨트롤러(120)는 HMD(110)를 통해 구현된 콘텐츠를 이용하기 위한 조종기로서, 게임의 장르에 따라 패드, 조이스틱, 건, 핸들 등으로 구현되어 사용될 수 있다.The controller 120 is provided on the user's hand and can control content according to the movement of the user's hand. Here, the controller 120 is implemented as being held in the user's hand, but it is not necessarily limited to this and may be implemented as being worn or attached to the user's hand. The controller 120 can be viewed as a type of tracker that provides a tracking function. The controller 120 is a controller for using content implemented through the HMD 110, and may be implemented as a pad, joystick, gun, handle, etc. depending on the genre of the game.

센서부(200)는 콘텐츠가 사용되는 방향, 위치 및 좌표를 인식하고, 인식된 범위 내에서 HMD(110) 또는 컨트롤러(120)를 통해 사용자의 움직임에 따른 모션을 감지할 수 있다. 센서부(200)는 복수의 위치 측정 센서, 모션 센서 등으로 구현될 수 있다. 구체적으로, 복수의 위치 측정 센서, 모션 센서 등을 통해 콘텐츠가 구현되는 범위를 설정할 수 있다.The sensor unit 200 recognizes the direction, location, and coordinates in which content is used, and can detect motion according to the user's movement through the HMD 110 or controller 120 within the recognized range. The sensor unit 200 may be implemented with a plurality of position measurement sensors, motion sensors, etc. Specifically, the range in which content is implemented can be set through a plurality of position measurement sensors, motion sensors, etc.

센서부(200)는 4개의 위치 측정 센서가 구비되며, 4개의 위치 측정 센서가 서로 연결되는 범위 내에서 콘텐츠가 구현될 수 있다. 여기서, 콘텐츠의 구현을 위한 범위 설정은 4개의 위치 측정 센서가 구비되어 설정되는 것으로 도시하였으나, 반드시 이에 한정되는 것은 아니며, 2개 이상의 위치 측정 센서를 통해 사용자의 위치를 감지할 수 있으며, 컨트롤러(120)를 통해 콘텐츠가 구현되는 범위를 설정하는 것으로 구현될 수 있다.The sensor unit 200 is equipped with four position measurement sensors, and content can be implemented within the range where the four position measurement sensors are connected to each other. Here, the range setting for content implementation is shown as being set with four position measurement sensors, but it is not necessarily limited to this. The user's location can be detected through two or more position measurement sensors, and the controller ( 120), it can be implemented by setting the scope in which the content is implemented.

사운드 제어 장치(20)는 적어도 하나의 출력 기기를 포함하는 음향 출력 장치(500)와 연동될 수 있다. 음향 출력 장치(500)는 제1 출력 기기(510), 제2 출력 기기(520), 제3 출력 기기(530)를 포함할 수 있다.The sound control device 20 may be linked to a sound output device 500 including at least one output device. The audio output device 500 may include a first output device 510, a second output device 520, and a third output device 530.

메인 제어부(300)는 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션 및 오브젝트의 위치/형상에 따라 다양한 사운드를 제어할 수 있다. 메인 제어부(300)는 콘텐츠 내의 장소를 고려하여 생성된 사운드를 사운드 기기에 전달할 수 있다. The main control unit 300 creates content and generates synchronization data for each content to control various sounds according to the user's motion and the position/shape of the object. The main control unit 300 can transmit the sound generated by considering the location within the content to the sound device.

메인 제어부(300)는 콘텐츠 제어부(310) 및 제1 사운드 제어부(320)를 포함한다.The main control unit 300 includes a content control unit 310 and a first sound control unit 320.

콘텐츠 제어부(310)는 사용자의 모션을 감지하여 콘텐츠에 적용하고, 적용된 콘텐츠를 사용자에게 제공할 수 있다.The content control unit 310 can detect the user's motion, apply it to content, and provide the applied content to the user.

제1 사운드 제어부(320)는 제2 사운드 제어부(400) 및 제3 사운드 제어부(600)에 동기화 데이터를 각각 전송하고, 동기화 데이터를 기반으로 제1 출력 기기(510)에 제1 사운드를 전달할 수 있다.The first sound control unit 320 may transmit synchronization data to the second sound control unit 400 and the third sound control unit 600, respectively, and transmit the first sound to the first output device 510 based on the synchronization data. there is.

제1 사운드 제어부(320)는 프로세스 모듈(322), 3D 엔진 모듈(324), 제1 통신 모듈(326) 및 제1 사운드 출력 처리 모듈(328)을 포함한다. The first sound control unit 320 includes a process module 322, a 3D engine module 324, a first communication module 326, and a first sound output processing module 328.

프로세스 모듈(322)은 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록될 수 있다. The process module 322 may register sounds set by a sound engineer according to content.

3D 엔진 모듈(324)은 등록된 사운드를 콘텐츠에 적용하여 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 동기화 데이터를 생성할 수 있다. The 3D engine module 324 can apply the registered sound to the content to generate synchronization data including sound for each location in the content according to the user's movement.

제1 통신 모듈(326)은 생성된 동기화 데이터를 제2 사운드 제어부(400) 및 제3 사운드 제어부(600)에 전송할 수 있다. 동기화 데이터는 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 콘텐츠 내에서 변화하는 복수의 장소를 포함할 수 있으며, 복수의 장소 별 씬 번호, 배경음, 효과음을 포함할 수 있다.The first communication module 326 may transmit the generated synchronization data to the second sound control unit 400 and the third sound control unit 600. Synchronization data may include a plurality of locations that change within the content based on the user's motion according to the user's moving direction, location, and coordinates, and may include scene numbers, background sounds, and sound effects for each location.

제1 사운드 출력 처리 모듈(328)은 동기화 데이터를 기반으로 콘텐츠 내 장소 및 사용자의 움직임에 따라 생성된 제1 사운드를 제1 출력 기기(510)에 전달할 수 있다.The first sound output processing module 328 may transmit the first sound generated according to the location in the content and the user's movement to the first output device 510 based on the synchronization data.

제2 사운드 제어부(400)는 메인 제어부(300)에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어할 수 있다.The second sound control unit 400 receives synchronization data from the main control unit 300 and can control the second sound based on the synchronization data and pre-stored sounds.

제2 사운드 제어부(400)는 제2 통신 모듈(410), 제2 사운드 전송 모듈(420), 제2 사운드 처리 모듈(430) 및 제2 사운드 출력 처리 모듈(440)을 포함한다. The second sound control unit 400 includes a second communication module 410, a second sound transmission module 420, a second sound processing module 430, and a second sound output processing module 440.

제2 통신 모듈(410)은 제1 통신 모듈(326)에서 동기화 데이터를 전달받을 수 있다.The second communication module 410 may receive synchronization data from the first communication module 326.

제2 사운드 전송 모듈(420)은 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송할 수 있다.The second sound transmission module 420 can transmit synchronization data and pre-stored sounds separately by location.

제2 사운드 처리 모듈(430)은 전송된 동기화 데이터 및 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리할 수 있다.The second sound processing module 430 can apply and process environmental sounds and effect sounds for each location based on transmitted synchronization data and pre-stored sounds.

제2 사운드 출력 처리 모듈(440)은 장소 별로 처리된 환경음 및 효과음과 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기(520)에 전달할 수 있다.The second sound output processing module 440 can transmit environmental sounds and effect sounds processed for each location and the second sound generated according to the user's movement to the second output device 520.

음향 출력 장치(500)는 콘텐츠의 사운드를 사용자에게 제공하기 위해 적어도 하나의 출력 기기를 포함할 수 있다.The sound output device 500 may include at least one output device to provide sound of content to a user.

음향 출력 장치(500)는 골전도 이어폰으로 구현되는 제1 출력 기기(510) 및 서라운드 스피커로 구현되는 제2 출력 기기(520)를 포함한다.The sound output device 500 includes a first output device 510 implemented as a bone conduction earphone and a second output device 520 implemented as a surround speaker.

사운드 제어 장치(20)는 제1 출력 기기(510)에 의해 제1 사운드가 출력되는 영역과 제2 출력 기기(520)에 의해 제2 사운드가 출력되는 영역이 중복되지 않으며, 사용자의 위치 별로 제1 사운드 및 제2 사운드 간의 거리감이 구현되어 연속적인 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현될 수 있다.The sound control device 20 ensures that the area where the first sound is output by the first output device 510 and the area where the second sound is output by the second output device 520 do not overlap, and the area where the second sound is output by the second output device 520 does not overlap. A sense of distance between the first sound and the second sound can be implemented so that the continuous first sound and the second sound are recognized as one sound.

제1 출력 기기(510)는 콘텐츠의 효과음, 나레이션, 보완 내용을 적어도 하나 포함하는 제1 사운드를 출력할 수 있다.The first output device 510 may output a first sound including at least one sound effect, narration, and supplementary content of the content.

제2 출력 기기(520)는 콘텐츠의 배경음, 대사를 적어도 하는 포함하는 제2 사운드를 출력할 수 있다.The second output device 520 may output a second sound that includes at least background sounds and dialogue of the content.

메인 제어부(300)는 제1 사운드 출력 처리 모듈(328)을 통해 제1 출력 기기(510)로 제1 사운드를 제공할 수 있으며, 제2 사운드 제어부(400)는 제2 사운드 출력 처리 모듈(440)을 통해 제2 출력 기기(520)로 제2 사운드를 제공할 수 있다The main control unit 300 may provide the first sound to the first output device 510 through the first sound output processing module 328, and the second sound control unit 400 may provide the second sound output processing module 440. ) The second sound can be provided to the second output device 520 through

사운드 제어 장치(20)을 포함하는 텐저블 사운드 출력 시스템(10)은 사운드 엔지니어가 사용하는 상용 사운드 엔진이 입력 가능한 메인 제어부(300)와 별개의 제2 사운드 제어부(400)를 개발하여 두 프로그램이 사운드 처리에 관한 데이터를 자유롭게 사용할 수 있다. 또한, 기존의 헤드폰에서 재생되던 메인 제어부(300)의 사운드 출력 또한 제2 사운드 제어부(400)를 통해 사운드를 출력할 수 있도록 제작하여 동시에 작업이 가능할 수 있다. 제2 사운드 제어부(400)는 제2 출력 기기(520)로 사운드를 출력하고, 메인 제어부(300)는 제1 출력 기기(510)로 사운드를 출력할 수 있다. 구체적으로, 제1 출력 기기(510)는 골전도 이어폰으로 구현되며, 제2 출력 기기(520)는 서라운드 스피커로 구현될 수 있다.The tenable sound output system 10 including the sound control device 20 develops a main control unit 300 and a separate second sound control unit 400 capable of inputting a commercial sound engine used by sound engineers, so that the two programs Data on sound processing is freely available. In addition, the sound output of the main control unit 300, which is played in existing headphones, can also be output through the second sound control unit 400, so that work can be done simultaneously. The second sound control unit 400 may output sound to the second output device 520, and the main control unit 300 may output sound to the first output device 510. Specifically, the first output device 510 may be implemented as a bone conduction earphone, and the second output device 520 may be implemented as a surround speaker.

메인 제어부(300)의 제1 사운드 제어부(320)는 제1 통신 모듈(326)을 포함하고, 제2 사운드 제어부(400)는 제2 통신 모듈(410)을 포함하고, 제3 사운드 제어부(600)는 제3 통신 모듈(610)을 포함한다. 한가지 음원에 대한 부분을 세 가지의 음향 출력 장치(500)가 출력해야 하므로 메인 제어부(300)의 내부적으로는 제1 출력 기기(510)에 기본적인 사운드를 보내는 동시에 제2 사운드 제어부(400) 및 제3 사운드 제어부(600)에 동기화 데이터를 전송할 수 있다.The first sound control unit 320 of the main control unit 300 includes a first communication module 326, the second sound control unit 400 includes a second communication module 410, and the third sound control unit 600 ) includes a third communication module 610. Since three sound output devices 500 must output parts of one sound source, the main control unit 300 internally sends basic sound to the first output device 510 and simultaneously transmits basic sound to the second sound control unit 400 and the first output device 510. 3 Synchronization data can be transmitted to the sound control unit 600.

제1 통신 모듈(326), 제2 통신 모듈(410), 제3 통신 모듈(610)은 공간을 기준으로 한 통신 프로토콜을 나타내는 동기화 데이터로 나뉘게 된다. 동기화 데이터는 장소 태그, 씬 번호, 배경음, 배경 음악, 효과음 등을 포함하며, 제1 통신 모듈(326)에서 제2 통신 모듈(410)로 전송할 수 있다. 구체적으로, 장소 태그는 장소 1, 장소 2, 장소 3 등으로 표현될 수 있으며, 효과음은 효과음1, 효과음2 등으로 표현되거나 발걸음과 같은 실제명으로 표현될 수 있으며, 반드시 이에 한정되는 것은 아니다.The first communication module 326, the second communication module 410, and the third communication module 610 are divided into synchronization data representing a communication protocol based on space. Synchronization data includes location tags, scene numbers, background sounds, background music, sound effects, etc., and can be transmitted from the first communication module 326 to the second communication module 410. Specifically, the place tag may be expressed as place 1, place 2, place 3, etc., and the sound effect may be expressed as sound effect 1, sound effect 2, etc., or may be expressed as a real name such as footsteps, but is not necessarily limited thereto.

제2 통신 모듈(410)은 동기화 데이터가 수신되면, 장소 태그에 따라 각 소리 효과를 결정하고, 배경음, 배경 음악을 재생하고, 효과음이 들어오면 장소 태그에 맞는 공간 효과를 거치게 된다. 이를 통해 제2 사운드 제어부(400)는 공간의 소리를 정의하는 방식으로 표현될 수 있다.When synchronization data is received, the second communication module 410 determines each sound effect according to the place tag, plays background sound and background music, and when the sound effect comes in, goes through the space effect matching the place tag. Through this, the second sound control unit 400 can be expressed in a way that defines the sound of space.

메인 제어부(300)는 모든 사운드의 명령을 제어하고 관리할 수 있다. 예를들어, 메인 제어부(300)는 제1 출력 기기(510)의 소리가 필요하면 자체적으로 출력하며 제2 출력 기기(520)의 소리가 필요한 경우 제2 사운드 제어부(400)에 메시지를 전송하여 사운드를 동기화할 수 있다.The main control unit 300 can control and manage all sound commands. For example, when the sound from the first output device 510 is needed, the main control unit 300 outputs it on its own, and when the sound from the second output device 520 is needed, it sends a message to the second sound control unit 400. Sound can be synchronized.

사운드 제어 장치(20)을 포함하는 텐저블 사운드 출력 시스템(10)은 제2 사운드 제어부(400)에서 구분해놓은 장소 별 사운드 효과의 채널을 만들어 단순한 소리 트리거의 명령을 받는다 하더라도 해당 소리의 장소가 연결되기 때문에 제2 사운드 제어부(400)에서 제작해놓은 공간 효과를 실시간으로 만들어주며, 메인 제어부(300)의 제1 사운드 제어부(320)의 작업과 완전히 분할되어 작동하기 때문에 독립적인 개발 환경 및 소리의 질적인 영향은 메인 제어부(300)에서 결정지을 수 없고 제2 사운드 제어부(400)에 종속될 수 있다.The tenable sound output system 10 including the sound control device 20 creates channels for sound effects for each location divided by the second sound control unit 400, so that even if a simple sound trigger is commanded, the location of the sound is connected. Because it creates the spatial effect created by the second sound control unit 400 in real time, and because it operates completely separate from the work of the first sound control unit 320 of the main control unit 300, it provides an independent development environment and quality of sound. The sound effect cannot be determined by the main control unit 300 and may be dependent on the second sound control unit 400.

사운드의 병행 출력을 통한 사운드 시스템(10)은 사운드 엔지니어가 사용하는 상용 사운드 엔진이 입력 가능한 메인 제어부(300)와 종속되지 않은 별개의 프로그램의 제2 사운드 제어부(400)를 개발하여 두 프로그램이 사운드 처리에 관한 데이터를 자유롭게 사용할 수 있다. 또한 기존의 헤드폰에서 재생되던 메인 제어부(300)의 사운드 출력 또한 재생할 수 있도록 제작하여 동시에 작업이 가능할 수 있다.The sound system 10 through parallel output of sound develops a second sound control unit 400 of a separate program that is not dependent on the main control unit 300 that allows input from a commercial sound engine used by sound engineers, and the two programs produce sound. The data regarding processing is freely available. In addition, the sound output of the main control unit 300, which was played from existing headphones, can also be produced so that work can be done at the same time.

사운드의 병행 출력을 통한 사운드 시스템(10)은 메인 제어부(300)와 사제2 사운드 제어부(400)가 서로 통신 모듈을 가지고 있으며, 한가지 음원에 대한 부분을 두 가지의 사운드 시스템이 출력해야 하므로 메인 제어부(300)에서 내부적으로는 골전도 이어폰에 기본적인 사운드 시스템을 보내는 동시에 제2 사운드 제어부(400)에 동기화 데이터를 전송할 수 있으며, 공간을 기준으로 한 통신 프로토콜로 나뉠 수 있다.In the sound system 10 through parallel output of sound, the main control unit 300 and the second sound control unit 400 have communication modules, and since two sound systems must output parts for one sound source, the main control unit Internally, at 300, a basic sound system can be sent to the bone conduction earphones and synchronization data can be transmitted to the second sound control unit 400, and can be divided into communication protocols based on space.

메인 제어부(300)는 장소를 기반으로 씬이 나뉘는 특징을 가지고 있으며, 사운드 엔지니어도 소리를 결정하는 가장 기본적인 기능은 공간을 기준으로 한다. 사운드의 병행 출력을 통한 사운드 시스템(10)은 이 둘의 공통점을 소프트웨어에 적용한 것으로, 공간적 특징을 콘텐츠에 적용할 때의 사운드의 질적인 결정을 프로그래머가 아니라 사운드 엔지니어가 전부 정해 주고 그것에 대한 적용시점의 절차만을 프로그래머가 등록하는 것에 있다.The main control unit 300 has the characteristic of dividing scenes based on location, and the most basic function for sound engineers to determine sound is based on space. The sound system 10 through parallel output of sound is an application of the common features of the two to software. When applying spatial characteristics to content, the sound engineer, not the programmer, determines the quality of the sound and determines the timing of its application. The only procedure is for the programmer to register.

메인 제어부(300)는 기본적으로 비주얼을 관리하고, 모든 사운드의 명령을 제어하고 관리할 수 있다.The main control unit 300 basically manages visuals and can control and manage all sound commands.

사운드의 병행 출력을 통한 사운드 시스템(10)은 골전도의 소리가 필요하면 자체적으로 출력하며 서라운드 채널이 필요할 때 제2 사운드 제어부(400)에 동기화 데이터를 전송하여 사운드를 동기화한다.The sound system 10 through parallel output of sound outputs bone conduction sound on its own when necessary and synchronizes the sound by transmitting synchronization data to the second sound control unit 400 when a surround channel is needed.

사운드의 병행 출력을 통한 사운드 시스템(10)은 제2 사운드 제어부(400)에서 구분해놓은 장소 별 사운드 효과의 채널을 만들어 단순한 소리트리거의 명령을 받는다 하더라도 해당소리의 장소가 연결되기 때문에 사운드 엔진에서 제작해놓은 공간효과를 실시간으로 만들어주며 메인 제어부(300)의 작업과 완전히 분할되어 작동하기 때문에 독립적인 개발환경 및 소리의 질적인 요소는 메인 제어부(300)에서 결정지을 수 없고 사운드 서버에 종속된다.The sound system 10 through parallel output of sound creates channels for sound effects for each location divided by the second sound control unit 400, so even if a simple sound trigger command is received, the location of the sound is connected, so it is produced by a sound engine. Since it creates the spatial effect in real time and operates completely separate from the work of the main control unit 300, the independent development environment and qualitative elements of the sound cannot be determined by the main control unit 300 and is dependent on the sound server.

제3 사운드 제어부(600)는 제3 통신 모듈(610), 제3 사운드 전송 모듈(620), 제3 사운드 처리 모듈(630), 제3 사운드 출력 처리 모듈(640)을 포함한다.The third sound control unit 600 includes a third communication module 610, a third sound transmission module 620, a third sound processing module 630, and a third sound output processing module 640.

제3 통신 모듈(610)은 제1 통신 모듈(326)에서 동기화 데이터를 전달받을 수 있다.The third communication module 610 may receive synchronization data from the first communication module 326.

제3 사운드 전송 모듈(620)은 동기화 데이터 및 오브젝트에 관한 사운드를 구분하여 전송할 수 있다.The third sound transmission module 620 can transmit synchronization data and sound related to an object separately.

제3 사운드 처리 모듈(630)은 전송된 동기화 데이터 및 오브젝트에 관한 사운드를 기반으로 오브젝트 상황음 및 오브젝트 이벤트음을 적용하여 처리할 수 있다.The third sound processing module 630 may apply and process object situation sounds and object event sounds based on the transmitted synchronization data and sound related to the object.

제3 사운드 출력 처리 모듈(640)은 오브젝트 상황음 및 오브젝트 이벤트음과 사용자의 움직임에 따라 생성된 제3 사운드를 제3 출력 기기(530)에 전달할 수 있다.The third sound output processing module 640 may transmit object situation sounds, object event sounds, and third sounds generated according to the user's movement to the third output device 530.

도 8은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제1 출력 기기를 예시한 도면이다. 도 8의 (a)는 통상적인 HMD(110)에서의 사운드 장치의 사용을 나타내는 도면이며, 도 8의 (b)는 골전도 이어폰의 사용을 나타내는 도면이다.Figure 8 is a diagram illustrating a first output device of the tenable sound output system according to an embodiment of the present invention. Figure 8(a) is a diagram showing the use of a sound device in a typical HMD 110, and Figure 8(b) is a diagram showing the use of bone conduction earphones.

기존의 사운드 장치(502)는 귓구멍을 통해 고정되는 이어폰일 수 있으며, 착용 시 외부 소리를 들을 수 없어 집중도를 향상시킬 수 있지만 사운드 장치(502)를 통해 출력되는 사운드 밖에 들을 수 없는 문제가 있다.The existing sound device 502 may be an earphone that is fixed through the ear hole, and when worn, external sounds cannot be heard, which can improve concentration, but there is a problem in that only the sound output through the sound device 502 can be heard.

이에 따라, 사운드 제어 장치(20)은 골전도 이어폰을 사용함에 따라 개방된 귀를 통해 추가적인 사운드를 사용할 수 있는 통로를 만들 수 있다. 골전도 이어폰은 두개골의 뼈들을 통하여 소리가 속귀(내이)로 전도되는 것으로, 골전도를 통해 소리를 전달한다.Accordingly, the sound control device 20 can create a passage through which additional sound can be used through the open ear by using bone conduction earphones. Bone conduction earphones transmit sound through the bones of the skull to the inner ear, transmitting sound through bone conduction.

도 9는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제2 출력 기기를 예시한 도면이다.Figure 9 is a diagram illustrating a second output device of the tenable sound output system according to an embodiment of the present invention.

사운드 제어 장치(20)는 4.4 채널의 구조뿐만 아니라 영화산업에서 사용하는 5.1, 7.1.4, 10.2 등 다양한 방식으로 확장하여 사용될 수 있다.The sound control device 20 can be expanded and used in various ways, such as 5.1, 7.1.4, and 10.2 used in the film industry, as well as the 4.4 channel structure.

사운드 제어 장치(20)는 기존의 개발 방식 안에서 사운드 엔지니어가 제작을 진행해 나갈 수 있으며 일반적인 헤드폰이 지니는 저역 재생의 한계와 실감 있는 음악, 머리 위에서 음상이 맺히는 단점을 해소할 수 있다. VR을 체험하는 또 다른 관객들에게 선택적인 정보를 제공하여 연출적인 요소로 사용할 수 있다. 사운드 제어 장치(20)는 골전도 이어폰을 사용함에 따라 콘텐츠를 이용하는 사용자에게만 들리는 효과를 제공할 수 있다.The sound control device 20 can be produced by a sound engineer within the existing development method, and can solve the limitations of low-range reproduction, realistic music, and the disadvantage of sound images forming above the head of general headphones. It can be used as a production element by providing selective information to other audiences experiencing VR. The sound control device 20 can provide an audible effect only to users who use the content by using bone conduction earphones.

제2 출력 기기(520)는 복수의 서라운드 스피커(520a, 520b, 520c, 520d) 및 복수의 서브 우퍼(522a, 522b, 522c, 522d)를 포함할 수 있으며, 반드시 이에 한정되는 것은 아니다.The second output device 520 may include a plurality of surround speakers 520a, 520b, 520c, and 520d and a plurality of subwoofers 522a, 522b, 522c, and 522d, but is not necessarily limited thereto.

일반적으로 영화에서 쓰이는 서라운드 사운드는 복수의 서라운드 스피커(520a, 520b, 520c, 520d)와 복수의 서브 우퍼(522a, 522b, 522c, 522d)의 조합을 통해 일반적인 스피커에서 표현할 수 없는 저역을 표현하고 일반 스피커로는 중고역을 재생하여 서로의 단점을 보완할 수 있다. 하지만 스피커에서 나오는 볼륨을 조정하여 작은 소리가 멀리 있거나 큰소리는 가까이 있다는 가정 하에 사운드 음원을 재생하지만 음원의 방향성을 만드는데 유리한 측면이 있으나 원형의 사용자를 중심으로 거리감을 완벽하게 구현하는 것은 어렵다. 특히 오브젝트에서 발생한 소리의 거리감까지 구현하는 것은 쉽지 않다.Surround sound, generally used in movies, expresses low frequencies that cannot be expressed by ordinary speakers through a combination of multiple surround speakers (520a, 520b, 520c, 520d) and multiple subwoofers (522a, 522b, 522c, 522d) and Speakers can compensate for each other's shortcomings by reproducing mid to high frequencies. However, by adjusting the volume coming from the speaker, the sound source is played under the assumption that soft sounds are far away or loud sounds are close. Although this is advantageous in creating the directionality of the sound source, it is difficult to perfectly realize the sense of distance centered on the circular user. In particular, it is not easy to realize the distance of the sound generated from an object.

도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제3 출력 기기를 예시한 도면이다.10A to 10C are diagrams illustrating a third output device of the tenable sound output system according to an embodiment of the present invention.

텐저블 사운드 출력 시스템의 제3 출력 기기(530)는 제3 사운드 제어부(600)에 결합되며, 제3 사운드 제어부(600)는 컨트롤러(120)에 결합된다. 제3 사운드 제어부(600) 또는 제3 출력 기기(530)는 배터리(650)를 포함할 수 있다.The third output device 530 of the tenable sound output system is coupled to the third sound control unit 600, and the third sound control unit 600 is coupled to the controller 120. The third sound control unit 600 or the third output device 530 may include a battery 650.

트래커(컨트롤러)를 통해 오브젝트의 위치를 추적하여 오브젝트의 자체 소리를 동기화시킬 수 있고, 촉각적으로 소리가 나는 물건을 집고 움직임을 통해 위치감을 향상시키고 가상현실 공간에서 생겨나는 시각과 청각의 어색함을 해소할 수 있다. 게다가 골전도 이어폰-서라운드 스피커만으로 해결하지 못한 소리 공간의 공백 및 거리감을 해소할 수 있다.By tracking the position of an object through a tracker (controller), you can synchronize the object's own sound, improve the sense of position by tactilely picking up and moving an object that makes a sound, and eliminate the visual and auditory awkwardness that occurs in virtual reality space. It can be resolved. In addition, bone conduction earphones and surround speakers alone can solve the void and distance in the sound space that cannot be resolved.

도 11은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 사용자가 오브젝트를 이동시키는 동작을 예시한 도면이고, 도 12는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 오브젝트를 이동하는 소리 공간을 예시한 도면이다.Figure 11 is a diagram illustrating an operation of a user moving an object in a tenable sound output system according to an embodiment of the present invention, and Figure 12 is a diagram illustrating an operation of moving an object in a tenable sound output system according to an embodiment of the present invention. This is a diagram illustrating a sound space.

발전된 서라운드 사운드는 스크린 뒤에 스피커를 사용하여 스크린에 소리를 맺히게 할 수 있다. 사운드 엔지니어가 최대한 음상을 조절한다 하더라도 일반적으로 소리가 맺히는 공간을 제2 공간(524)에 제한적으로 소리가 위치하게 될 수 있다. 이에 소리의 위치를 조정한다 하더라도 제1 공간(514) 및 제3 공간(512)에 소리를 위치시키기 어려운 문제가 있다.Advanced surround sound uses speakers behind the screen to project sound onto the screen. Even if the sound engineer adjusts the sound image as much as possible, the sound may be limited to the second space 524, which is generally the space where the sound is formed. Accordingly, even if the position of the sound is adjusted, there is a problem in that it is difficult to place the sound in the first space 514 and the third space 512.

헤드폰(골전도 이어폰)은 소리의 음상이 좁아 대부분의 소리가 머리 안에서 맺히게 되며, 최대한 넓게 사운드를 조정한다 하더라도 사용자의 위치(12)에서 근거리에 위치하는 경우가 대부분이며, 이는 제1 공간(514)을 의미한다.Headphones (bone conduction earphones) have a narrow sound image, so most of the sound is concentrated inside the head. Even if the sound is adjusted as wide as possible, it is usually located close to the user's location (12), which is located in the first space (514). ) means.

사운드 제어 장치(20)는 제1 출력 기기(510) 및 제2 출력 기기(520)의 사용 특성을 이용하여 두 부분의 단점을 메워 전체적인 사운드 사용의 음상을 넓히고 음질을 향상시킬 수 있다.The sound control device 20 can use the usage characteristics of the first output device 510 and the second output device 520 to compensate for the shortcomings of the two parts, thereby broadening the overall sound usage and improving sound quality.

음향 출력 장치(500)는 콘텐츠가 구현되는 범위 내에서 복수의 위치에 소리가 맺히게 할 수 있다. 복수의 위치(504a, 504b, 504c, 504d, 504e, 504f)는 제2 공간(524), 제3 공간(512) 및 제1 공간(514)에 위치할 수 있다.The sound output device 500 can produce sound at a plurality of locations within the range where content is implemented. A plurality of locations 504a, 504b, 504c, 504d, 504e, and 504f may be located in the second space 524, the third space 512, and the first space 514.

제1 공간(514)은 제1 출력 기기(510)에서 출력되는 제1 사운드가 대부분 맺히는 공간을 나타내고, 제2 공간(524)은 제2 출력 기기(520)에서 출력된 제2 사운드의 대부분이 맺히는 공간을 나타내고, 제3 공간(512)은 제1 출력 기기(510) 및 제2 출력 기기(520)에서 출력되는 사운드가 대부분 맺히지 않는 공간을 나타내다.The first space 514 represents a space where most of the first sound output from the first output device 510 is produced, and the second space 524 represents a space where most of the second sound output from the second output device 520 is produced. It represents a space where sound is formed, and the third space 512 represents a space where most of the sound output from the first output device 510 and the second output device 520 is not formed.

제1 위치(504a)는 제2 공간(524) 및 제3 공간(512) 사이에 위치하고, 제2 위치(504b)는 제1 공간(514)에 위치하고, 제3 위치(504c)는 제1 공간(514)과 사용자 사이에 위치하고, 제4 위치(504d)는 제2 공간(524)에 위치하고, 제5 위치(504e)는 제2 공간(524)에 위치하고, 제6 위치(504f)는 제3 공간(512)과 제1 공간(514) 사이에 위치한다.The first location 504a is located between the second space 524 and the third space 512, the second location 504b is located in the first space 514, and the third location 504c is located in the first space 512. Located between 514 and the user, the fourth position 504d is located in the second space 524, the fifth position 504e is located in the second space 524, and the sixth position 504f is located in the third space 524. It is located between the space 512 and the first space 514.

사운드 제어 장치(20)는 제1 출력 기기(510)를 통해 소리가 맺히는 공간과 제2 출력 기기(520)를 통해 소리가 맺히는 공간을 구분하여 출력하며, 제1 출력 기기(510) 및 제2 출력 기기(520)를 통해 생성되는 사운드가 대부분 맺히지 않는 공간에서는 제1 출력 기기(510) 및 제2 출력 기기(520)의 음량 등을 조절하여 음상을 넓히고 음질을 향상시킬 수 있다.The sound control device 20 distinguishes between the space where the sound is produced through the first output device 510 and the space where the sound is produced through the second output device 520, and outputs the sound through the first output device 510 and the second output device 520. In a space where most of the sound generated through the output device 520 is not reflected, the sound volume of the first output device 510 and the second output device 520 can be adjusted to broaden the sound image and improve sound quality.

사운드 제어 장치(20)는 소리가 외부에서 내부로 전달되는 경우, 먼 거리에서 출발한 사운드는 제2 출력 기기(520)를 통해 근접하고, 제1 출력 기기(510)의 한계로 인해 제2 공간(524)에서 사운드가 멈출 수 있으며, 이 사운드를 지속적으로 전달시키기 위해서는 제1 출력 기기(510)를 사용하여 동일하게 연속적인 소리를 표현하여 자연스럽게 하나의 소리로 인식시킬 수 있다. 이는 제1 출력 기기(510) 및 제2 출력 기기(520) 각각에서 나누어 소리를 재생시킬 수 있으며, 동일한 저음을 통해 사용자가 하나의 사운드로 인식하게 할 수 있다.The sound control device 20 is such that when sound is transmitted from the outside to the inside, the sound originating from a distance approaches through the second output device 520, and is connected to the second space due to the limitation of the first output device 510. The sound can stop at 524, and in order to continuously transmit this sound, the first output device 510 can be used to express the same continuous sound so that it is naturally recognized as one sound. This can reproduce the sound separately from each of the first output device 510 and the second output device 520, and allow the user to recognize it as one sound through the same low tone.

제어 장치(20)는 제1 출력 기기(510) 및 제2 출력 기기(520)를 이용함에 따라 거리감을 향상시키고 음역대를 분리하여 재생하게 되므로 진동으로 인한 효과적인 불편함을 제거한 상태에서 좋은 음질을 사용자에게 제공할 수 있다.By using the first output device 510 and the second output device 520, the control device 20 improves the sense of distance and reproduces the sound range separately, so that the user can enjoy good sound quality while eliminating the effective inconvenience caused by vibration. can be provided to.

제3 사운드 제어부(600)는 콘텐츠에 포함된 복수의 오브젝트 중에서 컨트롤러에 의해 선택된 일부 오브젝트와 인터랙션하는 타이밍에 제3 출력 기기에서 제3 사운드를 출력하도록 제3 사운드를 신호 처리한다.The third sound control unit 600 processes the third sound so that the third output device outputs the third sound at the timing of interaction with some objects selected by the controller from among the plurality of objects included in the content.

제3 사운드 제어부(600)는 컨트롤러에 의해 일부 오브젝트의 위치를 추적하여 일부 오브젝트의 시각적 움직임에 동기화된 제3 사운드를 추적하는 시간 동안 출력하도록 제3 사운드를 신호 처리한다.The third sound control unit 600 tracks the position of some objects by the controller and processes the third sound to output a third sound synchronized to the visual movement of the some objects during the tracking time.

디스플레이 장치(110)는 일부 오브젝트를 제3 소리 공간에 매칭하는 위치에 출력하고, 일부 오프젝트가 컨트롤러에 의해 인터랙션하기 전까지는 제3 출력 기기는 제3 소리 공간에 제3 사운드를 출력하지 않고 제2 출력 기기는 제2 소리 공간에 제2 사운드를 출력한다.The display device 110 outputs some objects at positions matching the third sound space, and the third output device does not output the third sound to the third sound space until some objects are interacted with by the controller. 2 The output device outputs the second sound to the second sound space.

제3 출력 기기(530)는 제1 소리 공간 및 제2 소리 공간의 소리 공백 영역 간의 경계에서 제3 사운드를 출력할 수 있다. 제3 출력 기기(530)는 제2 소리 공간의 소리 공백 영역의 바깥 경계에서 제3 사운드를 출력할 수 있다. 제3 출력 기기(530)는 제3 소리 공간에 제3 사운드를 출력할 수 있다.The third output device 530 may output the third sound at the boundary between the sound blank area of the first sound space and the second sound space. The third output device 530 may output the third sound at the outer boundary of the sound blank area of the second sound space. The third output device 530 can output the third sound to the third sound space.

제1 사운드 제어부(320) 또는 제3 사운드 제어부(600)는 제3 소리 공간의 경계 부근에 설치된 음향 입력 장치를 통해 제3 사운드를 수신 받아 테스트를 수행하고, 테스트 결과에 따라 추출된 제3 소리 공간을 시각적 위치 정보로 변환하여 디스플레이 장치에 제공할 수 있다. 디스플레이 장치는 일부 오브젝트의 위치 추적 과정에서 일부 오브젝트의 소리가 출력되는 위치 및 형상에 대해서 테스트 결과를 피드백하여 보정할 수 있다.The first sound control unit 320 or the third sound control unit 600 receives the third sound through an audio input device installed near the border of the third sound space, performs a test, and extracts the third sound according to the test results. Space can be converted into visual location information and provided to a display device. The display device can feed back test results and correct the positions and shapes where sounds of some objects are output during the process of tracking the positions of some objects.

제1 사운드 제어부(320) 또는 제3 사운드 제어부(600)는 상호 필요한 동기화 데이터를 주고받으며, 제1 통신 모듈과 제3 통신 모듈 간에 전송되는 동기화 데이터는 제1 소리 공간 정보, 제2 소리 공간 정보, 제3 소리 공간 정보(위치 정보)를 포함하며, 소리 공백 영역과 오브젝트 간의 중첩 여부 및 거리 정보/시간 정보, 사용자 또는 오브젝트를 트래킹하는 과정에서 제3 소리 공간의 내측 경계/외측 경계 해당 여부를 포함할 수 있다.The first sound control unit 320 or the third sound control unit 600 exchanges necessary synchronization data, and the synchronization data transmitted between the first communication module and the third communication module is first sound space information and second sound space information. , includes third sound space information (position information), whether there is overlap between the sound blank area and the object, distance information/time information, and whether the inner boundary/outer boundary of the third sound space is applicable in the process of tracking the user or object. It can be included.

도 13은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 가상현실로 구현한 화면을 예시한 도면이다.Figure 13 is a diagram illustrating a screen implemented in virtual reality in the tenable sound output system according to an embodiment of the present invention.

예컨대, 사용자는 주변의 새소리와 함께 고양이 울음소리를 듣게 되는 상황을 가상현실로 체험할 수 있다. 제2 출력 기기에서 출력된 사운드가 제2 소리 공간을 통해 제공된다. 사용자가 컨트롤러로 고양이를 잡게 되면, 고양이를 터치하면서부터 잡고 있는 동안에 제3 출력 기기를 통해 고양이 울음소리가 출력된다. 제3 출력 기기를 통해 제2 소리 공간의 소리 공백 영역을 채움과 동시에 오브젝트의 자체 발생 소리에 대한 몰입도를 증가시키고 오브젝트의 움직임과 소리를 동기화할 수 있다.For example, users can experience in virtual reality a situation where they hear the sound of a cat crying along with the sound of birds around them. The sound output from the second output device is provided through the second sound space. When a user catches a cat with a controller, the cat's meowing sound is output through a third output device from the moment the user touches the cat while holding it. Through a third output device, it is possible to fill the sound blank area of the second sound space, increase immersion in the object's self-generated sound, and synchronize the movement and sound of the object.

도 14는 본 발명의 다른 실시예에 따른 텐저블 사운드 출력 방법을 예시한 흐름도이다.Figure 14 is a flowchart illustrating a tenable sound output method according to another embodiment of the present invention.

텐저블 사운드 출력 방법은 텐저블 사운드 출력 장치에 의해 수행될 수 있다.The tenable sound output method can be performed by a tenable sound output device.

텐저블 사운드 출력 방법은, 디스플레이 장치를 통해 콘텐츠를 제공하는 단계(S1010), 디스플레이 장치와 별도로 착용 가능한 제1 출력 기기를 통해 제1 소리 공간을 형성하는 단계(S1020), 제1 출력 기기로부터 이격되어 주변에 설치된 제2 출력 기기를 통해 소리 공백 영역을 갖는 제2 소리 공간을 형성하는 단계(S1030), 제2 소리 공간의 소리 공백 영역보다 제1 소리 공간의 크기가 작아서 커버되지 않는 제3 소리 공간을 형성하는 단계(S1040), 제1 출력 기기를 통해 제1 소리 공간에 제1 사운드를 출력하는 단계(S1050), 제2 출력 기기를 통해 제2 소리 공간에 제2 사운드를 출력하는 단계(S1060), 디스플레이 장치와 통신하며 사용자 인터페이스를 제공하는 컨트롤러에 결합된 제3 출력 기기를 통해 제3 사운드를 출력하는 단계(S1070)를 포함한다.The tenable sound output method includes providing content through a display device (S1010), forming a first sound space through a first output device that can be worn separately from the display device (S1020), and spaced apart from the first output device. forming a second sound space having a sound blank area through a second output device installed nearby (S1030), a third sound that is not covered because the size of the first sound space is smaller than the sound blank area of the second sound space Forming a space (S1040), outputting a first sound to a first sound space through a first output device (S1050), outputting a second sound to a second sound space through a second output device ( S1060), and outputting a third sound through a third output device coupled to a controller that communicates with the display device and provides a user interface (S1070).

제3 사운드를 출력하는 단계(S1070)는 콘텐츠에 포함된 복수의 오브젝트 중에서 상 컨트롤러에 의해 선택된 일부 오브젝트와 인터랙션하는 타이밍에 제3 출력 기기에서 제3 사운드를 출력할 수 있다.In the step of outputting the third sound (S1070), the third sound may be output from the third output device at the timing of interaction with some objects selected by the image controller among the plurality of objects included in the content.

제3 사운드를 출력하는 단계(S1070)는 컨트롤러에 의해 일부 오브젝트의 위치를 추적하여 일부 오브젝트의 시각적 움직임에 동기화된 제3 사운드를 추적하는 시간 동안 출력할 수 있다.In the step of outputting the third sound (S1070), the position of some objects may be tracked by the controller and the third sound synchronized with the visual movement of some objects may be output during the tracking time.

콘텐츠를 제공하는 단계(S1070)는 디스플레이 장치를 통해 일부 오브젝트를 제3 소리 공간에 매칭하는 위치에 출력하고, 제 2 사운드를 출력하는 단계(S1060)는 일부 오프젝트가 컨트롤러에 의해 인터랙션하기 전까지는 제3 소리 공간에 제3 사운드를 출력하지 않는 상태에서 제2 소리 공간에 제2 사운드를 출력할 수 있다.The step of providing content (S1070) outputs some objects to a location matching the third sound space through the display device, and the step of outputting the second sound (S1060) does not wait until some objects are interacted with by the controller. The second sound can be output to the second sound space without outputting the third sound to the third sound space.

제3 사운드를 출력하는 단계(S1070)는 제3 출력 기기를 통해 제1 소리 공간 및 제2 소리 공간의 소리 공백 영역 간의 경계에서 제3 사운드를 출력하거나, 제3 출력 기기를 통해 제2 소리 공간의 소리 공백 영역의 바깥 경계에서 제3 사운드를 출력하거나, 제3 출력 기기를 통해 제3 소리 공간에 제3 사운드를 출력할 수 있다.The step of outputting the third sound (S1070) is to output the third sound at the boundary between the sound blank area of the first sound space and the second sound space through the third output device, or output the third sound at the boundary between the sound blank areas of the first sound space and the second sound space through the third output device. The third sound can be output at the outer boundary of the sound blank area, or the third sound can be output in the third sound space through a third output device.

제3 사운드를 출력하는 단계(S1070)는 제3 소리 공간의 경계 부근에 설치된 음향 입력 장치를 통해 제3 사운드를 수신 받아 테스트를 수행하고, 테스트 결과에 따라 추출된 제3 소리 공간을 시각적 위치 정보로 변환하여 디스플레이 장치에 제공할 수 있다. 콘텐츠를 제공하는 단계(S1010)는 일부 오브젝트의 위치 추적 과정에서 일부 오브젝트의 소리가 출력되는 위치 및 형상에 대해서 테스트 결과를 피드백하여 보정할 수 있다.In the step of outputting the third sound (S1070), a test is performed by receiving the third sound through an audio input device installed near the border of the third sound space, and the third sound space extracted according to the test result is used as visual location information. It can be converted to and provided to the display device. In the step of providing content (S1010), the position and shape of the sound output of some objects can be corrected by feeding back test results in the process of tracking the positions of some objects.

각 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.Each device may be implemented within a logic circuit using hardware, firmware, software, or a combination thereof, and may also be implemented using a general-purpose or special-purpose computer. The device may be implemented using hardwired devices, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), etc. Additionally, the device may be implemented as a System on Chip (SoC) including one or more processors and a controller.

각 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.Each device may be mounted on a computing device or server equipped with hardware elements in the form of software, hardware, or a combination thereof. A computing device or server includes all or part of a communication device such as a communication modem for communicating with various devices or wired and wireless communication networks, a memory for storing data to execute a program, and a microprocessor for executing a program to perform calculations and commands. It can refer to a variety of devices, including:

도 14에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 14에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.In FIG. 14, it is described that each process is executed sequentially, but this is only an illustrative explanation, and those skilled in the art can change the order shown in FIG. 14 and execute it without departing from the essential characteristics of the embodiments of the present invention. Alternatively, it may be applied through various modifications and modifications, such as executing one or more processes in parallel or adding other processes.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.Operations according to the present embodiments may be implemented in the form of program instructions that can be performed through various computer means and recorded on a computer-readable medium. Computer-readable media refers to any media that participates in providing instructions to a processor for execution. Computer-readable media may include program instructions, data files, data structures, or combinations thereof. For example, there may be magnetic media, optical recording media, memory, etc. A computer program may be distributed over networked computer systems so that computer-readable code can be stored and executed in a distributed manner. Functional programs, codes, and code segments for implementing this embodiment can be easily deduced by programmers in the technical field to which this embodiment belongs.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.These embodiments are intended to explain the technical idea of the present embodiment, and the scope of the technical idea of the present embodiment is not limited by these examples. The scope of protection of this embodiment should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of rights of this embodiment.

Claims

In the tensable sound output method by the tensable sound output system,
providing content through a display device;
forming a first sound space through a first output device that can be worn separately from the display device;
forming a second sound space having a sound blank area through a second output device installed nearby and away from the first output device;
forming a third sound space that is not covered because the size of the first sound space is smaller than the sound blank area of the second sound space;
outputting a first sound to the first sound space through the first output device;
outputting a second sound to the second sound space through the second output device;
A tenable sound output method comprising outputting a third sound to the third sound space through a third output device coupled to a controller that communicates with the display device and provides a user interface.

According to paragraph 1,
The step of outputting the third sound is,
A tenable sound output method, characterized in that the third sound is output from the third output device at the timing of interaction with some objects selected by the controller among the plurality of objects included in the content.

According to paragraph 2,
The step of outputting the third sound is,
A tenable sound output method, characterized in that the position of the partial object is tracked by the controller and the third sound synchronized with the visual movement of the partial object is output during the tracking time.

According to paragraph 2,
The step of providing the content includes outputting the some objects to a location matching the third sound space through the display device,
The step of outputting the second sound includes outputting the second sound to the second sound space without outputting the third sound to the third sound space until the partial object is interacted with by the controller. Tensible sound output method.

According to paragraph 4,
The step of outputting the third sound is,
Outputting the third sound at the boundary between the sound blank area of the first sound space and the second sound space through the third output device, or
Outputting the third sound at the outer boundary of the sound blank area of the second sound space through the third output device, or
A tenable sound output method, characterized in that outputting a third sound to the third sound space through the third output device.

According to clause 5,
The step of outputting the third sound includes receiving the third sound through an audio input device installed near the border of the third sound space, performing a test, and visually positioning the third sound space extracted according to the test result. Converts it into information and provides it to the display device,
The step of providing the content is a tenable sound output method, characterized in that the test result is fed back and corrected for the position and shape of the sound output of the some objects in the process of tracking the location of the some objects.

In the tensable sound output system,
A display device that provides content;
a controller that communicates with the display device and provides a user interface;
a first output device that can be worn separately from the display device;
a second output device installed nearby and spaced apart from the first output device;
a third output device coupled to the controller;
a first sound control unit that processes the first sound to output the first sound to a first sound space through the first output device;
a second sound control unit that processes the second sound to output the second sound to a second sound space through the second output device;
A third signal processing device so that the third sound is output through the third output device to a third sound space that is not covered because the size of the first sound space is smaller than the sound blank area of the second sound space. Tensible sound output system including a sound control unit.

In clause 7,
The first output device is implemented in the form of bone conduction earphones,
The second output device is implemented in the form of a surround speaker having a plurality of sound channels,
A tenable sound output system, characterized in that the third output device is attached to the controller and the third sound control unit is attached to the controller.

In clause 7,
The third sound control unit processes the third sound to output the third sound from the third output device at the timing of interaction with some objects selected by the controller among the plurality of objects included in the content. Tensible sound output system.

According to clause 9,
The third sound control unit tracks the position of the some objects by the controller and processes the third sound to output the third sound synchronized to the visual movement of the some objects during the tracking time. Tensible sound output system.

According to clause 9,
The display device outputs some of the objects at a location matching the third sound space,
Until the part of the object is interacted with by the controller, the third output device does not output the third sound to the third sound space, and the second output device outputs the second sound to the second sound space. A tenable sound output system characterized by:

According to clause 11,
The third output device is,
Outputting the third sound at the boundary between the sound blank area of the first sound space and the second sound space, or
Outputting the third sound at the outer boundary of the sound blank area of the second sound space, or
A tenable sound output system characterized in that it outputs a third sound to the third sound space.

According to clause 12,
The first sound control unit or the third sound control unit receives the third sound through an audio input device installed near the border of the third sound space, performs a test, and extracts the third sound space according to the test result. converts it into visual location information and provides it to the display device,
The display device is a tenable sound output system, characterized in that the test result is fed back and corrected for the position and shape of the sound output of the some objects in the process of tracking the positions of the some objects.