KR20190048359A - Spatial voice virtual reality server and apparatus - Google Patents

Spatial voice virtual reality server and apparatus Download PDF

Info

Publication number
KR20190048359A
KR20190048359A KR1020170143266A KR20170143266A KR20190048359A KR 20190048359 A KR20190048359 A KR 20190048359A KR 1020170143266 A KR1020170143266 A KR 1020170143266A KR 20170143266 A KR20170143266 A KR 20170143266A KR 20190048359 A KR20190048359 A KR 20190048359A
Authority
KR
South Korea
Prior art keywords
voice
user
spatial
signal
information
Prior art date
Application number
KR1020170143266A
Other languages
Korean (ko)
Other versions
KR102331229B1 (en
Inventor
김휴대
임국찬
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170143266A priority Critical patent/KR102331229B1/en
Publication of KR20190048359A publication Critical patent/KR20190048359A/en
Application granted granted Critical
Publication of KR102331229B1 publication Critical patent/KR102331229B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

According to one embodiment of the present invention, provided is a spatial voice VR server, which comprises: an information reception unit receiving position information in a virtual space of each user from a plurality of spatial voice VR devices transmitting voice signals of a plurality of users who are positioned in the same virtual space and voice signals of each of the users; a mixing signal generation unit generating a mixing signal in which voice signals of each of the users are synthesized; an output position determination unit determining a virtual output position, which is a position to output the mixing signal in the virtual space, based on volume information and the position information of the voice signals of each user; and an information transmission unit providing the mixing signal and the virtual output position to a plurality of spatial voice VR devices.

Description

공간 음성 VR 서버 및 장치{SPATIAL VOICE VIRTUAL REALITY SERVER AND APPARATUS}[0001] SPATIAL VOICE VIRTUAL REALITY SERVER AND APPARATUS [0002]

본 발명은 공간 음성 VR 서버 및 장치에 관한 것으로서, 보다 자세하게는 동일한 가상 공간에 위치하는 여러 사용자가 발화하는 음성 신호를 기초로 가상 공간 내에서 사용자의 음성이 출력되는 위치를 결정하는 공간 음성 VR 서버 및 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a spatial voice VR server and apparatus, and more particularly, to a spatial voice VR server and a spatial voice VR server that determine a location where a user's voice is output in a virtual space based on voice signals uttered by various users located in the same virtual space. And apparatus.

최근 VR(virtual reality) 글래스가 개발됨에 따라, 동일한 가상 공간에 다수의 사용자가 접속하여 서로 상대방의 아바타를 보며 대화를 진행할 수 있는 형태의 가상 공간 대화 서비스가 제공되고 있다. [0002] With the recent development of VR (Virtual Reality) glass, a virtual space conversation service in which a plurality of users are connected to the same virtual space and conversation can be performed while viewing the other's avatar is provided.

한편, 기존의 가상 공간 대화 서비스는 동일한 가상 공간에 접속한 여러 사용자들의 음성을 서버가 수신하여 하나의 스트림으로 합성한 음성 신호를 모든 사용자들에게 동일하게 제공할 뿐이기에 사용자들은 다른 사용자의 음성이 해당 사용자가 위치하는 공간에서 들린다는 느낌을 경험할 수 없었다. On the other hand, since the existing virtual space conversation service only provides voice signals obtained by synthesizing a plurality of users connected to the same virtual space to one stream by the server, I could not feel that it was heard in the space where the user was located.

따라서 가상 공간 대화 서비스는 다른 사용자가 위치하는 공간을 고려하여 다른 사용자의 위치에서 음성이 들리는 느낌을 경험할 수 있도록 보다 현실적인 서비스 형태를 제공할 필요가 있다. Therefore, the virtual space communication service needs to provide a more realistic service type in order to experience a feeling of sounding at the position of another user in consideration of the space where the other user is located.

본 발명의 실시예에서 해결하고자 하는 과제는 동일한 가상 공간 내의 다른 사용자가 위치하는 공간에서 음성이 들리는 느낌을 경험할 수 있도록 하는 기술을 제공하는 것이다. A problem to be solved by an embodiment of the present invention is to provide a technique for allowing a user to experience a feeling of sound in a space where other users are located in the same virtual space.

이와 함께, 모든 사용자의 음성을 각각 처리하는 것이 아니라 여러 사용자들의 음성을 하나의 스트림으로 합성하는 동시에 위와 같은 과제를 해결함으로써 동일한 가상 공간 내에 참여하는 사용자의 수가 증가함에 따라 발생할 수 있는 서버의 과부하를 방지하고자 한다. At the same time, it is possible to combine the voice of various users into one stream rather than to process each voice of each user, and at the same time solve the above problem, thereby overloading the server that may occur as the number of users participating in the same virtual space increases .

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed.

본 발명의 일 실시예에 따른 공간 음성 VR 서버는 동일한 가상 공간 내에 위치하는 복수의 사용자의 음성 신호를 전송하는 복수의 공간 음성 VR 장치로부터 각 사용자의 가상 공간 내에서의 위치 정보 및 상기 각 사용자의 음성 신호를 수신하는 정보 수신부, 상기 각 사용자의 음성 신호를 합성한 믹싱 신호를 생성하는 믹싱 신호 생성부, 상기 각 사용자의 음성 신호의 음량 정보 및 상기 위치 정보를 기초로 상기 가상 공간 내에서 상기 믹싱 신호가 출력될 위치인 가상 출력 위치를 결정하는 출력 위치 결정부 및 상기 믹싱 신호 및 상기 가상 출력 위치를 상기 복수의 공간 음성 VR 장치에 제공하는 정보 송신부를 포함한다. The spatial voice VR server according to an embodiment of the present invention extracts location information in each user's virtual space from a plurality of spatial voice VR devices transmitting voice signals of a plurality of users located in the same virtual space, A mixing signal generating unit for generating a mixing signal in which the voice signals of the respective users are synthesized, a mixing signal generating unit for mixing the user signals in the virtual space based on the volume information of the user's voice signal and the position information, An output position determiner for determining a virtual output position at which a signal is to be output; and an information transmitter for providing the mixing signal and the virtual output position to the plurality of spatial voice VR devices.

본 발명의 일 실시예에 따른 공간 음성 VR 장치는 사용자의 가상 공간 내 위치 정보 및 상기 사용자의 음성 신호를 공간 음성 VR 서버로 송신하고, 상기 가상 공간 내에 위치하는 각 사용자의 음성 신호가 합성된 믹싱 신호를 상기 음성 VR 서버로부터 수신하는 통신부 및 상기 가상 공간 내에서 상기 믹싱 신호가 출력될 위치로서, 상기 각 사용자의 음성 신호의 음량 정보 및 상기 각 사용자의 위치 정보에 기초하여 결정된 가상 출력 위치에서 상기 믹싱 신호가 재생되도록 하는 믹싱 신호 재생부를 포함한다. The spatial voice VR apparatus according to an embodiment of the present invention transmits location information of the user in the virtual space and the voice signal of the user to the spatial voice VR server and transmits voice signals of the users located in the virtual space, A communication unit for receiving a signal from the voice VR server, and a communication unit for transmitting the mixed signal from the virtual output location determined based on the volume information of the voice signal of each user and the location information of each user, And a mixing signal regenerating unit for regenerating the mixing signal.

본 발명의 일 실시예에 따른 공간 음성 VR 서버가 수행하는 공간 음성 VR 제공 방법은 동일한 가상 공간 내에 위치하는 복수의 사용자의 음성 신호를 전송하는 복수의 공간 음성 VR 장치로부터 각 사용자의 가상 공간 내에서의 위치 정보 및 상기 각 사용자의 음성 신호를 수신하는 단계, 상기 각 사용자의 음성 신호를 합성한 믹싱 신호를 생성하는 단계, 상기 각 사용자의 음성 신호의 음량 정보 및 상기 위치 정보를 기초로 상기 가상 공간 내에서 상기 믹싱 신호가 출력될 위치인 가상 출력 위치를 결정하는 단계 및 상기 믹싱 신호 및 상기 가상 출력 위치를 상기 복수의 공간 음성 VR 장치에 제공하는 단계를 포함한다. A method for providing a spatial voice VR performed by a spatial voice VR server according to an exemplary embodiment of the present invention is a method for providing a spatial voice VR in a virtual space of each user from a plurality of spatial voice VR devices transmitting voice signals of a plurality of users located in the same virtual space Receiving a voice signal of each user, generating a mixing signal in which voice signals of the respective users are synthesized, generating a mixing signal based on the volume information of the voice signal of each user and the position information, Determining a virtual output position that is a position at which the mixing signal is to be output in the plurality of spatial audio VR devices; and providing the mixing signal and the virtual output position to the plurality of spatial audio VR devices.

본 발명의 일 실시예에 따른 공간 음성 VR 장치가 수행하는 공간 음성 VR 제공 방법은 사용자의 가상 공간 내 위치 정보 및 상기 사용자의 음성 신호를 공간 음성 VR 서버로 송신하고, 상기 가상 공간 내에 위치하는 각 사용자의 음성 신호가 합성된 믹싱 신호를 상기 음성 VR 서버로부터 수신하는 단계 및 상기 가상 공간 내에서 상기 믹싱 신호가 출력될 위치로서, 상기 각 사용자의 음성 신호의 음량 정보 및 상기 각 사용자의 위치 정보에 기초하여 결정된 가상 출력 위치에서 상기 믹싱 신호가 재생되도록 하는 단계를 포함한다. A method of providing a spatial voice VR performed by a spatial voice VR apparatus according to an embodiment of the present invention includes: transmitting location information of a user in a virtual space and a voice signal of the user to a spatial voice VR server; The method comprising the steps of: receiving a mixing signal in which a user's voice signal is synthesized from the voice VR server; and receiving, as a position to which the mixing signal is output in the virtual space, And causing the mixing signal to be reproduced at a virtual output position determined based on the mixing output signal.

본 발명의 실시예에 따르면, 동일한 가상 공간 내의 다른 사용자가 위치하는 공간에서 음성이 들리는 서비스를 제공할 수 있다. According to the embodiment of the present invention, it is possible to provide a service in which a voice is heard in a space where other users are located in the same virtual space.

이와 함께, 본 발명의 실시예는 여러 사용자들의 음성을 하나의 스트림으로 합성한 믹싱 신호를 이용하면서도 가상 공간 내의 위치 정보를 고려하여 믹싱 신호가 출력될 가상 공간 내의 위치를 결정하기 때문에, 각 사용자의 음성을 별개로 전송하지 않으면서도 다른 사용자가 위치하는 곳에서 음성이 들리는 효과를 달성함으로써, 동일한 가상 공간 내에 참여하는 사용자의 수의 증가에 따른 서버의 과부하를 방지할 수 있다. In addition, since the embodiment of the present invention determines the positions in the virtual space in which the mixing signals are to be output in consideration of the position information in the virtual space while using the mixing signals obtained by synthesizing the voices of various users into one stream, It is possible to prevent an overload of the server due to an increase in the number of users participating in the same virtual space by achieving a sound effect in a place where another user is located without separately transmitting the voice.

도 1은 본 발명의 일 실시예에 따른 공간 음성 VR 서버 및 공간 음성 VR 장치를 포함하는 전체 시스템을 나타낸 도면이다.
도 2는 도 1의 실시예에 따른 공간 음성 VR 서버의 기능 블럭도이다.
도 3은 본 발명의 다른 실시예에 따른 공간 음성 VR 서버 및 공간 음성 VR 장치를 포함하는 전체 시스템을 나타낸 도면이다.
도 4는 도 3의 실시예에 따른 공간 음성 VR 장치의 기능 블럭도이다.
도 5는 도 1의 실시예에 따른 공간 음성 VR 서버가 수행하는 공간 음성 VR 제공 방법의 프로세스를 도시하는 흐름도이다.
도 6은 도 3의 실시예에 따른 공간 음성 VR 장치가 수행하는 공간 음성 VR 제공 방법의 프로세스를 도시하는 흐름도이다. 1 is a diagram illustrating an entire system including a spatial voice VR server and a spatial voice VR apparatus according to an embodiment of the present invention.
2 is a functional block diagram of a spatial voice VR server according to the embodiment of FIG.
3 is a diagram illustrating an entire system including a spatial voice VR server and a spatial voice VR apparatus according to another embodiment of the present invention.
FIG. 4 is a functional block diagram of a spatial voice VR apparatus according to the embodiment of FIG. 3. FIG.
5 is a flowchart showing a process of a spatial voice VR providing method performed by the spatial voice VR server according to the embodiment of FIG.
6 is a flowchart showing a process of a method for providing a spatial voice VR performed by the spatial voice VR apparatus according to the embodiment of FIG.

본 발명의 이점 및 특징,　그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.　　그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며,　단지 본 실시예들은 본 발명의 개시가 완전하도록 하고,　본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며,　본 발명의 범주는 청구항에　의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. It should be understood, however, that the invention is not limited to the disclosed embodiments, but may be embodied in various forms and should not be construed as limited to the embodiments set forth herein, To fully disclose the scope of the invention to a person skilled in the art, and the scope of the invention is only defined by the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다.　　그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.　　그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing embodiments of the present invention, a detailed description of well-known functions or constructions will be omitted unless otherwise described in order to describe embodiments of the present invention. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.The functional blocks shown in the drawings and described below are merely examples of possible implementations. In other implementations, other functional blocks may be used without departing from the spirit and scope of the following detailed description. Also, while one or more functional blocks of the present invention are represented as discrete blocks, one or more of the functional blocks of the present invention may be a combination of various hardware and software configurations that perform the same function.

또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.Also, to the extent that the inclusion of certain elements is merely an indication of the presence of that element as an open-ended expression, it should not be understood as excluding any additional elements.

나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. Further, when a component is referred to as being connected or connected to another component, it may be directly connected or connected to the other component, but it should be understood that there may be other components in between.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. Also, the expressions such as 'first, second', etc. are used only to distinguish a plurality of configurations, and do not limit the order or other features between configurations.

이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다. Hereinafter, embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 공간 음성 VR 서버(100) 및 공간 음성 VR 장치(200)를 포함하는 전체 시스템(10)을 나타낸 도면이다.1 is a diagram illustrating an entire system 10 including a spatial voice VR server 100 and a spatial voice VR device 200 according to an embodiment of the present invention.

도 1에 도시된 실시예에 따른 전체 시스템(10)은 공간 음성 VR 서버(100) 및 공간 음성 VR 장치(200, 200a, 200b, 200c)를 포함한다. 이때 공간 음성 VR 서버(100) 및 공간 음성 VR 장치(200)는 유무선 통신망을 통해 정보를 송수신할 수 있다. The entire system 10 according to the embodiment shown in FIG. 1 includes a spatial voice VR server 100 and a spatial voice VR device 200, 200a, 200b, 200c. At this time, the spatial voice VR server 100 and the spatial voice VR device 200 can transmit and receive information through a wired / wireless communication network.

공간 음성 VR 장치(200)는 사용자에게 가상 공간(virtual reality)을 경험하게 하는 장치이다. 가상 공간이란, 사용자에게 시각 및 청각 정보 등을 제공하는 장치를 통해 사용자에게 시각 및 청각 등으로 표현되는 공간 속에 위치하는 것처럼 느끼게 하는 가상의 공간을 말한다. The spatial voice VR device 200 is a device that allows a user to experience virtual reality. The virtual space is a virtual space that makes the user feel as if they are located in a space expressed by visual and auditory information through a device for providing visual and auditory information to the user.

한편, 공간 음성 VR 장치(200)는 동일한 가상 공간에 접속한 다수의 사용자가 서로 상대방의 아바타를 보며 대화를 진행할 수 있는 형태의 서비스를 제공할 수 있다. 이러한 공간 음성 VR 장치(200)는 일 예로 VR 글래스가 있으나 이러한 예시에 한정되는 것은 아니다. On the other hand, the spatial voice VR device 200 can provide a service in which a plurality of users connected to the same virtual space can talk with each other while watching the other's avatar. The spatial audio VR apparatus 200 includes, for example, VR glass, but is not limited thereto.

도 1의 실시예에 따른 공간 음성 VR 장치(200)는 사용자의 가상 공간 내 위치 정보 및 사용자의 음성 신호를 공간 음성 VR 서버(100)로 송신하고, 가상 공간 내에 위치하는 각 사용자의 음성 신호가 합성된 믹싱 신호 및 믹싱 신호가 가상 공간 내에서 출력될 위치에 대한 정보인 가상 출력 위치를 음성 VR 서버로부터 수신할 수 있다. The spatial audio VR apparatus 200 according to the embodiment of FIG. 1 transmits location information of a user in a virtual space and a user's voice signal to the spatial voice VR server 100, The synthesized mixing signal and the virtual output position, which is information on the position where the mixing signal is to be outputted in the virtual space, from the voice VR server.

이에 따라, 공간 음성 VR 장치(200a)는 가상 공간 내에서 가상 출력 위치에 해당하는 위치에서 믹싱 신호를 재생하여 공간 음성 VR 장치(200a)의 사용자로 하여금 동일한 가상 공간 내의 다른 사용자(가령, 200b의 사용자)가 위치하는 위치에서 음성이 들리는 느낌을 제공할 수 있다. Accordingly, the spatial audio VR apparatus 200a reproduces the mixing signal at a position corresponding to the virtual output position in the virtual space, thereby allowing the user of the spatial audio VR apparatus 200a to reproduce the mixed signal of the other user (for example, User) at the location where the voice is heard.

도 1의 실시예에 따른 공간 음성 VR 서버(100)는 동일한 가상 공간 내에 접속한 각 사용자의 공간 음성 VR 장치(200, 200a, 200b, 200c)로부터 수신한 음성 신호를 하나의 스트림으로 합성한 믹싱 신호를 생성할 수 있다. 또한 공간 음성 VR 장치(200)로부터 수신한 각 사용자의 가상 공간 내 위치 정보 및 음성 신호의 음량 정보를 기초로 가상 공간 내에서 믹싱 신호가 재생될 출력 위치를 결정하여 동일한 가상 공간 내의 모든 공간 음성 VR 장치(200)에 제공할 수 있다. 이와 같은, 공간 음성 VR 서버(100)의 상세한 구성을 도 2와 함께 설명한다. The spatial voice VR server 100 according to the embodiment of FIG. 1 mixes voice signals received from each user's spatial voice VR devices 200, 200a, 200b, and 200c connected in the same virtual space into one stream, Signal can be generated. In addition, based on the position information of each user in the virtual space and the volume information of the voice signal received from the spatial voice VR device 200, an output position at which the mixed signal is reproduced in the virtual space is determined and all spatial voice VR And can be provided to the device 200. The detailed configuration of the spatial voice VR server 100 will be described with reference to FIG.

도 2는 도 1의 실시예에 따른 공간 음성 VR 서버(100)의 기능 블럭도이다. FIG. 2 is a functional block diagram of the spatial voice VR server 100 according to the embodiment of FIG.

도 2를 참조하면, 본 발명의 일 실시예에 따른 공간 음성 VR 서버(100)는 정보 수신부(110), 믹싱 신호 생성부(120), 출력 위치 결정부(130) 및 정보 송신부(140)를 포함한다. 2, a spatial voice VR server 100 according to an exemplary embodiment of the present invention includes an information receiving unit 110, a mixing signal generating unit 120, an output position determining unit 130, and an information transmitting unit 140 .

정보 수신부(110)는 동일한 가상 공간 내에 위치하는 사용자가 착용한 공간 음성 VR 장치(200)로부터 가상 공간 내에서 각 사용자의 위치 정보 및 각 사용자의 음성 신호를 수신한다. 예를 들어, 위치 정보는 사용자의 아바타가 위치하는 지점일 수 있고, 이러한 위치 정보는 가상 공간 내의 좌표를 통해 표현될 수 있다. 또한 사용자의 음성 신호는 공간 음성 VR 장치(200)에 구비된 마이크 등의 음향 입력 수단을 통해 측정될 수 있다. The information receiving unit 110 receives the location information of each user and the voice signal of each user in the virtual space from the spatial voice VR device 200 worn by the user located in the same virtual space. For example, the location information may be the location where the user's avatar is located, and such location information may be expressed through coordinates within the virtual space. In addition, the user's voice signal can be measured through an acoustic input means such as a microphone provided in the spatial voice VR apparatus 200. [

믹싱 신호 생성부(120)는 정보 수신부(110)가 수신한 각 사용자의 음성 신호를 합성한 믹싱 신호를 생성한다. 이때 믹싱 신호 생성부(120)는 실시간으로 수신하는 각 사용자의 음성 신호를 하나의 스트림으로 된 믹싱 신호를 생성한다. 각 사용자의 음성 신호를 별개로 처리하는 방식과는 달리, 믹싱 신호를 이용한 방식은 믹싱 신호라는 동일한 정보를 동일한 가상 공간 내에 참여하는 공간 음성 VR 장치(200)에 송신하므로, 가상 공간 내에 참여하는 사용자의 수가 많아져도 공간 음성 VR 서버(100)에 과부하를 발생시킬 가능성이 낮다는 이점이 있다. The mixing signal generating unit 120 generates a mixing signal in which the voice signals of the respective users received by the information receiving unit 110 are synthesized. At this time, the mixing signal generator 120 generates a mixing signal of one stream of the voice signals of each user received in real time. Unlike the method of processing voice signals of each user separately, the method using a mixing signal transmits the same information as a mixing signal to the spatial voice VR device 200 participating in the same virtual space, There is an advantage that the possibility of causing an overload in the spatial voice VR server 100 is low.

출력 위치 결정부(130)는 동일한 가상 공간 내 각 사용자의 음성 신호의 음량 정보 및 위치 정보를 기초로 가상 공간 내에서 믹싱 신호가 출력될 위치인 가상 출력 위치를 결정한다. The output position determination unit 130 determines a virtual output position, which is a position at which the mixing signal is output in the virtual space based on the volume information and the position information of each user's voice signal in the same virtual space.

예를 들어, 출력 위치 결정부(130)는 동일한 가상 공간에 위치하는 사용자 중에서 음성이 가장 큰 사용자가 가상 공간 내에서 위치하는 지점을 믹싱 신호가 출력될 가상 출력 위치로 결정할 수 있다. 이때 출력 위치 결정부(130)는 각 공간 음성 VR 장치(200)로부터 수신한 음성 신호의 음량 정보(예를 들면, 데시벨 크기)를 기초로 각 사용자의 음성의 크기를 비교할 수 있다. 이때 음성 신호의 음량 정보(예를 들면, 데시벨 정보)는 공간 음성 VR 장치(200)의 음향 입력 수단을 통해 측정되거나, 공간 음성 VR 서버(100)가 음성 신호의 신호 크기로부터 음량 정보를 추출할 수 있다.For example, the output position determination unit 130 may determine a position where a user having the largest voice among the users located in the same virtual space is located in the virtual space, as a virtual output position to which a mixing signal is output. At this time, the output position determination unit 130 may compare the size of each user's voice based on the volume information (e.g., a decibel size) of the voice signal received from each spatial voice VR device 200. [ At this time, the volume information (for example, decibel information) of the voice signal is measured through the sound input means of the spatial voice VR device 200, or the spatial voice VR server 100 extracts the volume information from the signal size of the voice signal .

또한 다른 일 예로서, 출력 위치 결정부(130)는 동일한 가상 공간에 위치하는 사용자의 공간 음성 VR 장치(200)로부터 수신한 음성 신호의 음량 정보가 가장 큰 값과 두번째로 큰 값과의 차이가 소정의 값 이하인 경우, 음성이 가장 큰 사용자가 가상 공간 내에서 위치하는 지점과 음성이 두번째로 큰 사용자가 가상 공간 내에서 위치하는 지점의 중간 지점을 믹싱 신호가 출력될 가상 출력 위치로 결정할 수 있다. 이때에도 출력 위치 결정부(130)는 각 공간 음성 VR 장치(200)로부터 수신한 음성 신호의 음량 정보를 기초로 각 사용자의 음성의 크기를 비교할 수 있다.As another example, the output position determination unit 130 may determine that the volume information of the voice signal received from the user's spatial voice VR apparatus 200 located in the same virtual space has a difference between the largest value and the second largest value The virtual output position where the mixing signal is to be output can be determined as the virtual output position at which the mixing signal is to be output when the user having the largest voice is located within the virtual space and the middle point between the location where the voice is the second largest user is located within the virtual space . At this time, the output position determination unit 130 can compare the size of each user's voice based on the volume information of the voice signal received from each spatial voice VR device 200.

정보 송신부(140)는 믹싱 신호 생성부(120)가 생성한 믹싱 신호 및 출력 위치 결정부(130)가 결정한 가상 출력 위치를 동일한 가상 공간 내의 사용자가 사용하는 공간 음성 VR 장치(200)에 제공한다. 이에 따라, 공간 음성 VR 장치(200)는 가상 공간 내에서 가상 출력 위치에 해당하는 위치에서 믹싱 신호를 재생시킴으로써 사용자로 하여금 동일한 가상 공간 내의 다른 사용자가 위치하는 지점에서 음성이 들리는 느낌을 받도록 할 수 있다.The information transmitting unit 140 provides the mixing signal generated by the mixing signal generating unit 120 and the virtual output position determined by the output position determining unit 130 to the spatial audio VR apparatus 200 used by the user in the same virtual space . Accordingly, the spatial audio VR apparatus 200 can reproduce the mixed signal at a position corresponding to the virtual output position in the virtual space, thereby allowing the user to feel the sound at the point where the other user is located in the same virtual space have.

한편 상술한 실시예가 포함하는 정보 수신부(110), 믹싱 신호 생성부(120), 출력 위치 결정부(130) 및 정보 송신부(140)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다. Meanwhile, the information receiving unit 110, the mixing signal generating unit 120, the output position determining unit 130, and the information transmitting unit 140, which are included in the above-described embodiments, include memories including instructions programmed to perform these functions, And a microprocessor that executes these instructions.

도 3은 본 발명의 다른 실시예에 따른 공간 음성 VR 서버(300) 및 공간 음성 VR 장치(400)를 포함하는 전체 시스템(30)을 나타낸 도면이다.3 is a diagram of an overall system 30 including a spatial voice VR server 300 and a spatial voice VR device 400 according to another embodiment of the present invention.

도 3에 도시된 실시예에 따른 전체 시스템(30)은 공간 음성 VR 서버(300) 및 공간 음성 VR 장치(400, 400a, 400b, 400c)를 포함한다. 이때 공간 음성 VR 서버(300) 및 공간 음성 VR 장치(400)는 유무선 통신망을 통해 정보를 송수신할 수 있다. The entire system 30 according to the embodiment shown in FIG. 3 includes a spatial voice VR server 300 and spatial voice VR devices 400, 400a, 400b, and 400c. At this time, the spatial voice VR server 300 and the spatial voice VR device 400 can transmit and receive information through a wired / wireless communication network.

도 3의 실시예에 따른 공간 음성 VR 장치(400)는 사용자의 가상 공간 내 위치 정보 및 사용자의 음성 신호를 공간 음성 VR 서버(300)로 송신하고, 가상 공간 내에 위치하는 각 사용자의 음성 신호가 합성된 믹싱 신호를 음성 VR 서버로부터 수신하여, 가상 공간 내의 가상 출력 위치에서 믹싱 신호를 재생한다. 이때 도 1의 실시예에서는 공간 음성 VR 서버(100)가 가상 출력 위치를 결정하지만, 도 3의 실시예에서는 공간 음성 VR 장치(400a)가 공간 음성 VR 서버(300)로부터 수신한 위치 정보 및 다른 공간 음성 VR 장치(400b, 400c)로부터 수신한 음량 정보를 기초로 가상 출력 위치를 결정할 수 있다. The spatial audio VR apparatus 400 according to the embodiment of FIG. 3 transmits location information of a user in a virtual space and a user's voice signal to the spatial voice VR server 300, and a voice signal of each user located in the virtual space Receives the synthesized mixing signal from the audio VR server, and reproduces the mixing signal at the virtual output position in the virtual space. In the embodiment of FIG. 1, the spatial voice VR server 100 determines the virtual output position. However, in the embodiment of FIG. 3, the spatial voice VR server 400a receives the location information received from the spatial voice VR server 300, The virtual output position can be determined based on the volume information received from the spatial voice VR devices 400b and 400c.

도 3의 실시예에 따른 공간 음성 VR 서버(300)는 동일한 가상 공간 내에 접속한 각 사용자의 공간 음성 VR 장치(400, 400a, 400b, 400c)로부터 수신한 음성 신호를 하나의 스트림으로 합성한 믹싱 신호를 생성할 수 있다. 또한 공간 음성 VR 서버(300)는 공간 음성 VR 장치(400)로부터 수신한 각 사용자의 가상 공간 내 위치 정보를 동일한 가상 공간 내에 참여한 공간 음성 VR 장치(400)에 제공할 수 있다. The spatial voice VR server 300 according to the embodiment of FIG. 3 mixes voice signals received from the respective users' spatial voice VR devices 400, 400a, 400b and 400c connected in the same virtual space into one stream, Signal can be generated. In addition, the spatial voice VR server 300 can provide the spatial information of each user's virtual space received from the spatial voice VR device 400 to the participating spatial voice VR device 400 in the same virtual space.

도 4는 도 3의 실시예에 따른 공간 음성 VR 장치(400)의 기능 블럭도이다.FIG. 4 is a functional block diagram of the spatial voice VR apparatus 400 according to the embodiment of FIG.

도 4를 참조하면, 도 3의 실시예에 따른 공간 음성 VR 장치(400)는 통신부(410), 믹싱 신호 재생부(420) 및 출력 위치 결정부(430)를 포함할 수 있다. 다만, 도 1의 실시예에 따른 공간 음성 VR 장치(200)는 출력 위치 결정부(430)를 포함하지 않을 수 있다. Referring to FIG. 4, the spatial audio VR apparatus 400 according to the embodiment of FIG. 3 may include a communication unit 410, a mixing signal reproducing unit 420, and an output position determining unit 430. However, the spatial voice VR apparatus 200 according to the embodiment of FIG. 1 may not include the output position determination unit 430.

통신부(410)는 공간 음성 VR 장치(400)를 착용한 사용자의 가상 공간 내 위치 정보 및 사용자의 음성 신호를 공간 음성 VR 서버(300)로 송신하고, 가상 공간 내에 위치하는 각 사용자의 음성 신호가 합성된 믹싱 신호 및 각 사용자의 위치 정보를 공간 음성 VR 서버(300)로부터 수신한다. The communication unit 410 transmits the location information of the user wearing the spatial voice VR apparatus 400 in the virtual space and the voice signal of the user to the spatial voice VR server 300, And receives the synthesized mixing signal and position information of each user from the spatial voice VR server 300.

이에 더하여, 통신부(410)는 동일한 가상 공간 내에 위치하는 다른 사용자의 음성 신호의 음량 정보를 다른 사용자의 공간 음성 VR 장치(400)로부터 수신할 수 있다. 예를 들어, 각 사용자의 음성 신호의 음량 정보는 브로드캐스트(broadcast) 방식을 통해 모든 사용자의 공간 음성 VR 장치(400)로 송신될 수 있다. In addition, the communication unit 410 can receive the volume information of the voice signal of another user located in the same virtual space from the user's spatial voice VR device 400. [ For example, the volume information of each user's voice signal may be transmitted to all users' spatial voice VR devices 400 through a broadcast scheme.

믹싱 신호 재생부(420)는 각 사용자의 음성 신호의 음량 정보 및 각 사용자의 위치 정보에 기초하여 결정된 가상 출력 위치에서 믹싱 신호가 재생되도록 한다. 이때 믹싱 신호 재생부(420)는 좌우 스테레오의 음량을 조절하는 기술 또는 귀의 모양에 따른 음성 신호 변화를 모델링한 HRTF(head related transfer function) 등의 기법을 사용하여 믹싱 신호를 가상 출력 위치에서 재생되는 것으로 들리도록 할 수 있으나, 이러한 기술은 특정 위치에서 소리가 재생되는 것으로 들리게 하는 공간 오디오 기술의 예시일 뿐, 믹싱 신호의 재생 기술이 앞에 열거된 예시로 한정되는 것은 아니다. 또한 믹싱 신호 재생부(420)는 믹싱 신호의 음성 중 사용자 자신의 음성은 제거된 채로 믹싱 신호가 재생되도록 할 수 있으며, 이러한 기술은 공지된 기술로서 자세한 설명은 생략한다. The mixing signal reproducing unit 420 reproduces the mixed signal at a virtual output position determined based on the volume information of each user's voice signal and the position information of each user. At this time, the mixing signal regenerator 420 reproduces the mixing signal at a virtual output position using a technique of adjusting the volume of the left and right stereo or a technique of HRTF (head related transfer function) modeling a change of the audio signal according to the shape of the ear However, this technique is merely an example of a spatial audio technique which causes sound to be reproduced at a specific position, and the reproduction technique of the mixed signal is not limited to the examples enumerated above. In addition, the mixing signal reproducing unit 420 can reproduce the mixing signal while the user's own voice of the mixing signal is removed, and this technique is well known in the art and will not be described in detail.

한편, 가상 출력 위치는 도 1에 도시된 실시예인 공간 음성 VR 서버(100)가 각 사용자의 음성 신호의 음량 정보 및 각 사용자의 위치 정보를 기초로 생성하여, 공간 음성 VR 서버(100)로부터 제공받은 정보일 수 있다. 이와 달리, 도 3의 실시예에 따르면 공간 음성 VR 장치(400)가 가상 출력 위치를 결정할 수 있고, 이를 위해 공간 음성 VR 장치(400)는 출력 위치 결정부(430)를 더 포함할 수 있다.On the other hand, the virtual output location is generated by the spatial voice VR server 100, which is the embodiment shown in FIG. 1, based on the volume information of each user's voice signal and the location information of each user, It may be information received. Alternatively, according to the embodiment of FIG. 3, the spatial voice VR apparatus 400 may determine the virtual output position, and the spatial voice VR apparatus 400 may further include the output position determination unit 430.

출력 위치 결정부(430)는 통신부(410)가 수신한 동일한 가상 공간 내 다른 사용자의 음성 신호의 음량 정보 및 위치 정보를 기초로 가상 공간 내에서 믹싱 신호가 출력될 위치인 가상 출력 위치를 결정할 수 있다. The output position determination unit 430 can determine a virtual output position that is a position at which the mixing signal is output in the virtual space based on the volume information and the position information of the voice signals of other users in the same virtual space received by the communication unit 410 have.

예를 들어, 출력 위치 결정부(430)는 다른 사용자의 음량 정보 중에서 음성이 가장 큰 사용자가 가상 공간 내에서 위치하는 지점을 믹싱 신호가 출력될 가상 출력 위치로 결정할 수 있다. 이때 출력 위치 결정부(430)는 통신부(410)가 다른 공간 음성 VR 장치(400)로부터 수신한 음성 신호의 음량(예를 들면, 데시벨 크기)을 기초로 각 사용자의 음성의 크기를 비교할 수 있다. For example, the output position determination unit 430 may determine, as a virtual output position at which a mixing signal is output, a point at which a user having the largest voice among the volume information of other users is located in the virtual space. At this time, the output position determination unit 430 can compare the size of each user's voice based on the volume (for example, a decibel size) of the voice signal received from the other spatial voice VR device 400 by the communication unit 410 .

또한 다른 일 예로서, 출력 위치 결정부(430)는 다른 사용자의 음량 정보 중 음량이 가장 큰 값과 두번째로 큰 값과의 차이가 소정의 값 이하인 경우, 음량이 가장 큰 사용자가 가상 공간 내에서 위치하는 지점과 음량이 두번째로 큰 사용자가 가상 공간 내에서 위치하는 지점의 중간 지점을 믹싱 신호가 출력될 가상 출력 위치로 결정할 수 있다. 이때에도 출력 위치 결정부(430)는 통신부(410)가 다른 공간 음성 VR 장치(400)로부터 수신한 음성 신호의 음량(예를 들면, 데시벨 크기)을 기초로 각 사용자의 음성의 크기를 비교할 수 있다.As another example, when the difference between the largest volume value and the second largest value of the volume information of the other users is equal to or less than a predetermined value, the output position determination unit 430 determines that the user having the largest volume is within the virtual space It is possible to determine the virtual output position at which the mixing signal is to be outputted as the midpoint between the point where the second volume is located and the point where the second volume is located in the virtual space. At this time, the output position determination unit 430 can also compare the size of each user's voice based on the volume (for example, a decibel size) of the voice signal received from the other spatial voice VR device 400 by the communication unit 410 have.

더하여 다른 일 예로서, 출력 위치 결정부(430)는 다른 사용자의 음량 정보 중 음량이 가장 큰 값과 두번째로 큰 값과의 차이가 소정의 값 이하인 경우, 음량이 가장 큰 사용자와 두번째로 음량이 큰 사용자 중 사용자 자신과 더 가까운 사용자의 위치를 가상 출력 위치로 결정할 수 있다. In addition, as another example, when the difference between the largest volume value and the second largest value among the volume information of the other users is less than a predetermined value, the output position determination unit 430 determines that the volume It is possible to determine the position of the user closer to the user among the large users as the virtual output position.

한편 상술한 실시예가 포함하는 통신부(410), 믹싱 신호 재생부(420)및 출력 위치 결정부(430)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다. Meanwhile, the communication unit 410, the mixing signal regenerator 420, and the output position determiner 430 included in the above-described embodiment include a memory including instructions programmed to perform these functions, and a microprocessor And the like.

도 5는 도 1의 실시예에 따른 공간 음성 VR 서버(100)가 수행하는 공간 음성 VR 제공 방법의 프로세스를 도시하는 흐름도이다. 도 5에 따른 공간 음성 VR 제공 방법의 각 단계는 도 1 및 도 2를 통해 설명된 공간 음성 VR 서버(100)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.FIG. 5 is a flowchart showing a process of a spatial voice VR providing method performed by the spatial voice VR server 100 according to the embodiment of FIG. Each step of the spatial voice VR providing method according to FIG. 5 can be performed by the spatial voice VR server 100 described with reference to FIG. 1 and FIG. 2, and each step will be described as follows.

우선, 공간 음성 VR 서버(100)는 동일한 가상 공간 내에 위치하는 복수의 사용자의 음성 신호를 전송하는 복수의 공간 음성 VR 장치(200)로부터 각 사용자의 가상 공간 내에서의 위치 정보 및 각 사용자의 음성 신호를 수신한다(S510). 이후, 각 사용자의 음성 신호를 합성한 믹싱 신호를 생성한다(S520). 다음으로, 각 사용자의 음성 신호의 음량 정보 및 위치 정보를 기초로 가상 공간 내에서 믹싱 신호가 출력될 위치인 가상 출력 위치를 결정한다(S530). 이에 따라, 믹싱 신호 및 가상 출력 위치를 복수의 공간 음성 VR 장치(200)에 제공하여(S540), 믹싱 신호 및 가상 출력 위치를 수신한 공간 음성 VR 장치(200)는 가상 공간 내에서 가상 출력 위치에 해당하는 위치에서 믹싱 신호를 재생할 수 있다. First, the spatial voice VR server 100 acquires position information in each user's virtual space from each of a plurality of spatial voice VR devices 200 that transmit voice signals of a plurality of users located in the same virtual space, Signal is received (S510). Thereafter, a mixing signal obtained by synthesizing voice signals of each user is generated (S520). Next, based on the volume information and the position information of the voice signals of the respective users, a virtual output position, which is a position at which the mixing signal is output in the virtual space, is determined (S530). Accordingly, the mixing signal and the virtual output position are provided to the plurality of spatial audio VR apparatuses 200 (S540), and the spatial audio VR apparatus 200 receiving the mixing signal and the virtual output position receives the virtual output position It is possible to reproduce the mixing signal at a position corresponding to the position.

한편, 각 단계를 수행하기 위해 공간 음성 VR 서버(100)의 각 구성이 수행하는 구체적인 설명은 도 1 및 도 2와 함께 설명하였으므로 중복된 설명을 생략한다. In the meantime, detailed explanations of the respective components of the spatial voice VR server 100 for performing the respective steps have been described with reference to FIG. 1 and FIG. 2, and thus redundant description will be omitted.

도 6은 도 3의 실시예에 따른 공간 음성 VR 장치(400)가 수행하는 공간 음성 VR 제공 방법의 프로세스를 도시하는 흐름도이다. 도 6에 따른 공간 음성 VR 제공 방법의 각 단계는 도 3 및 도 4를 통해 설명된 공간 음성 VR 장치(400)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.FIG. 6 is a flowchart showing a process of a spatial voice VR providing method performed by the spatial voice VR apparatus 400 according to the embodiment of FIG. Each step of the spatial voice VR providing method according to FIG. 6 can be performed by the spatial voice VR apparatus 400 described with reference to FIG. 3 and FIG. 4, and each step will be described as follows.

우선, 공간 음성 VR 장치(400)는 사용자의 가상 공간 내 위치 정보 및 사용자의 음성 신호를 공간 음성 VR 서버(300)로 송신한다(S610). 또한, 가상 공간 내에 위치하는 각 사용자의 음성 신호가 합성된 믹싱 신호를 음성 VR 서버로부터 수신한다(S620). 다음으로, 각 사용자의 음성 신호의 음량 정보 및 각 사용자의 위치 정보에 기초하여 믹싱 신호가 가상 공간 내에서 출력될 위치인 가상 출력 위치를 결정한다(S630). 이에 따라, 공간 음성 VR 장치(400)는 가상 출력 위치에서 믹싱 신호를 재생할 수 있다(S640). 이때 도 1의 실시예에 따른 공간 음성 VR 장치(200)가 수행하는 공간 음성 VR 제공 방법은 도 6에 도시된 단계 중 S630 단계를 포함하지 않을 수 있다.First, the spatial voice VR device 400 transmits location information of the user in the virtual space and voice signal of the user to the spatial voice VR server 300 (S610). Further, the mixing signal obtained by synthesizing the voice signals of the users located in the virtual space is received from the voice VR server (S620). Next, based on the volume information of the voice signal of each user and the position information of each user, a virtual output position is determined as a position at which the mixing signal is output in the virtual space (S630). Accordingly, the spatial audio VR apparatus 400 can reproduce the mixing signal at the virtual output position (S640). At this time, the spatial voice VR providing method performed by the spatial voice VR apparatus 200 according to the embodiment of FIG. 1 may not include the step S630 of the steps shown in FIG.

한편, 각 단계를 수행하기 위해 공간 음성 VR 장치(400)의 각 구성이 수행하는 구체적인 설명은 도 3 및 도 4와 함께 설명하였으므로 중복된 설명을 생략한다. In the meantime, detailed explanations of the respective components of the spatial voice VR apparatus 400 for performing the respective steps have been described with reference to FIG. 3 and FIG. 4, and thus redundant description will be omitted.

상술한 실시예에 따르면, 동일한 가상 공간 내의 다른 사용자가 위치하는 공간에서 음성이 들리는 서비스를 제공할 수 있다. According to the above-described embodiment, it is possible to provide a service in which a voice is heard in a space where other users are located in the same virtual space.

이와 함께, 본 발명의 실시예는 여러 사용자들의 음성을 하나의 스트림으로 합성한 믹싱 신호를 이용하면서도 가상 공간 내의 위치 정보를 고려하여 믹싱 신호가 출력될 가상 공간 내의 위치를 결정하기 때문에, 각 사용자의 음성을 별개로 전송하지 않으면서도 다른 사용자가 위치하는 곳에서 음성이 들리는 효과를 달성함으로써, 동일한 가상 공간 내에 참여하는 사용자의 수의 증가에 따른 서버의 과부하를 방지할 수 있다. In addition, since the embodiment of the present invention determines the positions in the virtual space in which the mixing signals are to be output in consideration of the position information in the virtual space while using the mixing signals obtained by synthesizing the voices of various users into one stream, It is possible to prevent an overload of the server due to an increase in the number of users participating in the same virtual space by achieving a sound effect in a place where another user is located without separately transmitting the voice.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments of the present invention can be implemented by various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of hardware implementation, the method according to embodiments of the present invention may be implemented in one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs) , FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, and the like.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.In the case of an implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, a procedure or a function for performing the functions or operations described above. A computer program recorded with a software code or the like may be stored in a computer-readable recording medium or a memory unit and may be driven by a processor. The memory unit is located inside or outside the processor, and can exchange data with the processor by various known means.

또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of the individual blocks of the block diagrams and flowchart illustrations attached to the present invention may also be performed by computer program instructions. These computer program instructions may be embedded in an encoding processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus, so that the instructions, performed through the encoding processor of a computer or other programmable data processing apparatus, Thereby creating means for performing the functions described in each step of the flowchart. These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible for the instructions stored in the block diagram to produce a manufacturing item containing instruction means for performing the functions described in each block or flowchart of the block diagram. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible that the instructions that perform the processing equipment provide the steps for executing the functions described in each block of the block diagram and at each step of the flowchart.

더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a portion of a module, segment, or code that includes one or more executable instructions for executing the specified logical function. It should also be noted that in some alternative embodiments, the functions mentioned in the blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. It is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. .

10: 공간 음성 VR 서버 및 공간 음성 VR 장치를 포함하는 전체 시스템
100: 공간 음성 VR 서버
110: 정보 수신부
120: 믹싱 신호 생성부
130: 출력 위치 결정부
140: 정보 송신부
200, 200a, 200b, 200c: 공간 음성 VR 장치
30: 공간 음성 VR 서버 및 공간 음성 VR 장치를 포함하는 전체 시스템
300: 공간 음성 VR 서버
400, 400a, 400b, 400c: 공간 음성 VR 장치
410: 통신부
420: 믹싱 신호 재생부
430: 출력 위치 결정부10: Entire system including a spatial voice VR server and a spatial voice VR device
100: Spatial voice VR server
110: Information receiving unit
120: Mixing signal generator
130: output position determining unit
140: Information transmission unit
200, 200a, 200b, 200c: Spatial voice VR device
30: an overall system including a spatial voice VR server and a spatial voice VR device
300: Spatial voice VR server
400, 400a, 400b, 400c: a spatial voice VR device
410:
420: Mixing signal reproducing section
430: output position determining unit

Claims (20)

동일한 가상 공간 내에 위치하는 복수의 사용자의 음성 신호를 전송하는 복수의 공간 음성 VR 장치로부터 각 사용자의 가상 공간 내에서의 위치 정보 및 상기 각 사용자의 음성 신호를 수신하는 정보 수신부;
상기 각 사용자의 음성 신호를 합성한 믹싱 신호를 생성하는 믹싱 신호 생성부;
상기 각 사용자의 음성 신호의 음량 정보 및 상기 위치 정보를 기초로 상기 가상 공간 내에서 상기 믹싱 신호가 출력될 위치인 가상 출력 위치를 결정하는 출력 위치 결정부; 및
상기 믹싱 신호 및 상기 가상 출력 위치를 상기 복수의 공간 음성 VR 장치에 제공하는 정보 송신부를 포함하는
공간 음성 VR 서버.An information receiving unit for receiving position information in each user's virtual space and a voice signal of each user from a plurality of spatial voice VR apparatuses transmitting voice signals of a plurality of users located in the same virtual space;
A mixing signal generating unit for generating a mixing signal by synthesizing voice signals of the users;
An output position determination unit for determining a virtual output position at which the mixing signal is output in the virtual space based on the volume information of the voice signal of each user and the position information; And
And an information transmitting unit for providing the mixing signal and the virtual output position to the plurality of spatial voice VR apparatuses
Space Voice VR Server. 제1항에 있어서,
상기 출력 위치 결정부는,
상기 복수의 공간 음성 VR 장치 중 상기 음성 신호의 음량 정보가 가장 큰 공간 음성 VR 장치의 사용자의 위치를 상기 가상 출력 위치로 결정하는
공간 음성 VR 서버.The method according to claim 1,
Wherein the output position determination unit
Determining a position of a user of the spatial audio VR apparatus having the largest volume information of the audio signal among the plurality of spatial audio VR apparatuses as the virtual output position
Space Voice VR Server. 제1항에 있어서,
상기 출력 위치 결정부는,
상기 복수의 공간 음성 VR 장치 중 상기 음성 신호의 음량 정보가 가장 큰 값과 두번째로 큰 값과의 차이가 소정의 값 이하인 경우, 상기 음량 정보가 가장 큰 사용자의 위치와 상기 음량 정보가 두번째로 큰 사용자의 위치의 중간 위치를 상기 가상 출력 위치로 결정하는
공간 음성 VR 서버.The method according to claim 1,
Wherein the output position determination unit
When the difference between the largest value and the second largest value of the volume information of the voice signal among the plurality of spatial voice VR apparatuses is equal to or less than a predetermined value, the position of the user with the highest volume information and the volume information is the second largest Determining an intermediate position of the position of the user as the virtual output position
Space Voice VR Server. 사용자의 가상 공간 내 위치 정보 및 상기 사용자의 음성 신호를 공간 음성 VR 서버로 송신하고, 상기 가상 공간 내에 위치하는 각 사용자의 음성 신호가 합성된 믹싱 신호를 상기 음성 VR 서버로부터 수신하는 통신부; 및
상기 가상 공간 내에서 상기 믹싱 신호가 출력될 위치로서, 상기 각 사용자의 음성 신호의 음량 정보 및 상기 각 사용자의 위치 정보에 기초하여 결정된 가상 출력 위치에서 상기 믹싱 신호가 재생되도록 하는 믹싱 신호 재생부를 포함하는
공간 음성 VR 장치.A communication unit for transmitting location information of a user in a virtual space and a user's voice signal to a spatial voice VR server and receiving a mixing signal in which voice signals of respective users located in the virtual space are synthesized from the voice VR server; And
And a mixing signal reproducing unit for reproducing the mixing signal at a virtual output position determined based on the volume information of the voice signal of each user and the position information of each user as a position to which the mixing signal is output in the virtual space doing
Spatial voice VR device. 제4항에 있어서,
상기 가상 출력 위치는 상기 각 사용자의 음성 신호의 음량 정보 및 상기 각 사용자의 위치 정보에 기초하여 상기 공간 음성 VR 서버에서 결정되고,
상기 통신부는 상기 공간 음성 VR 서버로부터 상기 가상 출력 위치를 제공 받는
공간 음성 VR 장치.5. The method of claim 4,
Wherein the virtual output location is determined by the spatial voice VR server based on volume information of the voice signal of each user and location information of each user,
Wherein the communication unit receives the virtual output location from the spatial voice VR server
Spatial voice VR device. 제4항에 있어서,
상기 장치는,
상기 각 사용자의 음성 신호의 음량 정보 및 상기 각 사용자의 위치 정보에 기초하여 상기 가상 출력 위치를 결정하는 출력 위치 결정부를 더 포함하는
공간 음성 VR 장치.5. The method of claim 4,
The apparatus comprises:
And an output position determination unit for determining the virtual output position based on the volume information of the voice signal of each user and the position information of each user
Spatial voice VR device. 제6항에 있어서,
상기 통신부는,
상기 가상 공간 내에 위치하는 다른 사용자의 음성 신호의 음량 정보를 상기 다른 사용자의 공간 음성 VR 장치로부터 수신하고, 상기 각 사용자의 위치 정보를 상기 음성 VR 서버로부터 더 수신하는
공간 음성 VR 장치.The method according to claim 6,
Wherein,
Receiving the volume information of the voice signal of the other user located in the virtual space from the other user's spatial voice VR device and further receiving the position information of each user from the voice VR server
Spatial voice VR device. 제6항에 있어서,
상기 출력 위치 결정부는,
상기 각 사용자 중 상기 음성 신호의 음량 정보가 가장 큰 사용자의 위치를 상기 가상 출력 위치로 결정하는
공간 음성 VR 장치.The method according to claim 6,
Wherein the output position determination unit
Determining a position of a user having the largest volume information of the voice signal among the users as the virtual output position
Spatial voice VR device. 제6항에 있어서,
상기 출력 위치 결정부는,
상기 각 사용자의 음성 신호의 음량 정보가 가장 큰 값과 두번째로 큰 값과의 차이가 소정의 값 이하인 경우, 상기 각 사용자 중 상기 음성 신호의 음량 정보가 가장 큰 사용자의 위치와 상기 음성 신호의 음량 정보가 두번째로 큰 사용자의 위치의 중간 위치를 상기 가상 출력 위치로 결정하는
공간 음성 VR 장치.The method according to claim 6,
Wherein the output position determination unit
When the difference between the largest value and the second largest value of the volume information of each user's voice signal is less than or equal to a predetermined value, the volume information of the voice signal among the users is different from the volume of the voice signal Determining an intermediate position of the position of the second largest user as the virtual output position
Spatial voice VR device. 제6항에 있어서,
상기 출력 위치 결정부는,
상기 각 사용자의 음성 신호의 음량 정보가 가장 큰 값과 두번째로 큰 값과의 차이가 소정의 값 이하인 경우, 상기 음성 신호의 음량 정보가 가장 큰 사용자와 상기 음성 신호의 음량 정보가 두번째로 큰 사용자 중 사용자 자신과 더 가까운 사용자의 위치를 상기 가상 출력 위치로 결정하는
공간 음성 VR 장치.The method according to claim 6,
Wherein the output position determination unit
When the difference between the largest value and the second largest value of the volume information of the voice signal of each user is equal to or less than a predetermined value, the volume information of the voice signal is the second largest user The position of the user closer to the user is determined as the virtual output position
Spatial voice VR device. 공간 음성 VR 서버가 수행하는 공간 음성 VR 제공 방법에 있어서,
동일한 가상 공간 내에 위치하는 복수의 사용자의 음성 신호를 전송하는 복수의 공간 음성 VR 장치로부터 각 사용자의 가상 공간 내에서의 위치 정보 및 상기 각 사용자의 음성 신호를 수신하는 단계;
상기 각 사용자의 음성 신호를 합성한 믹싱 신호를 생성하는 단계;
상기 각 사용자의 음성 신호의 음량 정보 및 상기 위치 정보를 기초로 상기 가상 공간 내에서 상기 믹싱 신호가 출력될 위치인 가상 출력 위치를 결정하는 단계; 및
상기 믹싱 신호 및 상기 가상 출력 위치를 상기 복수의 공간 음성 VR 장치에 제공하는 단계를 포함하는
공간 음성 VR 제공 방법.A method for providing a spatial voice VR performed by a spatial voice VR server,
Receiving location information in each user's virtual space and a voice signal of each user from a plurality of spatial voice VR devices transmitting voice signals of a plurality of users located in the same virtual space;
Generating a mixing signal by synthesizing voice signals of the users;
Determining a virtual output position at which the mixing signal is output in the virtual space based on the volume information of the user's voice signal and the position information; And
And providing the mixing signal and the virtual output location to the plurality of spatial voice VR devices
A method for providing spatial voice VR. 제11항에 있어서,
상기 가상 출력 위치를 결정하는 단계는,
상기 복수의 공간 음성 VR 장치 중 상기 음성 신호의 음량 정보가 가장 큰 공간 음성 VR 장치의 사용자의 위치를 상기 가상 출력 위치로 결정하는 단계를 포함하는
공간 음성 VR 제공 방법.12. The method of claim 11,
Wherein the step of determining the virtual output position comprises:
And determining a position of a user of the spatial audio VR apparatus having the largest volume information of the audio signal among the plurality of spatial audio VR apparatuses as the virtual output position
A method for providing spatial voice VR. 제11항에 있어서,
상기 가상 출력 위치를 결정하는 단계는,
상기 복수의 공간 음성 VR 장치 중 상기 음성 신호의 음량 정보가 가장 큰 값과 두번째로 큰 값과의 차이가 소정의 값 이하인 경우, 상기 음량 정보가 가장 큰 사용자의 위치와 상기 음량 정보가 두번째로 큰 사용자의 위치의 중간 위치를 상기 가상 출력 위치로 결정하는 단계를 포함하는
공간 음성 VR 제공 방법.12. The method of claim 11,
Wherein the step of determining the virtual output position comprises:
When the difference between the largest value and the second largest value of the volume information of the voice signal among the plurality of spatial voice VR apparatuses is equal to or less than a predetermined value, the position of the user with the highest volume information and the volume information is the second largest Determining an intermediate position of the position of the user as the virtual output position
A method for providing spatial voice VR. 공간 음성 VR 장치가 수행하는 공간 음성 VR 제공 방법에 있어서,
사용자의 가상 공간 내 위치 정보 및 상기 사용자의 음성 신호를 공간 음성 VR 서버로 송신하고, 상기 가상 공간 내에 위치하는 각 사용자의 음성 신호가 합성된 믹싱 신호를 상기 음성 VR 서버로부터 수신하는 단계; 및
상기 가상 공간 내에서 상기 믹싱 신호가 출력될 위치로서, 상기 각 사용자의 음성 신호의 음량 정보 및 상기 각 사용자의 위치 정보에 기초하여 결정된 가상 출력 위치에서 상기 믹싱 신호가 재생되도록 하는 단계를 포함하는
공간 음성 VR 제공 방법.A method for providing a spatial voice VR performed by a spatial voice VR apparatus,
Receiving location information of a user in a virtual space and a user's voice signal to a spatial voice VR server and receiving a mixed signal of voice signals of respective users located in the virtual space from the voice VR server; And
And allowing the mixing signal to be reproduced at a virtual output position determined based on the volume information of the audio signal of each user and the position information of each user as a position at which the mixing signal is output in the virtual space
A method for providing spatial voice VR. 제14항에 있어서,
상기 방법은,
상기 가상 출력 위치는 상기 각 사용자의 음성 신호의 음량 정보 및 상기 각 사용자의 위치 정보에 기초하여 상기 공간 음성 VR 서버에서 결정되고 상기 공간 음성 VR 서버로부터 제공 받는 단계를 더 포함하는
공간 음성 VR 제공 방법.15. The method of claim 14,
The method comprises:
Wherein the virtual output location is determined by the spatial voice VR server based on the volume information of the voice signal of each user and the location information of each user and is received from the spatial voice VR server
A method for providing spatial voice VR. 제14항에 있어서,
상기 방법은,
상기 각 사용자의 음성 신호의 음량 정보 및 상기 각 사용자의 위치 정보에 기초하여 상기 가상 출력 위치를 결정하는 단계를 더 포함하는
공간 음성 VR 제공 방법.15. The method of claim 14,
The method comprises:
Determining the virtual output position based on the volume information of the voice signal of each user and the position information of each user
A method for providing spatial voice VR. 제16항에 있어서,
상기 가상 출력 위치를 결정하는 단계는,
상기 가상 공간 내에 위치하는 다른 사용자의 음성 신호의 음량 정보를 상기 다른 사용자의 공간 음성 VR 장치로부터 수신하고, 상기 각 사용자의 위치 정보를 상기 음성 VR 서버로부터 더 수신하는 단계를 포함하는
공간 음성 VR 제공 방법.17. The method of claim 16,
Wherein the step of determining the virtual output position comprises:
Receiving volume information of a voice signal of another user located in the virtual space from the other user's spatial voice VR device and further receiving position information of each user from the voice VR server
A method for providing spatial voice VR. 제16항에 있어서,
상기 가상 출력 위치를 결정하는 단계는,
상기 각 사용자 중 상기 음성 신호의 음량 정보가 가장 큰 사용자의 위치를 상기 가상 출력 위치로 결정하는 단계를 포함하는
공간 음성 VR 제공 방법.17. The method of claim 16,
Wherein the step of determining the virtual output position comprises:
Determining a position of a user having the largest volume information of the voice signal among the users as the virtual output position
A method for providing spatial voice VR. 제16항에 있어서,
상기 가상 출력 위치를 결정하는 단계는,
상기 각 사용자의 음성 신호의 음량 정보가 가장 큰 값과 두번째로 큰 값과의 차이가 소정의 값 이하인 경우, 상기 각 사용자 중 상기 음성 신호의 음량 정보가 가장 큰 사용자의 위치와 상기 음성 신호의 음량 정보가 두번째로 큰 사용자의 위치의 중간 위치를 상기 가상 출력 위치로 결정하는 단계를 포함하는
공간 음성 VR 제공 방법.17. The method of claim 16,
Wherein the step of determining the virtual output position comprises:
When the difference between the largest value and the second largest value of the volume information of each user's voice signal is less than or equal to a predetermined value, the volume information of the voice signal among the users is different from the volume of the voice signal Determining an intermediate position of the position of the second largest user as the virtual output position
A method for providing spatial voice VR. 제16항에 있어서,
상기 가상 출력 위치를 결정하는 단계는,
상기 각 사용자의 음성 신호의 음량 정보가 가장 큰 값과 두번째로 큰 값과의 차이가 소정의 값 이하인 경우, 상기 음성 신호의 음량 정보가 가장 큰 사용자와 상기 음성 신호의 음량 정보가 두번째로 큰 사용자 중 사용자 자신과 더 가까운 사용자의 위치를 상기 가상 출력 위치로 결정하는 단계를 포함하는
공간 음성 VR 제공 방법.17. The method of claim 16,
Wherein the step of determining the virtual output position comprises:
When the difference between the largest value and the second largest value of the volume information of the voice signal of each user is equal to or less than a predetermined value, the volume information of the voice signal is the second largest user Determining a location of a user closer to the user as the virtual output location
A method for providing spatial voice VR.
KR1020170143266A 2017-10-31 2017-10-31 Spatial voice virtual reality server and apparatus KR102331229B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170143266A KR102331229B1 (en) 2017-10-31 2017-10-31 Spatial voice virtual reality server and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143266A KR102331229B1 (en) 2017-10-31 2017-10-31 Spatial voice virtual reality server and apparatus

Publications (2)

Publication Number Publication Date
KR20190048359A true KR20190048359A (en) 2019-05-09
KR102331229B1 KR102331229B1 (en) 2021-11-25

Family

ID=66545958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143266A KR102331229B1 (en) 2017-10-31 2017-10-31 Spatial voice virtual reality server and apparatus

Country Status (1)

Country Link
KR (1) KR102331229B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240139670A (en) 2023-03-15 2024-09-24 클릭트 주식회사 Apparatus and method for transmitting spatial audio using multicast

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180251A (en) * 2004-12-22 2006-07-06 Yamaha Corp Voice signal processor for enabling callers to perform simultaneous utterance, and program
JP2006254167A (en) * 2005-03-11 2006-09-21 Hitachi Ltd Voice conference system, conference terminal, and voice server
JP2017028343A (en) * 2015-07-15 2017-02-02 サクサ株式会社 Conference system and terminal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180251A (en) * 2004-12-22 2006-07-06 Yamaha Corp Voice signal processor for enabling callers to perform simultaneous utterance, and program
JP2006254167A (en) * 2005-03-11 2006-09-21 Hitachi Ltd Voice conference system, conference terminal, and voice server
JP2017028343A (en) * 2015-07-15 2017-02-02 サクサ株式会社 Conference system and terminal

Also Published As

Publication number Publication date
KR102331229B1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US10979842B2 (en) Methods and systems for providing a composite audio stream for an extended reality world
CN109379653B (en) Audio transmission method and device, electronic equipment and storage medium
JP5340296B2 (en) Decoding device, encoding / decoding device, and decoding method
CN101490743B (en) Dynamic decoding of binaural audio signals
EP1266541B1 (en) System and method for optimization of three-dimensional audio
CN112602053B (en) Audio device and audio processing method
US7602921B2 (en) Sound image localizer
EP2942980A1 (en) Real-time control of an acoustic environment
US20210004201A1 (en) Audio capture and rendering for extended reality experiences
US11109177B2 (en) Methods and systems for simulating acoustics of an extended reality world
US11006233B2 (en) Method and terminal for playing audio file in multi-terminal cooperative manner
US11223920B2 (en) Methods and systems for extended reality audio processing for near-field and far-field audio reproduction
Murphy et al. Spatial sound for computer games and virtual reality
JP7371968B2 (en) Audio signal processing method and device using metadata
CN108269460B (en) Electronic screen reading method and system and terminal equipment
CN105594227A (en) Matrix decoder with constant-power pairwise panning
WO2021124903A1 (en) Signal processing device and method, and program
KR102331229B1 (en) Spatial voice virtual reality server and apparatus
CN114915874A (en) Audio processing method, apparatus, device, medium, and program product
US20190394583A1 (en) Method of audio reproduction in a hearing device and hearing device
WO2012104297A1 (en) Generation of user-adapted signal processing parameters
US20210358506A1 (en) Audio signal processing method and apparatus
KR20190060464A (en) Audio signal processing method and apparatus
CN112770228A (en) Audio playing method and device, audio playing equipment, electronic equipment and medium
CN113163302B (en) True wireless multi-sound channel loudspeaking device and multi-sound source sounding method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant