KR102376390B1 - Method and apparatus for providing metaverse service - Google Patents

Method and apparatus for providing metaverse service Download PDF

Info

Publication number
KR102376390B1
KR102376390B1 KR1020210112898A KR20210112898A KR102376390B1 KR 102376390 B1 KR102376390 B1 KR 102376390B1 KR 1020210112898 A KR1020210112898 A KR 1020210112898A KR 20210112898 A KR20210112898 A KR 20210112898A KR 102376390 B1 KR102376390 B1 KR 102376390B1
Authority
KR
South Korea
Prior art keywords
avatar
user
metaverse
space
information
Prior art date
Application number
KR1020210112898A
Other languages
Korean (ko)
Inventor
이풍연
Original Assignee
이풍연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이풍연 filed Critical 이풍연
Priority to KR1020210112898A priority Critical patent/KR102376390B1/en
Application granted granted Critical
Publication of KR102376390B1 publication Critical patent/KR102376390B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Abstract

The present invention relates to a method and apparatus for providing a metaverse service to generate a virtual space with similar spatial configuration and rules to real space. According to various embodiments of the present invention, a metaverse operation server comprises: an information acquisition unit acquiring image information about a real object existing in a user's real space and information about the user's movement; a metaverse space creation unit generating a metaverse space which is a virtual space and an avatar which is a virtual object to be placed in the metaverse space; an effect providing unit providing an effect corresponding to surrounding context information on the basis of the surrounding context information of an avatar in the metaverse space; and an avatar control unit controlling motion of the avatar to correspond to the user's motion. The metaverse space generation unit generates a metaverse space interface so that the user can directly configure the metaverse space, provides the generated metaverse space interface to a user terminal of the user, receives spatial information from the user through the metaverse space interface, and generates the metaverse space on the basis of the received spatial information.

Description

메타버스 서비스를 제공하는 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING METAVERSE SERVICE}METHOD AND APPARATUS FOR PROVIDING METAVERSE SERVICE

본 발명은 메타버스 서비스를 제공하는 방법 및 장치에 관한 것으로, 자세하게는 메타버스 공간을 생성하고, 메타버스 공간 내에서 사용자의 아바타를 제어하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for providing a metaverse service, and more particularly, to a method and apparatus for generating a metaverse space and controlling a user's avatar in the metaverse space.

디스플레이 기술의 발전으로 사용자의 경험을 만족시키기 위해 사용자는 평면 이미지 뿐만 아니라, 다양한 수단으로 3차원적 이미지 및 3차원적 공간을 볼 수 있다. 이에 따라, 사용자에게 3차원적인 시각적 엔터테인먼트를 제공하기 위해 가상 현실(virtual reality) 및 증강 현실(augmented reality) 서비스가 유행하고 있다. 이처럼 현재 3차원적 공간을 경험하는 것은 사용자 경험(user experience)의 새로운 트렌드가 되었으며, 사용자는 가상 공간에서 시뮬레이션하고, 시각적 및 기타 감각적 경험을 제공받고, 가상 이미지와 상호 작용할 수 있다.In order to satisfy the user's experience with the development of display technology, the user can view a three-dimensional image and a three-dimensional space by various means as well as a flat image. Accordingly, virtual reality and augmented reality services are popular in order to provide three-dimensional visual entertainment to users. As such, experiencing a three-dimensional space has become a new trend in user experience, and a user can simulate in a virtual space, be provided with visual and other sensory experiences, and interact with virtual images.

더 나아가, 위의 개념들을 모두 포괄하며 혼합 현실 환경을 제공하는 대표적인 서비스로서, 메타버스(metaverse)가 있다. 이 메타버스는 가공, 추상을 의미하는 '메타(meta)'와 현실세계를 의미하는'유니버스(universe)'의 합성어로 3차원 가상 공간과 현실 공간의 연결을 의미한다. 메타버스는 기존의 가상 현실 환경(virtual reality environment)이라는 용어보다 진보된 개념으로서, 웹과 인터넷 등의 가상세계가 현실세계에 흡수된 상술한 혼합 현실 환경(mixedreality environment)을 제공한다.Furthermore, as a representative service that encompasses all of the above concepts and provides a mixed reality environment, there is a metaverse. This metaverse is a compound word of 'meta', meaning fictitious and abstract, and 'universe', meaning the real world, and means the connection between the three-dimensional virtual space and the real space. The metaverse is a more advanced concept than the conventional virtual reality environment, and provides the above-described mixed reality environment in which virtual worlds such as the web and the Internet are absorbed into the real world.

메타버스(metaverse)는 사용자의 참여에 따라 무한한 확장이 가능하며, 캐릭터, 환경 및 공간 등을 자유자재로 선택할 수 있다. 예를 들어, 사용자는 지형을 생성하고, 지형에 원하는 자연물 및 시설물 등을 배치할 수 있다. 또는, 사용자는 동물, 엘프, 트롤, 오크, 요정 및 기타 판타지 생물과 같이 인간이 아닌 모습으로 아바타의 모습을 결정할 수 있다.The metaverse can be expanded infinitely according to the user's participation, and characters, environments, and spaces can be freely selected. For example, a user may create a terrain and place desired natural objects and facilities on the terrain. Alternatively, the user may determine the appearance of the avatar in a non-human form, such as animals, elves, trolls, orcs, fairies, and other fantasy creatures.

아바타는 가상 공간의 다른 사용자가 보고 상호 작용할 수 있는 사용자의 그래픽 표현의 하나의 방법이며, 현실 공간의 사용자는 아바타를 사용하여 가상 공간의 다른 사용자의 아바타들과 상호 작용하고 해당 가상 공간에 각종 경제 활동, 문화 활동, 교육 활동 등을 수행할 수 있다.An avatar is a method of graphical representation of a user that other users in a virtual space can see and interact with, and a user in the real space uses the avatar to interact with the avatars of other users in the virtual space, and various economics in the virtual space. Activities, cultural activities, educational activities, etc. can be carried out.

다만, 가상 공간을 현실적으로 구현하기 위해서는 위의 활동들을 수행하는 것 뿐만 아니라, 사용자가 참여하는 가상 공간이 얼마나 현실 공간의 구성과 유사한지, 가상 공간에도 사용자의 감각적인 부분이 얼마나 적용될 것인지, 아바타의 움직임이 사용자의 움직임을 얼마나 잘 따라가는지와 같은 여러 문제를 고민하여야 하고, 이를 해결할 수 있는 방안이 고안될 필요가 있다.However, in order to realize the virtual space realistically, not only perform the above activities, but also determine how similar the virtual space in which the user participates is to the configuration of the real space, how much the user's sensory parts will be applied to the virtual space, and the It is necessary to consider various problems such as how well the movement follows the user's movement, and a method to solve the problem needs to be devised.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 사용자의 현재 위치에 대응되는 현실 공간에 대한 정보에 기초하여, 현실 공간과 유사한 공간 구성 및 규칙을 가지는 가상 공간을 생성하는 방법 및 장치를 제공한다.An object of the present invention for solving the above problems is to provide a method and apparatus for generating a virtual space having a spatial configuration and rules similar to that of the real space, based on information on the real space corresponding to the user's current location do.

다양한 실시 예에서, 사용자에게 메타버스 공간 서비스를 제공하는 메타버스 운영 서버는 상기 사용자의 현실 공간에 존재하는 현실 객체에 대한 영상 정보 및 상기 사용자의 움직임에 대한 정보를 획득하는 정보 획득부; 가상 공간인 메타버스 공간 및 상기 메타버스 공간에 배치될 가상 객체인 아바타(avatar)를 생성하는 메타버스 공간 생성부; 상기 메타버스 공간에서 상기 아바타의 주변 상황 정보에 기초하여 상기 주변 상황 정보에 대응되는 효과를 제공하는 효과 제공부; 및 상기 사용자의 움직임에 대응되도록 상기 아바타의 움직임을 제어하는 아바타 제어부를 포함할 수 있다. 상기 메타버스 공간 생성부는, 상기 사용자가 직접 메타버스 공간을 구성할 수 있도록 메타버스 공간 인터페이스를 생성하고, 생성된 상기 메타버스 공간 인터페이스를 상기 사용자의 사용자 단말에 제공하고, 상기 메타버스 공간 인터페이스를 통해 상기 사용자로부터 공간 정보를 입력 받고, 입력 받은 상기 공간 정보에 기초하여 상기 메타버스 공간을 생성하고, 상기 효과 제공부는, 상기 메타버스 공간 내의 특정 지점에 상기 아바타가 접근하면, 상기 지점의 환경에 대응되는 감각 효과를 상기 사용자 단말을 통해 상기 사용자에게 제공할 수 있다. 상기 메타버스 공간은 상기 사용자와 구별되는 다른 사용자들이 접속하고 상기 다른 사용자들 각각의 제2 아바타들이 표시되는 공간일 수 있다. In various embodiments, the metaverse operating server for providing a metaverse space service to a user includes: an information acquisition unit configured to acquire image information on a real object existing in the user's real space and information on the user's movement; a metaverse space generating unit that generates a metaverse space that is a virtual space and an avatar that is a virtual object to be arranged in the metaverse space; an effect providing unit providing an effect corresponding to the surrounding context information based on the surrounding context information of the avatar in the metaverse space; and an avatar controller configured to control the movement of the avatar to correspond to the movement of the user. The metaverse space generating unit generates a metaverse space interface so that the user can directly configure the metaverse space, provides the generated metaverse space interface to the user terminal of the user, and uses the metaverse space interface. receives spatial information from the user through the user, generates the metaverse space based on the received spatial information, and the effect providing unit, when the avatar approaches a specific point in the metaverse space, changes the environment of the point. A corresponding sensory effect may be provided to the user through the user terminal. The metaverse space may be a space in which other users distinct from the user access and display second avatars of each of the other users.

다양한 실시 예에서, 상기 메타버스 공간 생성부는, 상기 아바타의 경로 및 상기 제2 아바타들의 경로를 추적하고, 추적된 상기 아바타의 경로 및 상기 제2 아바타들의 경로가 일정한 패턴을 형성하는 경우, 형성된 상기 패턴에 따라 상기 메타버스 공간 내에 가상 도로를 생성할 수 있다.In various embodiments, the metaverse space generating unit tracks the path of the avatar and the path of the second avatars, and when the tracked path of the avatar and the path of the second avatars form a constant pattern, the formed A virtual road may be created in the metaverse space according to the pattern.

다양한 실시 예에서, 상기 메타버스 공간 생성부는, 상기 사용자 단말의 GPS(Global Positioning System)을 이용하여 감지된 상기 사용자의 현재 위치에 대응하는 지리적 정보를 획득하고, 획득된 상기 지리적 정보에 기초하여, 외부 렌더링 서버에서 제공하는 상기 사용자의 현재 위치에 대응되는 지형 모델링을 획득하고, 획득된 상기 지형 모델링에 기초하여 상기 메타버스 공간을 생성할 수 있다.In various embodiments, the metaverse space generating unit obtains geographic information corresponding to the current location of the user detected using a global positioning system (GPS) of the user terminal, and based on the obtained geographic information, A terrain modeling corresponding to the user's current location provided by an external rendering server may be obtained, and the metaverse space may be generated based on the obtained terrain modeling.

다양한 실시 예에서, 상기 메타버스 공간 생성부는, 상기 사용자의 현실 공간을 촬영한 다방향 영상 데이터를 통해 상기 사용자의 현실 공간 정보를 획득하고, 제1 시점에서, 제1 방향을 촬영한 제1 영상과 상기 사용자 단말의 제1 위치 데이터를 획득하고, 상기 제1 시점과 상이한 제2 시점에서, 상기 제1 방향과 다른 제2 방향을 촬영한 제2 영상과 상기 사용자 단말의 제2 위치 데이터를 획득하고, 상기 제1 위치 데이터 및 상기 제2 위치 데이터에 기초하여, 상기 제1 시점과 상기 제2 시점 동안의 위치 변화 데이터를 생성하고, 상기 제1 영상 및 상기 제2 영상에 공통적으로 포함된 객체 및 배경을 식별하고, 상기 위치 변화 데이터에 기초하여 식별된 상기 객체 및 상기 배경에 대하여 공간 보정을 수행하고, 상기 공간 보정에 기초하여 기준 공간 데이터를 생성하고, 생성된 상기 기준 공간 데이터에 기초하여 상기 메타버스 공간을 생성할 수 있다.In various embodiments, the metaverse space generator may be configured to obtain real space information of the user through multi-directional image data obtained by photographing the user's real space, and obtain a first image obtained by photographing a first direction from a first viewpoint. and acquiring first location data of the user terminal, and acquiring a second image and second location data of the user terminal taken in a second direction different from the first direction at a second time point different from the first time point and, based on the first location data and the second location data, generate location change data for the first time point and the second time point, and an object commonly included in the first image and the second image and identifying a background, performing spatial correction on the identified object and the background based on the position change data, generating reference spatial data based on the spatial correction, and based on the generated reference spatial data The metaverse space may be created.

다양한 실시 예에서, 상기 아바타 제어부는, 다시점 카메라(multi-view camera)를 통해 획득된 사용자의 영상 데이터에 대하여 스테레오 정합을 수행하고, 상기 스테레오 정합을 통해 상기 사용자의 3D 정보를 획득하고, 획득된 상기 사용자의 3D 정보 및 상기 사용자의 움직임에 대한 동작 센싱 정보에 기초하여 상기 사용자의 시간별 인체 골격 구조에 대한 특징점들을 추출하고, 추출된 상기 특징점들을 상기 사용자의 인체 구조에 따라 복수 개의 클러스터들로 그룹화하고, 상기 복수 개의 클러스터들 각각의 움직임 벡터를 산출하고, 산출된 상기 움직임 벡터에 기초하여 상기 아바타를 구성하는 버텍스들(vertices)의 좌표를 변경하고, 변경된 상기 버텍스들의 좌표에 기초하여 상기 사용자의 상기 아바타의 움직임을 제어할 수 있다.In various embodiments, the avatar controller performs stereo matching on the user's image data acquired through a multi-view camera, and obtains and obtains 3D information of the user through the stereo matching Based on the 3D information of the user and the motion sensing information for the user's movement, feature points for the human body skeletal structure of the user are extracted by time, and the extracted feature points are divided into a plurality of clusters according to the user's body structure. grouping, calculating a motion vector of each of the plurality of clusters, changing the coordinates of vertices constituting the avatar based on the calculated motion vector, and changing the coordinates of the vertices based on the changed coordinates of the vertices. of the avatar can be controlled.

다양한 실시 예에서, 상기 메타버스 운영 서버는, 상기 아바타가 이동할 수 있는 구역을 결정하는 이동 구역 결정부를 더 포함하고, 상기 이동 구역 결정부는, 상기 메타버스 공간의 아바타 밀도 맵을 생성하고, 생성된 상기 아바타 밀도 맵에 따라 상기 아바타의 이동 제한 구역 및 이동 가능 구역을 결정할 수 있다.In various embodiments, the metaverse operation server further includes a movement area determiner that determines an area in which the avatar can move, and the movement area determiner generates an avatar density map of the metaverse space, and According to the avatar density map, a movement restriction area and a movable area of the avatar may be determined.

다양한 실시 예에서, 상기 이동 구역 결정부는, 상기 메타버스 공간의 지상면을 복수 개의 셀들(cells)로 분할하고, 분할된 상기 복수 개의 셀들 각각에 위치한 아바타 및 상기 복수 개의 셀들 각각의 경사도에 기초하여, 상기 복수 개의 셀들 각각의 아바타 밀도를 결정하되, 하기 수학식을 통해 상기 아바타 밀도를 결정하고,

Figure 112021098624017-pat00001
상기 수학식에서, Ad는 상기 아바타 밀도, B는 셀의 면적, p는 셀에 위치한 아바타의 수, s는 셀의 경사도, di는 셀의 중심으로부터 셀에 위치한 아바타 간 거리를 의미하고, 상기 경사도는 상기 셀 내의 가장 높은 지점과 가장 낮은 지점의 기울기를 의미하며, 결정된 상기 아바타 밀도가 미리 설정된 임계 밀도 이상인 셀들을 상기 이동 제한 구역으로 결정할 수 있다.In various embodiments, the movement zone determiner divides the ground surface of the metaverse space into a plurality of cells, and based on the avatar positioned in each of the divided cells and the inclination of each of the plurality of cells, , determining the avatar density of each of the plurality of cells, and determining the avatar density through the following equation;
Figure 112021098624017-pat00001
In the above formula, A d is the density of the avatar, B is the area of the cell, p is the number of avatars located in the cell, s is the inclination of the cell, and d i is the distance between the avatars located in the cell from the center of the cell, and The slope refers to the slope of the highest point and the lowest point in the cell, and cells having the determined avatar density equal to or greater than a preset threshold density may be determined as the movement restricted area.

다양한 실시 예에서, 상기 메타버스 운영 서버는 상기 아바타의 음성을 들을 수 있는 범위인 음성 전달 구역을 결정하는 음성 전달 구역 결정부를 더 포함하고, 상기 음성 전달 구역 결정부는, 상기 아바타의 위치를 제1 초점으로 갖고, 상기 제1 초점에서 상기 아바타의 얼굴이 향하는 방향을 장축 방향으로 하고, 상기 제1 초점에서 상기 장축 방향을 따라 미리 설정된 제1 거리에 제2 초점을 갖고, 단축 방향의 길이가 제1 단축 길이인, 제1 타원을 상기 음성 전달 구역으로 결정하고, 상기 아바타의 위치를 상기 제1 초점과 같은 위치인 제3 초점으로 갖고, 상기 제3 초점에서 상기 아바타의 얼굴이 향하는 방향을 장축 방향으로 하고, 상기 제3 초점에서 상기 장축 방향을 따라 상기 제1 거리보다 짧은 미리 설정된 제2 거리에 제4 초점을 갖고, 단축 방향의 길이가 제2 단축 길이인, 제2 타원을 고정 전달 구역으로 결정하고, 상기 제1 거리 및 상기 제2 거리는 상기 아바타에 대응하는 상기 사용자의 음성 크기에 비례하고, 상기 제1 단축 길이 및 상기 제2 단축 길이는 이하 수학식을 통해 계산되며,

Figure 112021098624017-pat00002
상기 수학식에서, Ls는 타원의 단축 길이이고, la는 타원의 초점들 간 거리이고, h는 상기 아바타의 높이(m)를 의미하며, 상기 음성 전달 구역 중 상기 고정 전달 구역을 제외한 구역을 유동 전달 구역으로 결정할 수 있다.In various embodiments, the metaverse operation server further includes a voice transmission zone determining unit configured to determine a voice transmission area that is a range in which the avatar's voice can be heard, and the voice transmission area determining unit is configured to determine the location of the avatar in the first place. a focal point, a direction in which the face of the avatar faces at the first focal point is a long axis direction, a second focal point is set at a first distance from the first focal point along the long axis direction, and the length in the short axis direction is the second A first ellipse having a short length of 1 is determined as the voice transmission region, the position of the avatar is the same as the first focal point, a third focal point, and the direction in which the face of the avatar faces at the third focal point is the long axis. direction, and having a fourth focal point at a preset second distance shorter than the first distance along the major axis from the third focal point, the length of the minor axis being the second minor axis length, the second ellipse fixed transmission zone , wherein the first distance and the second distance are proportional to the voice volume of the user corresponding to the avatar, and the first short-axis length and the second short-axis length are calculated through the following equations,
Figure 112021098624017-pat00002
In the above equation, L s is the minor axis length of the ellipse, la is the distance between the focal points of the ellipse, h is the height (m) of the avatar, It can be determined as the flow transfer zone.

다양한 실시 예에서, 상기 음성 전달 구역 결정부는, 상기 음성 전달 구역에 위치한 상기 제2 아바타들에 대응하는 상기 다른 사용자들이 상기 아바타의 음성을 미리 설정된 제1 음량으로 듣도록 설정하고, 상기 유동 전달 구역에 위치한 상기 제2 아바타들 중에서, 상기 메타버스 공간 상의 현재 위치가 상기 고정 전달 구역에 상대적으로 가까운 제2 아바타에 대응하는 제2 사용자가 상기 아바타의 음성을 상기 제1 음량보다 작은 제2 음량으로 듣도록 설정하고, 상기 유동 전달 구역에 위치한 상기 제2 아바타들 중에서, 상기 메타버스 공간 상의 현재 위치가 상기 고정 전달 구역에서 상대적으로 먼 제3 아바타에 대응하는 제3 사용자가 상기 아바타의 음성을 상기 제2 음량보다 작은 제3 음량으로 듣도록 설정할 수 있다.In various embodiments, the voice delivery zone determiner may be configured to set the other users corresponding to the second avatars located in the voice delivery zone to hear the avatar's voice at a preset first volume, and the fluid delivery zone A second user corresponding to a second avatar whose current location in the metaverse space is relatively close to the fixed delivery area among the second avatars located in set to listen, and among the second avatars located in the flexible delivery zone, a third user corresponding to a third avatar whose current location in the metaverse space is relatively far from the fixed delivery zone may hear the voice of the avatar. It can be set to listen at a third volume lower than the second volume.

다양한 실시 예에서, 상기 음성 전달 구역 결정부는, 상기 제2 아바타들 각각의 현재 위치, 이동 방향 및 이동 속도에 기초하여, 상기 제2 아바타들 중 상기 고정 전달 구역으로 진입하려는 것으로 판단된 제4 아바타에 대응하는 제4 사용자가 상기 아바타의 음성을 제4 음량으로 듣도록 설정하고, 상기 제4 음량은 이하 수학식을 통해 결정되며,

Figure 112021098624017-pat00003
상기 수학식에서, Sm은 상기 제4 음량이고, f는 상기 제1 음량이고, v는 상기 제4 아바타의 이동 속도이고,
Figure 112021098624017-pat00004
는 상기 제4 아바타에서 상기 아바타를 향하는 방향 및 상기 제4 아바타의 이동 방향의 사이 각도를 의미하며, 상기 제2 아바타들 중 상기 음성 전달 구역에서 벗어나려는 것으로 판단된 제5 아바타에 대응하는 제5 사용자가 상기 아바타의 음성을 미리 설정된 최소 음량으로 듣도록 설정할 수 있다.In various embodiments, the voice delivery zone determiner may be configured to: a fourth avatar determined to enter the fixed delivery zone among the second avatars based on the current location, movement direction, and movement speed of each of the second avatars set so that a fourth user corresponding to the avatar hears the voice of the avatar at a fourth volume, and the fourth volume is determined through the following equation;
Figure 112021098624017-pat00003
In the above formula, S m is the fourth volume, f is the first volume, v is the moving speed of the fourth avatar,
Figure 112021098624017-pat00004
denotes an angle between the direction in which the fourth avatar faces the avatar and the moving direction of the fourth avatar, and among the second avatars, a fifth avatar corresponding to the fifth avatar determined to depart from the voice transmission area. The user may set to listen to the voice of the avatar at a preset minimum volume.

본 문서에 개시되는 다양한 실시 예들에 따르면, 현실 공간과 유사한 메타버스 공간을 경험할 수 있다.According to various embodiments disclosed in this document, it is possible to experience a metaverse space similar to a real space.

또한, 다양한 실시 예들에 따르면, 사용자는 메타버스 공간을 통해 제2의 자아를 실현시킬 수 있다.Also, according to various embodiments, the user may realize a second self through the metaverse space.

또한, 다양한 실시 예에 따르면, 현실 공간에서 느낄 수 있는 시각적 효과, 청각적 효과, 촉각적 효과를 유사하게 느낄 수 있다.Also, according to various embodiments, a visual effect, an auditory effect, and a tactile effect that can be felt in a real space may be similarly felt.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition, various effects directly or indirectly identified through this document may be provided.

도 1은 일 실시 예에 따른 메타버스 운영 서비스를 제공하는 시스템을 도시한 도면이다.
도 2는 도 1의 메타버스 운영 서버의 구성 요소를 나타낸 도면이다.
도 3은 사용자가 미리 저장되어 있는 메타버스 공간을 선택하거나 사용자가 원하는 메타버스 공간을 생성하는 것을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 제1 사용자(예: 호스트; BJ)의 방송을 메타버스 공간 상에서 경험할 수 있는 것을 나타낸 도면이다.
도 5는 사용자의 움직임을 아바타에 반영하는 것을 설명하기 위한 도면이다.
도 6은 특정 구역에 아바타들이 모여 트래픽이 심해지는 것을 방지하기 위하여, 아바타 밀도 맵에 기초하여 이동 가능한 경로를 가이드하는 것을 설명하기 위한 도면이다.
도 7은 메타버스 공간에 있는 아바타의 음성이 전달되는 범위를 설명하기 위한 도면이다.
도 8은 도 1에 따른 메타버스 운영 서버의 하드웨어 구성을 나타낸 도면이다.1 is a diagram illustrating a system for providing a metaverse operation service according to an embodiment.
FIG. 2 is a diagram illustrating components of the metaverse operation server of FIG. 1 .
FIG. 3 is a diagram for explaining that a user selects a metaverse space stored in advance or creates a metaverse space desired by the user.
4 is a diagram illustrating that broadcasting of a first user (eg, a host; BJ) can be experienced in a metaverse space according to an embodiment.
FIG. 5 is a diagram for explaining that a user's movement is reflected in an avatar.
FIG. 6 is a diagram for explaining how to guide a movable path based on an avatar density map in order to prevent traffic from increasing due to gathering of avatars in a specific area.
7 is a diagram for explaining a range in which the voice of an avatar in the metaverse space is transmitted.
8 is a diagram illustrating a hardware configuration of the metaverse operation server according to FIG. 1 .

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 일 실시 예에 따른 메타버스 운영 서비스를 제공하는 시스템(10)을 도시한 도면이다. 도 1을 참조하면, 메타버스 운영 서비스를 제공하는 시스템(10)은 메타버스 운영 서버(100), 사용자 단말(200) 등을 포함할 수 있다. 사용자 단말(200)은 제1 사용자의 제1 사용자 단말(200-1), 제2 사용자의 제2 사용자 단말(200-2) 및 제3 사용자의 제3 사용자 단말(200-3) 등을 포함할 수 있다.1 is a diagram illustrating a system 10 for providing a metaverse operation service according to an embodiment. Referring to FIG. 1 , a system 10 providing a metaverse operation service may include a metaverse operation server 100 , a user terminal 200 , and the like. The user terminal 200 includes a first user terminal 200-1 of a first user, a second user terminal 200-2 of a second user, and a third user terminal 200-3 of a third user. can do.

메타버스 운영 서버(100)는 현실 공간에 대응하는 메타버스 공간을 생성하고, 생성된 메타버스 공간을 통해 다양한 서비스를 제공할 수 있다. 예를 들어, 사용자들은 사용자들 각각의 사용자 단말을 통해 메타버스 공간에 자신의 아바타를 투영시키고, 아바타를 통해 각종 경제 활동, 문화 활동, 교육 활동 등을 수행할 수 있다. 이하 본 발명의 내용에서 하나의 메타버스 공간에 대해서 기술하고 있으나, 복수 개의 메타버스 공간에서도 본 발명의 내용이 적용될 수 있음은 당연하다.The metaverse operation server 100 may generate a metaverse space corresponding to the real space and provide various services through the created metaverse space. For example, users can project their avatars on the metaverse space through their respective user terminals, and perform various economic, cultural, and educational activities through the avatars. Hereinafter, although one metaverse space is described in the context of the present invention, it is natural that the content of the present invention can be applied to a plurality of metaverse spaces.

메타버스 운영 서버(100)는 메타버스 공간에 다양한 사용자들이 접속할 수 있도록 사용자들 각각의 아바타의 좌표를 관리하고, 사용자의 움직임과 메타버스 공간 상의 아바타의 움직임이 매칭될 수 있도록 할 수 있다. 메타버스 운영 서버(100)는 사용자의 움직임이 메타버스 상의 아바타의 움직임에 매칭되도록 아바타를 제어하는 것 뿐만 아니라, 사용자 단말(200)을 통해 획득한 사용자의 입력에 따라 메타버스 상의 아바타의 움직임을 제어할 수 있다.The metaverse operation server 100 may manage the coordinates of each user's avatar so that various users can access the metaverse space, and match the user's movement with the avatar's movement on the metaverse space. The metaverse operation server 100 not only controls the avatar so that the user's movement matches the movement of the avatar on the metaverse, but also controls the movement of the avatar on the metaverse according to the user's input obtained through the user terminal 200 . can be controlled

메타버스 운영 서버(100)는 사용자 단말(200)에 포함된 키보드의 방향키 또는 미리 설정된 키를 누르는 사용자의 입력에 따라 아바타의 움직임을 제어할 수 있다. 상기 키보드는 물리적인 키보드일 수 있으나, 증강현실 키보드일 수 있으며, 기술적으로 제어 가능한 모든 종류의 키보드가 포함될 수 있다. 또는, 메타버스 운영 서버(100)는 사용자 단말(200)과 작동적으로(operatively) 연결된 마우스를 통한 사용자 입력에 따라 아바타의 움직임을 제어할 수 있다. 또는, 메타버스 운영 서버(100)는 키보드 및/또는 마우스 뿐만 아니라, 사용자의 음성 명령에 따라 아바타의 움직임을 제어할 수 있으며, NLP(자연어 처리; natural language processing)을 이용하여 사용자의 언어를 분석하고, 분석된 사용자의 언어에 기반한 음성 명령에 따라 아바타의 움직임을 제어할 수 있다.The metaverse operation server 100 may control the movement of the avatar according to a user's input of pressing a direction key or a preset key of a keyboard included in the user terminal 200 . The keyboard may be a physical keyboard, but may be an augmented reality keyboard, and may include all types of technically controllable keyboards. Alternatively, the metaverse operation server 100 may control the movement of the avatar according to a user input through a mouse operatively connected to the user terminal 200 . Alternatively, the metaverse operation server 100 may control the movement of the avatar according to the user's voice command as well as the keyboard and/or mouse, and analyze the user's language using natural language processing (NLP). and control the movement of the avatar according to a voice command based on the analyzed user's language.

메타버스 운영 서버(100)는 메타버스 공간을 생성하고 관리하는 데 사용되는 코드(예: 소스 코드, 오브젝트 코드, 기계 코드, 실행 가능 파일, 라이브러리, 스크립트 등)를 포함할 수 있다.The metaverse operation server 100 may include code (eg, source code, object code, machine code, executable file, library, script, etc.) used to create and manage the metaverse space.

사용자는 사용자 단말(200)을 통해 메타버스 공간에 접속하고, 메타버스 공간 내에서 보고, 듣고, 말하고, 맡는 등 메타버스 공간 상에서 사용자 자신의 아바타를 제어할 수 있다. 메타버스 운영 서버(100)는 사용자의 음성을 아바타의 음성으로 출력할 수도 있지만, 메타버스 공간 상의 다른 사용자들에게 자신의 음성을 드러내고 싶지 않은 경우도 있으므로, 사용자의 음성이 변조된 음성을 아바타의 음성으로 출력할 수 있다. 예를 들어, 변조된 음성은 성별이 변조된 음성, 로봇 음성, 연령 변화에 따른 음성, 유명 인플루언서의 음성 외에 다양한 음성을 포함할 수 있다. 음성 변조는 음성 변조에 관한 공지의 기술들에 의하여 수행될 수 있다.The user may access the metaverse space through the user terminal 200 and control the user's own avatar on the metaverse space, such as seeing, hearing, speaking, and taking charge of the metaverse space. The metaverse operation server 100 may output the user's voice as the avatar's voice, but there are cases where it does not want to reveal its own voice to other users in the metaverse space. It can be output by voice. For example, the modulated voice may include various voices in addition to a gender-modulated voice, a robot voice, a voice according to age change, and a voice of a famous influencer. Voice modulation may be performed by known techniques related to voice modulation.

또한, 메타버스 운영 서버(100)는 음성의 세기, 음성의 높낮이, 음성의 맵시를 조절할 수 있는 음성 조절 인터페이스를 제공할 수 있으며, 사용자는 제공된 음성 조절 인터페이스를 통해 자신이 아바타를 통해 출력하고 싶은 음성을 변조할 수도 있다.In addition, the metaverse operation server 100 may provide a voice control interface that can adjust the strength of the voice, the pitch of the voice, and the dressiness of the voice, and the user wants to output through the avatar through the provided voice control interface. You can even modulate your voice.

사용자 단말(200)은 VR(virtual reality) 기기 및/또는 AR(augmented reality) 기기로서, HMD(head mounted display), 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), 및 PDA(Personal Digital Assistant) 등 일 수 있다. The user terminal 200 is a virtual reality (VR) device and/or augmented reality (AR) device, including a head mounted display (HMD), a communicable desktop computer, a laptop computer, and a notebook computer. , smart phone, tablet PC, mobile phone, smart watch, smart glass, e-book reader, PMP (portable multimedia player), portable game machine , navigation device, digital camera, DMB (digital multimedia broadcasting) player, digital audio recorder, digital audio player, digital video recorder, digital It may be a video player (digital video player), PDA (Personal Digital Assistant), and the like.

도 2는 도 1의 메타버스 운영 서버(100)의 구성 요소를 나타낸 도면이다.FIG. 2 is a diagram illustrating components of the metaverse operation server 100 of FIG. 1 .

도 2를 참조하면, 메타버스 운영 서버(100)는 정보 획득부(101), 메타버스 공간 생성부(102), 효과 제공부(103), 아바타 제어부(104), 이동 구역 결정부(105) 및 음성 전달 구역 결정부(106) 등을 포함할 수 있다.Referring to FIG. 2 , the metaverse operation server 100 includes an information obtaining unit 101 , a metaverse space generating unit 102 , an effect providing unit 103 , an avatar controlling unit 104 , and a moving area determining unit 105 . and a voice transmission zone determining unit 106 and the like.

정보 획득부(101)는 현실 공간에 존재하는 현실 객체에 대한 영상 정보를 획득할 수 있다. 정보 획득부(101)는 사용자 단말(200)에 탑재된 모션 센서에 의해 획득된 사용자의 움직임에 대한 정보를 획득할 수 있다. 상기 움직임에 대한 정보는 정적 모션, 동적 모션을 포함할 수 있다. 정보 획득부(101)는 사용자 단말(200)에 탑재된 음성 센서를 통해 사용자의 음성 정보를 획득할 수 있다.The information acquisition unit 101 may acquire image information about a real object existing in real space. The information acquisition unit 101 may acquire information about the user's movement acquired by a motion sensor mounted on the user terminal 200 . The information on the motion may include a static motion and a dynamic motion. The information acquisition unit 101 may acquire the user's voice information through a voice sensor mounted on the user terminal 200 .

정보 획득부(101)는 위치 센서, 생체 신호 감지 센서를 통해 획득된 사용자와 관련된 상황 정보를 획득할 수 있고, 가상의 센서를 통해 획득된 메타버스 공간에 존재하는 아바타와 관련된 상황 정보를 획득할 수 있다.The information acquisition unit 101 may acquire context information related to a user acquired through a location sensor and a biosignal detection sensor, and may acquire context information related to an avatar existing in a metaverse space acquired through a virtual sensor. can

메타버스 공간 생성부(102)는 메타버스 공간 및 메타버스 공간에 배치될 객체를 생성할 수 있다. 메타버스 공간 생성부(102)는 사용자들 각각의 아바타들 및 아바타들과 구별되는 객체들(예: 가상 자연물, 가상 시설물 등)을 생성할 수 있다. The metaverse space generating unit 102 may create a metaverse space and an object to be arranged in the metaverse space. The metaverse space generator 102 may generate avatars of users and objects (eg, virtual natural objects, virtual facilities, etc.) distinct from the avatars.

메타버스 공간 생성부(102)는 아바타의 경로에 기초하여 메타버스 공간 내에서 가상 시설물을 배치할 수 있다. 예를 들어, 메타버스 공간 생성부(102)는 아바타의 경로들을 추적하고, 추적된 아바타의 경로가 일정한 패턴을 형성하는 경우, 형성된 패턴에 따라 가상 도로를 생성하여 배치할 수 있다.The metaverse space generator 102 may arrange a virtual facility in the metaverse space based on the path of the avatar. For example, the metaverse space generator 102 may track the paths of the avatar, and when the tracked path of the avatar forms a predetermined pattern, the metaverse space generator 102 may generate and arrange a virtual road according to the formed pattern.

효과 제공부(103)는 획득된 아바타와 관련된 상황 정보에 기초하여 상기 상황 정보에 대응하는 리액션을 제공할 수 있다. 다시 말해서, 효과 제공부(103)는 현실 공간과 마찬가지로 메타버스 공간 내에서 실제 감각과 관련된 감각 효과를 제공할 수 있다. 예를 들어, 효과 제공부(103)는 메타버스 공간 내의 특정 지점에 사용자의 아바타가 접근하면, 아바타가 접근한 지점의 환경에 대응하는 감각 효과(예: 소리, 진동 등)를 사용자에게 제공할 수 있다. 구체적으로, 효과 제공부(103)는 메타버스 공간에서 사용자의 아바타가 폭포에 해당되는 좌표에 접근한 경우, 폭포 소리에 대응하는 감각 효과를 사용자의 아바타에게 전달하고, 아바타에 전달된 폭포 소리를 사용자 단말(200)을 통해 사용자가 상기 폭포 소리를 들을 수 있도록 할 수 있다.The effect providing unit 103 may provide a reaction corresponding to the context information based on the acquired context information related to the avatar. In other words, the effect providing unit 103 may provide a sensory effect related to a real sense in the metaverse space like the real space. For example, when the user's avatar approaches a specific point in the metaverse space, the effect providing unit 103 may provide the user with a sensory effect (eg, sound, vibration, etc.) corresponding to the environment of the point approached by the avatar. can Specifically, when the user's avatar approaches the coordinates corresponding to the waterfall in the metaverse space, the effect providing unit 103 transmits a sensory effect corresponding to the waterfall sound to the user's avatar, and transmits the waterfall sound transmitted to the avatar to the user's avatar. Through the user terminal 200, the user may be able to hear the sound of the waterfall.

아바타 제어부(104)는 정보 획득부(101)를 통해 획득된 사용자의 움직임에 대한 정보에 기초하여, 사용자의 움직임에 대응되도록 아바타의 움직임을 제어할 수 있다. 예를 들어, 아바타 제어부(104)는 사용자 단말(200)을 통해 오른쪽으로 게걸음하는 사용자의 움직임에 대한 정보에 기초하여, 사용자의 아바타를 오른쪽으로 게걸음하도록 제어할 수 있다. 또는, 아바타 제어부(104)는 오른쪽으로 이동시키는 버튼 입력을 획득한 경우, 사용자의 아바타를 오른쪽으로 이동시킬 수 있다.The avatar controller 104 may control the movement of the avatar to correspond to the movement of the user based on the information about the user's movement obtained through the information obtaining unit 101 . For example, the avatar controller 104 may control the user's avatar to walk to the right through the user terminal 200 based on information about the user's movement to the right. Alternatively, the avatar controller 104 may move the user's avatar to the right when receiving a button input for moving it to the right.

아바타 제어부(104)는 상기 획득된 사용자의 음성 정보에 기초하여, 사용자의 아바타로부터 사용자의 음성이 출력되도록 제어할 수 있다.The avatar controller 104 may control the user's voice to be output from the user's avatar based on the acquired user's voice information.

이동 구역 결정부(105)는 생성된 상기 메타버스 공간 내에서 사용자의 아바타의 이동 가능 구역 및 이동 제한 구역을 결정하고, 결정된 이동 가능 구역에 따라 아바타가 이동할 수 있도록 사용자 단말(200)을 통해 사용자에게 가이드할 수 있다. 이동 구역 결정부(105)의 동작에 대해서는 이하 도 6에서 자세하게 설명한다.The movement area determining unit 105 determines a movement area and a movement restriction area of the user's avatar within the created metaverse space, and allows the user through the user terminal 200 to move the avatar according to the determined movement area. can guide you The operation of the movement zone determining unit 105 will be described in detail below with reference to FIG. 6 .

음성 전달 구역 결정부(106)는 거리에 따라 사용자의 아바타가 음성을 들을 수 있는 구역을 결정할 수 있다. 음성 전달 구역 결정부(106)의 동작에 대해서는 이하 도 7에서 자세하게 설명한다.The voice transmission zone determining unit 106 may determine a zone in which the user's avatar can hear the voice according to the distance. The operation of the voice transmission zone determining unit 106 will be described in detail below with reference to FIG. 7 .

도 3은 사용자가 미리 저장되어 있는 메타버스 공간을 선택하거나 사용자가 원하는 메타버스 공간을 생성하는 것을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining that a user selects a metaverse space stored in advance or creates a metaverse space desired by the user.

메타버스 공간 생성부(102)는 미리 저장된 복수 개의 메타버스 공간을 사용자 단말(200)을 통해 사용자에게 제공할 수 있다. 메타버스 공간 생성부(102)는 사용자의 입력을 획득하고, 사용자의 입력에 대응하는 메타버스 공간을 생성할 수 있다. 예를 들어, 메타버스 공간 생성부(102)는 시청 앞 공간, 강남역과 같은 유명한 공간에 대한 메타버스 공간을 미리 생성하여 저장할 수 있고, 강남역을 선택하는 사용자의 입력에 응답하여 강남역에 대응하는 메타버스 공간을 생성할 수 있다.The metaverse space generator 102 may provide a plurality of pre-stored metaverse spaces to the user through the user terminal 200 . The metaverse space generator 102 may obtain a user's input and generate a metaverse space corresponding to the user's input. For example, the metaverse space generating unit 102 may generate and store in advance a metaverse space for a famous space such as a space in front of City Hall and Gangnam Station, and in response to a user input selecting Gangnam Station, the metaverse corresponding to Gangnam Station You can create a bus space.

다만, 미리 생성되어 있지 않거나, 사용자만의 메타버스 공간을 생성하고 싶은 경우, 메타버스 공간 생성부(102)는 사용자의 입력에 따라 커스터마이징된 메타버스 공간을 생성할 수 있다. 메타버스 공간 생성부(102)는 사용자가 직접 메타버스 공간을 구성할 수 있도록 메타버스 공간 인터페이스(300)를 사용자가 시각적으로 인지할 수 있도록 사용자 단말(200)을 통해 표시할 수 있다.However, if the metaverse space has not been created in advance or if the user wants to create their own metaverse space, the metaverse space generator 102 may create a customized metaverse space according to a user's input. The metaverse space generator 102 may display the metaverse space interface 300 through the user terminal 200 so that the user can visually recognize the metaverse space so that the user can directly configure the metaverse space.

사용자 단말(200)은 사용자로부터 메타버스 공간 인터페이스를 통해 공간 정보를 입력 받고, 입력 받은 공간 정보를 메타버스 공간 생성부(102)에 전달할 수 있다. 상기 공간 정보는 지형에 관한 정보, 지형물에 관한 정보, 시설물에 관한 정보 및 기타 사물에 대한 정보 등을 포함할 수 있다. 예를 들어, 지형에 관한 정보는 지형의 너비, 지형의 길이 및 지형의 굴곡 등을 포함하고, 지형물에 관한 정보는 자연 지형물인 나무, 바위, 풀 등을 포함하고, 시설물에 관한 정보는 은행, 가로등 및 버스 정류장 등을 포함하고, 기타 사물에 대한 정보는 의자, 책장 및 옷장 등을 포함할 수 있다.The user terminal 200 may receive spatial information from the user through the metaverse spatial interface, and transmit the received spatial information to the metaverse space generator 102 . The spatial information may include information about topography, information about features, information about facilities, and information about other things. For example, the information on the topography includes the width of the topography, the length of the topography, and the curvature of the topography, the information about the topography includes trees, rocks, grass, etc., which are natural features, and the information about the facilities includes the bank , streetlights and bus stops, and the like, and information about other things may include chairs, bookcases, and wardrobes.

다른 실시 예로, 메타버스 공간 생성부(102)는 특정 위치에 대응하는 지리적 정보를 통해 메타버스 공간을 생성할 수 있다. 예를 들어, 메타버스 공간 생성부(102)는 GPS(Global Positioning System)을 이용하여 감지된 사용자의 현재 위치 또는 사용자가 입력하는 위치에 대응하는 지리적 정보를 통해 메타버스 공간을 생성할 수 있다. In another embodiment, the metaverse space generator 102 may generate the metaverse space through geographic information corresponding to a specific location. For example, the metaverse space generator 102 may generate the metaverse space through geographic information corresponding to the current location of the user detected using a global positioning system (GPS) or a location input by the user.

야외 콘서트나 야외 공연장에서 퍼포먼스를 하는 경우, 바이러스 방역 지침이 있는 경우 수용 인원의 제한이 있기 때문에, 최대 수용 인원의 절반도 안되는 관람객 만이 공연을 볼 수 있다. 메타버스 서비스를 이용하는 사용자들에게 생생한 퍼포먼스를 보여주기 위하여, 콘서트나 공연장의 모습을 그대로 메타버스 공간에 재현할 필요가 있다. 위와 같은 필요에 따라, 메타버스 공간 생성부(102)는 외부 렌더링 서버(예: 네이버 지도 서버, 구글 어스 서버)에서 제공하는 사용자의 현재 위치에 대응하는 지형 모델링에 기초하여 메타버스 공간을 생성할 수 있다.When performing at an outdoor concert or outdoor performance hall, if there is a virus prevention guideline, there is a limit on the number of people, so less than half of the maximum number of people can see the performance. In order to show vivid performances to users who use the metaverse service, it is necessary to reproduce the appearance of a concert or concert hall in the metaverse space as it is. According to the above needs, the metaverse space generating unit 102 may generate the metaverse space based on the terrain modeling corresponding to the user's current location provided by an external rendering server (eg, Naver Map Server, Google Earth Server). can

도 4는 일 실시 예에 따른 제1 사용자(예: 호스트; BJ)의 방송을 메타버스 공간 상에서 경험할 수 있는 것을 나타낸 도면이다.4 is a diagram illustrating that broadcasting of a first user (eg, a host; BJ) can be experienced in a metaverse space according to an embodiment.

일 실시 예에서, 메타버스 공간 생성부(102)는 제1 사용자(예: 호스트; BJ)가 구성하기를 원하는 공간에 대한 공간 정보를 획득하고, 획득된 공간 정보에 기초하여 메타버스 공간을 생성할 수 있다. 예를 들어, 메타버스 공간 생성부(102)는 제1 사용자의 현실 공간 정보를 획득하고, 획득된 현실 공간 정보에 기초하여 메타버스 공간을 생성할 수 있다. 현실 공간 정보는 사용자의 현실 공간에 대한 영상 데이터를 포함할 수 있다.In an embodiment, the metaverse space generating unit 102 obtains spatial information on a space desired by the first user (eg, a host; BJ) to configure, and generates a metaverse space based on the obtained spatial information. can do. For example, the metaverse space generator 102 may obtain real space information of the first user, and generate a metaverse space based on the obtained real space information. The real space information may include image data about the user's real space.

메타버스 공간 생성부(102)는 사용자의 현실 공간을 메타버스 공간(예: BJ실)으로 생성하기 위하여, 다방향 영상 데이터를 획득할 수 있다. 다방향 영상 데이터는 하나의 카메라로 촬영한 동영상 및/또는 파노라마 이미지 등을 의미할 수 있다. The metaverse space generator 102 may acquire multidirectional image data to create a user's real space as a metaverse space (eg, BJ room). The multidirectional image data may refer to a moving picture and/or a panoramic image captured by one camera.

메타버스 공간 생성부(102)는 제1 시점에서 제1 방향을 촬영한 제1 영상과 제1 시점의 사용자 단말의 제1 위치 데이터를 획득하고, 제2 시점에서 상기 제1 방향과 다른 제2 방향을 촬영한 제2 영상과 제2 시점의 사용자 단말의 제2 위치 데이터를 획득할 수 있다. 메타버스 공간 생성부(102)는 제1 위치 데이터 및 제2 위치 데이터에 기초하여, 제1 시점과 제2 시점 동안의 위치 변화 데이터를 생성할 수 있다.The metaverse space generating unit 102 obtains a first image captured in a first direction at a first time point and first location data of the user terminal at a first time point, and obtains a second position different from the first direction at a second time point. A second image obtained by photographing the direction and second location data of the user terminal at the second viewpoint may be obtained. The metaverse space generator 102 may generate position change data during the first and second viewpoints based on the first position data and the second position data.

메타버스 공간 생성부(102)는 제1 영상 및 제2 영상에 포함된 공통된 배경 및 전경을 식별하고, 상기 위치 변화 데이터에 기초하여 식별된 배경 및 전경에 대하여 공간 보정을 수행하고, 공간 보정에 기초하여 기준 공간 데이터를 생성할 수 있다. 메타버스 공간 생성부(102)는 제1 방향 및 제2 방향 뿐 아니라, 다수의 방향을 촬영한 영상들을 통해 복수 개의 기준 공간 데이터를 생성하고, 메타버스 공간 생성부(102)는 생성된 기준 공간 데이터에 기초하여 메타버스 공간(예: BJ실)을 생성할 수 있다.The metaverse space generator 102 identifies a common background and foreground included in the first image and the second image, performs spatial correction on the identified background and foreground based on the position change data, and performs spatial correction Based on the reference spatial data may be generated. The metaverse space generator 102 generates a plurality of reference space data from images taken in a plurality of directions as well as in the first and second directions, and the metaverse space generator 102 generates the reference space generated by the metaverse space generator 102 . A metaverse space (eg BJ room) can be created based on the data.

일 실시 예에서, 메타버스 공간을 구성한 제1 사용자는 제1 사용자와 구별되는 다른 사용자들을 상기 메타버스 공간(예: BJ실)으로 초대할 수 있다. 제1 사용자 단말(200)는 제1 사용자로부터 메타버스 공간에 설정할 접속 정보를 입력받고, 입력받은 상기 접속 정보를 메타버스 공간 생성부(102)로 제공할 수 있다. 메타버스 공간 생성부(102)는 제공받은 접속 정보를 상기 메타버스 공간에 설정할 수 있다. 상기 접속 정보는 메타버스 공간의 이름, 메타버스 공간의 접속 비밀번호 등을 포함할 수 있다. 다른 사용자들은 상기 메타버스 공간에 설정된 접속 정보를 입력하면, 상기 메타버스 공간(예: BJ실)에 접속할 수 있다.In an embodiment, the first user who configures the metaverse space may invite other users distinguished from the first user to the metaverse space (eg, BJ room). The first user terminal 200 may receive access information to be set in the metaverse space from the first user, and may provide the received access information to the metaverse space generation unit 102 . The metaverse space generator 102 may set the provided access information in the metaverse space. The access information may include a name of the metaverse space, an access password of the metaverse space, and the like. Other users can access the metaverse space (eg, BJ room) by inputting access information set in the metaverse space.

다른 사용자들은 메타버스 공간(예: BJ실)에 접속된 자신의 아바타를 통해 제1 사용자의 모션, 음성 등에 대응하는 사용자의 아바타의 모션, 음성을 시청할 수 있고, 다른 사용자들은 자신의 아바타의 음성을 통해 제1 사용자의 제1 아바타와 의사소통을 수행할 수 있다.Other users can view the motion and voice of the user's avatar corresponding to the motion and voice of the first user through their avatar connected to the metaverse space (eg, BJ room), and other users can view the voice of their avatar. Through this, communication with the first avatar of the first user may be performed.

도 5는 사용자의 움직임을 아바타에 반영하는 것을 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining that a user's movement is reflected in an avatar.

아바타 제어부(104)는 사용자의 동적 모션에 기초하여, 아바타의 움직임을 제어할 수 있다. 아바타 제어부(104)는 사용자를 촬영하는 적어도 둘 이상의 카메라를 통해 획득된 영상 데이터 및 적어도 둘 이상의 깊이 감지 센서를 통해 획득된 깊이 데이터에 기초하여 아바타의 움직임을 제어할 수 있다. 상기 영상 데이터는 RGB 정보를 포함하고, 상기 깊이 데이터는 깊이 정보를 가지는 뎁스맵을 포함할 수 있다.The avatar controller 104 may control the movement of the avatar based on the user's dynamic motion. The avatar controller 104 may control the movement of the avatar based on image data obtained through at least two or more cameras photographing the user and depth data obtained through at least two or more depth sensing sensors. The image data may include RGB information, and the depth data may include a depth map having depth information.

아바타 제어부(104)는 상기 깊이 데이터에 기초하여, 상기 적어도 둘 이상의 카메라(예: 다시점 카메라)에 의해 획득된 영상의 스테레오 정합을 수행하고, 사용자의 3D 정보를 획득할 수 있다. 아바타 제어부(104)는 획득된 사용자의 3D 정보 및 사용자의 움직임에 대한 동작 센싱 정보에 기초하여 사용자의 시간별 인체 골격 구조에 대한 특징점들을 추출할 수 있다. 다시 말해서, 아바타 제어부(104)는 영상 데이터의 RGB 정보를 통해 획득되는 사용자의 움직임 벡터, 깊이 정보를 통해 획득되는 상대적 거리, 골격 구조 정보를 통해 획득되는 3차원 관절 좌표 및 골격 구조에 따른 각속도 등에 기초하여 상기 특징점들을 추출할 수 있다.The avatar controller 104 may perform stereo matching of images acquired by the at least two cameras (eg, multi-view cameras) based on the depth data, and may acquire 3D information of the user. The avatar controller 104 may extract feature points of the user's human body skeletal structure for each time based on the obtained 3D information of the user and motion sensing information on the user's movement. In other words, the avatar controller 104 controls the user's motion vector obtained through RGB information of image data, relative distance obtained through depth information, three-dimensional joint coordinates obtained through skeletal structure information, angular velocity according to the skeleton structure, etc. Based on this, the feature points may be extracted.

아바타 제어부(104)는 추출된 특징점들을 사용자의 인체 구조에 따라 복수 개의 클러스터들로 그룹화할 수 있다. 아바타 제어부(104)는 복수 개의 클러스터들 각각의 움직임 벡터를 산출하고, 산출된 움직임 벡터에 기초하여 아바타를 구성하는 버텍스들의 좌표를 변경하고, 변경된 버텍스들의 좌표에 기초하여 사용자의 아바타의 움직임을 제어할 수 있다.The avatar controller 104 may group the extracted feature points into a plurality of clusters according to the user's human body structure. The avatar controller 104 calculates a motion vector of each of the plurality of clusters, changes the coordinates of vertices constituting the avatar based on the calculated motion vector, and controls the movement of the user's avatar based on the changed coordinates of the vertices. can do.

도 6은 특정 구역에 아바타들이 모여 트래픽이 심해지는 것을 방지하기 위하여, 아바타 밀도 맵에 기초하여 이동 가능한 경로를 가이드하는 것을 설명하기 위한 도면이다.FIG. 6 is a diagram for explaining how to guide a movable path based on an avatar density map in order to prevent traffic from increasing due to gathering of avatars in a specific area.

이동 구역 결정부(105)는 메타버스 공간의 아바타 밀도 맵을 생성하고, 생성된 아바타 밀도 맵에 따라 아바타의 이동 제한 구역 및 이동 가능 구역을 결정할 수 있다. 이동 제한 구역은 이미 많은 수의 아바타가 해당 구역에 위치하고 있으므로, 추가적으로 다른 아바타가 진입할 수 없는 구역을 의미할 수 있다.The movement area determiner 105 may generate an avatar density map of the metaverse space, and determine a movement restriction area and a movable area of the avatar according to the generated avatar density map. Since a large number of avatars are already located in the corresponding area, the restricted movement area may mean an area in which other avatars cannot additionally enter.

이동 구역 결정부(105)는 메타버스 공간의 지상면을 복수 개의 셀들로 분할하고, 분할된 복수 개의 셀들 각각의 아바타 밀도를 결정하고, 결정된 아바타 밀도에 기초하여 상기 아바타 밀도 맵을 생성할 수 있다. 이동 구역 결정부(105)는 상기 복수 개의 셀들 각각에 위치한 아바타의 수 및 상기 복수 개의 셀들 각각의 경사도에 기초하여, 상기 복수 개의 셀들 각각의 아바타 밀도를 결정할 수 있다. 이동 구역 결정부(105)는 수학식 1을 통해 상기 아바타 밀도를 결정할 수 있다.The movement zone determiner 105 may divide the ground surface of the metaverse space into a plurality of cells, determine an avatar density of each of the plurality of divided cells, and generate the avatar density map based on the determined avatar density. . The movement area determiner 105 may determine an avatar density of each of the plurality of cells based on the number of avatars located in each of the plurality of cells and the inclination of each of the plurality of cells. The movement area determiner 105 may determine the avatar density through Equation (1).

Figure 112021098624017-pat00005
Figure 112021098624017-pat00005

수학식 1에서, Ad는 상기 아바타 밀도, B는 셀의 면적, p는 셀에 위치한 아바타의 수, s는 셀의 경사도, di는 셀의 중심으로부터 셀에 위치한 아바타 간 거리를 의미할 수 있다. 상기 경사도는 상기 셀 내의 가장 높은 지점과 가장 낮은 지점의 기울기를 의미할 수 있다.In Equation 1, A d is the density of the avatar, B is the area of the cell, p is the number of avatars located in the cell, s is the inclination of the cell, and d i is the distance between the avatars located in the cell from the center of the cell. there is. The slope may mean slopes of the highest point and the lowest point in the cell.

이동 구역 결정부(105)는 경사도가 큰 셀일수록 해당 셀에 많은 아바타가 위치하기 힘들기 때문에, 경사도가 클수록 아바타 밀도가 높은 것으로 결정할 수 있다. 따라서, 이동 구역 결정부(105)는 경사도가 크거나 아바타의 수가 많은 셀일수록 아바타 밀도가 높은 셀로 결정할 수 있다. 또한, 이동 구역 결정부(105)는 셀 중심에 아바타가 많이 모여있을수록 셀 외곽에는 상대적으로 공간적 여유가 있다는 것으로 판단할 수 있으므로, 셀 중심과 아바타 간 거리에 기초하여 상기 아바타 밀도를 결정할 수 있다.The movement zone determiner 105 may determine that the higher the gradient, the higher the density of avatars because it is difficult for many avatars to be located in a cell with a greater inclination. Accordingly, the movement zone determiner 105 may determine a cell having a higher avatar density as the gradient increases or the number of avatars increases. Also, the movement area determiner 105 may determine that the more avatars are gathered at the center of the cell, the more space there is at the outside of the cell. .

이동 구역 결정부(105)는 아바타들의 트래픽을 방지하기 위하여, 아바타 밀도가 임계 밀도 이상인 셀들을 이동 제한 구역으로 결정하고, 그 외 구역은 이동 가능 구역으로 결정할 수 있다. 이동 구역 결정부(105)는 결정된 이동 제한 구역 및 이동 가능 구역을 사용자 단말로 전달하여, 사용자가 이동 가능 구역에 따라 아바타의 이동 경로를 제어할 수 있도록 할 수 있다.In order to prevent traffic of avatars, the movement area determining unit 105 may determine cells having an avatar density equal to or greater than a threshold density as movement restricted areas, and other areas may be determined as movable areas. The movement area determining unit 105 may transmit the determined movement restricted area and movable area to the user terminal so that the user can control the movement path of the avatar according to the movable area.

도 7은 메타버스 공간에 있는 아바타의 음성이 전달되는 범위를 설명하기 위한 도면이다. 아바타가 듣는다는 의미는 상기 아바타에 대응하는 사용자가 음성을 듣는다는 의미이고, 아바타가 음성을 낸다는 의미는 상기 아바타에 대응하는 사용자의 음성을 아바타를 통해 출력한다는 의미인 것은 당연하다.7 is a diagram for explaining a range in which the voice of an avatar in the metaverse space is transmitted. It goes without saying that the meaning that the avatar listens means that the user corresponding to the avatar hears the voice, and the meaning that the avatar makes a voice means that the user's voice corresponding to the avatar is output through the avatar.

도 7을 참조하면, 소리를 내고 있는 아바타의 음성이 메타버스 공간 내에서 다른 아바타들에게 전부 들리는 것이 아닌, 소리를 내고 있는 아바타를 기준으로 구역 별로 음성이 전달될 수 있다. 이에 따라, 음성 전달 구역 결정부(106)는 아바타들 각각의 음성 전달 구역(T)을 결정할 수 있다. 음성 전달 구역은 고정 전달 구역(T1) 및 유동 전달 구역(T2)을 포함할 수 있다.Referring to FIG. 7 , the voice of the avatar making a sound is not all heard by other avatars in the metaverse space, but the voice may be delivered to each zone based on the avatar making the sound. Accordingly, the voice transmission zone determiner 106 may determine the voice transmission zone T of each of the avatars. The negative transfer zone may include a fixed delivery zone (T1) and a fluid delivery zone (T2).

음성 전달 구역 결정부(106)는 상기 아바타의 위치를 제1 초점으로 갖고, 상기 제1 초점에서 상기 아바타의 얼굴이 향하는 방향을 장축 방향으로 하고, 상기 제1 초점에서 상기 장축 방향을 따라 미리 설정된 제1 거리에 제2 초점을 갖고, 단축 방향의 길이가 제1 단축 길이인, 제1 타원을 상기 음성 전달 구역(T)으로 결정할 수 있다.The voice transmission zone determining unit 106 has the position of the avatar as a first focus, a direction in which the face of the avatar faces at the first focus is a long axis direction, and a preset direction is set along the long axis direction at the first focus point. A first ellipse having a second focus at a first distance and having a length in a minor axis direction is a first minor axis length may be determined as the voice transmission region T.

음성 전달 구역 결정부(106)는 상기 제1 타원의 제1 단축 길이를 이하 수학식 2를 통해서 결정하며,The voice transmission zone determining unit 106 determines the first minor axis length of the first ellipse through Equation 2 below,

Figure 112021098624017-pat00006
Figure 112021098624017-pat00006

상기 수학식 2에서, Ls는 상기 제1 단축 길이이고, la는 상기 제1 거리이고, h는 상기 아바타의 높이(m)일 수 있다.In Equation 2, L s may be the first minor axis length, la may be the first distance, and h may be the height (m) of the avatar.

음성 전달 구역 결정부(106)는 음성 전달 구역(T)의 절반의 면적을 가지는 제2 타원을 고정 전달 구역(T1)으로 결정할 수 있다. 음성 전달 구역 결정부(106)는 아바타의 위치를 제3 초점으로 결정하고, 아바타의 얼굴이 향하는 방향을 상기 제2 타원의 장축 방향으로 결정하고, 아바타의 얼굴이 향하는 방향에 상기 제3 초점과 구별되는 제4 초점이 위치할 수 있도록 고정 전달 구역(T1)을 결정할 수 있다.The voice transmission region determiner 106 may determine the second ellipse having a half area of the voice transmission region T as the fixed transmission region T1 . The voice transmission zone determining unit 106 determines the position of the avatar as the third focus, the direction the face of the avatar faces as the long axis direction of the second ellipse, and the third focus and the direction in which the face of the avatar faces. A fixed transfer zone T1 can be determined so that a distinct fourth focal point can be located.

음성 전달 구역 결정부(106)는 사용자 단말(200)로부터 획득한 사용자의 음성의 크기, 주변 소음 등에 기초하여 음성 전달 구역(T)의 크기 및 고정 전달 구역(T1)의 크기를 결정할 수 있다. 음성 전달 구역 결정부(106)는 사용자의 음성의 크기가 클수록, 제1 타원의 장축 길이, 제2 타원의 장축 길이를 길게할 수 있다. 음성 전달 구역 결정부(106)는 아바타의 위치의 주변 소음의 크기가 클수록, 제1 타원의 장축 길이, 제2 타원의 장축 길이를 짧게할 수 있다.The voice transmission zone determiner 106 may determine the size of the voice transmission zone T and the size of the fixed transmission zone T1 based on the volume of the user's voice acquired from the user terminal 200, ambient noise, and the like. The voice transmission zone determining unit 106 may increase the long axis length of the first ellipse and the long axis length of the second ellipse as the volume of the user's voice increases. The voice transmission zone determiner 106 may shorten the long axis length of the first ellipse and the long axis length of the second ellipse as the level of ambient noise at the location of the avatar increases.

음성 전달 구역 결정부(106)는 제1 아바타의 음성 전달 구역(T)에 위치한 아바타들이 제1 아바타의 음성을 들을 수 있도록 설정할 수 있다. 음성 전달 구역 결정부(106)는 제1 아바타의 음성 전달 구역(T)에 위치하지 않은 아바타들은 제1 아바타의 음성을 들을 수 없도록 설정할 수 있다.The voice transmission zone determiner 106 may set the avatars located in the voice transmission zone T of the first avatar to hear the voice of the first avatar. The voice transmission zone determiner 106 may set so that avatars not located in the voice transmission zone T of the first avatar cannot hear the voice of the first avatar.

음성 전달 구역 결정부(106)는 고정 전달 구역(T1)에 위치한 아바타들은 제1 아바타의 음성을 미리 설정된 제1 음량으로 듣도록 설정할 수 있다. 음성 전달 구역 결정부(106)는 유동 전달 구역(T2)에 위치한 아바타들은 제1 아바타의 음성을 상기 제1 음량보다 작은 음량으로 듣도록 설정할 수 있다.The voice delivery zone determiner 106 may set the avatars located in the fixed delivery zone T1 to hear the voice of the first avatar at a preset first volume. The voice delivery zone determiner 106 may set the avatars located in the fluid delivery zone T2 to hear the voice of the first avatar at a volume lower than the first volume.

음성 전달 구역 결정부(106)는 유동 전달 구역(T2)에 위치한 아바타들 각각의 현재 위치에 기초하여, 상기 아바타들 각각이 제1 아바타의 음성을 독립적으로 다르게 듣도록 설정할 수 있다. 다시 말해서, 음성 전달 구역 결정부(106)는 유동 전달 구역(T2)에 위치한 아바타들 중 고정 전달 구역(T1)에 가까운 아바타일수록 상기 제1 아바타의 음성을 상기 제1 음량보다 작은 제2 음량으로 듣도록 설정하고, 고정 전달 구역(T1)에 먼 아바타일수록 상기 제1 아바타의 음성을 상기 제2 음량보다 작은 제3음량으로 듣도록 설정할 수 있다.The voice delivery zone determiner 106 may set each of the avatars to independently and differently listen to the voice of the first avatar based on the current positions of each of the avatars located in the fluid delivery zone T2 . In other words, the voice delivery zone determining unit 106 sets the first avatar's voice at a second volume lower than the first volume, as the avatar is closer to the fixed delivery zone T1 among avatars located in the fluid delivery zone T2. It may be set to listen, and the more distant the avatar is from the fixed transmission zone T1, the more the voice of the first avatar may be set to be heard at a third volume lower than the second volume.

음성 전달 구역 결정부(106)는 상기 아바타들 각각의 현재 위치 뿐만 아니라, 상기 아바타들 각각의 이동 방향 및 이동 속도에 기초하여, 상기 아바타들 각각이 제1 아바타의 음성을 독립적으로 다르게 듣도록 설정할 수 있다. 음성 전달 구역 결정부(106)는 상기 아바타들 각각의 현재 위치, 이동 방향 및 이동 속도에 기초하여, 상기 아바타들 중 고정 전달 구역(T1)으로 진입하려는 것으로 판단된 아바타들이 상기 제1 아바타의 음성을 제4 음량으로 듣도록 설정하고, 상기 아바타들 중 음성 전달 구역(T)에서 벗어나려는 것으로 판단된 아바타들이 상기 제1 아바타의 음성을 미리 설정된 최소 음량으로 듣도록 설정할 수 있다.The voice transmission zone determiner 106 may set the avatars to independently listen to the voice of the first avatar differently, based on the moving direction and moving speed of each of the avatars as well as the current location of each of the avatars. can The voice transmission zone determiner 106 determines to enter the fixed transmission zone T1 among the avatars based on the current location, movement direction, and movement speed of each of the avatars. may be set to listen at the fourth volume, and the avatars determined to depart from the voice transmission zone T among the avatars may set to listen to the voice of the first avatar at a preset minimum volume.

음성 전달 구역 결정부(106)는 이하 수학식 3을 통해 상기 제4 음량을 결정할 수 있다.The voice transmission zone determining unit 106 may determine the fourth volume through Equation 3 below.

Figure 112021098624017-pat00007
Figure 112021098624017-pat00007

상기 수학식 3에서, Sm은 상기 제4 음량이고, f는 상기 제1 음량이고, v는 고정 전달 구역(T1)으로 진입하려는 것으로 판단된 아바타의 이동 속도이고,

Figure 112021098624017-pat00008
는 고정 전달 구역(T1)으로 진입하려는 것으로 판단된 아바타에서 상기 제1 아바타를 향하는 방향 및 고정 전달 구역(T1)으로 진입하려는 것으로 판단된 아바타의 이동 방향의 사이 각도를 의미할 수 있다.In Equation 3, S m is the fourth volume, f is the first volume, and v is the moving speed of the avatar determined to enter the fixed delivery zone T1,
Figure 112021098624017-pat00008
may mean an angle between the direction toward the first avatar from the avatar determined to enter the fixed delivery zone T1 and the moving direction of the avatar determined to enter the fixed delivery zone T1.

도 8은 도 1에 따른 메타버스 운영 서버(100)의 하드웨어 구성을 나타낸 도면이다.FIG. 8 is a diagram illustrating a hardware configuration of the metaverse operation server 100 according to FIG. 1 .

도 8을 참조하면, 메타버스 운영 서버(100)는 적어도 하나의 프로세서(110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.Referring to FIG. 8 , the metaverse operation server 100 stores at least one processor 110 and instructions for instructing the at least one processor 110 to perform at least one operation. It may include a memory (memory).

상기 적어도 하나의 동작은, 메타버스 운영 서버(100)의 동작이나 기능 중 적어도 일부를 포함하고 명령어들 형태로 구현되어 프로세서(110)에 의하여 수행될 수 있다.The at least one operation may include at least some of the operations or functions of the metaverse operation server 100 , and may be implemented in the form of instructions and performed by the processor 110 .

여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.Here, the at least one processor 110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed. can Each of the memory 120 and the storage device 160 may be configured of at least one of a volatile storage medium and a non-volatile storage medium. For example, the memory 120 may be one of a read only memory (ROM) and a random access memory (RAM), and the storage device 160 is a flash-memory. , a hard disk drive (HDD), a solid state drive (SSD), or various memory cards (eg, micro SD card).

또한, 메타버스 운영 서버(100)는 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 메타버스 운영 서버(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 메타버스 운영 서버(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다. In addition, the metaverse operation server 100 may include a transceiver 130 for performing communication through a wireless network. In addition, the metaverse operation server 100 may further include an input interface device 140 , an output interface device 150 , a storage device 160 , and the like. Each of the components included in the metaverse operation server 100 may be connected by a bus 170 to communicate with each other.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable media may include hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as at least one software module to perform the operations of the present invention, and vice versa.

또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다. In addition, the above-described method or apparatus may be implemented by combining all or part of its configuration or function, or may be implemented separately.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.

100: 메타버스 운영 서버 200: 사용자 단말100: metaverse operation server 200: user terminal

Claims (5)

사용자에게 메타버스 공간 서비스를 제공하는 메타버스 운영 서버로서,
상기 사용자의 현실 공간에 존재하는 현실 객체에 대한 영상 정보 및 상기 사용자의 움직임에 대한 정보를 획득하는 정보 획득부;
가상 공간인 메타버스 공간 및 상기 메타버스 공간에 배치될 가상 객체인 아바타(avatar)를 생성하는 메타버스 공간 생성부;
상기 메타버스 공간에서 상기 아바타의 주변 상황 정보에 기초하여 상기 주변 상황 정보에 대응하는 효과를 제공하는 효과 제공부;
상기 사용자의 움직임에 대응되도록 상기 아바타의 움직임을 제어하는 아바타 제어부;
상기 아바타가 이동할 수 있는 구역을 결정하는 이동 구역 결정부; 및
상기 아바타의 음성을 들을 수 있는 범위인 음성 전달 구역을 결정하는 음성 전달 구역 결정부를 포함하고,
상기 메타버스 공간 생성부는,
상기 사용자가 직접 메타버스 공간을 구성할 수 있도록 메타버스 공간 인터페이스를 생성하고, 생성된 상기 메타버스 공간 인터페이스를 상기 사용자의 사용자 단말에 제공하고,
상기 메타버스 공간 인터페이스를 통해 상기 사용자로부터 공간 정보를 입력 받고, 입력 받은 상기 공간 정보에 기초하여 상기 메타버스 공간을 생성하고,
상기 효과 제공부는,
상기 메타버스 공간 내의 특정 지점에 상기 아바타가 접근하면, 상기 지점의 환경에 대응하는 감각 효과를 상기 사용자 단말을 통해 상기 사용자에게 제공하고,
상기 메타버스 공간은 상기 사용자와 구별되는 다른 사용자들이 접속하고 상기 다른 사용자들 각각의 제2 아바타들이 표시되는 공간이고,
상기 이동 구역 결정부는,
상기 메타버스 공간의 아바타 밀도 맵을 생성하고,
생성된 상기 아바타 밀도 맵에 따라 상기 아바타의 이동 제한 구역 및 이동 가능 구역을 결정하되,
상기 메타버스 공간의 지상면을 복수 개의 셀들(cells)로 분할하고,
분할된 상기 복수 개의 셀들 각각에 위치한 아바타 및 상기 복수 개의 셀들 각각의 경사도에 기초하여, 상기 복수 개의 셀들 각각의 아바타 밀도를 결정하되,
하기 수학식을 통해 상기 아바타 밀도를 결정하고,
Figure 112022019042318-pat00018

상기 수학식에서, Ad는 상기 아바타 밀도, B는 셀의 면적, p는 셀에 위치한 아바타의 수, s는 셀의 경사도, di는 셀의 중심으로부터 셀에 위치한 아바타 간 거리를 의미하고, 상기 경사도는 상기 셀 내의 가장 높은 지점과 가장 낮은 지점의 기울기를 의미하며, 결정된 상기 아바타 밀도가 미리 설정된 임계 밀도 이상인 셀들을 상기 이동 제한 구역으로 결정하고,
상기 음성 전달 구역 결정부는,
상기 아바타의 위치를 제1 초점으로 갖고, 상기 제1 초점에서 상기 아바타의 얼굴이 향하는 방향을 장축 방향으로 하고, 상기 제1 초점에서 상기 장축 방향을 따라 미리 설정된 제1 거리에 제2 초점을 갖고, 단축 방향의 길이가 제1 단축 길이인, 제1 타원을 상기 음성 전달 구역으로 결정하고,
상기 아바타의 위치를 상기 제1 초점과 같은 위치인 제3 초점으로 갖고, 상기 제3 초점에서 상기 아바타의 얼굴이 향하는 방향을 장축 방향으로 하고, 상기 제3 초점에서 상기 장축 방향을 따라 상기 제1 거리보다 짧은 미리 설정된 제2 거리에 제4 초점을 갖고, 단축 방향의 길이가 제2 단축 길이인, 제2 타원을 고정 전달 구역으로 결정하고,
상기 제1 거리 및 상기 제2 거리는 상기 아바타에 대응하는 상기 사용자의 음성 크기에 비례하고, 상기 제1 단축 길이 및 상기 제2 단축 길이는 이하 수학식을 통해 계산되며,
Figure 112022019042318-pat00019

상기 수학식에서, Ls는 타원의 단축 길이이고, la는 타원의 초점들 간 거리이고, h는 상기 아바타의 높이(m)를 의미하며, 상기 음성 전달 구역 중 상기 고정 전달 구역을 제외한 구역을 유동 전달 구역으로 결정하고,
상기 음성 전달 구역에 위치한 상기 제2 아바타들에 대응하는 상기 다른 사용자들이 상기 아바타의 음성을 미리 설정된 제1 음량으로 듣도록 설정하고, 상기 유동 전달 구역에 위치한 상기 제2 아바타들 중에서, 상기 메타버스 공간 상의 현재 위치가 상기 고정 전달 구역에 상대적으로 가까운 제2 아바타에 대응하는 제2 사용자가 상기 아바타의 음성을 상기 제1 음량보다 작은 제2 음량으로 듣도록 설정하고, 상기 유동 전달 구역에 위치한 상기 제2 아바타들 중에서, 상기 메타버스 공간 상의 현재 위치가 상기 고정 전달 구역에서 상대적으로 먼 제3 아바타에 대응하는 제3 사용자가 상기 아바타의 음성을 상기 제2 음량보다 작은 제3 음량으로 듣도록 설정하고,
상기 제2 아바타들 각각의 현재 위치, 이동 방향 및 이동 속도에 기초하여, 상기 제2 아바타들 중 상기 고정 전달 구역으로 진입하려는 것으로 판단된 제4 아바타에 대응하는 제4 사용자가 상기 아바타의 음성을 제4 음량으로 듣도록 설정하고, 상기 제4 음량은 이하 수학식을 통해 결정되며,
Figure 112022019042318-pat00020

상기 수학식에서, Sm은 상기 제4 음량이고, f는 상기 제1 음량이고, v는 상기 제4 아바타의 이동 속도이고, θ는 상기 제4 아바타에서 상기 아바타를 향하는 방향 및 상기 제4 아바타의 이동 방향의 사이 각도를 의미하며,
상기 제2 아바타들 중 상기 음성 전달 구역에서 벗어나려는 것으로 판단된 제5 아바타에 대응하는 제5 사용자가 상기 아바타의 음성을 미리 설정된 최소 음량으로 듣도록 설정하는, 메타버스 운영 서버.As a metaverse operating server that provides metaverse space services to users,
an information acquisition unit configured to acquire image information on a real object existing in the user's real space and information on the user's movement;
a metaverse space generating unit that generates a metaverse space that is a virtual space and an avatar that is a virtual object to be arranged in the metaverse space;
an effect providing unit providing an effect corresponding to the surrounding context information based on the surrounding context information of the avatar in the metaverse space;
an avatar controller for controlling the movement of the avatar to correspond to the movement of the user;
a movement area determining unit that determines an area in which the avatar can move; and
and a voice transmission zone determining unit that determines a voice transmission zone that is a range in which the avatar's voice can be heard,
The metaverse space generating unit,
generating a metaverse space interface so that the user can directly configure the metaverse space, and providing the generated metaverse space interface to a user terminal of the user;
receiving spatial information from the user through the metaverse spatial interface, and generating the metaverse space based on the received spatial information;
The effect providing unit,
When the avatar approaches a specific point in the metaverse space, a sensory effect corresponding to the environment of the point is provided to the user through the user terminal,
The metaverse space is a space in which other users distinct from the user connect and display second avatars of each of the other users;
The movement area determining unit,
generating an avatar density map of the metaverse space;
Determining a movement restricted area and a movable area of the avatar according to the generated avatar density map,
dividing the ground surface of the metaverse space into a plurality of cells,
Determining an avatar density of each of the plurality of cells based on an avatar positioned in each of the divided cells and a gradient of each of the plurality of cells,
Determining the avatar density through the following equation,
Figure 112022019042318-pat00018

In the above formula, A d is the density of the avatar, B is the area of the cell, p is the number of avatars located in the cell, s is the inclination of the cell, and d i is the distance between the avatars located in the cell from the center of the cell, and The gradient means the gradient of the highest point and the lowest point in the cell, and cells having the determined avatar density greater than or equal to a preset threshold density are determined as the movement restriction zone;
The voice transmission zone determining unit,
a position of the avatar as a first focal point, a direction in which the face of the avatar faces at the first focal point is a long axis direction, and a second focal point is set at a first distance from the first focal point along the long axis direction, , determine a first ellipse, whose length in the minor axis direction is the first minor axis length, as the voice transmission zone,
The position of the avatar is a third focal point that is the same position as the first focal point, a direction in which the face of the avatar faces in the third focal point is a long axis direction, and the first focal point is along the long axis direction in the third focal point. determine a second ellipse with a fourth focus at a preset second distance shorter than the distance, the length in the minor axis direction being the second minor axis length, as the fixed transfer zone;
The first distance and the second distance are proportional to the volume of the user's voice corresponding to the avatar, and the first short-axis length and the second short-axis length are calculated through the following equations;
Figure 112022019042318-pat00019

In the above formula, Ls is the minor axis length of the ellipse, la is the distance between the focal points of the ellipse, h is the height (m) of the avatar, and flow is transmitted through the voice transmission area except for the fixed transmission area. to determine the area,
set so that the other users corresponding to the second avatars located in the voice transmission zone hear the voice of the avatar at a preset first volume, and among the second avatars located in the fluid transmission zone, the metaverse set so that a second user corresponding to a second avatar whose current location in space is relatively close to the fixed delivery zone hears the voice of the avatar at a second volume lower than the first volume, wherein the second user is located in the floating delivery zone Set such that, among the second avatars, a third user corresponding to a third avatar whose current location in the metaverse space is relatively distant from the fixed delivery area hears the voice of the avatar at a third volume lower than the second volume and,
Based on the current location, movement direction, and movement speed of each of the second avatars, a fourth user corresponding to the fourth avatar determined to enter the fixed delivery area among the second avatars hears the voice of the avatar. Set to listen to the fourth volume, the fourth volume is determined through the following equation,
Figure 112022019042318-pat00020

In the above formula, Sm is the fourth volume, f is the first volume, v is the moving speed of the fourth avatar, and θ is the direction from the fourth avatar toward the avatar and the movement of the fourth avatar. means the angle between the directions,
and a fifth user corresponding to a fifth avatar determined to depart from the voice transmission zone among the second avatars to listen to the avatar's voice at a preset minimum volume. 청구항 1에서,
상기 메타버스 공간 생성부는,
상기 아바타의 경로 및 상기 제2 아바타들의 경로를 추적하고,
추적된 상기 아바타의 경로 및 상기 제2 아바타들의 경로가 일정한 패턴을 형성하는 경우, 형성된 상기 패턴에 따라 상기 메타버스 공간 내에 가상 도로를 생성하는, 메타버스 운영 서버.In claim 1,
The metaverse space generating unit,
tracking the path of the avatar and the path of the second avatars;
When the tracked path of the avatar and the path of the second avatars form a predetermined pattern, the metaverse operation server generates a virtual road in the metaverse space according to the formed pattern. 청구항 2에서,
상기 메타버스 공간 생성부는,
상기 사용자 단말의 GPS(Global Positioning System)을 이용하여 감지된 상기 사용자의 현재 위치에 대응하는 지리적 정보를 획득하고,
획득된 상기 지리적 정보에 기초하여, 외부 렌더링 서버에서 제공하는 상기 사용자의 현재 위치에 대응하는 지형 모델링을 획득하고,
획득된 상기 지형 모델링에 기초하여 상기 메타버스 공간을 생성하는, 메타버스 운영 서버.In claim 2,
The metaverse space generating unit,
Obtaining geographic information corresponding to the current location of the user detected using a Global Positioning System (GPS) of the user terminal,
Based on the obtained geographic information, obtaining a terrain modeling corresponding to the user's current location provided by an external rendering server,
A metaverse operation server that generates the metaverse space based on the obtained terrain modeling. 청구항 3에서,
상기 메타버스 공간 생성부는,
상기 사용자의 현실 공간을 촬영한 다방향 영상 데이터를 통해 상기 사용자의 현실 공간 정보를 획득하고,
제1 시점에서, 제1 방향을 촬영한 제1 영상과 상기 사용자 단말의 제1 위치 데이터를 획득하고,
상기 제1 시점과 상이한 제2 시점에서, 상기 제1 방향과 다른 제2 방향을 촬영한 제2 영상과 상기 사용자 단말의 제2 위치 데이터를 획득하고,
상기 제1 위치 데이터 및 상기 제2 위치 데이터에 기초하여, 상기 제1 시점과 상기 제2 시점 동안의 위치 변화 데이터를 생성하고,
상기 제1 영상 및 상기 제2 영상에 공통적으로 포함된 객체 및 배경을 식별하고, 상기 위치 변화 데이터에 기초하여 식별된 상기 객체 및 상기 배경에 대하여 공간 보정을 수행하고, 상기 공간 보정에 기초하여 기준 공간 데이터를 생성하고,
생성된 상기 기준 공간 데이터에 기초하여 상기 메타버스 공간을 생성하는, 메타버스 운영 서버.In claim 3,
The metaverse space generating unit,
Acquire the user's real space information through the multi-directional image data of the user's real space,
At a first point in time, a first image taken in a first direction and first location data of the user terminal are obtained,
At a second time point different from the first time point, a second image obtained by photographing a second direction different from the first direction and second position data of the user terminal are obtained,
generating position change data for the first time point and the second time point based on the first location data and the second location data;
Identifies an object and a background commonly included in the first image and the second image, performs spatial correction on the identified object and the background based on the position change data, and performs a reference based on the spatial correction create spatial data,
A metaverse operating server that generates the metaverse space based on the generated reference space data. 청구항 4에서,
상기 아바타 제어부는,
다시점 카메라(multi-view camera)를 통해 획득된 사용자의 영상 데이터에 대하여 스테레오 정합을 수행하고,
상기 스테레오 정합을 통해 상기 사용자의 3D 정보를 획득하고,
획득된 상기 사용자의 3D 정보 및 상기 사용자의 움직임에 대한 동작 센싱 정보에 기초하여 상기 사용자의 시간별 인체 골격 구조에 대한 특징점들을 추출하고,
추출된 상기 특징점들을 상기 사용자의 인체 구조에 따라 복수 개의 클러스터들로 그룹화하고,
상기 복수 개의 클러스터들 각각의 움직임 벡터를 산출하고,
산출된 상기 움직임 벡터에 기초하여 상기 아바타를 구성하는 버텍스들(vertices)의 좌표를 변경하고,
변경된 상기 버텍스들의 좌표에 기초하여 상기 사용자의 상기 아바타의 움직임을 제어하는, 메타버스 운영 서버.
In claim 4,
The avatar control unit,
Stereo matching is performed on the user's image data acquired through a multi-view camera,
Obtaining the user's 3D information through the stereo matching,
extracting feature points for the human body skeletal structure of the user by time based on the obtained 3D information of the user and motion sensing information for the user's movement,
grouping the extracted feature points into a plurality of clusters according to the user's human body structure,
calculating a motion vector of each of the plurality of clusters,
changing the coordinates of vertices constituting the avatar based on the calculated motion vector;
A metaverse operating server that controls the movement of the avatar of the user based on the changed coordinates of the vertices.
KR1020210112898A 2021-08-26 2021-08-26 Method and apparatus for providing metaverse service KR102376390B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210112898A KR102376390B1 (en) 2021-08-26 2021-08-26 Method and apparatus for providing metaverse service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210112898A KR102376390B1 (en) 2021-08-26 2021-08-26 Method and apparatus for providing metaverse service

Publications (1)

Publication Number Publication Date
KR102376390B1 true KR102376390B1 (en) 2022-03-21

Family

ID=80937489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210112898A KR102376390B1 (en) 2021-08-26 2021-08-26 Method and apparatus for providing metaverse service

Country Status (1)

Country Link
KR (1) KR102376390B1 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102424123B1 (en) * 2022-05-12 2022-07-21 오성훈 Metaverse control server, method and program based on user's motion gesture and 3D UI
KR102480218B1 (en) * 2022-07-13 2022-12-21 에스케이증권 주식회사 Method and apparatus for providing metaverse environment based on user experience
KR102522075B1 (en) * 2022-06-02 2023-04-14 주식회사 무아공간 Interior experience system using metaverse
KR102531544B1 (en) * 2022-06-02 2023-05-15 이안 주식회사 Method and system for providing content to users by using metaverse
KR102572709B1 (en) * 2022-08-31 2023-08-30 주식회사 어헤드코리아 Online-based artist information provision system
KR102583323B1 (en) * 2023-01-04 2023-09-26 박건웅 BusKing System Using Metabus System
WO2023219240A1 (en) * 2022-05-11 2023-11-16 삼성전자주식회사 Electronic device and method for controlling same
KR20230158888A (en) 2022-05-12 2023-11-21 주식회사 부뜰정보시스템 System and method of connection between the virtual world's metaverse and the real world's contact center
KR20230171489A (en) 2022-06-13 2023-12-21 주식회사 코아소프트 Apparatus that synchronously links participants who participate in the metaverse virtual space and the interlocutors located in the real space
WO2023244076A1 (en) * 2022-06-17 2023-12-21 주식회사 메타캠프 Metaverse service device conducting event by using cue sheet, and operation method of device
KR20230173481A (en) 2022-06-17 2023-12-27 주식회사 메타캠프 Apparatus for Metaverse Service by Using Multi-Channel Structure and Channel Syncronizaton and Driving Method Thereof
KR20240003649A (en) 2022-07-01 2024-01-09 주식회사 메타록 Open protocol METAVERSE establishment system on user base by using 3D circumstance with INTERNET network and operating method thereof
KR102624171B1 (en) * 2023-07-18 2024-01-11 주식회사 티지 Real-time video tracking system using user-selected avatar
KR102638736B1 (en) * 2023-02-17 2024-02-20 주식회사 드림베이스 Method and system for providing a metaverse based experience and learning platform
WO2024039111A1 (en) * 2022-08-18 2024-02-22 삼성전자주식회사 Electronic device for providing user-customized metaverse content, and control method therefor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060129775A (en) * 2005-06-13 2006-12-18 한국과학기술원 Online system of decreasing network-traffic between server and clients, method thereof and computer readable record medium on which program for executing method is recorded
KR20080029407A (en) * 2006-09-29 2008-04-03 엄찬용 Method and system for providing 3d virtual contents using gis
KR20160090198A (en) * 2015-01-21 2016-07-29 한국전자통신연구원 Exhibition guide apparatus, exhibition display apparatus, mobile terminal and method for guiding exhibition
KR101923723B1 (en) * 2012-09-17 2018-11-29 한국전자통신연구원 Metaverse client terminal and method for providing metaverse space for user interaction
JP2019033877A (en) * 2017-08-15 2019-03-07 株式会社テクテック Object control system in position game, program, and method
KR20210084073A (en) * 2019-12-27 2021-07-07 손범준 Method, apparatus and program for providing user interface to arrange virtual objects

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060129775A (en) * 2005-06-13 2006-12-18 한국과학기술원 Online system of decreasing network-traffic between server and clients, method thereof and computer readable record medium on which program for executing method is recorded
KR20080029407A (en) * 2006-09-29 2008-04-03 엄찬용 Method and system for providing 3d virtual contents using gis
KR101923723B1 (en) * 2012-09-17 2018-11-29 한국전자통신연구원 Metaverse client terminal and method for providing metaverse space for user interaction
KR20160090198A (en) * 2015-01-21 2016-07-29 한국전자통신연구원 Exhibition guide apparatus, exhibition display apparatus, mobile terminal and method for guiding exhibition
JP2019033877A (en) * 2017-08-15 2019-03-07 株式会社テクテック Object control system in position game, program, and method
KR20210084073A (en) * 2019-12-27 2021-07-07 손범준 Method, apparatus and program for providing user interface to arrange virtual objects

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023219240A1 (en) * 2022-05-11 2023-11-16 삼성전자주식회사 Electronic device and method for controlling same
KR102424123B1 (en) * 2022-05-12 2022-07-21 오성훈 Metaverse control server, method and program based on user's motion gesture and 3D UI
KR20230158888A (en) 2022-05-12 2023-11-21 주식회사 부뜰정보시스템 System and method of connection between the virtual world's metaverse and the real world's contact center
KR102522075B1 (en) * 2022-06-02 2023-04-14 주식회사 무아공간 Interior experience system using metaverse
KR102531544B1 (en) * 2022-06-02 2023-05-15 이안 주식회사 Method and system for providing content to users by using metaverse
KR20230171489A (en) 2022-06-13 2023-12-21 주식회사 코아소프트 Apparatus that synchronously links participants who participate in the metaverse virtual space and the interlocutors located in the real space
KR20230173622A (en) 2022-06-17 2023-12-27 주식회사 메타캠프 Apparatus for Metaverse Service by Using Multi-Channel Structure and Channel Syncronizaton and Driving Method Thereof
WO2023244076A1 (en) * 2022-06-17 2023-12-21 주식회사 메타캠프 Metaverse service device conducting event by using cue sheet, and operation method of device
KR20230173485A (en) 2022-06-17 2023-12-27 주식회사 메타캠프 Apparatus for Metaverse Service Processing Event by Using Cue Sheet and Driving Method Thereof
KR20230173481A (en) 2022-06-17 2023-12-27 주식회사 메타캠프 Apparatus for Metaverse Service by Using Multi-Channel Structure and Channel Syncronizaton and Driving Method Thereof
KR20230173623A (en) 2022-06-17 2023-12-27 주식회사 메타캠프 Apparatus for Metaverse Service Processing Event by Using Cue Sheet and Driving Method Thereof
KR20240003649A (en) 2022-07-01 2024-01-09 주식회사 메타록 Open protocol METAVERSE establishment system on user base by using 3D circumstance with INTERNET network and operating method thereof
KR102480218B1 (en) * 2022-07-13 2022-12-21 에스케이증권 주식회사 Method and apparatus for providing metaverse environment based on user experience
WO2024039111A1 (en) * 2022-08-18 2024-02-22 삼성전자주식회사 Electronic device for providing user-customized metaverse content, and control method therefor
KR102572709B1 (en) * 2022-08-31 2023-08-30 주식회사 어헤드코리아 Online-based artist information provision system
KR102583323B1 (en) * 2023-01-04 2023-09-26 박건웅 BusKing System Using Metabus System
KR102638736B1 (en) * 2023-02-17 2024-02-20 주식회사 드림베이스 Method and system for providing a metaverse based experience and learning platform
KR102624171B1 (en) * 2023-07-18 2024-01-11 주식회사 티지 Real-time video tracking system using user-selected avatar

Similar Documents

Publication Publication Date Title
KR102376390B1 (en) Method and apparatus for providing metaverse service
US11196964B2 (en) Merged reality live event management system and method
JP6367926B2 (en) Augmented reality (AR) capture and play
US11307968B2 (en) System and method for developing, testing and deploying digital reality applications into the real world via a virtual world
CN110679152B (en) Method and system for generating fused reality scene
US20240005808A1 (en) Individual viewing in a shared space
KR102516124B1 (en) System and method for augmented and virtual reality
Papagiannakis et al. Mixed Reality, Gamified Presence, and Storytelling for Virtual Museums.
JP2022046670A (en) System, method, and medium for displaying interactive augmented reality presentation
Stafford et al. Implementation of god-like interaction techniques for supporting collaboration between outdoor AR and indoor tabletop users
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US20210350604A1 (en) Audiovisual presence transitions in a collaborative reality environment
KR20220093342A (en) Method, device and related products for implementing split mirror effect
US11341727B2 (en) Location-based platform for multiple 3D engines for delivering location-based 3D content to a user
US20100080466A1 (en) Smart Navigation for 3D Maps
JP2023177310A (en) Method and system for providing navigation assistance in 3d (three-dimensional) virtual environments
US11546721B2 (en) Location-based application activation
US11516296B2 (en) Location-based application stream activation
Boukhris et al. 360 versus 3D Environments in VR Headsets for an Exploration Task
Champion et al. Augmenting the present with the past
He Virtual reality for budget smartphones
Champion Mixed histories, augmented pasts
Gobira et al. Expansion of uses and applications of virtual reality
US20240075380A1 (en) Using Location-Based Game to Generate Language Information
KR20230126187A (en) Device and method for providing contents based on augmented reality

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant