KR102549072B1 - Method and apparatus for user interaction based on digital twin - Google Patents

Method and apparatus for user interaction based on digital twin Download PDF

Info

Publication number
KR102549072B1
KR102549072B1 KR1020220027353A KR20220027353A KR102549072B1 KR 102549072 B1 KR102549072 B1 KR 102549072B1 KR 1020220027353 A KR1020220027353 A KR 1020220027353A KR 20220027353 A KR20220027353 A KR 20220027353A KR 102549072 B1 KR102549072 B1 KR 102549072B1
Authority
KR
South Korea
Prior art keywords
user
virtual reality
interaction
user terminal
information
Prior art date
Application number
KR1020220027353A
Other languages
Korean (ko)
Other versions
KR20220125694A (en
Inventor
유철호
Original Assignee
주식회사 맘모식스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맘모식스 filed Critical 주식회사 맘모식스
Publication of KR20220125694A publication Critical patent/KR20220125694A/en
Application granted granted Critical
Publication of KR102549072B1 publication Critical patent/KR102549072B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Abstract

디지털 트윈 기반의 사용자 인터랙션 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 디지털 트윈 기반의 사용자 인터랙션 방법은 컴퓨팅 장치에 의해 수행되고, 현실 공간에 대응되는 디지털 트윈 정보를 저장하는 단계, 상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 단계, 상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 단계, 및 상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 단계를 포함하고, 상기 제1 사용자의 인터랙션은 상기 제1 사용자의 위치 이동을 포함하고, 상기 제2 사용자 단말은 상기 제1 사용자의 인터랙션에 응답하여 상기 제2 사용자 단말의 디스플레이 상에서 상기 제1 사용자에 대응되는 제1 객체를 상기 위치 이동에 대응되는 위치로 이동 표시한다.A digital twin-based user interaction method and device are provided. A digital twin-based user interaction method according to an embodiment of the present invention is performed by a computing device and includes storing digital twin information corresponding to a real space, and providing a virtual reality environment to a first user terminal based on the digital twin information. providing a first user's interaction with the virtual reality environment, and providing the received first user's interaction to a second user terminal, wherein the first user's interaction includes a location movement of the first user, and the second user terminal displays a first object corresponding to the first user on a display of the second user terminal in response to an interaction of the first user. Displays movement to the corresponding position.

Figure 112022023557336-pat00001
Figure 112022023557336-pat00001

Description

디지털 트윈 기반의 사용자 인터랙션 방법 및 장치{METHOD AND APPARATUS FOR USER INTERACTION BASED ON DIGITAL TWIN}Method and apparatus for user interaction based on digital twin {METHOD AND APPARATUS FOR USER INTERACTION BASED ON DIGITAL TWIN}

본 발명은 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치에 관한 것이다. 보다 자세하게는, 디지털 트윈을 기반으로 구성된 가상 공간을 이용하여 사용자 간 인터랙션을 수행하는 방법 및 장치에 관한 것이다.The present invention relates to a digital twin-based user interaction method and apparatus. More specifically, it relates to a method and apparatus for performing interaction between users using a virtual space constructed based on a digital twin.

인간의 경험을 공유하고 확장하는 도구로써 최근 가상 현실(Virtual Reality, VR)과 증강현실(Augmented Reality, AR)이 주목을 받고 있다. Virtual Reality (VR) and Augmented Reality (AR) are attracting attention as tools to share and expand human experiences.

가상 현실은 배경과 객체로 구성된 가상의 이미지로 가상공간을 만들어내지만, 증강 현실은 현실의 이미지에 3차원 가상 이미지를 겹쳐 하나의 영상으로 보여주는 기술이다. Virtual reality creates a virtual space with virtual images composed of backgrounds and objects, but augmented reality is a technology that overlays a 3D virtual image on a real image to show it as a single image.

가상 현실 애플리케이션은 가상현실용 안경, 모션 인식장치 등 별도의 장비를 통해 전달된 사용자의 행위에 따라 가상의 공간에서 상호작용하며 사용자에게 체험환경을 제공한다. 증강 현실 애플리케이션은 현실 세계의 객체와 가상의 객체가 상호작용하여 현실감이 높다.The virtual reality application interacts in a virtual space according to the user's actions delivered through separate equipment such as virtual reality glasses and motion recognition devices, and provides an experience environment to the user. Augmented reality applications are highly realistic because objects in the real world and virtual objects interact with each other.

최근에는 3차원 렌더링(Rendering) 등 컴퓨터 그래픽스(Computer Graphics) 기술과 고속/병렬 처리 기술 등 소프트웨어 및 하드웨어 기술의 발전으로 인해, 가상 현실 및 증강 현실 기술이 이용된 다양한 애플리케이션들이 개발되고 있다. 게임, 산업 등 다양한 업계에서도 가상 현실과 증강 현실 기술들을 이용한 애플리케이션 개발에 관심을 갖고 있다.Recently, various applications using virtual reality and augmented reality technologies have been developed due to the development of computer graphics technologies such as 3D rendering and software and hardware technologies such as high-speed/parallel processing technologies. Various industries such as games and industries are also interested in developing applications using virtual reality and augmented reality technologies.

대한민국 등록특허공보 제10-2163378호 (2020.10.08 공고)Republic of Korea Patent Registration No. 10-2163378 (Announced on October 8, 2020)

본 발명의 몇몇 실시예를 통해 해결하고자 하는 기술적 과제는, 디지털 트윈 기술로 구축된 가상 현실 공간을 기반으로 사용자간 인터랙션을 서로 주고 받을 수 있도록 하는 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치를 제공하는 것이다.A technical problem to be solved through some embodiments of the present invention is to provide a digital twin-based user interaction method and device that allows users to exchange interactions with each other based on a virtual reality space built with digital twin technology. .

본 발명의 몇몇 실시예를 통해 해결하고자 하는 다른 기술적 과제는, 가상 현실 단말 사용자와 증강 현실 단말 사용자 간에도 자연스러운 인터랙션을 주고 받을 수 있는 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치를 제공하는 것이다.Another technical problem to be solved through some embodiments of the present invention is to provide a digital twin-based user interaction method and apparatus capable of exchanging natural interactions between virtual reality terminal users and augmented reality terminal users.

본 발명의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 상대방 사용자의 위치 및 이동을 추적하여 가상 현실 단말 또는 증강 현실 단말 상에 정확히 표현할 수 있는 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치를 제공하는 것이다.Another technical problem to be solved through some embodiments of the present invention is to provide a digital twin-based user interaction method and device that can track the location and movement of the other user and accurately express them on a virtual reality terminal or augmented reality terminal. is to do

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.

상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 컴퓨터 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법은 현실 공간에 대응되는 디지털 트윈 정보를 저장하는 단계, 상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 단계, 상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 단계, 및 상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 단계를 포함하고, 상기 제1 사용자의 인터랙션은 상기 제1 사용자의 위치 이동을 포함하고, 상기 제2 사용자 단말은 상기 제1 사용자의 인터랙션에 응답하여 상기 제2 사용자 단말의 디스플레이 상에서 상기 제1 사용자에 대응되는 제1 객체를 상기 위치 이동에 대응되는 위치로 이동 표시할 수 있다.In order to solve the above technical problem, a digital twin-based user interaction method performed by a computer device according to embodiments of the present invention includes storing digital twin information corresponding to a real space, based on the digital twin information Providing a virtual reality environment to a first user terminal, receiving a first user's interaction with respect to the virtual reality environment, and providing the received first user's interaction to a second user terminal. and the interaction of the first user includes movement of the location of the first user, and the second user terminal corresponds to the first user on the display of the second user terminal in response to the interaction of the first user. The first object may be moved and displayed to a location corresponding to the location movement.

일 실시예로서, 상기 제1 사용자 단말은 상기 가상 현실 환경을 기초로 상기 현실 공간에 대응되는 가상 현실 배경을 표시하고, 상기 가상 현실 배경 상에 제2 사용자를 나타내는 제2 객체를 표시하되, 상기 제2 객체가 표시되는 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 제2 사용자의 위치와 대응될 수 있다.As an embodiment, the first user terminal displays a virtual reality background corresponding to the real space based on the virtual reality environment, and displays a second object representing a second user on the virtual reality background, A location on the virtual reality background where the second object is displayed may correspond to a location of the second user in the real space.

일 실시예로서, 상기 제2 사용자 단말은 상기 제2 사용자 단말의 카메라를 통해 촬영되는 영상을 이용하여 증강 현실 배경을 표시하고, 상기 증강 현실 배경 상에 상기 제1 객체를 표시하되, 상기 제1 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 가상 현실 환경에서의 상기 제1 사용자의 위치와 대응될 수 있다.As an embodiment, the second user terminal displays an augmented reality background using an image captured through a camera of the second user terminal, and displays the first object on the augmented reality background, A location on the augmented reality background where an object is displayed may correspond to a location of the first user in the virtual reality environment.

일 실시예로서, 상기 제1 사용자의 인터랙션은 상기 제1 사용자의 채팅, 대화, 몸짓, 또는 상태표시를 포함할 수 있다.As an example, the interaction of the first user may include chatting, conversation, gesture, or status display of the first user.

일 실시예로서, 상기 제1 사용자의 인터랙션을 수신하는 단계는 상기 제1 사용자의 위치를 나타내는 LBS (Location Based Service) 정보, 또는 GPS (Global Positioning System) 정보를 수신하는 단계, 및 상기 LBS 정보와 상기 GPS 정보 간 오차를 산출하는 단계를 포함할 수 있다.As an embodiment, the receiving of the interaction of the first user may include receiving Location Based Service (LBS) information or Global Positioning System (GPS) information indicating the location of the first user, and the LBS information and Calculating an error between the GPS information may be included.

일 실시예로서, 상기 제2 사용자 단말에 제공하는 단계는 상기 LBS 정보가 수신 가능한 경우, 상기 LBS 정보를 기반으로 상기 제2 사용자 단말에 상기 제1 사용자의 위치 정보를 제공할 수 있다.As an embodiment, the providing to the second user terminal may provide the location information of the first user to the second user terminal based on the LBS information if the LBS information is receivable.

일 실시예로서, 상기 제2 사용자 단말에 제공하는 단계는 상기 LBS 정보가 수신 가능하지 않으면, 상기 GPS 정보를 기반으로 상기 제2 사용자 단말에 상기 제1 사용자의 위치 정보를 제공할 수 있다.As an embodiment, in the providing of the LBS information to the second user terminal, if the LBS information is not receivable, the location information of the first user may be provided to the second user terminal based on the GPS information.

일 실시예로서, 상기 제1 사용자의 위치 정보는 미리 산출된 LBS 정보와 GPS 정보 간 오차를 기반으로 상기 GPS 정보를 보정한 값일 수 있다.As an embodiment, the location information of the first user may be a value obtained by correcting the GPS information based on an error between pre-calculated LBS information and GPS information.

일 실시예로서, 상기 제2 사용자 단말로부터 제2 사용자의 인터랙션을 수신하여 상기 제1 사용자 단말에 제공하는 단계를 더 포함할 수 있다.As an embodiment, the method may further include receiving an interaction of a second user from the second user terminal and providing the received interaction to the first user terminal.

일 실시예로서, 상기 제1 사용자 단말 또는 상기 제2 사용자 단말은 제1 지점에서 제2 지점까지 상기 제2 사용자 단말의 이동 경로를 안내하는 지도를 표시할 수 있다.As an embodiment, the first user terminal or the second user terminal may display a map guiding a movement path of the second user terminal from a first point to a second point.

상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 컴퓨팅 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법은, 서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경을 수신하는 단계, 상기 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경을 표시하는 단계, 상기 가상 현실 배경 상에 사용자를 나타내는 객체를 표시하는 단계, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 가상 현실 배경 상에 표시하는 단계를 포함하고, 상기 가상 현실 배경은 상기 사용자가 위치한 상기 현실 공간을 모사한 것이고, 상기 객체의 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 사용자의 위치와 대응될 수 있다.In order to solve the above technical problem, a digital twin-based user interaction method performed by a computing device according to embodiments of the present invention includes receiving a virtual reality environment based on digital twin information from a server, the virtual reality environment Displaying a virtual reality background corresponding to the real space based on the above, displaying an object representing the user on the virtual reality background, and receiving the user's interaction from the server and displaying it on the virtual reality background. The virtual reality background may simulate the real space where the user is located, and the position of the object on the virtual reality background may correspond to the position of the user on the real space.

일 실시예로서, 상기 사용자를 나타내는 객체를 표시하는 단계는 상기 객체의 상기 가상 현실 배경 상의 위치가 미리 결정된 시야각 범위 이내 이면, 상기 객체를 캐릭터 모델로써 표시할 수 있다.As an embodiment, in the displaying of the object representing the user, if the position of the object on the virtual reality background is within a predetermined viewing angle range, the object may be displayed as a character model.

일 실시예로서, 상기 사용자를 나타내는 객체를 표시하는 단계는 상기 객체의 상기 가상 현실 배경 상의 위치가 미리 결정된 시야각 범위 밖이면, 상기 객체를 명칭 또는 심볼로써 상기 시야각 범위의 가장자리에 표시할 수 있다.As an embodiment, in the displaying of the object representing the user, if the position of the object on the virtual reality background is outside the predetermined viewing angle range, the object may be displayed as a name or symbol at the edge of the viewing angle range.

상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 컴퓨팅 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법은, 카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 단계, 상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 단계, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 단계를 포함하고, 상기 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 현실 공간에 대응되는 가상 현실 공간 상의 상기 사용자의 위치와 대응될 수 있다.In order to solve the above technical problem, a digital twin-based user interaction method performed by a computing device according to embodiments of the present invention displays an augmented reality background on a screen using an image taken in a real space through a camera. and displaying an object representing the user on the augmented reality background, and receiving an interaction of the user from the server and displaying the user interaction on the augmented reality background, wherein the augmented reality object is displayed. A location on the background may correspond to a location of the user on a virtual reality space corresponding to the real space.

일 실시예로서, 상기 사용자를 나타내는 객체를 표시하는 단계는 상기 객체의 상기 증강 현실 배경 상의 위치가 상기 화면 이내 이면, 상기 객체를 캐릭터 모델로써 표시할 수 있다.As an embodiment, in the displaying of the object representing the user, if the location of the object on the augmented reality background is within the screen, the object may be displayed as a character model.

일 실시예로서, 상기 사용자를 나타내는 객체를 표시하는 단계는 자이로 센서를 이용하여 상기 캐릭터 모델의 표시 각도를 조정할 수 있다.As an embodiment, in the displaying of the object representing the user, a display angle of the character model may be adjusted using a gyro sensor.

일 실시예로서, 상기 사용자를 나타내는 객체를 표시하는 단계는 상기 객체의 상기 증강 현실 배경 상의 위치가 상기 화면 밖이면, 상기 객체를 명칭 또는 심볼로써 상기 화면의 가장자리에 표시할 수 있다.As an embodiment, in the displaying of the object representing the user, if the location of the object on the augmented reality background is outside the screen, the object may be displayed as a name or symbol at an edge of the screen.

상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 디지털 트윈 기반의 사용자 인터랙션 장치는 프로세서, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리, 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은 현실 공간에 대응되는 디지털 트윈 정보를 저장하는 동작, 상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 동작, 상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 동작, 및 상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 동작을 수행하기 위한 인스트럭션들을 포함하고, 상기 제1 사용자의 인터랙션은 상기 제1 사용자의 위치 이동을 포함하고, 상기 제2 사용자 단말은 상기 제1 사용자의 인터랙션에 응답하여, 상기 제2 사용자 단말의 디스플레이 상에서 상기 제1 사용자에 대응되는 제1 객체를 상기 위치 이동에 대응되는 위치로 이동 표시할 수 있다.In order to solve the above technical problem, a digital twin-based user interaction device according to embodiments of the present invention includes a processor, a memory for loading a computer program executed by the processor, and a storage for storing the computer program. The computer program includes an operation of storing digital twin information corresponding to a real space, an operation of providing a virtual reality environment to a first user terminal based on the digital twin information, and a first user for the virtual reality environment. and instructions for performing an operation of receiving an interaction of the first user and providing an operation of providing the received interaction of the first user to a second user terminal, wherein the interaction of the first user causes a location movement of the first user. The second user terminal may move and display a first object corresponding to the first user to a position corresponding to the position movement on a display of the second user terminal in response to an interaction of the first user. there is.

상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 디지털 트윈 기반의 사용자 인터랙션 장치는 프로세서, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리, 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은 서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경을 수신하는 동작, 상기 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경을 표시하는 동작, 상기 가상 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 가상 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함하고, 상기 가상 현실 배경은 상기 사용자가 위치한 상기 현실 공간을 모사한 것이고, 상기 객체의 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 사용자의 위치와 대응될 수 있다.In order to solve the above technical problem, a digital twin-based user interaction device according to embodiments of the present invention includes a processor, a memory for loading a computer program executed by the processor, and a storage for storing the computer program. The computer program includes an operation of receiving a virtual reality environment based on digital twin information from a server, an operation of displaying a virtual reality background corresponding to a real space based on the virtual reality environment, and a user on the virtual reality background. and instructions for performing an operation of displaying an object representing a , and an operation of receiving an interaction of the user from the server and displaying the received interaction on the virtual reality background, wherein the virtual reality background represents the real space where the user is located. The location of the object on the virtual reality background may correspond to the location of the user on the real space.

상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 디지털 트윈 기반의 사용자 인터랙션 장치는 프로세서, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리, 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은 카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 동작, 상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함하고, 상기 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 현실 공간에 대응되는 가상 현실 공간 상의 상기 사용자의 위치와 대응될 수 있다.In order to solve the above technical problem, a digital twin-based user interaction device according to embodiments of the present invention includes a processor, a memory for loading a computer program executed by the processor, and a storage for storing the computer program. Including, but the computer program displays an augmented reality background on a screen using an image taken of a real space through a camera, displays an object representing a user on the augmented reality background, and the server A location on the augmented reality background where the object is displayed is a location of the user on a virtual reality space corresponding to the real space. can correspond with

상기한 본 발명의 실시예들에 따르면, 디지털 트윈 기술로 구축된 가상 현실 공간을 기반으로 사용자간 인터랙션을 서로 주고 받을 수 있다.According to the embodiments of the present invention described above, interactions between users can be exchanged based on a virtual reality space built with digital twin technology.

또한, 가상 현실 단말 사용자와 증강 현실 단말 사용자 간에 자연스러운 인터랙션을 주고 받을 수 있으며, 상대방 사용자의 위치 및 이동을 추적하여 가상 현실 단말 또는 증강 현실 단말 상에 정확히 표현할 수 있다.In addition, natural interactions can be exchanged between the virtual reality terminal user and the augmented reality terminal user, and the position and movement of the other user can be tracked and accurately expressed on the virtual reality terminal or augmented reality terminal.

도 1은 본 발명의 일 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법이 수행되는 전체 시스템을 나타내는 도면이다.
도 2는 디지털 트윈의 개념을 설명하기 위한 도면이다.
도 3은 도 1의 제1 사용자 단말의 예시적인 형태를 나타내는 도면이다.
도 4는 도 1의 제2 사용자 단말의 예시적인 형태를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른, 가상 현실 환경의 대입비율을 조정하는 방법을 설명하는 도면이다.
도 7은 도 5의 S130 단계를 더욱 구체화한 순서도이다.
도 8은 도 7의 S132 단계를 부연설명하기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다.
도 10은 도 9의 실시예에서 제1 사용자 단말 상에 객체가 표시되는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다.
도 12 및 도 13은 도 11의 실시예에서 제2 사용자 단말 상에 객체가 표시되는 방법을 설명하기 위한 도면이다.
도 14는 제2 사용자 단말 상에 지도가 함께 표시되는 실시예를 나타내는 도면이다.
도 15는 본 발명의 다양한 실시예들이 구현되는 컴퓨팅 장치의 예시적인 하드웨어 구성을 나타내는 블록도이다.1 is a diagram illustrating an entire system in which a digital twin-based user interaction method is performed according to an embodiment of the present invention.
2 is a diagram for explaining the concept of a digital twin.
FIG. 3 is a diagram illustrating an exemplary form of a first user terminal of FIG. 1 .
FIG. 4 is a diagram illustrating an exemplary form of a second user terminal of FIG. 1 .
5 is a flowchart illustrating a digital twin-based user interaction method according to an embodiment of the present invention.
6 is a diagram illustrating a method of adjusting a substitution ratio in a virtual reality environment according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating step S130 of FIG. 5 in more detail.
FIG. 8 is a diagram for amplifying step S132 of FIG. 7 .
9 is a flowchart illustrating a digital twin-based user interaction method according to another embodiment of the present invention.
FIG. 10 is a diagram for explaining a method of displaying an object on a first user terminal in the embodiment of FIG. 9 .
11 is a flowchart illustrating a digital twin-based user interaction method according to another embodiment of the present invention.
12 and 13 are diagrams for explaining a method of displaying an object on a second user terminal in the embodiment of FIG. 11 .
14 is a diagram illustrating an embodiment in which a map is also displayed on a second user terminal.
15 is a block diagram illustrating an exemplary hardware configuration of a computing device in which various embodiments of the invention may be implemented.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the technical idea of the present invention is not limited to the following embodiments and can be implemented in various different forms, only the following embodiments complete the technical idea of the present invention, and in the technical field to which the present invention belongs It is provided to fully inform those skilled in the art of the scope of the present invention, and the technical spirit of the present invention is only defined by the scope of the claims.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.In adding reference numerals to components of each drawing, it should be noted that the same components have the same numerals as much as possible even if they are displayed on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description will be omitted.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used in a meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined. Terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the corresponding component is not limited by the term. When an element is described as being “connected,” “coupled to,” or “connected” to another element, that element is directly connected or connectable to the other element, but there is another element between the elements. It will be understood that elements may be “connected”, “coupled” or “connected”.

이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법이 수행되는 전체 시스템을 나타내는 도면이다. 도 1을 참조하면, 서버(100), 제1 사용자 단말(200), 및 제2 사용자 단말(300)은 네트워크(10)를 통해 상호 연결될 수 있다. 본 실시예에서, 제1 사용자 단말(200)은 가상 현실 단말이고, 제2 사용자 단말(300)은 증강 현실 단말인 것으로 가정된다.1 is a diagram illustrating an entire system in which a digital twin-based user interaction method is performed according to an embodiment of the present invention. Referring to FIG. 1 , a server 100 , a first user terminal 200 , and a second user terminal 300 may be interconnected through a network 10 . In this embodiment, it is assumed that the first user terminal 200 is a virtual reality terminal and the second user terminal 300 is an augmented reality terminal.

제1 사용자 단말(200), 또는 제2 사용자 단말(300)은 휴대용 단말기 또는 휴대용 컴퓨터로 구현될 수 있다. 여기서, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 휴대용 컴퓨터는 노트북, 랩톱(laptop) 등을 포함할 수 있다. The first user terminal 200 or the second user terminal 300 may be implemented as a portable terminal or a portable computer. Here, the portable terminal is a wireless communication device that guarantees portability and mobility, and includes Personal Communication System (PCS), Global System for Mobile communications (GSM), Personal Digital Cellular (PDC), Personal Handyphone System (PHS), and Personal Digital Communication (PDA). Assistant), International Mobile Telecommunication (IMT)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) terminals, etc. )-based wireless communication device. Portable computers may include notebooks, laptops, and the like.

또한, 제1 사용자 단말(200), 또는 제2 사용자 단말(300)은 스마트폰, 스마트 노트, 태블릿 PC, 웨어러블(wearable) 컴퓨터 등의 각종 스마트 기기일 수도 있다.In addition, the first user terminal 200 or the second user terminal 300 may be various smart devices such as a smart phone, a smart note, a tablet PC, and a wearable computer.

네트워크(10)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network, WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크로 구현될 수 있다. 또는, 네트워크(10)는 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. 필요에 따라서, 네트워크(10)는 유선 및 무선이 혼용된 네트워크로 구성될 수 있다.The network 10 may be implemented as a wired network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN). Alternatively, the network 10 may be any type such as a mobile radio communication network, a satellite communication network, Bluetooth, Wibro (Wireless Broadband Internet), HSDPA (High Speed Downlink Packet Access), LTE (Long Term Evolution), and the like. can be implemented as a wireless network of If necessary, the network 10 may be configured as a mixed wired and wireless network.

서버(100)는 현실 공간에 대응되는 디지털 트윈 정보를 저장하고, 상기 디지털 트윈 정보를 기초하여 제1 사용자 단말(200)에 가상 현실 환경을 제공한다.The server 100 stores digital twin information corresponding to real space and provides a virtual reality environment to the first user terminal 200 based on the digital twin information.

디지털 트윈은 현실 공간을 모사(模寫)한 가상 현실 환경을 지칭하는 것으로, 현실 공간의 배경 및 구성물들을 가상 현실 상에 구현해 놓은 것을 의미한다. 예를 들어, 도 2에 도시된 것과 같이, 현실 공간(20)의 건물, 나무, 구조물 등을 실물과 유사하게 모사하여 가상 현실 공간(30) 상에 구현한 것이 디지털 트윈이다. 디지털 트윈 정보는 디지털 트윈을 구현하기 위해 이용되는 정보를 일반적으로 지칭하는 것으로 정의된다.The digital twin refers to a virtual reality environment that simulates a real space, and means that the background and components of the real space are implemented in virtual reality. For example, as shown in FIG. 2 , a digital twin is implemented on a virtual reality space 30 by replicating a building, tree, structure, etc. of the real space 20 similarly to the real thing. Digital twin information is defined to generally refer to the information used to implement the digital twin.

가상 현실 환경은 가상 현실 구현에 이용되는 디지털 요소를 통칭하는 의미로, 가상 현실 배경, 가상 객체, 및 그 밖의 사용자 경험(user experience, UX)을 포함한다.The virtual reality environment collectively refers to digital elements used to implement virtual reality, and includes virtual reality backgrounds, virtual objects, and other user experiences (UX).

서버(100)는 제1 사용자 단말(200)과 제2 사용자 단말(300) 사이에서 사용자 인터랙션을 전달한다. The server 100 transfers user interactions between the first user terminal 200 and the second user terminal 300 .

가령, 서버(100)는 제1 사용자 단말(200)로부터 제1 사용자의 위치 정보를 수신하고, 그에 대응되는 현실 공간 상 위치를 산출하여 제2 사용자 단말(300)에 제공한다. 제2 사용자 단말(300)은 서버가 제공하는 위치를 참조하여 증강 현실 배경 상에 제1 사용자를 나타내는 제1 객체를 표시하게 된다. For example, the server 100 receives location information of the first user from the first user terminal 200, calculates a location corresponding thereto in real space, and provides it to the second user terminal 300. The second user terminal 300 displays a first object representing the first user on the augmented reality background with reference to the location provided by the server.

그리고, 서버(100)는 제1 사용자 단말(200)로부터 제1 사용자의 인터랙션을 수신하고, 이를 제2 사용자 단말(300)에 제공한다. 제2 사용자 단말(300)은 제공된 제1 사용자의 인터랙션을 자신의 화면을 통해 제2 사용자에게 표시한다. 이때, 제1 사용자의 인터랙션은 제1 사용자의 위치 이동, 대화, 채팅, 또는 몸짓 등을 포함할 수 있다.And, the server 100 receives the interaction of the first user from the first user terminal 200 and provides it to the second user terminal 300 . The second user terminal 300 displays the provided interaction of the first user to the second user through its own screen. In this case, the interaction of the first user may include movement of the first user's location, conversation, chatting, or gestures.

또는, 서버(100)는 제2 사용자 단말(300)로부터 제2 사용자의 위치 정보를 수신하고, 그에 대응되는 가상 현실 공간 상 위치를 산출하여 제1 사용자 단말(200)에 제공한다. 제1 사용자 단말(200)은 서버가 제공하는 위치를 참조하여 가상 현실 배경 상에 제2 사용자를 나타내는 제2 객체를 표시하게 된다. Alternatively, the server 100 receives location information of the second user from the second user terminal 300 , calculates a location corresponding thereto in the virtual reality space, and provides the calculated location to the first user terminal 200 . The first user terminal 200 displays a second object representing the second user on the virtual reality background with reference to the location provided by the server.

그리고, 서버(100)는 제2 사용자 단말(300)로부터 제2 사용자의 인터랙션을 수신하고, 이를 제1 사용자 단말(200)에 제공한다. 제1 사용자 단말(200)은 제공된 제2 사용자의 인터랙션을 자신이 제공하는 가상 현실 환경을 통해 제1 사용자에게 표시한다. 이때, 제2 사용자의 인터랙션은 제2 사용자의 위치 이동, 대화, 채팅, 또는 몸짓 등을 포함할 수 있다.And, the server 100 receives the interaction of the second user from the second user terminal 300 and provides it to the first user terminal 200 . The first user terminal 200 displays the provided interaction of the second user to the first user through a virtual reality environment provided by the first user terminal 200 . In this case, the second user's interaction may include location movement, conversation, chatting, or gestures of the second user.

도 3은 도 1의 제1 사용자 단말의 예시적인 형태를 나타내는 도면이다. FIG. 3 is a diagram illustrating an exemplary form of a first user terminal of FIG. 1 .

도 3의 실시예에서, 제1 사용자 단말(200)은 HMD(Head Mounted Display)인 것으로 예시된다. 사용자가 제1 사용자 단말(200)을 머리에 착용하면, 제1 사용자 단말(200)은 서버가 제공하는 정보를 기초로 사용자에게 가상 현실 환경(40)을 표시한다. In the embodiment of FIG. 3 , the first user terminal 200 is illustrated as a Head Mounted Display (HMD). When the user wears the first user terminal 200 on the head, the first user terminal 200 displays the virtual reality environment 40 to the user based on the information provided by the server.

한편, 본 실시예에서는 제1 사용자 단말(200)이 HMD인 것을 예시하였지만, 본 발명의 범위는 이에 한정되지 않는다. 예를 들어, 제1 사용자 단말(200)은 HMD 외에도 가상 현실 안경, 홀로그램 디스플레이, 또는 인간의 뇌파에 직접 작용하는 가상 현실 체험 장치 등이 될 수도 있다.Meanwhile, in this embodiment, the first user terminal 200 is an HMD, but the scope of the present invention is not limited thereto. For example, in addition to the HMD, the first user terminal 200 may be virtual reality glasses, a hologram display, or a virtual reality experience device directly acting on human brain waves.

도 4는 도 1의 제2 사용자 단말의 예시적인 형태를 나타내는 도면이다.FIG. 4 is a diagram illustrating an exemplary form of a second user terminal of FIG. 1 .

도 4의 실시예에서, 제2 사용자 단말(300)은 스마트폰(Smart Phone)인 것으로 예시된다. 제2 사용자 단말(300)은 내장된 카메라(미도시)를 통해 현실 공간(51)을 촬영하고, 촬영된 영상을 자신의 화면에 배경으로 표시한다. 그리고, 화면의 현실 공간 영상 위에 가상 객체를 덧씌워 표시함으로써 사용자에게 증강 현실 환경을 제공한다.In the embodiment of FIG. 4 , the second user terminal 300 is illustrated as a smart phone. The second user terminal 300 photographs the real space 51 through a built-in camera (not shown), and displays the photographed image as a background on its screen. In addition, an augmented reality environment is provided to the user by displaying the virtual object overlaid on the real space image on the screen.

한편, 본 실시예에서는 제2 사용자 단말(300)이 스마트폰인 것을 예시하였지만, 본 발명의 범위는 이에 한정되지 않는다. 예를 들어, 제2 사용자 단말(300)은 스마트폰 외에도 HMD, 증강 현실 안경, 또는 그 밖의 표시 수단을 구비한 휴대용 단말 등이 될 수도 있다.Meanwhile, in this embodiment, the second user terminal 300 is a smart phone, but the scope of the present invention is not limited thereto. For example, the second user terminal 300 may be a portable terminal equipped with an HMD, augmented reality glasses, or other display means in addition to a smart phone.

도 5는 본 발명의 일 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다. 도 5의 사용자 인터랙션 방법은 도 1 의 서버(100)에 의해 수행된다. 따라서, 이하의 단계들에서 수행 주체가 명시되지 않은 경우, 그 수행 주체는 상기 서버(100)인 것으로 전제된다.5 is a flowchart illustrating a digital twin-based user interaction method according to an embodiment of the present invention. The user interaction method of FIG. 5 is performed by the server 100 of FIG. 1 . Therefore, in the following steps, if the performing subject is not specified, it is assumed that the performing subject is the server 100 .

S110 단계에서, 현실 공간에 대응되는 디지털 트윈 정보가 저장된다.In step S110, digital twin information corresponding to the real space is stored.

S120 단계에서, 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경이 제공된다. In step S120, a virtual reality environment is provided to the first user terminal based on the digital twin information.

제1 사용자 단말은 제공된 가상 현실 환경에 기초하여, 제1 사용자에게 가상 현실 배경을 표시하고 그 위에 다수의 가상 객체를 표시할 수 있다. Based on the provided virtual reality environment, the first user terminal may display a virtual reality background to the first user and display a plurality of virtual objects thereon.

일 실시예로서, 상기 가상 객체는 현실 공간에 존재하는 현실 객체를 나타내는 객체일 수 있다. 예를 들어, 특정 현실 공간에 제2 사용자가 위치하고 있는 경우, 제1 사용자 단말은 해당 현실 공간을 모사한 이미지를 가상 현실 배경으로서 표시하고, 표시된 가상 현실 배경 위에 제2 사용자를 나타내는 가상 객체를 표시할 수 있다. As an example, the virtual object may be an object representing a real object existing in a real space. For example, when a second user is located in a specific real space, the first user terminal displays an image simulating the corresponding real space as a virtual reality background and displays a virtual object representing the second user on the displayed virtual reality background. can do.

이 경우, 가상 현실 배경 상의 가상 객체의 위치는 현실 객체의 현실 공간 상 위치에 기초하여 결정될 수 있다. 본 실시예에서, 가상 현실 배경은 현실 공간을 모사한 것이므로, 가상 현실 배경 내의 각 위치는 현실 공간 상의 특정 위치와 각각 대응될 수 있다. 이 경우, 현실 객체가 현실 공간 상의 제1 위치에 있으면, 현실 객체를 나타내는 가상 객체는 상기 제1 위치에 대응하는 가상 현실 배경 상 위치인 제2 위치에 표시되게 된다. In this case, the position of the virtual object on the virtual reality background may be determined based on the position of the real object in the real space. In this embodiment, since the virtual reality background simulates the real space, each location within the virtual reality background may correspond to a specific location on the real space. In this case, if the real object is located at the first position on the real space, the virtual object representing the real object is displayed at the second position corresponding to the first position on the virtual reality background.

일 실시예로서, 상기 현실 객체는 증강 현실 단말, 예를 들어 도 1의 제2 사용자 단말(300)을 이용하는 제2 사용자일 수 있고, 상기 가상 객체는 제2 사용자를 나타내는 3D 캐릭터 또는 대표 이미지일 수 있다. As an embodiment, the real object may be a second user using an augmented reality terminal, for example, the second user terminal 300 of FIG. 1 , and the virtual object may be a 3D character or a representative image representing the second user. can

S130 단계에서, 제1 사용자 단말로부터 가상 현실 환경에 대한 제1 사용자의 인터랙션이 수신된다. In step S130, a first user's interaction with the virtual reality environment is received from the first user terminal.

제1 사용자의 인터랙션은, 제1 사용자 단말이 제공하는 가상 현실 환경에 반응하여 발생된 제1 사용자의 행동, 몸짓, 표현, 또는 그 밖의 작용을 의미하는 것으로, 제1 사용자의 인터랙션은 제1 사용자 단말을 통해 서버로 수신된다.Interactions of the first user refer to actions, gestures, expressions, or other actions of the first user generated in response to a virtual reality environment provided by the first user terminal. It is received by the server through the terminal.

일 실시예로서, 제1 사용자의 인터랙션은 제1 사용자의 위치 이동을 포함할 수 있다. 예를 들어, 제1 사용자가 자신이 위치한 현실 공간 상에서 또는 가상 현실 환경 상에서 위치를 이동하면, 제1 사용자의 위치 이동을 나타내는 정보, 예를 들어 제1 사용자의 변화된 위치 좌표가 제1 사용자의 인터랙션으로서 서버로 수신된다. As an example, the interaction of the first user may include moving the location of the first user. For example, when the first user moves a location in a real space or a virtual reality environment in which the first user is located, information representing the location movement of the first user, for example, the changed location coordinates of the first user, is used as the first user's interaction. is received by the server as

S140 단계에서, 수신된 제1 사용자의 인터랙션이 제2 사용자 단말에 제공된다. 제2 사용자 단말은 제공된 제1 사용자의 인터랙션에 응답하여, 이를 제2 사용자에게 표시한다.In step S140, the received interaction of the first user is provided to the second user terminal. The second user terminal responds to the provided interaction of the first user and displays it to the second user.

이에 대해, 제2 사용자 단말이 증강 현실 단말인 경우를 예로 들어 부연 설명한다.In this regard, a case in which the second user terminal is an augmented reality terminal will be further described as an example.

먼저, 제2 사용자 단말은 카메라를 통해 현실 공간을 촬영하고, 그 촬영된 영상을 이용하여 화면상에 증강 현실 배경을 표시한다. 그리고, 제2 사용자 단말은 화면에 표시된 증강 현실 배경 상에 제1 사용자에 대응하는 증강 현실 객체를 표시한다. 이때, 상기 증강 현실 객체가 표시되는 증강 현실 배경 상의 위치는 가상 현실 환경에서의 제1 사용자의 위치에 대응될 수 있다. First, the second user terminal photographs a real space through a camera, and displays an augmented reality background on a screen using the photographed image. And, the second user terminal displays an augmented reality object corresponding to the first user on the augmented reality background displayed on the screen. In this case, a location on an augmented reality background where the augmented reality object is displayed may correspond to a location of the first user in a virtual reality environment.

예를 들어, 가상 현실 환경에서 제1 사용자가 A 편의점 앞에 서있으면, 제2 사용자 단말의 증강 현실 배경 상에서도 상기 증강 현실 객체는 A 편의점 앞에 표시된다. For example, if a first user is standing in front of a convenience store A in a virtual reality environment, the augmented reality object is displayed in front of the convenience store A on the augmented reality background of the second user terminal.

다음으로, 제2 사용자 단말이 제1 사용자 인터랙션을 수신하면, 이에 응답하여 현재의 증강 현실 화면을 통해 제1 사용자 인터랙션이 표시된다. 가령, 제1 사용자의 인터랙션이 제1 사용자의 위치 이동인 경우, 제2 사용자 단말은 제1 사용자의 인터랙션에 응답하여 제2 사용자 단말의 화면 상에 표시된 제1 사용자의 증강 현실 객체를 상기 위치 이동에 대응되는 위치로 이동 표시한다. Next, when the second user terminal receives the first user interaction, the first user interaction is displayed through the current augmented reality screen in response thereto. For example, when the interaction of the first user is the movement of the location of the first user, the second user terminal moves the augmented reality object of the first user displayed on the screen of the second user terminal in response to the interaction of the first user. Move to the position corresponding to .

예를 들어, 가상 현실 환경에서 A 편의점 앞에 있던 제1 사용자가 그 옆의 골목으로 이동하면, 제2 사용자 단말은 그에 응답하여 상기 증강 현실 객체의 증강 현실 배경 상 위치를 A 편의점 앞에서 그 옆의 골목으로 이동시켜 표시한다. For example, if a first user in front of convenience store A moves to an alley next to the convenience store A in a virtual reality environment, the second user terminal responsively sets the location of the augmented reality object on the augmented reality background to the alley next to the convenience store A. display by moving to

한편, 여기서는 제1 사용자의 인터랙션이 제1 사용자의 위치 이동인 것을 예로 들어 설명하였으나, 본 발명의 범위는 이에 한정되지 않는다. 예를 들어, 제1 사용자의 인터랙션은 위치 이동 외에도 제1 사용자의 채팅, 대화, 몸짓, 또는 상태표시 등을 포함할 수 있다.Meanwhile, although the first user's interaction is location movement of the first user as an example, the scope of the present invention is not limited thereto. For example, the interaction of the first user may include chatting, conversation, gestures, or status display of the first user in addition to location movement.

S150 단계에서, 제2 사용자 단말로부터 제2 사용자의 인터랙션을 수신하고, 수신된 제2 사용자의 인터랙션을 제1 사용자 단말에 제공한다.In step S150, a second user's interaction is received from the second user terminal, and the received second user's interaction is provided to the first user terminal.

제2 사용자가 제1 사용자 인터랙션을 확인하면, 그에 응답하여 제1 사용자를 향해 제2 사용자의 인터랙션을 발생시킬 수도 있다. S150 단계는 이와 관계된 단계로서, 서버는 제2 사용자 단말로부터 제2 사용자 인터랙션을 수신하고, 이를 제1 사용자 단말에 제공한다. When the second user confirms the first user interaction, the second user may generate an interaction toward the first user in response thereto. Step S150 is a step related to this, and the server receives the second user interaction from the second user terminal and provides it to the first user terminal.

제1 사용자 인터랙션의 경우와 유사하게, 제2 사용자 인터랙션은 제2 사용자 단말이 제공하는 증강 현실 환경에 반응하여 발생된 제2 사용자의 행동, 몸짓, 표현, 또는 그 밖의 작용을 의미하는 것으로, 제2 사용자 인터랙션이 제1 사용자 단말에 수신되면 제1 사용자 단말은 이를 자신이 표시하는 가상 현실 환경 상에 표시하게 된다.Similar to the first user interaction, the second user interaction refers to a second user's action, gesture, expression, or other action generated in response to an augmented reality environment provided by the second user terminal. When the second user interaction is received by the first user terminal, the first user terminal displays it on the virtual reality environment displayed by itself.

도 6은 본 발명의 일 실시예에 따른, 가상 현실 환경의 대입비율을 조정하는 방법을 설명하는 도면이다. 도 6은 서버 또는 제1 사용자 단말이 가상 현실 환경을 구축, 구현할 때, 가상 객체 대입비율을 결정하는 방법을 예시적으로 나타낸다. 여기서, 대입비율은 현실 공간의 현실 객체를 가상 현실 환경의 가상 객체로 표현할 때, 현실 객체의 현실 공간 상 위치, 크기에 대한 가상 객체의 가상 현실 환경 상 위치, 크기의 비율로 정의될 수 있다.6 is a diagram illustrating a method of adjusting a substitution ratio in a virtual reality environment according to an embodiment of the present invention. 6 illustratively illustrates a method of determining a virtual object substitution ratio when a server or a first user terminal builds and implements a virtual reality environment. Here, the substitution ratio may be defined as a ratio of the position and size of the virtual object in the virtual reality environment to the position and size of the real object in the real space when the real object in the real space is expressed as a virtual object in the virtual reality environment.

먼저, 특정 가상 현실 배경(60)이 설정되면, 가상 현실 배경(60) 내에서 복수 개의 임의의 지점이 특정된다. 여기서는, A 및 B의 2개 지점이 특정되고, 각 지점의 가상 현실 배경(60) 상 좌표는 A(100, 100), B(200, 200)인 것으로 가정한다.First, when a specific virtual reality background 60 is set, a plurality of random points within the virtual reality background 60 are specified. Here, it is assumed that two points A and B are specified, and the coordinates of each point on the virtual reality background 60 are A(100, 100) and B(200, 200).

그리고, 특정된 지점에 대응되는 현실 공간의 좌표가 확인된다. 예를 들어, 현실 공간의 좌표는 위도와 경도로서, 지점 A의 현실 공간 좌표는 위도 50도, 경도 50도이고, 지점 B의 현실 공간 좌표는 위도 60도, 경도 60도라고 가정한다. Then, the coordinates of the real space corresponding to the specified point are confirmed. For example, it is assumed that the real space coordinates are latitude and longitude, that the real space coordinates of point A are latitude 50 degrees and longitude 50 degrees, and the real space coordinates of point B are latitude 60 degrees and longitude 60 degrees.

이후, 가상 현실 배경(60) 상에 다른 가상 객체를 대입할 때, 지점 A 및 지점 B의 가상 현실 배경(60) 상 좌표와 그에 대응되는 현실 공간 상 좌표에 기초하여, 가상 객체의 대입비율이 결정된다. Thereafter, when substituting another virtual object on the virtual reality background 60, the substitution ratio of the virtual object is determined based on the coordinates of points A and B on the virtual reality background 60 and their corresponding coordinates in real space. It is decided.

예를 들어, 현실 객체인 나무가 위도 55도, 경도 55도에 위치한 경우, 현실 공간 상에서 나무는 지점 A의 현실 공간 좌표와 지점 B의 현실 공간 좌표의 중간에 위치한다. 이 경우, 나무를 나타내는 가상 객체(61)의 대입비율을 지점 A 및 지점 B의 대입비율과 동일하게 결정한다고 하면, 가상 현실 배경(60) 상에서 가상 객체(61)는 지점 A와 지점 B의 중간 위치인 곳(150, 160)에 위치하게 된다.For example, if a tree, which is a real object, is located at latitude 55 degrees and longitude 55 degrees, the tree is located midway between the real space coordinates of point A and the real space coordinates of point B in real space. In this case, if the substitution ratio of the virtual object 61 representing the tree is determined to be the same as the substitution ratio of points A and B, the virtual object 61 on the virtual reality background 60 is halfway between points A and B. It is located at the location (150, 160).

한편, 가상 객체(61)의 크기 또한 지점 A 및 지점 B의 대입비율에 기초하여 결정될 수 있다. 지점 A와 지점 B 사이의 가상 현실 배경(60) 상 거리와 현실 공간 상 거리의 비를 산출하면, 가상 현실 배경(60)과 현실 공간의 축적이 산출 가능하므로, 산출된 축적 비율만큼 나무의 크기를 축소한 값을 가상 객체(61)의 크기로 할 수 있다. Meanwhile, the size of the virtual object 61 may also be determined based on the substitution ratio of points A and B. If the ratio of the distance on the virtual reality background 60 and the distance on the real space between points A and B is calculated, since the accumulation of the virtual reality background 60 and the real space can be calculated, the size of the tree is as large as the calculated accumulation ratio. The reduced value of may be the size of the virtual object 61.

도 7은 도 5의 S130 단계를 더욱 구체화한 순서도이다. 본 실시예에서는, 서버가 제1 사용자 단말의 위치를 수신하는 구체적인 방법이 설명된다. 본 실시예에서는, 제1 사용자 단말의 위치를 수신하는 방법을 위주로 설명하고 있지만, 제2 사용자 단말의 경우에도 동일한 방식이 위치 수신 방법이 적용될 수 있다.FIG. 7 is a flowchart illustrating step S130 of FIG. 5 in more detail. In this embodiment, a specific method for the server to receive the location of the first user terminal is described. In this embodiment, the method for receiving the location of the first user terminal is mainly described, but the same method may be applied to the location receiving method for the second user terminal.

S131 단계에서, 제1 사용자의 위치를 나타내는 LBS (Location Based Service) 정보, 및/또는 GPS (Global Positioning System) 정보가 수신된다.In step S131, Location Based Service (LBS) information and/or Global Positioning System (GPS) information indicating the location of the first user is received.

LBS 정보는 제1 사용자 단말의 위치를 통신사 기지국을 통해 측정한 정보로서, LBS의 구체적인 구성 및 동작은 당해 기술분야에 널리 알려져 있는바 그에 대한 구체적인 설명은 생략된다.LBS information is information obtained by measuring the location of the first user terminal through a communication company base station, and detailed configuration and operation of the LBS are well known in the art, and detailed description thereof will be omitted.

GPS 정보는 제1 사용자 단말의 위치를 인공위성 시스템을 통해 측정한 정보로서, GPS의 구체적인 구성 및 동작은 당해 기술분야에 널리 알려져 있는바 그에 대한 구체적인 설명은 생략된다.The GPS information is information obtained by measuring the position of the first user terminal through a satellite system, and detailed configuration and operation of the GPS are well known in the art, and detailed description thereof will be omitted.

일반적으로, GPS 정보에 비해 LBS 정보의 정확도가 더 높다. 반면, 수신 안정성 측면에서는 GPS 정보가 LBS 정보보다 더 안정적이다. LBS 정보의 경우, 지형지물의 영향을 더 많이 받고 통신 상황에 따라 제1 사용자 단말과 기지국 간 연결이 중단되는 경우가 발생할 수 있기 때문이다.Generally, the accuracy of LBS information is higher than that of GPS information. On the other hand, in terms of reception stability, GPS information is more stable than LBS information. This is because, in the case of LBS information, it is more influenced by geographic features and the connection between the first user terminal and the base station may be interrupted depending on the communication situation.

LBS 정보 또는 GPS 정보는 어느 하나가 택일적으로 수신될 수 있지만, 본 실시예에서는 LBS 정보 및 GPS 정보를 모두 수신하는 경우를 가정한다. Either LBS information or GPS information may be received alternatively, but in this embodiment, it is assumed that both LBS information and GPS information are received.

S132 단계에서, LBS 정보와 GPS 정보 간 오차가 산출된다. 이에 대해, 도 8을 참조하여 부연 설명한다. In step S132, an error between LBS information and GPS information is calculated. This will be further described with reference to FIG. 8 .

도 8은 LBS 정보와 GPS 정보 간 오차를 산출하는 구체적인 방법을 예시한 도면이다. 도 8의 왼쪽 표(70)와 같이 제1 사용자 단말의 위치를 나타내는 LBS 정보와 GPS 정보가 계속적으로 수신된다고 가정한다. 이 경우, 서버는 각 시점마다 LBS 정보와 GPS 정보 간 오차를 산출한다. 그리고, 그 동안 산출된 오차의 평균 값, 즉 평균 오차를 산출한다. 8 is a diagram illustrating a specific method of calculating an error between LBS information and GPS information. As shown in the table 70 on the left of FIG. 8, it is assumed that LBS information and GPS information indicating the location of the first user terminal are continuously received. In this case, the server calculates an error between LBS information and GPS information at each point in time. Then, an average value of the errors calculated so far, that is, an average error is calculated.

평균 오차는 GPS 정보를 기초로 제1 사용자 단말의 위치를 결정할 때, GPS 정보를 보정하는 용도로 사용될 수 있다. 이에 대해, 구체적으로 설명한다. The average error may be used for correcting GPS information when determining the location of the first user terminal based on the GPS information. About this, it demonstrates concretely.

서버는 LBS 정보 및/또는 GPS 정보에 기초하여 제1 사용자 단말의 위치 정보를 제2 사용자 단말에 제공한다. 가령, 앞서 S140 단계와 같이, 제1 사용자의 인터랙션을 제2 사용자 단말에 제공할 때, 제1 사용자 단말의 위치 정보가 함께 제공될 수 있다. The server provides location information of the first user terminal to the second user terminal based on the LBS information and/or GPS information. For example, as in step S140 above, when the interaction of the first user is provided to the second user terminal, location information of the first user terminal may also be provided.

이때, 서버는 LBS 정보가 수신 가능한 경우, 우선적으로 LBS 정보를 기반으로 제2 사용자 단말에 상기 제1 사용자의 위치 정보를 제공한다. LBS 정보가 GPS 정보보다 정확도가 더 높기 때문이다. At this time, when the LBS information can be received, the server provides the location information of the first user to the second user terminal based on the LBS information first. This is because LBS information is more accurate than GPS information.

반면, LBS 정보가 수신 가능하지 않으면, 서버는 GPS 정보를 기반으로 제2 사용자 단말에 제1 사용자의 위치 정보를 제공한다. 다만, GPS 정보의 정확도를 보완하기 위해, 서버는 미리 산출된 LBS 정보와 GPS 정보 간 오차를 기반으로 GPS 정보를 보정하여 제1 사용자의 위치 정보로서 제공한다. 가령, GPS 정보가 (20, 20)인 경우 미리 산출된 평균 오차 (0, 1)을 감산한 값인 (20, 19)가 제1 사용자의 위치 정보로서 제공된다.On the other hand, if the LBS information is not receivable, the server provides the location information of the first user to the second user terminal based on the GPS information. However, in order to supplement the accuracy of the GPS information, the server corrects the GPS information based on an error between the pre-calculated LBS information and the GPS information and provides it as the location information of the first user. For example, when the GPS information is (20, 20), (20, 19) obtained by subtracting the average error (0, 1) calculated in advance is provided as the location information of the first user.

일 실시예로서, LBS 정보가 수신 불가능하여 GPS 정보를 기초로 제1 사용자의 위치를 제공한 이후에도, LBS 정보의 수신이 재개되면 다시 LBS 정보를 기초로 제1 사용자의 위치를 제공할 수 있다.As an embodiment, even after LBS information is unreceivable and the location of the first user is provided based on GPS information, when reception of the LBS information is resumed, the location of the first user may be provided again based on the LBS information.

일 실시예로서, LBS 정보 및 GPS 정보가 모두 수신 불가능한 경우, 서버는 최종적으로 수신되었던 LBS 정보 또는 GPS 정보에 기초하여 제1 사용자의 위치 정보를 제공하거나, 제1 사용자의 위치 정보가 확인되지 않는다는 메시지를 제2 사용자 단말에 제공한다. 이 경우, 제2 사용자 단말은 최종 확인된 제1 사용자의 위치에 가상 객체를 출력하고, 미리 설정된 디폴트 애니메이션 또는 핸드 트래킹 모션을 함께 출력할 수 있다.As an embodiment, when both LBS information and GPS information cannot be received, the server provides location information of the first user based on the LBS information or GPS information that was finally received, or determines that the location information of the first user is not confirmed. The message is provided to the second user terminal. In this case, the second user terminal may output the virtual object at the finally confirmed location of the first user and also output a preset default animation or hand tracking motion.

도 9는 본 발명의 다른 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다. 도 9의 사용자 인터랙션 방법은 도 1 의 제1 사용자 단말(200)에 의해 수행된다. 따라서, 이하의 단계들에서 수행 주체가 명시되지 않은 경우, 그 수행 주체는 상기 제1 사용자 단말(200)인 것으로 전제된다.9 is a flowchart illustrating a digital twin-based user interaction method according to another embodiment of the present invention. The user interaction method of FIG. 9 is performed by the first user terminal 200 of FIG. 1 . Therefore, in the following steps, if the performing entity is not specified, it is assumed that the performing entity is the first user terminal 200 .

S210 단계에서, 서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경이 수신된다. In step S210, a virtual reality environment based on the digital twin information is received from the server.

S220 단계에서, 수신된 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경이 표시된다. In step S220, a virtual reality background corresponding to the real space is displayed based on the received virtual reality environment.

S230 단계에서, 가상 현실 배경 상에 사용자를 나타내는 가상 객체가 표시된다. 이때, 상기 사용자는 서버를 매개로 제1 사용자 단말과 연결된 제2 사용자 단말의 제2 사용자일 수 있다.In step S230, a virtual object representing the user is displayed on the virtual reality background. In this case, the user may be a second user of a second user terminal connected to the first user terminal through a server.

S240 단계에서, 서버로부터 상기 사용자의 인터랙션이 수신되어 가상 현실 배경 상에 표시된다. In step S240, the user's interaction is received from the server and displayed on the virtual reality background.

이 때, 가상 현실 배경은 제2 사용자가 위치한 현실 공간을 모사한 것이고, 가상 객체의 가상 현실 배경 상의 위치는 현실 공간 상의 제2 사용자의 위치와 대응되는 것일 수 있다. 한편, 가상 현실 환경, 가상 현실 배경, 및 현실 공간의 의미 및 그 상관관계에 대해서는 앞에서 이미 상세히 기술된 바, 설명의 중복을 피하기 위해 여기서는 추가적인 설명을 생략한다.In this case, the virtual reality background may simulate the real space where the second user is located, and the position of the virtual object on the virtual reality background may correspond to the position of the second user in the real space. Meanwhile, since the meanings and correlations of the virtual reality environment, the virtual reality background, and the real space have already been described in detail above, additional descriptions are omitted here to avoid duplication of description.

도 10은 도 9의 S230 단계 및 S240 단계의 구체적인 내용을 부연 설명하기 위한 도면이다. 도 10을 참조하면, 가상 현실 배경(80) 상에 제2 사용자를 나타내는 가상 객체(81)가 표시된 예가 도시된다. FIG. 10 is a diagram for amplifying details of steps S230 and S240 of FIG. 9 . Referring to FIG. 10 , an example in which a virtual object 81 representing a second user is displayed on a virtual reality background 80 is illustrated.

본 실시예에서, 가상 객체의 가상 현실 배경 상의 위치가 제1 사용자 단말에 설정된 시야각 범위 이내이면, 해당 가상 객체는 캐릭터 모델로써 가상 현실 배경 위에 표시된다. 반면에, 가상 객체의 가상 현실 배경 상의 위치가 제1 사용자 단말에 설정된 시야각 범위 밖이면, 해당 가상 객체는 명칭 또는 심볼로써 시야각 범위의 가장자리에 표시된다.In this embodiment, if the position of the virtual object on the virtual reality background is within the viewing angle range set in the first user terminal, the corresponding virtual object is displayed on the virtual reality background as a character model. On the other hand, if the position of the virtual object on the virtual reality background is outside the viewing angle range set in the first user terminal, the corresponding virtual object is displayed as a name or symbol at the edge of the viewing angle range.

예를 들어, 도 10을 참조하면, 제2 사용자를 나타내는 가상 객체(81)는 가상 현실 배경(80)상 위치가 제1 사용자 단말의 시야각 범위 이내이고, 이 경우 가상 현실 배경(80) 위에 캐릭터 모델로써 표시된다. 이때, 캐릭터 모델은 2D 또는 3D 캐릭터 모델일 수 있다. For example, referring to FIG. 10 , a virtual object 81 representing a second user is positioned on a virtual reality background 80 within a viewing angle range of a first user terminal, and in this case, a character on the virtual reality background 80 displayed as a model. In this case, the character model may be a 2D or 3D character model.

일 실시예로서, 가상 현실 배경(80) 위에 캐릭터 모델로써 표시되는 가상 객체(81)는 근처에 가상 객체(81)의 이름이 표시될 수 있다(여기서는'맘모').As an embodiment, the name of the virtual object 81 displayed as a character model on the virtual reality background 80 may be displayed nearby (herein, 'mammo').

한편, 다른 사용자를 나타내는 가상 객체(82, 83, 84)는 가상 현실 배경(80) 상 위치가 제1 사용자 단말의 시야각 범위 밖이고, 해당 가상 객체(82, 83, 84)들은 명칭 또는 심볼로써 시야각 범위의 가장자리에 표시된다.On the other hand, the virtual objects 82, 83, and 84 representing other users are positioned on the virtual reality background 80 outside the viewing angle range of the first user terminal, and the corresponding virtual objects 82, 83, and 84 are names or symbols. Displayed at the edge of the viewing angle range.

가령, 제1 사용자 단말의 시야각을 기준으로, 좌측으로 벗어난 가상 객체(82)는 시야각의 좌측 끝 라인에 표시되고, 제1 사용자 단말의 시야각을 기준으로, 우측으로 벗어난 가상 객체(83, 84)는 시야각의 우측 끝 라인에 표시된다. 이때, 끝 라인에 표시될 가상 객체의 수가 복수인 경우, 각 가상 객체는 해당 끝 라인에 정렬되어 표시될 수 있다. 도 8을 참조하면, 시야각을 우측으로 벗어난 2개의 가상 객체(83, 84)가 우측 끝 라인에 정렬되어 표시된 것을 확인할 수 있다. 시야각을 벗어난 가상 객체(82, 83, 84)의 경우에도 시야각 내 가상 객체(81)와 유사하게 해당 가상 객체의 이름이 표시될 수 있다(여기서는'파이리', 에이스','한국인').For example, based on the viewing angle of the first user terminal, the virtual object 82 deviated to the left is displayed on the left end line of the viewing angle, and based on the viewing angle of the first user terminal, the virtual objects 83 and 84 deviated to the right. is displayed on the right end line of the viewing angle. In this case, when the number of virtual objects to be displayed on the end line is plural, each virtual object may be aligned and displayed on the corresponding end line. Referring to FIG. 8 , it can be seen that two virtual objects 83 and 84 deviated from the viewing angle to the right are aligned and displayed on the right end line. Even in the case of the virtual objects 82, 83, and 84 out of the viewing angle, the names of corresponding virtual objects may be displayed similarly to the virtual object 81 within the viewing angle (here, 'Piri', 'Ace', and 'Korean').

한편, 제1 사용자 단말은 수신된 사용자 인터랙션을 가상 객체와 연관지어 표시할 수 있다. 예를 들어,'파이리'가상 객체(82)와 대응하는 사용자 단말로부터 텍스트 출력 인터랙션이 수신된 경우, 제1 사용자 단말은 가상 현실 배경(80)에'파이리'가상 객체(82)를 표시하며, 가상 객체(82) 내에 텍스트 출력을 의미하는'말풍선 아이콘'을 함께 표시할 수 있다. 또는,'파이리'가상 객체(82)와 대응하는 사용자 단말로부터 음성 출력 인터랙션이 수신된 경우, 제1 사용자 단말은 '말풍선 아이콘'대신 음성 출력을 의미하는'확성기 아이콘'을 함께 표시할 수 있다. 가상 객체(82) 내에 표시할 수 있다.Meanwhile, the first user terminal may display the received user interaction in association with the virtual object. For example, when a text output interaction is received from the user terminal corresponding to the 'Fairy' virtual object 82, the first user terminal displays the 'Fairy' virtual object 82 on the virtual reality background 80, A 'speech bubble icon' meaning text output may be displayed in the virtual object 82 together. Alternatively, when an audio output interaction is received from the user terminal corresponding to the 'fairy' virtual object 82, the first user terminal may display a 'loudspeaker icon' indicating audio output instead of a 'speech bubble icon'. It can be displayed in the virtual object 82.

일 실시예로서, 제1 사용자 단말의 사용자인 제1 사용자를 나타내는 가상 객체도 가상 현실 배경 상에 함께 표시될 수 있다. As an embodiment, a virtual object representing a first user who is a user of a first user terminal may also be displayed on a virtual reality background.

이하에서는, 제1 사용자 단말이 가상 현실 배경 및 가상 객체를 표시하는 일련의 프로세스를 간략하게 부연 설명한다.Hereinafter, a series of processes in which the first user terminal displays the virtual reality background and virtual objects will be briefly described.

먼저, 제1 사용자를 가상 현실 배경 상에 표시하는 프로세스를 설명한다.First, the process of displaying the first user on the virtual reality background will be described.

1. 제1 사용자가 서버에 접속하면, 로그인 절차를 통해 제1 사용자의 계정이 인증된다.1. When the first user accesses the server, the account of the first user is authenticated through a login procedure.

2. 제1 사용자의 위치 좌표 또는, 이전에 기록된 최종 좌표가 확인된다. 이때, 제1 사용자의 위치 좌표는 GPS 정보 및 LBS 정보로 동시에 확인될 수 있다. 제1 사용자에 대해 이전에 기록된 최종 좌표가 없는 경우 디폴트 위치를 제1 사용자의 위치로 정할 수 있다.2. The location coordinates of the first user or previously recorded last coordinates are checked. At this time, the location coordinates of the first user may be simultaneously identified as GPS information and LBS information. When there is no previously recorded last coordinate for the first user, the default location may be determined as the location of the first user.

3. 제1 사용자의 위치 좌표 또는 최종 좌표를 포함하는 가상 현실 배경이 생성된다. 만약, 제1 사용자의 위치 좌표 또는 최종 좌표에 해당하는 지역에 대해 디지털 트윈이 구현되지 않은 경우,‘서비스지역 아님’을 표시하고 및 임의의 가상 현실 배경으로 이동할 수 있다.3. A virtual reality background including the first user's location coordinates or final coordinates is created. If the digital twin is not implemented for the area corresponding to the location coordinates of the first user or the final coordinates, 'not a service area' may be displayed and an arbitrary virtual reality background may be moved.

4. 제1 사용자는 사용자간 소통이 가능한 소정의 네트워크 채널로 입장한다. 기존 채널의 정원이 초과된 경우 신규 채널이 생성되고, 제1 사용자는 해당 신규 채널로 입장할 수 있다. 4. The first user enters a predetermined network channel through which communication between users is possible. When the capacity of the existing channel is exceeded, a new channel is created, and the first user can enter the new channel.

5. 제1 사용자에 대응되는 가상 객체 정보가 로드된다. 가상 객체 정보는 3D 캐릭터 모델의 디자인, 복장, 소지금, 또는 인벤토리 테이블 등의 정보를 포함할 수 있다.5. Virtual object information corresponding to the first user is loaded. The virtual object information may include information such as design of a 3D character model, clothing, possession money, or an inventory table.

6. 제1 사용자의 위치 좌표 또는 최종 좌표를 포함하는 가상 현실 배경이 표시되고, 제1 사용자의 위치 좌표 또는 최종 좌표에 대응하는 위치에 제1 사용자를 나타내는 가상 객체가 표시된다.6. A virtual reality background including the first user's location coordinates or final coordinates is displayed, and a virtual object representing the first user is displayed at a location corresponding to the first user's location coordinates or final coordinates.

7. 제1 사용자 단말의 위치 이동에 따른 LBS 정보 및 GPS 정보의 변동이 기록된다. 이때, LBS 정보 또는 GPS 정보 소정의 시간 간격으로 기록될 수 있고, 미리 결정된 횟수까지만 정보를 저장하도록 설정될 수 있다. 예를 들어, LBS 정보 또는 GPS 정보를 누적 10회까지 저장하도록 설정된 경우, 11회 차 LBS 정보 또는 GPS 정보가 수신되면 11회차의 LBS 정보 또는 GPS 정보를 저장하는 대신 1회차의 LBS 정보 또는 GPS 정보가 삭제될 수 있다.7. Changes in LBS information and GPS information according to location movement of the first user terminal are recorded. At this time, LBS information or GPS information may be recorded at predetermined time intervals, and may be set to store information only up to a predetermined number of times. For example, if it is set to store LBS information or GPS information up to 10 times in accumulation, when the 11th LBS information or GPS information is received, instead of storing the 11th LBS or GPS information, the 1st LBS or GPS information may be deleted.

8. 한편, 가상 개체가 서버의 서비스 범위를 벗어날 수 없도록, 서비스 범위의 가장자리에 도달하면 더 이상 진행할 수 없도록 이동을 제한하거나, 서비스 범위 내 특정 지점으로 가상 객체를 워프시킬 수 있다.8. Meanwhile, movement of the virtual object may be restricted so that the virtual object cannot leave the service range of the server so that it cannot proceed further when it reaches the edge of the service range, or the virtual object may be warped to a specific point within the service range.

다음으로, 제2 사용자를 가상 현실 배경 상에 표시하는 프로세스를 설명한다. 제2 사용자는 제1 사용자 단말과 연결된 증강 현실 단말의 사용자일 수 있다.Next, the process of displaying the second user on the virtual reality background will be described. The second user may be a user of an augmented reality terminal connected to the first user terminal.

1. 제1 사용자가 참여한 네트워크 채널을 스캔하여 해당 채널에 참여한 제2 사용자의 위치 좌표를 로드한다. 이때, 제2 사용자의 위치 좌표는 소정의 시간 간격으로 로드될 수 있다.1. A network channel in which the first user participates is scanned, and location coordinates of a second user who participates in the corresponding channel are loaded. In this case, the location coordinates of the second user may be loaded at predetermined time intervals.

2. 제2 사용자의 가상 객체 정보가 로드된다. 가상 객체 정보는 3D 캐릭터 모델의 디자인, 또는 복장 등의 정보를 포함할 수 있다.2. Virtual object information of the second user is loaded. The virtual object information may include information such as design of a 3D character model or clothing.

2. 제2 사용자의 위치 좌표, 또는 최종 좌표에 대응되는 가상 현실 배경 상 위치에 제2 사용자를 나타내는 가상 객체가 표시된다. 2. A virtual object representing the second user is displayed at a location on the virtual reality background corresponding to the second user's location coordinates or final coordinates.

4. 제2 사용자의 위치 좌표의 변동은 주기적으로 체크되고, 위치 좌표가 변동되면 그에 대응하는 위치로 제2 사용자의 가상 객체를 이동 표시한다.4. Changes in the location coordinates of the second user are periodically checked, and when the location coordinates change, the virtual object of the second user is moved to a corresponding location and displayed.

5. 제2 사용자의 가상 객체를 이동 표시할 때, 그 이동 경로의 표시와 함께 이동 애니메이션이 재생될 수 있다.5. When displaying the movement of the virtual object of the second user, a movement animation may be played along with the display of the movement path.

6. 제2 사용자의 위치 좌표에 변화가 없는 경우, 가상 객체의 캐릭터 모델에‘디폴트 애니메이션’이 재생될 수 있다.6. When there is no change in the location coordinates of the second user, 'default animation' may be reproduced on the character model of the virtual object.

한편, 일 실시예로서, 제1 사용자가 참가한 채널에 새로운 제3 사용자가 참가 시, 이를 알리는 시스템 메시지가 표시될 수 있다. 또는, 제1 사용자가 참가한 채널에서 기존 제3 사용자가 이탈 시, 이를 알리는 시스템 메시지가 표시될 수 있다. 또는, 제1 사용자 단말이 표시하는 가상 현실 배경과 관련하여 새로운 채널이 생성 시, 이를 알리는 시스템 메시지가 표시될 수 있다.Meanwhile, as an embodiment, when a new third user participates in a channel in which the first user has joined, a system message notifying this may be displayed. Alternatively, when the existing third user leaves the channel in which the first user has participated, a system message notifying this may be displayed. Alternatively, when a new channel is created in relation to the virtual reality background displayed by the first user terminal, a system message notifying this may be displayed.

도 11은 본 발명의 또 다른 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다. 도 11의 사용자 인터랙션 방법은 도 1 의 제2 사용자 단말(300)에 의해 수행된다. 따라서, 이하의 단계들에서 수행 주체가 명시되지 않은 경우, 그 수행 주체는 상기 제2 사용자 단말(300)인 것으로 전제된다.11 is a flowchart illustrating a digital twin-based user interaction method according to another embodiment of the present invention. The user interaction method of FIG. 11 is performed by the second user terminal 300 of FIG. 1 . Therefore, in the following steps, if the performing entity is not specified, it is assumed that the performing entity is the second user terminal 300 .

S310 단계에서, 카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경이 화면에 표시된다.In step S310, an augmented reality background is displayed on the screen using an image of a real space captured through a camera.

S320 단계에서, 화면에 표시된 증강 현실 배경 상에 사용자를 나타내는 증강 현실 객체가 표시된다. 상기 사용자는 서버를 매개로 제2 사용자 단말과 연결된 제1 사용자 단말의 제1 사용자일 수 있다.In step S320, an augmented reality object representing a user is displayed on the augmented reality background displayed on the screen. The user may be a first user of a first user terminal connected to a second user terminal via a server.

S330 단계에서, 서버로부터 상기 사용자의 인터랙션이 수신되어 증강 현실 배경 상에 표시된다.In step S330, the user's interaction is received from the server and displayed on the augmented reality background.

이 때, 증강 현실 배경은 제2 사용자 단말이 카메라를 통해 촬영한 영상을 기초로 생성한 것이고, 증강 현실 객체의 증강 현실 배경 상의 위치는 현실 공간 또는 가상 현실 환경 상의 제1 사용자의 위치와 대응되는 것일 수 있다. 한편, 가상 현실 환경, 가상 현실 배경, 및 현실 공간의 의미 및 그 상관관계에 대해서는 앞에서 이미 상세히 기술된 바, 설명의 중복을 피하기 위해 여기서는 추가적인 설명을 생략한다.At this time, the augmented reality background is generated based on the image captured by the second user terminal through the camera, and the position of the augmented reality object on the augmented reality background corresponds to the position of the first user in the real space or virtual reality environment. it could be Meanwhile, since the meanings and correlations of the virtual reality environment, the virtual reality background, and the real space have already been described in detail above, additional descriptions are omitted here to avoid duplication of description.

도 12 및 도 13은 도 11의 실시예에서 제2 사용자 단말 상에 객체가 표시되는 방법을 설명하기 위한 도면이다. 12 and 13 are diagrams for explaining a method of displaying an object on a second user terminal in the embodiment of FIG. 11 .

본 실시예에서, 증강 현실 객체의 증강 현실 배경 상의 위치가 제2 사용자 단말의 화면 이내이면, 해당 증강 현실 객체는 캐릭터 모델로써 증강 현실 배경 위에 표시된다. 반면에, 증강 현실 객체의 증강 현실 배경 상의 위치가 제2 사용자 단말의 화면 밖이면, 해당 증강 현실 객체는 명칭 또는 심볼로써 화면의 가장자리에 표시된다.In this embodiment, if the position of the augmented reality object on the augmented reality background is within the screen of the second user terminal, the augmented reality object is displayed on the augmented reality background as a character model. On the other hand, if the location of the augmented reality object on the augmented reality background is outside the screen of the second user terminal, the corresponding augmented reality object is displayed as a name or symbol at the edge of the screen.

예를 들어, 도 12를 참조하면, 제1 사용자를 나타내는 증강 현실 객체(91)는 증강 현실 배경(90)상 위치가 제2 사용자 단말의 화면 이내이고, 이 경우 증강 현실 객체(91)는 증강 현실 배경(90) 위에 캐릭터 모델로써 표시된다. 이때, 캐릭터 모델은 2D 또는 3D 캐릭터 모델일 수 있다. For example, referring to FIG. 12 , the augmented reality object 91 representing the first user is located within the screen of the second user terminal on the augmented reality background 90, and in this case, the augmented reality object 91 is augmented It is displayed as a character model on the real background 90. In this case, the character model may be a 2D or 3D character model.

일 실시예로서, 증강 현실 배경(90) 위에 캐릭터 모델로써 표시되는 증강 현실 객체(81)는 근처에 증강 현실 객체(91)의 이름이 표시될 수 있다(여기서는'식스').As an example, a name of the augmented reality object 91 may be displayed near the augmented reality object 81 displayed as a character model on the augmented reality background 90 (here, 'Six').

한편, 다른 사용자를 나타내는 증강 현실 객체(92, 93, 94)는 증강 현실 배경(90) 상 위치가 제2 사용자 단말의 화면 밖이고, 해당 가상 객체(92, 93, 94)들은 명칭 또는 심볼로써 화면의 가장자리에 표시된다.On the other hand, the augmented reality objects 92, 93, and 94 representing other users are located outside the screen of the second user terminal on the augmented reality background 90, and the corresponding virtual objects 92, 93, and 94 are names or symbols. displayed on the edge of the screen.

가령, 제2 사용자 단말의 화면을 기준으로, 좌측으로 벗어난 증강 현실 객체(92)는 화면의 좌측 가장자리에 표시되고, 제2 사용자 단말의 화면을 기준으로, 우측으로 벗어난 증강 현실 객체(93, 94)는 화면의 좌측 가장자리에 표시된다. 이때, 화면의 가장 자리에 표시될 증강 현실 객체의 수가 복수인 경우, 각 증강 현실 객체는 화면의 해당 가장자리에 정렬되어 표시될 수 있다. 도 12를 참조하면, 화면을 우측으로 벗어난 2개의 증강 현실 객체(93, 984)가 화면의 우측 가장자리에 정렬되어 표시된 것을 확인할 수 있다. 화면을 벗어난 증강 현실 객체(92, 93, 94)의 경우에도 화면 내 증강 현실 객체(91)와 유사하게 해당 증강 현실 객체의 이름이 표시될 수 있다(여기서는'파이리', 에이스','한국인').For example, based on the screen of the second user terminal, the augmented reality object 92 deviated to the left is displayed on the left edge of the screen, and based on the screen of the second user terminal, the augmented reality objects 93 and 94 deviated to the right. ) is displayed on the left edge of the screen. In this case, when the number of augmented reality objects to be displayed on the edge of the screen is plural, each augmented reality object may be aligned and displayed on the corresponding edge of the screen. Referring to FIG. 12 , it can be seen that two augmented reality objects 93 and 984 deviated from the screen to the right are aligned and displayed on the right edge of the screen. Even in the case of the augmented reality objects 92, 93, and 94 off the screen, the names of the corresponding augmented reality objects may be displayed similarly to the augmented reality object 91 on the screen (here, 'Fairy', 'Ace', 'Korean'). ).

한편, 제2 사용자 단말은 수신된 사용자 인터랙션을 증강 현실 객체와 연관지어 표시할 수 있다. 예를 들어,'파이리'증강 현실 객체(92)와 대응하는 사용자 단말로부터 텍스트 출력 인터랙션이 수신된 경우, 제2 사용자 단말은 증강 현실 배경(90)에'파이리'증강 현실 객체(92)를 표시하며, 증강 현실 객체(92) 내에 텍스트 출력을 의미하는'말풍선 아이콘'을 함께 표시할 수 있다. 또는,'파이리'증강 현실 객체(92)와 대응하는 사용자 단말로부터 음성 출력 인터랙션이 수신된 경우, 제2 사용자 단말은 '말풍선 아이콘'대신 음성 출력을 의미하는'확성기 아이콘'을 표시할 수 있다. Meanwhile, the second user terminal may display the received user interaction in association with the augmented reality object. For example, when a text output interaction is received from the user terminal corresponding to the 'Fairy' augmented reality object 92, the second user terminal displays the 'Fairy' augmented reality object 92 on the augmented reality background 90. In addition, a 'speech bubble icon' meaning text output may be displayed in the augmented reality object 92 together. Alternatively, when an audio output interaction is received from a user terminal corresponding to the 'Fairy' augmented reality object 92, the second user terminal may display a 'loudspeaker icon' indicating audio output instead of a 'speech bubble icon'.

일 실시예로서, 제2 사용자 단말은 증강 현실 객체의 캐릭터 모델에 대해, 자이로 센서를 이용하여 그 표시 각도를 조정할 수 있다. 이에 대해, 도 13을 참조하여 부연 설명한다.As an embodiment, the second user terminal may adjust a display angle of a character model of an augmented reality object by using a gyro sensor. This will be further described with reference to FIG. 13 .

도 13을 참조하면, 제2 사용자 단말이 기울어진 경우, 자이로 센서를 이용하여 증강 현실 객체(91)의 표시 각도를 조정하는 예가 도시된다.Referring to FIG. 13 , an example of adjusting a display angle of an augmented reality object 91 using a gyro sensor when the second user terminal is tilted is illustrated.

제2 사용자 단말은 증강 현실 단말로서, 카메라로 촬영된 영상을 기초로 증강 현실 배경을 도시한다. 따라서, 제2 사용자 단말이 기울어진 경우, 제2 사용자 단말 화면의 축(D1)과 증강 현실 배경의 수직 축(vertical axis, D2)가 서로 어긋나는 경우가 발생한다. 이 경우, 일반적인 동영상 재생의 경우와 같이, 제2 사용자 단말을 기준으로 증강 현실 객체를 표시하면, 증강 현실 객체가 증강 현실 배경에 기울어져 표시되는 불편함이 발생할 수 있다. The second user terminal is an augmented reality terminal, and shows an augmented reality background based on an image captured by a camera. Accordingly, when the second user terminal is tilted, the axis D1 of the screen of the second user terminal and the vertical axis D2 of the augmented reality background may be misaligned with each other. In this case, as in the case of general video playback, when the augmented reality object is displayed based on the second user terminal, inconvenience that the augmented reality object is tilted and displayed on the augmented reality background may occur.

따라서, 제2 사용자 단말은 자이로 센서를 이용하여 중력 방향을 감지한 후 그 반대 방향(D2)으로 증강 현실 객체(91)를 표시한다. 그렇게 하면, 증강 현실 객체가 증강 현실 배경에 기울어져 표시되는 문제점이 해소될 수 있다.Accordingly, the second user terminal detects the direction of gravity using the gyro sensor and then displays the augmented reality object 91 in the opposite direction D2. By doing so, the problem that the augmented reality object is tilted and displayed on the augmented reality background can be solved.

이하에서는, 제2 사용자 단말이 증강 현실 배경 및 증강 현실 객체를 표시하는 일련의 프로세스를 간략하게 부연 설명한다.Hereinafter, a series of processes in which the second user terminal displays the augmented reality background and the augmented reality object will be briefly described.

먼저, 제2 사용자 단말이 증강 현실 배경을 표시하는 프로세스를 설명한다.First, a process of displaying an augmented reality background by the second user terminal will be described.

1. 제2 사용자가 서버에 접속하면, 로그인 절차를 통해 제2 사용자의 계정이 인증된다.1. When the second user accesses the server, the account of the second user is authenticated through a login procedure.

2. 제2 사용자의 위치 좌표 또는, 이전에 기록된 최종 좌표가 확인된다. 이때, 제2 사용자의 위치 좌표는 GPS 정보 및 LBS 정보로 동시에 확인될 수 있다. 제2 사용자에 대해 이전에 기록된 최종 좌표가 없는 경우 디폴트 위치를 제2 사용자의 위치로 정할 수 있다.2. The location coordinates of the second user or previously recorded last coordinates are checked. At this time, the location coordinates of the second user may be simultaneously identified as GPS information and LBS information. When there is no previously recorded last coordinate for the second user, the default location may be determined as the location of the second user.

3. 제2 사용자의 위치 좌표 또는 최종 좌표를 포함하는 가상 현실 배경이 식별되고, 제2 사용자 단말의 카메라 기능이 실행된다. 만약, 제2 사용자의 위치 좌표 또는 최종 좌표에 해당하는 지역에 대해 디지털 트윈이 구현되지 않은 경우,‘서비스지역 아님’을 표시하고 및 해당 지역을 미확인 지역으로 별도 분류할 수 있다.3. The virtual reality background including the second user's location coordinates or final coordinates is identified, and the camera function of the second user terminal is executed. If the digital twin is not implemented for the area corresponding to the second user's location coordinates or the final coordinates, 'not a service area' may be displayed and the area may be separately classified as an unidentified area.

4. 제2 사용자는 사용자간 소통이 가능한 소정의 네트워크 채널로 입장한다. 기존 채널의 정원이 초과된 경우 신규 채널이 생성되고, 제2 사용자는 해당 신규 채널로 입장할 수 있다. 4. The second user enters a predetermined network channel through which communication between users is possible. When the capacity of the existing channel is exceeded, a new channel is created, and the second user can enter the new channel.

5. 제2 사용자에 대응되는 사용자 정보가 로드된다. 사용자 정보는 3D 캐릭터 모델의 디자인, 복장, 소지금, 또는 인벤토리 테이블 등의 정보를 포함할 수 있다.5. User information corresponding to the second user is loaded. The user information may include information such as a design of a 3D character model, clothes, possession money, or an inventory table.

6. 제2 사용자 단말의 위치 이동에 따른 LBS 정보 및 GPS 정보의 변동이 기록된다. 이때, LBS 정보 또는 GPS 정보 소정의 시간 간격으로 기록될 수 있고, 미리 결정된 횟수까지만 정보를 저장하도록 설정될 수 있다. 예를 들어, LBS 정보 또는 GPS 정보를 누적 10회까지 저장하도록 설정된 경우, 11회 차 LBS 정보 또는 GPS 정보가 수신되면 11회차의 LBS 정보 또는 GPS 정보를 저장하는 대신 1회차의 LBS 정보 또는 GPS 정보가 삭제될 수 있다.6. Changes in LBS information and GPS information according to the location movement of the second user terminal are recorded. At this time, LBS information or GPS information may be recorded at predetermined time intervals, and may be set to store information only up to a predetermined number of times. For example, if it is set to store LBS information or GPS information up to 10 times in accumulation, when the 11th LBS information or GPS information is received, instead of storing the 11th LBS or GPS information, the 1st LBS or GPS information may be deleted.

7. 한편, 제2 사용자 단말이 서버의 서비스 범위를 벗어나는 경우, 서비스 지역이 아님을 나타내는 메시지가 제2 사용자 단말의 화면에 출력될 수 있다. 7. Meanwhile, when the second user terminal is out of the service range of the server, a message indicating that the service area is not available may be displayed on the screen of the second user terminal.

다음으로, 제1 사용자를 증강 현실 배경 상에 표시하는 프로세스를 설명한다. 제1 사용자는 제2 사용자 단말과 연결된 가상 현실 단말의 사용자일 수 있다.Next, the process of displaying the first user on the augmented reality background is explained. The first user may be a user of a virtual reality terminal connected to the second user terminal.

1. 제2 사용자가 참여한 네트워크 채널을 스캔하여 해당 채널에 참여한 제1 사용자의 위치 좌표를 로드한다. 이때, 제1 사용자의 위치 좌표는 소정의 시간 간격으로 로드될 수 있다.1. A network channel in which the second user participates is scanned and the location coordinates of the first user who participates in the corresponding channel are loaded. In this case, the location coordinates of the first user may be loaded at predetermined time intervals.

2. 제1 사용자의 증강 현실 객체 정보가 로드된다. 증강 현실 객체 정보는 3D 캐릭터 모델의 디자인, 또는 복장 등의 정보를 포함할 수 있다.2. Augmented reality object information of the first user is loaded. Augmented reality object information may include information such as design of a 3D character model or clothing.

2. 제1 사용자의 위치 좌표, 또는 최종 좌표에 대응되는 증강 현실 배경 상 위치에 제1 사용자를 나타내는 증강 현실 객체가 표시된다. 이때, 제1 사용자의 증강 현실 객체는 자이로 센서의 측정값에 기초하여 그 표시 각도가 조정될 수 있다.2. An augmented reality object representing the first user is displayed at a location on the augmented reality background corresponding to the first user's location coordinates or final coordinates. In this case, the display angle of the augmented reality object of the first user may be adjusted based on the measurement value of the gyro sensor.

4. 제1 사용자의 위치 좌표의 변동은 주기적으로 체크되고, 위치 좌표가 변동되면 그에 대응하는 위치로 제1 사용자의 증강 현실 객체를 이동 표시한다.4. Changes in the location coordinates of the first user are periodically checked, and when the location coordinates change, the augmented reality object of the first user is moved to a location corresponding to the change and displayed.

5. 제1 사용자의 증강 현실 객체를 이동 표시할 때, 그 이동 경로의 표시와 함께 이동 애니메이션이 재생될 수 있다.5. When displaying the movement of the first user's augmented reality object, a movement animation may be played along with the display of the movement path.

6. 제1 사용자의 위치 좌표에 변화가 없는 경우, 증강 현실 객체의 캐릭터 모델에‘디폴트 애니메이션’이 재생될 수 있다.6. When there is no change in the location coordinates of the first user, 'default animation' may be reproduced in the character model of the augmented reality object.

한편, 일 실시예로서, 제2 사용자가 참가한 채널에 새로운 제3 사용자가 참가 시, 이를 알리는 시스템 메시지가 표시될 수 있다. 또는, 제2 사용자가 참가한 채널에서 기존 제3 사용자가 이탈 시, 이를 알리는 시스템 메시지가 표시될 수 있다. 또는, 제2 사용자 단말이 표시하는 증강 현실 배경과 관련하여 새로운 채널이 생성 시, 이를 알리는 시스템 메시지가 표시될 수 있다.Meanwhile, as an embodiment, when a new third user joins a channel in which the second user has joined, a system message notifying this may be displayed. Alternatively, when the existing third user leaves the channel in which the second user has participated, a system message notifying this may be displayed. Alternatively, when a new channel is created in relation to the augmented reality background displayed by the second user terminal, a system message notifying this may be displayed.

이상에서 설명한 본 발명의 사상에 따르면, 본 발명은 실제 생활에서 다양한 방식의 응용이 가능하다. 그에 대해, 하나의 구체적인 예를 들어 부연 설명한다.According to the idea of the present invention described above, the present invention can be applied in various ways in real life. For that, a detailed explanation will be given with one specific example.

사용자 P는 가상 현실 단말 사용자로서 천국 빌딩의 10층에 위치해 있다. 사용자 Q는 증강 현실 단말 사용자로서 천국 빌딩 인근의 하늘역 2번 출구에 위치해 있다.User P is a virtual reality terminal user and is located on the 10th floor of the Heavenly Building. User Q is an augmented reality terminal user and is located at Exit 2 of Haneul Station near the Heavenly Building.

사용자 P가 가상 현실 단말을 통해 서버에 접속하면, 가상 현실 단말은 디지털 트윈을 기반으로 하늘역 2번을 모사한 가상 현실 환경을 표시한다. 그리고, 가상 현실 단말은 사용자 Q의 증강 현실 단말과 연결되어 사용자 Q의 위치를 수신하고, 가상 현실 환경 상 대응되는 위치에 사용자 Q를 표시한다. When the user P accesses the server through the virtual reality terminal, the virtual reality terminal displays a virtual reality environment that simulates Sky Station No. 2 based on the digital twin. Also, the virtual reality terminal is connected to the augmented reality terminal of the user Q, receives the location of the user Q, and displays the user Q at a corresponding location on the virtual reality environment.

사용자 Q 또한 증강 현실 단말을 통해 서버에 접속하고, 증강 현실 단말은 사용자 P의 가상 현실 단말과 연결되어 사용자 P의 위치를 수신하고, 증강 현실 배경 상 대응되는 위치에 사용자 P를 표시한다. 이처럼, 사용자 P와 사용자 Q가 가상 현실 단말 및 증강 현실 단말을 통해 서로를 인지한 상황에서, 사용자간 상호 인터랙션이 수행될 수 있다. The user Q also accesses the server through the augmented reality terminal, and the augmented reality terminal is connected to the virtual reality terminal of the user P to receive the location of the user P and display the user P at the corresponding position on the augmented reality background. In this way, mutual interaction between users may be performed in a situation in which user P and user Q recognize each other through the virtual reality terminal and the augmented reality terminal.

예를 들어, 사용자 P가 사용자 Q를 자신이 현재 위치한 천국 빌딩 10층으로 안내하고자 하는 경우, 사용자 P는 자신을 따라오라는 의사를 표시하고, 스스로 하늘역 2번 출구에서 천국 빌딩 10층까지 오는 경로를 순차 이동하여 사용자 Q의 이동 경로를 가이드 할 수 있다. 사용자 Q는 자신의 증강 현실 단말 화면을 통해, 사용자 P의 위치 이동에 따라 이동 표시되는 증강 현실 객체를 보며 사용자 P가 안내하는 이동 경로를 따라갈 수 있다.For example, if user P wants to guide user Q to the 10th floor of the Heavenly Building, where he is currently located, user P expresses his intention to follow him, and takes his own route from Exit 2 of Sky Station to the 10th floor of the Heavenly Building. It is possible to guide the movement path of user Q by sequentially moving. The user Q may follow the moving path guided by the user P while viewing the augmented reality object that is moved and displayed according to the movement of the user P through the augmented reality terminal screen of the user.

그 외에도 유사한 방식을 이용한, 다양한 응용 예가 가능할 수 있다. 가령, 가이드는 집에서 접속하고 관광객은 현실에서 접속하여 상호 인터랙션을 하는 비대면 관광 가이드 서비스, 길을 잃은 아이를 집이나 경찰서로 안내하는 미아 안내 서비스, 또는 길에 치매 노인이 있을 때 처음 보는 사람도 치매 노인을 손쉽게 자택으로 인도할 수 있게 하는 치매 노인 인도 서비스 등에 본 발명이 응용될 수 있다. In addition, various application examples using a similar method may be possible. For example, a non-face-to-face tour guide service in which a guide accesses at home and a tourist connects in real life to interact with each other, a lost child guidance service that guides a lost child to the house or the police station, or a stranger who sees an elderly person with dementia on the road The present invention can also be applied to a guidance service for the elderly with dementia, which allows the elderly with dementia to be easily guided to their homes.

일 실시예로서, 증강 현실 단말에는 가상 현실 단말의 사용자가 안내하는 이동 경로를 나타내는 지도(MAP)가 더 표시될 수 있다. 이에 대해, 도 14를 참조하여 부연 설명한다.As an embodiment, a map indicating a movement path guided by a user of the virtual reality terminal may be further displayed on the augmented reality terminal. This will be further described with reference to FIG. 14 .

도 14를 참조하면, 도 14 (a)에는 증강 현실 단말인 제2 사용자 단말(400)의 표시화면이 도시된다. 앞서 설명한 바와 같이, 제2 사용자 단말(400)은 자신의 카메라로 촬영한 영상을 기초로 증강 현실 배경(401)을 표시하고, 그 위에 제1 사용자를 나타내는 증강 현실 객체(402)를 표시할 수 있다. 이때, 제1 사용자는 가상 현실 단말인 제1 사용자 단말의 사용자일 수 있다.Referring to FIG. 14 , FIG. 14 (a) shows a display screen of a second user terminal 400 that is an augmented reality terminal. As described above, the second user terminal 400 may display an augmented reality background 401 based on an image captured by its own camera and display an augmented reality object 402 representing the first user thereon. there is. In this case, the first user may be a user of a first user terminal that is a virtual reality terminal.

제2 사용자는 제2 사용자 단말(400)의 화면을 보며, 증강 현실 객체(402)의 길 안내에 따라 목적지까지 가는 경로를 따라 갈 수 있다. The second user may view the screen of the second user terminal 400 and follow the route to the destination according to the road guidance of the augmented reality object 402 .

한편, 이때, 제2 사용자 단말(400)은 제1 사용자가 안내하고자 하는 이동 경로를 나타내는 지도를 표시할 수 있다. 상기 지도는 제1 지점(예를 들어, 현재 위치)에서 제2 지점(예를 들어, 목적지)까지 제2 사용자 단말의 이동 경로를 표시 및 안내한다.Meanwhile, at this time, the second user terminal 400 may display a map indicating a movement path to be guided by the first user. The map displays and guides a movement path of the second user terminal from a first point (eg, a current location) to a second point (eg, a destination).

그에 대한 예시적인 형태가 도 14 (b) 및 (c)에 도시된다. 도 14 (b)는 증강 현실 배경의 일부 영역에 지도(410)가 함께 표시한 예를 도시하고, 도 14 (c)는 증강 현실 배경을 제거하고 지도(420)를 더 크게 표시한 예를 도시한다.Exemplary forms thereof are shown in FIGS. 14 (b) and (c). FIG. 14 (b) shows an example in which the map 410 is displayed in a partial area of the augmented reality background, and FIG. 14 (c) shows an example in which the augmented reality background is removed and the map 420 is displayed in a larger size. do.

지도(410, 420)에는 길 안내를 위한 다양한 정보가 표시될 수 있다. 예를 들어, 도 14 (c)에 도시된 것과 같이 지도(420)에는 제2 사용자 단말(400)의 현재 위치를 나타내는 심볼(421), 현재 위치에서 목적지까지 가는 경로를 나타내는 선(422), 또는 이동 경로 주변에 위치한 다른 객체(423, 424, 425)를 나타내는 심볼 등이 표시될 수 있다. 이때, 상기 다른 객체(423, 424, 425)는 제2 사용자와 같은 채널에 참가한 다른 사용자를 나타내는 객체, 이동 경로 상에 설치된 주요한 이정표를 나타내는 객체, 또는 이동 경로 주변에 있는 랜드마크를 나타내는 객체일 수 있다.Various information for road guidance may be displayed on the maps 410 and 420 . For example, as shown in FIG. 14 (c), the map 420 includes a symbol 421 representing the current location of the second user terminal 400, a line 422 representing a route from the current location to the destination, Alternatively, symbols indicating other objects 423, 424, and 425 located around the movement path may be displayed. At this time, the other objects 423, 424, and 425 may be objects representing other users participating in the same channel as the second user, objects representing major milestones installed on the movement route, or objects representing landmarks around the movement route. can

이처럼, 제2 사용자 단말(400)에 이동 경로를 나타내는 지도(410, 420)가 표시되면, 제2 사용자는 지도(410, 420)를 참고하여 더욱 손쉽게 제1 사용자의 길 안내를 따라갈 수 있다. In this way, when the maps 410 and 420 indicating the movement route are displayed on the second user terminal 400, the second user can more easily follow the first user's route guidance by referring to the maps 410 and 420.

특히, 제2 사용자가 위치한 현실 공간에 대해 디지털 트윈이 미구현되거나 불완전하게 구현된 경우, 제1 사용자가 보는 가상 현실 환경과 제2 사용자가 보는 증강 현실 배경 사이에는 차이가 있을 수 있다. 그러한 경우, 제2 사용자가 증강 현실 객체(402)를 통해 표현되는 사용자 인터랙션만 보고 길 안내를 따라가기에는 어려움이 있을 수 있다. 이때, 이동 경로를 나타내는 지도(410, 420)가 표시되면 제2 사용자는 이를 참고하여 더욱 쉽게 제1 사용자의 길 안내를 따라갈 수 있을 것이다.In particular, when the digital twin is not implemented or incompletely implemented for the real space where the second user is located, there may be a difference between the virtual reality environment seen by the first user and the augmented reality background seen by the second user. In such a case, it may be difficult for the second user to follow the road guidance by viewing only the user interaction expressed through the augmented reality object 402 . At this time, if the maps 410 and 420 indicating the movement path are displayed, the second user may more easily follow the route guidance of the first user by referring to the maps 410 and 420 .

한편, 본 실시예에서는 증강 현실 단말인 제2 사용자 단말(400)에 지도를 표시하는 경우를 설명하였지만, 반대로 가상 현실 단말인 제1 사용자 단말에 지도를 표시하는 것 또한 가능하다. 해당 현실 공간에 대해 디지털 트윈이 구현되지 않은 등의 이유로 제2 사용자의 증강 현실 화면과 제1 사용자가 볼 수 있는 가상 현실 환경이 서로 일치하지 않으면, 제1 사용자 입장에서도 제2 사용자에게 길을 안내하는 것이 곤란하게 여겨질 수 있기 때문이다. 이러한 경우, 제1 사용자 단말은 가상 현실 환경 상에 길 안내를 위한 지도를 표시할 수 있고, 제1 사용자는 표시된 지도를 보면서 제2 사용자에게 길 안내를 위한 사용자 인터랙션을 보낼 수 있다. Meanwhile, in this embodiment, the case of displaying the map on the second user terminal 400, which is an augmented reality terminal, has been described, but it is also possible to display the map on the first user terminal, which is a virtual reality terminal. If the augmented reality screen of the second user and the virtual reality environment that the first user can see do not match each other because the digital twin is not implemented for the corresponding real space, the first user also provides guidance to the second user. Because doing so can be difficult. In this case, the first user terminal may display a map for road guidance on the virtual reality environment, and the first user may send a user interaction for road guidance to the second user while viewing the displayed map.

이하에서는, 도 15를 참조하여 본 발명의 다양한 실시예에서 설명된 방법들이 구현되는 예시적인 컴퓨팅 장치(500)에 대하여 설명하도록 한다. 예를 들어, 도 15의 컴퓨팅 장치(500)는 도 1의 서버(100), 제1 사용자 단말(200), 또는 제2 사용자 단말(300)일 수 있다.Hereinafter, referring to FIG. 15 , an exemplary computing device 500 in which methods described in various embodiments of the present invention are implemented will be described. For example, the computing device 500 of FIG. 15 may be the server 100 of FIG. 1 , the first user terminal 200 , or the second user terminal 300 .

도 15는 컴퓨팅 장치(500)를 나타내는 예시적인 하드웨어 구성도이다. 15 is an exemplary hardware configuration diagram illustrating a computing device 500 .

도 15에 도시된 바와 같이, 컴퓨팅 장치(500)는 하나 이상의 프로세서(510), 버스(550), 통신 인터페이스(570), 프로세서(510)에 의하여 수행되는 컴퓨터 프로그램(591)을 로드(load)하는 메모리(530)와, 컴퓨터 프로그램(591)를 저장하는 스토리지(590)를 포함할 수 있다. 다만, 도 15에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 15에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.As shown in FIG. 15, the computing device 500 loads one or more processors 510, a bus 550, a communication interface 570, and a computer program 591 executed by the processor 510. It may include a memory 530 and a storage 590 for storing the computer program 591. However, only components related to the embodiment of the present invention are shown in FIG. 15 . Therefore, those skilled in the art to which the present invention pertains can know that other general-purpose components may be further included in addition to the components shown in FIG. 15 .

프로세서(510)는 컴퓨팅 장치(500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(510)는 본 발명의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(500)는 하나 이상의 프로세서를 구비할 수 있다.The processor 510 controls the overall operation of each component of the computing device 500 . The processor 510 may include at least one of a Central Processing Unit (CPU), a Micro Processor Unit (MPU), a Micro Controller Unit (MCU), a Graphic Processing Unit (GPU), or any type of processor well known in the art. can be configured to include Also, the processor 510 may perform an operation for at least one application or program for executing a method/operation according to various embodiments of the present disclosure. Computing device 500 may include one or more processors.

메모리(530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(530)는 본 발명의 다양한 실시예들에 따른 방법/동작들을 실행하기 위하여 스토리지(590)로부터 하나 이상의 프로그램(591)을 로드(load) 할 수 있다. 메모리(530)의 예시는 RAM이 될 수 있으나, 이에 한정되는 것은 아니다.Memory 530 stores various data, commands and/or information. Memory 530 may load one or more programs 591 from storage 590 to execute methods/operations according to various embodiments of the present invention. An example of the memory 530 may be RAM, but is not limited thereto.

버스(550)는 컴퓨팅 장치(500)의 구성 요소 간 통신 기능을 제공한다. 버스(550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.The bus 550 provides a communication function between components of the computing device 500 . The bus 550 may be implemented as various types of buses such as an address bus, a data bus, and a control bus.

통신 인터페이스(570)는 컴퓨팅 장치(500)의 유무선 인터넷 통신을 지원한다. 통신 인터페이스(570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.The communication interface 570 supports wired and wireless Internet communication of the computing device 500 . The communication interface 570 may support various communication methods other than Internet communication. To this end, the communication interface 570 may include a communication module well known in the art.

스토리지(590)는 하나 이상의 컴퓨터 프로그램(591)을 비임시적으로 저장할 수 있다. 스토리지(590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.Storage 590 may non-temporarily store one or more computer programs 591 . The storage 590 may be a non-volatile memory such as read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, or the like, a hard disk, a removable disk, or a device well known in the art. It may be configured to include any known type of computer-readable recording medium.

컴퓨터 프로그램(591)은 본 발명의 다양한 실시예들에 따른 방법/동작들이 구현된 하나 이상의 인스트럭션(Instruction)들을 포함할 수 있다. Computer program 591 may include one or more instructions for implementing methods/operations according to various embodiments of the present invention.

예를 들어, 컴퓨터 프로그램(591)은 현실 공간에 대응되는 디지털 트윈 정보를 저장하는 동작, 상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 동작, 상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 동작, 및 상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 동작을 수행하기 위한 인스트럭션들을 포함할 수 있다..For example, the computer program 591 may include an operation of storing digital twin information corresponding to a real space, an operation of providing a virtual reality environment to a first user terminal based on the digital twin information, and a control for the virtual reality environment. It may include instructions for performing an operation of receiving an interaction of the first user and an operation of providing the received interaction of the first user to a second user terminal.

또는, 컴퓨터 프로그램(591)은 서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경을 수신하는 동작, 상기 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경을 표시하는 동작, 상기 가상 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 가상 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함할 수 있다.Alternatively, the computer program 591 may include an operation of receiving a virtual reality environment based on digital twin information from a server, an operation of displaying a virtual reality background corresponding to a real space based on the virtual reality environment, and a user on the virtual reality background. It may include instructions for performing an operation of displaying an object representing , and an operation of receiving the user's interaction from the server and displaying it on the virtual reality background.

또는, 컴퓨터 프로그램(591)은 프로세서 카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 동작, 상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함할 수 있다.Alternatively, the computer program 591 may perform an operation of displaying an augmented reality background on a screen using an image of a real space captured through a processor camera, an operation of displaying an object representing a user on the augmented reality background, and an operation of displaying an object representing a user on the augmented reality background, and from the server It may include instructions for performing an operation of receiving the user's interaction and displaying it on the augmented reality background.

컴퓨터 프로그램(591)이 메모리(530)에 로드 되면, 프로세서(510)는 상기 하나 이상의 인스트럭션들을 실행시킴으로써 본 발명의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다.When computer program 591 is loaded into memory 530, processor 510 may execute the one or more instructions to perform methods/acts according to various embodiments of the present invention.

지금까지 설명된 본 발명의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The technical idea of the present invention described so far can be implemented as computer readable code on a computer readable medium. The computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disc, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk). can The computer program recorded on the computer-readable recording medium may be transmitted to another computing device through a network such as the Internet, installed in the other computing device, and thus used in the other computing device.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 발명이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art can implement the present invention in other specific forms without changing the technical spirit or essential features. can understand that there is Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the technical ideas defined by the present invention.

Claims (20)

컴퓨팅 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법에 있어서,
현실 공간에 대응되는 디지털 트윈 정보를 저장하는 단계;
상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 단계;
상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 단계; 및
상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 단계를 포함하고,
상기 제1 사용자의 인터랙션은,
상기 제1 사용자의 위치 이동을 포함하고,
상기 제2 사용자 단말은,
상기 제1 사용자의 인터랙션에 응답하여, 상기 제2 사용자 단말의 디스플레이 상에서 상기 제1 사용자에 대응되는 제1 객체를 상기 위치 이동에 대응되는 위치로 이동 표시하고,
상기 제1 사용자의 인터랙션을 수신하는 단계는,
상기 제1 사용자의 위치를 나타내는 LBS (Location Based Service) 정보, 또는 GPS (Global Positioning System) 정보를 수신하는 단계; 및
상기 LBS 정보와 상기 GPS 정보 간 오차를 산출하는 단계를 포함하는,
디지털 트윈 기반의 사용자 인터랙션 방법.In the digital twin-based user interaction method performed by a computing device,
Storing digital twin information corresponding to real space;
Providing a virtual reality environment to a first user terminal based on the digital twin information;
receiving a first user's interaction with the virtual reality environment; and
Providing the received interaction of the first user to a second user terminal;
The interaction of the first user,
Including movement of the location of the first user,
The second user terminal,
In response to the interaction of the first user, displaying a first object corresponding to the first user on a display of the second user terminal to a position corresponding to the position movement;
Receiving the interaction of the first user,
Receiving Location Based Service (LBS) information or Global Positioning System (GPS) information indicating the location of the first user; and
Comprising the step of calculating the error between the LBS information and the GPS information,
User interaction method based on digital twin. 제1 항에 있어서,
상기 제1 사용자 단말은,
상기 가상 현실 환경을 기초로 상기 현실 공간에 대응되는 가상 현실 배경을 표시하고, 상기 가상 현실 배경 상에 제2 사용자를 나타내는 제2 객체를 표시하되,
상기 제2 객체가 표시되는 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 제2 사용자의 위치와 대응되는,
디지털 트윈 기반의 사용자 인터랙션 방법.According to claim 1,
The first user terminal,
Displaying a virtual reality background corresponding to the real space based on the virtual reality environment and displaying a second object representing a second user on the virtual reality background;
A position on the virtual reality background where the second object is displayed corresponds to a position of the second user in the real space.
User interaction method based on digital twin. 제1 항에 있어서,
상기 제2 사용자 단말은,
상기 제2 사용자 단말의 카메라를 통해 촬영되는 영상을 이용하여 증강 현실 배경을 표시하고, 상기 증강 현실 배경 상에 상기 제1 객체를 표시하되,
상기 제1 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 가상 현실 환경에서의 상기 제1 사용자의 위치와 대응되는,
디지털 트윈 기반의 사용자 인터랙션 방법.According to claim 1,
The second user terminal,
An augmented reality background is displayed using an image captured through a camera of the second user terminal, and the first object is displayed on the augmented reality background,
A location on the augmented reality background where the first object is displayed corresponds to a location of the first user in the virtual reality environment.
User interaction method based on digital twin. 제1 항에 있어서,
상기 제1 사용자의 인터랙션은,
상기 제1 사용자의 채팅, 대화, 몸짓, 또는 상태표시를 포함하는,
디지털 트윈 기반의 사용자 인터랙션 방법.According to claim 1,
The interaction of the first user,
Including the first user's chat, conversation, gesture, or status display,
User interaction method based on digital twin. 삭제delete 제1 항에 있어서,
상기 제2 사용자 단말에 제공하는 단계는,
상기 LBS 정보가 수신 가능한 경우, 상기 LBS 정보를 기반으로 상기 제2 사용자 단말에 상기 제1 사용자의 위치 정보를 제공하는,
디지털 트윈 기반의 사용자 인터랙션 방법.According to claim 1,
The step of providing to the second user terminal,
When the LBS information is receivable, providing location information of the first user to the second user terminal based on the LBS information,
User interaction method based on digital twin. 제1 항에 있어서,
상기 제2 사용자 단말에 제공하는 단계는,
상기 LBS 정보가 수신 가능하지 않으면, 상기 GPS 정보를 기반으로 상기 제2 사용자 단말에 상기 제1 사용자의 위치 정보를 제공하는,
디지털 트윈 기반의 사용자 인터랙션 방법.According to claim 1,
The step of providing to the second user terminal,
If the LBS information is not receivable, providing location information of the first user to the second user terminal based on the GPS information,
User interaction method based on digital twin. 제7 항에 있어서,
상기 제1 사용자의 위치 정보는,
미리 산출된 LBS 정보와 GPS 정보 간 오차를 기반으로 상기 GPS 정보를 보정한 값인,
디지털 트윈 기반의 사용자 인터랙션 방법.According to claim 7,
The location information of the first user,
Based on the error between the pre-calculated LBS information and the GPS information, the GPS information is corrected,
User interaction method based on digital twin. 제1 항에 있어서,
상기 제2 사용자 단말로부터 제2 사용자의 인터랙션을 수신하여 상기 제1 사용자 단말에 제공하는 단계를 더 포함하는,
디지털 트윈 기반의 사용자 인터랙션 방법.According to claim 1,
Further comprising receiving a second user's interaction from the second user terminal and providing it to the first user terminal,
User interaction method based on digital twin. 제1 항에 있어서,
상기 제1 사용자 단말 또는 상기 제2 사용자 단말은,
제1 지점에서 제2 지점까지 상기 제2 사용자 단말의 이동 경로를 안내하는 지도를 표시하는,
디지털 트윈 기반의 사용자 인터랙션 방법.According to claim 1,
The first user terminal or the second user terminal,
Displaying a map guiding the movement path of the second user terminal from a first point to a second point,
User interaction method based on digital twin. 컴퓨팅 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법에 있어서,
서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경을 수신하는 단계;
상기 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경을 표시하는 단계;
상기 가상 현실 배경 상에 사용자를 나타내는 객체를 표시하는 단계; 및
상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 가상 현실 배경 상에 표시하는 단계를 포함하고,
상기 가상 현실 배경은,
상기 사용자가 위치한 상기 현실 공간을 모사한 것이고,
상기 객체의 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 사용자의 위치와 대응되고,
상기 사용자를 나타내는 객체를 표시하는 단계는,
상기 객체의 상기 가상 현실 배경 상의 위치가 미리 결정된 시야각 범위 이내 이면 상기 객체를 캐릭터 모델로써 표시하고, 상기 객체의 상기 가상 현실 배경 상의 위치가 미리 결정된 시야각 범위 밖이면 상기 객체를 명칭 또는 심볼로써 상기 시야각 범위의 가장자리에 표시하는,
디지털 트윈 기반의 사용자 인터랙션 방법.In the digital twin-based user interaction method performed by a computing device,
Receiving a virtual reality environment based on digital twin information from a server;
displaying a virtual reality background corresponding to a real space based on the virtual reality environment;
displaying an object representing a user on the virtual reality background; and
Receiving the user's interaction from the server and displaying it on the virtual reality background;
The virtual reality background,
It simulates the real space where the user is located,
The position of the object on the virtual reality background corresponds to the position of the user in the real space;
The step of displaying an object representing the user,
If the position of the object on the virtual reality background is within a predetermined viewing angle range, the object is displayed as a character model, and if the position of the object on the virtual reality background is outside the predetermined viewing angle range, the object is designated as a name or symbol at the viewing angle Marked on the edge of the range,
User interaction method based on digital twin. 삭제delete 삭제delete 컴퓨팅 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법에 있어서,
카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 단계;
상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 단계; 및
서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 단계를 포함하고,
상기 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 현실 공간에 대응되는 가상 현실 공간 상의 상기 사용자의 위치와 대응되고,
상기 사용자를 나타내는 객체를 표시하는 단계는,
상기 객체의 상기 증강 현실 배경 상의 위치가 상기 화면 이내 이면 상기 객체를 캐릭터 모델로써 표시하고, 상기 객체의 상기 증강 현실 배경 상의 위치가 상기 화면 밖이면 상기 객체를 명칭 또는 심볼로써 상기 화면의 가장자리에 표시하는,
디지털 트윈 기반의 사용자 인터랙션 방법.In the digital twin-based user interaction method performed by a computing device,
displaying an augmented reality background on a screen using an image of a real space captured through a camera;
displaying an object representing a user on the augmented reality background; and
Receiving the user's interaction from a server and displaying it on the augmented reality background;
A position on the augmented reality background where the object is displayed corresponds to a position of the user on a virtual reality space corresponding to the real space;
The step of displaying an object representing the user,
If the location of the object on the augmented reality background is within the screen, the object is displayed as a character model, and if the location of the object on the augmented reality background is outside the screen, the object is displayed as a name or symbol at the edge of the screen doing,
User interaction method based on digital twin. 삭제delete 제14 항에 있어서,
상기 사용자를 나타내는 객체를 표시하는 단계는,
자이로 센서를 이용하여 상기 캐릭터 모델의 표시 각도를 조정하는,
디지털 트윈 기반의 사용자 인터랙션 방법.According to claim 14,
The step of displaying an object representing the user,
Adjusting the display angle of the character model using a gyro sensor,
User interaction method based on digital twin. 삭제delete 프로세서;
상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
상기 컴퓨터 프로그램은,
현실 공간에 대응되는 디지털 트윈 정보를 저장하는 동작,
상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 동작,
상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 동작, 및
상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 동작을 수행하기 위한 인스트럭션들을 포함하고,
상기 제1 사용자의 인터랙션은,
상기 제1 사용자의 위치 이동을 포함하고,
상기 제2 사용자 단말은,
상기 제1 사용자의 인터랙션에 응답하여, 상기 제2 사용자 단말의 디스플레이 상에서 상기 제1 사용자에 대응되는 제1 객체를 상기 위치 이동에 대응되는 위치로 이동 표시하고,
상기 제1 사용자의 인터랙션을 수신하는 동작은,
상기 제1 사용자의 위치를 나타내는 LBS (Location Based Service) 정보 또는 GPS (Global Positioning System) 정보를 수신하는 동작, 및 상기 LBS 정보와 상기 GPS 정보 간 오차를 산출하는 동작을 포함하는,
디지털 트윈 기반의 사용자 인터랙션 장치.processor;
a memory for loading a computer program executed by the processor; and
Including a storage for storing the computer program,
The computer program,
An operation of storing digital twin information corresponding to real space;
An operation of providing a virtual reality environment to a first user terminal based on the digital twin information;
receiving a first user's interaction with the virtual reality environment; and
Includes instructions for performing an operation of providing the received interaction of the first user to a second user terminal;
The interaction of the first user,
Including movement of the location of the first user,
The second user terminal,
In response to the interaction of the first user, displaying a first object corresponding to the first user on a display of the second user terminal to a position corresponding to the position movement;
The operation of receiving the interaction of the first user,
Receiving LBS (Location Based Service) information or GPS (Global Positioning System) information indicating the location of the first user, and calculating an error between the LBS information and the GPS information,
User interaction device based on digital twin. 프로세서;
상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
상기 컴퓨터 프로그램은,
서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경을 수신하는 동작,
상기 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경을 표시하는 동작,
상기 가상 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및
상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 가상 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함하고,
상기 가상 현실 배경은,
상기 사용자가 위치한 상기 현실 공간을 모사한 것이고,
상기 객체의 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 사용자의 위치와 대응되고,
상기 사용자를 나타내는 객체를 표시하는 동작은,
상기 객체의 상기 가상 현실 배경 상의 위치가 미리 결정된 시야각 범위 이내 이면 상기 객체를 캐릭터 모델로써 표시하고, 상기 객체의 상기 가상 현실 배경 상의 위치가 미리 결정된 시야각 범위 밖이면 상기 객체를 명칭 또는 심볼로써 상기 시야각 범위의 가장자리에 표시하는,
디지털 트윈 기반의 사용자 인터랙션 장치.processor;
a memory for loading a computer program executed by the processor; and
Including a storage for storing the computer program,
The computer program,
Receiving a virtual reality environment based on digital twin information from a server;
displaying a virtual reality background corresponding to a real space based on the virtual reality environment;
displaying an object representing a user on the virtual reality background; and
Includes instructions for performing an operation of receiving the user's interaction from the server and displaying it on the virtual reality background;
The virtual reality background,
It simulates the real space where the user is located,
The position of the object on the virtual reality background corresponds to the position of the user in the real space;
The operation of displaying an object representing the user,
If the position of the object on the virtual reality background is within a predetermined viewing angle range, the object is displayed as a character model, and if the position of the object on the virtual reality background is outside the predetermined viewing angle range, the object is designated as a name or symbol at the viewing angle Marked on the edge of the range,
User interaction device based on digital twin. 프로세서;
상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
상기 컴퓨터 프로그램은,
카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 동작,
상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및
서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함하고,
상기 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 현실 공간에 대응되는 가상 현실 공간 상의 상기 사용자의 위치와 대응되고,
상기 사용자를 나타내는 객체를 표시하는 동작은,
상기 객체의 상기 증강 현실 배경 상의 위치가 상기 화면 이내 이면 상기 객체를 캐릭터 모델로써 표시하고, 상기 객체의 상기 증강 현실 배경 상의 위치가 상기 화면 밖이면 상기 객체를 명칭 또는 심볼로써 상기 화면의 가장자리에 표시하는,
디지털 트윈 기반의 사용자 인터랙션 장치.
processor;
a memory for loading a computer program executed by the processor; and
Including a storage for storing the computer program,
The computer program,
An operation of displaying an augmented reality background on a screen using an image taken of a real space through a camera;
displaying an object representing a user on the augmented reality background; and
Includes instructions for performing an operation of receiving the user's interaction from a server and displaying it on the augmented reality background;
A position on the augmented reality background where the object is displayed corresponds to a position of the user on a virtual reality space corresponding to the real space;
The operation of displaying an object representing the user,
If the location of the object on the augmented reality background is within the screen, the object is displayed as a character model, and if the location of the object on the augmented reality background is outside the screen, the object is displayed as a name or symbol at the edge of the screen doing,
User interaction device based on digital twin.
KR1020220027353A 2021-03-05 2022-03-03 Method and apparatus for user interaction based on digital twin KR102549072B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210029490 2021-03-05
KR1020210029490 2021-03-05

Publications (2)

Publication Number Publication Date
KR20220125694A KR20220125694A (en) 2022-09-14
KR102549072B1 true KR102549072B1 (en) 2023-06-29

Family

ID=83155502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220027353A KR102549072B1 (en) 2021-03-05 2022-03-03 Method and apparatus for user interaction based on digital twin

Country Status (2)

Country Link
KR (1) KR102549072B1 (en)
WO (1) WO2022186619A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230071732A (en) 2021-11-16 2023-05-23 박문관 Digital twin service providing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019518261A (en) * 2016-03-17 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント Watch a virtual reality environment associated with virtual reality (VR) user interactivity
JP2020514929A (en) * 2017-10-17 2020-05-21 広東工業大学Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｔｅｃｈｎｏｌｏｇｙ Method and system for quick custom design of smart factory

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923723B1 (en) * 2012-09-17 2018-11-29 한국전자통신연구원 Metaverse client terminal and method for providing metaverse space for user interaction
KR101576064B1 (en) * 2014-01-27 2015-12-10 국방과학연구소 A system and method for collecting positioning, navigation, timing information
WO2019084201A1 (en) * 2017-10-24 2019-05-02 Ge Inspection Technologies, Lp Monitoring multiple industrial machines
KR102240351B1 (en) * 2019-03-07 2021-04-14 주식회사 엘지유플러스 Apparatus and method for displaying augmented reality contents
KR102292276B1 (en) * 2019-07-16 2021-08-20 주식회사 엘지유플러스 System Operating Method For Broadcast Control And System of Thereof
KR102163378B1 (en) 2020-04-29 2020-10-08 동의대학교 산학협력단 Fitting image providing method using digital twin and augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019518261A (en) * 2016-03-17 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント Watch a virtual reality environment associated with virtual reality (VR) user interactivity
JP2020514929A (en) * 2017-10-17 2020-05-21 広東工業大学Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｔｅｃｈｎｏｌｏｇｙ Method and system for quick custom design of smart factory

Also Published As

Publication number Publication date
KR20220125694A (en) 2022-09-14
WO2022186619A1 (en) 2022-09-09

Similar Documents

Publication Publication Date Title
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
US11703993B2 (en) Method, apparatus and device for view switching of virtual environment, and storage medium
US10535116B2 (en) Shared virtual reality
Arth et al. The history of mobile augmented reality
CN109074441B (en) Gaze-based authentication
US10062212B2 (en) Method and device for providing augmented reality output
US10984595B2 (en) Method and apparatus for providing guidance in a virtual environment
WO2018177314A1 (en) Panoramic image display control method and apparatus, and storage medium
KR20220138398A (en) Creating Augmented Reality Sessions Using Skeleton Tracking
US8769437B2 (en) Method, apparatus and computer program product for displaying virtual media items in a visual media
CN104541271A (en) Generating scenes and tours from spreadsheet data
CN102695032A (en) Information processing apparatus, information sharing method, program, and terminal device
US20130281123A1 (en) Information-processing device, method, information-processing system, and computer-readable non-transitory storage medium
US20160284130A1 (en) Display control method and information processing apparatus
KR102549072B1 (en) Method and apparatus for user interaction based on digital twin
US11580658B2 (en) Spatial construction using guided surface detection
US10433105B2 (en) Geographically-driven group communications
CN110969159B (en) Image recognition method and device and electronic equipment
US20150007036A1 (en) Electronic device for sharing question message and method of controlling the electronic device
CN112788443B (en) Interaction method and system based on optical communication device
JP2013111190A (en) Game device and program
CN111897437A (en) Cross-terminal interaction method and device, electronic equipment and storage medium
KR20220125536A (en) System and operating method for providing mutual interaction service between virtual reality users and augmented reality users
KR102608117B1 (en) System and method for correcting image
US11796810B2 (en) Indication of presence awareness

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant