WO2022186619A1 - 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치 - Google Patents

디지털 트윈 기반의 사용자 인터랙션 방법 및 장치 Download PDF

Info

Publication number
WO2022186619A1
WO2022186619A1 PCT/KR2022/002994 KR2022002994W WO2022186619A1 WO 2022186619 A1 WO2022186619 A1 WO 2022186619A1 KR 2022002994 W KR2022002994 W KR 2022002994W WO 2022186619 A1 WO2022186619 A1 WO 2022186619A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
virtual reality
digital twin
interaction
displaying
Prior art date
Application number
PCT/KR2022/002994
Other languages
English (en)
French (fr)
Inventor
유철호
Original Assignee
주식회사 맘모식스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맘모식스 filed Critical 주식회사 맘모식스
Publication of WO2022186619A1 publication Critical patent/WO2022186619A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Definitions

  • the present invention relates to a digital twin-based user interaction method and apparatus. More particularly, it relates to a method and an apparatus for performing user-to-user interaction using a virtual space configured based on a digital twin.
  • VR virtual reality
  • AR augmented reality
  • augmented reality is a technology that overlays a three-dimensional virtual image on a real image and displays it as a single image.
  • the virtual reality application provides an experience environment to the user by interacting in a virtual space according to the user's actions delivered through separate equipment such as virtual reality glasses and motion recognition devices.
  • Augmented reality applications have a high sense of reality because objects in the real world and virtual objects interact.
  • a technical problem to be solved through some embodiments of the present invention is to provide a digital twin-based user interaction method and apparatus for exchanging interactions between users based on a virtual reality space built with digital twin technology .
  • Another technical problem to be solved through some embodiments of the present invention is to provide a digital twin-based user interaction method and apparatus capable of exchanging a natural interaction between a virtual reality terminal user and an augmented reality terminal user.
  • a digital twin-based user interaction method performed by a computer device for solving the above technical problem includes the steps of storing digital twin information corresponding to a real space, based on the digital twin information providing a virtual reality environment to a first user terminal, receiving a first user's interaction with the virtual reality environment, and providing the received first user's interaction to a second user terminal and the first user's interaction includes moving the first user's location, and the second user terminal corresponds to the first user on the display of the second user terminal in response to the first user's interaction.
  • the first object may be moved and displayed to a location corresponding to the location movement.
  • a digital twin-based user interaction method performed by a computing device for solving the above technical problem includes the steps of receiving a virtual reality environment based on digital twin information from a server, the virtual reality environment displaying a virtual reality background corresponding to the real space based on and wherein the virtual reality background simulates the real space in which the user is located, and the location of the object on the virtual reality background may correspond to the user's location in the real space.
  • an augmented reality background is displayed on a screen using an image captured in real space through a camera
  • the augmented reality in which the object is displayed comprising: displaying an object representing the user on the augmented reality background; and receiving the user's interaction from the server and displaying the user's interaction on the augmented reality background.
  • the location on the background may correspond to the location of the user in the virtual reality space corresponding to the real space.
  • a digital twin-based user interaction device includes a processor, a memory for loading a computer program executed by the processor, and a storage for storing the computer program Including, wherein the computer program stores digital twin information corresponding to a real space, provides a virtual reality environment to a first user terminal based on the digital twin information, and a first user for the virtual reality environment and instructions for performing an operation of receiving an interaction of , and an operation of providing the received interaction of the first user to a second user terminal, wherein the interaction of the first user causes the movement of the position of the first user Including, wherein the second user terminal in response to the interaction of the first user, on the display of the second user terminal, the first object corresponding to the first user can be moved to a position corresponding to the position movement and displayed have.
  • a digital twin-based user interaction device includes a processor, a memory for loading a computer program executed by the processor, and a storage for storing the computer program
  • the computer program comprising: receiving a virtual reality environment based on digital twin information from a server; displaying a virtual reality background corresponding to a real space based on the virtual reality environment; and a user on the virtual reality background and instructions for displaying an object representing It is simulated, and the location of the object on the virtual reality background may correspond to the location of the user on the real space.
  • a digital twin-based user interaction device includes a processor, a memory for loading a computer program executed by the processor, and a storage for storing the computer program Including, wherein the computer program includes an operation of displaying an augmented reality background on a screen using an image captured in real space through a camera, an operation of displaying an object representing a user on the augmented reality background, and and instructions for receiving a user's interaction and displaying it on the augmented reality background, wherein the position on the augmented reality background where the object is displayed is the user's position on the virtual reality space corresponding to the real space can be matched with
  • interactions between users can be exchanged with each other based on a virtual reality space built with digital twin technology.
  • a natural interaction can be exchanged between the virtual reality terminal user and the augmented reality terminal user, and the position and movement of the other user can be tracked and accurately expressed on the virtual reality terminal or the augmented reality terminal.
  • FIG. 1 is a diagram illustrating an entire system in which a digital twin-based user interaction method is performed according to an embodiment of the present invention.
  • 2 is a diagram for explaining the concept of a digital twin.
  • FIG. 3 is a diagram illustrating an exemplary form of the first user terminal of FIG. 1 .
  • FIG. 4 is a diagram illustrating an exemplary form of the second user terminal of FIG. 1 .
  • FIG. 5 is a flowchart illustrating a digital twin-based user interaction method according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining a method of adjusting a substitution ratio of a virtual reality environment, according to an embodiment of the present invention.
  • step S130 of FIG. 5 is a flowchart illustrating step S130 of FIG. 5 more concretely.
  • FIG. 8 is a diagram for further explaining step S132 of FIG. 7 .
  • FIG. 9 is a flowchart illustrating a digital twin-based user interaction method according to another embodiment of the present invention.
  • FIG. 10 is a diagram for explaining a method of displaying an object on a first user terminal in the embodiment of FIG. 9 .
  • FIG. 11 is a flowchart illustrating a digital twin-based user interaction method according to another embodiment of the present invention.
  • FIG. 12 and 13 are diagrams for explaining a method of displaying an object on a second user terminal in the embodiment of FIG. 11 .
  • FIG. 14 is a diagram illustrating an embodiment in which a map is displayed together on a second user terminal.
  • 15 is a block diagram illustrating an exemplary hardware configuration of a computing device in which various embodiments of the present invention are implemented.
  • FIG. 1 is a diagram illustrating an entire system in which a digital twin-based user interaction method is performed according to an embodiment of the present invention.
  • a server 100 a first user terminal 200 , and a second user terminal 300 may be interconnected through a network 10 .
  • the first user terminal 200 is a virtual reality terminal
  • the second user terminal 300 is an augmented reality terminal.
  • the first user terminal 200 or the second user terminal 300 may be implemented as a portable terminal or a portable computer.
  • the portable terminal is a wireless communication device that guarantees portability and mobility, and includes a Personal Communication System (PCS), a Global System for Mobile communications (GSM), a Personal Digital Cellular (PDC), a Personal Handyphone System (PHS), and a Personal Digital (PDA). Assistant), International Mobile Telecommunication (IMT)-2000, Code Division Multiple Access (CDMA)-2000, W-Code Division Multiple Access (W-CDMA), Wireless Broadband Internet (Wibro) terminals, etc. ) based wireless communication device.
  • Portable computers may include notebooks, laptops, and the like.
  • the first user terminal 200 or the second user terminal 300 may be various smart devices such as a smart phone, a smart note, a tablet PC, and a wearable computer.
  • the network 10 may be implemented as a wired network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN).
  • the network 10 may include any type of mobile radio communication network, satellite communication network, Bluetooth, Wireless Broadband Internet (Wibro), High Speed Downlink Packet Access (HSDPA), Long Term Evolution (LTE), and the like. It can be implemented as a wireless network of If necessary, the network 10 may be configured as a network in which wired and wireless are mixed.
  • the server 100 stores digital twin information corresponding to the real space, and provides a virtual reality environment to the first user terminal 200 based on the digital twin information.
  • a digital twin refers to a virtual reality environment that mimics the real space, and means that the background and components of the real space are implemented in the virtual reality. For example, as shown in FIG. 2 , a building, tree, structure, etc. of the real space 20 are simulated similarly to the real thing and implemented on the virtual reality space 30 is a digital twin. Digital twin information is defined as generally referring to information used to implement a digital twin.
  • the virtual reality environment collectively refers to digital elements used to implement virtual reality, and includes a virtual reality background, a virtual object, and other user experiences (UX).
  • the server 100 transfers a user interaction between the first user terminal 200 and the second user terminal 300 .
  • the server 100 receives the location information of the first user from the first user terminal 200 , calculates a location in real space corresponding thereto, and provides it to the second user terminal 300 .
  • the second user terminal 300 displays the first object representing the first user on the augmented reality background with reference to the location provided by the server.
  • the server 100 receives the interaction of the first user from the first user terminal 200 , and provides it to the second user terminal 300 .
  • the second user terminal 300 displays the provided first user's interaction to the second user through its screen.
  • the interaction of the first user may include movement of the first user's location, conversation, chatting, or gesture.
  • the server 100 receives the location information of the second user from the second user terminal 300 , calculates the corresponding location in the virtual reality space, and provides it to the first user terminal 200 .
  • the first user terminal 200 displays the second object representing the second user on the virtual reality background with reference to the location provided by the server.
  • the server 100 receives the second user's interaction from the second user terminal 300 and provides it to the first user terminal 200 .
  • the first user terminal 200 displays the provided second user's interaction to the first user through the virtual reality environment provided by the first user terminal 200 .
  • the second user's interaction may include the second user's location movement, conversation, chatting, or gesture.
  • FIG. 3 is a diagram illustrating an exemplary form of the first user terminal of FIG. 1 .
  • the first user terminal 200 is exemplified as a Head Mounted Display (HMD).
  • HMD Head Mounted Display
  • the first user terminal 200 displays the virtual reality environment 40 to the user based on the information provided by the server.
  • the first user terminal 200 is an HMD, but the scope of the present invention is not limited thereto.
  • the first user terminal 200 may be virtual reality glasses, a hologram display, or a virtual reality experience device that directly acts on human brain waves.
  • FIG. 4 is a diagram illustrating an exemplary form of the second user terminal of FIG. 1 .
  • the second user terminal 300 is exemplified as a smart phone.
  • the second user terminal 300 captures the real space 51 through a built-in camera (not shown), and displays the captured image as a background on its screen. Then, the augmented reality environment is provided to the user by overlaying and displaying the virtual object on the real space image of the screen.
  • the second user terminal 300 is illustrated as a smart phone, but the scope of the present invention is not limited thereto.
  • the second user terminal 300 may be a portable terminal equipped with an HMD, augmented reality glasses, or other display means in addition to a smart phone.
  • FIG. 5 is a flowchart illustrating a digital twin-based user interaction method according to an embodiment of the present invention.
  • the user interaction method of FIG. 5 is performed by the server 100 of FIG. 1 . Therefore, in the following steps, if the execution subject is not specified, it is assumed that the execution subject is the server 100 .
  • step S110 digital twin information corresponding to the real space is stored.
  • step S120 a virtual reality environment is provided to the first user terminal based on the digital twin information.
  • the first user terminal may display the virtual reality background to the first user based on the provided virtual reality environment and display a plurality of virtual objects thereon.
  • the virtual object may be an object representing a real object existing in real space.
  • the first user terminal displays an image simulating the real space as a virtual reality background, and displays a virtual object representing the second user on the displayed virtual reality background can do.
  • the location of the virtual object on the virtual reality background may be determined based on the location of the real object in real space.
  • each position in the virtual reality background may correspond to a specific position in the real space, respectively. In this case, if the real object is at the first position in the real space, the virtual object representing the real object is displayed at the second position on the virtual reality background corresponding to the first position.
  • the real object may be an augmented reality terminal, for example, a second user using the second user terminal 300 of FIG. 1
  • the virtual object may be a 3D character or a representative image representing the second user.
  • step S130 the first user's interaction with the virtual reality environment is received from the first user terminal.
  • the first user's interaction means an action, gesture, expression, or other action of the first user generated in response to the virtual reality environment provided by the first user terminal, and the first user's interaction is the first user's interaction. It is received from the server through the terminal.
  • the first user's interaction may include moving the first user's location.
  • information representing the location movement of the first user is the first user's interaction received by the server as
  • step S140 the received interaction of the first user is provided to the second user terminal.
  • the second user terminal responds to the provided first user's interaction and displays it to the second user.
  • the second user terminal is an augmented reality terminal.
  • the second user terminal captures a real space through a camera, and displays the augmented reality background on the screen using the captured image. Then, the second user terminal displays the augmented reality object corresponding to the first user on the augmented reality background displayed on the screen.
  • the position on the augmented reality background where the augmented reality object is displayed may correspond to the position of the first user in the virtual reality environment.
  • the augmented reality object is displayed in front of convenience store A even on the augmented reality background of the second user terminal.
  • the first user interaction is displayed through the current augmented reality screen in response thereto.
  • the second user terminal moves the first user's augmented reality object displayed on the screen of the second user terminal in response to the first user's interaction. Move to the position corresponding to .
  • the second user terminal responds to the location of the augmented reality object on the augmented reality background in front of convenience store A in the alley next to it move to display
  • the interaction of the first user is the movement of the position of the first user
  • the scope of the present invention is not limited thereto.
  • the interaction of the first user may include chatting, conversation, gesture, or status display of the first user in addition to moving the location.
  • step S150 the second user's interaction is received from the second user terminal, and the received second user's interaction is provided to the first user terminal.
  • Step S150 is a related step.
  • the server receives the second user interaction from the second user terminal and provides it to the first user terminal.
  • the second user interaction means an action, gesture, expression, or other action of the second user generated in response to the augmented reality environment provided by the second user terminal.
  • the first user terminal displays it on the virtual reality environment displayed by the first user terminal.
  • 6 is a view for explaining a method of adjusting a substitution ratio of a virtual reality environment, according to an embodiment of the present invention.
  • 6 exemplarily illustrates a method for determining a virtual object substitution ratio when a server or a first user terminal builds and implements a virtual reality environment.
  • the substitution ratio may be defined as a ratio of the location and size of the virtual object in the virtual reality environment to the location and size of the real object in the real space when the real object in the real space is expressed as the virtual object in the virtual reality environment.
  • a specific virtual reality background 60 when a specific virtual reality background 60 is set, a plurality of arbitrary points within the virtual reality background 60 are specified.
  • two points, A and B are specified, and the coordinates of each point on the virtual reality background 60 are A(100, 100) and B(200, 200).
  • real space coordinates are latitude and longitude
  • the real space coordinates of point A are 50 degrees latitude and 50 longitudes
  • the real space coordinates of point B are 60 degrees latitude and 60 degrees longitude.
  • the substitution ratio of the virtual object is determined based on the coordinates of the points A and B on the virtual reality background 60 and the corresponding coordinates in the real space. it is decided
  • the tree when a tree that is a real object is located at 55 degrees latitude and 55 degrees longitude, the tree is located in the middle between the real space coordinates of the point A and the real space coordinates of the point B in real space.
  • the substitution ratio of the virtual object 61 representing the tree is determined to be the same as the substitution ratio of the point A and the point B
  • the virtual object 61 on the virtual reality background 60 is halfway between the point A and the point B. It is located at the location (150, 160).
  • the size of the virtual object 61 may also be determined based on the substitution ratio of the points A and B. If the ratio of the distance on the virtual reality background 60 and the distance on the real space between the point A and the point B is calculated, the accumulation of the virtual reality background 60 and the real space can be calculated. A reduced value may be used as the size of the virtual object 61 .
  • step S130 of FIG. 5 is a flowchart illustrating step S130 of FIG. 5 more concretely.
  • a specific method for the server to receive the location of the first user terminal is described.
  • the method for receiving the location of the first user terminal is mainly described, but the same method may be applied to the second user terminal as well.
  • step S131 LBS (Location Based Service) information indicating the location of the first user, and/or GPS (Global Positioning System) information is received.
  • LBS Location Based Service
  • GPS Global Positioning System
  • the LBS information is information obtained by measuring the location of the first user terminal through a base station of a communication company, and the detailed configuration and operation of the LBS are well known in the art, and a detailed description thereof will be omitted.
  • the GPS information is information obtained by measuring the location of the first user terminal through a satellite system, and detailed configuration and operation of the GPS are well known in the art, and detailed description thereof will be omitted.
  • LBS information In general, the accuracy of LBS information is higher than that of GPS information. On the other hand, in terms of reception stability, GPS information is more stable than LBS information. This is because, in the case of LBS information, the connection between the first user terminal and the base station may be interrupted depending on the communication situation and more influenced by the topography.
  • LBS information or GPS information may be alternatively received, but in this embodiment, it is assumed that both LBS information and GPS information are received.
  • step S132 an error between the LBS information and the GPS information is calculated. This will be further described with reference to FIG. 8 .
  • FIG. 8 is a diagram illustrating a specific method of calculating an error between LBS information and GPS information. It is assumed that LBS information and GPS information indicating the location of the first user terminal are continuously received as shown in the left table 70 of FIG. 8 . In this case, the server calculates an error between the LBS information and the GPS information at each time point. Then, the average value of the errors calculated during that time, that is, the average error is calculated.
  • the average error may be used to correct the GPS information when determining the location of the first user terminal based on the GPS information. This will be specifically described.
  • the server provides the location information of the first user terminal to the second user terminal based on the LBS information and/or the GPS information. For example, as in step S140 above, when the interaction of the first user is provided to the second user terminal, location information of the first user terminal may be provided together.
  • the server when the LBS information is receivable, the server first provides the location information of the first user to the second user terminal based on the LBS information. This is because LBS information is more accurate than GPS information.
  • the server provides the location information of the first user to the second user terminal based on the GPS information.
  • the server corrects the GPS information based on the error between the pre-calculated LBS information and the GPS information and provides it as the location information of the first user. For example, when GPS information is (20, 20), (20, 19), which is a value obtained by subtracting a pre-calculated average error (0, 1), is provided as the location information of the first user.
  • the location of the first user may be provided again based on the LBS information.
  • the server when both LBS information and GPS information cannot be received, the server provides the location information of the first user based on the finally received LBS information or GPS information, or that the location information of the first user is not confirmed. provide the message to the second user terminal.
  • the second user terminal may output the virtual object to the finally confirmed position of the first user, and output a preset default animation or hand tracking motion together.
  • FIG. 9 is a flowchart illustrating a digital twin-based user interaction method according to another embodiment of the present invention.
  • the user interaction method of FIG. 9 is performed by the first user terminal 200 of FIG. 1 . Therefore, in the following steps, when the execution subject is not specified, it is assumed that the execution entity is the first user terminal 200 .
  • step S210 a virtual reality environment based on digital twin information is received from the server.
  • step S220 a virtual reality background corresponding to the real space is displayed based on the received virtual reality environment.
  • step S230 a virtual object representing the user is displayed on the virtual reality background.
  • the user may be a second user of the second user terminal connected to the first user terminal through the server.
  • step S240 the user's interaction is received from the server and displayed on the virtual reality background.
  • the virtual reality background may simulate the real space in which the second user is located, and the location of the virtual object on the virtual reality background may correspond to the location of the second user in the real space.
  • FIG. 10 is a diagram for further explaining the detailed contents of steps S230 and S240 of FIG. 9 .
  • FIG. 10 an example in which a virtual object 81 representing a second user is displayed on the virtual reality background 80 is illustrated.
  • the virtual object on the virtual reality background if the position of the virtual object on the virtual reality background is within the viewing angle range set in the first user terminal, the virtual object is displayed on the virtual reality background as a character model. On the other hand, when the position of the virtual object on the virtual reality background is outside the viewing angle range set in the first user terminal, the virtual object is displayed as a name or symbol at the edge of the viewing angle range.
  • the location of the virtual object 81 representing the second user on the virtual reality background 80 is within the viewing angle range of the first user terminal, and in this case, a character on the virtual reality background 80 displayed as a model.
  • the character model may be a 2D or 3D character model.
  • the virtual object 81 displayed as a character model on the virtual reality background 80 may display the name of the virtual object 81 nearby (here, 'mammo').
  • the virtual objects 82 , 83 , and 84 representing other users are located on the virtual reality background 80 outside the viewing angle range of the first user terminal, and the corresponding virtual objects 82 , 83 , 84 are names or symbols. Displayed at the edge of the field of view range.
  • the virtual object 82 deviated to the left is displayed on the left end line of the viewing angle
  • the virtual objects 83 and 84 deviated to the right is indicated on the right end line of the viewing angle.
  • each virtual object may be displayed in alignment with the corresponding end line. Referring to FIG. 8 , it can be seen that the two virtual objects 83 and 84 deviated from the viewing angle to the right are aligned and displayed on the right end line.
  • the name of the corresponding virtual object may be displayed (here, 'Pairi', 'Ace', 'Korean').
  • the first user terminal may display the received user interaction in association with the virtual object. For example, when a text output interaction is received from the user terminal corresponding to the 'Pyree' virtual object 82, the first user terminal displays the 'Pyri' virtual object 82 on the virtual reality background 80, A 'speech balloon icon' indicating text output may be displayed in the virtual object 82 together. Alternatively, when a voice output interaction is received from the user terminal corresponding to the 'Pyri' virtual object 82, the first user terminal may display a 'loudpeaker icon' indicating voice output instead of the 'speech bubble icon'. It can be displayed in the virtual object 82 .
  • a virtual object representing the first user who is a user of the first user terminal may also be displayed on the virtual reality background.
  • the account of the first user is authenticated through the login procedure.
  • the location coordinates of the first user or the final coordinates previously recorded are checked.
  • the location coordinates of the first user may be simultaneously confirmed by GPS information and LBS information. If there is no previously recorded final coordinates for the first user, a default location may be determined as the location of the first user.
  • a virtual reality background including the location coordinates or final coordinates of the first user is generated. If the digital twin is not implemented for the area corresponding to the location coordinates or final coordinates of the first user, 'not a service area' may be displayed and moved to an arbitrary virtual reality background.
  • the first user enters a predetermined network channel through which user-to-user communication is possible.
  • a new channel is created, and the first user can enter the new channel.
  • Virtual object information corresponding to the first user is loaded.
  • the virtual object information may include information such as a design of a 3D character model, clothes, possessions, or an inventory table.
  • a virtual reality background including the position coordinates or final coordinates of the first user is displayed, and a virtual object representing the first user is displayed at a position corresponding to the position coordinates or final coordinates of the first user.
  • LBS information or GPS information may be recorded at a predetermined time interval, and may be set to store information up to a predetermined number of times. For example, if it is set to store LBS information or GPS information accumulated up to 10 times, when the 11th LBS information or GPS information is received, instead of storing the 11th LBS information or GPS information, the 1st LBS information or GPS information may be deleted.
  • the movement can be restricted so that the virtual object cannot go out of the service range of the server, it cannot proceed further when it reaches the edge of the service range, or the virtual object can be warped to a specific point within the service range.
  • the second user may be a user of the augmented reality terminal connected to the first user terminal.
  • the virtual object information of the second user is loaded.
  • the virtual object information may include information such as a design of a 3D character model or clothes.
  • the virtual object representing the second user is displayed at the position on the virtual reality background corresponding to the position coordinates of the second user or the final coordinates.
  • the change of the position coordinates of the second user is checked periodically, and when the position coordinates are changed, the virtual object of the second user is moved and displayed to a position corresponding thereto.
  • a movement animation may be reproduced together with the display of the movement path.
  • a 'default animation' may be played on the character model of the virtual object.
  • a system message informing it when a new third user joins a channel in which the first user participates, a system message informing it may be displayed.
  • a system message notifying the user when an existing third user leaves a channel in which the first user participates, a system message notifying the user may be displayed.
  • a system message informing it when a new channel is created in relation to the virtual reality background displayed by the first user terminal, a system message informing it may be displayed.
  • FIG. 11 is a flowchart illustrating a digital twin-based user interaction method according to another embodiment of the present invention.
  • the user interaction method of FIG. 11 is performed by the second user terminal 300 of FIG. 1 . Accordingly, in the following steps, if the execution subject is not specified, it is assumed that the execution entity is the second user terminal 300 .
  • step S310 the augmented reality background is displayed on the screen using the image captured in real space through the camera.
  • step S320 the augmented reality object representing the user is displayed on the augmented reality background displayed on the screen.
  • the user may be a first user of the first user terminal connected to the second user terminal via a server.
  • step S330 the user's interaction is received from the server and displayed on the augmented reality background.
  • the augmented reality background is generated based on the image captured by the second user terminal through the camera, and the position of the augmented reality object on the augmented reality background corresponds to the position of the first user in real space or virtual reality environment. It could be Meanwhile, since the meanings and correlations of the virtual reality environment, the virtual reality background, and the real space have already been described in detail above, additional descriptions are omitted here to avoid duplication of description.
  • FIG. 12 and 13 are diagrams for explaining a method of displaying an object on a second user terminal in the embodiment of FIG. 11 .
  • the augmented reality object on the augmented reality background is displayed on the augmented reality background as a character model.
  • the corresponding augmented reality object is displayed on the edge of the screen as a name or symbol.
  • the augmented reality object 91 representing the first user is positioned on the augmented reality background 90 within the screen of the second user terminal, and in this case, the augmented reality object 91 is It is displayed as a character model on the real background 90 .
  • the character model may be a 2D or 3D character model.
  • the augmented reality object 81 displayed as a character model on the augmented reality background 90 may display the name of the augmented reality object 91 nearby (here, 'six').
  • the augmented reality objects 92 , 93 , and 94 representing other users are located outside the screen of the second user terminal on the augmented reality background 90 , and the corresponding virtual objects 92 , 93 , 94 are names or symbols. displayed on the edge of the screen.
  • the augmented reality object 92 deviated to the left with respect to the screen of the second user terminal is displayed on the left edge of the screen
  • the augmented reality objects 93 and 94 deviated to the right with respect to the screen of the second user terminal. is displayed on the left edge of the screen.
  • each augmented reality object may be displayed in alignment with the corresponding edge of the screen. Referring to FIG. 12 , it can be seen that the two augmented reality objects 93 and 984 deviated to the right of the screen are aligned and displayed on the right edge of the screen.
  • the names of the corresponding augmented reality objects may be displayed (here, 'Pairi', 'Ace', 'Korean'). ).
  • the second user terminal may display the received user interaction in association with the augmented reality object. For example, when a text output interaction is received from the user terminal corresponding to the augmented reality object 92 of 'Pyri', the second user terminal displays the augmented reality object 92 of 'Pyri' on the augmented reality background 90 and a 'speech bubble icon' indicating text output in the augmented reality object 92 may be displayed together. Alternatively, when a voice output interaction is received from the user terminal corresponding to the 'Pyri' augmented reality object 92, the second user terminal may display a 'loudpeaker icon' indicating voice output instead of the 'speech bubble icon'.
  • the second user terminal may adjust a display angle of the character model of the augmented reality object using a gyro sensor. This will be further described with reference to FIG. 13 .
  • the second user terminal is an augmented reality terminal and shows an augmented reality background based on an image captured by a camera. Accordingly, when the second user terminal is inclined, the axis D1 of the screen of the second user terminal and the vertical axis D2 of the augmented reality background are misaligned. In this case, as in the case of general video playback, when the augmented reality object is displayed based on the second user terminal, an inconvenience may occur in that the augmented reality object is tilted and displayed on the augmented reality background.
  • the second user terminal detects the direction of gravity using the gyro sensor and displays the augmented reality object 91 in the opposite direction D2.
  • the problem that the augmented reality object is displayed at an angle on the augmented reality background can be solved.
  • the account of the second user is authenticated through the login procedure.
  • the second user's location coordinates or previously recorded final coordinates are checked.
  • the location coordinates of the second user may be simultaneously confirmed by GPS information and LBS information. If there is no previously recorded final coordinates for the second user, a default location may be determined as the location of the second user.
  • the virtual reality background including the location coordinates or final coordinates of the second user is identified, and the camera function of the second user terminal is executed. If the digital twin is not implemented for the area corresponding to the location coordinates or final coordinates of the second user, 'not a service area' may be displayed and the area may be separately classified as an unidentified area.
  • the second user enters a predetermined network channel through which user-to-user communication is possible.
  • a new channel is created, and the second user can enter the new channel.
  • the user information may include information such as a design of a 3D character model, clothes, possessions, or an inventory table.
  • LBS information or GPS information may be recorded at a predetermined time interval, and may be set to store information up to a predetermined number of times. For example, if it is set to store LBS information or GPS information accumulated up to 10 times, when the 11th LBS information or GPS information is received, instead of storing the 11th LBS information or GPS information, the 1st LBS information or GPS information may be deleted.
  • a message indicating that the second user terminal is not in the service area may be output on the screen of the second user terminal.
  • the first user may be a user of the virtual reality terminal connected to the second user terminal.
  • the augmented reality object information of the first user is loaded.
  • the augmented reality object information may include information such as a design of a 3D character model or clothes.
  • the augmented reality object representing the first user is displayed at the position on the augmented reality background corresponding to the position coordinates of the first user or the final coordinates.
  • the display angle of the augmented reality object of the first user may be adjusted based on the measurement value of the gyro sensor.
  • the change of the position coordinates of the first user is checked periodically, and when the position coordinates change, the augmented reality object of the first user is moved and displayed to a position corresponding thereto.
  • a moving animation may be played along with the display of the moving path.
  • a 'default animation' may be played on the character model of the augmented reality object.
  • a system message informing it when a new third user joins a channel in which the second user participates, a system message informing it may be displayed.
  • a system message notifying the user when an existing third user leaves a channel in which the second user participates, a system message notifying the user may be displayed.
  • a system message informing it when a new channel is created in relation to the augmented reality background displayed by the second user terminal, a system message informing it may be displayed.
  • the present invention can be applied in various ways in real life. This will be further described with one specific example.
  • User P is a virtual reality terminal user and is located on the 10th floor of the Heaven Building.
  • User Q is an augmented reality terminal user and is located at Exit 2 of Sky Station near the Heaven Building.
  • the virtual reality terminal When user P accesses the server through the virtual reality terminal, the virtual reality terminal displays a virtual reality environment simulating Sky Station No. 2 based on the digital twin. Then, the virtual reality terminal is connected to the augmented reality terminal of the user Q to receive the location of the user Q, and display the user Q at the corresponding location in the virtual reality environment.
  • User Q also accesses the server through the augmented reality terminal, and the augmented reality terminal is connected to the virtual reality terminal of the user P to receive the position of the user P, and displays the user P at the corresponding position on the augmented reality background.
  • the augmented reality terminal is connected to the virtual reality terminal of the user P to receive the position of the user P, and displays the user P at the corresponding position on the augmented reality background.
  • user P wants to guide user Q to the 10th floor of the heaven building where he is currently located, user P expresses his intention to follow him, and takes the path from Sky Station Exit 2 to the 10th floor of the heaven building by himself.
  • the user Q may follow the movement path guided by the user P while viewing the augmented reality object that is moved and displayed according to the location movement of the user P through his or her augmented reality terminal screen.
  • a non-face-to-face tour guide service where guides connect at home and tourists connect in real life to interact with each other
  • a lost child guide service that guides a lost child to a house or police station
  • a first-time visitor when there is an elderly person with dementia on the road The present invention can also be applied to a service for guiding the elderly with dementia to their home easily.
  • the augmented reality terminal may further display a map MAP indicating a movement path guided by the user of the virtual reality terminal. This will be further described with reference to FIG. 14 .
  • FIG. 14 a display screen of the second user terminal 400 which is an augmented reality terminal is shown in FIG. 14 ( a ).
  • the second user terminal 400 may display the augmented reality background 401 based on an image captured by its own camera, and display the augmented reality object 402 representing the first user thereon.
  • the first user may be a user of the first user terminal, which is a virtual reality terminal.
  • the second user sees the screen of the second user terminal 400 and may follow the route to the destination according to the guidance of the augmented reality object 402 .
  • the second user terminal 400 may display a map indicating a movement path that the first user wants to guide.
  • the map displays and guides the movement path of the second user terminal from a first point (eg, current location) to a second point (eg, destination).
  • FIG. 14 (b) shows an example in which the map 410 is displayed together in a partial area of the augmented reality background
  • Fig. 14 (c) shows an example in which the augmented reality background is removed and the map 420 is displayed in a larger size. do.
  • the map 420 includes a symbol 421 indicating the current location of the second user terminal 400, a line 422 indicating a path from the current location to the destination, Alternatively, symbols indicating other objects 423 , 424 , and 425 located near the movement path may be displayed.
  • the other objects 423 , 424 , and 425 are objects representing other users participating in the same channel as the second user, objects representing major milestones installed on the moving path, or objects representing landmarks around the moving path.
  • the second user can more easily follow the directions of the first user with reference to the maps 410 and 420 .
  • the case of displaying the map on the second user terminal 400 that is the augmented reality terminal has been described, but conversely, it is also possible to display the map on the first user terminal that is the virtual reality terminal. If the augmented reality screen of the second user and the virtual reality environment that the first user can see do not match each other due to the reason that the digital twin is not implemented for the corresponding real space, the first user also guides the way to the second user Because it can be difficult to do.
  • the first user terminal may display a map for route guidance on the virtual reality environment, and the first user may transmit a user interaction for route guidance to the second user while viewing the displayed map.
  • the computing device 500 of FIG. 15 may be the server 100 , the first user terminal 200 , or the second user terminal 300 of FIG. 1 .
  • 15 is an exemplary hardware configuration diagram illustrating the computing device 500 .
  • the computing device 500 loads one or more processors 510 , a bus 550 , a communication interface 570 , and a computer program 591 executed by the processor 510 . and a storage 590 for storing a memory 530 and a computer program 591 .
  • FIG. 15 only the components related to the embodiment of the present invention are illustrated in FIG. 15 . Accordingly, those skilled in the art to which the present invention pertains can see that other general-purpose components other than the components shown in FIG. 15 may be further included.
  • the processor 510 controls the overall operation of each component of the computing device 500 .
  • the processor 510 includes at least one of a central processing unit (CPU), a micro processor unit (MPU), a micro controller unit (MCU), a graphic processing unit (GPU), or any type of processor well known in the art. may be included.
  • the processor 510 may perform an operation on at least one application or program for executing the method/operation according to various embodiments of the present disclosure.
  • Computing device 500 may include one or more processors.
  • the memory 530 stores various data, commands and/or information.
  • the memory 530 may load one or more programs 591 from the storage 590 to execute methods/operations according to various embodiments of the present disclosure.
  • An example of the memory 530 may be a RAM, but is not limited thereto.
  • the bus 550 provides communication between components of the computing device 500 .
  • the bus 550 may be implemented as various types of buses, such as an address bus, a data bus, and a control bus.
  • the communication interface 570 supports wired/wireless Internet communication of the computing device 500 .
  • the communication interface 570 may support various communication methods other than Internet communication.
  • the communication interface 570 may be configured to include a communication module well known in the art.
  • the storage 590 may non-temporarily store one or more computer programs 591 .
  • the storage 590 is a non-volatile memory such as a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, or well in the art to which the present invention pertains. It may be configured to include any known computer-readable recording medium.
  • the computer program 591 may include one or more instructions in which methods/operations according to various embodiments of the present invention are implemented.
  • the computer program 591 may perform an operation of storing digital twin information corresponding to a real space, an operation of providing a virtual reality environment to the first user terminal based on the digital twin information, and an operation of providing a virtual reality environment to the first user terminal based on the digital twin information. It may include instructions for performing an operation of receiving an interaction of one user and an operation of providing the received interaction of the first user to a second user terminal.
  • the computer program 591 may perform an operation of receiving a virtual reality environment based on digital twin information from a server, displaying a virtual reality background corresponding to a real space based on the virtual reality environment, and a user on the virtual reality background. It may include instructions for performing an operation of displaying an object representing , and an operation of receiving the user's interaction from the server and displaying it on the virtual reality background.
  • the computer program 591 may perform an operation of displaying an augmented reality background on a screen using an image captured in real space through a processor camera, an operation of displaying an object representing a user on the augmented reality background, and an operation from the server It may include instructions for performing an operation of receiving the user's interaction and displaying it on the augmented reality background.
  • the processor 510 may execute the one or more instructions to perform methods/operations according to various embodiments of the present disclosure.
  • the technical ideas of the present invention described so far may be implemented as computer-readable codes on a computer-readable medium.
  • the computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disk, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk).
  • ROM, RAM, computer-equipped hard disk can
  • the computer program recorded in the computer-readable recording medium may be transmitted to another computing device through a network such as the Internet and installed in the other computing device, thereby being used in the other computing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Tourism & Hospitality (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Geometry (AREA)
  • Primary Health Care (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

프로세서; 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 동작, 상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함하고, 상기 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 현실 공간에 대응되는 가상 현실 공간 상의 상기 사용자의 위치와 대응되는, 디지털 트윈 기반의 사용자 인터랙션 장치.

Description

디지털 트윈 기반의 사용자 인터랙션 방법 및 장치
본 발명은 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치에 관한 것이다. 보다 자세하게는, 디지털 트윈을 기반으로 구성된 가상 공간을 이용하여 사용자 간 인터랙션을 수행하는 방법 및 장치에 관한 것이다.
인간의 경험을 공유하고 확장하는 도구로써 최근 가상 현실(Virtual Reality, VR)과 증강현실(Augmented Reality, AR)이 주목을 받고 있다.
가상 현실은 배경과 객체로 구성된 가상의 이미지로 가상공간을 만들어내지만, 증강 현실은 현실의 이미지에 3차원 가상 이미지를 겹쳐 하나의 영상으로 보여주는 기술이다.
가상 현실 애플리케이션은 가상현실용 안경, 모션 인식장치 등 별도의 장비를 통해 전달된 사용자의 행위에 따라 가상의 공간에서 상호작용하며 사용자에게 체험환경을 제공한다. 증강 현실 애플리케이션은 현실 세계의 객체와 가상의 객체가 상호작용하여 현실감이 높다.
최근에는 3차원 렌더링(Rendering) 등 컴퓨터 그래픽스(Computer Graphics) 기술과 고속/병렬 처리 기술 등 소프트웨어 및 하드웨어 기술의 발전으로 인해, 가상 현실 및 증강 현실 기술이 이용된 다양한 애플리케이션들이 개발되고 있다. 게임, 산업 등 다양한 업계에서도 가상 현실과 증강 현실 기술들을 이용한 애플리케이션 개발에 관심을 갖고 있다.
본 발명의 몇몇 실시예를 통해 해결하고자 하는 기술적 과제는, 디지털 트윈 기술로 구축된 가상 현실 공간을 기반으로 사용자간 인터랙션을 서로 주고 받을 수 있도록 하는 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치를 제공하는 것이다.
본 발명의 몇몇 실시예를 통해 해결하고자 하는 다른 기술적 과제는, 가상 현실 단말 사용자와 증강 현실 단말 사용자 간에도 자연스러운 인터랙션을 주고 받을 수 있는 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치를 제공하는 것이다.
본 발명의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 상대방 사용자의 위치 및 이동을 추적하여 가상 현실 단말 또는 증강 현실 단말 상에 정확히 표현할 수 있는 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치를 제공하는 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 컴퓨터 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법은 현실 공간에 대응되는 디지털 트윈 정보를 저장하는 단계, 상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 단계, 상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 단계, 및 상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 단계를 포함하고, 상기 제1 사용자의 인터랙션은 상기 제1 사용자의 위치 이동을 포함하고, 상기 제2 사용자 단말은 상기 제1 사용자의 인터랙션에 응답하여 상기 제2 사용자 단말의 디스플레이 상에서 상기 제1 사용자에 대응되는 제1 객체를 상기 위치 이동에 대응되는 위치로 이동 표시할 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 컴퓨팅 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법은, 서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경을 수신하는 단계, 상기 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경을 표시하는 단계, 상기 가상 현실 배경 상에 사용자를 나타내는 객체를 표시하는 단계, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 가상 현실 배경 상에 표시하는 단계를 포함하고, 상기 가상 현실 배경은 상기 사용자가 위치한 상기 현실 공간을 모사한 것이고, 상기 객체의 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 사용자의 위치와 대응될 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 컴퓨팅 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법은, 카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 단계, 상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 단계, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 단계를 포함하고, 상기 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 현실 공간에 대응되는 가상 현실 공간 상의 상기 사용자의 위치와 대응될 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 디지털 트윈 기반의 사용자 인터랙션 장치는 프로세서, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리, 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은 현실 공간에 대응되는 디지털 트윈 정보를 저장하는 동작, 상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 동작, 상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 동작, 및 상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 동작을 수행하기 위한 인스트럭션들을 포함하고, 상기 제1 사용자의 인터랙션은 상기 제1 사용자의 위치 이동을 포함하고, 상기 제2 사용자 단말은 상기 제1 사용자의 인터랙션에 응답하여, 상기 제2 사용자 단말의 디스플레이 상에서 상기 제1 사용자에 대응되는 제1 객체를 상기 위치 이동에 대응되는 위치로 이동 표시할 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 디지털 트윈 기반의 사용자 인터랙션 장치는 프로세서, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리, 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은 서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경을 수신하는 동작, 상기 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경을 표시하는 동작, 상기 가상 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 가상 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함하고, 상기 가상 현실 배경은 상기 사용자가 위치한 상기 현실 공간을 모사한 것이고, 상기 객체의 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 사용자의 위치와 대응될 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 디지털 트윈 기반의 사용자 인터랙션 장치는 프로세서, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리, 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은 카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 동작, 상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함하고, 상기 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 현실 공간에 대응되는 가상 현실 공간 상의 상기 사용자의 위치와 대응될 수 있다.
상기한 본 발명의 실시예들에 따르면, 디지털 트윈 기술로 구축된 가상 현실 공간을 기반으로 사용자간 인터랙션을 서로 주고 받을 수 있다.
또한, 가상 현실 단말 사용자와 증강 현실 단말 사용자 간에 자연스러운 인터랙션을 주고 받을 수 있으며, 상대방 사용자의 위치 및 이동을 추적하여 가상 현실 단말 또는 증강 현실 단말 상에 정확히 표현할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법이 수행되는 전체 시스템을 나타내는 도면이다.
도 2는 디지털 트윈의 개념을 설명하기 위한 도면이다.
도 3은 도 1의 제1 사용자 단말의 예시적인 형태를 나타내는 도면이다.
도 4는 도 1의 제2 사용자 단말의 예시적인 형태를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른, 가상 현실 환경의 대입비율을 조정하는 방법을 설명하는 도면이다.
도 7은 도 5의 S130 단계를 더욱 구체화한 순서도이다.
도 8은 도 7의 S132 단계를 부연설명하기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다.
도 10은 도 9의 실시예에서 제1 사용자 단말 상에 객체가 표시되는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다.
도 12 및 도 13은 도 11의 실시예에서 제2 사용자 단말 상에 객체가 표시되는 방법을 설명하기 위한 도면이다.
도 14는 제2 사용자 단말 상에 지도가 함께 표시되는 실시예를 나타내는 도면이다.
도 15는 본 발명의 다양한 실시예들이 구현되는 컴퓨팅 장치의 예시적인 하드웨어 구성을 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법이 수행되는 전체 시스템을 나타내는 도면이다. 도 1을 참조하면, 서버(100), 제1 사용자 단말(200), 및 제2 사용자 단말(300)은 네트워크(10)를 통해 상호 연결될 수 있다. 본 실시예에서, 제1 사용자 단말(200)은 가상 현실 단말이고, 제2 사용자 단말(300)은 증강 현실 단말인 것으로 가정된다.
제1 사용자 단말(200), 또는 제2 사용자 단말(300)은 휴대용 단말기 또는 휴대용 컴퓨터로 구현될 수 있다. 여기서, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 휴대용 컴퓨터는 노트북, 랩톱(laptop) 등을 포함할 수 있다.
또한, 제1 사용자 단말(200), 또는 제2 사용자 단말(300)은 스마트폰, 스마트 노트, 태블릿 PC, 웨어러블(wearable) 컴퓨터 등의 각종 스마트 기기일 수도 있다.
네트워크(10)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network, WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크로 구현될 수 있다. 또는, 네트워크(10)는 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. 필요에 따라서, 네트워크(10)는 유선 및 무선이 혼용된 네트워크로 구성될 수 있다.
서버(100)는 현실 공간에 대응되는 디지털 트윈 정보를 저장하고, 상기 디지털 트윈 정보를 기초하여 제1 사용자 단말(200)에 가상 현실 환경을 제공한다.
디지털 트윈은 현실 공간을 모사(模寫)한 가상 현실 환경을 지칭하는 것으로, 현실 공간의 배경 및 구성물들을 가상 현실 상에 구현해 놓은 것을 의미한다. 예를 들어, 도 2에 도시된 것과 같이, 현실 공간(20)의 건물, 나무, 구조물 등을 실물과 유사하게 모사하여 가상 현실 공간(30) 상에 구현한 것이 디지털 트윈이다. 디지털 트윈 정보는 디지털 트윈을 구현하기 위해 이용되는 정보를 일반적으로 지칭하는 것으로 정의된다.
가상 현실 환경은 가상 현실 구현에 이용되는 디지털 요소를 통칭하는 의미로, 가상 현실 배경, 가상 객체, 및 그 밖의 사용자 경험(user experience, UX)을 포함한다.
서버(100)는 제1 사용자 단말(200)과 제2 사용자 단말(300) 사이에서 사용자 인터랙션을 전달한다.
가령, 서버(100)는 제1 사용자 단말(200)로부터 제1 사용자의 위치 정보를 수신하고, 그에 대응되는 현실 공간 상 위치를 산출하여 제2 사용자 단말(300)에 제공한다. 제2 사용자 단말(300)은 서버가 제공하는 위치를 참조하여 증강 현실 배경 상에 제1 사용자를 나타내는 제1 객체를 표시하게 된다.
그리고, 서버(100)는 제1 사용자 단말(200)로부터 제1 사용자의 인터랙션을 수신하고, 이를 제2 사용자 단말(300)에 제공한다. 제2 사용자 단말(300)은 제공된 제1 사용자의 인터랙션을 자신의 화면을 통해 제2 사용자에게 표시한다. 이때, 제1 사용자의 인터랙션은 제1 사용자의 위치 이동, 대화, 채팅, 또는 몸짓 등을 포함할 수 있다.
또는, 서버(100)는 제2 사용자 단말(300)로부터 제2 사용자의 위치 정보를 수신하고, 그에 대응되는 가상 현실 공간 상 위치를 산출하여 제1 사용자 단말(200)에 제공한다. 제1 사용자 단말(200)은 서버가 제공하는 위치를 참조하여 가상 현실 배경 상에 제2 사용자를 나타내는 제2 객체를 표시하게 된다.
그리고, 서버(100)는 제2 사용자 단말(300)로부터 제2 사용자의 인터랙션을 수신하고, 이를 제1 사용자 단말(200)에 제공한다. 제1 사용자 단말(200)은 제공된 제2 사용자의 인터랙션을 자신이 제공하는 가상 현실 환경을 통해 제1 사용자에게 표시한다. 이때, 제2 사용자의 인터랙션은 제2 사용자의 위치 이동, 대화, 채팅, 또는 몸짓 등을 포함할 수 있다.
도 3은 도 1의 제1 사용자 단말의 예시적인 형태를 나타내는 도면이다.
도 3의 실시예에서, 제1 사용자 단말(200)은 HMD(Head Mounted Display)인 것으로 예시된다. 사용자가 제1 사용자 단말(200)을 머리에 착용하면, 제1 사용자 단말(200)은 서버가 제공하는 정보를 기초로 사용자에게 가상 현실 환경(40)을 표시한다.
한편, 본 실시예에서는 제1 사용자 단말(200)이 HMD인 것을 예시하였지만, 본 발명의 범위는 이에 한정되지 않는다. 예를 들어, 제1 사용자 단말(200)은 HMD 외에도 가상 현실 안경, 홀로그램 디스플레이, 또는 인간의 뇌파에 직접 작용하는 가상 현실 체험 장치 등이 될 수도 있다.
도 4는 도 1의 제2 사용자 단말의 예시적인 형태를 나타내는 도면이다.
도 4의 실시예에서, 제2 사용자 단말(300)은 스마트폰(Smart Phone)인 것으로 예시된다. 제2 사용자 단말(300)은 내장된 카메라(미도시)를 통해 현실 공간(51)을 촬영하고, 촬영된 영상을 자신의 화면에 배경으로 표시한다. 그리고, 화면의 현실 공간 영상 위에 가상 객체를 덧씌워 표시함으로써 사용자에게 증강 현실 환경을 제공한다.
한편, 본 실시예에서는 제2 사용자 단말(300)이 스마트폰인 것을 예시하였지만, 본 발명의 범위는 이에 한정되지 않는다. 예를 들어, 제2 사용자 단말(300)은 스마트폰 외에도 HMD, 증강 현실 안경, 또는 그 밖의 표시 수단을 구비한 휴대용 단말 등이 될 수도 있다.
도 5는 본 발명의 일 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다. 도 5의 사용자 인터랙션 방법은 도 1 의 서버(100)에 의해 수행된다. 따라서, 이하의 단계들에서 수행 주체가 명시되지 않은 경우, 그 수행 주체는 상기 서버(100)인 것으로 전제된다.
S110 단계에서, 현실 공간에 대응되는 디지털 트윈 정보가 저장된다.
S120 단계에서, 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경이 제공된다.
제1 사용자 단말은 제공된 가상 현실 환경에 기초하여, 제1 사용자에게 가상 현실 배경을 표시하고 그 위에 다수의 가상 객체를 표시할 수 있다.
일 실시예로서, 상기 가상 객체는 현실 공간에 존재하는 현실 객체를 나타내는 객체일 수 있다. 예를 들어, 특정 현실 공간에 제2 사용자가 위치하고 있는 경우, 제1 사용자 단말은 해당 현실 공간을 모사한 이미지를 가상 현실 배경으로서 표시하고, 표시된 가상 현실 배경 위에 제2 사용자를 나타내는 가상 객체를 표시할 수 있다.
이 경우, 가상 현실 배경 상의 가상 객체의 위치는 현실 객체의 현실 공간 상 위치에 기초하여 결정될 수 있다. 본 실시예에서, 가상 현실 배경은 현실 공간을 모사한 것이므로, 가상 현실 배경 내의 각 위치는 현실 공간 상의 특정 위치와 각각 대응될 수 있다. 이 경우, 현실 객체가 현실 공간 상의 제1 위치에 있으면, 현실 객체를 나타내는 가상 객체는 상기 제1 위치에 대응하는 가상 현실 배경 상 위치인 제2 위치에 표시되게 된다.
일 실시예로서, 상기 현실 객체는 증강 현실 단말, 예를 들어 도 1의 제2 사용자 단말(300)을 이용하는 제2 사용자일 수 있고, 상기 가상 객체는 제2 사용자를 나타내는 3D 캐릭터 또는 대표 이미지일 수 있다.
S130 단계에서, 제1 사용자 단말로부터 가상 현실 환경에 대한 제1 사용자의 인터랙션이 수신된다.
제1 사용자의 인터랙션은, 제1 사용자 단말이 제공하는 가상 현실 환경에 반응하여 발생된 제1 사용자의 행동, 몸짓, 표현, 또는 그 밖의 작용을 의미하는 것으로, 제1 사용자의 인터랙션은 제1 사용자 단말을 통해 서버로 수신된다.
일 실시예로서, 제1 사용자의 인터랙션은 제1 사용자의 위치 이동을 포함할 수 있다. 예를 들어, 제1 사용자가 자신이 위치한 현실 공간 상에서 또는 가상 현실 환경 상에서 위치를 이동하면, 제1 사용자의 위치 이동을 나타내는 정보, 예를 들어 제1 사용자의 변화된 위치 좌표가 제1 사용자의 인터랙션으로서 서버로 수신된다.
S140 단계에서, 수신된 제1 사용자의 인터랙션이 제2 사용자 단말에 제공된다. 제2 사용자 단말은 제공된 제1 사용자의 인터랙션에 응답하여, 이를 제2 사용자에게 표시한다.
이에 대해, 제2 사용자 단말이 증강 현실 단말인 경우를 예로 들어 부연 설명한다.
먼저, 제2 사용자 단말은 카메라를 통해 현실 공간을 촬영하고, 그 촬영된 영상을 이용하여 화면상에 증강 현실 배경을 표시한다. 그리고, 제2 사용자 단말은 화면에 표시된 증강 현실 배경 상에 제1 사용자에 대응하는 증강 현실 객체를 표시한다. 이때, 상기 증강 현실 객체가 표시되는 증강 현실 배경 상의 위치는 가상 현실 환경에서의 제1 사용자의 위치에 대응될 수 있다.
예를 들어, 가상 현실 환경에서 제1 사용자가 A 편의점 앞에 서있으면, 제2 사용자 단말의 증강 현실 배경 상에서도 상기 증강 현실 객체는 A 편의점 앞에 표시된다.
다음으로, 제2 사용자 단말이 제1 사용자 인터랙션을 수신하면, 이에 응답하여 현재의 증강 현실 화면을 통해 제1 사용자 인터랙션이 표시된다. 가령, 제1 사용자의 인터랙션이 제1 사용자의 위치 이동인 경우, 제2 사용자 단말은 제1 사용자의 인터랙션에 응답하여 제2 사용자 단말의 화면 상에 표시된 제1 사용자의 증강 현실 객체를 상기 위치 이동에 대응되는 위치로 이동 표시한다.
예를 들어, 가상 현실 환경에서 A 편의점 앞에 있던 제1 사용자가 그 옆의 골목으로 이동하면, 제2 사용자 단말은 그에 응답하여 상기 증강 현실 객체의 증강 현실 배경 상 위치를 A 편의점 앞에서 그 옆의 골목으로 이동시켜 표시한다.
한편, 여기서는 제1 사용자의 인터랙션이 제1 사용자의 위치 이동인 것을 예로 들어 설명하였으나, 본 발명의 범위는 이에 한정되지 않는다. 예를 들어, 제1 사용자의 인터랙션은 위치 이동 외에도 제1 사용자의 채팅, 대화, 몸짓, 또는 상태표시 등을 포함할 수 있다.
S150 단계에서, 제2 사용자 단말로부터 제2 사용자의 인터랙션을 수신하고, 수신된 제2 사용자의 인터랙션을 제1 사용자 단말에 제공한다.
제2 사용자가 제1 사용자 인터랙션을 확인하면, 그에 응답하여 제1 사용자를 향해 제2 사용자의 인터랙션을 발생시킬 수도 있다. S150 단계는 이와 관계된 단계로서, 서버는 제2 사용자 단말로부터 제2 사용자 인터랙션을 수신하고, 이를 제1 사용자 단말에 제공한다.
제1 사용자 인터랙션의 경우와 유사하게, 제2 사용자 인터랙션은 제2 사용자 단말이 제공하는 증강 현실 환경에 반응하여 발생된 제2 사용자의 행동, 몸짓, 표현, 또는 그 밖의 작용을 의미하는 것으로, 제2 사용자 인터랙션이 제1 사용자 단말에 수신되면 제1 사용자 단말은 이를 자신이 표시하는 가상 현실 환경 상에 표시하게 된다.
도 6은 본 발명의 일 실시예에 따른, 가상 현실 환경의 대입비율을 조정하는 방법을 설명하는 도면이다. 도 6은 서버 또는 제1 사용자 단말이 가상 현실 환경을 구축, 구현할 때, 가상 객체 대입비율을 결정하는 방법을 예시적으로 나타낸다. 여기서, 대입비율은 현실 공간의 현실 객체를 가상 현실 환경의 가상 객체로 표현할 때, 현실 객체의 현실 공간 상 위치, 크기에 대한 가상 객체의 가상 현실 환경 상 위치, 크기의 비율로 정의될 수 있다.
먼저, 특정 가상 현실 배경(60)이 설정되면, 가상 현실 배경(60) 내에서 복수 개의 임의의 지점이 특정된다. 여기서는, A 및 B의 2개 지점이 특정되고, 각 지점의 가상 현실 배경(60) 상 좌표는 A(100, 100), B(200, 200)인 것으로 가정한다.
그리고, 특정된 지점에 대응되는 현실 공간의 좌표가 확인된다. 예를 들어, 현실 공간의 좌표는 위도와 경도로서, 지점 A의 현실 공간 좌표는 위도 50도, 경도 50도이고, 지점 B의 현실 공간 좌표는 위도 60도, 경도 60도라고 가정한다.
이후, 가상 현실 배경(60) 상에 다른 가상 객체를 대입할 때, 지점 A 및 지점 B의 가상 현실 배경(60) 상 좌표와 그에 대응되는 현실 공간 상 좌표에 기초하여, 가상 객체의 대입비율이 결정된다.
예를 들어, 현실 객체인 나무가 위도 55도, 경도 55도에 위치한 경우, 현실 공간 상에서 나무는 지점 A의 현실 공간 좌표와 지점 B의 현실 공간 좌표의 중간에 위치한다. 이 경우, 나무를 나타내는 가상 객체(61)의 대입비율을 지점 A 및 지점 B의 대입비율과 동일하게 결정한다고 하면, 가상 현실 배경(60) 상에서 가상 객체(61)는 지점 A와 지점 B의 중간 위치인 곳(150, 160)에 위치하게 된다.
한편, 가상 객체(61)의 크기 또한 지점 A 및 지점 B의 대입비율에 기초하여 결정될 수 있다. 지점 A와 지점 B 사이의 가상 현실 배경(60) 상 거리와 현실 공간 상 거리의 비를 산출하면, 가상 현실 배경(60)과 현실 공간의 축적이 산출 가능하므로, 산출된 축적 비율만큼 나무의 크기를 축소한 값을 가상 객체(61)의 크기로 할 수 있다.
도 7은 도 5의 S130 단계를 더욱 구체화한 순서도이다. 본 실시예에서는, 서버가 제1 사용자 단말의 위치를 수신하는 구체적인 방법이 설명된다. 본 실시예에서는, 제1 사용자 단말의 위치를 수신하는 방법을 위주로 설명하고 있지만, 제2 사용자 단말의 경우에도 동일한 방식이 위치 수신 방법이 적용될 수 있다.
S131 단계에서, 제1 사용자의 위치를 나타내는 LBS (Location Based Service) 정보, 및/또는 GPS (Global Positioning System) 정보가 수신된다.
LBS 정보는 제1 사용자 단말의 위치를 통신사 기지국을 통해 측정한 정보로서, LBS의 구체적인 구성 및 동작은 당해 기술분야에 널리 알려져 있는바 그에 대한 구체적인 설명은 생략된다.
GPS 정보는 제1 사용자 단말의 위치를 인공위성 시스템을 통해 측정한 정보로서, GPS의 구체적인 구성 및 동작은 당해 기술분야에 널리 알려져 있는바 그에 대한 구체적인 설명은 생략된다.
일반적으로, GPS 정보에 비해 LBS 정보의 정확도가 더 높다. 반면, 수신 안정성 측면에서는 GPS 정보가 LBS 정보보다 더 안정적이다. LBS 정보의 경우, 지형지물의 영향을 더 많이 받고 통신 상황에 따라 제1 사용자 단말과 기지국 간 연결이 중단되는 경우가 발생할 수 있기 때문이다.
LBS 정보 또는 GPS 정보는 어느 하나가 택일적으로 수신될 수 있지만, 본 실시예에서는 LBS 정보 및 GPS 정보를 모두 수신하는 경우를 가정한다.
S132 단계에서, LBS 정보와 GPS 정보 간 오차가 산출된다. 이에 대해, 도 8을 참조하여 부연 설명한다.
도 8은 LBS 정보와 GPS 정보 간 오차를 산출하는 구체적인 방법을 예시한 도면이다. 도 8의 왼쪽 표(70)와 같이 제1 사용자 단말의 위치를 나타내는 LBS 정보와 GPS 정보가 계속적으로 수신된다고 가정한다. 이 경우, 서버는 각 시점마다 LBS 정보와 GPS 정보 간 오차를 산출한다. 그리고, 그 동안 산출된 오차의 평균 값, 즉 평균 오차를 산출한다.
평균 오차는 GPS 정보를 기초로 제1 사용자 단말의 위치를 결정할 때, GPS 정보를 보정하는 용도로 사용될 수 있다. 이에 대해, 구체적으로 설명한다.
서버는 LBS 정보 및/또는 GPS 정보에 기초하여 제1 사용자 단말의 위치 정보를 제2 사용자 단말에 제공한다. 가령, 앞서 S140 단계와 같이, 제1 사용자의 인터랙션을 제2 사용자 단말에 제공할 때, 제1 사용자 단말의 위치 정보가 함께 제공될 수 있다.
이때, 서버는 LBS 정보가 수신 가능한 경우, 우선적으로 LBS 정보를 기반으로 제2 사용자 단말에 상기 제1 사용자의 위치 정보를 제공한다. LBS 정보가 GPS 정보보다 정확도가 더 높기 때문이다.
반면, LBS 정보가 수신 가능하지 않으면, 서버는 GPS 정보를 기반으로 제2 사용자 단말에 제1 사용자의 위치 정보를 제공한다. 다만, GPS 정보의 정확도를 보완하기 위해, 서버는 미리 산출된 LBS 정보와 GPS 정보 간 오차를 기반으로 GPS 정보를 보정하여 제1 사용자의 위치 정보로서 제공한다. 가령, GPS 정보가 (20, 20)인 경우 미리 산출된 평균 오차 (0, 1)을 감산한 값인 (20, 19)가 제1 사용자의 위치 정보로서 제공된다.
일 실시예로서, LBS 정보가 수신 불가능하여 GPS 정보를 기초로 제1 사용자의 위치를 제공한 이후에도, LBS 정보의 수신이 재개되면 다시 LBS 정보를 기초로 제1 사용자의 위치를 제공할 수 있다.
일 실시예로서, LBS 정보 및 GPS 정보가 모두 수신 불가능한 경우, 서버는 최종적으로 수신되었던 LBS 정보 또는 GPS 정보에 기초하여 제1 사용자의 위치 정보를 제공하거나, 제1 사용자의 위치 정보가 확인되지 않는다는 메시지를 제2 사용자 단말에 제공한다. 이 경우, 제2 사용자 단말은 최종 확인된 제1 사용자의 위치에 가상 객체를 출력하고, 미리 설정된 디폴트 애니메이션 또는 핸드 트래킹 모션을 함께 출력할 수 있다.
도 9는 본 발명의 다른 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다. 도 9의 사용자 인터랙션 방법은 도 1 의 제1 사용자 단말(200)에 의해 수행된다. 따라서, 이하의 단계들에서 수행 주체가 명시되지 않은 경우, 그 수행 주체는 상기 제1 사용자 단말(200)인 것으로 전제된다.
S210 단계에서, 서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경이 수신된다.
S220 단계에서, 수신된 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경이 표시된다.
S230 단계에서, 가상 현실 배경 상에 사용자를 나타내는 가상 객체가 표시된다. 이때, 상기 사용자는 서버를 매개로 제1 사용자 단말과 연결된 제2 사용자 단말의 제2 사용자일 수 있다.
S240 단계에서, 서버로부터 상기 사용자의 인터랙션이 수신되어 가상 현실 배경 상에 표시된다.
이 때, 가상 현실 배경은 제2 사용자가 위치한 현실 공간을 모사한 것이고, 가상 객체의 가상 현실 배경 상의 위치는 현실 공간 상의 제2 사용자의 위치와 대응되는 것일 수 있다. 한편, 가상 현실 환경, 가상 현실 배경, 및 현실 공간의 의미 및 그 상관관계에 대해서는 앞에서 이미 상세히 기술된 바, 설명의 중복을 피하기 위해 여기서는 추가적인 설명을 생략한다.
도 10은 도 9의 S230 단계 및 S240 단계의 구체적인 내용을 부연 설명하기 위한 도면이다. 도 10을 참조하면, 가상 현실 배경(80) 상에 제2 사용자를 나타내는 가상 객체(81)가 표시된 예가 도시된다.
본 실시예에서, 가상 객체의 가상 현실 배경 상의 위치가 제1 사용자 단말에 설정된 시야각 범위 이내이면, 해당 가상 객체는 캐릭터 모델로써 가상 현실 배경 위에 표시된다. 반면에, 가상 객체의 가상 현실 배경 상의 위치가 제1 사용자 단말에 설정된 시야각 범위 밖이면, 해당 가상 객체는 명칭 또는 심볼로써 시야각 범위의 가장자리에 표시된다.
예를 들어, 도 10을 참조하면, 제2 사용자를 나타내는 가상 객체(81)는 가상 현실 배경(80)상 위치가 제1 사용자 단말의 시야각 범위 이내이고, 이 경우 가상 현실 배경(80) 위에 캐릭터 모델로써 표시된다. 이때, 캐릭터 모델은 2D 또는 3D 캐릭터 모델일 수 있다.
일 실시예로서, 가상 현실 배경(80) 위에 캐릭터 모델로써 표시되는 가상 객체(81)는 근처에 가상 객체(81)의 이름이 표시될 수 있다(여기서는'맘모').
한편, 다른 사용자를 나타내는 가상 객체(82, 83, 84)는 가상 현실 배경(80) 상 위치가 제1 사용자 단말의 시야각 범위 밖이고, 해당 가상 객체(82, 83, 84)들은 명칭 또는 심볼로써 시야각 범위의 가장자리에 표시된다.
가령, 제1 사용자 단말의 시야각을 기준으로, 좌측으로 벗어난 가상 객체(82)는 시야각의 좌측 끝 라인에 표시되고, 제1 사용자 단말의 시야각을 기준으로, 우측으로 벗어난 가상 객체(83, 84)는 시야각의 우측 끝 라인에 표시된다. 이때, 끝 라인에 표시될 가상 객체의 수가 복수인 경우, 각 가상 객체는 해당 끝 라인에 정렬되어 표시될 수 있다. 도 8을 참조하면, 시야각을 우측으로 벗어난 2개의 가상 객체(83, 84)가 우측 끝 라인에 정렬되어 표시된 것을 확인할 수 있다. 시야각을 벗어난 가상 객체(82, 83, 84)의 경우에도 시야각 내 가상 객체(81)와 유사하게 해당 가상 객체의 이름이 표시될 수 있다(여기서는'파이리', 에이스','한국인').
한편, 제1 사용자 단말은 수신된 사용자 인터랙션을 가상 객체와 연관지어 표시할 수 있다. 예를 들어,'파이리'가상 객체(82)와 대응하는 사용자 단말로부터 텍스트 출력 인터랙션이 수신된 경우, 제1 사용자 단말은 가상 현실 배경(80)에'파이리'가상 객체(82)를 표시하며, 가상 객체(82) 내에 텍스트 출력을 의미하는'말풍선 아이콘'을 함께 표시할 수 있다. 또는,'파이리'가상 객체(82)와 대응하는 사용자 단말로부터 음성 출력 인터랙션이 수신된 경우, 제1 사용자 단말은 '말풍선 아이콘'대신 음성 출력을 의미하는'확성기 아이콘'을 함께 표시할 수 있다. 가상 객체(82) 내에 표시할 수 있다.
일 실시예로서, 제1 사용자 단말의 사용자인 제1 사용자를 나타내는 가상 객체도 가상 현실 배경 상에 함께 표시될 수 있다.
이하에서는, 제1 사용자 단말이 가상 현실 배경 및 가상 객체를 표시하는 일련의 프로세스를 간략하게 부연 설명한다.
먼저, 제1 사용자를 가상 현실 배경 상에 표시하는 프로세스를 설명한다.
1. 제1 사용자가 서버에 접속하면, 로그인 절차를 통해 제1 사용자의 계정이 인증된다.
2. 제1 사용자의 위치 좌표 또는, 이전에 기록된 최종 좌표가 확인된다. 이때, 제1 사용자의 위치 좌표는 GPS 정보 및 LBS 정보로 동시에 확인될 수 있다. 제1 사용자에 대해 이전에 기록된 최종 좌표가 없는 경우 디폴트 위치를 제1 사용자의 위치로 정할 수 있다.
3. 제1 사용자의 위치 좌표 또는 최종 좌표를 포함하는 가상 현실 배경이 생성된다. 만약, 제1 사용자의 위치 좌표 또는 최종 좌표에 해당하는 지역에 대해 디지털 트윈이 구현되지 않은 경우,‘서비스지역 아님’을 표시하고 및 임의의 가상 현실 배경으로 이동할 수 있다.
4. 제1 사용자는 사용자간 소통이 가능한 소정의 네트워크 채널로 입장한다. 기존 채널의 정원이 초과된 경우 신규 채널이 생성되고, 제1 사용자는 해당 신규 채널로 입장할 수 있다.
5. 제1 사용자에 대응되는 가상 객체 정보가 로드된다. 가상 객체 정보는 3D 캐릭터 모델의 디자인, 복장, 소지금, 또는 인벤토리 테이블 등의 정보를 포함할 수 있다.
6. 제1 사용자의 위치 좌표 또는 최종 좌표를 포함하는 가상 현실 배경이 표시되고, 제1 사용자의 위치 좌표 또는 최종 좌표에 대응하는 위치에 제1 사용자를 나타내는 가상 객체가 표시된다.
7. 제1 사용자 단말의 위치 이동에 따른 LBS 정보 및 GPS 정보의 변동이 기록된다. 이때, LBS 정보 또는 GPS 정보 소정의 시간 간격으로 기록될 수 있고, 미리 결정된 횟수까지만 정보를 저장하도록 설정될 수 있다. 예를 들어, LBS 정보 또는 GPS 정보를 누적 10회까지 저장하도록 설정된 경우, 11회 차 LBS 정보 또는 GPS 정보가 수신되면 11회차의 LBS 정보 또는 GPS 정보를 저장하는 대신 1회차의 LBS 정보 또는 GPS 정보가 삭제될 수 있다.
8. 한편, 가상 개체가 서버의 서비스 범위를 벗어날 수 없도록, 서비스 범위의 가장자리에 도달하면 더 이상 진행할 수 없도록 이동을 제한하거나, 서비스 범위 내 특정 지점으로 가상 객체를 워프시킬 수 있다.
다음으로, 제2 사용자를 가상 현실 배경 상에 표시하는 프로세스를 설명한다. 제2 사용자는 제1 사용자 단말과 연결된 증강 현실 단말의 사용자일 수 있다.
1. 제1 사용자가 참여한 네트워크 채널을 스캔하여 해당 채널에 참여한 제2 사용자의 위치 좌표를 로드한다. 이때, 제2 사용자의 위치 좌표는 소정의 시간 간격으로 로드될 수 있다.
2. 제2 사용자의 가상 객체 정보가 로드된다. 가상 객체 정보는 3D 캐릭터 모델의 디자인, 또는 복장 등의 정보를 포함할 수 있다.
2. 제2 사용자의 위치 좌표, 또는 최종 좌표에 대응되는 가상 현실 배경 상 위치에 제2 사용자를 나타내는 가상 객체가 표시된다.
4. 제2 사용자의 위치 좌표의 변동은 주기적으로 체크되고, 위치 좌표가 변동되면 그에 대응하는 위치로 제2 사용자의 가상 객체를 이동 표시한다.
5. 제2 사용자의 가상 객체를 이동 표시할 때, 그 이동 경로의 표시와 함께 이동 애니메이션이 재생될 수 있다.
6. 제2 사용자의 위치 좌표에 변화가 없는 경우, 가상 객체의 캐릭터 모델에‘디폴트 애니메이션’이 재생될 수 있다.
한편, 일 실시예로서, 제1 사용자가 참가한 채널에 새로운 제3 사용자가 참가 시, 이를 알리는 시스템 메시지가 표시될 수 있다. 또는, 제1 사용자가 참가한 채널에서 기존 제3 사용자가 이탈 시, 이를 알리는 시스템 메시지가 표시될 수 있다. 또는, 제1 사용자 단말이 표시하는 가상 현실 배경과 관련하여 새로운 채널이 생성 시, 이를 알리는 시스템 메시지가 표시될 수 있다.
도 11은 본 발명의 또 다른 실시예에 따른, 디지털 트윈 기반의 사용자 인터랙션 방법을 나타내는 순서도이다. 도 11의 사용자 인터랙션 방법은 도 1 의 제2 사용자 단말(300)에 의해 수행된다. 따라서, 이하의 단계들에서 수행 주체가 명시되지 않은 경우, 그 수행 주체는 상기 제2 사용자 단말(300)인 것으로 전제된다.
S310 단계에서, 카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경이 화면에 표시된다.
S320 단계에서, 화면에 표시된 증강 현실 배경 상에 사용자를 나타내는 증강 현실 객체가 표시된다. 상기 사용자는 서버를 매개로 제2 사용자 단말과 연결된 제1 사용자 단말의 제1 사용자일 수 있다.
S330 단계에서, 서버로부터 상기 사용자의 인터랙션이 수신되어 증강 현실 배경 상에 표시된다.
이 때, 증강 현실 배경은 제2 사용자 단말이 카메라를 통해 촬영한 영상을 기초로 생성한 것이고, 증강 현실 객체의 증강 현실 배경 상의 위치는 현실 공간 또는 가상 현실 환경 상의 제1 사용자의 위치와 대응되는 것일 수 있다. 한편, 가상 현실 환경, 가상 현실 배경, 및 현실 공간의 의미 및 그 상관관계에 대해서는 앞에서 이미 상세히 기술된 바, 설명의 중복을 피하기 위해 여기서는 추가적인 설명을 생략한다.
도 12 및 도 13은 도 11의 실시예에서 제2 사용자 단말 상에 객체가 표시되는 방법을 설명하기 위한 도면이다.
본 실시예에서, 증강 현실 객체의 증강 현실 배경 상의 위치가 제2 사용자 단말의 화면 이내이면, 해당 증강 현실 객체는 캐릭터 모델로써 증강 현실 배경 위에 표시된다. 반면에, 증강 현실 객체의 증강 현실 배경 상의 위치가 제2 사용자 단말의 화면 밖이면, 해당 증강 현실 객체는 명칭 또는 심볼로써 화면의 가장자리에 표시된다.
예를 들어, 도 12를 참조하면, 제1 사용자를 나타내는 증강 현실 객체(91)는 증강 현실 배경(90)상 위치가 제2 사용자 단말의 화면 이내이고, 이 경우 증강 현실 객체(91)는 증강 현실 배경(90) 위에 캐릭터 모델로써 표시된다. 이때, 캐릭터 모델은 2D 또는 3D 캐릭터 모델일 수 있다.
일 실시예로서, 증강 현실 배경(90) 위에 캐릭터 모델로써 표시되는 증강 현실 객체(81)는 근처에 증강 현실 객체(91)의 이름이 표시될 수 있다(여기서는'식스').
한편, 다른 사용자를 나타내는 증강 현실 객체(92, 93, 94)는 증강 현실 배경(90) 상 위치가 제2 사용자 단말의 화면 밖이고, 해당 가상 객체(92, 93, 94)들은 명칭 또는 심볼로써 화면의 가장자리에 표시된다.
가령, 제2 사용자 단말의 화면을 기준으로, 좌측으로 벗어난 증강 현실 객체(92)는 화면의 좌측 가장자리에 표시되고, 제2 사용자 단말의 화면을 기준으로, 우측으로 벗어난 증강 현실 객체(93, 94)는 화면의 좌측 가장자리에 표시된다. 이때, 화면의 가장 자리에 표시될 증강 현실 객체의 수가 복수인 경우, 각 증강 현실 객체는 화면의 해당 가장자리에 정렬되어 표시될 수 있다. 도 12를 참조하면, 화면을 우측으로 벗어난 2개의 증강 현실 객체(93, 984)가 화면의 우측 가장자리에 정렬되어 표시된 것을 확인할 수 있다. 화면을 벗어난 증강 현실 객체(92, 93, 94)의 경우에도 화면 내 증강 현실 객체(91)와 유사하게 해당 증강 현실 객체의 이름이 표시될 수 있다(여기서는'파이리', 에이스','한국인').
한편, 제2 사용자 단말은 수신된 사용자 인터랙션을 증강 현실 객체와 연관지어 표시할 수 있다. 예를 들어,'파이리'증강 현실 객체(92)와 대응하는 사용자 단말로부터 텍스트 출력 인터랙션이 수신된 경우, 제2 사용자 단말은 증강 현실 배경(90)에'파이리'증강 현실 객체(92)를 표시하며, 증강 현실 객체(92) 내에 텍스트 출력을 의미하는'말풍선 아이콘'을 함께 표시할 수 있다. 또는,'파이리'증강 현실 객체(92)와 대응하는 사용자 단말로부터 음성 출력 인터랙션이 수신된 경우, 제2 사용자 단말은 '말풍선 아이콘'대신 음성 출력을 의미하는'확성기 아이콘'을 표시할 수 있다.
일 실시예로서, 제2 사용자 단말은 증강 현실 객체의 캐릭터 모델에 대해, 자이로 센서를 이용하여 그 표시 각도를 조정할 수 있다. 이에 대해, 도 13을 참조하여 부연 설명한다.
도 13을 참조하면, 제2 사용자 단말이 기울어진 경우, 자이로 센서를 이용하여 증강 현실 객체(91)의 표시 각도를 조정하는 예가 도시된다.
제2 사용자 단말은 증강 현실 단말로서, 카메라로 촬영된 영상을 기초로 증강 현실 배경을 도시한다. 따라서, 제2 사용자 단말이 기울어진 경우, 제2 사용자 단말 화면의 축(D1)과 증강 현실 배경의 수직 축(vertical axis, D2)가 서로 어긋나는 경우가 발생한다. 이 경우, 일반적인 동영상 재생의 경우와 같이, 제2 사용자 단말을 기준으로 증강 현실 객체를 표시하면, 증강 현실 객체가 증강 현실 배경에 기울어져 표시되는 불편함이 발생할 수 있다.
따라서, 제2 사용자 단말은 자이로 센서를 이용하여 중력 방향을 감지한 후 그 반대 방향(D2)으로 증강 현실 객체(91)를 표시한다. 그렇게 하면, 증강 현실 객체가 증강 현실 배경에 기울어져 표시되는 문제점이 해소될 수 있다.
이하에서는, 제2 사용자 단말이 증강 현실 배경 및 증강 현실 객체를 표시하는 일련의 프로세스를 간략하게 부연 설명한다.
먼저, 제2 사용자 단말이 증강 현실 배경을 표시하는 프로세스를 설명한다.
1. 제2 사용자가 서버에 접속하면, 로그인 절차를 통해 제2 사용자의 계정이 인증된다.
2. 제2 사용자의 위치 좌표 또는, 이전에 기록된 최종 좌표가 확인된다. 이때, 제2 사용자의 위치 좌표는 GPS 정보 및 LBS 정보로 동시에 확인될 수 있다. 제2 사용자에 대해 이전에 기록된 최종 좌표가 없는 경우 디폴트 위치를 제2 사용자의 위치로 정할 수 있다.
3. 제2 사용자의 위치 좌표 또는 최종 좌표를 포함하는 가상 현실 배경이 식별되고, 제2 사용자 단말의 카메라 기능이 실행된다. 만약, 제2 사용자의 위치 좌표 또는 최종 좌표에 해당하는 지역에 대해 디지털 트윈이 구현되지 않은 경우,‘서비스지역 아님’을 표시하고 및 해당 지역을 미확인 지역으로 별도 분류할 수 있다.
4. 제2 사용자는 사용자간 소통이 가능한 소정의 네트워크 채널로 입장한다. 기존 채널의 정원이 초과된 경우 신규 채널이 생성되고, 제2 사용자는 해당 신규 채널로 입장할 수 있다.
5. 제2 사용자에 대응되는 사용자 정보가 로드된다. 사용자 정보는 3D 캐릭터 모델의 디자인, 복장, 소지금, 또는 인벤토리 테이블 등의 정보를 포함할 수 있다.
6. 제2 사용자 단말의 위치 이동에 따른 LBS 정보 및 GPS 정보의 변동이 기록된다. 이때, LBS 정보 또는 GPS 정보 소정의 시간 간격으로 기록될 수 있고, 미리 결정된 횟수까지만 정보를 저장하도록 설정될 수 있다. 예를 들어, LBS 정보 또는 GPS 정보를 누적 10회까지 저장하도록 설정된 경우, 11회 차 LBS 정보 또는 GPS 정보가 수신되면 11회차의 LBS 정보 또는 GPS 정보를 저장하는 대신 1회차의 LBS 정보 또는 GPS 정보가 삭제될 수 있다.
7. 한편, 제2 사용자 단말이 서버의 서비스 범위를 벗어나는 경우, 서비스 지역이 아님을 나타내는 메시지가 제2 사용자 단말의 화면에 출력될 수 있다.
다음으로, 제1 사용자를 증강 현실 배경 상에 표시하는 프로세스를 설명한다. 제1 사용자는 제2 사용자 단말과 연결된 가상 현실 단말의 사용자일 수 있다.
1. 제2 사용자가 참여한 네트워크 채널을 스캔하여 해당 채널에 참여한 제1 사용자의 위치 좌표를 로드한다. 이때, 제1 사용자의 위치 좌표는 소정의 시간 간격으로 로드될 수 있다.
2. 제1 사용자의 증강 현실 객체 정보가 로드된다. 증강 현실 객체 정보는 3D 캐릭터 모델의 디자인, 또는 복장 등의 정보를 포함할 수 있다.
2. 제1 사용자의 위치 좌표, 또는 최종 좌표에 대응되는 증강 현실 배경 상 위치에 제1 사용자를 나타내는 증강 현실 객체가 표시된다. 이때, 제1 사용자의 증강 현실 객체는 자이로 센서의 측정값에 기초하여 그 표시 각도가 조정될 수 있다.
4. 제1 사용자의 위치 좌표의 변동은 주기적으로 체크되고, 위치 좌표가 변동되면 그에 대응하는 위치로 제1 사용자의 증강 현실 객체를 이동 표시한다.
5. 제1 사용자의 증강 현실 객체를 이동 표시할 때, 그 이동 경로의 표시와 함께 이동 애니메이션이 재생될 수 있다.
6. 제1 사용자의 위치 좌표에 변화가 없는 경우, 증강 현실 객체의 캐릭터 모델에‘디폴트 애니메이션’이 재생될 수 있다.
한편, 일 실시예로서, 제2 사용자가 참가한 채널에 새로운 제3 사용자가 참가 시, 이를 알리는 시스템 메시지가 표시될 수 있다. 또는, 제2 사용자가 참가한 채널에서 기존 제3 사용자가 이탈 시, 이를 알리는 시스템 메시지가 표시될 수 있다. 또는, 제2 사용자 단말이 표시하는 증강 현실 배경과 관련하여 새로운 채널이 생성 시, 이를 알리는 시스템 메시지가 표시될 수 있다.
이상에서 설명한 본 발명의 사상에 따르면, 본 발명은 실제 생활에서 다양한 방식의 응용이 가능하다. 그에 대해, 하나의 구체적인 예를 들어 부연 설명한다.
사용자 P는 가상 현실 단말 사용자로서 천국 빌딩의 10층에 위치해 있다. 사용자 Q는 증강 현실 단말 사용자로서 천국 빌딩 인근의 하늘역 2번 출구에 위치해 있다.
사용자 P가 가상 현실 단말을 통해 서버에 접속하면, 가상 현실 단말은 디지털 트윈을 기반으로 하늘역 2번을 모사한 가상 현실 환경을 표시한다. 그리고, 가상 현실 단말은 사용자 Q의 증강 현실 단말과 연결되어 사용자 Q의 위치를 수신하고, 가상 현실 환경 상 대응되는 위치에 사용자 Q를 표시한다.
사용자 Q 또한 증강 현실 단말을 통해 서버에 접속하고, 증강 현실 단말은 사용자 P의 가상 현실 단말과 연결되어 사용자 P의 위치를 수신하고, 증강 현실 배경 상 대응되는 위치에 사용자 P를 표시한다. 이처럼, 사용자 P와 사용자 Q가 가상 현실 단말 및 증강 현실 단말을 통해 서로를 인지한 상황에서, 사용자간 상호 인터랙션이 수행될 수 있다.
예를 들어, 사용자 P가 사용자 Q를 자신이 현재 위치한 천국 빌딩 10층으로 안내하고자 하는 경우, 사용자 P는 자신을 따라오라는 의사를 표시하고, 스스로 하늘역 2번 출구에서 천국 빌딩 10층까지 오는 경로를 순차 이동하여 사용자 Q의 이동 경로를 가이드 할 수 있다. 사용자 Q는 자신의 증강 현실 단말 화면을 통해, 사용자 P의 위치 이동에 따라 이동 표시되는 증강 현실 객체를 보며 사용자 P가 안내하는 이동 경로를 따라갈 수 있다.
그 외에도 유사한 방식을 이용한, 다양한 응용 예가 가능할 수 있다. 가령, 가이드는 집에서 접속하고 관광객은 현실에서 접속하여 상호 인터랙션을 하는 비대면 관광 가이드 서비스, 길을 잃은 아이를 집이나 경찰서로 안내하는 미아 안내 서비스, 또는 길에 치매 노인이 있을 때 처음 보는 사람도 치매 노인을 손쉽게 자택으로 인도할 수 있게 하는 치매 노인 인도 서비스 등에 본 발명이 응용될 수 있다.
일 실시예로서, 증강 현실 단말에는 가상 현실 단말의 사용자가 안내하는 이동 경로를 나타내는 지도(MAP)가 더 표시될 수 있다. 이에 대해, 도 14를 참조하여 부연 설명한다.
도 14를 참조하면, 도 14 (a)에는 증강 현실 단말인 제2 사용자 단말(400)의 표시화면이 도시된다. 앞서 설명한 바와 같이, 제2 사용자 단말(400)은 자신의 카메라로 촬영한 영상을 기초로 증강 현실 배경(401)을 표시하고, 그 위에 제1 사용자를 나타내는 증강 현실 객체(402)를 표시할 수 있다. 이때, 제1 사용자는 가상 현실 단말인 제1 사용자 단말의 사용자일 수 있다.
제2 사용자는 제2 사용자 단말(400)의 화면을 보며, 증강 현실 객체(402)의 길 안내에 따라 목적지까지 가는 경로를 따라 갈 수 있다.
한편, 이때, 제2 사용자 단말(400)은 제1 사용자가 안내하고자 하는 이동 경로를 나타내는 지도를 표시할 수 있다. 상기 지도는 제1 지점(예를 들어, 현재 위치)에서 제2 지점(예를 들어, 목적지)까지 제2 사용자 단말의 이동 경로를 표시 및 안내한다.
그에 대한 예시적인 형태가 도 14 (b) 및 (c)에 도시된다. 도 14 (b)는 증강 현실 배경의 일부 영역에 지도(410)가 함께 표시한 예를 도시하고, 도 14 (c)는 증강 현실 배경을 제거하고 지도(420)를 더 크게 표시한 예를 도시한다.
지도(410, 420)에는 길 안내를 위한 다양한 정보가 표시될 수 있다. 예를 들어, 도 14 (c)에 도시된 것과 같이 지도(420)에는 제2 사용자 단말(400)의 현재 위치를 나타내는 심볼(421), 현재 위치에서 목적지까지 가는 경로를 나타내는 선(422), 또는 이동 경로 주변에 위치한 다른 객체(423, 424, 425)를 나타내는 심볼 등이 표시될 수 있다. 이때, 상기 다른 객체(423, 424, 425)는 제2 사용자와 같은 채널에 참가한 다른 사용자를 나타내는 객체, 이동 경로 상에 설치된 주요한 이정표를 나타내는 객체, 또는 이동 경로 주변에 있는 랜드마크를 나타내는 객체일 수 있다.
이처럼, 제2 사용자 단말(400)에 이동 경로를 나타내는 지도(410, 420)가 표시되면, 제2 사용자는 지도(410, 420)를 참고하여 더욱 손쉽게 제1 사용자의 길 안내를 따라갈 수 있다.
특히, 제2 사용자가 위치한 현실 공간에 대해 디지털 트윈이 미구현되거나 불완전하게 구현된 경우, 제1 사용자가 보는 가상 현실 환경과 제2 사용자가 보는 증강 현실 배경 사이에는 차이가 있을 수 있다. 그러한 경우, 제2 사용자가 증강 현실 객체(402)를 통해 표현되는 사용자 인터랙션만 보고 길 안내를 따라가기에는 어려움이 있을 수 있다. 이때, 이동 경로를 나타내는 지도(410, 420)가 표시되면 제2 사용자는 이를 참고하여 더욱 쉽게 제1 사용자의 길 안내를 따라갈 수 있을 것이다.
한편, 본 실시예에서는 증강 현실 단말인 제2 사용자 단말(400)에 지도를 표시하는 경우를 설명하였지만, 반대로 가상 현실 단말인 제1 사용자 단말에 지도를 표시하는 것 또한 가능하다. 해당 현실 공간에 대해 디지털 트윈이 구현되지 않은 등의 이유로 제2 사용자의 증강 현실 화면과 제1 사용자가 볼 수 있는 가상 현실 환경이 서로 일치하지 않으면, 제1 사용자 입장에서도 제2 사용자에게 길을 안내하는 것이 곤란하게 여겨질 수 있기 때문이다. 이러한 경우, 제1 사용자 단말은 가상 현실 환경 상에 길 안내를 위한 지도를 표시할 수 있고, 제1 사용자는 표시된 지도를 보면서 제2 사용자에게 길 안내를 위한 사용자 인터랙션을 보낼 수 있다.
이하에서는, 도 15를 참조하여 본 발명의 다양한 실시예에서 설명된 방법들이 구현되는 예시적인 컴퓨팅 장치(500)에 대하여 설명하도록 한다. 예를 들어, 도 15의 컴퓨팅 장치(500)는 도 1의 서버(100), 제1 사용자 단말(200), 또는 제2 사용자 단말(300)일 수 있다.
도 15는 컴퓨팅 장치(500)를 나타내는 예시적인 하드웨어 구성도이다.
도 15에 도시된 바와 같이, 컴퓨팅 장치(500)는 하나 이상의 프로세서(510), 버스(550), 통신 인터페이스(570), 프로세서(510)에 의하여 수행되는 컴퓨터 프로그램(591)을 로드(load)하는 메모리(530)와, 컴퓨터 프로그램(591)를 저장하는 스토리지(590)를 포함할 수 있다. 다만, 도 15에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 15에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(510)는 컴퓨팅 장치(500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(510)는 본 발명의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(500)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(530)는 본 발명의 다양한 실시예들에 따른 방법/동작들을 실행하기 위하여 스토리지(590)로부터 하나 이상의 프로그램(591)을 로드(load) 할 수 있다. 메모리(530)의 예시는 RAM이 될 수 있으나, 이에 한정되는 것은 아니다.
버스(550)는 컴퓨팅 장치(500)의 구성 요소 간 통신 기능을 제공한다. 버스(550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(570)는 컴퓨팅 장치(500)의 유무선 인터넷 통신을 지원한다. 통신 인터페이스(570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
스토리지(590)는 하나 이상의 컴퓨터 프로그램(591)을 비임시적으로 저장할 수 있다. 스토리지(590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(591)은 본 발명의 다양한 실시예들에 따른 방법/동작들이 구현된 하나 이상의 인스트럭션(Instruction)들을 포함할 수 있다.
예를 들어, 컴퓨터 프로그램(591)은 현실 공간에 대응되는 디지털 트윈 정보를 저장하는 동작, 상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 동작, 상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 동작, 및 상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 동작을 수행하기 위한 인스트럭션들을 포함할 수 있다..
또는, 컴퓨터 프로그램(591)은 서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경을 수신하는 동작, 상기 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경을 표시하는 동작, 상기 가상 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 가상 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함할 수 있다.
또는, 컴퓨터 프로그램(591)은 프로세서 카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 동작, 상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및 상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함할 수 있다.
컴퓨터 프로그램(591)이 메모리(530)에 로드 되면, 프로세서(510)는 상기 하나 이상의 인스트럭션들을 실행시킴으로써 본 발명의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다.
지금까지 설명된 본 발명의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 발명이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 컴퓨팅 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법에 있어서,
    현실 공간에 대응되는 디지털 트윈 정보를 저장하는 단계;
    상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 단계;
    상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 단계; 및
    상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 단계를 포함하고,
    상기 제1 사용자의 인터랙션은,
    상기 제1 사용자의 위치 이동을 포함하고,
    상기 제2 사용자 단말은,
    상기 제1 사용자의 인터랙션에 응답하여, 상기 제2 사용자 단말의 디스플레이 상에서 상기 제1 사용자에 대응되는 제1 객체를 상기 위치 이동에 대응되는 위치로 이동 표시하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  2. 제1 항에 있어서,
    상기 제1 사용자 단말은,
    상기 가상 현실 환경을 기초로 상기 현실 공간에 대응되는 가상 현실 배경을 표시하고, 상기 가상 현실 배경 상에 제2 사용자를 나타내는 제2 객체를 표시하되,
    상기 제2 객체가 표시되는 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 제2 사용자의 위치와 대응되는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  3. 제1 항에 있어서,
    상기 제2 사용자 단말은,
    상기 제2 사용자 단말의 카메라를 통해 촬영되는 영상을 이용하여 증강 현실 배경을 표시하고, 상기 증강 현실 배경 상에 상기 제1 객체를 표시하되,
    상기 제1 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 가상 현실 환경에서의 상기 제1 사용자의 위치와 대응되는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  4. 제1 항에 있어서,
    상기 제1 사용자의 인터랙션은,
    상기 제1 사용자의 채팅, 대화, 몸짓, 또는 상태표시를 포함하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  5. 제1 항에 있어서,
    상기 제1 사용자의 인터랙션을 수신하는 단계는,
    상기 제1 사용자의 위치를 나타내는 LBS (Location Based Service) 정보, 또는 GPS (Global Positioning System) 정보를 수신하는 단계; 및
    상기 LBS 정보와 상기 GPS 정보 간 오차를 산출하는 단계를 포함하는
    디지털 트윈 기반의 사용자 인터랙션 방법.
  6. 제5 항에 있어서,
    상기 제2 사용자 단말에 제공하는 단계는,
    상기 LBS 정보가 수신 가능한 경우, 상기 LBS 정보를 기반으로 상기 제2 사용자 단말에 상기 제1 사용자의 위치 정보를 제공하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  7. 제5 항에 있어서,
    상기 제2 사용자 단말에 제공하는 단계는,
    상기 LBS 정보가 수신 가능하지 않으면, 상기 GPS 정보를 기반으로 상기 제2 사용자 단말에 상기 제1 사용자의 위치 정보를 제공하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  8. 제7 항에 있어서,
    상기 제1 사용자의 위치 정보는,
    미리 산출된 LBS 정보와 GPS 정보 간 오차를 기반으로 상기 GPS 정보를 보정한 값인,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  9. 제1 항에 있어서,
    상기 제2 사용자 단말로부터 제2 사용자의 인터랙션을 수신하여 상기 제1 사용자 단말에 제공하는 단계를 더 포함하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  10. 제1 항에 있어서,
    상기 제1 사용자 단말 또는 상기 제2 사용자 단말은,
    제1 지점에서 제2 지점까지 상기 제2 사용자 단말의 이동 경로를 안내하는 지도를 표시하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  11. 컴퓨팅 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법에 있어서,
    서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경을 수신하는 단계;
    상기 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경을 표시하는 단계;
    상기 가상 현실 배경 상에 사용자를 나타내는 객체를 표시하는 단계; 및
    상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 가상 현실 배경 상에 표시하는 단계를 포함하고,
    상기 가상 현실 배경은,
    상기 사용자가 위치한 상기 현실 공간을 모사한 것이고,
    상기 객체의 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 사용자의 위치와 대응되는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  12. 제11 항에 있어서,
    상기 사용자를 나타내는 객체를 표시하는 단계는,
    상기 객체의 상기 가상 현실 배경 상의 위치가 미리 결정된 시야각 범위 이내 이면, 상기 객체를 캐릭터 모델로써 표시하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  13. 제11 항에 있어서,
    상기 사용자를 나타내는 객체를 표시하는 단계는,
    상기 객체의 상기 가상 현실 배경 상의 위치가 미리 결정된 시야각 범위 밖이면, 상기 객체를 명칭 또는 심볼로써 상기 시야각 범위의 가장자리에 표시하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  14. 컴퓨팅 장치에 의해 수행되는 디지털 트윈 기반의 사용자 인터랙션 방법에 있어서,
    카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 단계;
    상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 단계; 및
    서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 단계를 포함하고,
    상기 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 현실 공간에 대응되는 가상 현실 공간 상의 상기 사용자의 위치와 대응되는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  15. 제14 항에 있어서,
    상기 사용자를 나타내는 객체를 표시하는 단계는,
    상기 객체의 상기 증강 현실 배경 상의 위치가 상기 화면 이내 이면, 상기 객체를 캐릭터 모델로써 표시하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  16. 제15 항에 있어서,
    상기 사용자를 나타내는 객체를 표시하는 단계는,
    자이로 센서를 이용하여 상기 캐릭터 모델의 표시 각도를 조정하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  17. 제14 항에 있어서,
    상기 사용자를 나타내는 객체를 표시하는 단계는,
    상기 객체의 상기 증강 현실 배경 상의 위치가 상기 화면 밖이면, 상기 객체를 명칭 또는 심볼로써 상기 화면의 가장자리에 표시하는,
    디지털 트윈 기반의 사용자 인터랙션 방법.
  18. 프로세서;
    상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    현실 공간에 대응되는 디지털 트윈 정보를 저장하는 동작,
    상기 디지털 트윈 정보에 기초하여 제1 사용자 단말에 가상 현실 환경을 제공하는 동작,
    상기 가상 현실 환경에 대한 제1 사용자의 인터랙션을 수신하는 동작, 및
    상기 수신된 상기 제1 사용자의 인터랙션을 제2 사용자 단말에 제공하는 동작을 수행하기 위한 인스트럭션들을 포함하고,
    상기 제1 사용자의 인터랙션은,
    상기 제1 사용자의 위치 이동을 포함하고,
    상기 제2 사용자 단말은,
    상기 제1 사용자의 인터랙션에 응답하여, 상기 제2 사용자 단말의 디스플레이 상에서 상기 제1 사용자에 대응되는 제1 객체를 상기 위치 이동에 대응되는 위치로 이동 표시하는,
    디지털 트윈 기반의 사용자 인터랙션 장치.
  19. 프로세서;
    상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    서버로부터 디지털 트윈 정보에 기초한 가상 현실 환경을 수신하는 동작,
    상기 가상 현실 환경에 기초하여 현실 공간에 대응되는 가상 현실 배경을 표시하는 동작,
    상기 가상 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및
    상기 서버로부터 상기 사용자의 인터랙션을 수신하여 상기 가상 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함하고,
    상기 가상 현실 배경은,
    상기 사용자가 위치한 상기 현실 공간을 모사한 것이고,
    상기 객체의 상기 가상 현실 배경 상의 위치는 상기 현실 공간 상의 상기 사용자의 위치와 대응되는,
    디지털 트윈 기반의 사용자 인터랙션 장치.
  20. 프로세서;
    상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    카메라를 통해 현실 공간을 촬영한 영상을 이용하여 증강 현실 배경을 화면에 표시하는 동작,
    상기 증강 현실 배경 상에 사용자를 나타내는 객체를 표시하는 동작, 및
    서버로부터 상기 사용자의 인터랙션을 수신하여 상기 증강 현실 배경 상에 표시하는 동작을 수행하기 위한 인스트럭션들을 포함하고,
    상기 객체가 표시되는 상기 증강 현실 배경 상의 위치는 상기 현실 공간에 대응되는 가상 현실 공간 상의 상기 사용자의 위치와 대응되는,
    디지털 트윈 기반의 사용자 인터랙션 장치.
PCT/KR2022/002994 2021-03-05 2022-03-03 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치 WO2022186619A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0029490 2021-03-05
KR20210029490 2021-03-05

Publications (1)

Publication Number Publication Date
WO2022186619A1 true WO2022186619A1 (ko) 2022-09-09

Family

ID=83155502

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/002994 WO2022186619A1 (ko) 2021-03-05 2022-03-03 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102549072B1 (ko)
WO (1) WO2022186619A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230071732A (ko) 2021-11-16 2023-05-23 박문관 현실 검증 기반 디지털 트윈 서비스 제공 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140036555A (ko) * 2012-09-17 2014-03-26 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
KR20150089375A (ko) * 2014-01-27 2015-08-05 국방과학연구소 측위, 항법, 시각 정보 수집 시스템 및 그 방법
US20190122416A1 (en) * 2017-10-24 2019-04-25 Ge Inspection Technologies, Lp Monitoring multiple industrial machines
KR20200107289A (ko) * 2019-03-07 2020-09-16 주식회사 엘지유플러스 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법
KR20210009151A (ko) * 2019-07-16 2021-01-26 주식회사 엘지유플러스 원격 관제를 위한 시스템의 동작 방법 및 이를 수행하는 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163358B2 (en) * 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
CN107832497B (zh) * 2017-10-17 2018-08-28 广东工业大学 一种智能车间快速定制设计方法及系统
KR102163378B1 (ko) 2020-04-29 2020-10-08 동의대학교 산학협력단 디지털 트윈 및 증강현실을 이용한 피팅 이미지 제공방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140036555A (ko) * 2012-09-17 2014-03-26 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
KR20150089375A (ko) * 2014-01-27 2015-08-05 국방과학연구소 측위, 항법, 시각 정보 수집 시스템 및 그 방법
US20190122416A1 (en) * 2017-10-24 2019-04-25 Ge Inspection Technologies, Lp Monitoring multiple industrial machines
KR20200107289A (ko) * 2019-03-07 2020-09-16 주식회사 엘지유플러스 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법
KR20210009151A (ko) * 2019-07-16 2021-01-26 주식회사 엘지유플러스 원격 관제를 위한 시스템의 동작 방법 및 이를 수행하는 시스템

Also Published As

Publication number Publication date
KR20220125694A (ko) 2022-09-14
KR102549072B1 (ko) 2023-06-29

Similar Documents

Publication Publication Date Title
WO2018131914A1 (en) Method and apparatus for providing guidance in a virtual environment
WO2015064903A1 (en) Displaying messages in an electronic device
WO2018074893A1 (ko) 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
WO2020111594A1 (en) Electronic device, augmented reality device for providing augmented reality service, and method of operating same
WO2014204239A1 (en) Electronic device for displaying lock screen and method of controlling the same
WO2011059243A2 (en) Server, user terminal, and service providing method, and control method thereof
WO2020130691A1 (en) Electronic device and method for providing information thereof
WO2020149689A1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
WO2022186619A1 (ko) 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치
WO2022035027A1 (ko) 모션 신호와 마우스 신호를 사용하여 호스트 장치를 제어하기 위한 전자 장치
WO2016114475A1 (en) Method of providing preset service by bending mobile device according to user input of bending mobile device and mobile device performing the same
WO2020153772A1 (en) Electronic device and method of providing content therefor
WO2017119536A1 (ko) 모바일 디바이스 및 모바일 디바이스의 제어방법
WO2020027417A1 (en) Electronic device and method for providing virtual input tool
WO2020080732A1 (ko) 가상 콘텐츠를 제어하기 위한 인터페이스 방법
WO2018079935A1 (ko) 증강 현실을 이용한 학습방법 및 시스템
WO2021182845A1 (ko) 위치 판단에 이용되는 데이터 처리 방법 및 이를 지원하는 전자 장치
WO2020171547A1 (en) Method of managing multi tasks and electronic device therefor
WO2014073777A1 (en) Digital device and method for controlling the same
WO2020141808A1 (ko) 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법
WO2021107200A1 (ko) 이동 단말기 및 이동 단말기 제어 방법
WO2020005044A1 (ko) 전자 장치에서 물리적 키보드의 레이아웃 설정 방법 및 장치
WO2021246689A1 (ko) 음성 또는 문자를 번역하는 전자 장치 및 그 방법
WO2024075953A1 (ko) 다중 카메라 기반의 이동 로봇의 맵 이미지 및 물체 위치를 획득하기 위한 시스템 및 방법
WO2021071083A1 (ko) 데이터 공유를 이용하여 광고를 제공하는 방법 및 이를 수행하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22763600

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22763600

Country of ref document: EP

Kind code of ref document: A1