WO2021006648A1 - 아바타를 통한 실시간 vr 서비스 제공 방법 - Google Patents

아바타를 통한 실시간 vr 서비스 제공 방법 Download PDF

Info

Publication number
WO2021006648A1
WO2021006648A1 PCT/KR2020/008978 KR2020008978W WO2021006648A1 WO 2021006648 A1 WO2021006648 A1 WO 2021006648A1 KR 2020008978 W KR2020008978 W KR 2020008978W WO 2021006648 A1 WO2021006648 A1 WO 2021006648A1
Authority
WO
WIPO (PCT)
Prior art keywords
avatar
client
client device
time
image
Prior art date
Application number
PCT/KR2020/008978
Other languages
English (en)
French (fr)
Inventor
김성룡
Original Assignee
김성룡
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190083097A external-priority patent/KR102193630B1/ko
Application filed by 김성룡 filed Critical 김성룡
Priority to US17/626,028 priority Critical patent/US11847297B2/en
Publication of WO2021006648A1 publication Critical patent/WO2021006648A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention provides a method for matching an avatar device that will transmit a virtual reality (VR) image desired by a client in real time, and receiving a VR image in real time through the matched avatar device, and an apparatus, method, and system therefor. About.
  • VR virtual reality
  • An object of the present invention is to provide a service apparatus, method, and system capable of receiving or providing a VR image desired by a client in real time based on a faster communication speed.
  • the present invention is a step of registering a client profile in an application management server by a client device, wherein the client profile includes information on a VR image requested by the client device, and a plurality of Avatar devices registering avatar profiles with the application management server, wherein the avatar profiles include information on a VR image that the avatar device is requesting, and the application management server includes the client profile and the avatar profile Searching for an avatar profile in which the client profile and at least one information are matched by comparing them with each other, and providing a first search result to the client device, and the application management server using a specific avatar device within the first search result Receiving an input of the client device for selecting, and matching the client device with the specific avatar device by the application management server, and receiving, by the client device, a VR image from the matched avatar device. It provides a method for providing a real-time VR service including a.
  • the client profile includes information on a shooting location, a shooting time, a language used, and/or a shooting request cost of the VR image to be requested, and the The avatar profile may include information on a photographing location, a photographing time, a language used, and/or a photographing request cost of a VR image to be requested.
  • the receiving of the VR image from the matched avatar device by the client device includes the matched VR image taken at a shooting time and a shooting location registered by the client device in the client profile. It may include receiving from the avatar device.
  • the providing of the first search result to the client device may include, when a plurality of avatar devices are included in the first search result, the application management server comprises the plurality of avatar devices.
  • the avatar device having a higher degree of matching the client device with the profile information may rank higher and provide it to the client.
  • the receiving of the VR image may include providing, by the application management server, a real-time voice chat or text chat function between the client device and the matched avatar device; Further, wherein the providing of the real-time voice chat or text chat function comprises: when the language used by the client device registered in the client profile and the language used by the matched avatar device registered in the avatar profile are different, the The application management server may be a step of providing the voice chat or text chat function by automatically translating according to the language used of each device.
  • the second search result includes information on at least one avatar device located within a preset distance from the shooting location, information on a current location of the at least one avatar device, and/or an avatar profile of the at least one avatar device. May contain information.
  • the application management server when a plurality of avatar devices are included in the second search result, receives a selection input for selecting a specific avatar device from among the plurality of avatar devices from the client device.
  • the method may further include matching the selected specific avatar device and the client device, and receiving, by the client device, a VR image from the matched avatar device.
  • the client device transmits the first control signal for controlling the moving direction, angle and/or speed of the matched avatar device. Transmitting to a matched avatar device, and moving the matched avatar device according to the first control signal; Further comprising, the first control signal may be generated in synchronization with the user's movement input signal for the client device.
  • the first control signal is synchronized with a movement control signal received by the client device from the other device.
  • the movement of the matched avatar device may be synchronized with the movement of the other device.
  • the shooting direction of the camera unit is the user wearing the client device Is synchronized with the head or gaze direction of the camera unit, and the shooting angle of the camera unit is controlled by a second control signal transmitted from the client device, and the second signal is the sensing of the head or gaze direction of the user wearing the client device It can be created in synchronization with the results.
  • a client can indirectly view various environments such as scenery, objects, exhibits, etc. in a specific area (particularly, a distance) that the client wants to experience through VR images in a more realistic way, even if the client does not go directly. You can experience it.
  • the client since the client can directly manipulate the movement/motion of the robot avatar, it has the effect that the client can more actively and flexibly provide the desired experience through the robot avatar.
  • FIG. 1 is a flow chart illustrating a real-time VR service method through a real avatar according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a real-time VR service system according to an embodiment of the present invention.
  • 3 and 4 are diagrams illustrating an embodiment in which a real-time VR service system according to an embodiment of the present invention is implemented.
  • FIG. 5 is a diagram illustrating a location-based real-time VR image providing system according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a method of controlling an avatar device of a client device according to an embodiment of the present invention.
  • each of the processes constituting the method may occur differently from the specified order unless a specific order is clearly stated in the context. That is, each process may occur in the same order as the specified order, may be performed substantially simultaneously, or may be performed in the reverse order.
  • RAS refers to a service in which the avatar performs/experiences the tasks the client wants to experience on behalf of the client, and accompanies others.
  • This service aims to be a platform through which various people can communicate with each other, and accordingly, various video information can be shared and communicated through this service.
  • the avatar can experience this on behalf of the client and broadcast/transmit the experience situation in real time as a VR image.
  • 5G e.g., travel to a distant destination, visit an exhibition, visit an overseas concert, attend a class Etc.
  • the client can feel the presence of a remote object or person as if they are nearby, and can directly build an experience environment through real-time communication/communication with an avatar.
  • Those with such limitations can become clients and directly request things they want to experience directly through the service system, and the service system can match an avatar to perform the request with a client.
  • the matched avatar can satisfy the client by performing tasks requested by the client instead, and the client can pay a certain cost to the avatar.
  • FIG. 1 is a flowchart briefly illustrating a real-time VR service method through a real avatar according to an embodiment of the present invention.
  • the order of each step may be changed, and at least one step may be newly added or deleted.
  • the client device refers to a device of a client requesting a VR image
  • the avatar device refers to a device of an avatar that provides/transmits the requested VR image to the client device in real time.
  • the real-time VR service of the present specification may be implemented through a specific application, and the client device and the avatar device of the present specification may correspond to electronic devices in which such a specific application/program (hereinafter, collectively referred to as an application) is installed.
  • the client device 101 and/or the avatar device 102 may register a profile (S101).
  • the profile is basic information required for avatar matching/connection.
  • the content type of the VR video to be requested, the shooting location, the shooting time, the shooting request cost, the interests, the work to do, the to-do, the schedule, and / Or it may include information such as the language used, and in the case of an avatar, the content type of the VR video to be requested, the shooting location, the shooting time, the shooting request cost, interests, what to do, what to do, the schedule and/or use Information such as language may be included.
  • Such a profile may be registered in the application management server 103 that manages/operates a real-time VR service. The registered profile can be set to be disclosed or not, and if it is set to be disclosed, it can be disclosed to others through an application.
  • matching may be performed between the client device 101 and the avatar device 102 based on the registered profile (S102).
  • the application management server 103 has a profile registered by the client device 101 (eg, place/time/to do/wanted to do) and a profile registered by the avatar device 102 (eg, Place/time/to do/want to do) may be compared with each other to match/connect devices with high matching degree to each other (S103).
  • the degree of matching may be evaluated differently for each matched condition/category (ie, priority is different for each matched condition/category).
  • the application management server 103 determines whether to match the to-do (or to-do) of the client device profile and the to-do (or to-do) of the avatar device profile. It can be judged, and it can be evaluated as having the highest matching degree when matching.
  • pairing connection refers not only to direct connection between two devices, but also to indirect pairing connection through an application management server.
  • the client device 101 and the avatar device 102 can perform communication by directly exchanging wireless/wired control signals with each other, and in the case of indirect pairing connection, the client device 101
  • the avatar device 102 and the avatar device 102 may exchange wireless/wired control signals through the application management server 103, and the application management server 103 may serve to transmit a control signal between the two devices in the middle.
  • the application management server 103 may provide the plurality of avatar devices 102 as matching/connection candidate groups to the client device 101, and the avatar device 102 having many matching conditions (or high matching degree) The higher the rank, the higher the rank and may be provided to the client device 101 together with simple profile summary information.
  • the client selects the avatar device 102 to be matched/connected from among the plurality of avatar devices 102 based on the provided profile summary information, so that the matching/connection may be established/completed.
  • the client device 101 and the avatar device 102 matched with each other may be connected to each other at a predetermined experience time, and the client device 101 provides a VR image requested in real time from the avatar device 102. It is received (S103).
  • the application management server 103 may provide a function of mutually negotiating the experience time to both devices through an application, and a real-time shooting/display/broadcasting function of a VR image may also be provided to both devices through the application. have.
  • a companion service such as a companion service with a visually impaired person and a female safe return home companion service may be derived.
  • a visually impaired client may register his or her own profile through the client device 101, and at this time, he or she may register “accompaniment/travel” as the desired task of the profile.
  • the application management server 103 may perform matching with a specific avatar device 102 based on the profile of the client device 101 (ie, performing steps S101 to S102).
  • the matched avatar device 102 may receive an image captured by the client device 101 in real time and at the same time receive a real-time chat/chat function with the client device 101. Through this, the avatar can feel the client traveling/accompaniing.
  • the avatar can inform you of dangers/obstacles that may threaten the client on the road/trip through a real-time chat function while receiving the video taken from the client's perspective in real time.
  • various information about the destination is also available. Can be provided to clients.
  • a female client returning home late at a time can register her profile through the client device 101, and at this time, register'late homecoming' as a to-do (or want to do) in the profile. can do.
  • the application management server 103 may perform matching with a specific avatar device 102 based on the profile of the client device 101 (ie, performing steps S101 to S102).
  • the matched avatar device 102 may receive an image captured by the client device 101 in real time and at the same time receive a real-time chat/chat function with the client device 101. Through this, the avatar can feel the client return home together.
  • the avatar can inform the client of whether there are any dangers/persons that may threaten the client through a real-time chat function while receiving the video taken from the client's perspective in real time. Can be provided.
  • the client device 101 may receive a VR image requested by the client device 101 from the paired/connected avatar device 102 at a predetermined experience time in real time.
  • the client device 101 may directly manipulate the avatar device 102 to actively build an environment that it wants to experience.
  • the client device 101 directly transmits a control signal for manipulating the movement/motion/motion/flight direction/speed, camera angle of the avatar device 102 to the avatar device 102 (or a real-time VR service system).
  • the avatar device 102 may transmit a VR image in real time by controlling movement/motion/motion/flight according to a control signal received from the client device.
  • avatar devices 102 are pre-equipped/arranged/installed/located in various places (for example, tourist attractions, exhibitions, shopping malls, etc.), or avatar devices 102 are located near the corresponding places.
  • a service point may be located.
  • the avatar device delivery person employed to perform the service system may place the avatar device 102 at the appointed place before the preset time, and the client device 101 and the avatar device 102
  • a real-time VR image transmission service may be initiated by pairing/connecting.
  • such an avatar device delivery person may not only deliver the avatar device, but may also accompany the experience of the avatar device (that is, the role of a robot companion can also be performed).
  • the companion may perform a real-time/two-way conversation with the client through a real-time communication function with the client device provided through the avatar device while walking with the avatar device.
  • the companion can be a guide or a conversation partner of the client, such as providing various advice/information on the travel destination to the client.
  • FIG. 2 is a block diagram illustrating a real-time VR service system according to an embodiment of the present invention.
  • a real-time VR service system may include a client device 101, an avatar device 102, and an application management server 103.
  • the application management server 103 may correspond to a device/server that manages/generates/operates the entire real-time VR service system, and communicates with the client device 101 and the avatar device 102 and manages/controls them. have.
  • the application management server 103, the client device 101, and the avatar device 102 may include at least one component/unit for performing various functions/methods described herein.
  • the application management server 103/client device 101/avatar device 102 is a processor 201, a memory unit 202, a VR display unit 203, a communication unit 204, and/or It may include a wide-angle camera unit 205.
  • each component/unit will be described, and the following description may be commonly applied to the application management server 103, the client device 101, and the avatar device 102.
  • the processor 201 may implement the functions, processes and/or methods proposed in the present specification, and may perform communication with at least one other unit/configuration included in each device. Accordingly, the processor 201 may be described by being identified with each device.
  • the memory unit 202 may store various types of information/data/programs/applications/images/images.
  • the memory unit 202 may transmit the stored information/data/image/image to the processor 202 or may receive it from the processor 201.
  • a program/application stored in the memory unit 202 may be executed/executed by the processor 202.
  • the memory unit 202 according to the present invention may store an application designed to implement a real-time VR service system, and the application may be executed by the processor 201.
  • the memory unit 202 may be inside or outside the processor 201.
  • the VR display unit 203 may output/display an image/video/screen.
  • the VR display unit 203 may correspond to a Head Mounted Display (HMD).
  • the VR display unit 203 may include at least one touch/pressure/proximity/motion/camera sensor to sense a user's touch input.
  • the VR display unit 203 is an HMD, at least one It is equipped with a direction / gyro / angle / acceleration sensor of the user's head / gaze direction / angle can be sensed.
  • gaze tracking technology that only shows the user's view clearly and blurs the rest due to the weakness of the current 5G (5th Generation) network can be used. In Term Evolution) network, gaze tracking/sensing is possible.
  • the VR display unit 203 may transmit the sensing result to the processor.
  • the VR display unit 203 of the present specification may display various VR images/videos/screens transmitted in real time through the communication unit 204 in real time.
  • the communication unit 204 is connected to the processor 201 and may transmit and/or receive an internal/external device/server and a wired/wireless signal.
  • the wide-angle camera unit 205 may input/acquire/recognize/sens an image/video/screen using at least one (wide-angle) camera sensor (eg, a 360-degree camera (sensor)).
  • a wide-angle image/video/screen can be photographed/acquired/recognized/sensed in real time, and the photographed/acquired/recognized/sensed image is a VR image. It can be transmitted in real time to the client device 101 through the communication unit 204.
  • the wide-angle camera unit is not limited to the 360-degree camera exemplified above, and all camera units having a photographing angle of less than 360 degrees are meant/included. Accordingly, a general person who does not own a 360-degree camera may become an avatar, and in this case, the image provided to the client device may be a general 2D image.
  • the motion unit 206 may include at least one motor/engine to control the movement of the robot avatar device 102 (eg, movement/motion/flying direction/speed/angle, etc.).
  • the motion unit 206 may control the movement of the robot avatar device 102 based on the control signal received from the processor 201 and/or the communication unit 204, and the received control signal is the client device 101 ) And/or a control signal transmitted from the application management server 103.
  • the input unit 207 may be provided with at least one sensor/module to sense various inputs of a user (especially a client) and transmit the sensed input to the processor 201.
  • the input unit 207 is a proximity sensor, a touch sensor, a pressure sensor, a camera sensor, a motion sensor, an infrared sensor, a microphone sensor, a gyro sensor, and/or a stick module (up/down/left/right direction).
  • a module that detects stick movement may be provided.
  • An embodiment of controlling a robot avatar device using a stick module will be described later with reference to FIG. 6.
  • FIG. 3 and 4 are diagrams illustrating an embodiment in which a real-time VR service system according to an embodiment of the present invention is implemented.
  • FIG. 3 is a diagram illustrating an avatar device providing a real-time VR service
  • FIG. 4 is a diagram illustrating a client device receiving a real-time VR service.
  • the avatar device 301 matched according to FIG. 1 may photograph a place requested by the client device through a wide-angle camera unit and transmit the photographed to the client device.
  • the avatar device 301 may transmit the captured VR image 302 in real time at a time promised to the client device, or may store the captured VR image 302 at a time promised to the client device and transmit it at a later time.
  • the avatar device 301 is moved to a specific place requested by the client and/or at a specific time by a worker hired or engaged in a real-time VR service system (especially, an avatar device), or the movement is automated. It is implemented as a robotic device and can be moved directly to a specific place at an appointment. In the latter case, in addition to the configuration/unit shown in FIG. 2, the avatar device 301 may further include a movement/flight unit equipped with at least one engine/motor for movement.
  • the client device 401 may receive an image captured through the wide-angle camera unit of the avatar device 301 as a VR image as shown in FIG. 3.
  • the client is the angle/direction of the client device 401 (if the VR display unit is an HMD, the angle/direction of the head wearing the HMD) or the gaze angle/direction/position It is possible to directly experience the VR image 403 of a desired angle/direction by adjusting.
  • the client device 401 may search for information on a recognized specific object among the VR image 403 being displayed and provide it to the client. For example, the client device 401 automatically searches for a specific image/text recognized among the displayed VR images 403 (for example, using an image/text search function provided by an application or portal site), and the search result Can also be provided to the client.
  • the client may perform real-time communication with the avatar or the avatar device 301 while experiencing the VR image provided by the avatar device 301.
  • the application management server may provide a voice/text chat function through the application to provide a real-time communication function between the avatar and the client. .
  • the client actively asks the avatar about the environment they want to experience (for example, please go to the shop in front of you. Climb the mountain. Get closer to the artwork in front, etc.)
  • the avatar can actively accept the client's request and create an environment that the client wants to experience.
  • the effect is that clients can increase their satisfaction by actively creating the environment they want to experience.
  • the avatar can directly explain the feelings/impressions of the field being experienced through the communication function, and can provide additional information about the field knowledge/background/news, etc. to the client.
  • the application management server may also provide an automatic translation function.
  • the application management server may provide the automatic translation function to both sides in real time through an automatic translation application stored in the memory unit in advance or a real-time Internet search.
  • the matching/connection between the client device 401 and the avatar device 301 is based on 1:1 matching, but a 1:N or N:1 matching/connection is also possible according to an embodiment. This can also be performed by the application management server based on the profile registered by the client/avatar device (401, 301) as described above.
  • the client may evaluate the avatar that provided the VR image. For example, a client may score an evaluation score for a corresponding avatar through an application, which may be stored and managed in an application management server.
  • the application management server may provide a function of recommending an avatar device 301 having a high possibility of matching with a client device through an application according to an embodiment.
  • an average evaluation score for the recommended avatar device 301 may also be provided, and the higher the score, the higher the frequency of recommendation.
  • the real-time VR service system of the present specification can also provide a real-time matching/connection method based on the location of the avatar device 301, which will be described later with reference to FIG. 5.
  • FIG. 5 is a diagram illustrating a location-based real-time VR image providing system according to an embodiment of the present invention.
  • the client device 401 may directly search in real time for a current experience/place to be experienced.
  • the application management server may provide information on at least one avatar device that is currently providing/transmitting/broadcasting VR images in a corresponding region to the client device. For example, when a client searches for France and Paris, the application management server displays the locations of avatar devices that are currently transmitting/broadcasting/providing VR images in Paris, France, as shown in FIG. I can.
  • the application management server may also provide information about brief information about each avatar device (eg, profile summary information, average evaluation score, etc.) to the client device 401 together.
  • the searched avatar device may correspond to an avatar device that has previously agreed to share its location information and VR service among avatar devices located in a place searched by the client device 401.
  • avatar devices may be electronic devices carried by workers, tourists, and tour guides, or may correspond to CCTVs located in specific areas or black boxes/CCTVs and/or drones installed in public transport.
  • the client may select the avatar device 301-1 to which the experience is requested based on the information provided for each avatar device, and in this case, matching/connection with the selected avatar device 301-1 may be completed. For example, as illustrated in FIG. 5, the client may select any one of the avatar devices displayed on the Paris map, France, and a guide phrase “Would you like to accompany you?” may be displayed for this.
  • the client may touch the'YES' button in the displayed guidance text, and as a result, matching/connection with the corresponding avatar device 301-1 It can be done.
  • the avatar device 301-1 which has successfully matched, transmits/provides the VR image currently being photographed to the client device 401 in real time.
  • FIG. 6 is a diagram illustrating a method of controlling an avatar device of a client device according to an embodiment of the present invention.
  • the client device corresponds to an HMD device worn by the client
  • the avatar device corresponds to a drone device, but the embodiment is not limited thereto.
  • the client may apply an input for controlling the movement of the avatar device 504, which is a robot avatar device, to the client device 501.
  • the client may apply a touch input for controlling the movement of the avatar device 504 through an input unit provided in the client device 501, and the client device 501 sensing the touch input is the sensed input. It is possible to generate a control signal corresponding to.
  • the client device 501 is an icon/image/UI (User Interface) for controlling the avatar device 504 to facilitate the input of the client (for example, a joy stick or an arrow icon/image/UI in four directions). ) May be provided through an application, and the client may perform a drag input for the corresponding icon/image/UI in a direction in which the avatar device 504 wants to move.
  • icon/image/UI User Interface
  • the client may perform a drag input for the corresponding icon/image/UI in a direction in which the avatar device 504 wants to move.
  • a control signal generated through such an input is transmitted to the avatar device 504 to control movement/motion/flight/motion of the avatar device 504.
  • Such a control signal may be directly transmitted from the client device 501 to the avatar device 504 or may be transmitted to the avatar device 504 through an application management server.
  • the above-described embodiment is an embodiment in which the client controls the avatar device 504 through the client device 501, and in addition, the client device 501 controls the avatar device 504 through another device to which it is paired/connected.
  • the client device 501 may be in a state of being paired/connected with the other device 502 in advance through wireless/wired communication.
  • the other device 502 may include at least one component/unit described in FIG. 2 to perform the functions/operations described herein.
  • client control for example, an electric wheelchair, a car, a motorcycle, a bicycle, etc.
  • an avatar device A control signal for controlling the movement/movement of the 504 may be generated corresponding to/synchronized with the movement state of the other device 502.
  • the control signal is a movement direction/speed of the electric wheelchair (or a movement input input through the control stick 503 provided for the user to control the movement of the electric wheelchair) Signal), and the generated control signal may be transmitted to the avatar device 504.
  • a control signal may also be directly transmitted from the client device 501 to the avatar device 504 or may be transmitted to the avatar device 504 through an application management server.
  • a control signal for controlling the shooting angle of the wide-angle camera unit 505 is also from the client device 501. Can be transmitted.
  • the transmitted control signal may be generated in response to the client's gaze/head direction/angle/speed/acceleration, etc., sensed by the client device 501, and a wide angle such as shooting direction/angle/speed/acceleration, etc.
  • the movement of the camera unit 505 can be controlled. Through this, there is an effect that the client can actively experience/experience the angle/direction he or she desires.
  • the movement/motion/flight/motion of the avatar device 504 is controlled by another device paired/connected to the client device 501 as in the above-described embodiment, the movement/motion/of the avatar device 504 Flight/motion is controlled by a first control signal generated by the other device 502, and the shooting angle/speed/direction of the wide-angle camera unit 505 of the avatar device 504 is generated by the client device 501 Each is independently controlled by the second control signal.
  • a personalized experience service that allows the avatar device to look like a client by displaying the client's face/avatar/emoticon on the (VR) display unit of the avatar device during flight may be provided.
  • a real-time VR service system especially, an application management server
  • At least one of the listed functions may be mainly provided by an application management server, and each function may be performed by a client device and/or an avatar device:
  • the client device/account pays for the reserve, and when performing an experience agency, the reserve is deducted by the agency cost, and the deducted cost is credited to the avatar device/account
  • -VR camera interlocking function through various wearable devices (eg, smart watch, link flow neck type smart wearable device, etc.).
  • wearable devices eg, smart watch, link flow neck type smart wearable device, etc.
  • -Matching is performed between the tasks you want to do in the profile of the client device and the days you need to do in the profile of the avatar device, so that other users can view them and perform detailed searches.
  • the biggest difference between the above-described real-time VR service system is that travel and exploration programs using existing VR use recorded images, but this service can transmit VR images in real time.
  • this service In order to make a recorded video, it takes a lot of time to go through pre-shooting and editing, and there is a disadvantage in that the timeliness of playing the video of the past period is poor, and the experience of experiencing the site directly is inferior.
  • VR contents using other graphics have a long production period and are expensive to create.
  • the biggest advantage of this service is that it is possible to operate at a low cost in terms of service as it does not incur real-time realism because it allows the client to view the videos they want in real time. can do.
  • an embodiment of the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof.
  • an embodiment of the present invention is one or more ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs ( field programmable gate arrays), processors, controllers, microcontrollers, microprocessors, etc.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, microcontrollers, microprocessors, etc.
  • an embodiment of the present invention is implemented in the form of modules, procedures, functions, etc. that perform the functions or operations described above, and is stored in a recording medium that can be read through various computer means.
  • the recording medium may include a program command, a data file, a data structure, or the like alone or in combination.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software.
  • the recording medium is a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical medium such as a compact disk read only memory (CD-ROM), a digital video disk (DVD), and a floppy disk.
  • Magnetic-Optical Media such as a floptical disk, and a hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • the client can indirectly experience various environments such as scenery, objects, exhibits, etc. in a specific area (especially in a distance) that the client wants to experience through VR images, even if they do not go directly, and avatars Since communication with and real-time is possible, the client can more actively and flexibly experience the experience they want through the avatar.
  • new VR services such as VR travel/experience can be derived, and since the client can directly manipulate avatar movement/motion, the client can obtain the desired experience more actively and flexibly. I can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 실시간 가상현실(Virtual Reality, VR) 서비스 제공 방법에 관한 것으로서, 클라이언트 기기가 어플리케이션 관리 서버에 클라이언트 프로필을 등록하는 단계로서, 상기 클라이언트 프로필에는 상기 클라이언트 기기가 의뢰하고자 하는 VR 영상에 관한 정보가 포함되고, 복수의 아바타 기기들이 상기 어플리케이션 관리 서버에 아바타 프로필들을 등록하는 단계로서, 상기 아바타 프로필들에는 상기 아바타 기기가 의뢰받고자 하는 VR 영상에 관한 정보가 포함되고, 상기 어플리케이션 관리 서버가 상기 클라이언트 프로필과 상기 아바타 프로필들을 상호 비교하여 상기 클라이언트 프로필과 적어도 하나의 정보가 매칭되는 아바타 프로필을 서칭하고, 제1 서칭 결과를 상기 클라이언트 기기에 제공하는 단계와, 상기 어플리케이션 관리 서버가 상기 제1 서칭 결과 내에서 특정 아바타 기기를 선택하는 상기 클라이언트 기기의 입력을 수신하는 단계와, 상기 어플리케이션 관리 서버가 상기 클라이언트 기기와 상기 특정 아바타 기기를 상호 매칭시키는 단계와, 상기 클라이언트 기기가 상기 매칭된 아바타 기기로부터 VR 영상을 수신하는 단계를 포함한다.

Description

아바타를 통한 실시간 VR 서비스 제공 방법
본 발명은 클라이언트가 원하는 가상현실(Virtual Reality, VR) 영상을 실시간으로 전송해 줄 아바타 기기를 매칭해주고, 매칭된 아바타 기기를 통해 VR 영상을 실시간으로 제공받는 방법 및 이를 위한 장치, 방법 및 시스템에 관한 것이다.
최근 각 통신사마다 5G(5th Generation)를 활용한 다양한 기능과 서비스를 내놓고 있다. 그 결과, 그동안 통신 속도의 한계 때문에 이뤄지지 못했던 빅데이터 연결 등이 가능해져 전 세계 어느 곳에 있던 딜레이 없는 방송이 가능함은 물론 원격 조정 등도 가능해졌다. 더구나 세계적으로 앞다퉈 차세대 통신 기술들을 도입하고 있는 추세이며, 가상 원격 화상 회의인 텔레프레젠스(Telepresence) 등 신기술들로 시공간을 뛰어넘으려는 시도가 이어지고 있다.
따라서, 업계에서는 국내 5G를 통한 통신과 360도 VR 등의 서비스는 향후 10년간 지금의 수십 배 이상 성장 가능하다고 예측하고 있으며, 더불어 생활기반 플랫폼 서비스와 여행 서비스는 지금 시장 안정화 단계에 있어 매년 그 수요와 매출이 급상승하고 있다. 최근에는 지방 자치 단체와 관공서는 물론 일반 기업들까지 VR 등을 활용한 신규 서비스와 연계한 새로운 비즈니스 사업을 발굴하려고 하는 실정이다.
본 발명은 더욱 빨라진 통신 속도를 기반으로 클라이언트가 원하는 VR 영상을 실시간으로 제공받거나 제공해 줄 수 있는 서비스 장치, 방법 및 시스템을 제공함에 목적이 있다.
전술한 목적을 달성하기 위하여, 본 발명은, 클라이언트 기기가 어플리케이션 관리 서버에 클라이언트 프로필을 등록하는 단계로서 상기 클라이언트 프로필에는 상기 클라이언트 기기가 의뢰하고자 하는 VR 영상에 관한 정보가 포함된 단계와, 복수의 아바타 기기들이 상기 어플리케이션 관리 서버에 아바타 프로필들을 등록하는 단계로서 상기 아바타 프로필들에는 상기 아바타 기기가 의뢰받고자 하는 VR 영상에 관한 정보가 포함된 단계와, 상기 어플리케이션 관리 서버가 상기 클라이언트 프로필과 상기 아바타 프로필들을 상호 비교하여 상기 클라이언트 프로필과 적어도 하나의 정보가 매칭되는 아바타 프로필을 서칭하고, 제1 서칭 결과를 상기 클라이언트 기기에 제공하는 단계와, 상기 어플리케이션 관리 서버가 상기 제1 서칭 결과 내에서 특정 아바타 기기를 선택하는 상기 클라이언트 기기의 입력을 수신하는 단계와, 상기 어플리케이션 관리 서버가 상기 클라이언트 기기와 상기 특정 아바타 기기를 상호 매칭시키는 단계와, 상기 클라이언트 기기가 상기 매칭된 아바타 기기로부터 VR 영상을 수신하는 단계를 포함하는 실시간 VR 서비스 제공 방법을 제공한다.
본 발명의 일 특징에 의하면, 상기 VR 영상에 관한 정보로서, 상기 클라이언트 프로필은, 의뢰하고자 하는 VR 영상의 촬영 위치, 촬영 시간, 사용 언어, 및/또는 촬영 의뢰 비용에 관한 정보를 포함하고, 상기 아바타 프로필은, 의뢰받고자 하는 VR 영상의 촬영 위치, 촬영 시간, 사용 언어, 및/또는 촬영 의뢰 비용에 관한 정보를 포함할 수 있다.
본 발명의 다른 특징에 의하면, 상기 클라이언트 기기가 상기 매칭된 아바타 기기로부터 상기 VR 영상을 수신하는 단계는, 상기 클라이언트 기기가 상기 클라이언트 프로필에 등록한 촬영 시간 및 촬영 위치에서 촬영된 VR 영상을 상기 매칭된 아바타 기기로부터 수신하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 제1 서칭 결과를 상기 클라이언트 기기에 제공하는 단계는, 상기 제1 서칭 결과에 복수의 아바타 기기들이 포함된 경우, 상기 어플리케이션관리 서버는, 상기 복수의 아바타 기기들 중 상기 클라이언트 기기와 프로필 정보 매칭 정도가 높은 아바타 기기일수록 상위에 랭크하여 상기 클라이언트에 제공하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 VR 영상을 수신하는 단계는, 상기 어플리케이션 관리 서버가 상기 클라이언트 기기 및 상기 매칭된 아바타 기기간의 실시간 음성 채팅 또는 문자 채팅 기능을 제공하는 단계; 를 더 포함하고, 상기 실시간 음성 채팅 또는 문자 채팅 기능을 제공하는 단계는, 상기 클라이언트 기기가 상기 클라이언트 프로필에 등록한 사용 언어와, 상기 매칭된 아바타 기기가 상기 아바타 프로필에 등록한 사용 언어가 다른 경우, 상기 어플리케이션 관리 서버가 각 기기의 사용 언어에 맞게 자동 번역하여 상기 음성 채팅 또는 상기 문자 채팅 기능을 제공하는 단계일 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 클라이언트 기기가 현재 의뢰하고 싶은 VR 영상의 촬영 위치를 검색하는 단계와, 상기 촬영 위치에 위치한 아바타 기기를 서칭한 제2 서칭 결과를 상기 클라이언트 기기에 제공하는 단계; 를 더 포함하고, 상기 제2 서칭 결과는, 상기 촬영 위치로부터 기설정된 거리 내에 위치한 적어도 하나의 아바타 기기 정보, 상기 적어도 하나의 아바타 기기의 현재 위치 정보 및/또는 상기 적어도 하나의 아바타 기기의 아바타 프로필 정보를 포함할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 제2 서칭 결과에 복수의 아바타 기기들이 포함된 경우, 상기 어플리케이션 관리 서버가 상기 클라이언트 기기로부터 상기 복수의 아바타 기기들 중 특정 아바타 기기를 선택하는 선택 입력을 수신하고, 상기 선택된 특정 아바타 기기와 상기 클라이언트 기기를 매칭시키는 단계와, 상기 클라이언트 기기가 상기 매칭된 아바타 기기로부터 VR 영상을 수신하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 매칭된 아바타 기기가 로봇 아바타 기기인 경우, 상기 클라이언트 기기가 상기 매칭된 아바타 기기의 이동 방향, 각도 및/또는 속도를 제어하기 위한 상기 제1 제어 신호를 상기 매칭된 아바타 기기로 전송하는 단계와, 상기 매칭된 아바타 기기가 상기 제1 제어 신호에 따라 이동하는 단계; 를 더 포함하고, 상기 제1 제어 신호는, 상기 클라이언트 기기에 대한 사용자의 이동 입력 신호에 동기화되어 생성될 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 클라이언트 기기가 사용자에 의해 이동 제어가 가능한 타 기기와 페어링되어 있는 경우, 상기 제1 제어 신호는 상기 타 기기로부터 상기 클라이언트 기기가 수신한 이동 제어 신호에 동기화되어 생성되고, 상기 매칭된 아바타 기기의 이동은 상기 타 기기의 이동과 동기화될 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 VR 영상 촬영을 위해 상기 매칭된 아바타 기기에 구비된 카메라 유닛의 최대 촬영 각도가 360도 미만인 경우, 상기 카메라 유닛의 촬영 방향은, 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향에 동기화되고, 상기 카메라 유닛의 촬영 각도는 상기 클라이언트 기기로부터 전송된 제2 제어 신호에 의해 제어되며, 상기 제2 신호는 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향의 센싱 결과에 동기화되어 생성될 수 있다.
본 발명의 실시간 VR 서비스 제공 방법에 의하면, 클라이언트는 자신이 직접 가지 않더라도 자신이 경험하고자 하는 특정 지역(특히, 원거리)에 있는 경치, 사물, 전시품 등과 같은 다양한 환경을 보다 현장감 있게 VR 영상을 통해 간접 체험할 수 있다.
또한, 본 발명의 실시간 VR 서비스 제공 방법에 의하면, 아바타와 실시간으로 통신이 가능하므로, 클라이언트가 보다 적극적이고 유연하게 자신이 원하는 경험을 아바타를 통해 체험할 수 있다.
또한, 본 발명의 실시간 VR 서비스 제공 방법에 의하면, VR 여행/체험과 같은 기존에 없던 새로운 VR 서비스의 도출이 가능하므로, 새로운 직업 창출 등과 같은 경제적 효과가 발생시킬 수 있다.
또한, 본 발명의 실시간 VR 서비스 제공 방법에 의하면, 클라이언트는 로봇 아바타 이동/모션의 직접 조작이 가능하므로, 클라이언트가 보다 적극적이고 유연하게 자신이 원하는 경험을 로봇 아바타를 통해 할 수 있다는 효과를 갖는다.
이상과 같은 본 발명의 효과 외에도 하기의 설명에서 다른 효과가 추가로 언급될 수 있다
도 1은 본 발명의 일 실시예에 따른 리얼 아바타를 통한 실시간 VR 서비스 방법을 예시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템을 예시한 블록도이다.
도 3 및 4는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템이 구현된 실시예를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 위치 기반 실시간 VR 영상 제공 시스템을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 클라이언트 기기의 아바타 기기 제어 방법을 예시한 도면이다.
이하에서는 본 발명의 실시예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다.
한편, 방법 또는 동작 방법을 수행함에 있어서, 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서는 기본적으로 리얼 아바타/동행/조언 서비스(REAL AVATAR/ACCOMPANY/ADVICE SERVICE; RAS) 시스템을 제안한다. RAS는 아바타가 클라이언트를 대신하여 클라이언트가 경험하고자 하는 일들을 수행/체험하며, 타인과 동행하는 서비스를 일컫는다. 본 서비스는 다양한 사람들이 서로 소통하는 플랫폼을 지향하며, 이에 따라 본 서비스를 통해 다양한 영상 정보물들이 공유되고 소통될 수 있다.
본 발명에 따를 때, 5G와 같은 초고속 통신 서비스를 활용한 실시간 VR과 위치기반 서비스를 활용해 클라이언트가 경험하고자 하는 것(예를 들어, 원거리 여행지로의 여행, 전시회 관람, 해외 콘서트 관람, 수업 참석 등)을 의뢰하면, 아바타가 클라이언트를 대신하여 이를 경험하고, 경험 상황을 VR 영상으로 실시간 방송/전송해줄 수 있다.
이는 텔레익지스턴스(Teleexistence)라는 기술 분야로도 불리며, VR 기기 및 초고속 이동 통신과 결합되어 새로운 서비스 상품의 창출이 가능하다. 이렇게 창출된 서비스 상품을 통해 클라이언트는 원격지에 있는 사물 또는 사람이 마치 근처에 있는 것 같은 현장감을 느낄 수 있으며, 아바타와의 실시간 통신/커뮤니케이션을 통해 직접적으로 체험 환경을 구축할 수 있다.
예를 들어, 투병 생활 중이나 킬리만자로에 오르는 것이 소원인 아이, 베트남에 있으나 한국에서 열리는 특정 가수 공연에 가고 싶어 하는 아이, 죽기 전 북한에 있는 자신의 고향을 보고 싶어하는 90세 할아버지, 영등포 타임스퀘어에서 열리고 있는 할인 쇼핑 행사에서 직접 눈으로 보고 상품을 구입하고 싶으나 육아로 방문할 시간이 부족한 주부, 출장 중이나 딸의 기념 행사에 참석하고 싶어하는 아빠 등과 같이 자신이 직접 경험하고 싶으나 시간적/공간적/현실적 한계로 불가능한 경우가 있을 수 있다.
이와 같은 한계를 갖는 이들이 클라이언트가 되어 직접 경험하고자 하는 일들을 본 서비스 시스템을 통해 직접 의뢰할 수 있으며, 본 서비스 시스템은 해당 의뢰를 수행할 아바타와 클라이언트를 매칭시켜줄 수 있다. 매칭된 아바타는 클라이언트가 의뢰한 일들을 대신 수행함으로써 클라이언트를 만족시킬 수 있으며, 클라이언트는 이에 대한 일정 비용을 아바타에 지불할 수 있다.
이러한 본 서비스 시스템의 구현 방법 및 다양한 실시예는 이하에서 각 도면을 참조하여 이하에서 구체적으로 후술한다.
도 1은 본 발명의 일 실시예에 따른 리얼 아바타를 통한 실시간 VR 서비스 방법을 간략히 예시한 순서도이다. 본 순서도에서 각 단계의 순서는 변경될 수 있으며, 적어도 하나의 단계가 새롭게 부가되거나 삭제될 수 있다. 또한, 본 순서도에서 클라이언트 기기는 VR 영상을 의뢰한 클라이언트의 기기를 의미하며, 아바타 기기는 의뢰받은 VR 영상을 클라이언트 기기에 실시간으로 제공/전송하는 아바타의 기기를 의미한다. 본 명세서의 실시간 VR 서비스는 특정 어플리케이션을 통해 구현될 수 있으며, 본 명세서의 클라이언트 기기 및 아바타 기기는 이러한 특정 어플리케이션/프로그램(이하, 어플리케이션으로 통칭)이 설치된 전자 기기에 해당할 수 있다.
도 1을 참조하면, 우선, 클라이언트 기기(101) 및/또는 아바타 기기(102)는 프로필을 등록할 수 있다(S101). 여기서, 프로필은 아바타 매칭/연결을 위해 요구되는 기본적인 정보로서, 클라이언트의 경우 의뢰하고자 하는 VR 영상의 컨텐츠 종류, 촬영 위치, 촬영 시간, 촬영 의뢰 비용, 관심사, 하고 싶은 일, 해야 할 일, 일정 및/또는 사용 언어 등의 정보를 포함할 수 있으며, 아바타의 경우 의뢰받고자 하는 VR 영상의 컨텐츠 종류, 촬영 위치, 촬영 시간, 촬영 의뢰 비용, 관심사, 하고 싶은 일, 해야 할 일, 일정 및/또는 사용 언어 등의 정보 등을 포함할 수 있다. 이러한 프로필은 실시간 VR 서비스를 관리/운용하는 어플리케이션 관리 서버(103)에 등록될 수 있다. 이렇게 등록된 프로필은 공개 여부 설정이 가능하며, 공개를 설정한 경우 어플리케이션을 통해 타인에게 공개될 수 있다.
다음으로, 등록된 프로필을 기반으로 클라이언트 기기(101) 및 아바타 기기(102)간 매칭이 수행될 수 있다(S102). 예를 들어, 어플리케이션 관리 서버(103)는 클라이언트 기기(101)가 등록한 프로필(예를 들어, 장소/시간/해야 할 일/하고 싶은 일)과 아바타 기기(102)가 등록한 프로필(예를 들어, 장소/시간/해야 할 일/하고 싶은 일)을 상호 비교하여 서로 매칭 정도가 높은 기기들을 매칭/연결시킬 수 있다(S103). 이때, 매칭되는 조건/카테고리별로 매칭 정도가 다르게 평가될 수 있다(즉, 매칭되는 조건/카테고리 별로 우선 순위가 상이). 예를 들어, 어플리케이션 관리 서버(103)는 클라이언트 기기와 아바타 기기 매칭 시, 클라이언트 기기 프로필의 하고 싶은 일(또는 해야 할 일)과 아바타 기기 프로필의 해야 할 일(또는 하고 싶은 일)간 매칭 여부를 판단할 수 있으며, 매칭 시 매칭 정도가 가장 높은 걸로 평가할 수 있다.
여기서, 매칭이라함은 기기간의 페어링 연결을 의미할 수 있다. 페어링 연결은 두 기기간의 직접적인 연결뿐만 아니라, 어플리케이션 관리 서버를 통한 간접적인 페어링 연결 모두를 의미한다. 직접적인 페어링 연결의 경우, 클라이언트 기기(101)와 아바타 기기(102)는 상호간에 무선/유선 제어 신호를 직접적으로 주고받음으로써 통신을 수행할 수 있으며, 간접적인 페어링 연결의 경우, 클라이언트 기기(101)와 아바타 기기(102)는 어플리케이션 관리 서버(103)를 통해 무선/유선 제어 신호를 주고받을 수 있으며, 어플리케이션 관리 서버(103)는 중간에서 두 기기간의 제어 신호를 전달하는 역할을 수행할 수 있다.
이때, 어플리케이션 관리 서버(103)는 복수의 아바타 기기(102)를 매칭/연결 후보군으로서 클라이언트 기기(101)에 제공할 수 있으며, 매칭되는 조건이 많은(또는 매칭 정도가 높은) 아바타 기기(102)일수록 상위에 랭크되어 간단한 프로필 요약 정보와 함께 클라이언트 기기(101)에 제공될 수 있다. 클라이언트는 제공된 프로필 요약 정보를 바탕으로 복수의 아바타 기기(102)들 중 매칭/연결하고자 하는 아바타 기기(102)를 선택함으로써 매칭/연결이 성사/완료될 수 있다.
마지막으로, 이렇게 서로 매칭된 클라이언트 기기(101)와 아바타 기기(102)는 미리 약속한 체험 시간에 서로 연결될 수 있으며, 클라이언트 기기(101)는 아바타 기기(102)로부터 실시간으로 의뢰한 VR 영상을 제공받게 된다(S103). 이를 위해, 어플리케이션 관리 서버(103)는 체험 시간을 상호 협의하는 기능을 어플리케이션을 통해 양 기기에 제공할 수 있으며, VR 영상의 실시간 촬영/표시/방송 기능 역시 해당 어플리케이션을 통해 양 기기에 제공할 수 있다.
또한, 본 순서도에는 도시하지 않았으나, S103 단계에서 역으로 클라이언트 기기(101)에서 촬영된 영상이 매칭된 아바타 기기(102)로 전송되는 실시예도 존재할 수 있다. 이러한 실시예를 통해, 시각 장애인과의 동행 서비스, 여성 안심 귀갓길 동행 서비스 등과 같은 동행 서비스가 도출될 수 있다.
예를 들어, 시각 장애인인 클라이언트가 클라이언트 기기(101)를 통해 자신의 프로필을 등록할 수 있으며, 이때 프로필의 하고 싶은 일로서 ‘동행/여행’을 등록할 수 있다. 어플리케이션 관리 서버(103)는 클라이언트 기기(101)의 프로필을 기반으로 특정 아바타 기기(102)와 매칭을 수행할 수 있다(즉, S101~S102 단계 수행). 매칭된 아바타 기기(102)는 클라이언트 기기(101)가 촬영한 영상을 실시간으로 제공받음과 동시에 클라이언트 기기(101)와의 실시간 대화/채팅 기능을 제공받을 수 있다. 이를 통해, 아바타는 클라이언트가 함께 여행/동행하는 느낌을 받을 수 있다. 특히, 아바타는 클라이언트의 시점에서 촬영된 영상을 실시간으로 공유 받으면서 실시간 채팅 기능을 통해 동행길/여행길에 클라이언트에 위협이 될만한 위험/장애물은 없는지 등에 대해 알려줄 수 있으며, 이외에도 여행지에 관한 다양한 정보도 클라이언트에게 제공할 수 있다.
이와 유사하게, 예를 들어, 늦은 시각 귀가하는 여성 클라이언트가 클라이언트 기기(101)를 통해 자신의 프로필을 등록할 수 있으며, 이때 프로필의 해야 할 일(또는 하고 싶은 일)로서 ‘늦은 귀가’를 등록할 수 있다. 어플리케이션 관리 서버(103)는 클라이언트 기기(101)의 프로필을 기반으로 특정 아바타 기기(102)와 매칭을 수행할 수 있다(즉, S101~S102 단계 수행). 매칭된 아바타 기기(102)는 클라이언트 기기(101)가 촬영한 영상을 실시간으로 제공받음과 동시에 클라이언트 기기(101)와의 실시간 대화/채팅 기능을 제공받을 수 있다. 이를 통해, 아바타는 클라이언트가 함께 귀가하는 느낌을 받을 수 있다. 특히, 아바타는 클라이언트의 시점에서 촬영된 영상을 실시간으로 공유 받으면서 실시간 채팅 기능을 통해 귀갓길에 클라이언트에 위협이 될만한 위험/사람은 없는지 등에 대해 알려줄 수 있으며, 이외에도 귀갓길에 관한 길/교통 정보 등에 대해서도 클라이언트에 제공할 수 있다.
실시 예에 따라, 클라이언트 기기(101)는 페어링/연결된 아바타 기기(102)로부터 미리 약속한 체험 시간에 자신이 의뢰한 VR 영상을 실시간으로 제공받을 수 있다. 이때, 클라이언트 기기(101)는 아바타 기기(102)를 직접 조작하여 자신이 체험하고자 하는 환경을 적극적으로 구축할 수도 있다. 예를 들어, 클라이언트 기기(101)는 아바타 기기(102)의 이동/모션/움직임/비행 방향/속도, 카메라 각도 등을 조작하기 위한 제어 신호를 아바타 기기(102)로 직접(혹은 실시간 VR 서비스 시스템을 통해 간접적으로) 전송할 수 있으며, 아바타 기기(102)는 클라이언트 기기로부터 수신한 제어 신호에 따라 이동/모션/움직임/비행이 제어되어 VR 영상을 실시간 전송할 수 있다.
본 실시간 VR 서비스 시스템의 구축을 위해 다양한 장소(예를 들어, 관광 명소, 전시회, 쇼핑몰 등)에 아바타 기기(102)가 미리 구비/배치/설치/위치되어 있거나 해당 장소 근처에 아바타 기기(102)가 구비된 서비스 지점이 위치할 수 있다. 본 서비스 시스템을 수행하기 위해 고용된 아바타 기기 배달자가 미리 약속된 시간 전에 약속된 장소로 아바타 기기(102)를 위치시켜놓을 수 있으며, 약속된 시간부터 클라이언트 기기(101)와 아바타 기기(102)가 페어링/연결되어 실시간 VR 영상 전송 서비스가 개시될 수 있다. 나아가, 이러한 아바타 기기 배달자는 단순히 아바타 기기를 배달만 하는 것이 아닌, 아바타 기기의 체험을 함께 동행할 수도 있다(즉, 로봇 동행자로서의 역할도 수행 가능). 이때, 동행자는 아바타 기기와 동행하면서 아바타 기기를 통해 제공되는 클라이언트 기기와의 실시간 커뮤니케이션 기능을 통해 클라이언트와 실시간/쌍방향 대화를 수행할 수 있다. 이를 통해, 동행자는 여행지에 대한 다양한 조언/정보를 클라이언트에게 제공하는 등 클라이언트의 가이드 또는 대화 상대가 되어줄 수 있다.
도 2는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템을 예시한 블록도이다.
도 2를 참조하면, 실시간 VR 서비스 시스템은 클라이언트 기기(101), 아바타 기기(102) 및 어플리케이션 관리 서버(103)를 포함할 수 있다. 어플리케이션 관리 서버(103)는 전체 실시간 VR 서비스 시스템을 관리/총괄/운용하는 기기/서버에 해당할 수 있으며, 클라이언트 기기(101) 및 아바타 기기(102)와 통신을 수행하고 이들을 관리/제어할 수 있다. 어플리케이션 관리 서버(103), 클라이언트 기기(101) 및 아바타 기기(102)는 본 명세서에서 기술하는 다양한 기능/방법을 수행하기 위한 적어도 하나의 구성/유닛을 포함할 수 있다.
예를 들어, 어플리케이션 관리 서버(103)/클라이언트 기기(101)/아바타 기기(102)는 프로세서(201), 메모리 유닛(202), VR 디스플레이 유닛(203), 통신 유닛(204), 및/또는 광각 카메라 유닛(205)을 포함할 수 있다. 이하에서는 각 구성/유닛에 대해 설명하며, 이하의 설명은 어플리케이션 관리 서버(103), 클라이언트 기기(101) 및 아바타 기기(102)에 공통적으로 적용될 수 있다.
프로세서(201)는, 본 명세서에서 제안된 기능, 과정 및/또는 방법을 구현할 수 있으며, 각 기기에 포함된 적어도 하나의 다른 유닛/구성과 통신을 수행할 수 있다. 따라서, 프로세서(201)는 각 기기와 동일시되어 설명될 수 있다.
메모리 유닛(202)은 다양한 정보/데이터/프로그램/어플리케이션/영상/이미지을 저장할 수 있다. 메모리 유닛(202)은 저장한 정보/데이터/영상/이미지를 프로세서(202)로 전송하거나 프로세서(201)로부터 수신할 수 있다. 또한, 메모리 유닛(202)에 저장된 프로그램/어플리케이션은 프로세서(202)에 의해 실행/수행될 수 있다. 특히, 본 발명에 따른 메모리 유닛(202)은 실시간 VR 서비스 시스템을 구현하기 위해 디자인된 어플리케이션을 저장할 수 있으며, 프로세서(201)에 의해 해당 어플리케이션이 실행될 수 있다. 메모리 유닛(202)은 프로세서(201) 내부 또는 외부에 있을 수 있다.
VR 디스플레이 유닛(203)은 이미지/영상/화면을 출력/디스플레이할 수 있다. 예를 들어, VR 디스플레이 유닛(203)은 HMD(Head Mounted Display)에 해당할 수 있다. 또한, VR 디스플레이 유닛(203)은 적어도 하나의 터치/압력/근접/모션/카메라 센서를 포함하여 사용자의 터치 입력을 센싱할 수 있으며, VR 디스플레이 유닛(203)이 HMD인 경우 사용자 입력으로서 적어도 하나의 방향/자이로/각도/가속도 센서를 구비하여 사용자의 헤드/시선 방향/각도를 센싱할 수 있다. 사용자의 시선 추적/센싱 시, 현재 5G(5th Generation) 망의 미약으로 사용자가 보는 곳만 선명하게 보이고 나머지는 흐릿하게 처리하는 시선 추적 기술이 사용될 수 있으며, 로우 데이터를 사용하여 일반 4G LTE(Long-Term Evolution) 망에서도 시선 추적/센싱이 가능하다.
VR 디스플레이 유닛(203)은 센싱한 결과를 프로세서로 전송할 수 있다. 특히, 본 명세서의 VR 디스플레이 유닛(203)은 통신 유닛(204)을 통해 실시간으로 전송받은 다양한 VR 이미지/영상/화면을 실시간으로 디스플레이할 수 있다.
통신 유닛(204)은 프로세서(201)와 연결되어, 내부/외부 기기/서버와 유/무선 신호를 송신 및/또는 수신할 수 있다.
광각 카메라 유닛(205)은 적어도 하나의 (광각) 카메라 센서(예를 들어, 360도 카메라 (센서))를 이용하여 이미지/영상/화면을 입력/획득/인식/센싱할 수 있다. 특히, 본 발명에 따른 광각 카메라 유닛(205)의 경우, 광각의 이미지/영상/화면을 실시간으로 촬영/획득/인식/센싱할 수 있으며, 이렇게 촬영/획득/인식/센싱된 영상은 VR 영상으로서 통신 유닛(204)을 통해 클라이언트 기기(101)로 실시간으로 전송될 수 있다. 다만, 본 명세서에서 광각 카메라 유닛은 앞서 예시한 360도 카메라에 한정되는 것은 아니며, 360도 미만의 촬영각을 갖는 카메라 유닛을 모두 의미/포함한다. 따라서, 360도 카메라를 소유하지 않은 일반인도 아바타가 될 수 있으며, 이때 클라이언트 기기에 제공되는 영상은 일반 2D 영상일 수 있다.
모션 유닛(206)은 적어도 하나의 모터/엔진을 구비하여 로봇 아바타 기기(102)의 움직임(예를 들어, 이동/모션/비행 방향/속도/각도 등)을 제어할 수 있다. 모션 유닛(206)은 프로세서(201) 및/또는 통신 유닛(204)으로부터 수신한 제어 신호에 기초하여 로봇 아바타 기기(102)의 움직임을 제어할 수 있으며, 이렇게 수신한 제어 신호는 클라이언트 기기(101) 및/또는 어플리케이션 관리 서버(103)로부터 전송된 제어 신호일 수 있다.
입력 유닛(207)는 적어도 하나의 센서/모듈 구비하여 사용자(특히, 클라이언트)의 다양한 입력을 센싱하고, 센싱한 입력을 프로세서(201)로 전달할 수 있다. 예를 들어, 입력 유닛(207)은 근접 센서, 터치 센서, 압력 센서, 카메라 센서, 모션 센서, 적외선 센서, 마이크 센서, 자이로 센서, 및/또는 스틱 모듈(상/하/좌/우 방향으로의 스틱 움직임 감지하는 모듈)를 구비할 수 있다. 스틱 모듈을 이용한 로봇 아바타 기기의 제어 실시예는 도 6을 참조하여 이하에서 후술한다.
도 3 및 4는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템이 구현된 실시예를 예시한 도면이다. 보다 상세하게는, 도 3은 실시간 VR 서비스를 제공하는 아바타 기기, 도 4는 실시간 VR 서비스를 제공받는 클라이언트 기기를 각각 예시한 도면이다.
도 3을 참조하면, 도 1에 따라 매칭된 아바타 기기(301)는 클라이언트 기기가 의뢰한 장소를 광각 카메라 유닛을 통해 촬영하여 이를 클라이언트 기기로 전송할 수 있다. 이때, 아바타 기기(301)는 촬영한 VR 영상(302)을 클라이언트 기기와 약속한 시간에 실시간으로 전송하거나, 저장해두었다가 추후 약속한 시간에 전송해줄 수 있다.
아바타 기기(301)는 실시간 VR 서비스 시스템의 구현(특히, 아바타 기기의 구현)을 위해 고용되었거나 업으로 하는 근로자에 의해 클라이언트가 의뢰한 특정 장소로 및/또는 특정 시간에 옮겨지거나, 이동이 자동화된 로봇 기기로 구현되어 약속 시간에 특정 장소로 직접 이동할 수도 있다. 후자의 경우, 아바타 기기(301)는 도 2에 도시한 구성/유닛 외에도, 이동을 위한 적어도 하나의 엔진/모터가 구비된 이동/비행 유닛을 더 구비할 수 있다.
도 4를 참조하면, 클라이언트 기기(401)는 도 3과 같이 아바타 기기(301)의 광각 카메라 유닛을 통해 촬영된 영상을 VR 영상으로 제공받을 수 있다. 360도 이미지(402)를 제공받는 경우, 클라이언트는 클라이언트 기기(401)의 각도/방향(VR 디스플레이 유닛이 HMD인 경우, HMD를 착용한 머리의 각도/방향) 또는 클라이언트의 시선 각도/방향/위치를 조절함으로써 원하는 각도/방향의 VR 영상(403)을 직접 체험할 수 있다.
추가로, 클라이언트 기기(401)는 표시 중인 VR 영상(403) 중 인식된 특정 객체에 대한 정보를 검색하여 클라이언트에 제공할 수도 있다. 예를 들어, 클라이언트 기기(401)는 표시 VR 영상(403) 중 인식된 특정 이미지/텍스트를 자동으로 검색하여(예를 들어, 어플리케이션 또는 포털 사이트에서 제공하는 이미지/텍스트 검색 기능을 이용) 검색 결과를 클라이언트에 제공할 수도 있다.
이때, 클라이언트는 아바타 기기(301)가 제공하는 VR 영상을 체험하면서 아바타 또는 아바타 기기(301)와 실시간 커뮤니케이션을 수행할 수 있다. 예를 들어, 근로자가 아바타 기기(301)를 통해 실시간 VR 영상을 촬영하여 제공 중인 경우, 어플리케이션 관리 서버는 어플리케이션을 통한 음성/문자 채팅 기능을 제공하여 아바타와 클라이언트간의 실시간 커뮤니케이션 기능을 제공할 수 있다.
이를 통해, 클라이언트는 적극적으로 자신이 체험하고자 하는 환경을 적극적으로 아바타에게 요청(예를 들어, 앞에 보이는 가게로 들어가 주세요. 산에 등산해주세요. 정면에 있는 작품에 조금 더 가까이 다가가 주세요. 등)할 수 있으며, 아바타는 클라이언트의 요청을 적극적으로 수용하여 클라이언트가 경험하고자 하는 환경을 조성해줄 수 있다. 이러한 커뮤니케이션 기능을 통해, 클라이언트는 자신이 체험하고자 하는 환경을 적극적으로 조성하여 만족도를 더 높일 수 있다는 효과가 발생한다.
또한, 아바타는 현재 체험하고 있는 현장에 대한 느낌/소감 등을 커뮤니케이션 기능을 통해 직접 설명해줄 수 있으며, 현장에 대한 지식/배경/뉴스 등에 관한 부가적인 정보도 함께 클라이언트에 제공해줄 수 있다.
만일, 클라이언트와 아바타간의 사용 언어가 상이할 경우, 어플리케이션 관리 서버는 자동 번역 기능도 제공할 수 있다. 이 경우, 어플리케이션 관리 서버는 사전에 메모리 유닛에 저장되어 있는 자동 번역 어플리케이션 또는 실시간 인터넷 검색을 통해 자동 번역 기능을 실시간으로 양측에 제공할 수 있다.
이러한 클라이언트 기기(401)와 아바타 기기(301)간의 매칭/연결은, 1:1 매칭이 기본이나, 실시예에 따라 1:N 또는 N:1 매칭/연결도 가능하다. 이 역시, 앞서 상술한 바와 같이 클라이언트/아바타 기기가(401, 301) 등록한 프로필을 기반으로 어플리케이션 관리 서버에 의해 수행될 수 있다.
클라이언트는 VR 영상을 제공받은 후, VR 영상을 제공한 아바타를 평가할 수 있다. 예를 들어, 클라이언트는 어플리케이션을 통해 해당 아바타에 대한 평가 점수를 매길 수 있으며, 이는 어플리케이션 관리 서버에 저장되어 관리될 수 있다. 어플리케이션 관리 서버는 실시예에 따라 어플리케이션을 통해 클라이언트 기기와 매칭 가능성이 높은 아바타 기기(301)를 추천하는 기능을 제공할 수 있다. 이 경우 추천하는 아바타 기기(301)에 대한 평균 평가 점수도 함께 제공될 수 있으며, 점수가 높을수록 추천되는 빈도도 높을 수 있다.
이상으로, 등록된 프로필 기반으로 클라이언트 기기(401)와 아바타 기기(301)간의 매칭/연결을 수행하는 방식을 제공하는 실시간 VR 서비스 시스템에 대해서 상술하였다. 그러나, 이외에도 본 명세서의 실시간 VR 서비스 시스템은 아바타 기기(301)의 위치를 기반으로 한 실시간 매칭/연결 방식의 제공도 가능한데, 이에 대해서는 도 5를 참조하여 이하에서 후술한다.
도 5는 본 발명의 일 실시예에 따른 위치 기반 실시간 VR 영상 제공 시스템을 예시한 도면이다.
도 5를 참조하면, 클라이언트 기기(401)는 자신이 현재 경험/체험하고자 하는 장소에 대해 직접 실시간으로 검색할 수 있다. 이 경우, 어플리케이션 관리 서버는 해당 지역에서 현재 VR 영상을 실시간 제공/송출/방송 중인 적어도 하나의 아바타 기기에 대한 정보를 클라이언트 기기에 제공할 수 있다. 예를 들어, 클라이언트가 프랑스, 파리 지역을 검색한 경우, 어플리케이션 관리 서버는 도 5에 도시한 바와 같이, 현재 프랑스 파리 지역에서 VR 영상을 송출/방송/제공 중인 아바타 기기들의 위치를 지도에 표시할 수 있다.
이때, 어플리케이션 관리 서버는 각 아바타 기기에 대한 간략한 정보(예를 들어, 프로필 요약 정보, 평균 평가 점수 등)에 대한 정보도 함께 클라이언트 기기(401)에 제공할 수 있다.
이때, 검색되는 아바타 기기는 클라이언트 기기(401)가 검색한 장소에 위치한 아바타 기기들 중 자신의 위치 정보 및 VR 서비스 공유에 대해 사전에 동의한 아바타 기기에 해당할 수 있다. 이러한 아바타 기기는 근로자, 관광객, 여행 가이드가 휴대하는 전자 기기이거나, 특정 지역에 위치한 CCTV 또는 대중 교통에 설치되어 있는 블랙박스/CCTV 및/또는 드론 등에 해당할 수 있다.
클라이언트는 각 아바타 기기에 대해 제공된 정보를 바탕으로 체험을 의뢰하고자 하는 아바타 기기(301-1)를 선택할 수 있으며, 이 경우 선택된 아바타 기기(301-1)와의 매칭/연결이 완료될 수 있다. 예를 들어, 도 5와 도시된 바와 같이, 클라이언트는 프랑스 파리 지도 상에 표시된 아바타 기기 중 어느 하나를 선택할 수 있으며, 이에 대해 “동행하시겠습니까?”라는 안내 문구가 표시될 수 있다.
만일, 해당 아바타 기기(301-1)를 통한 체험을 의뢰하고자 하는 경우, 클라이언트는 표시된 안내 문구 내의 ‘YES’ 버튼을 터치할 수 있으며, 그 결과 해당 아바타 기기(301-1)와 매칭/연결이 성사될 수 있다.
이렇게 매칭이 성사된 아바타 기기(301-1)는 현재 촬영 중인 VR 영상을 실시간으로 클라이언트 기기(401)에 전송/제공하게 된다.
본 실시예에서도 역시, 앞서 상술한 실시예와 마찬가지로, VR 영상 제공 중다양한 추가적인 기능(앞서 상술한 커뮤니케이션 기능, 자동 번역 기능 등)이 제공될 수 있음은 물론이다.
도 6은 본 발명의 일 실시예에 따른 클라이언트 기기의 아바타 기기 제어 방법을 예시한 도면이다. 본 실시예에서 클라이언트 기기는 클라이언트가 착용한 HMD 기기, 아바타 기기는 드론 기기에 각각 해당하나, 실시예가 이에 제한되는 것은 아니다.
도 6을 참조하면, 클라이언트는 클라이언트 기기(501)에 대해 로봇 아바타 기기인 아바타 기기(504)의 이동을 제어하기 위한 입력을 인가할 수 있다. 예를 들어, 클라이언트는 클라이언트 기기(501)에 구비된 입력 유닛을 통해 아바타 기기(504)의 이동 제어를 위한 터치 입력을 인가할 수 있으며, 터치 입력을 센싱한 클라이언트 기기(501)는 센싱한 입력에 대응하는 제어 신호를 생성할 수 있다.
이때, 클라이언트 기기(501)는 클라이언트의 입력이 용이하도록 아바타 기기(504) 제어를 위한 아이콘/이미지/UI(User Interface)(예를 들어, 조이 스틱 또는 4가지 방향의 화살표 아이콘/이미지/UI 등)를 어플리케이션을 통해 제공할 수 있으며, 클라이언트는 해당 아이콘/이미지/UI에 대하여 아바타 기기(504)가 이동하길 원하는 방향으로 드래그 입력 등을 수행할 수 있다.
이러한 입력을 통해 생성된 제어 신호는 아바타 기기(504)로 전송되어 아바타 기기(504)의 이동/움직임/비행/모션을 제어할 수 있다. 이러한 제어 신호는 클라이언트 기기(501)에서 아바타 기기(504)로 직접 전송되거나, 어플리케이션 관리 서버를 통해 아바타 기기(504)로 전달될 수도 있다.
상술한 실시예는 클라이언트가 클라이언트 기기(501)를 통해 아바타 기기(504)를 제어하는 실시예이며, 이외에, 클라이언트 기기(501)가 페어링/연결되어 있는 타 기기를 통해 아바타 기기(504)를 제어하는 실시예도 아래와 같이 도출될 수 있다. 이하에서, 클라이언트 기기(501)는 타 기기(502)와 사전에 페어링/연결되어 있는 경우를 가정하며, 여기서 타 기기(502)는 전동 휠체어인 경우를 가정하나 실시예가 이에 한정되는 것은 아니다.
일 실시예로서, 클라이언트 기기(501)는 무선/유선 통신을 통해 사전에 타 기기(502)와 페어링/연결된 상태일 수 있다. 여기서 타 기기(502)는 본 명세서에서 기술되는 기능/동작을 수행하기 위해 도 2에서 설명한 적어도 하나의 구성/유닛을 포함할 수 있다. 이때, 클라이언트 기기(501)와 연결된 타 기기(502)가 모터/엔진 등을 구비하여 클라이언트 제어에 의해 이동 가능한 기기인 경우(예를 들어, 전동 휠체어, 자동차, 오토바이, 자전거 등), 아바타 기기(504)의 움직임/이동을 제어하기 위한 제어 신호는 타 기기(502)의 이동 상태에 대응하여/동기화되어 생성될 수 있다. 예를 들어, 타 기기(502)가 전동 휠체어인 경우, 제어 신호는 전동 휠체어의 이동 방향/속도(혹은 사용자가 전동 휠체어의 움직임을 제어하기 위해 구비된 제어 스틱(503)을 통해 입력된 이동 입력 신호)에 대응하여 생성될 수 있으며, 이렇게 생성된 제어 신호는 아바타 기기(504)로 전송될 수 있다. 이러한 제어 신호 역시 클라이언트 기기(501)에서 아바타 기기(504)로 직접 전송되거나, 어플리케이션 관리 서버를 통해 아바타 기기(504)로 전달될 수도 있다. 본 실시예와 같이 타 기기(502)의 이동/움직임과 아바타 기기(504)의 이동/움직임을 서로 동기화시킴으로써, 클라이언트에게 보다 더 높은 현장감이 제공될 뿐 아니라, 클라이언트가 적극적으로 자신의 체험/경험 환경을 조성할 수 있다는 효과가 발생한다.
만일, 아바타 기기(504)에 구비된 광각 카메라 유닛(505)이 360도 미만의 촬영 각도를 제공하는 경우, 광각 카메라 유닛(505)의 촬영 각도를 제어하기 위한 제어 신호 역시 클라이언트 기기(501)로부터 전송될 수 있다. 이때 전송되는 제어 신호는 클라이언트 기기(501)가 센싱하는 클라이언트의 시선/머리 방향/각도/속도/가속도 등에 대응하여 생성될 수 있으며, 해당 제어 신호에 따라 촬영 방향/각도/속도/가속도 등과 같은 광각 카메라 유닛(505)의 움직임이 제어될 수 있다. 이를 통해, 클라이언트가 자신이 원하는 각도/방향을 적극적으로 체험/경험해볼 수 있다는 효과가 발생한다. 만일, 아바타 기기(504)의 이동/움직임/비행/모션이 앞서 상술한 실시예와 같이 클라이언트 기기(501)와 페어링/연결된 타 기기에 의해 제어되는 경우, 아바타 기기(504)의 이동/움직임/비행/모션은 타 기기(502)에 의해 생성된 제1 제어 신호에 의해 제어되며, 아바타 기기(504)의 광각 카메라 유닛(505)의 촬영 각도/속도/방향은 클라이언트 기기(501)에 의해 생성된 제2 제어 신호에 의해 각각 독립적으로 제어되게 된다.
이때, 앞서 상술한 실시예와 같이, 비행하는 동안 아바타 기기의 (VR) 디스플레이 유닛에 클라이언트의 얼굴/아바타/이모티콘이 디스플레이하여 마치 아바타 기기가 클라이언트처럼 보이도록 하는 개인 맞춤형 체험 서비스가 제공될 수 있다.
이하에서는 상술한 실시예들 외에도, 실시간 VR 서비스 시스템(특히, 어플리케이션 관리 서버)에서 제공할 수 있는 다양한 추가 기능을 나열한 것이다. 나열된 기능들 중 적어도 하나의 기능은 주로 어플리케이션 관리 서버에 의해 제공될 수 있으며, 클라이언트 기기 및/또는 아바타 기기에서 각 기능이 수행될 수 있다:
1. 로그인 기능
- 개별 로그인 기능 및 회원 가입 기능
- 기존 이메일을 통한 간편 로그인 가능
2. 개인 페이지 제공 기능
- 개인 페이지 설정을 통한 프로필 활성화 기능
- 개인의 정보 동의 등 일반적인 형태의 동의 후 본 서비스 실행 가능
- 개인의 프로필 및 주거 정보지 및 관심 사항 등 등록 기능
3. 아바타 설정 기능
- 개인 아바타 설정 및 꾸미기 기능
- 프로필 내 설정된 아바타 표시 기능
4. 주제 설정 기능
- 여러 카테고리 중 본인의 관심 주제 설정 및 등록 기능
5. 주제 찾기 기능
- 세부 카테고리로 관심 주제 찾아 들어가는 검색 기능
6. 체험 대행 비용 결제 기능
- 초반 15초 광고를 보고 진행
- 중간 중간 팝업 광고 기능 혹은 AR 광고 진행 기능
- 개인 결제 시스템 기능
- 적립금 결제 기능(예를 들어, 클라이언트 기기/계정이 적립금을 결제하고, 체험 대행 시 해당 적립금은 대행 비용만큼 차감되고, 차감된 비용은 아바타 기기/계정으로 적립)
- 이용 빈도/횟수에 따른 각 계정의 마일리지 적립 방식
- 카드/현금 결제 기능
7. 저장 기능
- 어플리케이션 관리 서버를 활용한 개인 영상 저장 기능, 클라이언트 기기 및 아바타 기기 동시 혹은 개별 저장 기능
- 서버 문제 해결을 위해 클라우드에 영상을 저장하여 일정 기간동안 다운 가능하도록 설정, 저장된 영상 활용해 가공 콘텐츠 추가 제작 가능
- 통합 클라우드를 활용하여 영상 저장 및 개별 저장 기능 병행 가능
8. 광각 카메라 기능(특히, 아바타 기기의 경우)
- 다양한 웨어러블 기기(예를 들어, 스마트 와치, 링크 플로우 넥형 스마트 웨어러블 기기등)를 통한 VR 카메라 연동 기능.
- 이외에 다양한 카메라 연동하여 카메라 확장 범위 확대 가능
9. 영상 모드 VR
- VR 일반 모드 및 고글 착용 모드 선택 가능
10. 영상 모드 일반
- 일반 2D 영상 통화 기능
11. 위치 서비스 기능
- 위치 노출에 동의한 아바타 기기의 위치를 클라이언트 기기가 확인할 수 있게 함. 위치를 보고 자신이 원하는 장소와 가까운 아바타 기기를 찾아서 클라이언트 기기와 매칭
12. 추천 기능
- 아바타/클라이언트 기기의 주요 일정 혹은 여행지 계획 등을 각 기기에게 리마인드 시켜줌
13. 쪽지/댓글 대화 기능
- 클라이언트 기기 및 아바타 기기간 쪽지/댓글을 통한 대화 기능
14. 개인 페이지 내 사진/영상 업로드 기능
- 개인 페이지 내에 개별 사진을 올릴 수 있도록 하여 자신을 PR 혹은 관심사를 드러낼 수 있도록 하는 기능
15. 할 일 및 하고 싶은 일간 매칭 기능
- 클라이언트 기기의 프로필 내 하고 싶은 일과 아바타 기기의 프로필 내 해야 할 일간에 매칭을 수행, 타 사용자들이 이를 볼 수 있으며 세부 검색고 가능
16. 관심사 구성 기능
- 여행, 의료, 복지, 자동차, 기타 등과 같은 자신의 관심사 설정 기능. 클라이언트 기기에 아바타 기기 추천 시, 우선 순위 혹은 자동 추천 시스템과 연동 가능
상술한 실시간 VR 서비스 시스템의 가장 큰 차이점은, 기존 VR을 활용한 여행 및 탐방 프로그램들은 녹화된 영상을 사용하지만 본 서비스는 실시간으로 VR 영상의 전송이 가능하다는 점이 다르다고 할 수 있다. 녹화 영상을 만들기 위해서는 사전 촬영과 편집 등을 거치며 많은 시간이 소요되며 지난 시기의 영상을 플레이한다는 점에서 시의성이 떨어지며 직접 현장을 체험한다는 체험성이 떨어진다는 단점이 있다. 또한 기타 그래픽을 이용한 VR 컨텐츠들은 제작 기간이 길고 만드는데 비용이 많이 든다. 하지만 본 서비스는 실시간으로 의뢰자가 원하는 영상들을 볼 수 있기에 실제의 리얼 타임 현장감을 느낄 수 있으며 촬영 및 편집 그리고 비싼 그래픽 제작비용 등이 발생하지 않아 서비스 면에서도 저비용으로 운영이 가능하다는 점이 가장 큰 장점이라 할 수 있다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다.
이상에서 본 발명의 실시예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양하게 변형 실시할 수 있을 것으로 이해된다.
본 발명에 의하면, 클라이언트는 자신이 직접 가지 않더라도 자신이 경험하고자 하는 특정 지역(특히, 원거리)에 있는 경치, 사물, 전시품 등과 같은 다양한 환경을 보다 현장감 있게 VR 영상을 통해 간접 체험할 수 있고, 아바타와 실시간으로 통신이 가능하므로, 클라이언트가 보다 적극적이고 유연하게 자신이 원하는 경험을 아바타를 통해 체험할 수 있다.
또한, 본 발명에 의하면, VR 여행/체험과 같은 기존에 없던 새로운 VR 서비스의 도출이 가능하며 클라이언트는 아바타 이동/모션의 직접 조작이 가능하므로, 클라이언트가 보다 적극적이고 유연하게 자신이 원하는 경험을 얻을 수 있다.

Claims (10)

  1. 실시간 VR(Virtual Reality) 서비스 제공 방법에 있어서,
    클라이언트 기기가 어플리케이션 관리 서버에 클라이언트 프로필을 등록하는 단계로서, 상기 클라이언트 프로필에는 상기 클라이언트 기기가 의뢰하고자 하는 VR 영상에 관한 정보가 포함됨;
    복수의 아바타 기기들이 상기 어플리케이션 관리 서버에 아바타 프로필들을 등록하는 단계로서, 상기 아바타 프로필들에는 상기 아바타 기기가 의뢰받고자 하는 VR 영상에 관한 정보가 포함됨;
    상기 어플리케이션 관리 서버가 상기 클라이언트 프로필과 상기 아바타 프로필들을 상호 비교하여 상기 클라이언트 프로필과 적어도 하나의 정보가 매칭되는 아바타 프로필을 서칭하고, 제1 서칭 결과를 상기 클라이언트 기기에 제공하는 단계;
    상기 어플리케이션 관리 서버가 상기 제1 서칭 결과 내에서 특정 아바타 기기를 선택하는 상기 클라이언트 기기의 입력을 수신하는 단계;
    상기 어플리케이션 관리 서버가 상기 클라이언트 기기와 상기 특정 아바타 기기를 상호 매칭시키는 단계; 및
    상기 클라이언트 기기가 상기 매칭된 아바타 기기로부터 VR 영상을 수신하는 단계; 를 포함하는, 실시간 VR 서비스 제공 방법.
  2. 제 1 항에 있어서,
    상기 VR 영상에 관한 정보로서,
    상기 클라이언트 프로필은, 의뢰하고자 하는 VR 영상의 촬영 위치, 촬영 시간, 사용 언어, 및/또는 촬영 의뢰 비용에 관한 정보를 포함하고,
    상기 아바타 프로필은, 의뢰받고자 하는 VR 영상의 촬영 위치, 촬영 시간, 사용 언어, 및/또는 촬영 의뢰 비용에 관한 정보를 포함하는, 실시간 VR 서비스 제공 방법.
  3. 제 2 항에 있어서,
    상기 클라이언트 기기가 상기 매칭된 아바타 기기로부터 상기 VR 영상을 수신하는 단계는,
    상기 클라이언트 기기가 상기 클라이언트 프로필에 등록한 촬영 시간 및 촬영 위치에서 촬영된 VR 영상을 상기 매칭된 아바타 기기로부터 수신하는 단계; 를 포함하는, 실시간 VR 서비스 제공 방법.
  4. 제 2 항에 있어서,
    상기 제1 서칭 결과를 상기 클라이언트 기기에 제공하는 단계는,
    상기 제1 서칭 결과에 복수의 아바타 기기들이 포함된 경우, 상기 어플리케이션관리 서버는, 상기 복수의 아바타 기기들 중 상기 클라이언트 기기와 프로필 정보 매칭 정도가 높은 아바타 기기일수록 상위에 랭크하여 상기 클라이언트에 제공하는 단계; 를 포함하는, 실시간 VR 서비스 제공 방법.
  5. 제 2 항에 있어서,
    상기 VR 영상을 수신하는 단계는,
    상기 어플리케이션 관리 서버가 상기 클라이언트 기기 및 상기 매칭된 아바타 기기간의 실시간 음성 채팅 또는 문자 채팅 기능을 제공하는 단계; 를 더 포함하고,
    상기 실시간 음성 채팅 또는 문자 채팅 기능을 제공하는 단계는,
    상기 클라이언트 기기가 상기 클라이언트 프로필에 등록한 사용 언어와, 상기 매칭된 아바타 기기가 상기 아바타 프로필에 등록한 사용 언어가 다른 경우,
    상기 어플리케이션 관리 서버가 각 기기의 사용 언어에 맞게 자동 번역하여 상기 음성 채팅 또는 상기 문자 채팅 기능을 제공하는 단계인, 실시간 VR 서비스 제공 방법.
  6. 제 1 항에 있어서,
    상기 클라이언트 기기가 현재 의뢰하고 싶은 VR 영상의 촬영 위치를 검색하는 단계; 및
    상기 촬영 위치에 위치한 아바타 기기를 서칭한 제2 서칭 결과를 상기 클라이언트 기기에 제공하는 단계; 를 더 포함하고,
    상기 제2 서칭 결과는,
    상기 촬영 위치로부터 기설정된 거리 내에 위치한 적어도 하나의 아바타 기기 정보, 상기 적어도 하나의 아바타 기기의 현재 위치 정보 및/또는 상기 적어도 하나의 아바타 기기의 아바타 프로필 정보를 포함하는, 실시간 VR 서비스 제공 방법.
  7. 제 6 항에 있어서,
    상기 제2 서칭 결과에 복수의 아바타 기기들이 포함된 경우,
    상기 어플리케이션 관리 서버가 상기 클라이언트 기기로부터 상기 복수의 아바타 기기들 중 특정 아바타 기기를 선택하는 선택 입력을 수신하고, 상기 선택된 특정 아바타 기기와 상기 클라이언트 기기를 매칭시키는 단계; 및
    상기 클라이언트 기기가 상기 매칭된 아바타 기기로부터 VR 영상을 수신하는 단계; 를 더 포함하는, 실시간 VR 서비스 제공 방법.
  8. 제 1 항에 있어서,
    상기 매칭된 아바타 기기가 로봇 아바타 기기인 경우, 상기 클라이언트 기기가 상기 매칭된 아바타 기기의 이동 방향, 각도 및/또는 속도를 제어하기 위한 상기 제1 제어 신호를 상기 매칭된 아바타 기기로 전송하는 단계; 및
    상기 매칭된 아바타 기기가 상기 제1 제어 신호에 따라 이동하는 단계; 를 더 포함하고,
    상기 제1 제어 신호는, 상기 클라이언트 기기에 대한 사용자의 이동 입력 신호에 동기화되어 생성되는, 실시간 VR 서비스 제공 방법.
  9. 제 8 항에 있어서,
    상기 클라이언트 기기가 사용자에 의해 이동 제어가 가능한 타 기기와 페어링되어 있는 경우, 상기 제1 제어 신호는 상기 타 기기로부터 상기 클라이언트 기기가 수신한 이동 제어 신호에 동기화되어 생성되고, 상기 매칭된 아바타 기기의 이동은 상기 타 기기의 이동과 동기화되는, 실시간 VR 서비스 제공 방법.
  10. 제 8 항에 있어서,
    상기 VR 영상 촬영을 위해 상기 매칭된 아바타 기기에 구비된 카메라 유닛의 최대 촬영 각도가 360도 미만인 경우, 상기 카메라 유닛의 촬영 방향은, 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향에 동기화되고,
    상기 카메라 유닛의 촬영 각도는 상기 클라이언트 기기로부터 전송된 제2 제어 신호에 의해 제어되며,
    상기 제2 신호는 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향의 센싱 결과에 동기화되어 생성되는, 실시간 VR 서비스 제공 방법.
PCT/KR2020/008978 2019-07-10 2020-07-09 아바타를 통한 실시간 vr 서비스 제공 방법 WO2021006648A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/626,028 US11847297B2 (en) 2019-07-10 2020-07-09 Method of providing real-time VR service through avatar

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020190083097A KR102193630B1 (ko) 2019-07-10 2019-07-10 아바타를 통한 실시간 vr 서비스 장치, 방법 및 시스템
KR10-2019-0083098 2019-07-10
KR10-2019-0083097 2019-07-10
KR1020190083098 2019-07-10

Publications (1)

Publication Number Publication Date
WO2021006648A1 true WO2021006648A1 (ko) 2021-01-14

Family

ID=74113785

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/008978 WO2021006648A1 (ko) 2019-07-10 2020-07-09 아바타를 통한 실시간 vr 서비스 제공 방법

Country Status (2)

Country Link
US (1) US11847297B2 (ko)
WO (1) WO2021006648A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021163418A1 (en) * 2020-02-12 2021-08-19 University Of Florida Research Foundation Human eyes design: first person vr characters for testing inclusive design solutions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030086326A (ko) * 2001-03-27 2003-11-07 가부시키가이샤 니콘 디지털 데이터의 중개방법
JP2004054877A (ja) * 2002-07-22 2004-02-19 Santekku Keiso:Kk 画像仲介システム。
KR20130082718A (ko) * 2011-12-15 2013-07-22 (주)에스디시스템 실시간 영상전송을 이용한 아바타 용역서비스 제공시스템 및 제공방법
KR101343860B1 (ko) * 2013-01-03 2013-12-20 재단법인대구경북과학기술원 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템과 로봇 아바타 시스템에서 사용되는 명령 서버, 학습 서버 및 지각 서버
KR101990428B1 (ko) * 2018-06-12 2019-06-19 한길씨앤씨 주식회사 다수의 사용자에 대하여 실시간 동기화가 가능한 vr 시스템 및 이를 이용한 vr 시스템의 실시간 동기화 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140164129A1 (en) * 2012-07-30 2014-06-12 Sanjaykumar Joshi System and methods for providing targeted messages
US10366511B2 (en) * 2014-05-28 2019-07-30 Elbit Systems Land And C4I Ltd. Method and system for image georegistration
JP7187446B2 (ja) * 2016-05-27 2022-12-12 ホロビルダー インコーポレイテッド 拡張された仮想現実
WO2019147815A1 (en) * 2018-01-24 2019-08-01 Nike Innovate C.V. System, platform and method for personalized shopping using a virtual shopping assistant
US11004269B2 (en) * 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030086326A (ko) * 2001-03-27 2003-11-07 가부시키가이샤 니콘 디지털 데이터의 중개방법
JP2004054877A (ja) * 2002-07-22 2004-02-19 Santekku Keiso:Kk 画像仲介システム。
KR20130082718A (ko) * 2011-12-15 2013-07-22 (주)에스디시스템 실시간 영상전송을 이용한 아바타 용역서비스 제공시스템 및 제공방법
KR101343860B1 (ko) * 2013-01-03 2013-12-20 재단법인대구경북과학기술원 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템과 로봇 아바타 시스템에서 사용되는 명령 서버, 학습 서버 및 지각 서버
KR101990428B1 (ko) * 2018-06-12 2019-06-19 한길씨앤씨 주식회사 다수의 사용자에 대하여 실시간 동기화가 가능한 vr 시스템 및 이를 이용한 vr 시스템의 실시간 동기화 방법

Also Published As

Publication number Publication date
US11847297B2 (en) 2023-12-19
US20220253197A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
WO2019124726A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2018128472A1 (en) Virtual reality experience sharing
WO2016171363A1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
WO2014106977A1 (en) Head mounted display and method for controlling the same
WO2020013519A1 (en) Method and system of displaying multimedia content on glass window of vehicle
KR20170096042A (ko) 공유된 관심사를 갖는 메시지들의 갤러리
WO2014204239A1 (en) Electronic device for displaying lock screen and method of controlling the same
WO2011059243A2 (en) Server, user terminal, and service providing method, and control method thereof
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2018074618A1 (ko) 영상을 위한 효과 공유 방법 및 시스템
WO2016200141A1 (ko) 가족 문화 컨텐츠 서비스 방법 및 시스템
WO2019226001A1 (en) Method and apparatus for managing content in augmented reality system
WO2016111470A1 (ko) 마스터 기기, 슬레이브 기기 및 그 제어 방법
EP3366038A1 (en) Method for synthesizing image and an electronic device using the same
WO2021006648A1 (ko) 아바타를 통한 실시간 vr 서비스 제공 방법
WO2015041417A1 (ko) 이동통신단말기의 앱을 이용한 가상의 실제 생활 체험 및 정보 습득 방법
US20220272164A1 (en) Experience sharing system and experience sharing method
WO2020106082A1 (ko) Vr 영상 기반의 여행 가이드 매칭 서비스 제공 장치 및 그 방법
KR102325048B1 (ko) 로봇 아바타를 통한 실시간 vr 서비스 제공방법
CN114371904B (zh) 数据显示方法、装置、移动终端及存储介质
KR102193630B1 (ko) 아바타를 통한 실시간 vr 서비스 장치, 방법 및 시스템
WO2015046739A1 (en) Display device and server device for providing service to event winner, and methods thereof
WO2016108431A1 (ko) 화면 공유 시스템 및 화면 공유 방법과 관리서버 및 관리서버의 운영방법
WO2020138696A1 (ko) 가상 이미지를 중개하는 시스템, 가상 이미지를 삽입하는 장치 및 그것들의 동작방법
WO2023195659A1 (ko) 증강현실을 이용한 행사장 인테리어 솔루션 제공 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20836153

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20836153

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28/06/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20836153

Country of ref document: EP

Kind code of ref document: A1