WO2023058785A1 - 5g 기반 mec를 이용한 xr 분산처리 시스템 - Google Patents

5g 기반 mec를 이용한 xr 분산처리 시스템 Download PDF

Info

Publication number
WO2023058785A1
WO2023058785A1 PCT/KR2021/013642 KR2021013642W WO2023058785A1 WO 2023058785 A1 WO2023058785 A1 WO 2023058785A1 KR 2021013642 W KR2021013642 W KR 2021013642W WO 2023058785 A1 WO2023058785 A1 WO 2023058785A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
content
giga
wifi
Prior art date
Application number
PCT/KR2021/013642
Other languages
English (en)
French (fr)
Inventor
임화섭
윤홍수
신호동
장영찬
이규철
Original Assignee
가온미디어 주식회사
케이퓨처테크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온미디어 주식회사, 케이퓨처테크 주식회사 filed Critical 가온미디어 주식회사
Publication of WO2023058785A1 publication Critical patent/WO2023058785A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18—Service support devices; Network management devices

Definitions

  • the present invention relates generally to techniques for effectively processing XR content.
  • the present invention connects XR devices, edge devices, and cloud servers through 5G high-speed wireless communication, classifies various data collected from XR devices, and provides low-volume information data (eg, location sensor values, proximity sensor values, etc.) 5G-based MEC configured so that the XR device generates XR contents by matching the data processing results It relates to XR dispersion processing technology using.
  • 5G high-speed wireless communication classifies various data collected from XR devices, and provides low-volume information data (eg, location sensor values, proximity sensor values, etc.) 5G-based MEC configured so that the XR device generates XR contents by matching the data processing results
  • low-volume information data eg, location sensor values, proximity sensor values, etc.
  • Extended reality (XR) is a term that generally refers to virtual reality (VR), augmented reality (AR), and mixed reality (MR).
  • Virtual Reality (VR) is a technology that creates and displays a virtual world with computer graphics (CG)
  • Augmented Reality (AR) is a technology that adds computer graphic content to images of the real world and displays them.
  • Mixed Reality (MR) is a technology that independently combines or mixes computer graphic contents with images of the real world.
  • AR technology is a method of placing virtual digital images on real images
  • MR technology is a method of placing virtual digital images on the real world.
  • AR technology and MR technology are different from VR technology that only shows virtual computer graphics images in that you can see the real world.
  • VR devices can be used while walking in the real world while wearing them like glasses, so their uses (e.g. counter-terrorism operations, fire suppression operations, etc.) are diverse.
  • XR devices are generally implemented as wearable devices such as head mounted displays (HMDs), user convenience is also very important.
  • HMDs head mounted displays
  • an XR device is configured to process high-definition XR content using Unreal Engine or Unity Engine.
  • the XR device In order for this configuration to operate, the XR device must be equipped with a high-performance calculation processing unit (CPU) and a graphics processing unit (GPU). Not only is the problem getting serious, but there is also the problem of rising prices.
  • CPU high-performance calculation processing unit
  • GPU graphics processing unit
  • An object of the present invention is generally to provide techniques for effectively handling XR content.
  • an object of the present invention is to connect XR devices, edge devices, and cloud servers with 5G high-speed wireless communication, classify various data collected from XR devices, and provide low-volume information data (eg, location sensor values, proximity sensor values, etc.)
  • the XR device processes itself, and large-capacity image data is delivered to the edge device, and data processing is distributed so that the edge device processes it along with the main content of the cloud server. After that, the XR device combines the data processing results to create XR content It is to provide XR distributed processing technology using the base MEC.
  • the present invention provides XR services by distributed data processing of XR devices 100 and edge devices 200 interconnected by high-speed wireless communication of 5G and giga WiFi. XR distribution using 5G-based MEC processing system is provided.
  • the XR distributed processing system using 5G-based MEC generates a surrounding image by an internal camera module and includes one or more of a position sensing value, a proximity sensing value, and a depth value by an internal sensor module.
  • Acquire state sensing information obtain user operation information through an internal user interface module, analyze state sensing information, acquire object information and space information about one's surroundings, and obtain surrounding images, user operation information, object information, and space information.
  • the edge device 200 It is transmitted to the edge device 200 through 5G or giga WiFi to request image processing, and in response to the image processing request, XR content and image matching information are provided from the edge device 200, and one of user operation information and image matching information Based on the above, the XR device 100 for reproducing and synthesizing the XR contents with the surrounding captured images and reproducing them; Receives surrounding images, user manipulation information, object information and space information from the XR device 100 through 5G or Giga WiFi, and provides main content for XR service from the external cloud server 300 in response to the user manipulation information An edge device 200 that receives and processes surrounding images, object information and spatial information, and main content to generate XR content and image matching information and provides them to the XR device 100 through 5G or giga WiFi; do.
  • the XR distributed processing system using the 5G-based MEC according to the present invention wirelessly communicates with the edge device 200 through high-speed wireless communication of 5G and Giga WiFi and responds to a plurality of XR modes to provide a plurality of main contents for XR services
  • a cloud server 300 that is provided in advance and provides main content corresponding to the mode selection upon receiving user operation information regarding XR mode selection from the edge device 200 .
  • the XR device 100 includes a camera photographing unit 110 generating a surrounding photographed image by an internal camera module; a terminal state sensor unit 120 that obtains state sensing information including at least one of a position sensing value, a proximity sensing value, and a depth value by an internal sensor module; a user interface unit 130 that obtains user manipulation information and outputs a reproduction result; A high-speed wireless communication terminal unit 140 performing 5G and giga WiFi high-speed wireless communication with the edge device 200; a sensing information terminal analyzer 150 that analyzes state sensing information to obtain object information and space information about its surroundings; A user input edge transfer unit 160 that transmits user manipulation information to the edge device 200 through 5G or Giga WiFi; An image processing request transmission unit 170 that transmits surrounding captured images, object information, and spatial information to the edge device 200 through 5G or Giga WiFi; An image processing result receiving unit 180 receiving XR contents and image matching information from the edge device 200 in response to an image processing request; It may be configured to include; a video matching playback output
  • the edge device 200 includes a high-speed wireless communication edge unit 210 performing 5G and Giga WiFi high-speed wireless communication with the XR device 200 and the external cloud server 300;
  • a user input pre-receiving unit 220 for receiving user manipulation information from the XR device 100 through 5G or giga WiFi;
  • An image processing request receiving unit 230 that receives surrounding captured images, object information, and spatial information from the XR device 100 through 5G or Giga WiFi;
  • a main content pre-receiving unit 240 that transmits user manipulation information to an external cloud server 300 and receives main content for an XR service from the external cloud server 300 in response thereto;
  • an XR content image processing unit 250 that generates XR content and image matching information by processing images of surrounding images, object information and space information, and main content;
  • An image processing result transmission unit 260 that provides the generated XR content and image matching information to the XR device 100 via 5G or giga WiFi.
  • the XR device 100 may be configured to acquire user operation information related to XR mode selection and transmit it to the edge device 200 after device activation and before transmitting the surrounding captured image.
  • the edge device 200 may be configured to, upon receiving user manipulation information related to XR mode selection, forward it to the cloud server 300 to receive and temporarily store main content corresponding thereto in advance.
  • the computer program according to the present invention is stored in a non-volatile storage medium to execute the operation method of the XR distributed processing system using the 5G-based MEC as described above in the computer.
  • the present invention it is possible to process high-quality XR contents in real time without mounting a high-performance processor on the XR device, which has the advantage of realizing a high-quality XR device that is lightweight and low-priced.
  • FIG. 1 is a diagram showing the overall configuration of an XR distributed processing system using 5G-based MEC according to the present invention.
  • Figure 2 is a diagram showing the overall configuration of implementing the XR service in the present invention.
  • Fig. 3 shows an example of generating XR contents through distributed processing and matching them to background contents in the present invention
  • Figure 4 is a diagram showing the internal configuration of the XR device in the present invention.
  • FIG. 5 is a diagram showing the internal configuration of an edge device in the present invention.
  • FIG. 1 is a diagram showing the overall configuration of an XR distributed processing system using 5G-based MEC according to the present invention.
  • the XR distributed processing system using 5G-based MEC interconnects the XR device 100 and the edge device 200 through high-speed wireless communication of 5G and giga WiFi, and these devices 100, 200) adopts a configuration that distributes the processing burden by sharing the data processing for the XR service.
  • 5G-based MEC Multi-access Edge Computing
  • the XR device 100 In general, in order to process high-definition (high-capacity) XR content, the XR device 100 must be equipped with a high-performance processor, which causes serious problems with device size, weight, heat generation, and price.
  • the XR service system is configured in the MEC (Multi-access Edge Computing) method, and the edge device 200 assumes a significant portion of the data processing burden. Since the edge device 200 is a fixed type device and can be equipped with a high-performance processor, it is free from the above problems.
  • MEC Multi-access Edge Computing
  • the XR device 100 since the XR device 100 is generally implemented in a mobile type, the XR device 100 and the edge device 200 must exchange data through wireless communication. Due to the nature of the XR service, time delay should not be involved, so the XR device 100 and the edge device 200 must be interlocked with high-speed wireless communication of 5G and Giga WiFi.
  • the MEC (Multi-access Edge Computing) configuration adopted in the present invention is a technology for performing service calculation processing at a network edge rather than a central server (cloud server).
  • a service server (edge device) is built for each region, and the system is configured so that the service server in that region handles client requests generated in that region. Since data is processed close to the client, latency is reduced.
  • the high-performance edge device 200 is used to process image data quickly, and the XR device 100 utilizes the XR content using the 5G network.
  • the edge device 200 can utilize various main contents in the cloud server 300 through 5G or Giga WiFi in real time and can be organically applied to background contents.
  • Figure 2 is a diagram showing the overall configuration of implementing the XR service in the present invention
  • Figure 3 is a diagram showing an example of generating XR contents through distributed processing and matching them to background contents in the present invention.
  • the XR device 100 is a device mounted by a user as a head mounted display (HMD) or the like, and obtains information (images, sensed values) related to the user's surroundings and allows the user to view XR content.
  • the XR device 100 captures the surroundings using an internal camera module to generate a surrounding image, and uses the internal sensor module to sense the state of its surroundings (e.g., location sensing value, proximity sensing value). , depth value, etc.) is obtained.
  • the XR device 100 obtains user manipulation information through an internal user interface module.
  • the user operation information includes the user's action (eg, head movement, button press, joystick operation, touch input, voice input, etc.), and also includes a selection input for a menu displayed on the display screen of the XR device 100.
  • the XR device 100 analyzes state sensing information (eg, location sensing value, proximity sensing value, depth value, etc.) to obtain object information and spatial information about its surroundings. Since these data are low-capacity data, low performance Real-time processing is possible with a processor, and fast real-time processing is required due to its nature.
  • state sensing information eg, location sensing value, proximity sensing value, depth value, etc.
  • the XR device 100 transmits the surrounding captured image, user manipulation information, object information, and spatial information to the edge device 200 through 5G or Giga WiFi to request image processing, and in response to the image processing request As a response, XR content and image matching information are provided from the edge device 200 .
  • the image matching information is information on how to match the XR contents to the surrounding captured images, and may preferably include location information and color blending information.
  • the technology for obtaining XR content and image matching information from surrounding images, user manipulation information, object information, and spatial information is a technology that is already used in the XR field, and is not the core content of the present invention. is omitted.
  • the XR device 100 matches and synthesizes the XR content with the surrounding captured images based on one or more of the user manipulation information and the image matching information, and reproduces and outputs the XR content.
  • the edge device 200 transmits a tortoise image and an e-mail icon image as XR content based on surrounding images, user manipulation information, object information, and spatial information.
  • the XR device 100 outputs a playback screen by synthesizing a turtle image and an e-mail icon image with surrounding captured images (background content) according to the image matching information.
  • the edge device 200 receives surrounding captured images, user operation information, object information, and spatial information from the XR device 100 through 5G or giga WiFi. As shown in FIG. 1 , one edge device 200 may cover a plurality of XR devices 100 existing in a corresponding region. In addition, the edge device 200 receives main content for the XR service from the external cloud server 300 in response to user manipulation information. In addition, the edge device 200 generates XR content and image matching information by image processing of surrounding images, object information and space information, and main content. Since the edge device 200 is a fixed type device, it can be configured by mounting high-performance hardware (CPU, GPU, memory, high-capacity power supply, etc.), and accordingly, it can quickly process complex calculations on large amounts of data. And, the edge device 200 provides XR content and image matching information to the XR device 100 through 5G or Giga WiFi.
  • the XR device 100 obtains user manipulation information related to XR mode selection after device activation (eg, device turn-on) and before transmitting the surrounding captured image, transmits it to the edge device 200, and the edge device ( In step 200), when user operation information regarding XR mode selection is received, it is transmitted to the cloud server 300 to receive and temporarily store main content corresponding thereto in advance. In this way, securing the main content in advance simplifies the process of generating XR content and image matching information, improving the real-time responsiveness of the XR service.
  • the cloud server 300 has a plurality of main contents for XR services in advance corresponding to a plurality of XR modes.
  • the cloud server 300 has prepared main content in advance for five XR modes (eg, learning mode, multi mode, single mode, all combat mode, and rest mode).
  • the cloud server 300 wirelessly communicates with the edge device 200 through high-speed wireless communication of 5G and giga WiFi.
  • the main content corresponding to the selection is provided to the edge device 200 .
  • FIG. 4 is a diagram showing the internal configuration of the XR device 100 in the present invention
  • FIG. 5 is a diagram showing the internal configuration of the edge device 200 in the present invention.
  • the XR device 100 includes a camera photographing unit 110, a terminal state sensor unit 120, a user interface unit 130, a high-speed wireless communication terminal unit 140, a sensing information terminal analysis unit ( 150), a user input edge transmission unit 160, an image processing request transmission unit 170, an image processing result reception unit 180, and an image matching reproduction output unit 190.
  • the camera photographing unit 110 is a component that generates a photographed image of the user wearing the XR device 100 by an internal camera module.
  • the terminal state sensor unit 120 is a component that obtains state sensing information about the user's surroundings, such as a location sensing value, a proximity sensing value, and a depth value, by an internal sensor module.
  • the user interface unit 130 obtains user manipulation information on the XR device 100 by means of an internal user interface module (eg, gyro sensor, button, joystick, touch device, voice processing device, etc.), and finally obtains XR content and It is a component that outputs the playback result of high-definition matched content in which surrounding captured images are coherently synthesized.
  • an internal user interface module eg, gyro sensor, button, joystick, touch device, voice processing device, etc.
  • the high-speed wireless communication terminal unit 140 is a component that performs 5G and Giga WiFi high-speed wireless communication with the edge device 200. It is preferable to use 5G and giga WiFi in combination, but high-speed wireless communication can be performed only by 5G.
  • the sensing information terminal analysis unit 150 analyzes state sensing information (eg, position sensing value, proximity sensing value, depth value, etc.) to obtain object information and spatial information (eg, surrounding objects) about the XR device 100. information about how many there are and how they are arranged, which of the objects are in front and which are behind, what the surrounding space looks like, etc.).
  • state sensing information eg, position sensing value, proximity sensing value, depth value, etc.
  • object information and spatial information eg, surrounding objects
  • the user input edge delivery unit 160 is a component that transmits user manipulation information to the edge device 200 through 5G or Giga WiFi.
  • the image processing request transmission unit 170 is a component that transmits surrounding captured images, object information, and space information to the edge device 200 through 5G or Giga WiFi. This is a configuration in which high-definition and high-capacity image processing is distributed to the edge device 200 .
  • the image processing result receiving unit 180 is a component that receives XR contents and image matching information from the edge device 200 in response to an image processing request.
  • the video matching reproduction output unit 190 is a component that matches and synthesizes XR content with surrounding captured images based on one or more of user manipulation information and image matching information, and reproduces and outputs the XR content.
  • XR content (turtle image, e-mail icon image) was synthesized and reproduced and outputted to surrounding captured images (background content) according to image matching information.
  • the edge device 200 includes a high-speed wireless communication edge unit 210, a user input pre-receiving unit 220, an image processing request receiving unit 230, a main content pre-receiving unit 240, and an XR contents image. It is configured to include a processing unit 250 and an image processing result transmission unit 260 .
  • the high-speed wireless communication edge unit 210 is a component that performs 5G and giga WiFi high-speed wireless communication with the XR device 200 and the external cloud server 300.
  • the user input advance receiver 220 is a component that receives user manipulation information from the XR device 100 through 5G or giga WiFi.
  • the image processing request receiver 230 is a component that receives surrounding captured images, object information, and spatial information from the XR device 100 through 5G or giga WiFi.
  • the main content pre-receiving unit 240 is a component that transmits user operation information to the external cloud server 300 and receives main content for XR service from the external cloud server 300 in response thereto.
  • the XR content image processing unit 250 is a component that generates XR content and image matching information by image processing of surrounding images, object information and spatial information, and main content.
  • the image processing result transmission unit 260 is a component that provides the generated XR contents and image matching information to the XR device 100 through 5G or Giga WiFi.
  • the present invention can be implemented in the form of computer readable codes on a computer readable non-volatile recording medium.
  • non-volatile recording media there are various types of storage devices, such as hard disks, SSDs, CD-ROMs, NAS, magnetic tapes, web disks, and cloud disks. and can be implemented in a form that is executed.
  • the present invention may be implemented in the form of a computer program stored in a medium in order to execute a specific procedure in combination with hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 일반적으로 XR 콘텐츠를 효과적으로 처리하는 기술에 관한 것이다. 특히, 본 발명은 XR 디바이스들과 엣지 디바이스와 클라우드 서버를 5G 고속 무선통신으로 연결하고 XR 디바이스에서 수집되는 각종 데이터를 분류하여 저용량 정보데이터(예: 위치 센서 값, 근접 센서값 등)는 XR 디바이스가 자체 처리하고 대용량 영상데이터는 엣지 디바이스로 전달하여 클라우드 서버의 메인 콘텐츠와 함께 엣지 디바이스가 처리하도록 데이터 처리를 분산한 후에 이들 데이터 처리 결과를 XR 디바이스가 정합하여 XR 콘텐츠를 생성하도록 구성한 5G 기반 MEC를 이용한 XR 분산처리 기술에 관한 것이다. 본 발명에 따르면 XR 디바이스에 고성능 프로세서를 탑재하지 않고도 고화질의 XR 콘텐츠를 실시간으로 처리할 수 있어 경량화 및 저가격화를 이룬 고품질 XR 디바이스를 구현할 수 있는 장점이 있다.

Description

5G 기반 MEC를 이용한 XR 분산처리 시스템
본 발명은 일반적으로 XR 콘텐츠를 효과적으로 처리하는 기술에 관한 것이다.
특히, 본 발명은 XR 디바이스들과 엣지 디바이스와 클라우드 서버를 5G 고속 무선통신으로 연결하고 XR 디바이스에서 수집되는 각종 데이터를 분류하여 저용량 정보데이터(예: 위치 센서 값, 근접 센서값 등)는 XR 디바이스가 자체 처리하고 대용량 영상데이터는 엣지 디바이스로 전달하여 클라우드 서버의 메인 콘텐츠와 함께 엣지 디바이스가 처리하도록 데이터 처리를 분산한 후에 이들 데이터 처리 결과를 XR 디바이스가 정합하여 XR 콘텐츠를 생성하도록 구성한 5G 기반 MEC를 이용한 XR 분산처리 기술에 관한 것이다.
최근 들어 정보통신기술(ICT) 분야에서는 확장현실(XR; eXtended Reality) 기술에 대한 관심이 높다. 확장현실(XR)은 일반적으로 가상현실(VR), 증강현실(AR), 혼합현실(MR)을 총칭하는 용어이다. 가상현실(VR; Virtual Reality)은 컴퓨터그래픽(CG)으로 가상의 세계를 생성하여 표시하는 기술이고, 증강현실(AR; Augmented Reality)은 현실 세계의 영상에 컴퓨터그래픽 콘텐츠를 추가하여 표시하는 기술이고, 혼합현실(MR; Mixed Reality)은 현실 세계의 영상에 컴퓨터그래픽 콘텐츠를 독립적으로 결합 또는 믹싱하는 기술이다.
AR 기술은 실제 영상에 대해 가상의 디지털 이미지를 얹는 방식이고 MR 기술은 현실 세계에 대해 가상의 디지털 이미지를 얹는 방식이다. AR 기술과 MR 기술은 현실세계의 모습을 볼 수 있다는 점에서 가상의 컴퓨터그래픽 영상만 보여주는 VR 기술과는 다르다. 실내에서만 쓸 수 있는 VR 기기 및 AR 기기와 달리 MR 기기는 안경처럼 착용한 상태로 현실 세계를 걸어다니면서 사용할 수가 있으므로 그 쓰임새(예: 대테러 진압작전, 화재 진압작전 등)가 다양하다.
XR 디바이스는 일반적으로 HMD(head mounted display) 등과 같이 웨어러블 기기로 구현하므로 사용자 편의성도 매우 중요하다.
한편, 컴퓨터 하드웨어가 고성능화되고 유무선 네트워크가 고속화되면서 영상 콘텐츠에 대한 고화질 경향이 뚜렷하다. 확장현실 분야에서도 XR 콘텐츠가 고화질이어야 한다는 요구가 있다.
그러한 요구를 만족시키기 위해서는 언리얼 엔진(Unreal Engine)이나 유니티 엔진(Unity Engine)을 이용하여 고화질의 XR 콘텐츠를 처리하도록 XR 디바이스를 구성한다. 이러한 구성이 동작하기 위해서는 XR 디바이스가 고성능의 연산처리유닛(CPU)과 그래픽처리유닛(GPU)을 탑재해야 하는데, 웨어러블 디바이스로 구현되는 XR 디바이스에 이러한 고성능 프로세서를 탑재한다면 장치 크기, 무게, 발열 이슈가 심각해질 뿐만 아니라 가격 상승의 문제도 있다.
한편, 본 발명과 관련하여 발명자가 인지한 선행문헌은 다음과 같다.
(1) 대한민국 공개특허 10-2019-0104945호(2019.09.11) "XR 디바이스 및 그 제어 방법"
(2) 대한민국 등록특허 10-2283301호(2021.07.23) "확장현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법"
(3) 대한민국 공개특허 10-2021-0023194호(2021.03.04) "MEC 시스템 및 그 제어방법"
(4) 대한민국 공개특허 10-2020-0110031호(2020.09.23) "MEC 플랫폼, 그것을 갖는 디지털 트윈 서비스 시스템 및 그것의 동작 방법"
본 발명의 목적은 일반적으로 XR 콘텐츠를 효과적으로 처리하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 XR 디바이스들과 엣지 디바이스와 클라우드 서버를 5G 고속 무선통신으로 연결하고 XR 디바이스에서 수집되는 각종 데이터를 분류하여 저용량 정보데이터(예: 위치 센서 값, 근접 센서값 등)는 XR 디바이스가 자체 처리하고 대용량 영상데이터는 엣지 디바이스로 전달하여 클라우드 서버의 메인 콘텐츠와 함께 엣지 디바이스가 처리하도록 데이터 처리를 분산한 후에 이들 데이터 처리 결과를 XR 디바이스가 정합하여 XR 콘텐츠를 생성하도록 구성한 5G 기반 MEC를 이용한 XR 분산처리 기술을 제공하는 것이다.
상기의 목적을 달성하기 위하여 본 발명은 5G 및 기가 WiFi의 고속 무선통신으로 상호 연결된 XR 디바이스(100)와 엣지 디바이스(200)의 분산 데이터 처리에 의해 XR 서비스를 제공하는 5G 기반 MEC를 이용한 XR 분산처리 시스템을 제공한다.
본 발명에 따른 5G 기반 MEC를 이용한 XR 분산처리 시스템은, 내부 카메라 모듈에 의해 주변 촬영영상을 생성하고 내부 센서 모듈에 의해 위치센싱값, 근접센싱값, 뎁스(depth)값 중 하나이상을 포함하는 상태센싱 정보를 획득하고 내부 유저 인터페이스 모듈에 의해 사용자 조작정보를 획득하고 상태센싱 정보를 분석하여 자신 주변에 관한 사물정보 및 공간정보를 획득하고 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하여 영상처리를 요청하고 영상처리 요청에 대한 응답으로 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받고 사용자 조작정보와 영상정합 정보의 하나이상에 기초하여 XR 콘텐츠를 주변 촬영영상에 정합 합성하여 재생 출력하는 XR 디바이스(100); XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보를 수신하고 사용자 조작정보에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받고 주변 촬영영상, 사물정보 및 공간정보, 메인 콘텐츠를 영상 처리하여 XR 콘텐츠 및 영상정합 정보를 생성하고 5G 또는 기가 WiFi를 통해 XR 디바이스(100)로 제공하는 엣지 디바이스(200);를 포함하여 구성된다.
또한, 본 발명에 따른 5G 기반 MEC를 이용한 XR 분산처리 시스템은, 5G 및 기가 WiFi의 고속 무선통신으로 엣지 디바이스(200)와 무선 통신하고 복수의 XR 모드에 대응하여 XR 서비스를 위한 복수의 메인 콘텐츠를 미리 구비하고 엣지 디바이스(200)로부터 XR 모드 선택에 관한 사용자 조작정보를 수신하면 그 모드 선택에 대응하는 메인 콘텐츠를 제공하는 클라우드 서버(300);를 더 포함하여 구성될 수 있다.
본 발명에서 XR 디바이스(100)는, 내부 카메라 모듈에 의해 주변 촬영영상을 생성하는 카메라 촬영부(110); 내부 센서 모듈에 의해 위치센싱값, 근접센싱값, 뎁스값 중 하나이상을 포함하는 상태센싱 정보를 획득하는 단말상태 센서부(120); 사용자 조작정보를 획득하고 재생결과 출력을 수행하는 유저 인터페이스부(130); 엣지 디바이스(200)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 고속무선통신 단말부(140); 상태센싱 정보를 분석하여 자신 주변에 관한 사물정보 및 공간정보를 획득하는 센싱정보 단말분석부(150); 사용자 조작정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하는 유저입력 엣지전달부(160); 주변 촬영영상, 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하는 영상처리 요청전송부(170); 영상처리 요청에 대한 응답으로 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받는 영상처리 결과수신부(180); 사용자 조작정보와 영상정합 정보의 하나이상에 기초하여 XR 콘텐츠를 주변 촬영영상에 정합 합성하여 재생 출력하는 영상정합 재생출력부(190);를 포함하여 구성될 수 있다.
또한 본 발명에서 엣지 디바이스(200)는, XR 디바이스(200) 및 외부의 클라우드 서버(300)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 고속무선통신 엣지부(210); XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 사용자 조작정보를 수신하는 유저입력 선행수신부(220); XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 주변 촬영영상, 사물정보 및 공간정보를 수신하는 영상처리 요청수신부(230); 사용자 조작정보를 외부의 클라우드 서버(300)로 전송하고 그에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받는 메인콘텐츠 선행수신부(240); 주변 촬영영상, 사물정보 및 공간정보, 메인 콘텐츠를 영상 처리하여 XR 콘텐츠 및 영상정합 정보를 생성하는 XR콘텐츠 영상처리부(250); 그 생성된 XR 콘텐츠 및 영상정합 정보를 5G 또는 기가 WiFi를 통해 XR 디바이스(100)로 제공하는 영상처리 결과전송부(260);를 포함하여 구성될 수 있다.
또한 본 발명에서 XR 디바이스(100)는 기기 활성화 이후에 주변 촬영영상을 전송하기 이전에 XR 모드 선택에 관한 사용자 조작정보를 획득하여 엣지 디바이스(200)로 전송하도록 구성될 수 있다. 이때, 엣지 디바이스(200)는 XR 모드 선택에 관한 사용자 조작정보를 수신하면 클라우드 서버(300)로 전달하여 그에 대응하는 메인 콘텐츠를 미리 수신하고 임시 저장하도록 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 5G 기반 MEC를 이용한 XR 분산처리 시스템의 동작 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.
본 발명에 따르면 XR 디바이스에 고성능 프로세서를 탑재하지 않고도 고화질의 XR 콘텐츠를 실시간으로 처리할 수 있어 경량화 및 저가격화를 이룬 고품질 XR 디바이스를 구현할 수 있는 장점이 있다.
도 1은 본 발명에 따른 5G 기반 MEC를 이용한 XR 분산처리 시스템의 전체 구성을 나타내는 도면.
도 2는 본 발명에서 XR 서비스를 구현하는 전체 구성을 나타내는 도면.
도 3은 본 발명에서 분산 처리를 통해 XR 콘텐츠를 생성하고 배경 콘텐츠에 정합하는 예를 나타내는 도면.
도 4는 본 발명에서 XR 디바이스의 내부 구성을 나타내는 도면.
도 5는 본 발명에서 엣지 디바이스의 내부 구성을 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
도 1은 본 발명에 따른 5G 기반 MEC를 이용한 XR 분산처리 시스템의 전체 구성을 나타내는 도면이다.
본 발명에 따른 5G 기반 MEC(Multi-access Edge Computing)를 이용한 XR 분산처리 시스템은 5G 및 기가 WiFi의 고속 무선통신으로 XR 디바이스(100)와 엣지 디바이스(200)를 상호 연결하고 이들 디바이스(100, 200)가 XR 서비스를 위한 데이터 처리를 분담하여 처리 부담을 분산시키는 구성을 채택하고 있다.
일반적으로 고화질(고용량)의 XR 콘텐츠를 처리하기 위해서는 XR 디바이스(100)가 고성능 프로세서를 탑재하고 있어야 하는데, 이는 장치 크기, 무게, 발열, 가격 문제가 심각해진다. 본 발명에서는 MEC(Multi-access Edge Computing) 방식으로 XR 서비스 시스템을 구성하고 엣지 디바이스(200)가 데이터 처리 부담의 상당 부분을 짊어지도록 하였다. 엣지 디바이스(200)는 고정형 장치이므로 얼마든지 고성능 프로세서를 탑재하는 것이 가능하므로 전술한 문제점으로부터 자유롭다.
이때, XR 디바이스(100)는 이동 가능한 형태(mobile type)로 구현되는 것이 일반적이므로 XR 디바이스(100)와 엣지 디바이스(200)는 무선통신으로 데이터를 주고받아야 한다. XR 서비스의 속성상 시간지연이 개입되면 안되므로 5G 및 기가 WiFi의 고속 무선통신으로 XR 디바이스(100)와 엣지 디바이스(200)를 연동시켜야 한다.
본 발명에서 채택하는 MEC(Multi-access Edge Computing) 구성은 중앙 서버(클라우드 서버)가 아닌 네트워크 엣지(Edge)에서 서비스 연산처리를 수행하는 기술이다. 지역별로 서비스 서버(엣지 디바이스)를 구축하고 해당 지역에서 발생되는 클라이언트 요청은 그 지역의 서비스 서버가 처리하도록 시스템을 구성한다. 클라이언트 가까운 곳에서 데이터를 처리하므로 지연시간(latency)이 단축되는 특성이 있다.
고화질(고용량)의 XR 콘텐츠를 적용할 수 있도록 고성능 엣지 디바이스(200)를 활용하여 빠르게 영상 데이터를 처리하고 5G 네트워크를 활용하여 XR 디바이스(100)에서 XR 콘텐츠를 활용한다. 이때, 엣지 디바이스(200)는 실시간으로 5G 또는 기가 WiFi 등으로 클라우드 서버(300)에 있는 다양한 메인 콘텐츠를 활용할 수 있으며 배경 콘텐츠에 유기적으로 적용 가능하다.
도 2는 본 발명에서 XR 서비스를 구현하는 전체 구성을 나타내는 도면이고, 도 3은 본 발명에서 분산 처리를 통해 XR 콘텐츠를 생성하고 배경 콘텐츠에 정합하는 예를 나타내는 도면이다.
먼저, XR 디바이스(100)는 사용자가 HMD(head mounted display) 등으로 장착하는 장치로서 사용자 주변에 관련된 정보(영상, 센싱값)을 획득하고 XR 콘텐츠를 사용자가 볼 수 있도록 해준다. XR 서비스를 구현하기 위해 XR 디바이스(100)는 내부 카메라 모듈에 의해 주변을 촬영하여 주변 촬영영상을 생성하고, 내부 센서 모듈에 의해 자신 주변에 관한 상태센싱 정보(예: 위치센싱값, 근접센싱값, 뎁스(depth)값 등)를 획득한다. 또한, XR 디바이스(100)는 내부 유저 인터페이스 모듈에 의해 사용자 조작정보를 획득한다. 사용자 조작정보는 사용자의 액션(예: 머리 움직임, 버튼 프레스, 조이스틱 조작, 터치 입력, 음성 입력 등)을 포함하는데, XR 디바이스(100)의 디스플레이 화면에 표시되는 메뉴에 대한 선택 입력도 포함한다.
그리고, XR 디바이스(100)는 상태센싱 정보(예: 위치센싱값, 근접센싱값, 뎁스값 등)를 분석하여 자신 주변에 관한 사물정보 및 공간정보를 획득하는데, 이들 데이터는 저용량 데이터이기에 저성능 프로세서로도 실시간 처리 가능할 뿐만 아니라 그 속성상 빠른 실시간 처리가 필요하다.
이어서, XR 디바이스(100)는 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하여 영상처리를 요청(request)하고, 그 영상처리 요청에 대한 응답(response)으로 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받는다. 이때, 영상정합 정보는 XR 콘텐츠를 주변 촬영영상에 어떻게 정합시킬 것인가에 관한 정보로서, 바람직하게는 위치 정보와 색상 블랜딩 정보를 포함할 수 있다. 이때, 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보로부터 XR 콘텐츠와 영상정합 정보를 획득하는 기술은 복합현실(XR) 분야에서 이미 사용되고 있는 기술이고 본 발명의 핵심내용은 아니므로 이에 대한 설명은 생략한다.
이어서, XR 디바이스(100)는 사용자 조작정보와 영상정합 정보의 하나이상에 기초하여 XR 콘텐츠를 주변 촬영영상에 정합 합성하여 재생 출력한다. 도 3을 참조하면, 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보에 기초하여 엣지 디바이스(200)가 거북이 이미지와 이메일 아이콘 이미지를 XR 콘텐츠로 전달하였다. XR 디바이스(100)는 영상정합 정보에 따라 주변 촬영영상(배경 콘텐츠)에 거북이 이미지와 이메일 아이콘 이미지를 합성하여 재생화면을 출력하였다.
다음으로, 엣지 디바이스(200)는 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보를 수신한다. 도 1에 도시된 바와 같이, 하나의 엣지 디바이스(200)는 해당 지역에 존재하는 다수의 XR 디바이스(100)를 커버할 수 있다. 또한, 엣지 디바이스(200)는 사용자 조작정보에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받는다. 또한, 엣지 디바이스(200)는 주변 촬영영상, 사물정보 및 공간정보, 메인 콘텐츠를 영상 처리하여 XR 콘텐츠와 영상정합 정보를 생성한다. 엣지 디바이스(200)는 고정형 장치이므로 고성능 하드웨어(CPU, GPU, 메모리, 고용량 전원 등)을 탑재하여 구성할 수 있고, 그에 따라 대용량 데이터에 관한 복잡한 연산을 빠르게 처리할 수 있다. 그리고, 엣지 디바이스(200)는 5G 또는 기가 WiFi를 통해 XR 콘텐츠와 영상정합 정보를 XR 디바이스(100)로 제공한다.
이때, XR 서비스의 실시간 응답성을 양호하게 하기 위하여 메인 콘텐츠의 확보를 먼저 수행하는 것이 바람직하다. 이를 위해, XR 디바이스(100)는 기기 활성화(예: 기기 턴온) 이후에 주변 촬영영상을 전송하기 이전에 XR 모드 선택에 관한 사용자 조작정보를 획득하여 엣지 디바이스(200)로 전송하고, 엣지 디바이스(200)는 XR 모드 선택에 관한 사용자 조작정보를 수신하면 클라우드 서버(300)로 전달하여 그에 대응하는 메인 콘텐츠를 미리 수신하고 임시 저장하는 것이다. 이처럼 메인 콘텐츠를 미리 확보해두면 XR 콘텐츠와 영상정합 정보를 생성하는 과정이 단순해져서 XR 서비스의 실시간 응답성이 양호해진다.
클라우드 서버(300)는 복수의 XR 모드에 대응하여 XR 서비스를 위한 복수의 메인 콘텐츠를 미리 구비하고 있다. 도 3을 참조하면, 클라우드 서버(300)는 5가지 XR 모드(예: 학습 모드, 멀티 모드, 싱글 모드, 전투 모두, 휴식 모드)에 대해 메인 콘텐츠를 미리 구비해놓았다. 클라우드 서버(300)는 5G 및 기가 WiFi의 고속 무선통신으로 엣지 디바이스(200)와 무선 통신하는데, 엣지 디바이스(200)로부터 XR 모드 선택에 관한 사용자 조작정보(예: 싱글 모드)를 수신하면 그 모드 선택에 대응하는 메인 콘텐츠를 엣지 디바이스(200)로 제공한다.
도 4는 본 발명에서 XR 디바이스(100)의 내부 구성을 나타내는 도면이고, 도 5는 본 발명에서 엣지 디바이스(200)의 내부 구성을 나타내는 도면이다.
먼저 도 4를 참조하면, XR 디바이스(100)는 카메라 촬영부(110), 단말상태 센서부(120), 유저 인터페이스부(130), 고속무선통신 단말부(140), 센싱정보 단말분석부(150), 유저입력 엣지전달부(160), 영상처리 요청전송부(170), 영상처리 결과수신부(180), 영상정합 재생출력부(190)를 포함하여 구성된다.
카메라 촬영부(110)는 내부 카메라 모듈에 의해 XR 디바이스(100)를 장착하고 있는 사용자의 주변 촬영영상을 생성하는 구성요소이다.
단말상태 센서부(120)는 내부 센서 모듈에 의해 위치센싱값, 근접센싱값, 뎁스값 등과 같은 사용자 주변에 대한 상태센싱 정보를 획득하는 구성요소이다.
유저 인터페이스부(130)는 내부 유저 인터페이스 모듈(예: 자이로 센서, 버튼, 조이스틱, 터치장치, 음성처리장치 등)에 의해 XR 디바이스(100)에 대한 사용자 조작정보를 획득하고, 최종적으로 XR 콘텐츠와 주변 촬영영상가 정합 합성된 고화질 정합 콘텐츠의 재생결과 출력을 수행하는 구성요소이다.
고속무선통신 단말부(140)는 엣지 디바이스(200)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 구성요소이다. 5G와 기가 WiFi를 조합하여 사용하는 것이 바람직한데, 5G에 의해서만 고속 무선통신을 수행할 수도 있다.
센싱정보 단말분석부(150)는 상태센싱 정보(예: 위치센싱값, 근접센싱값, 뎁스값 등)를 분석하여 XR 디바이스(100) 주변에 관한 사물정보 및 공간정보(예: 주변에 사물이 몇개가 있고 어떻게 배치되어 있는지, 사물들 중에서 어떤 것이 앞에 있고 어떠한 것이 뒤에 있는지, 주변 공간이 어떻게 생겼는지 등에 관한 정보)를 획득하는 구성요소이다.
유저입력 엣지전달부(160)는 사용자 조작정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하는 구성요소이다.
영상처리 요청전송부(170)는 주변 촬영영상, 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하는 구성요소이다. 고화질, 고용량 영상 처리를 엣지 디바이스(200)에 분담시키는 구성이다.
영상처리 결과수신부(180)는 영상처리 요청에 대한 응답으로 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받는 구성요소이다.
영상정합 재생출력부(190)는 사용자 조작정보와 영상정합 정보의 하나이상에 기초하여 XR 콘텐츠를 주변 촬영영상에 정합 합성하여 재생 출력하는 구성요소이다. 도 3을 참조하면, 영상정합 정보에 따라 주변 촬영영상(배경 콘텐츠)에 XR 콘텐츠(거북이 이미지, 이메일 아이콘 이미지)를 합성하여 재생 출력하였다.
다음으로 도 5를 참조하면, 엣지 디바이스(200)는 고속무선통신 엣지부(210), 유저입력 선행수신부(220), 영상처리 요청수신부(230), 메인콘텐츠 선행수신부(240), XR콘텐츠 영상처리부(250), 영상처리 결과전송부(260)를 포함하여 구성된다.
고속무선통신 엣지부(210)는 XR 디바이스(200) 및 외부의 클라우드 서버(300)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 구성요소이다.
유저입력 선행수신부(220)는 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 사용자 조작정보를 수신하는 구성요소이다.
영상처리 요청수신부(230)는 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 주변 촬영영상, 사물정보 및 공간정보를 수신하는 구성요소이다.
메인콘텐츠 선행수신부(240)는 사용자 조작정보를 외부의 클라우드 서버(300)로 전송하고 그에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받는 구성요소이다.
XR콘텐츠 영상처리부(250)는 주변 촬영영상, 사물정보 및 공간정보, 메인 콘텐츠를 영상 처리하여 XR 콘텐츠 및 영상정합 정보를 생성하는 구성요소이다.
영상처리 결과전송부(260)는 그 생성된 XR 콘텐츠 및 영상정합 정보를 5G 또는 기가 WiFi를 통해 XR 디바이스(100)로 제공하는 구성요소이다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (5)

  1. 5G 및 기가 WiFi의 고속 무선통신으로 상호 연결된 XR 디바이스(100)와 엣지 디바이스(200)의 분산 데이터 처리에 의해 XR 서비스를 제공하는 5G 기반 MEC를 이용한 XR 분산처리 시스템으로서,
    내부 카메라 모듈에 의해 주변 촬영영상을 생성하고 내부 센서 모듈에 의해 위치센싱값, 근접센싱값, 뎁스(depth)값 중 하나이상을 포함하는 상태센싱 정보를 획득하고 내부 유저 인터페이스 모듈에 의해 사용자 조작정보를 획득하고 상기 상태센싱 정보를 분석하여 자신 주변에 관한 사물정보 및 공간정보를 획득하고 상기 주변 촬영영상, 상기 사용자 조작정보, 상기 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 상기 엣지 디바이스(200)로 전송하여 영상처리를 요청하고 상기 영상처리 요청에 대한 응답으로 상기 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받고 상기 사용자 조작정보와 상기 영상정합 정보의 하나이상에 기초하여 상기 XR 콘텐츠를 상기 주변 촬영영상에 정합 합성하여 재생 출력하는 XR 디바이스(100);
    상기 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 상기 주변 촬영영상, 상기 사용자 조작정보, 상기 사물정보 및 공간정보를 수신하고 상기 사용자 조작정보에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받고 상기 주변 촬영영상, 상기 사물정보 및 공간정보, 상기 메인 콘텐츠를 영상 처리하여 XR 콘텐츠 및 영상정합 정보를 생성하고 5G 또는 기가 WiFi를 통해 상기 XR 디바이스(100)로 제공하는 엣지 디바이스(200);
    를 포함하여 구성되는 5G 기반 MEC를 이용한 XR 분산처리 시스템.
  2. 청구항 1에 있어서,
    상기 XR 디바이스(100)는,
    내부 카메라 모듈에 의해 주변 촬영영상을 생성하는 카메라 촬영부(110);
    내부 센서 모듈에 의해 위치센싱값, 근접센싱값, 뎁스값 중 하나이상을 포함하는 상태센싱 정보를 획득하는 단말상태 센서부(120);
    사용자 조작정보를 획득하고 재생결과 출력을 수행하는 유저 인터페이스부(130);
    상기 엣지 디바이스(200)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 고속무선통신 단말부(140);
    상기 상태센싱 정보를 분석하여 자신 주변에 관한 사물정보 및 공간정보를 획득하는 센싱정보 단말분석부(150);
    상기 사용자 조작정보를 5G 또는 기가 WiFi를 통해 상기 엣지 디바이스(200)로 전송하는 유저입력 엣지전달부(160);
    상기 주변 촬영영상, 상기 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 상기 엣지 디바이스(200)로 전송하는 영상처리 요청전송부(170);
    상기 영상처리 요청에 대한 응답으로 상기 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받는 영상처리 결과수신부(180);
    상기 사용자 조작정보와 상기 영상정합 정보의 하나이상에 기초하여 상기 XR 콘텐츠를 상기 주변 촬영영상에 정합 합성하여 재생 출력하는 영상정합 재생출력부(190);
    를 포함하여 구성되는 것을 특징으로 하는 5G 기반 MEC를 이용한 XR 분산처리 시스템.
  3. 청구항 2에 있어서,
    상기 엣지 디바이스(200)는,
    상기 XR 디바이스(200) 및 외부의 클라우드 서버(300)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 고속무선통신 엣지부(210);
    상기 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 상기 사용자 조작정보를 수신하는 유저입력 선행수신부(220);
    상기 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 상기 주변 촬영영상, 상기 사물정보 및 공간정보를 수신하는 영상처리 요청수신부(230);
    상기 사용자 조작정보를 외부의 클라우드 서버(300)로 전송하고 그에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받는 메인콘텐츠 선행수신부(240);
    상기 주변 촬영영상, 상기 사물정보 및 공간정보, 상기 메인 콘텐츠를 영상 처리하여 XR 콘텐츠 및 영상정합 정보를 생성하는 XR콘텐츠 영상처리부(250);
    상기 생성된 XR 콘텐츠 및 영상정합 정보를 5G 또는 기가 WiFi를 통해 상기 XR 디바이스(100)로 제공하는 영상처리 결과전송부(260);
    를 포함하여 구성되는 것을 특징으로 하는 5G 기반 MEC를 이용한 XR 분산처리 시스템.
  4. 청구항 3에 있어서,
    5G 및 기가 WiFi의 고속 무선통신으로 상기 엣지 디바이스(200)와 무선 통신하고 복수의 XR 모드에 대응하여 XR 서비스를 위한 복수의 메인 콘텐츠를 미리 구비하고 상기 엣지 디바이스(200)로부터 XR 모드 선택에 관한 사용자 조작정보를 수신하면 그 모드 선택에 대응하는 메인 콘텐츠를 제공하는 클라우드 서버(300);
    를 더 포함하여 구성되는 것을 특징으로 하는 5G 기반 MEC를 이용한 XR 분산처리 시스템.
  5. 청구항 4에 있어서,
    상기 XR 디바이스(100)는 기기 활성화 이후에 주변 촬영영상을 전송하기 이전에 XR 모드 선택에 관한 사용자 조작정보를 획득하여 상기 엣지 디바이스(200)로 전송하도록 구성되고,
    상기 엣지 디바이스(200)는 상기 XR 모드 선택에 관한 사용자 조작정보를 수신하면 상기 클라우드 서버(300)로 전달하여 그에 대응하는 메인 콘텐츠를 미리 수신하고 임시 저장하도록 구성되는 것을 특징으로 하는 5G 기반 MEC를 이용한 XR 분산처리 시스템.
PCT/KR2021/013642 2021-10-05 2021-10-06 5g 기반 mec를 이용한 xr 분산처리 시스템 WO2023058785A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210131528A KR102577189B1 (ko) 2021-10-05 2021-10-05 5g 기반 mec를 이용한 xr 분산처리 시스템
KR10-2021-0131528 2021-10-05

Publications (1)

Publication Number Publication Date
WO2023058785A1 true WO2023058785A1 (ko) 2023-04-13

Family

ID=85804376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013642 WO2023058785A1 (ko) 2021-10-05 2021-10-06 5g 기반 mec를 이용한 xr 분산처리 시스템

Country Status (2)

Country Link
KR (1) KR102577189B1 (ko)
WO (1) WO2023058785A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110012510A (ko) * 2009-07-30 2011-02-09 에스케이 텔레콤주식회사 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR101898088B1 (ko) * 2017-12-27 2018-09-12 주식회사 버넥트 객체 추적기반의 프레임 영역 녹화 및 재생기술이 적용된 증강현실 시스템
KR20200025960A (ko) * 2018-08-31 2020-03-10 주식회사 버넥트 지능형 인지기술기반 제조현장의 증강현실시스템
US20210307018A1 (en) * 2020-03-24 2021-09-30 Apple Inc. Efficient Discovery of Edge Computing Servers
US20210306281A1 (en) * 2020-03-24 2021-09-30 Apple Inc. Combined Network and Computation Slicing for Latency Critical Edge Computing Applications

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222468B (zh) * 2017-05-22 2020-12-18 北京邮电大学 增强现实处理方法、终端、云端服务器和边缘服务器
KR102326521B1 (ko) 2019-03-15 2021-11-16 한국전자통신연구원 Mec 플랫폼, 그것을 갖는 디지털 트윈 서비스 시스템 및 그것의 동작 방법
KR102266089B1 (ko) 2019-08-22 2021-06-16 주식회사 엘지유플러스 Mec 시스템 및 그 제어방법
KR20190104945A (ko) 2019-08-23 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR102283301B1 (ko) 2020-12-31 2021-07-29 더에이치알더 주식회사 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110012510A (ko) * 2009-07-30 2011-02-09 에스케이 텔레콤주식회사 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR101898088B1 (ko) * 2017-12-27 2018-09-12 주식회사 버넥트 객체 추적기반의 프레임 영역 녹화 및 재생기술이 적용된 증강현실 시스템
KR20200025960A (ko) * 2018-08-31 2020-03-10 주식회사 버넥트 지능형 인지기술기반 제조현장의 증강현실시스템
US20210307018A1 (en) * 2020-03-24 2021-09-30 Apple Inc. Efficient Discovery of Edge Computing Servers
US20210306281A1 (en) * 2020-03-24 2021-09-30 Apple Inc. Combined Network and Computation Slicing for Latency Critical Edge Computing Applications

Also Published As

Publication number Publication date
KR20230049147A (ko) 2023-04-13
KR102577189B1 (ko) 2023-09-12

Similar Documents

Publication Publication Date Title
US7843470B2 (en) System, image processing apparatus, and information processing method
WO2010027193A2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
CN108139808A (zh) 具有减少数量的相机的虚拟现实头戴式设备及其操作方法
WO2011108827A2 (ko) 증강현실의 포인팅 장치
CN108700941A (zh) 用于在虚拟现实环境中对准组件的方法和设备
US11409671B2 (en) Artificial reality system having multi-bank, multi-port distributed shared memory
WO2015174729A1 (ko) 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
WO2016000309A1 (zh) 基于穿戴设备的增强现实方法及系统
CA2672144A1 (en) Virtual video camera device with three-dimensional tracking and virtual object insertion
US11615576B2 (en) Artificial reality system using superframes to communicate surface data
WO2017065348A1 (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
CN110955329B (zh) 传输方法以及电子设备和计算机存储介质
CN114651435B (zh) 具有虚拟无线信道的人工现实系统
US11755747B2 (en) High throughput storage encryption
CN111298427A (zh) 一种在虚拟现实云游戏系统中降低画面抖动的方法
CN109766006B (zh) 虚拟现实场景的显示方法、装置及设备
US11870972B2 (en) Methods, systems and devices supporting real-time shared virtual reality environment
WO2023226628A1 (zh) 图像展示方法、装置、电子设备及存储介质
RU2760300C2 (ru) Устройство доставки и отображения контента
WO2023058785A1 (ko) 5g 기반 mec를 이용한 xr 분산처리 시스템
WO2019184498A1 (zh) 视频交互方法、计算机设备及存储介质
Tseng Development of a low-cost 3D interactive VR system using SBS 3D display, VR headset and finger posture motion tracking
CN115002438A (zh) Xr应用的开发预览方法、装置、电子设备及可读存储介质
WO2019103192A1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
WO2021015347A1 (ko) 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959997

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE