KR102577189B1 - 5g 기반 mec를 이용한 xr 분산처리 시스템 - Google Patents

5g 기반 mec를 이용한 xr 분산처리 시스템 Download PDF

Info

Publication number
KR102577189B1
KR102577189B1 KR1020210131528A KR20210131528A KR102577189B1 KR 102577189 B1 KR102577189 B1 KR 102577189B1 KR 1020210131528 A KR1020210131528 A KR 1020210131528A KR 20210131528 A KR20210131528 A KR 20210131528A KR 102577189 B1 KR102577189 B1 KR 102577189B1
Authority
KR
South Korea
Prior art keywords
information
content
edge
wifi
image
Prior art date
Application number
KR1020210131528A
Other languages
English (en)
Other versions
KR20230049147A (ko
Inventor
임화섭
윤홍수
신호동
장영찬
이규철
Original Assignee
가온그룹 주식회사
케이퓨처테크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온그룹 주식회사, 케이퓨처테크 주식회사 filed Critical 가온그룹 주식회사
Priority to KR1020210131528A priority Critical patent/KR102577189B1/ko
Priority to PCT/KR2021/013642 priority patent/WO2023058785A1/ko
Publication of KR20230049147A publication Critical patent/KR20230049147A/ko
Application granted granted Critical
Publication of KR102577189B1 publication Critical patent/KR102577189B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18—Service support devices; Network management devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 일반적으로 XR 콘텐츠를 효과적으로 처리하는 기술에 관한 것이다. 특히, 본 발명은 XR 디바이스들과 엣지 디바이스와 클라우드 서버를 5G 고속 무선통신으로 연결하고 XR 디바이스에서 수집되는 각종 데이터를 분류하여 저용량 정보데이터(예: 위치 센서 값, 근접 센서값 등)는 XR 디바이스가 자체 처리하고 대용량 영상데이터는 엣지 디바이스로 전달하여 클라우드 서버의 메인 콘텐츠와 함께 엣지 디바이스가 처리하도록 데이터 처리를 분산한 후에 이들 데이터 처리 결과를 XR 디바이스가 정합하여 XR 콘텐츠를 생성하도록 구성한 5G 기반 MEC를 이용한 XR 분산처리 기술에 관한 것이다. 본 발명에 따르면 XR 디바이스에 고성능 프로세서를 탑재하지 않고도 고화질의 XR 콘텐츠를 실시간으로 처리할 수 있어 경량화 및 저가격화를 이룬 고품질 XR 디바이스를 구현할 수 있는 장점이 있다.

Description

5G 기반 MEC를 이용한 XR 분산처리 시스템 {XR distributed processing system by use of 5G-based Multi-access Edge Computing}
본 발명은 일반적으로 XR 콘텐츠를 효과적으로 처리하는 기술에 관한 것이다.
특히, 본 발명은 XR 디바이스들과 엣지 디바이스와 클라우드 서버를 5G 고속 무선통신으로 연결하고 XR 디바이스에서 수집되는 각종 데이터를 분류하여 저용량 정보데이터(예: 위치 센서 값, 근접 센서값 등)는 XR 디바이스가 자체 처리하고 대용량 영상데이터는 엣지 디바이스로 전달하여 클라우드 서버의 메인 콘텐츠와 함께 엣지 디바이스가 처리하도록 데이터 처리를 분산한 후에 이들 데이터 처리 결과를 XR 디바이스가 정합하여 XR 콘텐츠를 생성하도록 구성한 5G 기반 MEC를 이용한 XR 분산처리 기술에 관한 것이다.
최근 들어 정보통신기술(ICT) 분야에서는 확장현실(XR; eXtended Reality) 기술에 대한 관심이 높다. 확장현실(XR)은 일반적으로 가상현실(VR), 증강현실(AR), 혼합현실(MR)을 총칭하는 용어이다. 가상현실(VR; Virtual Reality)은 컴퓨터그래픽(CG)으로 가상의 세계를 생성하여 표시하는 기술이고, 증강현실(AR; Augmented Reality)은 현실 세계의 영상에 컴퓨터그래픽 콘텐츠를 추가하여 표시하는 기술이고, 혼합현실(MR; Mixed Reality)은 현실 세계의 영상에 컴퓨터그래픽 콘텐츠를 독립적으로 결합 또는 믹싱하는 기술이다.
AR 기술은 실제 영상에 대해 가상의 디지털 이미지를 얹는 방식이고 MR 기술은 현실 세계에 대해 가상의 디지털 이미지를 얹는 방식이다. AR 기술과 MR 기술은 현실세계의 모습을 볼 수 있다는 점에서 가상의 컴퓨터그래픽 영상만 보여주는 VR 기술과는 다르다. 실내에서만 쓸 수 있는 VR 기기 및 AR 기기와 달리 MR 기기는 안경처럼 착용한 상태로 현실 세계를 걸어다니면서 사용할 수가 있으므로 그 쓰임새(예: 대테러 진압작전, 화재 진압작전 등)가 다양하다.
XR 디바이스는 일반적으로 HMD(head mounted display) 등과 같이 웨어러블 기기로 구현하므로 사용자 편의성도 매우 중요하다.
한편, 컴퓨터 하드웨어가 고성능화되고 유무선 네트워크가 고속화되면서 영상 콘텐츠에 대한 고화질 경향이 뚜렷하다. 확장현실 분야에서도 XR 콘텐츠가 고화질이어야 한다는 요구가 있다.
그러한 요구를 만족시키기 위해서는 언리얼 엔진(Unreal Engine)이나 유니티 엔진(Unity Engine)을 이용하여 고화질의 XR 콘텐츠를 처리하도록 XR 디바이스를 구성한다. 이러한 구성이 동작하기 위해서는 XR 디바이스가 고성능의 연산처리유닛(CPU)과 그래픽처리유닛(GPU)을 탑재해야 하는데, 웨어러블 디바이스로 구현되는 XR 디바이스에 이러한 고성능 프로세서를 탑재한다면 장치 크기, 무게, 발열 이슈가 심각해질 뿐만 아니라 가격 상승의 문제도 있다.
대한민국 공개특허 10-2019-0104945호(2019.09.11) "XR 디바이스 및 그 제어 방법" 대한민국 등록특허 10-2283301호(2021.07.23) "확장현실(XR) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법" 대한민국 공개특허 10-2021-0023194호(2021.03.04) "MEC 시스템 및 그 제어방법" 대한민국 공개특허 10-2020-0110031호(2020.09.23) "MEC 플랫폼, 그것을 갖는 디지털 트윈 서비스 시스템 및 그것의 동작 방법"
본 발명의 목적은 일반적으로 XR 콘텐츠를 효과적으로 처리하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 XR 디바이스들과 엣지 디바이스와 클라우드 서버를 5G 고속 무선통신으로 연결하고 XR 디바이스에서 수집되는 각종 데이터를 분류하여 저용량 정보데이터(예: 위치 센서 값, 근접 센서값 등)는 XR 디바이스가 자체 처리하고 대용량 영상데이터는 엣지 디바이스로 전달하여 클라우드 서버의 메인 콘텐츠와 함께 엣지 디바이스가 처리하도록 데이터 처리를 분산한 후에 이들 데이터 처리 결과를 XR 디바이스가 정합하여 XR 콘텐츠를 생성하도록 구성한 5G 기반 MEC를 이용한 XR 분산처리 기술을 제공하는 것이다.
한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.
상기의 목적을 달성하기 위하여 본 발명은 5G 및 기가 WiFi의 고속 무선통신으로 상호 연결된 XR 디바이스(100)와 엣지 디바이스(200)의 분산 데이터 처리에 의해 XR 서비스를 제공하는 5G 기반 MEC를 이용한 XR 분산처리 시스템을 제공한다.
본 발명에 따른 5G 기반 MEC를 이용한 XR 분산처리 시스템은, 내부 카메라 모듈에 의해 주변 촬영영상을 생성하고 내부 센서 모듈에 의해 위치센싱값, 근접센싱값, 뎁스(depth)값 중 하나이상을 포함하는 상태센싱 정보를 획득하고 내부 유저 인터페이스 모듈에 의해 사용자 조작정보를 획득하고 상태센싱 정보를 분석하여 자신 주변에 관한 사물정보 및 공간정보를 획득하고 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하여 영상처리를 요청하고 영상처리 요청에 대한 응답으로 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받고 사용자 조작정보와 영상정합 정보의 하나이상에 기초하여 XR 콘텐츠를 주변 촬영영상에 정합 합성하여 재생 출력하는 XR 디바이스(100); XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보를 수신하고 사용자 조작정보에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받고 주변 촬영영상, 사물정보 및 공간정보, 메인 콘텐츠를 영상 처리하여 XR 콘텐츠 및 영상정합 정보를 생성하고 5G 또는 기가 WiFi를 통해 XR 디바이스(100)로 제공하는 엣지 디바이스(200);를 포함하여 구성된다.
또한, 본 발명에 따른 5G 기반 MEC를 이용한 XR 분산처리 시스템은, 5G 및 기가 WiFi의 고속 무선통신으로 엣지 디바이스(200)와 무선 통신하고 복수의 XR 모드에 대응하여 XR 서비스를 위한 복수의 메인 콘텐츠를 미리 구비하고 엣지 디바이스(200)로부터 XR 모드 선택에 관한 사용자 조작정보를 수신하면 그 모드 선택에 대응하는 메인 콘텐츠를 제공하는 클라우드 서버(300);를 더 포함하여 구성될 수 있다.
본 발명에서 XR 디바이스(100)는, 내부 카메라 모듈에 의해 주변 촬영영상을 생성하는 카메라 촬영부(110); 내부 센서 모듈에 의해 위치센싱값, 근접센싱값, 뎁스값 중 하나이상을 포함하는 상태센싱 정보를 획득하는 단말상태 센서부(120); 사용자 조작정보를 획득하고 재생결과 출력을 수행하는 유저 인터페이스부(130); 엣지 디바이스(200)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 고속무선통신 단말부(140); 상태센싱 정보를 분석하여 자신 주변에 관한 사물정보 및 공간정보를 획득하는 센싱정보 단말분석부(150); 사용자 조작정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하는 유저입력 엣지전달부(160); 주변 촬영영상, 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하는 영상처리 요청전송부(170); 영상처리 요청에 대한 응답으로 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받는 영상처리 결과수신부(180); 사용자 조작정보와 영상정합 정보의 하나이상에 기초하여 XR 콘텐츠를 주변 촬영영상에 정합 합성하여 재생 출력하는 영상정합 재생출력부(190);를 포함하여 구성될 수 있다.
또한 본 발명에서 엣지 디바이스(200)는, XR 디바이스(200) 및 외부의 클라우드 서버(300)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 고속무선통신 엣지부(210); XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 사용자 조작정보를 수신하는 유저입력 선행수신부(220); XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 주변 촬영영상, 사물정보 및 공간정보를 수신하는 영상처리 요청수신부(230); 사용자 조작정보를 외부의 클라우드 서버(300)로 전송하고 그에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받는 메인콘텐츠 선행수신부(240); 주변 촬영영상, 사물정보 및 공간정보, 메인 콘텐츠를 영상 처리하여 XR 콘텐츠 및 영상정합 정보를 생성하는 XR콘텐츠 영상처리부(250); 그 생성된 XR 콘텐츠 및 영상정합 정보를 5G 또는 기가 WiFi를 통해 XR 디바이스(100)로 제공하는 영상처리 결과전송부(260);를 포함하여 구성될 수 있다.
또한 본 발명에서 XR 디바이스(100)는 기기 활성화 이후에 주변 촬영영상을 전송하기 이전에 XR 모드 선택에 관한 사용자 조작정보를 획득하여 엣지 디바이스(200)로 전송하도록 구성될 수 있다. 이때, 엣지 디바이스(200)는 XR 모드 선택에 관한 사용자 조작정보를 수신하면 클라우드 서버(300)로 전달하여 그에 대응하는 메인 콘텐츠를 미리 수신하고 임시 저장하도록 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 5G 기반 MEC를 이용한 XR 분산처리 시스템의 동작 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.
본 발명에 따르면 XR 디바이스에 고성능 프로세서를 탑재하지 않고도 고화질의 XR 콘텐츠를 실시간으로 처리할 수 있어 경량화 및 저가격화를 이룬 고품질 XR 디바이스를 구현할 수 있는 장점이 있다.
[도 1]은 본 발명에 따른 5G 기반 MEC를 이용한 XR 분산처리 시스템의 전체 구성을 나타내는 도면.
[도 2]는 본 발명에서 XR 서비스를 구현하는 전체 구성을 나타내는 도면.
[도 3]은 본 발명에서 분산 처리를 통해 XR 콘텐츠를 생성하고 배경 콘텐츠에 정합하는 예를 나타내는 도면.
[도 4]는 본 발명에서 XR 디바이스의 내부 구성을 나타내는 도면.
[도 5]는 본 발명에서 엣지 디바이스의 내부 구성을 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 5G 기반 MEC를 이용한 XR 분산처리 시스템의 전체 구성을 나타내는 도면이다.
본 발명에 따른 5G 기반 MEC(Multi-access Edge Computing)를 이용한 XR 분산처리 시스템은 5G 및 기가 WiFi의 고속 무선통신으로 XR 디바이스(100)와 엣지 디바이스(200)를 상호 연결하고 이들 디바이스(100, 200)가 XR 서비스를 위한 데이터 처리를 분담하여 처리 부담을 분산시키는 구성을 채택하고 있다.
일반적으로 고화질(고용량)의 XR 콘텐츠를 처리하기 위해서는 XR 디바이스(100)가 고성능 프로세서를 탑재하고 있어야 하는데, 이는 장치 크기, 무게, 발열, 가격 문제가 심각해진다. 본 발명에서는 MEC(Multi-access Edge Computing) 방식으로 XR 서비스 시스템을 구성하고 엣지 디바이스(200)가 데이터 처리 부담의 상당 부분을 짊어지도록 하였다. 엣지 디바이스(200)는 고정형 장치이므로 얼마든지 고성능 프로세서를 탑재하는 것이 가능하므로 전술한 문제점으로부터 자유롭다.
이때, XR 디바이스(100)는 이동 가능한 형태(mobile type)로 구현되는 것이 일반적이므로 XR 디바이스(100)와 엣지 디바이스(200)는 무선통신으로 데이터를 주고받아야 한다. XR 서비스의 속성상 시간지연이 개입되면 안되므로 5G 및 기가 WiFi의 고속 무선통신으로 XR 디바이스(100)와 엣지 디바이스(200)를 연동시켜야 한다.
본 발명에서 채택하는 MEC(Multi-access Edge Computing) 구성은 중앙 서버(클라우드 서버)가 아닌 네트워크 엣지(Edge)에서 서비스 연산처리를 수행하는 기술이다. 지역별로 서비스 서버(엣지 디바이스)를 구축하고 해당 지역에서 발생되는 클라이언트 요청은 그 지역의 서비스 서버가 처리하도록 시스템을 구성한다. 클라이언트 가까운 곳에서 데이터를 처리하므로 지연시간(latency)이 단축되는 특성이 있다.
고화질(고용량)의 XR 콘텐츠를 적용할 수 있도록 고성능 엣지 디바이스(200)를 활용하여 빠르게 영상 데이터를 처리하고 5G 네트워크를 활용하여 XR 디바이스(100)에서 XR 콘텐츠를 활용한다. 이때, 엣지 디바이스(200)는 실시간으로 5G 또는 기가 WiFi 등으로 클라우드 서버(300)에 있는 다양한 메인 콘텐츠를 활용할 수 있으며 배경 콘텐츠에 유기적으로 적용 가능하다.
[도 2]는 본 발명에서 XR 서비스를 구현하는 전체 구성을 나타내는 도면이고, [도 3]은 본 발명에서 분산 처리를 통해 XR 콘텐츠를 생성하고 배경 콘텐츠에 정합하는 예를 나타내는 도면이다.
먼저, XR 디바이스(100)는 사용자가 HMD(head mounted display) 등으로 장착하는 장치로서 사용자 주변에 관련된 정보(영상, 센싱값)을 획득하고 XR 콘텐츠를 사용자가 볼 수 있도록 해준다. XR 서비스를 구현하기 위해 XR 디바이스(100)는 내부 카메라 모듈에 의해 주변을 촬영하여 주변 촬영영상을 생성하고, 내부 센서 모듈에 의해 자신 주변에 관한 상태센싱 정보(예: 위치센싱값, 근접센싱값, 뎁스(depth)값 등)를 획득한다. 또한, XR 디바이스(100)는 내부 유저 인터페이스 모듈에 의해 사용자 조작정보를 획득한다. 사용자 조작정보는 사용자의 액션(예: 머리 움직임, 버튼 프레스, 조이스틱 조작, 터치 입력, 음성 입력 등)을 포함하는데, XR 디바이스(100)의 디스플레이 화면에 표시되는 메뉴에 대한 선택 입력도 포함한다.
그리고, XR 디바이스(100)는 상태센싱 정보(예: 위치센싱값, 근접센싱값, 뎁스값 등)를 분석하여 자신 주변에 관한 사물정보 및 공간정보를 획득하는데, 이들 데이터는 저용량 데이터이기에 저성능 프로세서로도 실시간 처리 가능할 뿐만 아니라 그 속성상 빠른 실시간 처리가 필요하다.
이어서, XR 디바이스(100)는 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하여 영상처리를 요청(request)하고, 그 영상처리 요청에 대한 응답(response)으로 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받는다. 이때, 영상정합 정보는 XR 콘텐츠를 주변 촬영영상에 어떻게 정합시킬 것인가에 관한 정보로서, 바람직하게는 위치 정보와 색상 블랜딩 정보를 포함할 수 있다. 이때, 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보로부터 XR 콘텐츠와 영상정합 정보를 획득하는 기술은 복합현실(XR) 분야에서 이미 사용되고 있는 기술이고 본 발명의 핵심내용은 아니므로 이에 대한 설명은 생략한다.
이어서, XR 디바이스(100)는 사용자 조작정보와 영상정합 정보의 하나이상에 기초하여 XR 콘텐츠를 주변 촬영영상에 정합 합성하여 재생 출력한다. [도 3]을 참조하면, 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보에 기초하여 엣지 디바이스(200)가 거북이 이미지와 이메일 아이콘 이미지를 XR 콘텐츠로 전달하였다. XR 디바이스(100)는 영상정합 정보에 따라 주변 촬영영상(배경 콘텐츠)에 거북이 이미지와 이메일 아이콘 이미지를 합성하여 재생화면을 출력하였다.
다음으로, 엣지 디바이스(200)는 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 주변 촬영영상, 사용자 조작정보, 사물정보 및 공간정보를 수신한다. [도 1]에 도시된 바와 같이, 하나의 엣지 디바이스(200)는 해당 지역에 존재하는 다수의 XR 디바이스(100)를 커버할 수 있다. 또한, 엣지 디바이스(200)는 사용자 조작정보에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받는다. 또한, 엣지 디바이스(200)는 주변 촬영영상, 사물정보 및 공간정보, 메인 콘텐츠를 영상 처리하여 XR 콘텐츠와 영상정합 정보를 생성한다. 엣지 디바이스(200)는 고정형 장치이므로 고성능 하드웨어(CPU, GPU, 메모리, 고용량 전원 등)을 탑재하여 구성할 수 있고, 그에 따라 대용량 데이터에 관한 복잡한 연산을 빠르게 처리할 수 있다. 그리고, 엣지 디바이스(200)는 5G 또는 기가 WiFi를 통해 XR 콘텐츠와 영상정합 정보를 XR 디바이스(100)로 제공한다.
이때, XR 서비스의 실시간 응답성을 양호하게 하기 위하여 메인 콘텐츠의 확보를 먼저 수행하는 것이 바람직하다. 이를 위해, XR 디바이스(100)는 기기 활성화(예: 기기 턴온) 이후에 주변 촬영영상을 전송하기 이전에 XR 모드 선택에 관한 사용자 조작정보를 획득하여 엣지 디바이스(200)로 전송하고, 엣지 디바이스(200)는 XR 모드 선택에 관한 사용자 조작정보를 수신하면 클라우드 서버(300)로 전달하여 그에 대응하는 메인 콘텐츠를 미리 수신하고 임시 저장하는 것이다. 이처럼 메인 콘텐츠를 미리 확보해두면 XR 콘텐츠와 영상정합 정보를 생성하는 과정이 단순해져서 XR 서비스의 실시간 응답성이 양호해진다.
클라우드 서버(300)는 복수의 XR 모드에 대응하여 XR 서비스를 위한 복수의 메인 콘텐츠를 미리 구비하고 있다. [도 3]을 참조하면, 클라우드 서버(300)는 5가지 XR 모드(예: 학습 모드, 멀티 모드, 싱글 모드, 전투 모두, 휴식 모드)에 대해 메인 콘텐츠를 미리 구비해놓았다. 클라우드 서버(300)는 5G 및 기가 WiFi의 고속 무선통신으로 엣지 디바이스(200)와 무선 통신하는데, 엣지 디바이스(200)로부터 XR 모드 선택에 관한 사용자 조작정보(예: 싱글 모드)를 수신하면 그 모드 선택에 대응하는 메인 콘텐츠를 엣지 디바이스(200)로 제공한다.
[도 4]는 본 발명에서 XR 디바이스(100)의 내부 구성을 나타내는 도면이고, [도 5]는 본 발명에서 엣지 디바이스(200)의 내부 구성을 나타내는 도면이다.
먼저 [도 4]를 참조하면, XR 디바이스(100)는 카메라 촬영부(110), 단말상태 센서부(120), 유저 인터페이스부(130), 고속무선통신 단말부(140), 센싱정보 단말분석부(150), 유저입력 엣지전달부(160), 영상처리 요청전송부(170), 영상처리 결과수신부(180), 영상정합 재생출력부(190)를 포함하여 구성된다.
카메라 촬영부(110)는 내부 카메라 모듈에 의해 XR 디바이스(100)를 장착하고 있는 사용자의 주변 촬영영상을 생성하는 구성요소이다.
단말상태 센서부(120)는 내부 센서 모듈에 의해 위치센싱값, 근접센싱값, 뎁스값 등과 같은 사용자 주변에 대한 상태센싱 정보를 획득하는 구성요소이다.
유저 인터페이스부(130)는 내부 유저 인터페이스 모듈(예: 자이로 센서, 버튼, 조이스틱, 터치장치, 음성처리장치 등)에 의해 XR 디바이스(100)에 대한 사용자 조작정보를 획득하고, 최종적으로 XR 콘텐츠와 주변 촬영영상가 정합 합성된 고화질 정합 콘텐츠의 재생결과 출력을 수행하는 구성요소이다.
고속무선통신 단말부(140)는 엣지 디바이스(200)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 구성요소이다. 5G와 기가 WiFi를 조합하여 사용하는 것이 바람직한데, 5G에 의해서만 고속 무선통신을 수행할 수도 있다.
센싱정보 단말분석부(150)는 상태센싱 정보(예: 위치센싱값, 근접센싱값, 뎁스값 등)를 분석하여 XR 디바이스(100) 주변에 관한 사물정보 및 공간정보(예: 주변에 사물이 몇개가 있고 어떻게 배치되어 있는지, 사물들 중에서 어떤 것이 앞에 있고 어떠한 것이 뒤에 있는지, 주변 공간이 어떻게 생겼는지 등에 관한 정보)를 획득하는 구성요소이다.
유저입력 엣지전달부(160)는 사용자 조작정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하는 구성요소이다.
영상처리 요청전송부(170)는 주변 촬영영상, 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 엣지 디바이스(200)로 전송하는 구성요소이다. 고화질, 고용량 영상 처리를 엣지 디바이스(200)에 분담시키는 구성이다.
영상처리 결과수신부(180)는 영상처리 요청에 대한 응답으로 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받는 구성요소이다.
영상정합 재생출력부(190)는 사용자 조작정보와 영상정합 정보의 하나이상에 기초하여 XR 콘텐츠를 주변 촬영영상에 정합 합성하여 재생 출력하는 구성요소이다. [도 3]을 참조하면, 영상정합 정보에 따라 주변 촬영영상(배경 콘텐츠)에 XR 콘텐츠(거북이 이미지, 이메일 아이콘 이미지)를 합성하여 재생 출력하였다.
다음으로 [도 5]를 참조하면, 엣지 디바이스(200)는 고속무선통신 엣지부(210), 유저입력 선행수신부(220), 영상처리 요청수신부(230), 메인콘텐츠 선행수신부(240), XR콘텐츠 영상처리부(250), 영상처리 결과전송부(260)를 포함하여 구성된다.
고속무선통신 엣지부(210)는 XR 디바이스(200) 및 외부의 클라우드 서버(300)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 구성요소이다.
유저입력 선행수신부(220)는 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 사용자 조작정보를 수신하는 구성요소이다.
영상처리 요청수신부(230)는 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 주변 촬영영상, 사물정보 및 공간정보를 수신하는 구성요소이다.
메인콘텐츠 선행수신부(240)는 사용자 조작정보를 외부의 클라우드 서버(300)로 전송하고 그에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받는 구성요소이다.
XR콘텐츠 영상처리부(250)는 주변 촬영영상, 사물정보 및 공간정보, 메인 콘텐츠를 영상 처리하여 XR 콘텐츠 및 영상정합 정보를 생성하는 구성요소이다.
영상처리 결과전송부(260)는 그 생성된 XR 콘텐츠 및 영상정합 정보를 5G 또는 기가 WiFi를 통해 XR 디바이스(100)로 제공하는 구성요소이다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
100 : XR 디바이스
110 : 카메라 촬영부 120 : 단말상태 센서부
130 : 유저 인터페이스부 140 : 고속무선통신 단말부
150 : 센싱정보 단말분석부 160 : 유저입력 엣지전달부
170 : 영상처리 요청전송부 180 : 영상처리 결과수신부
190 : 영상정합 재생출력부
200 : 엣지 디바이스
210 : 고속무선통신 엣지부 220 : 유저입력 선행수신부
230 : 영상처리 요청수신부 240 : 메인콘텐츠 선행수신부
250 : XR콘텐츠 영상처리부 260 : 영상처리 결과전송부
300 : 클라우드 서버

Claims (5)

  1. 5G 및 기가 WiFi의 고속 무선통신으로 상호 연결된 XR 디바이스(100)와 엣지 디바이스(200)와 클라우드 서버(300)의 분산 데이터 처리에 의해 XR 서비스를 제공하는 5G 기반 MEC(Multi-access Edge Computing)를 이용한 XR 분산처리 시스템으로서,
    기기 활성화 이후에 주변 촬영영상을 전송하기 이전에 XR 서비스를 위한 학습 모드, 멀티 모드, 싱글 모드, 전투 모두, 휴식 모드 중 하나 이상을 포함하는 미리 설정된 복수의 XR 모드 중 어느 하나의 XR 모드 선택에 관한 사용자 조작정보를 획득하여 상기 엣지 디바이스(200)로 전송하고, 내부 카메라 모듈에 의해 주변 촬영영상을 생성하고, 내부 유저 인터페이스 모듈에 의해 사용자 조작정보를 획득하고, 내부 센서 모듈에 의해 위치센싱값과 근접센싱값과 뎁스(depth)값 중 하나이상을 포함하는 상태센싱 정보를 획득하고 상기 상태센싱 정보를 자체적으로 분석하여 자신 주변에 관한 사물정보 및 공간정보를 실시간으로 획득하며, 상기 주변 촬영영상과 상기 사용자 조작정보와 상기 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 상기 엣지 디바이스(200)로 전송하여 영상처리를 요청하고, 상기 영상처리 요청에 대한 응답으로 상기 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받고, 상기 사용자 조작정보와 상기 영상정합 정보의 하나이상에 기초하여 XR 콘텐츠를 상기 주변 촬영영상에 정합 합성하여 재생 출력하는 XR 디바이스(100);
    상기 XR 모드 선택에 관한 사용자 조작정보를 수신하면 상기 클라우드 서버(300)로 전달하여 그 선택된 XR 모드의 XR 서비스를 위한 메인 콘텐츠를 미리 수신하여 임시 저장하고, 상기 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 상기 주변 촬영영상과 상기 사용자 조작정보와 상기 사물정보 및 공간정보를 수신하고, 상기 주변 촬영영상과 상기 사물정보 및 공간정보와 상기 메인 콘텐츠를 영상 처리하여 XR 콘텐츠 및 영상정합 정보를 생성하고 5G 또는 기가 WiFi를 통해 상기 XR 디바이스(100)로 제공하여 네트워크 엣지(Edge)에서 XR 서비스 연산처리를 수행하는 엣지 디바이스(200);
    미리 설정된 상기 복수의 XR 모드에 대응하여 XR 서비스를 위한 복수의 메인 콘텐츠를 미리 구비하고, 상기 엣지 디바이스(200)로부터 상기 복수의 XR 모드 중 어느 하나의 XR 모드 선택에 관한 사용자 조작정보를 수신하면 그 모드 선택에 대응하는 메인 콘텐츠를 상기 엣지 디바이스(200)로 제공하는 클라우드 서버(300);
    를 포함하여 구성되고,
    상기 XR 디바이스(100)는 자신이 획득하는 데이터를 분류하여, 저용량 정보데이터인 상태센싱 정보는 상기 XR 디바이스(100)가 자체 처리하여 사물정보 및 공간정보를 실시간으로 획득하고, 대용량 영상데이터인 주변 촬영영상 및 상기 획득한 사물정보 및 공간정보는 상기 엣지 디바이스(200)로 전달하여 상기 클라우드 서버(300)의 메인 콘텐츠와 함께 상기 엣지 디바이스(200)가 처리하도록 데이터 처리 부담을 분산한 후에, 상기 XR 디바이스(100)의 저용량 정보데이터 처리 결과 및 상기 엣지 디바이스(200)의 대용량 영상데이터 처리 결과를 상기 XR 디바이스(100)가 정합하여 XR 콘텐츠를 생성하도록 구성된 것을 특징으로 하는 5G 기반 MEC를 이용한 XR 분산처리 시스템.
  2. 청구항 1에 있어서,
    상기 XR 디바이스(100)는,
    내부 카메라 모듈에 의해 주변 촬영영상을 생성하는 카메라 촬영부(110);
    내부 센서 모듈에 의해 위치센싱값, 근접센싱값, 뎁스값 중 하나이상을 포함하는 상태센싱 정보를 획득하는 단말상태 센서부(120);
    사용자 조작정보를 획득하고 재생결과 출력을 수행하는 유저 인터페이스부(130);
    상기 엣지 디바이스(200)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 고속무선통신 단말부(140);
    상기 상태센싱 정보를 분석하여 자신 주변에 관한 사물정보 및 공간정보를 획득하는 센싱정보 단말분석부(150);
    상기 사용자 조작정보를 5G 또는 기가 WiFi를 통해 상기 엣지 디바이스(200)로 전송하는 유저입력 엣지전달부(160);
    상기 주변 촬영영상, 상기 사물정보 및 공간정보를 5G 또는 기가 WiFi를 통해 상기 엣지 디바이스(200)로 전송하는 영상처리 요청전송부(170);
    상기 영상처리 요청에 대한 응답으로 상기 엣지 디바이스(200)로부터 XR 콘텐츠 및 영상정합 정보를 제공받는 영상처리 결과수신부(180);
    상기 사용자 조작정보와 상기 영상정합 정보의 하나이상에 기초하여 상기 XR 콘텐츠를 상기 주변 촬영영상에 정합 합성하여 재생 출력하는 영상정합 재생출력부(190);
    를 포함하여 구성되는 것을 특징으로 하는 5G 기반 MEC를 이용한 XR 분산처리 시스템.
  3. 청구항 2에 있어서,
    상기 엣지 디바이스(200)는,
    상기 XR 디바이스(100) 및 외부의 클라우드 서버(300)와 5G 및 기가 WiFi 고속 무선통신을 수행하는 고속무선통신 엣지부(210);
    상기 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 상기 사용자 조작정보를 수신하는 유저입력 선행수신부(220);
    상기 XR 디바이스(100)로부터 5G 또는 기가 WiFi를 통해 상기 주변 촬영영상, 상기 사물정보 및 공간정보를 수신하는 영상처리 요청수신부(230);
    상기 사용자 조작정보를 외부의 클라우드 서버(300)로 전송하고 그에 대응하여 외부의 클라우드 서버(300)로부터 XR 서비스를 위한 메인 콘텐츠를 제공받는 메인콘텐츠 선행수신부(240);
    상기 주변 촬영영상, 상기 사물정보 및 공간정보, 상기 메인 콘텐츠를 영상 처리하여 XR 콘텐츠 및 영상정합 정보를 생성하는 XR콘텐츠 영상처리부(250);
    상기 생성된 XR 콘텐츠 및 영상정합 정보를 5G 또는 기가 WiFi를 통해 상기 XR 디바이스(100)로 제공하는 영상처리 결과전송부(260);
    를 포함하여 구성되는 것을 특징으로 하는 5G 기반 MEC를 이용한 XR 분산처리 시스템.
  4. 삭제
  5. 삭제
KR1020210131528A 2021-10-05 2021-10-05 5g 기반 mec를 이용한 xr 분산처리 시스템 KR102577189B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210131528A KR102577189B1 (ko) 2021-10-05 2021-10-05 5g 기반 mec를 이용한 xr 분산처리 시스템
PCT/KR2021/013642 WO2023058785A1 (ko) 2021-10-05 2021-10-06 5g 기반 mec를 이용한 xr 분산처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210131528A KR102577189B1 (ko) 2021-10-05 2021-10-05 5g 기반 mec를 이용한 xr 분산처리 시스템

Publications (2)

Publication Number Publication Date
KR20230049147A KR20230049147A (ko) 2023-04-13
KR102577189B1 true KR102577189B1 (ko) 2023-09-12

Family

ID=85804376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210131528A KR102577189B1 (ko) 2021-10-05 2021-10-05 5g 기반 mec를 이용한 xr 분산처리 시스템

Country Status (2)

Country Link
KR (1) KR102577189B1 (ko)
WO (1) WO2023058785A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222468A (zh) * 2017-05-22 2017-09-29 北京邮电大学 增强现实处理方法、终端、云端服务器和边缘服务器
KR101898088B1 (ko) * 2017-12-27 2018-09-12 주식회사 버넥트 객체 추적기반의 프레임 영역 녹화 및 재생기술이 적용된 증강현실 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101343055B1 (ko) * 2009-07-30 2013-12-18 에스케이플래닛 주식회사 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR20200025960A (ko) * 2018-08-31 2020-03-10 주식회사 버넥트 지능형 인지기술기반 제조현장의 증강현실시스템
KR102326521B1 (ko) 2019-03-15 2021-11-16 한국전자통신연구원 Mec 플랫폼, 그것을 갖는 디지털 트윈 서비스 시스템 및 그것의 동작 방법
KR102266089B1 (ko) 2019-08-22 2021-06-16 주식회사 엘지유플러스 Mec 시스템 및 그 제어방법
KR20190104945A (ko) 2019-08-23 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11588751B2 (en) * 2020-03-24 2023-02-21 Apple Inc. Combined network and computation slicing for latency critical edge computing applications
US11723056B2 (en) * 2020-03-24 2023-08-08 Apple Inc. Efficient discovery of edge computing servers
KR102283301B1 (ko) 2020-12-31 2021-07-29 더에이치알더 주식회사 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222468A (zh) * 2017-05-22 2017-09-29 北京邮电大学 增强现实处理方法、终端、云端服务器和边缘服务器
KR101898088B1 (ko) * 2017-12-27 2018-09-12 주식회사 버넥트 객체 추적기반의 프레임 영역 녹화 및 재생기술이 적용된 증강현실 시스템

Also Published As

Publication number Publication date
WO2023058785A1 (ko) 2023-04-13
KR20230049147A (ko) 2023-04-13

Similar Documents

Publication Publication Date Title
CN107911737B (zh) 媒体内容的展示方法、装置、计算设备及存储介质
CN111414225B (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
CN109691084A (zh) 信息处理装置和方法以及程序
US20160253840A1 (en) Control system and method for virtual navigation
TW201246088A (en) Theme-based augmentation of photorepresentative view
US10951873B2 (en) Information processing apparatus, information processing method, and storage medium
CN103248810A (zh) 图像处理装置、图像处理方法和程序
KR20090045143A (ko) 컴퓨터 네트워크 기반 3차원 렌더링 시스템
WO2019114328A1 (zh) 一种基于增强现实的视频处理方法及其装置
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
CN109766006B (zh) 虚拟现实场景的显示方法、装置及设备
JP2018106297A (ja) 複合現実感提示システム、及び、情報処理装置とその制御方法、並びに、プログラム
US20230405475A1 (en) Shooting method, apparatus, device and medium based on virtual reality space
JP2019537397A (ja) 映像のための効果共有方法およびシステム
TW202249484A (zh) 在虛擬實境中動態混合實境內容
RU2760300C2 (ru) Устройство доставки и отображения контента
US11418857B2 (en) Method for controlling VR video playing and related apparatus
WO2024152751A1 (zh) 用于呈现虚拟场景的方法、装置、设备和存储介质
JP2020187706A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
WO2019184498A1 (zh) 视频交互方法、计算机设备及存储介质
US10061492B2 (en) Path-linked viewpoints from point of interest
KR102577189B1 (ko) 5g 기반 mec를 이용한 xr 분산처리 시스템
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
Tseng Development of a low-cost 3D interactive VR system using SBS 3D display, VR headset and finger posture motion tracking
US20180160133A1 (en) Realtime recording of gestures and/or voice to modify animations

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant