WO2022119022A1 - 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법 - Google Patents

저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법 Download PDF

Info

Publication number
WO2022119022A1
WO2022119022A1 PCT/KR2020/017664 KR2020017664W WO2022119022A1 WO 2022119022 A1 WO2022119022 A1 WO 2022119022A1 KR 2020017664 W KR2020017664 W KR 2020017664W WO 2022119022 A1 WO2022119022 A1 WO 2022119022A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
image
content server
user terminal
server
Prior art date
Application number
PCT/KR2020/017664
Other languages
English (en)
French (fr)
Inventor
장준환
박우출
양진욱
윤상필
최민수
이준석
송수호
구본재
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2022119022A1 publication Critical patent/WO2022119022A1/ko
Priority to US18/062,819 priority Critical patent/US20230100111A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

본 발명은 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법이 개시된다. 본 발명의 콘텐츠 서버는 사용자 단말과 통신을 하는 통신부, 사용자 단말의 접속이 감지되면 사용자 단말로부터 수신된 이미지를 포함하는 단말 데이터를 이용하여 현재 사용자의 위치와 카메라 포즈(pose)에 대한 좌표 산출 및 3차원 공간을 생성하고, 생성된 3차원 공간에 객체를 위치시키며, 사용자의 시점에서 재생되는 영상을 2차원 영상으로 렌더링한 후, 분할하여 서버 데이터를 생성하고, 생성된 서버 데이터를 상기 사용자 단말로 전송시키는 제어부를 포함한다.

Description

저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법
본 발명은 콘텐츠 스트리밍 기술에 관한 것으로, 더욱 상세하게는 가상현실(VR), 증강현실(AR), 혼합현실(MR)의 실감형 콘텐츠에 대한 전송 지연시간을 줄여주는 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법에 관한 것이다.
최근 5G 인프라가 점진적으로 늘어나면서 VR, AR, MR 등의 실감형 콘텐츠가 다시금 주목을 받고 있다.
한편 이러한 실감형 콘텐츠 및 관련 산업의 확장이 더디게 된 것은 해당 콘텐츠들을 원활히 재생하기 위해서는 고사양의 단말 장비가 필요하게 됨에 따라 설치 및 유지비용에서 높은 가격을 지불해야하는 문제점이 있었다. 이러한 문제점을 해결하고자 구글(Google)의 Stadia 또는 엔비디아(NVIDIA)의 Geforce Now와 같은 클라우드 기반의 VR 콘텐츠 스트리밍 서비스를 제공하기 시작했다.
그러나 이러한 서비스도 물리적으로 단말 장치와 클라우드 서버 간 거리가 멀어 신호가 클라우드 서버에서 단말 장치로 도달하기까지 시간이 너무 길어져 단말 장치에서 행해지는 사용자의 입력 대비 클라우드 서버에서 생성된 영상 간의 오차가 커짐에 따라 사용자가 소비하는 콘텐츠의 퀄리티가 매우 낮아지는 문제가 있다. 또한 5G 망을 적극적으로 이용하더라도 기존의 영상 전송 방식으로는 망대역폭의 사용량이 높아 서비스 이용 비용이 높아질 수 밖에 없는 구조이다.
본 발명이 이루고자 하는 기술적 과제는 사용자의 위치 및 시점에 따라 보여지는 2D 영상을 실시간으로 전송하여 가상현실, 증강현실, 혼합현실의 실감형 콘텐츠에 대한 전송 지연시간을 줄여주는 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해 본 발명에 따른 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버는 사용자 단말과 통신을 하는 통신부, 상기 사용자 단말의 접속이 감지되면 상기 사용자 단말로부터 수신된 이미지를 포함하는 단말 데이터를 이용하여 현재 사용자의 위치와 카메라 포즈(pose)에 대한 좌표 산출 및 3차원 공간을 생성하고, 상기 생성된 3차원 공간에 객체를 위치시키며, 상기 사용자의 시점에서 재생되는 영상을 2차원 영상으로 렌더링한 후, 분할하여 서버 데이터를 생성하고, 상기 생성된 서버 데이터를 상기 사용자 단말로 전송시키는 제어부를 포함한다.
또한 상기 제어부는, 상기 사용자 단말로부터 수신된 이미지를 전처리하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 수신된 이미지를 이용하여 영상 내 특징점을 검출하고, 상기 검출된 특징점을 이용하여 점간 거리, 카메라 간 거리 및 각도 중 적어도 하나의 정보를 산출하며, 상기 산출된 정보를 기초로 삼각 측량하여 사물까지의 거리를 반복적으로 측정하고, 상기 측정된 정보를 이용하여 상기 현재 사용자의 위치와 카메라 포즈에 대한 좌표 산출하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 생성된 3차원 공간에 가상현실(VR) 및 증강현실(AR) 중 적어도 하나의 객체를 위치시키는 것을 특징으로 한다.
또한 상기 제어부는, 복수의 GPU(Graphics Processing Unit)를 이용하여 고속 병렬 처리로 상기 렌더링을 수행하는 것을 특징으로 한다.
또한 상기 제어부는, 미디어 분할 표준인 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)를 이용하여 2차원 영상을 분할하는 것을 특징으로 한다.
또한 상기 단말 데이터는, 스테레오(stereo) 영상, IMU(Inertial Measurement Unit) 정보, 단말 정보 및 카메라의 회전 매트릭스 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 방법은 콘텐츠 서버가 사용자 단말의 접속을 감지하면 상기 사용자 단말로부터 수신된 이미지를 포함하는 단말 데이터를 이용하여 현재 사용자의 위치와 카메라 포즈에 대한 좌표 산출 및 3차원 공간을 생성하는 단계, 상기 콘텐츠 서버가 상기 생성된 3차원 공간에 객체를 위치시키는 단계, 상기 콘텐츠 서버가 상기 사용자의 시점에서 재생되는 영상을 2차원 영상으로 렌더링하는 단계, 상기 콘텐츠 서버가 렌더링된 2차원 영상을 분할하여 서버 데이터를 생성하는 단계 및 상기 콘텐츠 서버가 상기 생성된 서버 데이터를 상기 사용자 단말로 전송하는 단계를 포함한다.
본 발명의 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법은 최종적으로 실감형 콘텐츠가 출력되는 사용자 단말에서 2D 영상만을 출력하여 복잡한 소프트웨어 또는 고사양의 하드웨어 장비가 필요없다.
또한 사용자 단말 및 콘텐츠 서버 간의 물리적 거리가 가까우므로 영상 전송에 걸리는 지연시간을 줄일 수 있다.
또한 비동기 전송 방식을 이용하여 불필요한 오버헤드를 제거하여 네트워크 트래픽 및 연산할 데이터의 양을 최소화할 수 있다.
도 1은 본 발명의 실시예에 따른 콘텐츠 스트리밍 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 콘텐츠 스트리밍 시스템에서의 데이터 이동 관계를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 콘텐츠 서버를 설명하기 위한 블록도이다.
도 4는 도 3의 서버 제어부를 설명하기 위한 블록도이다.
도 5는 본 발명의 실시예에 따른 콘텐츠 스트리밍을 지원하는 방법을 설명하기 위한 순서도이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 콘텐츠 스트리밍 시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 실시예에 따른 콘텐츠 스트리밍 시스템에서의 데이터 이동 관계를 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 콘텐츠 스트리밍 시스템(300)은 사용자 단말(200)로부터 최소한의 입력만 받아 사용자 단말(200) 및 통신 중계기(미도시)와 가장 근접한 곳에 위치한 콘텐츠 서버(100)에서 사용자 단말(200)로 영상을 전송하여 영상 전송에 걸리는 지연시간을 줄일 수 있다. 특히 콘텐츠 스트리밍 시스템(300)은 사용자의 위치 및 시점에 따라 보여지는 2D 영상을 실시간으로 전송하여 가상현실, 증강현실, 혼합현실의 실감형 콘텐츠에 대한 전송 지연시간을 줄여준다. 콘텐츠 스트리밍 시스템(300)은 콘텐츠 서버(100) 및 사용자 단말(200)을 포함한다.
콘텐츠 서버(100)는 사용자 단말(200)과의 통신을 하고, 사용자 단말(200)의 접속이 감지되면 사용자 단말(200)로부터 수신된 단말 데이터(250)를 이용하여 현재 사용자의 위치와 카메라 포즈(pose)에 대한 좌표 산출 및 3차원 공간을 생성한다. 여기서 단말 데이터(250)는 스테레오(stereo) 영상인 이미지, IMU(Inertial Measurement Unit) 정보, 단말 정보 및 카메라의 회전 매트릭스 정보 중 적어도 하나를 포함한다. IMU 정보는 가속도계, 각속도계, 지자기계 및 고도계를 이용하여 측정된 센싱 정보이고, 단말 정보는 카메라 파라미터, 기기 모델, 하드웨어 사양 등을 포함하는 정보이다. 콘텐츠 서버(100)는 생성된 3차원 공간에 객체를 위치시키고, 사용자의 시점에서 재생되는 영상을 2차원 영상으로 렌더링한다. 콘텐츠 서버(100)는 렌더링된 2차원 영상을 분할하여 서버 데이터를 생성한다. 여기서 서버 데이터(150)는 2차원 비디오 영상을 포함한다. 콘텐츠 서버(100)는 생성된 서버 데이터(150)를 사용자 단말(150)로 전송한다. 콘텐츠 서버(100)는 에지 서버의 역할을 수행하며, 서버 컴퓨터, 클러스터 컴퓨터 등 컴퓨터 시스템으로 구현되고, 최종 서비스를 받는 사용자 단말(150)과의 거리를 최소화하기 위해 무선 통신 네트워크 중계 시설에 설치될 수 있다.
사용자 단말(200)은 사용자가 사용하는 단말로써, 콘텐츠 서버(100)와의 통신을 한다. 사용자 단말(200)은 사용자로부터 입력을 받아 콘텐츠 서버(100)에 연결을 수립하여 접속한다. 여기서 사용자 단말(200)은 웹소켓(Web Socket)기반의 비동기 연결방식을 사용하고, 한번 수립된 연결은 콘텐츠 서버(100) 또는 사용자 단말(200)에서 연결을 해지하지 않는 이상 끊어지지 않는다. 또한 사용자 단말(200)은 콘텐츠 서버(100)에 접속되면 콘텐츠 서버(100)로 단말 데이터(250)를 전송한다. 이때 사용자 단말(200)은 단말 데이터(250)를 전송할 때마다 콘텐츠 서버(100)로부터 응답을 받지 않을 수 있다. 사용자 단말(200)은 콘텐츠 서버(100)로부터 서버 데이터(150)를 수신하고, 서버 데이터(150)에 포함된 2차원 비디오 영상인 실감형 콘텐츠를 출력한다. 이를 위해 사용자 단말(200)은 HMD(Head mounted Display), AR 글라스, 스마트폰, 랩톱, 데스크톱, 태블릿PC, 핸드헬드PC 등을 포함한다.
한편 콘텐츠 스트리밍 시스템(300)은 콘텐츠 서버(100) 및 사용자 단말(200) 사이에 통신망(350)을 구축하여 서로 간의 통신이 이루어지도록 한다. 통신망(350)은 백본망과 가입자망으로 구성될 수 있다. 백본망은 X.25 망, Frame Relay 망, ATM망, MPLS(Multi Protocol Label Switching) 망 및 GMPLS(Generalized Multi Protocol Label Switching) 망 중 하나 또는 복수의 통합된 망으로 구성될 수 있다. 가입자망은 FTTH(Fiber To The Home), ADSL(Asymmetric Digital Subscriber Line), 케이블망, 지그비(zigbee), 블루투스(bluetooth), Wireless LAN(IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n), Wireless Hart(ISO/IEC62591-1), ISA100.11a(ISO/IEC 62734), COAP(Constrained Application Protocol), MQTT(Multi-Client Publish/Subscribe Messaging), WIBro(Wireless Broadband), Wimax, 3G, HSDPA(High Speed Downlink Packet Access), 4G 및 5G일 수 있다. 일부 실시예로, 통신망(350)은 인터넷망일 수 있고, 이동 통신망일 수 있다. 또한 통신망(350)은 기타 널리 공지되었거나 향후 개발될 모든 무선통신 또는 유선통신 방식을 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 콘텐츠 서버를 설명하기 위한 블록도이고, 도 4는 도 3의 서버 제어부를 설명하기 위한 블록도이다.
도 1 내지 도 4를 참조하면, 콘텐츠 서버(100)는 서버 통신부(10) 및 서버 제어부(30)를 포함하고, 서버 저장부(50)를 더 포함할 수 있다.
서버 통신부(10)는 사용자 단말(200)과의 통신을 수행한다. 서버 통신부(10)는 사용자 단말(200)로부터 단말 데이터(250)를 수신하고, 서버 데이터(150)를 사용자 단말(200)로 전송한다.
서버 제어부(30)는 콘텐츠 서버(100)의 전반적인 제어를 수행한다. 서버 제어부(30)는 사용자 단말(200)과 비동기 연결방식을 사용하여 네트워크 오버헤드를 줄이면서 지연시간을 줄일 수 있다. 서버 제어부(30)는 웹 인터페이스부(31), 전처리부(32), SLAM(Simultaneous Localization and Mapping)부(33), 공간 재구성부(34), 공간 객체 재구성부(35), 렌더링부(36) 및 미디어 분할부(37)를 포함한다.
웹 인터페이스부(31)는 사용자 단말(200)의 접속을 감지하고, 접속이 감지되면 서비스를 제공한다. 웹 인터페이스부(31)는 사용자 단말(200)에서 실행되는 어플리케이션 또는 브라우저에서 서비스 목록 페이지로 접속이 되면 현재 제공 중인 서비스 목록을 사용자 단말(200)에 제공한다. 사용자 단말(200)에 제공된 서비스 목록 중 사용자가 임의의 콘텐츠를 클릭하여 선택되면 웹 인터페이스부(31)는 영상 스트리밍 서비스를 시작한다.
전처리부(32)는 사용자 단말(200)로부터 수신된 단말 데이터(250) 중 이미지를 전처리한다. 여기서 이미지는 스테레오 이미지일 수 있다. 전처리부(32)는 수신된 이미지가 각 단말마다 다른 형식으로 수신될 수 있으므로, 일반화 작업을 수행한다. 또한 전처리부(32)는 이미지에 포함된 노이즈(noise)를 필터링하고, 유효하지 않은 이미지를 폐기(discard)한다. 이를 통해 전처리부(32)는 추후 수행되는 과정을 통해 생성된 결과물인 2차원 영상의 신뢰성이 높아지도록 할 수 있다.
SLAM부(33)는 전처리된 이미지를 이용하여 위치 측정 및 동시에 지도를 작성한다. 즉 SLAM부(33)는 영상 내 특징점을 검출하고, 검출된 특징점을 이용하여 점간 거리, 카메라 간 거리 및 각도 중 적어도 하나의 정보를 산출한다. 여기서 특징점은 모서리(edge) 등일 수 있다. SLAM부(33)는 산출된 정보를 기초로 삼각법을 통해 거리를 산출하는 삼각측량을 수행하여 사물까지의 거리를 반복적으로 측정한다. SLAM부(33)는 측정된 정보를 이용하여 현재 사용자의 위치와 카메라 포즈에 대한 좌표를 산출하여 지도를 작성할 수 있다.
공간 재구성부(34)는 전처리된 이미지를 이용하여 현실 세계와 흡사한 3차원 공간을 생성한다. 공간 재구성부(34)는 3차원 공간을 생성하는 다양한 알고리즘을 이용할 수 있다.
공간 객체 재구성부(35)는 공간 재구성부(34)로부터 생성된 3차원 공간에 가상현실 및 증강현실(AR) 중 적어도 하나의 객체를 위치시켜 3차원 공간에 객체를 재구성한다. 여기서 공간 객체 재구성부(35)는 SLAM부(33)로부터 작성된 지도의 좌표를 기반으로 객체의 위치를 설정할 수 있다.
렌더링부(36)는 공간 객체 재구성부(35)로부터 재구성된 3차원 공간에 위치한 객체가 포함된 3차원 영상을 2차원 영상으로 렌더링한다. 이때 렌더링부(36)는 사용자 시점에서 재생되는 영상을 2차원 영상으로 렌더링할 수 있다. 렌더링부(36)는 복수의 GPU(Graphics Processing Unit)를 이용하여 고속 병렬 처리로 렌더링을 수행함으로써, 빠르면서도 정확하게 렌더링을 할 수 있다.
미디어 분할부(37)는 렌더링된 2차원 영상을 분할하여 서버 데이터(150)를 생성하고, 생성된 서버 데이터(150)를 사용자 단말(200)로 전송시킨다. 미디어 분할부(37)는 미디어 분할 표준인 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)를 이용하여 2차원 영상을 분할할 수 있다. 또한 미디어 분할부(37)는 서버 데이터(150)를 분할된 순서 또는 기 설정된 순서에 따라 사용자 단말(200)로 전송시킬 수 있다.
서버 저장부(50)는 콘텐츠 서버(100)가 구동되기 위한 알고리즘 또는 프로그램이 저장된다. 서버 저장부(50)는 서버 통신부(10)로부터 수신된 단말 데이터가 저장되고, 서버 제어부(30)로부터 생성된 3차원 공간, 3차원 공간에 객체가 위치된 3차원 영상이 저장되고, 렌더링된 2차원 영상이 저장되면, 분할된 서버 데이터가 저장된다. 서버 저장부(50)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 콘텐츠 스트리밍을 지원하는 방법을 설명하기 위한 순서도이다.
도 1 및 도 5를 참조하면, 콘텐츠 스트리밍을 지원하는 방법은 최종적으로 실감형 콘텐츠가 출력되는 사용자 단말(200)에서 2D 영상만이 출력되도록 함으로써, 복잡한 소프트웨어 또는 고사양의 하드웨어 장비가 필요없다. 콘텐츠 스트리밍을 지원하는 방법은 비동기 전송 방식을 이용하여 불필요한 오버헤드를 제거하여 네트워크 트래픽 및 연산할 데이터의 양을 최소화할 수 있다.
S110 단계에서, 콘텐츠 서버(100)는 사용자 단말(200)의 접속 상태를 감지한다. 콘텐츠 서버(100)는 사용자 단말(200)이 영상 스트리밍 서비스에 접속되면 S120 단계를 수행하고, 미접속되면 S110 단계를 재수행한다.
S120 단계에서, 콘텐츠 서버(100)는 사용자 단말(200)로부터 수신된 단말 데이터 중 이미지를 전처리한다. 콘텐츠 서버(100)는 이미지를 일반화 작업을 하고, 노이즈를 필터링하며, 유효하지 않은 이미지를 폐기한다.
S130 단계에서, 콘텐츠 서버(100)는 전처리된 이미지를 이용하여 위치 측정 및 동시에 지도를 작성한다. 콘텐츠 서버(100)는 영상 내 특징점을 검출하고, 검출된 특징점을 이용하여 점간 거리, 카메라 간 거리 및 각도 중 적어도 하나의 정보를 산출한다. 콘텐츠 서버(100)는 산출된 정보를 기초로 삼각법을 통해 거리를 산출하는 삼각측량을 수행하여 사물까지의 거리를 반복적으로 측정한다. 콘텐츠 서버(100)는 측정된 정보를 이용하여 현재 사용자의 위치와 카메라 포즈에 대한 좌표를 산출하여 지도를 작성한다.
S140 단계에서, 콘텐츠 서버(100)는 전처리된 이미지를 이용하여 공간을 재구성한다. 콘텐츠 서버(100)는 이미지를 이용하여 현실 세계와 흡사한 3차원 공간을 생성한다. 콘텐츠 서버(100)는 3차원 공간을 생성하는 다양한 알고리즘을 이용할 수 있다.
S150 단계에서, 콘텐츠 서버(100)는 작성된 지도 및 생성된 3차원 공간을 이용하여 공간의 객체를 재구성한다. 콘텐츠 서버(100)는 3차원 공간에 가상현실 및 증강현실(AR) 중 적어도 하나의 객체를 위치시켜 3차원 공간에 객체를 재구성한다. 여기서 콘텐츠 서버(100)는 작성된 지도의 좌표를 기반으로 객체의 위치를 설정할 수 있다.
S160 단계에서, 콘텐츠 서버(100)는 재구성된 3차원 공간에 위치한 객체가 포함된 3차원 영상을 2차원 영상으로 렌더링한다. 이때 콘텐츠 서버(100)는 사용자 시점에서 재생되는 영상을 2차원 영상으로 렌더링할 수 있다. 콘텐츠 서버(100)는 복수의 GPU를 이용하여 고속 병렬 처리로 렌더링을 수행함으로써, 빠르면서도 정확하게 렌더링을 할 수 있다.
S170 단계에서, 콘텐츠 서버(100)는 렌더링된 2차원 영상을 분할하여 서버 데이터를 생성한다. 콘텐츠 서버(100)는 미디어 분할 표준인 MPEG-DASH를 이용하여 2차원 영상을 분할할 수 있다.
S180 단계에서, 콘텐츠 서버(100)는 서버 데이터를 사용자 단말(200)로 전송한다. 콘텐츠 서버(100)는 서버 데이터를 분할된 순서 또는 기 설정된 순서에 따라 사용자 단말(200)로 전송시킬 수 있다.
본 발명의 실시 예에 따른 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 이러한, 컴퓨터가 읽을 수 있는 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것은 아니며, 기술적 사상의 범주를 이탈함없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

Claims (8)

  1. 사용자 단말과 통신을 하는 통신부;
    상기 사용자 단말의 접속이 감지되면 상기 사용자 단말로부터 수신된 이미지를 포함하는 단말 데이터를 이용하여 현재 사용자의 위치와 카메라 포즈(pose)에 대한 좌표 산출 및 3차원 공간을 생성하고, 상기 생성된 3차원 공간에 객체를 위치시키며, 상기 사용자의 시점에서 재생되는 영상을 2차원 영상으로 렌더링한 후, 분할하여 서버 데이터를 생성하고, 상기 생성된 서버 데이터를 상기 사용자 단말로 전송시키는 제어부;
    를 포함하는 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 사용자 단말로부터 수신된 이미지를 전처리하는 것을 특징으로 하는 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버.
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 수신된 이미지를 이용하여 영상 내 특징점을 검출하고, 상기 검출된 특징점을 이용하여 점간 거리, 카메라 간 거리 및 각도 중 적어도 하나의 정보를 산출하며, 상기 산출된 정보를 기초로 삼각 측량하여 사물까지의 거리를 반복적으로 측정하고, 상기 측정된 정보를 이용하여 상기 현재 사용자의 위치와 카메라 포즈에 대한 좌표 산출하는 것을 특징으로 하는 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버.
  4. 제 1항에 있어서,
    상기 제어부는,
    상기 생성된 3차원 공간에 가상현실(VR) 및 증강현실(AR) 중 적어도 하나의 객체를 위치시키는 것을 특징으로 하는 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버.
  5. 제 1항에 있어서,
    상기 제어부는,
    복수의 GPU(Graphics Processing Unit)를 이용하여 고속 병렬 처리로 상기 렌더링을 수행하는 것을 특징으로 하는 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버.
  6. 제 1항에 있어서,
    상기 제어부는,
    미디어 분할 표준인 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)를 이용하여 2차원 영상을 분할하는 것을 특징으로 하는 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버.
  7. 제 1항에 있어서,
    상기 단말 데이터는,
    스테레오(stereo) 영상, IMU(Inertial Measurement Unit) 정보, 단말 정보 및 카메라의 회전 매트릭스 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버.
  8. 콘텐츠 서버가 사용자 단말의 접속을 감지하면 상기 사용자 단말로부터 수신된 이미지를 포함하는 단말 데이터를 이용하여 현재 사용자의 위치와 카메라 포즈에 대한 좌표 산출 및 3차원 공간을 생성하는 단계;
    상기 콘텐츠 서버가 상기 생성된 3차원 공간에 객체를 위치시키는 단계;
    상기 콘텐츠 서버가 상기 사용자의 시점에서 재생되는 영상을 2차원 영상으로 렌더링하는 단계;
    상기 콘텐츠 서버가 렌더링된 2차원 영상을 분할하여 서버 데이터를 생성하는 단계; 및
    상기 콘텐츠 서버가 상기 생성된 서버 데이터를 상기 사용자 단말로 전송하는 단계;
    를 포함하는 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 방법.
PCT/KR2020/017664 2020-12-02 2020-12-04 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법 WO2022119022A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/062,819 US20230100111A1 (en) 2020-12-02 2022-12-07 Content server and method supporting low-latency content streaming

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200166229A KR102361178B1 (ko) 2020-12-02 2020-12-02 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법
KR10-2020-0166229 2020-12-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/062,819 Continuation US20230100111A1 (en) 2020-12-02 2022-12-07 Content server and method supporting low-latency content streaming

Publications (1)

Publication Number Publication Date
WO2022119022A1 true WO2022119022A1 (ko) 2022-06-09

Family

ID=80325821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017664 WO2022119022A1 (ko) 2020-12-02 2020-12-04 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법

Country Status (3)

Country Link
US (1) US20230100111A1 (ko)
KR (1) KR102361178B1 (ko)
WO (1) WO2022119022A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120033846A (ko) * 2010-09-30 2012-04-09 주식회사 팬택 가상 객체를 이용한 증강 현실 제공 장치 및 방법
KR20150086698A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 스트리밍 서버를 이용한 증강 현실 서비스 시스템 및 그 동작 방법
KR102024551B1 (ko) * 2019-05-31 2019-09-25 (주)온넷시스템즈코리아 사용자의 하드웨어 사양에 상관없이 ar, vr, xr 및 mr을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼
KR102027172B1 (ko) * 2018-11-05 2019-10-01 전자부품연구원 Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120033846A (ko) * 2010-09-30 2012-04-09 주식회사 팬택 가상 객체를 이용한 증강 현실 제공 장치 및 방법
KR20150086698A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 스트리밍 서버를 이용한 증강 현실 서비스 시스템 및 그 동작 방법
KR102027172B1 (ko) * 2018-11-05 2019-10-01 전자부품연구원 Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법
KR102024551B1 (ko) * 2019-05-31 2019-09-25 (주)온넷시스템즈코리아 사용자의 하드웨어 사양에 상관없이 ar, vr, xr 및 mr을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HYUN WOOK KIMA , U SUNG CHOIB , SUNG HYUN YANG: "Implementation of MPEG-DASH based Low-Latency Live 360 VR Tiled Video Streaming Server", JOURNAL OF BROADCAST ENGINEERING, vol. 23, no. 4, 30 July 2018 (2018-07-30), pages 549 - 558, XP055936607, ISSN: 1226-7953, DOI: 10.5909/JBE.2018.23.4.549 *
JUN-HWAN JANG , JINWOOK YANG , SANGPIL YOON , JUNSUK LEE , MINSU CHOI , WOOCHOOL PARK: "Design and Implementation of Low-Latency VR/AR Contents Streaming System based on Edge Cloud and Asynchronous Transmission Protocol", PROCEEDINGS OF SUMMER ANNUAL CONFERENCE OF IEIE, 1 August 2020 (2020-08-01), pages 2492 - 2494, XP055936617 *

Also Published As

Publication number Publication date
US20230100111A1 (en) 2023-03-30
KR102361178B1 (ko) 2022-02-15

Similar Documents

Publication Publication Date Title
WO2018012888A1 (en) Method and system for interactive transmission of panoramic video
JP6219813B2 (ja) グラフィックス共有
WO2020060984A1 (en) Cross layer traffic optimization for split xr
KR101720132B1 (ko) 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템
CN108762934B (zh) 远程图形传输系统、方法及云服务器
JP2010257454A (ja) 遠隔の表示部へ伝送するためにフレームバッファをコピーする方法及びシステム
CN109074152B (zh) 一种虚拟现实图像发送方法及装置
MX2013008070A (es) Visualizacion de la formacion de la tierra en tres dimensiones.
WO2023151524A1 (zh) 图像显示方法、装置、电子设备及存储介质
CN111586391A (zh) 一种图像处理方法、装置及系统
US10929079B2 (en) Video display method, electronic device and computer program product
CN114461064A (zh) 虚拟现实交互方法、装置、设备和存储介质
CN110580674B (zh) 信息处理方法、装置及系统
WO2022119022A1 (ko) 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법
CN113778593B (zh) 云桌面控制方法、装置、电子设备、存储介质及程序产品
WO2022119038A1 (ko) 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법
US10733689B2 (en) Data processing
US20220222888A1 (en) Reduction of the effects of latency for extended reality experiences
US20140118489A1 (en) Adaptive stereoscopic 3d streaming
CN113589926A (zh) 虚拟界面操作方法、头戴式显示设备和计算机可读介质
CN113094015A (zh) 全息多屏显示实现方法、系统、计算机设备和存储介质
JP2001236525A (ja) 情報処理装置および方法、情報処理システム、並びに記録媒体
WO2019045128A1 (ko) 영상통화의 영상 품질 향상
CN112614210A (zh) 工程图纸显示方法、系统及相关装置
CN111752619A (zh) 图像处理方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20964370

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20964370

Country of ref document: EP

Kind code of ref document: A1