KR102598986B1 - 엣지 서버와 연동하는 ar 스트리밍 장치 및 방법, 시스템 - Google Patents

엣지 서버와 연동하는 ar 스트리밍 장치 및 방법, 시스템 Download PDF

Info

Publication number
KR102598986B1
KR102598986B1 KR1020210147261A KR20210147261A KR102598986B1 KR 102598986 B1 KR102598986 B1 KR 102598986B1 KR 1020210147261 A KR1020210147261 A KR 1020210147261A KR 20210147261 A KR20210147261 A KR 20210147261A KR 102598986 B1 KR102598986 B1 KR 102598986B1
Authority
KR
South Korea
Prior art keywords
image
edge server
rendered
data
split
Prior art date
Application number
KR1020210147261A
Other languages
English (en)
Other versions
KR20230063946A (ko
Inventor
장준환
박우출
양진욱
윤상필
최민수
이준석
송수호
구본재
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210147261A priority Critical patent/KR102598986B1/ko
Priority to PCT/KR2021/018760 priority patent/WO2023075013A1/ko
Publication of KR20230063946A publication Critical patent/KR20230063946A/ko
Application granted granted Critical
Publication of KR102598986B1 publication Critical patent/KR102598986B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26233—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving content or additional data duration or size, e.g. length of a movie, size of an executable file
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof

Abstract

엣지 서버와 연동하는 AR 스트리밍 장치가 제공된다. 상기 장치는 카메라 및 소정의 관성 센서를 포함하는 센싱 모듈, AR 영상을 스트리밍하는 디스플레이 모듈, 상기 엣지 서버 및 센싱 모듈과 데이터를 송수신하는 통신모듈, 상기 데이터를 기반으로 AR 스트리밍 서비스를 제공하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 센싱 모듈을 통해 이미지 데이터 및 관성 데이터를 획득하면, 상기 이미지 데이터 및 관성 데이터를 동기화 및 인코딩을 수행하여 상기 통신모듈을 통해 엣지 서버로 전송하고, 상기 엣지 서버로부터 분할 렌더링 처리된 AR 영상(이하, 분할 렌더링 AR 영상)을 수신하면, 상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하여, 상기 디스플레이 모듈을 통해 스트리밍되도록 제어한다.

Description

엣지 서버와 연동하는 AR 스트리밍 장치 및 방법, 시스템{AR STREAMING DEVICE, METHOD FOR INTERWORKING EDGE SERVER AND SYSTEM FOR THEREOF}
본 발명은 엣지 서버와 연동하는 AR 스트리밍 장치 및 방법, 시스템에 관한 것이다.
최근, 전자장치에서 통화 기능 및 멀티미디어 재생 기능뿐만 아니라, 증강현실(AR, Augmented Reality) 기능에 대한 연구 개발 및 그 사용이 증가하고 있다. 증강현실은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 즉, 가상현실의 한 분야로 실제 환경에서 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 기존의 가상현실은 가상의 공간과 사물만을 그 대상으로 하였으나, 증강현실은 완전한 가상세계를 전제로 하는 가상현실과는 달리 현실세계의 환경 위에 가상의 대상을 결합시키고 현실의 효과를 더욱 증가시키는 것이다.
한편, 기존의 증강현실 서비스는 AR 서비스를 위한 콘텐츠를 직접 단말기(AR 스트리밍 장치)에 설치하여 제공하거나, AR 스트리밍 장치에 콘텐츠를 다운받아 제공하는 방식으로, 실시간 스트리밍 서비스가 불가하였으며, 높은 양의 데이터 처리 자원이 요구되는 문제가 있었다.
등록특허공보 제10-2290549호(2021.08.19)
본 발명의 실시예는 영상 송수신 및 먹싱/디먹싱을 위한 프로토콜을 구성하고, 엣지 서버를 통한 분할 렌더링을 수행하도록 하여 초지연통신 및 낮은 시스템 자원으로 AR 영상을 실시간으로 스트리밍할 수 있는, 엣지 서버와 연동하는 AR 스트리밍 장치 및 방법, 시스템을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면에 따른 엣지 서버와 연동하는 AR 스트리밍 장치는 카메라 및 소정의 관성 센서를 포함하는 센싱 모듈, AR 영상을 스트리밍하는 디스플레이 모듈, 상기 엣지 서버 및 센싱 모듈과 데이터를 송수신하는 통신모듈, 상기 데이터를 기반으로 AR 스트리밍 서비스를 제공하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 센싱 모듈을 통해 이미지 데이터 및 관성 데이터를 획득하면, 상기 이미지 데이터 및 관성 데이터를 동기화 및 인코딩을 수행하여 상기 통신모듈을 통해 엣지 서버로 전송하고, 상기 엣지 서버로부터 분할 렌더링 처리된 AR 영상(이하, 분할 렌더링 AR 영상)을 수신하면, 상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하여, 상기 디스플레이 모듈을 통해 스트리밍되도록 제어한다.
본 발명의 일부 실시예에서, 상기 통신모듈은 HTTP 기반의 QUIC 프로토콜을 이용하여 상기 데이터를 송수신할 수 있다.
본 발명의 일부 실시예에서, 상기 프로세서는 통신모듈을 통해 상기 엣지 서버로부터 수신한 분할 렌더링 AR 영상의 미디어 청크(Chunk)를 실시간으로 버퍼링하고 디코딩을 수행할 수 있다.
본 발명의 일부 실시예에서, 상기 프로세서는 상기 인코딩된 이미지 데이터 및 관성 데이터를 ISO 23000-19 CMAF(Common Media Application Format) 표준 영상으로 이미지 프레임 단위의 먹싱(Muxing)을 수행하고, 상기 수신한 분할 렌더링 AR 영상을 대상으로 ISO 23000-19 CMAF 표준 영상으로 디먹싱(DeMuxing)을 수행할 수 있다.
본 발명의 일부 실시예에서, 상기 프로세서는 분할 렌더링 AR 영상의 상기 디코딩된 픽셀을 대상으로 콘텐츠 영역을 제외한 영역을 블렌딩 처리하여 렌더링할 수 있다.
또한, 본 발명의 제2 측면에 따른 엣지 서버와 연동하는 AR 스트리밍 장치에서 수행되는 방법은 카메라 및 소정의 관성 센서를 통해 이미지 데이터 및 관성 데이터를 획득하는 단계; 상기 이미지 데이터 및 관성 데이터를 대상으로 동기화 및 인코딩을 수행하는 단계; 상기 인코딩이 완료된 이미지 데이터 및 관성 데이터를 엣지 서버로 전송하는 단계; 상기 엣지 서버로부터 분할 렌더링 처리된 AR 영상(이하, 분할 렌더링 AR 영상)을 수신하는 단계; 상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하는 단계; 및 디스플레이 모듈을 통해 상기 AR 영상을 스트리밍하는 단계를 포함한다.
본 발명의 일부 실시예에서, 상기 인코딩이 완료된 이미지 데이터 및 관성 데이터를 엣지 서버로 전송하는 단계 및 상기 엣지 서버로부터 분할 렌더링 처리된 AR 영상(이하, 분할 렌더링 AR 영상)을 수신하는 단계는, HTTP 기반의 QUIC 프로토콜을 이용하여 상기 데이터를 송수신할 수 있다.
본 발명의 일부 실시예에서, 상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하는 단계는, 상기 엣지 서버로부터 수신한 분할 렌더링 AR 영상의 미디어 청크(Chunk)를 실시간으로 버퍼링하고 디코딩을 수행할 수 있다.
본 발명의 일부 실시예에서, 상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하는 단계는, 상기 분할 렌더링 AR 영상의 상기 디코딩된 픽셀을 대상으로 콘텐츠 영역을 제외한 영역을 블렌딩 처리하여 렌더링할 수 있다.
본 발명의 일부 실시예는, 상기 인코딩된 이미지 데이터 및 관성 데이터를 ISO 23000-19 CMAF(Common Media Application Format)표준 영상으로 이미지 프레임 단위의 먹싱(Muxing)을 수행하는 단계; 및 상기 수신한 분할 렌더링 AR 영상을 대상으로 ISO 23000-19 표준 영상으로 디먹싱(DeMuxing)을 수행하는 단계를 더 포함할 수 있다.
또한, 본 발명의 제3 측면에 따른 경량형 AR 스트리밍 시스템은 AR 스트리밍 장치로부터 수신한 이미지 데이터 및 관성 데이터를 기반으로 AR 스트리밍 장치를 착용 중인 사용자의 위치 및 자세인식을 수행하고, 공간 구성 및 정합 과정을 수행한 후, 분할 렌더링을 수행한 AR 영상(이하, 분할 렌더링 AR 영상)을 상기 AR 스트리밍 장치로 전송하는 엣지 서버와, 카메라 및 소정의 관성 센싱모듈을 통해 이미지 데이터 및 관성 데이터를 획득하고, 상기 이미지 데이터 및 관성 데이터를 동기화 및 인코딩을 수행하여 상기 엣지 서버로 전송하고, 상기 엣지 서버로부터 상기 분할 렌더링 AR 영상을 수신하면, 상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하여, 상기 디스플레이 모듈을 통해 스트리밍되도록 제어하는 AR 스트리밍 장치를 포함한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
전술한 본 발명의 일 실시예에 의하면, 실시간 분할 렌더링을 엣지 서버에서 수행하고, AR 스트리밍 장치는 엣지 서버에서 생성된 분할 렌더링 AR 영상을 실시간으로 스트리밍하도록 하여, 초저지연의 통신 및 단순 영상 재생을 통한 낮은 자원을 활용을 통해 경량형 장치 및 다수의 다종 디바이스를 지원할 수 있는 장점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 AR 스트리밍 시스템을 설명하기 위한 도면이다.
도 2는 AR 스트리밍 장치를 설명하기 위한 블록도이다.
도 3은 엣지 서버와 AR 스트리밍 장치 간의 세션 구성을 설명하기 위한 도면이다.
도 4는 이미지 데이터 및 관성 데이터를 엣지 서버로 송신 및 처리하는 과정을 설명하기 위한 도면이다.
도 5는 분할 렌더링 AR 영상을 수신 및 처리하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에서의 블렌딩 처리 후 스트리밍 결과를 나타낸 예시도이다.
도 7은 본 발명의 일 실시예에 따른 AR 영상 스트리밍 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 발명은 엣지 서버(200)와 연동하는 AR 스트리밍 장치(100) 및 방법, 시스템(1)에 관한 것이다.
본 발명의 일 실시예는 실시간 분할 렌더링을 엣지 서버(200)에서 수행하고, AR 스트리밍 장치(100)에서는 엣지 서버(200)에서 생성된 분할 렌더링 AR 영상을 실시간으로 스트리밍하도록 하여, 초저지연의 통신 및 단순 영상 재생을 통한 낮은 자원을 활용함으로써 경량형 장치와 다수의 디바이스를 지원한다.
도 1은 본 발명의 일 실시예에 따른 AR 스트리밍 시스템(1)을 설명하기 위한 도면이다. 도 2는 AR 스트리밍 장치(100)를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 AR 스트리밍 시스템(1)은, 엣지 서버(200)와 AR 스트리밍 장치(100)를 포함한다.
엣지 서버(200)는 AR 스트리밍 장치(100)로부터 이미지 데이터 및 관성 데이터를 수신하면, 이를 기반으로 AR 스트리밍 장치(100)를 착용 중인 사용자(사용자의 헤드 포지션)의 위치 및 자세 인식을 수행하고, 공간 구성 및 정합을 수행한 후, 분할 렌더링 및 영상 인코딩을 수행하여 생성된 분할 렌더링 AR 영상을 AR 스트리밍 장치(100)로 제공한다.
즉, 본 발명의 일 실시예는 종래 AR 서비스를 위한 콘텐츠를 직접 단말기(AR 스트리밍 장치(100))에 설치하여 제공하거나, AR 스트리밍 장치(100)에 콘텐츠를 다운받아 제공하는 방식으로, 실시간 스트리밍이 불가하던 것과 달리, 엣지 서버(200)를 통한 분할 렌더링 AR 영상을 생성하고, 이를 AR 스트리밍 장치(100)로 전송하는 것을 통해 실시간 AR 영상 스트리밍이 가능하다는 장점이 있다.
AR 스트리밍 장치(100)는 센싱모듈(110), 디스플레이 모듈(120), 통신모듈(130), 메모리(미도시) 및 프로세서(140)를 포함한다.
센싱모듈(110)은 카메라(111) 및 소정의 관성 센서(112)를 통해 이미지 데이터 및 관성 데이터를 획득한다. 일 실시예로, 센싱모듈(110)은 카메라 인터페이스(111)를 통하여 이미지 데이터를 720P, 1080P 기준으로 획득할 수 있다. 또한, 관성 센서(112)로부터 사용자의 헤드 포지션을 관성 데이터로 획득할 수 있으며, 이때 센싱모듈(110)은 자체적으로 또는 1차적으로 이미지 데이터와 관성 데이터를 동기화하여 획득할 수 있다.
한편, 센싱모듈(110)은 AR 디바이스 상에 구비될 수 있으며, AR 디바이스는 호환성을 위하여 OpenXR 모듈을 게임 엔진(Unity, Unreal)에 호환되도록 API를 구성하였으며, 각 센싱모듈(110)도 호환되도록 개발하였다. 디스플레이 모듈(120)은 AR 영상을 실시간으로 스트리밍한다.
통신모듈(130)은 엣지 서버(200) 및 센싱 모듈(110)과 데이터를 송수신한다. 일 실시예로, 통신모듈(130)은 HTTP 기반의 QUIC 프로토콜을 이용하여 이미지 데이터 및 관성 데이터를 엣지 서버(200)로 전송하고, 엣지 서버(200)로부터의 분할 렌더링 AR 영상을 수신할 수 있다. 이러한 본 발명의 일 실시예는 AR 영상 스트리밍을 위하여 QUIC 프로토콜을 적용함으로써 낮은 대역폭으로 빠른 데이터 전송이 가능하다는 장점이 있다.
도 3은 엣지 서버(200)와 AR 스트리밍 장치(100) 간의 세션 구성을 설명하기 위한 도면이다.
한편, AR 스트리밍 장치(100)의 통신모듈(130)은 엣지 서버(200)와의 최초 통신을 위해 세션 요청 및 AR 스트리밍 장치(100)의 식별 정보를 엣지 서버(200)로 전송한다. 이후, 세션 수립이 완료되면 별도의 전송 응답 없이 간단한 프로토콜로 이미지 데이터, 관성 데이터 전송 및 분할 렌더링 AR 영상을 수신할 수 있다.
메모리에는 데이터를 기반으로 AR 스트리밍 서비스를 제공하기 위한 프로그램이 저장되며, 프로세서(150)는 메모리에 저장된 프로그램을 실행시킨다.
여기에서, 메모리는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
또한, 메모리에 저장된 프로그램은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
도 4는 이미지 데이터 및 관성 데이터를 엣지 서버(200)로 송신 및 처리하는 과정을 설명하기 위한 도면이다.
프로세서(140)는 저지연 전송을 위하여 이미지 데이터는 영상으로 압축하여 엣지 서버(200)로 전송한다. 구체적으로 프로세서(140)는 센싱모듈(110)을 통해 이미지 데이터 및 관성 데이터를 획득하면, 이미지 데이터 및 관성 데이터를 동기화한 다음 인코딩을 수행한다.
이때, 프로세서(140)는 획득한 이미지 데이터를 빠르게 비디오 타입으로 압축하기 위하여 인코더에 접근하여 30FPS 속도로 인코딩을 수행할 수 있다. 일 실시예로, 프로세서는 h.264, HEVC 코덱을 사용하여 인코딩을 수행할 수 있다.
인코딩이 완료되면, 획득된 데이터를 더욱 빠르게 전송하기 위하여 인코딩된 영상 데이터 및 관성 데이터를 대상으로, 이미지 프레임 단위로 패키징을 할 수 있는 ISO 23000-19 CMAF(Common Media Application Format)을 사용하여 표준 영상으로 먹싱(Muxing)을 수행한다. 즉, 프로세서는 ISO 23000-19 CMAF 표준으로 먹싱하는데, 인코딩된 영상 데이터와 관성 데이터를 각각의 트랙(Track)에 먹싱하여 전송 준비를 한다.
도 5는 분할 렌더링 AR 영상을 수신 및 처리하는 과정을 설명하기 위한 도면이다.
이후, 엣지 서버(200)에서 분할 렌더링 AR 영상이 생성되어 전송되면, 프로세서(140)는 통신모듈(130)을 통해 저지연 프로토콜인 HTTP 기반 QUIC 프로토콜을 사용하여 분할 렌더링 AR 영상을 수신한다.
이때, 프로세서(140)는 통신모듈(130)을 통해 엣지 서버(200)로부터 수신한 분할 렌더링 AR 영상의 미디어 청크(Chunk)를 실시간으로 버퍼링한 다음 디먹싱을 수행할 수 있다.
프로세서(140)는 분할 렌더링 AR 영상에 대하여 전달받은 미디어 청크를 대상으로 ISO 23000-19 CMAF 표준 영상으로 디먹싱(Demuxing)을 수행한다. 디먹싱 과정을 통해 분할 렌더링 AR 영상은 영상 및 오디오 스트림으로 분리된다.
그 다음, 프로세서(140)는 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하여, 디스플레이 모듈(120)을 통해 스트리밍되도록 제어한다. 이때, 프로세서(140)는 영상 스트림을 픽셀 데이터로 변환하여 GPU의 Shader로 전달할 수 있다.
또한, 프로세서(140)는 분할 렌더링 AR 영상을 디코딩된 픽셀을 대상으로 콘텐츠 영역을 제외한 나머지 영역을 블렌딩(blending, 투명) 처리하여 디스플레이 모듈로 렌더링한다.
한편, 프로세서(140)는 메인코어 스케줄러(Maincore Schedule)를 구비할 수 있으며, 메인코어 스케줄러를 통해 분할 렌더링 AR 영상의 수신 시점부터 스트림 전달 및 렌더링 동기화를 위한 버퍼를 제어할 수 있다. 또한, 메인코어 스케줄러를 통해 30FPS 속도로 렌더링이 가능하도록 관리할 수 있다.
도 6은 본 발명의 일 실시예에서의 블렌딩 처리 후 스트리밍 결과를 나타낸 예시도이다.
분할 렌더링 AR 영상을 수신하면, 콘텐츠 외 나머지 영역은 블렌딩 처리되어 스트리밍 됨을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 AR 영상 스트리밍 방법의 순서도이다.
먼저, 카메라 및 소정의 관성 센서를 통해 이미지 데이터 및 관성 데이터를 획득한다(S105).
다음으로, 이미지 데이터 및 관성 데이터를 대상으로 동기화 및 인코딩을 수행하고(S110, S115), ISO 23000-19 CMAF 표준으로 영상 Muxing을 수행한다(S120).
다음으로, 이미지 데이터(영상 데이터) 및 관성 데이터를 엣지 서버(200)로 전송하고(S125), 엣지 서버(200)에서 분할 렌더링 AR 영상이 생성됨에 따라 이를 수신한다(S130).
다음으로, ISO 23000-19 CMAF 표준으로 영상 Demuxing을 수행하고(S135), 분할 렌더링 AR 영상을 대상으로 디코딩 및 블렌딩 처리를 수행한다(S140, S145).
그 다음, 분할 렌더링 AR 영상을 디스플레이 모듈을 통해 스트리밍되도록 한다(S150).
한편, 상술한 설명에서, 단계 S105 내지 단계 S150은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 6에 기술된 내용은 도 7의 AR 영상 스트리밍 방법에도 적용된다.
이상에서 전술한 본 발명의 일 실시예에 따른 엣지 서버(200)와 연동하는 AR 스트리밍 장치(100)에서 수행되는 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
1: AR 스트리밍 시스템
100: AR 스트리밍 장치
200: 엣지 서버

Claims (11)

  1. 엣지 서버와 연동하는 AR 스트리밍 장치에 있어서,
    카메라 및 소정의 관성 센서를 포함하는 센싱 모듈,
    AR 영상을 스트리밍하는 디스플레이 모듈,
    상기 엣지 서버 및 센싱 모듈과 데이터를 송수신하는 통신모듈,
    상기 데이터를 기반으로 AR 스트리밍 서비스를 제공하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 센싱 모듈을 통해 이미지 데이터 및 관성 데이터를 획득하면, 상기 이미지 데이터 및 관성 데이터를 동기화 및 인코딩을 수행하여 상기 통신모듈을 통해 엣지 서버로 전송하고, 상기 엣지 서버로부터 분할 렌더링 처리된 AR 영상(이하, 분할 렌더링 AR 영상)을 수신하면, 상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하여, 상기 디스플레이 모듈을 통해 스트리밍되도록 제어하는 것인,
    엣지 서버와 연동하는 AR 스트리밍 장치.
  2. 제1항에 있어서,
    상기 통신모듈은 HTTP 기반의 QUIC 프로토콜을 이용하여 상기 데이터를 송수신하는 것인,
    엣지 서버와 연동하는 AR 스트리밍 장치.
  3. 제1항에 있어서,
    상기 프로세서는 통신모듈을 통해 상기 엣지 서버로부터 수신한 분할 렌더링 AR 영상의 미디어 청크(Chunk)를 실시간으로 버퍼링하고 디코딩을 수행하는 것인,
    엣지 서버와 연동하는 AR 스트리밍 장치.
  4. 제1항에 있어서,
    상기 프로세서는 상기 인코딩된 이미지 데이터 및 관성 데이터를 ISO 23000-19 CMAF(Common Media Application Format) 표준 영상으로 이미지 프레임 단위의 먹싱(Muxing)을 수행하고, 상기 수신한 분할 렌더링 AR 영상을 대상으로 ISO 23000-19 CMAF 표준 영상으로 디먹싱(DeMuxing)을 수행하는 것인,
    엣지 서버와 연동하는 AR 스트리밍 장치.
  5. 제1항에 있어서,
    상기 프로세서는 분할 렌더링 AR 영상의 상기 디코딩된 픽셀을 대상으로 콘텐츠 영역을 제외한 영역을 블렌딩 처리하여 렌더링하는 것인,
    엣지 서버와 연동하는 AR 스트리밍 장치.
  6. 엣지 서버와 연동하는 AR 스트리밍 장치에서 수행되는 방법에 있어서,
    카메라 및 소정의 관성 센서를 통해 이미지 데이터 및 관성 데이터를 획득하는 단계;
    상기 이미지 데이터 및 관성 데이터를 대상으로 동기화 및 인코딩을 수행하는 단계;
    상기 인코딩이 완료된 이미지 데이터 및 관성 데이터를 엣지 서버로 전송하는 단계;
    상기 엣지 서버로부터 분할 렌더링 처리된 AR 영상(이하, 분할 렌더링 AR 영상)을 수신하는 단계;
    상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하는 단계; 및
    디스플레이 모듈을 통해 상기 AR 영상을 스트리밍하는 단계를 포함하는,
    엣지 서버와 연동하여 AR 영상을 스트리밍 하는 방법.
  7. 제6항에 있어서,
    상기 인코딩이 완료된 이미지 데이터 및 관성 데이터를 엣지 서버로 전송하는 단계 및 상기 엣지 서버로부터 분할 렌더링 처리된 AR 영상(이하, 분할 렌더링 AR 영상)을 수신하는 단계는,
    HTTP 기반의 QUIC 프로토콜을 이용하여 상기 데이터를 송수신하는 것인,
    엣지 서버와 연동하여 AR 영상을 스트리밍 하는 방법.
  8. 제6항에 있어서,
    상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하는 단계는,
    상기 엣지 서버로부터 수신한 분할 렌더링 AR 영상의 미디어 청크(Chunk)를 실시간으로 버퍼링하고 디코딩을 수행하는 것인,
    엣지 서버와 연동하여 AR 영상을 스트리밍 하는 방법.
  9. 제6항에 있어서,
    상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하는 단계는,
    상기 분할 렌더링 AR 영상의 상기 디코딩된 픽셀을 대상으로 콘텐츠 영역을 제외한 영역을 블렌딩 처리하여 렌더링하는 것인,
    엣지 서버와 연동하여 AR 영상을 스트리밍 하는 방법.
  10. 제6항에 있어서,
    상기 인코딩된 이미지 데이터 및 관성 데이터를 ISO 23000-19 CMAF(Common Media Application Format)표준 영상으로 이미지 프레임 단위의 먹싱(Muxing)을 수행하는 단계; 및
    상기 수신한 분할 렌더링 AR 영상을 대상으로 ISO 23000-19 표준 영상으로 디먹싱(DeMuxing)을 수행하는 단계를 더 포함하는,
    엣지 서버와 연동하여 AR 영상을 스트리밍 하는 방법.
  11. 경량형 AR 스트리밍 시스템에 있어서,
    AR 스트리밍 장치로부터 수신한 이미지 데이터 및 관성 데이터를 기반으로 AR 스트리밍 장치를 착용 중인 사용자의 위치 및 자세인식을 수행하고, 공간 구성 및 정합 과정을 수행한 후, 분할 렌더링을 수행한 AR 영상(이하, 분할 렌더링 AR 영상)을 상기 AR 스트리밍 장치로 전송하는 엣지 서버와,
    카메라 및 소정의 관성 센싱모듈을 통해 이미지 데이터 및 관성 데이터를 획득하고, 상기 이미지 데이터 및 관성 데이터를 동기화 및 인코딩을 수행하여 상기 엣지 서버로 전송하고,
    상기 엣지 서버로부터 상기 분할 렌더링 AR 영상을 수신하면, 상기 분할 렌더링 AR 영상을 디코딩 및 블렌딩 처리하여, 디스플레이 모듈을 통해 스트리밍되도록 제어하는 AR 스트리밍 장치를 포함하는,
    경량형 AR 스트리밍 시스템.
KR1020210147261A 2021-10-29 2021-10-29 엣지 서버와 연동하는 ar 스트리밍 장치 및 방법, 시스템 KR102598986B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210147261A KR102598986B1 (ko) 2021-10-29 2021-10-29 엣지 서버와 연동하는 ar 스트리밍 장치 및 방법, 시스템
PCT/KR2021/018760 WO2023075013A1 (ko) 2021-10-29 2021-12-10 엣지 서버와 연동하는 ar 스트리밍 장치 및 방법, 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210147261A KR102598986B1 (ko) 2021-10-29 2021-10-29 엣지 서버와 연동하는 ar 스트리밍 장치 및 방법, 시스템

Publications (2)

Publication Number Publication Date
KR20230063946A KR20230063946A (ko) 2023-05-10
KR102598986B1 true KR102598986B1 (ko) 2023-11-07

Family

ID=86160072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210147261A KR102598986B1 (ko) 2021-10-29 2021-10-29 엣지 서버와 연동하는 ar 스트리밍 장치 및 방법, 시스템

Country Status (2)

Country Link
KR (1) KR102598986B1 (ko)
WO (1) WO2023075013A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200404078A1 (en) 2019-06-21 2020-12-24 Dell Products, L.P. Adaptive backchannel synchronization for virtual, augmented, or mixed reality (xr) applications in edge cloud architectures

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106306A (ko) * 2018-03-08 2019-09-18 주식회사 케이티 Vr 서비스를 제공하는 서버, 시스템 및 방법
KR20210084248A (ko) * 2019-12-27 2021-07-07 (주)유티플러스 인터랙티브 Vr 컨텐츠 중계 플랫폼 제공 방법 및 그 장치
KR102290549B1 (ko) 2020-03-05 2021-08-19 주식회사 딥파인 동영상 이미지를 통한 ar 콘텐츠 생산 시스템
KR102304477B1 (ko) * 2020-11-19 2021-09-17 광운대학교 산학협력단 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200404078A1 (en) 2019-06-21 2020-12-24 Dell Products, L.P. Adaptive backchannel synchronization for virtual, augmented, or mixed reality (xr) applications in edge cloud architectures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
장준환 외5, 엣지 클라우드기반 AR 분할 렌더링 영상 실시간 스트리밍 재생기술에 관한 연구, 전자공학회 논문지 제58권 제6호 2021.06

Also Published As

Publication number Publication date
WO2023075013A1 (ko) 2023-05-04
KR20230063946A (ko) 2023-05-10

Similar Documents

Publication Publication Date Title
US10542301B2 (en) Multimedia redirection method, device, and system
CN108076364B (zh) 自适应媒体流传输设备和媒体服务设备
US10460501B2 (en) System and method for processing digital video
US20180061364A1 (en) Variable refresh rate video capture and playback
WO2019024919A1 (zh) 视频转码方法及其装置、服务器、可读存储介质
JP6333858B2 (ja) 複数の視覚コンポーネントを有する画面を共有するためのシステム、装置、および方法
US11700419B2 (en) Re-encoding predicted picture frames in live video stream applications
CN110784740A (zh) 视频处理方法、装置、服务器及可读存储介质
US20200005831A1 (en) Systems and methods for processing digital video
US20170064344A1 (en) Video encoding for reduced streaming latency
WO2019137313A1 (zh) 一种媒体信息的处理方法及装置
US11310560B2 (en) Bitstream merger and extractor
CN111343504B (zh) 视频处理方法、装置、计算机设备和存储介质
US10771792B2 (en) Encoding data arrays
EP2804143A1 (en) System and method for forwarding a graphics command stream
CN114567801A (zh) 共享从视频传输中提取的快照的方法和系统
KR102598986B1 (ko) 엣지 서버와 연동하는 ar 스트리밍 장치 및 방법, 시스템
CN105379281B (zh) 用于使用图形处理器的视频解码的图片参考控制
KR102199270B1 (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR100892433B1 (ko) 이동통신 단말기를 이용한 영상 중계 시스템 및 그 방법
TW202304216A (zh) 經由５ｇ網路對擴展現實資料的分離渲染
KR102259540B1 (ko) 시선 기반의 360도 영상 스트리밍
KR101246596B1 (ko) 서비스 영상 전송 시스템, 서버 및 방법
KR102247887B1 (ko) 클라우드 스트리밍 서비스 시스템, 소스 정보를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN111225275A (zh) 一种基于视频流的屏幕显示方法、装置和系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant