KR20220078298A - 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치 - Google Patents

적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR20220078298A
KR20220078298A KR1020200167696A KR20200167696A KR20220078298A KR 20220078298 A KR20220078298 A KR 20220078298A KR 1020200167696 A KR1020200167696 A KR 1020200167696A KR 20200167696 A KR20200167696 A KR 20200167696A KR 20220078298 A KR20220078298 A KR 20220078298A
Authority
KR
South Korea
Prior art keywords
content
chunk
augmented reality
lod
size
Prior art date
Application number
KR1020200167696A
Other languages
English (en)
Inventor
송황준
노현민
Original Assignee
삼성전자주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 포항공과대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020200167696A priority Critical patent/KR20220078298A/ko
Priority to US17/236,038 priority patent/US11758107B2/en
Publication of KR20220078298A publication Critical patent/KR20220078298A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Abstract

적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치가 개시된다. 일 실시예에 따른 증강 현실 스트리밍 방법은, 디스플레이할 AR 컨텐츠를 식별하는 단계와, 상기 AR 컨텐츠에 대응하는 메타 파일을 획득하는 단계와, 상기 메타 파일로부터 상기 AR 컨텐츠를 렌더링하기 위한 청크(chunks)의 정보를 추출하는 단계와, 상기 정보에 기초하여 청크를 요청하는 단계와 상기 청크를 수신하여 상기 AR 컨텐츠를 렌더링하는 단계를 포함한다.

Description

적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치{METHOD FOR PROVIDING ADAPTIVE AUGMENTED REALITY STREAMING AND APPARATUS FOR PERFORMING THE SAME}
본 개시는 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치에 관한 것이다.
증강 현실(Augmented Reality(AR))은 현실 세계에 있는 물체가 컴퓨터에서 생성된 지각 정보에 의해 강화되는 현실 환경의 상호 작용으로, 때로는 시각, 청각, 촉각, 체성 감각 및 후각을 포함한 여러 감각 양식에 걸쳐 있을 수 있다. 증강 현실은 현실 세계와 가상 세계의 조합, 실시간 상호 작용, 가상 및 실제 물체의 정확한 3차원 정합이라는 세 가지 기본 기능을 충족하는 시스템으로 정의할 수 있다.
증강 현실 스트리밍 서비스는 동작 추적, 환경 인식, 광원 추정 등의 기능을 수행하는 디바이스와, AR 컨텐츠를 공유함으로써 사용자 디바이스에 제공하는 라이브러리를 결합함으로써 구현할 수 있다. 즉, 사용자 디바이스는 클라우드 서버에 구현된 온라인 라이브러리에서 실시간으로 AR 컨텐츠를 수신하여 사용자에게 증강 현실 스트리밍을 제공할 수 있다.
다만, 종래의 증강 현실 스트리밍 기술은 네트워크 상황에 알맞은 수준의 AR 컨텐츠를 제공하는 방법이 존재하지 않아 네트워크 상황이 제한적인 경우 지연을 고려한 AR 컨텐츠 전송이 불가능한 문제점을 가지고 있다.
일 실시예에 따른 증강 현실 스트리밍 방법은, 디스플레이할 AR 컨텐츠를 식별하는 단계와, 상기 AR 컨텐츠에 대응하는 메타 파일을 획득하는 단계와, 상기 메타 파일로부터 상기 AR 컨텐츠를 렌더링하기 위한 청크(chunks)의 정보를 추출하는 단계와, 상기 정보에 기초하여 청크를 요청하는 단계와 상기 청크를 수신하여 상기 AR 컨텐츠를 렌더링하는 단계를 포함한다.
상기 식별하는 단계는, 촬영되는 이미지에서 마커를 검출하는 단계와, 상기 마커의 식별자에 기초하여 상기 AR 컨텐츠의 URL(Uniform Resource Locator)을 인식하는 단계와, 상기 마커의 위치 및 크기에 기초하여 상기 AR 컨텐츠를 디스플레이할 위치 및 크기를 결정하는 단계를 포함할 수 있다.
상기 요청하는 단계는, 상기 정보에 기초하여 상기 AR 컨텐츠의 스트리밍 품질을 가장 크게 향상시키는 청크를 요청하는 단계를 포함할 수 있다.
상기 정보는, 상기 AR 컨텐츠의 크기 및 LOD(Level of Detail)에 따른 품질 정보 및 청크의 데이터 크기를 포함할 수 있다.
상기 품질 정보는, 가장 높은 LOD로 렌더링된 이미지 대비 상기 청크의 LOD로 렌더링된 이미지의 평균 제곱 오차(MSE)일 수 있다.
상기 요청하는 단계는, 상기 품질 정보, 상기 데이터 크기, 상기 AR 컨텐츠에 대한 가중치에 기초하여 요청할 청크를 결정하는 단계를 포함할 수 있다.
상기 가중치는, 상기 AR 컨텐츠가 디스플레이될 크기에 기초하여 결정될 수 있다.
상기 렌더링하는 단계는, 상기 청크를 사전에 수신된 청크와 결합하여 상기 AR 컨텐츠를 렌더링하는 단계를 포함할 수 있다.
일 실시예에 따른 증강 현실 스트리밍 장치는, 인스트럭션들을 포함하는 메모리와, 상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고, 상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는, 디스플레이할 AR 컨텐츠를 식별하고, 상기 AR 컨텐츠에 대응하는 메타 파일을 획득하고, 상기 메타 파일로부터 상기 AR 컨텐츠를 렌더링하기 위한 청크(chunks)의 정보를 추출하고, 상기 정보에 기초하여 청크를 요청하고, 상기 청크를 수신하여 상기 AR 컨텐츠를 렌더링한다.
상기 프로세서는, 촬영되는 이미지에서 마커를 검출하고, 상기 마커의 식별자에 기초하여 상기 AR 컨텐츠의 URL(Uniform Resource Locator)을 인식하고, 상기 마커의 위치 및 크기에 기초하여 상기 AR 컨텐츠를 디스플레이할 위치 및 크기를 결정할 수 있다.
상기 프로세서는, 상기 정보에 기초하여 상기 AR 컨텐츠의 스트리밍 품질을 가장 크게 향상시키는 청크를 요청할 수 있다.
상기 정보는, 상기 AR 컨텐츠의 크기 및 LOD(Level of Detail)에 따른 품질 정보 및 청크의 데이터 크기를 포함할 수 있다.
상기 품질 정보는, 가장 높은 LOD로 렌더링된 이미지 대비 상기 청크의 LOD로 렌더링된 이미지의 평균 제곱 오차(MSE)일 수 있다.
상기 프로세서는, 상기 품질 정보, 상기 데이터 크기, 상기 AR 컨텐츠에 대한 가중치에 기초하여 요청할 청크를 결정할 수 있다.
상기 가중치는, 상기 AR 컨텐츠가 디스플레이될 크기에 기초하여 결정될 수 있다.
상기 프로세서는, 상기 청크를 사전에 수신된 청크와 결합하여 상기 AR 컨텐츠를 렌더링할 수 있다.
상기 증강 현실 스트리밍 장치는, 이미지를 촬영하는 카메라와, 상기 이미지 및 상기 AR 컨텐츠를 디스플레이하는 디스플레이 장치를 더 포함할 수 있다.
일 실시예에 따른 서버는, 하나 이상의 AR 컨텐츠에 대한 MPD-AR(Media Presentation Description-AR), 상기 AR 컨텐츠에 대한 점진적 메시 청크(progressive mesh chunks)을 저장하는 메모리와, 단말의 제1 요청에 응답하여 요청된 AR 컨텐츠에 대한 MPD-AR을 전송하고, 상기 단말의 제2 요청에 응답하여 요청된 AR 컨텐츠에 대한 점진적 메시 청크 중 상기 단말이 요청한 LOD(Level of Detail)에 해당하는 청크를 전송하는 프로세서를 포함한다.
상기 MPD-AR은, 상기 AR 컨텐츠의 크기와 LOD에 따른 품질 정보 및 각각의 LOD에 대응하는 청크들의 데이터 크기와 URL을 포함할 수 있다.
상기 품질 정보는, 가장 높은 LOD로 렌더링된 이미지 대비 상기 청크의 LOD로 렌더링된 이미지의 평균 제곱 오차(MSE)일 수 있다.
도 1은 일 실시예에 따른 증강 현실 스트리밍 시스템을 개념적으로 나타내는 도면이다.
도 2는 도 1에 도시된 증강 현실 스트리밍 시스템에 이용되는 점진적 메시를 설명하기 위한 도면이다.
도 3는 도 1에 도시된 증강 현실 스트리밍 시스템의 구성을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 증강 현실 스트리밍 시스템의 동작 과정을 설명하기 위한 도면이다.
도 5은 도 1에 도시된 증강 현실 스트리밍 시스템에 이용되는 메타 파일을 설명하기 위한 도면이다.
도 6은 도 5에 도시된 메타 파일에 포함되는 AR 컨텐츠의 품질 정보를 설명하기 위한 도면이다.
도 7은 도 5에 도시된 메타 파일에 포함되는 청크의 정보를 설명하기 위한 도면이다.
도 8은 도 1에 도시된 서버를 나타내는 도면이다.
도 9는 도 1에 도시된 증강 현실 스트리밍 장치를 나타내는 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 증강 현실 스트리밍 시스템을 개념적으로 나타내는 도면이고, 도 2는 도 1에 도시된 증강 현실 스트리밍 시스템에 이용되는 점진적 메시를 설명하기 위한 도면이다.
증강 현실 스트리밍 시스템(10)은 증강 현실 스트리밍을 제공할 수 있다. 증강 현실 스트리밍 시스템(10)은 시간에 따라 변화하는 불안정한 통신 네트워크에서 낮은 지연을 통해 높은 지각 품질의 증강 현실 스트리밍을 제공할 수 있다.
증강 현실 스트리밍 시스템(10)은 서버(100) 및 증강 현실 스트리밍 장치(150)를 포함할 수 있다.
서버(100)는 AR 컨텐츠를 증강 현실 스트리밍 장치(150)에 제공할 수 있다. 서버(100)는 통신 네트워크를 통해 증강 현실 스트리밍 장치(150)로 AR 컨텐츠를 전송할 수 있다. 서버(100)는 무선 통신 네트워크를 통해 인터넷에 접속된 증강 현실 스트리밍 장치(150)에 AR 컨텐츠를 전송할 수 있다. 서버(100)는 인터넷을 통해 AR 컨텐츠를 전송하는 클라우드 서버일 수 있다.
서버(100)는 AR 컨텐츠를 저장할 수 있다. AR 컨텐츠는 점진적 메시(progressive mesh)로 구성된 3D 객체일 수 있다. 점진적 메시로 구성된 3D 객체는 서로 다른 LOD(Level Of Detail)로 생성될 수 있다.
서버(100)는 서로 다른 LOD를 가지는 3D 객체의 청크(chunks)을 저장할 수 있다. 즉, 하나의 AR 컨텐츠에 대해 낮은 LOD 부터 높은 LOD를 가지는 복수의 청크가 서버(100)에 저장될 수 있다.
점진적 메시로 구성된 3D 객체는 낮은 수준의 LOD 청크부터 높은 수준의 청크가 합쳐지면서, 점진적으로 더 높은 정밀도의 3D 객체로 렌더링될 수 있다. 예를 들어 도 2를 참조하면, 낮은 수준의 LOD #1의 청크는 낮은 정밀도의 3D 객체로 렌더링될 수 있고, LOD #1보다 더 높은 수준의 LOD #2의 청크가 합쳐지는 경우 렌더링 되는 3D 객체의 정밀도가 증가할 수 있다. 최종적으로 가장 높은 수준의 LOD #5의 청크까지 합쳐지는 경우 가장 높은 정밀도를 가지는 3D 객체가 렌더링 될 수 있다.
서버(100)는 AR 컨텐츠에 대한 메타 파일을 저장할 수 있다. 메타 파일은 각각의 AR 컨텐츠와 관련된 정보를 포함하는 XML(Extensible Markup Language) 문서 형식의 MPD-AR(Media Presentation Description-AR)일 수 있다.
증강 현실 스트리밍 장치(150)는 증강 현실을 제공할 수 있는 스마트 디바이스(smart device)일 수 있다. 예를 들어, 증강 현실 스트리밍 장치(150)는 스마트 폰(smartphone), 태블릿 PC(tablet PC) 및 스마트 안경(smart glasses), 스마트 콘택트 렌즈(smart contact lens), 헤드 마운트 디스플레이(head mounted display)와 같은 웨어러블 디바이스(wearable device)로 구현될 수 있다.
증강 현실 스트리밍 장치(150)는 무선 네트워크를 통해 인터넷에 접속하여 서버(100)로부터 AR 컨텐츠를 수신할 수 있다. 증강 현실 스트리밍 장치(150)는 이종 무선 네트워크를 동시에 사용하여 인터넷에 접속할 수도 있다.
증강 현실 스트리밍 장치(150)는 서버(100)로부터 수신한 AR 컨텐츠를 스트리밍할 수 있다. 증간 현실 스트리밍 장치(150)는 카메라를 통해 촬영하는 이미지에 AR 컨텐츠를 함께 디스플레이할 수 있다.
증강 현실 스트리밍 장치(150)는 실시간으로 촬영된 이미지 내 검출된 마커에 기초하여 AR 컨텐츠를 스트리밍할 수 있다. 증강 현실 스트리밍 장치(150)는 검출된 마커에 대응되는 AR 컨텐츠를 서버(100)로부터 수신하여 AR 컨텐츠를 스트리밍할 수 있다.
증강 현실 스트리밍 장치(150)는 AR 컨텐츠에 대한 메타 파일에 기초하여 스트리밍 품질을 개선하기 위해 수신할 청크의 우선 순위를 결정할 수 있다. 증강 현실 스트리밍 장치(150)는 네트워크 상태를 고려하여 낮은 지연의 높은 지각 품질의 스트리밍을 제공하기 위한 청크를 우선적으로 서버(100)에 요청할 수 있다.
증강 현실 스트리밍 장치(150)는 낮은 LOD의 청크와 높은 LOD의 청크를 결합하여 더 높은 정밀도의 AR 컨텐츠를 스트리밍할 수 있다. 예를 들어, 증강 현실 스트리밍 장치(150)는 사전에 수신한 청크와 새롭게 수신한 청크를 결합하여 더 높은 LOD를 가지는 3D 객체를 렌더링할 수 있다.
증강 현실 스트리밍 장치(150)는 낮은 LOD의 청크를 재사용하고 높은 LOD의 청크만 새롭게 요청하므로, 청크의 중복 전송을 피할 수 있어 제한된 무선 네트워크 자원을 효율적으로 이용할 수 있다.
도 3는 도 1에 도시된 증강 현실 스트리밍 시스템의 구성을 설명하기 위한 도면이고, 도 4는 도 1에 도시된 증강 현실 스트리밍 시스템의 동작 과정을 설명하기 위한 도면이다.
서버(100)는 AR 컨텐츠에 대응되는 메타 파일(MPD-AR) 및 점진적 메시 청크(progressive mesh chunks)를 저장할 수 있다. 점진적 메시 청크는 AR 컨텐츠를 점진적으로 더 높은 LOD로 렌더링하기 위한 복수의 청크들을 포함할 수 있다. 예를 들어, 점진적 메시 청크는 1 내지 n 번째 LOD에 대응되는 점진적 메시 청크를 포함할 수 있다.
서버(100)는 복수의 AR 컨텐츠 각각에 대한 메타 파일 및 점진적 메시 청크를 저장할 수 있다. 예를 들어, 서버(100)는 AR 컨텐츠 #1 내지 AR 컨텐츠 #n 각각에 대한 MPD-AR 및 LOD #1 내지 LOD #n의 점진적 메시 청크를 저장할 수 있다.
서버(100)는 증강 현실 스트리밍 장치(150)의 요청에 응답하여 AR 컨텐츠에 대한 메타 파일을 전송할 수 있다. 서버(100)는 증강 현실 스트리밍 장치(150)의 요청에 응답하여 점진적 메시 청크를 전송할 수 있다. 예를 들어, 서버(100)는 증강 현실 스트리밍 장치(150)가 요청한 LOD에 대응하는 점진적 메시 청크를 전송할 수 있다.
증강 현실 스트리밍 장치(150)는 마커 검출기(Marker Detector; 410), 네트워크 모니터(Network Monitor; 420), 청크 스케줄러(Chunk Scheduler; 430) 및 렌더러(Renderer; 440)을 포함할 수 있다.
마커 검출기(410) 실시간으로 촬영되는 이미지에서 마커를 검출할 수 있다(510). 마커 검출기(410)는 이미지 내 마커의 식별자(ID), 크기 및 위치를 검출할 수 있다(511).
마커 검출기(410)는 마커의 식별자에 대응되는 AR 컨텐츠를 식별할 수 있다(513). 마커 검출기(410)는 식별된 AR 컨텐츠의 URL(Uniform Resource Locator)를 인식하여 AR 컨텐츠에 대한 메타 파일을 서버에 요청할 수 있다. 마커 검출기(410)은 마커의 크기 및 위치에 기초하여 AR 컨텐츠가 디스플레이 장치에 디스플레이될 크기 및 위치를 결정할 수 있다.
마커 검출기(410)는 검출된 i번째 마커의 크기(ma i )를 수학식 1과 같이 검출할 수 있다.
Figure pat00001
및
Figure pat00002
는 각각 i번째 마커의 k번째 꼭지점(예를 들어, 1번째 내지 4번째 꼭지점은 각각 사각형 형태의 마커의 네 꼭지점에 대응될 수 있다)의 x 및 y 좌표를 의미한다.
Figure pat00003
마커 검출기(410)는 식별된 마커들의 상대적인 크기에 기초하여 AR 컨텐츠의 크기(s i )를 수학식 2와 같이 결정할 수 있다. N AR 은 식별된 마커의 개수를 의미한다.
Figure pat00004
마커 검출기(410)는 AR 컨텐츠의 크기(s i )를 수학식 3 및 수학식 4에 기초하여 각각
Figure pat00005
로 양자화할 수 있다.
Figure pat00006
는 i번째 마커에 대응되는 AR 컨텐츠 #1의 양자화된 크기이고, S sup 은 양자화된 AR 컨텐츠의 크기의 집합을 의미한다.
Figure pat00007
Figure pat00008
네트워크 모니터(420)는 증강 현실 스트리밍 장치(150)가 접속한 네트워크의 상태 정보를 지속적으로 수집할 수 있다.
청크 스케줄러(430)는 AR 컨텐츠의 스트리밍 품질을 개선하기 위해 우선적으로 요청할 점진적 메시 청크를 결정할 수 있다(530).
청크 스케줄러(430)는 서버(100)로부터 수신한 AR 컨텐츠의 메타 파일을 파싱하여 메타 파일에 포함된 점진적 메시 청크에 대한 정보를 수집할 수 있다.
청크 스케줄러(430)는 수집된 정보에 기초하여 요청할 점진적 메시 청크를 결정할 수 있다. 예를 들어, 청크 스케줄러(430)은 점진적 메시 청크에 대한 정보, AR 컨텐츠가 디스플레이될 크기 및/또는 네트워크 상태 정보에 기초하여 요청할 점진적 메시 청크를 결정할 수 있다(533).
렌더러(440)는 수신된 점진적 메시 청크에 기초하여 3D 객체를 렌더링할 수 있다(535). 렌더러(440)는 사전에 수신한 점진적 메시 청크와 새롭게 수신한 점진적 메시 청크를 결합하여 3D 객체를 렌더링할 수 있다.
렌더러(440)는 초기 지연 시간을 줄이기를 위해 AR 콘텐츠를 구성하는 모든 점진적 메시 청크의 수신을 기다리지 않고 낮은 수준의 LOD에 대응되는 점진적 메시 청크를 이용하여 렌더링을 수행할 수 있다. 렌더러(440)는 이후에 수신되는 더 높은 수준에 LOD에 대응하는 점진적 메시 청크를 결합하여 AR 콘텐츠의 지각 품질을 점진적으로 향상시키며 AR 컨텐츠를 렌더링할 수 있다.
렌더러(440)는 마커의 크기 및 위치에 기초하여 렌더링된 3D 객체를 디스플레이 장치에 디스플레이할 수 있다.
도 5은 도 1에 도시된 증강 현실 스트리밍 시스템에 이용되는 메타 파일을 설명하기 위한 도면이고, 도 6은 도 5에 도시된 메타 파일에 포함되는 AR 컨텐츠의 품질 정보를 설명하기 위한 도면이고, 도 7은 도 5에 도시된 메타 파일에 포함되는 청크의 정보를 설명하기 위한 도면이다.
서버(100)는 각각의 AR컨텐츠에 대응하는 메타 파일을 저장할 수 있다. 메타 파일은 XML(Extensible Markup Language) 문서 형식의 MPD-AR(Media Presentation Description-AR)일 수 있다.
MPD-AR은 AR 컨텐츠를 스트리밍하기 위한 점진적 메시 청크에 대한 정보를 포함할 수 있다.
MPD-AR은 최상위 계층으로 Marker_ID를 포함할 수 있다. Marker_ID는 AR 컨텐츠에 대응하는 마커의 식별자일 수 있다.
MPD-AR은 두번째 계층으로 ArObject를 포함할 수 있다. ArObject는 AR 컨텐츠의 이름을 나타낼 수 있다.
MPD-AR은 세번째 계층으로 ArAdaptationSet을 포함할 수 있다. ArAdaptationSet는 선택 가능한 점진적 메쉬 청크의 정보를 포함할 수 있다. ArAdaptationSet는 하위 계층으로 LevelOfDetail을 포함할 수 있다. 예를 들어, ArAdaptationSet는 각각의 LOD에 대응하는 LevelOfDetail을 포함할 수 있다.
LevelOfDetail은 각각의 LOD에 대응하는 점진적 메쉬 청크의 상세한 정보 제공하는 하위 계층 Scale_MSE_List 및 ArChunkURL을 포함할 수 있다.
Scale_MSE_List는 AR 컨텐츠의 크기에 따른 점진적 메시 청크의 품질 정보를 포함할 수 있다. 예를 들어, Scale_MSE_List는 양자화된 AR 컨텐츠의 크기에 각각에 대응하는 점진적 메시 청크의 품질 정보를 포함할 수 있다. Scale_MSE_List는 하위 계층에서 AR 컨텐츠의 크기 및 품질 정보가 태그로 표시될 수 있다.
품질 정보는 가장 높은 LOD로 렌더링된 이미지 대비 각각의 LOD로 렌더링된 이미지의 평균 제곱 오차(Mean Squared Error(MSE)일 수 있다. 예를 들어, 품질 정보(MSE)는 수학식 5와 같이 최상의 LOD로 렌더링된 이미지의 픽셀 값(
Figure pat00009
)과 다른 LOD로 렌더링된 이미지의 픽셀 값(
Figure pat00010
) 사이의 차이에 기초하여 계산할 수 있다. 이때, 픽셀 값은 픽셀의 RGB값을 의미할 수 있다. 도 6에 도시된 바와 같이 객체가 포함되지 않은 픽셀은 제외될 수 있다.
Figure pat00011
ArChunkURL은 LOD에 해당하는 점진적 메시 청크의 URL 및 크기(bytes)를 포함할 수 있다. 예를 들어 도 6에 도시된 바와 같이, ArChunkURL는 각각의 LOD에 대응되는 점진적 메시 청크의 URL과 함께 크기가 포함할 수 있다.
이하, MPD-AR에 포함된 점진적 메시 청크에 대한 정보에 기초하여 청크 스케줄러(430)의 동작을 더 상세히 설명하도록 한다.
청크 스케줄러(430)는 수학식 6과 같이 표현되는 가중 MSE(WMSE)에 기초하여 점진적 청크의 수신 순서를 스케줄링할 수 있다. WMSE는 스트리밍되는 AR 컨텐츠의 지각 품질로 정의될 수 있다.
Figure pat00012
Figure pat00013
는 수학식 3과 같이 계산된 AR 컨텐츠의 크기 벡터를 나타내고,
Figure pat00014
는 AR 컨텐츠 #i의 가중치를 나타내며,
Figure pat00015
는 스트리밍되는 AR 컨텐츠 #i의 MSE를 나타낸다.
청크 스케줄러(430)는 WMSE를 최소화하는 점진적 청크를 우선적으로 요청할 수 있다. 청크 스케줄러(430)는 수학식 7과 같이 계산되는 비용 함수를 최대화하며 수학식 8을 만족시키는 AR 컨텐츠 #i의 점진적 메시 청크를 우선적으로 요청할 수 있다.
Figure pat00016
Figure pat00017
Figure pat00018
는 수신된 AR 컨텐츠 #i에 대한 점진적 메시 청크의 LOD의 인덱스를 나타내고,
Figure pat00019
는 AR 컨텐츠 #i를 구성하는 점진적 메시 청크의 최대 LOD를 나타내고,
Figure pat00020
는 AR 컨텐츠 #i에 대한 j번째 LOD의 점진적 메시 청크의 크기(byte)를 나타낸다.
상술한 동작을 통한 청크 스케줄러(430)의 스케줄링 절차는 아래와 같을 수 있다.
1) 모든
Figure pat00021
를 0으로 초기화하고, 서버(100)에서 수신한 MPD-AR을 파싱하여 각각의 AR 컨텐츠의 크기 및 LOD에 따른 MSE 값(
Figure pat00022
), 각각의 점진적 메시 청크의 크기(
Figure pat00023
) 및 각각의 점진적 메시 청크의 URL을 획득하고, 마커 검출기(410)로부터 각각의 AR 컨텐츠를 디스플레이할 크기(
Figure pat00024
)를 획득한다.
2) 비용 함수를 최대화하는 AR 컨텐츠 #i를 결정하고, AR 컨텐츠 #i에 대한
Figure pat00025
번째 LOD의 점진적 메시 청크를 요청한다.
3) 요청한 점진적 메시 청크를 수신한 뒤
Figure pat00026
를
Figure pat00027
로 갱신한다.
4) 모든 AR 컨텐츠에 대한 모든 점진적 메시 청크를 수신할 때까지 2 및 3 단계를 반복한다.
도 8은 도 1에 도시된 서버를 나타내는 도면이고, 도 9는 도 1에 도시된 증강 현실 스트리밍 장치를 나타내는 도면이다.
서버(100)는 메모리(800) 및 프로세서(850)을 포함할 수 있다. 상술한 서버(100)의 동작은 프로세서(850)를 통해 수행될 수 있고, AR 컨텐츠에 대한 메타 파일 및 점진적 메시 청크는 메모리(800)에 저장될 수 있다.
증강 현실 스트리밍 장치(150)는 메모리(900), 프로세서(930), 카메라(950) 및 디스플레이 장치(970)을 포함할 수 있다.
도 4에 도시된 마커 검출기(410), 네트워크 모니터(420), 청크 스케줄러(430) 및 렌더러(440)의 동작은 프로세서(930)를 통해 수행될 수 있다. 즉, 마커 검출기(410), 네트워크 모니터(420), 청크 스케줄러(430) 및 렌더러(440)는 설명의 편의를 위해, 프로세서(930)가 수행하는 동작을 기능에 따라 분류된 구성으로 이해되어야 한다. 이때, 프로세서(930)는 복수의 프로세서를 포함하는 하드웨어일 수 있다.
카메라(950)은 실시간으로 이미지를 촬영할 수 있다. 예를 들어, 카메라(950)는 AR 컨텐츠가 스트리밍될 영역의 이미지를 획득할 수 있다.
디스플레이 장치(970)은 AR 컨텐츠를 디스플레이할 수 있다. 디스플레이 장치(970)는 실시간으로 촬영되는 이미지에 렌더링된 AR 컨텐츠를 결합하여 디스플레이할 수 있다.
프로세서(850 및 930)는 메모리에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
프로세서(850 및 930)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
메모리(800 및 900)는 프로세서에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
메모리(800 및 900)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Eelectronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 디스플레이할 AR 컨텐츠를 식별하는 단계;
    상기 AR 컨텐츠에 대응하는 메타 파일을 획득하는 단계;
    상기 메타 파일로부터 상기 AR 컨텐츠를 렌더링하기 위한 청크(chunks)의 정보를 추출하는 단계;
    상기 정보에 기초하여 청크를 요청하는 단계; 및
    상기 청크를 수신하여 상기 AR 컨텐츠를 렌더링하는 단계
    를 포함하는, 증강 현실 스트리밍 방법.
  2. 제1항에 있어서,
    상기 식별하는 단계는,
    촬영되는 이미지에서 마커를 검출하는 단계;
    상기 마커의 식별자에 기초하여 상기 AR 컨텐츠의 URL(Uniform Resource Locator)을 인식하는 단계; 및
    상기 마커의 위치 및 크기에 기초하여 상기 AR 컨텐츠를 디스플레이할 위치 및 크기를 결정하는 단계
    를 포함하는, 증강 현실 스트리밍 방법.
  3. 제1항에 있어서,
    상기 요청하는 단계는,
    상기 정보에 기초하여 상기 AR 컨텐츠의 스트리밍 품질을 가장 크게 향상시키는 청크를 요청하는 단계
    를 포함하는,
  4. 제1항에 있어서,
    상기 정보는,
    상기 AR 컨텐츠의 크기 및 LOD(Level of Detail)에 따른 품질 정보 및 청크의 데이터 크기를 포함하는, 증강 현실 스트리밍 방법.
  5. 제4항에 있어서,
    상기 품질 정보는,
    가장 높은 LOD로 렌더링된 이미지 대비 상기 청크의 LOD로 렌더링된 이미지의 평균 제곱 오차(MSE)인, 증강 현실 스트리밍 방법.
  6. 제4항에 있어서,
    상기 요청하는 단계는,
    상기 품질 정보, 상기 데이터 크기, 상기 AR 컨텐츠에 대한 가중치에 기초하여 요청할 청크를 결정하는 단계
    를 포함하는, 증강 현실 스트리밍 방법.
  7. 제6항에 있어서,
    상기 가중치는,
    상기 AR 컨텐츠가 디스플레이될 크기에 기초하여 결정되는, 증강 현실 스트리밍 방법.
  8. 제1항에 있어서,
    상기 렌더링하는 단계는,
    상기 청크를 사전에 수신된 청크와 결합하여 상기 AR 컨텐츠를 렌더링하는 단계
    를 포함하는, 증강 현실 스트리밍 방법.
  9. 인스트럭션들을 포함하는 메모리; 및
    상기 인스트럭션들을 실행하기 위한 프로세서
    를 포함하고,
    상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는,
    디스플레이할 AR 컨텐츠를 식별하고, 상기 AR 컨텐츠에 대응하는 메타 파일을 획득하고, 상기 메타 파일로부터 상기 AR 컨텐츠를 렌더링하기 위한 청크(chunks)의 정보를 추출하고, 상기 정보에 기초하여 청크를 요청하고, 상기 청크를 수신하여 상기 AR 컨텐츠를 렌더링하는, 증강 현실 스트리밍 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    촬영되는 이미지에서 마커를 검출하고, 상기 마커의 식별자에 기초하여 상기 AR 컨텐츠의 URL(Uniform Resource Locator)을 인식하고, 상기 마커의 위치 및 크기에 기초하여 상기 AR 컨텐츠를 디스플레이할 위치 및 크기를 결정하는, 증강 현실 스트리밍 장치.
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 정보에 기초하여 상기 AR 컨텐츠의 스트리밍 품질을 가장 크게 향상시키는 청크를 요청하는, 증강 현실 스트리밍 방법.
  12. 제9항에 있어서,
    상기 정보는,
    상기 AR 컨텐츠의 크기 및 LOD(Level of Detail)에 따른 품질 정보 및 청크의 데이터 크기를 포함하는, 증강 현실 스트리밍 장치.
  13. 제12항에 있어서,
    상기 품질 정보는,
    가장 높은 LOD로 렌더링된 이미지 대비 상기 청크의 LOD로 렌더링된 이미지의 평균 제곱 오차(MSE)인, 증강 현실 스트리밍 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 품질 정보, 상기 데이터 크기, 상기 AR 컨텐츠에 대한 가중치에 기초하여 요청할 청크를 결정하는, 증강 현실 스트리밍 장치17
  15. 제14항에 있어서,
    상기 가중치는,
    상기 AR 컨텐츠가 디스플레이될 크기에 기초하여 결정되는, 증강 현실 스트리밍 장치.
  16. 제9항에 있어서,
    상기 프로세서는,
    상기 청크를 사전에 수신된 청크와 결합하여 상기 AR 컨텐츠를 렌더링하는, 증강 현실 스트리밍 장치.
  17. 제9항에 있어서,
    이미지를 촬영하는 카메라; 및
    상기 이미지 및 상기 AR 컨텐츠를 디스플레이하는 디스플레이 장치
    를 더 포함하는, 증강 현실 스트리밍 장치.
  18. 하나 이상의 AR 컨텐츠에 대한 MPD-AR(Media Presentation Description-AR), 상기 AR 컨텐츠에 대한 점진적 메시 청크(progressive mesh chunks)을 저장하는 메모리; 및
    단말의 제1 요청에 응답하여 요청된 AR 컨텐츠에 대한 MPD-AR을 전송하고, 상기 단말의 제2 요청에 응답하여 요청된 AR 컨텐츠에 대한 점진적 메시 청크 중 상기 단말이 요청한 LOD(Level of Detail)에 해당하는 청크를 전송하는 프로세서
    를 포함하는 서버.
  19. 제18항에 있어서,
    상기 MPD-AR은,
    상기 AR 컨텐츠의 크기와 LOD에 따른 품질 정보 및 각각의 LOD에 대응하는 청크들의 데이터 크기와 URL을 포함하는, 서버.
  20. 제19항에 있어서,
    상기 품질 정보는,
    가장 높은 LOD로 렌더링된 이미지 대비 상기 청크의 LOD로 렌더링된 이미지의 평균 제곱 오차(MSE)인, 서버.
KR1020200167696A 2020-12-03 2020-12-03 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치 KR20220078298A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200167696A KR20220078298A (ko) 2020-12-03 2020-12-03 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치
US17/236,038 US11758107B2 (en) 2020-12-03 2021-04-21 Method of providing adaptive augmented reality streaming and apparatus performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200167696A KR20220078298A (ko) 2020-12-03 2020-12-03 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치

Publications (1)

Publication Number Publication Date
KR20220078298A true KR20220078298A (ko) 2022-06-10

Family

ID=81848451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200167696A KR20220078298A (ko) 2020-12-03 2020-12-03 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치

Country Status (2)

Country Link
US (1) US11758107B2 (ko)
KR (1) KR20220078298A (ko)

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100294923B1 (ko) 1998-10-02 2001-09-07 윤종용 손실 탄력성을 갖는 점진적 삼차원 메쉬 정보의 부호화/복호화방법
US7272658B1 (en) 2003-02-13 2007-09-18 Adobe Systems Incorporated Real-time priority-based media communication
US7885455B2 (en) * 2006-04-14 2011-02-08 UTC Fire & Security Americas Corporation, Inc Method of combining images of multiple resolutions to produce an enhanced active appearance model
DE102006043894B3 (de) * 2006-09-19 2007-10-04 Siemens Ag Detailtiefenstufen-Einstellung mehrdimensionaler Bilddaten mit einem Client/Server-basierten Bildrenderingsystem
US20110137561A1 (en) * 2009-12-04 2011-06-09 Nokia Corporation Method and apparatus for measuring geographic coordinates of a point of interest in an image
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
CN102255930B (zh) * 2010-05-21 2014-04-02 国际商业机器公司 用于提供虚拟世界的场景数据的方法和系统
US9602813B2 (en) * 2010-08-18 2017-03-21 Sk Telecom Co., Ltd. Image encoding/decoding device and method, and reference picture indexing device and method
US20120277571A1 (en) * 2011-04-26 2012-11-01 Korea Basic Science Institute Method For Measuring Trabecular Bone Parameters From MRI Images
US8924580B2 (en) 2011-08-12 2014-12-30 Cisco Technology, Inc. Constant-quality rate-adaptive streaming
EP2704055A1 (en) * 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
EP2893706B1 (en) * 2012-09-04 2020-01-08 Synamedia Limited Augmented reality for video system
US20150206348A1 (en) * 2012-09-07 2015-07-23 Hitachi Maxell, Ltd. Reception device
US20140198097A1 (en) * 2013-01-16 2014-07-17 Microsoft Corporation Continuous and dynamic level of detail for efficient point cloud object rendering
US9699375B2 (en) * 2013-04-05 2017-07-04 Nokia Technology Oy Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9621604B2 (en) 2013-09-11 2017-04-11 Cisco Technology, Inc. Statistical remultiplexing of ABR streams
US20150161822A1 (en) * 2013-12-11 2015-06-11 Adobe Systems Incorporated Location-Specific Digital Artwork Using Augmented Reality
KR101827550B1 (ko) * 2014-01-31 2018-02-08 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 스킨 매니저
US20150262428A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Hierarchical clustering for view management augmented reality
KR101548501B1 (ko) 2014-04-07 2015-09-01 주식회사 바른기술 청크 기반의 끊김 없는 스트림 송수신 장치 및 그 방법
US10026226B1 (en) * 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US9722903B2 (en) 2014-09-11 2017-08-01 At&T Intellectual Property I, L.P. Adaptive bit rate media streaming based on network conditions received via a network monitor
US10664975B2 (en) * 2014-11-18 2020-05-26 Seiko Epson Corporation Image processing apparatus, control method for image processing apparatus, and computer program for generating a virtual image corresponding to a moving target
US20160140761A1 (en) * 2014-11-19 2016-05-19 Microsoft Technology Licensing, Llc. Using depth information for drawing in augmented reality scenes
US9804813B2 (en) * 2014-11-26 2017-10-31 The United States Of America As Represented By Secretary Of The Navy Augmented reality cross-domain solution for physically disconnected security domains
US9591349B2 (en) * 2014-12-23 2017-03-07 Intel Corporation Interactive binocular video display
US9646421B2 (en) * 2015-04-14 2017-05-09 International Business Machines Corporation Synchronizing an augmented reality video stream with a displayed video stream
US10083363B2 (en) * 2015-05-26 2018-09-25 Nbcuniversal Media, Llc System and method for customizing content for a user
US10491711B2 (en) * 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
KR20170060485A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 표시 모드에 따른 콘텐트를 표시하기 위한 전자 장치 및 방법
US9986177B2 (en) * 2016-03-09 2018-05-29 Galileo Group, Inc. Spectral enhancements to mobile devices
US10380800B2 (en) * 2016-04-18 2019-08-13 Disney Enterprises, Inc. System and method for linking and interacting between augmented reality and virtual reality environments
EP3465619A2 (en) * 2016-05-27 2019-04-10 Holobuilder Inc, Augmented and virtual reality
CN109690634A (zh) 2016-09-23 2019-04-26 苹果公司 增强现实显示器
US10380762B2 (en) * 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
US10417810B2 (en) * 2017-05-31 2019-09-17 Verizon Patent And Licensing Inc. Methods and systems for rendering virtual reality content based on two-dimensional (“2D”) captured imagery of a three-dimensional (“3D”) scene
WO2019006650A1 (zh) * 2017-07-04 2019-01-10 腾讯科技（深圳）有限公司 虚拟现实内容的显示方法和装置
US10242502B2 (en) * 2017-07-27 2019-03-26 Facebook, Inc. Providing an augmented reality overlay for display over a view of a user
US10922483B1 (en) * 2017-08-04 2021-02-16 Grammarly, Inc. Artificial intelligence communication assistance for providing communication advice utilizing communication profiles
US10462495B2 (en) * 2017-08-09 2019-10-29 Vital Images, Inc. Progressive lossless compression of image data
JP2021502130A (ja) * 2017-09-27 2021-01-28 ユニバーシティー オブ マイアミＵｎｉｖｅｒｓｉｔｙ Ｏｆ Ｍｉａｍｉ デジタル治療用矯正眼鏡
US10192353B1 (en) 2017-10-10 2019-01-29 8i Limited Multiresolution surface representation and compression
EP3704656A1 (en) * 2017-11-02 2020-09-09 Measur3D, LLC Clothing model generation and display system
US10341657B2 (en) * 2017-11-14 2019-07-02 Telefonaktiebolaget Lm Ericsson (Publ) System and method for mitigating motion artifacts in a media streaming network
US10712811B2 (en) * 2017-12-12 2020-07-14 Facebook, Inc. Providing a digital model of a corresponding product in a camera feed
US10002442B1 (en) * 2017-12-21 2018-06-19 Capital One Services, Llc Placement of augmented reality objects using a guide marker
US10607567B1 (en) 2018-03-16 2020-03-31 Amazon Technologies, Inc. Color variant environment mapping for augmented reality
US11276244B2 (en) * 2018-09-18 2022-03-15 AB Strategies SEZC Ltd. Fixing holes in a computer generated model of a real-world environment
US11069145B1 (en) * 2018-10-09 2021-07-20 Corelogic Solutions, Llc Augmented reality application for interacting with building models
KR20200073784A (ko) 2018-12-14 2020-06-24 주식회사 케이티 가상 현실 서비스를 제공하는 서버, 단말 및 방법
KR102153801B1 (ko) 2018-12-21 2020-09-08 한국과학기술원 비디오 스트리밍 방법 및 장치
US11430211B1 (en) * 2018-12-21 2022-08-30 Zest Reality Media, Inc. Method for creating and displaying social media content associated with real-world objects or phenomena using augmented reality
US11373338B2 (en) * 2019-01-09 2022-06-28 Samsung Electronics Co., Ltd. Image padding in video-based point-cloud compression CODEC
US10628185B1 (en) * 2019-02-08 2020-04-21 Adobe Inc. Content-adaptive guided tutorial generation
US11568575B2 (en) * 2019-02-19 2023-01-31 Google Llc Cost-driven framework for progressive compression of textured meshes
US10977773B2 (en) * 2019-02-19 2021-04-13 Google Llc Cost-driven framework for progressive compression of textured meshes
GB2582155B (en) * 2019-03-12 2023-12-27 Canon Kk Method, device, and computer program for signaling available portions of encapsulated media content
US11069094B1 (en) * 2019-05-13 2021-07-20 Facebook, Inc. Generating realistic makeup in a digital video stream
US11245724B2 (en) * 2019-06-07 2022-02-08 Paypal, Inc. Spoofed webpage detection
US11094087B2 (en) * 2019-06-24 2021-08-17 Google Llc Dual serving scheme for LOD sequences
US11093123B1 (en) * 2019-10-09 2021-08-17 Facebook Technologies, Llc Saving content for viewing on a virtual reality rendering device
US11412011B1 (en) * 2020-09-23 2022-08-09 Bridgit To The Future, Inc. Methods, systems, apparatuses, and devices for facilitating interaction between users viewing same webpages and virtual locations
US11127223B1 (en) * 2020-10-16 2021-09-21 Splunkinc. Mesh updates via mesh splitting

Also Published As

Publication number Publication date
US20220182596A1 (en) 2022-06-09
US11758107B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
KR102421701B1 (ko) 가상 현실 및 증강 현실 웹 페이지들의 콘텐츠 전달 가속화를 위한 시스템들 및 방법들
US20210021817A1 (en) Hologram streaming machine
GB2557416A (en) Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
CN109919110B (zh) 视频关注区域检测方法、装置及设备
TW200910258A (en) Tiled packaging of vector image data
WO2019080747A1 (zh) 目标跟踪及神经网络训练方法、装置、存储介质、电子设备
US11539983B2 (en) Virtual reality video transmission method, client device and server
JP7411114B2 (ja) 空間幾何情報推定モデルの生成方法及び装置
JP2010537348A (ja) 解像度の連続した付加レイヤー内の地理空間テクスチャ・データを選択的に読み出し表示するための地理空間データシステム、および関連した方法
WO2015164813A1 (en) Method and system for bandwidth-dependent file transfer
JP2010537349A (ja) ユーザ選択された視点に基づいて、地理空間テクスチャ・データを選択的に読み出し表示するための地理空間データシステム、および関連する方法
KR101764063B1 (ko) Vr 컨텐츠의 분석 및 프리-렌더링을 위한 방법 및 시스템
CN111428805A (zh) 显著性物体的检测方法、装置、存储介质及电子设备
CN108268138A (zh) 增强现实的处理方法、装置及电子设备
KR102095454B1 (ko) 커넥티드 카를 위한 클라우드 서버 및 상황 재현 방법
KR20220078298A (ko) 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치
US20150185992A1 (en) Providing geolocated imagery related to a user-selected image
US8867837B2 (en) Detecting separator lines in a web page
KR102471792B1 (ko) Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법
US20150154784A1 (en) Use of Photo Animation Transitions to Mask Latency
US11550387B2 (en) Stereo correspondence search
CN113867875A (zh) 标记对象的编辑及显示方法、装置、设备、存储介质
CN112394809A (zh) 一种实现增强现实的方法、装置及通信设备
CN114022619B (zh) 图像位姿优化方法和装置、设备、存储介质和程序产品
CN116957893B (zh) 水印生成方法、装置、电子设备和计算机可读介质