KR102471792B1 - Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법 - Google Patents

Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법 Download PDF

Info

Publication number
KR102471792B1
KR102471792B1 KR1020200143625A KR20200143625A KR102471792B1 KR 102471792 B1 KR102471792 B1 KR 102471792B1 KR 1020200143625 A KR1020200143625 A KR 1020200143625A KR 20200143625 A KR20200143625 A KR 20200143625A KR 102471792 B1 KR102471792 B1 KR 102471792B1
Authority
KR
South Korea
Prior art keywords
video
cloud
rendering
virtual
object content
Prior art date
Application number
KR1020200143625A
Other languages
English (en)
Other versions
KR20220058169A (ko
Inventor
이기태
김주홍
최지희
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020200143625A priority Critical patent/KR102471792B1/ko
Publication of KR20220058169A publication Critical patent/KR20220058169A/ko
Application granted granted Critical
Publication of KR102471792B1 publication Critical patent/KR102471792B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

실시예는, AR 컨텐츠의 렌더링을 위한 클라우드의 동작 방법에 대한 것이다. 영상 재생 장치의 동작 방법은, 디바이스로부터 수신된 재생 요청에 대응하여, 3차원 오브젝트 컨텐츠를 재생하는 단계; 상기 3차원 오브젝트 컨텐츠의 재생 중에 상기 디바이스의 센싱 정보를 획득하는 단계; 상기 센싱 정보에 기초하여 상기 3차원 오브젝트 컨텐츠가 재생되는 가상의 3차원 공간 내 가상 카메라의 위치를 조정하는 단계; 상기 가상 카메라의 위치에 기초하여 AR 동영상을 렌더링하는 단계; 및 상기 AR 동영상을 상기 디바이스로 전송하는 단계를 포함할 수 있다.

Description

AR 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법{CLOUD SERVER FOR RENDERING AR CONTENTS AND OPERAING METHOD OF THEREOF}
실시예는, AR 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법에 관한 것이다.
최근 스마트폰을 비롯한 촬영 기능을 가진 휴대형 디바이스로 증강 현실이 적용된 장치들이 상용화되고 있다. 즉, 스마트폰을 비롯한 촬영 기능을 가진 휴대형 디바이스의 디스플레이부를 통하여, 사용자가 실제 촬영하고 있는 영상 위에 가상의 오브젝트를 오버랩하여 보여주게 된다. 여기서, 가상의 오브젝트라 함은 건물이나 사람, 동물에 대한 정보에 대한 텍스트 정보나, 이미지 정보 등이 해당될 것이다.
증강 현실의 영상에 포함되는 가상의 오브젝트들은 실제 촬영되고 있을 때에 보여지게 되며, 가상의 오브젝트들을 터치하거나 클릭하는 경우에는, 터치 또는 클릭된 정보에 엑세스하거나, 관련 정보를 더 제공함으로써, 사용자에게 편리함을 준다.
현재 대부분 AR/VR 컨텐츠를 스트리밍 및 다운로드를 받아 디바이스의 리소스로 플레이를 진행하고 있어, 디바이스의 부하가 많이 생기는 문제점이 있다. 반대로 클라우드로 영상을 모두 전달하여 클라우드에서 AR 컨텐츠를 생성하는 방법은 네트워크 속도 지연(Latency)에 대한 문제가 발생하며, 서버에서 디코딩 영상 인식, 합성 렌더링, 인코딩을 모두 수행해야 하므로, 서버의 속도 지연의 문제점이 발생한다.
이와 관련하여, 한국공개특허 제2012-0035036호에서는 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치에 대해 개시한다.
실시예에 따른 발명은, 클라우드에서 AR 컨텐츠를 렌더링하는 방법을 최적화하기 위한 것으로, 디바이스에서 제공되는 센서의 정보, 카메라의 위치 정보만을 클라우드에 보내고, 클라우드에서는 렌더링 인코딩만 수행하도록 함으로써 네트워크 속도 및 클라우드의 성능을 저하시키지 않는 클라우드의 AR 컨텐츠 렌더링 방법을 제공하고자 한다.
실시예에 따른 발명은, 클라우드에서 AR 컨텐츠를 렌더링하는 방법을 최적화하기 위한 것으로, 디바이스에서 제공되는 센서의 정보, 카메라의 위치 정보만을 클라우드에 보내고, 클라우드에서는 렌더링 인코딩만 수행하도록 함으로써 네트워크 속도 및 클라우드의 성능을 저하시키지 않는 클라우드의 AR 컨텐츠 렌더링 방법을 제공할 수 있다.
실시예를 통해, 서버에서는 고용량의 컴퓨팅 능력으로 보다 좋은 렌더링 결과물을 획득 가능하도록 하고, 디바이스에서는 전송하는 센서, 카메라 좌표 등의 값을 가상의 카메라에 맵핑해 렌더링을 하면서 기존의 AR 경험을 유지하도록 할 수 있다.
도 1은 실시예에서, AR 컨텐츠의 렌더링을 위한 디바이스와 클라우드의 동작 방법을 설명하기 위한 흐름도이다.
도 2는 실시예에서, 가상 3차원 공간에서 3차원 오브젝트 컨텐츠를 렌더링하는 방법을 설명하기 위한 도면이다.
도 3은 실시예에서, 디바이스에서 AR 동영상이 재생되는 형태를 설명하기 위한 도면이다.
도 4는 실시예에서, 디바이스와 클라우드의 구성을 설명하기 위한 블록도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 실시예에서, AR 컨텐츠의 렌더링을 위한 디바이스와 클라우드의 동작 방법을 설명하기 위한 흐름도이다.
단계(110)에서 디바이스는 클라우드로 3차원 오브젝트 컨텐츠 ID를 전송할 수 있다.
실시예에서, 해당 동작을 통해 디바이스는 클라우드로 해당 ID에 대응하는 3차원 오브젝트 컨텐츠의 재생을 요청할 수 있다.
단계(120)에서 클라우드는, 디바이스로부터 수신된 재생 요청에 대응하여, 3차원 오브젝트 컨텐츠를 재생한다.
실시예에서, 3차원 오브젝트 컨텐츠 ID에 대응하는 컨텐츠를 재생하되, 재생되는 컨텐츠를 전송하지는 않으며, 3차원 오브젝트 컨텐츠는 가상의 3차원 공간에서 재생할 수 있다.
단계(130)에서 디바이스는, IMU 센서 및 카메라의 정보를 센싱할 수 있다.
실시예에서, 사용자가 디바이스를 들고 있는 각도 및 위치에 대한 정보를 센싱할 수 있다. 예를 들어, IMU 센서의 가속도계, 각속도계, 지자기계 및 고도계 중 적어도 하나를 이용하여 사용자 및 디바이스의 움직임 상황에 대한 정보를 센싱하고, 카메라의 좌표 정보를 획득할 수 있다.
단계(140)에서 디바이스는, 센싱 정보를 클라우드로 전송할 수 있다. 클라우드는 전송된 센싱 정보를 획득할 수 있다.
실시예에서, 클라우드는 3차원 오브젝트 컨텐츠의 재생 중에 디바이스의 센싱 정보를 획득할 수 있다.
단계(150)에서 클라우드는 센싱 정보에 기초하여 가상 3차원 공간 내 가상 카메라의 위치를 조정한다.
실시예에서, 클라우드는 3차원 오브젝트 컨텐츠가 재생되는 가상의 3차원 공간에서 센싱 정보와 대응하도록 가상 카메라의 위치를 조정할 수 있다. 예를 들어, 카메라의 위치를 디바이스의 위치로 가정하고, 카메라의 위치 정보에 가상 카메라의 위치를 매핑할 수 있다.
단계(160)에서 클라우드는, 조정된 가상 카메라의 위치에 기초하여 AR 동영상을 렌더링한다.
실시예에서, 재생 중인 3차원 오브젝트 컨텐츠에 대해서 조정된 가상 카메라의 위치에서 촬영하도록 함으로써 3차원 오브젝트 컨텐츠의 AR 동영상을 렌더링할 수 있다.
실시예에서, AR 동영상을 렌더링하는 레이어의 배경 레이어는 디폴트 색으로 채워지거나 설정 값이 투명한 레이어로 채워질 수 있다. 예를 들어, 배경 레이어를 채워 넣은 후, 배경 레이어의 상위 레이어에 3차원 오브젝트 컨텐츠를 렌더링할 수 있다.
실시예에서, 디바이스는 디바이스의 움직임에 대응하여 3차원 오브젝트 컨텐츠의 AR 동영상을 렌더링할 수 있도록 미리 정해진 시간 단위로 예컨대, ms 단위의 짧은 시간마다 디바이스의 센싱 정보를 획득하여 클라우드로 전송할 수 있다.
다른 예로, 디바이스는 디바이스의 움직임에 대응하여 센싱되는 센싱 정보의 변화량에 기초하여 해당 센싱 정보를 클라우드로 전송할 수 있다. 예를 들어, 획득한 센싱 정보가 이전의 타임 스탬프의 센싱 정보에 대비하여 미리 정해진 범위를 초과하는 경우, 해당 센싱 정보를 클라우드로 전송할 수 있다.
실시예에서, 클라우드는 3차원 오브젝트 컨텐츠의 재생 중에, 디바이스로부터 전송되는 센싱 정보에 기초하여 실시간의 AR 동영상을 렌더링할 수 있다.
단계(170)에서 클라우드는 AR 동영상을 디바이스로 전송한다.
실시예에서, AR 동영상을 전송하기 위해서 인코딩 과정을 거칠 수 있다. 예를 들어, 렌더링되는 AR 동영상을 실시간으로 인코딩하여 전송하는 형태로 서비스될 수 있다. 인코딩된 고용량의 동영상 프레임이 디바이스로 전송될 수 있다.
단계(180)에서 디바이스는, AR 동영상을 재생할 수 있다.
실시예에서, 카메라를 통해 촬영되는 영상에 수신된 AR 동영상을 재생할 수 있다. 이를 위해, 수신되는 AR 동영상을 디코딩할 수 있다.
디바이스는 수신된 AR 동영상을 미리 정해진 위치에 재생할 수 있다. 예를 들어, 디바이스는 AR 동영상을 미리 정해진 위치에 재생하기 위해, AR 동영상이 재생되는 위치를 기준으로 IMU 센서 및 카메라의 좌표 정보를 생성할 수 있다.
실시예에서, 수신되는 AR 동영상은 배경 레이어 및 3차원 오브젝트 컨텐츠가 렌더링된 레이어로 이루어질 수 있다. 디바이스에서 AR 동영상을 재생할 시, AR 동영상의 배경 레이어를 제거한 후 재생시킬 수 있다.
실시예를 통해 디바이스에서 카메라를 통해 입력되는 영상을 클라우드로 제공하지 않더라도 클라우드 기반의 AR 컨텐츠를 제공받을 수 있다.
도 2는 실시예에서, 가상 3차원 공간에서 3차원 오브젝트 컨텐츠를 렌더링하는 방법을 설명하기 위한 도면이다.
실시예에서, 클라우드는 3차원 오브젝트 컨텐츠를 렌더링한 AR 동영상을 제공하기 위해서, 전송된 센싱 정보에 기초하여 가상의 3차원 공간(201)에 가상 카메라(202) 위치를 조정함으로써 3차원 오브젝트 컨텐츠(203)를 렌더링할 수 있다.
앞서 설명한 바와 같이, 디바이스는 IMU 및 카메라에 대한 센싱 정보를 클라우드로 제공할 수 있다. 클라우드는 해당 센싱 정보에 기초하여 가상 카메라(202)의 위치를 조정할 수 있다. 예를 들어, 가상 카메라의 좌표뿐만 아니라 3차원 오브젝트 컨텐츠에 대응하여 가상 카메라의 각도 등을 조정할 수 있다.
도시된 바와 같이, 가상 카메라(202)의 위치 및 각도에 대응하여 3차원 오브젝트 컨텐츠(203)는 각각 다른 각도에서 촬영되는 이미지로 렌더링될 수 있다.
실시예에서, 가상 카메라(202)의 위치는 디바이스로부터 전송된 카메라의 위치 정보와 매핑되어 조정될 수 있다. 디바이스의 IMU 센서 및 카메라의 좌표와 대응하도록 가상의 3차원 공간(301) 내 가상 좌표계의 가상 카메라(202)를 이동시킬 수 있다. 예를 들어, 연속적인 AR 동영상을 제공할 수 있도록 가상 카메라(202)의 움직임이 가상 좌표 내에서 연속적으로 움직일 수 있도록 가상 카메라(202)의 위치를 제어할 수 있다.
실시예에서, 3차원 오브젝트 컨텐츠(203)는 미리 정해진 위치로 렌더링될 수 있다. 해당 위치는 가상의 3차원 공간(301) 내 중앙에 해당할 수 있다. 도 2의 3차원 오브젝트 컨텐츠(203) 각각은 가상 카메라(202)의 위치에 대응하여 렌더링되는 3차원 오브젝트 컨텐츠(203)의 실시예를 설명하기 위한 것으로, 각 3차원 오브젝트 컨텐츠(203)는 가상 카메라(202)의 위치에 따라 가상의 3차원 공간(301) 내 중앙에 연속적으로 렌더링될 수 있다.
실시예에서, AR 동영상의 각각의 프레임에 대해서 렌더링되는 3차원 오브젝트 컨텐츠(203)의 배경 레이어는 디폴트 색의 레이어 또는 투명한 레이어가 활용될 수 있다.
실시예에서, 디바이스는 AR 동영상을 미리 정해진 위치에 재생하기 위해, AR 동영상이 재생되는 위치를 기준으로 IMU 센서 및 카메라의 좌표 정보를 포함하는 센싱 정보를 클라우드로 전송할 수 있으며, 클라우드는 센싱 정보에 기초하여 AR 동영상을 렌더링 할 수 있다. 예를 들어, 디바이스에서 AR 동영상을 재생시키기 위한 위치가 미리 결정될 수 있고, 해당 위치에 대응하여 센싱 정보를 제공할 수 있다.
도 3은 실시예에서, 디바이스에서 AR 동영상이 재생되는 형태를 설명하기 위한 도면이다.
실시예에서 디바이스(310)는 카메라를 통해 입력되는 영상(301) 내에 클라우드로부터 수신되는 AR 동영상(302)를 출력할 수 있다.
실시예에서, AR 동영상(302)은 클라우드로부터 수신된 인코딩된 AR 동영상을 디코딩하여 출력될 수 있다.
실시예에서, AR 동영상(302)이 출력되는 위치는 미리 정해질 수 있고, 예컨대 카메라를 통해 입력되는 영상(301) 내에서 사용자의 선택에 의해서 AR 동영상(302)이 출력될 위치가 결정될 수 있다.
실시예에서, AR 동영상(302)은 디바이스(310)에서 클라우드로 전송되는 센싱 정보에 기초하여 생성되고, 디바이스(310)는 클라우드에서 생성된 AR 동영상(302)을 수신하여 재생할 수 있다.
디바이스(310)의 실시간의 움직임에 따라 카메라를 통해 입력되는 영상(301)의 촬영 각도 및 위치가 변경되는데, AR 동영상(302)이 변경되는 센싱 정보에 대응하도록 실시예에서 디바이스(310)는 미리 정해진 시간 단위로 센싱 정보를 획득하여 클라우드로 전송하고, 클라우드에서 센싱 정보에 기초하여 생성되는 AR 동영상(302)를 전송 받아 재생할 수 있다.
실시예에서, AR 동영상(302)은 배경 프레임과 3차원 오브젝트 컨텐츠를 포함하는 프레임으로 구성될 수 있다. 앞서 설명한 바와 같이, AR 동영상(302)이 클라우드에서 생성될 시, 3차원 오브젝트 컨텐츠를 배경 레이어의 상위 레이어에 표현하고, 배경 레이어를 디폴트 색으로 또는 투명 레이어로 표현할 수 있다.
디바이스(310)에서 AR 동영상(302)이 출력될 시, AR 동영상(302)의 배경 레이어를 제거하여 출력함으로써 카메라를 통해 입력되는 영상(301)의 상위에 합성함으로써 AR 컨텐츠가 표현되도록 할 수 있다.
도 4는 실시예에서, 디바이스와 클라우드의 구성을 설명하기 위한 블록도이다.
실시예에서, 디바이스(400)는 센서(410), 메모리(420), 프로세서(430) 및 통신부(440)를 포함하여 구성될 수 있다. 실시예에 따른 센서(410)는 IMU 센서 및 카메라를 포함할 수 있다. 메모리(420)는 프로세서(430)에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고, 해당 프로그램은 아래 설명하는 디바이스(400)의 동작 방법을 실행할 수 있다.
실시예에서, 클라우드(500)는 통신부(510), 메모리(520) 및 프로세서(530)를 포함하여 구성될 수 있다. 메모리(520)는 프로세서(530)에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고, 해당 프로그램은 아래 설명하는 클라우드(500)의 동작 방법을 실행할 수 있다.
디바이스(400)는 통신부(440)를 통해 클라우드(500)로 3차원 오브젝트 컨텐츠 ID를 전송할 수 있다.
실시예에서, 해당 동작을 통해 디바이스(400)는 클라우드(500)로 해당 ID에 대응하는 3차원 오브젝트 컨텐츠의 재생을 요청할 수 있다. 클라우드(500)는, 통신부(510)를 통해 컨텐츠의 재생 요청을 수신할 수 있다.
클라우드(500)는, 디바이스(400)로부터 수신된 재생 요청에 대응하여, 3차원 오브젝트 컨텐츠를 재생한다.
실시예에서, 3차원 오브젝트 컨텐츠 ID에 대응하는 컨텐츠를 재생하되, 재생되는 컨텐츠를 전송하지는 않으며, 3차원 오브젝트 컨텐츠는 가상의 3차원 공간에서 재생할 수 있다.
디바이스(400)는, IMU 센서 및 카메라의 정보를 센싱할 수 있다.
실시예에서, 센서(410)는 사용자가 디바이스(400)를 들고 있는 각도 및 위치에 대한 정보를 센싱할 수 있다. 예를 들어, IMU 센서의 가속도계, 각속도계, 지자기계 및 고도계 중 적어도 하나를 이용하여 사용자 및 디바이스의 움직임 상황에 대한 정보를 센싱하고, 카메라의 좌표 정보를 획득할 수 있다.
디바이스(400)는, 통신부(440)를 통해 센싱 정보를 클라우드(500)로 전송할 수 있다.
실시예에서, 클라우드(500)는 3차원 오브젝트 컨텐츠의 재생 중에 통신부(510)를 통해 센싱 정보를 획득할 수 있다.
클라우드(500)는 센싱 정보에 기초하여 가상 3차원 공간 내 가상 카메라의 위치를 조정한다.
실시예에서, 클라우드(500)는 3차원 오브젝트 컨텐츠가 재생되는 가상의 3차원 공간에서 센싱 정보와 대응하도록 가상 카메라의 위치를 조정할 수 있다. 예를 들어, 카메라의 위치를 디바이스의 위치로 가정하고, 카메라의 위치 정보에 가상 카메라의 위치를 매핑할 수 있다.
클라우드(500)는, 조정된 가상 카메라의 위치에 기초하여 AR 동영상을 렌더링한다.
실시예에서, 재생 중인 3차원 오브젝트 컨텐츠에 대해서 조정된 가상 카메라의 위치에서 촬영하도록 함으로써 3차원 오브젝트 컨텐츠의 AR 동영상을 렌더링할 수 있다.
실시예에서, AR 동영상을 렌더링하는 레이어의 배경 레이어는 디폴트 색으로 채워지거나 설정 값이 투명한 레이어로 채워질 수 있다. 예를 들어, 배경 레이어를 채워 넣은 후, 배경 레이어의 상위 레이어에 3차원 오브젝트 컨텐츠를 렌더링할 수 있다.
실시예에서, 디바이스(400)는 디바이스(400)의 움직임에 대응하여 3차원 오브젝트 컨텐츠의 AR 동영상을 렌더링할 수 있도록 미리 정해진 시간 단위로 예컨대, ms 단위의 짧은 시간마다 디바이스(400)의 센싱 정보를 획득하여 클라우드(500)로 전송할 수 있다.
다른 예로, 디바이스(400)는 디바이스(400)의 움직임에 대응하여 센싱되는 센싱 정보의 변화량에 기초하여 해당 센싱 정보를 클라우드(500)로 전송할 수 있다. 예를 들어, 획득한 센싱 정보가 이전의 타임 스탬프의 센싱 정보에 대비하여 미리 정해진 범위를 초과하는 경우, 해당 센싱 정보를 클라우드(500)로 전송할 수 있다.
실시예에서, 클라우드(500)는 3차원 오브젝트 컨텐츠의 재생 중에, 디바이스(400)로부터 전송되는 센싱 정보에 기초하여 실시간의 AR 동영상을 렌더링할 수 있다.
클라우드(500)는 AR 동영상을 디바이스(400)로 전송한다.
실시예에서, AR 동영상을 전송하기 위해서 인코딩 과정을 거칠 수 있다. 예를 들어, 렌더링되는 AR 동영상을 실시간으로 인코딩하여 전송하는 형태로 서비스될 수 있다. 인코딩된 고용량의 동영상 프레임이 디바이스(400)로 전송될 수 있다.
디바이스(400)는, AR 동영상을 재생할 수 있다.
실시예에서, 카메라를 통해 촬영되는 영상에 수신된 AR 동영상을 재생할 수 있다. 이를 위해, 수신되는 AR 동영상을 디코딩할 수 있다.
디바이스(400)는 수신된 AR 동영상을 미리 정해진 위치에 재생할 수 있다. 예를 들어, 디바이스(400)는 AR 동영상을 미리 정해진 위치에 재생하기 위해, AR 동영상이 재생되는 위치를 기준으로 IMU 센서 및 카메라의 좌표 정보를 생성할 수 있다.
실시예에서, 수신되는 AR 동영상은 배경 레이어 및 3차원 오브젝트 컨텐츠가 렌더링된 레이어로 이루어질 수 있다. 디바이스(400)는 AR 동영상을 재생할 시, AR 동영상의 배경 레이어를 제거한 후 재생시킬 수 있다.
실시예에 따른 클라우드(500)는 AR 동영상을 인코딩하기 위한 인코더를 더 포함할 수 있고, 디바이스(400)는 인코딩되어 전송되는 AR 동영상을 디코딩하기 위한 디코더를 더 포함할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (13)

  1. AR 컨텐츠의 렌더링을 위한 클라우드의 동작 방법에 있어서,
    디바이스로부터 수신된 재생 요청에 대응하여, 3차원 오브젝트 컨텐츠를 재생하는 단계;
    상기 3차원 오브젝트 컨텐츠의 재생 중에 상기 디바이스의 센싱 정보를 획득하는 단계;
    상기 센싱 정보에 기초하여 상기 3차원 오브젝트 컨텐츠가 재생되는 가상의 3차원 공간 내 가상 카메라의 위치를 조정하는 단계;
    상기 가상 카메라의 위치에 기초하여 AR 동영상을 렌더링하는 단계; 및
    상기 AR 동영상을 상기 디바이스로 전송하는 단계
    를 포함하고,
    상기 AR 동영상을 렌더링하는 단계는,
    상기 AR 동영상의 배경 레이어를 디폴트 색 또는 투명 레이어로 채우는 단계
    를 포함하고,
    상기 AR 동영상은 상기 디바이스에서 상기 배경 레이어가 제거된 후 재생되는,
    클라우드의 동작 방법.
  2. 제1항에 있어서,
    상기 가상 카메라의 위치에 기초하여 AR 동영상을 렌더링하는 단계는,
    상기 조정된 위치에 기초하여 상기 3차원 오브젝트 컨텐츠를 재생하는 단계; 및
    상기 AR 동영상을 렌더링하는 단계
    를 포함하는,
    클라우드의 동작 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 디바이스의 센싱 정보를 획득하는 단계는,
    상기 디바이스의 IMU 센서 정보 및 카메라의 좌표 정보를 획득하는 단계
    를 포함하는,
    클라우드의 동작 방법.
  6. 제1항에 있어서,
    상기 가상의 3차원 공간 내 가상 카메라의 위치를 조정하는 단계는,
    상기 가상 카메라의 위치를 상기 디바이스의 위치로 매핑하는 단계
    를 포함하는,
    클라우드의 동작 방법.
  7. 하드웨어와 결합되어 제1항 내지 제2항 및 제5항 내지 제6항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램.
  8. AR 컨텐츠의 렌더링을 위한 클라우드에 있어서,
    하나 이상의 프로세서;
    메모리; 및
    상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고,
    상기 프로그램은,
    디바이스로부터 수신된 재생 요청에 대응하여, 3차원 오브젝트 컨텐츠를 재생하고,
    상기 3차원 오브젝트 컨텐츠의 재생 중에 상기 디바이스의 센싱 정보를 획득하고,
    상기 센싱 정보에 기초하여 상기 3차원 오브젝트 컨텐츠가 재생되는 가상의 3차원 공간 내 가상 카메라의 위치를 조정하고,
    상기 가상 카메라의 위치에 기초하여 AR 동영상을 렌더링하고,
    상기 AR 동영상을 상기 디바이스로 전송하고,
    상기 AR 컨텐츠를 렌더링할 시, 상기 AR 동영상의 배경 레이어를 디폴트 색 또는 투명 레이어로 채우고,
    상기 AR 동영상은 상기 디바이스에서 상기 배경 레이어가 제거된 후 재생되를 포함하는,
    클라우드.
  9. 제8항에 있어서,
    상기 프로그램은,
    상기 조정된 위치에 기초하여 상기 3차원 오브젝트 컨텐츠를 재생하고,
    상기 AR 동영상을 렌더링하는,
    클라우드.
  10. 삭제
  11. 삭제
  12. 제8항에 있어서,
    상기 프로그램은,
    상기 상기 디바이스의 센싱 정보를 획득하기 위해 디바이스의 IMU 센서 정보 및 카메라의 좌표 정보를 획득하는,
    클라우드.
  13. 제8항에 있어서,
    상기 프로그램은,
    상기 가상의 3차원 공간 내 가상 카메라의 위치를 조정하기 위해 상기 가상 카메라의 위치를 상기 디바이스의 위치로 매핑하는,
    클라우드.
KR1020200143625A 2020-10-30 2020-10-30 Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법 KR102471792B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200143625A KR102471792B1 (ko) 2020-10-30 2020-10-30 Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200143625A KR102471792B1 (ko) 2020-10-30 2020-10-30 Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20220058169A KR20220058169A (ko) 2022-05-09
KR102471792B1 true KR102471792B1 (ko) 2022-11-29

Family

ID=81582339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200143625A KR102471792B1 (ko) 2020-10-30 2020-10-30 Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102471792B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240026314A (ko) * 2022-08-18 2024-02-28 한국전자기술연구원 비디오 기반의 증강현실 컨텐츠 제공 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
KR101280210B1 (ko) * 2011-06-29 2013-06-28 김현아 이동 단말에서의 증강현실 기반 정보 제공 방법

Also Published As

Publication number Publication date
KR20220058169A (ko) 2022-05-09

Similar Documents

Publication Publication Date Title
CN108021229B (zh) 通过脱机计算记录高保真度数字沉浸式体验
US9781356B1 (en) Panoramic video viewer
US20170302714A1 (en) Methods and systems for conversion, playback and tagging and streaming of spherical images and video
RU2017131050A (ru) Способы, устройства и системы для автоматического масштабирования при воспроизведении сцены дополненной реальности
JP2017528947A (ja) パノラマ映像コンテンツの再生に使用するシステム及び方法
US20160261841A1 (en) Method and device for synthesizing three-dimensional background content
EP3721636A1 (en) Method for adaptive streaming of media
KR102499904B1 (ko) 가상 현실 미디어 콘텐트 내에 포함시키기 위해 실세계 장면의 맞춤화된 뷰의 가상화된 투영을 생성하기 위한 방법들 및 시스템들
CN109189302B (zh) Ar虚拟模型的控制方法及装置
US9544491B2 (en) Maritime camera and control system
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
US20230026014A1 (en) Video processing device and manifest file for video streaming
US20180003969A1 (en) Master device, slave device, and control method therefor
KR102471792B1 (ko) Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법
CA3199128A1 (en) Systems and methods for augmented reality video generation
CN114143568B (zh) 一种用于确定增强现实直播图像的方法与设备
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
KR102218843B1 (ko) 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법
WO2018178510A2 (en) Video streaming
CN110913265A (zh) 视频数据的缓冲调度方法及装置
US9860480B2 (en) Method for processing information and electronic device
KR20210138357A (ko) 현실 인식을 이용한 콘텐츠 재생 방법과 시스템
CN111448544A (zh) 沉浸式虚拟环境中的动画化视角的选择
KR102543136B1 (ko) 클라우드 vr 기반의 3차원 영상 제공 방법
GB2560923A (en) Video streaming

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant