KR102262521B1 - 다양한 확장현실 모드의 통합 렌더링 방법 및 그것이 적용된 장치 - Google Patents

Abstract

다양한 확장현실 모드의 통합 렌더링 방법 및 장치에 관한 것으로, 스토리지로부터 확장현실 이미지를 표현하고 확장현실 이미지에 포함된 가상객체를 표현하는 적어도 하나의 가상객체 컨텐츠를 포함하는 확장현실(XR) 신(Scene) 컨텐츠를 로드하고, 사용자로부터 가상현실 모드와 증강현실 모드를 포함하는 복수의 확장현실 모드 중 어느 하나의 확장현실 모드를 선택받고, 선택된 확장현실 모드에 따라 적어도 하나의 가상객체 컨텐츠에 대한 복수 개의 렌더링 옵션 각각의 속성을 유지 또는 변환하고, 유지 또는 변환된 속성을 갖는 적어도 하나의 가상객체 컨텐츠를 렌더링함으로써, 하나의 XR-신 컨텐츠로부터 가상현실 이미지 및 증강현실 이미지를 생성할 수 있다.

Description

다양한 확장현실 모드의 통합 렌더링 방법 및 그것이 적용된 장치{Integrated rendering method for various extended reality modes and device having thereof}

다양한 확장현실 모드의 통합 렌더링 방법에 관한 것으로서, 보다 구체적으로 확장현실 신 컨텐츠에 기초하여 증강현실 및 가상현실 이미지를 생성할 수 있는 통합 렌더링 방법에 관한 것이다.

가상현실(VR: Virtual Reality) 기술은 현실 세계의 객체 및 배경 등을 컴퓨터로 시뮬레이션하고 시뮬레이션된 가상객체 및 가상 배경을 사용자에 제공하고, 증강현실(AR: Augmented Reality) 기술은 현실 세계의 영상 상에 가상으로 만들어진 가상객체를 함께 제공하고, 혼합현실(MR: Mixed Reality) 기술은 현실 세계에 가상 현실이 접목되어 현실의 물리적 객체와 가상객체가 상호작용하는 환경을 제공한다.

가상현실(VR) 기술은 현실 세계의 객체 및 배경을 모두 가상객체로 변환하고 가상객체만으로 구성된 영상을 제공하기 때문에 객체 및 배경 모두를 렌더링한다. 이에 반하여, 증강현실(AR) 기술은 대상 객체만이 렌더링되고 그외의 객체 및 배경은 렌더링 되지 않은 영상을 제공하기 때문에 대상 객체만을 렌더링하고 그외에는 렌더링하지 않는다. 가상현실(VR) 화면은 객체 및 배경이 모두 3D 렌더링에 의해 생성된 가상객체를 나타내는 데에 반하여, 증강현실(AR) 화면은 일부 객체만이 3D 렌더링에 의해 생성된 가상객체이고 그 외에는 카메라 모듈에 의해 촬영된 실제 객체 및 실제 공간을 나타낸다.

상술한 가상현실(VR)과 증강현실(AR)의 차이로 인하여, 종래에는 사용자 단말의 사용자에게 가상현실(VR) 이미지를 렌더링하는 방식과 증강현실(AR) 이미지를 렌더링하는 방식에서 차이가 있다. 이에 따라, 종래에는 가상현실(VR) 이미지를 표현하는 신 컨텐츠(scene content)와 증강현실(AR) 이미지를 표현하는 신 컨텐츠가 상이하게 작성되었으며, 각각 작성된 신 컨텐츠는 각각 상이한 어플리케이션(application)에 의해 분석되고 렌더링된다. 가상현실(VR) 어플리케이션과 증강현실(AR) 어플리케이션은 각각 상이한 방식으로 신 컨텐츠를 해석하고 랜더링한다.

상술한 차이로 인하여, 가상현실(VR) 어플리케이션은 증강현실(AR) 이미지를 표현하는 신 컨텐츠를 적절하게 해석할 수 없으며, 마찬가지로 증강현실(AR) 어플리케이션은 가상현실(VR) 이미지를 표현하는 신 컨텐츠를 적절하게 해석할 수 없다. 이에 따라, 가상현실(VR) 및 증강현실(AR) 화면을 사용자에게 모두 제공할 수 있는 사용자 단말이라고 하더라도 가상현실(VR) 모드에서 증강현실(AR) 모드로 변경할 때 각각 다른 신코드 및 다른 어플리케이션을 실행해야 하기 때문에 가상현실(VR) 모드와 증강현실(AR) 모드가 서로 호환되지 않는 문제점이 있었다.

또한, 상술한 바와 같이, 종래의 가상현실/증강현실 기술은 가상현실 이미지와 증강현실 이미지를 렌더링하기 위하여 별도의 어플리케이션 및 별도의 신 컨텐츠가 필요하기 때문에, 별도의 어플리케이션 및 별도의 신 컨텐츠를 저장하기 위하여 많은 데이터가 필요한 문제점이 있었다.

증강현실 및 가상현실 이미지를 생성하기 위한 통합 렌더링 방법 및 장치를 제공하는 데에 있다. 또한, 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있다.

본 발명의 일 측면에 따른 다양한 확장현실 모드의 통합 렌더링 방법은 스토리지로부터 확장현실(XR, eXtended Reality) 이미지를 표현하고 상기 확장현실 이미지에 포함된 가상객체를 표현하는 적어도 하나의 가상객체 컨텐츠를 포함하는 XR-신(scene) 컨텐츠를 로드하는 단계; 사용자로부터 가상현실 모드와 증강현실 모드를 포함하는 복수의 확장현실 모드 중 어느 하나의 확장현실 모드를 선택받는 단계; 및 상기 선택된 확장현실 모드에 따라 상기 적어도 하나의 가상객체 컨텐츠에 대한 복수 개의 렌더링 옵션 각각의 속성을 유지 또는 변환하고, 상기 유지 또는 변환된 속성을 갖는 상기 적어도 하나의 가상객체 컨텐츠를 렌더링하는 단계를 포함한다.

상기 렌더링하는 단계는 상기 선택된 확장현실 모드가 상기 가상현실 모드인 경우 상기 복수 개의 렌더링 옵션 각각의 속성을 유지하고 상기 유지된 속성에 따라 상기 적어도 하나의 가상객체 컨텐츠를 렌더링하고, 상기 선택된 확장현실 모드가 상기 증강현실 모드인 경우 상기 복수 개의 렌더링 옵션 각각의 속성을 변환하고 상기 변환된 속성에 따라 상기 적어도 하나의 가상객체 컨텐츠를 렌더링한다.

상기 렌더링하는 단계는 상기 선택된 확장현실 모드가 상기 증강현실 모드인 경우, 상기 가상객체 컨텐츠의 복수 개의 렌더링 옵션 중 상기 가상객체의 가시(visible) 또는 비-가시(invisible)를 지시하는 가시 옵션의 속성을 가시에서 비-가시로 변환하는 단계; 카메라 모듈에 의해 생성된 현실 공간을 나타내는 현실공간 이미지 데이터로부터 상기 증강현실 모드의 증강 대상 객체를 검출하는 단계; 상기 검출된 증강 대상 객체와 대응되는 상기 XR-신 컨텐츠에 포함된 가상객체 콘텐츠의 가시 옵션의 속성을 비-가시에서 가시로 변환하는 단계; 및 상기 XR-신 컨텐츠에서 상기 가상객체 콘텐츠의 가시 옵션의 속성이 가시인 가상객체를 렌더링하는 단계를 포함한다.

상기 가시 옵션의 속성을 가시에서 비-가시로 변환하는 단계는 상기 XR-신 컨텐츠에서 조명 연관 컨텐츠를 제외하고 나머지 가상객체 컨텐츠의 가시 옵션을 가시에서 비-가시로 변환한다.

상기 렌더링하는 단계는 상기 선택된 확장현실 모드가 상기 증강현실 모드인 경우, 상기 XR-신 컨텐츠에 포함된 바탕색 옵션을 투명으로 변환하고, 상기 확장현실 이미지의 배경을 상기 현실공간 이미지 데이터로 변환하는 단계를 더 포함한다.

상기 렌더링하는 단계는 상기 선택된 확장현실 모드가 상기 가상현실 모드인 경우, 상기 XR-신 컨텐츠에 포함된 바탕색 옵션을 미리 설정된 바탕색으로 변환하고, 상기 확장현실 이미지의 배경을 상기 미리 설정된 바탕색으로 변환하는 단계를 더 포함한다.

상기 증강 대상 객체를 검출하는 단계는 상기 현실공간 이미지 데이터에 포함된 형상을 추출하고, 상기 추출된 형상과 상기 증강 대상 객체의 형상을 비교하고, 상기 증강 대상 객체의 형상과 매칭되는 형상을 상기 증강 대상 객체로 검출한다.

본 발명의 다른 측면에 따른 다양한 확장현실 모드의 통합 렌더링을 위한 사용자 단말은 스토리지로부터 확장현실(XR) 이미지를 표현하고 상기 확장현실 이미지에 포함된 가상객체를 표현하는 적어도 하나의 가상객체 컨텐츠를 포함하는 XR-신 콘텐츠를 로드하는 프로세서; 사용자로부터 가상현실 모드와 증강현실 모드를 포함하는 복수의 확장현실 모드 중 어느 하나의 확장현실 모드를 선택받는 입력모듈; 상기 선택된 확장현실 모드에 따라 상기 적어도 하나의 가상객체 컨텐츠에 대한 복수 개의 렌더링 옵션 각각의 속성을 유지 또는 변환하는 렌더링 옵션 변환부; 및 상기 유지 또는 변환된 속성을 갖는 상기 적어도 하나의 가상객체 컨텐츠를 렌더링하는 렌더링부를 포함한다.

사용자 단말은 하나의 확장현실 신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션을 사용자가 선택한 확장현실 모드에 따라 변환하고, 변환된 렌더링 옵션에 따라 확장현실 이미지 데이터를 생성하고, 생성된 확장현실 이미지 데이터를 사용자에게 제공한다. 사용자 단말은 하나의 확장현실 신 컨텐츠를 이용하여 사용자가 가상현실 모드를 선택한 경우 가상현실을 나타내는 이미지 데이터를 생성하여 사용자에게 제공하고, 사용자가 증강현실 모드를 선택한 경우 증강현실을 나타내는 이미지 데이터를 생성하여 사용자에게 제공한다. 가상현실 이미지 또는 증강현실 이미지를 생성하기 위하여 별도의 신 컨텐츠를 작성하거나 별도의 어플리케이션을 설치할 필요 없이 하나의 확장현실 신 컨텐츠 및 하나의 어플리케이션을 이용하여 사용자에게 가상현실 이미지 및 증강현실 이미지를 제공할 수 있다.

또한, 사용자 단말은 하나의 확장현실 신 컨텐츠 및 확장현실 어플리케이션을 통하여 가상현실 이미지 및 증강현실 이미지를 사용자에게 제공할 수 있기 때문에, 확장현실을 제공하기 위한 데이터 양이 감소되어 스토리지의 저장공간을 절약할 수 있다.

또한, 본 발명의 실시예들에 따른 통합 렌더링 방법은 증강현실 이미지를 생성할 때 증강 대상 객체에 영향을 주는 조명을 고려하여 증강현실 이미지를 생성함으로써, 증강현실 이미지에서 현실 공간의 실제 객체와 극히 유사한 가상객체를 생성할 수 있으며, 현실 공간에 가까운 증강현실 이미지를 생성할 수 있다. 이에 따라, 사용자 단말은 사용자에게 높은 몰입감을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 확장현실(XR) 제공 시스템을 개략적으로 도시한 도면이다.
도 2는 도 1에 도시된 사용자 단말의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 다양한 확장현실 모드의 통합 렌더링 방법의 흐름도이다.
도 4는 도 3에 도시된 렌더링하는 단계의 상세흐름도이다.
도 5는 통합 렌더링 방법에 의해 렌더링된 이미지가 디스플레이부에 표시되는 예시화면을 도시한 도면이다.
도 6은 본 발명의 확장현실 신 컨텐츠의 예시들이다.
도 7은 조명 연관 컨텐츠를 고려하지 않고 확장현실 신 컨텐츠에 포함된 모든 객체의 렌더링 옵션을 비가시로 변환하고 증강 대상 객체의 렌더링 옵션만 가시로 변환하여 생성된 증강현실 이미지가 디스플레이부에 표시되는 예시화면을 도시한 도면이다.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 이하에서 설명될 본 발명의 실시예들은 확장현실(XR) 이미지를 렌더링하는 방법에 관한 것이다. 본 발명의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자라면, 이하에서 설명될 "확장현실(XR, eXtended Reality)"은 가상현실(VR, Virtual Reality), 증강현실(AR, Augumented Reality), 및 혼합현실(MR, Mixed Reality)를 포함하는 개념으로, 가상세계와 현실세계가 연결된 환경을 만들고 사용자가 해당 환경과 실시간으로 상호작용할 수 있는 기술을 의미하는 것임을 이해할 수 있다. 이하에서는 가상현실(VR) 환경 및 증강현실(AR) 환경을 사용자에게 제공하는 시스템을 “확장현실(XR) 제공 시스템”이라고 호칭하기로 한다.

도 1은 본 발명의 일 실시예에 따른 확장현실(XR) 제공 시스템을 개략적으로 도시한 도면이다. 도 1을 참고하면, 본 실시예예 따른 확장현실 제공 시스템은 사용자 단말(10)과 확장현실 서버(20)로 구성된다. 확장현실 서버(20)는 확장현실 이미지를 표현하고 확장현실 이미지에 포함되는 가상객체를 표현하는 적어도 하나의 가상객체 컨텐츠를 포함하는 확장현실 신(XR-Scene) 컨텐츠, 및 XR-신 컨텐츠를 해석하는 확장현실 어플리케이션을 확장현실 서버(20)의 스토리지(미도시)에 저장하고, 저장된 XR-신 컨텐츠 및 확장현실 어플리케이션을 네트워크를 통하여 사용자 단말(10)로 전송한다. XR-신 컨텐츠는 확장현실의 장면을 구조화된 형식으로 표현하는 컴퓨터 언어로서, 확장현실의 장면에 포함되는 가상객체 및 배경을 표현한다. XR-신 컨텐츠의 예로는 마크업(markup) 언어로 작성된 프로그래밍 코드를 들 수 있다. 가상객체 컨텐츠는 확장현실 상에서 가상객체의 형상을 표현한다. XR-신 컨텐츠는 적어도 하나의 가상객체 컨텐츠로 구성된다. 확장현실 어플리케이션은 XR-신 컨텐츠를 렌더링하여 가상현실(VR), 증강현실(AR) 및 혼합현실(MR) 이미지 데이터를 생성한다. 생성된 가상현실(VR), 증강현실(AR) 및 혼합현실(MR) 이미지 데이터는 사용자 단말(10)의 디스플레이부(106)를 통해 사용자에게 제공한다.

사용자 단말(10)은 사용자에게 확장현실 이미지를 제공하는 디바이스이다. 사용자 단말(10)은 미리 설치된 확장현실 어플리케이션을 통해 사용자에게 확장현실 환경을 제공한다. 보다 구체적으로, 사용자 단말(10)은 확장현실 서버(20)로부터 확장현실 어플리케이션 및 XR-신 컨텐츠를 수신한다. 사용자 단말(10)은 수신된 확장현실 어플리케이션을 통하여 수신된 XR-신 컨텐츠를 해석한다. 확장현실 어플리케이션은 수신된 XR-신 켄턴츠를 렌더링함으로써, 확장현실을 표현하는 확장현실 이미지 데이터를 생성하고, 디스플레이부(106)를 통해 생성된 확장현실 이미지 데이터를 사용자에게 제공한다. 확장현실 어플리케이션은 사용자에 의해 선택된 확장현실 모드에 따라 XR-신 컨텐츠의 렌더링 옵션을 유지 또는 변환하고, 유지 또는 변환된 렌더링 옵션을 갖는 XR-신 컨텐츠를 렌더링하여 확장현실 이미지 데이터를 생성한다.

예를 들어, 확장현실 어플리케이션은 사용자가 가상현실 모드 또는 증강현실 모드를 선택하였는지 여부에 따라 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션을 변환하고, 변환된 렌더링 옵션에 따라 가상객체 컨텐츠를 렌더링한다. 보다 구체적으로, 사용자가 가상현실 모드를 선택한 경우 확장현실 어플리케이션은 XR-신 컨텐츠를 가상현실을 표현하는 가상현실 이미지 데이터를 생성하도록 변환하고, 변환된 XR-신 컨텐츠를 렌더링함으로써 가상현실 이미지 데이터를 생성한다. 사용자 단말(10)은 생성된 가상현실 이미지 데이터를 디스플레이부(106)를 통하여 사용자에게 제공함으로써, 사용자로 하여금 가상현실 환경을 경험할 수 있게 한다. 사용자가 증강현실 모드를 선택한 경우 확장현실 어플리케이션은 XR-신 컨텐츠를 증강현실을 표현하는 증강현실 이미지 데이터를 생성하도록 변환하고, 변환된 XR-신 컨텐츠를 렌더링함으로써 증강현실 이미지 데이터를 생성한다. 사용자 단말(10)은 생성된 증강현실 이미지 데이터를 디스플레이부(106)를 통하여 사용자에게 제공함으로써, 사용자로 하여금 증강현실 환경을 경험할 수 있게 한다.

사용자 단말(10)은 생성된 확장현실 이미지 데이터를 사용자 단말(10)의 디스플레이부(106)를 통하여 사용자에게 제공한다. 이하에서는 사용자 단말(10)에 확장현실 어플리케이션이 미리 설치되어 있는 것으로 가정한다. 사용자 단말(10)의 예로는 스마트폰(smartphone), 테블릿(tablet) PC, HMD(Head Mount Display), 랩톱(laptop), 스마트글라스(smart glasses) 등을 들 수 있다.

도 2는 도 1에 도시된 사용자 단말의 구성도이다. 도 2를 참고하면, 사용자 단말(10)은 프로세서(101), 카메라 모듈(102), 렌더링 옵션 변환부(103), 객체검출부(104), 렌더링부(105), 확장현실 이미지 생성부(106), 디스플레이부(106), 입력모듈(107), 통신모듈(108), 및 스토리지(109)로 구성된다. 프로세서(101)는 스마트폰과 같은 사용자 단말(10)의 일반적인 테스크를 처리한다. 카메라 모듈(102)은 사용자 단말(10)가 위치된 현실공간을 촬영하고, 위치된 현실공간을 나타내는 이미지 데이터를 생성한다.

렌더링 옵션 변환부(103)는 선택된 확장현실 모드에 따라 확장현실 서버(20)로부터 수신된 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션을 변환한다. 앞서 기재한 바와 같이, 가상현실과 증강현실은 서로 상이한 화면을 사용자에게 제공한다. 렌더링 옵션 변환부(103)는 사용자 단말(10)의 사용자에 의해 선택된 확장현실 모드에 따른 확장현실 이미지 데이터를 생성하도록 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션을 변환한다. 예를 들어, 사용자가 증강현실 모드를 선택한 경우 렌더링 옵션 변환부(103)는 증강현실 모드에서 가상객체로 렌더링할 대상인 증강 대상 객체를 제외한 나머지 객체의 객체컨텐츠의 렌더링 옵션 중 가시(visible) 또는 비-가시(invisible)를 지시하는 가시 옵션의 속성을 가시에서 비-가시로 변환한다.

또한, 렌더링 옵션 변환부(103)는 선택된 확장현실 모드에 따라 XR-신 컨텐츠에서 확장현실 이미지의 배경의 색깔을 나타내는 바탕색 옵션을 변환한다. 렌더링 옵션 변환부(103)는 사용자 단말(10)의 사용자에 의해 선택된 확장현실 모드에 따라 XR-신 컨텐츠의 바탕색 옵션을 유지 또는 변환한다. 예를 들어, 가상현실 모드가 선택된 경우 렌더링 옵션 변환부(103)는 XR-신 컨텐츠의 바탕색 옵션을 흰색으로 유지하고, 증강현실 모드가 선택된 경우 렌더링 옵션 변환부(103)는 XR-신 컨텐츠의 바탕색 옵션을 투명색으로 변환한다.

객체검출부(104)는 카메라 모듈(102)로부터 생성된 현실공간을 나타내는 이미지 데이터를 분석하고, 이미지 데이터로부터 증강 대상 객체를 검출한다. 객체검출부(104)는 사용자가 증강현실 모드를 선택한 경우 카메라 모듈(102)에 의해 생성된 이미지 데이터로부터 증강 대상 객체를 검출한다. 예를 들어, 객체검출부(104)는 카메라 모듈(102)로부터 수신된 이미지 데이터에서 증강 대상 객체를 나타내는 타겟 마커를 검출한다. 타겟 마커는 증강현실에서 증강현실의 렌더링 대상인 물체를 식별하기 위한 마커이다. 마커는 QR 코드(Quick Response Code), 바코드(bar code), 자연적인 특징(natural feature) 등을 포함한다.

렌더링부(105)는 확장현실 이미지를 표현하는 XR-신 컨텐츠를 렌더링한다. 렌더링부(105)는 XR-신 컨텐츠에 포함된 가상객체를 표현하는 가상객체 컨텐츠를 렌더링한다. 렌더링부(105)는 XR-신 컨텐츠를 렌더링하여 확장현실을 나타내는 확장현실 이미지를 생성한다. 렌더링부(105)는 확장현실 서버로부터 수신되고 렌더링 옵션 변환부(103)에 의해 유지 또는 변환된 XR-신 컨텐츠를 렌더링한다. 보다 구체적으로, 렌더링부(105)는 XR-신 컨텐츠의 바탕색 옵션 및 가상객체 컨텐츠의 가시 옵션에 따라 XR-신 컨텐츠를 렌더링하고, 바탕색 옵션에 따른 배경 및 가상객체를 포함하는 확장현실 이미지를 생성한다. 렌더링부(105)는 생성된 확장현실 이미지를 디스플레이부(106)로 입력한다. 예를 들어, 가상현실 모드가 선택된 경우 렌더링부(105)는 바탕색 옵션은 흰색으로 유지되고 가상객체 컨텐츠의 가시 옵션은 가시로 유지된 XR-신 컨텐츠를 렌더링하여 흰색의 배경 및 가상객체를 포함하는 가상현실 이미지를 생성한다. 증강현실 모드가 선택된 경우 렌더링부(105)는 바탕색 옵션이 투명으로 변환되고 증강 대상 객체 외의 가상객체 컨텐츠의 가시 옵션이 비가시로 변환된 XR-신 컨텐츠를 렌더링하여 현실공간을 나타내는 이미지의 배경 및 증강 대상 객체를 포함하는 증강대상 이미지를 생성한다.

여기에서, 렌더링 옵션 변환부(103), 객체검출부(104), 및 렌더링부(105)는 프로세서(101)와 다른 별개의 전용 프로세서로 구현될 수도 있고, 프로세서(101)의 컴퓨터 프로그램 실행에 의해 구현될 수도 있다.

디스플레이부(106)는 확장현실 이미지 데이터를 표시한다. 디스플레이부(106)는 확장현실을 나타내는 확장현실 이미지 데이터를 표시하여 사용자 단말(10)의 사용자에게 확장현실 환경을 제공한다. 입력모듈(107)은 사용자로부터 가상객체를 조작하는 명령, 표시된 확장현실 이미지 데이터에서 화면을 회전, 확대 그리고 축소하는 명령 등을 입력받는다. 입력모듈(107)의 예로는 터치스크린 패널, 모션 컨트롤러, 키보드, 마우스, 손동작을 인식하기 위한 카메라 등을 들 수 있다.

통신모듈(108)은 이동통신 기지국 또는 와이파이 중계기에 접속하여 인터넷 등과 같은 광역 네트워크를 통하여 확장현실 서버(20)와 통신할 수 있도록 통신기능을 지원한다. 통신모듈(108)은 3G, 4G, 5G, WiFi, Wibro, Zigbee 등 다양한 통신 방식을 통하여 확장현실 서버(20)와 연결되고, 확장현실 서버(20)로부터 데이터를 수신하고 확장현실 서버(20)로 데이터를 송신할 수 있다. 스토리지(109)에는 사용자 단말(10)에서 확장현실 어플리케이션 및 이러한 어플리케이션에 의해 사용되는 데이터, 예를 들어 확장현실 신 컨텐츠 등이 저장된다.

사용자 단말(10)은 이상에서 설명된 구성요소들 이외에 추가적인 구성요소를 더 포함할 수 있다. 예를 들어, 사용자 단말(10)은 도 2에 도시된 바와 같이, 여러 구성요소들 간에 데이터를 전송하기 위한 버스를 포함하고, 도 2에는 생략되어 있으나 각 구성요소에 구동전원을 공급하는 전력모듈(미도시)을 포함한다. 이와 같이, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 구성요소에 대한 설명은 본 실시예의 특징을 흐려지게 함에 따라 생략된다. 이하에서는 본 발명의 일 실시예에 따른 확장현실을 나타내는 확장현실 이미지 생성 방법을 설명하는 과정에서 사용자 단말(10)의 각 구성요소에 대해 상세하게 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 다양한 확장현실 모드의 통합 렌더링 방법의 흐름도이다. 도 3을 참고하면, 본 실시예에 따른 확장현실 모드에 기초하여 다양한 확장현실 모드의 통합 렌더링 방법은 도 2에 도시된 사용자 단말(10)에서 시계열적으로 수행되는 단계들로 구성된다.

301 단계에서, 사용자 단말(10)의 프로세서(101)는 입력모듈(107)을 통해 사용자로부터 확장현실 어플리케이션을 실행하라는 명령을 입력받으면, 확장현실 어플리케이션을 실행한다. 앞서 설명한 바와 같이, 사용자 단말(10)에는 확장현실 어플리케이션의 실행 전에 확장현실 서버(20)로부터 확장현실 어플리케이션을 다운로드하여 설치되어 있다.

302 단계에서, 사용자 단말(10)의 프로세서(101)는 XR-신 컨텐츠를 로딩(load)한다. 사용자 단말(10)은 확장현실 이미지를 표현하고 확장현실 이미지에 포함된 가상객체를 표현하는 적어도 하나의 가상객체 컨텐츠를 포함하는는 확장현실(XR)-신 컨텐츠를 입력모듈(107)을 통하여 사용자로부터 입력받거나 또는 통신모듈(108)을 통하여 확장현실 서버(20)로부터 수신하여 스토리지(109)에 저장한다. 프로세서(101)는 사용자로부터 입력된 확장현실 신 컨텐츠 또는 스토리지(109)에 저장된 XR-신 컨텐츠를 로드한다.

303 단계에서, 사용자 단말(10)의 프로세서(101)는 입력모듈(107)을 통해 사용자로부터 가상현실 모드 및 증강현실 모드를 포함하는 복수의 확장현실 모드 중 어느 하나의 확장현실 모드를 선택받는다. 사용자는 가상현실 모드 및 증강현실 모드 중 어느 하나의 모드를 선택하고, 선택한 확장현실 모드를 사용자 단말(10)의 입력모듈(107)을 통해 입력한다. 사용자 단말(10)의 프로세서(101)는 사용자의 확장현실 모드의 선택을 입력모듈(107)을 통해 수신한다.

304 단계에서, 사용자 단말(10)의 렌더링부(105)는 303 단계에서 선택된 어느 하나의 확장현실 모드에 따라 302 단계에서 로드된 XR-신 컨텐츠에 포함된 적어도 하나의 가상객체 컨텐츠에 대한 복수 개의 렌더링 옵션 각각의 속성을 유지 또는 변환하고, 유지 또는 변환된 속성을 갖는 적어도 하나의 가상객체 컨텐츠를 렌더링한다. 보다 구체적으로, 렌더링부(105)는 사용자에 의해 선택된 확장현실 모드에 따라 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션의 속성을 유지하거나 변환한다. 예를 들어, 사용자가 가상현실 모드를 선택한 경우 렌더링부(105)는 가상객체 컨텐츠의 렌더링 옵션 중 가상객체의 가시(visible) 또는 비-가시(in-visible)를 지시하는 가시 옵션의 속성을 가시로 유지하고, 사용자가 증강현실 모드를 선택한 경우 렌더링부(105)는 가상객체 컨텐츠의 가시 옵션의 속성을 가시에서 비-가시로 변환한다. 가상객체 컨텐츠의 렌더링 옵션의 예로는 가상객체의 가시 또는 비-가시를 지시하는 가시 옵션, 가상객체의 채도를 지시하는 채도 옵션, 가상객체의 재질을 지시하는 질감(texture) 옵션 등 다양한 세부 옵션을 포함한다.

렌더링부(105)는 유지 또는 변환된 속성을 갖는 XR-신 컨텐츠의 가상객체 컨텐츠를 렌더링한다. 앞서 설명한 바와 같이, 렌더링부(105)는 선택된 확장현실 모드에 따라 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 가시 옵션의 속성을 가시로 유지하거나 비-가시로 변환한다. 렌더링부(105)는 XR-신 컨텐츠에 포함된 적어도 하나의 가상객체 컨텐츠의 렌더링 옵션 중 가시 옵션의 속성이 가시인 가상객체 컨텐츠를 렌더링한다. 렌더링부(105)는 가상객체 컨텐츠의 가시 옵션의 속성이 비-가시인 가상객체 컨텐츠는 렌더링하지 않는다. 보다 구체적인, XR-신 컨텐츠의 변환 및 렌더링에 대하여는 이하에서 상세하게 설명하기로 한다.

도 4는 도 3에 도시된 렌더링하는 단계의 상세흐름도이다. 도 4를 참고하면, 3041 단계에서 사용자 단말(10)의 프로세서(101)는 303 단계에서 선택된 확장현실 모드가 증강현실 모드인지 여부를 결정한다. 303 단계에서 선택된 확장현실 모드가 증강현실 모드인 경우에는 3042 단계로 진행하고, 그렇지 않은 경우, 즉 303 단계에서 선택된 확장현실 모드가 가상현실 모드인 경우에는 3046 단계로 진행한다.

3042 단계에서, 사용자 단말(10)의 렌더링 옵션 변환부(103)는 XR-신 컨텐츠에서 확장현실 이미지에서의 배경의 색깔을 지시하는 바탕색 옵션의 속성을 투명으로 변환한다. 앞서 설명한 바와 같이, 증강현실은 현실 공간을 나타내는 이미지 상에 가상객체를 추가하여 사용자에게 제공한다. 사용자가 증강현실 모드를 선택한 경우에는 사용자 단말(10)의 디스플레이부(106)는 현실 공간을 나타내는 이미지 상에 증강 대상 객체의 가상객체가 포함된 증강현실 이미지를 화면에 표시한다. 렌더링 옵션 변환부(103)는 303 단계에서 사용자가 증강현실 모드를 선택한 경우 XR-신 컨텐츠의 바탕색 옵션의 속성을 투명으로 변환하고, 변환된 바탕색 옵션을 갖는 XR-신 컨텐츠를 렌더링하여 배경을 투명하게 렌더링한다. 이에 따라, XR-신 컨텐츠의 배경을 렌더링하더라도 확장현실 이미지의 배경이 투명하기 때문에, 사용자는 카메라 모듈(102)에 의해 생성된 현실 공간을 나타내는 현실 공간 이미지를 볼 수 있다.

3043 단계에서, 사용자 단말(10)의 렌더링 옵션 변환부(103)는 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션 중 가시 옵션의 속성을 가시(visible)에서 비-가시(invisible)로 변환한다. 렌더링 옵션 변환부(103)는 사용자가 증강현실 모드를 선택한 경우 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 가시 옵션을 가시에서 비-가시로 변환함으로써, XR-신 컨텐츠에 포함된 가상객체 컨텐츠가 렌더링 되지 않도록 한다. 앞서 설명한 바와 같이, 가상현실 모드에서 사용자 단말(10)은 사용자에게 객체 및 배경 모두가 렌더링된 가상현실을 나타내는 이미지를 제공하는 데에 반하여, 증강현실 모드에서 사용자 단말(10)은 증강 대상 객체만 렌더링하고 이외에는 카메라 모듈에 의해 촬영된 실제 공간을 나타내는 이미지를 사용자에게 제공한다. 이에 따라, 3043 단계에서는 증강현실 모드가 선택된 경우, 사용자 단말(10)은 XR-신 컨텐츠에서 증강 대상 객체를 표시하는 가상객체 컨텐츠를 제외하고 그 외의 가상객체를 표현하는 다른 가상객체 컨텐츠를 렌더링할 필요가 없다. 이에 따라, 사용자 단말(10)의 렌더링 옵션 변환부(103)는 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션 중 가시 옵션의 속성을 가시에서 비-가시로 변환함으로써, 증강 대상 객체를 표현하는 가상객체 컨텐츠를 제외하고 다른 가상객체를 표현하는 가상객체 컨텐츠가 증강현실 모드에서 렌더링되는 것을 방지한다.

3044 단계에서, 사용자 단말(10)의 객체검출부(104)는 현실 공간을 나타내는 이미지 데이터로부터 증강현실 모드에서 증강할 대상을 검출한다. 객체검출부(104)는 증강현실 모드에서 렌더링하여 가상객체를 생성할 증강 대상 객체를 검출한다. 객체검출부(104)는 사용자 단말(10)의 카메라 모듈(102)에 의해 생성된 이미지 데이터로부터 증강현실 모드에서 증강 대상 객체를 검출한다. 카메라 모듈(102)은 현재 사용자 단말(10)에 의해 관찰되는 현실 공간을 나타내는 이미지 데이터를 생성한다. 카메라 모듈(102)에 의해 생성된 현실 공간을 나타내는 이미지 데이터에서 증강현실 모드에서 증강할 대상인 증강 대상 객체가 검출되는 경우, 사용자 단말(10)은 증강 대상 객체와 대응되는 가상객체 컨텐츠에 의해 표현되는 가상 객체를 렌더링하고, 렌더링된 가상객체를 현재 카메라 모듈(102)에 의해 생성된 이미지 데이터 상에 포함시키고, 가상객체가 포함된 이미지 데이터를 디스플레이부(106)를 통해 사용자에게 제공한다. 이에 따라, 사용자는 사용자 단말(10)의 디스플레이부(106)를 통해 현실 세계와 가상객체가 함께 나타나는 이미지를 볼 수 있다.

앞서 설명한 바와 같이, 객체검출부(104)는 카메라 모듈(102)에 의해 생성된 현실공간을 나타내는 이미지 데이터로부터 증강 대상 객체를 검출한다. 객체검출부(104)는 이미지 데이터에서 증강 대상 객체를 나타내는 타겟(target) 마커를 검출하는 방식으로 증강 대상 객체를 검출한다. 타겟 마커는 증강현실 모드에서 증강할 대상을 식별하기 위한 마커이다. 객체검출부(104)는 현실 공간을 나타내는 이미지 데이터로부터 검출된 타겟 마커를 통하여 증강 대상 객체를 식별한다.

본 발명의 일 실시예에 따른 객체검출부(104)는 이미지 프로세싱을 통하여 현실 공간을 나타내는 이미지 데이터에 포함된 형상을 추출하고, 추출된 형상을 이용하여 증강 대상 객체를 나타내는 타겟 마커를 검출한다. 보다 구체적으로, 객체검출부(104)는 현실 공간을 나타내는 이미지 데이터에 포함된 형상들을 추출한다. 예를 들어, 객체검출부(104)는 이미지 데이터에서 특징점(feature point, keypoint)을 추출한다. 특징점은 이미지에서 주위 배경과 구분되면서 식별이 용이한 지점이다. 특징점은 이미지 데이터에서 물체의 형체, 크기 또는 위치가 변하더라도 용이하게 식별이 가능하고, 카메라의 시점 및 조명이 변하더라도 용이하게 식별이 가능한 지점이다. 특징점의 예로는 모서리(corner), 경계선(edge) 등을 들 수 있다. 객체검출부(104)는 추출된 특징점을 분석하여 이미지 데이터에 포함된 형상들을 추출한다. 객체검출부(104)는 인공신경망(Artificial Neural Network) 기법을 이용하여 이미지 데이터에 포함된 형상들을 추출할 수 있다. 이미지 데이터로부터 특징점 및 형상을 추출하는 방법은 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 공지되어 있으므로, 이에 대한 상세한 설명은 본 실시예의 특징이 흐려짐을 방지하기 위하여 더 이상의 자세한 설명은 생략하기로 한다.

객체검출부(104)는 현실 공간을 나타내는 이미지 데이터로부터 추출된 형상들 중에서 타겟 마커를 추출한다. 보다 구체적으로, 객체검출부(104)는 추출된 형상들을 사용자 단말(10)의 스토리지(109)에 미리 저장된 타겟 마커 형상과 비교한다. 객체검출부(104)는 비교 결과에 기초하여 이미지 데이터로부터 추출된 형상들 중 타겟 마커의 형상과 일치하는 형상을 타겟 마커로 검출한다. 객체검출부(104)는 스토리지(109)에 미리 저장된 타겟 마커의 형상과 동일한 형상을 타겟 마커로 추출한다.

사용자 단말(10)의 스토리지(109)는 타겟 마커의 형상을 미리 저장하고 있다. 상술한 바와 같이, 타겟 마커의 형상은 증강현실 모드에서 증강할 대상 객체의 형상이다. 객체검출부(104)는 스토리지(109)에 저장된 증강 대상 객체의 형상을 카메라 모듈(102)에 의해 생성된 현실 공간을 나타내는 이미지 데이터로부터 추출된 형상들과 비교하고, 미리 저장된 타겟 마커의 형상과 일치하는 형상을 타겟 마커로 결정한다. 증강 대상이 3D 프린터의 분말통인 경우를 예로 들면, 사용자 단말(10)의 스토리지(109)는 증강 대상인 분말통의 형상을 미리 저장한다. 객체검출부(104)는 현실 공간을 나타내는 이미지 데이터로부터 추출된 형상을 스토리지(109)에 미리 저장된 분말통의 형상과 비교한다. 비교 결과, 스토리지(109)에 미리 저장된 분말통의 형상과 일치하는 형상을 증강 대상 객체로 결정한다.

본 발명의 다른 실시예에서, 사용자 단말(10)의 스토리지(109)는 타겟 마커의 형상으로 QR 코드(Quikc Response code), 바코드(bar code) 등과 같은 임의의 코드를 저장할 수 있다. 사용자는 증강현실 모드에서 증강할 대상 물체에 타겟 마커의 형상으로 저장된 QR 코드 또는 바코드를 부착하여, 현실 공간에서 증강 대상을 지정할 수 있다. 증강 대상이 분말통인 경우를 예로 들면, 사용자는 스토리지(109)에 타겟 마커 형상으로 저장된 QR 코드를 실제 증강 대상인 분말통에 부착한다. 객체 검출부(104)는 스토리지(109)에 저장된 QR 코드 또는 바코드의 형상과 현실 공간을 나타내는 이미지 데이터로부터 추출된 형상들과 비교하고, 미리 저장된 QR 코드 또는 바코드의 형상과 일치하는 형상을 타겟 마커로 결정할 수 있다.

본 발명의 또 다른 실시예에서, 타겟 마커는 육안으로 식별이 불가능한 전기적 신호를 포함한다. 예를 들어, 사용자 단말(10)은 소형 무선통신 디바이스에 의해 송신되는 신호를 통하여 타겟 마커를 검출할 수 있다. 증강 대상의 형상 및 위치에 대한 정보를 포함하는 비컨 신호를 송신하는 무선통신 디바이스가 실제 증강 대상에 부착되고, 실제 증강 대상에 부착된 무선통신 디바이스는 사용자 단말(10)로 타겟 마커에 대한 신호를 송신한다. 사용자 단말(10)은 수신된 타겟 마커에 대한 신호에 기초하여 타겟 마커의 형상 및 위치를 식별할 수 있다. 사용자 단말(10)은 상술한 예시 이외에도 다양한 방법으로 타겟 마커를 식별할 수 있다.

3045 단계에서, 사용자 단말(10)의 렌더링 옵션 변환부(103)는 XR-신 컨텐츠에서 검출된 증강 대상 객체와 대응되는 가상객체를 표현하는 가상객체 컨텐츠의 렌더링 옵션을 가시(visible)로 변환한다. 렌더링 옵션 변환부(103)는 3044 단계에서 검출된 증강 대상 객체와 대응되는 가상객체를 표현하는 가상객체 컨텐츠의 렌더링 옵션 중 가시 옵션의 속성을 다시 비-가시에서 가시로 변환한다. 증강현실 모드에서 가상객체로 증강할 대상인 증강 대상 객체를 표현하는 가상객체 컨텐츠의 가시 옵션의 속성을 다시 가시로 변경함으로써, 사용자 단말(10)의 렌더링부(105)에서 증강 대상 객체와 대응되는 가상객체를 표현한 가상객체 컨텐츠를 렌더링하여 증강 대상 객체의 가상객체를 생성한다. 앞서 기재한 바와 같이, 3043 단계에서 렌더링 옵션 변환부(103)는 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션 중 가시 옵션의 속성을 가시에서 비-가시로 변환하고, 3045 단계에서 렌더링 옵션 변환부(103)는 증강 대상 객체와 대응되는 가상객체를 표현하는 가상객체 컨텐츠의 가시 옵션을 비-가시에서 다시 가시로 변환한다. 3043 단계에서 XR-신 컨텐츠에 포함된 가상객체 콘텐츠의 렌더링 옵션 중 가시 옵션의 속성을 가시에서 비-가시로 변환함으로써 증강현실 모드에서 가상객체가 렌더링되지 않게 하고, 3045 단계에서 증강현실 모드에서 증강 대상 객체와 대응되는 가상객체를 표현하는 가상객체 컨텐츠의 렌더링 옵션 중 가시 옵션의 속성을 비-가시에서 가시로 다시 변환함으로써, 증강현실 모드에서 증강 대상 객체와 대응되는 가상객체를 표현하는 가상객체 컨텐츠가 렌더링되게 한다. 이에 따라, 렌더링부(105)는 후속하는 3048 단계에서 설명될 바와 같이 증강현실 모드가 선택된 경우 변환된 속성을 갖는 XR-신 컨텐츠를 렌더링함으로써 증강 대상 객체의 가상객체를 생성한다.

3046 단계에서, 사용자 단말(10)의 렌더링 옵션 변환부(103)는 XR-신 컨텐츠에서 확장현실 이미지에서의 배경의 색깔을 지시하는 바탕색 옵션의 속성을 미리 설정된 배경색으로 변환한다. 앞서 설명한 바와 같이, 가상현실 기술은 컴퓨터에 의해 생성된 객체 및 배경을 나타내는 이미지를 사용자에게 제공한다. 사용자가 가상현실 모드를 선택한 경우에는 사용자 단말(10)의 디스플레이부(106)는 사용자 단말(10)에 의해 렌더링된 가상객체 및 배경으로 이루어진 가상현실을 나타내는 이미지를 화면에 표시한다. 렌더링 옵션 변환부(103)는 303 단계에서 사용자가 가상현실 모드를 선택한 경우, XR-신 컨텐츠에서의 바탕색 옵션의 속성을 미리 설정된 배경색으로 변환한다. 여기에서, 배경색은 사용자에 의해 흰색, 회색, 검은색 등의 색으로 미리 설정될 수 있다.

3047 단계에서, 사용자 단말(10)의 렌더링 옵션 변화부(103)는 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션 중 가시 옵션의 속성을 가시로 변환한다. 렌더링 옵션 변환부(103)는 사용자가 가상현실 모드를 선택한 경우 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 가시 옵션의 속성을 비-가시에서 가시로 변환하거나 가시 옵션의 속성을 가시로 유지한다. XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 가시 옵션을 가시로 변환함으로써 XR-신 컨텐츠에 포함된 가상객체 컨텐츠가 렌더링 되도록 한다. 앞서 설명한 바와 같이, 가상현실 모드에서 사용자 단말(10)은 사용자에게 객체 및 배경 모두가 렌더링된 가상현실을 나타내는 이미지를 제공하기 때문에 XR-신 컨텐츠에 포함된 가상객체 컨텐츠를 렌더링하고 가상객체 및 배경을 나타내는 이미지를 사용자에게 제공한다.

앞서 설명한 바와 같이, 사용자가 증강현실 모드를 선택한 경우 3043 단계에서 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션 중 가시 옵션의 속성을 가시에서 비-가시로 변환한다. 이후 사용자가 가상현실 모드로 선택을 변경한 경우에는 가상현실을 나타내는 이미지를 제공하기 위하여 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 렌더링 옵션 중 가시 옵션의 속성을 비-가시에서 다시 가시로 변환할 필요가 있다. 이에 따라, 3047 단계에서 렌더링 옵션 변환부(103)는 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 가시 옵션의 속성을 가시로 변환한다.

3048 단계에서, 사용자 단말(10)의 렌더링부(105)는 XR-신 컨텐츠에서 렌더링 옵션 중 가시 옵션의 속성이 가시인 가상객체 콘텐츠를 렌더링한다. 렌더링부(105)는 XR-신 컨텐츠에서 가시 옵션의 속성이 가시인 가상객체 컨텐츠를 렌더링하고, 가상객체 컨텐츠에 의해 표현되는 가상객체를 생성한다. 증강현실 모드가 선택된 경우 3043 단계 내지 3045 단계에서 XR-신 컨텐츠에 포함된 가상객체 컨텐츠들 중 증강 대상 객체와 대응되는 가상객체를 표현하는 가상객체 컨텐츠의 가시 옵션의 속성이 가시이고 나머지 가상객체 컨텐츠의 가시 옵션의 속성이 비-가시로 변환되었기 때문에, 렌더링부(105)는 증강 대상 객체와 대응되는 가상객체를 표현하는 가상객체 컨텐츠를 렌더링하고 증강 대상 객체의 가상객체를 생성한다. 가상현실 모드가 선택된 경우 XR-신 컨텐츠에 포함된 가상객체 컨텐츠들의 가시 옵션의 속성이 가시이기 때문에, 렌더링부(105)는 XR-신 컨텐츠에 포함된 가상객체 콘텐츠를 렌더링하고 가상객체를 생성한다. 렌더링부(105)는 XR-신 컨텐츠를 렌더링하고 렌더링된 가상객체를 포함하는 확장현실 이미지를 생성한다. 앞서 설명한 내용을 종합하면, 사용자가 증강현실 모드를 선택한 경우 렌더링부(105)는 카메라 모듈(102)에 의해 생성된 현실공간을 나타내는 이미지를 배경으로 증강 대상 객체의 렌더링된 가상객체를 포함하는 증강현실 이미지를 생성하고, 사용자가 가상현실 모드를 선택한 경우 렌더링부(105)는 XR-신 컨텐츠를 렌더링하여 미리 설정된 배경색의 바탕에 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 가상객체를 포함하는 가상현실 이미지를 생성한다.

다시 도 3을 참고하면, 305 단계에서, 사용자 단말(10)의 디스플레이부(106)는 생성된 확장현실 이미지 데이터를 표시한다. 디스플레이부(106)는 305 단계에서 생성된 확장현실 이미지 데이터를 표시하여, 확장현실 화면을 사용자에게 제공한다. 증강현실 모드가 선택된 경우, 디스플레이부(106)는 현실공간 및 렌더링된 증강 대상 객체를 나타내는 증강현실 이미지 데이터를 표시한다. 보다 구체적으로, 디스플레이부(106)는 사용자 단말(10)의 카메라 모듈(102)에 의해 촬영되는 화면 상에 렌더링부(105)에 의해 렌더링된 증강 대상 물체의 가상객체를 포함하는 확장현실 이미지 데이터를 표시한다. 사용자 단말(10)의 사용자는 디스플레이부(106)를 통해 카메라 모듈(102)에 의해 촬영된 화면 및 증강 대상 객체의 가상객체를 함께 볼 수 있으며, 이에 따라 증강현실 환경을 경험할 수 있다.

가상현실 모드가 선택된 경우, 디스플레이부(106)는 렌더링된 가상객체를 포함하는 가상현실 이미지 데이터를 표시한다. 보다 구체적으로, 디스플레이부(106)는 렌더링부(105)에 의해 렌더링된 가상객체를 포함하는 확장현실 이미지 데이터를 표시한다. 사용자 단말(10)의 사용자는 디스플레이부(106)를 통해 사용자 단말(10)에 의해 생성된 가상객체를 볼 수 있으며, 이에 따라 가상현실 환경을 경험할 수 있다.

도 5는 확장현실렌더링 옵션 변환부 렌더링 방법에 의해 렌더링된 가상객체를 포함하는 확장현실 이미지가 디스플레이부에 표시되는 예시화면을 도시한 도면이다. 보다 구체적으로, 도 5의 (a)는 가상현실을 나타내는 가상현실 이미지가 사용자 단말(10)의 디스플레이부(106)에 의해 표시되는 예시화면이고, 도 5의 (b)는 증강현실을 나타내는 증강현실 이미지가 디스플레이부(106)에 의해 표시되는 예시화면이다. 도 5의 (a)의 예를 참고하면, 사용자가 가상현실 모드를 선택한 경우 사용자 단말(10)은 XR-신 컨텐츠에 포함된 가상객체 컨텐츠를 렌더링하고, 사용자 단말(10)의 디스플레이부(106)는 바탕색의 배경 및 렌더링된 가상객체를 표시하는 가상현실 이미지를 표시한다. 도 5의 (a)의 예시화면에서 밸브, 밸브 손잡이, 밸브 손잡이의 회전방향을 표시하는 화살표 및 밸브 손잡이의 조작방법을 설명한 주석이 3D 가상객체로 렌더링되고 바탕색의 가상환경 공간에 표시된다.

도 5의 (b)를 참고하면, 상술한 바와 같이 사용자가 증강현실 모드를 선택한 경우 사용자 단말(10)은 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 가시 옵션의 속성을 가시에서 비-가시로 변환하고 증강 대상 객체를 검출하고 증강 대상 객체와 대응되는 가상객체를 표현하는 가상객체 컨텐츠의 중 가시 옵션의 속성을 가시로 변환하여 증강 대상 객체와 대응되는 가상객체를 표현하는 가상객체 콘텐츠를 렌더링하고, 사용자 단말(10)의 디스플레이부(106)는 카메라 모듈(102)에 의해 촬영된 현실 공간을 나타내는 이미지 상에 증강 대상 객체의 가상객체가 포함된 가상현실 이미지를 표시한다. 도 5의 (b)의 예시화면에서 증강 대상 객체인 밸브 손잡이의 가상객체 및 밸브 손잡이의 회전방향을 표시하는 화살표의 가상객체가 밸브가 위치하는 현실 공간의 화면 상에 표시된다.

도 5의 (a) 및 (b)를 비교하면, 가상현실 모드의 경우 바탕색의 가상현실 배경에 밸브 전체가 렌더링되고 바탕색의 가상 공간 상에서 표시되는 데에 반하여, 증강현실 모드의 경우 증강 대상인 밸브의 손잡이만이 렌더링되고 사용자 단말(10)의 카메라 모듈(102)에 의해 촬영되고 있는 현실 공간의 화면과 밸브 손잡이의 가상객체가 함께 표시된다.

306 단계에서, 사용자 단말(10)의 프로세서(101)는 입력모듈(107)을 통하여 사용자로부터 확장현실 어플리케이션의 종료 명령, 확장현실 모드의 변경 명령, 가상객체의 조작 명령 등의 입력을 수신한다. 사용자 단말(10)의 사용자는 입력모듈(107)을 통하여 사용자 단말(10)에서 실행 중인 확장현실 어플리케이션에 어플리케이션 종료, 확장현실 모드 변경, 가상객체의 위치/방향 조작 등의 명령을 입력할 수 있다.

307 단계에서, 사용자 단말(10)의 프로세서(101)는 307 단계에서 입력된 명령이 확장현실 모드를 변경하는 명령이 수신되었는지를 결정한다. 사용자 단말(10)의 사용자가 306 단계에서 확장현실 모드를 변경하는 명령이 수신된 경우에는 304 단계로 진행하고, 그렇지 않은 경우에는 308 단계로 진행한다.

308 단계에서, 사용자 단말(10)의 프로세서(101)는 307 단계에서 입력된 명령을 처리한다. 프로세서(101)는 사용자에 의해 입력된 명령을 확장현실 어플리케이션에서 처리한다. 예를 들어, 사용자가 확장현실 어플리케이션을 종료하는 명령을 입력한 경우, 프로세서(101)는 확장현실 어플리케이션을 종료한다. 사용자가 가상객체의 위치 및 방향을 조작하는 명령을 입력한 경우, 프로세서(101)는 확장현실 상에서 조작된 가상객체의 위치 및 방향을 입력된 명령에 따라 변경시킨다. 308 단계에서 어플리케이션을 종료하는 명령이 입력된 경우에는 확장현실 어플리케이션을 종료하고, 그렇지 않은 경우에는 다시 306 단계로 되돌아간다.

앞서 설명한 바와 같이, XR-신 컨텐츠는 가상객체를 표현하는 적어도 하나의 가상객체 컨텐츠를 포함하고, 가상객체 컨텐츠는 선택된 확장현실 모드에 따라 렌더링된다. 가상객체 컨텐츠는 확장현실 모드에서 렌더링되는지 여부에 따라 구분된다. 보다 구체적으로, 가상객체 컨텐츠는 증강현실 모드가 선택된 경우에 렌더링되는 증강현실용 가상객체 컨텐츠, 가상현실 모드가 선택된 경우에 렌더링되는 가상현실용 가상객체 컨텐츠, 및 증강현실 모드와 가상현실 모드 각각에서 렌더링되는 확장현실용 가상객체 컨텐츠로 구분된다. XR-신 컨텐츠는 증강현실용 가상객체 컨텐츠, 가상현실용 가상객체 컨텐츠, 및 확장현실용 가상객체 컨텐츠를 모두 포함할 수 있고, XR-신 컨텐츠는 가상현실용 가상객체 컨텐츠와 증강현실용 가상객체 컨텐츠 중 적어도 하나와 확장현실용 가상객체 컨텐츠를 포함할 수 있다.

XR-신 컨텐츠에서 가상객체 컨텐츠는 가상객체 컨텐츠의 종류를 표현하는 타입 태그, 가상객체 컨텐츠의 식별자를 나타내는 식별자 태그, 및 확장현실에서의 가상객체를 표현하는 메타데이터를 나타내는 가상객체 태그를 포함할 수 있다. 예를 들어, 가상현실용 가상객체 컨텐츠인 경우 가상객체 컨텐츠의 타입 태그는 가상현실용 가상객체 컨텐츠임을 나타내고, 증강현실용 가상객체 컨텐츠인 경우 가상객체 컨텐츠의 타입 태그는 증강현실용 가상객체 컨텐츠임을 나타내고, 확장현실용 가상객체 컨텐츠인 경우 타입 태그는 확장현실용 가상객체 컨텐츠임을 나타낸다.

XR-신 컨텐츠에 포함된 적어도 하나의 가상객체 컨텐츠를 렌더링할 때, 렌더링부(105)는 XR-신 컨텐츠에 포함된 적어도 하나의 가상객체 컨텐츠의 타입 태그, 및 확장현실 모드에 기초하여 적어도 하나의 가상객체 컨텐츠를 렌더링한다. 보다 구체적으로, 가상현실 모드가 선택된 경우 렌더링부(105)는 가상객체 컨텐츠의 타입 태그가 가상현실용 가상객체 컨텐츠임을 나타내는 가상객체 컨텐츠, 및 타입 태그가 확장현실용 가상객체 컨텐츠임을 나타내는 가상객체 컨텐츠를 렌더링한다. 증강현실 모드가 선택된 경우 렌더링부(105)는 가상객체 컨텐츠의 타입 태그가 증강현실용 가상객체 컨텐츠임을 나타내는 가상객체 컨텐츠, 및 타입 태그가 확장현실용 가상객체 컨텐츠임을 나타내는 가상객체 컨텐츠를 렌더링한다.

도 6은 본 발명의 확장현실 신 컨텐츠의 예시들이다. 도 6에 예시된 확장현실(XR) 신 컨텐츠들은 증강될 실제 물체에 대한 메타데이터를 태그로 지시하고, 태그를 그룹으로 하여 증강할 실제 물체들을 상위 태그의 자식 태그로 선언하는 방식으로 확장현실 이미지를 표현한다. 도 5의 각 예시화면은 도 6에 도시된 각 XR-신 컨텐츠에 기초하여 생성된 가상현실 이미지와 증강현실 이미지이다. 도 6(a)의 예시된 XR-신 컨텐츠의 상세한 설명은 다음과 같다.

6 - 7 라인: 확장현실 신 해석기 로드

74 - 77 라인: 확장현실 신에 대한 제목, 설명 등의 메타데이터를 기록

78 - 81 라인: 확장현실 신의 기본 컨텍스트를 기록.

82 라인: 증강현실 모드에서 사용할 트래킹(tracking) 엔진을 지정

84 - 89 라인: 사용자의 가상 케마라에 대한 정보를 기록. 가상현실 모드일 경우 사용자가 직접 가상 카메라의 줌, 회전 등을 조작할 수 있으나, 증강현실 모드인 경우 사용자 단말(10)의 카메라 모듈(102)의 정보와 동기화되어 사용자가 직접 조작할 수 없음.

92 - 93 라인: 가상 공간에서 주변 광과 직접 광을 삽입.

95 - 117 라인: 증강될 실제 물체(밸브)의 메타데이터를 수신. 증강현실 모드에서 이 메타데이터를 이용하여 증강 대상 객체가 인식될 때 증강할 가상 모델들의 그룹. 보다 구체적으로, 97 라인은 밸브의 손잡이의 가상 모델이고, 98 라인은 화살표의 가상 모델이고, 99 라인은 작동 방법의 설명에 대한 가상 모델이고, 104 라인은 밸브 커버의 가상 모델이고, 105 라인은 밸브 나사의 가상 모델임. 111 라인은 도 5에 도시되지 않으나 시트 링(seat ring)의 가상 모델이고, 112 라인은 밸브의 내부에 삽입된 볼의 가상 모델이고, 113 라인은 111 - 112 라인의 가상 모델이 렌더링될 때 시트 링 및 볼의 설명에 대한 가상 모델임. 117 라인은 밸브의 하부 커버에 대한 가상 모델임.

도 6(a)에 예시된 XR-신 컨텐츠에서, 96 내지 100 라인에 기재된 가상객체 컨텐츠는 증강현실 모드에서 렌더링되는 증강현실용 가상객체 컨텐츠이고, 103 내지 114 라인에 기재된 가상객체 컨텐츠는 증강현실 모드 및 가상현실 모드에서 모두 렌더링되는 확장현실용 가상객체 컨텐츠이고, 117 라인에 기재된 가상현실 컨텐츠는 가상현실 모드에서 렌더링되는 가상현실용 가상객체 컨텐츠이다.

도 6(a)의 XR-신 컨텐츠에서 96 내지 100 라인의 증강현실용 가상객체 컨텐츠는 다음과 같이 기재되어 있다.

여기에서, 가상객체 컨텐츠의 타입 태그는 wxr-aranchor로서, 증강현실 모드에서만 렌더링되는 증강현실용 가상객체 컨텐츠임을 나타낸다. 96 라인의 가상객체 컨텐츠의 식별자는 “STEP01”로 표시된다. wxr-aranchor 태그 그룹에 포함된 가상객체 컨텐츠들(97 내지 99 라인에 기재된 id=“handle”, id=“handel arow”, 및 id=“annotation01”)은 wxr-aranchor 태그를 갖는 id=“STEP01”이 렌더링될 때 함께 렌더링된다.

도 6(a)의 XR-신 컨텐츠에서 103 내지 107 라인의 확장현실용 가상객체 컨텐츠는 다음과 같이 기재되어 있다.

여기에서, 가상객체 컨텐츠의 타입 태그는 wxr-target으로서, 증강현실 모드 및 가상현실 모드에서 모두 렌더링되는 확장현실용 가상객체 컨텐츠임을 나타낸다. 103 라인의 가상객체 컨텐츠의 식별자는 “STEP02”로 표시된다. wxr-target 태그 그룹에 포함된 가상객체 컨텐츠들(104 내지 106 라인에 기재된 id=“cover”, id=“screws”, 및 id=“annotation02”)은 wxr-target 태그를 갖는 id=“STEP02”가 렌더링될 때 함께 렌더링된다.

도 6(a)의 XR-신 컨텐츠에서 117 라인의 가상현실용 가상객체 컨텐츠는 다음과 같이 기재되어 있다.

여기에서, 가상객체 컨텐츠의 타입 태그는 wxr-obj로서, 가상현실 모드에서만 렌더링되는 가상현실용 가상객체 컨텐츠임을 나타낸다. 117 라인의 가상객체 컨텐츠의 식별자는 “base”로 표시된다.

도 6의 (b) 및 (c)는 XR-신 컨텐츠의 다른 실시예들이다. 도 6의 (b)에 예시된 XR-신 컨텐츠는 가상현실 모드가 선택된 경우에 렌더링되는 가상현실용 가상객체 컨텐츠, 및 증강현실 모드와 가상현실 모드 각각에서 렌더링되는 확장현실용 가상객체 컨텐츠를 포함한다. 도 6의 (c)에 예시된 XR-신 컨텐츠는 증강현실 모드가 선택된 경우에 렌더링되는 증강현실용 가상객체 컨텐츠 및 증강현실 모드와 가상현실 모드 각각에서 렌더링되는 확장현실용 가상객체 컨텐츠를 포함한다.

본 발명의 또 다른 실시예에 따른 3043 단계에서, 렌더링 옵션 변환부(103)는 XR-신 컨텐츠에서 조명 연관 컨텐츠를 제외한 가상객체 콘텐츠의 가시 옵션의 속성을 가시에서 비-가시로 변환한다. 렌더링 옵션 변환부(103)는 사용자가 증강현실 모드를 선택한 경우 XR-신 컨텐츠에 포함된 가상객체 콘텐츠 중 조명 연관 컨텐츠를 제외한 가상객체 콘텐츠의 가시 옵션의 속성을 가시에서 비-가시로 변환한다. 확장현실 이미지를 표현하는 XR-신 컨텐츠는 조명 연관 컨텐츠를 포함한다.

조명 연관 컨텐츠는 확장현실 이미지를 생성할 때 확장현실 이미지에서 조명과 연관되는 컨텐츠이다. 실제 공간에서 조명은 형태를 갖지 않지만 다른 객체의 색에 영향을 준다. 이와 마찬가지로 확장현실에서도 조명은 형태를 가지 않지만 다른 객체의 색에 영향을 주는 무형의 객체이다. 이러한 조명의 성질로 인하여 확장현실 이미지를 생성할 때 조명 연관 컨텐츠를 렌더링하지 않는 경우 렌더링된 가상객체가 현실 공간에서의 대상 객체의 색과 차이가 발생할 수 있다. 여기에서, 조명은 직접 조명, 간접 조명, 자연광 등을 포함한다.

이와 관련하여 도 7은 조명 연관 컨텐츠를 고려하지 않고 XR-신 컨텐츠에 포함된 가상객체 컨텐츠의 가시 옵션의 속성을 비가시로 변환하고 증강 대상 객체와 대응되는 가상객체를 표현하는 가상객체 컨텐츠의 가시 옵션을 가시로 변환한 경우 렌더링된 증강 대상 객체의 가상객체를 포함하는 증강현실 이미지를 표시한 화면의 예시이다. 도 7을 참고하면, 사용자 단말(10)이 XR-신 컨텐츠를 렌더링하여 증강현실 이미지를 생성할 때 XR-신 컨텐츠에 포함된 조명 연관 컨텐츠를 함께 렌더링하지 않는 경우 XR-신 컨텐츠를 렌더링할 때 가상공간에서 조명이 가상객체에 미치는 영향이 고려되지 않기 때문에 렌더링된 가상객체의 색이 현실 공간에서 보여지는 실제 객체의 색과 다를 수 있다.

도 5의 (b)에 도시된 예시화면과 도 7에 도시된 예시화면을 비교하면, 도 7에 도시된 예시화면은 사용자 단말(10)이 렌더링 시 조명 연관 컨텐츠의 가시 옵션의 속성을 비-가시로 변환하고 증강현실 이미지를 생성하였기 때문에 렌더링된 밸브 손잡이의 가상객체의 색이 현실 공간의 밸브 손잡이 색과 다른 검은색으로 보인다. 이에 반하여, 도 5의 (b)에 도시된 예시화면은 사용자 단말(10)이 렌더링 시 조명 연관 컨텐츠의 가시 옵션의 속성을 비-가시로 변환하지 않고 증강현실 이미지를 생성하였기 때문에 렌더링된 밸브 손잡이의 가상객체의 색이 현실 공간의 밸브 손잡이 색과 동일한 밝은 회색으로 보인다.

상술한 바와 같이, 본 발명의 또 다른 실시예는 증강현실 이미지 데이터를 생성할 때 증강 대상 객체와 조명 연관 컨텐츠를 함께 렌더링함으로써 증강 대상 객체의 가상객체가 현실 공간에서 보여지는 현실 객체와 유사한 색으로 렌더링된다. 이에 따라, 사용자 단말(10)은 사용자에게 현실과 가까운 증강현실 환경을 사용자에게 제공할 수 있고, 사용자는 현실에 가까운 증강현실 이미지로 인하여 높은 몰입감을 가질 수 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로해석되어야 할 것이다.

10: 사용자 단말
101: 프로세서 102: 카메라 모듈
103: 렌더링 옵션 변환부 104: 객체검출부
105: 렌더링부 106: 디스플레이부
107: 입력모듈 108: 통신모듈
109: 스토리지
20: 확장현실 서버

Claims (11)

1. 다양한 확장현실 모드의 통합 렌더링 방법에 있어서,
   스토리지로부터 확장현실(XR, eXtended Reality) 이미지를 표현하고 상기 확장현실 이미지에 포함된 가상객체를 표현하는 적어도 하나의 가상객체 컨텐츠를 포함하는 XR-신(scene) 컨텐츠를 로드하는 단계;
   사용자로부터 가상현실 모드와 증강현실 모드를 포함하는 복수의 확장현실 모드 중 어느 하나의 확장현실 모드를 선택받는 단계; 및
   상기 선택된 확장현실 모드에 따라 상기 적어도 하나의 가상객체 컨텐츠에 대한 복수 개의 렌더링 옵션 각각의 속성을 유지 또는 변환하고, 상기 유지 또는 변환된 속성을 갖는 상기 적어도 하나의 가상객체 컨텐츠를 렌더링함으로써 상기 선택된 확장현실 모드에 해당하는 이미지 데이터를 생성하는 단계를 포함하고,
   상기 복수 개의 렌더링 옵션은 상기 XR-신 컨텐츠에 의해 표현되는 확장현실 이미지의 배경을 나타내는 바탕색 옵션과 상기 확장현실 이미지에 포함된 가상객체의 가시(visible) 또는 비-가시(invisible)를 지시하는 가시 옵션을 포함하는 것을 특징으로 하는 통합 렌더링 방법.
2. 제 1 항에 있어서,
   상기 렌더링하는 단계는
   상기 선택된 확장현실 모드가 상기 가상현실 모드인 경우 상기 복수 개의 렌더링 옵션 각각의 속성을 유지하고 상기 유지된 속성에 따라 상기 적어도 하나의 가상객체 컨텐츠를 렌더링하고,
   상기 선택된 확장현실 모드가 상기 증강현실 모드인 경우 상기 복수 개의 렌더링 옵션 각각의 속성을 변환하고 상기 변환된 속성에 따라 상기 적어도 하나의 가상객체 컨텐츠를 렌더링하는 것을 특징으로 하는 통합 렌더링 방법.
3. 제 2 항에 있어서,
   상기 렌더링하는 단계는
   상기 선택된 확장현실 모드가 상기 증강현실 모드인 경우, 상기 가상객체 컨텐츠의 복수 개의 렌더링 옵션 중 상기 가상객체의 가시(visible) 또는 비-가시(invisible)를 지시하는 가시 옵션의 속성을 가시에서 비-가시로 변환하는 단계;
   카메라 모듈에 의해 생성된 현실 공간을 나타내는 현실공간 이미지 데이터로부터 상기 증강현실 모드의 증강 대상 객체를 검출하는 단계;
   상기 검출된 증강 대상 객체와 대응되는 상기 XR-신 컨텐츠에 포함된 가상객체 콘텐츠의 가시 옵션의 속성을 비-가시에서 가시로 변환하는 단계; 및
   상기 XR-신 컨텐츠에서 상기 가상객체 콘텐츠의 가시 옵션의 속성이 가시인 가상객체를 렌더링하는 단계를 포함하는 것을 특징으로 하는 통합 렌더링 방법.
4. 제 3 항에 있어서,
   상기 가시 옵션의 속성을 가시에서 비-가시로 변환하는 단계는 상기 XR-신 컨텐츠에서 조명 연관 컨텐츠를 제외하고 나머지 가상객체 컨텐츠의 가시 옵션을 가시에서 비-가시로 변환하는 것을 특징으로 하는 통합 렌더링 방법.
5. 제 3 항에 있어서,
   상기 렌더링하는 단계는
   상기 선택된 확장현실 모드가 상기 증강현실 모드인 경우, 상기 XR-신 컨텐츠에 포함된 바탕색 옵션을 투명으로 변환하고, 상기 확장현실 이미지의 배경을 상기 현실공간 이미지 데이터로 변환하는 단계를 더 포함하는 것을 특징으로 하는 통합 렌더링 방법.
6. 제 5 항에 있어서,
   상기 렌더링하는 단계는
   상기 선택된 확장현실 모드가 상기 가상현실 모드인 경우, 상기 XR-신 컨텐츠에 포함된 바탕색 옵션을 흰색으로 변환하고, 상기 확장현실 이미지의 배경을 흰색으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 통합 렌더링 방법.
7. 제 3 항에 있어서,
   상기 증강 대상 객체를 검출하는 단계는 상기 현실공간 이미지 데이터에 포함된 형상을 추출하고, 상기 추출된 형상과 상기 증강 대상 객체의 형상을 비교하고, 상기 증강 대상 객체의 형상과 매칭되는 형상을 상기 증강 대상 객체로 검출하는 것을 특징으로 하는 통합 렌더링 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
9. 다양한 확장현실 모드의 통합 렌더링을 위한 사용자 단말에 있어서,
   스토리지로부터 확장현실(XR) 이미지를 표현하고 상기 확장현실 이미지에 포함된 가상객체를 표현하는 적어도 하나의 가상객체 컨텐츠를 포함하는 XR-신 콘텐츠를 로드하는 프로세서;
   사용자로부터 가상현실 모드와 증강현실 모드를 포함하는 복수의 확장현실 모드 중 어느 하나의 확장현실 모드를 선택받는 입력모듈;
   상기 선택된 확장현실 모드에 따라 상기 적어도 하나의 가상객체 컨텐츠에 대한 복수 개의 렌더링 옵션 각각의 속성을 유지 또는 변환하는 렌더링 옵션 변환부; 및
   상기 유지 또는 변환된 속성을 갖는 상기 적어도 하나의 가상객체 컨텐츠를 렌더링함으로써 상기 선택된 확장현실 모드에 해당하는 이미지 데이터를 생성하는 렌더링부를 포함하고,
   상기 복수 개의 렌더링 옵션은 상기 XR-신 컨텐츠에 의해 표현되는 확장현실 이미지의 배경을 나타내는 바탕색 옵션과 상기 확장현실 이미지에 포함된 가상객체의 가시(visible) 또는 비-가시(invisible)를 지시하는 가시 옵션을 포함하는 것을 특징으로 하는 사용자 단말.
10. 가상현실용 가상객체 컨텐츠와 증강현실용 가상객체 컨텐츠 중 적어도 하나와 확장현실용 가상객체 컨텐츠를 포함하는 XR-신 컨텐츠가 기록된 기록매체에 있어서,
    상기 가상현실용 가상객체 컨텐츠는 가상현실용 가상객체 컨텐츠임을 나타내는 타입 태그, 및 가상현실용 가상객체를 표현하는 메타데이터를 나타내는 가상객체 태그를 포함하고,
    상기 증강현실용 가상객체 컨텐츠는 증강현실용 가상객체 컨텐츠임을 나타내는 타입 태그, 및 증강현실용 가상객체를 표현하는 메타데이터를 나타내는 가상객체 태그를 포함하고,
    상기 확장현실용 가상객체 컨텐츠는 확장현실용 가상객체 컨텐츠임을 나타내는 타입 태그, 및 확장현실용 가상객체를 표현하는 메타데이터를 나타내는 가상객체 태그를 포함하고,
    상기 가상현실용 가상객체 컨텐츠, 상기 증강현실용 가상객체 컨텐츠, 및 상기 확장현실용 가상객체 컨텐츠 중 적어도 하나의 가상객체 컨텐츠에 대한 복수 개의 렌더링 옵션은 상기 XR-신 컨텐츠에 의해 표현되는 확장현실 이미지의 배경을 나타내는 바탕색 옵션과 상기 확장현실 이미지에 포함된 가상객체의 가시(visible) 또는 비-가시(invisible)를 지시하는 가시 옵션을 포함하는 것을 특징으로 하는 XR-신 컨텐츠가 기록된 기록매체.
11. 제 10 항에 있어서,
    상기 가상현실용 가상객체 컨텐츠는 가상현실 모드에서 렌더링 가능하고,
    상기 증강현실용 가상객체 컨텐츠는 증강현실 모드에서 렌더링 가능하고,
    상기 확장현실용 가상객체 컨텐츠는 상기 가상현실 모드 및 상기 증강현실 모드 각각에서 렌더링 가능한 것을 특징으로 하는 XR-신 컨텐츠가 기록된 기록매체.

Images