KR102144580B1 - 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램 - Google Patents

복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102144580B1
KR102144580B1 KR1020170118601A KR20170118601A KR102144580B1 KR 102144580 B1 KR102144580 B1 KR 102144580B1 KR 1020170118601 A KR1020170118601 A KR 1020170118601A KR 20170118601 A KR20170118601 A KR 20170118601A KR 102144580 B1 KR102144580 B1 KR 102144580B1
Authority
KR
South Korea
Prior art keywords
layer
augmented reality
layers
displaying
real space
Prior art date
Application number
KR1020170118601A
Other languages
English (en)
Other versions
KR20190030938A (ko
Inventor
이주철
김경국
이용범
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020170118601A priority Critical patent/KR102144580B1/ko
Publication of KR20190030938A publication Critical patent/KR20190030938A/ko
Application granted granted Critical
Publication of KR102144580B1 publication Critical patent/KR102144580B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Abstract

복수의 레이어를 표시하는 증강 현실 장치는 현실 공간을 촬영하는 촬영부, 증강 현실 컨텐츠를 생성하는 증강 현실 컨텐츠 생성부, 상기 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출하는 객체 추출부 및 상기 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 상기 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 상기 제 1 레이어에 오버레이하여 표시하는 표시부를 포함하고, 상기 표시부는 상기 추출된 중요 객체를 별도의 레이어를 통해 상기 제 2 레이어에 오버레이하여 표시한다.

Description

복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램 {AUGMENTED REALITY DEVICE, METHOD AND COMPUTER PROGRAM FOR DISPLAYING MULTI-LAYER}
본 발명은 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
증강 현실(AR, Augmented Reality)이란 현실의 이미지나 배경에 3차원의 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술을 말한다. 증강 현실은 현실과 가상을 혼합된 영상으로 제공함으로써, 실제 환경 보다 나은 현실감과 부가 정보를 사용자에게 제공한다는 장점을 가지고 있다.
이러한 증강 현실 서비스와 관련하여, 선행기술인 한국공개특허 제 2017-0054146호는 증강 현실 제공 방법을 개시하고 있다.
종래의 증강 현실 서비스는 현실 공간의 실사 영상에 가상의 콘텐츠를 단순히 오버랩(overlap)하는 2 레이어(layer)의 방식을 이용하였다. 그러나 2 레이어 방식을 이용한 증강 현실 서비스는 가상의 콘텐츠가 현실 공간의 실사 영상을 덮음으로써, 현실 공간의 중요도가 높은 객체인 사람 객체를 가상의 콘텐츠가 덮어버린다는 단점을 가지고 있다. 또한, 2 레이어 방식을 이용한 증강 현실 서비스는 2D 디스플레이 상에서 입체감 및 증강 효과가 미미하다는 단점을 가지고 있다.
현실공간의 특정 객체를 추출하여 또 다른 레이어로 재오버레이하거나, 3차원 또는 투명한 증강현실 콘텐츠를 멀티 레이어로 배치함으로써, 입체감 및 증강효과를 향상시킬 수 있는 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다. 사용자가 직접 레이어의 순서를 변경 또는 온/오프함으로써, 사용자가 직접 화면 구성 및 효과를 연출할 수 있도록 하는 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다. 써드파티(3rd-party)에 의해 업로드되는 각종 증강현실 콘텐츠(2D 이미지, 발표자료, 3D 콘텐츠 등)를 오픈 플랫폼을 통해 증강현실 플랫폼 사업으로 제공될 수 있도록 하는 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 현실 공간을 촬영하는 촬영부, 증강 현실 컨텐츠를 생성하는 증강 현실 컨텐츠 생성부, 상기 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출하는 객체 추출부 및 상기 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 상기 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 상기 제 1 레이어에 오버레이하여 표시하는 표시부를 포함하고, 상기 표시부는 상기 추출된 중요 객체를 별도의 레이어를 통해 상기 제 2 레이어에 오버레이하여 표시하는 것인 증강 현실 장치를 제공할 수 있다.
본 발명의 다른 실시예는, 현실 공간을 촬영하는 단계, 증강 현실 컨텐츠를 생성하는 단계, 상기 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출하는 단계, 상기 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 상기 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 상기 제 1 레이어에 오버레이하여 표시하는 단계 및 상기 추출된 중요 객체를 별도의 레이어를 통해 상기 제 2 레이어에 오버레이하여 표시하는 단계를 포함하는 증강 현실 서비스 제공 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 현실 공간을 촬영하고, 증강 현실 컨텐츠를 생성하고, 상기 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출하고, 상기 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 상기 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 상기 제 1 레이어에 오버레이하여 표시하고, 상기 추출된 중요 객체를 별도의 레이어를 통해 상기 제 2 레이어에 오버레이하여 표시하도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 현실공간의 특정 객체를 추출하여 또 다른 레이어로 재오버레이하거나, 3차원 또는 투명한 증강현실 콘텐츠를 멀티 레이어로 배치함으로써, 입체감 및 증강효과를 향상시킬 수 있는 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다. 사용자가 직접 레이어의 순서를 변경 또는 온/오프함으로써, 사용자가 직접 화면 구성 및 효과를 연출할 수 있도록 하는 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다. 써드파티(3rd-party)에 의해 업로드되는 각종 증강현실 콘텐츠(2D 이미지, 발표자료, 3D 콘텐츠 등)를 오픈 플랫폼을 통해 증강현실 플랫폼 사업으로 제공될 수 있도록 하는 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 서비스 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 장치의 구성도이다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 증강 현실 장치에서 제 2 레이어를 제 1 레이어에 오버레이하여 표시하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 증강 현실 장치에서 복수의 레이어의 표시를 통해 제공된 증강 현실 서비스를 도시한 예시적인 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 복수의 레이어를 표시하기 위해 이용하는 오버레이 방식을 설명하기 위한 예시적인 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 중요 객체를 오버레이 방식을통해 복수의 레이어를 이용하여 표시하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 2D의 평면 콘텐츠를 3D 입체 콘텐츠로 변환하기 위한 렌더링 과정을 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 장치에서 복수의 레이어를 통해 프레젠테이션용 콘텐츠를 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 증강 현실 장치에서 복수의 레이어의 표시를 통해 3D 객체를 포함하는 증강 현실 서비스를 도시한 예시적인 도면이다.
도 10은 본 발명의 일 실시예에 따른 증강 현실 장치에서 복수의 레이어를 통해 증강 현실 서비스를 제공하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 서비스 제공 시스템의 구성도이다. 도 1을 참조하면, 증강 현실 서비스 제공 시스템(1)은 증강 현실 장치(110) 및 스토리지 서버(120)를 포함할 수 있다. 증강 현실 장치(110) 및 스토리지 서버(120)는 증강 현실 서비스 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 증강 현실 서비스 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 증강 현실 장치(110)는 스토리지 서버(120)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
증강 현실 장치(110)는 현실 공간을 촬영할 수 있다. 예를 들어, 증강 현실 장치(110)는 증강 현실 장치(110)와 유/무선으로 연결된 촬영 장치를 통해 현실 공간을 촬영할 수 있다.
증강 현실 장치(110)는 증강 현실 컨텐츠를 생성할 수 있다. 예를 들어, 증강 현실 컨텐츠는 촬영된 현장 공간에 오버레이되어 표시되는 캐릭터 이미지, 발표자료 등을 포함할 수 있다.
증강 현실 장치(110)는 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출할 수 있다. 예를 들어, 증강 현실 장치(110)는 현실 공간에 포함된 중요 객체를 HVR과 같은 배경 분리 알고리즘, 알파맵 등을 이용하여 중요 객체를 추출할 수 있다. 중요 객체는 예를 들어, 사람 객체일 수 있다.
증강 현실 장치(110)는 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 제 1 레이어에 오버레이하여 표시할 수 있다. 이 때, 증강 현실 장치(110)는 추출된 중요 객체를 별도의 레이어를 통해 제 2 레이어에 오버레이하여 표시할 수 있다. 예를 들어, 증강 현실 장치(110)는 제 1 레이어를 블러(blur) 처리하고, 추출된 중요 객체에 대한 별도의 레이어를 블러 처리된 제 1 레이어 및 제 2 레이어에 오버레이할 수 있다.
증강 현실 장치(110)는 3D 객체를 생성하여, 생성된 3D 객체를 제 3 레이어를 통해 제 2 레이어에 오버레이하여 표시할 수 있다.
복수의 레이어는 제 1 레이어, 제 2 레이어 및 제 3 레이어를 포함하며, 사용자 입력에 기초하여 복수의 레이어 간의 오버레이 순서가 변경될 수 있다. 복수의 레이어는 일 축에 대해 기설정된 좌표값에 따라 평형하게 배치되어 오버레이될 수 있다.
증강 현실 장치(110)는 3D 객체의 움직임에 따라 이동되는 3D 객체를 구성하는 적어도 하나의 영역의 좌표값과 복수의 레이어의 좌표값에 기초하여 3D 객체를 제 3 레이어를 통해 표시할 수 있다. 이 때, 적어도 하나의 영역의 좌표값이 제 1 레이어 또는 제 2 레이어의 좌표값을 넘어가는 경우, 제 1 레이어 또는 제 2 레이어의 좌표값을 넘어가는 적어도 하나의 영역이 제 1 레이어 또는 제 2 레이어에 가려지도록 표시할 수 있다.
이러한 증강 현실 장치(110)는 PC, 모바일, 지능형 개인비서 단말 등을 포함할 수 있으며, 증강 현실 장치(110)는 복수의 레이어를 표시하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 의해 수행될 수 있다. 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 현실 공간을 촬영하고, 증강 현실 컨텐츠를 생성하고, 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출하고, 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 제 1 레이어에 오버레이하여 표시하고, 추출된 중요 객체를 별도의 레이어를 통해 제 2 레이어에 오버레이하여 표시하도록 하는 명령어들의 시퀀스를 포함할 수 있다.
스토리지 서버(120)는 사용자 또는 써드파티(3rd-party)에 의해 업로드된 증강 객체 컨텐츠 및 3D 컨텐츠의 생성을 위한 다양한 자료 형태로서 이미지, 발표자료, 컨텐츠 등을 저장하고 있을 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 장치의 구성도이다. 도 2를 참조하면, 증강 현실 장치(110)는 촬영부(210), 증강 현실 컨텐츠 생성부(220), 객체 추출부(230), 3D 객체 생성부(240), 순서 변경부(250) 및 표시부(260)를 포함할 수 있다.
촬영부(210)는 현실 공간을 촬영할 수 있다. 예를 들어, 촬영부(210)는 실내/외의 현실 공간을 촬영할 수 있다.
증강 현실 컨텐츠 생성부(220)는 증강 현실 컨텐츠를 생성할 수 있다. 증강 현실 컨텐츠 생성부(220)는 스토리지 서버(120)에 저장된 컨텐츠로부터 증강 현실 컨텐츠를 생성할 수 있다.
객체 추출부(230)는 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출할 수 있다. 예를 들어, 객체 추출부(230)는 배경 분리 알고리즘(Background Subtraction algorithm)을 활용한 TV 증강 현실 융합 기술로서 HVR(Hyper Virtual Reality)을 이용하여 중요 객체를 추출할 수 있다. 중요 객체는 예를 들어, 사람 객체일 수 있다.
3D 객체 생성부(240)는 3D 객체를 생성할 수 있다. 3D 객체 생성부(240)는 스토리지 서버(120)에 저장된 컨텐츠로부터 3D 객체를 생성할 수 있다.
순서 변경부(250)는 사용자 입력에 기초하여 복수의 레이어 간의 오버레이순서를 변경할 수 있다. 복수의 레이어는 예를 들어, 제 1 레이어, 제 2 레이어 및 제 3 레이어를 포함할 수 있다.
표시부(260)는 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 제 1 레이어에 오버레이하여 표시할 수 있다. 이 때, 표시부(260)는 추출된 중요 객체를 별도의 레이어를 통해 제 2 레이어에 오버레이하여 표시할 수 있다. 예를 들어, 표시부(260)는 제 1 레이어를 블러(blur) 처리하고, 추출된 중요 객체에 대한 별도의 레이어를 블러 처리된 제 1 레이어 및 제 2 레이어에 오버레이할 수 있다.
표시부(260)는 3D 객체 생성부(240)에서 3D 객체가 생성되면, 생성된 3D 객체를 제 3 레이어를 통해 제 2 레이어에 오버레이하여 표시할 수 있다. 이 때, 복수의 레이어는 일 축에 대해 기설정된 좌표값에 따라 평형하게 배치되어 오버레이될 수 있다. 예를 들어, 표시부(260)는 3D 객체의 움직임에 따라 이동되는 3D 객체를 구성하는 적어도 하나의 영역의 좌표값과 복수의 레이어의 좌표값에 기초하여 3D 객체를 제 3 레이어를 통해 표시할 수 있다. 이 때, 적어도 하나의 영역의 좌표값이 제 1 레이어 또는 제 2 레이어의 좌표값을 넘어가는 경우, 적어도 하나의 영역이 제 1 레이어 또는 제 3 레이어에 가려지도록 표시할 수 있다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 증강 현실 장치에서 제 2 레이어를 제 1 레이어에 오버레이하여 표시하는 과정을 설명하기 위한 예시적인 도면이다.
도 3a는 본 발명의 일 실시예에 따른 증강 현실 장치에서 촬영한 현실 공간을 도시한 예시적인 도면이다. 여기서, 촬영된 현실 공간은 제 1 레이어를 통해 표시될 수 있다.
도 3b는 본 발명의 일 실시예에 따른 증강 현실 장치에서 중요 객체를 추출하는 과정을 도시한 예시적인 도면이다. 도 3a 및 도 3b를 참조하면, 증강 현실 장치(110)는 논-블루스크린(Non-bluescreen)과 같은 카메라 영상 처리만으로 움직이는 객체의 추출 시, 에러가 발생될 수 있으며, 여기서 추출된 중요 객체(310)는 별도의 레이어를 통해 제 2 레이어에 오버레이되어 표시될 수 있다.
도 3c는 본 발명의 일 실시예에 따른 증강 현실 장치에서 제 1 레이어를 블러 처리하는 과정을 도시한 예시적인 도면이다. 도 3c를 참조하면, 증강 현실 장치(110)는 2D 디스플레이에서 원근 효과 및 입체 효과를 얻기 위해, 중요 객체(310)를 포함하는 현실 공간을, 예를 들어, 28x28 가우시안 필터(Gaussian Filter)를 이용하여 블러 처리할 수 있다.
도 3d는 본 발명의 일 실시예에 따른 증강 현실 장치에서 중요 객체를 현실 공간에 재오버레이시키는 과정을 도시한 예시적인 도면이다. 도 3d를 참조하면, 증강 현실 장치(110)는 추출된 중요 객체(310)를 현실 공간에 재오버레이시킴으로써, 추출된 중요 객체(310)의 품질을 개선시켜 표시되도록 할 수 있다. 증강 현실 장치(110)는 중요 객체(310)의 추출이 실패된 영역에 대해서도, 블러 처리된 현실 공간의 색감에 따라 시각적 품질이 향상된 증강 현실 서비스를 제공할 수 있다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 증강 현실 장치에서 복수의 레이어의 표시를 통해 제공된 증강 현실 서비스를 도시한 예시적인 도면이다.
도 4a는 종래의 증강 현실 서비스를 도시한 예시적인 도면이다. 도 4a를 참조하면, 종래의 증강 현실 서비스는 현실 공간에 증강 현실 콘텐츠를 오버레이하는 2 레이어 방식을 주로 사용하였다.
예를 들어, 증강 현실 장치(110)는 2 레이어 방식을 통해 중요 객체(400)가 포함된 현실 공간을 제 1 레이어를 통해 표시하고, 증강 현실 콘텐츠(410)를 제 2 레이어를 통해 표시하였다.
그러나 종래의 증강 현실 서비스는 증강 현실 콘텐츠(410)가 현실 공간의 중요 객체(400)에 오버랩(overlap)됨으로써, 중요 객체(400)를 덮어버린다는 단점을 가지고 있었다. 또한, 2D 디스플레이 상에서 증강 현실 콘텐츠의 입체감 및 증강 효과가 미미하다는 단점을 가지고 있었다.
도 4b는 본 발명의 일 실시예에 따른 증강 현실 서비스를 도시한 예시적인 도면이다. 도 4b를 참조하면, 본 발명에서 제시하는 증강 현실 서비스는 복수의 레이어를 통해 현실 공간의 중요 객체(400)를 실시간으로 추출하고, 증강 현실 콘텐츠(410)의 레이어 위에 재오버레이함으로써, 더 높은 현실감을 제공할 수 있다.
예를 들어, 증강 현실 장치(110)는 현실 공간에 포함된 중요 객체(400)를 추출하여, 현실 공간을 제 1 레이어를 통해 표시하고, 증강 현실 콘텐츠(410)를 제 2 레이어를 통해 제 1 레이어에 오버레이하여 표시하고, 추출된 중요 객체(400)를 별도의 레이어를 통해 제 2 레이어에 오버레이하여 표시할 수 있다.
이러한 복수의 레이어를 이용한 증강 현실 서비스를 통해 증강 현실 콘텐츠(410)가 중요 객체(400)에 오버랩(overlap)되지 않아, 중요 객체(400)를 덮어버리지 않고, 중요 객체(400)의 뒤에 숨는 듯한 자연스러운 화면을 구성할 수 있다.
도 4c는 본 발명의 일 실시예에 따른 증강 현실 서비스를 도시한 예시적인 도면이다. 도 4c를 참조하면, 본 발명에서 제시하는 증강 현실 서비스는 현실 공간을 블러 처리함으로써, 2D 디스플레이에서도 증강된 3D 입체감을 느낄 수 있도록 할 수 있다.
예를 들어, 증강 현실 장치(110)는 현실 공간에 포함된 중요 객체(400)를 추출한 후, 현실 공간을 블러(blur)처리하여 제 1 레이어를 통해 표시하고, 제 1 증강 현실 콘텐츠(410)를 제 2 레이어를 통해 제 1 레이어에 오버레이하여 표시하고, 별도의 레이어를 통해 중요 객체를 제 1 레이어 및 제 2 레이어에 오버레이하여 표시하고, 제 2 증강 현실 콘텐츠(420)를 제 3 레이어를 통해 중요 객체가 표시된 별도의 레이어에 오버레이하여 표시함으로써, 입체적 효과 및 증강 효과를 높일 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 복수의 레이어를 표시하기 위해 이용하는 오버레이 방식을 설명하기 위한 예시적인 도면이다.
도 5a는 종래의 증강 현실 서비스에서 이용되는 오버레이 방식을 도시한 예시적인 도면이다. 도 5a를 참조하면, 종래의 증강 현실 서비스는 비실시간 2차원 오버레이 방식으로 z좌표(500)에서 z값이 고정되도록 기생성된 레이어(510, 520)가 독립적으로 계층별로 디스플레이되었다.
도 5b는 본 발명의 일 실시예에 따른 증강 현실 서비스에서 이용되는 오버레이 방식을 도시한 예시적인 도면이다. 도 5b를 참조하면, 실시간 3차원 오버레이 방식으로 계층의 구분 없이 하나의 증강 현실 콘텐츠(530)가 레이어 간에 관통되도록 구성됨으로써, 실시간으로 연속적 디스플레이가 가능해지며 극대화된 입체감을 제공할 수 있다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 중요 객체를 오버레이 방식을통해 복수의 레이어를 이용하여 표시하는 과정을 설명하기 위한 예시적인 도면이다. 예를 들어, 도 6a 및 도 6b에서는 A, B, C의 3개의 레이어가 이용될 수 있다. A 레이어는 2D의 배경 이미지로 파란색으로 나타내어질 수 있으며, z=300으로 고정될 수 있다. B 레이어는 2D 객체 이미지로 노란 십자형 객체로 나타내어질 수 있으며, 객체 이외는 투명처리되며, z=200으로 고정될 수 있다. C 레이어는 와이어프레임(Wireframe) 형태의 3D 객체로 인간의 3차원 모델로 나타내어질 수 있으며, 사람의 중심점인 z=100으로 고정될 수 있다. 이 때, 각 레이어는 회전에 따라 각 영역의 z값이 변할 수 있다.
도 6a는 본 발명의 일 실시예에 따른 중요 객체를 오버레이 방식을 통해 복수의 레이어를 이용하여 표시하는 과정을 설명하기 위한 예시적인 도면이다. 도 6a를 참조하면, 3D 객체(또는 3D 객체의 일부분)가 A 레이어 또는 B 레이어의 z좌표값 앞에서 관통없이 동작하는 경우, 증강 현실 장치는 각 레이어를 표시할 수 있다.
B 레이어의 십자형 객체외의 영역은 투명처리됨으로써 A 레이어가 보이게 되며, C 레이어의 3D 사람 객체가 정면을 응시하고 있는 상태로, 예를 들어, 코=80, 발 뒤꿈치=120과 같이 모든 포인트의 z값이 200보다 작을 수 있다.
결국, 3D 사람 객체의 전체 모습이 최상위 레이어에 표시될 수 있다.
도 6b는 본 발명의 일 시예에 따른 움직이는 중요 객체를 오버레이 방식을 통해 복수의 레이어를 이용하여 표시하는 과정을 설명하기 위한 예시적인 도면이다. 도 6b를 참조하면, 3D 객체(또는 3D 객체의 일부분)가 A 레이어 또는 B 레이어의 z좌표값을 넘어서 각 레이어를 관통하는 것처럼 동작하는 경우, 3D 객체가 각 레이어를 관통하는 것처럼 각 레이어를 표시할 수 있다.
이 경우, 3D 사람 객체는 중심점을 기준으로 시계 반대방향으로 회전하게 되며, 이에 따라, 오른쪽 팔꿈치 영역에서 손까지의 z값이 200이상에서 300미만의 값을 가지게 된다.
결국, 오른쪽 팔꿈치의 일부는 B 레이어의 노란 객체의 뒤로 가려지게 되며, 오른손은 B 레이어의 투명 영역 위에 표시될 수 있다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 2D의 평면 콘텐츠를 3D 입체 콘텐츠로 변환하기 위한 렌더링 과정을 설명하기 위한 예시적인 도면이다.
도 7a는 본 발명의 일 실시예에 따른 RGB 컬러 기반의 실시간 심도 변경을 통한 렌더링 과정을 도시한 예시적인 도면이다. 도 7a를 참조하면, 사용자가 설정한 컬러값 정의에 따라 실시간으로 심도(depth)가 변경됨으로써, 2D의 평면 콘텐츠(710)가 3D의 입체 콘텐츠(720)로 변환될 수 있다.
예를 들어, 검은색 픽셀의 z값이 변경됨으로써, 다른 디스플레이 레이어가 이동되어 검은색 글씨가 레이어 위에 떠 보이도록 할 수 있다.
도 7b는 본 발명의 일 실시예에 따른 위치 기반의 심도 변경을 통한 렌더링 과정을 도시한 예시적인 도면이다. 도 7b를 참조하면, 사용자가 설정한 위치값 정의에 따라 실시간으로 심도(depth)가 변경됨으로써, 2D의 평면 콘텐츠(710)가 3D의 입체 콘텐츠(730)로 변환될 수 있다.
예를 들어, 사각형 형태의 레이어의 연속적인 z값의 변경을 통해 입체 물결 형태의 레이어로 디스플레이되도록 할 수 있다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 장치에서 복수의 레이어를 통해 프레젠테이션용 콘텐츠를 생성하는 과정을 설명하기 위한 예시적인 도면이다. 도 8을 참조하면, 사용자는 스토리지 서버(120)에 저장된 각종 증강 현실 콘텐츠 및 3D 콘텐츠를 실시간으로 선별적으로 불러와 프레젠테이션용 콘텐츠와 같이 사용자 의도에 적합한 증강 현실 서비스를 생성할 수 있다.
예를 들어, 사용자는 증강 현실 장치(110)를 통해 현실 공간을 제 1 레이어(800)를 통해 표시하고, 스토리지 서버(120)로부터 불러온 발표자료를 제 2 레이어(810)를 통해 제 1 레이어에 오버레이하여 표시하고, 현실 공간으로부터 추출한 발표자를 별도의 레이어(820)를 통해 제 2 레이어에 오버레이하여 표시하고, 3D 객체를 제 3 레이어(830)를 통해 별도의 레이어에 오버레이하여 표시할 수 있다.
이 때, 사용자는 증강 현실 효과를 높이기 위해 발표자료가 표시된 제 2 레이어와 발표자가 표시된 별도의 레이어 간의 순서를 변경할 수 있다. 또한, 사용자는 상황에 따라 3D 객체가 표시된 제 3 레이어를 온/오프할 수도 있다.
이러한 과정을 통해, 실시간으로 복수의 레이어를 오버레이하여 2D 디스플레이 상에서도 입체감과 홀로그래픽과 같은 증강 현실 효과를 극대화시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 증강 현실 장치에서 복수의 레이어의 표시를 통해 3D 객체를 포함하는 증강 현실 서비스를 도시한 예시적인 도면이다. 도 9를 참조하면, 증강 현실 장치(110)는 최상위 레이어(900)에 3D 객체(910)를 오버레이하여 홀로그래픽 영상처럼 실감나는 증강 현실 효과를 제공할 수 있다. 여기서, 3D 객체는 배경이 투명한 3D 와이어프레임(Wireframe)의 형태일 수 있다.
도 10은 본 발명의 일 실시예에 따른 증강 현실 장치에서 복수의 레이어를 통해 증강 현실 서비스를 제공하는 방법은 도 1 내지 도 9에 도시된 실시예에 따른 증강 현실 서비스 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 9에 도시된 실시예에 따른 증강 현실 장치(110)에 의해 수행되는 복수의 레이어를 통해 증강 현실 서비스를 제공하는 방법에도 적용된다.
단계 S1010에서 증강 현실 장치(110)는 현실 공간을 촬영할 수 있다.
단계 S1020에서 증강 현실 장치(110)는 증강 현실 컨텐츠를 생성할 수 있다.
단계 S1030에서 증강 현실 장치(110)는 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출할 수 있다.
단계 S1040에서 증강 현실 장치(110)는 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 제 1 레이어에 오버레이하여 표시할 수 있다.
단계 S1050에서 증강 현실 장치(110)는 추출된 중요 객체를 별도의 레이어를 통해 제 2 레이어에 오버레이하여 표시할 수 있다.
상술한 설명에서, 단계 S1010 내지 S1050은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 10을 통해 설명된 증강 현실 장치(110)에서 복수의 레이어를 통해 증강 현실 서비스를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 10을 통해 설명된 증강 현실 장치(110)에서 복수의 레이어를 통해 증강 현실 서비스를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 증강 현실 장치
120: 스토리지 서버
210: 촬영부
220: 증강 현실 컨텐츠 생성부
230: 객체 추출부
240: 3D 객체 생성부
250: 순서 변경부
260: 표시부

Claims (17)

  1. 복수의 레이어를 표시하는 증강 현실 장치에 있어서,
    현실 공간을 촬영하는 촬영부;
    증강 현실 컨텐츠를 생성하는 증강 현실 컨텐츠 생성부;
    상기 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출하는 객체 추출부; 및
    상기 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 상기 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 상기 제 1 레이어에 오버레이하여 표시하는 표시부를 포함하고,
    상기 표시부는 상기 추출된 중요 객체를 별도의 레이어를 통해 상기 제 2 레이어에 오버레이하여 표시하는 것이되,
    3D 객체를 생성하는 3D 객체 생성부
    를 더 포함하고,
    상기 표시부는 상기 생성된 3D 객체를 제 3 레이어를 통해 상기 제 2 레이어에 오버레이하여 표시하는 것인, 증강 현실 장치.
  2. 제 1 항에 있어서,
    상기 표시부는 상기 제 1 레이어를 블러(blur) 처리하고, 상기 추출된 중요 객체에 대한 별도의 레이어를 상기 블러 처리된 제 1 레이어 및 상기 제 2 레이어에 오버레이하는 것인, 증강 현실 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 복수의 레이어는 상기 제 1 레이어, 상기 제 2 레이어 및 상기 제 3 레이어를 포함하고,
    사용자 입력에 기초하여 상기 복수의 레이어 간의 오버레이 순서를 변경하는 순서 변경부
    를 더 포함하는 것인, 증강 현실 장치.
  5. 제 4 항에 있어서,
    상기 복수의 레이어는 일 축에 대해 기설정된 좌표값에 따라 평형하게 배치되어 오버레이되고,
    상기 표시부는 상기 3D 객체의 움직임에 따라 이동되는 상기 3D 객체를 구성하는 적어도 하나의 영역의 좌표값과 상기 복수의 레이어의 좌표값에 기초하여 상기 3D 객체를 상기 제 3 레이어를 통해 표시하는 것인, 증강 현실 장치.
  6. 제 5 항에 있어서,
    상기 표시부는 상기 적어도 하나의 영역의 좌표값이 상기 제 1 레이어 또는 상기 제 2 레이어의 좌표값을 넘어가는 경우, 상기 적어도 하나의 영역이 상기 제 1 레이어 또는 상기 제 2 레이어에 가려지도록 표시하는 것인, 증강 현실 장치.
  7. 복수의 레이어를 통해 증강 현실 서비스를 제공하는 방법에 있어서,
    현실 공간을 촬영하는 단계;
    증강 현실 컨텐츠를 생성하는 단계;
    상기 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출하는 단계;
    상기 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 상기 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 상기 제 1 레이어에 오버레이하여 표시하는 단계; 및
    상기 추출된 중요 객체를 별도의 레이어를 통해 상기 제 2 레이어에 오버레이하여 표시하는 단계
    를 포함하는 것이되,
    3D 객체를 생성하는 단계; 및
    상기 생성된 3D 객체를 제 3 레이어를 통해 상기 제 2 레이어에 오버레이하여 표시하는 단계
    를 더 포함하는 것인, 증강 현실 서비스 제공 방법.
  8. 제 7 항에 있어서,
    상기 제 1 레이어를 블러(blur) 처리하고, 상기 추출된 중요 객체에 대한 별도의 레이어를 상기 블러 처리된 제 1 레이어에 오버레이하는 단계
    를 더 포함하는 것인, 증강 현실 서비스 제공 방법.
  9. 삭제
  10. 제 7 항에 있어서,
    사용자 입력에 기초하여 상기 제 1 레이어, 상기 제 2 레이어 및 상기 제 3 레이어 를 포함하는 복수의 레이어 간의 오버레이 순서를 변경하는 단계
    를 더 포함하는 것인, 증강 현실 서비스 제공 방법.
  11. 제 10 항에 있어서,
    상기 복수의 레이어는 일 축에 대해 기설정된 좌표값에 따라 평형하게 배치되어 오버레이되고,
    상기 3D 객체의 움직임에 따라 이동되는 상기 3D 객체를 구성하는 적어도 하나의 영역의 좌표값과 상기 복수의 레이어의 좌표값에 기초하여 상기 3D 객체를 상기 제 3 레이어를 통해 표시하는 단계
    를 더 포함하는 것인, 증강 현실 서비스 제공 방법.
  12. 제 11 항에 있어서,
    상기 적어도 하나의 영역의 좌표값이 상기 제 1 레이어 또는 상기 제 2 레이어의 좌표값을 넘어가는 경우, 상기 적어도 하나의 영역이 상기 제 1 레이어 또는 상기 제 2 레이어에 가려지도록 표시하는 단계
    를 더 포함하는 것인, 증강 현실 서비스 제공 방법.
  13. 복수의 레이어를 통해 증강 현실 서비스를 제공하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    현실 공간을 촬영하고,
    증강 현실 컨텐츠를 생성하고,
    상기 촬영된 현실 공간으로부터 적어도 하나의 중요 객체를 추출하고,
    상기 촬영된 현실 공간을 제 1 레이어를 통해 표시하고, 상기 생성된 증강 현실 컨텐츠를 제 2 레이어를 통해 상기 제 1 레이어에 오버레이하여 표시하고,
    상기 추출된 중요 객체를 별도의 레이어를 통해 상기 제 2 레이어에 오버레이하여 표시하도록 하는 명령어들의 시퀀스를 포함하고,
    3D 객체를 생성하고, 상기 생성된 3D 객체를 제 3 레이어를 통해 상기 제 2 레이어에 오버레이하여 표시하도록 하는 명령어들의 시퀀스를 더 포함하는, 매체에 저장된 컴퓨터 프로그램.
  14. 삭제
  15. 제 13 항에 있어서,
    복수의 레이어는 상기 제 1 레이어, 상기 제 2 레이어 및 상기 제 3 레이어 를 포함하고,
    사용자 입력에 기초하여 상기 복수의 레이어 간의 오버레이 순서를 변경 하도록 하는 명령어들의 시퀀스를 더 포함하는, 매체에 저장된 컴퓨터 프로그램.
  16. 제 15 항에 있어서,
    상기 복수의 레이어는 일 축에 대해 기설정된 좌표값에 따라 평형하게 배치되어 오버레이되고,
    상기 3D 객체의 움직임에 따라 이동되는 상기 3D 객체를 구성하는 적어도 하나의 영역의 좌표값과 상기 복수의 레이어의 좌표값에 기초하여 상기 3D 객체를 상기 제 3 레이어를 통해 표시하도록 하는 명령어들의 시퀀스를 더 포함하는, 매체에 저장된 컴퓨터 프로그램.
  17. 제 16 항에 있어서,
    상기 적어도 하나의 영역의 좌표값이 상기 제 1 레이어 또는 상기 제 2 레이어의 좌표값을 넘어가는 경우, 상기 적어도 하나의 영역이 상기 제 1 레이어 또는 상기 제 2 레이어에 가려지도록 표시하도록 하는 명령어들의 시퀀스를 더 포함하는, 매체에 저장된 컴퓨터 프로그램.
KR1020170118601A 2017-09-15 2017-09-15 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램 KR102144580B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170118601A KR102144580B1 (ko) 2017-09-15 2017-09-15 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170118601A KR102144580B1 (ko) 2017-09-15 2017-09-15 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20190030938A KR20190030938A (ko) 2019-03-25
KR102144580B1 true KR102144580B1 (ko) 2020-08-13

Family

ID=65907713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170118601A KR102144580B1 (ko) 2017-09-15 2017-09-15 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102144580B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023141340A1 (en) * 2022-01-23 2023-07-27 Malay Kundu A user controlled three-dimensional scene

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4148537A1 (en) * 2021-09-10 2023-03-15 BAE SYSTEMS plc An image generator and method for an augmented reality system
WO2023037113A1 (en) * 2021-09-10 2023-03-16 Bae Systems Plc An image generator and method for an augmented reality system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101212636B1 (ko) * 2010-08-20 2012-12-20 한국과학기술원 증강 현실에서 위치 정보를 표시하는 방법 및 장치
KR101520889B1 (ko) * 2013-08-21 2015-05-15 한국과학기술원 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법
KR101855940B1 (ko) * 2015-10-27 2018-05-09 엘지전자 주식회사 차량용 증강현실 제공 장치 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023141340A1 (en) * 2022-01-23 2023-07-27 Malay Kundu A user controlled three-dimensional scene

Also Published As

Publication number Publication date
KR20190030938A (ko) 2019-03-25

Similar Documents

Publication Publication Date Title
CN106157359B (zh) 一种虚拟场景体验系统的设计方法
US10313652B1 (en) Cubic or spherical mapped content for presentation of pre-rendered images viewed from a fixed point of view in HTML, javascript and/or XML for virtual reality applications
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
KR102214827B1 (ko) 증강 현실 제공 장치 및 방법
US11450044B2 (en) Creating and displaying multi-layered augemented reality
US20140306995A1 (en) Virtual chroma keying in real time
KR102144580B1 (ko) 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램
US20140240354A1 (en) Augmented reality apparatus and method
WO2022002181A1 (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
US10271038B2 (en) Camera with plenoptic lens
US20210166485A1 (en) Method and apparatus for generating augmented reality images
KR102257132B1 (ko) 몰입형 비디오 컨텐츠를 생성 및 렌더링하기 위한 방법들, 시스템들 및 매체들
CN213461894U (zh) 一种xr-扩展现实系统
US10296080B2 (en) Systems and methods to simulate user presence in a real-world three-dimensional space
TW201508547A (zh) 結合現場實境與虛擬元件之互動實境系統與方法
Ekong et al. Teacher-student vr telepresence with networked depth camera mesh and heterogeneous displays
US11341611B2 (en) Automatic generation of perceived real depth animation
CN106503174B (zh) 一种基于网络三维建模的场景可视化方法及系统
WO2017144014A1 (zh) 字幕拍生成方法、图像处理方法、终端和服务器
Okura et al. Aerial full spherical HDR imaging and display
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
KR102638377B1 (ko) 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
Morvan et al. Handling occluders in transitions from panoramic images: A perceptual study
DeHart Directing audience attention: cinematic composition in 360 natural history films
KR20210124121A (ko) 360도 이미지를 기반으로 스토리텔링을 수행하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right