KR20170025656A - 가상 현실 기기 및 그의 렌더링 방법 - Google Patents

가상 현실 기기 및 그의 렌더링 방법 Download PDF

Info

Publication number
KR20170025656A
KR20170025656A KR1020150122430A KR20150122430A KR20170025656A KR 20170025656 A KR20170025656 A KR 20170025656A KR 1020150122430 A KR1020150122430 A KR 1020150122430A KR 20150122430 A KR20150122430 A KR 20150122430A KR 20170025656 A KR20170025656 A KR 20170025656A
Authority
KR
South Korea
Prior art keywords
tiles
frame
view
virtual reality
rendering
Prior art date
Application number
KR1020150122430A
Other languages
English (en)
Inventor
박진홍
기선호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150122430A priority Critical patent/KR20170025656A/ko
Priority to PCT/KR2015/009320 priority patent/WO2017039037A1/ko
Publication of KR20170025656A publication Critical patent/KR20170025656A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/0011—
    • H04N13/0022—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시 예에 따른 가상 현실 기기의 렌더링 방법은 제1측 시야에 대응하는 제1 프레임을 복수의 타일들로 분할하는 단계와 분할된 복수의 타일들 각각을 렌더링하는 단계와 렌더링된 복수의 타일들 중 재 사용 타일들을 선별하는 단계 및 제2측 시야에 대응하는 제2 프레임을 구성하는 복수의 타일들 중 상기 재 사용 타일들을 제외한 나머지 타일을 렌더링하는 단계를 포함할 수 있다.

Description

가상 현실 기기 및 그의 렌더링 방법{VIRTUAL REALITY DEVICE AND RENDERING METHOD THEREOF}
본 발명은 가상 현실 기기 및 그의 렌더링 방법에 관한 것으로, 보다 상세하게는, 성능, 전력, 온도에 제약 하에 효율적인 렌더링 기법을 제공하는 가상 현실 기기에 관한 것이다.
가상현실(virtual reality, VR)은 군사, 오락, 의료, 학습, 영화, 건축설계, 관광 등 다양한 분야에 활용되면서 공상과학 소설이나 영화에서 묘사되는 상상적 단계를 벗어나 점차 현실화되고 있다.
가상 현실(Virtual Reality, VR) 기기는 주변의 빛을 완전히 차단하고, 왼쪽과 오른쪽 눈에 다른 각도로 촬영한 사진이나, 영상을 3D로 제공할 수 있는 기기이다. 가상 현실 기기는 영화, 게임 등 다양한 분야에서 보다 흥미롭고 리얼한 시각 효과를 제공할 수 있다.
가상 현실 기기를 통해 가상 현실을 제공하기 위해서는 동일 프레임을 좌/우 시점에 따라 두 번 렌더링 해야 하므로, 두배의 그래픽 처리 유닛(Graphic Processing Unit, GPU) 성능이 필요하다. 하드웨어의 성능, 전력, 온도의 제약을 가지는 환경에서 GPU는 일반적으로 일부 프레임 처리를 스킵(skip)하는 등의 QoS(Quality of Service) 감소 방식을 통해 처리하지만, 프레임이 끊어지거나(flickering) 또는 늦게(lagging) 출력되는 현상 등의 Quality 감소를 유발한다.
이러한, 시각적 단점 요소들은 높은 프레임 레이트(90, 120 FPS. frame per second)를 요구하는 가상 현실 경험에 치명적인 문제가 있다.
본 발명은 타일 렌더링 방식의 이용시, 재 사용 타일들을 선별하고, 추가적으로 렌더링하지 않음에 따라 보다 낮은 요구 성능으로, 유사한 가상 현실을 경험케 하는 가상 현실 기기 및 그의 렌더링 방식을 제공하는데 목적이 있다.
본 발명의 실시 예에 따른 가상 현실 기기의 렌더링 방법은 제1측 시야에 대응하는 제1 프레임을 복수의 타일들로 분할하는 단계와 분할된 복수의 타일들 각각을 렌더링하는 단계와 렌더링된 복수의 타일들 중 재 사용 타일들을 선별하는 단계 및 제2측 시야에 대응하는 제2 프레임을 구성하는 복수의 타일들 중 상기 재 사용 타일들을 제외한 나머지 타일을 렌더링하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 가상 현실 기기는 제1측 시야에 대응하는 제1 프레임을 복수의 타일들로 분할하고, 분할된 복수의 타일들 각각을 렌더링하는 제1측 시야 렌더링부와 렌더링된 복수의 타일들 중 재 사용 타일들을 선별하는 그래픽 관리부 및 제2측 시야에 대응하는 제2 프레임을 구성하는 복수의 타일들 중 상기 재 사용 타일들을 제외한 나머지 타일을 렌더링하는 제2측 시야 렌더링부를 포함할 수 있다.
상기 그래픽 관리부는 상기 제1 프레임을 구성하는 복수의 타일들에 대한 렌더링 결과에 기초하여 깊이 지도를 획득하고, 획득된 깊이 지도와 시야 각을 이용하여 시야 차이를 계산하고, 계산된 시야 차이에 기초하여 상기 재 사용 타일들을 선별할 수 있다.
상기 그래픽 관리부는 상기 제1 프레임에 포함된 객체와 상기 시야 차이를 이용하여 상기 제2측 시야에 대응하는 가상 객체를 획득할 수 있다.
상기 그래픽 관리부는 상기 제1 프레임을 구성하는 복수의 타일들 중 상기 객체 및 상기 가상 객체와 중첩되지 않는 영역에 포함된 타일들을 선별할 수 있다.
상기 중첩되지 않는 영역은 상기 객체와 중첩된 영역보다 원거리에 위치함을 나타낼 수 있다.
상기 가상 현실 기기는 상기 렌더링된 제1 프레임 및 제2 프레임을 임시 저장하는 프레임 버퍼를 더 포함할 수 있다.
상기 제1측 시야는 사용자의 좌안에 대응하는 시야이고, 상기 제2측 시야는 사용자의 우안에 대응하는 시야일 수 있다.
본 발명의 실시 예에 따르면, 타일 렌더링 방식의 이용시, 재 사용 타일들을 선별하고, 추가적으로 렌더링하지 않음에 따라 보다 낮은 요구 성능으로, 유사한 가상 현실을 경험이 가능하다. 이에 따라, 가상 현실 기기에서 소모하는 전력의 낭비 및 발열이 방지될 수 있다.
도 1a 내지 도 1d는 종래 기술에 따라 좌측 시야에 대응하는 좌측 프레임과 우측 시야에 대응하는 우측 프레임에 대해 타일 렌더링을 수행하는 과정을 설명하는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 가상 현실 기기의 구성을 설명하는 블록도이다
도 3은 본 발명의 일 실시 예에 따른 가상 현실 기기의 렌더링 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따라 좌측 시야에 대응하는 제1 프레임을 구성하는 복수의 타일들 각각에 대해 렌더링을 수행하는 과정을 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 따라 좌측 시야에 대응하는 제1 프레임에 대응하는 깊이 지도를 설명하는 도면이다.
도 6은 본 발명의 일 실시 예에 따라 깊이 지도와 시야 각을 이용하여 시야 차이를 계산하는 과정을 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 따라 제1 프레임을 구성하는 복수의 타일들 중 시야 차이를 고려하여 재 사용될 타일들을 선별하는 과정을 설명하는 도면이다.
도 8 및 도 9는 본 발명의 일 실시 예에 따라 제2 프레임을 구성하는 복수의 타일들 중 선별된 재 사용 타일들을 제외한 나머지 타일들에 대해 렌더링을 수행하는 과정을 보여주는 도면이다.
도 9는 본 발명의 일 실시 예에 따라 제1 프레임을 구성하는 모든 타일들 및 제2 프레임의 재 사용 영역을 제외한 영역에 포함된 타일들에 대해 렌더링이 수행된 결과를 보여준다.
도 10a 및 도 10b는 본 발명의 일 실시 예에 따라 가상 현실 기기를 통해 사용자가 바라 본 영상을 설명하는 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 실시 예에 따른 가상 현실 기기는 사용자의 머리에 착용 가능한 기기일 수 있다. 즉, 가상 현실 기기는 HDM(Head Mounted Display)형 기기일 수 있다. 가상 현실 기기는 스마트폰, 스마트 글래스 등과 같은 이동 단말기로 구현될 수도 있다.
도 1a 내지 도 1d는 종래 기술에 따라 좌측 시야에 대응하는 좌측 프레임과 우측 시야에 대응하는 우측 프레임에 대해 타일 렌더링을 수행하는 과정을 설명하는 도면이다.
도 1a를 참조하면, 좌안에 대응하는 좌측 프레임(30)이 도시되어 있다. 가상렌더링 수단은 좌측 프레임(30)을 구성하는 복수의 타일들 각각을 순차적으로 렌더링할 수 있다. 도 1b에 도시된 바와 같이, 좌측 프레임(30)에 대한 렌더링이 종료되면, 렌더링 수단은 도 1c에 도시된 바와 같이, 우안에 대응하는 우측 프레임(50)을 구성하는 복수의 타일들 각각을 순차적으로 렌더링할 수 있다.
도 1d에 도시된 바와 같이, 우측 프레임(50)에 대해 렌더링이 완료되면, 렌더링이 완료된 각 프레임을 통해 사용자는 가상 현실을 경험할 수 있다. 그러나, 종래에는 동일 프레임을 좌/우 시점에 따라 두 번 렌더링 해야 하므로, 두배의 그래픽 처리 유닛(Graphic Processing Unit, GPU) 성능이 필요하다. 하드웨어의 성능, 전력, 온도의 제약을 가지는 환경에서 GPU는 일반적으로 일부 프레임 처리를 스킵(skip)하는 등의 QoS(Quality of Service) 감소 방식을 통해 처리하지만, 프레임이 끊어지거나(flickering) 또는 늦게(lagging) 출력되는 현상 등의 Quality 감소를 유발한다. 이러한, 시각적 단점 요소들은 높은 프레임 레이트(90, 120 FPS. frame per second)를 요구하는 가상 현실 경험에 치명적인 문제가 있다.
이하에서는, 효과적인 가상 현실 경험을 제공하기 위한 렌더링 방식을 설명한다.
도 2는 본 발명의 일 실시 예에 따른 가상 현실 기기의 구성을 설명하는 블록도이다.
도 2를 참조하면, 가상 현실 기기(10)는 프레임 획득부(20), 그래픽 처리부(100), 프레임 버퍼(200) 및 디스플레이부(300)를 포함할 수 있다.
프레임 획득부(20)는 사용자의 좌안에 대응하는 제1측 프레임 및 사용자의 우안에 대응하는 제2측 프레임을 획득할 수 있다.
그래픽 처리부(100)는 프레임 획득부(20)로부터 획득된 좌측 프레임 및 우측 프레임을 렌더링할 수 있다. 그래픽 처리부(100)는 프레임을 복수의 타일들로 분할하고, 분할된 타일들을 렌더링하는 타일 렌더링 방식을 이용할 수 있다. 그래픽 처리부(100)는 좌측 프레임을 렌더링한 후, 우측 프레임을 렌더링 하기 전, 좌측 프레임으로부터 재 사용 타일들을 선별할 수 있다. 그래픽 처리부(100)는 우측 프레임 중 선별된 재 사용 타일들을 제외한 나머지 타일들만을 렌더링 할 수 있다.
그래픽 처리부(100)는 제1측 시야 렌더링부(110), 그래픽 관리부(130), 제2측 시야 렌더링부(150)를 포함할 수 있다.
제1측 시야 렌더링부(110)는 프레임 획득부(20)가 획득한 제1측 시야에 대응하는 제1 프레임을 복수의 타일들로 분할하고, 분할된 복수의 타일들 각각을 순차적으로 렌더링할 수 있다.
그래픽 관리부(130)는 제1 프레임을 구성하는 복수의 타일들 중 재 사용 타일들을 선별할 수 있다. 그래픽 관리부(130)는 깊이 지도 획득부(131), 시야 차이 계산부(133), 재 사용 영역 선별부(135), 재 사용 영역 복사부(137) 및 렌더링 영역 지정부(139)를 포함할 수 있다.
깊이 지도 획득부(131)는 제1 프레임의 렌더링 결과에 기초하여 깊이 지도를 획득할 수 있다.
시야 차이 계산부(133)는 획득된 깊이 지도와 시야 각을 이용하여 시야 차이를 계산할 수 있다.
재 사용 영역 선별부(135)는 계산된 시야 차이에 기초하여 복수의 타일들 중 재 사용 타일들을 선별할 수 있다.
재 사용 영역 복사부(137)는 선별된 재 사용 타일들에 대한 정보를 프레임 버퍼(200)에 복사할 수 있다.
렌더링 영역 지정부(139)는 제2 프레임을 구성하는 복수의 타일들 중 재 사용 타일들을 제외한 나머지 타일들에 대응하는 영역을 렌더링 영역으로 지정할 수 있다. 렌더링 영역 지정부(1390)는 지정된 렌더링 영역을 제2측 시야 렌더링부(150)에 전달할 수 있다.
제2측 시야 렌더링부(150)는 프레임 획득부(20)가 획득한 제2측 시야에 대응하는 제2 프레임을 구성하는 복수의 타일들 중 선별된 재 사용 타일들을 제외한 나머지 타일들을 렌더링
프레임 버퍼(200)는 렌더링된 제1 프레임 및 제2 프레임의 전송 속도나 처리 속도의 차이를 보상하기 위해 각 프레임을 임시 저장할 수 있고, 임시 저장된 각 프레임을 출력할 수 있다.
디스플레이부(300)는 프레임 버퍼(200)에 임시 저장된 제1 프레임 및 제2 프레임을 표시할 수 있다.
디스플레이부(300)는 액정 디스플레이(Liquid Crystal Display, LCD), 유기발광 다이오드(Organic Light Emitting Diode, OLED) 디스플레이, 플렉서블 OLED 디스플레이 중 어느 하나일 수 있다.
도 3은 본 발명의 일 실시 예에 따른 가상 현실 기기의 렌더링 방법을 설명하기 위한 흐름도이다.
가상 현실 기기(100)의 제1측 시야 렌더링부(110)는 프레임 획득부(20)가 획득한 제1측 시야에 대응하는 제1 프레임을 복수의 타일들로 분할하고(S101), 분할된 복수의 타일들 각각을 순차적으로 렌더링한다(S103). 일 실시 예에서 제1측 시야는 사용자의 좌안에 대응하는 좌측 시야일 수 있고, 제2측 시야는 사용자의 우안에 대응하는 우측 시야일 수 있다. 그러나, 이에 한정될 필요는 없고, 제1측 시야가 우측 시야일 수 있고, 제2측 시야가 좌측 시야일 수 있다.
일 실시 예에서 프레임 획득부(20)는 좌측 프레임 획득부 및 우측 프레임 획득부를 포함할 수 있다. 좌측 프레임 획득부는 사용자의 좌측 시야에 대응하는 제1 프레임을 획득할 수 있다. 우측 프레임 획득부는 사용자의 우측 시야에 대응하는 제2 프레임을 획득할 수 있다. 프레임은 영상의 단위 이미지를 나타낼 수 있다.
제1측 시야 렌더링부(110)는 제1 프레임을 복수의 타일들로 분할할 수 있다. 복수의 타일들 각각은 소정의 영역을 갖는 타일 형태로 구성될 수 있다. 복수의 타일들 각각이 갖는 면적은 서로 동일할 수 있다. 복수의 타일들 각각은 하나의 프레임을 구성하는 단위 프레임일 수 있다.
렌더링(rendering)은 2차원의 영상에 광원, 위치, 색상 등 외부의 정보를 고려하여 3차원 영상을 생성하는 과정일 수 있다. 평면으로 보이는 객체에 그림자나 농도의 변화를 주어, 입체감이 들게 하는 3차원 영상을 생성하는 과정일 수 있다.
제1측 시야 렌더링부(110)는 복수의 타일들 각각을 순차적으로 렌더링할 수 있다. 본 발명의 실시 예에 따르면, 복수의 타일들은 하드웨어 렌더링 방식 및 소프트웨어 렌더링 방식 중 어느 하나의 방식으로 렌더링될 수 있다.
하드웨어 렌더링 방식은 그래픽 처리부(100)의 메모리를 이용하여 프레임을 구성하는 복수의 타일들에 대해 이미지 처리를 수행하는 방식일 수 있다.
소프트웨어 렌더링 방식은 그래픽 처리부(100)의 도움없이, 오로지 가상 현실 기기(100)에 구비된 중앙처리부(CPU: Central Proscessing Unit)를 통해 프레임을 구성하는 복수의 타일들에 대해 이미지 처리를 수행하는 방식일 수 있다.
단계 S101 및 S103을 도 4를 참조하여 설명한다.
도 4는 본 발명의 일 실시 예에 따라 좌측 시야에 대응하는 제1 프레임을 구성하는 복수의 타일들 각각에 대해 렌더링을 수행하는 과정을 설명하는 도면이다.
도 4를 참조하면, 좌측 시야에 대응하는 제1 프레임(500)은 복수의 타일(501)들로 구성될 수 있다. 제1측 시야 렌더링부(110)는 제1 프레임(500)을 구성하는 복수의 타일들 각각(501)을 순차적으로, 렌더링 할 수 있다. 제1 프레임(500)에는 객체에 대한 정보가 포함될 수 있다. 즉, 제1 프레임(500) 상에는 가상 현실 기기(100)로부터 근거리에 위치하는 제1 객체(510) 및 가상 현실 기기(100)로부터 원거리에 위치하는 제2 객체(530)가 포함될 수 있다.
또한, 좌측 시야에 대응하는 제1 프레임(500)에 대해 렌더링이 수행되는 도중에는 우측 시야에 대응하는 제2 프레임에 대해서는 렌더링이 수행되지 않을 수 있다.
다시 도 3을 설명한다.
그래픽 관리부(130)의 깊이 지도 획득부(131)는 렌더링 결과에 기초하여 깊이 지도를 획득한다(S105). 깊이 지도(depth map)는 사용자의 시점(viewpoint)으로부터 객체 간의 거리와 관련된 정보를 포함하는 지도일 수 있다. 렌더링된 제1 프레임(500)에는 3차원적으로 표현된 객체들이 표시될 수 있다. 깊이 지도 획득부(131)는 렌더링된 제1 프레임(500)을 이용하여 깊이 지도를 획득할 수 있다.
일 실시 예에서 사용자의 시점과 객체 간의 거리가 멀수록 객체는 깊이 지도 상에서 검정색으로 표시될 수 있다. 사용자의 시점과 객체 간의 거리가 가까울수록 객체는 깊이 지도 상에서 흰색으로 표시될 수 있다. 획득된 깊이 지도에 대해서는 도 5를 참조하여 설명한다.
도 5는 본 발명의 일 실시 예에 따라 좌측 시야에 대응하는 제1 프레임에 대응하는 깊이 지도를 설명하는 도면이다.
도 5를 참조하면, 도 4에서 설명된 좌측 시야에 대응하는 제1 프레임(500)에 대응하는 깊이 지도(550)를 보여주고 있다. 깊이 지도(550)는 제1 객체(510)에 대응하는 제1 객체 항목(511) 및 제2 객체(530)에 대응하는 제2 객체 항목(531)을 포함할 수 있다. 제2 객체 항목(531)의 컬러는 제1 객체 항목(511)의 컬러보다 더 어두울 수 있다. 이는 사용자의 좌안 시점과 제1 객체(510) 간의 거리는 좌안 시점과 제2 객체(530) 간의 거리보다 더 가까움을 의미할 수 있다.
다시 도 3을 설명한다.
그래픽 관리부(130)의 시야 차이 계산부(133)는 획득된 깊이 지도와 시야 각을 이용하여 시야 차이를 계산한다(S107). 일 실시 예에서 시야 각(view angle)은 가상 현실 기기(100)의 표시 영역을 인지할 수 있는 최대 각도를 의미할 수 있다.
일 실시 예에서 시야 각은 가상 현실 기기(100)의 종류에 따라 달라질 수 있다. 가상 현실 기기(100)는 고정된 시야 각을 가질 수 있으나, 이는 예시에 불과하고, 설정에 따라 달라질 수도 있다.
시야 차이 계산부(133)는 깊이 지도 획득부(131)에서 획득된 깊이 지도와 시야 각을 이용하여 양안으로 동일한 객체를 바라볼 시, 발생되는 시야 차이를 계산할 수 있다. 이에 대해서는 도 6을 참조하여 설명한다.
도 6은 본 발명의 일 실시 예에 따라 깊이 지도와 시야 각을 이용하여 시야 차이를 계산하는 과정을 설명하는 도면이다.
도 6을 참조하면, 시야 차이를 반영한 깊이 지도(550)가 도시되어 있다. 깊이 지도(550)는 시야 차이를 고려한 제1 가상 객체 항목(512) 및 제2 가상 객체 항목(532)이 도시되어 있다. 제1 가상 객체 항목(512)은 제1 객체 항목(511)에서 시야 차이의 반영을 통해 가상으로 생성된 항목일 수 있다. 제2 가상 객체 항목(532)은 제2 객체 항목(531)에서 시야 차이의 반영을 통해 가상으로 생성된 항목일 수 있다. 제1 가상 객체 항목(512)은 제1 객체 항목(511)으로부터 시야 차이에 대응하는 거리만큼 우측으로 이동되어 위치할 수 있다. 제2 객체 항목(532)은 제2 객체 항목(531)으로부터 시야 차이에 대응하는 거리만큼 우측으로 이동되어 위치할 수 있다.
다시 도 3을 설명한다.
그래픽 관리부(130)의 재 사용 영역 선별부(135)는 계산된 시야 차이에 기초하여 복수의 타일들 중 재 사용 타일들을 선별한다(S109). 일 실시 예에서 재 사용 영역 선별부(135)는 제1 프레임(500)을 구성하는 복수의 타일들 중 추가 렌더링 없이, 재 사용될 타일들을 선별할 수 있다. 즉, 좌안 시야에 대응하는 제1 프레임(500)과 우안 시야에 대응하는 제2 프레임(700)은 동일한 영상의 부분이 포함될 수 있다. 이에, 동일한 영상 부분을 추가적인 렌더링 없이, 재 활용하기 위해 재 사용 타일들이 선별될 수 있다. 재 사용 타일들을 선별하는 과정은 도 7을 참조하여 설명한다.
도 7은 본 발명의 일 실시 예에 따라 제1 프레임을 구성하는 복수의 타일들 중 시야 차이를 고려하여 재 사용될 타일들을 선별하는 과정을 설명하는 도면이다.
도 7을 참조하면, 제1 프레임(500)은 복수의 타일들로 구분될 수 있고, 제1 프레임(500)에는 제1 객체(510), 제2 객체(530), 시야 차이를 통해 생성된 제1 가상 객체(513) 및 제2 가상 객체(533)가 포함될 수 있다. 제2 가상 객체(513)는 도 6에서 설명된 제1 가상 객체 항목(512)에 대응하는 객체일 수 있고, 제2 가상 객체(513)는 제2 가상 객체 항목(532)에 대응하는 객체일 수 있다.
재 사용 영역 선별부(135)는 제1 프레임(500)을 구성하는 복수의 타일들 중 제1 객체(510), 제2 객체(530), 제1 가상 객체(513) 및 제2 가상 객체(533)가 차지하는 영역(580)을 제외한 나머지 영역(570)에 포함된 타일들을 재 사용 타일들로 선별할 수 있다. 재 사용 영역 선별부(135)는 복수의 타일들 중 각 객체가 조금이라도 중첩되어 있는 타일들을 선별할 수 있다. 나머지 영역(570, 재 사용 영역)에 포함된 타일들(빗금친 타일들)은 추후, 제2 프레임(700)의 렌더링 시, 제외되어 렌더링 대상이 되지 않을 수 있다. 재 사용 영역(570)에 포함된 재 사용 타일들을 선별하는 이유는, 원거리에 위치한 객체는 좌/우측 시점 차이로 인해 사용자의 눈을 통해 보는 뷰 차이가 적기 때문에, 해당 타일들을 중복적으로 렌더링 하지 않기 위함이다.
이에 반해, 복수의 타일들 중 선별되지 않은 타일들은 제2 프레임(700)의 렌더링 시, 렌더링의 대상이 될 수 있다.
다시 도 3을 설명한다.
제2측 시야 렌더링부(150)는 프레임 획득부(20)가 획득한 제2측 시야에 대응하는 제2 프레임을 구성하는 복수의 타일들 중 선별된 재 사용 타일들을 제외한 나머지 타일들을 렌더링한다(S111). 제2측 시야는 사용자의 우안에 대응하는 우측 시야일 수 있다. 단계 S111에 대해서는 도 8 내지 도 9를 참조하여 설명한다.
도 8 및 도 9는 본 발명의 일 실시 예에 따라 제2 프레임을 구성하는 복수의 타일들 중 선별된 재 사용 타일들을 제외한 나머지 타일들에 대해 렌더링을 수행하는 과정을 보여주는 도면이다.
도 8을 참조하면, 제2 프레임(700)은 복수의 타일들로 구성될 수 있다. 제2 프레임(700)을 구성하는 복수의 타일들 각각은 제1 프레임(500)을 구성하는 복수의 타일들 각각에 대응될 수 있다. 즉, 제1 프레임(500)을 구성하는 타일의 개수는 제2 프레임(700)을 구성하는 타일의 개수와 동일하고, 각 타일의 면적 또한, 동일할 수 있다. 제2 프레임(700)는 제1 프레임(500)에 포함된 제1 객체(510)와 동일한 제1 객체(710), 제2 객체(530)와 동일한 제2 객체(730)를 포함할 수 있다. 제1 프레임(500)의 좌측 시야에 대응하는 프레임이고, 제2 프레임(700)은 우측 시야에 대응하는 프레임일 수 있다. 도 8에서는 제1 프레임(500)을 구성하는 모든 타일들에 대해 렌더링이 수행된 상태일 수 있다. 제2측 시야 렌더링부(150)는 재 사용 영역(570)에 대응하는 타일들을 제외한 나머지 타일들(580) 각각을 렌더링할 수 있다. 재 사용 영역(570)에 포함된 타일들을 렌더링하지 않는 이유는, 가상 현실 기기(100)로부터 원거리에 있는 객체는 좌우 시점 차이로 인해 뷰 차이가 적기 때문이다.
도 9는 제1 프레임(500)을 구성하는 모든 타일들 및 제2 프레임(700)의 재 사용 영역(570)을 제외한 영역(580)에 포함된 타일들에 대해 렌더링이 수행된 결과를 보여준다.
본 발명의 실시 예에 따르면, 재 사용 영역(570)에 포함된 타일들을 추가적으로 렌더링하지 않음에 따라 보다 낮은 요구 성능으로, 유사한 가상 현실을 경험이 가능하다. 이에 따라, 가상 현실 기기(100)에서 소모하는 전력의 낭비 및 발열이 방지될 수 있다.
다시 도 3을 설명한다.
프레임 버퍼(200)는 좌측 시야 렌더링부(110)로부터 렌더링된 제1 프레임 및 제2측 시야 렌더링부(150)로부터 렌더링된 제2 프레임을 출력한다(S113). 프레임 버퍼(200)는 렌더링된 제1 프레임 및 제2 프레임의 전송 속도나 처리 속도의 차이를 보상하기 위해 각 프레임을 임시 저장할 수 있다. 프레임 버퍼(200)는 전송 속도나 처리 속도가 보상된 제1 프레임 및 제2 프레임을 외부로 출력할 수 있다. 예를 들어, 프레임 버퍼(200)는 전송 속도나 처리 속도가 보상된 제1 프레임 및 제2 프레임을 디스플레이부(300)로 출력할 수 있다. 디스플레이부(300)는 프레임 버퍼(200)로부터 전달받은 제1 프레임 및 제2 프레임을 표시할 수 있다.
도 10a 및 도 10b는 본 발명의 일 실시 예에 따라 가상 현실 기기를 통해 사용자가 바라 본 영상을 설명하는 도면이다.
도 10a를 참조하면, 가상 현실 기기(100)를 통해 좌안에서 바라 본 좌안 영상(810) 및 우안에서 바라 본 우안 영상(830)이 도시되어 있다.
도 10b는 좌안 영상(810) 및 우안 영상(830)을 합성한 합성 영상(840)이 도시되어 있다. 합성 영상(840) 중 재 사용 타일들을 포함하는 재 사용 영역(850)은 가상 현실 기기(100)로부터 원거리에 위치한 원거리 영상을 포함할 수 있다. 원거리 영상의 경우, 사용자의 좌/우측 시점에 따른 뷰 차이가 적을 수 있다. 이에 좌측 시야에 대응하는 프레임 및 우측 시야에 대응하는 프레임 중 어느 하나의 프레임에 포함된 재 사용 영역에 포함된 타일들에 대해서는 렌더링이 수행되지 않을 수 있고, 재 활용 될 수 있다.
본 발명의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로그램이 기록된 매체는 컴퓨터로 읽을 수 있는 비활성 기록 매체일 수 있다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (14)

  1. 가상 현실 기기의 렌더링 방법에 있어서,
    제1측 시야에 대응하는 제1 프레임을 복수의 타일들로 분할하는 단계;
    분할된 복수의 타일들 각각을 렌더링하는 단계;
    렌더링된 복수의 타일들 중 재 사용 타일들을 선별하는 단계; 및
    제2측 시야에 대응하는 제2 프레임을 구성하는 복수의 타일들 중 상기 재 사용 타일들을 제외한 나머지 타일을 렌더링하는 단계를 포함하는
    가상 현실 기기의 렌더링 방법.
  2. 제1항에 있어서,
    상기 제1 프레임을 구성하는 복수의 타일들에 대한 렌더링 결과에 기초하여 깊이 지도를 획득하는 단계; 및
    획득된 깊이 지도와 시야 각을 이용하여 시야 차이를 계산하는 단계를 더 포함하고,
    상기 선별하는 단계는
    계산된 시야 차이에 기초하여 상기 재 사용 타일들을 선별하는 단계를 포함하는
    가상 현실 기기의 렌더링 방법.
  3. 제2항에 있어서,
    상기 제1 프레임에 포함된 객체와 상기 시야 차이를 이용하여 상기 제2측 시야에 대응하는 가상 객체를 획득하는 단계를 더 포함하는
    가상 현실 기기의 렌더링 방법.
  4. 제3항에 있어서,
    상기 선별하는 단계는
    상기 제1 프레임을 구성하는 복수의 타일들 중 상기 객체 및 상기 가상 객체와 중첩되지 않는 영역에 포함된 타일들을 선별하는 단계를 포함하는
    가상 현실 기기의 렌더링 방법.
  5. 제4항에 있어서,
    상기 중첩되지 않는 영역은 상기 객체와 중첩된 영역보다 원거리에 위치함을 나타내는
    가상 현실 기기의 렌더링 방법.
  6. 제1항에 있어서,
    상기 렌더링된 제1 프레임 및 제2 프레임을 출력하는 단계를 더 포함하는
    가상 현실 기기의 렌더링 방법.
  7. 제1항에 있어서,
    상기 제1측 시야는 사용자의 좌안에 대응하는 시야이고, 상기 제2측 시야는 사용자의 우안에 대응하는 시야인
    가상 현실 기기의 렌더링 방법.
  8. 가상 현실 기기에 있어서,
    제1측 시야에 대응하는 제1 프레임을 복수의 타일들로 분할하고, 분할된 복수의 타일들 각각을 렌더링하는 제1측 시야 렌더링부;
    렌더링된 복수의 타일들 중 재 사용 타일들을 선별하는 그래픽 관리부; 및
    제2측 시야에 대응하는 제2 프레임을 구성하는 복수의 타일들 중 상기 재 사용 타일들을 제외한 나머지 타일을 렌더링하는 제2측 시야 렌더링부를 포함하는
    가상 현실 기기.
  9. 제8항에 있어서,
    상기 그래픽 관리부는
    상기 제1 프레임을 구성하는 복수의 타일들에 대한 렌더링 결과에 기초하여 깊이 지도를 획득하고, 획득된 깊이 지도와 시야 각을 이용하여 시야 차이를 계산하고, 계산된 시야 차이에 기초하여 상기 재 사용 타일들을 선별하는
    가상 현실 기기.
  10. 제9항에 있어서,
    상기 그래픽 관리부는
    상기 제1 프레임에 포함된 객체와 상기 시야 차이를 이용하여 상기 제2측 시야에 대응하는 가상 객체를 획득하는
    가상 현실 기기.
  11. 제10항에 있어서,
    상기 그래픽 관리부는
    상기 제1 프레임을 구성하는 복수의 타일들 중 상기 객체 및 상기 가상 객체와 중첩되지 않는 영역에 포함된 타일들을 선별하는
    가상 현실 기기.
  12. 제11항에 있어서,
    상기 중첩되지 않는 영역은 상기 객체와 중첩된 영역보다 원거리에 위치함을 나타내는
    가상 현실 기기.
  13. 제8항에 있어서,
    상기 렌더링된 제1 프레임 및 제2 프레임을 임시 저장하는 프레임 버퍼를 더 포함하는
    가상 현실 기기.
  14. 제8항에 있어서,
    상기 제1측 시야는 사용자의 좌안에 대응하는 시야이고, 상기 제2측 시야는 사용자의 우안에 대응하는 시야인
    가상 현실 기기.
    가상 현실 기기.
KR1020150122430A 2015-08-31 2015-08-31 가상 현실 기기 및 그의 렌더링 방법 KR20170025656A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150122430A KR20170025656A (ko) 2015-08-31 2015-08-31 가상 현실 기기 및 그의 렌더링 방법
PCT/KR2015/009320 WO2017039037A1 (ko) 2015-08-31 2015-09-03 가상 현실 기기 및 그의 렌더링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150122430A KR20170025656A (ko) 2015-08-31 2015-08-31 가상 현실 기기 및 그의 렌더링 방법

Publications (1)

Publication Number Publication Date
KR20170025656A true KR20170025656A (ko) 2017-03-08

Family

ID=58188936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150122430A KR20170025656A (ko) 2015-08-31 2015-08-31 가상 현실 기기 및 그의 렌더링 방법

Country Status (2)

Country Link
KR (1) KR20170025656A (ko)
WO (1) WO2017039037A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US9251621B2 (en) * 2008-08-14 2016-02-02 Reald Inc. Point reposition depth mapping
US8773449B2 (en) * 2009-09-14 2014-07-08 International Business Machines Corporation Rendering of stereoscopic images with multithreaded rendering software pipeline
US20140152676A1 (en) * 2012-11-30 2014-06-05 Dave Rohn Low latency image display on multi-display device
US20140375663A1 (en) * 2013-06-24 2014-12-25 Alexander Pfaffe Interleaved tiled rendering of stereoscopic scenes

Also Published As

Publication number Publication date
WO2017039037A1 (ko) 2017-03-09

Similar Documents

Publication Publication Date Title
AU2021290369B2 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
JP7443602B2 (ja) 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
US10403045B2 (en) Photorealistic augmented reality system
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
US20130027389A1 (en) Making a two-dimensional image into three dimensions
JP2022511273A (ja) 拡張現実または仮想現実のシーンにおけるオブジェクトの表現の生成および修正
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
US20240169489A1 (en) Virtual, augmented, and mixed reality systems and methods
US20220036644A1 (en) Image processing apparatus, image processing method, and program
US11818325B2 (en) Blended mode three dimensional display systems and methods
KR20170025656A (ko) 가상 현실 기기 및 그의 렌더링 방법
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
EP2962290B1 (en) Relaying 3d information by depth simulation using 2d pixel displacement
Santos et al. IMPROVE: Collaborative design review in mobile mixed reality
US20220232201A1 (en) Image generation system and method
US20060221196A1 (en) Stereography systems and methods
JP2013051460A (ja) 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法