KR20200086059A - Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법 - Google Patents

Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법 Download PDF

Info

Publication number
KR20200086059A
KR20200086059A KR1020190002212A KR20190002212A KR20200086059A KR 20200086059 A KR20200086059 A KR 20200086059A KR 1020190002212 A KR1020190002212 A KR 1020190002212A KR 20190002212 A KR20190002212 A KR 20190002212A KR 20200086059 A KR20200086059 A KR 20200086059A
Authority
KR
South Korea
Prior art keywords
pixel
post
camera
fov
processing
Prior art date
Application number
KR1020190002212A
Other languages
English (en)
Other versions
KR102155102B1 (ko
Inventor
김도한
Original Assignee
주식회사 원이멀스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 원이멀스 filed Critical 주식회사 원이멀스
Priority to KR1020190002212A priority Critical patent/KR102155102B1/ko
Publication of KR20200086059A publication Critical patent/KR20200086059A/ko
Application granted granted Critical
Publication of KR102155102B1 publication Critical patent/KR102155102B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 VR 체험 공간에서 사용자의 불편감을 해소하기 위한 VR 컨텐츠 생성 시스템 및 방법에 관한 것으로서, VR 공간에 렌더링된 화면을 카메라 이동 상태와 연관시켜 화소별로 적응적 후처리함으로써, VR 체험 공간에서 사용자의 불편감(예를 들어, 어지럼증·멀미 현상)을 해소할 수 있다.

Description

VR 체험 공간에서 사용자의 불편감을 해소하기 위한 VR 컨텐츠 생성 시스템 및 방법{VR CONTENTS GENERATING SYSTEM AND METHOD FOR RELIEVING USER'S DISCOMFORT IN VR EXPERIENCE SPACE}
본 발명은 VR 컨텐츠 생성 시스템 및 방법에 관한 것으로, 더욱 상세하게는 VR 컨텐츠로 렌더링된 화면을 카메라 이동 상태와 연관시켜 적응적 후처리함으로써 VR 공간에서 이동 시 발생하는 사용자의 어지럼증·멀미 현상을 감소시킬 수 있는 VR 컨텐츠 생성 시스템 및 방법에 관한 것이다.
4차 산업 혁명 시대 핵심 요소 중 하나로 떠오른 가상 현실(VR, Virtual Reality)의 가장 큰 고질병인 부정적인 증상(예를 들어, 어지럼증·멀미 현상)은 VR 기기를 착용했을 시 현실 움직임과 영상 움직임이 일치하지 않음으로써 신체와 뇌의 인지 부조화로 인해 인지 기능에 혼란을 야기하는 것이 원인이다.
VR 기기의 가장 큰 약점으로 지목되는 이러한 사용자의 불편감을 해결하기 위해 기존에는 비주얼 디바이스 면에서 단순히 디스플레이 화면의 주변을 암전시키거나 블러 처리하여 시야를 좁힘으로써 이동 순간 어지럼증·멀미 현상을 해결하려는 시도가 있었다. 그러나 이러한 방안은 주변 환경과 이동 상태를 고려하지 않고 일률적으로 시야를 축소시킴으로써 어지럼증·멀미 현상을 줄이는 데 비효율적일 뿐만 아니라 사용자 경험을 저하시키는 문제가 있었다.
대한민국 등록특허공보 제10-1855863호(공고일자 2018. 05. 09.) 대한민국 등록특허공보 제10-1831070호(공고일자 2018. 02. 22.)
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 VR 컨텐츠로 렌더링된 화면을 카메라 이동 상태와 연관시켜(이를테면 전후진 방향, 이동 속도, 배경 내 위치를 고려하여) 화소별로 적응적 후처리함으로써 VR 공간에서 이동 시 발생하는 사용자의 어지럼증·멀미 현상을 감소시킬 수 있는 VR 컨텐츠 생성 시스템 및 방법을 제공하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 시스템은 VR 공간에 렌더링된 화면을 카메라 이동 상태와 연관시켜 화소별로 적응적 후처리함으로써 상기 VR 공간에서 이동 시 발생하는 사용자의 불편감을 감소시킨다.
바람직하게는, 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 시스템은 상기 VR 공간에 렌더링된 화면에서 사용자에게 이동감을 주는 부분을 화소 단위로 분류하는 후처리 대상 선정부 및 상기 이동감을 주는 부분의 시각적 노출의 정도를 화소 단위로 변경하는 후처리 대상 가공부를 포함한다.
바람직하게는, 상기 후처리 대상 선정부는 상기 후처리 대상 선정부는 상기 카메라가 이동 시 상기 카메라의 시야(FOV, field of view)의 경계로 들어오거나 나가는 화소를 후처리 대상으로 분류할 수 있다.
더 바람직하게는, 상기 후처리 대상 선정부는: 상기 카메라가 이동 시 상기 VR 공간에 렌더링된 화면에서 각 화소의 다음 프레임에서의 이동 위치를 예측하도록, 상기 이동 위치가 상기 FOV 내에 있는지 확인하도록 그리고 상기 이동 위치가 상기 FOV 내에 없으면 상기 FOV의 경계로 나가는 화소로 간주하도록 구성될 수 있다.
더 바람직하게는, 상기 후처리 대상 선정부는: 상기 후처리 대상 선정부는:
상기 카메라가 이동 시 상기 VR 공간에 렌더링된 화면에서 각 화소의 이전 프레임에서의 위치를 추측하도록, 상기 이전 위치가 상기 FOV 내에 있는지 확인하도록 그리고 상기 이동 위치가 상기 FOV 내에 없으면 상기 FOV의 경계로 들어오는 화소로 간주하도록 구성될 수 있다.
더욱 더 바람직하게는, 상기 변경은 상기 화소의 색상을 어둡게 또는 흐리게 가공하는 것일 수 있다.
훨씬 더 바람직하게는, 상기 변경은 상기 후처리 대상으로 분류된 화소가 상기 카메라 시야를 얼마나 벗어났는지에 의존적일 수 있다.
한편, 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 방법은 상기 VR 공간에 렌더링된 화면에서 이동감을 주는 부분을 화소 단위로 선정하는 후처리 대상 선정 단계 및 상기 이동감을 주는 부분의 시각적 노출의 정도를 화소 단위로 변경하는 후처리 대상 가공 단계를 포함한다.
바람직하게는, 상기 후처리 대상 선정 단계는 상기 카메라의 시야(FOV, field of view)의 경계로 들어오거나 나가는 화소를 후처리 대상으로 분류할 수 있다.
더 바람직하게는, 상기 후처리 대상 선정 단계는: 상기 렌더링된 화면에서 상기 카메라의 현재 위치 및 각 화소의 현재 위치를 파악하는 단계, 상기 카메라가 이동 시 상기 카메라의 다음 프레임에서의 위치 또는 이전 프레임에서의 위치를 추정하는 단계,상기 카메라의 상기 다음 프레임에서의 위치 또는 상기 이전 프레임에서의 위치를 기준으로 각 화소의 절대 위치의 변위(offset)를 계산하는 단계, 상기 카메라의 중심에서 상기 다음 프레임에서의 또는 상기 이전 프레임에서의 상기 각 화소까지의 각도를 구하는 단계 및 상기 각 화소까지의 각도가 FOV/2를 벗어나면 해당 화소를 상기 후처리 대상으로 선정하는 단계를 포함할 수 있다.
더욱 더 바람직하게는, 상기 변경은 상기 화소의 색상을 어둡게 또는 흐리게 가공하는 것일 수 있다.
훨씬 더 바람직하게는, 상기 변경은 상기 후처리 대상으로 분류된 화소가 상기 카메라 시야를 얼마나 벗어났는지에 의존적일 수 있다.
가장 바람직하게는, 상기 카메라의 중심에서 상기 다음 프레임에서의 또는 상기 이전 프레임에서의 상기 각 화소까지의 각도는 다음과 같이 구하며:
Anext = arccos(dot(normalize(Oxy_next), Zc))
Abefore = arccos(dot(normalize(Oxy_before), Zc)),
여기서, Anext는 상기 다음 프레임에서의 상기 각 화소까지의 각도, Abefore는 상기 이전 프레임에서의 상기 각 화소까지의 각도, Oxy_next는 상기 카메라의 상기 다음 프레임에서의 위치에 대한 상기 각 화소의 절대 위치의 변위, Oxy_before는 상기 카메라의 상기 이전 프레임에서의 위치에 대한 상기 각 화소의 절대 위치의 변위, 그리고 Zc는 상기 카메라가 바라보는 방향 벡터일 수 있다.
상술한 바와 같이, 본 발명에 의한 VR 체험 공간에서 사용자의 불편감을 해소하기 위한 VR 컨텐츠 생성 시스템 및 방법은 다음과 같은 효과를 제공한다.
VR 컨텐츠로 렌더링된 화면을 카메라 이동 상태와 연관시켜(이를테면 전후진 방향, 이동 속도, 배경 내 위치를 고려하여) 적응적 후처리함으로써 VR 체험 공간에서 사용자의 불편감을 완화할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 시스템의 전체 구성을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 방법의 전체 동작을 개략적으로 나타낸 흐름도이다.
도 3a는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하는 하나의 예를 도시한 것이다.
도 3b는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하는 다른 예를 도시한 것이다.
도 4a는 3D 화상으로 렌더링된 원본 화면을 예시한 것이고, 도 4b는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하여 구분한 화면을 예시한 것이며, 도 4c는 본 발명의 바람직한 실시 예에 따른 후처리 대상 가공부가 후처리 대상을 어둡게 가공한 화면을 예시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하 본 발명의 VR 체험 공간에서 사용자의 불편감을 해소하기 위한 VR 컨텐츠 생성 시스템에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 시스템의 전체 구성을 개략적으로 나타낸 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 시스템(100)은 VR 공간에 렌더링된 화면을 주변 환경 및 카메라(즉 사용자) 이동 상태와 연관시켜, 이를테면 전후진 방향, 이동 속도, 배경 내 위치를 고려하여 화소별로 적응적 후처리함으로써 VR 공간에서 이동 시 발생하는 사용자의 어지럼증·멀미 현상을 감소시키기 위한 것으로서, 후처리 대상 선정부(110) 및 후처리 대상 가공부(120)를 포함하여 구성된다.
먼저 후처리 대상 선정부(110)는 VR 공간에 렌더링된 화면에서 사용자에게 이동감을 주는 부분을 후처리 대상으로서 화소 단위로 선정한다. 다시 말해, 카메라가 이동하면, VR 공간에 렌더링된 화면, 즉 보이는 절두체(viewing frustum)의 경계, 즉 카메라 시야(FOV, field of view)에는 그 경계로 들어오거나 나가는 개체가 존재하게 되는데 이러한 개체들이 카메라가 VR 공간에서 이동하고 있음을 강하게 전달하는 시각적 정보를 구성하게 되므로, 본 발명의 후처리 대상 선정부(110)는 VR 공간에 렌더링된 화면, 즉 카메라 시야(FOV)의 경계로 들어오거나 나감으로써 사용자에게 이동감을 강하게 주는 부분을 후처리 대상으로서 특히, 화소 단위로 분류하는 것이다.
보다 구체적으로, 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하는 하나의 예인 도 3a를 참조하면, 후처리 대상 선정부(110)는 먼저 현재 VR 공간에 렌더링된 화면을 버퍼(130)에서 가져와 각 화소별로 다음 프레임에서의 3D 공간 상의 이동 위치를 예측하고 예측한 이동 위치가 카메라 시야(FOV) 내에 있는지 확인한다. 이때 예측한 이동 위치가 카메라 시야(FOV) 내에 없으면 해당 화소를 곧 시야 밖으로 벗어나게 될 나가는 화소로 간주한다. 또한 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하는 다른 예인 도 3b를 참조하면, 후처리 대상 선정부(110)는 현재 VR 공간에 렌더링된 화면의 각 화소별로 이전 프레임에서의 3D 공간 상의 위치를 추측하고 추측한 이전 위치가 카메라 시야(FOV) 내에 있는지 확인한다. 이때 추측한 이전 위치가 카메라 시야(FOV) 내에 없으면 해당 화소를 시야 밖에 있다가 안으로 들어오게 된 화소로 간주한다
이에 따라, 후처리 대상 선정부(110)는 최종적으로 상기한 두 조건, 즉 곧 시야 밖으로 벗어나게 될 것 및 시야 밖에 있다가 안으로 들어오게 된 것 중 하나를 만족하는 화소를 후처리 대상으로 선정한다.
다음으로 후처리 대상 가공부(120)는 후처리 대상 선정부(110)에서 후처리 대상으로서 선정된 이동감을 주는 부분의 시각적 노출의 정도를(이를 테면 시각적 노출을 줄일 수 있도록) 선정된 후처리 대상의 이를 테면 시각적 정보인 색을 화소별로 실제와 차이가 나도록 가공(즉 변경)한다, 즉 현재 프레임에서 FOV 밖에 있다가 FOV의 경계 안으로 들어오게 된 화소 및 FOV의 경계 안에 있다가 곧 FOV 밖으로 벗어나게 될 화소를 암전 혹은 흐리게(즉 블러링) 후처리한다. 이때 후처리 가공에는 각 화소가 카메라 시야를 얼마나 벗어났는가의 정보가 활용될 수 있다.
버퍼(130)는 2D 화상에 각 화소의 색상, 깊이 정보(카메라로부터의 각 화소까지의 거리 정보), 카메라의 이동 속도 벡터 등 외부 정보를 고려하여 사실감을 불어넣어 3D 화상으로 렌더링된 결과를 저장한다.
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 VR 체험 공간에서 사용자의 불편감을 해소하기 위한 VR 컨텐츠 생성 방법에 대해 설명하기로 한다.
도 2는 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 방법의 전체 동작을 개략적으로 나타낸 흐름도이다.
도 2에 도시된 바와 같이, 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 방법은 먼저 후처리 대상 선정부(110)가 VR 공간에 렌더링된 화면을 버퍼(130)에서 가져와 각 화소에 담긴 깊이 정보 및 카메라 파라미터(위치, 방위, FOV 등)를 이용하여 카메라의 현재 위치(Pc) 및 3D 공간 상의 절대 좌표로서 각 화소의 현재 위치(Pxy)를 구한다(단계 S210).
그리고 후처리 대상 선정부(110)는 카메라의 다음 프레임에서의 위치(Pc_next) 또는 이전 프레임에서의 위치(Pc_before)를 추정한다(단계 S220). 즉 다음과 같이 카메라의 현재 위치(Pc)에 카메라의 이동 속도 벡터(Vc)(즉, 이동 변위/프레임)를 더하여 카메라의 다음 프레임에서의 위치(Pc_next)를 계산하고, 카메라의 현재 위치(Pc)에서 카메라의 이동 속도 벡터(Vc)를 감하여 카메라의 이전 프레임에서의 위치(Pc_before)를 계산한다:
Pc_next = Pc + Vc
Pc_before = Pc - Vc
다음으로 후처리 대상 선정부(110)는 단계 S220에서 추정된 카메라의 다음 프레임 또는 이전 프레임에서의 위치(Pc_next, Pc_before)를 기준으로 각 화소의 절대 위치의 변위(offset)(Oxy_next, Oxy_before)를 각각 계산한다(단계 S230):
Oxy_next = Pxy - Pc_next
Oxy_before = Pxy - Pc_before
그 후 후처리 대상 선정부(110)는 화소의 각각의 위치 변위(Oxy_next, Oxy_before)와 카메라가 바라보는 방향 벡터(Zc)를 이용하여 카메라 중심(O)에서 다음 프레임 또는 이전 프레임에서의 각 화소까지의 각도(Anext, Abefore)를 구한다(단계 S240):
Anext = arccos(dot(normalize(Oxy_next), Zc))
Abefore = arccos(dot(normalize(Oxy_before), Zc))
최종적으로 후처리 대상 선정부(110)는 카메라 중심에서 다음 프레임 및 이전 프레임에서의 각 화소까지의 각도(Anext, Abefore) 중 현재 카메라의 시야(FOV)를 벗어나는 값이 있으면(단계 S250의 예) 현재 프레임에서의 해당 화소를 어지러움·멀미 등 사용자의 불편감을 유발하는 화소로서 후처리 대상으로 선정하여 후처리 대상 가공부(120)가 이를테면 화소의 색상을 가공(manipulate)하게 된다(단계 S260).
이때 후처리 가공(manipulate)에는 각 화소가 카메라의 시야를 얼마나 벗어났는가의 정보가 활용될 수 있는데, 보다 구체적으로 다음과 같이 카메라 중심에서 다음 프레임 및 이전 프레임에서의 각 화소까지의 각도(Anext, Abefore) 중 큰 각도(Abig)가 FOV/2보다 크면 Abig가 FOV/2보다 얼마나 큰 가에 따라 가공(manipulate)의 정도를 결정할 수 있다:
Abig = max(Anext, Abefore)
if Abig > FOV/2 then
c = manipulate(c, Abig)
카메라 중심에서 다음 프레임 및 이전 프레임에서의 각 화소까지의 각도(Anext, Abefore) 중 어느 것도 현재 카메라의 시야(FOV)를 벗어나는 않으면(단계 S250의 아니오) 해당 화소에 대해서는 가공 없이 그대로 유지하면 된다(단계 S270).
카메라(즉 사용자)가 앞으로 빠르게 전진 중인 상황에서의 예로서 도 4를 참조하여 보면, 도 4a는 3D 화상으로 렌더링된 원본 화면을 예시한 것이고, 도 4b는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부(110)가 후처리 대상 화소를 선정하여 구분한 화면을 예시한 것으로서 어두울 수록 이동감이 많아 어지럼증·멀미 유발을 많이 하게 되는 화소이며, 도 4c는 본 발명의 바람직한 실시 예에 따른 후처리 대상 가공부가 후처리 대상을 어둡게 가공한 화면을 예시한 것이다. 이러한 예에서, 어둡게 가공된 후처리 대상, 즉 바닥, 사다리 등은 다음 프레임에서 FOV를 벗어나는 화소들이기 때문에 그에 대응하는 화소들이 후처리 대상으로 어둡게 표시된 것이다.
이상에서 몇 가지 실시 예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
100 : VR 컨텐츠 생성 시스템
110 : 후처리 대상 선정부
120 : 후처리 대상 가공부
130 : 버퍼

Claims (14)

  1. VR 공간에 렌더링된 화면을 카메라 이동 상태와 연관시켜 화소별로 적응적 후처리함으로써 상기 VR 공간에서 이동 시 발생하는 사용자의 불편감을 감소시키는 VR 컨텐츠 생성 시스템.
  2. 청구항 1에서,
    상기 VR 공간에 렌더링된 화면에서 사용자에게 이동감을 주는 부분을 화소 단위로 선정하는 후처리 대상 선정부 및
    상기 이동감을 주는 부분의 시각적 노출의 정도를 화소 단위로 변경하는 후처리 대상 가공부를 포함하는, VR 컨텐츠 생성 시스템.
  3. 청구항 2에 있어서,
    상기 후처리 대상 선정부는 상기 카메라가 이동 시 상기 카메라의 시야(FOV, field of view)의 경계로 들어오거나 나가는 화소를 후처리 대상으로 분류하는, VR 컨텐츠 생성 시스템.
  4. 청구항 3에 있어서,
    상기 후처리 대상 선정부는:
    상기 카메라가 이동 시 상기 VR 공간에 렌더링된 화면에서 각 화소의 다음 프레임에서의 이동 위치를 예측하도록,
    상기 이동 위치가 상기 FOV 내에 있는지 확인하도록 그리고
    상기 이동 위치가 상기 FOV 내에 없으면 상기 FOV의 경계로 나가는 화소로 간주하도록 구성되는, VR 컨텐츠 생성 시스템.
  5. 청구항 3에 있어서,
    상기 후처리 대상 선정부는:
    상기 카메라가 이동 시 상기 VR 공간에 렌더링된 화면에서 각 화소의 이전 프레임에서의 위치를 추측하도록,
    상기 이전 위치가 상기 FOV 내에 있는지 확인하도록 그리고
    상기 이동 위치가 상기 FOV 내에 없으면 상기 FOV의 경계로 들어오는 화소로 간주하도록 구성되는, VR 컨텐츠 생성 시스템.
  6. 청구항 2 내지 5 중 어느 한 항에 있어서,
    상기 변경은 상기 화소의 색상을 어둡게 또는 흐리게 가공하는 것인, VR 컨텐츠 생성 시스템.
  7. 청구항 2 내지 5 중 어느 한 항에 있어서,
    상기 변경은 상기 후처리 대상으로 분류된 화소가 상기 카메라 시야를 얼마나 벗어났는지에 의존적인, VR 컨텐츠 생성 시스템.
  8. VR 공간에 렌더링된 화면을 카메라 이동 상태와 연관시켜 화소별로 적응적 후처리함으로써 상기 VR 공간에서 이동 시 발생하는 사용자의 불편감을 감소시키는 VR 컨텐츠 생성 방법.
  9. 청구항 8에서,
    상기 VR 공간에 렌더링된 화면에서 이동감을 주는 부분을 화소 단위로 선정하는 후처리 대상 선정 단계 및
    상기 이동감을 주는 부분의 색상을 화소 단위로 변경하는 후처리 대상 가공 단계를 포함하는, VR 컨텐츠 생성 방법.
  10. 청구항 9에 있어서,
    상기 후처리 대상 선정 단계는 상기 카메라의 시야(FOV, field of view)의 경계로 들어오거나 나가는 화소를 후처리 대상으로 분류하는, VR 컨텐츠 생성 방법.
  11. 청구항 10에 있어서,
    상기 후처리 대상 선정 단계는:
    상기 렌더링된 화면에서 상기 카메라의 현재 위치 및 각 화소의 현재 위치를 파악하는 단계,
    상기 카메라가 이동 시 상기 카메라의 다음 프레임에서의 위치 또는 이전 프레임에서의 위치를 추정하는 단계,
    상기 카메라의 상기 다음 프레임에서의 위치 또는 상기 이전 프레임에서의 위치를 기준으로 각 화소의 절대 위치의 변위(offset)를 계산하는 단계,
    상기 카메라의 중심에서 상기 다음 프레임에서의 또는 상기 이전 프레임에서의 각 화소까지의 각도를 구하는 단계 및
    상기 각 화소까지의 각도가 FOV/2를 벗어나면 해당 화소를 상기 후처리 대상으로 선정하는 단계를 포함하는, VR 컨텐츠 생성 방법.
  12. 청구항 9 내지 11 중 어느 한 항에 있어서,
    상기 변경은 상기 화소의 색상을 어둡게 또는 흐리게 가공하는 것인, VR 컨텐츠 생성 방법.
  13. 청구항 9 내지 11 중 어느 한 항에 있어서,
    상기 변경은 상기 후처리 대상으로 분류된 화소가 상기 카메라 시야를 얼마나 벗어났는지에 의존적인, VR 컨텐츠 생성 방법.
  14. 청구항 9 내지 11 중 어느 한 항에 있어서,
    상기 카메라의 중심에서 상기 다음 프레임에서의 또는 상기 이전 프레임에서의 상기 각 화소까지의 각도는 다음과 같이 구하며:
    Anext = arccos(dot(normalize(Oxy_next), Zc))
    Abefore = arccos(dot(normalize(Oxy_before), Zc)),
    여기서, Anext는 상기 다음 프레임에서의 상기 각 화소까지의 각도, Abefore는 상기 이전 프레임에서의 상기 각 화소까지의 각도, Oxy_next는 상기 카메라의 상기 다음 프레임에서의 위치에 대한 상기 각 화소의 절대 위치의 변위, Oxy_before는 상기 카메라의 상기 이전 프레임에서의 위치에 대한 상기 각 화소의 절대 위치의 변위, 그리고 Zc는 상기 카메라가 바라보는 방향 벡터인, VR 컨텐츠 생성 방법.
KR1020190002212A 2019-01-08 2019-01-08 Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법 KR102155102B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190002212A KR102155102B1 (ko) 2019-01-08 2019-01-08 Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190002212A KR102155102B1 (ko) 2019-01-08 2019-01-08 Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200086059A true KR20200086059A (ko) 2020-07-16
KR102155102B1 KR102155102B1 (ko) 2020-09-11

Family

ID=71839613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190002212A KR102155102B1 (ko) 2019-01-08 2019-01-08 Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102155102B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233028A (zh) * 2020-10-15 2021-01-15 上海通途半导体科技有限公司 一种屏下摄像头的子像素渲染方法与装置
KR20220130519A (ko) * 2021-03-18 2022-09-27 주식회사 엘지유플러스 헤드 마운티드 디스플레이에서의 vr 멀미 저감 방법 및 장치와 그를 이용한 헤드 마운티드 디스플레이

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101831070B1 (ko) 2016-11-11 2018-02-22 가톨릭대학교 산학협력단 사이버 멀미 경감을 위한 가상현실 영상 생성 장치 및 방법
KR20180038256A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
KR20180043609A (ko) * 2016-10-20 2018-04-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
KR101855863B1 (ko) 2017-10-18 2018-05-09 (주)이노시뮬레이션 멀미를 방지하는 실시간 시뮬레이션 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180038256A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
KR20180043609A (ko) * 2016-10-20 2018-04-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
KR101831070B1 (ko) 2016-11-11 2018-02-22 가톨릭대학교 산학협력단 사이버 멀미 경감을 위한 가상현실 영상 생성 장치 및 방법
KR101855863B1 (ko) 2017-10-18 2018-05-09 (주)이노시뮬레이션 멀미를 방지하는 실시간 시뮬레이션 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233028A (zh) * 2020-10-15 2021-01-15 上海通途半导体科技有限公司 一种屏下摄像头的子像素渲染方法与装置
CN112233028B (zh) * 2020-10-15 2023-10-31 上海通途半导体科技有限公司 一种屏下摄像头的子像素渲染方法与装置
KR20220130519A (ko) * 2021-03-18 2022-09-27 주식회사 엘지유플러스 헤드 마운티드 디스플레이에서의 vr 멀미 저감 방법 및 장치와 그를 이용한 헤드 마운티드 디스플레이

Also Published As

Publication number Publication date
KR102155102B1 (ko) 2020-09-11

Similar Documents

Publication Publication Date Title
US11151776B2 (en) Prediction and throttling adjustments based on application rendering performance
EP3614660B1 (en) Video image processing method and device
US10013812B2 (en) Method and system for controlling a head-mounted display system
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
US9396590B2 (en) Image processing apparatus and method for three-dimensional image zoom
CN116366906A (zh) 用于显示图像流的系统和方法
US11839721B2 (en) Information processing apparatus, information processing method, and storage medium
EP3398004B1 (en) Configuration for rendering virtual reality with an adaptive focal plane
CN114967917B (zh) 用于确定当前注视方向的方法和系统
RU2731254C2 (ru) Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения
KR102155102B1 (ko) Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법
US20150102998A1 (en) Projection-type projector, anti-glare method, and program for anti-glare
US11170578B1 (en) Occlusion detection
KR101815840B1 (ko) 영상 추정 기반 어라운드 뷰 모니터링 장치
CN112114659B (zh) 用于确定用户的精细的注视点的方法和系统
JP7210180B2 (ja) 画像処理装置、画像表示装置、画像処理方法、及びプログラム
JP2018120173A (ja) 画像表示装置、画像表示方法及びプログラム
WO2018150711A1 (ja) 表示制御装置、表示制御装置の制御方法、および制御プログラム
WO2024166619A1 (ja) 情報処理方法および情報処理システム
US20200242843A1 (en) Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
JP2024013890A (ja) 情報処理装置、情報処理方法、およびプログラム
CN116760941A (zh) 信息处理装置、方法以及非临时的计算机可读取的介质
JP2023113086A (ja) 情報処理装置、方法、及びプログラム
CN118365835A (zh) 渲染图像的方法、装置、电子设备和存储介质
KR20240087179A (ko) 실사화된 표시 객체를 표현하기 위한 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant