KR20200086059A - Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법 - Google Patents
Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법 Download PDFInfo
- Publication number
- KR20200086059A KR20200086059A KR1020190002212A KR20190002212A KR20200086059A KR 20200086059 A KR20200086059 A KR 20200086059A KR 1020190002212 A KR1020190002212 A KR 1020190002212A KR 20190002212 A KR20190002212 A KR 20190002212A KR 20200086059 A KR20200086059 A KR 20200086059A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- post
- camera
- fov
- processing
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 VR 체험 공간에서 사용자의 불편감을 해소하기 위한 VR 컨텐츠 생성 시스템 및 방법에 관한 것으로서, VR 공간에 렌더링된 화면을 카메라 이동 상태와 연관시켜 화소별로 적응적 후처리함으로써, VR 체험 공간에서 사용자의 불편감(예를 들어, 어지럼증·멀미 현상)을 해소할 수 있다.
Description
본 발명은 VR 컨텐츠 생성 시스템 및 방법에 관한 것으로, 더욱 상세하게는 VR 컨텐츠로 렌더링된 화면을 카메라 이동 상태와 연관시켜 적응적 후처리함으로써 VR 공간에서 이동 시 발생하는 사용자의 어지럼증·멀미 현상을 감소시킬 수 있는 VR 컨텐츠 생성 시스템 및 방법에 관한 것이다.
4차 산업 혁명 시대 핵심 요소 중 하나로 떠오른 가상 현실(VR, Virtual Reality)의 가장 큰 고질병인 부정적인 증상(예를 들어, 어지럼증·멀미 현상)은 VR 기기를 착용했을 시 현실 움직임과 영상 움직임이 일치하지 않음으로써 신체와 뇌의 인지 부조화로 인해 인지 기능에 혼란을 야기하는 것이 원인이다.
VR 기기의 가장 큰 약점으로 지목되는 이러한 사용자의 불편감을 해결하기 위해 기존에는 비주얼 디바이스 면에서 단순히 디스플레이 화면의 주변을 암전시키거나 블러 처리하여 시야를 좁힘으로써 이동 순간 어지럼증·멀미 현상을 해결하려는 시도가 있었다. 그러나 이러한 방안은 주변 환경과 이동 상태를 고려하지 않고 일률적으로 시야를 축소시킴으로써 어지럼증·멀미 현상을 줄이는 데 비효율적일 뿐만 아니라 사용자 경험을 저하시키는 문제가 있었다.
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 VR 컨텐츠로 렌더링된 화면을 카메라 이동 상태와 연관시켜(이를테면 전후진 방향, 이동 속도, 배경 내 위치를 고려하여) 화소별로 적응적 후처리함으로써 VR 공간에서 이동 시 발생하는 사용자의 어지럼증·멀미 현상을 감소시킬 수 있는 VR 컨텐츠 생성 시스템 및 방법을 제공하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 시스템은 VR 공간에 렌더링된 화면을 카메라 이동 상태와 연관시켜 화소별로 적응적 후처리함으로써 상기 VR 공간에서 이동 시 발생하는 사용자의 불편감을 감소시킨다.
바람직하게는, 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 시스템은 상기 VR 공간에 렌더링된 화면에서 사용자에게 이동감을 주는 부분을 화소 단위로 분류하는 후처리 대상 선정부 및 상기 이동감을 주는 부분의 시각적 노출의 정도를 화소 단위로 변경하는 후처리 대상 가공부를 포함한다.
바람직하게는, 상기 후처리 대상 선정부는 상기 후처리 대상 선정부는 상기 카메라가 이동 시 상기 카메라의 시야(FOV, field of view)의 경계로 들어오거나 나가는 화소를 후처리 대상으로 분류할 수 있다.
더 바람직하게는, 상기 후처리 대상 선정부는: 상기 카메라가 이동 시 상기 VR 공간에 렌더링된 화면에서 각 화소의 다음 프레임에서의 이동 위치를 예측하도록, 상기 이동 위치가 상기 FOV 내에 있는지 확인하도록 그리고 상기 이동 위치가 상기 FOV 내에 없으면 상기 FOV의 경계로 나가는 화소로 간주하도록 구성될 수 있다.
더 바람직하게는, 상기 후처리 대상 선정부는: 상기 후처리 대상 선정부는:
상기 카메라가 이동 시 상기 VR 공간에 렌더링된 화면에서 각 화소의 이전 프레임에서의 위치를 추측하도록, 상기 이전 위치가 상기 FOV 내에 있는지 확인하도록 그리고 상기 이동 위치가 상기 FOV 내에 없으면 상기 FOV의 경계로 들어오는 화소로 간주하도록 구성될 수 있다.
더욱 더 바람직하게는, 상기 변경은 상기 화소의 색상을 어둡게 또는 흐리게 가공하는 것일 수 있다.
훨씬 더 바람직하게는, 상기 변경은 상기 후처리 대상으로 분류된 화소가 상기 카메라 시야를 얼마나 벗어났는지에 의존적일 수 있다.
한편, 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 방법은 상기 VR 공간에 렌더링된 화면에서 이동감을 주는 부분을 화소 단위로 선정하는 후처리 대상 선정 단계 및 상기 이동감을 주는 부분의 시각적 노출의 정도를 화소 단위로 변경하는 후처리 대상 가공 단계를 포함한다.
바람직하게는, 상기 후처리 대상 선정 단계는 상기 카메라의 시야(FOV, field of view)의 경계로 들어오거나 나가는 화소를 후처리 대상으로 분류할 수 있다.
더 바람직하게는, 상기 후처리 대상 선정 단계는: 상기 렌더링된 화면에서 상기 카메라의 현재 위치 및 각 화소의 현재 위치를 파악하는 단계, 상기 카메라가 이동 시 상기 카메라의 다음 프레임에서의 위치 또는 이전 프레임에서의 위치를 추정하는 단계,상기 카메라의 상기 다음 프레임에서의 위치 또는 상기 이전 프레임에서의 위치를 기준으로 각 화소의 절대 위치의 변위(offset)를 계산하는 단계, 상기 카메라의 중심에서 상기 다음 프레임에서의 또는 상기 이전 프레임에서의 상기 각 화소까지의 각도를 구하는 단계 및 상기 각 화소까지의 각도가 FOV/2를 벗어나면 해당 화소를 상기 후처리 대상으로 선정하는 단계를 포함할 수 있다.
더욱 더 바람직하게는, 상기 변경은 상기 화소의 색상을 어둡게 또는 흐리게 가공하는 것일 수 있다.
훨씬 더 바람직하게는, 상기 변경은 상기 후처리 대상으로 분류된 화소가 상기 카메라 시야를 얼마나 벗어났는지에 의존적일 수 있다.
가장 바람직하게는, 상기 카메라의 중심에서 상기 다음 프레임에서의 또는 상기 이전 프레임에서의 상기 각 화소까지의 각도는 다음과 같이 구하며:
Anext = arccos(dot(normalize(Oxy_next), Zc))
Abefore = arccos(dot(normalize(Oxy_before), Zc)),
여기서, Anext는 상기 다음 프레임에서의 상기 각 화소까지의 각도, Abefore는 상기 이전 프레임에서의 상기 각 화소까지의 각도, Oxy_next는 상기 카메라의 상기 다음 프레임에서의 위치에 대한 상기 각 화소의 절대 위치의 변위, Oxy_before는 상기 카메라의 상기 이전 프레임에서의 위치에 대한 상기 각 화소의 절대 위치의 변위, 그리고 Zc는 상기 카메라가 바라보는 방향 벡터일 수 있다.
상술한 바와 같이, 본 발명에 의한 VR 체험 공간에서 사용자의 불편감을 해소하기 위한 VR 컨텐츠 생성 시스템 및 방법은 다음과 같은 효과를 제공한다.
VR 컨텐츠로 렌더링된 화면을 카메라 이동 상태와 연관시켜(이를테면 전후진 방향, 이동 속도, 배경 내 위치를 고려하여) 적응적 후처리함으로써 VR 체험 공간에서 사용자의 불편감을 완화할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 시스템의 전체 구성을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 방법의 전체 동작을 개략적으로 나타낸 흐름도이다.
도 3a는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하는 하나의 예를 도시한 것이다.
도 3b는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하는 다른 예를 도시한 것이다.
도 4a는 3D 화상으로 렌더링된 원본 화면을 예시한 것이고, 도 4b는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하여 구분한 화면을 예시한 것이며, 도 4c는 본 발명의 바람직한 실시 예에 따른 후처리 대상 가공부가 후처리 대상을 어둡게 가공한 화면을 예시한 것이다.
도 2는 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 방법의 전체 동작을 개략적으로 나타낸 흐름도이다.
도 3a는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하는 하나의 예를 도시한 것이다.
도 3b는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하는 다른 예를 도시한 것이다.
도 4a는 3D 화상으로 렌더링된 원본 화면을 예시한 것이고, 도 4b는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하여 구분한 화면을 예시한 것이며, 도 4c는 본 발명의 바람직한 실시 예에 따른 후처리 대상 가공부가 후처리 대상을 어둡게 가공한 화면을 예시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하 본 발명의 VR 체험 공간에서 사용자의 불편감을 해소하기 위한 VR 컨텐츠 생성 시스템에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 시스템의 전체 구성을 개략적으로 나타낸 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 시스템(100)은 VR 공간에 렌더링된 화면을 주변 환경 및 카메라(즉 사용자) 이동 상태와 연관시켜, 이를테면 전후진 방향, 이동 속도, 배경 내 위치를 고려하여 화소별로 적응적 후처리함으로써 VR 공간에서 이동 시 발생하는 사용자의 어지럼증·멀미 현상을 감소시키기 위한 것으로서, 후처리 대상 선정부(110) 및 후처리 대상 가공부(120)를 포함하여 구성된다.
먼저 후처리 대상 선정부(110)는 VR 공간에 렌더링된 화면에서 사용자에게 이동감을 주는 부분을 후처리 대상으로서 화소 단위로 선정한다. 다시 말해, 카메라가 이동하면, VR 공간에 렌더링된 화면, 즉 보이는 절두체(viewing frustum)의 경계, 즉 카메라 시야(FOV, field of view)에는 그 경계로 들어오거나 나가는 개체가 존재하게 되는데 이러한 개체들이 카메라가 VR 공간에서 이동하고 있음을 강하게 전달하는 시각적 정보를 구성하게 되므로, 본 발명의 후처리 대상 선정부(110)는 VR 공간에 렌더링된 화면, 즉 카메라 시야(FOV)의 경계로 들어오거나 나감으로써 사용자에게 이동감을 강하게 주는 부분을 후처리 대상으로서 특히, 화소 단위로 분류하는 것이다.
보다 구체적으로, 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하는 하나의 예인 도 3a를 참조하면, 후처리 대상 선정부(110)는 먼저 현재 VR 공간에 렌더링된 화면을 버퍼(130)에서 가져와 각 화소별로 다음 프레임에서의 3D 공간 상의 이동 위치를 예측하고 예측한 이동 위치가 카메라 시야(FOV) 내에 있는지 확인한다. 이때 예측한 이동 위치가 카메라 시야(FOV) 내에 없으면 해당 화소를 곧 시야 밖으로 벗어나게 될 나가는 화소로 간주한다. 또한 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부가 후처리 대상 화소를 선정하는 다른 예인 도 3b를 참조하면, 후처리 대상 선정부(110)는 현재 VR 공간에 렌더링된 화면의 각 화소별로 이전 프레임에서의 3D 공간 상의 위치를 추측하고 추측한 이전 위치가 카메라 시야(FOV) 내에 있는지 확인한다. 이때 추측한 이전 위치가 카메라 시야(FOV) 내에 없으면 해당 화소를 시야 밖에 있다가 안으로 들어오게 된 화소로 간주한다
이에 따라, 후처리 대상 선정부(110)는 최종적으로 상기한 두 조건, 즉 곧 시야 밖으로 벗어나게 될 것 및 시야 밖에 있다가 안으로 들어오게 된 것 중 하나를 만족하는 화소를 후처리 대상으로 선정한다.
다음으로 후처리 대상 가공부(120)는 후처리 대상 선정부(110)에서 후처리 대상으로서 선정된 이동감을 주는 부분의 시각적 노출의 정도를(이를 테면 시각적 노출을 줄일 수 있도록) 선정된 후처리 대상의 이를 테면 시각적 정보인 색을 화소별로 실제와 차이가 나도록 가공(즉 변경)한다, 즉 현재 프레임에서 FOV 밖에 있다가 FOV의 경계 안으로 들어오게 된 화소 및 FOV의 경계 안에 있다가 곧 FOV 밖으로 벗어나게 될 화소를 암전 혹은 흐리게(즉 블러링) 후처리한다. 이때 후처리 가공에는 각 화소가 카메라 시야를 얼마나 벗어났는가의 정보가 활용될 수 있다.
버퍼(130)는 2D 화상에 각 화소의 색상, 깊이 정보(카메라로부터의 각 화소까지의 거리 정보), 카메라의 이동 속도 벡터 등 외부 정보를 고려하여 사실감을 불어넣어 3D 화상으로 렌더링된 결과를 저장한다.
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 VR 체험 공간에서 사용자의 불편감을 해소하기 위한 VR 컨텐츠 생성 방법에 대해 설명하기로 한다.
도 2는 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 방법의 전체 동작을 개략적으로 나타낸 흐름도이다.
도 2에 도시된 바와 같이, 본 발명의 바람직한 실시 예에 따른 VR 컨텐츠 생성 방법은 먼저 후처리 대상 선정부(110)가 VR 공간에 렌더링된 화면을 버퍼(130)에서 가져와 각 화소에 담긴 깊이 정보 및 카메라 파라미터(위치, 방위, FOV 등)를 이용하여 카메라의 현재 위치(Pc) 및 3D 공간 상의 절대 좌표로서 각 화소의 현재 위치(Pxy)를 구한다(단계 S210).
그리고 후처리 대상 선정부(110)는 카메라의 다음 프레임에서의 위치(Pc_next) 또는 이전 프레임에서의 위치(Pc_before)를 추정한다(단계 S220). 즉 다음과 같이 카메라의 현재 위치(Pc)에 카메라의 이동 속도 벡터(Vc)(즉, 이동 변위/프레임)를 더하여 카메라의 다음 프레임에서의 위치(Pc_next)를 계산하고, 카메라의 현재 위치(Pc)에서 카메라의 이동 속도 벡터(Vc)를 감하여 카메라의 이전 프레임에서의 위치(Pc_before)를 계산한다:
Pc_next = Pc + Vc
Pc_before = Pc - Vc
다음으로 후처리 대상 선정부(110)는 단계 S220에서 추정된 카메라의 다음 프레임 또는 이전 프레임에서의 위치(Pc_next, Pc_before)를 기준으로 각 화소의 절대 위치의 변위(offset)(Oxy_next, Oxy_before)를 각각 계산한다(단계 S230):
Oxy_next = Pxy - Pc_next
Oxy_before = Pxy - Pc_before
그 후 후처리 대상 선정부(110)는 화소의 각각의 위치 변위(Oxy_next, Oxy_before)와 카메라가 바라보는 방향 벡터(Zc)를 이용하여 카메라 중심(O)에서 다음 프레임 또는 이전 프레임에서의 각 화소까지의 각도(Anext, Abefore)를 구한다(단계 S240):
Anext = arccos(dot(normalize(Oxy_next), Zc))
Abefore = arccos(dot(normalize(Oxy_before), Zc))
최종적으로 후처리 대상 선정부(110)는 카메라 중심에서 다음 프레임 및 이전 프레임에서의 각 화소까지의 각도(Anext, Abefore) 중 현재 카메라의 시야(FOV)를 벗어나는 값이 있으면(단계 S250의 예) 현재 프레임에서의 해당 화소를 어지러움·멀미 등 사용자의 불편감을 유발하는 화소로서 후처리 대상으로 선정하여 후처리 대상 가공부(120)가 이를테면 화소의 색상을 가공(manipulate)하게 된다(단계 S260).
이때 후처리 가공(manipulate)에는 각 화소가 카메라의 시야를 얼마나 벗어났는가의 정보가 활용될 수 있는데, 보다 구체적으로 다음과 같이 카메라 중심에서 다음 프레임 및 이전 프레임에서의 각 화소까지의 각도(Anext, Abefore) 중 큰 각도(Abig)가 FOV/2보다 크면 Abig가 FOV/2보다 얼마나 큰 가에 따라 가공(manipulate)의 정도를 결정할 수 있다:
Abig = max(Anext, Abefore)
if Abig > FOV/2 then
c = manipulate(c, Abig)
카메라 중심에서 다음 프레임 및 이전 프레임에서의 각 화소까지의 각도(Anext, Abefore) 중 어느 것도 현재 카메라의 시야(FOV)를 벗어나는 않으면(단계 S250의 아니오) 해당 화소에 대해서는 가공 없이 그대로 유지하면 된다(단계 S270).
카메라(즉 사용자)가 앞으로 빠르게 전진 중인 상황에서의 예로서 도 4를 참조하여 보면, 도 4a는 3D 화상으로 렌더링된 원본 화면을 예시한 것이고, 도 4b는 본 발명의 바람직한 실시 예에 따른 후처리 대상 선정부(110)가 후처리 대상 화소를 선정하여 구분한 화면을 예시한 것으로서 어두울 수록 이동감이 많아 어지럼증·멀미 유발을 많이 하게 되는 화소이며, 도 4c는 본 발명의 바람직한 실시 예에 따른 후처리 대상 가공부가 후처리 대상을 어둡게 가공한 화면을 예시한 것이다. 이러한 예에서, 어둡게 가공된 후처리 대상, 즉 바닥, 사다리 등은 다음 프레임에서 FOV를 벗어나는 화소들이기 때문에 그에 대응하는 화소들이 후처리 대상으로 어둡게 표시된 것이다.
이상에서 몇 가지 실시 예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
100 : VR 컨텐츠 생성 시스템
110 : 후처리 대상 선정부
120 : 후처리 대상 가공부
130 : 버퍼
110 : 후처리 대상 선정부
120 : 후처리 대상 가공부
130 : 버퍼
Claims (14)
- VR 공간에 렌더링된 화면을 카메라 이동 상태와 연관시켜 화소별로 적응적 후처리함으로써 상기 VR 공간에서 이동 시 발생하는 사용자의 불편감을 감소시키는 VR 컨텐츠 생성 시스템.
- 청구항 1에서,
상기 VR 공간에 렌더링된 화면에서 사용자에게 이동감을 주는 부분을 화소 단위로 선정하는 후처리 대상 선정부 및
상기 이동감을 주는 부분의 시각적 노출의 정도를 화소 단위로 변경하는 후처리 대상 가공부를 포함하는, VR 컨텐츠 생성 시스템. - 청구항 2에 있어서,
상기 후처리 대상 선정부는 상기 카메라가 이동 시 상기 카메라의 시야(FOV, field of view)의 경계로 들어오거나 나가는 화소를 후처리 대상으로 분류하는, VR 컨텐츠 생성 시스템. - 청구항 3에 있어서,
상기 후처리 대상 선정부는:
상기 카메라가 이동 시 상기 VR 공간에 렌더링된 화면에서 각 화소의 다음 프레임에서의 이동 위치를 예측하도록,
상기 이동 위치가 상기 FOV 내에 있는지 확인하도록 그리고
상기 이동 위치가 상기 FOV 내에 없으면 상기 FOV의 경계로 나가는 화소로 간주하도록 구성되는, VR 컨텐츠 생성 시스템. - 청구항 3에 있어서,
상기 후처리 대상 선정부는:
상기 카메라가 이동 시 상기 VR 공간에 렌더링된 화면에서 각 화소의 이전 프레임에서의 위치를 추측하도록,
상기 이전 위치가 상기 FOV 내에 있는지 확인하도록 그리고
상기 이동 위치가 상기 FOV 내에 없으면 상기 FOV의 경계로 들어오는 화소로 간주하도록 구성되는, VR 컨텐츠 생성 시스템. - 청구항 2 내지 5 중 어느 한 항에 있어서,
상기 변경은 상기 화소의 색상을 어둡게 또는 흐리게 가공하는 것인, VR 컨텐츠 생성 시스템. - 청구항 2 내지 5 중 어느 한 항에 있어서,
상기 변경은 상기 후처리 대상으로 분류된 화소가 상기 카메라 시야를 얼마나 벗어났는지에 의존적인, VR 컨텐츠 생성 시스템. - VR 공간에 렌더링된 화면을 카메라 이동 상태와 연관시켜 화소별로 적응적 후처리함으로써 상기 VR 공간에서 이동 시 발생하는 사용자의 불편감을 감소시키는 VR 컨텐츠 생성 방법.
- 청구항 8에서,
상기 VR 공간에 렌더링된 화면에서 이동감을 주는 부분을 화소 단위로 선정하는 후처리 대상 선정 단계 및
상기 이동감을 주는 부분의 색상을 화소 단위로 변경하는 후처리 대상 가공 단계를 포함하는, VR 컨텐츠 생성 방법. - 청구항 9에 있어서,
상기 후처리 대상 선정 단계는 상기 카메라의 시야(FOV, field of view)의 경계로 들어오거나 나가는 화소를 후처리 대상으로 분류하는, VR 컨텐츠 생성 방법. - 청구항 10에 있어서,
상기 후처리 대상 선정 단계는:
상기 렌더링된 화면에서 상기 카메라의 현재 위치 및 각 화소의 현재 위치를 파악하는 단계,
상기 카메라가 이동 시 상기 카메라의 다음 프레임에서의 위치 또는 이전 프레임에서의 위치를 추정하는 단계,
상기 카메라의 상기 다음 프레임에서의 위치 또는 상기 이전 프레임에서의 위치를 기준으로 각 화소의 절대 위치의 변위(offset)를 계산하는 단계,
상기 카메라의 중심에서 상기 다음 프레임에서의 또는 상기 이전 프레임에서의 각 화소까지의 각도를 구하는 단계 및
상기 각 화소까지의 각도가 FOV/2를 벗어나면 해당 화소를 상기 후처리 대상으로 선정하는 단계를 포함하는, VR 컨텐츠 생성 방법. - 청구항 9 내지 11 중 어느 한 항에 있어서,
상기 변경은 상기 화소의 색상을 어둡게 또는 흐리게 가공하는 것인, VR 컨텐츠 생성 방법. - 청구항 9 내지 11 중 어느 한 항에 있어서,
상기 변경은 상기 후처리 대상으로 분류된 화소가 상기 카메라 시야를 얼마나 벗어났는지에 의존적인, VR 컨텐츠 생성 방법. - 청구항 9 내지 11 중 어느 한 항에 있어서,
상기 카메라의 중심에서 상기 다음 프레임에서의 또는 상기 이전 프레임에서의 상기 각 화소까지의 각도는 다음과 같이 구하며:
Anext = arccos(dot(normalize(Oxy_next), Zc))
Abefore = arccos(dot(normalize(Oxy_before), Zc)),
여기서, Anext는 상기 다음 프레임에서의 상기 각 화소까지의 각도, Abefore는 상기 이전 프레임에서의 상기 각 화소까지의 각도, Oxy_next는 상기 카메라의 상기 다음 프레임에서의 위치에 대한 상기 각 화소의 절대 위치의 변위, Oxy_before는 상기 카메라의 상기 이전 프레임에서의 위치에 대한 상기 각 화소의 절대 위치의 변위, 그리고 Zc는 상기 카메라가 바라보는 방향 벡터인, VR 컨텐츠 생성 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190002212A KR102155102B1 (ko) | 2019-01-08 | 2019-01-08 | Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190002212A KR102155102B1 (ko) | 2019-01-08 | 2019-01-08 | Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200086059A true KR20200086059A (ko) | 2020-07-16 |
KR102155102B1 KR102155102B1 (ko) | 2020-09-11 |
Family
ID=71839613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190002212A KR102155102B1 (ko) | 2019-01-08 | 2019-01-08 | Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102155102B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233028A (zh) * | 2020-10-15 | 2021-01-15 | 上海通途半导体科技有限公司 | 一种屏下摄像头的子像素渲染方法与装置 |
KR20220130519A (ko) * | 2021-03-18 | 2022-09-27 | 주식회사 엘지유플러스 | 헤드 마운티드 디스플레이에서의 vr 멀미 저감 방법 및 장치와 그를 이용한 헤드 마운티드 디스플레이 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101831070B1 (ko) | 2016-11-11 | 2018-02-22 | 가톨릭대학교 산학협력단 | 사이버 멀미 경감을 위한 가상현실 영상 생성 장치 및 방법 |
KR20180038256A (ko) * | 2016-10-06 | 2018-04-16 | 주식회사 케이티 | Vr 스트림의 지연을 보상하는 방법 및 시스템 |
KR20180043609A (ko) * | 2016-10-20 | 2018-04-30 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법 |
KR101855863B1 (ko) | 2017-10-18 | 2018-05-09 | (주)이노시뮬레이션 | 멀미를 방지하는 실시간 시뮬레이션 시스템 |
-
2019
- 2019-01-08 KR KR1020190002212A patent/KR102155102B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180038256A (ko) * | 2016-10-06 | 2018-04-16 | 주식회사 케이티 | Vr 스트림의 지연을 보상하는 방법 및 시스템 |
KR20180043609A (ko) * | 2016-10-20 | 2018-04-30 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법 |
KR101831070B1 (ko) | 2016-11-11 | 2018-02-22 | 가톨릭대학교 산학협력단 | 사이버 멀미 경감을 위한 가상현실 영상 생성 장치 및 방법 |
KR101855863B1 (ko) | 2017-10-18 | 2018-05-09 | (주)이노시뮬레이션 | 멀미를 방지하는 실시간 시뮬레이션 시스템 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233028A (zh) * | 2020-10-15 | 2021-01-15 | 上海通途半导体科技有限公司 | 一种屏下摄像头的子像素渲染方法与装置 |
CN112233028B (zh) * | 2020-10-15 | 2023-10-31 | 上海通途半导体科技有限公司 | 一种屏下摄像头的子像素渲染方法与装置 |
KR20220130519A (ko) * | 2021-03-18 | 2022-09-27 | 주식회사 엘지유플러스 | 헤드 마운티드 디스플레이에서의 vr 멀미 저감 방법 및 장치와 그를 이용한 헤드 마운티드 디스플레이 |
Also Published As
Publication number | Publication date |
---|---|
KR102155102B1 (ko) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151776B2 (en) | Prediction and throttling adjustments based on application rendering performance | |
EP3614660B1 (en) | Video image processing method and device | |
US10013812B2 (en) | Method and system for controlling a head-mounted display system | |
US9928655B1 (en) | Predictive rendering of augmented reality content to overlay physical structures | |
US9396590B2 (en) | Image processing apparatus and method for three-dimensional image zoom | |
CN116366906A (zh) | 用于显示图像流的系统和方法 | |
US11839721B2 (en) | Information processing apparatus, information processing method, and storage medium | |
EP3398004B1 (en) | Configuration for rendering virtual reality with an adaptive focal plane | |
CN114967917B (zh) | 用于确定当前注视方向的方法和系统 | |
RU2731254C2 (ru) | Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения | |
KR102155102B1 (ko) | Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법 | |
US20150102998A1 (en) | Projection-type projector, anti-glare method, and program for anti-glare | |
US11170578B1 (en) | Occlusion detection | |
KR101815840B1 (ko) | 영상 추정 기반 어라운드 뷰 모니터링 장치 | |
CN112114659B (zh) | 用于确定用户的精细的注视点的方法和系统 | |
JP7210180B2 (ja) | 画像処理装置、画像表示装置、画像処理方法、及びプログラム | |
JP2018120173A (ja) | 画像表示装置、画像表示方法及びプログラム | |
WO2018150711A1 (ja) | 表示制御装置、表示制御装置の制御方法、および制御プログラム | |
WO2024166619A1 (ja) | 情報処理方法および情報処理システム | |
US20200242843A1 (en) | Method, mixed reality system and recording medium for detecting real-world light source in mixed reality | |
JP2024013890A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN116760941A (zh) | 信息处理装置、方法以及非临时的计算机可读取的介质 | |
JP2023113086A (ja) | 情報処理装置、方法、及びプログラム | |
CN118365835A (zh) | 渲染图像的方法、装置、电子设备和存储介质 | |
KR20240087179A (ko) | 실사화된 표시 객체를 표현하기 위한 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |