KR20210072348A - 사실적인 가상 현실을 위한 동적 포비티드 렌더링 방법 - Google Patents

Abstract

시선 트래킹(eye tracking)을 통해 검출된 사용자의 초점 거리를 기초로 VR 이미지에 블러(blur) 효과를 적용하는 방법이 개시된다. 본 개시의 방법에 따르면, 사용자 시선 방향에 대응하는 대상의 깊이(depth)와 다른 영역의 깊이 사이의 차이를 기초로 블러 효과가 적용된 이미지를 생성할 수 있다.

Description

사실적인 가상 현실을 위한 동적 포비티드 렌더링 방법{DYNAMIC FOVEATED RENDERING METHOD FOR REALISTIC VIRTUAL REALITY}

가상 현실(virtual reality)에서의 사용자 경험 향상을 위한 렌더링 기법에 관한 기술이다.

오랜 시간 동안 VR 시스템이 제공하는 비디오 서비스는 고품질/고화질 및 저지연(low latency)이 가능하도록 다양한 개선 및 기술 개발이 이루어져왔다. 하지만 이러한 여전히 사용자가 가상 현실에 몰입되어 컨텐츠를 즐기기에는 충분하지 않다. 비디오 컨텐츠의 해상도/품질과 지연 시간 문제는 컴퓨팅 성능을 향상시킴으로써 해결할 수 있지만, 몰입감의 부족은 그런 식으로 해결할 수 있는 문제가 아니다.

VR 시스템이 제공하는 비디오 컨텐츠는 여전히 인간의 시각적 감각을 만족시킬 수 없다. 이러한 불만족은 제공된 컨텐츠의 품질의 문제가 아니며, 실제 세계에서 인식되는 이미지와 VR의 비디오 컨텐츠 이미지 간의 본질적인 차이로 인해 발생한다.

지연 시간 문제를 제외하고서라도, VR 시스템에 의해 생성된 입체 이미지에는 또 다른 제한이 있다. VR 출력 수단(head-mounted display(이하 HMD) 등)의 고정 초점 거리로 인해 VR 시스템에 의해 생성된 이미지에는 사람이 실제 세계에서 사물을 응시했을 때 발생되는 것과 같은 자연스러운 블러(blur) 효과가 없다.

도 1은 기존의 VR 이미지(선명한 VR 스테레오 스코픽(stereoscopic) 이미지)를 나타낸 도면이다.

기존 VR 시스템은 사용자의 두 눈에 서로 다른 이미지를 제공하여 이미지에 입체 효과를 부여한다. 인간은 양안을 통해 인식된 이미지들 사이의 차이로 인해 깊이감을 느끼는데, 이는 먼 객체는 양안간 작은 차이를 느끼고 가까운 객체는 양안간 많은 차이를 느낀다는 점을 이용한다. 이것은 평면 이미지에 입체감/깊이감을 부여하는 매우 효과적인 방법으로, 이를 통해 VR 사용자는 VR 이미지를 입체로 받아들이게 된다.

하지만 기존의 VR 시스템은 다음과 같은 점에서 문제점을 내포하고 있다.

[서로 다른 초점 거리에 따른 블러 효과가 부족하거나 초점 거리에 따른 블러 효과 부적용]

상기와 같이 양안에 다른 영상을 제공함으로써, 양안의 위치 차이를 이용한 인간의 공간 인식 능력을 만족시킬 수 있다. 그러나 인간은 또 다른 방법을 통해 거리 또는 깊이를 식별할 수 있다. 그것은 한쪽 눈의 초점 거리와 관련된 정보를 이용하는 것이다.

도 2는 초점 거리 차이로 인한 블러 효과를 나타낸 도면이다.

도 2는 우리가 현실에서 초점을 맞추고 있는 객체의 거리에 따라 경험하는 인식 이미지의 변화를 보여준다. 우리의 눈은 응시하고 있는 객체의 거리에 따라 렌즈(lens) 즉 수정체의 굴절률 또는 디옵터(diopter)를 조정하여 초점 거리를 변경한다. 따라서 사람은 거리가 다른 객체를 같은 선명도로 동시에 인식 할 수 없다.

도 3은 초점 거리에 따라 블러 효과가 적용된 결과를 나타낸 도면이다.

초점이 맞지 않은 객체(또는 영역)가 흐려지는 강도 즉, 블러 강도는 초점이 맞춰진 객체와의 거리(초점 거리)에 대략적으로 비례한다. 여기서, 상기 블러 강도는 수정체가 각 객체에 초점을 맞출 때 적용되는 굴절률의 차이에 비례한다. 또한, 블러 현상은 눈의 시신경(또는 시각 세포) 분포와 관계없이 발생된다.

한쪽 눈만으로도 감지 할 수 있는 이 블러 효과는 사람들이 각 객체의 위치(거리) 관계를 인식하는 데 도움이 된다. 따라서, 만약 양안을 통해 인식된 두 이미지에 거리에 다른 블러 효과가 적용되지 않는 경우 사용자는 이상함 또는 이질감을 느낄 수 있다.

VR 시스템을 시장에 공급하는 오큘러스에 따르면, 현재의 VR용 HMD는 전술한 거리에 따른 블러 효과를 정확하게 재연하지 못하며, 이에 따라 VAC(vergence-accommodation conflict : 수렴-조절 불일치)가 발생하여 사용자가 VR 시스템을 장시간 사용하는 경우 눈의 피로와 시력 저하, 두통 등이 발생될 수 있다고 보고 있다.

도 4는 접안 렌즈와 디스플레이 사이에 공간적으로 프로그래밍 가능한 포커싱 구성요소(a spatially programmable focusing element)를 배치시킨 종래의 HMD를 나타낸 도면이다.

오큘러스는 사용자에게 초점 거리 정보를 제공하기 위해 공간적으로 프로그래밍 가능한 포커싱 구용요소를 사용한 초점면 디스플레이를 개발한 바 있다. 초점면 디스플레이의 주요 아이디어는 VR에 의해 제공될 이미지 내의 객체를 여러 초점면으로 분해하고 사용자에게 제공된 디스플레이의 파장에 적용하여 블러 현상을 유도하는 것이다. 이와 관련된 것이 도 5 내지 도 7이다.

도 5는 초점면(focal surface)의 생성을 나타낸 도면이다. 도 5에서는 하나의 초점면에 대해서면 나타낸 것이다. 그리고 도 6은 공간 광 변조기(spatial light modulator)를 나타낸 도면이다.

인식 이미지에 자연스러운 블러 효과를 주기 위해 오큘러스는 장면에 있는 객체의 깊이 정보 (이미지)를 기반으로 객체를 연결하는 초점면을 생성한다. 그리고, 해당 기법은 디스플레이(또는 스크린)와 접안 렌즈 사이에 있는 공간 광 변조기를 사용하여 초점면에 맞게 빛의 위상을 조정한다. 결과적으로, 사용자의 수정체와 유사한 정도의 굴절률이 출력되는 빛에 적용되어 사람에게 인지되는 이미지의 각 영역은 서로 다른 포커싱이 적용된다.

도 7은 초점면 일치 오류를 나타낸 도면이다.

전술한 기법에 따르면 초점면은 유한 함수를 통해 구현되므로 도 7과 같이 깊이가 갑자기 변하는 지점(column index 300 내지 1600 사이)에서 오류가 발생될 수 있으며, 이 때문에 블러가 적용되는 대상의 가장자리에서 부자연스러운 블러가 유발할 수 있다.

도 8은 피사계 심도가 적용된 HMD의 출력 이미지의 예시를 나타낸 도면이다.

시선 트래킹 가능 HMD 제조업체 인 FOVE는 화면에서 사용자의 시선을 추적하고 이를 이용하여 포비티드 렌더링(foveated rendering)을 수행한다. 해당 기법에 따르면, 사용자가 응시하고 있는 지점(gaze point, 또는 초점)을 추적하기 위해 시선의 수렴 현상을 활용하여 사용자의 시선 거리(또는 초점 거리)를 측정한다. 여기서, 해당 기법은 사용자가 보고 있는 객체만 선명한 이미지로 남겨두고 나머지 객체를 흐리게 하여 디포커스 블러(defocus blur)를 단순하게 재현한다. FOVE는 상대 거리에 따라 블러 강도를 정확하게 반영하지 않는다는 문제를 가지고 있다.

본 발명은 현재의 VR 이미지 처리 기법의 높은 계산량을 해결하고자 하는 목적을 가지고 있다. 전술한 공간 광 변조에는 높은 계산량이 요구된다. 예를 들어, 전술한 초점면 분해에 수 초가 필요하며, 위상 기능 최적화에 초점을 맞추려면 표면당 약 46 초가 소요된다. 그 후, 혼합 알고리즘을 사용하여 3개의 초점면을 혼합하는 데 평균 42 분이 걸린다. 이는 이미지가 60Hz 이상으로 제공하는 현재의 VR 시스템에 적용될 수 없음을 의미한다.

또한, 본 발명은 정확한 블러 효과를 위한 처리 기법을 제공하고자 하는 목적을 가지고 있다. 사람이 현실에서 무언가를 응시할 때 발생되는 디포커스 현상(또는 블러)의 블러 강도는 수정체의 디옵터와 관련이 있다. 기존의 VR 시스템에서는 거리에 관계없이 블러 효과가 고정적으로 적용되는 문제가 있으며, 따라서 현재의 블러 효과는 실제 세계의 자연스러운 블러 현상을 제대로 구현하지 못하고 있다.

기존의 VR의 출력 수단(HMD 등)은 사용자의 눈에 대해 고정 초점 거리를 갖기 때문에, VR 컨텐츠를 재생하는 동안 사용자의 수정체의 굴절률(또는 디옵터)은 변하지 않는다. 다시 말해, VR에서는 눈에서 초점 거리 조정이 발생되지 않으나, 실제 세계에서는 객체에 초점을 맞출 때 객체의 위치/거리에 따라 사용자의 수정체가 조정된다. 이러한 차이로 인해, 현재의 VR에서는 자연스러운 블러 효과를 생성할 수 없다. 제안하는 방법은 시선 트래킹을 통해 산출된 사용자의 초점 거리를 고려하여 VR 이미지에 블러 효과를 발생시킬 수 있다. 특히, 제안하는 방법에 따르면 사용자가 응시하고 있는 피사체의 깊이(또는 거리)와 다른 영역/위치의 깊이(또는 거리)의 차이에 따라 차등적으로 블러를 적용함으로써 초점 거리 차이에 따른 블러 효과를 재현한다.

본 발명의 실시 예에 따른 처리 기법은 기존 대비 필요 연산량이 낮으며, 따라서 VR 시스템의 필수 요건인 저지연을 달성할 수 있다.

또한, 본 발명의 실시 예에 따르면 추가적인 하드웨어 없이 정확한 블러 효과를 재현할 수 있다.

또한, 본 발명의 실시 예에 따르면 각 픽셀의 블러 강도를 개별적으로 조절할 수 있어 기존의 블러 대상 객체의 태두리/가장자리에서 발생될 수 있는 블러의 오류/오발생이 일어나지 않는다.

도 1은 기존의 VR 이미지를 나타낸 도면이다.
도 2는 초점 거리 차이로 인한 블러 효과를 나타낸 도면이다.
도 3은 초점 거리에 따라 블러 효과가 적용된 결과를 나타낸 도면이다.
도 4는 접안 렌즈와 디스플레이 사이에 공간적으로 프로그래밍 가능한 포커싱 구성요소를 배치시킨 종래의 HMD를 나타낸 도면이다.
도 5는 초점면(focal surface)의 생성을 나타낸 도면이다.
도 6은 공간 광 변조기(spatial light modulator)를 나타낸 도면이다.
도 7은 초점면 일치 오류를 나타낸 도면이다.
도 8은 피사계 심도가 적용된 HMD의 출력 이미지의 예시를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 이미지 처리 방법의 개념을 나타낸 도면이다.
도 10은 본 발명의 실시 예에 따른 이미지 처리 방법을 나타낸 도면이다.
도 11은 본 발명의 실시 예에 다른 이미지 처리 방법에 의해 자연스럽게 블러 처리가된 VR 이미지를 나타낸 도면이다.
도 12는 본 발명의 다른 실시 예에 따른 렌더링 방법을 나타낸 도면이다.
도 13은 깊이 맵(depth map)의 예시를 나타낸 도면이다.
도 14는 본 발명의 실시 예에 따른 깊이 맵을 나타낸 도면이다.
도 15는 초점 거리를 결정하는 방식을 나타낸 도면이다.
도 16은 시선 트래킹(eye tracking)이 적용된 HMD의 사양의 예시를 나타낸 도면이다.
도 17은 이미지에 적용될 개념적 블러 강도(conceptual blur strength)를 나타낸 도면이다.
도 18은 눈의 디옵터(diopter)와 초점 거리(focal distance 또는 object distance)간 관계를 나타낸 도면이다.
도 19는 사람의 디옵터 조절(accommodation) 정도를 나이에 따른 표준 곡선 그래프로 도시(Duane's standard curve)한 것이다.
도 20은 사용자가 4m 떨어진 객체에 초점을 맞출 때 1.33m 또는 6.66m 떨어진 곳에 위치한 객체에 대한 블러 강도를 계산하는 예시를 나타낸다.
도 21은 이상적인 블러 강도의 영향을 나타낸 도면이다.
도 22는 블러 효과를 구현하기 위한 예시를 나타낸 도면이다.
도 23은 후처리(블러)가 적용된 이미지의 예시를 나타낸 도면이다.
도 24는 본 발명의 실시 예에 따른 동작 알고리즘 및 새로운 이미지 생성 방법을 나타낸 도면이다.
도 25는 초점으로부터의 거리의 차이를 고려하여 블러 효과가 적용된 이미지의 예시를 나타낸다.
도 26은 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 나타낸 도면이다.
도 27은 기존의 고정 포비티드 렌더링(foveated rendering)에서의 고해상도 영역과 본 발명의 실시 예에 따른 이미지 처리 방법에서의 고해상도 영역을 나타낸 도면이다.
도 28은 본 발명의 실시 예에 따른 해상도(resolution)를 조정하는 방식의 예시를 나타낸 도면이다.
도 29는 사용자의 초점 주변의 깊이 맵을 나타낸 도면이다.
도 30은 깊이 차이에 따라 조정된 각 영역의 렌더링 해상도를 나타낸 도면이다.
도 31은 재구성 필터(reconstruction filter)의 예시를 나타낸 도면이다.
도 32는 기존의 포비티드 렌더링의 처리 결과에 따른 이미지와 본 발명의 실시 예에 따른 이미지 처리 방법을 통해 처리한 이미지를 나타낸 도면이다.
도 33은 기존의 포비티드 렌더링에 따른 VR 이미지와 본 발명의 실시 예에 따른 이미지 처리 방법을 통해 처리한 VR 이미지의 차이를 나타낸 도면이다.
도 34는 기존의 포비티드 렌더링(예를 들어, FOVE)의 VR 이미지와 본 발명의 실시 예에 따른 이미지 처리 방법을 통해 처리한 VR 이미지의 또 다른 차이를 나타낸 도면이다.

시선 트래킹(eye tracking)을 통해 검출된 사용자의 초점 거리를 기초로 VR 이미지에 블러(blur) 효과를 적용하는 방법이 개시된다. 본 개시의 방법에 따르면, 사용자 시선 방향에 대응하는 대상의 깊이(depth)와 다른 영역의 깊이 사이의 차이를 기초로 블러 효과가 적용된 이미지를 생성할 수 있다. 이하 각 도면을 통해 본 발명의 실시 예를 구체적으로 설명한다.

이하의 명세서에서 '객체'는 이미지 내에 포함된 특정 영역, 사물 또는 배경과 분리되어 사용자에게 개별적으로 인지되는 대상을 의미할 수 있다. 또한, '디옵터'는 안구의 굴절률 또는 굴절력 등의 단어로 대체될 수도 있다. 또한, '(이미지) 처리 방법'은 '(이미지) 처리 기법', '렌더링 기법', '렌더링 방법' 등의 용어와 혼용될 수 있다.

도 9는 본 발명의 실시 예에 따른 처리 기법의 개념을 보여준다.

본 발명의 실시 예에 따른 이미지 처리 방법에 따르면, 각 픽셀에 대응하는 깊이/초점 거리에 따른 블러 강도가 적용될 수 있다. 도 9에서 확인할 수 있듯이 본 발명의 실시 예에 따른 이미지 처리 방법은 감지된 객체의 초점 거리의 차이에 따라 이미지를 흐리게 한다. 도 9에 따르면, 이미지의 오른쪽에 위치한 사람의 위치(또는 그에 대응하는 초점 거리/위치)와 사용자의 초점의 위치(user's focusing) 사이의 차이가 왼쪽에 위치한 사람의 위치와 사용자의 초점의 위치(또는 그에 대응하는 초점 거리/위치) 사이의 차이에 비해 더 크기 때문에 오른쪽 사람이 위치하고 있는 영역에 대하여 강한 블러 효과(strong blur)가 적용되었다. 이에 더하여, 본 발명의 실시 예에 따른 이미지 처리 방법은 실제로 객체 단위가 아닌 각 픽셀의 깊이 정보를 사용하여 개별 픽셀에 적용할 블러 정도를 결정할 수 있다. 즉, 하나의 객체일지라도, 본 발명의 실시 예에 따른 이미지 처리 방법은 깊이/초점 거리에 따라 객체의 각 부분에 대하여 상이한 블러 효과를 적용할 수 있다.

도 10은 본 발명의 실시 예에 따른 처리 기법의 프로세스 흐름을 보여준다.

서버 측 프로세스는 다음과 같다.

VR 컨텐츠 서버는 사용자의 머리 방향을 고려하여 컨텐츠의 시뮬레이션(content simulation) 결과를 렌더링(rendering)할 수 있다. 렌더링된 VR 이미지(VR image)는 각 픽셀의 깊이 정보(depth information)와 함께 사용자 장치(user device, HMD)로 전송될 수 있다.

사용자 장치(user device, HMD) 측 프로세스는 다음과 같다.

사용자 장치는 시선 트래킹(eye tracking)을 사용하여 사용자가 화면에서 주시하고 있는 지점/영역을 확인(focus information)한다. 그리고 시선 트래킹에 의해 확인된 사용자의 초점/관심 위치(또는 이에 대응하는 화면 좌표)는 수신된 VR 이미지의 동일한 위치 픽셀에 매핑될 수 있다. 사용자의 초점/관심 위치에 대응되는 픽셀의 깊이는 참조 깊이(reference depth)로 설정될 수 있다.

도 11은 본 발명의 실시 예에 따른 처리 기법의 자연스럽게 흐려진 이미지를 보여준다.

사용자 장치는 다음의 과정을 통해 블러 강도 결정(blur strength determination) 및 후처리(post processing)를 수행할 수 있다.

우선, 사용자의 초점에 대응하는 픽셀이 아닌 다른 픽셀의 깊이가 참조 깊이가 다른 경우, 본 발명의 실시 예에 따른 처리 기법은 해당 픽셀에 대하여 블러 효과를 적용할 수 있다. 각 픽셀에 적용되는 블러 효과의 강도(블러 강도)는 참조 깊이와 각 픽셀의 깊이 사이의 차이가 클수록 증가할 수 있다.

이에 따라 본 발명의 실시 예에 따른 블러 효과가 적용된 이미지가 생성될 수 있다. 여기서, 본 발명의 실시 예에 따른 블러 효과는 안구의 시각 세포의 분포와 무관하며 수정체의 굴절률(또는 디옵터)에 의해 발생되는 블러에 해당할 수 있다. 따라서, 최종적으로 사용자가 인지하는 이미지에는 안구의 시각 세포의 분포와 관련된 블러가 추가적으로 적용될 수 있으며, 해당 이미지가 사용자에게 제공/스캔아웃(scan-out)될 수 있다.

도 12는 본 발명의 실시 예에 따른 처리 기법의 프로세스 흐름을 보여준다.

VR이 서비스되는 동안 VR 시스템의 모든 프로세스가 반복적으로 실행되므로, 설명의 편의를 위해 본 발명의 실시 예에 따라 새로운 서비스 프레임(a new service frame) 또는 (단일) 이미지/프레임이 생성 또는 렌더링되는 과정에 대하여 서술하도록 한다.

1 단계. 깊이 정보 삽입 (step 1 insert depth information)

도 13은 깊이 맵을 나타낸 도면이다. 도 13에서 깊이 맵은 그레이 레벨(grey level) 방식으로 표시되었으나, 본 발명의 실시 예는 이에 한정되지 않는다.

VR 컨텐츠 서버는 VR 사용자의 머리 방향에 기초하여 가상 현실에서의 타겟 렌더링 영역을 계산한다. 또한 서버는 가상 현실 내 사용자의 머리 좌표(렌더링 카메라 위치)를 알고 있으므로 사용자의 관점에서 렌더링 영역에 있는 모든 객체의 상대 거리를 계산할 수 있다. 이에 더하여, 상기 계산은 가상 현실의 각 픽셀 포인트에 대해 수행 될 수 있다. 본 발명의 실시 예에 따른 상대적 깊이(relative depth)는 3D 이미지에서 통용되는 통상의 깊이 정보와는 상이한 것일 수 있으며, VR 사용자의 동적 시점(또는 가상 현실 내 위치)과 무관하게 특정 범위(예를 들어 0 내지 255)의 수치들을 가질 수도 있다.

예를 들어, 기존 깊이 맵은 그레이 레벨을 사용하여 고정 카메라 위치에 대한 절대 거리 값을 나타낸다. 가까운 거리에 있는 객체를 나타내는 픽셀은 밝은 색에 대응하는 값을 가지며, 먼 거리에 있는 객체를 나타내는 픽셀은 어두운 색에 대응하는 값을 가진다. 본 발명의 실시 예에 다른 처리 기법에서 VR 사용자와 객체 사이의 상대 거리를 나타내는 각 픽셀의 깊이 정보는 각 픽셀의 색상 정보와 함께 HMD 장치에 제공될 수 있다.

2 단계. 깊이 맵 생성 (step 2 depth map generation)

도 14는 본 발명의 실시 예에 따른 깊이 맵을 나타낸 도면이다.

사용자 장치는 컨텐츠 서버가 제공하는 깊이 정보를 사용하여 깊이 맵을 생성할 수 있다. 사용자 장치는 깊이 맵을 통해 사용자에게 제공될 이미지의 각 픽셀과 사용자 사이의 거리를 확인할 수 있다.

3 단계. 초점 거리 추정 (step 3 focal length estimation(set Ref_depth))

도 15는 초점 거리를 결정하는 방식을 나타낸 도면이다.

사용자 장치는 시선 트래킹을 통해 이미지에서 사용자의 초점/관심 위치(관심 영역) 또는 이에 대응하는 화면 좌표를 식별할 수 있다. 식별된 사용자의 관심 위치는 도 14에서 생성된 깊이 맵 상의 특정 지점/좌표와 매칭되며, 해당 위치(픽셀)의 깊이 정보는 사용자가 초점을 맞추고자 하는 목표 거리(초점 거리)이다. 따라서, 사용자 장치는 Ref_depth를 사용자의 초점의 깊이 정보로 설정할 수 있다(참조 깊이에 해당).

여기서, 시선 트래킹의 다양한 방식을 통해 안구의 회전을 측정할 수 있으며, 통상적으로 크게 세 가지 범주로 분류될 수 있다. 예를 들어, 눈에 부착된 물체(일반적으로 특수 콘택트 렌즈)의 움직임 측정하는 방식, 눈에 직접 접촉하지 않는 광학 추적 방식, 눈 주위에 배치된 전극을 사용하여 전위를 측정하는 방식 등으로 분류할 수 있다.

시선 트래킹 결과는 초당 120회 정도로 산출될 수 있기 때문에, VR 시스템이 60 fps 내지 90 fps의 빈도로 이미지 프레임을 제공하는 것에 비해 더욱 빈번하게 시선 트래킹이 가능하다. 이에 따라 VR 시스템의 모든 프레임에 대응하는 시선 트래킹 결과 값 및 Ref_depth 산출이 가능하다. 도 16은 시선 트래킹(eye tracking)이 적용된 HMD의 사양의 예시를 나타낸 도면이다. 도 16의 예시에 따르면, 시선 트래킹 적용 HMD 인 Tobii Pro VR의 사양은 120 Hz의 빈도 및 0.5도의 오차로 사용자의 시선 트래킹이 가능한 것을 확인할 수 있다.

단계 4. 블러 강도 결정 (step 4 blur strength determination (for each pixel))

사용자 장치는 도 16의 Ref_depth에 기초하여 이미지의 각 픽셀의 깊이를 평가할 수 있다. 특정 픽셀의 깊이가 Ref_depth와 크게 다른 경우, 사용자의 시각적 관점에서 봤을 때 해당 특정 픽셀의 인지 거리와 초점에 대응하는 픽셀의 인지 거리에 큰 차이가 있음을 의미하며, 따라서 해당 특정 픽셀에 대한 강한 블러를 적용할 수 있다.

도 17은 이미지에 적용될 개념적 블러 강도(conceptual blur strength)를 나타낸 도면이다.

본 발명의 실시 예에 따르면, 깊이의 차이가 직접적으로(또는 선형적으로) 블러 강도에 반영되는 것이 아니며, 초점을 맞추기 위해 조절되는 수정체의 굴절률(굴절력 또는 디옵터) 의 차이가 반영될 수 있다. 구체적인 예시로써, 30cm 전방 객체를 응시한 후 10cm 전방 객체를 관찰하기 위해 사람이 조정하는 렌즈의 굴절률의 차이는 2m 전방 객체를 응시한 후에 1 미터 전방 객체를 관찰하기 위해 조정된 굴절률의 양보다 크다. 이에 따라 이미지의 각 픽셀에 대응하는 서로 다른 굴절률과 Ref_depth에 대응하는 굴절률의 차이에 기반하여 비선형적으로 블러 강도가 결정될 수도 있다.

도 18은 눈의 디옵터(diopter)와 초점 거리(focal distance 또는 object distance) 간 관계를 나타낸 도면이다.

도 18의 그래프는 특정 거리만큼 떨어진 곳이 위치한 객체에 초점을 맞추기 위한 수정체의 디옵터/굴절률을 나타낸다. 도 18에 따르면, Ref_depth에 대응하는 100cm의 거리(깊이)와 픽셀 x의 거리(깊이) 차이는 Ref_depth에 대응하는 100cm의 거리(깊이)와 픽셀 y의 거리(깊이) 차이와 동일하다. 하지만, 디옵터의 관점에서 살펴보았을 때 Ref_depth에 대응하는 굴절률과 픽셀 x에 대응하는 굴절률 사이의 차이가 Ref_depth에 대응하는 굴절률과 픽셀 y에 대응하는 굴절률 사이의 차이보다 큼을 확인할 수 있으며, 이에 따라 픽셀 x에 대하여 보다 강한 블러가 적용될 수 있다.

각 픽셀에 대한 블러의 강도는 사람이 각 픽실에 대응하는 깊이에 대해 조정하는 수정체의 디옵터에 기초하여 결정될 수 있다.

사람의 눈의 직경(수정체에서 망막까지의 거리)이 2.5cm 인 경우, 사람이 1 미터 거리에 위치한 객체를 주시하는 경우의 디옵터는 다음과 같이 산출될 수 있다. 우선, 눈이 이완되면 무한대 거리에 초점을 맞추게 되며 이때 디옵터는 40dpt이다. 아래의 수식에서 이미지 거리는 광학에서 렌즈에 의해 상이 맺히는 위치를 의미하고, 안구에서 렌즈에 해당하는 수정체와 상이 맺히는 망막까지의 거리인 2.5cm가 적용된다(1 / 0.025 + 1 / ∞ = 40dpt).

수정체 디옵터 = 1 / (이미지 거리 (m)) + 1 / (객체 거리 (m))

이후, 사용자는 선명한 이미지를 얻기 위해 눈의 이미지 거리를 2.5cm로 조정하므로

수정체 디옵터 = 1 / 0.025 + 1 / 1 = 41dpt (디옵터)

가 되어 41dpt로 변경된다. 위의 수정체 디옵터 수식에서 볼 수 있듯이 사용자가 멀리 떨어진 대상에 대한 초점을 맞추는 경우 상대적으로 디옵터의 변화가 작음을 확인할 수 있다. 사람이 근거리의 대상에 대하여 초점을 맞추는 경우 수정체의 디옵터가 증가되어야 하는데, 이러한 디옵터의 변화를 디옵터 조정(accommodation)이라고 한다. 상기의 수식에서, '거리'는 깊이 맵의 '깊이'에 대응하는 값일 수 있다.

도 19는 사람의 디옵터 조절(accommodation) 정도를 나이에 따른 표준 곡선 그래프로 도시(Duane's standard curve)한 것이다. 도 19에서 곡선 A는 최저 값, B는 평균 값, C는 최고 값을 의미한다. 사람은 나이가 들어감에 따라 디옵터 조정 능력이 감소하며, 조정 가능한 디옵터의 최대 값이 낮아져서 가까운 객체에 초점을 맞추기 힘들어진다. 어떤 사람의 디옵터 조정이 10dpt인 경우 이 사람은 수정체를 40dpt에서 50dpt까지 제어할 수 있다. 즉, 이 사람은 10cm에서 무한대 (40 dpt = 40 + 1 / ∞50 dpt = 40 + 1 / 0.1)까지 초점을 맞출 수 있다는 의미이다.

본 발명의 바람직한 실시 예에 따른 처리 기법은 ref_depth에 대응하는 디옵터 ref_diopter에 기반하여, 각 픽셀에 대응하는 디옵터와 상기 ref_diopter 간의 차이에 기반하여 각 픽셀의 블러 강도를 결정할 수 있다.

사용자가 초점을 맞추고 있는 지점의 거리보다 가까운 곳에 위치한 객체는 수정체의 굴절률(디옵터)이 낮아서 선명하게 보이지 않을 수 있다. 상기 가까운 곳에 위치한 객체에 대한 블러 강도는 전술한 수식에 가까운 곳에 위치한 객체까지의 거리, 사용자가 초점을 맞추고 있는 거리를 적용함으로써 산출되는 디옵터에 기반하여 결정될 수 있다. 또는 블러 강도는 상기 객체와 관련된 디포커스(defocus) 디옵터(초점 거리의 역수와 객체까지의 거리의 역수의 차이의 절대값)에 비례할 수 있다.

사람이 초점을 맞추고 있는 거리보다 먼 곳에 위치한 객체는 수정체의 굴절률이 높아 선명하게 보이지 않을 수 있다. 이 경우에도 전술한 방식으로 상기 먼 곳에 위치한 객체에 대응하는 픽셀에 대한 블러 강도를 결정할 수 있다. 사용자가 초점을 맞추고 있는 지점으로부터 동일한 거리(깊이)만큼 떨어진 곳에 위치하는 서로 다른 두 객체의 경우, 사용자로부터 보다 먼 곳에 위치한 객체에 대한 블러 강도가 가까운 곳에 위치한 객체에 대한 블러 강도보다 낮을 수 있다.

도 20은 사용자가 4m 떨어진 객체에 초점을 맞출 때 1.33m 또는 6.66m 떨어진 곳에 위치한 객체에 대한 블러 강도를 계산하는 예시를 나타낸다.

블러 강도를 결정하는 또 다른 요소는 동공의 크기이다. 동일한 디옵터 조건이라도 동공이 클 경우 더 강한 블러가 발생할 수 있다.

동공의 크기와 관련하여, 사각적 범위에서 블러 효과가 적용될 수 있는 각도를 계산할 수 있다.

블러 [mrad] = 동공 크기 (mm) x 디포커스 (dpt)

따라서, 사용자의 동공 크기가 8mm이고 초점 거리가 4m인 경우, 1.33m 및 6.66m 떨어진 객체에 적용되는 블러 강도는 도 20에 도시된 방식과 같이 계산될 수 있다. 여기서, 밀리 라디안 (mrad)은 각도 측정 단위로써, 이는 라디안의 천분의 일로 정의되므로 0.057도 (1 rad = 57.296도)에 해당한다.

도 21은 이상적인 블러 강도의 영향을 나타낸 도면으로, 도 20의 1.33m 및 6.66m에 위치한 객체에 대한 블러 효과가 적용될 수 있는 각도를 나타낸다.

본 발명을 실시하는 방식에 따라서, VR 경험 동안 문제없이 동공의 수축 및 팽창이 사용자에 의해 수행되기 때문에, 블러 강도를 결정할 때 동공의 크기를 고려하지 않을 수도 있다.

5 단계. 후처리 (step 5 post processing (blurring))

후처리는 컨텐츠 서버에서 수신한 이미지를 흐리게 처리하는 작업이다. 전술한 과정에 따라 산출된 블러 강도에 기초하여 블러 효과를 생성하는데 사용할 필터(블러 효과 필터 또는 블러링 필터) 크기를 결정할 수 있다. 이미지에 특정 강도의 블러 효과를 적용하려면 적절한 크기의 블러 효과 필터를 선택할 필요가 있다.

필터 크기 (픽셀) = (블러 강도 (도)) / (단일 픽셀의 각도(representation angle) (도))

일반적인 HMD 디스플레이의 픽셀 당 각도는 약 0.1도에 해당하나, 본 발명의 실시 예는 이에 한정되지 않는다. 전술한 도 20의 1.33m 거리 객체 예시에서 0.228도의 블러 강도를 위해 블러 효과 필터의 크기를 계산하는 상황을 가정해보자. 예를 들어, 위의 1.33m 거리의 경우, 필터 크기는 (0.228도) / (0.1도) = 2.228픽셀로 계산될 수 있다. 이 경우, VR 시스템은 구현하는 방식에 따라서 2x2 또는 3x3 블러 효과 필터가 선택될 수 있다. 도 22는 블러 효과를 구현하기 위한 예시를 나타낸 도면으로, 특히 도 22에서는 3x3 블러 효과 필터를 통해 블러 효과를 구현하는 예시를 나타낸 것이나 본 발명은 이에 한정되지 않는다.

도 20의 예시에서 6.66m 거리의 객체의 경우 시스템의 해상도 제한(픽셀 당 0.1도)으로 표현할 수 없으므로 해당 픽셀에 대한 블러 효과 처리가 생략될 수도 있다.

후처리를 수행할 때 다음의 규칙이 고려될 수 있다.

우선, 뒤에 있는 객체(rear object)의 블러는 앞에 있는 객체(front object)에 영향을 미치지 않아야 한다. 기본적으로 블러는 모든 방향에 대하여 발생하지만, 뒤에 있는 객체의 흐린 이미지는 앞에 있는 객체에 겹쳐서 나타나지 않는다. 이 때문에 주변의 객체의 가장자리에 초점을 맞출 때 배경 객체의 블러에 영향을 받지 않는다. 따라서 블러가 영향을 미치는 주변의 영역을 결정할 때는 각 픽셀의 깊이 정보를 사용하여 거리 관계를 고려해야 한다.

도 23은 후처리(블러)가 적용된 이미지의 예시를 나타낸 도면이다.

도 23의 이미지의 예시에서, 좌측 부분의 깊이가 갑자기 변한 영역에 더 강한 블러가 추가되었고, 블러의 영향이 근방에서 먼 방향으로 적용되었다. 또한, 사용자의 초점 거리에 있는 객체는 블러가 적용/생성되지 않았다.

도 24는 본 발명의 실시 예에 따른 동작 알고리즘 및 새로운 이미지 생성 방법을 나타낸 도면이다. 본 발명의 실시 예에 따른 처리 기법이 VR 컨텐츠/영상의 각 프레임에 대해 작동하는 알고리즘이 도 24에 도시되어 있다. 도 24에 따르면, 먼저, 사용자의 초점 위치(x', y')를 파악하고, 초점 위치에 대응하는 깊이로부터 디옵터 값(Ref_diopter)을 산출할 수 있으며 다른 위치(픽셀)의 디옵터와 비교될 수 있다.

픽셀 (x, y)의 깊이 값이 사용자의 초점 위치에 따른 깊이 값과 다른 경우, 해당 픽셀의 깊이에 대응하는 디옵터는 Ref_diopter와 상이하게 산출될 수 있다. 상기 디옵터의 차이는 해당 픽셀에 적용할 블러 강도를 결정하는데 활용될 수 있다.

픽셀 (x, y)에 적용될 블러 효과 필터의 크기가 결정되면 원래 이미지의 픽셀 (x, y)에 블러 효과 필터를 적용하고, 블러 효과가 적용된 픽셀 (x, y)의 새 픽셀을 생성할 수 있다. 도 25는 초점으로부터의 거리의 차이를 고려하여 블러 효과가 적용된 이미지의 예시를 나타낸다. 도 25의 이미지는 1536x2048 픽셀(96 dpi) 크기의 이미지이다.

블러 효과 필터는 가우시안 필터 또는 기타 저역 통과 필터를 통해 구현될 수 있으나 본 발명의 실시 예는 이에 한정되지 않는다. 마스크는 깊이의 차이(대상 픽셀의 깊이와 사용자의 초점이 위치하는 픽셀의 깊이의 차이)에 의해 결정될 수 있다.

본 발명의 실시 예에 따르면, 사용자의 초점 위치에 대응하는 픽셀의 깊이와 다른 픽셀의 깊이 사이의 차이에 기초하여 블러를 적용하며 이에 따라 자연스러운 포커싱 아웃(focusing out) 효과가 생성될 수 있다.

이하의 내용에서는 본 발명의 다른 실시 예에 따른 이미지 처리 기법을 설명한다.

본 발명의 실시 예에 따른 이미지 처리 기법은 기존의 포비티드 렌더링 대비 사용자의 초점의 위치(픽셀)에 대응하는 깊이 및 디옵터를 이용하여 블러 효과를 적용하기 때문에 동적 포비티드 렌더링(dynamic foveated rendering)으로 명명될 수 있으며, 이하에서 다양한 VR 애플리케이션 시나리오에 적용할 수 있는 동적 포비티드 렌더링 기법에 대하여 설명한다.

전술한 실시 예에서는 클라이언트측에서 동적 포비티드 렌더링을 수행하고 있으며, 이와는 달리 VR 컨텐츠 서버에서 동적 포비티드 렌더링이 수행될 수 있다.

이 방식에 따르면, VR 컨텐츠 서버는 렌더링 단계에서 사용자의 시선 트래킹 정보를 직접 사용할 수 있다. 렌더링 단계에서, 각 객체까지의 거리를 고려하여 블러가 발생하므로 (저해상도), 사용자 장치에 별도의 깊이 정보를 제공할 필요가 없다. 이 접근 방식은 VR 서버와 HMD가 로컬로 연결되어 있고 HMD에 비디오 처리 기능이 없는 VR 응용 시나리오에 유용하다.

이러한 방식은 앞서 설명한 방식과 비교하여 다음이 내역들이 가능하다.

1) (동적) 포비티드 렌더링이 VR 컨텐츠 서버 측에서 수행됨

2) 오버헤드를 줄이기 위해 사용자의 초점 주변 영역만 동적으로 렌더링 됨

3) 블러 효과를 생성하기 위해 동적 해상도 조정 방법이 적용될 수 있음

도 26은 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 나타낸 도면이다.

1 단계. 눈 위치 피드백 (step 1 eye position feedback)

시선 트래킹을 이용하는 포비티드 렌더링에서는 사용자의 시선 트래킹 정보(또는 시선의 위치 정보)가 필요하므로 HMD에서 감지된 사용자의 시선 트래킹 정보(또는 시선의 위치 정보)가 컨텐츠 서버로 피드백될 수 있다.

2 단계. 고해상도 영역 결정 (step 2 high-resolution region determination)

기존의 포비티드 렌더링은 시선 트래킹을 통해 산출된 사용자의 관심 영역 (이미지의 특정 영역 또는 백분율(이미지 면적의 특정 퍼센트)) 또는 주시/초점 영역에 높은 해상도를 적용한다. 반면에, 본 발명의 실시 예에 따른 처리 기법은 사용자의 망막의 중심와(fovea)에 상이 맺히는 이미지의 영역(또는 시야에 포함되는 영역)이라도 사용자의 초점 거리와 다른 부분은 더 낮은 해상도로 렌더링 될 수 있다. 결과적으로, 본 발명의 실시 예에 따른 처리 기법은 훨씬 적은 컴퓨팅 파워를 소비하면서 사용자의 중심와에 비춰지는 이미지(또는 시야) 내에서 자연스러운 블러를 생성함으로써 사용자에게 인식되는 이미지의 품질을 향상시킬 수 있다.

도 27은 기존의 고정 포비티드 렌더링(foveated rendering)에서의 고해상도 영역과 본 발명의 실시 예에 따른 이미지 처리 방법에서의 고해상도 영역을 나타낸 도면이다.

본 발명의 실시 예에 따른 처리 기법을 사용하는 시스템은 사용자가 주시하는 영역(또는 관심 영역)내에서 사용자의 초점 거리와 일치하는 거리를 가진 픽셀에 대하여 고해상도로 출력될 수 있도록 이미지를 구성할 수 있다.

3 단계. 렌더링 (step 3 rendering)

본 발명의 실시 예에 따른 처리 기법을 사용하는 VR 시스템은 각 영역에 대해 다른 해상도를 적용하는 렌더링을 수행할 수 있다. 해상도가 낮은 영역의 픽셀은 높은 확률로 렌더링에서 제외될 수도 있다.

도 28은 본 발명의 실시 예에 따른 해상도(resolution)를 조정하는 방식의 예시를 나타낸 도면이다.

렌더링에서 제외할 픽셀을 선택함으로써 해상도를 조정 또는 재구성하는 다양한 방법이 고려될 수 있다. 도 28은 어떤 영역에 특정 해상도를 적용하기 위해 프레임에서 렌더링 대상 픽셀을 결정하는 예를 보여준다(예를 들어, 바둑판 렌더링 기법). 이때, 해상도가 같은 영역은 균일한 분포로 렌더링될 수 있다.

도 29는 사용자의 초점 주변의 깊이 맵을 나타낸 도면이다.

도 29에서 확인할 수 있듯이 사용자가 초점을 맞추고 있는 영역 내에서 실질적으로 사용자의 초점에 대응하는 픽셀의 깊이와 다른 깊이를 가지는 픽셀들이 다수 존재할 수 있다. 본 발명의 실시 예에 따른 처리 기법은 초점에 대응하는 픽셀의 깊이와 다른 픽셀의 깊이 차이를 고려하여 렌더링 해상도를 조정할 수 있다.

깊이 차이로 인한 해상도 조정량(또는 조정 정도)은 전술한 공식과 유사한 방식으로 결정될 수 있다. 예를 들어, 도 29의 각 막대 그래프는 사용자의 초점에 대응하는 픽셀의 깊이와 각 픽셀의 깊이 간 차이를 나타내는 깊이 바 그래프(depth par graph)로써, 그래프에서 색상이 밝아질수록 사용자의 초점에 대응하는 픽셀과 동일/유사한 깊이를 가지고 색상이 어두워질수록 사용자의 초점에 대응하는 픽셀과 상이한 깊이를 가지는 것으로 나타낼 수 있다. 이에 따라, 각 픽셀의 해상도는 깊이 바 그래프를 통해 나타나는 색상의 밝기에 비례하여 해상도를 결정할 수 있다. 즉, 사용자의 초점에 대응하는 픽셀과 동일한 깊이를 가지는 픽셀은 고해상도로 출력되고 사용자의 초점에 대응하는 픽셀의 깊이와 깊이 값의 차이가 상이할수록 해당 픽셀은 저해상도로 출력될 수 있음을 의미한다. 이에 따른 결과는 도 30을 통해 확인 할 수 있으며, 도 30은 깊이 차이에 따라 조정된 각 영역의 렌더링 해상도를 나타낸 도면이다.

한편, 전술한 방식에 따르면 저해상도가 적용되는 영역의 일부 픽셀에는 데이터가 없으므로 주변 픽셀의 데이터를 사용하여 픽셀이 재구성될 때 블러가 발생할 수 있다. 재구성 방법 중의 하나로 고정된 가중치를 사용하여 주변 픽셀 데이터를 구성함으로써 빈 픽셀의 데이터를 생성하는 방식이 고려될 수 있으나 본 발명의 실시 예는 이에 한정되지 않는다. 도 31은 재구성 필터(reconstruction filter)의 예시를 나타낸 도면이다.

도 32는 기존의 포비티드 렌더링의 처리 결과에 따른 이미지와 본 발명의 실시 예에 따른 이미지 처리 방법을 통해 처리한 이미지를 나타낸 도면이다.

본 발명의 실시 예에 따른 처리 기법은 기존의 포비티드 렌더링이 고해상도를 적용하는 지역에서도 사용자의 포커싱 포인트에 기초한 포커스 아웃 효과를 고려하여 저해상도를 적용할 수 있다. 결과적으로 본 발명의 실시 예에 따른 처리 기법은 자연스러운 이미지를 제공 할뿐만 아니라 고해상도를 사용하여 렌더링 해야 하는 픽셀 수를 줄여 컴퓨팅 오버 헤드를 줄일 수 있다.

본 발명의 실시 예에 따른 처리 기법은 기존의 포비티드 렌더링 또는 FOVE와 같은 기존 처리 기법과는 다른 고유한 특징을 갖는다. VR 이미지에 대하여 본 발명의 실시 예에 따른 처리 기법이 활용되었는지 여부를 증거로써 확인할 수 있다.

도 33은 기존의 포비티드 렌더링에 따른 VR 이미지(또는 서비스 프레임)와 본 발명의 실시 예에 따른 이미지 처리 방법을 통해 처리한 VR 이미지(또는 서비스 프레임)의 차이를 나타낸 도면이다.

기존의 포비티드 렌더링은 동일한 해상도를 사용하여 사용자가 주시하는 영역(또는 중심와에 상이 맺히는 이미지의 영역)을 렌더링한다. 한편, 본 발명의 실시 예에 따른 처리 기법은 사용자의 사용자가 주시하는 영역(또는 중심와에 상이 맺히는 이미지의 영역) 내에서도 깊이(거리)의 차이에 따라 블러 효과를 적용할 수 있다. 따라서 사용자가 주시하는 영역 내에서 서로 다른 해상도를 포함하는 이미지가 존재하는 경우 본 발명의 실시 예에 따른 처리 기법이 사용되고 있는 것으로 유추할 수 있다.

도 34는 기존의 포비티드 렌더링(예를 들어, FOVE)의 VR 이미지와 본 발명의 실시 예에 따른 이미지 처리 방법을 통해 처리한 VR 이미지의 또 다른 차이를 나타낸 도면이다.

기존의 FOVE의 처리 기법은 사용자가 초점을 맞추고 있는 객체의 전체가 동일한 해상도로 렌더링 된다. 또한, 초점이 맞지 않은 객체의 블러 강도가 객체 별로 고정된다. 한편, 본 발명의 실시 예에 따른 처리 기법은 객체 단위가 아닌 각 픽셀에 대한 블러 강도를 제어하므로, 단일 객체에 다양한 블러 강도를 적용 할 수 있다.

Claims (1)

1. 시선 트래킹에 의해 검출된 사용자의 초점 거리에 기초하여 이미지에 블러 효과를 적용하는 방법.

Images