KR20190043590A

KR20190043590A - 가상 광선 추적 방법 및 라이트 필드 동적 리포커싱 디스플레이 시스템

Info

Publication number: KR20190043590A
Application number: KR1020197009180A
Authority: KR
Inventors: 치밍 위; 쉬안 차오
Original assignee: 플렉스-브이알 디지털 테크놀로지 (상하이) 씨오., 엘티디.
Priority date: 2017-03-09
Filing date: 2018-03-06
Publication date: 2019-04-26
Also published as: JP6862569B2; KR102219624B1; JP2020504984A; WO2018161883A1; CN107452031A; US20200057492A1; US10852821B2; CN107452031B

Abstract

본 발명은 가상 광선 추적 방법 및 라이트 필드 동적 리포커싱 디스플레이 시스템에 관한 것으로, 상기 가상 광선 추적 방법은 광선 정보 수집，즉 풀 포커스 이미지 상의 픽셀을 랜덤으로 검색함으로써 광선 샘플링 수를 감소시키는 단계; 및/또는 물체의 표면이 매끄러운 것으로 가정하여 교점 검색을 간소화하는 단계를 포함하고, 상기 가상 현실 라이트 필드 동적 리포커싱 디스플레이 시스템은 가상 현실 디스플레이 콘텐츠 프로세서, 가상 현실 디스플레이, 안구 추적기, 안구 추적 정보 프로세서 및 라이트 필드 리포커싱 프로세서를 포함한다. 본 발명은 계산 복잡도를 감소시키고，오류 샘플링을 자체적으로 교체할 수 있으므로 진실되고 정확한 리포커싱을 얻을 수 있으며, 사람의 눈이 주시 방향에 따라 동적으로 리포커싱이 가능하므로 사용자가 멀거나 가까운 서로 다른 거리의 물체를 포커싱할 수 있어 인체의 육안관찰 특성에 부합한다.

Description

가상 광선 추적 방법 및 라이트 필드 동적 리포커싱 디스플레이 시스템

본 발명은 이미지 렌더링(rendering) 기술 분야에 관한 것으로, 구체적으로는 가상 광선 추적 방법 및 라이트 필드 동적 리포커싱 디스플레이 시스템에 관한 것이다.

광선 추적 알고리즘은 1980년대에 제안된 사실적 그래픽 생성 방법으로서, 고품질의 사실적 그래픽을 생성할 수 있으며, 현재 3차원 사실적 그래픽에 일반적으로 사용되는 알고리즘 중의 하나이다. 광선 추적 알고리즘은 실제로 광 조명 물리적 과정의 근사적 역과정으로서, 물체 간의 거울 반사 광선과 정투과(regular transmission)를 추적하여 이상적인 표면의 빛의 전파를 시뮬레이션할 수 있다.

도 1a를 참조하면, 도 1a는 미세 홀의 이미지와 깊이 맵의 광선 추적 방법을 도시한 것으로서, 장면의 깊이 범위가 [z₀, z₁](z₁＞z₀＞0)이라고 가정하면, 여기서 z₁은 무한대로 클 수 있고, 감광 시트로부터 핀 홀까지의 거리는 s이다.

도 1b를 참조하면, 피사계 심도 효과를 렌더링할 경우, 가상의 얇은 렌즈를 핀 홀의 위치에 두어 가상의 얇은 렌즈의 초점 거리를 f로 가정하면, f는

을 만족하고, 즉 가장 먼 평면 z₁이 감광 시트 상에 포커싱된다. 나아가, 렌즈의 직경을 R로 가정한다. 이러한 가상 이미징 시스템에서 평면 z∈[z₀，z₁] 내의 점은 감광 시트에서 흐릿한 영상을 형성하고, 그 착란원(circle of confusion)의 크기는 다음과 같다.

　 (2)

식 (2)에 따르면, 평면 z₀ 상의 점이 감광 시트에 형성한 착란원 반경은 최대로

이고, 동시에 착란원 반경의 크기는 또한 광선 원뿔(도 1b에서 제일 큰 원뿔)과 평면 z₀의 원형 교차면에 따라 결정된다. 도 1b를 참조하면, 유사한 삼각형 변환 관계에 따라, 교차면의 반경은

또는

이다. 상기 시스템의 설정에 기초하여, 감광 시트의 위치 s_f를 동적으로 조정하여 평면 z_f상에 포커싱된 이미지를 렌더링할 수 있는데, 여기서, z_f는1/s_f+1/z_f＝1/f를 만족한다. 도 1c에 도시된 바와 같이, 픽셀 인덱스 원본 이미지를 사용하여, 중심 광선의 광 원추 인덱스를 산출한다. 이렇게 하여 렌더링된 이미지와 원본 이미지가 동일한 해상도를 가진다는 것을 보장할 수 있고, 또한 동일한 픽셀 위치가 공간에서 동일한 위치에 대응하는 것을 보장할 수 있다.

최종 이미징 결과에서, 각 픽셀(p)의 최종 색상은 광원뿔(light cone) 내의 모든 광선을 통합하여 얻는다. 종래의 광선 추적 알고리즘에서는, 각 광선을 장면까지 추적해야 한다. 그러나, 이미지 공간에서의 광선 추적 알고리즘은, 하나의 광선을 장면까지 추적하고, 장면에서의 3차원 좌표에 따라 원본 이미지까지 역추적한다. 럼블슨 가설에 기반하여, 픽셀 색상을 역추적되어온 광선 색상으로 직접 사용할 수 있다.

광선의 색상을 결정하기 위하여, 광선과 공간에서의 물체의 교점에 대한 위치 결정은 필수적이다. 라이트 필드에 기반한 알고리즘에서, 광선 추적은 주로 전방 굴곡에 의해 얻어지고, 중심 뷰의 경우, 그 깊이 맵을 사용하여 주변 라이트 필드 뷰를 절곡시킨다. 이 방법이 적용 가능하기 위한 전제는, 광선을 밀집되게 샘플링해야 한다는 것이다. 다른 한편으로, 이미지를 렌더링할 때마다 대량의 가상 앵글을 생성해야 하므로, 알고리즘의 복잡도가 매우 높다. 따라서, 광선 추적 리포커싱의 계산 복잡도를 감소시킬 필요가 있다.

그밖에, 광선 추적 계산 방법의 구체적인 응용으로서, 기존의 가상 현실 장치는 풀 포커싱 이미지나 풀 포커싱 가상 현실 장면 및 체험자의 머리가 위치한 방향의 콘텐츠만 디스플레이할 수 있을 뿐, 사람의 눈 이미징 원리에 부합하는 체험 콘텐츠 및 사람의 눈의 관심 영역의 콘텐츠를 제공할 수 없으므로, 사람의 눈의 주시 방향에 따른 콘텐츠 디스플레이 및 리포커싱이 완전히 구현될 수 없다. 도 13을 참조하면, 사람의 눈(310)의 섬모체근(ciliary muscle)은 이완 및 수축할 수 있어서, 사람의 눈(310)은 멀거나 가까운 서로 다른 거리의 물체에 포커싱할 수 있고, 상이한 반경의 구면에 포커싱할 수 있도록 선택할 수 있으며, 먼 곳(즉, 반경이 비교적 큰 구면(320))으로 포커싱할 경우 섬모체근은 이완되고, 가까운 곳(즉, 반경이 비교적 작은 구면(340, 330) 상)으로 포커싱할 경우 섬모체근은 팽팽해진다. 그러나 기존의 가상 현실 장치는 효과적인 데이터 처리 방법이 부족하여, 사람의 눈(310)이 풀 포커싱 이미지 또는 고정 포커싱 평면 이미지, 도 12에 도시된 고정 포커싱 이미지만 볼 수 있을 뿐, 리포커싱이 불가능하다. 이는 3차원 세계를 보는 사람의 눈(310)의 시각 특성에 맞지 않아, 가상 현실 콘텐츠를 보는 사람의 눈(310)의 시각 체험을 저하시킨다. 따라서, 계산 복잡도를 간소화하는 것 외에도, 사람의 주시 방향에 따라 동적으로 포커싱하여 다수의 고정 포커싱 면을 볼 수 있는 가상 현실 디스플레이 시스템의 개발이 절실히 필요하다.

본 발명은 종래의 문제를 해결하기 위한 것으로, 가상 광선 추적 방법 및 라이트 필드 동적 리포커싱 디스플레이 시스템을 제공하는 것을 목적으로 한다.

본 발명에 적용된 기술적 해결수단은, 풀 포커스(full focus) 이미지 및 그 깊이 정보를 획득하는 단계; 광선 정보 수집，즉 풀 포커스 이미지 상의 픽셀을 랜덤으로 검색함으로써 광선 샘플링 수를 감소시키는 단계; 및/또는 물체의 표면이 매끄러운 것으로 가정하여 교점 검색을 간소화하는 단계; 및 상기 광선 정보에 기초하여 색 융합을 수행하여, 최종 디스플레이 결과를 획득하는 단계를 포함한다.

여기서, 광선은 진동 샘플링을 통해 수집되고, 즉 조리개를 복수의 등분 영역으로 구획한 후, 각각의 상기 등분 영역 내에서 하나의 픽셀을 수집한다.

여기서, 상기 교점 검색을 간소화하는 단계는,

와 고정된 d _q 에 근거하여 l _pq 를 직접 계산하고, 반경 r 내의 광선을 샘플링하며, 하나의

을 l _pq0 픽셀의 오프셋으로서 초기화시키고,

픽셀의 변위가

와 동일한 경우 교점 위치를 결정할 수 있으며, 그렇지 않은 경우 상기

픽셀의 변위를

로 설정하고, 계속하여 다음 단계를 반복하다가, 결과가

을 만족하면 정지하며, 반복 종료 시의 픽셀 색상을 반환(return)한다.

본 발명에 적용된 기술적 해결수단은 또한 가상 현실 디스플레이 콘텐츠 프로세서, 가상 현실 디스플레이, 안구 회전 방향을 획득할 수 있는 안구 추적기, 안구 추적 정보 프로세서 및 라이트 필드 동적 리포커싱 처리 기능을 구비한 라이트 필드 리포커싱 프로세서를 포함하고, 가상 현실 디스플레이 콘텐츠 프로세서는 디스플레이 콘텐츠를 획득하며, 데이터 케이블을 통해 가상 현실 디스플레이, 안구 추적기, 안구 추적 정보 프로세서 및 라이트 필드 리포커싱 프로세서와 순차적으로 연결되는데, 여기서, 가상 현실 디스플레이는 좌우 눈에 대응되는 촬상 디스플레이 스크린, 줌 기능을 갖는 광학 렌즈 및 동일 위치 결정 센서를 포함하고, 가상 현실 디스플레이 콘텐츠 프로세서에 의해 처리된 양안 입체 이미지를 디스플레이하는 가상 현실 라이트 필드 동적 리포커싱 디스플레이 시스템을 제공한다.

여기서, 상기 가상 현실 디스플레이에서, 광학 렌즈의 가장자리에 마이크로 LED 램프가 설치되고, 광학 렌즈의 상부에는 사람의 눈 이미지를 수집하는 카메라가 설치된다.

종래 기술과 비교하면, 본 발명은 랜덤 검색을 통해 광선 정보에 대한 샘플링을 감소시키고 교점 검색 과정을 간소화하여, 계산 복잡도를 감소시키며, 오류 샘플링을 자체적으로 교체할 수 있으므로, 진실되고 정확한 리포커싱을 얻으며, 가상 현실 라이트 필드 동적 리포커싱 디스플레이 시스템은 사람의 눈의 주시 방향에 따라 동적으로 리포커싱이 가능하므로, 사용자로 하여금 멀거나 가까운 서로 다른 거리의 물체를 포커싱하게 할 수 있어, 인체의 육안관찰 특성에 부합된다.

도 1a는 미세홀 이미징 원리의 설명도이다.
도 1b는 가상의 얇은 렌즈가 설치된 이미징 방법의 설명도이다.
도 1c는 이미지 공간의 광 이미지 추적의 설명도이다.
도 1d는 본 발명의 가상 광선 추적 방법의 설명도이다.
도 2는 광선 진동 샘플링의 설명도이다.
도 3a, 도 3b는 광선 오류 샘플링 분석의 설명도이다.
도 4a는 감마(gamma) 2.2 곡선과 경사도이다.
도4b는 색조 맵핑 보정 이미지 휘도의 설명도이다.
도 5는 본 발명의 실시예에서 상이한 색상 융합 방법의 효과 설명도이다.
도 6은 렌더링 효과의 비교 설명도이다.
도 7은 디지털 싱글 렌즈 반사(DSLR) 카메라와 라이트로(Lytro) 카메라의 피사계 심도 효과도의 비교도이다.
도 8은 본 발명의 실시예에 따른 렌더링의 특정 포커싱 효과도이다.
도 9는 가상 현실 라이트 필드 동적 리포커싱 디스플레이 시스템의 구조 설명도이다.
도 10은 가상 현실 헬멧의 구조 설명도이다.
도 11은 가상 현실 디스플레이의 구조 설명도이다.
도 12는 단일 고정 포커싱 면의 설명도이다.
도 13은 다중 고정 포커싱 면의 설명도이다.
도면을 참조하면, 도면 부호는 가상 현실 디스플레이 콘텐츠 프로세서(100), 가상 현실 디스플레이(200), 안구 추적기(110), 안구 방향 정보 프로세서(120), 라이트 필드 리포커싱 프로세서(130), 카메라(1101), 마이크로 LED 램프(1102), 광학 렌즈(2201), 사람의 눈(310), 촬상 디스플레이 스크린(2101), 사람의 눈 영역 이미지(2202), 왼쪽 눈 이미지(5101)，오른쪽 눈 이미지(5102)를 표시한다.

아래 첨부된 도면을 결부하여 본 발명을 추가로 설명한다.

본 실시예는 풀 포커스 사진 한 장만으로 그 대응되는 깊이 맵과 동일한 효과를 얻을 수 있어, 계산이 크게 간소화된다는 점에서, 종래의 광선 추적 알고리즘과 상이하다. 하기에서는 사전 확률을 집계하는 랜덤 검색 알고리즘을 구현하여, 최종적으로 DSLR 카메라의 효과에 필적하는 효과를 생성할 수 있는 가상 광선 추적 방법에 대해 전반적으로 설명한다.

현실 세계에서 사람의 눈(310)은 3차원 세계를 볼 때, 상하 직근, 내외 직근과 상하 사근은 안구의 움직임을 제어할 수 있으므로, 사람의 눈(310)으로 하여금 상이한 방향의 장면이나 목표물을 볼 수 있도록 한다. 그러나 기존의 가상 현실 헬멧은 사람의 눈의 회전 방향을 위치 결정할 수 없으므로, 내장 또는 외부 센서를 통해 사람의 머리 회전 방향을 결정하여 사람의 눈(310)의 주시 방향을 판단할 수밖에 없으나, 사람의 눈(310)의 유연성으로 인해 사람의 눈(310)이 주시하는 방향이 머리 방향과 완전히 일치하는 것은 아니므로, 이로 인해 사람의 눈이 주시하는 방향에 대한 정보를 정확하게 얻을 수 없게 되어, 정확한 화면을 디스플레이할 수 없게 된다. 도 9 내지 도 11을 참조하면, 상기 문제점을 해결하기 위해, 본 발명의 실시에 사용되는 가상 현실 라이트 필드 동적 리포커싱 디스플레이 시스템은, 가상 현실 디스플레이 콘텐츠 프로세서(100), 가상 현실 디스플레이(200)(가상 현실 헬멧, 예컨대, HTC VIVE와 같은 종류의VR 헤드 디스플레이), 안구 회전 방향을 획득할 수 있는 안구 추적기(110), 안구 추적 정보 프로세서(120) 및 라이트 필드 동적 리포커싱 처리 기능을 구비한 라이트 필드 리포커싱 프로세서(130) 이 5개의 모듈을 주로 포함한다.

여기서, 가상 현실 디스플레이 콘텐츠 프로세서(100)는 주로 컴퓨터 시각 중의 카메라 이미징 원리에 따라 디스플레이 콘텐츠의 장면을 투영, 변환하여, 좌우 양안에 대해 서로 다른 두 가지 이미지를 얻으며, 이미지 간에 시차가 존재함으로써, 디스플레이된 이미지에 장면 입체 정보를 저장한다.

도 11, 도 10을 참조하면, 가상 현실 디스플레이(200)는 주로 사람의 눈에 대응되는 좌우 눈의 이미지 디스플레이(2101), 줌 기능을 갖는 광학 렌즈(2201) 및 자이로스코프 등 위치 결정 기능의 센서를 포함하여 구성되어, 가상 현실 디스플레이 콘텐츠 프로세서에 의해 처리된 양안의 입체 이미지를 디스플레이한다. 광학 렌즈(2201)의 가장자리에는 마이크로 LED 램프(1102)가 감싸지고, 광학 렌즈(2201)의 상부에는 사람의 눈의 이미지를 수집하는 카메라(1101)가 설치된다.

안구 회전 방향을 검출하는 안구 추적기(110)는 주로 가상 현실 장치에서 카메라(1101)에 의해 사람의 눈(310)의 회전 상황을 모니터링하고, 실시간으로 눈의 이미지를 수집하여, 안구 방향 정보 프로세서(120)에 전송한다.

안구 방향 정보 프로세서(120)는 주로 눈 움직임의 추적 기술에 의해 사람의 눈 영역 이미지(2202)에 근거하여 안구의 회전 방향 정보를 획득하여, O_eye, 즉, 현재 체험자가 관심을 가지는 방향으로 기록한다.

사람의 눈(310)의 관람 방향 정보를 획득한 후, 방향 정보에 따라 사람의 눈의 시선과 디스플레이 시스템 내부 전시 콘텐츠(즉, 전시된 이미지)의 교점 위치 P를 결정하고, 나아가 P의 위치를 통해 그가 위치한 장면의 깊이 정보, 즉 포커싱 평면 위치를 알 수 있다. 다음으로, 가상 광선 추적 알고리즘을 사용하여 사람의 눈 관심 영역 또는 관심 평면의 리포커싱 이미징 결과를 계산하고, 비 관심 영역에 대해서는 흐릿하게 처리하여, 현실 세계에서 사람의 눈의 시각적 효과에 도달하되, 이 부분의 작업은 주로 가장 마지막의 라이트 필드 리포커싱 프로세서(130)에서 완성된다.

라이트 필드 리포커싱 프로세서(130)에서 처리된 디스플레이 콘텐츠를 획득한 후, 디스플레이 콘텐츠를 가상 현실 디스플레이 콘텐츠 프로세서(100)에 전송시켜 처리를 거쳐, 장면의 양안의 입체 이미지를 획득함으로써, 최종의 가상 현실 라이트 필드 동적 리포커싱 디스플레이를 구현한다.

본 실시예의 장치 부분은 사람의 눈(310)의 회전 방향 정보를 검출하여 사람의 눈(310)의 관심 영역에 따라 디스플레이 콘텐츠에 대해 라이트 필드 동적 리포커싱 처리가 가능하므로, 디스플레이된 콘텐츠가 사람의 눈의 관람 원리에 적응할 수 있도록 하여, 체험자가 체험 시 보다 우수한 체험을 얻을 수 있다.

본 실시예는 상기 장치에 기반하며, 방법 부분은, 풀 포커스 이미지 및 그 깊이 정보를 획득하는 단계; 광선 정보 수집，즉 풀 포커스 이미지 상의 픽셀을 랜덤으로 검색함으로써 광선 샘플링 수를 감소시키는 단계; 및/또는 물체의 표면이 매끄러운 것으로 가정하여 교점 검색을 간소화하는 단계; 및 상기 광선 정보에 기초하여 색 융합을 수행하여, 최종 디스플레이 결과를 획득하는 단계를 주로 포함한다.

일반적으로 상기 작업에서, 각각의 광선 방향의 이산 깊이 z가 공간 내의 점에 대응되는지 여부를 결정하기 위해, 광선 방향을 따라 이산되게 교점을 결정할 수 있고, 만약 점이 존재하면, 이 점을 역방향으로 이미지에 투영하고, 그 픽셀 깊이를 z₀로 결정한다. 광선이 얇은 렌즈 중심으로부터 r만큼 이격된 위치에서 “정지”된다고 가정하면, 이 광선의 방향에는 깊이가 z_Q∈(z₀，z₁)인 점 Q가 존재하며, 유사한 삼각형을 기준으로, Q는 얇은 렌즈의 축으로부터의 거리가

이다. 따라서, 이미지의 중심 픽셀이 p이고, 이미지에서의 Q의 투영점을 q로 가정하면, p, q의 거리는

이다.

장면의 깊이 범위는 [z₀，z₁]이고, 도 1d를 참조하면, 상이한 깊이의 광선 세그먼트는 라인 [q₀，q₁]에 투영되고, q₀, q₁은 각각 이미지 상의 Q₀, Q₁의 투영점이며, 그 깊이는 각각 z₀, z₁이다. 이미지의 광선 추적 알고리즘은 이미지에서 광선과 공간 내의 물체의 가장 가까운 교점에 대응되는 픽셀 q∈[q₀，q₁]를 찾아내야 한다. 가장 가까운 교점의 투영점이 q라고 가정하면, q는 아래 식을 만족한다.

(3)

여기서 z_q의 크기는 깊이 맵에서 추출할 수 있다.

위의 모든 분석은 깊이 정보를 기반으로 하여 수행된다. 이어서 깊이 정보를 이미지 픽셀의 오프셋으로 변환한다. 오프셋은 유사한 삼각형 관계

를 통해 [0,1]로 정규화시키되, 오프셋 0은 ∞의 깊이를 가리키고, 1은 가장 가까운 깊이를 가리킨다. 크기 K(＝sR)인 마스크를 사용한다고 가정하면, 식 (3)을 아래와 같이 간소화시킬 수 있다.

(4)

여기서

,

이다. 식 (4)의 좌우 양측은 모두 깊이 정보에 따라 산출될 수 있고, 이미지 공간의 광선 추적은 장면 3차원 모델의 재구축을 방지한다.

실제로, 이러한 계산 방법의 계산 복잡도는 O(NMK)이고, N은 입력 이미지의 픽셀 수이며, M은 마스크의 픽셀 개수(M과 조리개의 크기가 일치하게 유지됨, 다시 말해 K²에 정비례함)이고, K는 가장 가까운 교점 검출과 관련된다. 3차원 모델의 광선 추적 알고리즘과 달리, 이미지의 광선 추적 알고리즘에는 다음과 같은 두 가지 주요 문제점이 존재한다.

본 실시예에서는 컬러 이미지와 깊이 이미지를 2차원 평면 공간에 이산시킨다고 가정하므로, 식 (3)의 제약 조건을 만족하더라도, 광선이 공간 내의 물체와 교차한다고 보장할 수 없다. 이 문제를 감경하기 위해, 본 실시예는 제약 조건을 아래와 같이 완화시킨다.

(5)

다시 말하면, 하나의 픽셀보다 작다. 본 발명의 입력은 하나의 컬러 이미지뿐이므로, 장면 차단 영역의 콘텐츠(색상과 지오메트리(geometry))는 검출하지 못한다. 본 실시예의 해결 방법은, 표면(지오메트리와 무늬)은 얇은 렌즈 중심 대칭에 관한 것으로 가정하고, 또한 l _pq 가 차단된 것으로 가정하면, 본 실시예는 -l _pq 의 픽셀을 사용한다.

본 발명의 이미지 필드의 광선 추적은 종래의 기하학적 공간의 광선 추적과 유사하게 그 계산 복잡도가 높고, 특히, 리포커싱 응용에서 그 계산 복잡도가 높다. 위에서 M은 K²에 정비례하므로, 계산 복잡도는 반경의 확장에 따라 기하급수적으로 증가한다(O(NMK) ＝ O(NK³)). 큰 조리개는 계산 복잡도가 매우 높아, 실시간 렌더링 효과를 달성하기 어렵다.

광선 정보 수집 과정에서, 랜덤 샘플링 방식으로 광선 정보 샘플링을 감소시킴으로써, M을 대폭 줄일 수 있다. 도 2를 참조하면, 본 실시예는 하기와 같은 진동 샘플링 방법을 사용한다.

제1단계에서는 조리개를 모두 복수 개의 그리드로 분할한다.

제2단계에서는 각각의 그리드에서 하나의 픽셀을 랜덤으로 샘플링한다.

그리드의 사이즈가 원본 조리개 사이즈의

배라고 가정하면, 계산 복잡도는

로 감소된다.

그러나, 진동 랜덤 샘플링은 각 샘플링 포인트의 정확성을 보장하고, 샘플링의 희소성과 랜덤성은 장면 대비도가 높으며 색상이 풍부한 경우에 우수한 시각적 효과를 발생시킨다. 다만, 몇 가지 문제 또한 존재하는데, 우선, 각각의 그리드는 하나의 광선으로만 특정지어서는 안되고, 다음으로, 랜덤 샘플링은 샘플링된 광선의 품질을 보장하지 못한다. 이 두 가지 이유로 인해 인접한 두 픽셀의 흐림 정도가 일치하지 않을 수 있으며, 또한 랜덤 노이즈를 발생시킬 수 있다.

본 발명은 또한 교점 검색을 간소화하는 과정, 즉 K를 감소시키고, 공간 물체의 표면을 매끄럽다고 가정하여 교점 검색을 가속화시키는 방법을 제안한다. 교점 검출 시 q∈[q₀，q₁]은 q가 픽셀마다 제약식 (4)를 만족하는지 여부를 검출하지 않고, 식 (4)와 고정된 d_q에 따라 직접 l_pq를 계산한다. 도 1d를 참조하면, 반경 r 내의 광선에 대해 샘플링하여 하나의

(t는 반복 횟수)를 l _pq0 픽셀의 오프셋으로 초기화한다.

이 정해지면

을 계산할 수 있고, 만약

픽셀의 변위가

과 동일하면 교점 위치를 결정할 수 있으며, 그렇지 않은 경우 상기

픽셀의 변위는

이고, 계속하여 다음 단계를 반복하다가 결과가 식 (5)를 만족하면 정지하고, 반복 종료 시의 픽셀 색상을 반환한다.

실제 장면에서는, 물체의 표면이 일반적으로 매끄럽고 연속적이므로, 인접한 픽셀은 동일한 깊이 값을 가질 확률이 매우 높다. 즉,

일 가능성이 큰데, 이 경우, 반복 횟수가 적어도 교점을 찾을 수 있다.

도 3a, 도 3b를 참조하면, 본 발명은 랜덤 검색 방법을 통해 가속을 수행할 수도 있고, 최종적으로 랜덤 검색된 하나의 광선은 매회마다 정확한 교점을 얻는다고 보장할 수는 없으나, 오류 확률은 매우 낮은데, 이는 오류를 반환시키는 픽셀은 또 다른 광선의 정확한 샘플링일 수 있기 때문이다. 즉, 하나의 오류 샘플링을 오류 수치로 간주할 필요가 없고, 이는 여전히 교점일 가능성이 매우 높으며, 가장 마지막의 리포커싱 렌더링에 여전히 유효하다.

전경 물체에 포커싱되는 경우를 더욱 잘 처리하기 위해, 반환된 픽셀 q는 오류 교점이고, 동시에 포인트 q 깊이는 표 포인트 p보다 더 멀다고 가정하면, 즉 d_p＞ d_q일 경우, p의 색상 값을 q로 대체한다. 따라서, 랜덤 교점 검색은 오류 교점 값을 반환시키나, 모든 샘플링 광선이 융합된 후에도 비교적 진실되고 정확한 리포커싱 효과를 얻을 수 있으며, 동시에 계산 복잡도가 O(NM)로 감소된다.

도 3a, 도 3b를 참조하면, 이는 본 실시예의 방법을 통해 광선을 샘플링한 결과로서, 본 실시예는 상이한 색상 바탕 무늬를 사용하여 정확한 샘플과 오류 샘플을 구별한다. 전술한 바와 같이, 오류 샘플링 포인트는 흐릿한 컨볼루션 커널(convolution kernel)의 외부에 존재할 수 있으며, 오류 샘플링 포인트는 전체 광선 샘플링에 비해 매우 적다.

실제 촬영에서 선형 장면 복사 J가 디지털 이미지 강도 I로 변환되는 것은 높은 동적 범위 압축으로 인해 매우 비선형적이다. 디지털 싱글 렌즈 반사(DSLR) 카메라에서 이러한 비선형 압축 프로세스는 함수 f:I=f(J)를 사용할 수 있다. 가장 이상적인 깊이 합성은 J=f^-1(I)이고, 마지막 이미지 I′는 적분

을 통해 표시되는데, p, q는 이미지 중의 좌표를 표시하고, Ω_p는 중심점에서 p의 컨볼루션 커널을 표시하며, g_p(I)는 이미지에 대한 모든 변환을 표시한다.

그러나 g_p(I)를 직접 계산하는 경우 두 가지 문제점이 존재한다. 우선, 입력 이미지의 응답 함수를 알 수 없다. 통상적으로 감마(gamma) 색조 곡선 함수는 2.2와 유사하나, 카메라의 응답 함수는 gamma 2.2 와 차이가 있다. 다음으로, 단일 응답 함수는 색상 프로세스 모델을 충분히 표시할 수 없다. 도 5를 참조하면, gamma 2.2와 유사한 결과를 통해, 결과에 색차가 존재함을 알 수 있다. 색차와 비선형 효과를 줄이기 위해, 이미지 콘텐츠에 따라 픽셀 색상을 직접 가중 누계하여 얻는다.

본 실시예에서 우선 gamma 2.2 함수 곡선으로 g_p(I) 응답과 유사한 성능을 분석한다. 도 4a를 참조하면, 곡선은 높은 휘도 영역에서의 경사도가 낮은 휘도 영역보다 가파른데, 이는 높은 휘도 부분이 강도에 대해 적분하는 것에 비해 상대적으로 더 많이 압축됨을 나타낸다. 도 4b를 참조하면, 곡선 gamma 2.2는 높은 휘도와 낮은 휘도가 융합될 때, 높은 휘도 부분에 더 높은 가중치를 부여한다. 본 실시예에서는 아래 식을 사용하여 색 융합을 수행한다.

,

(6)

여기서, I(q) ^max ＝max{I _r (q)，I _g (q)，I _b (q)}는 해당 적분 픽셀 색상 채널의 최대값이다.

와 σ의 값은 색채 표현을 제어할 수 있다. 도 5는 상이한 색 융합 방법을 도시하는 것으로서, 선형 융합은 직접 적분 영역에서 평균을 취하고, gamma 2.2는 색상을 파란색으로 편중시킬 수 있으며, 본 실시예에서 가우스 가중 색상 융합이 바람직하고, 융합 효과는 상대적으로 비교적 진실된다.

도 7, 도 6을 참조하면, 비교를 통해 본 실시예는 매우 높은 품질의 피사계 심도 효과를 생성할 수 있음을 알 수 있다. 특히, SLR 카메라 및 라이트로(Lytro) 카메라와 비교하여 비록 효과는 동일하지만, 본 실시예는 일반적인 이동 카메라(1101)만으로 상기 효과(도면의 그레이 스케일 효과에서도 본 발명의 기술적 장점이 비교되는 경우를 구현할 수 있음, 이하 동일함)를 완성할 수 있다. 도 8을 참조하면, 본 발명은 특수 초점을 필요로 하는 작은 장면 기술인 틸트-시프트(Tilt-shift) 촬영에도 적용될 수 있다. 도 8의 4 개 그룹의 비교도로부터, 선행 기술처럼 특별한 렌즈를 사용할 필요 없이 사용자가 깊이 맵을 간단히 수정하기만 하면 틸트-시프트 효과를 얻을 수 있음을 알 수 있으며, 본 발명은 틸트-시프트 효과를 매우 간단하게 시뮬레이션할 수 있다. 그 과정은 상술한 바와 유사하므로, 더 이상 반복하지 않는다.

요약하면, 본 실시예는 랜덤 검색을 통해 광선 정보에 대한 샘플링을 감소시키고 교점 검색 과정을 간소화하여, 계산 복잡도를 감소시키며, 오류 샘플링을 자체적으로 교체할 수 있으므로, 진실되고 정확한 리포커싱을 얻으며, 가상 현실 라이트 필드 동적 리포커싱 디스플레이 시스템은 사람의 눈의 주시 방향에 따라 동적으로 리포커싱이 가능하므로, 사용자로 하여금 멀거나 가까운 서로 다른 거리의 물체를 포커싱하도록 할 수 있어, 인체의 육안관찰 특성에 부합한다.

이상, 첨부 도면 및 실시예를 결부하여 본 발명의 실시형태를 설명하였으나 실시예에 도시된 구조는 본 발명을 한정하는 것은 아니며, 당업자는 필요에 따라 조정이 가능하고, 첨부된 청구항의 범위 내에서 진행하는 다양한 변형 또는 수정은 모두 보호 범위에 속한다.

Claims

가상 광선 추적 방법으로서,
풀 포커스 이미지 및 그 깊이 정보를 획득하는 단계;
광선 정보 수집，즉 풀 포커스 이미지 상의 픽셀을 랜덤으로 검색함으로써 광선 샘플링 수를 감소시키는 단계; 및/또는
물체의 표면이 매끄러운 것으로 가정하여 교점 검색을 간소화하는 단계; 및
상기 광선 정보에 기초하여 색 융합을 수행하여, 최종 디스플레이 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 가상 광선 추적 방법.
제1항에 있어서,
광선은 진동 샘플링을 통해 수집되고, 즉 조리개를 복수의 등분 영역으로 구획한 후, 각각의 상기 등분 영역 내에서 하나의 픽셀을 수집하는 것을 특징으로 하는 가상 광선 추적 방법.
제1항에 있어서,
상기 교점 검색을 간소화하는 단계는,
와 고정된 d _q 에 근거하여 l _pq 를 직접 계산하고, 반경 r 내의 광선을 샘플링하며, 하나의
을 l _pq0 픽셀의 오프셋으로서 초기화시키고,
픽셀의 변위가
와 동일한 경우 교점 위치를 결정할 수 있으며, 그렇지 않은 경우 상기
픽셀의 변위를
로 설정하고 계속하여 다음 단계를 반복하다가, 결과가
을 만족하면 정지하며, 반복 종료 시의 픽셀 색상을 반환하는 것을 특징으로 하는 가상 광선 추적 방법.
제1항, 제2항 또는 제3항에 따른 가상 광선 추적 방법에 기초한 가상 현실 라이트 필드 동적 리포커싱 디스플레이 시스템으로서,
가상 현실 디스플레이 콘텐츠 프로세서, 가상 현실 디스플레이, 안구 회전 방향을 획득할 수 있는 안구 추적기, 안구 추적 정보 프로세서 및 라이트 필드 동적 리포커싱 처리 기능을 구비한 라이트 필드 리포커싱 프로세서를 포함하고, 가상 현실 디스플레이 콘텐츠 프로세서는 디스플레이 콘텐츠를 획득하며, 데이터 케이블을 통해 가상 현실 디스플레이, 안구 추적기, 안구 추적 정보 프로세서 및 라이트 필드 리포커싱 프로세서와 순차적으로 연결되는 것을 특징으로 하는 가상 현실 라이트 필드 동적 리포커싱 디스플레이 시스템.
제4항에 있어서,
가상 현실 디스플레이는, 좌우 눈에 대응되는 촬상 디스플레이 스크린, 줌 기능을 갖는 광학 렌즈 및 동일 위치 결정 센서를 포함하고, 가상 현실 디스플레이 콘텐츠 프로세서에 의해 처리된 양안 입체 이미지를 디스플레이하는 것을 특징으로 하는 가상 현실 라이트 필드 동적 리포커싱 디스플레이 시스템.
제4항에 있어서,
상기 가상 현실 디스플레이에서, 광학 렌즈의 가장자리에 마이크로 LED 램프가 설치되고, 광학 렌즈의 상부에는 사람의 눈 이미지를 수집하는 카메라가 설치되는 것을 특징으로 하는 가상 현실 라이트 필드 동적 리포커싱 디스플레이 시스템.