KR102143319B1 - 전방향의 구형 라이트 필드 렌더링 방법 - Google Patents

Abstract

본 발명은 전방향의 구형 라이트 필드 렌더링 방법을 제공하였는바, 관련 파일에 대해 입력 및 로딩을 미리 준비하는 준비 단계; 격자 모양이 구체 위에 밀집 분포된 참조 카메라 위치의 깊이 맵을 사전 컴퓨팅하는 단계; 렌더링 카메라를 이동시키되, 그 이동 범위는 상기 구체의 표면이고, 또한 렌더링 카메라 주변을 둘러싼 네 개의 참조 카메라를 컴퓨팅 및 인식하는 단계; 렌더링 카메라의 픽셀을 배면 투사하고, 상기 네 개의 참조 카메라와 깊이 테스트를 진행하는 단계; 깊이 테스트를 통과한 참조 카메라를 보간하고, 획득된 것을 최종적으로 렌더링한 픽셀 값으로 하는 단계를 포함한다. 본 발명은 렌더링 결과를 실시간으로 신속하게 볼 수 있고; 구면에서의 임의의 각도에서 물체를 관찰할 수 있으며, 더욱 생생한 몰입감을 느낄 수 있다.

Description

전방향의 구형 라이트 필드 렌더링 방법

본 발명은 컴퓨터 그래픽 기술분야에 관한 것으로서, 구체적으로는 멀티 뷰 포인트 이미지를 이용하여 실제 물체의 실시간 렌더링을 구현할 수 있는 전방향(all-around)의 구형 라이트 필드 렌더링 방법이다.

현재, 공지된 3D 모형 렌더링 엔진은 모형과 텍스처 매핑의 조합을 사용하는바, 래스터화 렌더링 파이프라인을 이용하여 이미지로 렌더링한다. 현재 게임 분야에서의 캐릭터와 장면은 대부분 이러한 방법을 사용하여 렌더링을 거쳐 획득된 것이다. 그러나 가상 현실 기술의 발전과 더불어, 이러한 인위적인 렌더링 결과는 현실감이 부족하여 사람들의 기대에 부응하지 못하고 있다.

현재의 렌더링 엔진에는 주로 하기의 두 가지 문제가 존재한다.

첫째, 렌더링 데이터를 제조하는 데에 대량의 인력 자원을 소모해야 한다. 구체적으로 모델러가 대량의 시간을 소비하여 실제 물체와 유사한 모형을 구축하고, 모형의 재질과 매핑을 디버그하여 그 겉모양이 실제 물체에 근접하도록 하며, 이 과정은 반복 시행을 요할 수 있다.

둘째, 렌더링 결과와 실제 물체에 비교적 큰 차이가 있다. 기존의 렌더링 엔진이 입력한 3차원 모형과 텍스처 매핑은 모두 수작업으로 제작된 것이기에, 물체의 많은 디테일을 유지할 수 없는데, 이러한 디테일이 물체의 사실성을 표현하는 가장 좋은 표현법이라서, 렌더링하여 획득한 이미지와 실제 육안으로 본 이미지는 항상 비교적 큰 차이가 존재하게 된다.

상기 문제는 기존의 3D 렌더링 엔진에 보편적으로 존재하기에, 본 발명은 렌더링 방법을 제공하였고, 이는 필요한 데이터를 카메라 촬영을 이용하여 획득할 수 있어, 텍스처 매핑을 디버그하는 단계를 생략할 수 있게 되고, 렌더링 결과가 더욱 사실적이어서 몰입감을 향상시키며, 기존의 렌더링 방법과 유사하게 본 발명도 "전방향" 기능을 제공하는바, 임의의 각도에서 물체를 관찰할 수 있다.

본 발명은 렌더링 엔진이 실제 물체를 렌더링할 수 없다는 부족점을 극복하기 위해, 전방향의 구형 라이트 필드 렌더링 방법을 제공한바, 실시간 렌더링을 구현할 수 있을 뿐만 아니라, 또한 멀티 뷰 포인트 이미지를 이용하여 실제 물체의 각 시각의 이미지를 렌더링할 수 있다.

상기 목적을 달성하기 위해, 본 발명에서 사용하는 기술적 해결수단은,

준비 단계로서, 관련 파일에 대해 입력 및 로딩을 미리 준비하는 제1 단계;

격자 모양이 구체(sphere) 위에 밀집 분포된 참조 카메라 위치의 깊이 맵(depth map)을 사전 컴퓨팅하는 제2 단계;

렌더링 카메라를 이동시키되, 그 이동 범위는 상기 구체의 표면이고, 또한 렌더링 카메라 주변을 둘러싼 네 개의 참조 카메라를 컴퓨팅 및 인식하는 제3 단계;

렌더링 카메라의 픽셀을 배면 투사하고, 상기 네 개의 참조 카메라와 깊이 테스트를 진행하는 제4 단계;

깊이 테스트를 통과한 참조 카메라를 보간하고, 획득된 것을 최종적으로 렌더링한 픽셀 값으로 하는 제5 단계를 포함한다.

여기서, 제4 단계에서 깊이 테스트를 통과한 참조 카메라가 존재하지 않는다면, 깊이 테스트를 통과할 때까지 상기 네 개의 참조 카메라의 바깥 둘레에 위치한 다른 참조 카메라를 선택한다.

여기서, 제4 단계에서의 깊이 테스트는, 포인트 P부터 참조 카메라까지의 광심의 수직 거리는 상기 참조 카메라 하에서의 P의 깊이 값 Depth₁로 하고, 또한 참조 카메라가 깊이 맵에 있어서의 Pixel_R 위치에 미리 저장한 깊이 값 Depth₂을 취하여, 만약 Depth₁＝Depth₂이면, 참조 카메라가 포인트 P의 깊이 테스트를 통과하였음을 의미한다.

여기서, 제5 단계에서, 깊이 테스트를 완료한 후 네 개의 참조 카메라에 가중치를 부여하되, 그 산출 공식은 하기와 같고,

단, 위에서

은 구심으로부터 렌더링 카메라를 지향한 벡터로 정의되고;

은 구심으로부터 참조 카메라를 지향한 벡터로 정의되며; W_R의 값의 범위는 [0.5, ∞)이고;

W_R에 대해 정규화를 진행한 후 또한 렌더링 카메라의 Pixel_D에서의 픽셀 값은 하기와 같고,

Pixel_D＝∑W_RPixel_R

여기서 R은 깊이 테스트를 통과한 참조 카메라 집합이다.

여기서, 제1 단계 중 관련 파일은 저정밀도의 물체 3차원 모형, 참조 카메라의 외부 파라미터, 내부 파라미터 및 동일한 개수의 사진, 참조 카메라의 상대적 위치 관계를 서술한 파일과 그 데이터 세트 속성을 서술한 구성 파일을 포함한다.

여기서, 상기 저정밀도의 물체 3차원 모형의 면수는 3만 내지 10만 개이다.

선행기술과 비교하면, 본 발명은 컴퓨팅 리소스를 절약하게 되어, 사용자는 단지 예컨대 휴대폰 또는 노트북과 같은 통상의 컴퓨팅 기기를 통해 렌더링 결과를 신속하게 실시간으로 볼 수 있다. 사용자는 작동 인터페이스를 슬라이딩하여 렌더링 엔진과 상호작용함으로써, 구면의 임의의 각도에서 물체를 관찰할 수 있어, 즉 소위 "전방향"이다. 본 발명이 제공하는 "전방향" 효과는 사용자가 본인이 관찰하고자 하는 각도를 누락시킬 필요가 없음을 보장하여, 많은 영역에서 더욱 훌륭한 효과를 갖게 된다. 예를 들어, 온라인 쇼핑을 할 경우에 사용자는 단일한 몇 개 각도의 사진이 아니라 물체의 전체 이미지를 볼 수 있고, 또한 렌더링 결과가 온전히 실제 사진의 데이터(이미지 세트)로부터 획득된 것이기 때문에, 그 사실성도 강화되어, 사용자는 더욱 생생한 몰입감을 느낄 수 있다.

도 1a는 입력 양식 사진의 모식도이다.
도 1b, 도 1c, 도 1d는 각각 출력 사진의 모식도이다.
도 1e는 본 발명의 실시예 중 참조 카메라가 구체 격자 형상에 분포한 모식도이다.
도 2는 본 발명의 렌더링 흐름 설명도이다.
도 3은 렌더링 카메라와 참조 카메라의 상대적 위치 모식도이다.
도 4는 투영과 배면 투사의 설명 참조도이다.

도면과 결부하여 본 발명을 부가적으로 설명하도록 한다.

도 1a 내지 도 4를 참조하면, 도 1a 내지 도 4에 도시된 것은 본 발명의 일실시예이다. 본 실시예는 비전통적인 방법을 사용하여 라이트 필드 렌더링 엔진을 구현하였는바, 이는 실시간 렌더링을 구현할 수 있을 뿐만 아니라, 멀티 뷰 포인트 이미지를 이용하여 물체의 실제 모든 각도의 이미지를 렌더링할 수 있으며, 구체적인 실시 단계는 하기와 같다.

도 1a 내지 도 1d는 본 실시예의 데이터 입력 양식의 입력 양식 사진이고, 본 실시예의 입력 데이터는, 하나의 저정밀도의 물체 3차원 모형(면수는 3만 내지 10만개임), 200 내지 300 그룹의 참조 카메라의 외부 파라미터와 내부 파라미터, 동일한 개수의 사진, 참조 카메라의 상대적 위치 관계를 서술한 파일과 그 데이터 세트 속성을 서술한 구성 파일을 포함하고, 구체적인 데이터 설명은 모식도의 표기를 참조한다.

도 3을 참조하면, 하기에서 참조 카메라는 바로 출력 사진을 수집하는 카메라를 지칭하고, 렌더링 카메라는 사용자가 상호작용을 통해 결정한 카메라로서 출력 사진을 렌더링하기 위한 것이며, 양자의 파라미터는 동일할 수도 상이할 수도 있다.

도 1a는 물체의 3차원 모형이고, 총합 3만개 정점과 14만개의 면을 포함한다. 도 1b 내지 도 1d는 이미지 세트의 3 개의 실례로서, 각각 3 개의 상이한 각도에서 촬영한 물체 사진이다. 상기 이미지 세트는 다른 각도에서 촬영한 유사 사진을 더 포함한다.

하기의 표는 어느 하나의 참조 카메라 외부 파라미터의 데이터를 서술한 것이며, 이는 4개의 라인으로 분류되고, 각 라인은 3개의 수치를 포함하며, 각 라인은 각각 카메라의 Z축 벡터, X축 벡터, Y축 벡터 및 좌표를 대표하고, 다른 참조 카메라는 모두 자기의 대응 수치가 있다.

하기의 표는 하나의 참조 카메라의 내부 파라미터 매트릭스를 서술하는데, 카메라의 광심 좌표 및 초점 거리 데이터를 포함하며, 다른 참조 카메라는 모두 자기의 대응 수치가 있다.

도 1e는 가시적인 참조 카메라의 위치 모식도이며, 참조 카메라는 모두 하나의 구체에 균일하게 고정 분포되어 있다.

하기의 표는 입력 데이터의 별도의 속성을 서술하였고, 위에서 아래로 각 항목의 의미는 각각 고해상도 사진의 개수, 저해상도 사진의 개수, 고 수평 해상도, 고 수직 해당도, 저 수평 해상도, 저 수직 해상도, 참조 카메라 중심 좌표, 참조 카메라가 위치하는 구면의 반경, 참조 카메라의 근거리 평면 및 참조 카메라의 원거리 평면이다.

도 2를 참조하면, 본 실시예에서 제공하는 렌더링 방법의 흐름도이다. 이는 하기의 단계를 주로 포함한다.

단계 1: 참조 카메라가 위치한 깊이 맵을 사전 컴퓨팅한다.

단계 2: 렌더링 카메라를 이동시키되, 범위는 참조 카메라가 위치한 구면이며, 렌더링 카메라가 어느 네 개의 참조 카메라에 의해 둘러싸였는지 컴퓨팅한다.

단계 3: 렌더링 카메라의 픽셀을 배면 투사하고, 이전 단계의 네 개의 참조 카메라와 깊이 테스트를 진행하며, 깊이 테스트를 통과한 카메라를 보간하고, 획득된 것을 최종적으로 렌더링한 픽셀 값으로 한다.

상술한 과정 중, 데이터 판독 단계에서, 본 실시예는 각각의 참조 카메라의 위치의 깊이 맵을 미리 컴퓨팅해야 하고, 이는 다음 번의 깊이 테스트를 위한 것이다.

렌더링 카메라는 사용자가 어느 각도에서 물체를 관찰하는지를 결정, 즉 렌더링한 출력 이미지를 결정하게 된다. 도 1e를 참조하면, 참조 카메라가 위치한 구면은 렌더링 카메라의 이동 범위를 결정하게 된다. 본 실시예는 렌더링 카메라의 위치를 고정할 경우, 그 주위의 네 개의 참조 카메라의 시리얼 넘버를 컴퓨팅해야 하는바, 도 3에 도시된 바와 같다. 참조 카메라의 시리얼 넘버의 순서가 랜덤이기에, 입력 데이터는 참조 카메라의 위치 관계를 포함해야 하는바, 즉 도 1e와 같으며, 그리고 나서 벡터-사각형 교차 알고리즘을 이용해야 한다.

우선 벡터

을 컴퓨팅하고, 시작점을 참조 카메라의 중심으로 하며, 종점은 렌더링 카메라의 좌표이다. 따라서 참조 카메라 구면은 다수 개의 사각형으로 구성된 것으로 간주할 수 있으며, 따라서 벡터와 사각형이 교차하는 알고리즘을 이용하여

이 어느 사각형과 교차하는지를 검출할 수 있고, 그리고 나서 입력 카메라 위치 파일을 조회하면 네 개의 후보 참조 카메라의 시리얼 넘버를 획득할 수 있다.

도 4를 참조하면, 단계 3 중 렌더링 카메라(Cam_D)의 각 하나의 픽셀 Pixel_D 내지 물체 표면의 포인트 P를 배면 투사하고, P를 네 개의 참조 카메라(도 4는 두 개만 도시하였고 나머지 두 개는 마찬가지임)에 투사하여, 픽셀 Pixel_R1, Pixel_R2, Pixel_R3과 Pixel_R4를 각각 획득한다. 이때 가능한 상황은 참조 카메라의 뷰(view) 하에, 포인트 P가 물체의 나머지 부분에 의해 가려져 보이지 않는 것이며, 따라서 보간하기 전에 깊이 테스트를 진행할 필요가 있다.

그리고 나서 깊이 테스트를 진행해야 하는바, 포인트 P에서 참조 카메라 Cam_R1까지의 광심의 수직 거리는 상기 카메라 하에서의 P의 깊이이며, Depth₁로 표시하고, 또한 참조 카메라 Cam_R1이 깊이 맵에 있어서의 Pixel_R1 위치에 미리 저장한 깊이 값을 취해 Depth₂로 표시하며, 만약 Depth₁＝Depth₂이면, 참조 카메라 Cam_R1가 포인트 P의 깊이 테스트를 통과하였음을 의미한다. 마찬가지로, Cam_R2, Cam_R3 및 Cam_R4 각각에 대해 깊이 테스트를 진행할 수 있다.

네 개의 참조 카메라 가중치를 각각 부여하되, 그 산출 공식은 하기와 같고,

단, 위에서

은 구심으로부터 렌더링 카메라를 지향한 벡터로 정의되고,

은 구심으로부터 참조 카메라 Cam_R을 지향한 벡터로 정의된다. W_R의 값의 범위는 [0.5, ∞)이고, 깊이 테스트를 통과하지 않은 참조 카메라에 대해, 그 가중치 부여 값은 0이며, 깊이 테스트를 통과한 참조 카메라에 대해, 그 가중치를 컴퓨팅 한 후 정규화를 진행한다.

만약 깊이 테스트를 통과한 카메라 개수가 0이 아니면, 최종 렌더링 카메라의 Pixel_D에서의 픽셀 값은,

Pixel_D＝∑W_RPixel_R

여기서 R은 깊이 테스트를 통과한 참조 카메라 집합이다.

깊이 테스트를 통과한 카메라가 존재하지 않는다면, 깊이 테스트를 통과할 때까지 상기 네 개의 참조 카메라를 둘러싼 참조 카메라를 선택한다. 구체적으로 말하자면, 만약 네 개의 참조 카메라가 모두 깊이 테스트를 통과하지 않으면 네 개의 참조 카메라 주변의 카메라를 지속적으로 확산시켜, 외측의 12개 참조 카메라로 구성된 직사각형에서 단계 4를 반복, 즉 배면 투사와 깊이 테스트를 진행한다. 이때 99%를 초과한 픽셀 값이 모두 깊이 테스트를 통과하였음을 보장할 수 있고, 이어서 금번 렌더링의 종료를 고려할 수 있다.

본 실시예는 소프트웨어를 통해 스마트폰 또는 컴퓨터에 이를 수 있고, 사용자에게 상호작용 수단을 제공하여 렌더링 카메라를 이동하며, 본 발명에 요구되는 컴퓨팅 리소스가 비교적 적기에, 구체적인 입력 데이터를 결부하여 상기 기기에서 실시간으로 렌더링 결과를 획득하는 것을 구현할 수 있다.

이상 도면과 실시예를 결부하여 본 발명의 실시 양태를 서술하였고, 실시예에서 시사한 구조는 본 발명을 한정하지 않고, 본 기술분야의 통상의 기술자는 수요에 따라 조절할 수 있으며, 첨부된 청구범위 내에서 진행된 각종 변형 또는 수정은 모두 보호 범위 내에 속한다.

Claims (5)

1. 전방향의 구형 라이트 필드 렌더링 방법으로서,
   준비 단계로서, 관련 파일에 대해 입력 및 로딩을 미리 준비하는 제1 단계;
   격자 모양이 구체(sphere) 위에 밀집 분포된 참조 카메라 위치의 깊이 맵을 사전 컴퓨팅하는 제2 단계;
   렌더링 카메라를 이동하시키되, 그 이동 범위는 상기 구체의 표면이고, 또한 렌더링 카메라 주변을 둘러싼 네 개의 참조 카메라를 컴퓨팅 및 인식하는 제3 단계;
   렌더링 카메라의 픽셀을 배면 투사하고, 상기 네 개의 참조 카메라와 깊이 테스트를 진행하는 제4 단계 - 포인트 P부터 참조 카메라까지의 광심의 수직 거리는 상기 참조 카메라 하에서의 P의 깊이 값 Depth₁로 하고, 또한 참조 카메라가 깊이 맵에 있어서의 Pixel_R 위치에 미리 저장한 깊이 값 Depth₂을 취하여, 만약 Depth₁＝Depth₂이면, 참조 카메라가 포인트 P의 깊이 테스트를 통과하였음을 의미함 - ;
   깊이 테스트를 통과한 참조 카메라를 보간하고, 획득된 것을 최종적으로 렌더링한 픽셀 값으로 하는 제5 단계를 포함하는 것을 특징으로 하는, 전방향의 구형 라이트 필드 렌더링 방법.
2. 제1항에 있어서,
   제4 단계에서 깊이 테스트를 통과한 참조 카메라가 존재하지 않는다면, 깊이 테스트를 통과할 때까지 상기 네 개의 참조 카메라의 바깥 둘레에 위치한 다른 참조 카메라를 선택하는 것을 특징으로 하는, 전방향의 구형 라이트 필드 렌더링 방법.
3. 제1항에 있어서,
   제5 단계에서, 깊이 테스트를 완료한 후 네 개의 참조 카메라에 가중치를 부여하되, 그 산출 공식은 하기와 같고,
   

   

   
   단, 위에서

   

   은 구심으로부터 렌더링 카메라를 지향한 벡터로 정의되고;

   

   은 구심으로부터 참조 카메라를 지향한 벡터로 정의되며; W_R의 값의 범위는 [0.5, ∞)이고;
   또한 WR에 대해 정규화를 진행한 후, 렌더링 카메라의 Pixel_D에서의 픽셀 값은 하기와 같고,
   Pixel_D＝∑W_RPixel_R
   여기서 R은 깊이 테스트를 통과한 참조 카메라 집합인 것을 특징으로 하는, 전방향의 구형 라이트 필드 렌더링 방법.
4. 제1항에 있어서,
   제1 단계 중 관련 파일은 저정밀도의 물체 3차원 모형, 참조 카메라의 외부 파라미터, 내부 파라미터 및 동일한 개수의 사진, 참조 카메라의 상대적 위치 관계를 서술한 파일과 그 데이터 세트 속성을 서술한 구성 파일을 포함하는 것을 특징으로 하는, 전방향의 구형 라이트 필드 렌더링 방법.
5. 제4항에 있어서,
   상기 저정밀도의 물체 3차원 모형의 면수는 3만 내지 10만 개인 것을 특징으로 하는, 전방향의 구형 라이트 필드 렌더링 방법.

Images