KR101206895B1 - 렌더링 시스템 및 이를 이용한 데이터 처리 방법 - Google Patents

Abstract

본 발명은 렌더링(rendering) 시스템 및 이를 이용한 데이터 처리 방법에 관한 것이다. 종래에는, 실제 렌즈 표면의 여러 포인트를 샘플링하여 각각 렌더링한 후 합성하거나, 렌더링 종료 후 렌더 이미지의 깊이 값을 이용하여 초점거리에 따라 블러링(blurring) 시키는 방법을 사용하였다. 그러나, 이러한 방법들은 각각 렌즈 포인트의 샘플링 횟수만큼 렌더링 타임이 증가하거나 정확한 DOF 효과를 표현할 수 없는 단점이 있다. 본 발명에서는, 디자이너가 모델링한 3D 데이터를 렌더링할 때 사용하는 핀 홀 카메라(pinhole camera)의 단점을 극복하고 실제 볼록한 두께와 넓이를 가지는 렌즈의 심도(DOF: Depth Of Field) 표현 효과를 내기 위해, 종래 방법과는 달리 렌더링시 생성된 딥 렌더 버퍼를 이용한다. 본 발명의 심도 표현 기법은 딥 렌더 버퍼를 이용하여 한 번 렌더링 해 놓은 정보를 재사용함으로써 렌더링 시간을 줄이면서도 정확한 DOF 효과를 표현할 수 있을 것이다.

렌더링 시스템, 영상 합성, DOF

Description

렌더링 시스템 및 이를 이용한 데이터 처리 방법{RENDERING SYSTEM AND DATA PROCESSING METHOD USING OF RENDERING SYSTEM}

본 발명은 렌더링 시스템 및 그 처리 기술에 관한 것으로, 특히 털 데이터를 렌더링하기 위해 생성된 딥 렌더 버퍼(deep render buffer)를 이용하여 심도(DOF: Depth Of Field)를 렌더링하는데 적합한 렌더링 시스템 및 이를 이용한 데이터 처리 방법에 관한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[2008-S-045-03, 기능 확장형 초고속 랜더러 개발].

잘 알려진 바와 같이, 최근 컴퓨터 성능이 향상됨에 따라, 3차원 컴퓨터 그래픽스(CG) 기술은 영화, 광고, 게임, 애니메이션 등에서 널리 사용되고 있다. 특히, 그래픽 기술이 발전함에 따라 실제 촬영 영상에 근접 또는 동일한 수준의 영상 생성이 가능하게 되었고, 그에 따라 더욱 극사실적 영상 표현 기술을 요구하고 되었다.

특히, 극사실적 영상 표현을 위해서는 대용량 데이터가 필요하고 이를 렌더링하기 위해서는 고사양의 컴퓨터 시스템을 필요로 한다. 또한 이러한 영상을 만들기 위해서는 막대한 컴퓨터 계산 시간과 디자이너의 작업 시간을 동시에 필요로 하고 있다. 따라서, 이 문제의 해결을 위한 많은 연구와 기술 개발이 이루어지고 있다.

렌더링 결과 이미지의 품질을 높이기 위해서 쓰이는 방법은 여러 가지가 있지만, 그 중에 초점 거리에서 멀리 떨어져서 위치한 물체는 흐릿하게 보이고 초점 거리에 근사하게 위치한 물체는 또렷하게 보이는 실제 렌즈의 심도(Depth Of Field) 현상을 3D 렌더링에서도 표현하는 3D 렌더링 심도 표현 방법이 있다. 실제에 있어서 심도 현상은 볼록하게 부피가 있는 카메라의 렌즈 때문에 나타나는 현상이다.

그런데, 3D 데이터 렌더링에에서 사용하는 카메라는 렌즈가 따로 없이 작은 구멍만 사용하는 핀 홀 카메라(pinhole camera)이므로 심도 현상이 나타나지 않는다. 종래에는 3D 렌더링에 심도 효과를 주기 위해 실제 렌즈를 가장하고 렌즈 표면 위의 여러 포인트를 샘플링한 각각의 샘플 포인트에서 렌더링한 결과를 합성하는 3D 심도 방법과, 렌더링 된 결과 이미지를 각각 픽셀의 깊이 정보에 따라 초점 거리와 비교하여 블러링하는 2D 심도 근사 방법들이 있다.

한편, 종래에 3D 렌더링 시의 심도 처리 방법은, 1981년도에 발표된 논문“A lens and aperture camera model for synthetic image generation”와 2004년도에 발표된 논문“Real-Time, Accurate Depth of Field using Anisotropic Diffusion and Programmable Graphics Cards”에 자세하게 설명되어 있다.

그러나, 수백만 또는 수천만 개의 털 데이터를 처리하여 하나의 이미지를 렌더링하는 데에도 많은 시간을 필요로 하는 것을 고려할 때, 종래의 털의 3D DOF 표현 처리 방식은 여러 번의 3D 렌더링 과정이 필요하므로 DOF 표현을 위하여 너무나 많은 렌더링 시간을 필요로 한다는 문제점이 있다.

이에 본 발명에서는, 카메라의 초점 거리와 털 렌더링시 생성된 딥 렌더 버퍼(deep render buffer)내의 털 렌더링 정보를 이용하여 털의 심도(DOF)를 표현할 수 있는 처리 방법을 제공하고자 한다

본 발명의 과제를 해결하기 위한 일 관점에 따르면, 렌더링(rendering) 결과 생성된 딥 렌더 버퍼(deep render buffer)의 깊이 정보를 판독하는 데이터 입력부와, 카메라의 렌즈의 표면 데이터를 샘플링하는 카메라 렌즈 샘플링부와, 상기 딥 렌더 버퍼의 픽셀 위치 정보를 이용하여 상기 카메라 렌즈 샘플링부의 샘플링 결과에 대응하는 새로운 카메라 위치에서의 딥 렌더 버퍼를 재구성하는 딥 렌더 버퍼 재구성부와, 상기 딥 렌더 버퍼 재구성부로부터 재구성된 딥 렌더 버퍼로 상기 카메라의 위치의 렌더 이미지를 생성하는 렌더 이미지 생성부와, 상기 카메라의 위치 에서의 렌더 이미지를 누적하는 이미지 누적부를 포함하는 렌더링 시스템을 제공한다.

본 발명의 과제를 해결하기 위한 다른 관점에 따르면, 데이터를 렌더링하면서 제 1 딥 렌더 버퍼를 생성하는 과정과, 상기 생성된 제 1 딥 렌더 버퍼를 이용하여 카메라의 샘플 위치에 따라 제 2 딥 렌더 버퍼를 재구성하는 과정과, 상기 카메라의 샘플 위치에서 생성된 렌더 이미지를 누적하여 심도 렌더 이미지를 생성하는 과정을 포함하는 렌더링 시스템을 이용한 데이터 처리 방법을 제공한다.

본 발명으로 인해, 대용량의 털 데이터를 렌즈의 여러 위치에서 여러 번 렌더링하여 심도(DOF: Depth Of Field)를 표현하는 종래의 방법과는 달리, 딥 렌더 버퍼(deep render buffer) 데이터를 이용하여 빠르고 효과적으로 털 데이터의 심도(DOF) 표현을 수행할 수 있다.

본 발명의 기술요지는, 털 데이터를 렌더링 하면서 딥 렌더 버퍼(deep render buffer) 데이터가 생성되면, 이를 이용하여 새로운 카메라 샘플 위치에 따라 새로운 딥 렌더 버퍼로 재구성하고, 각각의 카메라 샘플 위치에서 생성된 렌더 이미지들을 누적하여 심도(DOF: Depth Of Field) 효과를 표현하는 것이다. 이러한 연산 과정은 종래의 심도(DOF) 효과를 위해 각각의 카메라 샘플 위치에 따라 여러 번 렌더링 해야 하는 복잡한 렌더링 과정을 개선하였다

이하 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 상세하게 설명한다.

실시예의 설명에 앞서, 본 발명에서 렌더링의 대상이 되는 털 데이터는 개체 수에 있어서 많은 양을 필요로 하며 각각의 털들이 투명한 특성이 있기 때문에 기존의 2D 평면으로만 이루어진 렌더 버퍼로는 표현이 불가능하다.

털 데이터의 렌더링을 위해서는 2D 평면의 렌더 버퍼 각각의 픽셀들이 깊이에 따라 정열된 수많은 추가 픽셀 정보 리스트를 가지는 딥 렌더 버퍼를 사용한다.

이러한 딥 렌더 버퍼는, 도 1에 예시한 바와 같이, 한 픽셀당 가장 앞쪽에 위치한 하나의 렌더링 개체를 표현하는 기존의 2D 평면 버퍼와는 달리, 각 픽셀들이 가장 앞쪽의 렌더링 개체 외에 뒤쪽에 위치한 개체들까지 깊이 순서대로 리스트를 가지고 있다. 이러한 딥 렌더 버퍼는, 예를 들어 버퍼의 첫 번째 픽셀의 각 노드의 거리(depth), 컬러(rgb), 알파값(alpha)을 지닌다.

도 2은 본 발명의 일 관점에 따른 털 데이터의 심도(DOF) 표현을 위한 렌더링 시스템의 구성 블록도로서, 데이터 입력부(100), 카메라 렌즈 샘플링부(102), 딥 렌더 버퍼 재구성부(104), 렌더 이미지 생성부(106), 이미지 누적부(108) 등을 포함한다.

도 2에 도시한 바와 같이, 입력부(100)에서는 초기 카메라 위치에서 이미 렌 더링이 끝난 딥 렌더 버퍼 정보, 즉 렌더링 결과 생성된 딥 랜더 버퍼를 입력받고, 이러한 딥 렌더 버퍼의 깊이 정보를 판독한다.

카메라 렌즈 샘플링부(102)는 기존의 3D 심도(DOF) 방법과 같이 실제 렌즈의 초점 거리와 렌즈 구경에 따라 카메라 렌즈 표면 상의 포인트들을 샘플링해서 핀 홀 카메라(도시 생략됨)의 샘플 위치 정보를 생성하는 역할을 한다.

딥 렌더 버퍼 재구성부(104)에서는 기존의 카메라 위치에서 렌더링이 완료된 딥 렌더 버퍼의 픽셀 위치 정보를 이용하여 새로운 카메라 샘플 위치에서 기존의 버퍼 픽셀 위치가 위치해야 할 새로운 위치 정보를 만들어 낸 다음, 새로운 딥 렌더 버퍼를 구성한다. 이때, 기존의 버퍼 픽셀 정보들은 새로운 카메라 정보에 따라 어느 정도의 이동이 필요하게 된다.

렌더 이미지 생성부(106)는 깊이가 있는 딥 렌더 버퍼를 통상의 2D 이미지 버퍼로 함축하는 과정이다. 딥 렌더 버퍼의 픽셀 정보들의 투명도 정도에 따라 뒤쪽에 위치한 픽셀의 투영 정도가 결정되고 2D 이미지 값으로 압축된다.

이미지 누적부(108)는 각각의 카메라 렌즈 샘플링 위치에서 딥 렌더 버퍼를 재구성하여 생성된 이미지들을 누적시켜서 카메라 초점 거리에 따른 블러링 효과를 표현하는 역할을 한다.

이하, 상술한 구성과 함께, 본 발명의 다른 관점에 따른 렌더링 시스템을 이용한 데이터 처리 방법을 첨부한 도 3의 흐름도를 참조하여 상세히 설명하기로 한다.

도 3을 참조하면, 단계(S200)에서 데이터 입력부(102)는 딥 렌더 버퍼의 각 노드를 읽어 전달하는데, 예를 들어 딥 렌더 버퍼 데이터가 생성되면, 버퍼의 첫번째 픽셀의 각 노드의 거리, 컬러, 알파 값을 읽어 들여 딥 버퍼 재구성부(104)에 전달한다.

그리고, 단계(S202)에서는 카메라 렌즈 샘플링부(102)를 통해 카메라의 초점 거리, 구경(口徑) 파라미터(parameter)를 고려하여 카메라의 샘플위치 정보를 생성하여 새로운 핀 홀 카메라의 위치를 계산해 낸다.

이와 같은 딥 렌더 버퍼 정보와 카메라 위치가 입력되면, 단계(S204)에서는 딥 버퍼 재구성부(104)를 통해 새로 입력된 카메라 위치에 따라 딥 렌더 버퍼를 재구성하여 새로운 딥 렌더 버퍼를 생성한다.

최종적으로, 단계(S206)에서는, 렌더 이미지 생성부(106)와 이미지 누적부(108)를 통해, 새로 재구성한 딥 렌더 버퍼를 이용하여 2D 이미지를 생성하고, 이러한 과정들을 통해 카메라 렌즈 샘플링 횟수만큼 생성된 이미지를 누적하여 심도(DOF) 효과를 표현해 낼 수 있다.

이상 설명한 바와 같이, 본 실시예는, 털 데이터를 렌더링 하면서 딥 렌더 버퍼 데이터가 생성되면, 이를 이용하여 새로운 카메라 샘플 위치에 따라 새로운 딥 렌더 버퍼로 재구성하고, 각각의 카메라 샘플 위치에서 생성된 렌더 이미지들을 누적하여 심도(DOF) 효과를 표현하도록 구현한 것이다.

앞서 언급한 실시예는 본 발명을 한정하는 것이 아니라 예증하는 것이며, 이 분야의 당업자라면 첨부한 청구항에 의해 정의된 본 발명의 범위로부터 벗어나는 일 없이, 많은 다른 실시예를 설계할 수 있음을 유념해야 한다. 청구항에서는, 괄 호 안에 있는 어떤 참조 기호도 본 발명을 한정하도록 해석되지 않아야 한다. "포함하는", "포함한다" 등의 표현은, 전체적으로 모든 청구항 또는 명세서에 열거된 것을 제외한 구성 요소 또는 단계의 존재를 배제하지 않는다. 구성 요소의 단수의 참조부는 그러한 구성 요소의 복수의 참조부를 배제하지 않으며, 그 반대도 마찬가지이다. 본 발명은, 몇몇 별개의 구성 요소를 포함하는 하드웨어 수단 및 적절히 프로그램된 컴퓨터 수단에 의해 실시될 수 있다. 몇몇 수단을 열거하는 청구항에서, 이들 수단의 몇몇은 하드웨어의 같은 항목에 의해 구현될 수 있다. 서로 다른 종속항에 확실한 수단이 기술되었다고 하는 단순한 사실은, 이러한 수단의 조합이 사용될 수 없다는 것을 나타내지 않는다.

도 1은 본 발명의 일 관점에 따른 렌더링 시스템에 대한 개략적인 블록 구성도,

도 2는 본 발명의 다른 관점에 따른 렌더링 시스템을 이용한 데이터 처리 과정을 예시하는 흐름도,

도 3은 본 실시예에 이용되는 딥 렌더 버퍼의 예시도.

<도면의 주요 부분에 대한 부호의 설명>

100 : 데이터 입력부 102 : 카메라 렌즈 샘플링부

104 : 딥 렌더 버퍼 재구성부 106 : 렌더 이미지 생성부

108 : 이미지 누적부

Claims (10)

1. 렌더링(rendering) 결과 생성된 딥 렌더 버퍼(deep render buffer)의 깊이 정보를 판독하는 데이터 입력부와,

   카메라의 렌즈의 표면 데이터를 샘플링하되, 상기 렌즈의 초점거리와 구경(口徑)에 따라 상기 렌즈의 표면상의 포인트들을 샘플링하여 상기 카메라의 샘플 위치 정보를 생성하는 카메라 렌즈 샘플링부와,

   상기 딥 렌더 버퍼의 픽셀 위치 정보를 이용하여 상기 카메라 렌즈 샘플링부의 샘플링 결과에 대응하는 새로운 카메라 위치에서의 딥 렌더 버퍼를 재구성하는 딥 렌더 버퍼 재구성부와,

   상기 재구성된 딥 렌더 버퍼로 상기 카메라의 위치의 렌더 이미지를 생성하는 렌더 이미지 생성부와,

   상기 카메라의 위치에서의 렌더 이미지를 누적하는 이미지 누적부를 포함하는

   렌더링 시스템.
2. 삭제
3. 제 1 항에 있어서,

   상기 렌더 이미지는, 2D(Dimension) 렌더 이미지인 렌더링 시스템.
4. 제 3 항에 있어서,

   상기 이미지 누적부는, 상기 2D 렌더 이미지를 누적하여 심도(Depth of Field) 렌더 이미지를 생성하는 렌더링 시스템.
5. 제 1 항에 있어서,

   상기 카메라는, 핀 홀 카메라인 렌더링 시스템.
6. 데이터를 렌더링하면서 제 1 딥 렌더 버퍼를 생성하는 과정과,

   상기 생성된 제 1 딥 렌더 버퍼를 이용하여 카메라의 샘플 위치에 따라 제 2 딥 렌더 버퍼를 재구성하는 과정과,

   상기 카메라의 샘플 위치에서 생성된 렌더 이미지를 누적하여 심도 렌더 이미지를 생성하는 과정을 포함하되,

   상기 재구성하는 과정은, 상기 제 1 딥 렌더 버퍼의 깊이 정보를 판독하는 과정인

   렌더링 시스템을 이용한 데이터 처리 방법.
7. 삭제
8. 제 6 항에 있어서,

   상기 카메라의 샘플 위치는, 상기 카메라의 초점거리, 구경 파라미터를 고려한 위치인 렌더링 시스템을 이용한 데이터 처리 방법.
9. 제 6 항에 있어서,

   상기 심도 렌더 이미지를 생성하는 과정은,

   상기 제 2 딥 렌더 버퍼를 이용하여 2D 이미지를 생성하는 과정과,

   상기 2D 이미지의 반복적인 생성 과정을 통해 상기 카메라의 렌즈의 샘플링 횟수만큼 생성된 이미지를 누적하여 상기 심도 렌더 이미지를 생성하는 과정

   을 포함하는 렌더링 시스템을 이용한 데이터 처리 방법.
10. 제 6 항에 있어서,

    상기 카메라는, 핀 홀 카메라인 렌더링 시스템을 이용한 데이터 처리 방법.

Images