KR20100118706A

KR20100118706A - 영상 처리 장치 및 방법

Info

Publication number: KR20100118706A
Application number: KR1020090037527A
Authority: KR
Inventors: 임인성; 진봉준; 박찬민; 이원종; 정석윤
Original assignee: 삼성전자주식회사; 서강대학교산학협력단
Priority date: 2009-04-29
Filing date: 2009-04-29
Publication date: 2010-11-08
Also published as: US9001144B2; US20100277478A1; KR101615656B1

Abstract

영상 처리 장치가 제공된다. 상기 영상 처리 장치는, 제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택하는 선택부, 및 상기 선택된 적어도 하나의 서브 픽셀의 각각에 안티 앨리어싱 처리를 수행하여 상기 제1 픽셀의 칼라 값을 계산하는 처리부를 포함할 수 있다.

안티 앨리어싱, 레이 트레이싱, Anti-aliasing, Ray tracing, Super sampling

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}

본 발명의 일부 실시예들은 3D 랜더링(Rendering) 중, 레이 트레이싱(Ray Tracing)에서 사용되는 안티 앨리어싱(Anti-Aliasing)을 위한 영상 처리 장치 및 방법에 관한 것이다.

3D 랜더링은 모델링 된 가상의 입체 오브젝트 정보에 기초하여, 특정 시점에서의 영상을 생성하여 제공하는 영상 처리이다. 3D 랜더링 방법에는 폴리곤 기반의 래스터라이재이션(Rasterization)과, 랜더링하고자 하는 시점으로부터의 광선(Ray) 진행 경로를 역추적(Tracing)하는 레이 트레이싱(Ray Tracing) 등이 있다.

이 중 레이 트레이싱은 빛의 물리적 성질(반사, 굴절, 투과)을 이용하므로 실사에 가까운 고품질 영상을 생성할 수 있으나, 연산 양이 방대하여 실시간 랜더링을 구현하는 데에, 어려움이 있었다.

한편, 앨리어싱(Aliasing)은, 랜더링 하고자 하는 장면(Scene)과 이를 디스플레이하는 장치 간의 정밀도(또는 해상도) 차이로 인하여 발생되는 계단 현상이다. 영상 처리 방법을 이용하여 앨리어싱을 줄이는 것을 안티 앨리어싱(Anti-aliasing)이라고 한다.

이러한 안티 앨리어싱 방법에는 한 픽셀에 해당하는 영역을 여러 번 샘플링(칼라 값을 계산하는 것, 이하 같음)함으로써 해결하기도 했다. 이것을 수퍼 샘플링(Super sampling)이라고도 한다.

그런데, 이러한 수퍼 샘플링은 연산을 위해 높은 사양의 하드웨어를 요구하므로, 모든 픽셀이 아니라 안티 앨리어싱 처리가 필요한 픽셀만 선택적으로 수퍼 샘플링을 수행하는 적응적 수퍼샘플링(Adaptive Super sampling) 방법이 요구된다.

본 발명의 일부 실시예는, 연산량을 줄이면서도 안티 앨리어싱 능력은 최대화 하는 수퍼샘플링을 위한 영상 처리 장치 및 방법을 제공하기 위한 것이다.

본 발명의 다른 일부 실시예는, 레이 트레이싱에 있어서의 병렬 처리에 적합한 수퍼샘플링을 위한 영상 처리 장치 및 방법을 제공하기 위한 것이다.

본 발명의 일 실시예에 따르면, 제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택하는 선택부, 및 상기 선택된 적어도 하나의 서브 픽셀의 각각에 안티 앨리어싱 처리를 수행하여 상기 제1 픽셀의 칼라 값을 계산하는 처리부를 포함하는 영상 처리 장치가 제공된다.

상기 안티 앨리어싱 처리는 수퍼 샘플링 연산일 수 있다.

본 발명의 일 실시예에 따르면, 상기 선택부는, 상기 제1 픽셀 및 상기 제1 픽셀과 이웃하는 8 개의 픽셀에 대해, 각각 1 개의 레이를 이용한 레이 트레이싱 을 수행하여, 상기 제1 픽셀 및 상기 이웃하는 8개의 픽셀의 각각에 대해 초기 칼라 값(initial color value) 및 특성 값(characteristic value)을 계산하고, 상기 제1 픽셀의 특성 값과 상기 이웃하는 8 개의 픽셀의 각각의 특성 값을 비교하여 상기 제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택한다.

한편, 상기 특성 값은, 상기 1 개의 레이가 충돌하는 오브젝트의 오브젝트 아이디에 의해 결정될 수 있다. 나아가 상기 특성 값은, 상기 1 개의 레이가 충돌하는 오브젝트 부분의 노말(Normal) 벡터 값, 섀도우 카운트(Shadow Count), 또는 텍스쳐 상태 값(Texture State) 중 적어도 하나에 의해 결정될 수도 있다.

본 발명의 일 실시예에 따르면, 상기 선택부는, 상기 제1 픽셀 및 상기 이웃하는 8 개의 픽셀 들의 초기 칼라 값의 차이가 제1 임계치 이상인 경우, 상기 제1 픽셀의 특성 값과 상기 이웃하는 8 개의 픽셀의 각각의 특성 값을 비교하여 상기 제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택한다.

본 발명의 다른 일 실시예에 따르면, 상기 선택부는, 상기 복수 개의 서브 픽셀 중, 서브 픽셀의 노말 방향과 오브젝트의 교점 부분의 노말 벡터와 상기 픽셀의 노말 벡터의 내적(inner product)이 제2 임계 값 이하인 경우, 상기 서브 픽셀을 상기 적어도 하나의 서브 픽셀로 선택한다.

본 발명의 일 실시예에 따르면, 상기 영상 처리 장치는 상기 선택부에 의해 선택된 적어도 하나의 서브 픽셀을 버퍼 메모리에 순차적으로(Sequentially) 저 장하는 버퍼 메모리를 더 포함하고, 상기 계산부는, 상기 버퍼 메모리에 저장된 상기 적어도 하나의 서브 픽셀에 대해 SIMD 방식, 또는 multi-threading과 같은 빠르고 효율적인 병렬처리 방식으로 수퍼 샘플링을 수행하고, 상기 수퍼 샘플링 결과와 상기 제1 픽셀의 초기 칼라 값의 선형 합으로써 상기 제1 픽셀의 칼라 값을 계산한다.

본 발명의 일 실시예에 따르면, 제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택하는 단계, 상기 선택된 적어도 하나의 서브 픽셀의 각각에 안티 앨리어싱 처리를 수행하여 상기 제1 픽셀의 칼라 값을 계산하는 단계를 포함하는 영상 처리 방법이 제공된다. 상기 안티 앨리어싱 처리는 수퍼 샘플링 연산일 수 있다.

본 발명의 일부 실시예에 따르면, 안티 앨리어싱 처리를 수행할 픽셀을 복수 개의 서브 블록으로 분할하고, 그 중에서 수퍼 샘플링을 수행할 필요가 있는 일부 서브 블록만 선별적으로 수퍼 샘플링을 수행함으로써, 불필요한 연산량을 줄일 수 있다. 따라서, 연산 양에 대비한 안티 앨리어싱 능력을 최대할 수 있다.

본 발명의 다른 일부 실시예에 따르면, 선별적인 수퍼 샘플링을 위해 선택되는 서브 블록을 처리함에 있어서, 버퍼 메모리에 서브 블록 정보를 저장하는 방법을 개선함으로써 레이 트레이싱에 있어서의 병렬 처리(이를테면, Single Instruction Multiple Data, SIMD)가 이루어질 수 있다.

이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한다.

본 발명의 일 실시예에 따르면, 영상 처리 장치(100)는, 선택부(110), 처리부(120) 및 버퍼 메모리(140)을 포함할 수 있다.

선택부(110)는, 현재 픽셀(Current pixel) 내에 포함되는 복수 개의 서브 픽셀들 중, 안티 앨리어싱 처리를 수행할 적어도 하나의 서브 픽셀을 선택한다.

처리부(120)는, 상기 현재 픽셀 및 상기 현재 픽셀의 이웃 픽셀들에 대하여, 1회씩 레이 트레이싱을 수행하여(1-Ray Sampling) 초기 칼라 값들을 계산하고, 상기 선택부(110)가 선택한 서브 픽셀들에 대해 추가적인 복수 회의 레이 트레이싱을 수행하여 추가적 칼라 값들을 계산하며, 또한 상기 계산 결과들을 이용하여, 수퍼 샘플링 처리 된 칼라 값들을 계산한다.

본 발명의 일 실시예에 따르면, 처리부(120)가 전체 픽셀에 대해, 각 1 회의 레이 트레이싱(1-Ray Sampling)을 수행한다. 그러면, 각 픽셀의 초기 칼라 값이 계산된다. 상기 초기 칼라 값은, 안티 앨리어싱 처리가 수행되지 않은 값이다.

그리고, 선택부(110)는 각 픽셀들의 특성 값을 계산한다. 특성 값의 경우, 이를테면, 프라이머리 레이가 충돌하는 오브젝트의 오브젝트 ID, 노말 벡터, 섀도우 카운트, 또는 텍스쳐 스태이트 등일 수 있다. 특성 값에 대해서는, 도 4를 참조하여 보다 상세히 후술한다.

다음으로, 선택부(110)가, 복수 개의 서브 픽셀들 중 안티 앨리어싱 처리를 수행할 적어도 하나의 서브 픽셀을 선택한다. 이 경우, 특성 값의 차이에 기초하여 결정될 수 있으며, 칼라 디퍼런스(color difference)에 따른 임계치가 적용될 수도 있다. 역시 보다 상세한 내용은 후술한다.

버퍼 메모리(140)는, 상기 선택부(110)가 선택한 서브 픽셀들을 저장하며, 본 발명의 일 실시예에 따르면, 병렬 처리에 적합하도록 순차적 저장(Sequentially write) 방식에 따른다.

본 발명의 일 실시예에 따르면, 영상 처리 장치(100)는, 메인 메모리(130)를 더 포함하며, 상기 메인 메모리(130)는 3D 모델링 오브젝트의 기하(Geometry) 정보, 및 칼라 정보를 저장하고 있으며, 현재 랜더링하고자 하는 시점의 정보, 영상 처리 장치의 구동 프로그램(알고리즘) 등을 저장할 수 있다.

각 구성의 보다 상세한 동작은, 도 2 내지 도 5를 참조하여 후술한다.

도 2는 본 발명의 일 실시예에 의해 안티 앨리어싱 처리되는 픽셀과 3D 모델링 오브젝트를 도시한다.

픽셀(200) 내지 픽셀(280)은 레이 트레이싱을 이용하여 칼라 값을 계산할 픽셀들이다. 각 픽셀 마다 1 개의 레이를 이용하여 레이 트레이싱을 수행하는 경우, 각 픽셀에서 출발하는 프라이머리 레이(Primary Ray)는 오브젝트 1 또는 오브젝트 2에 최초로 충돌한다. 프라이머리 레이는 랜더링하고자 하는 시점(또는 카메라)로부터 출발하여 오브젝트에 처음으로 충돌할 레이이다.

본 실시예에서 오브젝트 1과 오브젝트 2의 경계선이 라인(290)이다. 이 경 우, 픽셀(210) 내의 임의의 한 포인트(이를 테면, 중심 포인트)로부터 1 개의 레이를 이용하여 충돌하는 오브젝트를 체크한다. 이 경우 픽셀(210)은 오브젝트 1에 충돌한다. 만약 3D 모델링이 폴리곤(Polygon), 이를테면 삼각형 기반으로 이루어진 것이라면, 픽셀(210)의 중심 포인트로부터 출발한 레이가 최초로 부딪히는 삼각형의 오브젝트 아이디(Object ID)가 오브젝트 1에 해당하는 값이 된다.

마찬가지로 픽셀(220) 내지 픽셀(240)의 경우, 각각의 중심 포인트로부터 출발한 1 개의 샘플링 레이가 충돌하는 삼각형의 오브젝트 아이디는 오브젝트 1에 해당하는 값이 된다. 도 2에서는 샘플링 레이가 최초로 충돌하는 오브젝트가 오브젝트 1인 경우를 검은색 포인트로 표현되었다.

한편 픽셀(200), 및 픽셀(250) 내지 픽셀(280)의 경우, 각각의 중심 포인트로부터 출발한 1 개의 샘플링 레이가 충돌하는 삼각형의 오브젝트 아이디는 오브젝트 2에 해당하는 값이 된다. 샘플링 레이가 최초로 충돌하는 오브젝트가 오브젝트 2인 경우를 흰색 포인트로 표현되었다.

이처럼, 각 픽셀로부터 1 개의 샘플링 레이를 통해 레이 트레이싱을 수행하여, 칼라 값을 얻는 경우, 각 픽셀 하나 하나는 고유의 초기 칼라 값을 가지게 되므로, 오브젝트 1과 오브젝트 2의 경계인 라인(290)의 표현이 어렵다. 이는 3D 모델링의 정밀도에 비해 픽셀 해상도(resolution)이 작기 때문이다. 때문에 앨리어싱 현상이 발생된다. 본 실시예의 경우, 앨리어싱의 발생은 도 3을 통해 이해될 수 있다.

도 3은 앨리어싱 현상을 설명하기 위한 개념도이다.

픽셀 당 1 개의 레이를 이용하여, 초기 칼라 값을 결정(샘플링)하는 경우, 상기 도 2의 9 개의 픽셀들 중, 픽셀(210) 내지 픽셀(240)은 오브젝트 1에 대응하여 초기 칼라 값이 결정되고, 픽셀(200) 및 픽셀(250) 내지 픽셀(280)은 오브젝트 2에 대응하여 초기 칼라 값이 결정된다.

이 경우, 오브젝트 1에 대응하여 초기 칼라 값이 결정되는 픽셀들(310)은 서로 유사한 초기 칼라 값을 갖고, 오브젝트 2에 대응하여 초기 칼라 값이 결정되는 픽셀들(320)도 서로 유사한 초기 칼라 값을 갖는다.

따라서, 도 2의 오브젝트들 간의 경계인 라인(290)과는 달리, 픽셀들(310)과 픽셀들(320)의 경계는 계단형으로 표현된다. 이러한 현상을 앨리어싱이라 할 수 있다. 그리고, 픽셀 들 각각에 대해서, 1 개의 레이가 아닌 복수 개(이를 테면, 4개, 16개 등)의 샘플링 레이를 이용하여 레이 트레이싱을 수행하고, 복수 개의 샘플링 레이에 의해 계산되는 초기 칼라 값의 평균을 해당 픽셀의 칼라 값으로 결정하는 것을 수퍼 샘플링이라 한다.

기존의 수퍼 샘플링을 이용한 안티 앨리어싱 방법은, 랜더링하고자 하는 영상의 모든 픽셀에 대하여 복수 개의 샘플링 레이를 이용한 수퍼 샘플링을 수행하거나, 또는 오브젝트 간의 경계 부분의 픽셀들을 추출하여 추출된 각 픽셀에 대해서 픽셀 단위로 수퍼 샘플링을 수행하였다.

본 발명의 일 실시예에 따르면, 픽셀 단위로 수퍼 샘플링을 수행하지 않고, 하나의 픽셀을 복수 개(이를 테면 4 개)의 서브 픽셀로 분할하여, 서브 픽셀 단위로 수퍼 샘플링을 수행한다.

본 실시예에 대한 보다 상세한 설명은, 도 4를 참조하여 후술한다.

도 4는 본 발명의 일 실시예에 따라, 도 2의 픽셀(200)을 구성하는 복수 개의 서브 픽셀(서브 픽셀(201) 내지 서브 픽셀(204)) 중 수퍼 샘플링을 이용한 안티 앨리어싱을 수행할 픽셀을 선택하는 과정을 도시한다.

본 발명의 일 실시예에 따르면, 현재 칼라 값 계산의 대상이 되는 픽셀인 픽셀(200)을, 4분할 하여 서브 픽셀(201) 내지 서브 픽셀(204)로 나누어 처리 한다.

먼저, 픽셀 별로 1 개의 샘플링 레이를 이용한 레이 트레이싱을 수행하여 초기 칼라 값(Initial color value)이 계산된다.

또한, 상기 각 픽셀들 마다 특성 값(Characteristic value)이 계산된다. 상기 특성 값은, 각 픽셀이 오브젝트들 간의 경계(boundary)에 가까운 지의 여부를 판단하는 데에 기초 자료가 되는 값이다.

이를 테면, 상기 특성 값은, 샘플링 레이가 최초로 충돌하는 오브젝트의 오브젝트 아이디(Object ID) 값일 수 있다. 도 4에 도시된 바와 같이, 픽셀(210) 내지 픽셀(240)의 샘플링 레이들이 모두 오브젝트 1에 최초로 충돌하는 경우, 픽셀(210) 내지 픽셀(240)의 특성 값은 서로 동일하다. 이 부분은 검은색 포인트로 표시되었다.

한편, 픽셀(200) 및 픽셀(250) 내지 픽셀(280)의 샘플링 레이들이 모두 오브젝트 2에 최초로 충돌하는 경우, 픽셀(200) 및 픽셀(250) 내지 픽셀(280)의 특성 값은 서로 동일하다. 이 부분은 흰색 포인트로 표시되었다.

이 경우, 안티 앨리어싱을 위한 수퍼 샘플링을 수행하고자 하는 현재 픽셀(Current Pixel)인 픽셀(200)의 경우, 픽셀(210) 내지 픽셀(240)과는 특성 값이 다르고, 픽셀(250) 내지 픽셀(280)과는 특성 값이 같다.

통상 오브젝트가 서로 다른 부분, 즉 오브젝트들 간의 경계 부분의 픽셀들이 앨리어싱이 발생할 확률이 높은 픽셀들이므로, 상기 특성 값이 샘플링 레이가 충돌하는 오브젝트 아이디에 의해 결정되는 예를 설명하였으나, 본 발명이 이에 한정되는 것은 아니다.

이를 테면, 각 샘플링 레이가 최초로 충돌하는 오브젝트의 삼각형의 노말(Normal) 방향 유닛 벡터가 상기 특성 값이 될 수 있다. 이 경우 특성 값의 비교는, 벡터의 내적(inner product)을 구해서 수행된다. 인접한 두 픽셀의 특성 값들인 두 벡터 간의 내적이 크다면(1에 가깝다면), 상기 두 픽셀은 동일한 오브젝트에 대응될 확률이, 크고 동일한 오브젝트 내에서도 곡률(curvature)이 완만하여 edge 성분이 나타날 가능성이 적어지므로 aliasing 가능성도 낮아질 수 있다.

반대로, 상기 두 픽셀의 특성 값들인 두 벡터 간의 내적이 작다면(0에 가깝거나, 또는 음수로 간다면), 상기 두 픽셀은 동일한 오브젝트 내에서는 곡률(curvature)이 커지므로 edge 성분이 나타날 가능성이 높아 aliasing 이 생길 가능성도 높아지거나, 서로 다른 오브젝트에 대응될 확률이 크다. 예를 들어, 상기 두 픽셀의 특성 값들인 두 벡터 간의 내적이 일정한 임계치(이를 테면 0.4) 미만인 경우라면, 상기 두 픽셀은 서로 다른 오브젝트들 간의 경계 부분으로 판단될 수 있거나 동일한 오브젝트 내에서라도 경계 부분으로 판단될 수 있으며, 따라서 안티 앨리어싱을 수행할 필요가 크다.

본 발명의 다른 일 실시예에 따르면, 상기 오브젝트 아이디나 상기 노말 벡터 이외에도, 단독으로 또는 함께, 상기 특성 값을 결정하는 데에 사용될 수 있는 인자(factor)들이 있을 수 있다.

이를테면, 상기 특성 값을 결정하는 인자에는 샘플링 레이가 충돌하는 부분의 섀도우 카운트(Shadow count) 또는 텍스쳐 상태(Texture state) 등이 있을 수 있다. 그림자 부분과 그 외 부분의 경계에서 앨리어싱이 발생될 수 있고, 또는 텍스쳐 상태가 크게 차이가 난다면 서로 다른 오브젝트에 대응하는 픽셀일 수 있기 때문이다.

그리고, 상기 특성 값의 결정에는 프라이머리 레이(Primary Ray)뿐만 아니라, 세컨더리 레이(Second Ray)에 따른, 오브젝트 아이디, 노말 벡터, 섀도우 카운트 또는 텍스쳐 상태 등이 고려될 수도 있다.

한편, 본 발명의 일 실시예에 따르면, 상기 현재 픽셀(200)과 이웃 픽셀들(210 내지 280)의 특성 값의 차이의 비교에 따른 경계 부분 픽셀인지의 여부(즉, 안티 앨리어싱을 수행할 픽셀 또는 서브 픽셀인지의 여부)는, 픽셀(200)과 이웃 픽셀들의 초기 칼라 값 차이가 제1 임계 값 이상인 경우에만 결정된다.

상기 제1 임계 값은, 특성 값을 결정하는 인자(이를 테면, 오브젝트 아이디, 노말 벡터, 등)에 따라, 다르게 설정될 수도 있다.

예를 들어, 오브젝트 아이디에 의해 특성 값이 결정되는 경우, 상기 제1 임계 값을 0으로 둘 수 있다. 이 경우는, 픽셀(200)과 이웃 픽셀들(210 내지 280) 사이의 초기 칼라 값 차이가 아무리 작더라도, 오브젝트 아이디로 결정되는 특성 값이 다르면 경계 픽셀로 결정될 수 있다.

반면, 특성 값이 텍스쳐 상태에 의해서 결정된 것인 경우, 상기 제1 임계 값을 0.5 정도로 설정하여, 두 픽셀 간의 초기 칼라 값이 상당한 차이가 있으며, 동시에 특성 값도 일정한 정도 이상의 차이가 나는 경우에, 두 픽셀이 경계 부분의 픽셀로 결정될 수 있다.

이상과 같이, 특성 값 결정에 대한 인자는 여러 가지가 있으며, 각 픽셀과 그 이웃 픽셀의 칼라 값 차이(Color difference)에 따라 일정한 임계치가 적응적으로(adaptively) 설정될 수 있다.

본 발명의 일 실시예에 따르면, 현재 픽셀(200)의 특성 값과, 이웃하는 픽셀들의 특성 값이 비교되어, 상기 현재 픽셀(200)의 4 개의 서브 픽셀들(201 내지 204) 각각의 안티 앨리어싱 처리 여부(수퍼 샘플링 여부)가 결정된다.

서브 픽셀(201)이 안티 앨리어싱 처리가 수행되어야 할 지의 여부는, 현재 픽셀(200)과, 상기 픽셀(200)의 좌측 픽셀(Left Pixel)(240), 윗쪽 픽셀(Top pixel)(220), 및 좌상 픽셀(Left-Top Pixel)의 특성 값들을 비교함으로써 결정된다.

특성 값의 차이에 따른 안티 앨리어싱 여부에 있어서는, 낙관적 판단(Optimistic determination)과 비관적 판단(Pessimistic determination)이 가능하다.

전자는 현재 픽셀(200)의 특성 값과 상기 세 개의 이웃 픽셀들(210, 220, 및 240)의 특성 값들의 차이들이 모두 일정 기준 이상일 때, 서브 픽셀(201)을 안티 앨리어싱 처리를 수행할 서브 픽셀로 결정한다.

반대로 후자는 현재 픽셀(200)의 특성 값과 상기 세 개의 이웃 픽셀들(210, 220, 및 240)의 특성 값들의 차이들 중, 어느 하나라도 일정 기준 이상이라면, 서브 픽셀(201)을 안티 앨리어싱 처리를 수행할 서브 픽셀로 결정한다.

본 발명의 일 실시예에 따르면, 상기 비관적 판단에 의해, 어느 한 서브 픽셀(201)과 인접하는 세 개의 픽셀들 중, 상기 한 서브 픽셀(201)이 속하는 현재 픽셀(200)과 특성 값이 일정 이상 차이가 나는 픽셀이 하나라도 있다면, 그 서브 픽셀(201)에 대해서는 안티 앨리어싱을 위한 수퍼 샘플링을 수행하는 것으로 결정한다.

상기 기준에 의할 때, 서브 픽셀(202)와 서브 픽셀(203)은 안티 앨리어싱을 위한 수퍼 샘플링을 수행하는 것으로 결정되며, 서브 픽셀(204)에 대해서는 수퍼 샘플링을 수행하지 않는 것으로 결정된다.

한편, 본 발명의 다른 일 실시예에 따르면, 상기 특성 값을 사용하지 않고, 현재 픽셀에서 출발한 프라이머리 레이가 충돌하는 오브젝트의 노말 벡터와, 프라이머리 레이 방향의 유닛 벡터의 내적을 계산하여, 상기 내적의 절대 값이 제2 임계치(이를 테면 0.1) 이하인 경우, 상기 픽셀을 수퍼 샘플링을 수행할 대상을 선택할 수 있다.

또한, 서브 픽셀 단위로 결정하는 경우에도, 상기와 같이, 각 서브 픽셀 마다 하나의 샘플링 레이를 출발시켜서, 충돌하는 부분의 노말 벡터와, 샘플링 레이 방향의 유닛 벡터의 내적을 계산하고, 제2 임계치와 비교함으로써, 수퍼 샘플링을 수행할 서브 픽셀을 선택할 수 있다.

본 발명의 일 실시예에 따르면, 수퍼 샘플링을 수행하는 것으로 결정된 서브 픽셀 당 4 번의 추가적인 레이 트레이싱을 수행한다. 다만, 서브 픽셀 당 추가적인 레이 트레이싱의 횟수는 예시적인 것이며, 얼마든지 다른 수로 결정될 수 있다.

또한 실시예에 따라서는, 서브 픽셀(201), 서브 픽셀(202) 및 서브 픽셀(203) 각각에 적용되는 추가적 레이 트레이싱의 횟수가 다르게 적용될 수 도 있다. 이 경우는, 현재 픽셀(200)과 특성 값이 일정 이상 차이 나는 이웃 픽셀들을 보다 많이 접하고 있는 서브 픽셀에 보다 많은 추가적 레이 트레이싱을 수행하는 것도 가능하다.

구체적으로 추가적 레이 트레이싱을 수행하는 과정은 도 5를 참조하여 후술한다.

도 5는 본 발명의 일 실시예에 따라, 서브 픽셀 단위로 수퍼 샘플링을 수행하는 과정을 도시한다.

서브 픽셀(201)에 대해 4 번의 추가적인 레이 트레이싱이 수행되었다. 본 실시예에서, 상기 4 번의 추가적인 레이 트레이싱 각각에 의해 결정되는 칼라 값들(C11, C12, C13, 및 C14)이 계산된다. 이 경우, 상기 4 번의 추가적인 레이 트레이싱에 의해, 모두 오브젝트 1과의 최초 충돌이 발생 되었다.

서브 픽셀(202)에 대해서도 4 번의 추가적인 레이 트레이싱이 수행되었다. 상기 4 번의 추가적인 레이 트레이싱 각각에 의해 결정되는 칼라 값들(C21, C22, C23, 및 C24)이 계산된다. 이 경우, 상기 4 번의 추가적인 레이 트레이싱에 의해, 한 번은 오브젝트 1과의 최초 충돌이 발생 되고, 세 번은 오브젝트 2와의 최초 충돌이 발생 되었다.

서브 픽셀(203)에 대해서도 4 번의 추가적인 레이 트레이싱이 수행되었다. 상기 4 번의 추가적인 레이 트레이싱 각각에 의해 결정되는 칼라 값들(C31, C32, C33, 및 C34)이 계산된다. 이 경우, 상기 4 번의 추가적인 레이 트레이싱에 의해, 한 번은 오브젝트 1과의 최초 충돌이 발생 되고, 세 번은 오브젝트 2와의 최초 충돌이 발생 되었다.

한편, 현재 픽셀(200)의 초기 칼라 값이 C0라고 하면, 현재 픽셀(200)의 보정 후 칼라 값(C)은 아래 수학 식과 같이 결정될 수 있다.

[수학식 1]

상기 수학식 1에서와 같이, C 값은, 추가적인 레이 트레이싱을 통해 계산된 칼라 값들에 가중치를 곱해 주고, 이들의 선형 합으로서 구해질 수 있다.

이상 도 5 내지 도 6을 참조하여 서술한 실시예에서는, 현재 픽셀(200)에 대한 안티 앨리어싱 처리 이후의 칼라 값 C를 구하는 과정을 서술하였으나, 이는 다른 픽셀들에도 동일하게 적용될 수 있다.

이를 테면, 픽셀(210)의 안티 앨리어싱 처리 이후의 칼라 값을 구하는 경 우, 픽셀(210)을 복수 개(이를테면, 4개)의 서브 픽셀로 나누고, 픽셀(210)의 특성 값과 다른 특성 값을 갖는 픽셀(200)과 인접하는 우측 하단의 서브 픽셀(Right Bottom Subpixel)(도시되지 않음)에 대해서만 추가적으로 4 번의 레이 트레이싱을 수행할 수 있다. 이 경우, 상기 픽셀(210)의 초기 칼라 값을 C0', 상기 추가적인 4 번의 레이 트레이싱에 의해 계산된 칼라 값이 C41, C42, C43, 및 C44라 하고, 상기 픽셀(210)의 안티 앨리어싱(수퍼 샘플링) 이후의 칼라 값을 C'이라 하면, C'은 아래 수학식과 같이 결정될 수 있다.

[수학식 2]

도 6은 본 발명의 일 실시예에 따라, 9 개의 픽셀을 이루는 36개의 서브 픽셀 중 안티 앨리어싱을 수행할 16 개의 서브 픽셀이 선택된 모습을 도시한다.

도 6의 픽셀(210) 내지 픽셀(290)의 각각을 4 개의 서브 픽셀들로 나누어 36개의 서브 픽셀들을 고려하고, 상기 36 개의 서브 픽셀들 중, 상기 도 4 내지 도 5를 참조하여 설명한 실시예들에 따른 방법에 의해 수퍼 샘플링을 수행할 서브 픽셀을 선택하였다. 총 16 개의 서브 픽셀들(gray 부분)이 선택되었다.

도 7은 본 발명의 일 실시예에 따라 선택된, 안티 앨리어싱을 수행할 서브 픽셀이 버퍼 메모리에 저장되는 모습을 도시하는 개념도이다.

본 발명의 일 실시예에 따르면, 도 6에서 선택된 16 개의 서브 픽셀들은 버퍼 메모리(700) 내에서 도 7과 같은 모습으로 저장될 수도 있다. 이러한 저장 방 식은 별도의 동기화, 위치 변환에 따른 추가 저장 데이터가 요구되지 않으므로, 장점이 있다. 그러나, 선택된 서브 픽셀들을 도 7에서와 같이 저장하는 경우, 멀티 쓰레드(multi thread)와 같은 병렬 처리 환경에서는 비효율적이다. 블록 단위로 병렬 처리를 통해, 수퍼 샘플링을 수행하는 경우, 서브 픽셀들이 저장되지 않은 부분에 대해서는 낭비가 발생하기 때문이다.

따라서, 효율성을 높이기 위해 본 발명의 다른 실시예에서는, 서브 픽셀들이 버퍼 메모리에 저장되는 방식이 다를 수 있다. 다른 실시예의 경우가 도 8에서 도시된다.

도 8은 본 발명의 일 실시예에 따라 선택된, 안티 앨리어싱을 수행할 서브 픽셀이 버퍼 메모리에 순차적으로 저장되는 모습을 도시하는 개념도이다.

선택된 16 개의 서브 픽셀들이 순차적으로(Sequentially) 버퍼 메모리(800)에 저장되었으며, 마지막에는 표시 태그(Indicating tag)가 저장되었다. 이러한 버퍼 메모리 내의 저장 방식은 멀티 쓰레딩, SIMD 등의 병렬 처리에 바람직하다.

도 9는 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.

단계(S910)에서 현재 픽셀(이를테면, 도 4의 픽셀(200)) 내의 복수 개의 서브 픽셀(201 내지 204) 중, 안티 앨리어싱 처리를 수행할 서브 픽셀(201, 202 및 203)이 선택된다.

상기 단계(S910)에서 안티 앨리어싱 처리를 수행할 서브 픽셀을 선택하는 과정은, 도 4를 참조하여 전술한 바와 같다.

단계(S920)에서 상기 선택된 서브 픽셀(201, 202 및 203)에 대해 수퍼 샘플 링이 수행된다. 선택된 서브 픽셀 마다 복수 회의 추가적인 레이 트레이싱을 수행하여, 추가적인 칼라 값이 계산된다. 이 과정은, 도 5를 참조하여 전술한 바와 같다.

단계(S930)에서, 상기 추가적인 칼라 값들에 가중치를 주고, 이들의 선형 합을 구하여 최종 칼라 값을 계산한다. 보다 상세한 과정은, 도 5 및 수학식 1 내지 수학식 2를 참조하여 전술한 바와 같다.

도 10은 본 발명의 일 실시예에 따라, 도 9의 단계(S910)을 수행하는 과정을 세분하여 도시한다.

단계(S1010)에서, 전체 픽셀에 대해, 각 1 회의 레이 트레이싱(1-Ray Sampling)이 수행된다. 그러면, 각 픽셀의 초기 칼라 값이 계산된다.

상기 초기 칼라 값은, 안티 앨리어싱 처리가 수행되지 않은 값이다.

단계(S1020)에서 각 픽셀들의 특성 값이 계산된다. 특성 값의 경우, 이를테면, 프라이머리 레이가 충돌하는 오브젝트의 오브젝트 ID, 노말 벡터, 섀도우 카운트, 또는 텍스쳐 스태이트 등일 수 있다. 특성 값에 대한 보다 상세한 내용은, 도 4를 참조하여 상술한 바와 같다.

단계(S1030)에서, 복수 개의 서브 픽셀들 중, 안티 앨리어싱 처리를 수행할 서브 픽셀이 선택된다. 이 경우, 특성 값의 차이에 기초하여 결정될 수 있으며, 칼라 디퍼런스(color difference)에 따른 임계치가 적용될 수도 있음은, 상술한 바와 같다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 3은 앨리어싱 현상을 설명하기 위한 개념도이다.

도 4는 본 발명의 일 실시예에 따라, 특정 픽셀을 구성하는 복수 개의 서브 픽셀 중 안티 앨리어싱을 수행할 픽셀을 선택하는 과정을 도시한다.

도 10은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.

Claims

제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택하는 선택부; 및

상기 선택된 적어도 하나의 서브 픽셀의 각각에 안티 앨리어싱 처리를 수행하여 상기 제1 픽셀의 칼라 값을 계산하는 처리부

를 포함하는 영상 처리 장치.
제1항에 있어서,

상기 안티 앨리어싱 처리는 수퍼 샘플링 연산인 영상 처리 장치.
제1항에 있어서,

상기 선택부는,

상기 제1 픽셀 및 상기 제1 픽셀과 이웃하는 8 개의 픽셀에 대해, 각각 1 개의 레이를 이용한 레이 트레이싱을 수행하여, 상기 제1 픽셀 및 상기 이웃하는 8개의 픽셀의 각각에 대해 초기 칼라 값(initial color value) 및 특성 값(characteristic value)을 계산하고,

상기 제1 픽셀의 특성 값과 상기 이웃하는 8 개의 픽셀의 각각의 특성 값을 비교하여 상기 제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택하는 영상 처리 장치.
제3항에 있어서,

상기 특성 값은, 상기 1 개의 레이가 충돌하는 오브젝트의 오브젝트 아이디에 의해 결정되는 영상 처리 장치.
제3항에 있어서,

상기 특성 값은, 상기 1 개의 레이가 충돌하는 오브젝트 부분의 노말(Normal) 벡터 값, 섀도우 카운트(Shadow Count), 또는 텍스쳐 상태 값(Texture State) 중 적어도 하나에 의해 결정되는 영상 처리 장치.
제3항에 있어서,

상기 선택부는,

상기 제1 픽셀 및 상기 이웃하는 8 개의 픽셀 들의 초기 칼라 값의 차이가 제1 임계치 이상인 경우, 상기 제1 픽셀의 특성 값과 상기 이웃하는 8 개의 픽셀의 각각의 특성 값을 비교하여 상기 제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택하는 영상 처리 장치.
제1항에 있어서,

상기 선택부는,

상기 복수 개의 서브 픽셀 중, 서브 픽셀의 노말 방향과 오브젝트의 교점 부분의 노말 벡터와 상기 픽셀의 노말 벡터의 내적(inner product)이 제2 임계 값 이하인 경우, 상기 서브 픽셀을 상기 적어도 하나의 서브 픽셀로 선택하는 영상 처리 장치.
제1항에 있어서,

상기 영상 처리 장치는 상기 선택부에 의해 선택된 적어도 하나의 서브 픽셀을 버퍼 메모리에 순차적으로(Sequentially) 저장하는 버퍼 메모리를 더 포함하고,

상기 계산부는, 상기 버퍼 메모리에 저장된 상기 적어도 하나의 서브 픽셀에 대해 SIMD 방식으로 수퍼 샘플링을 수행하고, 상기 수퍼 샘플링 결과와 상기 제1 픽셀의 초기 칼라 값의 선형 합으로써 상기 제1 픽셀의 칼라 값을 계산하는 영상 처리 장치.
제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택하는 단계;

상기 선택된 적어도 하나의 서브 픽셀의 각각에 안티 앨리어싱 처리를 수행하여 상기 제1 픽셀의 칼라 값을 계산하는 단계

를 포함하는 영상 처리 방법.
제9항에 있어서,

상기 안티 앨리어싱 처리는 수퍼 샘플링 연산인 영상 처리 방법.
제9항에 있어서,

상기 적어도 하나의 서브 픽셀을 선택하는 단계는,

상기 제1 픽셀 및 상기 제1 픽셀과 이웃하는 8 개의 픽셀에 대해, 각각 1 개의 레이를 이용한 레이 트레이싱을 수행하여, 상기 제1 픽셀 및 상기 이웃하는 8개의 픽셀의 각각에 대해 초기 칼라 값 및 특성 값을 계산하는 단계; 및

상기 제1 픽셀의 특성 값과 상기 이웃하는 8 개의 픽셀의 각각의 특성 값을 비교하여 상기 제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택하는 단계

를 포함하는 영상 처리 방법.
제11항에 있어서,

상기 특성 값은, 상기 1 개의 레이가 충돌하는 오브젝트의 오브젝트 아이디에 의해 결정되는 영상 처리 방법.
제11항에 있어서,

상기 특성 값은, 상기 1 개의 레이가 충돌하는 오브젝트 부분의 노말(Normal) 벡터 값, 섀도우 카운트, 또는 텍스쳐 상태 값 중 적어도 하나에 의해 결정되는 영상 처리 방법.
제11항에 있어서,

상기 제1 픽셀 및 상기 이웃하는 8 개의 픽셀 들의 초기 칼라 값의 차이가 제1 임계치 이상인 경우, 상기 제1 픽셀의 특성 값과 상기 이웃하는 8 개의 픽셀의 각각의 특성 값을 비교하여 상기 제1 픽셀에 포함되는 복수 개의 서브 픽셀 중 안티 앨리어싱 처리가 수행될 적어도 하나의 서브 픽셀을 선택하는 영상 처리 방법.
제9항에 있어서,

상기 적어도 하나의 서브 픽셀을 선택하는 단계는,

상기 복수 개의 서브 픽셀 중, 서브 픽셀의 노말 방향과 오브젝트의 교점 부분의 노말 벡터와 상기 픽셀의 노말 벡터의 내적(inner product)이 제2 임계 값 이하인 경우, 상기 서브 픽셀을 상기 적어도 하나의 서브 픽셀로 선택하는 영상 처리 방법.
제9항에 있어서,

상기 제1 픽셀의 칼라 값을 계산하는 단계는,

상기 선택된 적어도 하나의 서브 픽셀을 버퍼 메모리에 순차적으로(Sequentially) 저장하는 단계;

상기 저장된 상기 적어도 하나의 서브 픽셀에 대해 SIMD 방식으로 수퍼 샘플링을 수행하는 단계; 및

상기 수퍼 샘플링 결과와 상기 제1 픽셀의 초기 칼라 값의 선형 합으로써 상기 제1 픽셀의 칼라 값을 계산하는 단계

를 포함하는 영상 처리 방법.
제9항 내지 제16항 중 어느 한 항에 있어서,

상기 영상 처리 방법을 수행하는 프로그램을 수록하는 컴퓨터 판독 가능 기록 매체.