KR20110089565A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20110089565A
KR20110089565A KR1020100009025A KR20100009025A KR20110089565A KR 20110089565 A KR20110089565 A KR 20110089565A KR 1020100009025 A KR1020100009025 A KR 1020100009025A KR 20100009025 A KR20100009025 A KR 20100009025A KR 20110089565 A KR20110089565 A KR 20110089565A
Authority
KR
South Korea
Prior art keywords
geometric information
pixel
similar
determining
geometry
Prior art date
Application number
KR1020100009025A
Other languages
English (en)
Other versions
KR101653203B1 (ko
Inventor
박찬민
손성진
임인성
차득현
Original Assignee
삼성전자주식회사
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서강대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020100009025A priority Critical patent/KR101653203B1/ko
Priority to US12/968,896 priority patent/US8836695B2/en
Publication of KR20110089565A publication Critical patent/KR20110089565A/ko
Application granted granted Critical
Publication of KR101653203B1 publication Critical patent/KR101653203B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

영상 처리 장치가 제공된다. 렌더링하고자 하는 영상의 픽셀 중 복수 개의 참조 픽셀에 대해 통상적인 방법에 의해 레이 트레이싱이 수행된다. 그리고, 상기 참조 픽셀이 아닌 픽셀에 대해서는 주변의 참조 픽셀의 레이 트레이싱 결과를 참조하여 기하정보가 보간될 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
3D 모델로 구성된 오브젝트에 대한 렌더링에 연관되며, 보다 특정하게는 레이 트레이싱(Ray tracing) 기법에 의한 렌더링에 연관된다.
3D (3-Dimensional) 모델을 렌더링 하는 기법 중 레이 트레이싱(Ray tracing)은, 카메라 뷰(camera view)에서의 픽셀에 대응하는 레이들과 오브젝트 간의 충돌 체크 연산을 수행함으로써 빛의 진행 방향을 역으로 추적하는 방법이다.
이러한 레이 트레이싱은 반사 오브젝트(Reflective object), 이를테면 유리나 매끄러운 금속 면 등을 잘 표현할 수 있으므로 렌더링 된 영상의 품질이 높다. 그러나, 레이의 반사 경로나 투과 경로를 추적하기 위한 충돌 체크에서 많은 연산이 요구되므로, 레이 트레이싱 기법에 의해 3D 모델을 렌더링 하기 위해서는 높은 하드웨어 성능이 필요하다.
특히, 3D 게임이나 가상 현실(Virtual Reality), 또는 가상 세계(Virtual World) 등의 응용을 위해 동적 신(dynamic scene)을 실시간 렌더링 하는 경우, 실시간 레이 트레이싱을 위해 처리되는 연산량이 매우 커서, 통상적인 하드웨어 성능으로는 실시간 레이 트레이싱이 매우 어렵다.
본 발명의 일측에 따르면, 렌더링하고자 하는 영상의 픽셀 중 제1 픽셀 및 제2 픽셀의 각각에 대해 레이 트레이싱 연산을 수행하여, 상기 제1 픽셀에 대응하는 제1 기하정보와 상기 제2 픽셀에 대응하는 제2 기하정보를 계산하는 제1 연산부, 상기 제1 기하정보와 상기 제2 기하정보의 유사성을 판단하는 제2 연산부, 및 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단되는 경우, 상기 제1 기하정보와 상기 제2 기하정보를 이용하여 상기 제1 픽셀과 상기 제2 픽셀에 인접한 제3 픽셀에 대응하는 제3 기하정보를 계산하는 제3 연산부를 포함하는, 영상 처리 장치가 제공된다.
상기 제3 연산부는 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단되는 경우, 상기 제1 기하정보와 상기 제2 기하정보를 선형 보간하여 상기 제3 기하정보를 계산할 수 있다.
본 발명의 일 실시예에 따르면, 상기 제2 연산부는 상기 제1 기하정보의 오브젝트 아이디와 상기 제2 기하정보의 오브젝트 아이디가 동일한 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단할 수 있다.
상기 제2 연산부는 상기 제1 기하정보의 노말 벡터와 상기 제2 기하정보의 노말 벡터의 내적이 제1 임계치 이상인 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단할 수도 있다.
상기 제2 연산부는 상기 제1 기하정보의 포지션으로부터 상기 제2 기하정보의 포지션으로의 제1 방향 벡터 및 상기 제2 기하정보의 포지션으로부터 상기 제1 기하정보의 포지션으로의 제2 방향 벡터를 계산하고, 상기 제1 기하정보의 노말 벡터와 상기 제1 방향 벡터의 내적과, 상기 제2 기하정보의 노말 벡터와 상기 제2 방향 벡터의 내적의 곱이 제2 임계치 이상인 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단할 수도 있다.
한편, 상기 제2 연산부는 상기 제1 기하정보의 포지션으로부터 상기 제2 기하정보의 포지션으로의 제1 방향 벡터 및 상기 제1 픽셀에 대응하는 세컨더리 레이의 방향 벡터를 계산하고, 상기 제1 벡터와 상기 제1 픽셀에 대응하는 세컨더리 레이의 방향 벡터의 내적이 제3 임계치 이상인 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단할 수도 있다.
또한, 상기 제2 연산부는 상기 제1 기하정보의 섀도우 비트와 상기 제2 기하정보의 섀도우 비트가 상이한 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사하지 않은 것으로 판단할 수도 있다.
본 발명의 일 실시예에 따르면, 상기 제1 연산부는 상기 영상을 복수 개의 블록 단위로 분할하고, 상기 복수 개의 블록 중 제1 블록으로부터 상기 제1 픽셀을 선택하고, 상기 복수 개의 블록 중 제2 블록으로부터 상기 제2 픽셀을 선택한다.
본 발명의 다른 일측에 따르면, 렌더링하고자 하는 영상의 픽셀 중 제1 픽셀 및 제2 픽셀의 각각에 대해 레이 트레이싱 연산을 수행하여, 상기 제1 픽셀에 대응하는 제1 기하정보와 상기 제2 픽셀에 대응하는 제2 기하정보를 계산하는 단계, 상기 제1 기하정보와 상기 제2 기하정보의 유사성을 판단하는 단계, 및 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단되는 경우, 상기 제1 기하정보와 상기 제2 기하정보를 이용하여 상기 제1 픽셀과 상기 제2 픽셀에 인접한 제3 픽셀에 대응하는 제3 기하정보를 계산하는 단계를 포함하는, 영상 처리 방법이 제공된다.
레이 트레이싱 기법에 의해 3D 렌더링을 수행하는 경우, 연산 양이 감소되어, 렌더링 속도가 향상된다.
또한 3D 렌더링 연산 효율을 높이기 때문에, 동일한 품질의 영상을 얻기 위해 요구되는 자원(resource)을 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따라 렌더링 하고자 하는 영상의 픽셀들을 도시한다.
도 3은 본 발명의 일 실시예에 따라 오브젝트 아이디에 기초하여 기하정보의 유사성을 판단하는 과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따라 기하정보의 노말 벡터를 비교하여 기하정보의 유사성을 판단하는 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따라 기하정보의 노말 벡터와 위치 정보를 비교하여 기하정보의 유사성을 판단하는 과정을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따라 세컨더리 레이에서 기하정보의 유사성을 판단하는 과정을 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예에 따라 기하정보를 선형 보간하는 과정을 설명하기 위한 개념도이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시하는 흐름도이다.
도 9은 본 발명의 일 실시예에 따른 영상 처리 방법을 이용하여 레이 트레이싱을 수행하는 렌더링 과정을 설명하기 위한 흐름도이다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 도시한다.
기존의 레이 트레이싱 기법을 이용하여 3D 모델을 렌더링 하는 경우, 렌더링 하고자 하는 영상의 각 픽셀 각각으로부터 레이의 진행 경로를 추적하여, 각각의 레이가 상기 3D 모델의 오브젝트 중 어느 부분에서 교차(충돌이라고도 한다)하는 지를 연산하게 된다.
이러한 연산은 상기 각 픽셀에 대응하는 오브젝트 부분의 기하정보를 계산하는 과정인데, 통상적으로 kd tree 등 과 같은 여러 가지 방법을 이용한다.
이러한 연산 알고리즘의 최적화 기법들에 대한 연구가 활발히 이루어져 왔으나, 여전히 레이의 진행 경로를 추적하여 교차하는 오브젝트 부분의 기하정보를 계산하는 과정은 많은 연산량과 대역폭을 요구하므로, 전체 영상 처리 과정에서 병목 부분으로 작용한다.
따라서, 본 발명의 일 실시예에 따른 영상 처리 장치(100)는, 렌더링 하고자 하는 영상의 전체 픽셀에 대해 레이의 진행 경로를 직접 추적하여 기하정보를 계산하지 않고, 일부 샘플 레이(이하에서는 참조 레이라고 한다)에 대해서만 계산하고, 다른 픽셀들에서는 이 연산 결과를 이용함으로써 불필요한 레이 추적 연산을 최소화 한다.
제1 연산부(110)는, 렌더링 하고자 하는 영상의 픽셀들 중 복수 개의 참조 픽셀을 선정하고, 선정된 참조 픽셀들에 대해서는 레이 추적 연산을 수행하여 통상적인 레이 트레이싱을 수행한다.
상기 참조 픽셀을 선정하는 방법은 다양할 수 있으며, 이를테면 상기 영상을 복수 개의 블록으로 분할하고 각 블록 마다 하나의 참조 픽셀을 선정할 수 있다. 블록 분할과 참조 픽셀의 선정에 관한 내용은 도 2를 참조하여 보다 상세히 후술한다.
상기 레이 추적 연산 수행을 통해 참조 픽셀들에 대해서는 프라이머리 레이, 세컨더리 레이 등에 대해 교차하는 오브젝트 부분의 기하정보가 계산된다.
한편, 참조 픽셀로 선정되지 않은 픽셀로서 상기 참조 픽셀들 중 제1 픽셀과 제2 픽셀와 공간적으로 인접한 제3 픽셀, 이를테면 상기 제1 픽셀과 제2 픽셀 사이에 존재하는 제3 픽셀의 경우, 상기 제1 픽셀에 대응하는 제1 기하정보와 상기 제2 픽셀에 대응하는 제2 기하정보를 이용하여 상기 제3 픽셀에 대응하는 기하정보를 추정할 수 있다.
상기 제1 기하정보와 상기 제2 기하정보가 유사하다면, 상기 제1 픽셀로부터 출발한 레이가 교차하는 오브젝트 부분과 상기 제2 픽셀로부터 출발한 레이가 교차하는 오브젝트 부분도 유사성 또는 상관성(correlation)이 높기 때문에, 상기 제1 픽셀과 상기 제2 픽셀 사이에 존재하는 제3 픽셀의 경우도 상기 유사성이 높을 것으로 추정할 수 있다.
그러나 제1 기하정보와 제2 기하정보가 유사하지 않다면 상기 제1 픽셀과 상기 제2 픽셀은 서로 다른 오브젝트에 대응하거나, 또는 동일한 오브젝트라도 변화가 크므로, 상기 제1 기하정보와 상기 제2 기하정보를 이용하여 제3 픽셀에 대응하는 제3 기하정보를 추정할 수 없다. 즉, 제3 픽셀에 대한 레이 추적 연산을 별도로 수행하여야 한다.
제2 연산부(120)는 상기한 바와 같이, 참조 픽셀인 제1 픽셀과 제2 픽셀에 대한 레이 추적 연산 결과를 이용하여, 상기 제1 픽셀에 대응하는 제1 기하정보와 상기 제2 픽셀에 대응하는 제2 기하정보의 유사성을 판단한다.
이러한 유사성 판단에는 여러 가지 실시예가 있다.
이를 테면, 제1 기하정보의 오브젝트 아이디(Object ID)와 제2 기하정보의 오브젝트 아이디를 비교하여, 오브젝트 아이디가 동일한 경우는 제1 기하정보와 제2 기하정보를 유사한 것으로 판단할 수 있다. 이러한 실시예는 도 3을 참조하여 보다 상세히 후술한다.
또 다른 실시예에서는, 제1 기하정보의 노말 벡터(Normal Vector)와 제2 기하정보의 노말 벡터를 비교할 수 있다. 제1 픽셀에 대응하는 오브젝트 부분과 제2 픽셀에 대응하는 오브젝트 부분의 유사성이 높다면, 상기한 바와 같이 오브젝트 아이디가 동일할 뿐만 아니라 기하정보의 노말 벡터도 유사할 것이다. 동일한 오브젝트라도 면이 달라지는 모서리의 양쪽은 레이 트레이싱 과정에서 레이의 진행 방향이 많이 다르기 때문에 노말 벡터의 유사성이 낮다.
따라서, 제2 연산부(120)는 제1 기하정보의 노말 벡터와 제2 기하정보의 노말 벡터의 내적을 구해서, 제1 임계치 이상인 경우에 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단할 수 있다. 이러한 실시예는 도 4를 참조하여 보다 상세히 후술한다.
한편, 본 발명의 다른 일 실시예에서는 제1 기하정보의 노말 벡터와 제2 기하정보의 노말 벡터뿐만 아니라 제1 기하정보의 포지션(레이가 충돌하는 오브젝트 부분의 공간 좌표)와 제2 기하정보의 포지션을 함께 고려하여 상기 유사성을 판단한다.
오브젝트의 굴곡(fluctuation)이 있는 경우에는, 노말 벡터가 유사하더라도 오브젝트 기하정보의 유사성을 담보할 수 없기 때문이다. 이러한 실시예는 도 5를 참조하여 보다 상세히 후술한다.
또한, 본 발명의 다른 일 실시예에 따르면, 상기 제1 기하정보의 섀도우 비트 값과 상기 제2 기하정보의 섀도우 비트 값을 비교하여 섀도우 비트 값이 동일한 경우에만 상기 제2 연산부(120)는 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단할 수도 있다.
한편, 프라이머리 레이가 아니라 세컨더리 레이의 경로 추적에 있어서는, 오브젝트 표면의 단절(discontinuity)에 의해 프라이머리 레이의 진행 경로가 유사하더라도 세컨더리 레이의 진행 경로를 상당히 달라질 수 있다.
따라서, 본 발명의 다른 일 실시예에서는, 세컨더리 레이의 경로 추적에 있어서 제1 기하정보에 기초한 세컨더리 레이 방향의 벡터를 함께 고려하여 제1 기하정보와 제2 기하정보를 활용하여 제3 기하정보를 계산할 것인지의 여부를 판단한다. 이러한 실시예는 도 6을 참조하여 보다 상세히 후술한다.
한편, 유사성 판단에 관한 상기 실시예들은 함께 적용될 수도 있고, 그 중 일부만 적용될 수도 있다.
그리고, 상기 실시예들은 제1 픽셀에 대한 레이 트레이싱 연산과 제2 픽셀에 대한 레이 트레이싱 연산의 결과를 이용하여 제3 픽셀의 기하정보를 이용할 지의 여부의 판단 기준을 정하는 예시적인 방법에 지나지 않는다.
따라서, 본 발명의 사상을 벗어나지 않는 범위에서는 상기 실시예들의 다양한 변경이 가능하며, 상기 실시예들에 의해 본 발명이 제한적으로 해석되어서는 안 된다.
한편, 제2 연산부가 상기 제1 기하정보와 상기 제2 기하정보가 유사하다고 판단하는 경우에는, 제3 연산부(130)는 상기 제3 픽셀에 대응하는 제3 기하정보를 상기 제1 기하정보와 상기 제2 기하정보를 이용하여 계산한다.
따라서, 제3 픽셀에 대해 직접 레이 경로 추적 및 오브젝트와의 교차점을 탐색하는 연산이 생략되므로, 연산량이 크게 감소된다.
한편, 상기 제2 연산부(120)가 상기 제1 기하정보와 상기 제2 기하정보가 유사하지 않다고 판단하는 경우에는, 제3 픽셀에 대해서도 제1 픽셀 또는 제2 픽셀과 동일하게 직접 레이 경로 추적을 통한 레이 트레이싱이 수행된다.
제3 연산부(130)의 동작에 관한 내용은 도 7을 참조하여 보다 상세히 후술한다.
이렇게 제1 연산부(110)가 제1 픽셀 및 제2 픽셀을 포함한 참조 픽셀들에 대해 레이 경로를 추적함으로써 레이 트레이싱을 수행하고, 제2 연산부(120)의 판단 결과에 따라 제3 연산부(130)가 제3 픽셀을 포함한 참조픽셀이 아닌 나머지 픽셀들에 대해 기하정보를 계산하면, 렌더링부(140)는 이를 이용하여 영상의 렌더링을 수행한다.
도 2는 본 발명의 일 실시예에 따라 렌더링 하고자 하는 영상(200)의 픽셀들을 도시한다.
영상(200)은 복수 개의 픽셀들을 포함한다.
영상(200)의 픽셀들은 복수 개의 블록들(201 및 202 등)로 분할되며, 본 발명의 일 실시예에 따르면 각 블록마다 하나의 참조 픽셀이 선정된다.
본 실시예에서는 4x4 크기의 블록 분할이 수행되었고, 각 블록의 첫 번째 픽셀(210 및 220 등)이 참조 픽셀로 선정되었다.
이러한 참조 픽셀들에 대해서는 통상적인 방법에 의해 프라이머리 레이부터 세컨더리 레이 등의 경로 추적이 수행되고, 레이 트레이싱이 이루어진다.
그리고, 참조 픽셀이 아닌 픽셀들에 대해서는 인접한 두 개 이상의 참조 픽셀들의 기하정보를 서로 비교하여, 유사성이 인정되는 경우에만 기하정보를 선형 보간을 이용하여 계산한다. 상기한 바와 같이 유사성이 인정되지 않으면 상기 참조 픽셀이 아닌 픽셀에 대해서도 통상적인 방법에 의해 레이 트레이싱이 수행된다.
참조 픽셀로 선정된 제1 픽셀(210) 및 제2 픽셀(220)의 경우 레이 트레이싱을 통해 기하정보가 계산되었다.
상기 기하정보에는 레이와 오브젝트의 교점 부분의 트라이앵글 아이디(Triangle ID), 오브젝트 아이디, 교점의 포지션, 노말 벡터, 택스쳐 코디네이트(Texture coordinates), 섀도우 비트 등이 포함될 수 있다.
상기 제1 픽셀(210)과 상기 제2 픽셀(220) 사이에 존재하는 제3 픽셀(230)의 경우, 상기 제1 픽셀(210)에 대응하는 제1 기하정보와 상기 제2 픽셀(220)에 대응하는 제2 기하정보의 유사성을 판단하여, 유사한 경우에만 상기 제1 기하정보와 상기 제2 기하정보를 보간하여 제3 픽셀(230)에 대응하는 제3 기하정보를 계산할 수 있다.
이하에서는 도 3 내지 도 6을참조하여 유사성 판단에 대한 구체적인 내용을 제시한다.
도 3은 본 발명의 일 실시예에 따라 오브젝트 아이디에 기초하여 기하정보의 유사성을 판단하는 과정을 설명하기 위한 개념도이다.
제1 픽셀(210)에 대응하는 제1 기하정보의 오브젝트는 오브젝트(210)이다. 그리고, 제2 픽셀(220)에 대응하는 제2 기하정보의 오브젝트는 오브젝트(220)이다.
따라서 도시된 바와 같이, 제1 기하정보의 오브젝트 아이디와 제2 기하정보의 오브젝트 아이디는 상이하다.
이러한 경우 제3 픽셀(230)은 두 오브젝트 중 어느 것에 대응되는지 미리 추정할 수 없다. 따라서, 이러한 경우에 제1 기하정보와 제2 기하정보는 유사하지 않은 것으로 판단하고 제3 픽셀(230)에 대해서도 레이 트레이싱이 수행된다.
도 4는 본 발명의 일 실시예에 따라 기하정보의 노말 벡터를 비교하여 기하정보의 유사성을 판단하는 과정을 설명하기 위한 개념도이다.
제1 픽셀에 대응하는 오브젝트 부분(401)에서의 노말 벡터(410)와 제2 픽셀에 대응하는 오브젝트 부분(402)의 노말 벡터(420)의 내적이 계산된다.
도시된 바와 같이 노말 벡터의 방향이 많이 차이가 나는 경우에는 상기 계산된 내적이 0 또는 음수에 가까울 것이다. 동일한 오브젝트(400) 내에서도 굴곡이 심해지면 오브젝트 기하정보가 크게 상이할 수 있다.
따라서, 상기 계산된 내적이 제1 임계치 이상인 경우에만 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단하고, 그렇지 않으면 유사하지 않은 것으로 판단한다.
도 5는 본 발명의 일 실시예에 따라 기하정보의 노말 벡터와 위치 정보를 비교하여 기하정보의 유사성을 판단하는 과정을 설명하기 위한 개념도이다.
도시된 바와 같이, 하나의 오브젝트(500) 내에서 표면의 굴곡(fluctuation)이 있는 경우, 실제로는 오브젝트 기하정보가 크게 상이하지만, 우연히 노말 벡터 방향은 유사할 수 있다.
따라서, 본 발명의 일 실시예에 따르면, 제1 기하정보의 포지션(501)으로부터 제2 기하정보의 포지션(502)로의 제1 방향 벡터(511)와, 그 역방향 벡터(521)가 계산된다.
그리고, 제1 기하정보의 노말 벡터(510)와 상기 제1 방향 벡터(511)의 내적과, 상기 제2 기하정보의 노말 벡터(520)와 상기 제2 방향 벡터(521)의 내적을 서로 곱한다.
그 결과를 제2 임계치와 비교하여, 제2 임계치 이상인 경우에는 제1 기하정보와 제2 기하정보가 유사한 것으로 판단하고, 그렇지 않은 경우에는 제1 기하정보와 제2 기하정보는 유사하지 않은 것으로 판단한다.
상기 실시예들 외에도, 제1 기하정보와 제2 기하정보의 섀도우 비트(섀도우 영역인지의 여부를 나타내는 비트)를 비교하여, 섀도우 비트가 동일한 경우가 아니라면 제1 기하정보와 제2 기하정보는 유사하지 않은 것으로 판단할 수 있음은 도 1을 참조하여 상술한 바와 같다.
도 6은 본 발명의 일 실시예에 따라 세컨더리 레이에서 기하정보의 유사성을 판단하는 과정을 설명하기 위한 개념도이다.
레이 트레이싱 과정에서, 프라이머리 레이의 진행 경로가 동일하더라도, 반사되거나 투과되는 방향에 따라 세컨더리 레이의 진행 경로는 서로 상이할 수 있다. 이러한 경우에는 제3 픽셀(230)의 기하정보를 제1 픽셀(210)의 기하정보와 제2 픽셀(220)의 기하정보를 이용하여 간접적으로 계산하는 데에 무리가 있다.
따라서, 세컨더리 레이의 경로 추적을 위한 기하정보의 계산의 경우에, 제1 픽셀(210)에 대응하는 오브젝트 부분의 포지션(601)으로부터 제2 픽셀(220)에 대응하는 오브젝트 부분의 포지션(602)으로의 방향 벡터(611)와 제1 픽셀(210)에 대응하는 세컨더리 레이의 방향 벡터(612)의 내적을 구한다.
이렇게 구해진 내적이 제3 임계치 이상인 경우에만 세컨더리 레이의 경로 추적에 있어서 제1 기하정보와 제2 기하정보를 이용하여 제3 기하정보를 간접적으로 계산하고, 그렇지 않으면 직접 제3 픽셀에 대해서도 전체적 레이 트레이싱을 수행한다. 노말 벡터(610 및 620)는 상기 도 3 내지 도 5의 실시예와 동일하게 유사성 판단에 이용된다.
도 7은 본 발명의 일 실시예에 따라 기하정보를 선형 보간하는 과정을 설명하기 위한 개념도이다.
상기 도 3 내지 도 6을 참조한 실시예에서 참조 픽셀인 제1 픽셀(210)에 대응하는 제1 기하정보와 제2 픽셀(220)에 대응하는 제2 기하정보가 유사하다고 판단된 경우, 참조 픽셀이 아닌 제3 픽셀(230)에 대응하는 제3 기하정보는 상기 제1 기하정보와 제2 기하정보의 보간(interpolation)에 의해 계산된다.
이러한 보간 과정에서는 제1 픽셀(210)과 제3 픽셀(230) 사이의 거리 d1과, 제2 픽셀(220)과 제3 픽셀(230) 사이의 거리 d2에 비례한 선형 보간이 수행될 수 있다.
보간되는 기하정보는 상기한 바와 같이, 트라이앵글 아이디(Triangle ID), 오브젝트 아이디, 교점의 포지션, 노말 벡터, 택스쳐 코디네이트(Texture coordinates), 섀도우 비트 등을 포함할 수 있다.
이러한 보간에 의해 레이 경로 추적 연산이 생략될 수 있으므로, 레이 트레이싱의 연산의 상당 부분이 생략될 수 있다. 따라서, 전체적으로 레이 트레이싱의 속도가 개선되며, 이는 실시간 3D 렌더링 등의 응용 분야에서 중요한 장점이 된다.
종래에는 렌더링 된 픽셀의 칼라 값을, 칼라 스페이스 상에서 보간하였으나, 본 발명의 상기 실시예들에서는 기하정보가 물리적 공간에서 보간되므로, 레이 경로 추적 과정에서 탐색하는 레이-오브젝트 교점(intersection) 계산이 상당부분 생략될 수 있다. 따라서, 기존의 방법을 사용하는 경우 발생되는 화질의 열화가 방지된다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시하는 흐름도이다.
단계(S810)에서 참조 픽셀로 선정된 제1 픽셀 및 제2 픽셀에 대해 통상의 방법을 이용하여 레이 트레이싱이 수행된다.
그리고 단계(S820)에서 제1 기하정보와 제2 기하정보가 유사한지의 여부가 판단된다.
이러한 유사성 판단에 대한 다양한 실시예는 도 3 내지 도 6을 참조하여 상술한 바와 같다.
상기 판단의 결과, 제1 기하정보와 제2 기하정보가 유사하면, 단계(S830)에서 상기 제1 기하정보와 제2 기하정보의 선형 보간으로 제3 픽셀에 대응하는 제3 기하정보를 계산한다. 선형 보간에 대한 내용은 도 7을 참조하여 상술한 바와 같다.
한편, 상기 유사성 판단의 결과 제1 기하정보와 제2 기하정보가 유사하지 않은 경우, 단계(S840)에서 제3 픽셀에 대해서도 통상적인 레이 트레이싱이 수행되어 제3 기하정보가 계산된다.
도 9은 본 발명의 일 실시예에 따른 영상 처리 방법을 이용하여 레이 트레이싱을 수행하는 렌더링 과정을 설명하기 위한 흐름도이다.
특정 픽셀에 대해 레이 트레이싱 기법에 의해 칼라 값을 계산하는 경우, 단계(S910)에서 상기 특정 픽셀이 참조 픽셀인가가 판단된다.
참조픽셀이라면, 단계(S950)에서 통상적인 레이 트레이싱 방법에 의해 기하정보가 계산된다. 이 과정에서는 레이 경로 추적이 그대로 수행되며, 연산량의 감소가 없다.
그러나, 참조 픽셀이 아니라면, 단계(S920)에서 주변 참조 픽셀의 레이 트레이싱 결과 계산된 기하정보를 참조한다.
단계(S930)에서 주변 참조 픽셀들의 기하정보가 서로 유사한 경우로 판단되면, 단계(S940)에서 주변 참조픽셀들의 기하정보를 선형 보간하여 기하정보를 추정한다.
그러나, 주변 참조 픽셀들의 기하정보가 서로 유사하지 않다면 상기 특정 픽셀에 대해서도 단계(S950)의 통상적 레이 트레이싱에 의한 기하정보 계산이 수행된다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: 제1 연산부
120: 제2 연산부
130: 제3 연산부
140: 렌더링부

Claims (16)

  1. 렌더링하고자 하는 영상의 픽셀 중 제1 픽셀 및 제2 픽셀의 각각에 대해 레이 트레이싱 연산을 수행하여, 상기 제1 픽셀에 대응하는 제1 기하정보와 상기 제2 픽셀에 대응하는 제2 기하정보를 계산하는 제1 연산부;
    상기 제1 기하정보와 상기 제2 기하정보의 유사성을 판단하는 제2 연산부; 및
    상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단되는 경우, 상기 제1 기하정보와 상기 제2 기하정보를 이용하여 상기 제1 픽셀과 상기 제2 픽셀에 인접한 제3 픽셀에 대응하는 제3 기하정보를 계산하는 제3 연산부
    를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 제3 연산부는,
    상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단되는 경우, 상기 제1 기하정보와 상기 제2 기하정보를 선형 보간하여 상기 제3 기하정보를 계산하는, 영상 처리 장치.
  3. 제1항에 있어서,
    상기 제2 연산부는,
    상기 제1 기하정보의 오브젝트 아이디와 상기 제2 기하정보의 오브젝트 아이디가 동일한 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단하는, 영상 처리 장치.
  4. 제1항에 있어서,
    상기 제2 연산부는,
    상기 제1 기하정보의 노말 벡터와 상기 제2 기하정보의 노말 벡터의 내적이 제1 임계치 이상인 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단하는, 영상 처리 장치.
  5. 제1항에 있어서,
    상기 제2 연산부는,
    상기 제1 기하정보의 포지션으로부터 상기 제2 기하정보의 포지션으로의 제1 방향 벡터 및 상기 제2 기하정보의 포지션으로부터 상기 제1 기하정보의 포지션으로의 제2 방향 벡터를 계산하고,
    상기 제1 기하정보의 노말 벡터와 상기 제1 방향 벡터의 내적과, 상기 제2 기하정보의 노말 벡터와 상기 제2 방향 벡터의 내적의 곱이 제2 임계치 이상인 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단하는, 영상 처리 장치.
  6. 제1항에 있어서,
    상기 제2 연산부는,
    상기 제1 기하정보의 포지션으로부터 상기 제2 기하정보의 포지션으로의 제1 방향 벡터 및 상기 제1 픽셀에 대응하는 세컨더리 레이의 방향 벡터를 계산하고,
    상기 제1 벡터와 상기 제1 픽셀에 대응하는 세컨더리 레이의 방향 벡터의 내적이 제3 임계치 이상인 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단하는, 영상 처리 장치.
  7. 제1항에 있어서,
    상기 제2 연산부는,
    상기 제1 기하정보의 섀도우 비트와 상기 제2 기하정보의 섀도우 비트가 상이한 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사하지 않은 것으로 판단하는, 영상 처리 장치.
  8. 제1항에 있어서,
    상기 제1 연산부는,
    상기 영상을 복수 개의 블록 단위로 분할하고, 상기 복수 개의 블록 중 제1 블록으로부터 상기 제1 픽셀을 선택하고, 상기 복수 개의 블록 중 제2 블록으로부터 상기 제2 픽셀을 선택하는, 영상 처리 장치.
  9. 렌더링하고자 하는 영상의 픽셀 중 제1 픽셀 및 제2 픽셀의 각각에 대해 레이 트레이싱 연산을 수행하여, 상기 제1 픽셀에 대응하는 제1 기하정보와 상기 제2 픽셀에 대응하는 제2 기하정보를 계산하는 단계;
    상기 제1 기하정보와 상기 제2 기하정보의 유사성을 판단하는 단계; 및
    상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단되는 경우, 상기 제1 기하정보와 상기 제2 기하정보를 이용하여 상기 제1 픽셀과 상기 제2 픽셀에 인접한 제3 픽셀에 대응하는 제3 기하정보를 계산하는 단계
    를 포함하는, 영상 처리 방법.
  10. 제9항에 있어서,
    상기 제3 기하정보를 계산하는 단계는,
    상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단되는 경우, 상기 제1 기하정보와 상기 제2 기하정보를 선형 보간하여 상기 제3 기하정보를 계산하는, 영상 처리 방법.
  11. 제9항에 있어서,
    상기 유사성을 판단하는 단계는,
    상기 제1 기하정보의 오브젝트 아이디와 상기 제2 기하정보의 오브젝트 아이디가 동일한 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단하는, 영상 처리 방법.
  12. 제9항에 있어서,
    상기 유사성을 판단하는 단계는,
    상기 제1 기하정보의 노말 벡터와 상기 제2 기하정보의 노말 벡터의 내적이 제1 임계치 이상인 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단하는, 영상 처리 방법.
  13. 제9항에 있어서,
    상기 유사성을 판단하는 단계는,
    상기 제1 기하정보의 포지션으로부터 상기 제2 기하정보의 포지션으로의 제1 방향 벡터 및 상기 제1 픽셀에 대응하는 세컨더리 레이의 방향 벡터를 계산하는 단계; 및
    상기 제1 벡터와 상기 제1 픽셀에 대응하는 세컨더리 레이의 방향 벡터의 내적이 제3 임계치 이상인 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사한 것으로 판단하는 단계
    를 포함하는, 영상 처리 방법.
  14. 제9항에 있어서,
    상기 유사성을 판단하는 단계는,
    상기 제1 기하정보의 섀도우 비트와 상기 제2 기하정보의 섀도우 비트가 상이한 경우, 상기 제1 기하정보와 상기 제2 기하정보가 유사하지 않은 것으로 판단하는, 영상 처리 방법.
  15. 제9항에 있어서,
    상기 제1 기하정보 및 상기 제2 기하정보를 계산하는 단계는,
    상기 영상을 복수 개의 블록 단위로 분할하는 단계; 및
    상기 복수 개의 블록 중 제1 블록으로부터 상기 제1 픽셀을 선택하고, 상기 복수 개의 블록 중 제2 블록으로부터 상기 제2 픽셀을 선택하는 단계
    를 포함하는, 영상 처리 방법.
  16. 제9항 내지 제15항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100009025A 2010-02-01 2010-02-01 영상 처리 장치 및 방법 KR101653203B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100009025A KR101653203B1 (ko) 2010-02-01 2010-02-01 영상 처리 장치 및 방법
US12/968,896 US8836695B2 (en) 2010-02-01 2010-12-15 Image processing apparatus and method of rendering using a ray tracing scheme

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100009025A KR101653203B1 (ko) 2010-02-01 2010-02-01 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110089565A true KR20110089565A (ko) 2011-08-09
KR101653203B1 KR101653203B1 (ko) 2016-09-02

Family

ID=44341221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100009025A KR101653203B1 (ko) 2010-02-01 2010-02-01 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US8836695B2 (ko)
KR (1) KR101653203B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160126329A (ko) * 2015-04-23 2016-11-02 삼성전자주식회사 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치.
CN116704101A (zh) * 2022-09-09 2023-09-05 荣耀终端有限公司 一种基于光线追踪渲染的像素填充方法和终端

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0709796D0 (en) * 2007-05-22 2007-06-27 Phase Focus Ltd Three dimensional imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128407A (en) * 1996-05-13 2000-10-03 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, and image processing system
US6642932B2 (en) * 2001-09-13 2003-11-04 The Hong Kong University Of Science And Technology Method and system for interpolation in color images
US20060139361A1 (en) * 2003-06-05 2006-06-29 Marc Busch Adaptive image interpolation for volume rendering
JP2008146260A (ja) * 2006-12-07 2008-06-26 Canon Inc 画像生成装置及び画像生成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729672A (en) * 1993-07-30 1998-03-17 Videologic Limited Ray tracing method and apparatus for projecting rays through an object represented by a set of infinite surfaces
IL127314A0 (en) * 1998-11-27 1999-09-22 Algotec Systems Ltd A method for forming a perspective rendering from a voxel space
US7499053B2 (en) 2000-06-19 2009-03-03 Mental Images Gmbh Real-time precision ray tracing
US6956570B2 (en) 2001-06-27 2005-10-18 Believe, Inc. Object visibility control for ray tracing
KR100894136B1 (ko) 2006-08-31 2009-04-20 세종대학교산학협력단 광선 추적을 위한 비 스택 방식의 케이디 트리 탐색알고리즘을 적용한 영상검출 장치 및 방법
US8139060B2 (en) 2006-11-28 2012-03-20 International Business Machines Corporation Ray tracing image processing system
US8234234B2 (en) 2007-03-20 2012-07-31 International Business Machines Corporation Utilizing ray tracing for enhanced artificial intelligence path-finding
KR100924122B1 (ko) 2007-12-17 2009-10-29 한국전자통신연구원 픽셀 단위 처리 요소 기반의 광선 추적 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128407A (en) * 1996-05-13 2000-10-03 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, and image processing system
US6642932B2 (en) * 2001-09-13 2003-11-04 The Hong Kong University Of Science And Technology Method and system for interpolation in color images
US20060139361A1 (en) * 2003-06-05 2006-06-29 Marc Busch Adaptive image interpolation for volume rendering
JP2008146260A (ja) * 2006-12-07 2008-06-26 Canon Inc 画像生成装置及び画像生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160126329A (ko) * 2015-04-23 2016-11-02 삼성전자주식회사 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치.
US9865078B2 (en) 2015-04-23 2018-01-09 Samsung Electronics Co., Ltd. Image processing method and apparatus with adaptive sampling
CN116704101A (zh) * 2022-09-09 2023-09-05 荣耀终端有限公司 一种基于光线追踪渲染的像素填充方法和终端
CN116704101B (zh) * 2022-09-09 2024-04-09 荣耀终端有限公司 一种基于光线追踪渲染的像素填充方法和终端

Also Published As

Publication number Publication date
KR101653203B1 (ko) 2016-09-02
US8836695B2 (en) 2014-09-16
US20110187714A1 (en) 2011-08-04

Similar Documents

Publication Publication Date Title
JP7173772B2 (ja) 深度値推定を用いた映像処理方法及び装置
KR100714672B1 (ko) 스플렛을 이용한 깊이 기반의 영상 렌더링 방법 및 그방법을 채용한 시스템
EP3111420B1 (en) Hyper-lapse video through time-lapse and stabilization
KR101502362B1 (ko) 영상처리 장치 및 방법
KR102370617B1 (ko) 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치.
US10019830B2 (en) Method and apparatus for rendering same regions of multi frames
US11670039B2 (en) Temporal hole filling for depth image based video rendering
EP3703003A1 (en) Hole filling for depth image based rendering
US8031977B2 (en) Image interpolation method, medium and system
CN107808388B (zh) 包含运动目标的图像处理方法、装置及电子设备
JP5485180B2 (ja) ３次元映像プロセッサおよびプロセッシング方法
KR100889470B1 (ko) 3차원 경로 생성 방법 및 장치
KR20090068980A (ko) 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
KR101601687B1 (ko) 영상 처리 장치 및 방법
KR101585998B1 (ko) 영상 처리 장치 및 방법
KR20120032159A (ko) 영상 처리 장치 및 방법
KR20110089565A (ko) 영상 처리 장치 및 방법
KR20100118706A (ko) 영상 처리 장치 및 방법
US7948486B2 (en) Apparatus and method for performing hidden surface removal and computer program product
CN111768353B (zh) 一种三维模型的孔洞填补方法及装置
KR101626057B1 (ko) 3뷰 영상의 디스패리티 추정 방법 및 장치
KR101500814B1 (ko) 구들의 교집합을 이용한 바운딩 볼륨 생성 장치 및 방법
US20130293543A1 (en) Image processing apparatus and method
KR20120073804A (ko) 영상 처리 장치 및 방법
Liu et al. Digging into normal incorporated stereo matching

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 4