KR20120073804A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20120073804A
KR20120073804A KR1020100135678A KR20100135678A KR20120073804A KR 20120073804 A KR20120073804 A KR 20120073804A KR 1020100135678 A KR1020100135678 A KR 1020100135678A KR 20100135678 A KR20100135678 A KR 20100135678A KR 20120073804 A KR20120073804 A KR 20120073804A
Authority
KR
South Korea
Prior art keywords
viewpoint
depth
rendering
view
model
Prior art date
Application number
KR1020100135678A
Other languages
English (en)
Inventor
하인우
남동경
이승규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100135678A priority Critical patent/KR20120073804A/ko
Publication of KR20120073804A publication Critical patent/KR20120073804A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)

Abstract

영상 처리 장치가 제공된다. 상기 영상 처리 장치의 선택부는, 3D 모델에 대해 멀티 뎁스 기반 렌더링을 수행할 제1 시점 및 제2 시점을 선택한다. 그리고 상기 영상 처리 장치의 렌더링부는, 상기 제1 시점 및 제2 시점의 각각에 대해 멀티 뎁스 기반 렌더링을 수행하여 버퍼 메모리부에 저장하고, 계산부는 상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산한다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
영상 처리 장치 및 방법에 연관되며, 라이트 필드 렌더링 기법 등 3D(3-Dimensional) 모델을 많은 시점에서 렌더링 하는 영상 처리 장치 및 방법에 연관된다.
3D 영상 디스플레이 장치는 사람의 좌안(left eye)과 우안(right eye)에 시점 차이를 반영한 서로 다른 영상을 제공하여 입체감을 느끼게 하는 영상 디스플레이 장치이다.
3D 영상 디스플레이 장치에는, 좌안 시점 영상과 우안 시점 영상을 제공하는 스테레오스코픽(stereoscopic) 타입과, 보다 다양한 시점의 영상을 제공하는 멀티 뷰 영상 타입이 존재한다.
한편, 최근에는 기술적 구현의 용이성 및 생산 단가 등 시장성을 고려하여 안경 방식(glass type)의 3D 영상 디스플레이 장치가 보편화되고 있는데, 안경 착용이나 보관 등에 불편함을 개선하기 위해 무안경식(non-glass type) 3D 디스플레이 장치에 대한 관심이 높아지고 있다.
무안경식 3D 디스플레이 방법에는 라이트 필드 디스플레이 방법과 홀로 그램 생성 방법 등이 알려져 있다. 라이트 필드 디스플레이 방법은 충분히 많은 수의 지향성 광을 이용하여 공간 상에 라이트 필드(light field)를 생성하는 방법이고, 홀로그램 생성 방법은 홀로그래피 원리를 이용하여 공간에 이미지를 구현하는 방법이다.
그런데, Full HD 급의 영상 컨텐츠가 대중화되어가는 현 시점에서, 고해상도(High Definition) 영상을 생성하기 위해 고밀도 라이트 필드를 제공하거나 홀로그램을 생성하려면, 디스플레이 장치 단에서의 리소스가 너무 커져서 구현이 어려운 면이 있다.
라이트 필드 디스플레이 장치 등을 구현하는 경우, 많은 시점에서 3D 모델을 렌더링하게 되는데, 이 경우 시점 간 correlation을 이용하여 연산양을 크게 줄인 영상 처리 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 3D 모델에 대해 멀티 뎁스 기반 렌더링을 수행할 제1 시점 및 제2 시점을 선택하는 선택부, 상기 제1 시점 및 제2 시점의 각각에 대해 멀티 뎁스 기반 렌더링을 수행하여 버퍼 메모리부에 저장하는 렌더링부, 및 상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산하는 계산부를 포함하는, 영상 처리 장치가 제공된다.
이 경우, 상기 선택부는, 상기 제3 시점으로부터의 거리, 상기 3D 모델 내의 광원으로부터의 거리, 상기 3D 모델 내의 각각의 오브젝트로부터의 거리 및 상기 제1 시점과 상기 제2 시점 사이의 상대적 위치 중 적어도 하나의 요소를 고려하여 상기 제1 시점과 상기 제2 시점을 선택할 수 있다.
그리고, 상기 렌더링부는, 상기 제1 시점 및 제2 시점의 각각에 대해, 첫 번째 오브젝트 깊이 내지 N 번째(단, N은 2 이상의 자연수) 오브젝트 깊이에 대한 칼라 값 및 깊이 값을 렌더링하는 멀티 뎁스 기반 렌더링을 수행하여 상기 버퍼 메모리부에 저장할 수 있다.
본 발명의 일실시예에 따르면, 상기 계산부는, 상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 스크린-스페이스 레이 트래이싱을 수행하여 상기 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산한다.
이 경우, 상기 계산부는, 상기 제3 시점의 제1 픽셀에서 출발하여 픽셀을 이동하며 진행하는 레이의 깊이 값을, 픽셀 별로, 상기 제1 시점에서 생성된 깊이 값 및 상기 제2 시점에서 생성된 깊이 값과 비교하여, 최초 충돌 지점이 더 가까운 쪽의 깊이 값을 이용하여 상기 제1 픽셀에서 출발한 상기 레이의 최초 충돌 지점을 계산할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 계산부는, 상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 칼라 및 또는 깊이 정보의 보간을 수행하여 상기 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산한다.
본 발명의 다른 일측에 따르면, 영상 처리 장치의 선택부가, 3D 모델에 대해 멀티 뎁스 기반 렌더링을 수행할 제1 시점 및 제2 시점을 선택하는 선택 단계, 상기 영상 처리 장치의 렌더링부가, 상기 제1 시점 및 제2 시점의 각각에 대해 멀티 뎁스 기반 렌더링을 수행하여 상기 영상 처리 장치의 버퍼 메모리부에 저장하는 렌더링 단계, 및 상기 영상 처리 장치의 계산부가, 상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산하는 계산 단계를 포함하는, 영상 처리 방법이 제공된다.
고해상도 라이트 필드 디스플레이 장치 등을 구현하는 경우, 많은 시점에서 3D 모델을 렌더링하기 위한 연산양이 크게 감소된다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일실시예에 따라 렌더링되는 예시적인 3D 모델을 도시한다.
도 3은 본 발명의 일실시예에 따라 선택된 제1 시점에서 멀티 뎁스 렌더링한 예시적 결과를 도시한다.
도 4는 본 발명의 일실시예에 따라 선택된 제2 시점에서 멀티 뎁스 렌더링한 예시적 결과를 도시한다.
도 5는 본 발명의 일실시예에 따라 제3 시점에서 스크린 스페이스 레이 트래이싱을 방법에 의해 제3 시점에서의 레이의 충돌 지점을 찾는 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일실시예에 따라 제3 시점에서 3D 모델을 렌더링한 예시적 결과를 도시한다.
도 7은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 깊이 영상 처리 장치(100)를 도시한다.
선택부(110)는, 입력된 3D 모델에 대해 멀티 뎁스 기반(multi depth-based) 렌더링을 수행할 제1 시점 및 제2 시점을 선택한다.
다만, 본 발명에서 선택부(110)가 미리 선택하는 시점은 임의의 수일 수 있으며, 본 명세서에서는 설명의 편의를 위해 두 개의 시점을 선택해서 멀티 뎁스 기반 렌더링을 수행하는 내용을 설명하지만, 본 발명은 이러한 예시적 서술에 의해 한정되지 않는다.
따라서, 선택부(110)가 미리 선택하는 시점은 모든 시점에서 렌더링을 수행하는 경우의 연산 자원의 낭비를 막기 위해 소정의 기준으로 미리 선택하는 샘플링 시점들을 대표하며, 이를테면 1000개 또는 그 이상의 시점이 선택부(110)에 의해 선택될 수도 있다.
한편, 선택부(110)가 샘플링 시점들을 선택하는 상기 소정의 기준으로는, 다양한 것이 설정될 수 있다.
이를 테면, 상기 제3 시점이나 상기 제3 시점을 포함하는 카메라 평면(camera plane)으로부터의 거리도 이러한 기준의 하나가 될 수 있다. 상기 거리가 가까울수록 시점 변화에 따른 영상 차이가 크므로, 샘플링의 의미가 있기 때문에, 상기 거리가 가까운 곳에서 상기 샘플링 시점들을 더 많이 선택할 수 있다.
또한, 상기 입력 3D 모델의 오브젝트들이 포함하는 Polygon 수가 많을수록 더 정밀한 샘플링이 필요하므로, 입력 3D 모델의 오브젝트의 Polygon 수도 상기 소정의 기준 중 하나가 될 수 있다.
한편, 카메라 평면과의 거리가 가까운 오브젝트일수록 Polygon의 수가 더 중요하기 때문에, 상기 3D 모델 내의 각각의 오브젝트로부터의 거리가 가까울수록 더 많은 샘플링 시점들을 선택할 수도 있으므로, 오브젝트들과의 거리도 상기 소정의 기준 중 하나가 될 수 있다.
나아가, Specular Material을 가진 오브젝트의 경우, 시점 변화에 따른 영상의 차이가 크므로 오브젝트의 Specularity 값을 상기 소정의 기준 중 하나로 설정할 수도 있다.
또한, 선택되는 샘플링 시점들(이를 테면, 상기 제1 시점과 상기 제2 시점) 사이의 상대적 위치도 하나의 기준으로 설정될 수 있으며, 이 경우, 선택하려는 샘플링 시점과 너무 가까운 위치에 이미 다른 샘플링 시점이 선택되어 있다면, 선택하지 않을 수도 있다.
그 밖에, 상기 3D 모델 내의 광원(light source)과의 거리도 하나의 기준이 될 수 있다.
이처럼, 상기 제1 시점 및 상기 제2 시점이 대표하는 샘플링 시점들을 선택부(110)가 선택하는 기준은 다양한 것이 있을 수 있으며, 본 발명이 일부 실시예에 의해 제한적으로 해석되어서는 안 된다.
따라서, 상기 샘플링 시점들은, 고 밀도 라이트 필드 영상의 생성에서와 같이 매우 많은 시점에서 3D 모델을 렌더링 하는 경우 연산양이 너무 커지는 문제를 방지하기 위해 미리 일부 시점들을 샘플링한 시점들로 이해되어야 한다.
이렇게 제1 시점과 제2 시점이 선택되면, 영상 처리 장치(100)의 렌더링부(120)는 선택된 제1 시점 및 제2 시점의 각각에 대해 멀티 뎁스 기반 렌더링을 수행하고 그 결과를 버퍼 메모리부(130)에 저장한다.
멀티 뎁스 기반 렌더링은, Depth-buffer, 즉 버퍼 메모리부(130)를 통한 렌더링시 최초 충돌지점뿐만 아니라 N 개(단, N은 2 이상의 자연수)의 충돌지점의 칼라(Color) 및 깊이(Depth) 정보를 함께 기록하게 된다.
기존의 싱글 뎁스 기반 렌더링은, 렌더링하고자 하는 시점으로부터 가장 가까운 최초 충돌지점만 Single Depth-buffer에 저장하지만, 본 발명의 실시예들에 의한 멀티 뎁스 기반 렌더링은 렌더링하고자 하는 시점으로부터 가까운 N개의 충돌지점을 모두 저장해서 Multiple Layer 형태로 버퍼 메모리부(130)에 저장하는 방법이다.
이러한 멀티 뎁스 기반 렌더링을 통해, 시점 변화에 따른 가리움 영역(Occlusion region)에 관한 정보를 획득하기 때문에, 선택된 샘플링 시점 이외의 시점에서도 가리움 영역이 다시 드러나는 Disocclusion으로 인한 문제 없이, 고화질 렌더링이 가능하다.
렌더링부(120)가 멀티 뎁스 기반 렌더링을 수행하는 과정 및 그 예시적 결과는 도 2 내지 도 4를 참조하여 보다 상세히 후술한다.
이렇게 제1 시점 및 제2 시점, 즉 샘플링 시점들에 대한 멀티 뎁스 기반 렌더링 결과가 버퍼 메모리부(130)에 저장되면, 계산부(140)는 상기 버퍼 메모리부(130)에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여, 현재 렌더링하고자 하는 제3 시점에서의 렌더링 결과를 계산할 수 있다.
본 명세서에서는, 제1 시점이나 제2 시점과 같은 샘플링 시점에 대해서는 직접 3D 모델을 이용하여 영상을 렌더링하지만 제3 시점에 대해서는 영상을 직접 렌더링하는 것이 아니라, 미리 렌더링된 샘플링 시점에서의 렌더링 결과를 이용하여 간접적으로 영상의 칼라 값을 계산하기 때문에, '계산부'라는 용어를 사용한다. 그러나, 본 발명이 이러한 용어의 선택에 의해 제한적으로 해석되어서는 안 되며, 본 발명의 사상을 변경하지 않는 범위에서는 용어와 상관 없이 다양한 변경이나 응용이 가능하다.
본 발명의 일실시예에 따르면, 상기 계산부(140)는 버퍼 메모리부(130)에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 스크린-스페이스 레이 트래이싱(Screen-space Ray Tracing)을 수행하여 상기 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산한다.
스크린-스페이스 레이 트래이싱에 관해서는 도 5 내지 도 6을 참조하여 보다 상세히 후술한다.
또한 본 발명의 다른 일실시예에 따르면, 계산부(140)는, 버퍼 메모리부(130)에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여, 제3 시점에서 칼라 및 또는 깊이 정보의 보간을 수행하여 상기 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산할 수도 있다. 이러한 실시예에 대해서도 도 5 및 도 6을 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일실시예에 따라 렌더링되는 예시적인 3D 모델(200)을 도시한다.
예시적 3D 모델(200)에는 오브젝트(210), 오브젝트(220), 오브젝트(230) 및 상기 오브젝터(210 내지 230)보다 더 멀리 있는 오브젝트 또는 공간을 대표하는 백그라운드(240)가 포함된다.
선택부(110)는 상기 도 1을 참조하여 상술한 소정의 기준에 따라, 미리 멀티 뎁스 기반 렌더링을 수행할 제1 시점(201) 및 제2 시점(202)를 선택한다.
렌더링부(120)는 이러한 제1 시점(201) 및 제2 시점(202)의 각각에 대해 멀티 뎁스 기반 렌더링을 수행하여, 그 결과를 버퍼 메모리부(130)에 저장한다. 멀티 뎁스 기반 렌더링 결과는 도 3 내지 도 4를 참조하여 보다 상세히 후술한다.
제3 시점(203)은 선택부(110)에 의해 선택되지 않았으나, 라이트 필드 영상 등 고해상도 다시점 영상을 생성하기 위해 필요한 시점으로서, 현재 영상의 칼라 값을 계산할 시점이다.
제3 시점(203)에서의 영상의 칼라 값을 계산하는 과정은 도 5 내지 도 6을 참조하여 보다 상세히 후술한다.
도 3은 본 발명의 일실시예에 따라 선택된 제1 시점에서 멀티 뎁스 렌더링한 예시적 결과를 도시한다.
렌더링부(120)가 제1 시점(201)에 대해 멀티 뎁스 렌더링을 수행한 결과 영상들이 도시되었다.
영상(310)은 제1 시점(201)에서 3D 모델(200)을 depth 1에 대해 렌더링 결과이고, 영상(320)은 제1 시점(201)에서 3D 모델(200)을 depth 2에 대해 렌더링 결과이며, 영상(330)은 제1 시점(201)에서 3D 모델(200)을 depth 3에 대해 렌더링 결과이다.
이러한 결과 영상(310 내지 330)은 버퍼 메모리부(130)에 저장된다.
여기서의 depth 레벨 값 1 내지 3은 제1 시점(201)에서 보았을 때의 충돌 횟수를 의미한다.
영상(310)은 제1 시점(201)에서 보았을 때 최초로 충돌한 오브젝트를 렌더링 한 것이며, 칼라 및 깊이 정보를 포함한다.
영상(320)은 제1 시점(201)에서 보았을 때 최초로 충돌한 오브젝트 뒤에 가려져 있던 부분을 렌더링한 것이며, 최초 충돌 지점들의 바로 뒤에서 충돌하는 것이므로, 충돌 횟수, 즉 depth 레벨 값이 2이다.
영역(321)은 제1 시점(201)에서 보았을 때, 제1 오브젝트(210) 뒤에 가려져 있던 제2 오브젝트(220)에 대응한다. 그리고, 영역(322)는 제1 시점(201)에서 보았을 때, 제1 오브젝트(210) 뒤에 가려져 있던 제3 오브젝트(230)에 대응한다.
그리고, 영역(323)은 제1 시점(201)에서 보았을 때, 제2 오브젝트(220) 뒤에 가려져 있던 백그라운드(240)에 대응하고, 영역(324)은 제1 시점(201)에서 보았을 때, 제3 오브젝트(230) 뒤에 가려져 있던 백그라운드(240)에 대응한다.
영상(330)은 제1 시점(201)에서 두 번째 충돌한 오브젝트 뒤에 가려져 있던 부분을 렌더링한 것이며, 세 번째로 충돌하는 부분들을 나타내므로, depth 레벨 값이 3이다.
영역(331)은 제1 시점(201)에서 보았을 때, 제1 오브젝트(210) 및 제2 오브젝트(220)의 모두가 가리고 있던 백그라운드(240)에 대응한다.
그리고, 영역(332)은 제1 시점(201)에서 보았을 때, 제1 오브젝트(210) 및 제3 오브젝트(230)의 모두가 가리고 있던 백그라운드(240)에 대응한다.
본 실시예에서는 depth 3 이상인 충돌은 존재하지 않아서, 멀티 뎁스 기반의 렌더링 결과는 영상(310) 내지 영상(330)의 세 개의 레이어(layer)로써 존재한다.
도 4는 본 발명의 일실시예에 따라 선택된 제2 시점에서 멀티 뎁스 렌더링한 예시적 결과를 도시한다.
렌더링부(120)가 제2 시점(202)에 대해 멀티 뎁스 렌더링을 수행한 결과 영상들이 도시되었다.
영상(410)은 제2 시점(202)에서 3D 모델(200)을 depth 1에 대해 렌더링 결과이고, 영상(420)은 제2 시점(202)에서 3D 모델(200)을 depth 2에 대해 렌더링 결과이며, 영상(430)은 제2 시점(202)에서 3D 모델(200)을 depth 3에 대해 렌더링 결과이다.
제1 시점(201)에 대한 도 3에서의 결과들과 마찬가지로, 이러한 결과 영상(410 내지 430)도 버퍼 메모리부(130)에 저장된다.
영상(410)은 제2 시점(202)에서 보았을 때 최초로 충돌한 오브젝트를 렌더링 한 것이며, depth 레벨 값이 1이다.
그리고 영상(420)은 제2 시점(202)에서 보았을 때 최초로 충돌한 오브젝트 뒤에 가려져 있던 부분을 렌더링한 것으로서, depth 레벨 값이 2이다.
영역(421)은 제2 시점(202)에서 보았을 때, 제1 오브젝트(210) 뒤에 가려져 있던 제2 오브젝트(220)에 대응한다.
그리고, 영역(422)은 제2 시점(202)에서 보았을 때, 제2 오브젝트(220) 뒤에 가려져 있던 백그라운드(240)에 대응하고, 영역(423)은 제2 시점(202)에서 보았을 때, 제3 오브젝트(230) 뒤에 가려져 있던 백그라운드(240)에 대응한다.
영상(430)은 제2 시점(202)에서 두 번째 충돌한 오브젝트 뒤에 가려져 있던 부분을 렌더링한 것이며, 세 번째로 충돌하는 부분들을 나타내므로, depth 레벨 값이 3이다.
영역(431)은 제2 시점(202)에서 보았을 때, 제1 오브젝트(210) 및 제2 오브젝트(220)의 모두가 가리고 있던 백그라운드(240)에 대응한다.
도시된 바와 같이, 제2 시점(202)에 대해서도 depth 3 이상인 충돌은 존재하지 않아서, 멀티 뎁스 기반의 렌더링 결과는 영상(410) 내지 영상(430)의 세 개의 레이어(layer)로써 존재한다.
도 5는 본 발명의 일실시예에 따라 제3 시점에서 스크린 스페이스 레이 트래이싱을 방법에 의해 제3 시점에서의 레이의 충돌 지점을 찾는 방법을 설명하기 위한 개념도이다.
스크린 스페이스 레이 트래이싱 방법은 최초의 충돌 지점을 찾기 위한 레이 트래이싱 방법의 하나로서, 제3 시점의 특정 픽셀에서 출발한 레이를 깊이 방향(z 값의 방향)으로 프로젝션 한 깊이 이미지(510)에서 픽셀 별로 레이가 충돌하는지를 검사해 나아가는 방법이다.
N 번째 단계에서는, 레이(501)가 깊이 이미지(510)의 P1 픽셀(511)에서 오브젝트와 충돌하는지의 여부가, 오브젝트의 깊이 값을 옆에서 본 그래프(520)와 비교된다.
그래프(520)에서는 레이(502)가 오브젝트 깊이 값(521)과 같아지지 않았기 때문에, 계산부(140)는 P1 픽셀(511)에서는 충돌이 일어나지 않는 것으로 판단하고 N+1번째 단계의 검사를 한다.
N+1 번째 단계에서는, 레이(503)가 상기 P1 픽셀(511) 다음에 지나가는 P2 픽셀(531)에서 오브젝트와 충돌하는지의 여부가, 그래프(540)와 비교된다.
그래프(540)에서는 레이(504)가 오브젝트 깊이 값(541)과 같아지지 않았기 때문에, 계산부(140)는 P2 픽셀(531)에서도 충돌이 일어나지 않는 것으로 판단하고 N+2번째 단계의 검사를 한다.
N+2 번째 단계에서는, 레이(505)가 상기 P2 픽셀(531) 다음에 지나가는 P3 픽셀(551)에서 오브젝트와 충돌하는지의 여부가, 그래프(560)와 비교된다.
그래프(560)에서는 레이(506)가 오브젝트 깊이 값(561)과 같아지기 때문에, 계산부(140)는 P3 픽셀(531)에서 충돌이 일어난 것으로 판단하고, 충돌 점 검사를 종료한다.
그러면, 계산부(140)는 오브젝트와 충돌 점을 P3 부분의 픽셀 값의 칼라 깊이 정보를 통해 결정한다.
계산부(140)는 상기 충돌점 검사를 제3 시점(203)으로부터 출발한 레이들에 대해 버퍼 메모리부(130)에 저장된 제1 시점(201)의 멀티 뎁스 렌더링 결과와 제2 시점(202)의 멀티 뎁스 렌더링 결과의 모두에 수행한다.
그리고, 제1 시점(201)과 제2 시점(202) 중 동일한 픽셀에 대해 먼저 충돌이 일어나는 부분에서 최초로 충돌이 일어난 것으로 판단하여, 해당 부분에 대해서는 제1 시점(201)과 제2 시점(202) 중 먼저 충돌이 일어난 부분의 칼라 값을 가져온다.
이러한 과정을 제3 시점(203)에서 생성하고자 하는 영상의 전체 픽셀에 대해 반복하면, 제3 시점(203)에서의 영상이 렌더링된다.
도 6은 본 발명의 일실시예에 따라 제3 시점에서 3D 모델을 렌더링한 예시적 결과(600)를 도시한다.
제3 시점(203)에 대해서는 렌더링부(120)가 직접 영상을 렌더링하는 것이 아니라, 버퍼 메모리부(130)에 저장된 제1 시점(201)과 제2 시점(202)의 멀티 뎁스 기반 렌더링 결과들을 이용하여 계산부(140)가 영상의 칼라 값들을 계산하였다.
계산부(140)가 제3 시점에서 3D 모델(200)을 바라본 결과 영상(600)은 도 5를 참조하여 설명한 스크린 스페이스 레이 트래이싱 방법에 의해서 생성할 수도 있다. 그러나, 본 발명의 다른 일실시예에 따르면 계산부(140)가 제1 시점(201)과 제2 시점(202)의 각각에 대해 멀티 뎁스 기반 렌더링 한 결과를 버퍼 메모리부(130)로부터 가져와서 두 개의 시점 영상을 이용한 보간(Interpolation)을 수행함으로써 제3 시점(203)에서 3D 모델(200)을 바라본 결과 영상(600)을 생성할 수도 있다.
도 7은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
단계(710)에서, 영상 처리 장치(100)의 선택부(110)가, 3D 모델(200)에 대해 멀티 뎁스 기반 렌더링을 수행할 제1 시점(201) 및 제2 시점(202)을 선택한다.
제1 시점(201) 및 제2 시점(202)는 고 밀도 라이트 필드 영상의 생성에서와 같이 매우 많은 시점에서 3D 모델을 렌더링 하는 경우 연산양이 너무 커지는 문제를 방지하기 위해 미리 일부 시점들을 샘플링한 시점들로 이해되어야 하는 점은 도 1을 참조하여 상술한 바와 같다.
그리고, 이러한 선택의 다양한 기준들의 실시예들 또한 도 1을 참조하여 상술하였다.
단계(720)에서는, 렌더링부(120)가, 상기 제1 시점(201) 및 제2 시점(202)의 각각에 대해 멀티 뎁스 기반 렌더링을 수행하고, 그 결과를 버퍼 메모리부(130)에 저장한다.
멀티 뎁스 기반 렌더링의 상세한 내용은 도 1을 참조하여 상술한 바와 같으며, 그 예시적인 내용은 도 2 내지 도 4를 참조하여 상술한 바와 같다.
그러면, 단계(730)에서, 계산부(140)는 버퍼 메모리부(130)에 저장된 상기 제1 시점(201) 및 제2 시점(202) 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여, 제3 시점(203)에서 3D 모델(200)을 바라본 결과 영상의 칼라 값을 계산한다.
이러한 과정에서 스크린 스페이스 레이 트래이싱이나 보간을 이용한 실시예들이 가능함은 도 1, 도 5 내지 도 6을 참조하여 상술한 바와 같다.
이러한 과정을 통해, 3D 모델(200)에 대해 매우 많은 시점에서의 렌더링 결과를 만들어 내어야 하는 경우, 전체 시점에서 각각 렌더링 연산을 수행하지 않고 일부 샘플링 시점들에 대해서만 멀티 뎁스 기반 렌더링을 수행하고, 나머지 시점들에 대해서는 그 결과를 이용하여 간접적으로 렌더링 결과를 계산할 수 있는 것이다. 따라서 연산양이 크게 감소될 수 있다.
또한, 멀티 뎁스 기반 렌더링을 이용하므로, 시점 차이에 따른 Dissocclusion 부분의 문제 없이 정확한 영상을 만들어 낼 수 있다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: 선택부
120: 렌더링부
130: 버퍼 메모리부
140: 계산부

Claims (13)

  1. 3D 모델에 대해 멀티 뎁스 기반 렌더링을 수행할 제1 시점 및 제2 시점을 선택하는 선택부;
    상기 제1 시점 및 제2 시점의 각각에 대해 멀티 뎁스 기반 렌더링을 수행하여 버퍼 메모리부에 저장하는 렌더링부; 및
    상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산하는 계산부
    를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 선택부는,
    상기 제3 시점으로부터의 거리, 상기 3D 모델 내의 광원으로부터의 거리, 상기 3D 모델 내의 각각의 오브젝트로부터의 거리 및 상기 제1 시점과 상기 제2 시점 사이의 상대적 위치 중 적어도 하나의 요소를 고려하여 상기 제1 시점과 상기 제2 시점을 선택하는, 영상 처리 장치.
  3. 제1항에 있어서,
    상기 렌더링부는,
    상기 제1 시점 및 제2 시점의 각각에 대해, 첫 번째 오브젝트 깊이 내지 N 번째(단, N은 2 이상의 자연수) 오브젝트 깊이에 대한 칼라 값 및 깊이 값을 렌더링하는 멀티 뎁스 기반 렌더링을 수행하여 상기 버퍼 메모리부에 저장하는, 영상 처리 장치.
  4. 제1항에 있어서,
    상기 계산부는,
    상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 스크린-스페이스 레이 트래이싱을 수행하여 상기 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산하는, 영상 처리 장치.
  5. 제4항에 있어서,
    상기 계산부는,
    상기 제3 시점의 제1 픽셀에서 출발하여 픽셀을 이동하며 진행하는 레이의 깊이 값을, 픽셀 별로, 상기 제1 시점에서 생성된 깊이 값 및 상기 제2 시점에서 생성된 깊이 값과 비교하여, 최초 충돌 지점이 더 가까운 쪽의 깊이 값을 이용하여 상기 제1 픽셀에서 출발한 상기 레이의 최초 충돌 지점을 계산하는, 영상 처리 장치.
  6. 제1항에 있어서,
    상기 계산부는,
    상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 칼라 및 또는 깊이 정보의 보간을 수행하여 상기 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산하는, 영상 처리 장치.
  7. 영상 처리 장치의 선택부가, 3D 모델에 대해 멀티 뎁스 기반 렌더링을 수행할 제1 시점 및 제2 시점을 선택하는 선택 단계;
    상기 영상 처리 장치의 렌더링부가, 상기 제1 시점 및 제2 시점의 각각에 대해 멀티 뎁스 기반 렌더링을 수행하여 상기 영상 처리 장치의 버퍼 메모리부에 저장하는 렌더링 단계; 및
    상기 영상 처리 장치의 계산부가, 상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산하는 계산 단계
    를 포함하는, 영상 처리 방법.
  8. 제7항에 있어서,
    상기 선택 단계는,
    상기 제3 시점으로부터의 거리, 상기 3D 모델 내의 광원으로부터의 거리, 상기 3D 모델 내의 각각의 오브젝트로부터의 거리 및 상기 제1 시점과 상기 제2 시점 사이의 상대적 위치 중 적어도 하나의 요소를 고려하여 상기 제1 시점과 상기 제2 시점을 선택하는, 영상 처리 방법.
  9. 제7항에 있어서,
    상기 렌더링 단계는,
    상기 제1 시점 및 제2 시점의 각각에 대해, 첫 번째 오브젝트 깊이 내지 N 번째(단, N은 2 이상의 자연수) 오브젝트 깊이에 대한 칼라 값 및 깊이 값을 렌더링하는 멀티 뎁스 기반 렌더링을 수행하여 상기 버퍼 메모리부에 저장하는, 영상 처리 방법.
  10. 제7항에 있어서,
    상기 계산 단계는,
    상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 스크린-스페이스 레이 트래이싱을 수행하여 상기 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산하는, 영상 처리 방법.
  11. 제10항에 있어서,
    상기 계산 단계는,
    상기 제3 시점의 제1 픽셀에서 출발하여 픽셀을 이동하며 진행하는 레이의 깊이 값을, 픽셀 별로, 상기 제1 시점에서 생성된 깊이 값 및 상기 제2 시점에서 생성된 깊이 값과 비교하여, 최초 충돌 지점이 더 가까운 쪽의 깊이 값을 이용하여 상기 제1 픽셀에서 출발한 상기 레이의 최초 충돌 지점을 계산하는, 영상 처리 방법.
  12. 제7항에 있어서,
    상기 계산 단계는,
    상기 버퍼 메모리부에 저장된 상기 제1 시점 및 상기 제2 시점의 각각의 멀티 뎁스 기반 렌더링 결과를 이용하여 제3 시점에서 칼라 및 또는 깊이 정보의 보간을 수행하여 상기 제3 시점에서 상기 3D 모델을 렌더링한 영상의 칼라 값을 계산하는, 영상 처리 방법.
  13. 제7항 내지 제12항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100135678A 2010-12-27 2010-12-27 영상 처리 장치 및 방법 KR20120073804A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100135678A KR20120073804A (ko) 2010-12-27 2010-12-27 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100135678A KR20120073804A (ko) 2010-12-27 2010-12-27 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120073804A true KR20120073804A (ko) 2012-07-05

Family

ID=46708097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100135678A KR20120073804A (ko) 2010-12-27 2010-12-27 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120073804A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130117668A (ko) * 2012-04-17 2013-10-28 삼성전자주식회사 3차원 볼륨 데이터 생성 방법
US9830721B2 (en) 2013-09-04 2017-11-28 Samsung Electronics Co., Ltd. Rendering method and apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130117668A (ko) * 2012-04-17 2013-10-28 삼성전자주식회사 3차원 볼륨 데이터 생성 방법
US9830721B2 (en) 2013-09-04 2017-11-28 Samsung Electronics Co., Ltd. Rendering method and apparatus

Similar Documents

Publication Publication Date Title
KR101429349B1 (ko) 중간 시점 영상 합성 장치 및 방법과 이에 관한 기록매체
KR101529812B1 (ko) 네이티브 모노스코픽 3d의 입체 3d 로의 런 타임 변환
JP5567578B2 (ja) 入力された三次元ビデオ信号を処理するための方法及びシステム
JP5729915B2 (ja) 多視点映像表示装置、多視点映像表示方法及び記憶媒体
KR101334187B1 (ko) 다시점 렌더링 장치 및 방법
US20130162634A1 (en) Image processing method and apparatus using multi-layer representation
US9041819B2 (en) Method for stabilizing a digital video
EP2175663B1 (en) Image processing apparatus
KR102156402B1 (ko) 영상 처리 방법 및 장치
US20130127988A1 (en) Modifying the viewpoint of a digital image
US8611642B2 (en) Forming a steroscopic image using range map
KR101944911B1 (ko) 영상 처리 방법 및 영상 처리 장치
US20110273437A1 (en) Data Dependent Method of Configuring Stereoscopic Rendering Parameters
KR102250821B1 (ko) 디스플레이 장치 및 디스플레이 장치 동작 방법
KR20110090958A (ko) 이미지 속성들에 대한 오클루젼 데이터의 생성
EP2477160A1 (en) Apparatus and method for providing augmented reality perceived through a window
KR20120137295A (ko) 영상 처리를 위한 방법 및 장치
JP4892113B2 (ja) 画像処理方法及び装置
KR20140043264A (ko) 다시점 영상 처리 장치 및 방법
KR20090068980A (ko) 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
KR101918030B1 (ko) 하이브리드 멀티-뷰 랜더링 방법 및 장치
US9495793B2 (en) Method and device for generating an image view for 3D display
KR20120073804A (ko) 영상 처리 장치 및 방법
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
EP2521090A2 (en) Image processing method, image processing apparatus, and display apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application