KR20130084643A

KR20130084643A - 영상 처리 장치 및 방법

Info

Publication number: KR20130084643A
Application number: KR1020130005563A
Authority: KR
Inventors: 하인우; 이태현; 김도균; 카우츠 얀; 유인수
Original assignee: 삼성전자주식회사; 유니버시티 칼리지 런던
Priority date: 2012-01-17
Filing date: 2013-01-17
Publication date: 2013-07-25
Also published as: KR101906142B1

Abstract

영상 처리 장치가 제공된다. 렌더부는 입력 3D 모델을 렌더링하여 칼라 영상 및 가이드 영상을 생성할 수 있다. 상기 가이드 영상에는 상기 입력 3D 모델에 대응하는 깊이 맵 및 노말 맵이 포함될 수 있다. 필터부는 가이드된 이미지 필터링 기법으로 상기 칼라 영상을 필터링할 수 있다. 파라미터 결정부는, 상기 가이드된 이미지 필터링에 사용되는 필터 파라미터를 결정할 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}

영상 처리 장치 및 방법에 연관되며, 보다 특정하게는 패스 트래이싱 기법을 통해 렌더링되는 영상에서 노이즈 제거 처리를 수행하는 영상 처리 장치 및 방법에 연관된다.

패스 트래이싱(Path tracing) 알고리즘은 빛의 물리적 특성을 정확하게 시뮬레이트 하여, 렌더링된 이미지가 현실감 있는 이미지로 받아들여질 수 있게 한다.

이러한 패스 트래이싱 알고리즘은 매우 많은 연산 시간이 소요되며, 특히 자연광 상태를 반영하기 위해서는 더욱 많은 연산 시간이 소요된다. 따라서 통상적으로는 픽셀 당 핸들링 가능한 수의 패스들만을 사용하여 패스 트래이싱 된 영상을 생성한다.

그러나, 이렇게 한정된 수의 패스들만을 이용하는 경우 영상은 매우 노이지(Noisy)해져서 노이즈 필터링이 요구된다.

일측에 따르면, 입력 3D 모델을 렌더링하여 칼라 영상 및 가이드 영상을 생성하는 렌더부; 상기 가이드 영상을 이용하여 필터링에 적용되는 필터 파라미터를 결정하는 파라미터 결정부; 및 상기 필터 파라미터를 이용하여 상기 칼라 영상을 필터링하는 필터부를 포함하는 영상 처리 장치가 제공된다.

일실시예에 따르면, 상기 필터부는 상기 필터 파라미터를 이용하여 가이드된 이미지 필터링 기법으로 상기 칼라 영상을 필터링할 수 있다.

이 경우, 상기 필터 파라미터는 상기 가이드된 이미지 필터링 기법에 사용되는 필터 사이즈 및 웨이트 중 적어도 하나를 포함할 수 있다.

일실시예에 따르면, 상기 가이드 영상은 상기 칼라 영상에 매칭되는 깊이 맵 및 상기 깊이 맵의 노말 정보를 나타내는 노말 맵을 포함할 수 있다.

일실시예에 따르면, 상기 렌더부는, 상기 렌더링에서 고려되는 조명 환경 중 직접 광을 고려하여 상기 3D 모델을 렌더링한 제1 칼라 영상을 생성하는 제1 칼라 영상 생성부; 및 상기 조명 환경 중 간접 광을 고려하여 상기 3D 모델을 렌더링한 제2 칼라 영상을 생성하는 제2 칼라 영상 생성부를 포함하고, 상기 칼라 영상은 상기 제1 칼라 영상 및 상기 제2 칼라 영상을 포함할 수 있다.

이 경우, 상기 파라미터 결정부는, 상기 제1 칼라 영상에 적용되는 제1 필터 파라미터와 상기 제2 칼라 영상에 적용되는 제2 필터 파라미터를 별도로 결정할 수 있다.

일실시예에 따르면, 상기 영상 처리 장치는, 상기 제1 필터 파라미터를 이용하여 상기 필터부가 상기 제1 칼라 영상을 필터링한 제1 필터된 영상과, 상기 제2 필터 파라미터를 이용하여 상기 필터부가 상기 제2 칼라 영상을 필터링한 제2 필터된 영상을 합성하여 상기 3D 모델을 렌더링한 결과 영상을 생성하는 이미지 생성부를 더 포함할 수 있다.

한편, 일실시예에 따르면, 상기 파라미터 결정부는 상기 3D 모델에 대한 적어도 하나의 특성을 분석하고, 상기 적어도 하나의 특성을 미리 계산된 퍼셉츄얼 메트릭과 비교하여 상기 필터 파라미터를 결정할 수 있다.

이 경우, 상기 적어도 하나의 특성은, 상기 3D 모델의 기하학적 복잡도, 재질 특성, 상기 렌더링에 고려되는 조명 환경의 스무드니스 레벨 중 적어도 하나를 포함할 수 있다.

다른 일측에 따르면, 렌더링에서 고려되는 조명 환경 중 직접 광을 고려하여 3D 모델을 렌더링한 제1 칼라 영상을 생성하고, 상기 조명 환경 중 간접 광을 고려하여 상기 3D 모델을 렌더링한 제2 칼라 영상을 생성하는 렌더부; 상기 제1 칼라 영상에 적용될 제1 필터 파라미터 및 상기 제2 칼라 영상에 적용될 제2 필터 파라미터를 결정하는 파라미터 결정부; 및 상기 제1 필터 파라미터를 이용하여 상기 제1 칼라 영상을 필터링하여 제1 필터된 영상을 생성하고, 상기 제2 필터 파라미터를 이용하여 상기 제2 칼라 영상을 필터링하여 제2 필터된 영상을 생성하는 필터부; 및 상기 제1 필터된 영상 및 상기 제2 필터된 영상을 이용하여 상기 3D 모델을 상기 렌더링한 결과 영상을 생성하는 이미지 생성부를 포함하는 영상 처리 장치가 제공된다.

일실시예에 따르면, 상기 필터부는 가이드된 이미지 필터링 기법으로 상기 제1 칼라 영상 및 상기 제2 칼라 영상을 필터링할 수 있다.

이 경우, 상기 제1 필터 파라미터 및 상기 제2 필터 파라미터는, 상기 가이드된 이미지 필터링 기법에 사용되는 필터 사이즈 및 웨이트 중 적어도 하나를 포함할 수 있다.

또 다른 일측에 따르면, 영상 처리 장치의 렌더부가 입력 3D 모델을 렌더링하여 칼라 영상 및 가이드 영상을 생성하는 렌더링 단계; 상기 영상 처리 장치의 파라미터 결정부가 상기 가이드 영상을 이용하여 필터링에 적용되는 필터 파라미터를 결정하는 파라미터 결정 단계; 및 상기 영상 처리 장치의 필터부가 상기 필터 파라미터를 이용하여 상기 칼라 영상을 필터링하는 단계를 포함하는 영상 처리 방법이 제공된다.

일실시예에 따르면, 상기 필터링 단계는 상기 필터 파라미터를 이용하여 가이드된 이미지 필터링 기법으로 상기 칼라 영상을 필터링하고, 상기 필터 파라미터는 상기 가이드된 이미지 필터링 기법에 사용되는 필터 사이즈 및 웨이트 중 적어도 하나를 포함할 수 있다.

일실시예에 따르면, 상기 렌더링 단계는, 상기 렌더링에서 고려되는 조명 환경 중 직접 광을 고려하여 상기 3D 모델을 렌더링한 제1 칼라 영상을 생성하는 제1 칼라 영상 생성 단계; 및 상기 조명 환경 중 간접 광을 고려하여 상기 3D 모델을 렌더링한 제2 칼라 영상을 생성하는 제2 칼라 영상 생성 단계를 포함하고, 상기 칼라 영상은 상기 제1 칼라 영상 및 상기 제2 칼라 영상을 포함할 수 있다.

이 경우, 상기 파라미터 결정 단계는, 상기 제1 칼라 영상에 적용되는 제1 필터 파라미터와 상기 제2 칼라 영상에 적용되는 제2 필터 파라미터를 별도로 결정할 수 있다.

또한, 상기 영상 처리 방법은 상기 영상 처리 장치의 이미지 생성부가, 상기 제1 필터 파라미터를 이용하여 상기 필터부가 상기 제1 칼라 영상을 필터링한 제1 필터된 영상과, 상기 제2 필터 파라미터를 이용하여 상기 필터부가 상기 제2 칼라 영상을 필터링한 제2 필터된 영상을 합성하여 상기 3D 모델을 렌더링한 결과 영상을 생성하는 이미지 생성 단계를 더 포함할 수도 있다.

일실시예에 따르면, 상기 파라미터 결정 단계는, 상기 3D 모델에 대한 적어도 하나의 특성을 분석하는 단계; 및 상기 적어도 하나의 특성을 미리 계산된 퍼셉츄얼 메트릭과 비교하여 상기 필터 파라미터를 결정하는 단계를 포함할 수 있다.

도 1은 일실시예에 따른 영상 처리 장치의 블록도이다.
도 2는 일실시예에 따른 렌더부의 세부 블록도이다.
도 3은 일실시예에 따른 가이드된 이미지 필터링 기법을 설명하기 위한 개념도이다.
도 4는 일실시예에 따라 직접 광과 간접 광에 서로 다른 필터 파라미터를 적용하여 필터링을 하고 결과 영상을 생성하는 과정을 설명하기 위한 개념도이다.
도 5는 일실시예에 따라 3D 모델의 특성을 이용하여 필터 파라미터를 결정하는 과정을 설명하기 위한 개념도이다.
도 6은 일실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

이하에서, 일부 실시예들를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 영상 처리 장치(100)의 블록도이다.

일실시예에 따르면, 영상 처리 장치(100)는 렌더부(110), 파라미터 결정부(120) 및 필터부(130)을 포함한다.

렌더링 할 3D 모델이 입력되는 경우, 렌더부(110)는 상기 3D 모델을 렌더링 하여 칼라 영상을 생성한다.

일실시예에 따르면, 렌더부(110)는 상기 3D 모델을 렌더링하여 깊이 맵(Depth map) 및 상기 깊이 맵의 노말 정보를 포함하는 노말 맵(Normal map)을 생성한다.

일실시예에 따르면, 필터부(130)는 가이드된 이미지 필터링(Guided Image Filtering: GIF) 기법을 이용하여 상기 칼라 영상을 필터링한다.

일실시예에 따른 가이드된 이미지 필터링 기법을 이용하여 칼라 영상을 필터링 하는 과정은 아래의 수학식에 의해 이해될 수 있다.

여기서 I는 가이드 영상(Guide Image or Guidance Image)이고, p는 필터링 되는 칼라 영상이며, q는 필터된 결과 영상이다. 그리고 i와 j는 픽셀 인덱스를 나타낸다.

일실시예에 따르면, 픽셀 pj에 적용되는 웨이트 Wij의 계산에서 상기 깊이 맵 및 상기 노말 맵 중 적어도 하나가 이용된다. 예시적으로는 노말 맵이 이용된다.

노말 맵을 참고하면 노말이 일정한 영역에서는 블러링을 많이 수행하도록 상기 Wij가 결정되고, 노말이 일정하지 않은 영역에서는 블러링을 덜 수행하도록 상기 Wij가 결정된다. 노말이 일정하지 않다는 것은, 해당 영역이 에지(edge) 부분일 확률이 크다는 것을 의미한다.

이렇게 GIF 필터링에 적용되는 웨이트를 노말 맵을 참고하여 결정함으로써, 에지 부분이 잘 보존되어 영상이 불필요하게 블러 처리 되는 것을 방지할 수 있다. 여기서 상기 웨이트의 결정이 파라미터 결정부(120)이 결정하는 필터 파라미터의 일 예로 이해될 수 있다.

이러한 과정은 도 2 내지 도 3을 참조하여 보다 상세히 후술한다.

한편, 다른 실시예들에서는 필터 파라미터의 다른 예들을 적응적으로 조정할 수도 있다. 이를테면, 필터링 블록 사이즈를 적응적으로 조정하는 것도 가능하다. 이러한 내용은 도 4 내지 도 5를 참조하여 보다 상세히 후술한다.

일실시예에 따르면, 렌더부(110)는 렌더링에서 고려되는 조명 환경(Light environment) 중 직접 광(Direct light)을 고려하여 3D 모델을 렌더링한 제1 칼라 영상을 생성할 수 있다. 이러한 과정은, 렌더링 과정에서 직접 광만을 샘플링하여 패스 트래이싱을 함으로써 수행될 수 있다.

또한, 렌더부(110)는 상기 조명 환경 중 간접 광(Indirect light)을 고려하여 상기 3D 모델을 렌더링한 제2 칼라 영상을 생성할 수 있다.

참고로, 상기 제1 칼라 영상과 상기 제2 칼라 영상의 생성 과정은, 상기한 바와 같이 직접 광만을 샘플링한 조명을 고려하여 패스 트래이싱을 하고 이와는 별도로 간접 광만을 샘플링한 조명을 고려하여 패스 트래이싱을 하는 것에 의해서도 가능하지만, 직접 광 및 간접 광 모두를 샘플링하여 렌더링을 한 결과에서 직접 광의 샘플들에 의한 트래이싱 결과와 간접 광의 샘플들에 의한 트래이싱 결과를 구분하여 추정(Estimation)하는 것도 가능하다.

따라서, 이하에서는 이러한 다양한 방법들을 일일이 반복하여 서술하지 않으나, 직접 광을 반영한 영상 렌더링 결과와 간접 광을 반영한 영상 렌더링 결과를 별도로 만드는 어떠한 실시예도 가능하다.

일실시예에 따르면, 파라미터 결정부는 상기 제1 칼라 영상에 적용될 제1 필터 파라미터 및 상기 제2 칼라 영상에 적용될 제2 필터 파라미터를 서로 다르게 결정할 수 있다. 통상적으로 직접 광과 간접 광은 렌더링 결과에 있어서 서로 다른 노이즈 특성을 야기할 수 있다.

그런데도 "McCool 1999; Bauszat et al. 2011, Dammertz et al. 2010; Segovia et al. 2006" 등의 종전 연구들에서는, 필터 파라미터의 예인 블러 커널 사이즈(필터 사이즈) 및 모양을 조명의 종류에 따라 적응적이지 못했다. 이를테면, 직접 광과 간접 광 모두에 동일한 사이즈 및 모양의 커널(필터 블록)이 사용하여, 불필요한 블러링에 의해 에지가 손실되는 등의 현상이 발견되었다. 심지어는, 직접 광은 필터링 처리에서 고려되지 않기도 했다.

일실시예에 따르면, 노이즈 특성이 다른 직접 광과 간접 광을 별도로 취급하여, 직접 광을 고려하여 3D 모델을 렌더링한 제1 칼라 영상에는 직접 광의 특성에 맞는 제1 필터 파라미터를 적용하고, 간접 광을 고려하여 상기 3D 모델을 렌더링한 제2 칼라 영상에는 간접 광의 특성에 맞는 제2 필터 파라미터를 적용하는 적응적 필터링(Adaptive filtering)을 수행한다.

일실시예에 따르면, 이미지 생성부(140)는 이렇게 별도로 필터링된 결과인 제1 필터된 영상과 제2 필터된 영상을 합성하여 노이즈 제거 과정을 거친 결과 영상을 생성한다. 이러한 결과 영상에는 에지가 잘 보존되면서도 노이즈 제거가 효과적으로 수행된 것이 확인될 수 있다.

도 2는 일실시예에 따른 렌더부(110)의 세부 블록도이다.

상기한 바와 같이, 렌더부(110)는 상기 3D 모델을 렌더링 하여 기하 정보를 생성함으로써 깊이 맵을 생성하는 맵 생성부(210)를 포함할 수 있다.

그리고 맵 생성부(210)는 상기 3D 모델로부터 직접, 또는 상기 깊이 맵으로부터 상기 노말 맵을 생성할 수 있다.

생성된 깊이 맵 및/또는 노말 맵은 버퍼(240)에 저장될 수 있다.

일실시예에 따르면, 상기 노말 맵은 도 1을 참조하여 상기한 바와 같이, GIF 필터링 과정에 적용되는 웨이트를 적응적으로 결정하는 데에 이용될 수 있다.

제1 칼라 영상 생성부(220)는 상기 3D 모델을 렌더링 하는 과정에서 고려되어야 하는 조명 환경 중, 직접 광(Direct light)을 고려하여 3D 모델을 렌더링한 제1 칼라 영상을 생성할 수 있다.

그리고 제2 칼라 영상 생성부(230)는 상기 조명 환경 중, 간접 광(Indirect light)을 고려하여 3D 모델을 렌더링한 제2 칼라 영상을 생성할 수 있다.

도 1을 참조하여서도 설명한 바와 같이, 제1 칼라 영상 생성부(220) 및 제2 칼라 영상 생성부(230)의 영상 생성 과정은 직접 광을 반영한 영상 렌더링 결과와 간접 광을 반영한 영상 렌더링 결과를 별도로 만드는 어떠한 실시예들도 가능하다.

따라서, 제1 칼라 영상과 제2 칼라 영상을 각각 패스 트래이싱 과정으로 계산하는 것뿐만 아니라, 직접 광 및 간접 광 모두를 샘플링하여 렌더링을 한 결과에서 직접 광의 샘플들에 의한 트래이싱 결과와 간접 광의 샘플들에 의한 트래이싱 결과를 구분하여 추정(Estimation)하는 과정도 가능하다.

도 3은 일실시예에 따른 가이드된 이미지 필터링 기법을 설명하기 위한 개념도이다.

렌더부(110)는 3D 모델을 이용하여 가이드 이미지(310) 및 노이지한 칼라 영상(301)을 생성할 수 있다.

일실시예에 따르면, 가이드 이미지(310)에는 상기 도 1 내지 도 2를 이용하여 상술한 깊이 맵(311) 및/또는 노말 맵(312)이 포함될 수 있다. 3D 모델을 이용하여 직접 기하 정보를 계산하기 때문에, 이러한 깊이 맵(311)이나 노말 맵(312)은 칼라 영상(301)에 비해 훨씬 노이즈가 적을 수 있다.

일실시예에 따르면, 파라미터 결정부(120)는 이러한 깊이 맵(311) 및/또는 노말 맵(312)을 가이드 이미지로 이용하여, 필터링부(130)가 GIF 필터링을 수행하는 데에 이용되는 웨이트를 적응적으로 결정한다.

예를 들어, 도 1을 참조해서도 상기한 바와 같이, 노말이 일정하여 평평한 면에 해당하는 영역에 대해서는 블러링을 많이 수행하도록 상기 Wij가 결정될 수 있다. 그리고, 노말이 일정하지 않은 영역은 에지를 포함할 확률이 크기 때문에 블러링을 덜 수행하도록 상기 Wij가 결정될 수 있다.

이러한 과정에 따라 생성된 예시적 결과 영상(302)에서는 에지 부분이 잘 보존되면서 노이즈는 효과적으로 제거된 것이 확인된다.

참고로, 가이드된 이미지 필터링 기법 자체에 대해서는 "HE, K., SUN, J., AND TANG, X. 2010. Guided image filtering. (In Proceedings of the 11th European conference on Computer vision: Part I, ECCV'10, 1??14)" 등의 문헌을 통해 상세히 이해할 수 있으므로, 구체적인 언급은 생략한다.

도 4는 일실시예에 따라 직접 광과 간접 광에 서로 다른 필터 파라미터를 적용하여 필터링을 하고 결과 영상을 생성하는 과정을 설명하기 위한 개념도이다.

상기한 바와 같이, 일실시예에 따르면, 상기 렌더부(110)는, 상기 렌더링에서 고려되는 조명 환경 중 직접 광을 고려하여 상기 3D 모델을 렌더링한 제1 칼라 영상(410)을 생성하고, 또한 상기 조명 환경 중 간접 광을 고려하여 상기 3D 모델을 렌더링한 제2 칼라 영상(420)을 생성할 수 있다.

그리고, 파라미터 결정부(120)가 제1 칼라 영상(410) 및 제2 칼라 영상(420)에 서로 다른 필터 파라미터를 적응적으로 결정하면, 필터부(130)는 이를 이용하여 필터링을 수행한다.

제1 칼라 영상(410)을 필터링 한 결과인 제1 필터된 영상(411)와 제2 칼라 영상(420)을 필터링한 결과인 제2 필터된 영상(421)이 생성되었다.

그러면, 이미지 생성부(140)는 이들 제1 필터된 영상(411)과 제2 필터된 영상(421)을 합성하여 결과 영상(430)을 생성한다.

도 5는 일실시예에 따라 3D 모델의 특성을 이용하여 필터 파라미터를 결정하는 과정을 설명하기 위한 개념도이다.

일실시예에 따르면, 상기 파라미터 결정부(120)는 상기 3D 모델에 대한 적어도 하나의 특성을 분석하고, 상기 적어도 하나의 특성을 미리 계산된 퍼셉츄얼 메트릭(Perceptual metric)과 비교하여 상기 필터 파라미터를 결정할 수 있다.

예시적으로, 상기 적어도 하나의 특성에는 레퍼런스 영상(510)에 연관되는 입력 3D 모델의 기하학적 복잡도(Complexity of Geometry), 재질 특성(Material feature), 상기 렌더링에 고려되는 조명 환경의 스무드니스 레벨(Smoothness level of Light) 중 적어도 하나가 포함될 수 있다

예시적으로 영상(520)에는 각 픽셀에 GIF 필터링을 적용하는 경우, 최대 허용 가능한 필터 사이즈가 칼라로 표시되었다. 기하학적 복잡도가 크거나 재질 특성이 불규칙한 부분에서는 필터 사이즈가 작아야 하므로 푸른색 계열로 표시되었고, 평평한 면이라서 기하학적 복잡도가 작은 부분에서는 붉은색 계열로 표시되었다. 다만, 이 칼라는 이해를 돕기 위한 것이므로, 실시예들은 이러한 예시적 영상(520)에 의해 제한적으로 이해될 수 없다.

따라서, 파라미터 결정부(120)는 기하학적 복잡도가 큰 등의 이유로 에지 부분일 확률이 큰 픽셀을 필터링 하기 위해서는 필터 사이즈를 작게 결정하고, 반대로 기하학적 복잡도가 작아 평면일 확률이 큰 픽셀을 필터링하기 위해서는 필터 사이즈를 크게 할 수 있다.

이러한 적응적 필터링에 의해, 에지는 잘 보존되면서 노이즈는 효과적으로 제거될 수 있다.

도 6은 일실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

일실시예에 따르면, 단계(610)에서 입력 3D 모델에 대한 렌더링 과정이 수행된다.

이 과정에서 렌더부(110)는 3D 모델에 대한 가이드 이미지를 생성할 수 있다. 일실시예에 따르면, 상기 가이드 이미지에는 상기 도 1 내지 도 2를 이용하여 상술한 깊이 맵(311) 및/또는 노말 맵(312)이 포함될 수 있다.

그러면, 파라미터 결정부(120)는 깊이 맵 및/또는 노말 맵을 이용하여 GIF 필터링에 적용되는 픽셀 웨이트를 적응적으로 계산하고(단계 620), 이에 따라 필터 파라미터를 결정한다(단계 630).

한편, 렌더부(110)는 단계(640)에서 상기 렌더링에서 고려되는 조명 환경 중 직접 광을 고려하여 상기 3D 모델을 렌더링한 제1 칼라 영상을 생성하고(단계 640), 또한 상기 조명 환경 중 간접 광을 고려하여 상기 3D 모델을 렌더링한 제2 칼라 영상을 생성할 수 있다(단계 650).

그리고, 파라미터 결정부(120)는 단계(630)에서, 제1 칼라 영상과 제2 칼라 영상에 적용될 제1 필터 파라미터 및 제2 필터 파라미터를 결정한다. 또한, 단계(630)에서는 파라미터 결정부(120)가 3D 모델의 적어도 하나의 특성 정보를 퍼셉츄얼 메트릭과 비교함으로써, 필터 사이즈 등을 조정할 수도 있다.

그러면, 단계(660) 및 단계(670)에서, 필터부(130)는 제1 칼라 영상 및 제2 칼라 영상을 필터링 한다.

그리고 단계(680)에서는 제1 필터된 영상 및 제2 필터된 영상을 합성하여 결과 이미지가 생성된다. 이상의 과정은 도 3 내지 도 5를 참조하여 상술한 바와 같다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

입력 3D 모델을 렌더링하여 칼라 영상 및 가이드 영상을 생성하는 렌더부;
상기 가이드 영상을 이용하여 필터링에 적용되는 필터 파라미터를 결정하는 파라미터 결정부; 및
상기 필터 파라미터를 이용하여 상기 칼라 영상을 필터링하는 필터부
를 포함하는 영상 처리 장치.
제1항에 있어서,
상기 필터부는 상기 필터 파라미터를 이용하여 가이드된 이미지 필터링 기법으로 상기 칼라 영상을 필터링하는 영상 처리 장치.
제2항에 있어서,
상기 필터 파라미터는 상기 가이드된 이미지 필터링 기법에 사용되는 필터 사이즈 및 웨이트 중 적어도 하나를 포함하는 영상 처리 장치.
제1항에 있어서,
상기 가이드 영상은 상기 칼라 영상에 매칭되는 깊이 맵 및 상기 깊이 맵의 노말 정보를 나타내는 노말 맵을 포함하는 영상 처리 장치.
제1항에 있어서,
상기 렌더부는,
상기 렌더링에서 고려되는 조명 환경 중 직접 광을 고려하여 상기 3D 모델을 렌더링한 제1 칼라 영상을 생성하는 제1 칼라 영상 생성부; 및
상기 조명 환경 중 간접 광을 고려하여 상기 3D 모델을 렌더링한 제2 칼라 영상을 생성하는 제2 칼라 영상 생성부
를 포함하고,
상기 칼라 영상은 상기 제1 칼라 영상 및 상기 제2 칼라 영상을 포함하는 영상 처리 장치.
제5항에 있어서,
상기 파라미터 결정부는, 상기 제1 칼라 영상에 적용되는 제1 필터 파라미터와 상기 제2 칼라 영상에 적용되는 제2 필터 파라미터를 별도로 결정하는 영상 처리 장치.
제6항에 있어서,
상기 제1 필터 파라미터를 이용하여 상기 필터부가 상기 제1 칼라 영상을 필터링한 제1 필터된 영상과, 상기 제2 필터 파라미터를 이용하여 상기 필터부가 상기 제2 칼라 영상을 필터링한 제2 필터된 영상을 합성하여 상기 3D 모델을 렌더링한 결과 영상을 생성하는 이미지 생성부
를 더 포함하는 영상 처리 장치.
제1항에 있어서,
상기 파라미터 결정부는 상기 3D 모델에 대한 적어도 하나의 특성을 분석하고, 상기 적어도 하나의 특성을 미리 계산된 퍼셉츄얼 메트릭과 비교하여 상기 필터 파라미터를 결정하는 영상 처리 장치.
제8항에 있어서,
상기 적어도 하나의 특성은, 상기 3D 모델의 기하학적 복잡도, 재질 특성, 상기 렌더링에 고려되는 조명 환경의 스무드니스 레벨 중 적어도 하나를 포함하는 영상 처리 장치.
렌더링에서 고려되는 조명 환경 중 직접 광을 고려하여 3D 모델을 렌더링한 제1 칼라 영상을 생성하고, 상기 조명 환경 중 간접 광을 고려하여 상기 3D 모델을 렌더링한 제2 칼라 영상을 생성하는 렌더부;
상기 제1 칼라 영상에 적용될 제1 필터 파라미터 및 상기 제2 칼라 영상에 적용될 제2 필터 파라미터를 결정하는 파라미터 결정부; 및
상기 제1 필터 파라미터를 이용하여 상기 제1 칼라 영상을 필터링하여 제1 필터된 영상을 생성하고, 상기 제2 필터 파라미터를 이용하여 상기 제2 칼라 영상을 필터링하여 제2 필터된 영상을 생성하는 필터부; 및
상기 제1 필터된 영상 및 상기 제2 필터된 영상을 이용하여 상기 3D 모델을 상기 렌더링한 결과 영상을 생성하는 이미지 생성부
를 포함하는 영상 처리 장치.
제10항에 있어서,
상기 필터부는 가이드된 이미지 필터링 기법으로 상기 제1 칼라 영상 및 상기 제2 칼라 영상을 필터링하는 영상 처리 장치.
제11항에 있어서,
상기 제1 필터 파라미터 및 상기 제2 필터 파라미터는, 상기 가이드된 이미지 필터링 기법에 사용되는 필터 사이즈 및 웨이트 중 적어도 하나를 포함하는 영상 처리 장치.
영상 처리 장치의 렌더부가 입력 3D 모델을 렌더링하여 칼라 영상 및 가이드 영상을 생성하는 렌더링 단계;
상기 영상 처리 장치의 파라미터 결정부가 상기 가이드 영상을 이용하여 필터링에 적용되는 필터 파라미터를 결정하는 파라미터 결정 단계; 및
상기 영상 처리 장치의 필터부가 상기 필터 파라미터를 이용하여 상기 칼라 영상을 필터링하는 단계
를 포함하는 영상 처리 방법.
제13항에 있어서,
상기 필터링 단계는 상기 필터 파라미터를 이용하여 가이드된 이미지 필터링 기법으로 상기 칼라 영상을 필터링하고, 상기 필터 파라미터는 상기 가이드된 이미지 필터링 기법에 사용되는 필터 사이즈 및 웨이트 중 적어도 하나를 포함하는 영상 처리 방법.
제13항에 있어서,
상기 가이드 영상은 상기 칼라 영상에 매칭되는 깊이 맵 및 상기 깊이 맵의 노말 정보를 나타내는 노말 맵을 포함하는 영상 처리 방법.
제13항에 있어서,
상기 렌더링 단계는,
상기 렌더링에서 고려되는 조명 환경 중 직접 광을 고려하여 상기 3D 모델을 렌더링한 제1 칼라 영상을 생성하는 제1 칼라 영상 생성 단계; 및
상기 조명 환경 중 간접 광을 고려하여 상기 3D 모델을 렌더링한 제2 칼라 영상을 생성하는 제2 칼라 영상 생성 단계
를 포함하고,
상기 칼라 영상은 상기 제1 칼라 영상 및 상기 제2 칼라 영상을 포함하는 영상 처리 방법.
제16항에 있어서,
상기 파라미터 결정 단계는, 상기 제1 칼라 영상에 적용되는 제1 필터 파라미터와 상기 제2 칼라 영상에 적용되는 제2 필터 파라미터를 별도로 결정하는 영상 처리 방법.
제17항에 있어서,
상기 영상 처리 장치의 이미지 생성부가, 상기 제1 필터 파라미터를 이용하여 상기 필터부가 상기 제1 칼라 영상을 필터링한 제1 필터된 영상과, 상기 제2 필터 파라미터를 이용하여 상기 필터부가 상기 제2 칼라 영상을 필터링한 제2 필터된 영상을 합성하여 상기 3D 모델을 렌더링한 결과 영상을 생성하는 이미지 생성 단계
를 더 포함하는 영상 처리 방법.
제13항에 있어서,
상기 파라미터 결정 단계는,
상기 3D 모델에 대한 적어도 하나의 특성을 분석하는 단계; 및
상기 적어도 하나의 특성을 미리 계산된 퍼셉츄얼 메트릭과 비교하여 상기 필터 파라미터를 결정하는 단계
를 포함하는 영상 처리 방법.
제13항 내지 제19항 중 어느 한 항에 있어서, 상기 영상 처리 방법을 수행하는 프로그램을 포함한 컴퓨터 판독 가능 기록매체.