KR20110040168A - 회화적 렌더링 장치 및 방법 - Google Patents

Abstract

회화적 렌더링 장치 및 방법이 개시된다. 돌출도 추출부는 입력받은 원본영상을 구성하는 복수의 화소의 그라디언트 값 및 색상 돌출도 값을 기초로 각각의 화소에 대해 산출된 돌출도 값으로 이루어진 돌출도 맵을 생성한다. 영상 분할부는 원본영상을 사전에 설정된 분할횟수에 따라 반복적으로 분할하되, 각각의 분할시 원본영상이 분할되어 생성된 서브영역들 중 최하위 레벨에 해당하는 분할대상영역을 구성하는 화소들에 대한 평균 돌출도 값이 사전에 설정된 기준값보다 크면 분할대상영역을 복수의 서브영역으로 분할한다. 스트로크 크기 결정부는 각각의 서브영역에 적용되는 스트로크의 크기를 결정한다. 렌더링부는 결정된 스트로크의 크기를 기초로 각각의 서브영역에 스트로크를 적용하여 결과영상을 생성한다. 본 발명에 따르면, 원본영상에 관한 돌출도 정보만을 기초로 자동적으로 스트로크 크기를 결정하여 적용할 수 있으며 사용자가 손쉽게 세부 묘사 정도를 제어할 수 있다.

회화적 렌더링, 돌출도, 스트로크 크기, 단계별 제어

Description

회화적 렌더링 장치 및 방법{Apparatus and method for painterly rendering}

본 발명은 회화적 렌더링 장치 및 그 방법에 관한 것으로서, 보다 상세하게는, 카메라로 촬영한 영상을 손으로 그린 듯한 회화적 느낌으로 표현하는 장치 및 그 방법에 관한 것이다.

회화적 렌더링(painterly rendering)은 비사실적 렌더링(non-photorealistic rendering : NPR) 분야 중에서 스트로크 베이스 렌더링(stroke-based rendering)의 한 종류이다. 스트로크 베이스 렌더링은 영상을 렌더링할 때 화소가 아닌 스트로크를 기본 단위로 사용하는 렌더링을 말한다. 일반적으로 2차원 이미지를 기반으로 렌더링을 수행할 때 배경과 같이 균일한 색상을 가지는 면적이 넓은 영역에 대하여는 큰 스트로크를 사용하고, 작은 면적을 가지거나 강조하고 싶은 객체가 존재하는 영역에 대하여는 작은 스트로크를 사용하여 세밀하게 묘사한다.

이때 배경과 강조하고자 하는 객체 사이에서 스트로크의 단계별 세부묘사(level of detail : LOD)가 명확하게 표현될 수 있도록 하기 위해 많은 연구가 이루어졌다. 최초로 제안된 알고리즘은 자동으로 다중 스트로크 사이즈를 표현하는 다중 레이어 기반 격자(multi-layered grid) 알고리즘이다. 이는 실제 페인팅 과정을 그대로 적용하여 알고리즘화하였으며, 색상 차이에 기반하여 다양한 스트로크 사이즈를 표현할 수 있다.

아이 트랙킹(eye tracking) 데이터를 이용한 이미지 추상화 및 스타일화 방법은 아이 트랙커를 이용하여 사용자의 시선을 분석하고, 시선이 많이 가는 영역은 세밀하게, 그 외의 영역은 추상적으로 묘사하는 방법이다. 이를 위해 세밀하게 묘사할 영역의 콘트라스트(contrast)와 채도(saturation)를 강조하고, 적용될 스트로크의 속성을 조절하였다.

포커스 맵을 기반으로 하는 알고리즘은 포커싱이 된 영역에는 작은 스트로크를 적용하여 세밀하게 묘사하고, 그 외의 영역은 이미지 분할에 의한 단순화로 추상적으로 표현하였다. 포커스 맵은 지역적 블러 함수에 의해 생성된다. 이 방법은 아이 트랙킹 데이터를 이용한 알고리즘과는 달리 하드웨어 장치를 필요로 하지 않는다는 장점을 가진다. 그러나 영상이 포커싱 영역과 그 외의 영역 두 부분으로만 나누어지기 때문에 다양한 LOD를 표현하는 데에는 한계를 가진다.

에지 밀도를 이용한 알고리즘은 영상에 캐니 에지필터를 적용하여 에지를 추출한 후 에지의 밀도를 계산하여 단계별 세부 묘사를 수행하는 방법이다. 이 방법을 이용하면 간단한 구현을 통해 LOD 컨트롤이 가능하다. 그러나 에지 밀도는 영상의 선명도나 크기에 따라 매우 변화가 심하기 때문에 영상의 분할에 사용되는 기준값을 결정할 때 다양한 실험을 수행하여야 한다. 또한 영상을 분할할 때 단순한 사분트리(quad tree) 기법을 사용하면 동일한 객체가 이등분되는 경우가 발생하여 결 과영상이 부자연스럽게 될 수 있다는 단점이 있다.

세밀하게 표현할 영역과 추상적으로 표현할 영역을 구분하기 위한 또 다른 방법으로 영상의 돌출도(saliency)를 사용하는 방법이 있다. 돌출도란 영상에서 각각의 화소 또는 영역이 두드러지게 나타나는 정도, 즉 시각적으로 집중이 되는 정도를 말한다. 돌출도 정보를 회화적 렌더링에 적용한 기존의 알고리즘에서는 영상의 각 화소로부터 얻어지는 돌출도 값을 기초로 하여 돌출도 값이 큰 픽셀에 작은 스트로크를 적용하였다. 그러나 돌출도 정보를 화소 단위로 사용하기 때문에 영역별로 스트로크 LOD를 컨트롤하거나 그에 따른 다양한 효과를 표현하기 어렵다는 한계를 가진다.

본 발명이 이루고자 하는 기술적 과제는 영상의 렌더링시 두드러진 영역 뿐 아니라 세부적인 경계를 명확하게 표현할 수 있는 회화적 렌더링 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 영상의 렌더링시 두드러진 영역 뿐 아니라 세부적인 경계를 명확하게 표현할 수 있는 회화적 렌더링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 회화적 렌더링 장치는, 입력받은 원본영상을 구성하는 화소들의 그라디언트 값 및 색상 돌출도(color saliency) 값을 기초로 상기 각각의 화소에 대해 산출된 돌출도(saliency) 값으로 이루어진 돌출도 맵을 생성하는 돌출도 추출부; 상기 원본영상을 사전에 설정된 분할횟수에 따라 반복적으로 분할하되, 각각의 분할시 상기 원본영상이 분할되어 생성된 서브영역들 중 최하위 레벨에 해당하는 분할대상영역을 구성하는 화소들에 대한 평균 돌출도 값이 사전에 설정된 기준값보다 크면 상기 분할대상영역을 복수의 서브영역으로 분할하는 영상 분할부; 상기 각각의 서브영역에 적용되는 스트로크의 크기를 결정하는 스트로크 크기 결정부; 및 상기 결정된 스트로크의 크기를 기초로 상기 각각의 서브영역에 스트로크를 적용하여 결과영상을 생성하는 렌더링부;를 구 비한다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 회화적 렌더링 방법은, 입력받은 원본영상을 구성하는 화소들의 그라디언트 값 및 색상 돌출도(color saliency) 값을 기초로 상기 각각의 화소에 대해 산출된 돌출도(saliency) 값으로 이루어진 돌출도 맵을 생성하는 돌출도 추출단계; 상기 원본영상을 사전에 설정된 분할횟수에 따라 반복적으로 분할하되, 각각의 분할시 상기 원본영상이 분할되어 생성된 서브영역들 중 최하위 레벨에 해당하는 분할대상영역을 구성하는 화소들에 대한 평균 돌출도 값이 사전에 설정된 기준값보다 크면 상기 분할대상영역을 복수의 서브영역으로 분할하는 영상 분할단계; 상기 각각의 서브영역에 적용되는 스트로크의 크기를 결정하는 스트로크 크기 결정단계; 및 상기 결정된 스트로크의 크기를 기초로 상기 각각의 서브영역에 스트로크를 적용하여 결과영상을 생성하는 렌더링단계;를 갖는다.

본 발명에 따른 회화적 렌더링 장치 및 방법에 의하면, 원본영상을 구성하는 각 화소의 그라디언트 값 및 색상 돌출도 값을 기초로 돌출도 값을 산출함으로써 두드러진 객체 부분이 아닌 배경에 포함된 세부정보도 추출하여 표현할 수 있다. 또한 원본영상을 세부 영역으로 분할할 때 돌출도 값에 의해 분할의 기준 지점을 결정함으로써 누락되기 쉬운 부분까지 모두 표현 가능하다. 나아가 원본영상에 관한 돌출도 정보만을 기초로 자동적으로 스트로크 크기를 결정하여 적용할 수 있으며 사용자가 손쉽게 세부 묘사 정도를 제어할 수 있다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 회화적 렌더링 장치 및 그 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 1은 본 발명에 따른 회화적 렌더링 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 회화적 렌더링 장치는 돌출도 추출부(110), 영상 분할부(120), 스트로크 크기 결정부(130) 및 렌더링부(140)를 구비한다.

돌출도 추출부(110)는 입력받은 원본영상을 구성하는 화소들의 그라디언트 값 및 색상 돌출도(color saliency) 값을 기초로 각각의 화소에 대해 산출된 돌출도(saliency) 값으로 이루어진 돌출도 맵을 생성한다.

회화적 렌더링에서는 영상의 방향성이 매우 중요한 정보의 역할을 수행한다. 렌더링시 영상의 방향성이 스트로크의 방향을 결정하며, 윤곽선을 명확히 살려 객체의 표현을 정확하게 할 수 있기 때문이다. 영상으로부터 돌출도를 추출하는 기존의 방법에서는 각 화소의 색상, 명도 및 방향 돌출도 값을 이용하여 최종적인 돌출도 맵을 생성하였다. 그러나 회화적 렌더링에서는 돌출도가 낮은 영역에서도 객체의 윤곽에 관한 정보가 중요시되기 때문에 상대적으로 돌출도가 높은 영역만을 강조하는 기존의 방법은 객체의 정확한 표현에 한계를 가진다.

영상에서 그라디언트 값이 큰 부분은 명암의 변화가 심한 부분이고, 그라디언트 값이 작은 부분은 명암의 변화가 적은 부분이다. 이와 같이 그라디언트 값이 영상의 명암과 방향을 모두 나타낼 수 있기 때문에 돌출도 추출부(110)는 각 화소에 대한 돌출도 값을 산출할 때 기존의 방법에서 사용된 명도 및 방향 돌출도 값 대신 그라디언트 값을 사용한다. 즉, 각 화소의 그라디언트 값 및 색상 돌출도 값에 의해 돌출도 값이 산출된다. 이때 그라디언트 값은 객체의 경계 부분에서 크게 나타나며, 이는 고주파 영역을 의미한다. 따라서 고주파 영역의 분포에 의해 영상의 구조 정보를 파악할 수 있다.

돌출도 추출부(110)는 원본영상의 각 화소에 대한 돌출도 값을 다음의 수학식 1에 의해 산출할 수 있다.

여기서, S는 원본영상의 각 화소에 대한 돌출도 값, N(S_Grad)는 해당 화소의 정규화된 그라디언트 값, 그리고 N(S_Col)은 해당 화소의 정규화된 색상 돌출도 값이다.

수학식 1에서 각 화소의 그라디언트 값 및 색상 돌출도 값은 0에서 1 사이의 값으로 정규화되고, 돌출도 값은 그라디언트 값 및 색상 돌출도 값 중 더 큰 값으로 결정된다. 따라서 원본영상으로부터 생성된 돌출도 맵은 모두 0에서 1 사이의 값으로 이루어진다.

도 2a 및 도 2b는 각각 돌출도 값을 산출하는 기존의 방법에서 사용된 방향 돌출도 값으로 이루어진 영상과 돌출도 추출부(110)에서 돌출도 값을 산출할 때 사 용하는 그라디언트 값으로 이루어진 영상을 비교하여 나타낸 도면이다. 도 2a 및 도 2b를 비교하여 보면, 방향 돌출도 값에 비해 그라디언트 값을 사용할 경우에 영상에 존재하는 미세한 윤곽이 명확히 표현된다는 것을 확인할 수 있다.

한편, 원본영상의 각 화소에 대한 색상 돌출도 값을 산출하기 위해서는 기존의 돌출도 추출 기법인 로렌(Laurent)의 방법 중에서 색상에 관련된 부분을 사용할 수 있다. 즉, 원본영상으로부터 가우시안 피라미드 기법에 의해 다중 스케일(multi-scale) 영상을 생성한 후, 적색, 녹색, 청색 및 황색 간의 차이 값을 고려하여 색상 돌출도 값을 얻을 수 있다.

도 3은 원본영상, 원본영상을 구성하는 각 화소의 그라디언트 값으로 이루어진 그라디언트 맵, 각 화소의 색상 돌출도 값으로 이루어진 색상 돌출도 맵 및 원본영상으로부터 생성된 돌출도 맵을 나타낸 도면이다. 그라디언트 맵을 구성하는 그라디언트 값과 색상 돌출도 맵을 구성하는 색상 돌출도 값으로부터 수학식 1에 의해 돌출도 값을 산출하면 돌출도 맵을 얻을 수 있다. 원본영상과 돌출도 맵을 비교하여 보면, 원본영상에 나타난 윤곽들이 잘 표현되어 있는 것을 확인할 수 있다. 또한 돌출도 맵에서는 어두운 영역일수록 돌출도 값이 높게 나타난다.

영상 분할부(120)는 원본영상을 사전에 설정된 분할횟수에 따라 반복적으로 분할하되, 각각의 분할시 원본영상이 분할되어 생성된 서브영역들 중 최하위 레벨을 가지는 분할대상영역을 구성하는 화소들에 대한 평균 돌출도 값이 사전에 설정된 기준값보다 크면 분할대상영역을 복수의 서브영역으로 분할한다.

원본영상에 대한 분할 정보는 분할된 영역에 적용되는 스트로크의 LOD를 제 어하기 위해 사용된다. 원본영상을 분할할 때에는 사분트리 기법을 사용한다. 즉, 하나의 분할 기준 지점을 중심으로 하나의 영역을 단계적으로 네 개의 서브영역으로 분할하는 것이다. 이때 사분트리는 분할횟수와 동일한 개수의 레벨을 가진다. 단계적인 영상 분할을 수행할 때 최하위 레벨에 해당하는 분할대상영역이 분할 조건을 만족하면 다시 네 개의 하위영역으로 분할된다. 본 발명에서의 분할 조건은 분할대상영역을 구성하는 화소들에 대한 평균 돌출도 값이다. 평균 돌출도 값은 다음의 수학식 2에 의해 구해진다.

여기서, S_average는 분할대상영역을 구성하는 복수의 화소에 대한 평균 돌출도 값, S_(x,y)는 분할대상영역에서 (x,y)의 좌표에 위치하는 화소에 대한 돌출도 값, wid는 분할대상영역의 가로 길이, 그리고 hei는 분할대상영역의 세로 길이이다.

영상 분할부(120)는 원본영상을 사전에 설정된 분할횟수에 따라 단계적으로 분할하되, 현재 단계에서 분할대상영역에 대한 S_average 값이 사전에 설정된 기준값보다 작아지면 해당 분할대상영역은 더 이상 서브영역으로 분할하지 않는다. 따라서 돌출도 값이 높은 영역은 돌출도 값이 낮은 영역에 비해 더 세부적으로 분할된다.

또한 S_average 값이 기준값보다 크더라도 원본영상으로부터의 분할횟수가 사전에 설정된 분할횟수보다 커지면 더 이상 영상 분할을 수행하지 않는다. 즉, 현재 단계에서 분할대상영역의 레벨이 설정된 분할횟수보다 작은 경우에만 분할대상영역은 서브영역으로 분할된다. 렌더링시 적용되는 스트로크의 크기에는 한계가 있으므로 분할횟수는 각 영역에 적용될 스트로크의 크기를 고려하여 적절한 값으로 설정된다.

도 4는 도 3의 원본영상이 영상 분할부(120)에 의해 복수의 영역들로 분할된 결과를 도시한 도면이다. 도 4를 참조하면, 객체가 존재하는 영역은 그렇지 않은 영역에 비해 하위레벨에 해당하는 영역을 더 많이 포함하며, 배경에 해당하는 영역은 분할된 영역의 크기가 큰 것을 확인할 수 있다. 그런데 도 4에서 원으로 표시된 부분은 객체가 존재하여 돌출도 값이 높은 영역에 해당함에도 불구하고 보다 하위 레벨에 해당하는 영역으로 분할되지 않았다. 영역 내에 객체가 포함되어 있지만 영역 전체에 대한 돌출도 값의 평균이 기준값보다 낮아져 더 이상 서브영역으로 분할되지 않기 때문이다. 이는 영역을 분할할 때 영역 내에서 객체의 위치에 관계없이 영역의 중심에 해당하는 지점을 기준으로 분할하기 때문에 발생하는 현상이다. 따라서 영상 분할부(120)는 이러한 현상을 방지하기 위해 영상 분할시 기존의 방법에서와 같이 중심점만을 기준으로 분할하지 않고 영상 분할의 기준이 되는 지점을 다른 방법으로 결정한다.

영상 분할부(120)는 분할대상영역 상에서 선택된 복수의 후보지점 중에서 후보지점을 중심으로 서로 교차하는 직선들에 의해 분할대상영역을 분할하여 생성된 서브영역들 중 평균 돌출도 값이 최대인 영역과 평균 돌출도 값이 최소인 영역 간의 평균 돌출도 값의 차를 최대로 하는 후보지점을 중심으로 분할대상영역을 분할 한다.

후보지점은 분할대상영역을 서브영역으로 분할하기 위해 분할대상영역 상에서 선택되는 지점으로, 사분트리 기법에 의해 분할대상영역이 분할될 때 후보지점에서 두 개의 직선, 바람직하게는 분할대상영역의 각 변과 평행하는 두 개의 직선이 교차한다. 이때 도 4에 나타난 것과 같이 객체가 위치하는 지점이 작은 서브영역으로 더 이상 분할되지 않는 문제를 방지하기 위해 후보지점의 위치를 결정하는 것이 중요하다. 이를 위해 분할대상영역 상에 복수의 후보지점을 설정하고, 후보지점들 중에서 위 조건을 만족하는 후보지점을 중심으로 분할대상영역이 분할되도록 한다.

예를 들면, 분할대상영역으로부터 선택된 N×N개의 후보지점들 중에서 위에 설명한 것과 같은 기준을 만족하는 후보지점을 기준으로 분할대상영역을 분할하게 된다. 이때 N이 1이면 후보지점이 하나이므로 기존의 방법과 동일하게 영역의 중심점을 기준으로 분할대상영역을 분할한다. N의 값이 커지면 영역들 간의 평균 돌출도 값의 차가 명확해지므로 보다 세밀한 분할이 가능하지만, 분할의 기준 지점을 결정하기 위해 많은 시간이 걸리게 되므로 적절한 값으로 설정한다.

도 5는 N=2, 즉 후보지점이 2×2=4개일 때 분할대상영역을 서브영역들로 분할하기 위한 기준이 되는 지점을 결정하는 과정을 설명하기 위한 도면이다.

도 5를 참조하면, 도 3의 원본영상, 즉 레벨 0에 해당하는 분할대상영역으로부터 a 내지 d의 후보지점 네 개가 선택되고, 각각의 후보지점에서 교차하는 두 개의 직선에 의해 분할대상영상을 분할한 결과가 도시되어 있다. 다음으로 각각의 서 브영역들에 대해 평균 돌출도 값을 산출하고, 평균 돌출도 값이 최대인 영역과 최소인 영역 사이의 평균 돌출도 값의 차를 산출한다. 앞에서 설명한 바와 같이 평균 돌출도 값은 수학식 2에 의해 산출할 수 있다.

네 개의 후보지점 모두에 대해 평균 돌출도 값의 차가 산출되면 영상 분할부(120)는 평균 돌출도 값의 차를 최대로 하는 후보지점을 기준으로 분할대상영역을 분할한다. 예를 들면, 후보지점 b를 기준으로 원본영상을 분할하였을 때 평균 돌출도 값의 차가 최대가 되는 경우, 레벨 1에 해당하는 하위영역들은 원본영상이 후보지점 b를 중심으로 하여 분할되어 생성된다. 이후 영상의 분할을 반복적으로 수행하여 하위 레벨에 해당하는 영역들을 생성할 때에도 동일한 방법으로 분할 기준 지점을 결정한다.

도 6a 및 도 6b는 9개의 후보지점을 이용하여 도 3의 원본영상이 복수의 하위레벨에 해당하는 영역들로 분할된 결과를 도시한 도면 및 각 레벨에 해당하는 영역의 색을 서로 달리하여 나타낸 깊이맵이다. 도 6a의 영상은 후보지점의 개수를 결정하기 위한 N의 값이 3으로, 그리고 분할횟수는 6으로 설정되어 얻어진 영상이다. 도 6a를 도 4와 비교하여 참조하면, 객체가 존재하는 대부분의 영역이 세밀하게 분할되었음을 확인할 수 있다. 이는 영상을 분할할 때 돌출도 값을 고려하여 분할 기준 지점을 결정하였기 때문이다.

영상 분할부(120)에 의해 원본영상에 대한 분할 과정이 모두 종료된 후, 원본영상에서 배경에 해당하는 부분에는 상위 레벨에 해당하는 크기가 큰 영역들이, 객체가 존재하는 부분에는 하위 레벨에 해당하는 크기가 작은 영역들이 위치하게 된다. 또한 하위레벨에 해당하는 영역일수록 해당 영역의 평균 돌출도 값이 높아진다. 도 6b의 깊이맵에는 하위레벨로 갈수록 영역의 색이 어두워지므로 평균 돌출도 값이 높을수록 어두운 색으로 나타난다. 도 6b를 참조하면, 어두운 색으로 나타난 영역과 도 3의 원본영상에서 객체가 존재하는 영역이 거의 일치하는 것을 확인할 수 있다. 따라서 영역의 세밀한 분할에 의해 정확한 렌더링이 가능하다.

한편, 분할대상영역을 서브영역으로 분할하는 과정은 원본영상에 대해 수행될 수도 있으나, 원본영상으로부터 생성된 돌출도 맵에 대해 수행될 수도 있다. 영상의 분할 과정에서는 원본영상의 각 화소의 색상은 고려되지 않으며, 각 화소에 대해 산출된 돌출도 값만 고려되기 때문이다.

스트로크 크기 결정부(130)는 각각의 서브영역에 적용되는 스트로크의 크기를 결정한다.

영상의 렌더링시 사용되는 스트로크는 분할대상영역이 하위 레벨에 해당하는 서브영역들로 분할될 때마다 각각의 서브영역에 적용된다. 따라서 하위레벨에 해당하는 영역일수록 스트로크의 적용 횟수가 많아진다. 이때 스트로크 크기 결정부(130)는 각 레벨에 해당하는 서브영역에 적용할 수 있는 스트로크의 최소 크기를 결정한다. 스트로크의 최소 크기는 다음의 수학식 3에 의해 결정될 수 있다.

여기서, A_min은 서브영역에 적용되는 스트로크의 최소 크기, B_max는 사전에 설 정된 스트로크 크기에 대한 상한값, B_min은 사전에 설정된 스트로크의 크기에 대한 하한값, level은 서브영역이 해당하는 레벨, Depth는 분할횟수, 그리고 C_LOD는 서브영역에 적용되는 스트로크의 크기를 조절하기 위해 사전에 설정된 제어값으로 0 내지 분할횟수 사이의 범위에서 선택된 값이다.

위 수학식 3을 참조하면, 스트로크 크기에 대한 상한값 및 하한값은 사전에 설정되어 있으며, 고정된 값이다. 따라서 사용자는 제어값에 의해 각 레벨에 해당하는 영역에 적용되는 스트로크의 최소 크기를 조절할 수 있다. 즉, 제어값이 1이면 A_min 값은 하위레벨로 갈수록 선형으로 감소되는 값을 보이며, 이를 기준으로 스트로크의 LOD가 표현된다. 제어값이 0이면 모든 레벨에 해당하는 영역에서 B_max의 값이 A_min 값으로 되므로 큰 스트로크만 적용할 수 있다. 또한 제어값이 분할횟수와 동일하면 모든 레벨에 해당하는 영역에서 B_min 값이 A_min 값으로 된다. 다만, 결정된 제어값에 따라 A_min 값이 B_min 값보다 작아지는 경우가 있다. 이러한 경우에는 A_min 값에 따른 크기의 스트로크를 적용하는 것이 불가능하므로 B_min 값을 A_min 값으로 결정한다.

도 7은 각 레벨에 해당하는 서브영역에 적용 가능한 스트로크의 크기를 서로 다르게 설정된 제어값에 따라 도시한 그래프이다. 도 7의 (a)는 제어값이 0일 때이므로 모든 레벨에서 적용 가능한 스트로크의 최소 크기가 항상 상한값보다 크게 되는 결과를 나타낸다. 또한 도 7의 (b)는 제어값이 레벨과 동일한 경우의 그래프로, 모든 레벨에서 하한값에 해당하는 크기의 스트로크까지 적용 가능하다. 도 7의 (c)는 제어값이 1일 때의 그래프로, 하위레벨로 갈수록 서브영역에 적용 가능한 최소 스트로크의 크기가 하한값에 가깝게 작아진다. 마지막으로 도 7의 (d)는 제어값이 5일 때의 그래프로, (c)의 그래프와 비교하였을 때 최소 스트로크 크기의 감소 속도가 빨라진다.

렌더링부(140)는 결정된 스트로크의 크기를 기초로 각각의 서브영역에 스트로크를 적용하여 결과영상을 생성한다. 스트로크의 크기를 결정할 때와 동일하게 스트로크의 적용 역시 각 레벨의 분할대상영역이 서브영역으로 분할될 때마다 반복적으로 수행된다. 또한 스트로크의 적용은 복수의 서브영역으로 분할된 돌출도 맵에 대해 이루어질 수도 있고, 빈 캔버스 상에서 각각의 서브영역에 대응하는 지점에 대해 이루어질 수도 있다.

렌더링을 위해서는 스트로크 크기 결정부(130)에 의해 결정된 스트로크의 크기 뿐 아니라 스트로크의 방향 및 색상 등의 다른 속성들도 결정하여야 한다. 이러한 속성들은 기존의 방법에 의해 결정할 수 있다.

스트로크를 각 서브영역에 적용할 때, 렌더링부(140)는 먼저 서브영역에 대해 스트로크 크기 결정부(130)에 의해 결정된 A_min 값보다 큰 크기의 스트로크만을 해당 영역에 적용한다. 또한 서브영역에 스트로크를 적용하고자 할 때 부가적으로 색상값을 고려하여 스트로크의 적용 여부를 결정할 수 있다. 즉, 서브영역과 결과영상에서 서브영역에 대응하는 영역 사이의 색상값의 차가 원본영상에서 서브영역 이 속하는 상위영역과 결과영상에서 상위영역에 대응하는 영역 사이의 색상값의 차보다 작은 경우에 한하여 하위영역에 스트로크를 적용한다. 이때 색상값의 차는 RGB 공간상의 거리를 이용하여 산출할 수 있다. 따라서 모든 레벨의 서브영역에 스트로크가 적용되는 것이 아니고, 적어도 서브영역을 구성하는 화소들의 색상이 균일한 경우에만 스트로크가 적용된다.

또한 영상 분할부(120)에 의해 각 분할대상영역이 네 개의 서브영역으로 분할될 때마다 각 서브영역에 적용되는 스트로크의 크기를 결정하고, 결정된 크기의 스트로크를 적용함으로써 크기가 큰 스트로크부터 작은 스트로크까지 순차적으로 각 서브영역에 스트로크가 적용되어 실제 화가에 의해 그림이 그려지는 것과 동일한 효과를 얻을 수 있다. 이때 사실적 효과를 더하기 위해서 서브영역에 스트로크를 적용하기 이전에 돌출도 맵을 이용하여 원본영상에 스케치 효과가 더해진 스케치 영상을 생성하고, 스케치 영상에서 각 서브영역에 대응하는 영역에 스트로크를 순차적으로 적용할 수 있다.

도 8은 실제 그림이 그려지는 과정을 순서대로 나타낸 도면이다. 도 8을 참조하면, 화가는 먼저 중요한 객체를 중심으로 스케치를 하고, 큰 브러시를 사용하여 넓은 영역을 색칠한 후 세부적인 영역을 색칠하여 그림을 완성하게 된다. 본 발명에서도 이러한 과정을 사실적으로 보여주면서 회화적 렌더링을 수행할 수 있다.

도 9는 본 발명에서 순차적인 렌더링에 의해 결과영상이 생성되는 과정을 나타낸 도면이다. 도 9의 (a)는 돌출도 맵을 사용하여 생성된 스케치 영상을 나타낸 것이고, (b) 내지 (f)로 갈수록 서브영역에 적용되는 스트로크의 크기가 작아져 원 본영상의 세부적인 부분이 정확하게 표현된다.

도 10은 본 발명에 따른 회화적 렌더링 방법의 바람직한 실시예의 수행과정을 도시한 흐름도이다.

도 10을 참조하면, 돌출도 추출부(110)는 입력받은 원본영상을 구성하는 화소들의 그라디언트 값 및 색상 돌출도 값을 기초로 각각의 화소에 대해 산출된 돌출도 값으로 이루어진 돌출도 맵을 생성한다(S1010). 다음으로 영상 분할부(120)는 원본영상을 복수의 영역으로 분할한다. 구체적으로 원본영상 및 원본영상이 분할되어 생성된 서브영역들 중 최소 레벨을 가지는 분할대상영역의 레벨이 사전에 설정된 분할횟수보다 작고(S1020), 분할대상영역을 구성하는 복수의 화소에 대한 평균 돌출도 값이 사전에 설정된 기준값보다 크면(S1030), 영상 분할부(120)는 사분트리 기법에 의해 분할대상영역을 복수의 서브영역으로 분할한다(S1040). 또한 이러한 분할 과정은 앞에서 설명한 바와 같이 반복적으로 수행된다.

다음으로 스트로크 크기 결정부(130)는 각가의 서브영역에 적용되는 스트로크의 크기를 결정하고(S1050), 렌더링부(140)는 결정된 스트로크의 크기를 기초로 각각의 서브영역에 스트로크를 적용한다(S1060). 스트로크의 크기 결정 및 스트로크의 적용 과정은 영상 분할부(120)에 의해 각 레벨의 분할대상영역이 서브영역으로 분할될 때마다 반복적으로 수행된다. 이와 같이 반복적인 렌더링에 의해 최종적으로 결과영상이 생성된다(S1070).

본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험에서는 분할횟수를 6으로 설정하여 분할된 영역이 6개의 레벨로 구분되도록 하였고, 영상을 분할할 때 의 기준값은 0.02로, 분할 기준 지점을 결정할 때 사용되는 N 값은 3으로, C_LOD 값은 1로, B_max 값은 400으로, B_min 값은 40으로 설정되었다. 회화적 렌더링 효과를 표현하기 위해 다중 레이어 기반 알고리즘을 기반으로 한다. 또한 렌더링된 결과영상에서 사실적인 질감을 표현하기 위해 실제 브러시 이미지에 엠보싱 효과를 적용하여 질감을 표현하는 텍스쳐 매핑 기법을 사용하였다.

실험은 펜티엄 3.0의 2GB램의 환경에서 수행되었고, 실험 결과 하나의 원본영상으로부터 결과영상이 생성되기까지 걸리는 시간은 원본영상의 크기에 의존적이지만 원본영상이 1024×768의 해상도를 가지는 경우 결과영상이 생성되는 데 1분 정도의 시간이 소요되었다.

도 11a 내지 도 11j는 각각 원본영상에 대해 생성된 돌출도 맵, 깊이맵, 레벨 1 내지 6에 해당하는 서브영역에 스트로크가 적용된 영상, 결과영상 및 대비 효과(contrast)가 추가된 결과영상을 나타낸 도면이다. 도 11c 내지 도 11h를 참조하면, 서브영역의 레벨이 낮아질수록 서브영역의 크기와 함께 스트로크의 크기도 작아져 원본영상의 세부 정보까지 잘 표현되어 있는 것을 확인할 수 있다. 또한 도 11j를 참조하면, 결과영상에 대비 효과가 추가됨으로써 강렬한 색감을 표현할 수 있다.

다음으로 분할 기준 지점을 결정하기 위해 복수의 후보지점을 사용하였을 때 본 발명의 성능을 평가하기 위한 실험이 수행되었다. 도 12는 N=1일 때의 결과영상 및 깊이맵, 그리고 N=3일 때의 결과영상 및 깊이맵을 나타낸 도면이다. N을 제외한 다른 파라미터들은 위에서 언급한 초기값들로 설정되었다. 도 12의 (a)를 참조하면, N=1일 때에는 객체가 존재하는 영역이 세부적으로 분할되지 않으므로 객체의 일부분이 표현되지 않아 부자연스러운 결과영상이 생성된다. 그러나 N=3일 때에는 원본영상이 더 세부적으로 분할되므로 객체의 모든 부분이 잘 표현되어 원본영상을 정확하게 묘사한 결과영상을 생성할 수 있다.

도 13은 원본영상 및 제어값, 즉 C_LOD 값에 따라 다르게 결정된 스트로크 크기를 기초로 생성된 결과영상들을 나타낸 도면이다. 다른 파라미터들은 앞에서 언급한 초기값으로 설정되었다. 도 13의 (a)를 참조하면, C_LOD 값이 0으로 설정되어 모든 레벨에 해당하는 영역에서 큰 스트로크만 사용되므로 객체의 윤곽을 명확하게 표현하기 힘들다. 그러나 도 13의 (b)에서는 C_LOD 값이 분할횟수, 즉 사분트리의 레벨의 개수와 동일하여 모든 레벨에 해당하는 영역에서 스트로크의 최소 크기가 B_min이므로 세부적인 부분까지 잘 표현된 결과영상을 얻을 수 있다. 도 13의 (c)에서는 하위레벨로 갈수록 스트로크의 최소 크기가 선형으로 감소되어 도 13의 (b)에서와 마찬가지로 세밀한 결과영상을 생성할 수 있다. 도 13의 (d)에서는 C_LOD 값이 5로 설정되어 레벨 1에 해당하는 영역에만 큰 스트로크가 적용되고 나머지 레벨에 해당하는 영역에는 스트로크의 최소 크기가 B_min으로 결정된다. 따라서 도 12의 (b) 및 (c)에서와 마찬가지로 결과영상에서 세부적인 부분까지 잘 표현하였다.

도 14는 동일한 원본영상에 대해 본 발명 및 기존의 방법들을 적용한 결과를 나타낸 도면이다. 도 14의 (a)는 아이 트랙커를 이용한 방법에 의해 생성된 결과영상으로, 돌출도가 높은 객체 부분은 비교적 정확하게 표현되었으나, 배경 부분의 표현이 정확하지 않다. 도 14의 (b)는 앞에서 언급한 초기 설정으로 본 발명을 적용하여 생성된 결과영상으로, 대체적으로 원본영상에 가깝게 표현되었으나 배경과의 경계 표현이 정확하지 않다. 도 14의 (c)는 Kovacs의 방법에 의해 생성된 결과영상으로, 객체의 세부적인 부분까지 정확하게 표현되었으나, 실제 그림과 같은 효과는 약하게 표현되었다. 도 14의 (d)는 제어값을 3으로 설정하여 본 발명을 적용한 결과영상, 그리고 도 14의 (e)는 초기 설정으로 본 발명을 적용한 결과영상이다. 제어값이 3으로 설정된 경우에는 세부적으로 표현하여야 하는 영역에도 큰 스트로크가 적용되어 객체의 형태가 제대로 표현되지 않았다. 그러나 모든 파라미터가 초기값으로 설정된 경우에는 디테일한 결과영상이 생성되었다.

도 15는 원본영상으로부터 본 발명에 의해 생성된 결과영상의 다른 예를 나타낸 도면이다. 도 15를 참조하면, 각 서브영역의 단계별로 스트로크의 크기가 다르게 설정되어 원본영상에 포함된 객체 및 배경이 모두 정확하게 표현되었음을 확인할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

도 1은 본 발명에 따른 회화적 렌더링 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,

도 2a 및 도 2b는 각각 돌출도 값을 산출하는 기존의 방법에서 사용된 방향 돌출도 값으로 이루어진 영상과 돌출도 추출부(110)에서 돌출도 값을 산출할 때 사용하는 그라디언트 값으로 이루어진 영상을 비교하여 나타낸 도면,

도 3은 원본영상, 원본영상을 구성하는 각 화소의 그라디언트 값으로 이루어진 그라디언트 맵, 각 화소의 색상 돌출도 값으로 이루어진 색상 돌출도 맵 및 원본영상으로부터 생성된 돌출도 맵을 나타낸 도면,

도 4는 도 3의 원본영상이 영상 분할부(120)에 의해 복수의 영역들로 분할된 결과를 도시한 도면,

도 5는 N=2, 즉 후보지점이 2×2=4개일 때 분할대상영역을 서브영역들로 분할하기 위한 기준이 되는 지점을 결정하는 과정을 설명하기 위한 도면,

도 6a 및 도 6b는 9개의 후보지점을 이용하여 도 3의 원본영상이 복수의 하위레벨에 해당하는 영역들로 분할된 결과를 도시한 도면 및 각 레벨에 해당하는 영역의 색을 서로 달리하여 나타낸 깊이맵,

도 7은 각 레벨에 해당하는 서브영역에 적용 가능한 스트로크의 크기를 서로 다르게 설정된 제어값에 따라 도시한 그래프,

도 8은 실제 그림이 그려지는 과정을 순서대로 나타낸 도면,

도 9는 본 발명에서 순차적인 렌더링에 의해 결과영상이 생성되는 과정을 나 타낸 도면,

도 10은 본 발명에 따른 회화적 렌더링 방법의 바람직한 실시예의 수행과정을 도시한 흐름도,

도 11a 내지 도 11j는 각각 원본영상에 대해 생성된 돌출도 맵, 깊이맵, 레벨 1 내지 6에 해당하는 서브영역에 스트로크가 적용된 영상, 결과영상 및 대비 효과(contrast)가 추가된 결과영상을 나타낸 도면,

도 12는 N=1일 때의 결과영상 및 깊이맵, 그리고 N=3일 때의 결과영상 및 깊이맵을 나타낸 도면,

도 13은 원본영상 및 제어값, 즉 C_LOD 값에 따라 다르게 결정된 스트로크 크기를 기초로 생성된 결과영상들을 나타낸 도면,

도 14는 동일한 원본영상에 대해 본 발명 및 기존의 방법들을 적용한 결과를 나타낸 도면, 그리고,

도 15는 원본영상으로부터 본 발명에 의해 생성된 결과영상의 다른 예를 나타낸 도면이다.

Claims (17)

1. 입력받은 원본영상을 구성하는 화소들의 그라디언트 값 및 색상 돌출도(color saliency) 값을 기초로 상기 각각의 화소에 대해 산출된 돌출도(saliency) 값으로 이루어진 돌출도 맵을 생성하는 돌출도 추출부;

   상기 원본영상을 사전에 설정된 분할횟수에 따라 반복적으로 분할하되, 각각의 분할시 상기 원본영상이 분할되어 생성된 서브영역들 중 최하위 레벨에 해당하는 분할대상영역을 구성하는 화소들에 대한 평균 돌출도 값이 사전에 설정된 기준값보다 크면 상기 분할대상영역을 복수의 서브영역으로 분할하는 영상 분할부;

   상기 각각의 서브영역에 적용되는 스트로크의 크기를 결정하는 스트로크 크기 결정부; 및

   상기 결정된 스트로크의 크기를 기초로 상기 각각의 서브영역에 스트로크를 적용하여 결과영상을 생성하는 렌더링부;를 포함하는 것을 특징으로 하는 회화적 렌더링 장치.
2. 제 1항에 있어서,

   상기 영상 분할부는 사분트리 방식에 의해 상기 분할대상영역을 분할하여 네 개의 서브영역을 생성하는 것을 특징으로 하는 회화적 렌더링 장치.
3. 제 1항 또는 제 2항에 있어서,

   상기 스트로크 크기 결정부는 상기 영상 분할부에 의해 상기 분할대상영역이 분할될 때마다 상기 각각의 서브영역에 적용되는 스트로크의 크기를 결정하고,

   상기 렌더링부는 상기 영상분할부에 의해 상기 분할대상영역이 분할될 때마다 상기 각각의 서브영역에 스트로크를 적용하는 것을 특징으로 하는 회화적 렌더링 장치.
4. 제 1항 또는 제 2항에 있어서,

   상기 돌출도 추출부는 상기 원본영상을 구성하는 각각의 화소에 대하여 정규화된 그라디언트 값 및 정규화된 색상값 중에서 더 큰 값을 해당 화소의 돌출도 값으로 결정하는 것을 특징으로 하는 회화적 렌더링 장치.
5. 제 1항 또는 제 2항에 있어서,

   상기 영상 분할부는 상기 분할대상영역 상에서 선택된 복수의 후보지점 중에서 상기 후보지점을 중심으로 서로 교차하는 직선들에 의해 상기 분할대상영역을 분할하여 생성된 서브영역들 중 평균 돌출도 값이 최대인 영역과 평균 돌출도 값이 최소인 영역 간의 평균 돌출도 값의 차를 최대로 하는 후보지점을 중심으로 상기 분할대상영역을 분할하는 것을 특징으로 하는 회화적 렌더링 장치.
6. 제 1항 또는 제 2항에 있어서,

   상기 스트로크 크기 결정부는 하기 수학식에 의해 상기 서브영역에 적용되는 스트로크의 최소 크기를 결정하는 것을 특징으로 하는 회화적 렌더링 장치:

   

   여기서, A_min은 상기 서브영역에 적용되는 스트로크의 최소 크기, B_max는 사전에 설정된 스트로크 크기에 대한 상한값, B_min은 사전에 설정된 스트로크의 크기에 대한 하한값, level은 상기 서브영역의 레벨, Depth는 상기 분할횟수, 그리고 C_LOD는 상기 서브영역에 적용되는 스트로크의 크기를 조절하기 위해 사전에 설정된 제어값으로 0 내지 상기 분할횟수 사이의 범위에서 선택된 값이다.
7. 제 6항에 있어서,

   상기 수학식에 의해 결정된 스트로크의 최소 크기가 상기 하한값보다 작으면 상기 하한값을 상기 스트로크의 최소 크기로 결정하는 것을 특징으로 하는 회화적 렌더링 장치.
8. 제 1항 또는 제 2항에 있어서,

   상기 렌더링부는 상기 서브영역과 상기 결과영상에서 상기 서브영역에 대응하는 영역 사이의 색상값의 차가 상기 원본영상에서 상기 서브영역이 속하는 상위영역과 상기 결과영상에서 상기 상위영역에 대응하는 영역 사이의 색상값의 차보다 작은 경우에 상기 서브영역에 스트로크를 적용하는 것을 특징으로 하는 회화적 렌 더링 장치.
9. 입력받은 원본영상을 구성하는 화소들의 그라디언트 값 및 색상 돌출도(color saliency) 값을 기초로 상기 각각의 화소에 대해 산출된 돌출도(saliency) 값으로 이루어진 돌출도 맵을 생성하는 돌출도 추출단계;

   상기 원본영상을 사전에 설정된 분할횟수에 따라 반복적으로 분할하되, 각각의 분할시 상기 원본영상이 분할되어 생성된 서브영역들 중 최하위 레벨에 해당하는 분할대상영역을 구성하는 화소들에 대한 평균 돌출도 값이 사전에 설정된 기준값보다 크면 상기 분할대상영역을 복수의 서브영역으로 분할하는 영상 분할단계;

   상기 각각의 서브영역에 적용되는 스트로크의 크기를 결정하는 스트로크 크기 결정단계; 및

   상기 결정된 스트로크의 크기를 기초로 상기 각각의 서브영역에 스트로크를 적용하여 결과영상을 생성하는 렌더링단계;를 포함하는 것을 특징으로 하는 회화적 렌더링 방법.
10. 제 9항에 있어서,

    상기 영상 분할단계에서, 사분트리 방식에 의해 상기 분할대상영역을 분할하여 네 개의 서브영역을 생성하는 것을 특징으로 하는 회화적 렌더링 방법.
11. 제 9항 또는 제 10항에 있어서,

    상기 스트로크 크기 결정단계는 상기 영상 분할단계에서 상기 분할대상영역이 분할될 때마다 수행되고,

    상기 렌더링단계는 상기 영상분할단계에서 상기 분할대상영역이 분할될 때마다 수행되는 것을 특징으로 하는 회화적 렌더링 장치.
12. 제 9항 또는 제 10항에 있어서,

    상기 돌출도 추출단계에서, 상기 원본영상을 구성하는 각각의 화소에 대하여 정규화된 그라디언트 값 및 정규화된 색상값 중에서 더 큰 값을 해당 화소의 돌출도 값으로 결정하는 것을 특징으로 하는 회화적 렌더링 방법.
13. 제 9항 또는 제 10항에 있어서,

    상기 영상 분할단계에서, 상기 분할대상영역 상에서 선택된 복수의 후보지점 중에서 상기 후보지점을 중심으로 서로 교차하는 직선들에 의해 상기 분할대상영역을 분할하여 생성된 서브영역들 중 평균 돌출도 값이 최대인 영역과 평균 돌출도 값이 최소인 영역 간의 평균 돌출도 값의 차를 최대로 하는 후보지점을 중심으로 상기 분할대상영역을 분할하는 것을 특징으로 하는 회화적 렌더링 방법.
14. 제 9항 또는 제 10항에 있어서,

    상기 스트로크 크기 결정단계에서, 하기 수학식에 의해 상기 서브영역에 적용되는 스트로크의 최소 크기를 결정하는 것을 특징으로 하는 회화적 렌더링 방법:

    

    여기서, A_min은 상기 서브영역에 적용되는 스트로크의 최소 크기, B_max는 사전에 설정된 스트로크 크기에 대한 상한값, B_min은 사전에 설정된 스트로크의 크기에 대한 하한값, level은 상기 서브영역의 레벨, Depth는 상기 분할횟수, 그리고 C_LOD는 상기 서브영역에 적용되는 스트로크의 크기를 조절하기 위해 사전에 설정된 제어값으로 0 내지 상기 분할횟수 사이의 범위에서 선택된 값이다.
15. 제 14항에 있어서,

    상기 수학식에 의해 결정된 스트로크의 최소 크기가 상기 하한값보다 작으면 상기 하한값을 상기 스트로크의 최소 크기로 결정하는 것을 특징으로 하는 회화적 렌더링 방법.
16. 제 9항 또는 제 10항에 있어서,

    상기 렌더링단계에서, 상기 서브영역과 상기 결과영상에서 상기 서브영역에 대응하는 영역 사이의 색상값의 차가 상기 원본영상에서 상기 서브영역이 속하는 상위영역과 상기 결과영상에서 상기 상위영역에 대응하는 영역 사이의 색상값의 차보다 작은 경우에 상기 서브영역에 스트로크를 적용하는 것을 특징으로 하는 회화적 렌더링 방법.
17. 제 9항 또는 제 10항에 기재된 회화적 렌더링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images