KR101091784B1 - 점묘 기법의 회화적 렌더링 장치 및 방법 - Google Patents

Abstract

점묘 기법의 회화적 렌더링 장치 및 방법이 개시된다. 점집합 생성부는 회화적 렌더링에 의해 렌더링 영상을 생성하기 위해 입력된 입력영상에서 선택된 좌표에 비주기적으로 배치되는 복수의 점으로 이루어진 계층적 구조의 점집합을 생성하고, 점집합에서 하위 레벨에 속하는 자식점 각각에 대응하는 상위 레벨의 점인 부모점을 결정하여 점집합에 속하는 복수의 점 사이의 부모자식관계를 결정한다. 색상 결정부는 점집합을 구성하는 복수의 점 각각의 색상을 결정하되, 사전에 설정된 견본 색상환 상에서 부모점의 색상에 대응하는 지점을 중심으로 하는 확률분포함수를 기초로 부모점에 대응하는 자식점의 색상을 결정한다. 렌더링부는 회화적 렌더링을 위해 생성된 캔버스 상에서 점집합을 구성하는 복수의 점 각각의 위치에 대응하는 지점에 복수의 점 각각에 대해 결정된 색상을 가지는 점묘 스트로크를 배치하여 렌더링 영상을 생성한다. 본 발명에 따르면, 계층적 구조를 가지는 점집합을 생성하여 상위 레벨의 부모점의 색상을 기초로 하위 레벨의 자식점의 색상을 결정하고 이를 기초로 점묘 스트로크를 배치하여 렌더링 영상을 생성함으로써, 원하는 색상을 표현하기 위해 색상의 병치혼합을 사용한 신인상파 쇠라의 작품에 나타난 특징을 명확하게 나타낼 수 있다.

Description

점묘 기법의 회화적 렌더링 장치 및 방법{Apparatus and method for painterly rendering of pointillism}

본 발명은 점묘 기법의 회화적 렌더링 장치 및 방법에 관한 것으로, 보다 상세하게는, 입력된 영상을 손으로 그린 듯한 회화적 느낌으로 표현하는 장치 및 방법에 관한 것이다.

비사실적 렌더링(Non-Photorealistic Rendering)은 사람이 직접 그리거나 만들어낸 것과 같은 예술적인 영상들을 컴퓨터로 재현해내어 인간의 감성에 자극을 줄 수 있는 콘텐츠를 제작하는 것이 목적이며, 1990년대 들어 컴퓨터그래픽스 분야의 중요한 연구주제 중의 하나가 되었다.

비사실적 렌더링의 연구분야 중에서 회화적 렌더링(Painterly Rendering)은 2차원의 영상 또는 3차원의 기하학적 데이터를 이용하여 화가가 손으로 그린듯한 영상을 만들어낸다. 회화적 렌더링에 의해 생성되는 결과영상은 유화와 같이 스트로크 단위로 표현된다.

비사실적 렌더링의 연구가 본격화되면서 여러 가지 스트로크 기반의 회화적 렌더링 기법이 제안되었다. 그러나 대부분의 연구들은 그림을 그려나가는 절차적인 과정을 시뮬레이션하는 것에 초점을 맞추고 있으며, 실제 유명한 작가 또는 특정 화파의 개성을 심도있게 연구하여 표현한 알고리즘은 거의 연구되고 있지 않다. 작가의 개성 및 특징은 예술적인 요소이며, 사람들로 하여금 독특한 심리적 감명을 주는 근원이기 때문에 정량화 또는 알고리즘화가 용이하지 않기 때문이다.

다양한 화파 중에서 신인상파는 색채를 원색의 작은 색점으로 표현함으로써 병치혼합의 효과를 이용한 점묘주의(pointillism)화파이며, 대표적인 화가로서 조르주 쇠라(Georges Seurat)와 폴 시냑(Paul Sinac) 등이 있다. 도 1은 쇠라(a)와 시냑(b)의 점묘화 작품을 나타낸 도면이다. 도 1에서 볼 수 있는 바와 같이 신인상파 화가들은 그림물감을 팔레트나 캔버스 위에서 혼합하지 않고 망막 위의 시각혼합에 의해 필요한 색채를 얻는 방식을 사용하였다.

이러한 점묘화의 비사실적 렌더링을 위한 연구는 그리 많지 않으며, 대부분 회화적 렌더링의 부가적인 결과물로서 점묘화를 다루고 있다. 일 예로 입력된 위치의 원본색상을 그대로 브러시 스트로크의 색상으로 사용하는 한 연구에서는 점묘표현을 위해 단순히 스트로크의 형태만 원형으로 처리하였다. 입력영상을 여러 개의 레이어로 나누어 각 레이어에 대해 크기가 다른 브러시 스트로크를 생성하여 렌더링하는 멀티 레이어 시스템에서는 브러시의 크기를 줄이고 길이가 0인 스트로크를 사용하여 점묘 스트로크를 생성하였으며, 브러시 색상에 랜덤요소를 추가함으로써 스트로크의 색상을 표현하였다. 또한 스트로크의 방향을 설정하기 위해 입력영상의 그라디언트 정보를 사용하는 알고리즘 역시 스트로크 텍스쳐의 모양을 원형으로 하고 스트로크의 색상에 랜덤값을 사용함으로써 점묘화를 표현하였다.

이상과 같은 스트로크 기반의 회화적 렌더링 알고리즘에서는 점묘화를 표현하기 위해 단순히 스트로크의 모양을 점으로 하였을 뿐 실제 신인상파 화가가 고려했던 색의 병치에 대한 것은 전혀 고려하지 않고 있다. 이러한 방법으로는 점묘화에서 나타나는 여러 가지 특징들 및 신인상파의 사상을 제대로 표현하기 어렵다. 따라서 신인상파의 작품을 분석하여 나타나는 특징을 정확하게 반영할 수 있는 회화적 렌더링 기법이 필요하다.

본 발명이 이루고자 하는 기술적 과제는, 신인상파의 점묘화에서 나타나는 특징을 실제 작품에 가깝게 표현할 수 있는 점묘 기법의 회화적 렌더링 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 신인상파의 점묘화에서 나타나는 특징을 실제 작품에 가깝게 표현할 수 있는 점묘 기법의 회화적 렌더링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 점묘 기법의 회화적 렌더링 장치는, 회화적 렌더링에 의해 렌더링 영상을 생성하기 위해 입력된 입력영상에서 선택된 좌표에 비주기적으로 배치되는 복수의 점으로 이루어진 계층적 구조의 점집합을 생성하고, 상기 점집합에서 하위 레벨에 속하는 자식점 각각에 대응하는 상위 레벨의 점인 부모점을 결정하여 상기 점집합에 속하는 복수의 점 사이의 부모자식관계를 결정하는 점집합 생성부; 상기 점집합을 구성하는 복수의 점 각각의 색상을 결정하되, 사전에 설정된 견본 색상환 상에서 상기 부모점의 색상에 대응하는 지점을 중심으로 하는 확률분포함수를 기초로 상기 부모점에 대응하는 자식점의 색상을 결정하는 색상 결정부; 및 회화적 렌더링을 위해 생성된 캔버스 상에서 상기 점집합을 구성하는 복수의 점 각각의 위치에 대응하는 지점에 상기 복수의 점 각각에 대해 결정된 색상을 가지는 점묘 스트로크를 배치하여 상기 렌더링 영상을 생성하는 렌더링부;를 구비한다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 점묘 기법의 회화적 렌더링 방법은, 회화적 렌더링에 의해 렌더링 영상을 생성하기 위해 입력된 입력영상에서 선택된 좌표에 비주기적으로 배치되는 복수의 점으로 이루어진 계층적 구조의 점집합을 생성하고, 상기 점집합에서 하위 레벨에 속하는 자식점 각각에 대응하는 상위 레벨의 점인 부모점을 결정하여 상기 점집합에 속하는 복수의 점 사이의 부모자식관계를 결정하는 점집합 생성단계; 상기 점집합을 구성하는 복수의 점 각각의 색상을 결정하되, 사전에 설정된 견본 색상환 상에서 상기 부모점의 색상에 대응하는 지점을 중심으로 하는 확률분포함수를 기초로 상기 부모점에 대응하는 자식점의 색상을 결정하는 색상 결정단계; 및 회화적 렌더링을 위해 생성된 캔버스 상에서 상기 점집합을 구성하는 복수의 점 각각의 위치에 대응하는 지점에 상기 복수의 점 각각에 대해 결정된 색상을 가지는 점묘 스트로크를 배치하여 상기 렌더링 영상을 생성하는 렌더링단계;를 갖는다.

본 발명에 따른 점묘 기법의 회화적 렌더링 장치 및 방법에 의하면, 계층적 구조를 가지는 점집합을 생성하여 상위 레벨의 부모점의 색상을 기초로 하위 레벨의 자식점의 색상을 결정하고 이를 기초로 점묘 스트로크를 배치하여 렌더링 영상을 생성함으로써, 원하는 색상을 표현하기 위해 색상의 병치혼합을 사용한 신인상파 쇠라의 작품에 나타난 특징을 명확하게 나타낼 수 있다. 또한 보색을 사용하여 명암을 표현하고, 할로 효과에 의해 영상의 대비를 증가시키며 독특한 테두리 영역을 표현한 쇠라의 작품의 다른 특징들도 잘 반영하였으며, 쇠라의 실제 작품을 분석하여 얻어진 색상환 및 확률분포함수를 사용함으로써 실제 작품에 가까운 느낌의 렌더링 영상을 생성할 수 있다.

도 1은 쇠라(a)와 시냑(b)의 점묘화 작품을 나타낸 도면,
도 2는 본 발명에 따른 점묘 기법의 회화적 렌더링 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 3은 빨간색과 노란색 안료를 물리적으로 혼합한 경우와 병치혼합한 경우를 비교하여 나타낸 도면,
도 4는 쇠라의 작품 중 하나를 나타낸 도면,
도 5는 RYB 모델로부터 RGB 모델로의 변환 방법에 의해 생성된 RYB 색상환을 도시한 도면,
도 6a 및 도 6b는 RYB 색상모델을 기초로 설계된 색상환을 도시한 도면,
도 7은 2차원으로 표현된 견본 색상환을 나타낸 도면,
도 8은 색상환의 각도와 반지름의 샘플링 개수에 따라 얻어지는 다양한 색상환을 도시한 도면,
도 9a 내지 도 9d는 색상 병치혼합의 특징을 분석하기 위해 견본영상으로 사용되는 쇠라의 습작들을 나타낸 도면,
도 10은 도 9c의 견본영상을 샘플링하여 얻어진 하나의 샘플링 영역에 대한 영역분할의 결과를 나타낸 도면,
도 11a 및 도 11b는 샘플링 영역의 점묘 스트로크들의 색상을 견본 색상환 상에 배치하여 평균 색상을 계산하는 일 예를 나타낸 도면,
도 12는 하나의 샘플링 영역에 대해 만들어지는 누적 도수 분포도의 예를 나타낸 도면,
도 13은 도 9a 내지 도 9d의 견본영상에 대해 각각 생성된 확률분포를 나타낸 그래프,
도 14는 도 13의 (a)의 확률분포 그래프로부터 적합도 검정을 위해 얻어진 경험적 누적 분포 함수를 나타낸 도면,
도 15a 및 도 15b는 각각 W(36,24)와 W(72,48)의 견본 색상환 상에서 각각의 후보 PDF와의 검정통계량을 나타낸 그래프,
도 16은 쇠라의 작품에서 명암이 잘 표현된 부분만을 분리하여 빨강, 노랑 및 파랑 계열로 분류한 조각이미지를 나타낸 도면,
도 17은 도 16의 각 색상 계열의 조각이미지에 대한 히스토그램을 나타낸 도면,
도 18은 레티넥스 알고리즘에 의해 영상의 대비가 증가한 결과를 나타낸 도면,
도 19는 입력영상으로부터 얻어진 그레이스케일 영상과 입력영상으로부터 추출된 조명성분을 각각 이용하여 스티플링 알고리즘에 의해 생성된 보색점의 밀도맵을 나타낸 도면,
도 20은 입력영상으로부터 캐니 에지 검출방법에 의해 검출된 에지정보를 이용하여 생성된 거리맵의 예를 나타낸 도면,
도 21은 객체가 배경보다 어두운 경우 및 밝은 경우에 대하여 각각 할로영역을 결정하여 언샤프 마스크를 적용한 결과를 나타낸 도면,
도 22는 재귀적 왕타일 기법에 의해 점의 밀도를 증가시키는 예를 나타낸 도면,
도 23은 계층적 점집합의 레벨의 개수가 4일 때 각각의 레벨에 대해 생성된 점집합을 나타낸 도면,
도 24는 계층적 점집합에서 상위 레벨과 하위 레벨의 점 사이에 부모자식관계가 설정되는 예를 도시한 도면,
도 25는 색상거리와 공간거리에 부여되는 가중치 값에 따라 결정되는 부모자식관계를 나타낸 도면,
도 26은 부모점의 색상을 기초로 자식점의 색상을 결정하는 일 예를 나타낸 도면,
도 27은 보색점의 색상을 결정하는 예를 나타낸 도면,
도 28은 입력영상으로부터 계층적 점집합을 생성하고 색상 분해를 수행하여 얻어진 영상을 나타낸 도면,
도 29는 입력영상으로부터 결정된 할로영역에 포함되는 점들에 대해 색상 분해를 수행한 결과를 나타낸 도면,
도 30은 밀도맵을 기초로 결정된 보색점에 대해 색상분해를 수행한 결과를 나타낸 도면,
도 31은 테두리 영역에 포함된 점들에 대해 색상 분해를 수행한 결과를 나타낸 도면,
도 32는 밀도맵, 할로영역 및 테두리 영역이 모두 고려된 색상 분해의 결과로 얻어진 영상을 나타낸 도면,
도 33은 입력영상에 대하여 생성된 스트로크의 방향맵을 나타낸 도면,
도 34는 스트로크의 크기를 변화시키고 방향성을 부여한 결과를 나타낸 도면,
도 35는 캡쳐에 의해 얻어진 스트로크 텍스쳐의 예를 나타낸 도면,
도 36은 쇠라의 작품의 일부분을 확대한 도면,
도 37은 스트로크 텍스쳐에 빛의 방향을 달리하여 얻어진 엠보싱 텍스쳐를 나타낸 도면,
도 38은 스트로크의 깊이 표현을 위한 소스코드를 나타낸 도면,
도 39는 스트로크 텍스쳐, 엠보싱 텍스쳐 및 스트로크의 색상을 이용하여 얻어진 깊이감을 가지는 스트로크를 나타낸 도면,
도 40은 입력영상으로부터 캔버스 상에 배치할 밑그림을 생성하는 예를 나타낸 도면,
도 41은 본 발명에 따른 점묘 기법의 회화적 렌더링 장치에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 42는 색상환의 해상도에 따라 얻어진 렌더링 영상을 나타낸 도면,
도 43은 입력영상에 색상 분해를 수행하여 각 레벨의 점들에 대응하는 점묘 스트로크를 배치한 결과를 나타낸 도면,
도 44는 보색점의 비율에 따른 렌더링 영상을 나타낸 도면,
도 45는 할로의 크기에 따른 렌더링 영상을 나타낸 도면,
도 46은 방향성이 부여된 점묘 스트로크의 크기를 변화시켜 얻어진 렌더링 영상을 나타낸 도면,
도 47a 및 도 47b는 본 발명에 의해 얻어진 렌더링 영상에 표현된 쇠라의 작품의 특징을 나타내는 도면,
도 48은 본 발명과 Hertzmann의 방법을 사용하여 얻어진 렌더링 영상을 비교하여 나타낸 도면,
도 49는 본 발명과 Hays의 방법을 사용하여 얻어진 렌더링 영상을 비교하여 나타낸 도면,
도 50은 본 발명과 Luong의 방법을 사용하여 얻어진 렌더링 영상을 비교하여 나타낸 도면,
도 51은 본 발명과 Jing의 방법을 사용하여 얻어진 렌더링 영상을 비교하여 나타낸 도면,
도 52는 본 발명과 Yang의 방법을 사용하여 얻어진 렌더링 영상을 비교하여 나타낸 도면, 그리고,
도 53a 내지 도 53d는 다양한 입력영상에 본 발명을 적용하여 얻어진 고해상도의 렌더링 영상을 나타낸 도면이다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 점묘 기법의 회화적 렌더링 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 2는 본 발명에 따른 점묘 기법의 회화적 렌더링 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.

도 2를 참조하면, 본 발명에 따른 점묘 기법의 회화적 렌더링 장치는, 밀도맵 생성부(110), 할로영역 결정부(120), 테두리 영역 결정부(130), 점집합 생성부(140), 색상 결정부(150) 및 렌더링부(160)를 구비한다.

본 발명에 따른 점묘 기법의 회화적 렌더링 장치는 입력받은 입력영상으로부터 점묘 기법에 의해 그린 것과 같은 렌더링 영상을 생성하는 장치이다. 즉, 본 발명에 따른 점묘 기법의 회화적 렌더링 장치의 각 구성요소는 신인상파에 의해 그려진 점묘화에 나타나는 특징들을 구현하기 위해 구비된 것이다.

본 발명의 대표적인 실시예로서, 신인상파 화가들 중 쇠라의 작품에서 나타나는 특징을 바탕으로 회화적 렌더링을 수행하는 경우에 관하여 설명한다. 먼저, 본 발명의 각 구성요소에서 쇠라의 작품을 구현하기 위한 배경지식으로서 쇠라의 작품에서 나타나는 독특한 특징들에 대하여 설명한다.

신인상파 작품의 가장 독특한 특징은 캔버스를 작은 브러시 스트로크로 가득 채워서 그림을 그렸다는 것이다. 즉, 눈에 보이는 색조를 대상의 색과 대상에 닿는 빛의 색, 근접한 대상들에 의해 반사되는 색으로 각각 분해한 후 분해된 색들을 아주 작은 색점으로 바꾸었다는 것이다. 이러한 특이한 기법은 분할된 부분들이 색채구성을 한다는 의미에서 분할주의 또는 점묘주의로 불린다. 이러한 기법에 의해 그려진 그림을 멀리 떨어져서 보면 각각의 작은 스트로크는 보이지 않고 눈의 착시현상에 의해 혼합된 색상으로 보이게 된다. 이를 병치혼합이라 하는데, 물감을 직접 혼합하여 그리는 것보다 색상의 채도를 높여 순수하고 강렬하게 보이게 한다.

도 3은 빨간색과 노란색 안료를 물리적으로 혼합한 경우와 병치혼합한 경우를 비교하여 나타낸 도면이다. 도 3의 좌측 도면은 두 색상을 물리적으로 혼합한 결과이고, 우측 도면은 병치혼합의 결과이다. 도 3으로부터 병치혼합한 경우에 얻어지는 색상의 채도가 물리적 혼합에 비해 높은 것을 알 수 있다.

이와 같이 두 색상을 병치혼합하여 높은 채도를 유지하기 위해 신인상파 화가들은 자연의 색의 스펙트럼에 가장 가까운 순색만을 팔레트 상의 안료로 사용하였으며, 순색 안료의 명암표현을 위해서는 흰색 안료만을 섞어 사용하였다. 또한 병치혼합의 효과적인 표현을 위해 스트로크의 크기를 아주 작게 하여 표현하였다. 점묘화는 일반적으로 단순히 브러시 스트로크의 형태를 작은 점으로 그리는 화법으로 알려져 있지만, 실제적인 점묘화의 궁극적인 목표는 순색끼리 이루어진 점을 병치혼합함으로써 새로운 색으로 인식되도록 하는 것이다.

쇠라의 점묘화의 특징은 크게 다음의 여섯 가지로 요약할 수 있다. 1) 망막 위의 시각적 혼합을 위해 작은 브러시 스트로크를 사용하였다. 2) 하나의 색을 표현하기 위해 피사체의 원 색상과 빛의 색, 그리고 주변으로부터 오는 색으로 분류하여 색상을 분해하였다. 3) 색상환에서 서로 반대편에 위치한 두 색을 배치하는 보색대비에 의해 명암을 표현하였다. 4) 장면을 구성하는 객체의 경계부분에서 대비를 높여줌으로써 객체의 구분을 명확히 하였다. 이를 할로(halo) 효과라 한다. 5) 작품을 둘러싼 테두리 부분에 보색대비를 적용하여 시각적 대비를 극대화시켰다. 6) 스펙트럼 상의 순색에 해당하는 안료를 기본색으로 하여 흰색만으로 밝기 조절을 하였다. 도 4는 쇠라의 작품 중 하나를 나타낸 도면으로, 위에서 설명한 특징들이 잘 나타나 있다.

이러한 쇠라의 작품의 특징들 중에서 기본색으로 순색을 사용하고 흰색으로 밝기를 조절하는 특징을 반영하여 회화적 렌더링을 수행할 수 있도록 하기 위해 기존에 사용되는 색상환 대신 새로운 색상환을 설계할 필요가 있다. 본 발명에 따른 회화적 렌더링 장치는 쇠라 작품의 특징을 반영하여 새롭게 설계된 견본 색상환을 사용하여 렌더링 영상에 배치되는 점묘 스트로크의 색상을 결정한다.

특정 색상에 대한 보색을 선택하기 위해서는 색상환이 사용된다. 색상환은 색의 가시광선의 스펙트럼을 고리형태로 연결하여 색을 배열한 것을 말한다. 즉, 모든 색은 몇 가지의 기본 요소를 바탕으로 한 혼합으로 표현될 수 있다는 것을 가정하여 색을 표현하는 기본 요소에 의해 표시할 수 있는 모든 색 중에서 대표적인 색을 고리모양으로 연결하여 나타낸 것이다.

현재 일반적으로 사용되는 HSV(Hue, Saturation, Value) 모델은 색상(hue), 채도(saturation) 및 명도(value)에 의해 모든 색을 표현하는 모델이다. 그러나 전통적으로 화가들이 사용한 색상모델은 빨강, 노랑 및 파랑의 삼원색을 기반으로 하는 RYB 색상모델이다. RYB 색상모델은 감산혼합, 즉 안료의 물리적 혼합에 대한 색상모델이다. HSV 모델에서 보색을 찾을 때에는 실제 측정에 의한 과학적인 보색이 선택되지만, 신인상파 화가들이 사용하였던 보색은 전통적인 RYB 모델을 기반으로 선택한 것이다. 실제로 빨강의 보색을 HSV 모델에서 찾으면 하늘색이지만, RYB 모델에서는 녹색이다. 따라서 쇠라의 작품의 특징을 잘 표현하기 위해서는 견본 색상환으로서 실제 쇠라가 색상표현에 사용한 RYB 색상모델을 기반으로 색상환을 설계하는 것이 바람직하다.

본 발명에 따른 회화적 렌더링 장치에 의해 입력영상으로부터 생성된 렌더링 영상은 모니터 등의 디스플레이 수단을 통해 화면에 표시될 수 있어야 한다. 그런데 RGB, HSV 및 Lab와 같은 현재의 과학적인 색상모델들은 서로 변환이 가능하지만, RYB 모델은 페인팅에 사용되는 물감의 혼합으로 얻어지는 개념적, 경험적인 모델이므로 RYB 모델을 기반으로 색상환을 설계하였다 하더라도 이를 디스플레이 수단을 통해 표시하기 위해서는 RGB 모델로 변환할 수 있는 기법이 필요하다.

RYB 모델을 RGB 모델로 변환하기 위해 Gossett과 Chen에 의해 제안된 근사방법은 빨강, 노랑 및 파랑을 삼원색으로 하고 각각의 색을 대표하는 색을 각 축으로 하는 육면체를 정의함으로써 RYB 모델을 모니터로 표현 가능한 RGB 모델로 변환할 수 있는 방법이다. 이 모델에서는 빨강, 노랑 및 파랑의 1차 기본색 외에 보라, 주황 및 초록의 2차 기본색, 흰색, 그리고 1차 기본색이 물리적으로 혼합되었을 때 생성되는 검은색에 가까운 색 등 8가지의 색상을 대표하는 안료의 RGB 색상을 육면체의 각 꼭지점에 위치시키고 중간값들을 비선형 보간 기법을 이용하여 계산함으로써 RYB 색상을 RGB 색상으로 변경하였다.

도 5는 RYB 모델로부터 RGB 모델로의 변환 방법에 의해 생성된 RYB 색상환을 도시한 도면이다. 도 5의 좌측 색상환은 가산혼합 모델인 RGB 색상모델을 기반으로 한 것이며, 우측 색상환은 위에서 설명한 근사방법에 의해 생성된 RYB 모델을 기반으로 한 것이다. 이러한 변환 방법에 의해 RYB 색상모델을 기반으로 설계된 색상환을 사용하여 입력영상에 대해 점묘 기법의 회화적 렌더링을 수행할 수 있다.

앞에서 설명한 바와 같이 쇠라는 팔레트에서 각 순색에 흰색의 안료를 섞어서 색상을 표현하였는데, 이러한 특징을 기초로 하여 견본 색상환을 설계할 수 있다. 도 6a 및 도 6b는 RYB 색상모델을 기초로 설계된 색상환을 도시한 도면이다. 도 6a를 참조하면, 원에 내접하는 정육각형의 각 꼭지점에는 6개의 기본색(빨강, 주황, 노랑, 초록, 파랑, 보라)이 위치하고, 원의 중심에는 RYB의 세 가지 색상이 혼합된 색이 위치한다. 이렇게 만들어진 모델은 감색혼합만을 의미하며, 쇠라의 색상 표현의 특징을 반영하여 RYB 색상환에 흰색 물감이 혼합된 모델이 필요하다. 도 6b에는 도 6a의 RYB 모델에 흰색 안료를 혼합하는 경우에 생성되는 3차원 형태의 색상모델이 도시되어 있다.

도 6b의 3차원 색상환은 2차원으로 축소 가능하며, 색상환을 구성하는 원의 바깥쪽에 위치한 기본색에만 흰색물감을 증가시킴으로써 완성된 색상환을 얻을 수 있다. 이렇게 하면 쇠라가 의도했던 흰색 물감에 의한 파스텔 색상을 생성할 수 있으며, 이를 이용하여 각 기본색들의 명암을 조절할 수 있다. 원주 상에 위치한 6개의 기본색을 기초로 하여 각각의 기본색 사이에 위치하는 중간색들은 보간에 의해 결정한다. 최종적으로 얻어진 견본 색상환에서 각도는 색상을 의미하며, 중심으로부터의 거리는 흰색물감에 의한 밝기를 의미한다. 도 7에는 2차원으로 표현된 견본 색상환을 나타내었다.

쇠라의 팔레트를 모사한 견본 색상환은 의미적으로는 연속적이지만, 색상 및 밝기를 나타내는 각도와 반지름을 이산적으로 샘플링하면 W(H_num,B_num)와 같이 표현할 수 있다. 여기서 H_num은 견본 색상환에서 각도를 샘플링한 개수이며, B_num은 견본 색상환의 반지름의 크기를 샘플링한 개수이다. 도 8은 색상환의 각도와 반지름의 샘플링 개수에 따라 얻어지는 다양한 색상환을 도시한 도면이다. 도 8의 (a)는 H_num=36, B_num=24인 경우이며, (b)는 H_num=72, B_num=48인 경우이다. 도 8을 참조하면, 각도와 반지름의 샘플링 개수가 증가할수록 연속적인 색상환이 얻어진다는 것을 알 수 있다.

다만, 이와 같이 설계된 견본 색상환은 색 영역(gamut)의 제한을 가지는데, 이는 RGB 색상모델의 모든 색이 RYB 색상모델의 색으로 대응되지 않기 때문이다. RYB 색상모델에서 사용하는 기본색 중에서 주황, 초록, 파랑, 보라 및 검정색은 안료를 대표하는 색이지만 RGB 색상모델에서의 순수한 색은 아니다. RGB 색상모델에서 순수한 초록색은 (0.0, 1.0, 0.0), 파랑색은 (0.0, 0.0, 1.0), 보라색은 (1.0, 0.0, 1.0), 그리고 검정색은 (0.0, 0.0, 0.0)이지만 RYB 색상모델에서 초록색은 (0.0, 0.66, 0.2), 파랑색은 (0.163, 0.373, 0.6), 보라색은 (0.5, 0.5, 0.0)이며, 검정색은 순수한 검정색이 아닌 RYB의 혼합색(0.2, 0.094, 0.0)을 사용한다. 따라서 RYB 색상모델을 기반으로 설계된 견본 색상환에서는 축소된 색 영역을 사용하게 된다.

이와 같이 설계된 견본 색상환은 본 발명에 따른 점묘 기법의 회화적 렌더링 장치에 사전에 저장되어 있으며, 본 발명에 따른 회화적 렌더링 장치의 구성요소들 중에서 색상 정보를 필요로 하는 구성요소는 견본 색상환을 참조하여 기능을 수행하게 된다.

한편, 쇠라의 작품의 특징이 잘 나타나도록 회화적 렌더링을 수행하기 위해서는 실제 쇠라의 작품에 나타나는 특징들을 정량화한 분석데이터가 필요하다. 쇠라의 작품에서 나타나는 가장 중요한 특징은 색의 병치혼합이며, 이를 분석하기 위해 색상 분포의 패턴을 찾는 것이 중요하다.

쇠라의 작품에 나타나는 색상의 병치혼합의 특징을 분석하기 위해서는 쇠라의 실제 작품에 표현된 각각의 점묘 스트로크를 구분할 필요가 있으며, 이를 위해 디지털 이미지로 구할 수 있는 완성도 높은 습작들을 견본영상으로서 사용할 수 있다. 도 9a 내지 도 9d는 색상 병치혼합의 특징을 분석하기 위해 견본영상으로 사용되는 쇠라의 습작들을 나타낸 도면이다. 이러한 견본영상에 표현된 각각의 점묘 스트로크들은 영역분할 알고리즘에 의해 구분할 수 있다.

먼저 견본영상을 격자 단위로 샘플링하여 얻어진 각각의 샘플링 영역을 영역분할 알고리즘인 평균이동(mean-shift) 알고리즘에 의해 분할한다. 평균이동 알고리즘은 초기의 검색 영역의 크기와 위치를 지정할 수 있으므로 점묘 스트로크의 추출에 적용할 수 있다. 도 10은 도 9c의 견본영상을 샘플링하여 얻어진 하나의 샘플링 영역에 대한 영역분할의 결과를 나타낸 도면이다. 샘플링 영역의 크기를 결정하는 격자의 크기는 사용자 입력에 따라 다양하게 설정할 수 있다.

견본영상에 대한 샘플링 및 영역분할에 의해 견본영상은 같은 색을 가지는 화소들로 이루어진 점묘 스트로크 단위로 구분된다. 각각의 점묘 스트로크의 색상들은 설계된 견본 색상환 상에 매핑되며, 샘플링 영역에 위치한 점묘 스트로크들의 평균 색상을 이용하여 인지 색상을 계산한다. 인지 색상은 색상을 병치하는 경우에 눈으로 받아들여지는 색을 의미한다.

이때 보색을 가지는 점묘 스트로크를 고려하여야 한다. 이러한 보색점들은 빛의 혼색 또는 명암을 표현하기 위해 사용된 것으로, 실제 눈에 들어오는 색이 아닌 원래 색의 병치에 보완되는 개념으로 추가된 것이다. 따라서 분석 대상인 샘플링 영역에 포함된 보색점들은 병치혼합으로부터 배제되어 별도로 처리된다. 일반적으로 보색은 색상환에서 인지된 색의 반대편에 위치한 색을 말하므로, 샘플링 영역으로부터 얻어진 점묘 스트로크의 색상들을 견본 색상환 위에 배치한 후 보색에 해당하는 견본 색상환의 영역을 배제한 나머지 점묘 스트로크들의 색상의 평균에 의해 인지 색상을 결정한다.

도 11a 및 도 11b는 샘플링 영역의 점묘 스트로크들의 색상을 견본 색상환 상에 배치하여 평균 색상을 계산하는 일 예를 나타낸 도면이다. 도 11a는 보색에 해당하는 영역을 배제하지 않은 경우에 얻어진 평균 색상을 나타내며, 도 11b는 색상환에서 보색 영역을 배제한 나머지 영역에 배치된 점묘 스트로크들의 평균 색상을 나타낸다.

인지 색상이 결정되면 보색 영역에 위치한 점묘 스트로크들을 제외한 나머지 점묘 스트로크들에 대하여 견본 색상환 상에서 인지 색상의 색상 위치를 중심으로 상대적인 편차를 계산할 수 있다. 이때 견본 색상환이 원형 좌표 시스템을 따른다고 가정하여 편차를 계산한다. 그리고 인지 색상을 중심으로 검출된 점묘 스트로크의 위치에 대한 색상 차이를 x축으로, x축의 각 좌표에 대한 빈도수를 y축으로 하여 누적 도수 분포도(Cumulative Frequency Distribution : CFD)를 구성한다. 도 9a 내지 도 9d에서 예로 든 것과 같은 견본영상의 각 샘플링 영역에 대하여 이러한 과정을 반복하면 임의의 색상을 쇠라가 어떻게 분해하였는지 알 수 있는 최종 누적 도수 분포도가 얻어진다.

도 12는 하나의 샘플링 영역에 대해 만들어지는 누적 도수 분포도의 예를 나타낸 도면이다. 도 12의 좌측 이미지는 견본 색상환을 사각형 형태로 표현하고, 인지 색상(▲)을 중심으로 좌우로 분포된 점묘 스트로크를 나타낸 것이다. 원의 크기는 해당 색상의 점묘 스트로크의 개수를 나타낸다. 도 12의 우측 이미지는 좌측 이미지와 같은 점묘 스트로크의 분포에 의해 생성된 누적 도수 분포도이다. x축에서 0에 해당하는 지점이 인지 색상에 해당한다.

견본영상의 모든 샘플링 영역에 대해 얻어진 누적 도수 분포도를 이용하면 견본영상에 대한 이산 확률분포(Probability Distribution : PD)를 얻을 수 있다. 도 13은 도 9a 내지 도 9d의 견본영상에 대해 각각 생성된 확률분포를 나타낸 그래프이다. 각각의 견본영상을 분석하기 위해 사용된 견본 색상환의 해상도는 W(72,48)이다. 또한 각각의 그래프에서 x축은 색상 편차, y축은 확률을 나타낸다. 도 13의 그래프를 참조하면, 쇠라의 각 작품에서 인지 색상에 대한 확률분포는 유사한 패턴을 보인다는 것을 알 수 있다.

이와 같이 견본영상에 대해 확률분포 그래프가 얻어지면 기존에 알려진 다양한 확률밀도함수(Probability Density Function : PDF)와의 적합도 검정(Goodness of Fit Tests)에 의해 견본영상의 확률분포 그래프와 가장 유사한 패턴을 보이는 확률밀도함수를 찾는다. 적합도 검정을 위해 사용되는 상용 소프트웨어로서 Mathwave사의 EasyFit Professional 5.0이 있다. 이 소프트웨어는 실험데이터로부터 얻어진 확률 분포와 실존하는 55개 이상의 확률분포 함수와의 비교를 통해 가장 적합한 모델을 찾아준다.

또한 적합도 검정의 방법으로 기존의 다양한 방법들 중에서 콜모고로프-스미르노프(Kolmogorov-Smirnov) 검정방법을 사용할 수 있다. 콜모고로프-스미노로프 검정방법은 후보 분포함수와 관측된 분포함수의 차가 얼마나 큰가에 의해 후보 분포함수와의 동일성을 검정하는 방법으로, 특정 누적 분포 함수와 실험 데이터로부터 얻어진 확률분포에 의해 생성되는 경험적 누적 분포 함수를 이용하여 계산한다. 도 14는 도 13의 (a)의 확률분포 그래프로부터 적합도 검정을 위해 얻어진 경험적 누적 분포 함수를 나타낸 도면이다.

적합도 검정에 통과한 PDF들 가운데 가장 잘 알려지고 시각적 평가로 가장 유사하다고 판단되는 것이 후보로 선정된다. 이는 실험을 통해 얻어진 평균과 분산에 의해 표현 가능한 PDF들이다. 선택된 PDF는 정규(Normal) 분포, 코시(Cauchy) 분포, 라플라스(Laplace) 분포 그리고 유니폼(Uniform) 분포이다. 이와 같은 후보 PDF들 중에서 적합도 검정과정에서 계산되는 검정통계량을 이용하여 가장 적합한 PDF를 찾는다. 검정통계량으로는 콜모고로프-스미르노프 검정과정에서 생성되는 검정통계량을 사용한다. 후보 PDF와 실험 데이터로부터 얻어진 확률분포 간의 차이가 작을수록 검정통계량이 작다.

도 15a 및 도 15b는 각각 W(36,24)와 W(72,48)의 견본 색상환 상에서 각각의 후보 PDF와의 검정통계량을 나타낸 그래프이다. 네 개의 후보 PDF 모두 적합도 검정은 통과했지만 라플라스 분포에 대한 검정통계량이 네 개의 견본영상 중 세 개에서 가장 작게 나타났다. 따라서 쇠라의 작품에 나타나는 색상 병치혼합의 특징, 즉 인지 색상을 나타내기 위한 색상 분포는 라플라스의 확률분포를 따른다는 결론을 내릴 수 있다.

쇠라의 작품에 대한 색상 분해의 결과 라플라스의 확률분포를 따르는 것으로 결정되었으므로, 본 발명에 따른 회화적 렌더링 장치에서 렌더링 영상에 배치되는 점묘 스트로크의 색상을 결정할 때 라플라스 확률분포를 사용하게 된다. 따라서 색상 결정시에 사용할 수 있도록 라플라스 분포에 대한 파라미터를 결정하여야 한다. 라플라스 분포는 평균과 분산으로 정의할 수 있으며, 분해하고자 하는 색상이 중심에 위치하므로 평균값은 0으로 사용한다. 다음으로 분산값은 견본 색상환에서 H_num, 즉 색상의 해상도에 따라 결정되므로 H_num의 값에 따라 얻어지는 분산값들의 평균을 사용한다.

다음의 표 1은 도 9a 내지 도 9d의 네 가지 견본영상에 대해 색상 해상도에 따른 분산값을 나타낸 것이다.

작품	색상환의 해상도	분산
도 9a	18×12	2.63
	36×24	9.97
	72×48	40.72
도 9b	18×12	2.52
	36×24	9.33
	72×48	38.15
도 9c	18×12	2.95
	36×24	12.08
	72×48	49.18
도 9d	18×12	2.05
	36×24	8.16
	72×48	33.14
평균	18×12	2.54
	36×24	9.89
	72×48	40.30

표 1을 참조하면, 해상도가 2배씩 증가할 때마다 분산값은 4배씩 증가한다는 것을 알 수 있다. H_num이 72인 경우를 기준으로 하여 H_num에 따른 분산(variance)은 다음의 수학식 1에 의해 산출된다.

렌더링 영상에 배치되는 점묘 스트로크의 색상을 결정할 때에는 위와 같은 평균 및 분산을 가지는 라플라스 확률분포를 사용하게 된다.

쇠라의 작품에서 나타나는 또 다른 특징은 보색의 병치혼합이다. 보색은 앞에서 언급한 바와 같이 견본 색상환에서 반대편에 위치한 색상을 의미하며, 보색의 병치혼합은 주로 작품의 어두운 곳, 즉 명암을 표현하기 위해 주로 사용되었다. 또한 빛의 산란을 표현하기 위해 사용되기도 하였다.

쇠라의 작품을 보면 명암 표현을 위해 색상환의 반대편에 위치한 색상, 즉 1차보색을 반드시 사용하지 않는다. 예를 들면, RYB 모델 기반의 색상환 상에서 빨강색의 보색은 초록색이지만 쇠라의 작품에서 빨강색의 보색으로서 2차보색인 파랑색이 사용된다. 이러한 2차보색의 사용은 어두운 곳을 표현하기 위한 안료가 파랑색이나 빨강색으로 한정될 수밖에 없었던 한계로 인한 것이다. 초록색 안료의 속성은 빨강색보다 밝으며, 쇠라의 팔레트 사용습관으로 볼 때 어두운 속성의 초록색은 만들어질 수 없으므로 이를 극복하기 위해 2차보색인 파랑색을 사용한 것이다.

쇠라의 작품에서 사용된 보색의 병치혼합을 분석하기 위해 명암이 잘 표현된 부분을 빨강, 노랑 및 파랑 계열로 분류한 후 그 부분만을 샘플링하여 분석하였다. 도 16은 쇠라의 작품에서 명암이 잘 표현된 부분만을 분리하여 빨강, 노랑 및 파랑 계열로 분류한 조각이미지를 나타낸 도면이다. 도 16의 (a)는 사람의 피부를 표현한 빨강 계열의 조각이미지들이고, (b)는 잔디와 나무를 표현한 노랑 계열의 조각이미지들, 그리고 (c)는 바다와 옷을 표현한 파랑 계열의 조각이미지들이다. 각각의 조각이미지들의 색상을 RYB 모델 기반의 견본 색상환 상에 배치하여 히스토그램을 작성하였다.

각 색상 계열의 조각이미지에 대한 히스토그램이 도 17에 나타나 있다. 도 17의 각 히스토그램에서 돌출된 부분의 색상 계열을 분석해 보면, 빨강 및 노랑 계열의 색상에 대한 보색으로는 파랑 계열이 주로 사용되며, 파랑 계열의 색상의 경우에는 인접한 빨강 계열의 색을 병치함으로써 보색을 표현하였음을 알 수 있다.

결과적으로, 점묘 기법의 회화적 렌더링시에 원칙적으로는 견본 색상환 상에서 반대편에 위치하는 색상을 보색으로 사용하되, 위와 같이 분석된 쇠라의 보색사용(빨강 및 노랑 계열의 보색은 파랑 계열, 파랑 계열의 보색은 빨강계열)의 특징을 선택적으로 적용함으로써 쇠라의 작품의 특징을 더욱 정확하게 표현할 수 있다.

본 발명에 따른 점묘 기법의 회화적 렌더링 장치의 각 구성요소는 이상에서 설명한 것과 같은 쇠라의 작품의 특징을 반영한 견본 색상환, 라플라스 확률분포를 따르는 색상 분포 및 보색 병치혼합의 특성을 기초로 하여 입력영상으로부터 렌더링 영상을 생성하기 위한 각 단계를 수행한다.

밀도맵 생성부(110)는 입력영상으로부터 추출한 조명성분의 값을 기초로 입력영상에 대한 회화적 렌더링을 수행하여 얻어지는 렌더링 영상에서 명암 표현을 위해 배치되는 보색 점묘 스트로크의 위치를 나타내는 밀도맵을 생성한다.

앞에서 설명한 바와 같이 쇠라는 서로 보색 관계인 두 가지 색을 병치함으로써 물리적 혼합보다 시각적으로 밝아보이는 무채색을 생성하였다. 특히 인간이 느끼는 주관적인 밝기(intensity)가 아닌 시각적 자극이 강하게 나타나는 발광(luminance)을 표현하기 위해 보색을 사용하였다. 실제 쇠라의 작품에서 나타나는 특징을 보면, 어두운 영역, 즉 발광 값이 낮은 영역에서는 보색의 밀도가 증가하고, 그렇지 않은 영역에서는 보색의 밀도가 낮아진다. 뿐만 아니라 보색의 비율은 조명에 의해 발생하는 광휘, 즉 명암대비의 변화와 선형적인 관계를 갖지 않으며, 광휘 값이 높은 부분에서는 보색의 밀도가 더 높고 그렇지 않은 부분에서는 보색의 밀도가 아주 낮은 비선형적인 관계를 가진다. 이는 영상의 명도대비를 과장하여 작품의 명도 대비를 높인 작품을 만들고자 했기 때문이다.

일반적으로 이러한 명암 표현을 위한 보색의 밀도 제어는 스티플링 알고리즘에 의해 이루어진다. 스티플링 알고리즘은 점의 밀도에 의해 명암을 표현하기 위한 방법으로, 일반적으로 단일 색상, 단일 크기 및 단일 모양의 점을 사용한다. 이때 사용되는 기준값은 입력영상에 대한 그레이스케일 영상으로부터 얻어진 명도값으로, 눈에 들어오는 빛이 아닌 입력영상 자체의 명도값만을 표현하게 된다. 그러나 쇠라가 표현하는 명암, 즉 광휘는 단순한 흑백 이미지의 명도값만으로는 표현이 어렵고, 2차원 입력영상으로부터 빛에 의해 발생하는 광휘 정보를 얻어야 한다.

따라서 밀도맵 생성부(110)는 입력영상에 대한 회화적 렌더링에 의해 얻어지는 렌더링 영상의 각 부분에 배치할 보색 점묘 스트로크의 밀도를 결정하기 위해 레티넥스(Retinex) 알고리즘에 의해 입력영상으로부터 조명성분을 추출한다. 입력영상으로부터 조명성분을 추출할 때에는 입력영상에 대한 그레이스케일 영상을 사용한다.

레티넥스 알고리즘은 영상의 실제 밝기(그레이스케일)와 시각적으로 인지된 감각 사이에 로그관계가 성립한다는 사실과 영상의 밝기는 실제의 밝기인 반사성분과 조명성분의 곱으로 주어진다는 실험적인 사실에 근거한 알고리즘이며, 주로 영상의 조명성분을 줄이고 반사성분만을 나타냄으로써 영상의 대비를 증대시키고자 하는 알고리즘이다. 레티넥스 알고리즘은 시간이 지나면서 환경에 적응하는 사람의 눈을 흉내 내어 입력영상의 색을 제대로 표현할 수 있도록 한다.

도 18은 레티넥스 알고리즘에 의해 영상의 대비가 증가한 결과를 나타낸 도면이다. 도 18의 (a)는 레티넥스 알고리즘을 적용하기 이전의 영상이며, (b)는 레티넥스 알고리즘을 적용하여 얻어진 영상이다. 레티넥스 알고리즘에 의해 영상의 명암 대비가 증가하였으며, 조명성분이 제거된 반사성분이 잘 나타남을 확인할 수 있다.

밀도맵 생성을 위해서는 레티넥스 알고리즘에 의해 얻어지는 입력영상의 조명성분만 사용되며, 조명성분은 입력영상에 저역통과필터를 적용하여 얻어진다. 밀도맵 생성부(110)는 다음의 수학식 2와 같이 입력영상의 각 좌표에 대한 조명성분을 산출할 수 있다.

여기서, L(x,y,c)는 입력영상의 (x,y) 위치에 대한 조명성분, I(x,y)는 입력영상의 (x,y) 위치의 그레이스케일 값, *은 컨벌루션(convolution) 연산을 의미하며, G(x,y,c)는 다음의 수학식 3과 같이 정의되는 가우시안 함수이다.

여기서, c는 스케일 인자이고, K는

을 만족하는 값으로 선택된다. 스케일 인자 c의 값은 일 실시예로서 250으로 설정할 수 있다.

위에서 설명한 것은 단일 스케일 레티넥스(Single Scale Retinex : SSR)이며, 멀티 스케일 레티넥스(Multi Scale Retinex : MSR)를 이용하여 조명성분을 계산하면 흑백영상에 대해 보다 자연스럽게 대비를 증가시킬 수 있다. 멀티 스케일 레티넥스를 이용하면 입력영상의 각 좌표에 대한 최종 조명성분은 서로 다른 스케일로 얻어진 조명성분의 가중 합산에 의해 다음의 수학식 4와 같이 산출된다.

여기서, L_m(x,y,c)는 최종 조명성분, N은 스케일의 개수, L(x,y,c_n)은 n번째 스케일로 얻어진 조명성분, 그리고 w_n은 n번째 스케일에 대한 가중치이다. 스케일의 개수는 설정에 따라 다르게 결정할 수 있으며, 일 실시예로서 3으로 할 수 있다.

추출된 조명성분을 기초로 생성되는 밀도맵은 렌더링 영상에 배치되는 전체 점묘 스트로크에 대한 보색 점묘 스트로크의 비율을 반영한다. 일반적으로 보색 점묘 스트로크의 비율이 10~20% 정도가 되도록 하여 밀도맵을 생성할 수 있다.

도 19는 입력영상으로부터 얻어진 그레이스케일 영상과 입력영상으로부터 추출된 조명성분을 각각 이용하여 스티플링 알고리즘에 의해 생성된 보색점의 밀도맵을 나타낸 도면이다. 도 19의 (a)는 입력영상, (b)는 입력영상으로부터 얻어진 그레이스케일 영상이며, (c)는 그레이스케일 영상의 명도값을 기초로 스티플링 알고리즘을 수행하여 얻어진 보색점의 밀도맵이다. 또한 도 19의 (d)는 입력영상으로부터 추출된 조명성분의 값으로 이루어진 영상이고, (e)는 추출된 조명성분을 기초로 스티플링 알고리즘을 수행하여 얻어진 보색점의 밀도맵이다.

도 19의 (b)와 (d)를 비교하여 보면, 그레이스케일 영상에 비해 조명성분을 사용하는 것이 명확한 명암대비와 조명효과를 얻을 수 있음이 확인된다. 따라서 도 19의 (c) 및 (e)로부터 확인할 수 있듯이 입력영상의 조명성분에 의해 보색점의 밀도를 결정하는 경우에 명암대비를 명확히 나타낼 수 있다. 도 19의 (f) 및 (g)는 각각 도 19의 (e)와 같이 생성된 밀도맵을 입력영상에 대해 적용한 것으로, (f)는 1차보색, (g)는 2차보색에 의해 표현한 것이다.

이와 같이 밀도맵 생성부(110)가 입력영상으로부터 조명성분을 추출하여 생성한 밀도맵은 입력영상에 대한 회화적 렌더링시 명암 표현을 위해 배치되는 보색 점묘 스트로크의 위치를 결정하는 기준이 된다.

할로영역 결정부(120)는 입력영상으로부터 검출한 에지를 기초로 입력영상의 각 좌표로부터 가장 가까운 에지까지의 거리값을 나타내는 거리맵을 생성하고, 거리맵을 구성하는 거리값이 사전에 설정된 기준거리보다 작은 좌표들로 이루어진 영역을 상기 입력영상의 대비를 증가시키기 위한 할로영역으로 결정한다.

앞에서 설명한 바와 같이 할로(halo) 효과는 쇠라작품에 나타나는 주요한 특징 중에 하나이며 쇠라의 많은 작품에서 볼 수 있다. 쇠라의 이론에 따르면 밝은 톤과 어두운 톤을 함께 배치하면 영상의 대비를 높일 수 있다. 쇠라 이외에도 고흐, 시냑등 많은 화가들이 할로 효과를 그림에 적용시켰다. 일반적으로 할로를 표현하는 이유는 표현하고자 하는 대상의 대비를 높여서 이것으로 인해 주요 객체를 주변보다 두드러져 보이게 강조하기 위함이다.

할로영역 결정부(120)는 이러한 할로 효과가 입력영상에 대한 회화적 렌더링시에 표현되도록 하기 위해 언샤프 마스크(unsharp mask)를 사용할 수 있다. 언샤프 마스크는 영상의 고주파 영역을 강화하여 영상의 선명도를 개선하는 기법으로 임의의 영상에 쉽게 적용하여 선명도를 향상시킬 수 있다는 장점이 있다. 하지만 고주파 영역의 강화 정도에 대한 기준이 모호하기 때문에 할로라는 부작용이 발생하게 된다. 따라서 할로영역 결정부(120)는 입력영상에서 할로 효과를 표현하고자 하는 부분인 할로영역에 언샤프 마스크를 적용함으로써 의도적으로 할로를 발생시켜 대상의 대비를 높일 수 있다.

언샤프 마스크는 다음의 수학식 5와 같이 표현된다.

여기서, UM(x,y)는 입력영상의 (x,y) 위치에 언샤프 마스크를 적용하여 얻어지는 값, I(x,y)는 입력영상의 (x,y) 위치의 밝기값, H(x,y)는 입력영상의 (x,y) 위치의 고주파 정보, 그리고 L(x,y,s)는 입력영상의 (x,y) 위치의 저주파 정보로서 s의 길이를 가지는 가우시안 필터에 의해 얻어진다. 또한 A는 영상의 선명도를 개선하는 정도를 나타내는 인자로서 할로의 강도를 제어하는 강도 파라미터, s는 입력영상에 대해 생성되는 할로의 크기를 제어하는 크기 파라미터이다.

이와 같이 입력영상에 대해 언샤프 마스크를 적용하여 얻어진 새로운 값들은 렌더링 영상에서 대응하는 위치의 점묘 스트로크의 색상 및 밝기를 결정하는 데 사용된다. 이때 입력영상에서 언샤프 마스크를 적용할 좌표들, 즉 할로영역의 결정이 문제된다.

일반적으로 화가는 중요한 객체의 경계부분에만 할로를 표현하며, 경계로부터 멀어질수록 할로의 강도는 약해진다. 할로영역 결정부(120)는 이를 반영하여 입력영상에서 할로 효과를 발생시킬 할로영역을 결정할 때 입력영상으로부터 검출된 에지를 사용한다.

영상의 에지는 상대적으로 다른 밝기값을 가지는 두 영역의 경계에 위치한 점들로 이루어지며, 영상의 많은 정보가 에지에 포함되어 있다. 영상으로부터 에지를 검출하기 위한 다양한 에지 검출 알고리즘이 있는데, 대부분의 에지 검출 알고리즘들은 잡음에 매우 민감하여 작은 잡음도 에지로 검출하는 경우가 많다. 상대적으로 잡음에 민감하지 않은 에지 검출 방법이 캐니 에지 검출방법이며, 할로영역 결정부(120)는 캐니 에지 검출방법에 의해 입력영상으로부터 에지를 검출할 수 있다.

캐니 에지 검출방법은 먼저 가우시안 컨벌루션 마스크를 이용하여 입력영상의 잡음을 제거한 후, 소벨 마스크(sobel mask)와 같은 에지 검출 마스크를 적용하고 비최대치 억제(non-maximal suppression) 과정에 의해 가짜 에지를 제거함으로써 에지 검출의 정확성을 높인 방법이다. 또한 이중 경계값(hysteresis)을 이용하여 에지의 양을 제어할 수 있다. 할로영역 결정부(120)는 캐니 에지 검출방법에 의해 입력영상으로부터 검출된 에지의 이진정보를 이용하여 거리변환에 의해 거리맵(distance map)을 생성한다.

도 20은 입력영상으로부터 캐니 에지 검출방법에 의해 검출된 에지정보를 이용하여 생성된 거리맵의 예를 나타낸 도면이다. 도 20의 (a)는 입력영상, (b)는 검출된 캐니 에지를 이진영상으로 나타낸 도면, 그리고 (c)는 검출된 에지정보를 이용하여 생성된 거리맵이다. (b)의 에지 영상을 참조하면, 잡음이 거의 검출되지 않았음을 확인할 수 있다. (c)의 거리맵에서 각각의 좌표 (x,y)에는 해당 좌표에서 가장 가까운 에지와의 거리값인 D(x,y)가 부여되어 있다.

할로영역 결정부(120)는 이와 같이 생성된 거리맵의 각각의 좌표 중에서 거리값 D(x,y)가 사전에 설정된 기준거리 s보다 작은 좌표들로만 이루어진 영역을 결정하고, 입력영상에서 그에 대응하는 영역을 언샤프 마스크를 적용할 할로영역으로 결정할 수 있다. 기준거리는 입력영상의 크기에 비례하여 할로 효과를 발생시키고자 하는 영역의 크기에 따라 다양하게 설정될 수 있다. 일 실시예로서, 기준거리가 0이면 할로영역이 결정되지 않는 것이며, 10이면 결정되는 할로영역의 크기가 10이 된다.

결정된 할로영역의 각각의 좌표에 수학식 5와 같이 언샤프 마스크를 적용할 때, 강도 파라미터 A의 값은 할로영역을 구성하는 각각의 좌표에 대해 A(x,y)의 값으로 서로 다르게 결정되며, A의 초기값을 먼저 설정한 후, D(x,y)의 값에 반비례하는 값으로 변형하여 다음의 수학식 6과 같이 적용할 수 있다.

여기서, A(x,y)는 할로영역의 (x,y) 위치에 적용되는 강도 파라미터, D(x,y)는 할로영역의 (x,y) 위치에 부여된 거리값, 그리고 s는 할로영역에 생성되는 할로의 크기를 결정하는 크기 파라미터이다.

한편, 추가적으로 고려하여야 할 사항으로서, 할로의 방향이 문제가 된다. 일반적으로 실제 작품에서 할로는 객체의 경계에 대해 안쪽에 발생하는 경우도 있지만 대부분 객체의 바깥쪽에 나타난다. 그러나 위에서 설명한 방법으로 할로영역을 결정하면 객체의 경계로부터 일정 거리 내의 좌표들이 모두 할로영역에 속하게 되므로 객체의 안쪽 및 바깥쪽에 모두 할로가 발생하게 된다. 실제 작품에서 표현되는 할로 효과를 고려하면, 객체가 배경보다 밝은 경우에는 객체의 바깥쪽에 어두운 할로가 발생하고 객체가 배경보다 어두운 경우에는 객체의 바깥쪽에 밝은 할로가 발생하도록 하는 것이 시각적으로 자연스럽다.

따라서 할로영역 결정부(120)는 검출된 에지를 중심으로 하여 객체의 바깥쪽으로만 할로영역이 설정되도록 하기 위해 사용자로부터 입력받은 객체의 밝기 정보를 사용할 수 있다. 즉, 객체가 배경에 비해 밝은지 또는 어두운지 여부를 사용자 입력의 형태로 제공받아 에지를 중심으로 결정된 할로영역 중에서 객체의 안쪽에 해당하는 영역을 배제할 수 있다.

앞에서 언급한 수학식 5를 참조하면, H(x,y)가 0보다 큰 영역에서는 UM(x,y)의 값이 더 커지게 되어 해당 영역은 더 밝아지고, H(x,y)가 0보다 작은 영역에서는 UM(x,y)이 더 작아져 해당 영역은 더 어두워지는 것을 알 수 있다. 따라서 이를 이용하여 할로영역 결정부(120)는 객체가 주변보다 밝다는 사용자 입력이 입력된 경우에는 H(x,y)가 0보다 작은 좌표들만을 할로영역으로 결정하고, 객체가 주변보다 어둡다는 사용자 입력이 입력된 경우에는 H(x,y)가 0보다 큰 좌표들만을 할로영역으로 결정할 수 있다.

한편, 사용자 입력에 의하지 않고 할로영역 결정부(120)가 입력영상으로부터 검출된 에지에 의해 객체영역을 결정한 후, 객체영역의 평균 밝기값이 입력영상에서 객체영역을 제외한 배경영역의 평균 밝기값보다 크면 H(x,y)가 0보다 작은 좌표들만을 할로영역으로 결정하고, 객체영역의 평균 밝기값이 배경영역의 평균 밝기값보다 작으면 H(x,y)가 0보다 작은 좌표들만을 할로영역으로 결정할 수 있다.

도 21은 객체가 배경보다 어두운 경우 및 밝은 경우에 대하여 각각 할로영역을 결정하여 언샤프 마스크를 적용한 결과를 나타낸 도면이다. 도 21의 (a)는 객체가 배경보다 어두운 경우의 입력영상이고, (b)는 객체가 배경보다 밝은 경우의 입력영상이다. (c)는 입력영상으로부터 검출된 캐니 에지를 나타낸 것으로, 객체의 밝기에 관계없이 에지 검출 결과는 동일하게 얻어진다. (d)는 검출된 에지를 기초로 생성된 거리맵에 할로영역을 나타낸 도면으로, 할로영역 역시 객체와 배경의 밝기 관계에 무관하게 결정되는 것이다.

도 21의 (e) 및 (f)는 각각 (a) 및 (b)의 입력영상에 대해 결정된 할로영역 전체에 언샤프 마스크를 적용한 결과를 나타낸 도면으로, 객체의 안쪽 및 바깥쪽에 모두 할로가 생성되었다. 반면, 도 21의 (g) 및 (h)는 결정된 할로영역에서 객체의 안쪽에 해당하는 영역을 제외하고 언샤프 마스크를 적용한 결과를 나타낸 도면으로, (a)의 입력영상의 경우는 객체의 경계에서 바깥쪽에 해당하는 부분이 더욱 밝게 표현되며, (b)의 입력영상의 경우는 객체의 경계에서 바깥쪽에 해당하는 부분이 더욱 어둡게 표현된다. (e) 및 (f)와 (g) 및 (h)를 비교하면, 객체의 바깥쪽에만 언샤프 마스크를 적용하여 할로 효과를 표현하는 것이 시각적으로 자연스럽다는 것을 확인할 수 있다.

테두리 영역 결정부(130)는 입력영상의 가장자리로부터 사전에 설정된 너비를 가지는 테두리 영역을 결정한다.

쇠라의 작품에서 나타나는 독특한 특징들 중의 하나는 앞에서 언급한 바와 같이 작품의 테두리가 따로 색칠되었다는 것이다. 이러한 방식은 작품이 주변과 연속성을 이룰 수 있도록 하는 방식으로, 특히 테두리를 색칠함에 있어서 테두리와 인접한 색상의 보색을 많이 사용하였다. 따라서 이러한 특징을 회화적 렌더링시에 반영하기 위해 입력영상의 테두리 부분을 별도로 처리하는 것이 바람직하며, 테두리 영역 결정부(130)는 입력영상에서 별도로 처리될 테두리 영역을 결정할 수 있다. 테두리 영역에 대응하는 부분에 배치될 점묘 스트로크의 색상은 앞에서 설명한 견본 색상환을 기초로 하여 테두리에 인접한 영역의 평균색에 대한 보색으로 결정할 수 있다. 이때 테두리의 두께 및 밝기는 외부로부터 입력받거나 사전에 설정된 값을 사용할 수 있다.

위와 같이 밀도맵 생성부(110), 할로영역 결정부(120) 및 테두리 영역 결정부(130)에 의해 각각 생성된 입력영상에 대한 밀도맵, 할로영역 및 테두리 영역은 입력영상에 대한 회화적 렌더링을 수행할 때 기반이 되는 데이터로서 사용된다.

점집합 생성부(140)는 입력영상으로부터 선택된 좌표에 대응하여 계층적 구조의 점집합을 생성한다.

쇠라의 작품과 같은 해상도의 회화적 렌더링 영상을 생성하기 위해서는 상당히 많은 수의 점묘 스트로크가 배치되어야 하며, 점묘 스트로크의 생성 속도도 빨라야 한다. 또한 점묘 스트로크의 밀도는 밀도맵 생성부(110)에 의해 생성된 밀도맵이 나타내는 보색 점묘 스트로크의 밀도를 반영하기 위해 지역적으로 제어 가능하여야 한다. 이를 위해 점집합 생성부(140)는 Kopf에 의해 제안된 재귀적 왕타일(Recursive Wang Tile) 기법을 사용하여 계층적인 구조를 가지는 점집합을 생성할 수 있다.

왕타일은 비주기적인 자연물이나 혼돈적 객체들로 구성되어 있는 아주 복잡한 물체를 배치할 때 사용되거나 작은 텍스쳐의 조각들을 이용하여 자연스럽고 반복적이지 않은 큰 텍스쳐를 합성할 때 사용되는 유연한 구조의 알고리즘이다. Kopf는 이러한 왕타일을 재귀적으로 적용하여 실시간으로 비주기적인 수많은 점들을 생성할 뿐 아니라 이러한 샘플링 방법을 기반으로 텍스쳐 합성 및 스티플링 등의 다양한 분야에 쓰일 수 있는 효율적인 접근법을 소개하였다. 왕타일을 이용한 점집합의 생성방법은 다음과 같다.

각 기본 왕타일에 다트 쓰로잉 알고리즘(Dart Throwing Algorithm)을 이용하여 원하는 개수의 점을 분포시킨다. 이렇게 분포된 점들은 청색 잡음 속성(Blue Noise Property)을 가진다. 다음으로 각 기본 왕타일은 단계적으로 분할되고, 모서리 부분에서 접합이 이루어질 경우에는 생성된 점들이 주기적인 속성을 갖지 않도록 하기 위한 이완(relaxation) 프로세스가 진행된다. 각각의 분할된 타일에 최종적으로 생성된 점들은 순위가 부여되어 점의 밀도를 제어할 수 있도록 한다. 또한 각 기본 왕타일은 자식타일들로 재분할될 수 있도록 알고리즘이 정의되고, 원하는 개수의 점이 생성될 때까지 재귀적으로 분할된다.

도 22는 재귀적 왕타일 기법에 의해 점의 밀도를 증가시키는 예를 나타낸 도면이며, (a)와 같이 생성된 저밀도의 점으로부터 타일 분할에 의해 (b)와 같이 고밀도의 점을 생성하더라도 점의 비주기성은 그대로 유지되는 것을 확인할 수 있다.

점집합 생성부(140)는 이러한 재귀적 왕타일 기법을 계층적인 점집합의 생성에 사용한다. 점집합의 생성 순서는 최상위 레벨의 점을 가장 먼저 생성한 후 순차적으로 하위 레벨의 점이 생성되며, 가장 먼저 최상위 레벨의 점의 개수를 다음의 수학식 7과 같이 결정한다.

여기서, N₀는 최상위 레벨의 점의 개수, (W×H)는 입력영상의 해상도, 그리고 Grid는 사전에 설정된 초기 샘플링 간격이다.

이후, 하위 레벨의 점의 개수는 다음의 수학식 8과 같이 결정된다.

여기서, N_i는 i번째 레벨의 점의 개수, C는 계층적 점집합에서 상위 레벨의 점에 대한 자식노드의 개수, 그리고 depth는 계층적 점집합의 총 레벨의 개수이다. 수학식 8로부터 알 수 있듯이 레벨이 높아질수록, 즉 하위 레벨일수록 점의 개수가 많아지게 된다. depth의 값은 회화적 렌더링에 의해 생성되는 렌더링 영상의 크기 및 해상도에 따라 다르게 설정된다.

도 23은 계층적 점집합의 레벨의 개수가 4일 때 각각의 레벨에 대해 생성된 점집합을 나타낸 도면이다. 도 23의 (a)는 입력영상이며, (b) 내지 (e)는 각각 레벨 0 내지 레벨 3에 해당하는 점집합을 나타낸 도면이다. 레벨 0이 최상위 레벨에 해당한다. 레벨이 높아짐에 따라 점의 개수가 많아지며, 입력영상에 포함된 객체의 형상이 명확해지는 것을 알 수 있다.

점집합 생성부(140)는 계층적 점집합의 각 레벨의 점을 생성할 때에 상위 레벨의 점 각각에 대해 자식노드를 생성하여 하위 레벨의 점을 생성하는 방법을 사용하는 것이 아닌 결정된 개수의 하위 레벨의 점들을 비주기적으로 배치하는 재귀적 왕타일 기법을 사용한다. 따라서 서로 다른 레벨에 속하는 점들 사이에 부모자식관계를 설정해 줄 필요성이 있다. 즉, 하위 레벨의 점들 각각이 상위 레벨의 점들 중에서 어떤 점의 자식점에 해당하는지를 명확히 할 필요가 있다. 이러한 각 점들 사이의 부모자식관계는 색상의 확률분포함수를 적용하여 점의 색상을 결정할 때 사용된다.

상위 레벨의 점과 하위 레벨의 점 사이의 부모자식관계는 다음의 수학식 9와 같이 공간거리와 색상거리의 가중합에 의해 결정된다.

여기서, dist_c는 색상거리, dist_s는 공간거리이고, w_c와 w_s는 각각 색상거리와 공간거리에 부여되는 가중치 값으로, 두 가중치의 합이 1이 되도록 설정된다.

즉, 점집합 생성부(140)는 하위 레벨의 점 하나에 대하여 각각의 상위 레벨의 점과의 공간거리와 색상거리의 가중합을 산출한 후, 가중합이 최소인 상위 레벨의 점을 해당 하위 레벨의 점에 대한 부모점으로 결정한다. 이때 공간거리 뿐만 아니라 색상거리를 고려하는 이유는 입력영상에 포함된 경계를 손상시키지 않고 계층적 점집합 구조가 만들어지도록 하기 위함이다.

도 24는 계층적 점집합에서 상위 레벨과 하위 레벨의 점 사이에 부모자식관계가 설정되는 예를 도시한 도면이다. 도 24에서 P₁과 P₂는 상위 레벨의 점이고, C₁은 하위 레벨의 점이다. 부모자식관계를 설정하기 위해 공간거리만 고려할 경우에 C₁의 부모점은 P₂가 되지만, 색상거리를 함께 고려하면 C₁의 부모점은 P₁으로 결정된다. C₁과 P₁의 색상이 동일하여 색상거리가 P₂와의 색상거리에 비해 가깝기 때문이다.

도 25는 색상거리와 공간거리에 부여되는 가중치 값에 따라 결정되는 부모자식관계를 나타낸 도면이다. 도 25의 (a)의 테스트 영상에 대해 계층적 점집합을 생성하고 상위 레벨과 하위 레벨의 점 사이에 부모자식관계를 설정한다. 도 25의 (b)는 공간거리만 고려한 경우를 나타낸 것으로, w_c=0, w_s=1로 설정된 경우이다. 또한 (c)는 색상거리만 고려한 경우를 나타낸 것으로, w_c=1, w_s=0로 설정된 경우이다. (d)는 w_c=0.5, w_s=0.5로 설정되어 색상거리와 공간거리를 모두 고려한 경우로서, (b)와 (c)의 경우에 비해 객체의 형상이 가장 잘 유지되는 것을 알 수 있다.

점집합 생성부(140)는 밀도맵 생성부(110)에 의해 생성된 밀도맵, 즉 렌더링 영상에서의 보색 점묘 스트로크의 배치를 반영하기 위해 계층적 점집합을 구성하는 점들 중에서 보색으로 지정될 보색점을 결정한다. 이때 최상위 레벨의 점들은 제외된다. 왕타일을 사용하여 각 레벨의 점들을 생성할 때 순위정보가 포함되기 때문에 순위정보와 밀도맵을 사용하면 최상위 레벨을 제외한 하위 레벨의 점들 중에서 보색점을 결정할 수 있다.

i번째 레벨에서의 보색점의 개수는 다음의 수학식 10에 의해 결정된다.

여기서, N_{i , comp}는 i번째 레벨의 점들 중에서 보색으로 지정될 점들의 개수, N_i는 i번째 레벨의 점들의 전체 개수이고, C_ratio는 보색점의 비율로서 실험 또는 사용자 입력에 의해 결정된다.

보색점의 비율이 커지면 해당 영역이 무채색에 가깝게 되어 탁한 색상으로 표현되며, 보색점은 입력영상의 어두운 부분에 집중되어야 하기 때문에 C_ratio의 값은 0.2 이하로 하는 것이 바람직하다.

최종적으로 계층적 점집합을 구성하는 각각의 점은 위치, 색상 및 자식점으로의 포인터를 포함하고 있으며, 이러한 정보를 사용하여 부모점으로부터 자식점으로의 색상 분해, 즉 부모점의 색상을 기초로 자식점의 색상을 결정하는 과정이 수행된다. 색상 분해에 대하여는 이하에서 상세하게 설명한다.

색상 결정부(150)는 점집합 생성부(140)에 의해 생성된 계층적 점집합에 대해 상위 레벨의 점의 색상을 기초로 하위 레벨의 점의 색상을 결정하는 색상 분해를 수행한다. 앞에서 쇠라의 작품에 나타나는 색상 분포가 라플라스 확률밀도함수를 따른다는 것을 설명한 바 있다. 이러한 색상 분포의 특징을 색상 분해 과정에서 적용하게 된다. 색상 분해시에는 부모점의 색상을 기초로 라플라스 확률밀도함수를 적용하여 자식점의 색상을 결정한다. 따라서 점집합 생성부(140)에 의해 설정된 부모자식관계가 색상 분해시에 사용된다.

도 26은 부모점의 색상을 기초로 자식점의 색상을 결정하는 일 예를 나타낸 도면이다. 색상 분해시에는 앞에서 설명한 RYB 모델 기반의 견본 색상환을 사용하며, 견본 색상환 상에서 라플라스 분포에 따라 랜덤하게 생성된 색상 인덱스 값을 사용한다.

먼저 부모점 P_C의 색상은 (H_num,B_num)의 해상도를 가지는 색상환(W)에서 (H_i,B_j)의 위치를 가진다. 부모점 P_C에 대해 N개의 자식점 C₁,C₂,…,C_N이 존재한다면 부모점의 색상인 H_i를 평균값으로 하여 라플라스 분포를 가지는 N개의 색상 인덱스를 생성할 수 있다. 이때 견본 색상환이 원형좌표계를 따른다는 점을 고려한다. 그에 따라 견본 색상환 상에서 자식점들의 색상 인덱스 값이 각각 정해진다.

각각의 자식점의 색상에 대응하는 밝기 인덱스의 값은 부모점 P_C의 밝기값과 가장 가까운 값으로 선택된다. 이는 인접하는 점들이 동일한 밝기값을 가지도록 하기 위해서이다. 이러한 과정을 모든 부모점에 대하여 반복하면 계층적 점집합을 구성하는 모든 점들에 대해 색상 및 밝기의 값이 부여된다.

또한 계층적 구조의 점집합에서 특정 자식점은 다른 자식점에 대한 부모점이 될 수 있다. 따라서 부모점의 색상을 기초로 자식점의 색상을 결정한 후, 해당 자식점이 최하위 레벨이 아닌 경우에는 다시 해당 자식점을 부모점으로 하는 부모자식관계를 기초로 색상 분해 과정을 반복하게 된다.

라플라스 분포를 가지는 인덱스를 생성할 때에는 라플라스 난수 발생기를 이용하며, 라플라스 분포를 따르는 난수 X는 다음의 수학식 11에 의해 결정된다.

여기서, U는 -0.5와 0.5 사이에서 결정되는 랜덤값, μ는 부모점의 색상이 위치한 견본 색상환의 색상 인덱스 값인 평균값, 그리고

는 스케일 파라미터로서 앞에서 설명한 라플라스 확률분포함수의 분산으로부터 얻어진다.

이와 같이 계층적 점집합을 구성하는 모든 점들에 대하여 색상이 결정되면, 보색점, 할로영역에 속한 점 및 테두리에 포함된 점에 대한 색상을 다시 결정하게 된다.

도 27은 보색점의 색상을 결정하는 예를 나타낸 도면이다. 점집합 생성부(140)에 의해 부모점, 즉 상위 레벨의 점에 대응하는 자식점들, 즉 하위 레벨의 점들 중에서 수학식 10의 C_ratio를 기초로 일정 개수의 자식점이 보색점으로 결정된다. 이러한 보색점의 색상은 부모자식관계를 기초로 하는 색상 분해에 의해 결정된 색상의 보색으로 결정되며, 보색은 견본 색상환 상에서 반대편에 위치하는 색에 해당한다. 또한 보색점의 밝기는 색상 분해에 의해 결정된 색과 동일한 밝기를 유지하도록 선택된다. 그러나 앞에서 설명한 것과 같이 쇠라의 작품에서는 견본 색상환을 이용한 1차보색 외에 2차보색을 사용하는 경우가 많이 나타나므로, 이러한 특징을 적용할 수도 있다.

할로영역 결정부(120)에 의해 결정된 할로영역에 포함되는 점들의 경우에는 부모점의 색상을 입력영상에서 할로영역으로 결정된 영역에 언샤프 마스크를 적용하여 할로 효과를 발생시킨 후 얻어지는 색상으로 변경한 후, 앞에서 설명한 것과 같은 색상 분해 과정을 수행하여 자식점들의 색상을 결정한다. 테두리 영역 결정부(130)에 의해 결정된 테두리 영역에 포함된 점들의 경우에도 동일한 방법을 사용하여 색상 분해 과정을 수행한다.

도 28은 입력영상으로부터 계층적 점집합을 생성하고 색상 분해를 수행하여 얻어진 영상을 나타낸 도면이다. 도 28의 (a)의 입력영상을 왕타일 기법에 의해 샘플링하여 (b)와 같은 계층적 구조의 점집합을 생성하고, 부모점으로부터 자식점으로의 색상 분해에 의해 점집합에 속하는 점들의 색상을 결정함으로써 (c)와 같은 영상이 얻어진다. 도 28의 (c)는 보색점, 할로영역 및 테두리 영역을 고려하지 않은 경우에 생성된 영상이다.

도 29는 입력영상으로부터 결정된 할로영역에 포함되는 점들에 대해 색상 분해를 수행한 결과를 나타낸 도면이다. 도 29의 (a)는 도 28의 (a)의 입력영상으로부터 추출된 캐니 에지를 나타내며, (b)는 에지정보를 기초로 얻어진 거리맵이다. 거리맵을 이용하여 (c)와 같이 할로영역이 결정되고, 입력영상에서 할로영역에 해당하는 좌표들에 대하여 언샤프 마스크가 적용되어 할로 효과가 발생한다. 계층적 점집합의 점들 중에서 할로영역에 속하는 점들에 대하여 색상 분해를 수행하면 (d)와 같은 결과가 얻어진다.

다음으로 도 30은 밀도맵을 기초로 결정된 보색점에 대해 색상분해를 수행한 결과를 나타낸 도면이다. 도 30의 (a)는 도 28의 (a)의 입력영상으로부터 추출된 조명성분을 나타내며, (b)는 조명성분에 의해 생성된 밀도맵을 나타낸다. (b)의 밀도맵에 포함된 점들 중에서 일정 비율의 점들이 보색점으로 결정되며, (c)는 색상환을 기초로 결정된 보색점의 색상을 나타낸 도면이다. 한편, (d)는 쇠라의 작품의 특징을 반영하여 2차보색을 사용한 결과를 나타낸 도면이다.

도 31은 테두리 영역에 포함된 점들에 대해 색상 분해를 수행한 결과를 나타낸 도면이다. 테두리에 인접한 영역의 색상의 평균에 대한 보색으로 테두리영역에 포함된 점들의 색상이 결정되었다.

도 32는 밀도맵, 할로영역 및 테두리 영역이 모두 고려된 색상 분해의 결과로 얻어진 영상을 나타낸 도면이다. 도 28의 (c)에 나타난 일반적인 색상 분해의 결과에 비해 명암 표현이 잘 이루어졌으며 대비가 증가한 결과가 얻어졌다.

렌더링부(160)는 점집합 생성부(140)에 의해 생성된 계층적 점집합 및 색상 결정부(150)에 의해 결정된 각 점의 색상을 기초로 결정된 위치 및 색상을 가지는 점묘 스트로크를 캔버스 상에 배치하여 입력영상에 대응하는 렌더링 영상을 생성한다.

회화적 렌더링을 위해서는 사용되는 브러시 스트로크의 위치, 색상, 방향, 모양 및 질감 등과 같은 다양한 속성들을 결정하여야 한다. 먼저 렌더링부(160)는 캔버스 C(W_canvas,H_canvas)를 정의하고 캔버스 상에 점묘 스트로크를 배치함으로써 렌더링 영상을 생성한다. 이때 점묘 스트로크의 위치는 점집합 생성부(140)에 의해 생성된 계층적 점집합에 속하는 점들의 위치에 대응하며, 점묘 스트로크의 색상은 대응되는 점에 대해 색상 결정부(150)에 의해 결정된 색상이 된다.

다음으로 렌더링부(160)는 점묘 스트로크의 방향을 결정하기 위해 에지 탄젠트 플로우(Edge Tangent Flow : ETF)를 사용한다. ETF는 커널 기반의 기술로 비선형적으로 이미지 벡터필드를 부드럽게 해주는 기술이다. 렌더링부(160)는 입력영상의 각 좌표에 대해 얻어진 ETF 방향벡터인 ETF(x,y)가 저장된 방향맵을 생성하여 점묘 스트로크의 방향 결정에 사용한다. 즉, 점묘 스트로크의 크기는 해당 점묘 스트로크가 위치하는 좌표의 ETF(x,y)의 값에 따라 스케일링된다. 도 33은 입력영상에 대하여 생성된 스트로크의 방향맵을 나타낸 도면이다. 영상의 특징이 되는 방향성이 강한 에지를 따라 부드러운 흐름이 생성되었음을 확인할 수 있다. 점묘 스트로크의 형태를 타원형으로 변화시킨 후 방향맵에 포함된 방향벡터를 기초로 회전시키면 방향성이 부여된 점묘 스트로크를 표현할 수 있다.

스트로크의 크기는 앞에서 설명한 계층적 점집합의 레벨에 따라 결정된다. 레벨이 높아질수록, 즉 하위 레벨로 갈수록 해당 레벨에 속하는 점의 개수가 증가하므로 렌더링 영상의 해상도 역시 증가하게 된다. 캔버스 상에 배치되는 점묘 스트로크의 개수는 계층적 점집합에 포함된 점의 개수와 동일하므로 한정된 개수의 점묘 스트로크를 캔버스 상에 빈공간이 최소가 되도록 배치하여야 한다. 점묘 스트로크의 크기를 점의 지름으로 표현하면, 다음의 수학식 12와 같이 결정할 수 있다.

여기서, B_size는 점묘 스트로크의 크기, N_depth는 depth 레벨에 해당하는 점의 개수, W_canvas×H_canvas는 캔버스의 크기(가로×세로)이고, δ는 점묘 스트로크의 겹침 정도 및 크기에 변화를 주어 다양한 크기의 점묘 스트로크를 생성할 때 사용하는 제어변수로 일반적으로 1.0의 값으로 사용한다.

이때 모든 점묘 스트로크에 대해 동일한 δ의 값을 사용하면 모든 점에 대한 점묘 스트로크의 크기가 일정하게 되어 부자연스럽다. 이를 방지하기 위해 1.0을 기준으로 하여 각각의 점의 위치에 배치되는 점묘 스트로크의 크기에 약간의 지터(jitter)를 줄 수 있다. 또한 점묘 스트로크의 방향이 결정되고 스트로크의 형태가 타원형으로 바뀌는 경우에도 δ의 값을 적절하게 조절할 수 있다.

도 34는 스트로크의 크기를 변화시키고 방향성을 부여한 결과를 나타낸 도면이다. 도 34의 (a)는 스트로크의 위치를 나타내는 점이 배치된 도면이고, (b)는 각각의 점의 위치에 대응하여 동일한 크기의 점묘 스트로크가 배치된 도면이다. 이와 같이 점묘 스트로크가 모두 동일한 크기를 가지고 규칙적으로 배열되면 자연스러운 효과를 낼 수 없으므로 지터를 주어 (c)와 같이 다양한 크기의 점묘 스트로크를 배치할 수 있다. (d)는 방향성이 부여되어 타원형의 형태를 가지는 점묘 스트로크가 배치된 결과를 나타낸 도면이다.

한편, 렌더링부(160)는 실제 붓칠에 의해 그려진 그림과 같은 렌더링 영상을 생성하기 위해 점묘 스트로크에 질감을 부여할 수 있다. 유화의 질감은 빛과 음영, 유곽, 하이라이트, 그리고 명암의 경계와 같은 특징들에 의해 표현된다. 기존의 질감 표현방법들 중에서 붓놀림과 안료 혼합의 물리적 시뮬레이션을 통해 스트로크의 질감과 형태를 표현한 방법이 있으며, 빛과 음영을 이용하여 높이맵(height map)과 불투명도맵(opacity map)을 만들어 브러시 스트로크의 질감을 표현한 방법이 있었다.

렌더링부(160)는 점묘 스트로크의 질감을 표현하기 위해 사전에 저장되어 있는 스트로크 텍스쳐를 사용할 수 있다. 스트로크 텍스쳐는 실제 유리판(glass plate) 위에 흑백의 유화 안료를 사용하여 스트로크를 그린 후 캡쳐하여 얻을 수 있다. 캡쳐에 의해 얻어진 다양한 스트로크 텍스쳐들은 데이터베이스로 구축되어 저장된다. 도 35에는 캡쳐에 의해 얻어진 스트로크 텍스쳐의 예를 나타내었다. 스트로크 텍스쳐는 점묘 스트로크의 생성시 형태를 표현하는 불투명도 정보로 활용되며, 임계치 이상의 값을 가지는 부분은 투명하게 표현되어 이미 그려져 있던 캔버스의 색상이 드러나게 된다.

한편, 도 36은 쇠라의 작품의 일부분을 확대한 도면으로, 점묘 스트로크들이 안료의 두께로 인해 깊이감과 질감을 나타내고 있는 것을 알 수 있다. 렌더링부(160)는 이러한 스트로크의 깊이감을 표현하기 위해 엠보싱 텍스쳐(embossing texture)를 사용할 수 있다. 엠보싱 텍스쳐는 캡쳐한 스트로크 텍스쳐에 깊이의 착각(illusion)을 표현하기 위해 사용되며, 엠보싱 필터에 의해 만들어진다. 엠보싱 필터는 빛의 방향에 따른 픽셀들의 높이 차이를 수치화한 것이며, 표현 가능한 범위의 중간값인 128의 상대적인 값으로 저장된다. 빛의 방향을 다양화하여 엠보싱 텍스쳐를 생성할 수 있으며, 빛에 의해 생성되는 스트로크의 3차원 깊이효과를 표현할 수 있다. 도 37은 스트로크 텍스쳐(a)에 빛의 방향을 달리하여 얻어진 엠보싱 텍스쳐(b)를 나타낸 도면이다.

이와 같은 스트로크 텍스쳐와 엠보싱 텍스쳐를 조합하여 깊이감을 가지는 스트로크를 생성할 수 있으며, 이를 위해 HSB 색상모델을 사용한다. 먼저 그리고자 하는 RGB 색이 정의되고, 이를 HSB 색으로 변경한다. HSB 색의 색상 및 채도의 값은 그대로 사용되며, 밝기값은 엠보싱 텍스쳐의 값을 참고하여 재계산된다. 이때 엠보싱 텍스쳐의 데이터를 역으로 사용하면 음각의 깊이감을 가지는 스트로크를 표현할 수 있으며, 이는 엠보싱 텍스쳐를 생성할 때 빛의 방향을 반대로 하는 것과 같은 효과를 준다.

도 38에 스트로크의 깊이 표현을 위한 소스코드를 나타내었다. 입력으로는 그리고자 하는 점묘 스트로크의 색상, 스트로크 텍스쳐 및 엠보싱 텍스쳐가 사용된다. 또한 도 39는 스트로크 텍스쳐, 엠보싱 텍스쳐 및 스트로크의 색상을 이용하여 얻어진 깊이감을 가지는 스트로크를 나타낸 도면으로, (a)와 같이 원하는 색상의 점묘 스트로크가 얻어진다. (b)는 음각 및 양각의 점묘 스트로크가 혼합되어 얻어진 렌더링 영상을 나타낸 도면이다.

한편, 일반적으로 화가는 붓칠을 하기 전에 밑그림을 그리는데, 점묘화에서는 그리고자 하는 대상의 점묘 스트로크를 캔버스에 생성하면 캔버스의 모든 공간을 채울 수 없기 때문에 흰색의 빈공간이 드러나게 된다. 이를 방지하기 위해 캔버스를 모두 채우려면 스트로크의 크기가 커져야 하는데, 그렇게 되면 점묘화의 효과가 감소하기 때문에 캔버스에 점묘 스트로크를 배치하기 전에 밑그림을 생성하는 것이 바람직하다.

밑그림을 생성하는 일반적인 방법 중의 하나로, 입력영상에 블러(blur) 효과를 강하게 주어 캔버스 상에 생성한 후 그 위에 점묘 스트로크를 배치하는 방법이 있다. 또한 다른 방법으로 입력영상을 영역 분할하여 각각의 분할된 영역을 동일한 색으로 채색함으로써 밑그림을 생성하는 방법이 있다. 도 40은 입력영상으로부터 캔버스 상에 배치할 밑그림을 생성하는 예를 나타낸 도면으로, (a)의 입력영상에 블러를 적용하여 (b)와 같은 밑그림을 생성하거나, 입력영상을 분할하여 (c)와 같이 영역분할 영상을 생성할 수 있다.

렌더링부(160)는 이상에서 설명한 것과 같은 과정에 의해 입력영상으로부터 렌더링 영상을 생성하여 출력한다. 이와 같이 표현하고자 하는 특징을 가진 실제 작품 및 입력영상을 분석하여 얻어진 데이터를 기초로 회화적 렌더링을 수행함으로써, 실제 작품과 유사한 특징을 명확하게 표현할 수 있으며, 본 발명에 따른 점묘 기법의 회화적 렌더링 장치는 다양한 디지털 컨텐츠 분야에 응용될 수 있다.

도 41은 본 발명에 따른 점묘 기법의 회화적 렌더링 장치에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

도 41을 참조하면, 밀도맵 생성부(110)는 입력영상으로부터 저주파 성분인 조명성분을 추출하여 입력영상의 회화적 렌더링에 의해 생성되는 렌더링 영상에 명암 표현을 위해 배치되는 보색 점묘 스트로크의 밀도를 나타내는 밀도맵을 생성한다(S1010). 또한 할로영역 결정부(120)는 입력영상으로부터 검출한 에지를 기초로 입력영상의 각 좌표로부터 가장 가까운 에지까지의 거리값을 나타내는 거리맵을 생성하여 거리값이 사전에 설정된 기준거리보다 작은 좌표들로 이루어진 영역을 입력영상의 대비를 증가시키기 위한 할로영역으로 결정한다(S1020). 다음으로 테두리 영역 결정부(130)는 입력영상의 가장자리로부터 사전에 설정된 너비를 가지는 테두리 영역을 결정한다(S1030). 이상과 같은 밀도맵, 할로영역 및 테두리 영역은 입력영상에 대한 회화적 렌더링시에 기반 데이터로 사용된다.

점집합 생성부(140)는 입력영상에서 선택된 좌표에 비주기적으로 배치되는 복수의 점으로 이루어진 계층적 구조의 점집합을 생성하고, 점집합에서 하위 레벨에 속하는 자식점 각각에 대응하는 상위 레벨의 점인 부모점을 결정하여 점집합에 속하는 복수의 점 사이의 부모자식관계를 결정한다(S1040). 다음으로 색상 결정부(150)는 결정된 부모자식관계를 기초로 사전에 설정된 견본 색상환 상에서 확률분포함수를 사용하여 점집합에 속하는 복수의 점 각각의 색상을 결정한다(S1050). 마지막으로 렌더링부(160)는 캔버스 상에서 계층적 점집합을 구성하는 각각의 점의 위치에 대응하는 지점에 각각의 점에 대하여 결정된 색상의 점묘 스트로크를 배치하여 렌더링 영상을 생성한다(S1060).

본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험은 점묘화의 특징 표현에 영향을 줄 수 있는 파라미터들의 값을 변화시킴에 따라 이루어졌다. 구체적인 구현 환경으로 Window XP의 운영체제, 2GB 메모리, 인텔코어2듀오 2.4GHz환경에서 Visual Studio 2008 개발 환경에서 C++로 구현하였으며, 이미지 처리를 위해서는 CxImage 라이브러리 6.0을 활용하였다.

다음의 표 2에는 실험에 사용된 각종 파라미터를 정리하였다.

파라미터	설 명
W(Hnum,Bnum)	RYB 모델을 기반으로 설계된 색상환의 해상도
A, s	할로의 강도 및 크기를 제어하는 파라미터
Grid	계층적 점집합을 생성할 때 최상위 레벨의 샘플링 간격
C	계층적 점집합의 각 레벨의 점에 대한 자식노드의 개수
depth	계층적 점집합의 깊이값(레벨 수)
Cratio	계층적 점집합의 각 레벨에서 보색점의 비율
Fwidth, Fbrightness	테두리 영역의 너비 및 밝기
C(Wcanvas,Hcanvas)	캔버스의 가로 및 세로길이
δ	점묘 스트로크의 크기를 제어하는 파라미터
Sratio	방향성을 나타내는 점묘 스트로크의 가로/세로 비율

도 42는 색상환의 해상도에 따라 얻어진 렌더링 영상을 나타낸 도면이다. 입력영상으로는 도 28의 (a)와 동일한 영상을 사용하였으며, 입력영상의 크기는 360×390이다. 색상환의 해상도 외에 다른 파라미터들은 Grid=8, depth=2, C=16, C_ratio=0.2, A=2.0, s=15, F_width=15, F_brightness=128, C(1080,1170), δ=1.0, S_ratio=1.7과 같이 설정되었다.

도 42의 (a)는 색상환의 해상도가 W(72,48)일 때 입력영상에 본 발명에 따른 회화적 렌더링 방법을 적용하여 얻어진 렌더링 영상이며, (b)는 W(36,24), (c)는 W(18,12), 그리고 (d)는 W(12,6)일 때 얻어진 렌더링 영상이다. 도 42를 참조하면, 색상환의 해상도가 낮아질수록 색상단계나 밝기단계에 계단현상이 발생하며, 색상환의 해상도가 높아지면 부드러운 색상 및 밝기 표현이 이루어지는 것을 알 수 있다. 이하 다른 실험에서 색상환의 해상도는 다양한 색상 표현을 위해 W(72,48)을 사용하였다.

도 43은 Grid 값을 32로 하고 depth의 값을 4, 그리고 C를 4로 설정했을 때 입력영상에 색상 분해를 수행하여 각 레벨의 점들에 대응하는 점묘 스트로크를 배치한 결과를 나타낸 도면이다. 나머지 파라미터들의 값은 도 42의 경우와 동일하게 설정되었다. 도 43의 (a) 내지 (d)는 각각 레벨 1 내지 4에 해당하는 점들에 대해 점묘 스트로크를 배치한 결과이며, 레벨이 높아질수록, 즉 하위 레벨로 갈수록 점의 밀도가 높아짐을 알 수 있다.

도 44는 보색점의 비율에 따른 렌더링 영상을 나타낸 도면이다. 도 44의 (a) 내지 (d)는 각각 보색점의 비율인 C_ratio의 값이 0.1, 0.2, 0.3, 0.5로 설정되었을 때 얻어진 렌더링 영상을 나타내며, Grid=16, depth=2, C=16 외에 다른 파라미터들의 값은 도 43의 경우와 동일하게 설정되었다. 도 44를 참조하면, 보색점의 비율이 높아지면 결과영상이 탁하게 표현됨을 알 수 있다. 보색끼리의 가산혼합에 의해 무채색이 얻어지기 때문이다.

도 45는 할로의 크기에 따른 렌더링 영상을 나타낸 도면이다. 언샤프 마스크의 파라미터인 A와 s의 값을 조절하면서 할로의 생성 정도를 제어할 수 있으며, 도 45의 (a) 내지 (d)는 할로의 크기를 제어하는 파라미터인 s의 값을 각각 0, 10, 20 및 30으로 설정하고 A의 값은 2로 설정하였을 때 얻어진 렌더링 영상이다. 그 외에 C_ratio=0.2, S_ratio=1.7로 설정되었고 나머지 파라미터들의 값은 도 44의 경우와 동일하게 설정되었다. 도 45를 참조하면, 할로의 크기가 커질수록 영상의 대비가 강하게 표현되는 것을 알 수 있다.

도 46은 방향성이 부여된 점묘 스트로크의 크기를 변화시켜 얻어진 렌더링 영상을 나타낸 도면이다. 즉, 타원형 점묘 스트로크의 크기는 S_ratio의 값을 변화시켜 조절할 수 있는데, 도 46의 (a) 내지 (d)는 각각 S_ratio의 값이 1.0, 1.5, 2.0 및 3.0일 때 얻어진 렌더링 영상이다. S_ratio의 값이 1.0일 때 점묘 스트로크의 형태는 원형이며, S_ratio의 값이 커질수록 점묘 스트로크가 타원형으로 변화하며 그 길이가 길어진다.

도 47a 및 도 47b는 본 발명에 의해 얻어진 렌더링 영상에 표현된 쇠라의 작품의 특징을 나타내는 도면이다. 도 47a는 우측 하단의 입력영상으로부터 얻어진 렌더링 영상이며, 도 47b의 (a) 내지 (d)는 렌더링 영상에서 (1) 내지 (4)로 표시된 각 영역을 확대하여 나타낸 도면이다. 도 47b의 (a)의 도면으로부터 점묘 스트로크를 이용한 색의 병치혼합이 표현되었음을 알 수 있으며, (b)로부터는 보색 병치혼합에 의한 명암표현을 확인할 수 있다. (c)의 도면은 대비를 증가시키기 위한 할로 효과를 나타내며, (d)의 도면은 보색을 사용한 테두리 영역을 나타낸다. 이와 같이 본 발명에 따른 회화적 렌더링 장치 및 방법에 의해 입력영상으로부터 쇠라의 작품과 같은 특징을 나타내는 렌더링 영상을 생성할 수 있다.

본 발명의 성능을 기존의 회화적 렌더링 방법인 Hertzmann의 방법, Hays의 방법, Luong의 방법, Jing의 방법 및 Yang의 방법과 비교하기 위한 실험을 수행하였다.

먼저 도 48은 본 발명과 Hertzmann의 방법을 사용하여 얻어진 렌더링 영상을 비교하여 나타낸 도면이다. 도 48의 (a)는 실험에 사용된 입력영상이며, (b)는 Hertzmann의 방법에 의해 얻어진 렌더링 영상, (c)는 본 발명을 적용하여 얻어진 렌더링 영상이다. Hertzmann의 방법은 입력영상의 색상에 랜덤요소를 추가함으로써 점묘화 영상을 생성하였으며, 스트로크를 단순히 점의 형태로 표현한 것 이외에는 쇠라를 비롯한 신인상파의 사상을 표현하고 있지 않다는 것을 확인할 수 있다.

다음으로 도 49는 본 발명과 Hays의 방법을 사용하여 얻어진 렌더링 영상을 비교하여 나타낸 도면이다. 도 49의 (a)는 입력영상이며, (b)는 Hays의 방법에 의해 얻어진 렌더링 영상, (c)는 본 발명에 의해 얻어진 렌더링 영상이다. 또한 (b)와 (c)에서 아래쪽의 영상은 입력영상에서 박스로 표시된 영역을 확대한 영상이다. Hays 역시 색상에 랜덤 값을 추가하여 색상을 결정하였으며, 점 형태의 브러시 스트로크 텍스쳐를 사용하여 표현하였다. Hays의 방법 역시 Hertzmann의 방법과 큰 차이를 보이지 않는다.

도 50은 본 발명과 Luong의 방법을 사용하여 얻어진 렌더링 영상을 비교하여 나타낸 도면이다. 도 50의 (a)는 Luong의 방법에 의해 얻어진 렌더링 영상이고, (b)는 본 발명에 의해 얻어진 렌더링 영상이다. Luong은 쇠라의 작품에서 나타나는 특징 중에 색상의 병치혼합을 표현하기 위해 입력영상의 밝기를 유지하면서 색상을 변화시키는 방법을 사용하였다. 도 50을 참조하면, Luong의 방법 역시 쇠라의 작품과 같은 특징을 표현하고 있지는 않다는 것을 알 수 있다.

도 51은 본 발명과 Jing의 방법을 사용하여 얻어진 렌더링 영상을 비교하여 나타낸 도면이다. 도 51의 (a)는 입력영상, (b)는 Jing의 방법에 의해 얻어진 렌더링 영상, (c)는 본 발명에 의해 얻어진 렌더링 영상이다. Jing의 방법 역시 Luong의 방법과 마찬가지로 색상의 변이에 초점을 맞추었으며, 쇠라의 작품에서 나타나는 다른 특징들은 표현하지 못하였다. (b)와 (c)의 아래쪽 영상은 입력영상에서 박스로 표시된 영역을 확대한 영상이며, 본 발명을 사용한 경우에 할로 효과가 명확하게 나타남을 알 수 있다.

도 52는 본 발명과 Yang의 방법을 사용하여 얻어진 렌더링 영상을 비교하여 나타낸 도면이다. 도 52의 (a)는 Yang의 방법에 의해 얻어진 렌더링 영상, (b)는 본 발명에 의해 얻어진 렌더링 영상이다. Yang의 방법은 쇠라의 작품의 특징을 본 발명과 가장 유사하게 나타내고 있으나, Lab 색상 공간에서 색상 분해를 수행하였으며, 색상의 병치를 위해서는 랜덤 값을 부여하는 방법을 사용하였다. 이는 본 발명에서와 같이 실제 작품을 분석하여 얻어진 색상 분포를 고려하지 않은 방식이다.

위와 같은 기존의 회화적 렌더링 방법과 본 발명의 비교를 통해 본 발명은 쇠라의 작품에서 나타나는 점묘화의 특징을 가장 잘 나타내고 있으며, 실제 작품을 분석하는 과정에서 얻어진 데이터를 사용함으로써 실제 쇠라의 작품과 가장 유사한 효과를 나타내는 렌더링 영상을 생성할 수 있음을 확인할 수 있다.

도 53a 내지 도 53d는 다양한 입력영상에 본 발명을 적용하여 얻어진 고해상도의 렌더링 영상을 나타낸 도면이다. 점묘화에 나타나는 다양한 특징을 명확하게 확인하기 위해서는 고해상도의 렌더링 영상이 필요하며, 도 53a 내지 도 53d의 고해상도 영상을 통해 본 발명에 의해 얻어진 렌더링 영상에 나타나는 쇠라의 작품의 특징을 확인할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

110 - 밀도맵 생성부
120 - 할로영역 결정부
130 - 테두리 영역 결정부
140 - 점집합 생성부
150 - 색상 결정부
160 - 렌더링부

Claims (33)

1. 회화적 렌더링에 의해 렌더링 영상을 생성하기 위해 입력된 입력영상에서 선택된 좌표에 비주기적으로 배치되는 복수의 점으로 이루어진 계층적 구조의 점집합을 생성하고, 상기 점집합에서 하위 레벨에 속하는 자식점 각각에 대응하는 상위 레벨의 점인 부모점을 결정하여 상기 점집합에 속하는 복수의 점 사이의 부모자식관계를 결정하는 점집합 생성부;
   상기 점집합을 구성하는 복수의 점 각각의 색상을 결정하되, 사전에 설정된 견본 색상환 상에서 상기 부모점의 색상에 대응하는 지점을 중심으로 하는 확률분포함수를 기초로 상기 부모점에 대응하는 자식점의 색상을 결정하며, 상기 부모점이 상기 점집합의 최상위 레벨의 점인 경우에 상기 최상위 레벨의 점의 색상을 상기 입력영상에서 대응되는 좌표의 색상으로 결정하는 색상 결정부; 및
   회화적 렌더링을 위해 생성된 캔버스 상에서 상기 점집합을 구성하는 복수의 점 각각의 위치에 대응하는 지점에 상기 복수의 점 각각에 대해 결정된 색상을 가지는 점묘 스트로크를 배치하여 상기 렌더링 영상을 생성하는 렌더링부;를 포함하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
2. 제 1항에 있어서,
   상기 입력영상으로부터 저주파 성분인 조명성분을 추출하여 상기 렌더링 영상에 명암 표현을 위해 배치되는 보색 점묘 스트로크의 밀도를 나타내는 밀도맵을 생성하는 밀도맵 생성부를 더 포함하며,
   상기 점집합 생성부는 상기 밀도맵을 기초로 상기 점집합을 구성하는 복수의 점 중에서 상기 보색 점묘 스트로크의 위치에 대응하는 보색점을 결정하고,
   상기 색상 결정부는 상기 보색점의 색상을 상기 견본 색상환 상에서 상기 견본 색상환의 중심에 대해 대칭이동시킨 지점에 대응하는 색상인 보색으로 변경하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
3. 제 2항에 있어서,
   상기 밀도맵 생성부는 레티넥스 알고리즘을 사용하여 하기 수학식 A에 의해 상기 입력영상의 조명성분을 추출하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치:
   [수학식 A]
   

   

   
   여기서, L(x,y,c)는 상기 입력영상의 (x,y) 좌표에 대한 조명성분의 값, I(x,y)는 상기 입력영상의 (x,y) 좌표의 그레이스케일 값, *은 컨벌루션(convolution) 연산, G(x,y,c)는 가우시안 함수, c는 상기 가우시안 함수의 스케일을 결정하는 사전에 설정된 인자, 그리고 K는

   

   을 만족하도록 선택된 값이다.
4. 제 1항 또는 제 2항에 있어서,
   상기 입력영상으로부터 검출한 에지를 기초로 상기 입력영상의 각 좌표로부터 가장 가까운 에지까지의 거리값을 나타내는 거리맵을 생성하고, 상기 거리맵을 구성하는 거리값이 사전에 설정된 기준거리보다 작은 좌표들로 이루어진 영역을 상기 입력영상의 대비를 증가시키기 위한 할로영역으로 결정하는 할로영역 결정부를 더 포함하며,
   상기 색상 결정부는 상기 입력영상에서 상기 할로영역에 포함된 좌표에 언샤프 마스크를 적용하여 얻어진 밝기값을 기초로 상기 점집합에 속하는 복수의 점 중에서 상기 할로영역에 포함된 좌표에 대응하는 점의 색상을 상기 부모자식관계에 의해 상기 견본 색상환 상에서 결정하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
5. 제 4항에 있어서,
   상기 할로영역 결정부는 상기 에지에 의해 결정되는 상기 입력영상의 객체영역의 평균 밝기값이 상기 객체영역을 제외한 배경영역의 평균 밝기값보다 크면 상기 할로영역으로부터 고주파성분의 값이 0보다 큰 좌표를 제외하고, 상기 객체영역의 평균 밝기값이 상기 배경영역의 평균 밝기값보다 작으면 상기 할로영역으로부터 고주파성분의 값이 0보다 작은 좌표를 제외하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
6. 제 4항에 있어서,
   상기 할로영역에 포함된 좌표에 적용되는 상기 언샤프 마스크의 강도는 상기 할로영역에 포함된 좌표가 가지는 상기 거리값에 반비례하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
7. 제 1항 또는 제 2항에 있어서,
   상기 입력영상의 가장자리로부터 사전에 설정된 너비를 가지는 테두리 영역을 결정하는 테두리 영역 결정부를 더 포함하며,
   상기 색상 결정부는 상기 점집합을 구성하는 복수의 점 중에서 상기 테두리 영역에 포함된 좌표에 대응하는 최상위 레벨의 점의 색상을 상기 테두리 영역을 제외한 영역에 포함되며 상기 테두리 영역에 포함된 좌표에 대응하는 최상위 레벨의 점으로부터 최단 거리에 위치하는 점의 색상에 대한 보색으로 결정하고, 상기 테두리 영역에 포함된 좌표에 대응하는 하위 레벨의 점의 색상을 상기 부모자식관계에 의해 상기 견본 색상환 상에서 결정하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
8. 제 1항 또는 제 2항에 있어서,
   상기 점집합 생성부는 최상위 레벨의 점이 분포된 기본타일이 단계적으로 분할되고, 각각의 분할된 타일에 하위 레벨의 점이 분포되는 왕타일 기법에 의해 상기 계층적 점집합을 생성하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
9. 제 1항 또는 제 2항에 있어서,
   상기 점집합 생성부는 상기 하위 레벨에 속하는 점들 중에서 순차적으로 선택된 자식점에 대하여 상기 상위 레벨에 속하는 각각의 점과의 색상거리 및 공간거리의 가중합을 산출하고 상기 가중합이 최소인 점을 상기 자식점에 대응하는 부모점으로 결정하되, 상기 색상거리는 상기 견본 색상환 상에서 두 점의 색상에 대응하는 지점 사이의 거리이고, 상기 공간거리는 상기 입력영상 상에서 두 점의 위치에 대응하는 좌표 사이의 거리인 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
10. 제 1항 또는 제 2항에 있어서,
    상기 견본 색상환은 RYB 색상모델을 기반으로 하는 기본색을 원형으로 순차적으로 배치하고, 원의 중심에는 상기 기본색의 감산혼합에 의해 얻어진 색을 배치하고, 상기 원의 가장자리에는 상기 기본색에 흰색을 혼합한 색을 배치하여 생성된 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
11. 제 1항 또는 제 2항에 있어서,
    상기 색상 결정부는 상기 견본 색상환 상에서 상기 부모점의 색상에 대응하는 지점을 중심으로 라플라스 확률밀도함수에 따라 상기 부모점에 대응하는 자식점의 개수만큼의 색상값을 결정하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
12. 삭제
13. 제 1항 또는 제 2항에 있어서,
    상기 렌더링부는 상기 입력영상의 각 좌표에 대해 결정된 에지 탄젠트 플로우 방향벡터의 방향을 기초로 타원형의 형태를 가지는 상기 점묘 스트로크의 길이방향을 결정하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
14. 제 1항 또는 제 2항에 있어서,
    상기 렌더링부는 상기 점묘 스트로크의 크기를 하기 수학식 B에 의해 결정하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치:
    [수학식 B]
    

    

    
    여기서, B_size는 상기 점묘 스트로크의 크기, N_depth는 상기 점집합에 속하는 점의 개수, W_canvas×H_canvas는 상기 캔버스의 크기(가로×세로)이고, δ는 복수의 점묘 스트로크 사이의 규칙성을 제거하기 위해 사전에 설정된 제어변수이다.
15. 제 1항 또는 제 2항에 있어서,
    상기 렌더링부는 상기 캔버스 상에 상기 입력영상을 기초로 생성된 밑그림 영상을 상기 캔버스 상에 배치하고, 상기 밑그림 영상에 상기 점묘 스트로크를 배치하여 상기 렌더링 영상을 생성하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
16. 제 15항에 있어서,
    상기 밑그림 영상은 상기 입력영상의 각각의 좌표에 블러(blur) 효과를 적용하여 생성된 것을 특징으로 하는 점묘 기법의 회화적 렌더링 장치.
17. 회화적 렌더링에 의해 렌더링 영상을 생성하기 위해 입력된 입력영상에서 선택된 좌표에 비주기적으로 배치되는 복수의 점으로 이루어진 계층적 구조의 점집합을 생성하고, 상기 점집합에서 하위 레벨에 속하는 자식점 각각에 대응하는 상위 레벨의 점인 부모점을 결정하여 상기 점집합에 속하는 복수의 점 사이의 부모자식관계를 결정하는 점집합 생성단계;
    상기 점집합을 구성하는 복수의 점 각각의 색상을 결정하되, 사전에 설정된 견본 색상환 상에서 상기 부모점의 색상에 대응하는 지점을 중심으로 하는 확률분포함수를 기초로 상기 부모점에 대응하는 자식점의 색상을 결정하며, 상기 부모점이 상기 점집합의 최상위 레벨의 점인 경우에 상기 최상위 레벨의 점의 색상을 상기 입력영상에서 대응하는 좌표의 색상으로 결정하는 색상 결정단계; 및
    회화적 렌더링을 위해 생성된 캔버스 상에서 상기 점집합을 구성하는 복수의 점 각각의 위치에 대응하는 지점에 상기 복수의 점 각각에 대해 결정된 색상을 가지는 점묘 스트로크를 배치하여 상기 렌더링 영상을 생성하는 렌더링단계;를 포함하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
18. 제 17항에 있어서,
    상기 입력영상으로부터 저주파 성분인 조명성분을 추출하여 상기 렌더링 영상에 명암 표현을 위해 배치되는 보색 점묘 스트로크의 밀도를 나타내는 밀도맵을 생성하는 밀도맵 생성단계를 더 포함하며,
    상기 점집합 생성단계에서, 상기 밀도맵을 기초로 상기 점집합을 구성하는 복수의 점 중에서 상기 보색 점묘 스트로크의 위치에 대응하는 보색점을 결정하고,
    상기 색상 결정단계에서, 상기 보색점의 색상을 상기 견본 색상환 상에서 상기 견본 색상환의 중심에 대해 대칭이동시킨 지점에 대응하는 색상인 보색으로 변경하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
19. 제 18항에 있어서,
    상기 밀도맵 생성단계에서, 레티넥스 알고리즘을 사용하여 하기 수학식 A에 의해 상기 입력영상의 조명성분을 추출하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법:
    [수학식 A]
    

    

    
    여기서, L(x,y,c)는 상기 입력영상의 (x,y) 좌표에 대한 조명성분의 값, I(x,y)는 상기 입력영상의 (x,y) 좌표의 그레이스케일 값, *은 컨벌루션(convolution) 연산, G(x,y,c)는 가우시안 함수, c는 상기 가우시안 함수의 스케일을 결정하는 사전에 설정된 인자, 그리고 K는

    

    을 만족하도록 선택된 값이다.
20. 제 17항 또는 제 18항에 있어서,
    상기 입력영상으로부터 검출한 에지를 기초로 상기 입력영상의 각 좌표로부터 가장 가까운 에지까지의 거리값을 나타내는 거리맵을 생성하고, 상기 거리맵을 구성하는 거리값이 사전에 설정된 기준거리보다 작은 좌표들로 이루어진 영역을 상기 입력영상의 대비를 증가시키기 위한 할로영역으로 결정하는 할로영역 결정단계를 더 포함하며,
    상기 색상 결정단계에서, 상기 입력영상에서 상기 할로영역에 포함된 좌표에 언샤프 마스크를 적용하여 얻어진 밝기값을 기초로 상기 점집합에 속하는 복수의 점 중에서 상기 할로영역에 포함된 좌표에 대응하는 점의 색상을 상기 부모자식관계에 의해 상기 견본 색상환 상에서 결정하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
21. 제 20항에 있어서,
    상기 할로영역 결정단계에서, 상기 에지에 의해 결정되는 상기 입력영상의 객체영역의 평균 밝기값이 상기 객체영역을 제외한 배경영역의 평균 밝기값보다 크면 상기 할로영역으로부터 고주파성분의 값이 0보다 큰 좌표를 제외하고, 상기 객체영역의 평균 밝기값이 상기 배경영역의 평균 밝기값보다 작으면 상기 할로영역으로부터 고주파성분의 값이 0보다 작은 좌표를 제외하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
22. 제 20항에 있어서,
    상기 할로영역에 포함된 좌표에 적용되는 상기 언샤프 마스크의 강도는 상기 할로영역에 포함된 좌표가 가지는 상기 거리값에 반비례하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
23. 제 17항 또는 제 18항에 있어서,
    상기 입력영상의 가장자리로부터 사전에 설정된 너비를 가지는 테두리 영역을 결정하는 테두리 영역 결정단계를 더 포함하며,
    상기 색상 결정단계에서, 상기 점집합을 구성하는 복수의 점 중에서 상기 테두리 영역에 포함된 좌표에 대응하는 최상위 레벨의 점의 색상을 상기 테두리 영역을 제외한 영역에 포함되며 상기 테두리 영역에 포함된 좌표에 대응하는 최상위 레벨의 점으로부터 최단 거리에 위치하는 점의 색상에 대한 보색으로 결정하고, 상기 테두리 영역에 포함된 좌표에 대응하는 하위 레벨의 점의 색상을 상기 부모자식관계에 의해 상기 견본 색상환 상에서 결정하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
24. 제 17항 또는 제 18항에 있어서,
    상기 점집합 생성단계에서, 최상위 레벨의 점이 분포된 기본타일이 단계적으로 분할되고, 각각의 분할된 타일에 하위 레벨의 점이 분포되는 왕타일 기법에 의해 상기 계층적 점집합을 생성하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
25. 제 17항 또는 제 18항에 있어서,
    상기 점집합 생성단계에서, 상기 하위 레벨에 속하는 점들 중에서 순차적으로 선택된 자식점에 대하여 상기 상위 레벨에 속하는 각각의 점과의 색상거리 및 공간거리의 가중합을 산출하고 상기 가중합이 최소인 점을 상기 자식점에 대응하는 부모점으로 결정하되, 상기 색상거리는 상기 견본 색상환 상에서 두 점의 색상에 대응하는 지점 사이의 거리이고, 상기 공간거리는 상기 입력영상 상에서 두 점의 위치에 대응하는 좌표 사이의 거리인 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
26. 제 17항 또는 제 18항에 있어서,
    상기 견본 색상환은 RYB 색상모델을 기반으로 하는 기본색을 원형으로 순차적으로 배치하고, 원의 중심에는 상기 기본색의 감산혼합에 의해 얻어진 색을 배치하고, 상기 원의 가장자리에는 상기 기본색에 흰색을 혼합한 색을 배치하여 생성된 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
27. 제 17항 또는 제 18항에 있어서,
    상기 색상 결정단계에서, 상기 견본 색상환 상에서 상기 부모점의 색상에 대응하는 지점을 중심으로 라플라스 확률밀도함수에 따라 상기 부모점에 대응하는 자식점의 개수만큼의 색상값을 결정하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
28. 삭제
29. 제 17항 또는 제 18항에 있어서,
    상기 렌더링단계에서, 상기 입력영상의 각 좌표에 대해 결정된 에지 탄젠트 플로우 방향벡터의 방향을 기초로 타원형의 형태를 가지는 상기 점묘 스트로크의 길이방향을 결정하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
30. 제 17항 또는 제 18항에 있어서,
    상기 렌더링단계에서, 상기 점묘 스트로크의 크기를 하기 수학식 B에 의해 결정하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법:
    [수학식 B]
    

    

    
    여기서, B_size는 상기 점묘 스트로크의 크기, N_depth는 상기 점집합에 속하는 점의 개수, W_canvas×H_canvas는 상기 캔버스의 크기(가로×세로)이고, δ는 복수의 점묘 스트로크 사이의 규칙성을 제거하기 위해 사전에 설정된 제어변수이다.
31. 제 17항 또는 제 18항에 있어서,
    상기 렌더링단계에서, 상기 캔버스 상에 상기 입력영상을 기초로 생성된 밑그림 영상을 상기 캔버스 상에 배치하고, 상기 밑그림 영상에 상기 점묘 스트로크를 배치하여 상기 렌더링 영상을 생성하는 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
32. 제 31항에 있어서,
    상기 밑그림 영상은 상기 입력영상의 각각의 좌표에 블러(blur) 효과를 적용하여 생성된 것을 특징으로 하는 점묘 기법의 회화적 렌더링 방법.
33. 제 17항 또는 제 18항에 기재된 점묘 기법의 회화적 렌더링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images