KR101635992B1 - 노이즈 일반화에 기반한 사실적인 연필 렌더링 방법 및 이를 적용하는 장치 - Google Patents

Abstract

본 발명은 노이즈 일반화에 기반한 사실적 연필 렌더링 방법 및 이를 적용하는 렌더링 시스템에 관련한다. 렌더링 방법은, 영상에 대해 길이, 두께, 방향 중 적어도 어느 하나의 속성을 가지는 노이즈를 발생하는 단계;를 포함한다.

Description

노이즈 일반화에 기반한 사실적인 연필 렌더링 방법 및 이를 적용하는 장치 {Pencil Rendering Framework based on Noise Generalization}

본 발명은 렌더링 방법 및 이를 적용하는 장치에 관한 것으로서, 상세하게는 단순한 스케치에서 정교한 묘사까지 표현 가능한 연필 렌더링 방법 및 이를 적용한 장치에 관한 것이다.

연필은 여러 미술 도구 중에서 가장 널리 사용되는 도구로써 어린아이에서부터 전문가까지 매우 폭넓은 사용자 층을 확보하고 있으며, 단순한 스케치에서 매우 정교한 묘사까지 다양한 표현이 가능하다는 장점이 있다.

연필 렌더링은 컴퓨터 그래픽스 및 영상 처리 기술을 이용해서 연필로 표현할 수 있는 다양한 예술 효과를 재현하여 시각으로 사용자에게 만족감을 주는 영상을 생성하는 비사실적 렌더링 (NPR, Non-Photorealistic Rendering) 기술의 한 분야로 정의할 수 있다.

카메라 기술이 발달하고 SNS(Social Network Service) 등 콘텐츠를 공유하는 환경이 구축되면서 사용자가 영상을 자유롭게 가공하고 표현하는 기술에 대한 요구가 높아지고 있는 최근 상황을 고려하면, 연필 렌더링과 같이 많은 사람들에게 시각적으로 만족감을 줄 수 있는 영상 표현 기술은 그 활용 가능성이 매우 높다고 판단된다.

연필 예술을 재현하고자 하는 연필 렌더링에서의 가장 어려운 점은 대상에 대한 정교하고 세밀한 묘사와 생략되고 간결한 표현을 동시에 재현할 수 있어야 한다는 점이다. 지금까지 여러 연구자들이 다양한 연필 렌더링 기술을 개발하였으며, 그 중 일부는 사실적이고 정교한 표현이 가능한 수준의 기술을 제시하였으나, 아직까지 다양한 연필 효과를 표현할 수 있는 기술은 개발되지 않고 있다.

종래에 제시된 한 렌더링 방법에 따르면, 영상의 특징을 추출해서 이를 벡터화하고 특징 주변 영역의 흐름과 특징에서 먼 영역의 흐름을 구분해서 컨볼루션을 적용함으로써 연필 렌더링을 수행할 수 있었다[20]. 그 후, 이러한 방법을 더욱 발전시켜 연필 드로잉에 적절한 스트로크 흐름을 생성하기 위해서 영상을 특징 주변, 물체의 내부, 배경 등 세 가지의 영역으로 구분해서 각각 스트로크 흐름을 생성하였다[25]. 또, 영상의 색과 톤을 반영하여 흑백값을 갖는 청색 노이즈를 발생시켰으며, 해칭과 크로스 해칭, 번짐 효과들을 표현할 수 있는 선적분 회선 (LIC, line integral convolution)에 기반한 컨볼루션 필터를 설계하였다. 이를 통해서 매우 사실적이고 정교한 묘사가 가능한 연필 렌더링 기술을 확보하였으며, 이를 이용해서 시각적으로 큰 만족감을 줄 수 있는 콘텐츠를 생성하였다. 그러나 간략한 스케치 등과 같은 효과가 미흡하다는 점에서 연필 예술을 완전하게 재현하지는 못하는 한계가 있다.

또한 기존 방법에서의 스트로크 흐름 모델은 특징 주변에서 발생된 방향을 특징이 존재하지 않는 빈 공간으로 확장시켜서 연필 스트로크 흐름을 생성함으로써 물체 내부를 효과적으로 표현할 수 있도록 하였다, 그러나 이를 배경으로 확장할 경우 물체 내부와 외부에서 유사한 흐름을 갖는 부작용이 발생할 수 있다.

한편, 기존 방법에서 사용되는 스윙 양방향 컨볼루션 필터는 다양한 연필 드로잉 효과를 표현할 수 있지만, 그 컨볼루션 연산의 중복성 때문에 계산량이 증가한다는 단점이 있다.

아래의 [선행기술문헌]에 영상처리에 관련된 다양한 논문들이 [비특허문헌]으로서 인용되었다. 본 명세서 전반적으로 단순히 인용되는 중괄호"[]" 내의 번호는 비특허문헌의 일련번호이며, 이러한 번호의 단순 인용을 통해서 해당 논문의 내용을 부분적으로 또는 전체적으로 본원 명세서의 기재 내용의 범위에 포함됨을 밝힌다.

[1] C. Haase and G. Meyer, "Modeling pigmented materials for realistic image synthesis," ACM Trans. on Graphics. Vol. 11, No. 4, pp. 305-335, 1992. [2] B. Cabral and C. Leedom, "Imaging vector field using line integral convolution," in Proc. of Siggraph 93, pp. 263-270, 1993. [3] M. Salisbury, S. Anderson, R. Barzel, and D. Salesin, "Interactive pen-and-ink illustration," in Proc. of Siggraph 94, pp. 101-108, 1994. [4] G. Winkenbach and D. Salesin, "Computer generated pen-and-ink illustration," in Proc. of Siggraph 94, pp. 91-100, 1994. [5] M. Salisbury, M. Wong, J. Hughes, and D. Salesin, "Orientable textures for image-based pen-and-ink illustration," in Proc. of Siggraph 97, pp. 401-406, 1997. [6] M. C. Sousa and J. Buchanan, "Computer-generated graphite pencil rendering of 3D polygonal models," in Proc. of Eurographics 1999, pp. 195-207, 1999. [7] M. C. Sousa and J. Buchanan, "Observational model of blenders and erasers in computer-generated pencil rendering," in Proc. of Graphics Interface 1999, pp. 157-166, 1999. [8] S. Takagi, M. Nakajima, and I. Fujishiro, "Volumetric modeling of colored pencil drawing," in Proc. of Pacific Graphics 1999, pp. 250-258 , 1999. [9] X. Mao, Y. Nagasaka, and A. Imamiya, "Automatic generation of pencil drawing using LIC," in ACM Siggraph 02 Abstractions and Applications, pp. 149, 2002. [10] N. Li, and Z. Huang, "A feature-based pencil drawing method," in International Conference on Computer Graphics and Interactive Techniques, pp. 135-140, 2003. [11] S. Yamamoto, X. Mao, and A. Imamiya, "Enhanced LIC pencil filter," in Proc. of the ICCGIV 04, pp. 251-256, 2004. [12] X. Mao, K. Tsuji, S. Yamamoto, and A. Imamiya, "Colored pencil filter using LIC," in Proc. of Computer Graphics and Imaging, 2004. [13] S. Yamamoto, X. Mao, and A. Imamiya, "Colored pencil filter with custom colors," in Proc. of Pacific Graphics 04, pp. 329-338, 2004. [14] K. Murakami, R. Tsuruno, and E. Genda, "Multiple illuminated paper textures for drawing strokes," in Proc. of Computer Graphics International 05, pp. 156-161, 2005. [15] H. Lee, S. Kwon, and S. Lee, "Real-time pencil rendering," in Proc. of NPAR 06, pp. 37-45, 2006. [16] K. Melikhov, F. Tian, X. Xie, and H. S. Seah, "DBSC-based pencil style simulation for line drawings," in Proc. of ICGRD, pp. 17-24, 2006. [17] D. Xie, Y. Zhao, D. Xu, and X. Yang, "Convolution filter based pencil drawing and its implementation on GPU," LNCS Vol. 4847, pp. 723-732, 2007. [18] Z. AlMeraj, B. Wyvill, T. Isenberg, A. Gooch, and G. Richard, "Automatically mimicking unique hand-drawn pencil lines," Computers and Graphics, Vol. 33, No. 4, pp. 496-508, 2009. [19] H. Kang, S. Lee, and C. Chui, "Flow-based image abstraction," IEEE Trans. on Visualization and Computer Graphics, Vol. 15, No. 1, pp. 62-76, 2009. [20] H. Yang and K. Min, "Feature-guided convolution for pencil rendering," KSII Trans. on Internet and Information Systems, Vol. 5, No. 7, pp. 1311-1328, 2011. [21] H. Matsui, J. Johan, and T. Nishita, "Creating colored pencil images by drawing strokes based on boundaries of regions," in Proc. of CGI 05, pp. 148-155, 2005. [22] M. Hata, M. Toyoura and X. Mao, "Automatic generation of accentuated pencil drawing with saliency map and LIC," Visual Computer, Vol. 28, pp. 657-668, 2012. [23] D. Xie, H. Hu and Z. Zhang, "An Improved method for generating colored pencil drawing,"Advanced Materials Research Vol. 433-440, pp. 1555-1560, 2012. [24] C. Lu, L. Xu, J. Jia, "Combining sketch and tone for pencil drawing production," in Proc. of NPAR 2012, 2012. [25] H. Yang, Y. Kwon, and K. Min, "A stylized approach for pencil drawing from photographs," In proc. of EGSR 2012, pp. 1471-1480, 2012. [26] Y. Kwon, H. Yang and K. Min, "Pencil rendering on 3D meshes using convolution," Computers and Graphics, Vo. 36, No. 8, pp. 930-944, 2012. [27] J. Hays, and I. Essa, "Image and video-based painterly animation," In Proc. NPAR 04, pp. 113?120, 2004.

본 발명은 이전의 연구에 따른 방법을 확장해서 단순한 스케치에서 정교한 묘사까지 표현 가능한 연필 렌더링 기술을 제시함으로써 사용자에게 시각적으로 만족감을 주는 연필 효과를 전달하는 영상을 생성할 수 있는 방법을 제안한다.

본 발명에 따른 연필 렌더링 방법은, 컨볼루션에 기반하고 있으며, 노이즈 발생, 스트로크 방향 및 컨볼루션 필터라는 세 가지 구성 요소를 갖는 연필 렌더링 기술을 포함한다.

구체적으로 본 발명에 따른 연필 렌더링 방법은, 영상의 물체와 특징을 고려해서 스트로크 흐름을 생성하고 색과 톤을 고려해서 적절한 노이즈를 발생시킨 후에 영상의 모든 픽셀에서 스트로크 흐름에 따라서 노이즈를 컨볼루션하여 연필 효과를 생성한다.

본 발명에 따른 연필 렌더링 방법의 한 실시 예에 따르면, 점 형태의 노이즈를 분포시킴으로써 상세한 표현의 연필 드로잉 효과를 구현했던 기존 연구를 확장하고 기존의 노이즈 모델로는 표현하기 힘든 다양한 연필 효과를 생성하기 위해서 다양한 길이, 두께, 방향 및 이에 대한 산동 (perturbation)을 포함하는 사각형 형태의 노이즈를 발생시키고 이를 이용해서 다양한 연필 효과를 표현하는 일반 노이즈 모델(generalized noise model)이 제시된다.

본 발명에 따른 연필 렌더링 방법의 한 실시 예에 따르면, 스트로크 흐름 모델에 의해 특징 주변에서 발생된 방향을 특징이 존재하지 않는 빈 공간으로 확장시켜서 연필 스트로크 흐름을 생성함으로써 물체 내부를 효과적으로 표현함에 있어서, 영상의 색을 양자화해서 흐름의 방향을 결정하고 톤에 따라서 크로스 해칭을 적용하는 스트로크 흐름 모델을 제시한다.

또한, 본 발명은 스윙 양방향 컨볼루션 필터에 의해 다양한 연필 드로잉 효과를 표현함에 있어서, 일반 노이즈의 방향을 산동시키고 일정한 방향으로 컨볼루션을 수행함으로써 드로잉 효과를 보다 효율적으로 계산하는 단순화된 컨볼루션 필터를 제시한다.

점 형태의 노이즈를 분포시킴으로써 상세한 표현의 연필 드로잉 효과를 구현했던 기존 연구를 확장하고 기존의 노이즈 모델로는 표현하기 힘든 다양한 연필 효과를 생성하기 위해서 다양한 길이, 두께, 방향 및 이에 대한 산동 (perturbation)을 포함하는 사각형 형태의 노이즈를 발생시키고 이를 이용해서 다양한 연필 효과를 표현이 가능하다.

또한, 색에 근거한 스트로크 흐름을 제시함으로써, 기존 연구에서의 스트로크 흐름 모델은 특징 주변에서 발생된 방향을 특징이 존재하지 않는 빈 공간으로 확장시켜서 연필 스트로크 흐름을 생성함으로써 발생하던 물체 내부와 외부에서 유사한 흐름을 갖는 부작용을 개선한다.

또한, 단순화된 컨볼루션 필터를 사용함으로써, 스윙 양방향 컨볼루션 필터는 다양한 연필 드로잉 효과를 표현할 수 있지만, 그 컨볼루션 연산의 중복성 때문에 계산량이 증가하는 종래의 단점을 개선한다.

도1의 (a), (b)는 종래의 기술[20, 25]에 따른 렌더링 결과를 보이며, (c)는 본 발명의 방법에 따른 렌더링 결과를 보인다.
도2는 종래의 컨볼루션 방법(a)과 본 발명에 따른 컨볼루션 방법(b)을 설명하는 도면이다.
도3은 종래의 벡터화된 특징선 추출하는 방법을 설명하는 도면이다.
도4는 종래 방법에 의해 얻어진 픽셀 집합의 특징선과 벡터화된 선을 비교 설명한다.
도5의 (a)는 종래의 단순한 컴볼루션 필터을 도시하며, (b)는 종래의 스윙 양방향성 컨볼루션 필터를 비교 도시한다.
도6은 단순한 컨볼루션 필터와 스윙 양방향 컨볼루션 필터에 의해 결과 영상을 비교 도시한다.
도7은 본 발명에 따른 일반화 노이즈의 속성을 설명하는 도면이다.
도8은 본 발명에 따른 의사코드의 일 례이다.
도9는 도8의 코드에 따라 노이즈 발생의 성공과 실패를 예를 보여준다.
도10은 일반 노이즈의 길이 변화에 따른 연필 효과의 결과를 도시한다
도11은 일반 노이즈의 두께 변화에 따른 연필 효과의 결과를 도시한다.
도12는 방향에 대한 산동 효과에 따른 연필 효과의 결과를 도시한다.
도13은 색의 변화에 따른 방향의 결정 및 색의 양자화에 따른 단순화된 방향의 예를 도시한다.
도14는 선행기술들 및 본 발명에 따른 스트로크의 흐름을 비교 도시한다.
도15는 본 발명의 실험에 적용되는 입력 영상의 예시한다.
도16은 본 발명에 따른 결과 영상1을 도시하는 것으로 상단은 연필화 효과의 결과를 도시하고, 그 하단은 발생된 노이즈를 도시한다.
도17은 본 발명에 따른 결과 영상2을 도시하는 것으로 좌측열은 연필화 효과의 결과를 도시하고, 그 우측열은 발생된 노이즈를 도시한다.
도18은 본 발명에 따른 결과 영상3을 도시하는 것으로 좌측열은 연필화 효과의 결과를 도시하고, 그 우측열은 발생된 노이즈를 도시한다.
도19는 본 발명에 따른 결과 영상4을 도시하는 것으로 지역적으로 상이한 상세도를 표현한다.
도20은 종래 방법과 본 발명에 따른 결과 영상5를 도시하는 것으로 점진적 상세화를 표현한다.

이하 첨부된 도면을 참조하면서 본 발명에 따른 연필 렌더링 방법의 다양한 실시 예에 대해 상세히 설명한다. 먼저, 종래의 기술[20, 25]의 방법과 후술하는 본 발명의 방법에 따른 드로잉 결과를 살펴본다. 도1의 (a), (b)는 종래의 기술[20, 25]에 따른 렌더링 결과를 보이며, (c)는 본 발명의 방법에 따른 렌더링 결과를 보인다.

도1을 통해 알 수 있듯이, 본 발명에 따르면, 종래 기술[25]과 같이 상세한 표현도 가능하면서도 종래 기술[20]에서와 같은 거친 연필 효과의 표현도 가능하다. 특히, 본 발명에 렌더링 방법은 주요 물체 주변에 발생하는 부자연스러운 흐름을 해결함으로써 더욱 자연스러운 연필 드로잉 효과를 표현할 수 있다.

일반적인 기술로서, 노이즈에 기반한 컨볼루션 방법을 이용해서 연필 드로잉 효과를 시뮬레이션하는 종래 기술에서는 각 픽셀에서 연필 드로잉 효과를 계산해서 값을 지정하는 과정을 수행하며, 도2의 (a)는 이 방법을 설명한다. 먼저, 영상에서 흐름 (Ra)을 계산하고 적절한 노이즈를 발생시켜서 픽셀에 저장한다. 그리고 영상의 한 픽셀 (Xa)에서는 영상에서 추출한 흐름 방향에 대해서 흐름과 만나는 픽셀에 저장된 노이즈의 값을 적분함으로써 그 픽셀에서의 연필 드로잉 값을 결정한다.

이러한 종래 방법은 손쉽게 연필 드로잉 효과를 시뮬레이션할 수 있지만, 그 노이즈의 형태가 단순하기 때문에 연필 예술에서 많이 볼 수 있는 굵고 거친 스트로크 등의 효과를 표현하는 데에는 한계가 있다.

본 발명에 따른 컨볼루션 방법은, 영상에서 사각형 형태의 노이즈를 발생시켜서 그 값을 픽셀에 저장하며, 그 예는 도2의 (b)에서 표현되어 있다. 일반 노이즈는 선분 또는 사각형의 형태로 영상에 적용되기 때문에, 본 발명에 따른 컨볼루션 방법은 노이즈와 중첩되는 픽셀에 대해서는 동일한 값이 적용된다는 특징이 있다. 따라서 이 일반 노이즈에 대해서 컨볼루션을 수행할 경우에는 더욱 뚜렷한 연필 스트로크 효과를 표현할 수 있기 때문에, 거친 연필화 효과를 추구할 수 있게 된다. 또한, 그 속성을 제어함으로써 기존의 픽셀 단위 노이즈로 활용할 수 있게 된다.

이하에서, 본 발명의 빠른 이해를 위하여 선행 연구에 대해 검토해 본다.

1. 흑백 연필 렌더링

기존의 흑백 연필 렌더링 기술은 그 기반 기술에 따라서 물리적 모델을 이용하는 기술들[6, 7, 8, 18]과 스트로크 텍스처를 적용하는 선행 기술 [3, 4, 5, 15, 16], 그리고 컨볼루션을 이용하는 선행 기술[9, 10, 11, 17, 20, 22]로 구분할 수 있다.

물리적 모델에 기반하는 기술은 연필 렌더링 연구의 초기에 시도된 연구[6, 7, 8]로 그라파이트와 종이 등 연필화에서 사용되는 재로의 물리적 속성을 시뮬레이션하여 연필 렌더링을 수행한다. 이후에 Al Meraj 등[18]은 예술가의 손 동작을 수집하여 손으로 그린 연필 선을 복원하는 방법을 제시하였다. 이러한 기술들은 제어하기 힘들고 시각적으로 만족스러운 연필 효과를 표현하기 힘들며 계산량이 많다는 단점 때문에 널리 사용되지는 못하고 있다.

스트로크 텍스처에 기반한 방법은 사용자가 정의하거나[5] 영상으로부터 추출한[16] 방향에 대해서 개별적인 스트로크 텍스처를 적용함으로써 연필 렌더링을 수행한다. 이 기술들은 해칭 효과와 같은 많은 수의 스트로크를 생성해야하는 분야에서는 적용하기 힘들기 때문에 그 결과는 선에 기반한 일러스트레이션과 유사하다. Salisbury 등[3]과 Winkenbach와 Salesin[4]은 펜화 일러스트레이션을 모사하기 위해서 이 기술을 적용하였으며 Lee 등[15]은 3차원 모델에 대한 연필 드로링 효과를 생성하기 위해서 Kubelka-Monk 모델[1]을 이용해서 스트로크 텍스처를 중첩시키는 방법을 제안하였다.

연필 효과를 효율적으로 생성하는 방법의 기반인 선적분회선 기술[2]은 특정한 방향으로 값을 누적하는 과정을 통해서 영상에서 포함된 흐름을 가시화하기 위해서 제시되었다. Mao 등[9]은 이 기술을 확장해서 영상에 대해서 노이즈를 분포시키고 이를 컨볼루션함으로써 연필 드로잉 효과를 모사하였다. 이 기술은 효과적으로 연필 드로잉 효과를 생성하기 때문에 많은 후속 연구가 수행되었다. Li와 Huang[10]은 그레디언트 방향으로 노이즈를 누적하는 방법을 제시하였고 Yamamoto 등[11]은 종이 효과를 추구하고 윤곽을 강조하는 기능을 추가하여 Mao의 방법을 확장하였다. Xie 등[17]은 이 기술을 GPU(Graphic Processing Unit)를 이용해서 구현함으로써 효율성을 추구하였다. 최근 Hata 등[22]은 영상에서 주목 받지 못하는 영역을 생략하기 위해서 돌출 특징을 이용하는 기술을 제안하였다.

Yang과 Min[20]은 영상으로부터 추출된 탄젠트 벡터의 흐름 방향으로 선적분회선을 적용하여 부드러운 연필 드로잉 효과를 생성하는 기술을 개발하였다. 이 기술은 효과적으로 연필 드로잉 효과를 생성할 수 있지만 탄젠트 벡터의 흐름이 물체의 내부와 외부에 동시에 적용되기 때문에 윤곽선 주변으로 유사한 방향의 스트로크가 생성되기 때문에 시각적인 만족감을 저하한다는 단점이 있다.

2. 컬러 연필 드로잉

Mao 등[12]은 R, G, B의 세 가지 색 채널에 대해서 각각 컨볼루션을 수행하고 그 결과를 통합함으로써 컬러 연필 효과를 표현하는 기술을 제안하였으나, 이 기술은 정확하지 못한 스트로크 방향과 불확실한 윤곽 처리라는 단점을 보였다. Yamamoto 등[13]은 사용자가 지정한 두 가지 색에 기반하여 색연필 효과를 구현하고 그 색을 Kubelka-Monk 모델[1]을 이용해서 통합하는 기술을 제안하였다. Matsui 등[21]은 윤곽선으로부터의 ?셋 곡선에 따라서 스트로크 방향을 결정하는 기술을 제안하였으며 Murakami 등[14]은 차콜이나 크레용과 같이 그라파이트 효과가 강한 미술 도구를 시뮬레이션하는 기술을 개발하였다. Xie 등[23]은 영상의 컬러 정보를 이용해서 색연필 효과를 구현하는 기술을 제안하였다. 이 방법에서는 영상의 밝기에 따라서 계산된 흐름에 따라서 스트로크를 배치하는 방법을 이용하였다. 최근 Lu 등[24]은 선 그리기와 톤에 기반한 텍스처를 조합함으로써 사실적인 컬러 색연필 그리기 기술을 개발하였다. 이 기술에서 선 그리기는 영상으로부터 추출된 그레디언트를 이용하며 연필 텍스처는 톤에 기반한 맵을 이용해서 생성하였다.

Yang 등[25]은 다양한 색연필 효과를 구현하기 위해서 영상에 대해서 특징 주변, 물체 내부 및 배경으로 영상을 분할하고 다양한 효과를 표현할 수 있도록 확장된 컨볼루션 필터를 적용하여 스타일화된 연필 효과를 구현하는 기술을 개발하였다. Kwon 등[26]은 3차원 메쉬에 대해서 색 연필 효과를 구현하기 위해서 메쉬 표면에서 주곡률 방향으로 스트로크 방향을 생성하고 메쉬의 확대/축소에 대해서 안정적인 연필 효과를 유지하도록 노이즈를 제어하는 방법을 개발하였다.

이하에서는 연필 렌더링을 위한 종래 연구[20, 25]를 살펴본다.

3. 특징곡선 추출 및 벡터화

효율적인 연필 렌더링을 구현하기 위해서 영상으로부터 중요한 특징선을 검출해서 이를 활용하는 방법은 많은 연구들에서 수행되어 왔다. 이전 연구에서는 이러한 특징선을 더욱 효율적으로 관리하기 위해서 픽셀의 값으로 표현된 특징선을 벡터화하여 이용하는 방법을 제시하였다[20]. 특징선 추출은 Kang 등 [19]이 제안한 코히런트 라인 (coherent line) 알고리즘을 통해서 수행하고, 추출된 특징선을 다음의 방법을 적용해서 벡터화하였다. 먼저 특징선에 속하는 각 픽셀에서 흐름을 계산하고 특징선에 대해서 내부에 있는 픽셀에 더 높은 가중치를 부여하는 연산을 수행한 후에 가장 가중치가 높은 픽셀을 지나가는 흐름을 선택하도록 하였다(도3). 그 결과로써 생성되는 특징선은 도4에서 예시되어 있다.

4. 컨볼루션 필터

컨볼루션에 기반한 연필 렌더링 기술은 영상의 각 픽셀에서의 값을 특정 방향으로 컨볼루션을 수행함으로써 결정하는 선적분회선 기술에 기반한다. 선적분회선은 픽셀 p 에서의 값 R( p )를 p 에서 d 방향으로 (-N ~ N) 범위 내의 픽셀의 값을 적분해서 결정하는 방법으로 다음과 같은 수식[1]에 의해서 정의된다[20].

이전 연구에서는 다양한 연필 효과를 표현하기 위해서 다음과 같은 수식에 기반한 컨볼루션 필터를 제안하였다[20]. 위의 식1에 기반하여 간단하게 연필 효과를 모사할 수 있지만, 다양한 연필 효과를 표현하기 힘들다는 단점이 있다. 이러한 단점을 보완해서 다음 식으로 정의되는 스윙 양방향 컨볼루션 필터[25]를 제안하였다. 도5의 (a)는 단순한 컴볼루션 필터[20]을 도시하며, 도5의 (b)는 스윙 양방향성 컨볼루션 필터[20]를 비교 도시한다.

이 식2에서는 양방향 필터의 개념을 도입해서 유사한 색에 대해서만 컨볼루션이 수행되도록 함으로써 뚜렷한 윤곽선을 유지하고 작은 특징을 보존하도록 하였으며 방향 d와 P 에 대해서 적절하게 방향을 산동시켜서 적분을 수행함으로써 다양한 효과를 표현할 수 있었다. 도6은 단순한 컨볼루션 필터와 스윙 양방향 컨볼루션 필터에 의해 결과 영상을 비교 도시한다. 도6의 (a)는 입력 영상이며, (b) 단순한 컨볼루션 필터[20]와 (c) 스윙 양방향 컨볼루션 필터[25]에 의한 결과를 보인다.

5. 일반 노이즈 모델의 정의

본 발명이 제안하는 일반 노이즈 모델은 기본적으로 직사각형 형태의 노이즈를 발생시킨다. 이 노이즈는 도7에 도시된 바와 같이, 중심점의 위치 ( x ), 노이즈의 길이 (l), 두께 (w) 및 방향 (α) 등의 속성을 가지는 것으로 정의된다. 이 노이즈에서 (l)와 두께 (w)를 0으로 설정할 경우에는 기존의 픽셀 단위의 노이즈와 동일하게 연필 드로잉 효과를 생성하게 된다. 즉, 본 발명의 노이즈는 길이와 두께의 속성을 가진다.

6. 속성의 결정

6.1 중심점의 위치

중심점의 위치인 x 는 청색 노이즈를 발생시키는 다트 던지기 알고리즘을 기반으로 설계된 방법을 적용해서 결정한다. 노이즈의 밀도는 다트의 반지름 (r)을 이용해서 제어하며, r값은 영상의 밝기 및 특징과의 거리에 기반해서 결정된다. 따라서 픽셀 x 에서의 r값을 r _x 로 표기한다. n개의 노이즈가 발생된 상태에서 새로운 노이즈를 발생하는 과정은 다음과 같이 설명할 수 있다.

가. 임의의 위치 x 를 샘플링한다.

나. x 에서 특징으로부터의 거리와 밝기를 고려해서 r _x 를 결정한다.

다. 기존에 발생된 노이즈들과의 거리를 측정해서 그 거리가 r _x 보다 크다면 이 위치에서 노이즈를 발생시킨다. 만약 r _x 보다 작은 노이즈가 존재한다면 새로운 위치에서 노이즈를 발생시키고 거리를 측정하는 과정을 반복한다.

라. 만약 충분히 실패했다면 r _x 를 감소시켜서 더 작은 반경을 시도함으로써 노이즈가 성공적으로 발생될 수 있도록 한다.

이 과정은 도8에 제시된 의사 코드(Pseudo Code)로 설명할 수 있다.

도9는 도8의 코드에 따라 노이즈 발생의 성공과 실패를 예를 보여준다. 노이즈(N1)는 다른 노이즈와의 거리가 r _x 보다 작은 노이즈가 있기 때문에 발생에 실패하지만 다른 노이즈(N2)는 모든 노이즈들에 대해서 그 거리가 r _x 보다 크기 때문에 발생에 성공한다.

6.2 일반 노이즈의 길이와 두께

아래의 식 3, 4, 5에 의해, 일반 노이즈의 중요한 속성인 길이와 두께는 표현하고자 하는 효과 및 특징으로부터의 거리를 통해서 결정한다. 기본적으로 길이(l)와 두께(w)에 대한 최소값인 l_min 와 w_min 및 최대값인 l_max 와 w_max 를 설정하고 특징으로부터의 거리 d를 고려해서 픽셀 x 에서 발생하는 일반 노이즈의 길이인 l _x 와 두께인 w _x 를 다음의 식을 이용해서 결정한다. 여기서 d _x 는 적절한 최대값 d_max 를 설정하여 이 값보다 작은 값에 대해서는 정규화시켜서 이용한다.

도10은 일반 노이즈의 최소길이(l_min ), 최대길이(l_max ) 변화에 따른 연필 효과를 도시한다. 도10에서 최 좌측의 1번째의 이미지는l_min = l_max = 0, 좌측에서 두번째 이미지는 l_min = 0 ＆ l_max = 50, 좌측에서 3번째 이미지는 l_min = 20 ＆ l_max = 50, 그리고 최우측의 이미지는 l_min = l_max = 50 이다.

또한 다양한 두께에 의해서 발생하는 노이즈 및 그에 따른 연필 효과의 예는 도11에 예시된 바와 같다. 도11은 일반 노이즈의 최소두께(w_min )와 최대 두께(w_max )의 변화에 따른 연필 효과를 보여주는 것으로서, 좌로부터 w_min = w_max = 1, w_min = 1 ＆ w_max = 3, w_min = 1 ＆ w_max = 6, w_min = 3 ＆ w_max = 6 이다.

6.3 일반 노이즈의 방향

일반 노이즈의 방향은 샘플링된 픽셀에서의 스트로크 흐름 방향으로 발생시킨다. 또한, 다양한 효과를 추구하기 위해서 그 방향을 적절하게 산동 (perturbation)시킨다. 픽셀 x 에서의 방향 α _x 는 다음과 같이 식에 의해 설정된다.

위의 식에서 d( x )는 픽셀 x 에서의 탄젠트 벡터이고 δ _x 는 이 픽셀에서의 산동값이다. 이 산동값의 크기에 따라서 도12에서와 같은 다양한 연필 효과를 생성할 수 있다.

도12는 방향에 대한 산동 효과에 따른 연필 효과를 보여 주며, 여기에서 좌로부터 dα 가 0, (-5~5), (-20~20), (-40~40) 인 경우의 연필효과를 보여 준다.

노이즈 발생 과정에서, 픽셀 x 에서 노이즈를 발생시킬 경우, 이 노이즈의 영향으로 노이즈 위에 있는 픽셀들의 값도 x 에서의 값과 동일한 값으로 설정한다. 노이즈의 영향으로 x 와 동일한 값을 할당 받을 픽셀 y 는 x 에서 기울기 α _x 방향의 선분을 그리는 Bresenham의 알고리즘을 이용해서 결정한다.

7. 스트로크 흐름 모델

스트로크 흐름 모델은 영상의 각 픽셀에서 컨볼루션 필터를 적용할 방향을 결정한다. 이를 위해서 본 발명에서는 영상으로부터 부드러운 탄젠트 벡터의 흐름을 생성해서 뚜렷한 윤곽 주변의 방향으로 활용한다. 그러나, 이러한 흐름은 영상의 배경과 같이 뚜렷한 특징이 없는 부분에서의 방향을 결정하기에는 한계를 보인다. 따라서 본 논문에서는 영상의 색과 톤을 분석해서 스트로크 흐름을 생성하는 방법을 제안한다.

먼저, 색을 분석하여 0 ~ 180 사이의 값을 갖는 색조 (hue)를 추출하고 이 색조값을 적절하게 양자화하여 이를 방향으로 활용한다. 또한, 색으로부터 명암 (tone)을 계산하고, 이 명암이 증가함에 따라 색조에 기반한 방향과 수직한 방향으로 해칭을 수행하여 더 어두운 효과를 생성하도록 한다.

위의 식에서 s는 양자화 단계를 의미하며 k는 0 ≤ k < s를 만족하는 정수이다. 즉, 6단계로 양자화를 수행하며 (s = 6), hue( x )가 100이라면, 180/s = 30이며, 3*(30) <= hue( x ) < 4*(30)이기 때문에 α _x 는 3 * 30 = 90이 된다. s값의 변화에 따라서 표현되는 다양한 스트로크 방향은 도13에서 제시되어 있다. 그리고 기존의 연구들에서 사용한 다양한 흐름과 본 연구에서 제안하는 흐름과의 비교는 도14에 제시되어 있다.

도13은 색에 따른 방향의 결정 및 색의 양자화에 따른 단순화된 방향의 예를 도시하며, 도14는 선행기술[27, 19, 20, 25] 및 본 발명에 따른 스트로크의 흐름을 비교 도시한다.

8. 단순화된 컨볼루션 필터

기존 연구에서 제안된 스윙 양방향 필터는 특정 방향으로 (-S ~ S)까지의 범위에서 적분을 수행하는 식에 대해서 (-τ, τ)까지의 범위에서 반복적으로 수행하여 연필 드로잉 효과를 구현한다. 이 식은 다양한 산동 효과를 표현할 수 있다는 장점이 있지만 적분을 이중으로 수행한다는 점 때문에 비효율적인 결과를 보였다. 이를 개선하기 위해서 본 발명에서는 노이즈의 방향을 산동시킴으로써 필터에서의 산동을 수행하지 않고 다양한 효과를 표현할 수 있는 효과를 얻었다. 따라서 본 발명에서는 다음 식으로 표현되는 더욱 단순화된 양방향 컨볼루션 필터를 제안함으로써 더욱 효율적인 연필 렌더링 기술을 구현한다.

9. 구현 방법 및 결과

본 발명에서 제안하는 연필 렌더링 방법은 Pentium i7 CPU와 8 GByte의 주기억장치를 갖춘 개인용 컴퓨터에서 구현되었다. 구현 환경은 Microsoft사의 VisualStudio 2009이며, 효율적인 수행을 위해서 본 방법의 많은 부분을 nVidia사의 CUDA 환경에서 구현하였다. 본 발명의 실험에서 활용하는 입력 영상은 도15와 같다. 즉 본 발명에 따른 렌더링 시스템은 CPU, 주기억장치, GPU등을 포함하는 컴퓨터 시스템을 포함하여 여기에는 상기와 같은 렌더링 방법을 수행하는 소프트웨어가 본 발명의 한 구성 요소로서 포함된다. 이러한 본 발명에 따른 렌더링 시스템에서 상기 소프트웨어는 상기 CPU, 주기억장치, GPU를 기반으로 구동하는 영상 처리시스템을 구성한다.

본 발명에서 보여주고자 하는 결과 영상은 기존 기술과 차별화를 주기 위해서 한 테스트 영상에 대해서 다양한 효과를 구현하는 예를 제시한다.

먼저 도16에서는 인물에 해당되는 입력 영상에 대한 처리 결과를 보여준다. 좌측 열에서는 컬러 노이즈를 발생시켰으며 기존의 점 형태의 노이즈를 발생시킴으로써 상세한 연필화를 보여주고, 중간 열에서는 흑백 연필화에 대해서 배경에는 노이즈를 발생시킴으로써 배경을 더 거칠게 표현한 효과를 보여주며 우측열에서는 전경과 배경에 대해서 동일한 노이즈를 발생시킴으로써 간략하게 소녀를 처리한 연필화 효과를 보여준다.

도17에서는 풍경화에 해당되는 입력 영상에 대한 처리 결과를 보여준다. 첫번째 행에서는 점 노이즈를 이용한 컬러 상세화 효과를 구현하였고, 두 번째 행에서는 노이즈를 이용한 거친 연필화 효과를 구현하였다. 배경인 하늘에서 발생되는 노이즈의 방향에 산동 효과를 추가함으로써 거친 연필 스트로크 방향을 구현하였다. 세 번째 행에서는 흑백 상세화를 표현하였고, 네 번째 행에서는 흑백 스케치 효과를 추구하였다.

도 18에서는 인물과 풍경이 함께 담겨있는 해변 그림에 대한 효과를 제시한다. 첫 번째 행에서는 컬러 상세화를 두번째 행에서는 거친 컬러 스케치를 세 번째 행에서는 노이즈의 두께를 조절하여 인물에는 두께가 5인 노이즈를, 배경에는 두께가 1인 노이즈를 발생시킴으로써 인물에 대해서 더욱 강렬한 느낌을 부여하는 효과를 추구하였다.

도19에서는 영상에서 전경과 배경을 분리함으로써 부분적으로 서로 상이한 상세도의 연필효과를 구현하는 예를 보여준다. 상단에서는 해변 그림에 대해서 적용한 예인데, 우측 구석의 그림과 같이 영상을 분할하고 소녀에 대해서는 굵은 노이즈를 발생시키고 배경에 대해서는 가는 노이즈를 발생시킴으로써 소녀를 강조하는 효과를 표현하였다. 하단의 그림은 우산을 들고 있는 두 남자들에 대해서 우측 인물에 대해서 굵은 노이즈를 발생함으로써 부분적으로 상세도를 제어한 결과물이다.

마지막으로 도20에서는 연필화의 점진적 상세화 과정을 비교한다. 최근 연구 [25]에서는 노이즈의 발생 분포의 밀도를 증가시킴으로써 단순한 스케치에서 상세한 톤의 표현까지의 상세화를 추구했다면 본 발명에서는 노이즈의 밀도뿐 아니라 형태를 변화시킴으로써 더욱 단순한 스케치에서 상세한 톤까지의 표현이 가능하다. 아래의 표는 본 발명과 비교되는 종래 연구[20, 25]에 대비한 본 발명의 차별성 및 특징, 그리고 우세한 효과를 개시하며, 실제 효과가 도1에 비교되어 있다..

10. 결론 및 향후 과제

본 발명에서는 기존의 연필 렌더링 기술로는 구현하기 힘들었던 다양한 연필화 효과를 구현하기 위해서 일반 노이즈를 이용하는 새로운 방법론을 제시하였다. 또한, 사실적인 스트로크 방향을 결정하기 위해서 색을 이용하며, 단순화된 컨볼루션 필터를 이용해서 효율성을 향상시키는 방법을 구현하였다. 본 발명에서 제시하는 방법을 통해서 거친 스케치에서 상세한 일러스트레이션까지 매우 다양한 스타일의 연필화 효과를 구현하는 예를 제시하였다. 또한, 영상에 대해서 부분적으로 상세화를 제어함으로써 영상의 일부를 강조하는 효과를 표현하였다. 본 발명의 결과는 향 후에 더욱 사실적인 연필화 효과 구현에 활용될 수 있으며, 본 발명에서 제시한 결과를 동영상에 적용하거나 벡터화하여 초고해상도 영상에 적용하는 방향에 대한 후속 연구를 진행할 수 있다.

지금까지, 본원 다양한 모범적 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 다양한 실시 예들의 일부임이 이해되어야 할 것이다. 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

Claims (14)

1. 영상을 렌더링 함에 있어서,
   상기 영상의 물체와 특징에 따라 스트로크 흐름을 생성하는 단계;
   상기 영상에 대해, 임의 위치x (픽셀x)에, 길이(l_x), 두께(W_x), 방향(a_x)의 속성과 이에 대한 산동 (perturbation)을 가지는 사각형의 노이즈를 발생하는 단계; 그리고
   상기 영상의 픽셀에서 스트로크 흐름에 따라서 상기 노이즈를 컨볼루션하는 단계;를 포함하며,
   상기 길이(l_x), 두께(W_x), 방향(a_x)는 아래의 식1, 식2, 식3과 같이 정의되는, 렌더링 방법.
   <식1>
   

   

   
   여기에서,
   lmax = 길이(lx)가 가질 수 있는 최대값
   lmin = 길이(lx)가 가질 수 있는 최소값
   <식2>
   

   

   
   여기에서,
   Wmax = 두께(Wx)가 가질 수 있는 최대값
   Wmin = 두께(Wx)가 가질 수 있는 최소값
   <식3>
   

   

   
   여기에서,
   d(x) = 위치 x에서 탄젠트 벡터(방향)
   δ_x = 산동값(단위 ^o)
2. 삭제
3. 제1항에 있어서,
   상기 노이즈를 상기 영상의 색과 톤에 따라 발생하는 단계;를 더 포함하는 렌더링 방법.
4. 제1항 또는 제3항에 있어서,
   상기 스트로크 흐름은 영상의 색의 양자화에 의해 결정되고, 영상의 톤에 따른 크로스 해칭이 적용되는 것을 특징으로 하는 렌더링 방법.
5. 제4항에 있어서,
   상기 노이즈는 상기 영상의 특징, 물체의 내부, 배경을 구분해서 발생하는 것을 특징으로 하는 렌더링 방법.
6. 제1항 또는 제3항에 있어서,
   상기 노이즈는 상기 영상의 특징, 물체의 내부, 배경을 구분해서 발생하는 것을 특징으로 하는 렌더링 방법.
7. 삭제
8. 제1항 또는 제3항에 기재된 방법에 의해 주어진 영상에 대한 렌더링을 수행하는 영상 처리부를 가지는 컴퓨터 기반의 렌더링 시스템.
9. 제8항에 있어서,
   상기 영상 처리부:는
   상기 영상의 물체와 특징에 따라 스트로크 흐름을 생성하고,
   상기 노이즈를 영상의 색과 톤에 따라 발생하고,
   상기 영상의 픽셀에서 스트로크 흐름에 따라서 상기 노이즈를 컨볼루션하는 것을 특징으로 하는 렌더링 시스템.
10. 제9항에 있어서,
    상기 영상처리부:는 상기 스트로크 흐름을 영상의 색 양자화에 의해 결정하고, 영상의 톤에 따른 크로스 해칭을 상기 스트로크 흐름에 적용하는 것을 특징으로 하는 렌더링 시스템.
11. 제10항에 있어서,
    상기 영상처리부는 영상의 특징, 물체의 내부, 배경을 구분해서 상기 노이즈를 발생하는 것을 특징으로 하는 렌더링 시스템.
12. 제8항에 있어서,
    상기 영상처리부는 영상의 특징, 물체의 내부, 배경을 구분해서 상기 노이즈를 발생하는 것을 특징으로 하는 렌더링 시스템.
13. 제9항에 있어서,
    상기 영상처리부는 영상의 특징, 물체의 내부, 배경을 구분해서 상기 노이즈를 발생하는 것을 특징으로 하는 렌더링 시스템.
14. 삭제

Images