KR101715266B1 - 그래픽 가속기에 기반한 3d 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체 - Google Patents

그래픽 가속기에 기반한 3d 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR101715266B1
KR101715266B1 KR1020160047712A KR20160047712A KR101715266B1 KR 101715266 B1 KR101715266 B1 KR 101715266B1 KR 1020160047712 A KR1020160047712 A KR 1020160047712A KR 20160047712 A KR20160047712 A KR 20160047712A KR 101715266 B1 KR101715266 B1 KR 101715266B1
Authority
KR
South Korea
Prior art keywords
image
model
line
filter
line extraction
Prior art date
Application number
KR1020160047712A
Other languages
English (en)
Inventor
김수균
Original Assignee
배재대학교 산학협력단
(주)쓰리피네트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배재대학교 산학협력단, (주)쓰리피네트웍스 filed Critical 배재대학교 산학협력단
Priority to KR1020160047712A priority Critical patent/KR101715266B1/ko
Application granted granted Critical
Publication of KR101715266B1 publication Critical patent/KR101715266B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 3D 폴리곤 모델의 표면에서 에지를 검출하여 특징선을 추출하는 오브젝트 공간에서의 접근법과, 3D 폴리곤 모델이나 2D 이미지의 화면을 캡쳐하여 깊이 정보에 의한 특징선을 추출하는 이미지 공간에서의 접근법을 모두 이용하여 선명한 라인을 추출함으로써 모델의 입력 데이터에 대한 양과는 관계없이 일정한 처리 시간을 제공하여 모델의 복잡성과는 무관하게 빠른 처리 시간을 제공하는 3D 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체를 제공한다.

Description

그래픽 가속기에 기반한 3D 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체{LINE DRAWING METHOD FOR 3D MODEL USING GRAPHIC ACCELERATOR AND COMPUTER-READABLE RECORDING MEDIUM STORING FOR PROCESSING PROGRAM USING THE SAME}
본 발명은 그래픽 가속기를 기반으로 하여 3D 모델을 묘사할 수 있는 고속 라인 드로잉(line drawing) 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 관한 것이다.
이미지를 표현하는 데 있어서 라인 드로잉을 이용한 표현 방식은 매우 효과적이면서 간단하다. 특히, 3D 폴리곤 모델(polygon model)에서의 라인 드로잉(선 그리기)은 모델의 특징을 찾아 그려주고, 그 특징은 윤곽, 실루엣, Ridge와 Valley 등 다양한 방법으로 정의된 선으로 표현된다.
여러 특징선 중에 물체 내부의 Ridge와 Valley로 정의된 오목한 곳과 볼록한 곳은 모델의 가장 큰 특징으로 볼 수 있다. 이러한 Ridge와 Valley의 추출에 대해 많은 연구가 진행되고 있다. 예를 들어, 메쉬(mesh)의 근사화된 형태의 1계 및 2계 곡률 도함수를 통한 음함수 표면 피팅을 이용한 접근 방법, 단일 선을 통해 모델의 특징선을 그리는 Apparent Ridge 방법 등이 있다.
그런데 일반적으로 실루엣과 외곽선 등의 뷰에 종속적인 특징선 추출 시스템은 카메라의 뷰가 변경될 때마다 특징선 추출을 다시 해야하는 문제점이 있다. 하지만 오브젝트 공간 기반의 메쉬에서 직접 특징점을 추출한다면 특징점을 추출하고 뷰가 바뀌어도 특징선 추출 단계를 추가하지 않아도 되는 장점이 있다. 그러나, 특징점 추출은 계산이 많은 축에 속해서 전처리나 데이터 편집을 통해 계산시간 단축에 관한 다양한 방법이 연구되고 있다.
최근에는 CPU(Computer Processing Unit) 보다 연산속도가 상대적으로 빠른 GPU(Graphic Processing Unit)를 이용해 연구된 GPU 기반 선 렌더링(rendering) 방식의 연구도 진행 되고 있다.
본 출원인은 계산 시간에 대한 문제점을 해결하기 위해 GPU기반 라인 드로잉 알고리즘을 제안하였으며, 관련 선행기술문헌으로는 한국등록특허 제10-0418539호(발명의 명칭: 화상 처리 장치, 화상 처리 방법, 및 화상 처리프로그램이 기록된 컴퓨터 판독가능 기록 매체, 등록일: 2004.02.02.)가 있다.
본 발명은 3D 폴리곤 모델의 표면에서 에지를 검출하여 특징선을 추출하는 오브젝트 공간에서의 접근법과, 3D 폴리곤 모델이나 2D 이미지의 화면을 캡쳐하여 깊이 정보에 의한 특징선을 추출하는 이미지 공간에서의 접근법을 모두 이용하여 선명한 라인을 추출함으로써 모델의 입력 데이터에 대한 양과는 관계없이 일정한 처리 시간을 제공하여 모델의 복잡성과는 무관하게 빠른 처리 시간을 제공하여 연산 속도를 높일 수 있는, 그래픽 가속기에 기반한 3D 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체를 제공하는 데 목적이 있다.
상기한 과제를 달성하기 위한 본 발명의 일 실시예에 따른 3D 모델의 라인 드로잉 방법은, 3D 폴리곤 모델의 정점으로부터 법선벡터(normal vectors)를 추출하고 상기 법선벡터를 텍스처(texture)에 렌더링하여 상기 법선벡터의 방향도함수를 기반으로 오브젝트 공간(object-space)에서의 에지를 검출하는 오브젝트 공간 기반 접근법(object-space approaches)을 적용한 라인 추출 과정; 상기 3D 폴리곤 모델이나 2D 이미지의 화면을 캡쳐하여 깊이(depth) 정보에 의한 특징선을 추출하는 이미지 공간 기반 접근법(image-space approaches)을 이용한 라인 추출 과정; 및 상기 오브젝트 공간 기반 접근법을 적용한 라인 추출 과정을 통해 출력되는 라인과 상기 이미지 공간 기반 접근법을 이용한 라인 추출 과정을 통해 출력되는 라인을 결합하여 드로잉하는 과정;을 포함한다.
상기 오브젝트 공간 기반 접근을 적용한 라인 추출 과정은, 상기 3D 폴리곤 모델의 정점으로부터 법선벡터(normal vectors)를 보간(interpolation)하고 상기 법선벡터를 텍스처에 렌더링하여 노말 맵(normal map)을 생성하는 과정; 상기 노말 맵에 포함된 법선벡터에 대하여 라플라시안 필터(Laplacian filter)를 수행하여 상기 법선벡터의 2차 도함수를 추출하고 상기 2차 도함수에서 제로 크로싱(zero crossing)되는 지점의 에지를 검출하는 라플라시안 필터(Laplacian filter)를 이용한 에지 검출 과정; 및 상기 에지 검출 과정을 통해 검출된 제로 크로싱 지점에서의 순간 변화를 측정하고 측정된 값이 기 설정된 임계값 미만인 경우 제거하는 제로 크로싱 처리 과정;을 포함한다.
또한, 상기 라플라시안 필터를 이용한 에지 검출 과정 이전에, 상기 노말 맵에 포함된 법선벡터에 대하여 가우시안(Gaussian) 분포에 의해 생성된 잡음을 제거하여 이미지를 스무딩(smoothing)시키는 가우시안 블러링(Gaussian blurring) 처리 과정;을 더 포함한다.
상기 라플라시안 필터를 이용한 에지 검출 과정은, 하기 수학식과 같이 2차원 직각 좌표계의 xi에 대하여 2차 편미분 값을 합산한 함수(Δf)를 이용하여 검출할 수 있다.
[수학식]
Figure 112016037586707-pat00001
또한, 상기 함수(Δf)는 상기 노말 맵에 포함된 텍스처에서 이웃하는 그래픽정보를 이용하여 하기 수학식으로 산출 가능하다.
[수학식]
Figure 112016037586707-pat00002
(여기서, A, B, C, D, E, F, G, H, X는 2D 텍스처에서 이웃하는 그래픽정보로, X는 3×3 크기의 픽셀에서 중심 픽셀의 그래픽정보이고, 나머지 A, B, C, D, E, F, G, H는 중심 픽셀과 인접하는 주변 픽셀의 그래픽정보임)
또한, 상기 이미지 공간 기반 접근법을 이용한 라인 추출 과정은, 상기 3D 폴리곤 모델이나 2D 이미지에 포함된 깊이 정보(depths information)를 추출하여 음영 처리된 이미지를 생성하는 과정; 상기 음영 처리된 이미지에서 깊이 불연속 필터(depth discontinuity filter) 처리를 수행하여 깊이 불연속 이미지를 검출하는 과정;을 포함한다.
상기 깊이 불연속 이미지를 검출하는 과정은, 소벨 에지 필터(Sobel edge filter)를 적용하며, 상기 소벨 에지 필터는 3×3 크기의 픽셀 구조일 때 하기 수학식에 의해 산출된다.
[수학식]
Figure 112016037586707-pat00003
(여기서, A, B, C, D, E, F, G, H, X는 2D 텍스처에서 이웃하는 그래픽정보로, X는 3×3 크기의 픽셀에서 중심 픽셀의 그래픽정보이고, 나머지 A, B, C, D, E, F, G, H는 중심 픽셀과 인접하는 주변 픽셀의 그래픽정보임)
한편, 상기 3D 모델의 라인 드로잉 방법에서 상기 오브젝트 공간 기반 접근법을 적용한 라인 추출 과정과, 상기 이미지 공간 기반 접근법을 이용한 라인 추출 과정, 및 상기 드로잉하는 과정은 GPU(Graphical Processing Unit) 상에서 수행되는 것을 특징으로 한다.
본 발명에 따르면, 깊이 불연속 필터에 의해 출력되는 라인과, 오브젝트 공간에서의 법선 벡터를 처리함으로써 출력되는 라인을 결합하여 드로잉함으로써 이전의 단일 방법 대비 모델의 형상을 보다 효과적으로 표현할 수 있다.
특히, 기존 오브젝트 공간 기반 접근법 예컨대, suggestive contours 기법, Apparent Ridges 기법에 의해 출력된 라인에 비해 모델의 형상을 표현하는 데 우수하다.
또한, 본 발명의 이미지 처리는 GPU를 기반으로 병렬 처리함으로써 모델의 폴리곤 수 또는 꼭지점(정점) 수에 따른 복잡성과는 무관하게 독립적인 이미지 처리가 가능하여 처리 속도를 개선한 효과가 있다.
도 1은 본 발명의 실시예에 따른 3D 모델의 라인 드로잉 방법을 설명하기 위한 흐름도이다.
도 2는 도 1의 방법에서 라플라시안 필터 처리를 통한 함수결과값을 나타낸 도면이다.
도 3은 칼럼 3D 모델에 대하여 본 발명의 제안 방법과 기존 단일 방법을 적용한 출력 이미지를 비교하여 나타낸 도면이다.
도 4는 토끼 3D 모델에 대하여 본 발명의 제안 방법과 기존 단일 방법을 적용한 출력 이미지를 비교하여 나타낸 도면이다.
도 5는 본 발명의 제안 방법을 툰 쉐이딩(toon shading) 기법과 조합하여 출력되는 이미지를 보여주는 도면이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
참고로, 본 발명은 3차원 폴리곤 모델로부터 라인 드로잉을 함에 있어서, 그래픽 처리 장치(GPU; Graphic Processing Unit)에서 입력 모델의 깊이 영상(Depth image)과 노말 맵(Normal map)을 이용하여 여러 가지 영상 처리 기법을 통해 에지를 검출하고 연산 속도를 높일 수 있는 구성을 제안한다.
도 1은 본 발명의 실시예에 따른 3D 모델의 라인 드로잉 방법을 설명하기 위한 흐름도이다.
본 발명의 실시예에 따른 3D 모델의 라인 드로잉 방법은, 3D 폴리곤 모델의 표면에서 에지를 검출하여 특징선을 추출하는 오브젝트 공간에서의 접근법(object-space approaches)과, 3D 폴리곤 모델이나 2D 이미지의 화면을 캡쳐하여 깊이 정보에 의한 특징선을 추출하는 이미지 공간에서의 접근법(image-space approaches)을 이용한다.
즉, 3D 폴리곤 모델을 이용한 입력 데이터로부터 이미지 공간 기반 접근법을 이용한 라인 추출 과정(S20)과, 오브젝트 공간 기반 접근법을 이용한 라인 추출 과정(S30)을 병렬로 수행하고, 각 과정(S20, S30)의 출력값을 합성하여 최종 라인을 드로잉하는 과정(S40)을 포함한다.
오브젝트 공간 기반 접근법을 이용한 라인 추출 과정(S30)은 노말 맵(normal map)을 생성하는 과정(S31)과, 가우시안 블러링 처리 과정(S32), 라플라시안 필터를 이용한 에지 검출 과정(S33), 제로 크로싱하는 과정(S34), 최종적으로 라플라스 윤곽을 출력하는 과정(S35)을 포함한다. 이러한 과정을 거쳐 오브젝트 공간 기반 접근법을 이용한 라인 추출 과정(S30)은, 미세한 표면 디테일을 전달하는 데 효과적인 얇은 선(line)을 생성한다. 즉, 타겟 모델의 형태를 표현하는 데에 충분한 특징선을 추출할 수 있다. 다시 말해, 타겟 모델의 윤곽을 표현하는 데 비교적 정확하지만, 노말 맵에서 의존하는 법선벡터가 타겟 모델의 윤곽이 갑작스럽게 변경되는 영역에는 정확하게 나타나지 않는다. 따라서, 이미지 공간 기반 접근법을 이용하여 보완한다.
이미지 공간 기반 접근법을 이용한 라인 추출 과정(S20)은 깊이 이미지를 생성하는 과정(S21)과, 깊이 불연속 필터를 수행하는 과정(S22), 깊이 불연속값에 기초하여 깊이 불연속 이미지를 출력하는 과정(S23)을 포함한다. 깊이 불연속 필터는 타겟 형상의 전체 실루엣을 드러내는 굵은 아웃라인(outline)을 생성한다.
본 발명의 실시예에서, 이미지 공간 기반 접근법을 이용한 라인 추출 과정(S20)은 음영 처리된 이미지에서 그라데이션(gradation) 정보를 이용하여 라인을 찾는 알고리즘으로, GPU(Graphic Processing Unit) 기반 알고리즘을 제안한다. 즉, G 버퍼(G-buffer)라는 텍스쳐(texture)에 3D 폴리곤 모델의 기하학 정보를 추출해서 사용하는 방법을 제안하며, 에지 검출, 패턴 인식 등 모든 처리를 G버퍼를 통해 실행한다. 이를 위한 본 발명의 3D 모델의 라인 드로잉 방법을 적용한 이미지 처리 장치(그래픽 가속기)는 메인 메모리와 GPU 메모리(G버퍼)간의 데이터 교환과, GPU에서의 처리, CPU(Computer Processing Unit)에서의 명령을 통해 데이터 처리가 이루어진다. GPU 메모리로 데이터를 복사하고 GPU를 이용해 연산을 끝내고 다시 GPU 메모리에서 메인 메모리로 데이터를 전달하는 방식이기 때문에, CPU(Computer Processing Unit)와 GPU를 모두 이용하지만 GPU에 치중되어 동작한다. 따라서, 본 발명의 라인 드로잉하기 위한 대부분의 처리는 GPU를 기반으로 처리되므로 대용량의 데이터 연산이 요구되는 이미지 처리 시간을 줄이고 연속 속도를 단축시킬 수 있다.
그럼 이하에서는 각 과정에 대하여 구체적으로 설명한다.
오브젝트 공간 기반 접근법은 이미지로부터 선의 형태가 명확하게 분리될 수 있다는 장점이 있다. 오브젝트 공간 기반 접근법에는 Apparent ridge 알고리즘과 suggestive contours 알고리즘이 대표적이다. Apparent ridge 알고리즘은 뷰 종속 곡률이 최대화되는 지점에서 특징선을 추출하여 시점에 따라 알맞은 특징선을 찾아 자연스러운 특징선을 보여주는 기법이다. 이는 각 시점에 대해 재계산되는 뷰 종속 곡률과 이 곡률의 도함수에 의존한다. 그러나, Apparent ridge 알고리즘은 모델의 표면에서 직접 특징선을 추출하여 그려주는 기법이 아니라 보는 방향에 대해 의존하는 기법이기 때문에 뷰가 변경되면 재계산을 통해 특징선을 추출해야 한다. suggestive contours 알고리즘은 3D 폴리곤 모델의 contours과 함께 그려져 모델의 윤곽을 표현하는 데 부족한 점을 보완하고 뷰 포인트에 따라 표면에 명확하게 그려지는 선을 통해 모델의 특징선을 묘사하는 기법이다. 따라서, suggestive contours은 3D 폴리곤 모델의 contours 근처에 생성된다.
본 발명의 실시예에서는 오브젝트 공간 기반 접근법으로 라플라시안 필터(Laplacian filter)를 이용한 알고리즘을 적용한다. 즉, 3D 폴리곤 모델의 정점으로부터 법선벡터를 추출하고 상기 법선벡터를 텍스처에 렌더링하여 상기 법선벡터의 방향도함수를 기반으로 오브젝트 공간(object-space)에서의 에지를 검출한다. 여기서, 라플라시안 필터는 법선벡터의 2차 도함수를 기반으로 에지를 검출하는 것이다.
먼저 노말 맵(normal map)을 생성하는 과정(S31)은, 3D 폴리곤 모델의 정점으로부터 법선벡터(normal vectors)를 보간(interpolation)하고 법선벡터를 텍스처에 렌더링함으로써, 3D 모델의 폴리곤에 두드러진 요철이나 세밀한 모양을 묘사한다. 이러한 과정은 폴리곤의 수를 줄이고 세밀한 요철을 표현하기 위한 과정으로 볼 수 있다.
가우시안 블러링(Gaussian blurring) 처리 과정(S32)은, 영상을 흐리게 하는 것으로 3D 모델의 사소한 부분을 제거함으로써 영상을 스무딩(smoothing)하게 한 블러드된 노말 맵을 생성한다. 특히, 가우시안 블러링은 정규분포, 확률분포에 의해 생성된 영상 스펙트럼에서 돌출 부분(잡음)을 제거한다.
라플라시안 필터를 이용한 에지 검출 과정(S33)은 라플라시안 필터를 이용하여 오브젝트 기반의 특징선과 형태를 묘사할 수 있는 특징선을 검출한다.
라플라시안 필터는 방향성에 관계없이 이미지의 모든 에지를 강조한 전 방향에 대하여 동작한다. 라플라시안 필터는 노이즈에 민감한 단점이 있는데 이를 이전 가우시안 블러링 처리 과정(S32)을 통해 보완한다.
라플라시안 필터를 통한 연산자는 기울기 차이로 정의된 n차원 유클리드 공간에서 2차 미분 연산자로서 아래 수학식으로 표현된다.
[수학식]
Figure 112016037586707-pat00004
(Δf는 라플라시안 함수임)
위 수학식을 등가적으로 해석해보면, 라플라시안 함수f는 직각 좌표계의 xi에 대하여 2차 편미분 값의 합이 된다.
예컨대, 도 2는 라플라시안을 이용한 에지 검출한 함수값을 나타내고 있다. 도 2의 (a)는 원 함수이고, (b)는 1차 편미분 함수이며, (c)는 2차 편미분 함수로 라플라시안 함수를 나타내고 있다. (a)의 함수에서 급격하게 상승하는 에지점과 급격하게 하강하는 에지점은 (b)의 함수에서 최대점 및 최소점과 대응되고, (c)의 2차 편미분 함수에서는 제로 크로싱(zero-crossing) 지점과 대응된다.
이처럼, 라플라시안 필터를 이용한 에지 검출은 노말 맵에 포함된 법선벡터에 대하여 라플라시안 필터(Laplacian filter)를 수행하여 2차 도함수(편미분 함수)에서 제로 크로싱 지점을 찾는 것으로 에지를 검출한다. 이는 제로 크로싱 포인트에 특징선이 위치한다는 개념을 기반으로 한 것이다.
따라서, 2차원 평면에서 라플라시안 알고리즘을 이용한 이미지 기반 에지 검출은 아래 수학식에 의해 수행된다.
[수학식]
Figure 112016037586707-pat00005
또한, 노말 맵에 저장되는 이산 데이터(discrete data)에 따르면, 라플라시안 함수f는 아래 수학식과 같은 방정식으로 산출될 수 있다.
[수학식]
Figure 112016037586707-pat00006
여기서, A, B, C, D, E, F, G, H, X는 아래와 같이 노말 맵의 2D 텍스처에서 이웃하는 그래픽정보를 나타낸다. X는 3×3 픽셀에서 중심 픽셀의 그래픽정보이고, 나머지 A, B, C, D, E, F, G, H는 중심 픽셀과 인접하는 주변 픽셀의 그래픽정보다. 3×3 크기의 픽셀 구조는 일 예로서 이에 한정되는 것은 아니며, 5×5 또는 7×7 크기의 픽셀 구조도 적용할 수 있다.
Figure 112016037586707-pat00007
제로 크로싱하는 과정(S34)은 라플라시안 함수에서 임계값(t)를 적용하여 그라데이션 화상으로부터 직접 에지를 추출한다. 예컨대, 도 4의 (b)에 임의 임계값 t가 도시되어 있다. 라플라시안 알고리즘을 통해 생성된 에지는 매우 두껍고 시각적으로 만족스럽지 못할 수 있는데, 제로 크로싱은 우리가 요구하는 에지뿐만 아니라, 무의미한 에지 또는 노이즈가 함께 포함될 수 있다. 따라서, 최종 이미지와 가까운 에지를 찾기 위해 이전 라플라시안 필터를 이용한 에지 검출 과정을 통해 검출된 제로 크로싱 지점에서의 순간 변화를 측정하고 (b)와 같이 기 설정된 임계값 t 미만인 값을 갖는 지점들은 제거한다.
라플라스 윤곽(Laplace contours)을 출력하는 과정(S35)은, 모델의 내부 특징선을 비롯해 외부선까지 표현하여 타겟 모델의 형태를 묘사하는 데 충분한 특징선을 추출하게 된다.
다음, 이미지 공간 기반 접근법을 이용한 라인 추출 과정(S20)에 대하여 설명한다.
이미지 공간 기반 접근법은 음영 처리된 이미지의 톤 경계나 어두운 부분을 따라 라인을 렌더링하는 GPU 기반의 알고리즘을 적용한 것이다. 여기서 제안된 방법은 G버퍼에 담긴 텍스처로부터 이미지의 깊이 정보 및 법선 정보를 추출하여 이로부터 라인을 추출한다. 이러한 기법은 캐릭터 애니메이션, 게임, 영화, CF등 다방면에서 적용되고 있다.
구체적으로 깊이 이미지를 생성하는 과정(S21)은, 2D 텍스처에 포함된 깊이 정보(depths information)를 추출하여 음영 처리된 이미지를 생성한다.
깊이 불연속 필터를 수행하는 과정(S22)은 라인을 정리하는 데 사용된다.
여기서, 깊이 불연속 필터(depth discontinuity filter)는 음영 처리된 이미지에서 앞서 예시한 이웃 그래픽정보를 기초로 커널 매핑(kernel mapping)을 이용한 소벨 에지 필터(Sobel edge filter)를 적용한다. 이 필터는 3×3 크기의 픽셀 구조일 때 하기 수학식에 의해 산출된다.
[수학식]
Figure 112016037586707-pat00008
깊이 불연속 필터는 도 5에 도시한 것처럼 코믹책 스타일이나 카툰 스타일 3D 애니메이션을 제작하는 데에 기여할 수 있는 굵은 윤곽선(outline)을 생성한다.
따라서, 깊이 불연속 필터를 통해 출력되는 깊이 불연속값에 기초하여 깊이 불연속 이미지를 출력하는 과정(S23)에서는 타겟 형상의 전체 실루엣을 나타낸 굵은 외곽선을 출력하게 된다.
최종 S40 단계에서는, 깊이 불연속 이미지를 출력하는 과정(S23)을 통해 출력된 깊이 불연속 이미지와 라플라스 윤곽을 출력하는 과정(S34)을 통해 출력되는 라플라스 윤곽을 합성하여 최종 라인(line)을 출력한다.
이상의 본 발명의 실시예에 따른 3D 모델의 고속 라인 드로잉 방법에 따르면, 깊이 불연속 필터에 의해 출력되는 라인과, 오브젝트 공간에서의 법선 벡터를 처리함으로써 출력되는 라인을 결합하여 드로잉함으로써 이전의 단일 방법 대비 모델의 형상을 보다 효과적으로 표현할 수 있다.
도 3 내지 도 4는 본 발명에서 제안하는 방법으로 라인 드로잉한 이미지를 다른 단일 방법과 비교하여 나타낸 도면이다.
참고로, 도 3 내지 도 4는 다음과 같은 환경에서 실험하였다.
메인 메모리가 16기가바이트(GB)이고, 그래픽 카드는 'GForce GTX 970' 가 장착되며 3.40 GHz에서 실행되는 CPU(인텔코어 i7-3770)를 기반으로 동작하는 윈도우 환경의 컴퓨터에서 수행하였다.
도 3 및 도 4에서, 본 발명의 제안 방법에 의해 출력된 이미지는 기존 오브젝트 공간 기반 접근법에 의해 출력된 이미지들보다 우수한 것을 보여주고 있다.
공통적으로, (a)는 원본 3D 폴리곤 모델이고, (b)는 본 발명의 제안 방법에 의해 출력된 이미지, (c)는 기존 오브젝트 공간 기반 접근법 중 Apparent Ridges 방법에 의해 출력된 이미지, (d)는 기존 오브젝트 공간 기반 접근법 중 suggestive contours 방법에 의해 출력된 이미지이다.
도 3의 기둥 모델에서 박스로 표시한 영역을 확대해 보면, 기둥의 상측 부분은 비교적 본 발명의 제안 방법이나 기존 단일 방법에 의해 출력되는 라인이 짧고 간섭 라인이 적어 기둥의 형상을 디테일하게 표현하였다. 그러나, Apparent Ridges 방법은 기둥의 하측 부분에서 특징선을 못 찾는 단점을 보여주고 있다.
도 4의 토끼 모델에서 본 발명의 제안 방법에 의한 라인은 토끼의 형상은 물론, 토끼의 얼굴과 몸에 있는 모피를 효과적으로 표현하고 있다. 그러나, 기존 단일 방법에 의한 라인은 간섭 라인이 많이 발생되어 토끼의 형상을 표현하는 데 가시화 품질이 떨어진다.
본 발명의 제안 방법에 따르면 처리 시간(FPS)은 3D 모델의 폴리곤 수 또는 꼭지점(정점) 수와 관계없이 대략 122(FPS)에서 160(FPS) 범위내에서 유지된다. 반면, suggestive contours 방법에 따른 처리 시간은 43(FPS)에서 2.7(FPS), Apparent Ridges 방법에 따른 처리 시간은 22(FPS)에서 1(FPS)까지 폴리곤 수 또는 꼭지점 수에 따라 차이가 많이 나타남을 알 수 있다. 즉, 3D 모델의 복잡성에 따라 처리 시간이 다르게 나타난다.
따라서, 본 발명의 실시예에 따른 제안 방법은 모델의 복잡성과는 관계없이 독립적으로 뛰어난 처리 속도를 갖는다. 이는 CPU와 GPU 구성을 결합하여 병렬 처리함으로써 속도를 개선하였다.
도 5는 본 발명의 제안 방법을 툰 쉐이딩(toon shading) 기법과 조합하여 출력되는 이미지를 보여주는 도면이다.
참고로, 본 발명의 제안 방법을 기존 비사실적인 렌더링 방식 중 하나인 툰 쉐이딩 기법과 접목해 보았다. 툰 쉐이딩 기법은 음영(shade)를 단계별로 표현하는 기법으로 광원과 오브젝트의 표면의 관계에 따라 음영 정도를 다르게 처리한다.
두 기법을 접목한 결과, 도 5에 도시한 것처럼 정확한 특징선 추출로 나타나는 윤곽선에 텍스쳐, 조명 등에 따른 음영을 가미하여 3D 폴리곤 모델을 더 풍부하게 표현할 수 있다. 이로써 사실적 렌더링 효과 뿐만 아니라, 비사실적 렌더링(Non-Photorealistic Rendering; NPR) 효과를 나타내는 분야에 광범위하게 적용할 수 있다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시예들은 아래의 특허청구범위에 의해 해석 되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

Claims (9)

  1. 3D 폴리곤 모델의 정점으로부터 법선벡터(normal vectors)를 추출하고 상기 법선벡터를 텍스처(texture)에 렌더링하여 상기 법선벡터의 방향도함수를 기반으로 오브젝트 공간(object-space)에서의 에지를 검출하는 오브젝트 공간 기반 접근법(object-space approaches)을 적용한 라인 추출 과정;
    상기 3D 폴리곤 모델이나 2D 이미지의 화면을 캡쳐하여 깊이(depth) 정보에 의한 특징선을 추출하는 이미지 공간 기반 접근법(image-space approaches)을 이용한 라인 추출 과정; 및
    상기 오브젝트 공간 기반 접근법을 적용한 라인 추출 과정을 통해 출력되는 라인과 상기 이미지 공간 기반 접근법을 이용한 라인 추출 과정을 통해 출력되는 라인을 결합하여 드로잉하는 과정;
    을 포함하고,
    상기 오브젝트 공간 기반 접근을 적용한 라인 추출 과정은,
    상기 3D 폴리곤 모델의 정점으로부터 법선벡터(normal vectors)를 보간(interpolation)하고 상기 법선벡터를 텍스처에 렌더링하여 노말 맵(normal map)을 생성하는 과정;
    상기 노말 맵에 포함된 법선벡터에 대하여 라플라시안 필터(Laplacian filter)를 수행하여 상기 법선벡터의 2차 도함수를 추출하고 상기 2차 도함수에서 제로 크로싱(zero crossing)되는 지점의 에지를 검출하는 라플라시안 필터(Laplacian filter)를 이용한 에지 검출 과정; 및
    상기 에지 검출 과정을 통해 검출된 제로 크로싱 지점에서의 순간 변화를 측정하고 측정된 값이 기 설정된 임계값 미만인 경우 제거하는 제로 크로싱 처리 과정;
    을 포함하는 3D 모델의 라인 드로잉 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 라플라시안 필터를 이용한 에지 검출 과정 이전에,
    상기 노말 맵에 포함된 법선벡터에 대하여 가우시안(Gaussian) 분포에 의해 생성된 잡음을 제거하여 이미지를 스무딩(smoothing)시키는 가우시안 블러링(Gaussian blurring) 처리 과정;
    을 더 포함하는 것을 특징하는 3D 모델의 라인 드로잉 방법.
  4. 제1항에 있어서,
    상기 라플라시안 필터를 이용한 에지 검출 과정은,
    하기 수학식과 같이 2차원 직각 좌표계의 xi에 대하여 2차 편미분 값을 합산한 함수(Δf)를 이용하여 검출하는 것을 특징으로 하는 3D 모델의 라인 드로잉 방법.
    [수학식]
    Figure 112016123581663-pat00009

    (여기서, f는 라플라시안 함수임.)
  5. 제4항에 있어서,
    상기 함수(Δf)는
    상기 노말 맵에 포함된 텍스처에서 이웃하는 그래픽정보를 이용하여 하기 수학식으로 산출 가능한 것을 특징으로 하는 3D 모델의 라인 드로잉 방법.
    [수학식]
    Figure 112016037586707-pat00010

    (여기서, A, B, C, D, E, F, G, H, X는 2D 텍스처에서 이웃하는 그래픽정보로, X는 3×3 크기의 픽셀에서 중심 픽셀의 그래픽정보이고, 나머지 A, B, C, D, E, F, G, H는 중심 픽셀과 인접하는 주변 픽셀의 그래픽정보임)
  6. 제1항에 있어서,
    상기 이미지 공간 기반 접근법을 이용한 라인 추출 과정은,
    상기 3D 폴리곤 모델이나 2D 이미지에 포함된 깊이 정보(depths information)를 추출하여 음영 처리된 이미지를 생성하는 과정;
    상기 음영 처리된 이미지에서 깊이 불연속 필터(depth discontinuity filter) 처리를 수행하여 깊이 불연속 이미지를 검출하는 과정;
    을 포함하는 것을 특징으로 하는 3D 모델의 라인 드로잉 방법.
  7. 제6항에 있어서,
    상기 깊이 불연속 이미지를 검출하는 과정은,
    소벨 에지 필터(Sobel edge filter)를 적용하며, 상기 소벨 에지 필터는 3×3 크기의 픽셀 구조일 때 하기 수학식에 의해 산출되는 것을 특징으로 하는 3D 모델의 라인 드로잉 방법.
    [수학식]
    Figure 112016123581663-pat00011

    (여기서, A, B, C, D, E, F, G, H는 2D 텍스처에서 이웃하는 그래픽정보로, 중심 픽셀과 인접하는 주변 픽셀의 그래픽정보임)
  8. 제1항에 있어서,
    상기 오브젝트 공간 기반 접근법을 적용한 라인 추출 과정과, 상기 이미지 공간 기반 접근법을 이용한 라인 추출 과정, 및 상기 드로잉하는 과정은 GPU(Graphical Processing Unit) 상에서 수행되는 것을 특징으로 하는 3D 모델의 라인 드로잉 방법.
  9. 제1항, 제3항 내지 제8항 중 어느 한 항에 의한 방법을 실행하기 위한 컴퓨터 판독이 가능한 프로그램이 기록된 컴퓨터 판독가능 기록매체.
KR1020160047712A 2016-04-19 2016-04-19 그래픽 가속기에 기반한 3d 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체 KR101715266B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160047712A KR101715266B1 (ko) 2016-04-19 2016-04-19 그래픽 가속기에 기반한 3d 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160047712A KR101715266B1 (ko) 2016-04-19 2016-04-19 그래픽 가속기에 기반한 3d 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
KR101715266B1 true KR101715266B1 (ko) 2017-03-14

Family

ID=58459850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160047712A KR101715266B1 (ko) 2016-04-19 2016-04-19 그래픽 가속기에 기반한 3d 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체

Country Status (1)

Country Link
KR (1) KR101715266B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331952B1 (ko) * 2021-07-16 2021-12-01 주식회사 카펜스트리트 3차원 데이터의 뷰포트에 따른 2차원렌더링장치 및 그 방법
CN117437340A (zh) * 2023-11-13 2024-01-23 北京石境科技有限公司 一种工厂设备模型批量渲染方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080050284A (ko) * 2006-12-02 2008-06-05 한국전자통신연구원 캐릭터 애니메이션 시 피부의 주름 실시간 표현 방법 및장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080050284A (ko) * 2006-12-02 2008-06-05 한국전자통신연구원 캐릭터 애니메이션 시 피부의 주름 실시간 표현 방법 및장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Apparent relief: a shape descriptor for stylized shading, NPAR '08: Proceedings of the 6th international symposium on Non-photorealistic animation and rendering(2008)* *
Edge Detection on Polynomial Texture Maps, Image Analysis and Processing ICIAP 2013, Volume 8156 of the series Lecture Notes in Computer Science(2013)* *
Non-Photorealistic Rendering with Pixel and Vertex Shaders, In Direct3D ShaderX, Wordware(2002)* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331952B1 (ko) * 2021-07-16 2021-12-01 주식회사 카펜스트리트 3차원 데이터의 뷰포트에 따른 2차원렌더링장치 및 그 방법
CN117437340A (zh) * 2023-11-13 2024-01-23 北京石境科技有限公司 一种工厂设备模型批量渲染方法和系统

Similar Documents

Publication Publication Date Title
Liu et al. Guided inpainting and filtering for kinect depth maps
Gong et al. Guided depth enhancement via a fast marching method
Lindner et al. Sub-pixel data fusion and edge-enhanced distance refinement for 2d/3d images
KR101060322B1 (ko) 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US10347052B2 (en) Color-based geometric feature enhancement for 3D models
CN102930576A (zh) 一种基于特征流的抽象线条画生成方法
CN111681198A (zh) 一种形态学属性滤波多模融合成像方法、系统及介质
CN108446694A (zh) 一种目标检测方法及装置
WO2012100225A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
Zhang et al. Point Cloud Denoising With Principal Component Analysis and a Novel Bilateral Filter.
Schall et al. Adaptive feature-preserving non-local denoising of static and time-varying range data
Wilson et al. Rendering complexity in computer-generated pen-and-ink illustrations
KR101715266B1 (ko) 그래픽 가속기에 기반한 3d 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체
Wang et al. Real-time coherent stylization for augmented reality
Schall et al. Feature-preserving non-local denoising of static and time-varying range data
Zhao et al. Real-time saliency-aware video abstraction
Mao et al. SUSAN structure preserving filtering for mesh denoising
Semmo et al. Image filtering for interactive level-of-abstraction visualization of 3D scenes
JP7120740B2 (ja) 適応的デプスガイドノンフォトリアリスティックレンダリング方法、対応するコンピュータプログラム製品、コンピュータ読取可能搬送媒体及びデバイス
Kim et al. Automated hedcut illustration using isophotes
Fidaner A survey on variational image inpainting, texture synthesis and image completion
JP2007128467A (ja) 特徴稜線認識型メッシュスムージング手法
CN111932566A (zh) 一种模型轮廓图生成方法、装置和系统
Liu et al. Semi-global depth from focus
Kluckner et al. Exploiting redundancy for aerial image fusion using convex optimization

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 4