KR100900824B1

KR100900824B1 - 스케치 기반 3차원 모델 생성 장치 및 방법

Info

Publication number: KR100900824B1
Application number: KR1020070094684A
Authority: KR
Inventors: 천상욱; 한순흥
Original assignee: 한국전자통신연구원
Priority date: 2007-09-18
Filing date: 2007-09-18
Publication date: 2009-06-04
Also published as: KR20090029447A

Abstract

손으로 그린 입력 스케치로부터 3차원 모델을 자동으로 생성하는 스케치 기반 3차원 모델 생성 장치 및 방법이 개시된다. 입력 스케치로부터 생성된 스케치 에지 그래프에, 미리 정의되어 있는 템플릿 에지 그래프를 매칭시켜, 레이블된 스케치 에지 그래프를 생성한다. 레이블된 스케치 에지 그래프로부터 3차원 모델이 생성된다. 스케치 에지 그래프를 구성하는 각 스케치 에지와 템플릿 에지 그래프를 구성하는 각 템플릿 에지는, 그것에 인접하는 다른 에지와의 관계를 포함하는 특징 벡터에 의해 정의된다. 각 에지의 특징 벡터의 요소에는, 인접하는 다른 에지의 개수와, 인접하는 다른 에지와의 상대 각도 등이 포함된다. 따라서 본 발명에 따르면, 스케치의 회전이나 축척 변경에 무관하게 정확한 템플릿 매칭이 실현된다. 또한, 본 발명은, 서로 다른 뷰에서 본 2개 이상의 입력 스케치로부터 생성된 각각의 3차원 곡선을 합성하는 기법을 제공한다. 따라서 본 발명에 따르면, 모든 뷰에서의 스케치가 입력 시에 특정되어 있기 때문에, 최종적인 3차원 모델에 대하여 추가적인 스케치 작업을 할 필요가 없다.

Description

스케치 기반 3차원 모델 생성 장치 및 방법{SKETCH BASED 3D MODEL CREATING APPARATUS AND METHOD}

본 발명은, 손으로 그린 스케치로부터 3차원 모델을 생성하는 장치 및 방법에 관한 것으로서, 특히 손으로 그린 스케치에 대한 템플릿 매칭을 통해 3차원 모델을 생성하는 장치 및 방법에 관한 것이다.

본 발명은 정보통신부의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-026-02, 과제명: 능동형 서비스를 위한 URC 서버 프레임웍 개발].

3차원 곡선을 2차원 평면에 투영하는 것은 간단하지만, 2차원 곡선을 3차원 공간에 투영하여 얻어질 수 있는 3차원 곡선은 수학적으로 무한개이다. 즉, 2차원 곡선은 깊이 정보를 갖고 있지 않기 때문에, 3차원 공간에서 어떤 모습으로 나타날 지 정확하게 예측할 수 없다.

투영된 2차원 모델을 해석해서 3차원 모델을 생성하는 연구는 오랫동안 설계자들의 관심사였다. 지난 30년간, CAD (Computer Aided Design) 분야에서의 이러한 연구는, 2차원 도면에서 3차원 솔리드 모델을 생성하는 연구와, 스케치에서 3차원 모델을 생성하는 연구의 두 가지 갈래로 진행되어 왔다.

첫째, 2차원 도면에서 3차원 솔리드 모델을 생성하는 연구는, 산업 현장에서 2차원 CAD 시스템 대신에 3차원 CAD 시스템이 주로 사용되기 시작한 1980년대부터 실질적으로 시작되었다. 2차원 도면에 있는 여러 개의 투영도 및 단면도로부터 3차원 모델을 생성하는 이 연구는 많은 발전을 이루었지만, 도면에 존재하는 복잡한 요소로 인해 완전히 자동화되지는 못했다. 그러나 현재는 설계 데이터를 3차원 모델의 형태로 저장함에 따라, 2차원 도면에서 3차원 솔리드 모델을 생성하는 연구의 필요성은 줄어들고 있다.

둘째, 스케치에서 3차원 모델을 생성하는 연구는, CAD/CAPP(Computer Aided Process Planning)/CAM(Computer Aided Manufacturing)/CNC(Computer Numerical Control) 연결망의 자동화 및 통합화의 필요성이 중요한 과제였던, 1990년대부터 주목받기 시작했다. 그러나, CAD/CAPP/CAM 시스템의 통합이 먼저 이루어졌고, STEP-NC의 등장으로 CAPP/CAM/CNC의 통합에 대한 발판도 마련되었지만, 아직까지 개념 설계 단계 또는 스타일 디자인 단계의 스케치가 상업용 CAD 시스템에 통합되지는 못하고 있다.

CAD 시스템의 보편화에도 불구하고, 초기 개념 설계의 단계에서는 전통적인 스케칭이 더욱 효율적이다. 그 이유는, CAD 시스템은, 디자인 아이디어를 빠르게 표현하기에는 너무 복잡해서 디자이너의 창의성 발휘를 방해할 뿐만 아니라, 개념 설계 단계에서는 CAD 시스템의 요구 조건을 만족시킬 수 없을 정도의 개략적인 아 이디어만 존재하기 때문이다. 따라서 스케치를 통해 디자인 아이디어를 구체화시키는 것이, CAD 시스템을 이용하는 것보다, 빠르고 간편하다. 또한, 스케치 형태의 렌더링은, CAD 시스템에 의한 기계적인 렌더링보다, 디자이너의 창의성에 심리적으로 더 많은 영향을 미치며, 따라서 디자인의 동기 유발에 더 효과적이다.

개념 설계에 대한 CAD 시스템의 이러한 한계를 보완하고, 개념 설계의 장점을 CAD 시스템에 통합하기 위하여, 손으로 그린 스케치에서 3차원 모델을 자동으로 생성하는 연구가 이루어져 왔다. 그런데, 스케치에는 깊이 정보가 없기 때문에, 디자이너의 의도를 이해하고, 스케치를 해석하여 3차원 모델을 생성하는 것은 어려운 일이다. 이러한 어려움을 덜기 위하여, '템플릿 매칭'을 이용한 3차원 모델 생성 기법이 연구되고 있다. '템플릿'이란, 3차원 곡면을 생성하는 데 기준이 되는 형상 또는 패턴을 일컫는다. 템플릿에 대응하는, 스케치의 부분에 대해 3차원 곡면을 생성한다. '템플릿 매칭'이란, 템플릿을 스케치의 대응 부분들에 할당하는 작업이다.

아래의 '논문 1'은, 템플릿 매칭을 통해 스케치로부터 6면체의 3차원 모델을 생성하는 기술을 개시하고 있다. 이 기술은, 6면체 형상이 주류를 이루는 전자 제품의 스케치에 주로 적용될 수 있다.

[논문 1]

Mitani J., Suzuki H., Kimura F., 3D Sketch: Sketch-based model reconstruction and rendering, IFIP workshop Series on "Geometric Modeling: Fundamentals and Applications" Organized by the IFIP Working Group 5.2, Seventh Workshop GEO-7, University of Parma, Parma, Italy, October 2-4, pp.85-112, 2000.

아래의 '논문 2'는, 3차원 모델링의 주요 대상이 되는 객체 템플릿(예를 들어, 컵의 몸통)과 거기에 부속되는 부속 템플릿(예를 들어, 컵의 몸통에 붙는 손잡이)을 이용한 템플릿 매칭을 통해 '평면 스케치'로부터 3차원 모델을 생성하는 기술을 개시하고 있다. '평면 스케치'는, 평면도, 단면도와 같이 평면적인 형상을 도시한 스케치를 말하며, 입체적인 형상을 도시한 투시도 등의 스케치는 여기에서 말하는 '평면 스케치'에 해당하지 않는다. 이 기술은 '평면 스케치'를 축대칭의 원통 형상이 투영된 것이라고 가정하여 3차원 모델을 생성하기 때문에, 원통형의 물건(컵, 물고기, 비행기 등)에 대한 평면 스케치에 적용된다.

[논문 2]

Yang C., Sharon D., Panne M., Sketch-based modeling of parameterized objects, 2nd Eurographics Workshop on Sketch-Based Interfaces and Modeling, 2005.

상기 '논문 1'에 개시된 종래 기술은, 6면체 형상의 스케치에 대해서만 적용될 수 있고, 또한 뒷면과 밑면이 평면이라는 제한이 따르기 때문에, 다양한 형상 또는 위상 구조의 스케치에 대해서는 적용할 수 없는 한계가 있다.

상기 '논문 2'에 개시된 종래 기술은, '평면 스케치'를 축대칭의 원통 형상 이 투영된 것이라고 가정하여 3차원 모델을 생성하기 때문에, 원통형의 물건(컵, 물고기, 비행기 등)에 대한 평면 스케치에만 적용되고 그 밖의 다양한 입체 형상 또는 입체 위상 구조의 스케치에 대해서는 적용될 수 없는 한계가 있다. 또한, 이 기술은, 스케치와 템플릿의 서로 대응하는 점 및 곡선을 비교하여 템플릿 매칭을 수행하기 때문에, 스케치를 회전시키거나 스케치의 축척(scale)을 변경하면 템플릿 매칭이 불가능해지는 한계가 있다.

또한, 스케치로부터 3차원 모델을 생성하는 종래의 기술은, 단일한 뷰에서의 입체 스케치를 대상으로 하기 때문에, 해당 뷰에서 보이지 않는 부분의 디자인을 입체 스케치의 입력 시에 특정할 수 없는 한계가 있다.

본 발명은 이와 같은 종래기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 다양한 입체 형상 및 다양한 입체 위상 구조의 스케치에 대한 템플릿 매칭 기법을 제공하는 것이다.

본 발명의 다른 목적은, 스케치에 대한 회전이나 축척 변경에 대해서도 정확한 템플릿 매칭을 수행할 수 있는 템플릿 매칭 기법을 제공하는 것이다.

본 발명의 또 다른 목적은, 동일한 객체에 대한 서로 다른 뷰에서의 2개 이상의 스케치에 대한 각각의 3차원 곡선을 합성하여 하나의 3차원 곡선을 생성하는 기법을 제공하는 것이다.

상기와 같은 목적을 달성하기 위해, 본 발명은, 손으로 그린 입력 스케치로 부터 3차원 모델을 자동으로 생성하는 스케치 기반 3차원 모델 생성 장치로서, 상기 입력 스케치로부터 스케치 에지 그래프를 생성하는 스케치 에지 그래프 생성기로서, 상기 스케치 에지 그래프를 구성하는 각 스케치 에지는 그것에 인접하는 다른 스케치 에지에 대한 관계를 벡터 요소로서 포함하는 스케치 에지 특징 벡터에 의해 정의되는 것인, 스케치 에지 그래프 생성기와, 상기 스케치 에지 그래프에, 미리 정의되어 있는 템플릿 에지 그래프를 매칭시켜, 레이블된 스케치 에지 그래프를 생성하는 템플릿 매칭기로서, 상기 템플릿 에지 그래프를 구성하는 각 템플릿 에지는 그것에 인접하는 다른 템플릿 에지에 대한 관계를 벡터 요소로서 포함하는 템플릿 에지 특징 벡터에 의해 정의되는 것이며, 상기 레이블된 스케치 에지 그래프는, 상기 템플릿 에지 특징 벡터와 가장 유사도가 높은 스케치 에지 특징 벡터를 갖는 스케치 에지로 구성되는 것인, 템플릿 매칭기와, 상기 레이블된 스케치 에지 그래프에 제한 조건을 적용하여 3차원 모델을 생성하는 3차원 모델 생성기를 포함하는, 스케치 기반 3차원 모델 생성 장치 및 그 방법을 제공한다.

또한, 상기와 같은 목적을 달성하기 위해, 본 발명은, 상기 방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

본 발명에서, 상기 입력 스케치는, 상기 중심 곡선과 그 밖의 스트로크로 구분되어 입력되고, 상기 스케치 에지 그래프는 상기 중심 곡선으로부터 생성될 수 있다. 따라서, 본 발명에 따르면, 스케치 에지 그래프의 생성에 불필요한 스트로크를 사전에 걸러내기 때문에, 스케치 에지 그래프의 생성 및 후속의 템플릿 매칭이 신속하게 진행될 수 있다.

본 발명에서, 상기 관계는, 상기 각 에지에 대한 상기 다른 에지의 상대 각도를 포함할 수 있다. 따라서, 본 발명에 따르면, 스케치가 회전 및 축척 변경이 되더라도, 각 에지의 상대 각도가 변하지 않기 때문에, 회전 및 축적 변경에 무관한 템플릿 매칭이 가능하다. 상기 관계는, 상기 각 에지에 인접하는 다른 에지의 개수 등을 더 포함할 수도 있다.

본 발명에서, 상기 특징 벡터는 각 에지의 시작 정점에서의 벡터 요소와 끝 정점에서의 벡터 요소로 구성되며, 상기 시작 정점과 상기 끝 정점을 구분하지 않고 상기 유사도를 계산할 수 있다. 따라서, 본 발명에 따르면, 스케치 에지의 시작 정점과 끝 정점이, 대응하는 템플릿 에지의 끝 정점과 시작 정점에 각각 대응하는 경우에도, 정확한 템플릿 매칭이 보장된다.

본 발명에서, 상기 제한 조건은 평면 대칭 관계를 포함할 수 있으며, 상기 평면 대칭 관계는, 2개의 2차원 점이 3차원에서 한 평면에 대칭인 관계이다. 따라서, 본 발명에 따르면, 2차원 곡선에 대한 3차원 곡선의 유일해가 보장된다.

본 발명에서, 상기 3차원 모델 생성기는, 상기 제한 조건을 적용하여 상기 레이블된 스케치 에지 그래프로부터 3차원 곡선을 생성하고, 이어서 상기 3차원 곡선으로부터 3차원 곡면을 생성하며, 이어서 상기 3차원 곡면에 상기 입력 스케치의 스트로크를 매핑한다. 따라서, 본 발명에 따르면, 완전한 형태의 스케치 스타일의 3차원 모델을 생성할 수 있다.

본 발명에서, 상기 입력 스케치는 2개 이상일 수 있으며, 2개 이상의 스케치로부터 생성된 각각의 3차원 곡선을 합성하여 하나의 3차원 곡선을 생성할 수 있 다. 따라서 본 발명에 따르면, 여러 뷰에서의 스케치의 디자인이 일괄적으로 입력되기 때문에, 단일 뷰에서의 입력 스케치에 의해서는 3차원 모델에 표현될 수 없는 부분에 대한 추가적인 스케치 작업이 불필요해진다.

상기 3차원 곡선의 합성 시에, 상기 2개 이상의 3차원 곡선들 중에서 끝 점들이 일치하지 않는 3차원 곡선들에 대해, 상기 일치하지 않는 끝 점들을 연결하여, 상기 각각의 3차원 곡선을 합성한다. 따라서, 본 발명에 따르면, 합성된 3차원 곡선의 모든 에지들이 연결되기 때문에, 3차원 곡선으로부터의 3차원 곡면의 생성이 보장된다. 이때, 상기 3차원 곡선들 중에서 끝 점들이 일치하지 않는 3차원 곡선들에 대해, 상기 일치하지 않는 끝 점들을 연결하는 것은, 그 끝 점들을 포위하는 가상의 오차구를 만들고, 이어서 상기 오차구 내의 3차원 곡선 부분을 제거하며, 이어서 상기 오차구와 3차원 곡선의 교점, 및 상기 오차구의 중심을 연결함으로써 실현될 수 있다.

본 발명에 따르면, 다양한 입체 형상 및 다양한 입체 위상 구조의 스케치에 대해서도, 템플릿 매칭에 의한 3차원 모델의 생성이 가능하다.

또한, 본 발명에 따르면, 템플릿 매칭 시에 비교되는 각 에지를, 그것에 인접하는 다른 에지와의 상대적인 관계에 의해 정의하기 때문에, 스케치에 대한 회전이나 축척 변경에 대해서도 정확하게 템플릿 매칭을 수행할 수 있다.

또한, 본 발명에 따르면, 동일한 디자인 대상에 대한 서로 다른 뷰에서의 2 개 이상의 스케치에 대한 각각의 3차원 곡선을 합성하여 하나의 3차원 곡선을 생성하기 때문에, 3차원 모델의 생성 후에, 단일 뷰에서는 보이지 않았던 부분의 스케치를 추가하는 작업을 따로 수행할 필요가 없다.

이하에서는, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.

<제1 실시예>

도 1에는, 스케치 에지 그래프 생성기(101)와, 템플릿 매칭기(103)와, 3차원 모델 생성기(105)를 포함하는 본 실시예의 3차원 모델 생성 장치(10)가 도시되어 있다. 3차원 모델 생성기(105)는, 3차원 곡선 생성부(105a)와, 3차원 곡면 생성부(105b)와, 스트로크 매핑부(105c)를 포함한다. 본 실시예에 따른 3차원 모델 생성 장치를 포함하여, 본 명세서에서 설명하는 각종 장치 및 기능 모듈은, 컴퓨터 시스템의 프로세서, 메모리, 및 I/O 장치들과 같은 일반적인 하드웨어 구성에 의해 구현된다.

3차원 모델 생성 장치(10)에 입력되는 스케치(도 1의 (a))는, 종이에 그려진 이미지를 스캔한 이미지일 수도 있지만, 본 실시예에서는, LCD 펜 테블릿과 같은 압력 감응식 디지털 테블릿상에 전자 펜으로 그려진 이미지이다.

스케치 에지 그래프 생성기(101)는, 입력된 2차원 입체 스케치로부터 중심 곡선(도 1의 (b))을 생성하고, 그 중심 곡선으로부터 최종적으로 스케치 에지 그래 프(도 1의 (c))를 생성한다. 본 실시예에서, 중심 곡선(도 1의 (b))은 디자이너에 의해 특정된다. 디자이너는 템플릿을 알고 있기 때문에, 그 템플릿에 상응하는 부분을 중심 곡선으로서 특정할 수 있다. 스케치 에지 그래프(도 1의 (c))는, 중심 곡선의 노드들을 잇는 각 선분(스케치 에지)들의 집합으로서 정의된다.

한편, 스케치의 각 스트로크의 시점과 종점에 노드를 추가하고 그 노드들을 잇는 선분의 집합을 스케치 에지 그래프로 정의할 수도 있다. 그러나, 본 실시예에서는, 후술하는 템플릿 매칭을 신속하게 수행하고 장치의 처리 부담을 덜기 위해, 디자이너가 중심 곡선을 특정하도록 하였다. 또한, 템플릿에 없는 요소(예를 들어, 트럭의 바퀴)가 디자이너에 의해 중심 곡선으로 특정된다고 하더라도, 그 요소는 템플릿에 의한 3차원 곡선의 변환 대상이 아니기 때문에, 전체 디자인이 3차원 모델로 변형되더라도 그 요소는 2차원 요소로 그대로 남게 된다.

템플릿 매칭기(103)는, 미리 정의되어 있는 템플릿(도 1의 (d))을 호출하여 템플릿 매칭을 수행한다. 도 2에는 각 템플릿 에지에 e1 내지 e27의 부호가 부여된 템플릿이 도시되어 있다. 템플릿 매칭은, 각 스케치 에지에 대해 가장 유사한 템플릿 에지를 찾는 작업이다. 따라서 템플릿 매칭은 할당 문제(assignment problem)로 모델링할 수 있다.

할당 문제는 n사람과 n개의 일이 주어졌을 때, 하나의 일에 한 사람씩 할당하는 문제로서, i번째 사람이 j번째의 일에 할당되었을 때의 비용을 g(i, j)라고 하면, 그 합

를 최소로 하는 할당이 최적해가 된다. 스케치 에지 i와 템플릿 에지 j의 유사성을 Cij라고 하면, 템플릿 매칭 문제는 비용 행렬의 (i, j)값이 Cij인 할당 문제로 형식화된다. 할당 문제는 Hungarian 알고리즘으로 풀 수 있다. 본 실시예에서는, 에지를 특징 벡터에 의해 표현하고, 스케치 에지와 템플릿 에지의 특징 벡터 상호간의 유사도 값을 비용으로 정의하였다.

도 3에는, 도 2의 에지 e1의 정점 v1에서의 특징 벡터 요소를 정의하는 데 사용되는 기하학적 구성이 도시되어 있다. 본 실시예에서는 정점에서 만나는 에지의 최대 개수를 4개로 제한한다. 에지 e1의 특징 벡터 요소는, (1) 에지 e1의 정점 v1에서 만나는 다른 에지의 개수(본 실시예에서는 '3개'), (2) 에지 e1에 대한 에지 e2의 상대 각도α2, (3) 에지 e1에 대한 에지 e3의 상대 각도α3, (4) 에지 e1에 대한 에지 e4의 상대 각도α4, (5) 에지 e1의 에지 그래프의 H축에 대한 각도α1으로 구성된다. 이때, H축은, 에지 그래프의 모든 에지를 PCA(Principal Components Analysis) 변환을 통해 구한 새로운 좌표축의 X축이다.

이와 같이 에지의 한 정점에서의 특징 벡터 요소는 5개의 실수로 이루어진다. 에지 e1의 정점 v1에서의 특징 벡터 요소는 <3,α2,α3,α4,α1>의 5개의 실수로 이루어져 있다. 에지 간의 각도는 하나의 에지에 대한 다른 에지들 각각의 상대적인 각도이기 때문에, 스케치 이미지가 전체적으로 회전하거나 그 축척이 전체적으로 변경되더라도 템플릿 매칭에는 문제가 없다. 즉 본 실시예에서 에지의 특징 벡터 요소는 회전 및 스케일링에 무관하다.

도 4에는, 에지 e의 특징 벡터를 계산하기 위해 사용되는 관련 에지들이 도시되어 있다. 에지 e의 특징 벡터를 X, 시작 정점에서의 X의 요소를

, 끝 정점에서의 X의 요소를

라고 하면, 특징 벡터 X는 도 4와 같은 구조를 갖는다. n(·)은 인접하는 다른 에지의 개수, α(·)는 인접하는 다른 에지와의 각도를 나타낸다. n(

)는 에지 e의 시작 정점에서 만나는 다른 에지의 개수, α(

, i)는 에지 e의 시작 정점에서 만나는 i번째 에지가 에지 e와 이루는 각도를 나타낸다. n(

)는 i번째 에지의 다른 정점에서 만나는 에지의 개수, α(

, j)는 i번째 에지의 다른 정점에서 만나는 j번째 에지가 i번째 에지와 이루는 각도를 나타낸다. 이와 같이, 본 실시예에서는, 에지를 40개의 실수로 이루어진 특징 벡터에 의해 표현하였다.

에지의 특징 벡터는 시작 정점에서의 특징값, 및 끝 정점에서의 특징값의 합집합으로 정의된다. 에지의 한 정점에서의 특징 벡터 요소는 내재적인 기하 정보인, i) 정점에서 만나는 다른 에지의 개수, ii) 에지와 만나는 다른 에지 사이의 각도, iii) 에지와 에지 그래프 H축과의 각도로 구성된다.

이와 같이 정의된, 서로 다른 에지 2개의 특징 벡터를 각각 X, Y라고 할 때, 두 특징 벡터의 유사성을 비교하는 함수 F는 아래의 [식 1]과 같이 정의된다. 템플릿 매칭에 있어서, 예를 들어, 특징 벡터 X는 스케치 에지의 특징 벡터에 대응하 고, 특징 벡터 Y는 템플릿 에지의 특징 벡터에 대응한다.

[식 1]

[식 1]에서 함수 f는 정점에서의 특징 벡터 요소 간의 유사성을 계산하는 함수이다. fi는 정점에서 만나는 i번째 다른 에지에서의 특징 벡터 요소의 값이다. 두 개의 각도 α1,α2를 비교하는 함수 g(α1,α2)는 각도가 유사할수록 1에 가까운 값을 가진다(0≤g≤1). 함수 g에서 σ는 각도 차이의 민감도를 결정하는 임의의 상수로서 실험에 의해 σ=30°가 좋은 F값을 산출하는 것으로 확인되었다.

는 가중치로서,

=1.0,

=4.0을 사용하였다. 0≤g≤1, 0≤f≤1, 0≤f≤1이므로, 0≤F≤2이다. 정점에서의 특징 벡터 요소가 회전에 무관하므로, 특징 벡터는 회전에 무관하다. 그러나 특징 벡터는 순서가 있는 실수의 집합이므로, 에지의 시작 정점과 끝 정점이 뒤바뀌면 F값이 달라진다. 따라서, 사용자가 입력한 임의의 스트로크에 대하여, 에지의 시작 정점과 끝 정점의 구별을 없애기 위하여, f(

,

)+f(

,

)와 f(

,

)+f(

,

) 중에서 큰 값을 두 특징 벡터의 유사도로 설정한다.

[식 1]에 의한 계산 결과에 따라, 각 스케치 에지에 대해 가장 유사도가 높은 템플릿 에지를, 대응하는 각 스케치 에지에 할당한다. 템플릿 에지들이 각각 할당된 스케치 에지들로 구성되는 그룹을 '레이블된(labelled) 스케치 에지 그래프'라고 칭한다. '레이블된 스케치 에지 그래프'는 3차원 모델 생성기(105)의 입력이 된다.

한편, 본 실시예에서는, 어느 에지에 인접하는 다른 에지의 개수를 특징 벡터 요소에 포함하고, 에지의 개수가 다르면 유사도가 0이 되도록 함으로써, 신속하게 템플릿 매칭을 수행하고 있다. 그러나 인접하는 에지의 개수를 특징 벡터 요소에 포함시키지 않더라도, 인접하는 에지와의 상대 각도의 비교만에 의해서도 회전과 축척 변경에 무관한 템플릿 매칭이 가능하다.

3차원 모델 생성기(105)의 3차원 곡선 생성부(105a)는, '레이블된 스케치 에지 그래프'에 의해 특정되는 2차원 곡선으로부터 3차원 곡선(도 1의 (e))을 생성한다.

하기 [식 2]는 3차원 점 P와 그 투영점 Q 사이의 관계를 나타낸다. 그런데, 2차원 곡선은 3차원 곡선의 부정확한 투영 이미지라고 할 수 있으므로, 2차원 곡선으로부터 3차원 곡선을 생성하기 위해서는 제한 조건이 반드시 필요하다. 본 실시예에서는, 평면 대칭 관계를 제한 조건으로 설정한다.

[식 2]

[식 2]에서 M은 투영 행렬,

,

는 각각 P, Q의 동차 좌표(homogeneous coordinates)이다. Q로부터 역투영 P를 구하는 것은 무한 해를 갖는 방정식을 푸는 것과 같다. 그러나 Q에 제한 조건을 부여하면 역투영 문제는 유일 해를 갖게 된다. 본 실시예에서는, 제한 조건으로서 평면 대칭 관계를 이용하여 2차원 곡선으로부터 3차원 곡선으로의 역투영 문제를 풀 수 있다. 평면 대칭 관계란, 2개의 2차원 점이 3차원에서 한 평면에 대칭인 관계를 일컫는다.

따라서 평면 대칭 관계를 적용하기 위해서는, 대칭면과, 그 대칭면에 대칭인 곡선 쌍과, 곡선 자체가 그 대칭면에 대칭인 곡선을 미리 알고 있어야 한다. 그런데 대칭면을 가정하면, 템플릿 매칭기(103)에 의해 얻어진 '레이블된 스케치 에지 그래프'로부터, 대칭면에 대칭인 곡선 쌍과 곡선 자체가 대칭면에 대칭인 곡선을 알 수 있다. 따라서 상기 역투영 식을 이용하여, '레이블된 스케치 에지 그래프'에 의해 특정되는 2차원 곡선으로부터 3차원 곡선을 생성할 수 있다.

3차원 모델 생성기(105)의 3차원 곡면 생성부(105b)는, 3차원 곡선으로부터 3차원 곡면(도 1의 (f))을 생성한다. 도 5에는, 3차원 곡선망으로부터 3차원 곡면을 생성하기 위한 곡면 경계를 찾는 방법의 개념도가 도시되어 있다. 트럭 모양의 3차원 곡선의 옆면을 제외한 다른 부분들은 사각형 모양의 곡선망으로 이루어져 있다. 사각형 모양의 곡선망으로 이루어진 부분은 쿤 곡면(Coons patch)을 생성한다. 임의의 3차원 곡선으로부터 쿤 곡면을 생성하기 위한 곡선을 찾기 위하여, 각 3차원 곡선에 대하여 인접 곡선을 자식으로 하는 깊이 4의 트리를 재귀적으로 생성하여 루프를 찾는다. 4각형 모양이 아닌 옆면에는, 경계 곡선이 같은 평면 위에 놓여 있지 않은 3차원 폴리곤으로부터 3차원 곡면을 생성하는 종래의 방법을 적용하여 3차원 곡면을 생성한다.

3차원 모델 생성기(105)의 스트로크 매핑부(105c)는, 2차원 스케치의 스트로크를 3차원 곡면에 매핑하여 완전한 형태의 스케치 스타일 3차원 모델(도 1의 (g))을 생성한다. 스케치 스타일 3차원 모델(도 1의 (g))을 그 반대측 뷰에서 보면, 대칭적으로 스케치가 매핑되어 있다(도 1의 (h)). 그러나 대칭적인 스케치를 적용할 수 없는 트럭의 뒷쪽 뷰에서 보면, 아무런 이미지도 나타나지 않는다. 따라서 디자 이너는 완성된 3차원 형상의 트럭을 적당히 회전시켜 이미지가 없는 부분에 원하는 그림을 그려넣음으로써 최종적으로 3차원 모델을 완성시킬 수 있다. 같은 방식으로, 디자이너는 완성된 3차원 모델에 매핑되어 있는 스케치를 수정할 수도 있다. 또한, 동일한 객체에 대해 서로 다른 뷰에서 본 2개 이상의 스케치를 3차원 모델 생성 장치(10)에 입력함으로써, 최종적으로 생성된 3차원 모델에 추가적인 스케치 작업의 필요성을 없애는 것도 가능하며, 이러한 방법은 후술하는 제2 실시예에 의해 구현된다.

도 6에는 본 실시예에 따른 3차원 모델 생성 방법의 흐름도가 도시되어 있다. 단계 S601에서는, 2차원 입체 스케치가 입력된다. 단계 S603에서는, 2차원 입체 스케치로부터 스케치 에지 그래프가 생성된다. 단계 S605에서는, 스케치 에지 그래프에 대해 템플릿 매칭이 수행된다. 단계 S607에서는, 템플릿 매칭에 의해 생성된 레이블된 스케치 에지 그래프로부터 3차원 곡선이 생성된다. 단계 S609에서는, 3차원 곡선으로부터 3차원 곡면이 생성된다. 단계 S611에서는, 3차원 곡면에 2차원 입체 스케치의 스토로크가 매핑된다.

<제2 실시예>

도 7에는, 스케치 에지 그래프 생성기(701)와, 템플릿 매칭기(703)와, 3차원 모델 생성기(705)를 포함하는 본 실시예의 3차원 모델 생성 장치(70)가 도시되어 있다. 3차원 모델 생성기(705)는, 3차원 곡선 생성부(705a)와, 3차원 곡선 합성 부(705d)와, 3차원 곡면 생성부(705b)와, 스트로크 매핑부(705c)를 포함한다. 본 실시예가 제1 실시예와 다른 점은, 3차원 곡선 합성부(705d)가 추가된 점이다. 즉, 본 실시예의 특징은, 2개의 스케치에서 생성된 2개의 3차원 곡선을 합성하여 하나의 3차원 곡선 집합을 생성하는 것이다. 그 밖의 내용은 제1 실시예와 동일하므로, 이하에서는 2개의 3차원 곡선을 합성하여 하나의 3차원 곡선 집합을 생성하는 과정에 대해 주로 설명한다.

본 실시예에 따르면, 스케치 단계에서 미리 모든 스케치를 그려넣음으로써, 3차원 모델에 대한 최종적인 스케치 매핑에 의해서도 이미지를 나타낼 수 없는 부분(예를 들어, 제1실시예에서 트럭의 뒷쪽 부분)이 생기지 않도록 할 수 있다.

도 9에서, 스케치 에지 그래프 생성기(701)는, 앞면 스케치(도 8의 (a))로부터 앞면 스케치 에지 그래프를 생성하고, 뒷면 스케치(도 8의 (b))로부터 뒷면 스케치 에지 그래프를 생성한다. 템플릿 매칭기(703)는, 앞면 스케치 에지 그래프에 대해 앞면 템플릿을 매칭시키고, 뒷면 스케치 에지 그래프에 대해 뒷면 템플릿을 매칭시켜, 앞면 레이블된 스케치 에지 그래프와 뒷면 레이블된 스케치 에지 그래프를 생성한다.

3차원 모델 생성기(705)의 3차원 곡선 생성부(705a)는, 앞면 레이블된 스케치 에지 그래프로부터 앞면 3차원 곡선(도 8의 (c))을 생성하고, 뒷면 레이블된 스케치 에지 그래프로부터 뒷면 3차원 곡선(도 8의 (d))을 생성한다.

3차원 모델 생성기(705)의 3차원 곡선 합성부(805d)는, 앞면 3차원 곡선(도 8의 (c))과 뒷면 3차원 곡선(도 8의 (d))을 합성하여, 하나의 3차원 곡선을 생성한 다. 그런데, 2개의 스케치는 서로 다른 뷰에서 그려졌기 때문에, 생성된 2개의 3차원 곡선은, 3차원에서의 그 위치 및 크기가 서로 다르게 존재한다(도 8의 (e)). 따라서 4개의 3차원 점 Q1, Q2, Q3, Q4를 4개의 3차원 점 P1, P2, P3, P4에 각각 일치시키는 변환이 필요하다. 4개의 점들을 서로 일치시키는 변환은 아래의 [식 3]에서 F를 최소화하는 변환 M이다. [식 3]에서 t는 평행 이동 요소이고, s는 스케일링 요소이다.

본 실시예에서는, 두 곡선 집합이, 카메라 정보를 알고 있는 상태에서, 어느 한 평면에 대칭이라는 조건에서 각각 생성되었다고 가정하기 때문에 회전 요소를 고려하지 않았지만, 3차원 곡선의 합성 시에 회전 요소를 더 고려할 수도 있다.

[식 3]

한편, 2개의 3차원 곡선을 위의 식에 따라 합성한다고 하더라도, 일부 3차원 점들이 일치하지 않는 경우가 발생할 수 있다(도 8의 (f)). 따라서, 일치하지 않는 양 3차원 점들을 일치시키는 작업이 필요하다.

도 9에는, 3차원 점들 사이의 틈새(gap)를 제거하는 작업에 대한 개념도가 도시되어 있다. 도 9의 (a)는 xy 평면에서 본 3차원 곡선 CV1, CV2의 사이의 틈새이고, 도 9의 (b)는 yz 평면에서 본 3차원 곡선 CV1, CV2 사이의 틈새이며, 도 9의 (c)는 xy 평면에서 본 틈새가 제거된 3차원 곡선 CV1, CV2이고, 도 9의 (d)는 yz 평면에서 본 틈새가 제거된 3차원 곡선 CV1, CV2이다.

3차원 곡선 합성부(705d)는, 틈새가 존재하는 3차원 곡선의 끝점에 가상의 오차구(tolerance sphere)를 만든다. 이때 오차구의 반지름 r은, 틈새를 포위할 수 있을 정도이고 지나치게 크지 않도록, 반복 실험에 의해 설정되는 임의의 값이다. 이어서, 다른 끝점이 오차구에 포함되면, 오차구의 중심을 오차구에 포함된 점들의 평균으로 변경한다(도 9의 (a), 도 9의 (b)). 마지막으로, 각 오차구에 대해, 오차구 내의 3차원 곡선 부분을 제거하고 오차구와 3차원 곡선의 교점, 오차구의 중심을 각 3차원 곡선의 새로운 세그먼트로 추가한다(도 9의 (c), 도 9의 (d)).

3차원 곡면 생성부(705b)와 스트로크 매핑부(705c)는, 제1 실시예에서와 같이, 3차원 곡선으로부터 3차원 곡면을 생성하고, 앞면 스케치의 스트로크와 뒷면 스케치의 스트로크 각각에 대한 3차원 곡면상으로의 스트로크 매핑을 실시하여, 최종적으로 완성된 형태의 스케치 스타일의 3차원 모델을 생성한다.

이와 같은 방식으로, 3개 이상의 스케치에도 본 실시예의 3차원 모델 생성 기법이 적용될 수도 있다.

본 실시예에 따른 3차원 모델 생성 방법은, 도 6에 도시된 제1 실시예의 3차원 모델 생성 방법의 단계 S607과 단계 S609 사이에 3차원 곡선 합성부에 의한 3차원 곡선 합성 단계를 추가한 것이다.

한편, 본 발명은, 2차원 스케치로부터 3차원 모델을 생성하기 위한 상기 방법들을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.

앞서 설명한 본 발명의 실시예는 구체적인 구성과 도면에 의해 특정되었지만, 그러한 구체적인 실시예가 본 발명의 범위를 제한하는 것이 아니라는 점을 명확히 하고자 한다. 따라서, 본 발명은, 본 발명의 본질을 벗어나지 않는 다양한 변형예와 그 균등물들을 포함하는 것으로 이해되어야 한다.

본 발명은, 사람이 손으로 그린 스케치로부터 3차원 모델을 템플릿 매칭을 이용하여 자동으로 생성하는 분야에 유용하다.

도 1은 본 발명의 제1 실시예에 따른 3차원 모델 생성 장치의 구성도.

도 2는 본 발명의 실시예에 따른 템플릿의 구조도.

도 3은 본 발명의 실시예에 따른 에지 특징 벡터를 설명하는 개념도.

도 4는 본 발명의 실시예에 따른 에지 특징 벡터의 구조도.

도 5는 본 발명의 실시예에 따른 3차원 곡면의 생성을 설명하는 개념도.

도 6은 본 발명의 제1 실시예에 따른 3차원 모델 생성 방법의 흐름도.

도 7은 본 발명의 제2 실시예에 따른 3차원 모델 생성 장치의 구성도.

도 8은 본 발명의 제2 실시예에 따른 3차원 곡선의 합성을 설명하는 개념도.

도 9는 본 발명의 제2 실시예에 따른 3차원 곡선의 합성을 설명하는 개념도.

Claims

손으로 그린 입력 스케치로부터 3차원 모델을 자동으로 생성하는 스케치 기반 3차원 모델 생성 방법으로서,

(a) 상기 입력 스케치로부터 스케치 에지 그래프를 생성하는 단계로서, 상기 스케치 에지 그래프를 구성하는 각 스케치 에지는 그것에 인접하는 다른 스케치 에지에 대한 관계를 벡터 요소로서 포함하는 스케치 에지 특징 벡터에 의해 정의되는 것인, 단계와,

(b) 상기 스케치 에지 그래프에, 미리 정의되어 있는 템플릿 에지 그래프를 매칭시켜, 레이블된 스케치 에지 그래프를 생성하는 단계로서, 상기 템플릿 에지 그래프를 구성하는 각 템플릿 에지는 그것에 인접하는 다른 템플릿 에지에 대한 관계를 벡터 요소로서 포함하는 템플릿 에지 특징 벡터에 의해 정의되는 것이며, 상기 레이블된 스케치 에지 그래프는, 상기 템플릿 에지 특징 벡터와 가장 유사도가 높은 스케치 에지 특징 벡터를 갖는 스케치 에지로 구성되는 것인, 단계와,

(c) 상기 레이블된 스케치 에지 그래프에 제한 조건을 적용하여 3차원 모델을 생성하는 단계를 포함하는, 스케치 기반 3차원 모델 생성 방법.
청구항 1에 있어서,

상기 입력 스케치는, 중심 곡선과 그 밖의 스트로크로 구분되어 입력되며, 상기 단계(a)는, 상기 중심 곡선으로부터 상기 스케치 에지 그래프를 생성하는, 스 케치 기반 3차원 모델 생성 방법.
청구항 2에 있어서, 상기 중심 곡선은 상기 템플릿에 대응하는 곡선 부분을 포함하는, 스케치 기반 3차원 모델 생성 방법.
청구항 1에 있어서,

상기 관계는, 상기 각 에지에 인접하는 다른 에지의 상대 각도를 포함하는, 스케치 기반 3차원 모델 생성 방법.
청구항 1에 있어서,

상기 관계는, 상기 각 에지에 인접하는 다른 에지의 개수와, 상기 각 에지에 대한 상기 다른 에지의 상대 각도를 포함하는, 스케치 기반 3차원 모델 생성 방법.
청구항 1에 있어서,

상기 관계는, 상기 각 에지에 인접하는 다른 에지의 개수와, 상기 각 에지에 대한 상기 다른 에지의 상대 각도와, 상기 각 에지의 상기 에지 그래프의 한 축에 대한 각도를 포함하는, 스케치 기반 3차원 모델 생성 방법.
청구항 1에 있어서,

상기 특징 벡터는 각 에지의 시작 정점에서의 벡터 요소와 끝 정점에서의 벡 터 요소로 구성되며, 상기 단계(b)는, 상기 시작 정점과 상기 끝 정점을 구분하지 않고 상기 유사도를 계산하는, 스케치 기반 3차원 모델 생성 방법.
청구항 7에 있어서,

상기 유사도는, 상기 스케치 에지와 상기 템플릿 에지의 양 시작 정점에서의 벡터 요소들 사이의 유사도와 양 끝 정점에서의 벡터 요소들 사이의 유사도의 합과, 상기 스케치 에지의 시작 정점에서의 벡터 요소와 상기 템플릿 에지의 끝 정점에서의 벡터 요소 사이의 유사도와 상기 스케치 에지의 끝 정점에서의 벡터 요소와 상기 템플릿 에지의 시작 정점에서의 벡터 요소 사이의 유사도의 합, 중에서 큰 값으로 결정되는, 스케치 기반 3차원 모델 생성 방법.
청구항 1에 있어서,

상기 유사도는 다음의 [식 1]에 의해 결정되는, 스케치 기반 3차원 모델 생성 방법.

[식 1]

F(X,Y): 스케치 에지의 특징 벡터 X와 템플릿 에지의 특징 벡터 Y의 유사도,

max(a, b): a와 b 중에서 큰 값을 선택하는 함수,

S: 에지의 시작 정점에서의 벡터 요소를 나타내는 첨자,

E: 에지의 끝 정점에서의 벡터 요소를 나타내는 첨자,

n(
): 에지 e의 시작 정점에서 만나는 다른 에지의 개수,

n(
): 에지 e의 시작 정점에서 만나는 i번째 에지의 다른 정점에서 만나는 에지의 개수,

α(
, i): 에지 e의 시작 정점에서 만나는 i번째 에지가 에지 e와 이루는 각도,

α(
, j): 에지 e의 시작 정점에서 만나는 i번째 에지의 다른 정점에서 만나는 j번째 에지가 i번째 에지와 이루는 각도,

σ: 각도 차이의 민감도를 나타내는 상수,

,
: 가중치
청구항 1에 있어서,

상기 제한 조건은 평면 대칭 관계를 포함하며, 상기 평면 대칭 관계는, 2개의 2차원 점이 3차원에서 한 평면에 대칭인 관계인, 스케치 기반 3차원 모델 생성 방법.
청구항 1에 있어서,

상기 단계(c)는, 상기 제한 조건을 적용하여 상기 레이블된 스케치 에지 그래프로부터 3차원 곡선을 생성하는 단계와, 상기 3차원 곡선으로부터 3차원 곡면을 생성하는 단계와, 상기 3차원 곡면에 상기 입력 스케치의 스트로크를 매핑하는 단계를 포함하는, 스케치 기반 3차원 모델 생성 방법.
청구항 1에 있어서,

상기 입력 스케치는 2개 이상의 입력 스케치를 포함하고,

상기 단계(a)는, 상기 2개 이상의 입력 스케치로부터 각각의 스케치 에지 그래프를 생성하고,

상기 단계(b)는, 상기 각각의 스케치 에지 그래프에 대해 각각의 레이블된 스케치 에지 그래프를 생성하며,

상기 단계(c)는, (c1) 상기 각각의 레이블된 스케치 에지 그래프에 대하여 상기 제한 조건을 적용하여 각각의 3차원 곡선을 생성하는 단계와, (c2) 상기 각각의 3차원 곡선을 합성하여 하나의 3차원 곡선을 생성하는 단계와, (c3) 상기 하나의 3차원 곡선으로부터 3차원 곡면을 생성하는 단계와, (c4) 상기 3차원 곡면에 상기 각각의 스케치의 스트로크를 매핑하는 단계를 포함하는, 스케치 기반 3차원 모델 생성 방법.
청구항 12에 있어서,

상기 단계(c2)는, 상기 각각의 3차원 곡선에 대한 평행 이동과 축척 변경에 의해 상기 하나의 3차원 곡선을 생성하는, 스케치 기반 3차원 모델 생성 방법.
청구항 12에 있어서,

상기 단계(c2)는, 상기 3차원 곡선들 중에서 끝 점들이 일치하지 않는 3차원 곡선들에 대해, 상기 일치하지 않은 끝 점들을 연결하여, 상기 각각의 3차원 곡선 을 합성하는, 스케치 기반 3차원 모델 생성 방법.
청구항 12에 있어서,

상기 단계(c2)는, 상기 3차원 곡선들 중에서 끝 점들이 일치하지 않는 3차원 곡선들에 대해, 그 끝 점들을 포위하는 가상의 오차구를 만들고, 이어서 상기 오차구 내의 3차원 곡선 부분을 제거하며, 이어서 상기 오차구와 3차원 곡선의 교점, 및 상기 오차구의 중심을 연결하는, 스케치 기반 3차원 모델 생성 방법.
손으로 그린 입력 스케치로부터 3차원 모델을 자동으로 생성하는 스케치 기반 3차원 모델 생성 장치로서,

상기 입력 스케치로부터 스케치 에지 그래프를 생성하는 스케치 에지 그래프 생성기로서, 상기 스케치 에지 그래프를 구성하는 각 스케치 에지는 그것에 인접하는 다른 스케치 에지에 대한 관계를 벡터 요소로서 포함하는 스케치 에지 특징 벡터에 의해 정의되는 것인, 스케치 에지 그래프 생성기와,

상기 스케치 에지 그래프에, 미리 정의되어 있는 템플릿 에지 그래프를 매칭시켜, 레이블된 스케치 에지 그래프를 생성하는 템플릿 매칭기로서, 상기 템플릿 에지 그래프를 구성하는 각 템플릿 에지는 그것에 인접하는 다른 템플릿 에지에 대한 관계를 벡터 요소로서 포함하는 템플릿 에지 특징 벡터에 의해 정의되는 것이며, 상기 레이블된 스케치 에지 그래프는, 상기 템플릿 에지 특징 벡터와 가장 유사도가 높은 스케치 에지 특징 벡터를 갖는 스케치 에지로 구성되는 것인, 템플릿 매칭기와,

상기 레이블된 스케치 에지 그래프에 제한 조건을 적용하여 3차원 모델을 생성하는 3차원 모델 생성기를 포함하는, 스케치 기반 3차원 모델 생성 장치.
청구항 16에 있어서,

상기 입력 스케치는 2개 이상의 입력 스케치를 포함하고,

상기 스케치 에지 그래프 생성기는, 상기 2개 이상의 입력 스케치로부터 각각의 스케치 에지 그래프를 생성하고,

상기 템플릿 매칭기는, 상기 각각의 스케치 에지 그래프에 대해 각각의 레이블된 스케치 에지 그래프를 생성하며,

상기 3차원 모델 생성기는, 상기 각각의 레이블된 스케치 에지 그래프에 대하여 상기 제한 조건을 적용하여 각각의 3차원 곡선을 생성하는 3차원 곡선 생성부와, 상기 각각의 3차원 곡선을 합성하여 하나의 3차원 곡선을 생성하는 3차원 곡선 합성부와, 상기 하나의 3차원 곡선으로부터 3차원 곡면을 생성하는 3차원 곡면 생성부와, 상기 3차원 곡면에 상기 각각의 스케치의 스트로크를 매핑하는 스트로크 매핑부를 포함하는, 스케치 기반 3차원 모델 생성 장치.
청구항 17에 있어서,

상기 3차원 곡선 합성부는, 상기 각각의 3차원 곡선에 대한 평행 이동과 축척 변경에 의해 상기 하나의 3차원 곡선을 생성하는, 스케치 기반 3차원 모델 생성 장치.
청구항 17에 있어서,

상기 3차원 곡선 합성부는, 상기 3차원 곡선들 중에서 끝 점들이 일치하지 않는 3차원 곡선들에 대해, 상기 일치하지 않는 끝 점들을 연결하여, 상기 각각의 3차원 곡선을 합성하는, 스케치 기반 3차원 모델 생성 장치.
청구항 17에 있어서,

상기 3차원 곡선 합성부는, 상기 3차원 곡선들 중에서 끝 점들이 일치하지 않는 3차원 곡선들에 대해, 그 끝 점들을 포위하는 가상의 오차구를 만들고, 이어서 상기 오차구 내의 3차원 곡선 부분을 제거하며, 이어서 상기 오차구와 3차원 곡선의 교점, 및 상기 오차구의 중심을 연결하는, 스케치 기반 3차원 모델 생성 장치.