KR101829733B1 - 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법 - Google Patents

Abstract

본 발명은 2D이미지를 3D 모델로 변환하는 방법에 관한 것으로, 특히 2D 이미지로 부터 영상을 처리하고 영상의 정보로부터 3차원 모델로 자동 변환하는 방법에 관한 것이다.
본 발명은 이미지를 입력 받는 단계(101),
이미지를 전처리하는 단계(102),
이미지를 세그멘테이션하는 영역분리 단계(103),
이미지에 영역에 버텍스를 부여하는 단계(104),
3차원 버텍스의 위치계산단계(105),
후면 모델 생성 단계(106),
전면모델 생성단계(107), 전면버텍스 조절단계(108),
렌더링 단계(109)를 포함하여 구성된 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법을 제공한다.
또한 본 발명은 상기 3차원 버텍스의 위치계산단계(105)는,
이미지 전경영역의 중심 좌표(centerX,centerY)를 평균계산 방법으로 산출하는 과정(단계),
이미지 공간상의 좌표(x,y)에 각각 활당된 3차원 모델의 버텍스 좌표(V_{x ,} V_y, V_z)를 연산식으로 산출하는 과정으로 이루어진 것을 특징으로 하는 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법을 제공한다.
(상기 연산식은 V_x=S_x(x-centerX)
V_y=S_y(centerX -y)
V_z=S_zr(y)cosθ 이고,
상기 수식에서 θ = π(centerX -x)/2r(y) 이며, S_x, S_y, S_z 는 스케링 인수, r(y)는 이미지 평면 전경 수평축 이미지의 길이를 의미함)

Description

2차원 이미지를 3차원 그래픽 모델로 변환하는 방법{Conversion Method For A 2D Image to 3D Graphic Models}

본 발명은 2D이미지를 3D 모델로 변환하는 방법에 관한 것으로, 특히 2D 이미지로 부터 영상을 처리하고 영상의 정보로부터 3차원 모델로 자동 변환하는 방법에 관한 것이다.

일반적으로 특정 물체(사람의 얼굴을 포함)를 3차원으로 모델링하는 방법에는 여러 가지가 있다. 그 중 하나는 직접 특정 물체를 3차원으로 스캔하여 스캔된 데이터로 3차원 물체를 모델링하는 방법이 있고, 다른 하나는 특정 물체을 여러 각도에서 촬영하고 촬영된 결과를 이용하여 미리 만들어진 3차원 형상의 일반 물체를 변형하여 특정 물체를 모델링하는 방법이 있다.

전자의 경우, 3차원 스캐너와 같은 전문 장비를 사용하여 특정 물체의 굴곡과 실제 색깔에 관한 정보를 직접 얻을 수 있기 때문에 특정 물체에 대해 상당히 정확한 3차원 물체 모델링을 할 수 있다. 그러나 이런 방법은 값비싼 장비를 사용하여야 하고, 3차원 물체 모델링의 당사자도 3차원 스캐너가 있는 특정한 장소까지 가서 스캔을 받아야 3차원 물체 모델링을 할 수 있으므로 불편한 점이 없지 않았다.

후자의 경우, 전자의 문제점을 해결하기 위해 특정 물체에 대하여 여러 각도에서 찍은 평면사진과 미리 만들어진 3차원 일반 물체를 이용하여 3차원 물체 모델링을 한다. 좀더 구체적으로 설명하면 먼저 3차원 물체를 만들려는 특정 물체를 여러 각도에서 촬영한다. 촬영된 데이터로 3차원 물체 일반모델을 변형하여 특정 물체와 비슷한 형상의 3차원 물체 변형모델을 만들고, 변형모델에 촬영된 특정 물체 텍스쳐를 매핑하여 특정 물체의 3차원 모델을 만든다.

그러나 상기 여러 각도에서 찍은 평면 사진을 이용하는 방법은 여러 각도에서 촬영된 사진이 필요하고, 또한 각각의 사진들간에 물체를 바라보는 각도와 거리가 맞추어지도록 하는 것이 필요하므로 동시에 여러 카메라를 사용하여야 하는 불편한 점이 있었다. 그러므로 상기 방법을 이용하려면 여러 카메라가 설치된 곳에 가서 촬영하거나 카메라가 하나이더라도 사진마다 정확한 각도와 거리를 맞추어서 여러 장의 얼굴 사진을 촬영해야 하는 등의 번거로운 점이 있었다.

상기한 문제점을 해결하기 위하여 등록특허 10-0372811호(2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법, 이하 선행기술)는 "특정인 얼굴의 2차원 정면사진 이미지를 입력받는 단계와, 입력받은 2차원 이미지에 제어점을 설정해주는 단계와, 이를 이용하여 미리 만들어져 있는 3차원 기본 모델을 2차원 이미지에 일치하도록 변형시키는 단계와, 3차원 변형모델에 상기 2차원 이미지의 텍스쳐(texture)를 매핑하는 단계를 포함하는 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법"을 제공한 바 있다.

상기한 종래기술 및 선행기술의 3D 모델링은 상당기간 훈련을 받은 전문기술이 필요한 분야로 일반인 특히 어린 학생들이 제작하기는 많은 어려움이 있었는데 본 발명은 이를 해결하는 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법을 제공하고자 한다.

또한 본 발명은 특히 향후 3D 프린터가 가정 집에도 널리 보급화되는 전망으로 본 발명은 어린이 및 일반인들도 쉽게 모델링을 할 수 있는 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법을 제공하고자 한다.

본 발명은 상기한 문제점 및 요구를 해결하기 위하여,

이미지를 입력 받는 단계(101),

이미지를 전처리하는 단계(102),

이미지를 세그멘테이션하는 영역분리 단계(103),

이미지에 영역에 버텍스를 부여하는 단계(104),

3차원 버텍스의 위치계산단계(105),

후면 모델 생성 단계(106),

전면모델 생성단계(107), 전면버텍스 조절단계(108),

렌더링 단계(109)를 포함하여 구성된 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법을 제공한다.

또한 본 발명은 상기 3차원 버텍스의 위치계산단계(105)는,

이미지 전경영역의 중심 좌표(centerX,centerY)를 평균계산 방법으로 산출하는 과정(단계),

이미지 공간상의 좌표(x,y)에 각각 활당된 3차원 모델의 버텍스 좌표(V_{x ,} V_y, V_z)를 연산식으로 산출하는 과정으로 이루어진 것을 특징으로 하는 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법을 제공한다.

(상기 연산식은 V_x=S_x(x-centerX)

V_y=S_y(centerX -y)

V_z=S_zr(y)cosθ 이고,

상기 수식에서 θ = π(centerX -x)/2r(y) 이며, S_x, S_y, S_z 는 스케링 인수, r(y)는 이미지 평면 전경 수평축 이미지의 길이를 의미함)

본 발명에 따른 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법은 비전문가인 어린이 및 일반인들도 쉽게 3D 모델링을 할 수 있도록 하는 효과가 창출된다.

도 1은 본 발명에 따른 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법을 보여주는 순서 도면.
도 2는 본 발명에 따른 이미지 영역 버텍스 분배의 실시 예.
도 3은 본 발명에 따른 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법에 의하여 제조된 3D 제품 사진.
도 4는 본 발명의 실시 예에 따른 에지 추출 영상처리 결과.
도 6은 전경으로 분리된 이미지 위에 일정한 간격으로 버텍스를 배열하고 버텍스를 이용하여 면을 생성하는 원리를 설명하는 도면.

이하 본 발명을 도면을 참고하여 상세히 설명하고자 한다.

본 발명은 이미지를 입력 받는 단계(101), 이미지를 전처리하는 단계(102), 이미지를 세그멘테이션하는 영역분리 단계(103), 이미지에 영역에 버텍스를 부여하는 단계(104), 3차원 버텍스의 위치계산단계(105), 후면 모델 생성 단계(106), 전면모델 생성단계(107), 전면버텍스 조절단계(108), 렌더링 단계(109)를 포함하여 구성된 것을 특징으로 한다.

본 발명의 상기한 이미지 입력 단계(101)는 웹캡으로 캡처한 이미지, 컴퓨터 폴더 및 인터넷을 통하여 획득한 이미지를 입력으로 받는 과정을 의미한다.

본 발명의 상기한 이미지 전처리 단계(102)는 입력된 영상으로부터 관심 영역을 분류하기 위하여 에지(edge) 추출 또는/및 영상팽창 처리를 하는 과정을 의미한다.

본 발명의 전처리 단계에서 수행하는 에지를 추출하는 하나의 방법으로는 아래와 같이 입력된 영상으로부터 에지를 추출하는 단계로 수행할 수 있다.

본 발명은 상기한 에지를 추출하는 단계를 수행하기 전에 입력된 영상을 그레이 이미지로 변환하는 단계를 수행할 수 있다.

상기 입력된 영상이 칼라 이미지이던지 흑백 이미지이던지 관계없이 그레이 이미지로 변환하며, 상기의 변환된 그레이(gray) 이미지는 저역 필터로 처리하거나 눈코입을 검출하거나 또는 에지 추출 용도로 활용하게 된다.

상기한 그레이 이미지로 변환하는 단계는 칼라 이미지를 흑백 이미지로 변환하는 통상적인 이미지 변환 방법을 사용할 수 있다.

그리고 본 발명은 그레이 이미지로 변환된 영상에서 윤곽이 분명한 명암의 라인을 통하여 에지를 추출하게 된다.

본 발명의 상기한 영역분리 단계(103)는 전처리를 한 영상으로부터 전경과 배경을 분리하는 세그멘테이션(segmentation) 연산을 수행하는 과정을 의미한다.

상기한 영역분리 단계는 앞서 전처리 과정에서 에지를 추출한 영상에서 전경과 배경을 분리하는 과정을 의미한다.

따라서 이러한 전경과 배경을 분리하는 과정은 통상의 이미지 처리 방법을 통하여 수행할 수 있다.

본 발명에서 3차원 모델을 생성하기 위해서 모델 공간의 버텍스의 위치를 설정한다.

[도 5]는 전경으로 분리된 이미지 위에 일정한 간격으로 버텍스를 배열하고 버텍스를 이용하여 면을 생성하는 원리를 설명하는 것을 보여준다.

상기 버텍스의 위치는 이미지 좌표의 x축과 y축을 모델공간의 x축과 y축으로 사용하고 z축은 x축과 y축의 상대적 위치에 따라 계산을 한다.

본 발명은 상기한 바처럼 필요한 얼굴 부분만을 검출하기 위하여 영상의 세그멘테이션 작업이 필요하고 또한 버텍스의 위치를 설정하는 작업이 필요하다.

본 발명의 상기 에지 추출 후에 영역분리 단계, 즉 전경과 배경을 분리하는 단계는 얼굴 이미지에 가상의 수평 라인을 가정하면 즉, 한쪽 가장자리에서 시작한 라인이 다른 가장자리까지 이어지는 라인에서 에지가 처음 검출된 위치와 마지막에 검출된 위치 사이를 전경 부분으로 간주하여 수행할 수 있다.

본 발명에서는 증명사진과 같이 이미지의 배경부분이 단순한 이미지를 사용하다는 가정으로 [도 4]와 같이 에지 검출을 하여 전경과 배경을 분리한 것을 보여준다.

본 발명의 상기한 이미지 영역 버텍스 분배과정(104)은 전경 이미지 영역에 일정한 간격으로 수평 측을 설정하고 각각의 수평 측에 일정한 개수의 버텍스 포인트를 설정하는 과정을 한다.

따라서 상기한 버텍스 포인트의 개수에 의해 3D 모델의 해상도가 결정된다.

본 발명의 상기한 3차원 버텍스 위치 계산단계(105)를 수행한다.

상기한 3차원 버텍스 위치 계산단계(105)는 다음과 같다.

먼저 이미지 전경영역의 중심 좌표(centerX,centerY)를 평균계산 방법으로 산출하는 과정(단계)을 수행한다.

그리고 이미지 공간상의 좌표(x,y)에 각각 활당된 3차원 모델의 버텍스 좌표(V_{x ,} V_y, V_z)를 다음과 같은 방법으로 산출하는 과정을 수행한다.

V_x=S_x(x-centerX)

V_y=S_y(centerX -y)

V_z=S_zr(y)cosθ

상기 수식에서 θ = π(centerX -x)/2r(y) 이며, S_x, S_y, S_z 는 스케링 인수, r(y)는 이미지 평면 전경 수평축 이미지의 길이이다.

모델의 전면 부분의 버텍스 좌표는 (V_{x ,} V_y, V_z)이며, 후면 부분의 버텍스 좌표는 (V_{x ,} V_y, -V_z)가 된다.

앞과 뒤의 면의 노멀벡터는 서로 반대 방향이 된다.

상기의 버텍스좌표 계산을 완료하면 앞면 또는 뒤면 방향의 면을 생성하는 후면 모델 생성 단계(106) 과정 및 전면모델 생성단계(107) 과정을 수행하게 된다.

상기한 후면 모델 생성 단계(106) 및 전면모델 생성단계(107) 과정은 순서가 서로 바뀌어도 무방하다.

또한 다음 단계는 앞면을 뒤면과 다르게 설정하는 부분으로 이미지 영상의 계조정보를 이용하거나 또는 에지정보를 이용하여 이미지에 따라 앞면을 형상화하는 전면버텍스 조절단계(108)를 수행하게 된다.

상기 전면버텍스 조절단계 수행은 하기의 식에 의하여 수행되게 된다.

즉, 식은 V_z = V_z + αf(x,y)/G_max 이다.

상기 수식에서 α는 스켈링인자, f(x,y)는 이미지 평면상의 계조 값 또는 에지 유무에 대한 정보이며, G_max 는 계조값의 최대값이며 3D를 생성하려는 특정 물체에 대하여 각각이 기설정된 값으로 입력될 수 있다.

상기한 과정을 수행한 후 3D 화면으로 출력하거나 3D 프린터로 실물을 출력하는 렌더링 단계(109)를 수행하게 된다.

본 발명은 상기한 단계 또는 과정으로 이루어진 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법을 제공한다.

본 발명은 3차원으로 모델링하는 소프트웨어 또는 하드웨어를 생산, 제조, 유통하는 산업에 매우 유용한 발명이다.

특히 본 발명은 일반인 특히 어린 학생들을 위한 3차원으로 모델링 산업 및 향 후 3D 프린터가 가정 집에도 널리 보급화됨에 따라 이러한 보편적 모델링 산업에 특히 유용한 발명이다.

이미지를 입력 받는 단계(101), 이미지를 전처리하는 단계(102),
이미지를 세그멘테이션하는 영역분리 단계(103),
이미지에 영역에 버텍스를 부여하는 단계(104), 3차원 버텍스의 위치계산단계(105),
후면 모델 생성 단계(106), 전면모델 생성단계(107),
전면버텍스 조절단계(108), 렌더링 단계(109).

Claims (2)

1. 이미지를 입력 받는 단계(101),
   이미지를 전처리하는 단계(102),
   이미지를 세그멘테이션하는 영역분리 단계(103),
   이미지에 영역에 버텍스를 부여하는 단계(104),
   3차원 버텍스의 위치계산단계(105),
   후면 모델 생성 단계(106), 전면모델 생성단계(107),
   전면버텍스 조절단계(108),
   렌더링 단계(109)를 포함하되,
   상기 3차원 버텍스의 위치계산단계(105)는,
   이미지 전경영역의 중심 좌표(centerX,centerY)를 평균계산 방법으로 산출하는 과정,
   이미지 공간상의 좌표(x,y)에 각각 활당된 3차원 모델의 버텍스 좌표(V_x, V_y, V_z)를 연산식으로 산출하는 과정으로 이루어진 것을 특징으로 하는 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법.
   (상기 연산식은 V_x=S_x(x-centerX)
   V_y=S_y(centerX -y)
   V_z=S_zr(y)cosθ 이고,
   상기 수식에서 θ = π(centerX -x)/2r(y) 이며, S_x, S_y, S_z 는 스케링 인수, r(y)는 이미지 평면 전경 수평축 이미지의 길이를 의미함)
   
2. 제1항에 있어서,
   상기 전면버텍스 조절단계(108)는
   V_z = V_z + αf(x,y)/G_max 의 수식으로 수행되는 것을 특징으로 하는 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법.
   (상기 수식에서 α는 스켈링인자, f(x,y)는 이미지 평면상의 계조 값 또는 에지 유무에 대한 정보이며, G_max 는 계조값의 최대값을 의미함)
   
   

Images