KR100837776B1 - 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 그 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 컴퓨터 그래픽스를 이용한 처리 방식과 컴퓨터 비전 처리 방식을 접목시켜 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.

3. 발명의 해결방법의 요지

본 발명은, 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치에 있어서, 여러 각도에서 촬영된 대상 물체의 여러 2차원 영상 간의 3차원 공간에서 동일한 물리적 점들의 정보를 입력받아, 상기 동일한 물리적 점들의 정보를 이용하여 에피폴라 기하 원리로 상기 여러 2차원 영상 간의 기하학적 관계 데이터를 추출하기 위한 데이터 입력수단; 상기 동일한 물리적 점들의 정보와 상기 기하학적 관계데이터로부터 점들의 위치 및 각 점들 간의 기하학적 관계를 이용하여, 각 점들 간의 연결시에 보간법을 적용한 곡선화를 통하여 상기 대상 물체의 공간화 모델을 구현하고, 상기 공간화 모델에 질감을 표현하여 3차원 모델링 데이터를 생성하기 위한 데이터 생성수단; 상기 3차원 모델링 데이터를 저장하기 위한 데이터 저장수단; 상기 데이터 입력수단, 데이터 생성수단, 데이터 저장수단의 동작을 제어하기 위한 데이터 제어수단; 및 상기 데이터 제어수단의 제어하에, 상기 3차원 모델링 데이터를 표시하기 위한 데이터 표시수단을 포함함.

4. 발명의 중요한 용도

본 발명은 영상기반 3차원 모델링 제작 시스템 등에 이용됨.

2차원 영상, 3차원 영상, 영상 변환, 컴퓨터 그래픽스, 컴퓨터 비젼, 에피폴라 기하, 곡선화

Description

2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 그 방법{Apparatus and Method for Converting 2D Images to 3D Object}

도 1 은 본 발명이 적용되는 컴퓨팅 시스템의 구성예시도.

도 2 는 본 발명에 따른 영상 변환 장치의 일실시예 상세 구성도.

도 3 은 본 발명에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 변환 방법에 대한 일실시예 흐름도.

도 4a 는 본 발명에 따른 영상 변환 방법 중 에피폴라 기하를 구하는 과정을 설명하기 위한 도면.
도 4b 및 4c 는 본 발명에 따른 영상 변환 방법 중 곡선화 과정을 설명하기 위한 도면.

* 도면의 주요 부분에 대한 부호의 설명

201 : 데이터 제어모듈 202 : 데이터 입력모듈

203 : 데이터 생성모듈 204 : 데이터 저장모듈

205 : 데이터 표시모듈

본 발명은 컴퓨터 그래픽스 처리 방식과 컴퓨터 비전 처리 방식을 접목시켜 2차원 사진영상을 3차원 영상으로 변환하는 영상 변환 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

3차원 모델링 구현은 멀티미디어 중심의 3차원 실세계에 대한 사용자들의 요구가 증대되는 관계로 매우 관심을 받고 있는 분야로서, 인터넷 전자상거래, 엔터테인먼트, 컨텐츠 제공 등에 그 적용이 확산되고 있으며, 이는 종래의 2차원으로 제공되는 상기한 사항들에 대하여 사이버 상에서 체득할 수 있는 현실감을 느끼도록 하는데 기여하여 사용자들의 인터넷 생활을 좀 더 풍요롭게 할 수 있는 장점을 지니게 할 수 있다.

이러한 3차원 모델링 구현은 컴퓨터 그래픽스를 이용한 처리 방식과 컴퓨터 비전 처리 방식이 있다.

먼저, 컴퓨터 그래픽스를 이용한 처리 방식은 2차원으로 촬영된 피사체의 기하학적 모델을 반영하여 피사체의 표면을 묘사한 후 렌더링 과정을 거쳐 2차원 사진영상을 3차원으로 표현하는 방식이며, 컴퓨터 비전 처리 방식은 2차원 영상 특징의 식별, 잡음 제거를 위한 필터링 및 원하는 크기로 2차원 영상을 재 샘플링하는 방식으로 3차원 모델을 구현하는 방식이다.

종래의 3차원 모델의 구현방식은 전통적인 캐드 툴을 이용하여 구현하였는데, 이는 제작비용이 비싸다는 점 때문에 일반적으로 통용되기 어려운 문제점이 있 었다.

본 발명은, 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 컴퓨터 그래픽스를 이용한 처리 방식과 컴퓨터 비전 처리 방식을 접목시켜 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명은, 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치에 있어서, 여러 각도에서 촬영된 대상 물체의 여러 2차원 영상 간의 3차원 공간에서 동일한 물리적 점들의 정보를 입력받아, 상기 동일한 물리적 점들의 정보를 이용하여 에피폴라 기하 원리로 상기 여러 2차원 영상 간의 기하학적 관계 데이터를 추출하기 위한 데이터 입력수단; 상기 동일한 물리적 점들의 정보와 상기 기하학적 관계데이터로부터 점들의 위치 및 각 점들 간의 기하학적 관계를 이용하여, 각 점들 간의 연결시에 보간법을 적용한 곡선화를 통하여 상기 대상 물체의 공간화 모델을 구현하고, 상기 공간화 모델에 질감을 표현하여 3차원 모델링 데이터를 생성하기 위한 데이터 생성수단; 상기 3차원 모델링 데이터를 저장하기 위한 데이터 저장수단; 상기 데이터 입력수단, 데이터 생성수단, 데이터 저장수단의 동작을 제어하기 위한 데이터 제어수단; 및 상기 데이터 제어수단의 제어하에, 상기 3차원 모델링 데이터를 표시하기 위한 데이터 표시수단을 포함하는 것을 특징으로 한다.

한편, 본 발명은, 2차원 영상을 3차원 영상으로 변환하는 영상 변환 방법에 있어서, 여러 각도에서 촬영된 대상 물체의 2차원 영상을 획득하는 단계; 상기 획득된 여러 2차원 영상 간의 3차원 공간에서 동일한 물리적 점들의 정보를 입력받는 단계; 상기 동일한 물리적 점들의 정보를 이용하여 에피폴라 기하 원리로 상기 여러 2차원 영상 간의 기하학적 관계 데이터를 추출하는 단계; 상기 동일한 물리적 점들의 정보와 상기 기하학적 관계데이터로부터 점들의 위치 및 각 점들 간의 기하학적 관계를 이용하여, 각 점들 간의 연결시에 보간법을 적용한 곡선화를 통하여 상기 대상 물체의 공간화 모델을 구현하는 단계; 및 상기 공간화 모델에 질감을 표현하여 3차원 모델을 구현하는 단계를 포함하는 것을 특징으로 한다.

다른 한편, 본 발명은, 2차원 영상을 3차원 영상으로 변환하기 위해, 프로세서를 구비한 영상 변환 장치에, 여러 각도에서 촬영된 대상 물체의 2차원 영상을 획득하는 기능; 상기 획득된 여러 2차원 영상 간의 3차원 공간에서 동일한 물리적 점들의 정보를 입력받는 기능; 상기 동일한 물리적 점들의 정보를 이용하여 에피폴라 기하 원리로 상기 여러 2차원 영상 간의 기하학적 관계 데이터를 추출하는 기능; 상기 동일한 물리적 점들의 정보와 상기 기하학적 관계데이터로부터 점들의 위치 및 각 점들 간의 기하학적 관계를 이용하여, 각 점들 간의 연결시에 보간법을 적용한 곡선화를 통하여 상기 대상 물체의 공간화 모델을 구현하는 기능; 및 상기 공간화 모델에 질감을 표현하여 3차원 모델을 구현하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1 은 본 발명이 적용되는 컴퓨팅 시스템의 구성예시도이다.

도면에서, "110"은 3차원 데이터 모델링 장치, "121"은 운영체제, "122"는 마이크로 명령코드, "123"은 메인 메모리, "124"는 제어부, "125"는 통신/입출력 인터페이스, "130"은 입력부, "140"은 출력부, "150"은 모델링 데이터베이스를 각각 나타낸다.

3차원 데이터 모델링 장치(110)는 컴퓨터 시스템에 부가되어 있어서, 외부로부터 입력받은 2차원 데이터를 이용하여 3차원 모델링 데이터로 변환한 후, 저장하거나 출력한다.

모델링 데이터베이스(150)에는 대상 물체의 질감을 표현하기 위한 정보가 저장되어 있어서, 3차원 데이터 모델링 장치(110)의 제어신호에 따라 대상 물체의 질감정보를 변경시키기 위해 사용된다.

그외, 운영체제(121), 마이크로 명령코드(122), 메인 메모리(123), 제어부(124), 통신/입출력 인터페이스(125), 입력부(130), 출력부(140)는 기존의 컴퓨팅 시스템과 같은 구성 및 역할을 담당하고, 이미 공지된 기술이므로 여기서는 자세하게 언급하지 않는다.

한편, 현재 국내에서는 영상기반 3차원 가상현실감을 제작할 수 있는 저작도구가 개발되어 있지 않은 상태이며, 파노라믹 영상을 생성하는 기본적인 저작 툴이 개발되고 있는 수준이다.

도 2 는 본 발명에 따른 영상 변환 장치의 일실시예 상세 구성도이다.

도 2에 도시된 바와 같이, 본 발명에 따른 영상 변환 장치는, 외부에서 기 획득한 대상 물체의 2차원 영상을 이용하여 검출한 데이터에서 3차원 공간에서 표현되는 물리적 점들에 대한 데이터를 입력받는 데이터 입력모듈(202), 데이터 입력모듈(202)을 통하여 입력받은 데이터를 이용하여 대상 물체에 대하여 곡선화 기능을 적용하여 3차원 모델링 데이터를 생성하는 데이터 생성모듈(203), 상기 데이터 생성모듈(203)에서 생성된 3차원 모델링 데이터를 저장하는 데이터 저장모듈(204), 상기 데이터 입력모듈(202), 데이터 생성모듈(203), 데이터 저장모듈(204)의 동작을 제어하는 데이터 제어모듈(201), 그리고 상기 데이터 제어모듈(201)의 제어 신호에 따라 상기 데이터 저장모듈(204)에 저장되어 있는 3차원 모델링 데이터를 표시하는 데이터 표시모듈(205)를 포함한다.

상기 각각의 구성요소를 좀 더 상세히 설명하면 다음과 같다.

데이터 제어모듈(201)은 데이터 입력모듈(202)을 통해 데이터를 입력받았을 경우, 3차원 모델링 데이터를 생성하는 데이터 생성모듈(203)의 동작을 제어하고, 생성된 3차원 모델링 데이터를 저장하는 데이터 저장모듈(204)의 동작을 제어하며, 생성된 3차원 모델링 데이터를 표시하는 데이터 표시모듈(205)의 동작을 제어한다.

데이터 입력모듈(202)은 외부에서 기 획득한 대상 물체의 2차원 영상을 이용하여 검출한 데이터에서 3차원 공간에서 표현되는 물리적 점들에 대한 데이터를 입력받는다.

데이터 생성모듈(203)은 데이터 입력모듈(202)을 통하여 입력받은 데이터를 이용하여 대상 물체에 대하여 곡선화 기능을 적용하여 3차원 모델링 데이터를 생성한다.

데이터 저장모듈(204)은 데이터 생성모듈(203)에서 생성된 3차원 모델링 데이터를 저장한다.

데이터 표시모듈(205)은 데이터 제어모듈(201)에서 발생한 신호에 따라, 데이터 저장모듈(204)에 저장되어 있는 3차원 모델링 데이터를 표시한다.

도 3 은 본 발명에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 변환 방법에 대한 일실시예 흐름도이다.

도 3에 도시된 바와 같이, 본 발명에 따른 영상 변환 방법은, 먼저 3차원 모델링을 하고자 하는 대상 물체를 여러 각도에서 촬상하여 다수의 2차원 영상을 획득한다(301).

다음으로, 상기 획득된 여러 영상간의 3차원 공간에서 같은 물리적 점들의 정보를 물리적 점들의 정보를 입력받아(302) 상기 입력 정보를 이용하여 에피폴라 기하원리로 상기 여러 영상간의 기하학적 관계 데이터를 추출한다(303).

이어서, 대상 물체에 대하여 입력정보와 기하학적 관계 데이터를 이용하여 곡선화 기능을 적용한 후, 상기 대상 물체의 공간화 모델을 구현한다(304).

상기 구현된 공간화 모델에 표면 정보처리를 하여 완성된 3차원 모델을 구현한다(305).

그리고, 완성된 3차원 모델을 가상 현실 모델링 언어(Virtual Reality Modeling Language : VRML) 형태로 구현한다(306).

상기한 바와 같은, 본 발명에 따른 영상 변환 방법을 좀 더 상세히 설명하면 다음과 같다.

먼저, 3차원으로 모델링하고자 하는 대상 물체를 여러 각도에서 촬영하여 다수의 2차원 영상을 획득한다(301).

여기서는, 3차원 구현 대상 물체의 영상을 획득하는 단계로서 통상 효과적인 3차원 영상을 구현하기 위해서는 여러 장의 2차원 소스(source) 영상의 최적화가 필요하다. 이를 위해서, 본 발명에서는 대상 물체의 공간적 특징이 잘 나타날 수 있는 부분들을 선택하여 그 부분에 여러 대의 카메라를 상호간의 촬영 각도를 고려하여 설치한다. 즉, 각 카메라에 의해 촬영되는 부분에 모두 대상 물체의 특징 점들이 반영되도록 한다.

다음으로, 상기 획득된 여러 영상간의 3차원 공간에서 같은 물리적 점들의 정보를 입력한다(302).

여기서는, 획득된 여러 영상 정보를 이용하여 이를 3차원의 한 영상 정보로 구현했을 시에 동일 물리적 위치를 갖는 점들의 위치를 추출하여 도 2에 도시된 3차원 데이터 모델링 장치(110)의 데이터 입력모듈(202)을 사용하여 입력하는 단계로서, 동일 물리적 위치를 갖는 점들의 위치 추출은 A4 용지를 벽에 붙이고, 카메라 렌즈 중심과 A4 용지 중심점을 연결했을 때 바닥 면과 평행이 되도록 하여, 종이 영상을 촬영한다. 이때, 렌즈와 종이간의 거리를 측정한 후, 종이크기(P_width, P_height), 초점거리(fl), 카메라 렌즈와 종이간 거리를 입력받아서, 전하결합소자(CCD : Charge-Coupled Device)의 크기(CCD_x, CCD_y), 좌표값 xy, 초점거리, 해상도(통상 카메라의 시점으로부터 거리가 증가할수록 해상도는 감소함)를 구하고, 이들 값을 구하기 위한 카메라 프레임은 하기 [수학식 1]을 사용한다.

여기서, "CCD_x"는 CCD 상에 기록된 A4 용지의 가로 크기, "CCD_y"는 CCD 상에 기록된 A4 용지의 세로 크기이다. CCD 상에 기록된 A4 용지의 크기(CCD_x, CCD_y)는 초점거리(fl), 실제 A4 용지의 크기(P_width, P_height)를 알고 있으므로, 초점과 종이 간의 거리(α)(이는 렌즈와 종이간의 거리로부터 알 수 있음)만 알면 구할 수 있다.

이어서, 상기 입력된 정보를 이용하여 상기 여러 영상간의 기하학적인 관계 데이터를 추출한다(303).

여기서는, 여러 영상에 있어서 동일한 물리적 점들간의 기하학적 관계(예를 들면, 거리, 각도 등)를 상기 획득된 여러 영상간의 3차원 공간에서 같은 물리적 점들의 정보를 입력하는 과정(302)에서 추출한 점들의 위치로부터 설정하는 단계이며, 상기 기하학적 관계의 추출은 에피폴라 기하(epipolar geometry)의 원리가 적용된다.

다음으로, 상기 대상 물체에 대하여 입력정보와 기하학적 관계를 이용하여 곡선화 기능을 적용하여 상기 대상 물체의 공간화 모델을 구현한다(304).

상기 대상 물체의 공간화 모델을 구현하는 과정(304)은 점들의 위치 및 각 점들간의 기하학적 관계를 이용하여 각 점들간을 연결 시에 곡선화를 통하여 대상 물체의 공간화 모델을 구현하는 단계이다.

여기에서, 상기 여러 영상간의 3차원 공간에서 같은 물리적 점들의 정보를 입력하는 과정(302)과 대상 물체의 공간화 모델을 구현하는 과정(304)의 수행 내용을 상세히 설명하면 다음과 같다.

먼저, 카메라 위치와 관련해서 영상에 있는 여러 점들의 거리를 계산하는 것은 중요한 작업 중의 하나이며, 3차원 정보를 재구성하기 위하여 다음 단계로 작업이 이루어진다.

먼저, 점 대응 정보를 이용하여 기본 행렬(fundamental matrix)과 필수 행렬(essential matrix)을 계산한다. 그리고, 에피폴라 기하(epipolar geometry)를 구해내고, 인접한 두 영상의 길이를 구한다.

다음으로, 영상간 대응 3차원 구조를 구한다.

여기서, 에피폴라 기하를 구하는 방법은 도 4a를 이용하여 설명한다.

도 4a 및 4c 는 본 발명에 따른 에피폴라 기하를 구하는 방법에 대한 일실시예 설명도이다.

2대의 핀홀 카메라와 두 카메라의 중심 O_l과 O_r, 영상평면 π_l과 π_r 이 있고 초점거리는 f_l과 f_r로 표시된다.

상기 각 카메라는 3차원 참조 프레임, 투영중심과 일치하는 시작점, 그리고 광학축으로 Z축을 갖는다.

먼저, 벡터

와

이 동일한 3차원 점 P를 가리키고, 상기 벡터

와

은 각 카메라 참조 프레임에서의 벡터이고, 벡터

,

는 각 영상평면으로 점 P를 투영함을 의미하고, 대응 참조 프레임에서 표현된다. 모든 영상 점들에 대하여, z_l=f_l 이거나 z_r=f _r 이다.

각 영상평면은 투영공간 P²의 부분집합이므로, 마찬가지로 영상 점들은 투영공간 P² 의 점이다.

한편, 두 카메라의 참조 프레임간의 관계를 외부 파라미터를 사용하여 나타낼 수 있다. 이러한 관계가 이동 벡터 T=(O_r-O_l)과 행렬 R로 정의되는 3차원 공간상의 변환을 정의한다. 따라서, 공간상의 점 P가 주어졌을 때, P_l과 P_r 간의 관계는 하기 [수학식 2]와 같다.

각각의 에피폴(epipole)을 e_l과 e_r이라 하자. 한 카메라의 에피폴(epipole)이 다른 카메라의 투영 중심의 영상이 된다.

한편, 3차원 공간에서의 점과 그것의 투영간의 관계를 원근법 투영 방정식에 의하여 표시하면 하기 [수학식 3] 및 [수학식 4]와 같다.

에피폴라 기하(epipolar geometry)에서는 P, O_l, O_r로 표시되는 에피폴라 평면(epipolar plane)이 에피폴라 선(epipolar line)에서 각 영상과 교차한다. (P, p_l, p_r)에 대하여 p_l 이 주어졌을 때 P는 O_l 에서 p_l 을 통과하는 주사선 상에 위치한다. 그러나, 다른 영상에서 이 주사선의 영상이 대응점 p_r 을 통과하는 에피폴라 선(epipolar line)이기 때문에, 정확하게 일치하는 점이 에피폴라 선(epipolar line) 상에 있어야 한다. 이것은 에피폴라 조건으로서 이러한 에피폴라(epipolar) 조건에 의하여, 한 영상에서의 점은 다른 영상에서의 선과 맵핑 관계를 갖는다.

따라서, 한 영상에서의 점과 다른 영상에서의 대응 에피폴라 선(epipolar line) 간의 맵핑 관계가 결정되면, 대응하는 에피폴라 선(epipolar line)을 따라 p_l의 대응점을 찾도록 처리과정을 국한시킬 수 있다. 즉, 1차원 문제로 연역할 수 있다.

마찬가지 방법으로, 후보 대응점이 대응하는 에피폴라 선(epipolar line)에 있는지 여부도 확인할 수 있다. 이것은 장애물 때문에 잘못된 대응점 정보를 제거하는데 효과적인 과정이다.

한편, 상기 필수 행렬(Essential Matrix), E에 대한 설명은 다음과 같다.

P를 통과하는 에피폴라 평면(epipolar plane)의 방정식은 벡터 P_l, T, P_l-T를 사용하여 하기 [수학식 5]와 같이 나타낸다.

그리고, 상기 [수학식 2]를 활용하면 하기 [수학식 6]을 유도할 수 있다.

상기 [수학식 6]에 나타난 식을 이용하면, 하기 [수학식 7]과 [수학식 8]을 유도할 수 있다.

P_r ^T E P_l=0

E=RS

여기서, 상기 행렬 E는 필수 행렬(essential matrix)이라 불리고, 입체 영상의 에피폴라(epipolar) 조건과 외부 파라미터간의 관계를 설정한다.

상기 필수 행렬(essential matrix)에서 외부 파라미터를 구하는 방법을 제시 한다. 상기 [수학식 3]과 [수학식 4]를 사용하고 Z_rZ_l로 나누면 [수학식 7]은 하기 [수학식 9]로 바뀐다.

p_r ^T E p_l =0

영상 점 p_l과 p_r이 두 영상 평면으로 정의된 투영평면 P²의 점으로 간주될 수 있다. 결론적으로 한 평명에서의 투영선 u_r은 하기 [수학식 10]으로 나타난다.

상기 [수학식 9]와 [수학식 10]에서 보듯이, 필수 행렬(essential matrix)은 찾고자 하는 점과 에피폴라 선(epipolar line) 간의 맵핑 관계이다.

앞선 필수 행렬(Essential Matrix), E에서는 대응점 정보만을 사용하여 점과 에피폴라 선(epipolar line) 간의 맵핑을 구하였다.

두 카메라의 내무 파라미터의 행렬은 M_l과 M_r이라 하자.

과

이 카메라 좌표에서 p_l과 p_r에 대응하는 픽셀 좌표에 있는 점이라 하면, p_l은 하기 [수학식 11]과 같고, p_r은 하기 [수학식 12]와 같다.

상기 [수학식 11], [수학식 12]를 상기 [수학식 9]에 대입하면, 하기 [수학식 13], [수학식 14]와 같이 된다.

여기서, F는 기본 행렬(fundamental matrix)이다. 상기 필수 행렬(essential matrix)과 기본 행렬(fundamental matrix)은 형식적 측면에서 대단히 비슷하다.

에 대응하는 것으로 보이는 [수학식 9]의 E p_l과 [수학식 13]의

에서처럼 투영 에피폴라 선(epipolar line)

의 방정식은 다음의 [수학식 15]와 같다.

기본 행렬(fundamental matrix)은 픽셀 좌표와 관계되고, 필수 행렬(essential matrix)은 카메라 좌표와 관계가 있다.

결론적으로, 픽셀 좌표에서의 많은 점들의 쌍으로부터 기본 행렬(fundamental matrix)을 산정함으로써 내부 및 외부 파라미터에 대한 정보없이 에피폴라 기하(epipolar geometry)를 재구성할 수 있다.

즉, 점과 대응 에피폴라 선(epipolar line)간의 매핑관계 때문에 에피폴라(epipolar) 조건이 입체 파라미터에 대한 사전 계산 없이 구축될 수 있다. 이러한 원리에서 본 시스템 대응점 좌표값을 통하여 기본 행렬(fundamental matrix)을 구하고, 에피폴라(epipolar geometry)를 계산해 내고, 영상간 3차원 구조를 구한다.

여기에서, E와 F를 구하는 방법은 다음과 같다.

두 영상간에 n개의 대응 점 정보를 입력 값으로 사용하고, 기본 행렬(fundamental matrix) F'의 측정값을 출력한다. 각 대응점에 대하여 [수학식 13]과 같이 동차 선형 방정식 F를 만든다.

먼저, n개의 대응점으로부터 [수학식 13]에 적용한다. 이때, A가 n x 9 계수 행렬이고 A=U D V^T 라 정하자.

다음으로, F의 엔트리는 A의 가장 작은 단일 값에 대응하는 V의 행 컴포넌트이다. 그리고, 유일하다는 조건에 따라, 아래와 같이 F를 계산한다.

F = U D V^T

이어서, D의 대각선에 가장 작은 유일 값을 0으로 설정한다. 이때, 이 수정된 행렬을 D'이라 하자.

그리고, F의 수정된 측정값 F'을 아래 식에 의하여 구한다.

F' = U D' V^T

한편, 다음의 방법으로 E와 F를 이용하여 에피폴(epipole) 위치를 구한다.

먼저, 에피폴(epipole)과 두 행렬 E와 F간의 관계를 구축하고, 기본 행렬(fundamental matrix) F를 입력으로 받아들여, 에피폴(epipole) e_l과 e_r을 구한다.

다음으로, F의 SVD를 아래 식을 이용하여 계산한다.

F=UDV^T

여기서, 에피폴라(epipolar) e_l은 null값에 대응하는 V의 행이고, 에피폴라(epipolar) e_r은 null값에 대응하는 U의 행이다.

한편, 3차원 재구성을 위하여 카메라 내부 파라미터만이 알려진 상태에서 대상 물체의 3차원 구조와 외부 파라미터를 측정해내는 방법은 필수 행렬(essential matrix)을 사용하는데, 이 경우에는 관찰된 물체의 실제 크기를 알 수 없기 때문에 크기 요소를 임으로 정할 때 유일한 재구성이 가능하며, 이 크기 요소는 두 점간의 거리를 안다면 결정될 수 있다.

먼저, 필수 행렬(essential matrix), E를 측정한다.

상기 필수 행렬(essential matrix) [수학식 8]의 정의에서, 다음 식을 구할 수 있다.

상기 [수학식 16]에서 EE^T를 추적하여 다음 값을 구할 수 있다.

로 필수 행렬(essential matrix)의 엔트리를 나눔으로써 전이 벡터의 길이를 정규화 한다.

이러한 정규화를 사용하여 [수학식 16]은 다음 식으로 나타난다.

여기서,

는 정규화된 필수 행렬(essential matrix),

는 정규화된 전이 벡터를 각각 나타낸다.

회전 행렬을 대수적인 계산으로 아래와 같이 획득할 수 있다.

여기서,

는 정규화된 필수 행렬(essential matrix)

의 3개의 열로 구성된다.

R_i를 회전행렬 R의 열이라 하면, 상기 Ri는 하기 [수학식 19]와 같이 나타낼 수 있다.

여기서, (i,j,k) : (1,2,3,), (2,3,1,), (3,1,2,)

상기 [수학식 1], [수학식 3]과

이므로,

이며,

p_r의 첫 번째 컴포넌트에 대하여, 하기 [수학식 20]과 같이 나타난다.

상기 [수학식 20]을 [수학식 3]에 대입하면, Z_l에 대하여 하기 [수학식 21]을 구할 수 있다.

[수학식 2]에서 p_l의 다른 좌표와 다음의 [수학식 22]에서 P_r의 좌표를 구한다.

그리고, 모든 점에 대해서 Z_l과 Z_r 좌표를 구한다.

한편, 상기 대상 물체에 대한 곡선화 방법은 다음과 같은 방식을 사용한다.

첫번째는 보간법에 의한 블렌딩 다항식의 경우인데, 3차원 매개변수 다항식의 첫 사례는 3차원 보간법을 쓴 다항식이다.

컴퓨터 그래픽에서는 거의 보간법을 쓴 다항식을 사용하지 않지만, 이러한 친숙한 다항식의 유도가 다른 유형에 사용될 단계를 예시하고, 보간 다항식의 분석이 특정 곡선이나 면의 값을 구하는데 중요한 특징들을 예시한다.

3차원에서 4개의 제어점 p₀,p₁,p₂,p₃를 가정해 보자.

각 k=0,1,2,3 에 대하여

다항식 p(u)=p^Tc가 4개의 제어점을 통과하거나 보간하는 계수 c를 구해야 한다.

4개의 3차원 보간점을 갖고 있고, 따라서 12개의 조건과 12개의 알려지지 않은 값을 갖는다.

그러나, 먼저 보간이 발생하는 매개변수 u의 값을 결정하여야 한다.

다른 정보가 부족하기 때문에

로 균등하게 분포시킨 값을 갖도록 한다. 왜냐하면, u 가 [0,1] 사이에서 항상 변화하도록 하였기 때문이다.

따라서, 다음의 4가지 조건을 얻을 수 있다.

이를 행렬형식으로 표현하면 다음과 같다.

행렬형식으로 보간되어야 한다.

p와 c를 12개의 요소로 된 세로 행렬로서 보간하는 것은 행렬곱의 규칙을 위해하는 것이다. 대신에 각 요소가 크기 3의 가로 행렬인 크기 4의 세로 행렬로서 p와 c를 처리하도록 한다. A가 유일하지 않기 때문에 보간 기하 행렬을 구하도록 역 을 구할 수 있다.

또한, 계수 c=M_lp 이다.

제어점 p₀, p₁,..., p_m이 있다고 가정한다.

모든 점에 대하여 (m-1)차의 한 보간 곡선을 정의하기보다는, 3차 다항식을 유도함으로써 계산할 수 있다. 즉, 3차원 보간 곡선의 집합을 정의할 수 있다.

각 곡선은 4개의 제어점으로 정의하고, 각각은 u에서 유효하며, 연속성을 달성할 수 있다. 이것은, 하기 도 4c를 참조하면 된다.

p₀, p₁, p₂, p₃ 를 사용하여 첫 번째 세그먼트를 정의하고, p₃, p₄, p₅, p₆ 을 사용하여 두 번째 세그먼트를 정의하는 방식으로 계속할 수 있다.

각 세그먼트가 매개변수 u에 대하여 (0,1) 사이에서 다양하게 정의된다면, 행렬 M_I는 각 세그먼트에 대하여 동일하다. 비록 일련의 세그먼트들에 대해서는 연속성이 유지되지만, 미분 계수는 연속이 아닐 수 있다.

역간 다른 형태로 방정식을 재 작성함으로써 보간 다항식 곡선의 유연성으로 부가적 통찰력을 얻을 수 있다. 보간 계수를 다항식에 치환함으로써, 다음의 식을 구한다.

는 4개의 블렌딩 다항식의 세로 행렬

이다.

각 블렌딩 다항식은 3차원이다. P(u)를 이들 블렌딩 다항식으로 표현하면,

이다.

3차원 보간 다항식에 대한 이들 블렌딩 함수가 도 4c에서 나타나고, 다음 방정식으로 나타낼 수 있다.

두 번째 시스템 곡선 기능인 경우인데, 블렌딩 다항식의 단점이 미분값이 연속이 아닐 수 있다는 것이다. 다시 말하면, 값의 변화가 커서 연속되는 면이 부자연스러울 수 있다. 따라서, 본 발명은 내부적으로 더 많은 점을 생성시켜서 이러한 문제를 보완하는 방식을 채택하고 있다.

메뉴에서 선택할 수 있는 옵션으로 다음의 4가지가 있다.

- 1배 : [0,1]에서 곡선상의 점을 0.2간격으로 좌표값을 계산해낸다. 따라서 곡선을 표현하기 위하여 4개의 점이 더 추가된다.

- 2배 : [0,1]에서 곡선상의 점을 0.1간격으로 좌표값을 계산해낸다. 따라서, 곡선을 표현하기 위하여 9개의 점이 더 추가된다.

- 3배 : [0,1]에서 곡선상의 점을 0.075간격으로 좌표값을 계산해낸다. 따라서, 곡선을 표현하기 위하여 13개의 점이 더 추가된다.

- 4배 : [0,1]에서 곡선상의 점을 0.05간격으로 좌표값을 계산해낸다. 따라서, 곡선을 표현하기 위하여 19개의 점이 더 추가된다.

여기에서, 디폴트값은 1배이다.

그리고, 상기 획득된 여러 영상간의 3차원 공간에서 같은 물리적 점들의 정보를 입력하는 과정(302)에서 대상 물체에 대하여 입력정보와 기하학적 관계 데이터를 이용하여 곡선화 기능을 적용한 후, 상기 대상 물체의 공간화 모델을 구현하는 과정(304)을 반복하여 상기 대상 물체의 공간화 모델을 완성한 후, 상기 공간화 모델에 표면 정보처리를 하여 완성된 3차원 모델을 구현한다.

여기에서, 상기 대상 물체의 공간화 모델의 완성은 도 3에 도시된 3차원 데이터 모델링 장치(110)의 데이터 생성모듈(203)을 통하여 이루어지며, 상기 공간화 모델에 표면 정보처리를 하여 완성된 3차원 모델을 구현하는 과정(305)은 상기 대상 물체에 대하여 입력정보와 기하학적 관계 데이터를 이용하여 곡선화 기능을 적 용한 후, 상기 대상 물체의 공간화 모델을 구현하는 과정(304)를 통해 대상 물체의 완성된 공간화 모델(즉, 모양만 3차원으로 구현된 형태)에 텍스처(texture) 같은 물체의 질감을 표현하여 대상 물체의 현실감 있는 완성된 3차원 모델을 구현하는 단계이다.

여기에서, 공간화 모델에 표면 정보처리를 하여 완성된 3차원 모델을 구현하는 과정(305)도 데이터 생성모듈(113)을 통하여 이루어지고, 최종적으로 이루어진 3차원 모델은 데이터 저장모듈(204)을 통하여 저장되며, 데이터 제어모듈(201)에서의 제어신호에 따라, 데이터 표시모듈(205)을 통해 표시되어 진다.

한편, 대상 물체의 질감 등에 관한 정보는 도 3의 3차원 데이터 모델링 장치(110)의 모델링 데이터베이스(120)에 미리 정보를 저장한 후 이를 취사 선택하여 대상물체에 적용시킬 수 있다.

그리고, 상기 완성된 3차원 모델을 가상 현실 모델링 언어(VRML) 형태로 구현한다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 안는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기한 바와 같은 본 발명은, 기존의 저작도구보다 우수한 저작도구로써 인터넷 쇼핑몰에 적용함으로써 수입에 의한 외화낭비 절감할 수 있는 효과가 있다.

또한, 본 발명은 비 숙련자가 전자상거래 사이트 제품의 3차원 전자 카달로그를 쉽고 빨리 제작할 수 있기 때문에 기존의 방법보다 5~30배 이상의 제작속도를 증가시킬 수 있는 효과가 있다.

Claims (7)

1. 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치에 있어서,

   여러 각도에서 촬영된 대상 물체의 여러 2차원 영상 간의 3차원 공간에서 동일한 물리적 점들의 정보를 입력받아, 상기 동일한 물리적 점들의 정보를 이용하여 에피폴라 기하 원리로 상기 여러 2차원 영상 간의 기하학적 관계 데이터를 추출하기 위한 데이터 입력수단;

   상기 동일한 물리적 점들의 정보와 상기 기하학적 관계데이터로부터 점들의 위치 및 각 점들 간의 기하학적 관계를 이용하여, 각 점들 간의 연결시에 보간법을 적용한 곡선화를 통하여 상기 대상 물체의 공간화 모델을 구현하고, 상기 공간화 모델에 질감을 표현하여 3차원 모델링 데이터를 생성하기 위한 데이터 생성수단;

   상기 3차원 모델링 데이터를 저장하기 위한 데이터 저장수단;

   상기 데이터 입력수단, 데이터 생성수단, 데이터 저장수단의 동작을 제어하기 위한 데이터 제어수단; 및

   상기 데이터 제어수단의 제어하에, 상기 3차원 모델링 데이터를 표시하기 위한 데이터 표시수단

   을 포함하는 영상 변환 장치.
2. 제 1 항에 있어서,

   상기 3차원 모델링 데이터는,

   가상 현실 모델링 언어(VRML) 형태로 구현되는 것을 특징으로 하는 영상 변환 장치.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 곡선화는,

   상기 물리적 점들을 연결시에 보간법에 의한 블렌딩 다항식을 이용하여 곡선으로 연결시키되, 상기 곡선상의 점의 좌표값을 산출함에 있어서 산출 간격이 3차원 모델링 설계자에 의해 설정되는 것을 특징으로 하는 영상 변환 장치.
4. 2차원 영상을 3차원 영상으로 변환하는 영상 변환 방법에 있어서,

   여러 각도에서 촬영된 대상 물체의 2차원 영상을 획득하는 단계;

   상기 획득된 여러 2차원 영상 간의 3차원 공간에서 동일한 물리적 점들의 정보를 입력받는 단계;

   상기 동일한 물리적 점들의 정보를 이용하여 에피폴라 기하 원리로 상기 여러 2차원 영상 간의 기하학적 관계 데이터를 추출하는 단계;

   상기 동일한 물리적 점들의 정보와 상기 기하학적 관계데이터로부터 점들의 위치 및 각 점들 간의 기하학적 관계를 이용하여, 각 점들 간의 연결시에 보간법을 적용한 곡선화를 통하여 상기 대상 물체의 공간화 모델을 구현하는 단계; 및

   상기 공간화 모델에 질감을 표현하여 3차원 모델을 구현하는 단계

   를 포함하는 영상 변환 방법.
5. 제 4 항에 있어서,

   상기 3차원 모델은,

   가상 현실 모델링 언어(VRML) 형태로 구현되는 것을 특징으로 하는 영상 변환 방법.
6. 제 4 항에 있어서,

   상기 곡선화를 수행하는 과정에 있어서,

   상기 물리적 점들을 연결시에 보간법에 의한 블렌딩 다항식을 이용하여 곡선으로 연결시키되, 상기 곡선상의 점의 좌표값을 산출함에 있어서 산출 간격이 3차원 모델링 설계자에 의해 설정되는 것을 특징으로 하는 영상 변환 방법.
7. 2차원 영상을 3차원 영상으로 변환하기 위해, 프로세서를 구비한 영상 변환 장치에,

   여러 각도에서 촬영된 대상 물체의 2차원 영상을 획득하는 기능;

   상기 획득된 여러 2차원 영상 간의 3차원 공간에서 동일한 물리적 점들의 정보를 입력받는 기능;

   상기 동일한 물리적 점들의 정보를 이용하여 에피폴라 기하 원리로 상기 여러 2차원 영상 간의 기하학적 관계 데이터를 추출하는 기능;

   상기 동일한 물리적 점들의 정보와 상기 기하학적 관계데이터로부터 점들의 위치 및 각 점들 간의 기하학적 관계를 이용하여, 각 점들 간의 연결시에 보간법을 적용한 곡선화를 통하여 상기 대상 물체의 공간화 모델을 구현하는 기능; 및

   상기 공간화 모델에 질감을 표현하여 3차원 모델을 구현하는 기능

   을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images