KR101288971B1

KR101288971B1 - 모델링 방법 및 장치

Info

Publication number: KR101288971B1
Application number: KR1020070016782A
Authority: KR
Inventors: 김근호; 휘 장; 김도균; 정석윤; 안톤 코노신; 블라디미르 베즈네베츠
Original assignee: 삼성전자주식회사
Priority date: 2007-02-16
Filing date: 2007-02-16
Publication date: 2013-07-24
Also published as: KR20080076611A; US8681150B2; US20080211809A1

Abstract

본 발명에 의한 모델링 방법 및 장치는, 객체를 시점을 달리하며 표현한 복수의 2차원 영상들 각각에서 상기 객체를 상기 영상의 에지와 성분별 내용을 고려하여 특정하고, 상기 특정된 객체마다 상기 특정된 객체의 3차원 모델을 생성하고, 상기 생성된 모델들을 상기 생성된 모델들간의 상대적 위치를 고려하여 정합함으로써, 2차원 영상에 표현된 객체의 보다 현실감있는 3차원 모델을 보다 정확히 생성하는 효과를 갖는다.

Description

모델링 방법 및 장치{Method and apparatus for 3 dimensional modeling using 2 dimensional images}

도 1은 본 발명에 의한 모델링 장치를 설명하기 위한 블록도이다.

도 2는 도 1에 도시된 전처리부(110)의 일 례를 설명하기 위한 블록도이다.

도 3은 도 1에 도시된 모델 생성부(120)의 동작을 설명하기 위한 참고도이다.

도 4a 내지 도 4c는 도 1에 도시된 모델 정합부(130)의 동작을 설명하기 위한 참고도들이다.

도 5는 본 발명에 의한 모델링 방법을 설명하기 위한 플로우챠트이다.

본 발명은 모델링(modeling)에 관한 것으로, 특히, 2차원 실사 영상에 표현된 객체를 3차원적으로 모델링하는 모델링 방법 및 장치에 관한 것이다.

디지털 사진과 같은 2차원 영상을 이용하여 3차원 모델을 생성하는 모델링 기법은, 대부분의 작업을 숙련된 디자이너의 수작업에 의존하는 종래의 모델링 기법에 비해 신속한 모델링 수행을 보장한다는 점에 힘입어 최근 각광받고 있다.

이에 따라, 2차원 영상에 표현된 객체의 보다 현실감있는 3차원 모델을 보다 정확히 생성하기 위한 방안이 절실히 요구되고 있다. 구체적으로, 보다 현실감있는 3차원 모델을 생성하기 위한 방안으로서, 객체의 한 시점에서의 정보만을 갖는 2차원 영상을 다수 이용하여 다양한 시점에서의 정보들을 갖는 3차원 모델을 생성하기 위한 방안이 요구되고 있고, 보다 정확한 3차원 모델을 생성하기 위한 방안으로서, 2차원 영상에서 객체를 보다 정확히 특정하기 위한 방안이 요구되고 있다.

본 발명이 이루고자 하는 기술적 과제는, 2차원 영상에 표현된 객체의 보다 현실감있는 3차원 모델을 보다 정확히 생성하기 위한 모델링 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 2차원 영상에 표현된 객체의 보다 현실감있는 3차원 모델을 보다 정확히 생성하기 위한 모델링 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 또 다른 기술적 과제는, 2차원 영상에 표현된 객체의 보다 현실감있는 3차원 모델을 보다 정확히 생성하기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기 과제를 이루기 위해, 본 발명에 의한 모델링 방법은, 객체를 시점을 달리하며 표현한 복수의 2차원 영상들 각각에서 상기 객체를 상기 영상의 에지와 성분별 내용을 고려하여 특정하는 단계; 상기 특정된 객체마다 상기 특정된 객체의 3 차원 모델을 생성하는 단계; 및 상기 생성된 모델들을 상기 생성된 모델들간의 상대적 위치를 고려하여 정합하는 단계를 포함하는 것이 바람직하다.

상기 다른 과제를 이루기 위해, 본 발명에 의한 모델링 장치는, 객체를 시점을 달리하며 표현한 복수의 2차원 영상들 각각에서 상기 객체를 상기 영상의 에지와 성분별 내용을 고려하여 특정하는 전처리부; 상기 특정된 객체마다 상기 특정된 객체의 3차원 모델을 생성하는 모델 생성부; 및 상기 생성된 모델들을 상기 생성된 모델들간의 상대적 위치를 고려하여 정합하는 모델 정합부를 포함하는 것이 바람직하다.

상기 또 다른 과제를 이루기 위해, 본 발명에 의한 컴퓨터로 읽을 수 있는 기록매체는, 객체를 시점을 달리하며 표현한 복수의 2차원 영상들 각각에서 상기 객체를 상기 영상의 에지와 성분별 내용을 고려하여 특정하는 단계; 상기 특정된 객체마다 상기 특정된 객체의 3차원 모델을 생성하는 단계; 및 상기 생성된 모델들을 상기 생성된 모델들간의 상대적 위치를 고려하여 정합하는 단계를 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장하는 것이 바람직하다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.

이하, 본 발명에 의한 모델링 방법 및 장치를 첨부한 도면들을 참조하여 다음과 같이 설명한다.

도 1은 본 발명에 의한 모델링 장치를 설명하기 위한 블록도로서, 전처리 부(110), 모델 생성부(120), 모델 정합부(130), 및 모델 배치부(140)를 포함할 수 있다.

전처리부(110)는 입력단자 IN을 통해 입력된 2차원 영상에서, 모델링하고자 하는 객체(object)를 특정한다. 여기서, 2차원 영상은 디지털 사진과 같은 2차원 실사 영상인 것이 바람직하고, 객체는 건물이나 자동차와 같은 피사체를 의미하는 것이 바람직하다. 이러한 2차원 영상은 메모리(미 도시)로부터 독출된 영상일 수 있다.

전처리부(110)는 하나 이상의 객체들을 표현하는 2차원 영상을 입력받고, 입력된 2차원 영상에서 각각의 객체를 특정할 수 있다. 또한, 전처리부(110)는 다양한 시점(viewpoint)에서 표현된 복수의 2차원 영상들을 입력받고, 입력된 2차원 영상들 각각마다 객체를 특정할 수 있다. 예컨대, 촬영자가 일렬로 배열된 건물 A, B, C, D, E 중 적어도 일부를 여러 위치에서 촬영한다면, 건물 A, B를 촬영한 사진, 건물 A, B, C를 촬영한 사진, 건물 B, C, D를 촬영한 사진, 건물 C, D, E를 촬영한 사진, 건물 D, E를 촬영한 사진이라는 5개의 2차원 영상들이 생성될 수 있고, 전처리부(110)는 그 생성된 2차원 영상들 각각마다, 그 생성된 2차원 영상에 표현된 객체들 각각을 특정한다.

2차원 영상에 표현된 어떠한 객체를 정확히 모델링하기 위해서는, 그 어떠한 객체가 2차원 영상에서 정확히 특정되어야만 한다. 예컨대, 차도, 차도위의 다수의 자동차들, 차도를 끼고 일렬로 빼곡히 들어선 다수의 건물들을 표현한 2차원 영상에서, 차도, 각각의 자동차, 각각의 건물을 정확히 특정하지 못하고, 복수의 건물 들을 하나의 건물로서 특정하거나 어떤 건물과 겹쳐서 촬영된 자동차를 그 어떤 건물의 일부로서 특정한다면, 그 부정확하게 특정된 건물의 3차원 모델을 정확히 생성하기란 곤란할 수 밖에 없다. 전처리부(110)는 객체를 정확히 특정하기 위해 다음과 같이 동작한다.

전처리부(110)는 2차원 영상의 '모든 에지(edge)들'과 '성분별 내용'을 고려하여, 그 2차원 영상에서 객체를 특정한다. 구체적으로, 전처리부(110)는 2차원 영상 중 '데이터베이스(미 도시)에 미리 마련된 객체의 "하나 이상의 에지들"과 "성분별 내용"을 갖는 영상'을 그 미리 마련된 객체로서 특정한다. 여기서, 데이터베이스(미 도시)는 복수의 객체들 각각의 '하나 이상의 에지들'과 '성분별 내용'에 관한 정보를 저장하고 있다.

에지란 객체에 존재하는 라인(line)을 의미하고, 객체의 경계(boundary)선은 객체의 에지의 일종이다. 객체가 건물인 경우, 건물의 경계선은 물론, 건물내에 존재하는 창문의 틀을 표현하는 라인도, 객체의 에지의 일 례이다. 2차원 영상에 객체 K가 표현된 경우, 즉, 그 2차원 영상의 에지들에 객체 K 고유의 에지들이 포함되어 있는 경우, 전처리부(110)는 데이터베이스(미 도시)를 분석하여 객체 K 고유의 에지들을 인식하고, 그 2차원 영상 중 '그 인식된 에지들을 갖는 영상'을 객체 K로서 특정할 수 있다. 이처럼, 전처리부(110)가 2차원 영상에서 객체 K를 그 2차원 영상의 에지들을 고려하여 특정하기 위해서는, 객체 K의 에지들을 규정하고 있는 정보가 데이터베이스(미 도시)에 다양한 시점(viewpoint) 및 깊이(depth)별로 미리 마련되어 있는 것이 바람직하다. 여기서, 깊이란 객체 K가 의미하는 3차원 모 델과 시점간의 거리를 의미한다.

한편, 성분별 내용은, 컬러(color) 정보, 텍스쳐(texture) 정보, 2차원적 위치(location) 정보, 3차원적 기하(geometry) 정보 등을 의미할 수 있다. 즉, 2차원 영상의 컬러 성분의 내용, 텍스쳐 성분의 내용, 2차원적 위치 성분의 내용, 3차원적 기하 성분의 내용 등은, 2차원 영상의 성분별 내용의 일 례이다. 여기서, 텍스쳐 정보란 질감을 나타내는 정보를 의미하고, 2차원적 위치 정보란 2차원 영상내에서의 위치를 나타내는 정보를 의미하고, 3차원적 기하 정보란 2차원 영상내의 방향성(orientation)에 관한 정보를 의미한다. 앞서 언급한 바와 같이 2차원 영상에 표현된 객체가 어떤 3차원 모델이 2차원 평면상에 투영된 결과인 경우, 그 3차원 모델의 각 면의 경계들 중 서로 평행한 경계들은 어느 하나의 공통점에서 교차하는 선들에 투영되는데, 이 때의 공통점을 이하, 소실점(vanishing point)이라 명명한다. 또한, 하나의 소실점은 객체의 하나의 면에 대응되는데, 구체적으로, 하나의 소실점에 수렴하는 에지 연장선들의 기하 정보에 따라 그 하나의 소실점에 대응되는 객체의 면의 기하 정보가 결정된다. 앞서 언급한 방향성이란, 객체의 각 면의 기하 정보를 의미할 수 있다. 객체가 표현된 2차원 영상이 디지털 사진과 같은 2차원 실사 영상이라면, 그 2차원 영상은 반드시 적어도 하나의 소실점을 갖기 마련이고, 전처리부(110)는 그 2차원 영상의 소실점만 검출하면, 그 2차원 영상의 3차원적 기하 정보를 인지할 수 있다.

2차원 영상에 객체 K가 표현된 경우, 즉, 그 2차원 영상의 컬러 정보들에 객체 K 고유의 컬러 정보들이 포함되어 있는 경우, 전처리부(110)는 데이터베이스(미 도시)를 분석하여 객체 K 고유의 컬러 정보들을 인식하고, 그 2차원 영상 중 '그 인식된 컬러 정보들을 갖는 영상'을 객체 K로서 특정할 수 있다. 이처럼, 전처리부(110)가 2차원 영상에서 객체 K를 그 2차원 영상의 컬러 정보들을 고려하여 특정하기 위해서는, 객체 K의 컬러 정보들이 데이터베이스(미 도시)에 다양한 시점 및 깊이별로 미리 마련되어 있는 것이 바람직하다. 여기서, 깊이란 객체 K가 의미하는 3차원 모델과 시점간의 거리를 의미한다.

마찬가지로, 2차원 영상에 객체 K가 표현된 경우, 즉, 그 2차원 영상의 텍스쳐 정보들에 객체 K 고유의 텍스쳐 정보들이 포함되어 있는 경우, 전처리부(110)는 데이터베이스(미 도시)를 분석하여 '객체 K 고유의 텍스쳐 정보들'을 인식하고, 그 2차원 영상 중 '그 인식된 텍스쳐 정보들을 갖는 영상'을 객체 K로서 특정할 수 있다. 이처럼, 전처리부(110)가 2차원 영상에서 객체 K를 그 2차원 영상의 텍스쳐 정보들을 고려하여 특정하기 위해서는, 객체 K의 텍스쳐 정보들이 데이터베이스(미 도시)에 다양한 시점 및 깊이별로 미리 마련되어 있는 것이 바람직하다. 여기서, 깊이란 객체 K가 의미하는 3차원 모델과 시점간의 거리를 의미한다.

또한, 2차원 영상에 객체 K가 표현된 경우, 즉, 그 2차원 영상의 2차원적 정보들에 객체 K 고유의 2차원적 위치 정보들이 포함되어 있는 경우, 전처리부(110)는 데이터베이스(미 도시)를 분석하여 객체 K 고유의 2차원적 위치 정보들을 인식하고, 그 2차원 영상 중 '그 인식된 2차원적 위치 정보들을 갖는 영상'을 객체 K로서 특정할 수 있다. 이처럼, 전처리부(110)가 2차원 영상에서 객체 K를 그 2차원 영상의 2차원적 위치 정보들을 고려하여 특정하기 위해서는, 객체 K의 2차원적 위 치 정보들이 데이터베이스(미 도시)에 다양한 시점 및 깊이별로 미리 마련되어 있는 것이 바람직하다. 여기서, 깊이란 객체 K가 의미하는 3차원 모델과 시점간의 거리를 의미한다.

이와 비슷하게, 2차원 영상에 객체 K가 표현된 경우, 즉, 그 2차원 영상의 3차원적 기하 정보들에 객체 K 고유의 3차원적 기하 정보들이 포함되어 있는 경우, 전처리부(110)는 데이터베이스(미 도시)를 분석하여 객체 K 고유의 3차원적 기하 정보들을 인식하고, 그 2차원 영상 중 '그 인식된 3차원적 기하 정보들을 갖는 영상'을 객체 K로서 특정할 수 있다. 이처럼, 전처리부(110)가 2차원 영상에서 객체 K를 그 2차원 영상의 3차원적 기하 정보들을 고려하여 특정하기 위해서는, 객체 K의 3차원적 기하 정보들이 데이터베이스(미 도시)에 다양한 시점 및 깊이별로 미리 마련되어 있는 것이 바람직하다. 여기서, 깊이란 객체 K가 의미하는 3차원 모델과 시점간의 거리를 의미한다.

이상에서 언급한 바와 같이, 전처리부(110)는 2차원 영상에서 객체를 특정함에 있어, 그 2차원 영상의 에지들을 고려할 수도 있고, 그 2차원 영상의 컬러 정보들을 고려할 수도 있고, 그 2차원 영상의 텍스쳐 정보들을 고려할 수도 있고, 그 2차원 영상의 2차원적 위치 정보들을 고려할 수도 있고, 그 2차원 영상의 3차원적 기하 정보들을 고려할 수도 있다. 다만, 서로 다른 객체라도 그 객체에 나타난 에지들, 컬러 정보들, 텍스쳐 정보들, 2차원적 위치 정보들, 3차원적 기하 정보들 중 적어도 하나가 서로 동일할 수 있으므로, 전처리부(110)는 2차원 영상에서 객체를 보다 정확히 특정하기 위해, 2차원 영상의 에지들, 컬러 정보들, 텍스쳐 정보들, 2 차원적 위치 정보들, 3차원적 기하 정보들 모두를 고려하는 등, 2차원 영상의 에지 및 성분별 내용을 모두 고려하여, 그 2차원 영상에서 객체를 특정하는 것이 바람직하다. 예컨대, 2차원 영상은 객체 K, L, M, N을 표현하고, 객체 K, L, N은 서로 이격되어 위치하며 형상이 상이한 건물들이고, 객체 K, L은 회색 건물들이며 객체 N은 하늘색 건물이고, 객체 M은 객체 K를 지나가는 회색 자동차이라고 할 때, 전처리부(110)가 그 2차원 영상의 컬러 정보들만을 고려하여 객체를 특정한다면, 전처리부(110)는 객체 K, L, M, N을 '객체 K, L, M'과 '객체 N'의 두 객체로서 특정할 것이다. 하지만, 전처리부(110)는 2차원 영상의 2차원적 위치 정보들도 고려함으로써, 그 2차원 영상에 최소 2개의 회색 객체가 존재함을 인식하고, 객체 K, L, M을 '객체 K와 M', '객체 L'의 두 객체로서 특정할 수 있다. 또한, 전처리부(110)는 2차원 영상의 텍스쳐 정보들도 고려함으로써, 그 2차원 영상에서 객체 N을 하늘과 구별하여 특정할 수 있다. 나아가, 전처리부(110)는 2차원 영상의 에지들도 고려함으로써, 객체 K와 객체 M을 구별하여 특정할 수 있다. 이로써, 전처리부(110)는 객체 K, L, M, N 각각을 정확히 특정할 수 있다.

한편, 전처리부(110)에 입력되는 2차원 영상에서 객체는 그 2차원 영상내에 미리 규정된 수평선에 수직하게 서 있는 것이 바람직하다. 이에 따라, 전처리부(110)에 입력된 2차원 영상에서 객체의 경계선들 중 수평선에 서 있는 경계선이 수평선에 수직하지 않다면, 전처리부(110)는 그 서 있는 경계선이 수평선에 수직하도록 2차원 영상을 처리한 뒤, 그 2차원 영상에서 객체를 특정하는 것이 바람직하다.

모델 생성부(120)는 전처리부(110)에서 특정된 객체의 모델링을 수행한다. 구체적으로, 모델 생성부(120)는 전처리부(110)에서 특정된 객체의 3차원 공간상에서의 3차원 모델을 생성한다. 보다 구체적으로, 모델 생성부(120)는 그 특정된 객체를 구성하는 픽셀들 각각의 깊이값을 연산하고, '연산된 깊이값들'과 '그 특정된 객체를 구성하는 픽셀들 각각의 2차원 영상에서의 위치'를 고려하여 그 특정된 객체의 3차원 공간상에서의 3차원 형상을 생성하고, 생성된 3차원 형상에 그 특정된 객체로부터 획득된 '그 특정된 객체의 2차원 이미지'를 씌운다. 이와 같이 3차원 형상에 이미지가 씌워짐으로써, 표면에 컬러 및 텍스쳐 정보를 갖는 3차원 모델이 완성되게 된다.

다만, 그 특정된 객체의 일부에 다른 객체가 겹쳐져 있는 관계로 그 다른 객체의 이미지가 그 특정된 객체의 일부의 이미지인 것으로 취급되어 그 특정된 객체의 3차원 형상에 잘못된 2차원 이미지가 씌워질 우려가 있는 경우, 모델 생성부(120)는 어느 한 시점에서 표현된 그 특정된 객체의 어떤 영역의 이미지를 다른 한 시점에서 표현된 그 특정된 객체의 이미지 중 그 어떤 영역의 이미지에 대응되는 이미지를 이용하여 변경한 뒤, 그 특정된 객체의 3차원 형상에 그 특정된 객체의 이미지를 씌움으로써, 그 특정된 객체의 일부에 다른 객체가 겹쳐져 있더라도 그 특정된 객체의 3차원 모델의 컬러 및 텍스쳐를 정확히 생성할 수 있다.

한편, 모델 생성부(120)가 하나의 2차원 영상을 기반으로 생성한 하나의 3차원 모델은, 어떤 한 시점(viewpoint)에서의 정보만을 갖는 3차원 모델일 수 밖에 없다.

모델링된 3차원 모델을 바라보는 시점은 다양할 수 있다는 점에서, 어느 한 시점에서의 정보만을 갖는 3차원 모델은 비현실적인 모델일 수 밖에 없고, 이에 따라, 다양한 시점에서의 정보들을 갖는 3차원 모델 즉, 현실감 있는 3차원 모델을 생성하기 위한 방안이 강구되어야 한다. 이의 일환으로, 본 발명에 의한 모델링 장치는 후술할 모델 정합부(130)를 포함한다.

모델 정합부(130)는 '어느 한 시점에서 표현된 어떤 객체의 3차원 모델'과 '다른 한 시점에서 표현된 그 어떤 객체의 3차원 모델'을 서로간의 상대적 위치를 고려하여 정합한다. 구체적으로, 모델 정합부(130)는 '어느 한 시점에서의 2차원 영상에서 특정된 어떤 객체의 생성된 3차원 모델'의 '다른 한 시점에서의 2차원 영상에서 특정된 그 어떤 객체의 생성된 3차원 모델'에 대한 위치를 고려하여, 그 어떤 객체의 생성된 3차원 모델들을 하나의 3차원 모델로서 재구성함으로써, 그 어떤 객체의 생성된 3차원 모델이 어느 특정 시점에서의 정보만을 갖는 3차원 모델이 아닌, 다양한 시점에서의 정보들을 갖는 3차원 모델이 되도록 한다.

모델 배치부(140)는 모델 생성부(120) 또는 모델 정합부(130)로부터 입력된 3차원 모델을 3차원 공간상에 배치한다. 여기서, 모델 생성부(120)로부터 입력된 3차원 모델은 하나의 특정 시점에서 표현된 2차원 영상에만 기반하여 생성된 3차원 모델을 의미하고, 모델 정합부(130)로부터 입력된 3차원 모델은 여러 시점들에서 표현된 2차원 영상들에 기반하여 생성된 3차원 모델을 의미한다.

모델 배치부(140)는 2차원 영상내의 그 특정된 객체들간의 상대적 위치가, 그 2차원 영상내의 그 특정된 객체들의 생성된 3차원 모델들간의 상대적 위치가 되 도록, 그 생성된 3차원 모델들을 3차원 공간상에 배치한다. 이에 따라, 모델 배치부(140)는 2차원 영상에 모델링하고자 하는 객체들이 다수 존재하는 경우, 그 모델링하고자 하는 객체들의 생성된 3차원 모델들 중 하나의 3차원 공간상에서의 위치만 결정되면, 나머지들의 3차원 공간상에서의 위치들을 자동으로 결정하여, 그 2차원 영상을 기반으로 생성된 다수의 3차원 모델들을 3차원 공간상에 신속하고도 용이하게 배치할 수 있다.

도 2는 도 1에 도시된 전처리부(110)의 일 례를 설명하기 위한 블록도로서, 수퍼픽셀 생성부(210), 성분별 영상 생성부(220), 에지 검출부(230), 객체정보 저장부(240), 및 객체 특정부(250)를 포함할 수 있다.

수퍼픽셀 생성부(210)는 입력단자 IN을 통해 입력된 2차원 영상을 분할하여 '픽셀값들간에 미리 설정된 유사도를 갖는 픽셀들의 그룹(이하, 수퍼(super) 픽셀)'을 다수 생성한다.

성분별 영상 생성부(220)는 수퍼 픽셀들로 구성된 2차원 영상을 성분별로 표현하여 어느 특정 성분만의 내용을 갖는 영상을 다수 생성한다. 예컨대, 성분별 영상 생성부(220)는 수퍼 픽셀들로 구성된 2차원 영상에서 컬러 성분만 표현하여 컬러 성분만을 갖는 2차원 영상을 생성하고, 그 수퍼 픽셀들로 구성된 2차원 영상에서 텍스쳐 성분만 표현하여 텍스쳐 성분만을 갖는 2차원 영상을 생성하고, 그 수퍼 픽셀들로 구성된 2차원 영상에서 2차원적 위치 성분만 표현하여 2차원적 위치 성분만을 갖는 2차원 영상을 생성하고, 그 수퍼 픽셀들로 구성된 2차원 영상에서 3차원적 기하 성분만 표현하여 3차원적 기하 성분만을 갖는 2차원 영상을 생성하는 등, 그 수퍼 픽셀들로 구성된 2차원 영상을 이용하여 총 4개의 2차원 영상을 생성할 수 있다.

도시된 바와 같이, 수퍼픽셀 생성부(210)가 전처리부(110)에 마련된다면, 성분별 영상 생성부(220)는 수퍼 픽셀별로 동작할 수도 있다. 예컨대, 각 픽셀이 RGB(Red, Green, Blue) 값으로 표현된 컬러 정보를 갖는 2차원 영상을 이루는 수퍼 픽셀들을 컬러 성분만으로 표현하고자 하는 성분별 영상 생성부(220)는, 각 수퍼 픽셀을 이루는 픽셀들의 픽셀값들 각각을 그 수퍼 픽셀을 이루는 픽셀들의 RGB 값들의 평균값으로 변경할 수 있다.

한편, 도시된 바와 달리, 수퍼픽셀 생성부(210)가 전처리부(110)에 마련되지 않는다면, 성분별 영상 생성부(220)는 입력단자 IN을 통해 입력된 2차원 영상을 성분별로 표현하여 어느 특정 성분만의 내용을 갖는 영상을 다수 생성할 수 있다.

에지 검출부(230)는 입력단자 IN을 통해 입력된 2차원 영상 내에서 영상 정보(예를 들어, 광도 세기(luminous intensity))의 변화가 '미리 설정된 임계값' 이상이며 그 2차원 영상내에서 연속하여 위치하는 지점들을 하나의 에지로서 검출한다. 예컨대, 에지 검출부(230)는 여러 개의 창문들을 포함하는 빌딩이라는 객체 내에서 광도 변화가 일정 수준 이상인 지점들에 해당하는 '빌딩의 콘크리트 표면과 창문의 경계선'을 에지로서 검출한다. 이와 같은 원리로, 에지 검출부(230)는 2차원 영상에서 다수의 에지들을 검출할 수 있다.

객체정보 저장부(240)는 복수의 객체들 각각의 '하나 이상의 에지들' 및 '성분별 내용'에 관한 정보들을 저장한다. 이 때, 객체정보 저장부(240)는 보다 많은 객체들에 대해 그러한 정보들을 저장하는 것이 바람직하고, 각 객체마다 그러한 정보들을 다양한 시점 및 깊이별로 저장하는 것이 바람직하다. 전술한 데이터베이스(미 도시)는 객체정보 저장부(240)를 의미한다.

객체 특정부(250)는 입력단자 IN을 통해 입력된 2차원 영상 중, 객체정보 저장부(240)에 저장된 정보들이 나타내는 '어떤 객체의 에지들 및 성분별 내용'을 갖는 영상을, 그 어떤 객체로서 특정한다.

도 3의 (a)는 어느 한 시점에서의 2차원 영상을 나타내며, 도 3의 (b)는 다른 한 시점에서의 2차원 영상을 나타낸다. 도 3의 (a)에 도시된 바에 따르면, 어느 한 객체(300)의 일부에 다른 한 객체(310)가 겹쳐 있는 반면, 도 3의 (b)에 도시된 바에 따르면, 그 어느 한 객체(300)에 어떠한 다른 객체도 겹쳐 있지 않다.

도 3의 (a)에 도시된 바와 같이, 어느 한 객체(300)의 일부에 다른 한 객체(310)가 겹쳐져 있는 경우, 그 다른 한 객체(310)의 이미지가 그 어느 한 객체(300)의 일부의 이미지인 것으로 취급되어, 그 어느 한 객체(300)가 모델링되어 생성된 3차원 모델의 컬러 및 텍스쳐 중 일부에 그 다른 한 객체(310)의 컬러 및 텍스쳐가 사용될 우려가 있다.

이 경우, 어느 한 객체(300)와 다른 한 객체(310)가 겹쳐 있는 부분의 이미지는, 그 어느 한 객체(300)의 3차원 형상에 씌워지기 전에, 그 어느 한 객체(300)와 그 다른 한 객체(310)가 겹쳐 있지 않다고 가정했을 때의 그 부분의 이미지로 변경되는 것이 바람직하다.

이를 위해, 모델 생성부(120)는 도 3의 (a)에 도시된 바와 같이 어느 한 시점에서 표현된 어느 한 객체(300)의 어떤 영역(320)의 이미지를, 도 3의 (b)에 도시된 바와 같이 다른 한 시점에서 표현된 그 어느 한 객체(300)의 그 어떤 영역(320)에 대응되는 영역(330)의 이미지를 이용하여 변경할 수 있다. 여기서, 그 대응되는 영역(330)은 사용자에 의해 직접 지정될 수도 있고, 어느 한 시점에서 표현된 어느 한 객체(300)를 구성하는 픽셀들의 픽셀값들과 다른 한 시점에서 표현된 그 어느 한 객체(300)를 구성하는 픽셀들의 픽셀값들을 비교하여 자동으로 지정될 수도 있다.

보다 구체적으로, 모델 생성부(120)는 그 어떤 영역(320)의 경계와 그 대응되는 영역(330)의 경계가 서로 겹쳐지도록, 그 대응되는 영역(330)의 이미지를 스케일링(scaling)한 뒤, 그 어떤 영역(320)의 이미지를 그 스케일링된 이미지로 교체할 수 있다.

도 3의 (c)는 도 3의 (a)에 도시된 어떤 영역(320)의 이미지가 도 3의 (b)에 도시된 그 어떤 영역(320)에 대응되는 영역(330)의 이미지를 이용하여 변경된 결과를 나타낸다.

모델 생성부(120)는 도 3의 (a)에 도시된 바와 같이 어느 한 시점에서 표현된 어느 한 객체(300)의 3차원 모델을 생성함에 있어, 도 3의 (a)에 도시된 2차원 영상에 근거하여 그 어느 한 객체(300)의 3차원 형상을 생성한 뒤, 도 3의 (a)에 도시된 그 어느 한 객체(300)의 2차원 이미지가 아닌, 도 3의 (c)에 도시된 그 어 느 한 객체(300)의 2차원 이미지를 그 생성된 3차원 형상에 씌우는 것이 바람직하다.

도 4a는 어느 한 시점에서의 어느 한 객체가 모델링되어 생성된 3차원 모델(410)을 나타내고, 도 4b는 다른 한 시점에서의 그 어느 한 객체가 모델링되어 생성된 3차원 모델(440)을 나타내고, 도 4c는 3차원 모델(410)과 3차원 모델(440)이 정합된 결과(470)를 나타낸다. 여기서, 어느 한 객체는 다수의 창문들을 갖는 건물이다.

3차원 모델(410)과 3차원 모델(440) 각각은 동일한 3차원 모델의 서로 다른 일부를 나타내므로, 3차원 모델(410)과 3차원 모델(440)은 하나의 3차원 모델(470)로서 재구성되는 것이 바람직하다.

이를 위해, 모델 정합부(130)는 3차원 모델(410)의 3차원 모델(440)에 대한 위치를 고려하여, 3차원 모델(410)과 3차원 모델(440)을 정합한다. 구체적으로, 모델 정합부(130)는 3차원 모델(410)과 3차원 모델(440)간에 대응되는 부분들간의 상대적 위치를 고려하여, 3차원 모델(410)과 3차원 모델(440)을 정합한다. 여기서, 그 대응되는 부분들은 사용자에 의해 직접 지정될 수 있다.

3차원 모델(410)과 3차원 모델(440)간에 대응되는 부분은 어떤 면(surface)을 의미할 수도 있고, 그 면의 꼭지점들을 의미할 수도 있다. 도 4a 및 도 4b에 도시된 바에서, 3차원 모델(410)의 면들(420, 430)과 3차원 모델(440)의 면들(450, 460)간에 대응되는 면들은 면(420)과 면(450)이며, 모델 정합부(130)는 면(420)과 면(450)이 3차원 공간상에서 정확히 일치하도록 3차원 모델(440)을 3차원 공간상에서 이동 및 스케일링시킴으로써, 3차원 모델(410)과 3차원 모델(440)을 정합할 수 있다. 이와 비슷하게, 도 4a 및 도 4b에 도시된 바에서, 3차원 모델(410)의 꼭지점들(V1, V2, V3, V4, V5, V6)과 3차원 모델(440)의 꼭지점들(V7, V8, V9, V10, V11, V12)간에 대응되는 꼭지점들은 꼭지점들(V1, V2, V3, V4)과 꼭지점들(V7, V8, V9, V10)이며, 모델 정합부(130)는 꼭지점들(V1, V2, V3, V4) 각각과 꼭지점들(V7, V8, V9, V10) 각각이 3차원 공간상에서 정확히 일치하도록 3차원 모델(440)을 3차원 공간상에서 이동 및 스케일링시킴으로써, 3차원 모델(410)과 3차원 모델(440)을 정합할 수 있다.

도 5는 본 발명에 의한 모델링 방법을 설명하기 위한 플로우챠트로서, 2차원 영상에 표현된 객체의 보다 현실감있는 3차원 모델을 보다 정확히 생성하기 위한 단계들(제510~ 제530 단계들)을 포함할 수 있다.

전처리부(110)는 객체를 시점을 달리하며 표현한 복수의 2차원 영상들 각각에서, 그 객체를 그 2차원 영상의 에지와 성분별 내용을 고려하여 특정한다(제510 단계).

제510 단계 후에, 모델 생성부(120)는 제510 단계에서 특정된 객체마다 그 특정된 객체의 3차원 모델을 생성한다(제520 단계).

제520 단계 후에, 모델 정합부(130)는 제520 단계에서 생성된 모델들을 제520 단계에서 생성된 모델들간의 상대적 위치를 고려하여 정합한다(제530 단계).

이상에서 언급된 본 발명에 의한 모델링 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다. 여기서, 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.

이제까지 본 발명을 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점들은 본 발명에 포함된 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이, 본 발명에 의한 모델링 방법 및 장치는, 2차원 영상에서 그 2차원 영상내의 모델링하고자 하는 객체를 그 2차원 영상의 모든 에지(edge)들과 그 2차원 영상의 성분(예를 들어, 컬러 성분, 텍스쳐 성분, 2차원적 위치 성분, 3차원적 기하 성분)별 내용을 함께 고려하여 특정함으로써, 그 2차원 영상에서 그 모델링하고자 하는 객체를 정확히 특정할 수 있는 효과를 갖는다. 구체적으로, 본 발명에 의한 모델링 방법 및 장치는 2차원 영상 중 '에지들은 데이터베이스상에 미리 마련된 여러 객체들 중 어떤 한 객체의 에지들이면서, 성분별 내 용은 데이터베이스상에 마련된 그 어떤 한 객체의 성분별 내용인 영상'을 그 어떤 한 객체로서 특정함으로써, 그 2차원 영상에서 그 어떤 한 객체를 모델링하고자 하고자 하는 객체로서 정확히 특정할 수 있는 효과를 갖는다. 예컨대, 본 발명에 의하면, 차도, 차도위의 다수의 자동차들, 차도를 사이에 두고 일렬로 빼곡히 들어선 다수의 건물들을 표현한 2차원 영상에서 차도, 각각의 자동차, 각각의 건물을 정확히 특정할 수 있다. 즉, 본 발명은, 복수의 건물들을 하나의 건물로서 특정하거나 어떤 건물과 겹쳐서 촬영된 자동차를 그 어떤 건물의 일부로서 특정하는 것과 같이 객체를 부정확하게 특정하는 경우가 발생되지 않도록 하는 효과를 갖는다. 이처럼, 본 발명에 의한 모델링 방법 및 장치는, 2차원 영상내의 모델링하고자 하는 객체를 그 2차원 영상에서 정확히 특정하고, 특정된 객체를 모델링하므로, 그 모델링하고자 하는 객체의 3차원 모델을 정확히 생성할 수 있는 효과를 갖는다.

또한, 본 발명에 의한 모델링 방법 및 장치는, 모델링하고자 하는 객체를 각기 다른 시점(viewpoint)에서 표현하는 다수의 2차원 영상들 각각으로부터 그 모델링하고자 하는 객체를 특정하고 특정된 객체들의 3차원 모델들을 생성한 뒤, 그 생성된 3차원 모델들간의 상대적 위치를 고려하여 그 생성된 3차원 모델들을 하나의 3차원 모델로서 재구성함으로써, 어느 특정 시점에서의 정보만을 갖는 3차원 모델이 아닌, 다양한 시점에서의 정보들을 갖는 3차원 모델을 생성하는 효과를 갖는다. 이처럼, 본 발명에 의한 모델링 방법 및 장치는, 2차원 영상내의 모델링하고자 하는 객체의 3차원 모델을, 여러 시점에서의 정보들을 갖도록 생성할 수 있으므로, 그 모델링하고자 하는 객체의 현실감 넘치는 3차원 모델을 생성할 수 있는 효과도 갖는다.

나아가, 본 발명에 의한 모델링 방법 및 장치는, 2차원 영상에 모델링하고자 하는 객체들이 다수 존재하는 경우, 그 모델링하고자 하는 객체들간의 상대적 위치가 그 모델링하고자 하는 객체들의 생성된 3차원 모델들간의 상대적 위치가 되도록, 그 모델링하고자 하는 객체들의 생성된 3차원 모델들을 3차원 공간상에 배치하므로, 그 모델링하고자 하는 객체들의 생성된 3차원 모델들 중 하나의 3차원 공간상에서의 위치만 결정되면, 나머지들의 3차원 공간상에서의 위치들도 자동으로 결정되어, 2차원 영상을 기반으로 생성된 다수의 3차원 모델들을 3차원 공간상에서 신속하고도 용이하게 배치하는 효과를 갖는다.

한편, 2차원 영상에서 특정된 객체의 3차원 모델을 생성하는 과정은, 그 3차원 모델의 형상을 생성하는 과정과 그 특정된 객체로부터 획득된 2차원 이미지를 그 생성된 형상에 씌우는 과정을 포함하는데, 본 발명에 의한 모델링 방법 및 장치는, 그 특정된 객체의 일부에 다른 객체가 겹쳐져 있는 관계로 그 다른 객체의 이미지가 그 특정된 객체의 일부의 이미지인 것으로 취급되어 그 생성된 형상에 잘못된 2차원 이미지가 씌워질 우려가 있는 경우, 어느 한 시점에서 표현된 그 특정된 객체의 어떤 영역의 이미지를 다른 한 시점에서 표현된 그 특정된 객체의 이미지 중 그 어떤 영역의 이미지에 대응되는 이미지를 이용하여 변경함으로써, 그 특정된 객체의 일부에 다른 객체가 겹치져 있더라도 그 특정된 객체의 3차원 모델의 컬러 및 텍스쳐를 정확히 생성하는 효과도 갖는다.

Claims

(a) 객체를 시점을 달리하며 표현한 복수의 2차원 영상들 각각에서 상기 객체를 상기 영상의 에지와 성분별 내용을 고려하여 특정하는 단계;

(b) 상기 특정된 객체마다 상기 특정된 객체의 3차원 모델을 생성하는 단계; 및

(c) 상기 생성된 모델들을 상기 생성된 모델들간의 상대적 위치를 고려하여 정합하는 단계를 포함하는 것을 특징으로 하는 모델링 방법.
제1 항에 있어서, 상기 영상은 메모리에 저장된 2차원 실사 영상인 것을 특징으로 하는 모델링 방법.
제1 항에 있어서, 상기 (a) 단계는 상기 영상 중 데이터베이스에 미리 마련된 객체의 하나 이상의 에지들과 성분별 내용을 갖는 영상을 상기 객체로서 특정하는 것을 특징으로 하는 모델링 방법.
제3 항에 있어서, 상기 (a) 단계는

상기 영상을 분할하여 픽셀값들간에 미리 설정된 유사도를 갖는 픽셀들의 그룹을 다수 생성하는 단계;

상기 생성된 그룹들을 성분별로 표현하는 단계;

상기 영상에서 하나 이상의 상기 에지들을 검출하는 단계; 및

상기 영상 중 하나 이상의 상기 검출된 에지들과 상기 성분별로 표현된 결과가 상기 데이터베이스에 미리 마련된 객체의 하나 이상의 에지들과 성분별 내용인 영상을 상기 객체로서 특정하는 단계를 포함하는 것을 특징으로 하는 모델링 방법.
제1 항에 있어서, 상기 성분은 컬러 성분, 텍스쳐 성분, 2차원적 위치 성분, 또는 3차원적 기하 성분인 것을 특징으로 하는 모델링 방법.
제1 항에 있어서, 상기 (b) 단계는

하나의 상기 특정된 객체의 일부를 다른 하나의 상기 특정된 객체에서 상기 일부에 대응되는 영상을 이용하여 변경하는 단계; 및

상기 변경된 객체의 3차원 모델을 하나의 상기 특정된 객체의 3차원 모델로서 생성하는 단계를 포함하는 것을 특징으로 하는 모델링 방법.
제1 항에 있어서, 상기 (c) 단계는 상기 생성된 모델들간에 대응되는 부분들간의 상대적 위치를 고려하여 상기 생성된 모델들을 정합하는 것을 특징으로 하는 모델링 방법.
제7 항에 있어서, 상기 (c) 단계는 상기 생성된 모델들간에 대응되는 부분들이 3차원 공간상에서 일치하도록 상기 생성된 모델들을 정합하는 것을 특징으로 하 는 모델링 방법.
제8 항에 있어서, 상기 (c) 단계는 상기 생성된 모델들간에 공통된 면들이 3차원 공간상에서 일치하도록 상기 생성된 모델들을 정합하는 것을 특징으로 하는 모델링 방법.
제1 항에 있어서, 상기 영상은 하나 이상의 상기 객체들을 갖는 것을 특징으로 하는 모델링 방법.
제10 항에 있어서, 상기 모델링 방법은

상기 영상내의 상기 특정된 객체들간의 상대적 위치가 상기 영상내의 상기 특정된 객체들의 상기 생성된 모델들간의 상대적 위치가 되도록 상기 생성된 모델들을 배치하는 단계를 더 포함하는 것을 특징으로 하는 모델링 방법.
객체를 시점을 달리하며 표현한 복수의 2차원 영상들 각각에서 상기 객체를 상기 영상의 에지와 성분별 내용을 고려하여 특정하는 전처리부;

상기 특정된 객체마다 상기 특정된 객체의 3차원 모델을 생성하는 모델 생성부; 및

상기 생성된 모델들을 상기 생성된 모델들간의 상대적 위치를 고려하여 정합하는 모델 정합부를 포함하는 것을 특징으로 하는 모델링 장치.
제12 항에 있어서, 상기 영상은 메모리에 저장된 2차원 실사 영상인 것을 특징으로 하는 모델링 장치.
제12 항에 있어서, 상기 전처리부는 상기 영상 중 데이터베이스에 미리 마련된 객체의 하나 이상의 에지들과 성분별 내용을 갖는 영상을 상기 객체로서 특정하는 것을 특징으로 하는 모델링 장치.
제14 항에 있어서, 상기 전처리부는

상기 영상을 분할하여 픽셀값들간에 미리 설정된 유사도를 갖는 픽셀들의 그룹을 다수 생성하는 수퍼픽셀 생성부;

상기 생성된 그룹들을 성분별로 표현하는 성분별 영상 생성부;

상기 영상에서 하나 이상의 상기 에지들을 검출하는 에지 검출부; 및

상기 영상 중 하나 이상의 상기 검출된 에지들과 상기 성분별로 표현된 결과가 상기 데이터베이스에 미리 마련된 객체의 하나 이상의 에지들과 성분별 내용인 영상을 상기 객체로서 특정하는 객체 특정부를 포함하는 것을 특징으로 하는 모델링 장치.
제12 항에 있어서, 상기 성분은 컬러 성분, 텍스쳐 성분, 2차원적 위치 성분, 또는 3차원적 기하 성분인 것을 특징으로 하는 모델링 장치.
제12 항에 있어서, 상기 모델 생성부는 하나의 상기 특정된 객체의 일부를 다른 하나의 상기 특정된 객체에서 상기 일부에 대응되는 영상을 이용하여 변경 가능한 것을 특징으로 하는 모델링 장치.
제12 항에 있어서, 상기 모델 정합부는 상기 생성된 모델들간에 대응되는 부분들간의 상대적 위치를 고려하여 상기 생성된 모델들을 정합하는 것을 특징으로 하는 모델링 장치.
제18 항에 있어서, 상기 모델 정합부는 상기 생성된 모델들간에 대응되는 부분들이 3차원 공간상에서 일치하도록 상기 생성된 모델들을 정합하는 것을 특징으로 하는 모델링 장치.
제19 항에 있어서, 상기 모델 정합부는 상기 생성된 모델들간에 공통된 면들이 3차원 공간상에서 일치하도록 상기 생성된 모델들을 정합하는 것을 특징으로 하는 모델링 장치.
제12 항에 있어서, 상기 영상은 하나 이상의 상기 객체들을 갖는 것을 특징으로 하는 모델링 장치.
제21 항에 있어서, 상기 모델링 장치는

상기 영상내의 상기 특정된 객체들간의 상대적 위치가 상기 영상내의 상기 특정된 객체들의 상기 생성된 모델들간의 상대적 위치가 되도록 상기 생성된 모델들을 배치하는 모델 배치부를 더 포함하는 것을 특징으로 하는 모델링 장치.
제1 항 내지 제11 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.