KR101396346B1

KR101396346B1 - 다수의 2차원 실사 영상들을 이용하여 3차원 영상을생성하는 방법 및 장치

Info

Publication number: KR101396346B1
Application number: KR1020070096961A
Authority: KR
Inventors: 이희세; 고영인; 안정환; 김도균
Original assignee: 삼성전자주식회사
Priority date: 2007-09-21
Filing date: 2007-09-21
Publication date: 2014-05-20
Also published as: US8487926B2; US20090079730A1; KR20090031113A

Abstract

본 발명은 다수의 2차원 실사 영상들을 이용하여 3차원 영상을 생성하는 방법 및 장치에 관한 것으로, 어느 하나의 장면을 부분적으로 나타내는 다수의 2차원 영상들을 조합함으로써 이 장면의 전체를 나타내는 2차원 파노라마 영상을 생성하고, 2차원 파노라마 영상 내의 영상 정보에 기초하여 이 2차원 파노라마 영상을 접음(folding)으로써 3차원 영상을 생성한다.

Description

다수의 2차원 실사 영상들을 이용하여 3차원 영상을 생성하는 방법 및 장치 {Method and apparatus for creating a 3D image using 2D photograph images}

본 발명은 3차원 모델링 기술(3D modeling)에 관한 것으로, 특히 다수의 2차원 실사 영상들을 이용하여 3차원 영상을 생성하는 방법 및 장치에 관한 것이다.

3차원 모델링(3D modeling) 기술은 컴퓨터 그래픽스(computer graphics) 분야나 컴퓨터 비전 분야에서 많은 연구가 진행되어 있다. 컴퓨터 그래픽스 분야는 3차원 공간에서의 객체의 기하(geometric) 정보 및 질감(material) 정보를 모델링하는 정교한 CAD(Computer Aided Design) 시스템을 개발하는 방향으로 진행되어 왔다. 그런데, 이러한 방식들은 실제 세계(real world)에서의 객체의 기하 정보가 매우 복잡하고, 조명 효과를 정확하게 모델링하기 어렵기 때문에 사실적인 영상을 저작하기가 매우 어려웠다. 컴퓨터 비전 분야는 2차원 영상으로부터 3차원의 기하 정보를 산출하고, 실제 영상을 이용하여 실제 세계의 조명 조건 하에서 객체의 질감 정보를 산출하는 방향으로 진행되어 왔다. 그런데, 이러한 방식들은 3차원 기하 정보 산출을 위한 계산이 매우 복잡하였다.

본 발명이 이루고자 하는 기술적 과제는 3차원 기하 정보 산출을 위한 복잡한 계산 없이 매우 간단하게 3차원 영상을 생성할 수 있는 장치 및 방법을 제공하는데 있다. 또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.

본 발명이 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. 이것은 본 발명이 속하는 기술 분야에서 통상적인 지식을 가진 자들이라면 아래의 기재로부터 명확하게 이해될 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 3차원 영상 생성 방법은 어느 하나의 장면을 부분적으로 나타내는 다수의 2차원 영상(image)들을 조합함으로써 상기 장면의 전체를 나타내는 2차원 파노라마 영상을 생성하는 단계; 및 상기 2차원 파노라마 영상 내의 영상 정보에 기초하여 상기 2차원 파노라마 영상을 접음(folding)으로써 3차원 영상을 생성하는 단계를 포함한다.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 3차원 영상 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 3차원 영상 생성 장치는 어느 하나의 장면을 부분적으로 나타내는 다수의 2차원 영상들을 조합함으 로써 상기 장면의 전체를 나타내는 2차원 파노라마 영상을 생성하는 2차원 파노라마 영상 생성부; 및 상기 2차원 파노라마 영상 내의 영상 정보에 기초하여 상기 2차원 파노라마 영상을 접음으로써 3차원 영상을 생성하는 3차원 영상 생성부를 포함한다.

상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 네비게이션 시스템에서의 네비게이션 방법은 2차원 파노라마 영상 내의 영상 정보에 기초하여 상기 2차원 파노라마 영상을 접음으로써 3차원 영상을 생성하는 단계; 및 상기 생성된 3차원 영상을 포함하는 3차원 영상들 중 상기 네비게이션 시스템의 현재 위치 정보에 해당하는 3차원 영상을 추출하고, 상기 추출된 3차원 영상을 상기 네비게이션 시스템이 장착된 이동체의 진행 방향에 해당하는 2차원 평면상에 렌더링하는 단계를 포함한다.

상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 네비게이션 시스템은 2차원 파노라마 영상 내의 영상 정보에 기초하여 상기 2차원 파노라마 영상을 접음(folding)으로써 3차원 영상을 생성하는 3차원 영상 생성 장치; 상기 생성된 3차원 영상을 저장하는 메모리; 및 상기 메모리에 저장된 3차원 영상들 중 상기 네비게이션 시스템의 현재 위치 정보에 해당하는 3차원 영상을 추출하고, 상기 추출된 3차원 영상을 상기 네비게이션 시스템이 장착된 이동체의 진행 방향에 해당하는 2차원 평면상에 렌더링하는 렌더링 장치를 포함한다.

본 발명에 따르면, 2차원 실사 영상들을 이용하여 2차원 파노라마 영상을 생 성하고, 이 2차원 파노라마 영상 내의 영상 정보에 기초하여 2차원 파노라마 영상을 접음으로써 3차원 영상을 생성함으로써 3차원 기하 정보 산출을 위한 복잡한 계산 없이 매우 간단하게 3차원 영상을 생성할 수 있다.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 3차원 영상 생성 장치의 구성도이다.

도 1을 참조하면, 본 실시예에 따른 3차원 영상 생성 장치는 2차원 실사 영상 정규화부(100), 2차원 파노라마 영상 생성부(200) 및 3차원 영상 생성부(300)로 구성된다. 도 2는 실제 세계의 어느 하나의 장면(scene)을 부분적으로 나타내는 다수의 2차원 실사 영상(2D photograph image)들을 도시한 도면이다. 사용자는 카메라를 사용하여 3차원 영상링하고자 하는 장면을 여러 위치에서 다양한 각도로 촬영한다. 이와 같이 여러 위치에서 다양한 각도로 촬영된 2차원 실사 영상들은 어느 하나의 장면을 부분적으로 나타내는 영상들이 될 것이다. 특히, 사용자는 2차원 실사 영상들 내의 객체(object)의 면이 최소 1면 이상 보이도록 촬영한다.

도 1에 도시된 3차원 영상 생성 장치는 도 2에 도시된 바와 같은 2차원 실사 영상들을 이용하여 간단하게 3차원 영상을 생성할 수 있는 장치이다. 도 1에 도시된 3차원 영상 생성 장치가 네비게이션 시스템(navigation system)에 적용된다면, 이동체에 설치된 카메라로부터 2차원 실사 영상들을 얻을 수도 있다.

2차원 실사 영상 정규화부(100)는 어느 하나의 장면을 부분적으로 나타내는 다수의 2차원 실사 영상들을 정규화함으로써 특정 방향을 향하는 카메라 렌즈의 원 근도(perspective view)에 따른 영상 왜곡을 수정한다. 2차원 실사 영상 정규화부(100)에 의해 정규화된 2차원 실사 영상들은 서로에 대한 정합(matching)이 용이하게 이루어질 수 있다.

도 1을 참조하면, 2차원 실사 영상 정규화부(100)는 분할부(110), 회전/전개부(120) 및 삭제부(130)로 구성된다.

분할부(110)는 도 1에 도시된 바와 같은 2차원 실사 영상들을 입력받고, 이 2차원 실사 영상들 내 객체들 각각의 수직 에지(vertical edge)에 해당하는 라인을 따라 2차원 실사 영상들을 분할한다. 즉, 2차원 실사 영상들은 분할부(110)에 의해 각 객체 면 단위로 분할되고, 2차원 실사 영상들의 분할 부분들 각각은 객체의 어느 한 면이 된다. 이와 같은 객체의 분할은 사용자에 의해 수동적으로 수행될 수도 있고, 에지 검출 알고리즘을 사용하여 자동적으로 수행될 수도 있다.

먼저, 수동 분할에 대해 살펴보면, 사용자가 컴퓨터 모니터 상에 출력된 2차원 실사 영상들 내 객체들 각각의 수직 에지에 해당하는 라인을 터치 펜, 마우스 등의 입력도구를 사용하여 그려주면, 분할부(110)는 사용자에 의해 입력된 정보, 즉 객체들 각각의 수직 에지에 해당하는 라인을 나타내는 정보에 따라 2차원 실사 영상들을 분할한다. 다음으로, 자동 분할에 대해 살펴보면, 분할부(110)는 2차원 실사 영상들 내에서 수평 방향으로 광도 세기(luminous intensity)의 변화가 임계값 이상인 지점들에 해당하는 수직 에지를 검출하고, 이와 같이 검출된 수직 에지에 해당하는 라인을 따라 2차원 실사 영상들을 분할한다. 특히, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 실시예에는 상기된 분할 방법 이 외에도 다양한 분할 방법들이 적용될 수 있음을 이해할 수 있다.

회전/전개부(120)는 분할부(110)에 의한 2차원 실사 영상들의 분할 부분들을 구성하는 라인들을 상호 평행하도록 수직하게 회전시키고, 이와 같이 회전된 라인들로 구성된 분할 부분들을 전개(unfolding)한다. 보다 상세하게 설명하면, 회전/전개부(120)는 분할부(110)에 의한 2차원 실사 영상들의 분할 부분들을 구성하는 라인들이 상호 평행하도록 2차원 실사 영상을 구성하는 화소(pixel)들의 좌표 값 (x, y)을 수정한 후, 2차원 실사 영상의 부분들이 전개되어 보이도록 2차원 실사 영상을 구성하는 화소들의 좌표 값 (x, y)을 수정한다.

다만, 상기된 바와 같은 라인들의 회전으로 인하여 라인들간의 간격이 변경되기 때문에 이와 같이 수정된 좌표 값을 갖는 화소들 각각의 컬러 값 등과 같은 영상 정보는 중복될 수도 있고, 누락될 수도 있다. 즉, 회전/전개부(120)는 2차원 실사 영상들의 분할 부분들을 구성하는 라인들의 간격이 원래의 간격보다 좁혀짐으로 인하여 일부 화소들의 좌표 값이 서로 중복된 경우에는 이 일부 화소들의 영상 정보들을 단일화한다. 예를 들어, 회전/전개부(120)는 이 일부 화소들의 영상 정보들을 평균하고, 그 평균 값을 서로 중복된 좌표 값들을 갖는 화소들의 영상 정보로 함으로써 단일화할 수 있다. 또한, 회전/전개부(120)는 2차원 실사 영상들의 분할 부분들을 구성하는 라인들의 간격이 원래의 간격보다 넓혀짐으로 인하여 일부 화소들의 좌표 값이 누락된 경우에는 이 일부 화소들의 영상 정보들을 보간(interpolate)한다. 예를 들어, 회전/전개부(120)는 이 일부 화소들의 이웃 화소들의 영상 정보들을 평균하고, 그 평균 값을 누락된 좌표 값들을 갖는 화소들의 영 상 정보로 함으로써 보간할 수 있다.

도 3은 회전/전개부(120)에 의해 처리되기 전의 영상과 처리된 후의 영상을 도시한 도면이다. 도 3을 참조하면, 분할부(110)에 의한 2차원 실사 영상들의 분할 부분들 각각은 어느 하나의 객체(도 3에서는 건물)의 어느 한 면과 그 면의 상하 부분을 포함하는 영상임을 알 수 있다. 도 3의 우측에 도시된 바와 같이, 어떤 2차원 실사 영상에 어떤 객체의 정면과 측면이 모두 나타나 있다면, 회전/전개부(120)는 이 객체의 측면이 정면으로 보이도록 이 객체를 전개하는 역할을 한다.

삭제부(130)는 회전/전개부(120)에 의해 회전 및 전개된 2차원 실사 영상들의 분할 부분들 중 적어도 하나의 손실 면을 갖는 분할 부분을 삭제한다. 여기에서, 손실 면이란 어떤 면을 구성하는 화소 값들 중 적어도 하나의 화소 값이 누락된 면을 말한다. 도 4는 삭제부(130)에 의해 삭제된 2차원 실사 영상들을 도시한 도면이다.

2차원 파노라마 영상 생성부(200)는 2차원 실사 영상 정규화부(100)에 의해 정규화된 2차원 실사 영상들을 조합함으로써 상기된 장면의 전체를 나타내는 2차원 파노라마 영상을 생성한다.

도 1을 참조하면, 2차원 파노라마 영상 생성부(200)는 특징 식별부(210), 정렬부(220) 및 조합부(230)로 구성된다.

특징 식별부(210)는 2차원 실사 영상 정규화부(100)에 의해 정규화된 2차원 실사 영상들의 분할 부분들 각각의 특징을 식별하고, 이와 같이 식별된 적어도 두 개의 분할 부분들의 특징들의 차이가 임계 범위 이하인 경우에는 이 분할 부분들이 서로 동일한 분할 부분인 것으로 판단하고, 이것들에 대하여 하나의 라벨만을 부여한다. 또한, 특징 식별부(210)는 이와 같이 식별된 적어도 두 개의 분할 부분들의 특징들의 차이가 임계 범위 초과인 경우에는 이 분할 부분들이 서로 다른 분할 부분들인 것으로 판단하고, 이것들 각각에 대하여 서로 다른 라벨들을 부여한다. 특히, 본 실시예에 따르면, 특징 식별부(210)는 2차원 실사 영상들의 분할 부분들에 해당하는 객체 면들의 특징을 식별한다. 또한, 본 실시예에서의 "임계 범위"는 객체 면들의 동일성 여부를 판단하는데 기준이 되는 것으로서 2차원 실사 영상의 해상도, 촬영 환경 등에 따라 적절하게 설정된다.

다만, 2차원 실사 영상 정규화부(100)에 의해 정규화된 2차원 실사 영상들의 분할 부분들 중 어느 하나의 분할 부분에 해당하는 객체 면과 다른 분할 부분에 해당하는 객체 면이 하나의 동일한 객체 면인 경우, 어느 하나의 분할 부분에 해당하는 객체 면의 스케일(scale)이 다른 분할 부분에 해당하는 객체 면의 스케일과 다를 수 있다. 따라서, 특징 식별부(210)에 의해 식별된 객체 면의 특징은 스케일에 무관하여야 한다. 이와 같이 객체 면의 스케일에 무관한 특징(scale invariant feature)을 추출하는 방법에 대해서는 미국특허 US 6,711,293에 자세하게 개시되어 있다.

도 5는 특징 식별부(210)에 의해 2차원 실사 영상들의 분할 부분들 각각에 라벨이 부여된 모습을 도시한 도면이다. 도 5를 참조하면, 첫 번째 2차원 실사 영상의 3 개의 분할 부분들 각각에는 A, B, C의 라벨이 부여되어 있다. 또한, 두 번째 2차원 실사 영상의 1 개의 분할 부분에는 D의 라벨이 부여되어 있다. 또한, 세 번째 2차원 실사 영상의 3 개의 분할 부분들 각각에는 A, D, E의 라벨이 부여되어 있다. 또한, 네 번째 2차원 실사 영상의 4 개의 분할 부분들 각각에는 B, C, F, G의 라벨이 부여되어 있다. 또한, 다섯 번째 2차원 실사 영상의 3 개의 분할 부분들 각각에는 D, E, B의 라벨이 부여되어 있다. 특히, 도 5로부터 동일한 특징을 갖는 객체 면들에 해당하는 분할 부분들에 대해서는 동일한 라벨이 부여되어 있음을 알 수 있다.

정렬부(220)는 2차원 실사 영상들의 분할 부분들 중 특징 식별부(210)에 의해 서로 동일한 것으로 판단된 분할 부분들이 동일한 위치에 배치되도록 2차원 실사 영상들의 분할 부분들을 정렬한다. 보다 상세하게 설명하면, 정렬부(220)는 임의의 2차원 실사 영상들의 분할 부분들을 차례로 정렬한 후, 다른 2차원 실사 영상의 분할 부분들 중 먼저 정렬된 분할 부분과 동일한 라벨을 갖는 분할 부분을 먼저 정렬된 이 분할 부분과 동일한 위치에 배치되도록 2차원 실사 영상들의 분할 부분들을 정렬한다.

도 6은 정렬부(220)에 의해 분할 부분들이 정렬되는 모습을 도시한 도면이다. 도 6을 참조하면, 정렬부(220)는 먼저 첫 번째 2차원 실사 영상에 대하여 라벨 A의 분할 부분, 라벨 B의 분할 부분, 라벨 C의 분할 부분의 순서로 정렬한다. 다만, 첫 번째 2차원 실사 영상에서 라벨 A의 분할 부분, 라벨 B의 분할 부분, 라벨 C의 분할 부분이 인접해 있다고 해서, 반드시 이 분할 부분들을 인접하게 정렬할 필요는 없으며, 이 분할 부분들의 최종적인 위치는 모든 2차원 실사 영상들에 대한 정렬이 완료된 이후에 결정된다. 이하에서도 마찬가지이다.

이어서, 정렬부(220)는 첫 번째 2차원 실사 영상과 동일한 라벨의 분할 부분을 갖고 있는 세 번째 2차원 실사 영상에 대하여 라벨 A의 분할 부분을 먼저 정렬된 라벨 A의 분할 부분과 동일한 위치에 배치하고, 라벨 A의 분할 부분, 라벨 D의 분할 부분, 라벨 E의 분할 부분의 순서로 정렬한다. 이어서, 정렬부(220)는 첫 번째 2차원 실사 영상과 동일한 라벨의 분할 부분을 갖고 있는 네 번째 2차원 실사 영상에 대하여 라벨 B의 분할 부분을 먼저 정렬된 라벨 B의 분할 부분과 동일한 위치에 배치하고, 라벨 B의 분할 부분, 라벨 C의 분할 부분, 라벨 F의 분할 부분, 라벨 G의 분할 부분의 순서로 정렬한다.

이어서, 정렬부(220)는 첫 번째 2차원 실사 영상과 동일한 라벨의 분할 부분을 갖고 있는 다섯 번째 2차원 실사 영상에 대하여 라벨 B의 분할 부분을 먼저 정렬된 라벨 B의 분할 부분과 동일한 위치에 배치하고, 라벨 D의 분할 부분, 라벨 E의 분할 부분, 라벨 B의 분할 부분의 순서로 정렬한다. 특히, 이 경우에는 라벨 D의 분할 부분, 라벨 E의 분할 부분이 먼저 정렬된 세 번째 2차원 실사 영상에 포함되어 있음을 알 수 있다. 이 경우, 정렬부(220)는 세 번째 2차원 실사 영상의 라벨 D의 분할 부분, 라벨 E의 분할 부분과 다섯 번째 2차원 실사 영상의 라벨 D의 분할 부분, 라벨 E의 분할 부분이 동일한 위치가 되도록 배치한다. 이어서, 정렬부(220)는 세 번째 2차원 실사 영상과 동일한 라벨의 분할 부분을 갖고 있는 두 번째 2차원 실사 영상에 대하여 라벨 D의 분할 부분을 먼저 정렬된 라벨 D의 분할 부분과 동일한 위치에 배치한다. 상기된 바와 같은 과정을 통하여 최종적으로 라벨 A의 분할 부분, 라벨 D의 분할 부분, 라벨 E의 분할 부분, 라벨 B의 분할 부분, 라벨 C의 분할 부분, 라벨 F의 분할 부분, 라벨 G의 분할 부분의 순서로 정렬됨을 알 수 있다.

조합부(230)는 정렬부(220)에 의해 동일한 위치에 배치된 분할 부분들이 하나의 분할 부분으로 표현되도록 정렬부(220)에 의해 정렬된 분할 부분들을 조합한다. 보다 상세하게 설명하면, 조합부(230)는 정렬부(220)에 의해 동일한 위치에 배치된 분할 부분들 중 영상 정보의 데이터 량이 보다 큰 분할 부분을 선택함으로서 정렬부(220)에 의해 정렬된 분할 부분들을 조합한다. 또한, 조합부(230)는 상기된 선택이 완료된 분할 부분들 중 적어도 두 개 이상이 서로 스케일이 다르다면, 이 분할 부분들의 스케일이 동일하도록 이 분할 부분들을 구성하는 화소들의 좌표 값 및 영상 정보를 수정한다.

도 7은 조합부(230)에 의해 2차원 실사 영상들이 조합되는 모습을 도시한 도면이다. 도 7을 참조하면, 조합부(230)는 라벨 A의 분할 부분, 라벨 D의 분할 부분, 라벨 E의 분할 부분, 라벨 B의 분할 부분, 라벨 C의 분할 부분, 라벨 F의 분할 부분, 라벨 G의 분할 부분의 순서로 정렬된 2차원 실사 영상들 중 라벨 A의 위치에 배치된 분할 부분들 중 영상 정보의 데이터 량이 보다 큰 첫 번째 2차원 실사 영상의 분할 부분을 선택한다. 이어서, 조합부(230)는 라벨 D의 위치에 배치된 분할 부분들 중 영상 정보의 데이터 량이 보다 큰 다섯 번째 2차원 실사 영상의 분할 부분을 선택한다. 이어서, 조합부(230)는 라벨 E의 위치에 배치된 분할 부분들 중 영상 정보의 데이터 량이 보다 큰 다섯 번째 2차원 실사 영상의 분할 부분을 선택한다. 이어서, 조합부(230)는 라벨 B의 위치에 배치된 분할 부분들 중 영상 정보의 데이 터 량이 보다 큰 첫 번째 2차원 실사 영상의 분할 부분을 선택한다. 이어서, 조합부(230)는 라벨 C의 위치에 배치된 분할 부분들 중 영상 정보의 데이터 량이 보다 큰 첫 번째 2차원 실사 영상의 분할 부분을 선택한다. 다만, 라벨 F, 라벨 G의 위치에 배치된 분할 부분들은 네 번째 2차원 실사 영상에만 존재하기 때문에 상기된 선택 과정이 필요 없다. 도 8은 조합부(230)에 생성된 2차원 파노라마 영상을 도시한 도면이다.

3차원 영상 생성부(300)는 2차원 파노라마 영상 생성부(200)에 의해 생성된 2차원 파노라마 영상 내의 영상 정보에 기초하여 2차원 파노라마 영상 생성부(200)에 의해 생성된 2차원 파노라마 영상을 접음(folding)으로써 3차원 영상을 생성한다. 보다 상세하게 설명하면, 3차원 영상 생성부(300)는 2차원 파노라마 영상 생성부(200)에 의해 생성된 2차원 파노라마 영상 내의 객체들 각각의 수직 에지에 해당하는 라인을 따라 2차원 파노라마 영상 생성부(200)에 의해 생성된 2차원 파노라마 영상을 접음으로써 3차원 영상을 생성한다.

도 1을 참조하면, 3차원 영상 생성부(300)는 사상부(310) 및 접기부(320)로 구성된다.

사상부(310)는 2차원 파노라마 영상 생성부(200)에 의해 생성된 2차원 파노라마 영상을 각 화소의 좌표 값이 3차원 좌표계 (x, y, z)로 표현되는 3차원 평면에 사상(mapping)한다. 2차원 파노라마 영상 생성부(200)에 의해 생성된 2차원 파노라마 영상의 모든 화소들의 좌표 값들은 x 값 및 y 값만으로 구성되어 있기 때문에, 사상부(310)에 의해 3차원 평면에 사상된 영상을 구성하는 모든 화소들의 z 값 들은 0 또는 미리 설정된 어떤 값이 될 것이다. 도 9는 사상부(310)에 의해 3차원 평면에 사상된 영상을 도시한 도면이다.

접기부(320)는 사상부(310)에 의해 3차원 평면에 사상된 영상의 분할 부분들의 경계들, 즉 객체들 각각의 수직 에지에 해당하는 라인들을 따라 사상부(310)에 의해 3차원 평면에 사상된 영상을 접는다. 보다 구체적으로 설명하면, 접기부(320)는 사상부(310)에 의해 3차원 평면에 사상된 영상 내의 객체들 각각의 수직 에지에 해당하는 라인과 이 객체들 각각의 측면에 해당하는 라인들간의 거리에 비례하여 이 객체들 각각의 측면에 해당하는 라인들을 구성하는 화소들의 깊이 값, 즉 z 값을 증가시킴으로써 사상부(310)에 의해 3차원 평면에 사상된 영상을 접는다. 이와 같이 함으로써 사상부(310)에 의해 3차원 평면에 사상된 영상의 모든 화소들의 3차원 좌표 값, 즉 x 값, y 값, z 값이 생성되게 된다. 도 10은 접기부(320)에 의해 생성된 3차원 영상을 도시한 도면이다. 본 실시예에 따르면, 3차원 평면에 사상된 2차원 영상을 단순히 접는 것에 의하여 3차원 영상을 생성하기 때문에 매우 간단하게 3차원 영상을 생성할 수 있다.

본 실시예에서의 "객체의 측면"은 사용자의 시점(view point), 즉 2차원 실사 영상들을 촬영한 카메라의 시점으로부터 그 객체의 다른 면보다 멀게 위치한 면을 의미한다. 바꾸어 말하면, 2차원 실사 영상들을 촬영한 카메라의 시점으로부터 가장 가까운 객체의 면이 정면이 된다. 그런데, 이와 같이 접기부(320)가 사상부(310)에 의해 3차원 평면에 사상된 영상을 접기 위해서는 사상부(310)에 의해 3차원 평면에 사상된 영상의 분할 부분들 각각의 객체 면이 측면에 해당하는지가 먼 저 결정되어야 한다. 이와 같은 분할 부분들 각각의 측면 여부 결정은 사용자에 의해 수동적으로 수행될 수도 있고, 측면 검출 알고리즘을 사용하여 자동적으로 수행될 수도 있다.

먼저, 수동 접기에 대해 살펴보기로 한다. 사용자가 컴퓨터 모니터 상에 출력된 분할 부분들 중 측면으로 하고 싶은 분할 부분을 터치 펜, 마우스 등의 입력도구를 사용하여 지정하면, 접기부(320)는 사상부(310)에 의해 3차원 평면에 사상된 영상 내의 객체들 각각의 수직 에지에 해당하는 라인과 사용자에 의해 입력된 정보에 의해 지정된 측면에 해당하는 라인들간의 거리에 비례하여 이 객체들 각각의 측면에 해당하는 라인들을 구성하는 화소들의 깊이 값을 증가시킴으로써 사상부(310)에 의해 3차원 평면에 사상된 영상을 접을 수 있다. 다음으로, 자동 접기에 대해 살펴보기로 한다. 접기부(320)는 사상부(310)에 의해 3차원 평면에 사상된 영상의 분할 부분들 중 서로 이웃한 적어도 두 개의 분할 부분들이 하나의 객체를 나타내는가를 결정하고, 그 결과 하나의 객체를 나타내는 것으로 결정된 분할 부분들 중 가장 넓은 면적의 분할 부분을 제외한 나머지 분할 부분을 측면으로 결정한다. 2차원 실사 영상들을 촬영한 카메라의 시점으로부터 가장 가까운 객체의 면이 정면이기 때문에, 카메라 렌즈의 원근도로 인해 이 정면에 대한 촬영 면적이 측면에 대한 촬영 면적보다 크게 된다. 따라서, 어느 하나의 객체를 나타내는 분할 부분들 중 가장 넓은 면적의 분할 부분이 정면이 되고, 나머지 분할 부분이 측면이 된다. 특히, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 실시예에는 상기된 접기 방법 이외에도 다양한 접기 방법들이 적용될 수 있음을 이해할 수 있다.

도 11은 본 발명의 일 실시예에 따른 3차원 영상 생성 방법의 구성도이다.

도 11을 참조하면, 본 실시예에 따른 3차원 영상 생성 방법은 도 1에 도시된 3차원 영상 생성 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 3차원 영상 생성 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 3차원 영상 생성 방법에도 적용된다.

111 단계에서 3차원 영상 생성 장치는 2차원 실사 영상들을 입력받고, 이 2차원 실사 영상들 내 객체들 각각의 수직 에지에 해당하는 라인을 따라 2차원 실사 영상들을 분할한다.

112 단계에서 3차원 영상 생성 장치는 111 단계에서의 처리 결과인 2차원 실사 영상들의 분할 부분들을 구성하는 라인들을 상호 평행하도록 수직하게 회전시키고, 이와 같이 회전된 라인들로 구성된 분할 부분들을 전개한다.

113 단계에서 3차원 영상 생성 장치는 112 단계에서 회전 및 전개된 2차원 실사 영상들의 분할 부분들 중 적어도 하나의 손실 면을 갖는 분할 부분을 삭제한다.

114 단계에서 3차원 영상 생성 장치는 111-113 단계들에 따라 정규화된 2차원 실사 영상들의 분할 부분들 각각의 특징을 식별하고, 이와 같이 식별된 적어도 두 개의 분할 부분들의 특징들의 차이가 임계 범위 이하인 경우에는 이 분할 부분들이 서로 동일한 분할 부분인 것으로 판단하고, 임계 범위 초과인 경우에는 이 분할 부분들이 서로 다른 분할 부분들인 것으로 판단한다.

115 단계에서 3차원 영상 생성 장치는 2차원 실사 영상들의 분할 부분들 중 114 단계에서 서로 동일한 것으로 판단된 분할 부분들이 동일한 위치에 배치되도록 2차원 실사 영상들의 분할 부분들을 정렬한다.

116 단계에서 3차원 영상 생성 장치는 115 단계에서 동일한 위치에 배치된 분할 부분들이 하나의 분할 부분으로 표현되도록 115 단계에서 정렬된 분할 부분들을 조합한다.

117 단계에서 3차원 영상 생성 장치는 114-116 단계들에 따라 생성된 2차원 파노라마 영상을 각 화소의 좌표 값이 3차원 좌표계 (x, y, z)로 표현되는 3차원 평면에 사상한다.

118 단계에서 3차원 영상 생성 장치는 117 단계에서 3차원 평면에 사상된 영상의 분할 부분들의 경계들, 즉 객체들 각각의 수직 에지에 해당하는 라인들을 따라 117 단계에서 3차원 평면에 사상된 영상을 접는다.

도 12는 도 1에 도시된 3차원 영상 생성 장치를 사용한 네비게이션 시스템의 구성도이다.

도 12를 참조하면, 도 1에 도시된 3차원 영상 생성 장치를 사용한 네비게이션 시스템은 카메라(121), 3차원 영상 생성 장치(122), 메모리(123), GPS(Global Positioning System)(124) , 렌더링 장치(125), 및 디스플레이 장치(126)로 구성된다. 3차원 영상 생성 장치(122)는 도 1에 도시된 3차원 영상 생성 장치와 동일한 것이며, 이것에 관한 자세한 설명은 이상에서 기술되어 있으므로 생략하기로 한다.

카메라(121)는 실제 세계의 어느 하나의 장면을 촬영함으로써 2차원 실사 영 상을 생성한다. 이동체(예를 들면, 자동차)의 진행 방향에 해당하는 장면이 여러 위치에서 다양한 각도로 동시에 촬영될 수 있도록 이동체의 앞 부분의 여러 위치에 복수 개의 카메라들이 설치될 수 있다. 아니면, 이동체의 앞 부분의 어느 한 위치에 설치된 한 개의 카메라로부터 이동체의 이동에 따라 어느 하나의 장면에 대해 여러 위치에서 다양한 각도로 촬영된 2차원 실사 영상들을 얻을 수도 있다.

3차원 영상 생성 장치(122)는 카메라(121)에 의해 생성된 2차원 실사 영상들을 조합함으로써 장면의 전체를 나타내는 2차원 파노라마 영상을 생성하고, 이 2차원 파노라마 영상 내의 영상 정보에 기초하여 2차원 파노라마 영상을 접음으로써 3차원 영상을 생성한다.

메모리(123)는 3차원 영상 생성 장치(122)에 의해 생성된 3차원 영상을 저장한다. 따라서, 메모리(123)에는 카메라(122)에 의해 촬영된 2차원 실사 영상들로부터 생성된 3차원 영상이 저장되어 있게 된다. 다만, 본 실시예에 따른 네비게이션 시스템은 카메라(121), 3차원 영상 생성 장치(122)를 구비하지 않고, 본 실시예에 따른 네비게이션 시스템이 아닌 다른 장치에서 미리 생성된 3차원 영상이 저장된 메모리(123)만을 구비할 수도 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 그러나, 본 실시예에 따른 3차원 영상 생성 장치(122)는 3차원 영상 생성을 위한 계산이 간단하기 때문에 이동체가 이동 가능한 모든 지역의 3차원 영상이 저장된 대용량의 메모리를 구비하지 않고, 이동체가 현재 위치한 장면의 2차원 실사 영상들을 이용하여 바로 3차원 영상을 생성하고, 메모리(123)에 저장된 3차원 영상들 중 이동체로부터 멀어진 지역의 3차원 영상을 삭 제함으로써 소용량의 메모리만으로도 충분할 수 있다.

GPS(124)는 적어도 하나 이상의 GPS 위성으로부터 이동체에 장착된 네비게이션 시스템의 현재 위치 정보를 수신한다.

렌더링 장치(125)는 메모리(123)에 저장된 3차원 영상들 중 GPS(124)에 의해 수신된 네비게이션 시스템의 현재 위치 정보에 해당하는 3차원 영상을 추출하고, 이와 같이 추출된 3차원 영상을 네비게이션 시스템이 장착된 이동체의 진행 방향에 해당하는 2차원 평면상에 렌더링한다.

디스플레이 장치(125)는 렌더링 장치(125)에 의해 렌더링된 결과를 디스플레이한다.

도 13은 본 발명의 일 실시예에 따른 네비게이션 방법의 흐름도이다.

도 13을 참조하면, 본 실시예에 따른 네비게이션 방법은 도 12에 도시된 네비게이션 시스템에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 12에 도시된 네비게이션 시스템에 관하여 이상에서 기술된 내용은 본 실시예에 따른 네비게이션 방법에도 적용된다.

131 단계에서 네비게이션 시스템은 실제 세계의 어느 하나의 장면을 촬영함으로써 2차원 실사 영상을 생성한다.

132 단계에서 네비게이션 시스템은 131 단계에서 생성된 2차원 실사 영상을 조합함으로써 장면의 전체를 나타내는 2차원 파노라마 영상을 생성하고, 이 2차원 파노라마 영상 내의 영상 정보에 기초하여 2차원 파노라마 영상을 접음으로써 3차원 영상을 생성한다.

133 단계에서 네비게이션 시스템은 132 단계에서 생성된 3차원 영상을 저장한다.

134 단계에서 네비게이션 시스템은 적어도 하나 이상의 GPS 위성으로부터 이동체에 장착된 네비게이션 시스템의 현재 위치 정보를 수신한다.

135 단계에서 네비게이션 시스템은 133 단계에서 저장된 3차원 영상을 포함하는 3차원 영상들 중 134 단계에서 수신된 네비게이션 시스템의 현재 위치 정보에 해당하는 3차원 영상을 추출하고, 이와 같이 추출된 3차원 영상을 네비게이션 시스템이 장착된 이동체의 진행 방향에 해당하는 2차원 평면상에 렌더링한다.

136 단계에서 네비게이션 시스템은 135 단계에서 렌더링된 결과를 디스플레이한다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 2는 실제 세계의 어느 하나의 장면을 부분적으로 나타내는 다수의 2차원 실사 영상들을 도시한 도면이다.

도 3은 도 1에 도시된 회전/전개부(120)에 의해 처리되기 전의 영상과 처리된 후의 영상을 도시한 도면이다.

도 4는 도 1에 도시된 삭제부(130)에 의해 삭제된 2차원 실사 영상들을 도시한 도면이다.

도 5는 도 1에 도시된 특징 식별부(210)에 의해 2차원 실사 영상들의 분할 부분들 각각에 라벨이 부여된 모습을 도시한 도면이다.

도 6은 도 1에 도시된 정렬부(220)에 의해 분할 부분들이 정렬되는 모습을 도시한 도면이다.

도 7은 도 1에 도시된 조합부(230)에 의해 2차원 실사 영상들이 조합되는 모습을 도시한 도면이다.

도 8은 도 1에 도시된 조합부(230)에 생성된 2차원 파노라마 영상을 도시한 도면이다.

도 9는 도 1에 도시된 사상부(310)에 의해 3차원 평면에 사상된 영상을 도시한 도면이다.

도 10은 도 1에 도시된 접기부(320)에 의해 생성된 3차원 영상을 도시한 도면이다.

도 11은 본 발명의 다른 실시예에 따른 3차원 영상 생성 방법의 구성도이다.

도 13은 본 발명의 또 다른 실시예에 따른 네비게이션 방법의 흐름도이다.

Claims

어느 하나의 장면을 부분적으로 나타내는 다수의 2차원 영상(image)들을 정규화하는 단계;

상기 정규화된 2차원 영상들을 조합함으로써 상기 장면의 전체를 나타내는 2차원 파노라마 영상을 생성하는 단계; 및

상기 2차원 파노라마 영상 내의 영상 정보에 기초하여 상기 2차원 파노라마 영상을 접음(folding)으로써 3차원 영상을 생성하는 단계를 포함하고,

상기 정규화하는 단계는,

상기 2차원 영상들의 에지를 검출하고, 검출된 에지에 해당하는 라인을 따라 상기 2차원 영상들을 분할하는 단계;

상기 2차원 영상들의 분할 부분들을 구성하는 라인들을 상호 평행하도록 수직하게 회전시키는 단계; 및

상기 회전된 라인들로 구성된 분할 부분들을 전개하는 단계;

를 포함하는 것을 특징으로 하는 3차원 영상 생성 방법.
제 1 항에 있어서,

상기 3차원 영상을 생성하는 단계는 상기 2차원 파노라마 영상 내의 객체들 각각의 수직 에지에 해당하는 라인들을 따라 상기 2차원 파노라마 영상을 접는 것을 특징으로 하는 3차원 영상 생성 방법.
제 1 항에 있어서,

상기 3차원 영상을 생성하는 단계는 상기 2차원 파노라마 영상 내의 객체들 각각의 수직 에지에 해당하는 라인과 상기 객체들 각각의 측면에 해당하는 라인들간의 거리에 비례하여 상기 객체들 각각의 측면에 해당하는 라인들을 구성하는 화소들의 깊이 값을 증가시킴으로써 상기 2차원 파노라마 영상을 접는 것을 특징으로 하는 3차원 영상 생성 방법.
제 1 항에 있어서,

상기 2차원 파노라마 영상을 생성하는 단계는

상기 2차원 영상들의 분할 부분들 중 서로 동일한 것으로 판단된 분할 부분들이 동일한 위치에 배치되도록 상기 분할 부분들을 정렬하는 단계; 및

상기 동일한 위치에 배치된 분할 부분들이 하나의 분할 부분으로 표현되도록 상기 정렬된 분할 부분들을 조합하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 생성 방법.
제 4 항에 있어서,

상기 2차원 영상들을 조합하는 단계는 상기 동일한 위치에 배치된 분할 부분들이 존재하는 경우, 상기 동일한 위치에 배치된 분할 부분들 중 영상 정보의 데이터 량이 가장 많은 분할 부분을 선택함으로써 상기 정렬된 분할 부분들을 조합하는 것을 특징으로 하는 3차원 영상 생성 방법.
삭제
제 1 항 내지 제 5 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
어느 하나의 장면을 부분적으로 나타내는 다수의 2차원 영상(image)들을 정규화하는 정규화부;

상기 정규화된 2차원 영상들을 조합함으로써 상기 장면의 전체를 나타내는 2차원 파노라마 영상을 생성하는 2차원 파노라마 영상 생성부; 및

상기 2차원 파노라마 영상 내의 영상 정보에 기초하여 상기 2차원 파노라마 영상을 접음(folding)으로써 3차원 영상을 생성하는 3차원 영상 생성부를 포함하고,

상기 정규화부는,

상기 2차원 영상들의 에지를 검출하여, 검출된 에지에 해당하는 라인을 따라 상기 2차원 영상들을 분할하고, 상기 2차원 영상들의 분할 부분들을 구성하는 라인들을 상호 평행하도록 수직하게 회전시키며, 상기 회전된 라인들로 구성된 분할 부분들을 전개하는 것을 특징으로 하는 3차원 영상 생성 장치.
제 8 항에 있어서,

상기 3차원 영상 생성부는 상기 2차원 파노라마 영상 내의 객체들 각각의 수직 에지에 해당하는 라인들을 따라 상기 2차원 파노라마 영상을 접는 것을 특징으로 하는 3차원 영상 생성 장치.
제 8 항에 있어서,

상기 3차원 영상 생성부는 상기 2차원 파노라마 영상 내의 객체들 각각의 수직 에지에 해당하는 라인과 상기 객체들 각각의 측면에 해당하는 라인들간의 거리에 비례하여 상기 객체들 각각의 측면에 해당하는 라인들을 구성하는 화소들의 깊이 값을 증가시킴으로써 상기 2차원 파노라마 영상을 접는 것을 특징으로 하는 3차원 영상 생성 장치.
제 8 항에 있어서,

상기 2차원 파노라마 영상 생성부는

상기 2차원 영상들의 분할 부분들 중 서로 동일한 것으로 판단된 분할 부분들이 동일한 위치에 배치되도록 상기 분할 부분들을 정렬하는 정렬부; 및

상기 동일한 위치에 배치된 분할 부분들이 하나의 분할 부분으로 표현되도록 상기 정렬된 분할 부분들을 조합하는 조합부를 포함하는 것을 특징으로 하는 3차원 영상 생성 장치.
제 11 항에 있어서,

상기 조합부는 상기 동일한 위치에 배치된 분할 부분들이 존재하는 경우, 상기 동일한 위치에 배치된 분할 부분들 중 영상 정보의 데이터 량이 가장 많은 분할 부분을 선택함으로써 상기 정렬된 분할 부분들을 조합하는 것을 특징으로 하는 3차원 영상 생성 장치.
삭제
네비게이션 시스템에서의 네비게이션 방법에 있어서,

2차원 파노라마 영상 내의 영상 정보에 기초하여 상기 2차원 파노라마 영상을 접음(folding)으로써 3차원 영상을 생성하는 단계; 및

상기 생성된 3차원 영상을 포함하는 3차원 영상들 중 상기 네비게이션 시스템의 현재 위치 정보에 해당하는 3차원 영상을 추출하고, 상기 추출된 3차원 영상을 상기 네비게이션 시스템이 장착된 이동체의 진행 방향에 해당하는 2차원 평면상에 렌더링하는 단계를 포함하고,

상기 3차원 영상을 생성하는 단계는,

어느 하나의 장면을 부분적으로 나타내는 다수의 2차원 영상들을 정규화하는 단계;

상기 정규화된 2차원 영상들을 조합함으로써 상기 장면의 전체를 나타내는 상기 2차원 파노라마 영상을 생성하는 단계; 및

상기 2차원 파노라마 영상 내의 영상 정보에 기초하여 상기 2차원 파노라마 영상을 접음(folding)으로써 3차원 영상을 생성하는 단계를 포함하고,

상기 정규화하는 단계는,

상기 2차원 영상들의 에지를 검출하고, 검출된 에지에 해당하는 라인을 따라 상기 2차원 영상들을 분할하는 단계;

상기 2차원 영상들의 분할 부분들을 구성하는 라인들을 상호 평행하도록 수직하게 회전시키는 단계; 및

상기 회전된 라인들로 구성된 분할 부분들을 전개하는 단계;

를 포함하는 것을 특징으로 하는 네비게이션 방법.
네비게이션 시스템에 있어서,

2차원 파노라마 영상 내의 영상 정보에 기초하여 상기 2차원 파노라마 영상을 접음(folding)으로써 3차원 영상을 생성하는 3차원 영상 생성 장치;

상기 생성된 3차원 영상을 저장하는 메모리; 및

상기 메모리에 저장된 3차원 영상들 중 상기 네비게이션 시스템의 현재 위치 정보에 해당하는 3차원 영상을 추출하고, 상기 추출된 3차원 영상을 상기 네비게이션 시스템이 장착된 이동체의 진행 방향에 해당하는 2차원 평면상에 렌더링하는 렌더링 장치를 포함하고,

상기 3차원 영상 생성 장치는,

어느 하나의 장면을 부분적으로 나타내는 다수의 2차원 영상들을 정규화하는 정규화부;

상기 정규화된 2차원 영상들을 조합함으로써 상기 장면의 전체를 나타내는 상기 2차원 파노라마 영상을 생성하는 2차원 파노라마 영상 생성부; 및

상기 2차원 파노라마 영상 내의 영상 정보에 기초하여 상기 2차원 파노라마 영상을 접음(folding)으로써 3차원 영상을 생성하는 3차원 영상 생성부를 포함하고,

상기 정규화부는,

상기 2차원 영상들의 에지를 검출하여, 검출된 에지에 해당하는 라인을 따라 상기 2차원 영상들을 분할하고, 상기 2차원 영상들의 분할 부분들을 구성하는 라인들을 상호 평행하도록 수직하게 회전시키며, 상기 회전된 라인들로 구성된 분할 부분들을 전개는 것을 특징으로 하는 네비게이션 시스템.