KR101538014B1 - 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법 - Google Patents

Abstract

본 발명은 동일시간 또는 동일 장소에서 촬영이 불가능한 1장의 사진 이미지로부터 3차원 이미지 환원방식의 3D 모델링을 통해 입체영상을 생성할 수 있도록 하는 3D 모델링을 통하여 사진 이미지로부터 입체영상을 생성하는 방법에 관한 것으로, 사진 이미지의 이미지 분석을 통해 선분을 검출하는 제 1 단계; 상기 검출된 선분의 패턴 분석을 통해 사진 이미지의 깊이 값의 대응구조를 파악하여 특징점을 추출하는 제 2 단계; 상기 사진 이미지를 3차원 가상공간에 배치하여 사진 이미지에서 검출된 선분과 특징점에 격자구조 틀의 이동을 통해 수평선과, 소실점, 카메라의 위치를 파악하는 제 3 단계; 상기 3차원 가상공간에 카메라와 사진 이미지를 배치한 후 카메라와 카메라 타겟의 연장선인 Z축 방향으로 수평 이동시키는 제 4 단계; 및 상기 3차원 가상공간에서 Z축 방향으로 수평 이동한 사진 이미지의 특징점을 수평 연장선을 연결한 데이터를 사용하여 특징점의 3D 데이터(Z) 값을 추출하여 입체영상을 생성하는 제 5 단계를 포함하여 구성된다.

Description

3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법{CONVERTING METHOD PHOTOGRAPHIC IMAGES TO 3D IMAGES THROUGH 3D MODELING}

본 발명은 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법에 관한 것으로서, 더욱 상세하게는 동일시간 또는 동일 장소에서 촬영이 불가능한 1장의 사진 이미지로부터 3차원 이미지 환원방식의 3D 모델링을 통해 입체영상을 생성할 수 있도록 하는 3D 모델링을 통하여 사진 이미지로부터 입체영상을 생성하는 방법에 관한 것이다.

현재 컴퓨터 비전 기술 등 영상인식 및 패턴분석기술의 발달로 화상이미지에서 구조물의 형태를 구성하는 외곽선 및 특징점을 검출하는 것이 가능하다. 그러므로, 카메라를 여러 각도에서 다중 촬영하여 획득한 다시점 복수의 사진 이미지에서 공통적으로 검출되는 이미지의 특징점을 검출하고 이를 분석해서 각각의 사진에 추출된 대응점을 연결하여 3차원 데이터를 추출하고 이 데이터를 이용한 3D 모델링 방식의 연구가 활발히 진행되고 있다.

그러나, 과거에 촬영된 사진의 경우 현재 상황으로는 더 이상 촬영이 불가능하여 사진 이미지를 확보할 수 없을 경우 불가피하게 한 장의 사진 데이터를 이용하여 3D데이터를 추출하는 방법뿐이다.

또한, 단일 이미지를 기반으로 한 3차원 모델링 방식은 화상분석을 통해 특징점을 추출하더라도 이를 3차원 공간에서 비교 대응할 요소가 제한되므로 정확한 깊이 값을 계산하는 것이 어렵다. 즉, 사진 이미지에서 검출할 수 있는 데이터의 한계로 인해서 정확한 3D모델링 제작에는 한계가 있다.

국내 공개특허 제10-2008-0018397호(2008. 02. 28. 공개) 국내 등록특허 제10-1146202호(2012. 05. 24. 등록공고) 국내 등록특허 제10-0682889호(2007. 02. 17. 등록공고) 국내 공개특허 제10-2012-0040751호(2012. 04. 27. 공개)

본 발명은 한 장의 사진으로부터 이미지 분석을 통해 선분 데이터, 특징점, 수평선, 소실점, 카메라 위치 등을 검출하여 입체영상을 생성할 수 있도록 하는데 그 목적이 있다.

또한 본 발명은 수평선상에서의 특징점이 나타내는 물체 또는 인물 외형의 변형이 없도록 하는데 그 목적이 있다.

또한 본 발명은 특징점이 사진 이미지와 함께 수평선을 따라 이동할 때 3차원 가상공간에서 실제부피와 동일한 입체물을 얻을 수 있도록 하는데 그 목적이 있다.

상기한 목적은 사진 이미지의 이미지 분석을 통해 선분을 검출하는 제 1 단계; 상기 검출된 선분의 패턴 분석을 통해 사진 이미지의 깊이 값의 대응구조를 파악하여 특징점을 추출하는 제 2 단계; 상기 사진 이미지를 3차원 가상공간에 배치하여 사진 이미지에서 검출된 선분과 특징점에 격자구조 틀의 이동을 통해 수평선과, 소실점, 카메라의 위치를 파악하는 제 3 단계; 상기 3차원 가상공간에 카메라와 사진 이미지를 배치한 후 카메라와 카메라 타겟의 연장선인 Z축 방향으로 수평 이동시키는 제 4 단계; 및 상기 3차원 가상공간에서 Z축 방향으로 수평 이동한 사진 이미지의 특징점을 수평 연장선으로 연결한 데이터를 사용하여 특징점의 3D 데이터(Z) 값을 추출하여 입체영상을 생성하는 제 5 단계를 포함하여 구성되는 3차원 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법에 의해 달성된다.

본 발명의 하나의 측면에 의하면, 상기 3차원 가상공간에 배치된 상기 사진 이미지에 포함되는 특징점이 수평선을 따라 이동되는 사진 이미지와 함께 연장되고 상기 수평선을 따라 이동한 거리만큼 특징점의 수평변위가 측정되는 것을 특징으로 한다.

본 발명의 하나의 측면에 의하면, 상기 특징점이 상기 사진 이미지와 함께 수평선을 따라 이동할 때, 상기 사진 이미지에서의 높이와 폭의 비율이 변화없이 이동되도록 하는 것을 특징으로 한다.

본 발명의 하나의 측면에 의하면, 상기 3차원 가상공간에서 사진 이미지가 수평 이동시 사진 이미지의 비율이 사진을 촬영한 카메라의 촬영 각도 비율과 동일하게 증가하는 것을 특징으로 한다.

본 발명에 의하면, 사진 이미지로부터 선분 데이터, 특징점, 수평선, 소실점, 카메라 위치 등을 검출하고, 3차원 가상공간에 카메라와 사진 이미지를 배치하여, 카메라와 카메라 타겟의 연장선인 Z축 방향으로 수평 이동시켜 사진 이미지의 특징점을 수평 연장선을 연결한 데이터를 사용하여 특징점의 3D 데이터(Z) 값을 추출하여 입체영상을 생성함으로써 동일한 시간 및 장소에서 촬영이 불가능한 과거에 촬영된 1장의 사진으로부터 입체영상을 얻을 수 있는 효과가 있다.

또한 본 발명은 3차원 가상공간에 배치된 사진 이미지에 포함되는 특징점이 수평선을 따라 이동되는 사진 이미지와 함께 연장되고 수평선을 따라 이동한 거리만큼 특징점의 수평변위를 측정함으로써 수평선상에서의 특징점이 나타내는 물체 또는 인물의 외형의 변형이 없다는 효과가 있다.

또한 본 발명은 특징점이 사진 이미지와 함께 수평선을 따라 이동할 때, 사진 이미지에서의 높이와 폭의 비율이 변화없이 이동되도록 함으로써 3차원 가상공간에서 실제부피와 동일한 입체물을 얻을 수 있는 효과가 있다.

도 1은 본 발명에 따른 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하기 위한 시스템 구성도이다.
도 2는 본 발명에 따른 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 과정을 보여주는 흐름도이다.
도 3 내지 도 8은 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 각 과정에서의 각 단계별 사진 예시도이다.
도 9a 내지 도 9c는 이미지 단순화과정에서 흑백 변환시 사진 이미지에서 정보가 손실되는 것을 최소화하기 위해 톤의 변화로 3개의 색 기준을 적용한 예를 보여주는 예시도이다.
도 10a 내지 도 10c는 카메라 촛점거리에 의한 화상왜곡의 예를 보여주는 이미지이다.
도 11a는 동일 거리 화각에 따른 이미지의 변화시 타겟 및 소실점이 동일함을 보여주고, 도 11b는 동일 화각 거리에 따른 이미지의 변화시 타겟 및 소실점이 동일함을 보여주며, 도 11c는 동일 화각에 타겟 위치가 카메라와 높이가 다를 경우 거리에 따른 소실점의 변화를 보여준다.
도 12는 사진 이미지의 수평이동 단계에서의 사진 이미지의 확대 예시도이다.
도 13a, 도 13b는 사진 이미지의 3차원 가상공간 환원방식의 예시도이다.
도 14a 내지 도 14d는 수평선(소실점) 분석과 3차원 가상공간 환원방식이 적용되어 제작된 컴퓨터 그래픽의 예시도이다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명에 따른 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하기 위한 시스템 구성도이다.

도 1에 도시한 바와 같이 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하기 위한 시스템은 사진 이미지 입력부(1)와, 선분 데이터 검출부(2), 특징점 검출부(3), 수평선 및 카메라 위치 검출부(4), 이미지 배치 및 이동부(5), 입체영상 생성부(6)를 구비한 3D 모델링부(10)로 구성된다.

즉, 본 발명에 따른 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하기 위한 시스템은, 입체영상을 생성하기 위한 기초가 되는 사진 이미지가 입력되는 사진 이미지 입력부(1), 상기 사진 이미지의 이미지 분석을 통해 선분을 검출하는 선분 데이터 검출부(2), 상기 검출된 선분의 패턴 분석을 통해 사진 이미지의 깊이 값의 대응구조를 파악하여 특징점을 추출하는 특징점 추출부(3), 상기 사진 이미지를 3차원 가상공간에 배치하여 사진 이미지에서 검출된 선분과 특징점에 격자구조 틀의 이동을 통해 수평선과, 소실점, 카메라의 위치를 파악하는 수평선 및 카메라 위치 검출부(4), 상기 3차원 가상공간에 카메라와 사진 이미지를 배치한 후 카메라와 카메라 타겟의 연장선인 Z축 방향으로 수평 이동시키는 이미지 배치 및 이동부(5), 상기 3차원 가상공간에서 Z축 방향으로 수평 이동한 사진 이미지의 특징점을 수평 연장선으로 연결한 데이터를 사용하여 특징점의 3D 데이터(Z) 값을 추출하여 입체영상을 생성하는 입체영상 생성부(6)로 구성된다.

도 2는 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 과정을 보여주는 흐름도이다.

먼저, 도 3에 도시한 바와 같은 1장의 사진 이미지가 사진 이미지 입력부(1)를 통해 3D 모델링부(10)의 선분 데이터 검출부(2)에 입력된다(S1). 이때 사진 이미지가 아날로그 상태인 경우 별도의 디지털화과정을 거치게 된다.

상기 선분 데이터 검출부(2)는 선분 데이터 검출 알고리즘에 의해 사진 이미지 입력부(1)를 통해 입력되는 사진 이미지의 이미지 분석을 통해 도 4에서와 같이 선분 데이터를 검출하게 된다(S2).

여기서, 사진 이미지에서 선분 데이터를 검출하는 선분 데이터 검출 알고리즘은 사진 이미지를 컴퓨터 등과 같은 장비가 인식할 수 있도록 최대한 단순화시키는 과정으로부터 출발한다. 즉, 사진 이미지의 다양한 색을 단순화시켜 흰색과 검정으로 이원화하면 사진 이미지는 흰 바탕에 검정의 점들이 연결된 선의 형태로 변환된다.

이때 단순히 흑백으로만 변환시 사진 이미지에서 많은 정보가 손실되므로 이를 최소화하기 위해 이미지 단순화과정에서 톤의 변화로 3개의 색 기준을 적용하여 도 9a 내지 도 9c에서와 같이 3장의 이미지를 제작할 수 있다.

위와 같이 제작된 3장의 이미지에서의 점 및 선분 데이터의 검출은 'Hough 변환'이라는 도형 감지 알고리즘에 의해 이루어지는데, 이는 선분 데이터를 검출하는 알고리즘 중 하나로서 디지털 이미지에서 사용되는 특징 추출법이다.

이 'Hough 변환'은 선분(직선) 데이터를 검출하는 것으로서 일반화되고 다양한 형태에 이용되고 있다. 현재 널리 이용되고 있는 변환법은 en : Richard Duda 및 en : Peter Hart가 1972년에 발명한 '일반화된 허프 변환'이다. 이 명칭은 1962년에 en : Paul Hough가 얻은 관련 특허에서 유래한다. 이 변환방법은 1981년 en : Dana H. Ballard의 논문 'Generalizing the Hough transform to detect arbitrary shapes(Hough 변환의 일반화에 의한 모든 형태의 검색)'으로서 컴퓨터 비전 분야에서 널리 이용되고 있다.

위와 같은 'Hough 변환'에 의한 이미지 분석과정에서의 점은 해당 점을 지나는 직선이 무한 개 존재하고 그 방향성도 다양하게 향한다는 것이 'Hough 변환'의 기본원리이다. 이 'Hough 변환'의 목적은 그 직선에서의 이미지 '특징점'을 가장 많이 지나는 것을 결정하는 것이다.

위에서 같이 사진 이미지의 선분 데이터를 검출한 후 특징점 추출부(3)는 패턴 인식 알고리즘에 의한 선분 데이터의 패턴 분석을 통해 사진 이미지의 깊이 값의 대응구조를 파악하여 도 5에서와 같이 사진 이미지의 특징점과 함께 카메라 촛점거리를 파악하게 된다(S3). 상기 특징점은 사진 이미지에서 추출된 각 선분 데이터의 교차점 및 꼭지점이 되는 점으로 평면 이미지에서 3차원 형태의 복원을 위한 각각의 모델링 데이터의 기준점이 된다.

여기서, 패턴 인식 알고리즘은 선분 데이터 검출부(2)에서 검출된 각각의 선분 데이터의 교차점을 연결하여 형성되는 형태를 파악하는 것으로서 사진 이미지에서 3D 모델링을 형성하는 형태를 분석한다. 즉, 특징점 추출부(3)는 선분 데이터와 교차점 데이터를 이미지 인식 데이터베이스에 저장된 모델링 형태와 비교 분석하여 가장 근사치의 3D 모델, 즉 박스, 구체, 원기둥 등의 기본도형의 형태부터 창문이나 나무, 인체 등이 다양한 형태의 3D 기본형 모델 중 하나를 3차원 공간에 배치하여 3D 모델의 X, Y 위치 및 Z(깊이 값)을 적용하여 3차원 모델링을 실행한다.

다음으로, 수평선 및 카메라 위치 검출부(4)는 사진 이미지를 가상의 3차원 공간에 배치(S4)하여 도 6에서와 같이 사진 이미지에서 검출된 선분 데이터와 특징점에 투시도법의 원리를 적용한 다중 격자 구조의 틀의 이동을 통해 3차원 공간에서의 수평선 및 소실점을 검출하고, 카메라 구경방식의 패턴 인식 알고리즘을 적용해서 화상분석을 통해 획득한 선분 데이터에 적용하여 3차원 공간에서의 카메라 위치를 추출하게 된다(S5). 즉, 수평선 및 카메라 위치 검출부(4)에 탑재된 소실점 검출 알고리즘은 'Hough 변환'에 의해 추출된 선분을 가상의 3차원 공간에서 연장시켜 각각의 평행선분이 수렴하는 점을 분석하여 소실점을 검출하게 된다.

예를 들어, 건축물의 경우 직육면체 형태를 기본으로 구성되므로 소실점을 검출하는 과정에서 추가적으로 다중 격자구조의 틀을 소실점에 수렴하는 평행선분상에 일치시켜 배치한다. 이 다중 격자구조의 틀은 가상의 3차원 공간에서 대지, 즉 수평면(바닥의 단면 데이터)의 역할을 한다. 다중 격자구조는 사진 이미지에서 검출된 수평선과 수직선이 직교하는 중심점, 즉 이미지상에서 X, Y, Z의 기준점에 대응하는 것을 기본으로 한다. 다중격자의 직선 선분은 소실점에 대응하지 않고 이미지에서 검출된 그리고 3D 모델링 과정에서 사진 이미지를 카메라 타겟점으로 이동시 사진 이미지에서 검출된 특징점과 대응하여 3차원 모델링 과정에서 Z의 위치값을 결정한다.

또한 격자구조의 틀은 3D 제작과정에서 가상의 3차원 공간에서 X, Y, Z축의 뷰를 설정하여 바닥면이 수평이 경사도를 지닌 경우에도 수정과정에서 손쉽게 모델링 결과를 확인하고 수정하기에 용이하다. 카메라 구경에 의해 동일한 거리에서 동일한 뷰로 사진을 촬영하더라도 줌아웃에 의해서 얻어지는 이미지의 차이가 있다. 이 때문에 실제의 카메라는 구경에 의한 주변부의 왜곡현상을 수정하여 카메라와 타겟점과의 Z값의 최대거리 설정시 발생하는 오차를 줄일 수 있다.

도 10a 내지 도 10c는 카메라 촛점거리에 의한 화상왜곡의 예를 보여주는 이미지로서 이미지 분석을 위한 첫 번째 단계는 사진 이미지에서 발생하는 왜곡을 보정하는 작업이다. 카메라는 화각에 의한 왜곡이 발생한다. 광학기술의 발전으로 고급렌즈는 수차에 의한 왜곡은 줄었지만 같은 화각의 렌즈는 일정한 왜곡이 발생한다.

도 10a 내지 도 10c는 렌즈의 종류에 따라 왜곡의 정도를 비교하기 위해 5cm 간격의 선이 그려진 방안지를 각각 16mm, 50mm, 100mm렌즈로 촬영한 이미지로서 같은 카메라를 사용하고 면적을 기준으로 촛점거리에 차이를 두고 촬영한 결과이다. 즉, 16mm 렌즈는 배럴 왜곡(barrel distortion)현상이 발생한다. 상대적으로 50mm와 100mm 렌즈에 비해 왜곡 정도가 크게 발생한다. 50mm 렌즈의 경우 중심부에 왜곡이 발생하지만 주변부에 미세한 배럴 왜곡이 발생한다. 100mm 렌즈는 핀쿠션 왜곡(pincushin distortion)이 주변부에 발생하지만, 16mm 렌즈보다 왜곡의 정도가 작다. 이와 같은 데이터를 이미지 분석을 통한 촛점거리 데이터에 추가하여 카메라 화각 데이터를 추가함으로써 3차원 모델링의 Z값의 정확도를 높일 수 있다.

또한 사진 이미지를 기초로 3차원 모델링 데이터를 구하는 경우 소실점은 항상 존재한다. 이미지 분석을 통해 식별 가능한 거리범위는 이론적으로 모델링 대상체가 위치한 면을 평면으로 설정하며, 사진 이미지에서 소실점과 수평선은 동일한 것으로 정의한다. 실제로 지구가 평면체가 아닌 구체이기에 측정거리를 무한대로 확장할 경우라 할지라도 소실점은 항상 존재한다. 이론적으로 카메라를 이용해 촬영시 카메라의 중심선과 지면이 수직으로 설정될 경우, 카메라 타겟점과 카메라의 위치가 평행일 경우, 카메라의 타겟 방향과 수평면이 직교할 경우 소실점과 수평선과 동일한 위치, 즉 사진 이미지의 중앙에 위치한다. 이 경우 카메라 타겟의 소실점과 동일하다.

도 11a는 동일 거리 화각에 따른 이미지의 변화시 타겟 및 소실점이 동일함을 보여주고, 도11b는 동일 화각 거리에 따른 이미지의 변화시 타겟 및 소실점이 동일함을 보여주며, 도 11c는 동일 화각에 타겟 위치가 카메라와 높이가 다를 경우 거리에 따른 소실점의 변화를 보여준다.

위에서와 같이 수평선 및 카메라 위치 검출부(4)에 의해 사진 이미지의 수평선, 소실점 그리고 카메라의 위치를 검출한 후 사진 이미지 배치 및 이동부(5)는 도 7에서와 같이 3차원 가상공간에 카메라와 사진 이미지를 배치하여 카메라 타겟의 연장선인 Z축 방향으로 수평 이동시키게 된다(S6).

즉, 수평선(소실점)과 특징점이 검출된 사진 이미지를 3차원 가상공간에서 카메라 촬영각도와 동일하게 카메라 타겟과 카메라의 연장선에 직각으로 위치한 상태에서 카메라 타겟 방향으로 이동하면서 사진 이미지상에서 구분할 수 없는 수평길이(Z값)를 측정하고 입체영상 생성부(6)는 그 데이터를 사용하여 도 8에서와 같이 입체영상을 얻는 것이다(S7).

위의 경우는 소실점과 카메라 타겟이 동일한 경우이고, 소실점과 카메라 타겟이 서로 다른 경우에는 사진 이미지의 중심에 설정되는 카메라 타겟이 사진이동의 목표점이 된다.

이때 카메라와 거리가 멀어질수록 사진 이미지가 축소되어 보여지는데, 이를 방지하기 위해 도 12에서와 같이 사진 이미지의 가로 세로의 크기(X,Y) 값을 카메라 뷰와 사이즈가 일치하도록 확대시키면서 뒤로 이동시키게 된다. 이러한 과정을 통해 실제의 3차원 객체가 카메라를 통해 2D 화상데이터로 변환되는 과정에서 발생된 스케일의 변동치가 복원된다.

앞서 추출된 특징점이 수평선상에서 이동된 거리만큼 연장된 Z값을 추출할 수가 있다. 즉 특징점 추출시 구해진 X, Y값에 수평 이동시 발생한 변위 값인 Z값을 추가하여 3D 모델링을 위한 3차원 좌표를 얻게 되는 것이다.

도 12는 사진 이미지 수평이동 단계에서의 사진 이미지의 확대 예시도로서 3차원 가상공간상에 위치된 카메라와 카메라 앞에 놓여지는 사진 이미지, 사진 이미지의 이동을 유도하는 수평선을 보여준다.

사진 이미지가 이동하면서 패턴인식 알고리즘을 통하여 추출된 특징점의 폭과 높이에 변화가 없도록 사진 이미지가 카메라 촬영각도에 맞춰서 늘어나게 된다. 이를 통하여 수평선상에서의 특징점이 나타내는 물체 또는 인물의 외형의 변형이 없게 된다.

다시 말해, 수평선상에서의 수직한 면에서의 특징점의 크기가 카메라 앞에서 촬영된 크기와 동일하게 유지되어 3차원 가상공간상에서 물체의 부피가 촬영과 특징점의 3차원 가상공간상에서의 이동에 의하여 변동되지 않고 현실상에서의 실제 부피가 되도록 한다.

도 13은 사진 이미지의 3차원 가상공간 환원방식의 예시도이다.

도 13에 도시한 바와 같이 입체적인 물건 또는 사람을 촬영하게 되면 입체적인 물체가 평면상에 단면으로 놓여지게 된다. 평면상에 단면으로 놓여지는 촬영물을 카메라의 촬영각도에 맞춰 분석하게 되면, 수평선상에서의 수직단면을 추출할 수 있다.

추출된 수직단면을 수직선상에서 폭과 높이를 동일하게 연장하게 되면, 즉 특징점을 수평선을 따라 연장하게 되면, 3차원 가상공간상에서 실제 부피와 동일한 입체물을 얻을 수 있으며, 특징점 추출시 얻게 되는 X,Y 좌표와 수평선상에서의 이동변위에 의한 Z좌표를 합쳐서 3차원 입체 좌표를 얻게 되는 것이다.

여기서, 3차원 가상공간상에서 수평 이동하는 특징점을 끝을 정확히 정하기 위하여 3차원 가상공간 환원방식이 적용된다. 실제의 공간에서 평행한 직선은 카메라를 통해 2D 이미지로 변환되는 과정에서 카메라 시점에서 멀어질수록 선분간의 간격이 좁아지면서 한점으로 수렴하게 된다. 즉, 소실점을 형성한다. 다시 말해, 3차원이 2차원의 평면으로 전환된 과정의 변환규칙을 분석하여 역으로 전개하는 방식으로서 2차원 이미지에 저장된 공간 및 카메라 정보를 분석하여 실제 촬영된 상황을 3차원 가상공간상에 재구성하여 평면의 사진 이미지를 3차원 입체공간으로 되돌리는 과정을 3차원 가상공간 환원방식이라 일컫는다.

도 14a 내지 도 14d는 수평선(소실점) 분석과 3차원 가상공간 환원방식이 적용되어 제작된 컴퓨터 그래픽의 예시도로서 그래픽은 위에서와 같이 얻어진 3차원 입체 좌표를 토대로 그려진 것이다.

도면에서 도시한 바와 같이 1장의 사진 이미지로부터 3차원 입체 그래픽을 얻게 되므로 변화된 거리 또는 건물의 오래전 모습 그대로를 얻을 수 있는 효과가 있다. 또한 1장의 사진 이미지로부터 입체영상을 얻을 수 있으므로 입체영상이 필요한 장소에서 충분한 사진 이미지를 얻지 못하더라도 입체영상을 얻을 수 있는 효과가 있다.

본 명세서에 기재된 본 발명의 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐이고 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

따라서, 본 발명은 상술한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 권리범위 내에 있게 된다.

1 : 사진 이미지 입력부 2 : 선분 데이터 검출부
3 : 특징점 추출부 4 : 수평선 및 카메라 위치 검출부
5 : 사진 이미지 배치 및 이동부 6 : 입체영상 생성부
10 : 3D 모델링부

Claims (4)

1. 사진 이미지의 이미지 분석을 통해 선분을 검출하는 제 1 단계;
   상기 검출된 선분의 패턴 분석을 통해 사진 이미지의 깊이 값의 대응구조를 파악하여 특징점을 추출하는 제 2 단계;
   상기 사진 이미지를 3차원 가상공간에 배치하여 사진 이미지에서 검출된 선분과 특징점에 격자구조 틀의 이동을 통해 수평선과, 소실점, 카메라의 위치를 파악하는 제 3 단계;
   상기 3차원 가상공간에 카메라와 사진 이미지를 배치한 후 카메라와 카메라 타겟의 연장선인 Z축 방향으로 수평 이동시키는 제 4 단계; 및
   상기 3차원 가상공간에서 Z축 방향으로 수평 이동한 사진 이미지의 특징점을 수평 연장선으로 연결한 데이터를 사용하여 특징점의 3D 데이터(Z) 값을 추출하여 입체영상을 생성하는 제 5 단계
   를 포함하여 구성되는 3차원 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법.
2. 제 1 항에 있어서,
   상기 3차원 가상공간에 배치된 상기 사진 이미지에 포함되는 특징점이 수평선을 따라 이동되는 사진 이미지와 함께 연장되고 상기 수평선을 따라 이동한 거리만큼 특징점의 수평변위가 측정되는 것을 특징으로 하는 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 특징점이 상기 사진 이미지와 함께 수평선을 따라 이동할 때, 상기 사진 이미지에서의 높이와 폭의 비율이 변화없이 이동되도록 하는 것을 특징으로 하는 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법.
4. 제 1 항 또는 제 2 항에 있어서,
   상기 3차원 가상공간에서 사진 이미지가 수평 이동시 사진 이미지의 비율이 사진을 촬영한 카메라의 촬영 각도 비율과 동일하게 증가되는 것을 특징으로 하는 3D 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법.
   

Images