KR100513055B1 - 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 - Google Patents

변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 Download PDF

Info

Publication number
KR100513055B1
KR100513055B1 KR10-2003-0090335A KR20030090335A KR100513055B1 KR 100513055 B1 KR100513055 B1 KR 100513055B1 KR 20030090335 A KR20030090335 A KR 20030090335A KR 100513055 B1 KR100513055 B1 KR 100513055B1
Authority
KR
South Korea
Prior art keywords
depth
map
data
value
camera
Prior art date
Application number
KR10-2003-0090335A
Other languages
English (en)
Other versions
KR20050058085A (ko
Inventor
엄기문
장은영
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2003-0090335A priority Critical patent/KR100513055B1/ko
Publication of KR20050058085A publication Critical patent/KR20050058085A/ko
Application granted granted Critical
Publication of KR100513055B1 publication Critical patent/KR100513055B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 다시점 스테레오 영상의 변이지도와 깊이 카메라나 3차원 스캐너에 의해 얻어진 깊이지도를 효과적으로 결합하여 보다 정확도가 높은 깊이지도를 얻고, 이를 이용하여 3차원 장면 모델을 생성하기 위한 3차원 장면 모델 생성 장치 및 그 방법을 제공하고자 함.
3. 발명의 해결 방법의 요지
본 발명은, 3차원 장면 모델 생성 장치에 있어서, 적어도 두 개의 비디오 카메라(다시점 카메라)로부터 동일시간에 취득된 다시점 영상에 대해, 인접한 두 영상을 스테레오 영상 쌍으로 선택하여 스테레오 정합 기법을 이용해 변이지도를 생성하기 위한 변이지도 생성수단; 상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라 혹은 3차원 스캐너로부터 동일시간에 취득된 영상에 대해, 적어도 하나의 깊이지도(depth map)를 생성하기 위한 깊이지도 생성수단; 변이지도 데이터 및 깊이지도 데이터를 스케일링하여 깊이 값 범위를 일치하고, 상기 변이지도 데이터와 상기 깊이지도 데이터의 위치를 정렬(registration)하기 위한 스케일링 및 정렬 수단; 정렬된 두 깊이 데이터들을 융합하고, 이때 겹치지 않는 영역에 대해서는 깊이 값이 구해진 깊이지도의 값을 이용하고, 겹침이 발생된 영역에 대해 두 깊이 데이터의 신뢰도를 판단하여 3차원 모델의 오차를 최소화할 수 있는 깊이 값을 선택하는 깊이정보 융합수단; 상기 융합된 깊이지도를 카메라 정보를 이용하여 3차원 깊이정보(3차원 점들의 집합)로 변환하기 위한 깊이정보 변환수단; 및 상기 3차원 점들의 집합을 결합하여 메쉬 모델(3차원 장면 모델)로 만드는 3차원 모델링수단을 포함함.
4. 발명의 중요한 용도
본 발명은 다시점 영상으로 이용한 3차원 장면 모델링 시스템 등에 이용됨.

Description

변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 장치 및 그 방법{3D scene model generation apparatus and method through the fusion of disparity map and depth map}
본 발명은 다시점 영상으로부터 3차원 장면 모델 생성하기 위한 3차원 장면 모델 생성 장치 및 그 방법에 관한 것으로, 특히 다시점 스테레오 영상으로부터 얻어지는 1개 이상의 변이지도(disparity map) 및 3차원 스캐너 또는 3차원 깊이 카메라(depth camera)로부터 얻어지는 깊이지도(depth map)를 정렬(registration)하고, 이를 효과적으로 결합함으로써 보다 신뢰도가 높은 3차원 장면 모델(scene model)을 생성할 수 있는 3차원 장면 모델 생성 장치 및 그 방법에 관한 것이다.
실제 객체나 장면의 3차원 모델을 생성하기 위한 종래의 기술은 크게 두가지로 나눌 수 있다.
첫 번째 방법은, I. Stamos의 논문(I. Stamos, P. K. Allen, "3-D Model Construction Using Range and Image Data", IEEE International conference on Computer Vision and Pattern Recognition, pp.531-536, June 2000)에서와 같이 3차원 스캐너, Structured Light, 3차원 깊이 카메라(depth camera) 등 능동 거리 측정 장치를 이용하여 여러 시점에서 깊이 정보(깊이지도, depth map)를 획득하고, 이를 공통 3차원 좌표계 상에서 정렬하거나, 상대적인 변환 관계를 구하여 정렬, 결합함으로써 3차원 모델을 구성하는 방법이다. 비록, 이 방법은 비교적 신속하면서도 정확한 3차원 점들을 제공하며, 조광 조건의 영향을 받지 않는 장점이 있지만, 그 해상도에 제약이 있으며, 고가의 장비가 필요하다는 단점이 있다.
두 번째 방법은, 수동적 방법으로서 Soon-Yong Park의 논문(Soon-Yong Park and Murai Subbarao, "A Range Image Refinement Technique for Multi-view 3D Model Reconstruction", Proceedings of International Conference on 3-D Digital Imaging and Modeling 2003, October 2003)에서와 같이 여러 시점의 광학 카메라로부터 얻어진 영상으로부터 텍스처 정보를 이용하여 3차원 정보를 생성하기 위한 방법으로, 이의 대표적인 것으로서 스테레오 비젼 방법이 있다. 스테레오 비젼은 두 대의 좌우 카메라로부터 취득된 영상 중 하나를 기준 영상으로, 다른 영상을 탐색 영상으로 놓았을 때, 이 두 영상에서 공간상의 동일한 한 점에 대한 기준 영상과 탐색 영상에서의 영상 좌표의 차이를 계산하는데, 이를 변이(disparity)라고 한다. 이 변이를 기준 영상의 각 화소에 대하여 계산하면, 영상의 형태로 변이가 저장되는데, 이를 변이지도(disparity map)라고 한다. 이러한 변이지도를 여러 시점의 영상으로부터 여러 개 추출하고, 이들을 카메라 정보를 이용하여 공통 좌표계 상에서 정렬, 결합함으로써 3차원 모델을 생성하는 방법이다. 비록, 이러한 영상을 이용한 방법은 상기 첫 번째 방법에 비해 저가의 비용으로 3차원 정보를 얻을 수 있으며, 영상의 해상도가 높아서 보다 정밀한 결과를 얻을 수 있고, 텍스쳐 정보를 포함하고 있으므로 생성된 모델에 텍스쳐 정보를 투영하여 보다 사실적인 3차원 모델을 얻을 수 있다는 장점이 있지만, 조광 조건 및 텍스쳐 정보의 영향이 크며, 3차원 정보의 추출을 위하여 복잡한 계산 과정을 거치므로, 수행 시간이 길다는 단점이 있다.
한편, 최근에는 능동 센서를 이용하여 3차원 정보를 얻고, 동시에 카메라에 의해 그 영역에 대한 영상 텍스쳐 정보를 얻을 수 있는 3차원 깊이 카메라가 발표된 바 있다(3DV Systems, Zcam™).
상기 두 가지 종류의 3차원 모델 생성 방법은, 장단점을 가지고 있으므로, 최근에는 거리 데이터와 밝기 영상의 결합을 통하여 3차원 모델의 정확도를 개선하기 위한 종래의 기술들(예를 들면, S. Weik, "Registration of 3-D Partial Surface Models using Luminance and Depth Information", Proceedings of International Conference on Recent Advances in 3-D Digital Imaging and Modeling, pp. 93-100, May 1997)이 발표된 바 있다. 그러나, 이러한 방법 역시 카메라 보정 오차에 의한 오류를 해결할 수 없다는 단점이 있으며, 단순하게 Range 데이터의 정확한 정렬을 위한 보조적인 수단으로서 영상 데이터를 활용함으로써 활용도가 제한적인 단점이 있다.
본 발명은, 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 다시점 스테레오 영상의 변이지도와 깊이 카메라나 3차원 스캐너에 의해 얻어진 깊이지도를 효과적으로 결합하여 보다 정확도가 높은 깊이지도를 얻고, 이를 이용하여 3차원 장면 모델을 생성하기 위한 3차원 장면 모델 생성 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명은, 3차원 장면 모델 생성 장치에 있어서, 적어도 두 개의 비디오 카메라(다시점 카메라)로부터 동일시간에 취득된 다시점 영상에 대해, 인접한 두 영상을 스테레오 영상 쌍으로 선택하여 스테레오 정합 기법을 이용해 변이지도를 생성하기 위한 변이지도 생성수단; 상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라 혹은 3차원 스캐너로부터 동일시간에 취득된 영상에 대해, 적어도 하나의 깊이지도(depth map)를 생성하기 위한 깊이지도 생성수단; 변이지도 데이터 및 깊이지도 데이터를 스케일링하여 깊이 값 범위를 일치하고, 상기 변이지도 데이터와 상기 깊이지도 데이터의 위치를 정렬(registration)하기 위한 스케일링 및 정렬 수단; 정렬된 두 깊이 데이터들을 융합하고, 이때 겹치지 않는 영역에 대해서는 깊이 값이 구해진 깊이지도의 값을 이용하고, 겹침이 발생된 영역에 대해 두 깊이 데이터의 신뢰도를 판단하여 3차원 모델의 오차를 최소화할 수 있는 깊이 값을 선택하는 깊이정보 융합수단; 상기 융합된 깊이지도를 카메라 정보를 이용하여 3차원 깊이정보(3차원 점들의 집합)로 변환하기 위한 깊이정보 변환수단; 및 상기 3차원 점들의 집합을 결합하여 메쉬 모델(3차원 장면 모델)로 만드는 3차원 모델링수단을 포함하여 이루어진 것을 특징으로 한다.
그리고, 본 발명은 3차원 장면 모델 생성 장치에 있어서, 적어도 두 개의 비디오 카메라들(다시점 카메라)로부터 동일 시간에 취득된 영상의 프레임 데이터를 저장하고 있는 다시점 비디오 저장수단; 상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라 혹은 3차원 스캐너로부터 동일시간에 취득된 적어도 하나의 깊이지도(depth map) 데이터를 저장하고 있는 깊이지도 저장수단; 각 시점의 카메라 초점 거리를 포함하는 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하기 위한 카메라 보정수단; 상기 기반행렬을 이용하여, 다시점 카메라로 취득된 영상의 에피폴라 선이 일치하도록 보정하여, 상기 변이지도 추출수단에서 변이지도 추출시 탐색 영역과 시간을 줄일 수 있도록 하기 위한 다시점 영상 보정수단; 상기 카메라 정보와 상기 기반행렬을 이용하여 변이지도(예상위치를 중심으로한 탐색영역 포함) 데이터를 추출하기 위한 변이지도 추출수단; 상기 변이지도 데이터 및 상기 깊이지도 데이터를 스케일링하여 깊이 값 범위를 일치하고, 상기 변이지도 데이터와 상기 깊이지도 데이터의 위치를 정렬(registration)하기 위한 스케일링 및 정렬 수단; 정렬된 두 깊이 데이터들을 융합하고, 이때 겹침이 발생된 영역에 대해 두 깊이 데이터의 신뢰도를 판단하여 3차원 모델의 오차를 최소화할 수 있는 깊이 값을 선택하는 깊이정보 융합수단; 상기 융합된 깊이지도를 상기 카메라 정보를 이용하여 3차원 깊이정보(3차원 점들의 집합)로 변환하기 위한 깊이정보 변환수단; 및 상기 3차원 점들의 집합을 결합하여 메쉬 모델(3차원 장면 모델)로 만드는 3차원 모델링수단을 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명은 3차원 장면 모델 생성 장치에 적용되는 3차원 장면 모델 생성 방법에 있어서, 적어도 두 개의 비디오 카메라(다시점 카메라)로부터 동일시간에 취득된 다시점 영상에 대해, 인접한 두 영상을 스테레오 영상 쌍으로 선택하여 스테레오 정합 기법을 이용해 변이지도를 생성하는 변이지도 생성단계; 상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라 혹은 3차원 스캐너로부터 동일시간에 취득된 영상에 대해, 적어도 하나의 깊이지도(depth map)를 생성하는 깊이지도 생성단계; 변이지도 데이터 및 깊이지도 데이터를 스케일링하여 깊이 값 범위를 일치하고, 상기 변이지도 데이터와 상기 깊이지도 데이터의 위치를 정렬(registration)하는 스케일링 및 정렬 단계; 정렬된 두 깊이 데이터들을 융합하고, 이때 겹치지 않는 영역에 대해서는 깊이 값이 구해진 깊이지도의 값을 이용하고, 겹침이 발생된 영역에 대해 두 깊이 데이터의 신뢰도를 판단하여 3차원 모델의 오차를 최소화할 수 있는 깊이 값을 선택하는 깊이정보 융합단계; 상기 융합된 깊이지도를 카메라 정보를 이용하여 3차원 깊이정보(3차원 점들의 집합)로 변환하는 깊이정보 변환단계; 및 상기 3차원 점들의 집합을 결합하여 메쉬 모델(3차원 장면 모델)로 만드는 3차원 모델링단계을 포함하여 이루어진 것을 특징으로 한다.
본 발명은 다시점 카메라 시스템에 있어서 두 대 이상의 카메라에 의해 스테레오 정합(Stereo Matching)에 의하여 얻어진 여러 시점에서의 변이지도(disparity map) 간의 융합 또는 3차원 스캐너 또는 깊이 카메라(depth camera) 등의 다른 방법에 의해 취득된 깊이지도(depth map)를 정렬(registration)하고, 이를 융합(fusion)함으로써 3차원 깊이 정보의 정확도를 개선하여 보다 개선된 3차원 장면 모델(scene model)을 생성하고자 한다.
즉, 본 발명은 다시점 카메라에 의해 얻어진 다시점 스테레오 영상과 3차원 스캐너 또는 깊이 카메라에 의해 얻어지는 깊이지도 데이터를 이용하여 장면의 3차원 모델을 구하는데 있어서, 다시점 스테레오 영상의 변이지도와 깊이 카메라나 3차원 스캐너에 의해 얻어진 깊이지도를 효과적으로 결합하여 보다 정확도가 높은 깊이지도를 얻고, 이를 이용하여 3차원 장면 모델을 생성하고자 한다.
이를 위해, 본 발명은 두 3차원 데이터(변이지도 및 깊이지도)를 결합할 때, 카메라 정보 및 삼각측량 기법에 의해 공통적인 월드 좌표계(world coordinate system)에서의 깊이 좌표를 계산하기 전에, 각 깊이지도와 변이지도의 거리 범위는 동일하다는 가정하에, 먼저 각 깊이지도 혹은 변이지도의 스케일을 어느 한쪽 깊이 범위로 일치시킨 후 특징점 정합을 통하여 정렬(registration)을 행한 후, 이중 거의 동일한 위치에 대해 여러 개의 깊이 값이 존재할 경우, 그 깊이 값이 가지는 특성을 비교함으로써 보다 신뢰도 높고 오차가 적은 깊이 값을 구할 수 있는 깊이지도와 변이지도의 융합 방법을 제공하며, 변이지도의 차폐 영역 및 신뢰도를 판정할 수 있는 기준을 마련하여 이 기준을 만족하지 못하는 깊이 값은 제거하여, 이를 토대로 보다 개선된 3차원 장면 모델을 생성한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 3차원 장면 모델 생성 장치의 일실시예 구성도이다.
본 발명에서는 두 깊이 정보의 효과적인 결합을 위하여 장면내 거리(깊이) 범위를 사전에 알고 있다는 가정하에, 변이지도와 깊이지도를 스케일링하고, 스케일링된 깊이지도들을 일정한 규칙하에 융합 또는 결합하여 보다 정확한 장면 모델을 생성한다.
도 1에 도시된 바와 같이, 본 발명에 따른 3차원 장면 모델 생성 장치는, 적어도 두 개의 비디오 카메라(다시점 카메라)로부터 동일시간에 취득된 다시점 영상에 대해, 인접한 두 영상을 스테레오 영상 쌍으로 선택하여 스테레오 정합 기법을 이용하여 변이지도를 생성하기 위한 변이지도 생성부(11,13~15)와, 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라 혹은 3차원 스캐너로부터 동일시간에 취득된 영상에 대해, 적어도 하나의 깊이지도(depth map)를 생성하기 위한 깊이지도 추출 및 저장부(12)와, 변이지도 데이터 및 깊이지도 데이터를 스케일링하여 깊이 값 범위를 일치하고, 변이지도 데이터와 깊이지도 데이터의 위치를 정렬(registration)하기 위한 변이지도 및 깊이지도 전처리부(16)와, 정렬된 두 깊이 데이터들을 융합하고, 이때 겹치지 않는 영역에 대해서는 깊이 값이 구해진 깊이지도의 값을 이용하고, 겹침이 발생된 영역에 대해 두 깊이 데이터의 신뢰도를 판단하여 3차원 모델의 오차를 최소화할 수 있는 깊이 값을 선택하는 깊이지도 융합부(17)와, 융합된 깊이지도를 카메라 정보를 이용하여 3차원 깊이정보(3차원 점들의 집합)로 변환하기 위한 깊이지도 변환부(18)와, 3차원 점들의 집합을 결합하여 메쉬 모델(3차원 장면 모델)로 만드는 3차원 모델링부(19)를 포함한다.
여기서, 변이지도 생성부는, 적어도 두 개의 비디오 카메라들(다시점 카메라)로부터 동일 시간에 취득된 영상의 프레임 데이터를 저장하고 있는 다시점 비디오 저장부(11)와, 각 시점의 카메라 초점 거리를 포함하는 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하기 위한 카메라 보정부(13)와, 카메라 정보와 기반행렬을 이용하여 변이지도(예상위치를 중심으로한 탐색영역 포함) 데이터를 추출하기 위한 변이지도 계산부(15)를 포함한다. 또한, 기반행렬을 이용하여, 다시점 카메라로 취득된 영상의 에피폴라 선이 일치하도록 보정하여, 변이지도 계산부(15)에서 변이지도 추출시 탐색 영역과 시간을 줄일 수 있도록 하기 위한 다시점 영상 보정부(14)를 더 포함한다.
따라서, 본 발명에 따른 3차원 장면 모델 생성 장치의 전체적인 구성을 살펴보면, 적어도 두 개의 비디오 카메라들(다시점 카메라)(10)로부터 동일 시간에 취득된 영상의 프레임 데이터를 저장하고 있는 다시점 비디오 저장부(11)와, 적어도 두 개의 비디오 카메라(10) 중 깊이(depth) 카메라 혹은 3차원 스캐너로부터 동일시간에 취득된 적어도 하나의 깊이지도(depth map) 데이터를 저장하고 있는 깊이지도 추출 및 저장부(12)와, 각 시점의 카메라 초점 거리를 포함하는 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하기 위한 카메라 보정부(13)와, 기반행렬을 이용하여, 다시점 카메라(10)로 취득된 영상의 에피폴라 선이 일치하도록 보정하여, 변이지도 계산부(15)에서 변이지도 추출시 탐색 영역과 시간을 줄일 수 있도록 하기 위한 다시점 영상 보정부(14)와, 카메라 정보와 기반행렬을 이용하여 변이지도(예상위치를 중심으로한 탐색영역 포함) 데이터를 추출하기 위한 변이지도 계산부(15)와, 변이지도 데이터 및 깊이지도 데이터를 스케일링하여 깊이 값 범위를 일치하고, 변이지도 데이터와 깊이지도 데이터의 위치를 정렬(registration)하기 위한 변이지도 및 깊이지도 전처리부(16)와, 정렬된 두 깊이 데이터들을 융합하고, 이때 겹침이 발생된 영역에 대해 두 깊이 데이터의 신뢰도를 판단하여 3차원 모델의 오차를 최소화할 수 있는 깊이 값을 선택하는 깊이지도 융합부(17)와, 융합된 깊이지도를 카메라 정보를 이용하여 3차원 깊이정보(3차원 점들의 집합)로 변환하기 위한 깊이지도 변환부(18)와, 3차원 점들의 집합을 결합하여 메쉬 모델(3차원 장면 모델)로 만드는 3차원 모델링부(19)를 포함한다.
다시점 영상 및 깊이지도 입력부(10)는 중앙에 어느 시간에서의 영상 프레임과 위치가 일치하면서 동시에 취득된 깊이지도를 제공할 수 있는 3차원 깊이 카메라(depth camera)(혹은 3차원 스캐너)를 위치시키고, 양쪽에는 중앙의 깊이 카메라와 동기화된 밝기 또는 칼라 영상을 얻을 수 있는 다시점 카메라로 구성된다.
상기와 같이 구성된 본 발명에 따른 3차원 장면 모델 생성 장치에서, 1개의 영상과 깊이를 동시에 취득 가능한 카메라를 중앙에 놓고, 좌우 비디오 카메라가 설치된 시스템을 예로 들어 설명하면 다음과 같다.
도 2 는 본 발명에 따른 3차원 장면 모델 생성 방법에 대한 일실시예 흐름도로서, 변이지도와 깊이지도의 융합 및 정렬(registration)을 통해 3차원 장면 모델을 생성하는 절차를 나타낸다.
도 2에 도시된 바와 같이, 먼저 다시점 영상 및 깊이지도 입력부(10)를 통해 중앙의 카메라와 동기화된 밝기 또는 칼라 영상을 얻을 수 있는 다시점 카메라로부터 최소 세 시점 이상의 밝기 또는 칼라 영상을 얻고, 중앙에서는 깊이 카메라 등에 의해 다시점 영상과 동기화된 깊이지도를 취득한다(201). 이들 데이터는 각 프레임마다 다시점 영상은 다시점 비디오 저장부(11)로, 3차원 깊이 카메라에 의해 취득된 깊이지도는 깊이지도 저장부(12)로 각각 전달되어 저장된다(202). 이때, 각 데이터는 동일 시간에 취득된 데이터가 입력되도록 하기 위하여, 서로 동기가 맞춰진 상태로 다음 단계로 입력되거나, 데이터 저장장치에 저장된다.
이후, 카메라 보정부(12)에서는 각 시점의 카메라의 초점 거리, 위치와 방향에 대한 정보를 구하기 위하여, 취득된 영상으로부터 코너점 추출 기법이나 사용자에 의한 선택에 의하여 특징점을 추출하고, 각 시점 영상에서의 대응점을 구한다. 예를 들면, 세 시점의 영상을 이용할 경우, 가운데 카메라에 의해 취득된 영상을 기준 영상으로 사용할 경우, 기준 영상에 대해 특징점을 화면 전체에 골고루 분포되도록 추출한 후, 이 점들에 대한 대응점을 특징 기반 정합 방법에 의해 나머지 두 시점의 영상에서 찾아낸다. 그리고, 찾아진 대응점을 기준으로 기준 영상과 나머지 시점 영상들 간의 상호 변환 행렬(fundamental matrix, 회전 및 이동 행렬)을 구한다. 또한, 카메라 보정 기법을 사용하여 카메라 초점 거리 등의 카메라에 대한 기본 정보도 구하게 된다(203). 이때, 구해진 카메라 정보 및 시점간 상호 변환 행렬 데이터는 데이터 저장장치 또는 컴퓨터 메모리상에 저장된다.
여기서, 필요한 경우, 다시점 영상 보정부(14)는 카메라 보정부(13)에서 구해진 기반 행렬(fundamental matrix)을 이용하여, 기준 카메라에 의해 취득된 영상의 에피폴라 선(epipolar line)과 다른 시점의 카메라들에 의해 취득된 영상의 에피폴라 선이 일치하도록 영상을 보정하여(204), 변이지도 계산부(15)에서 변이지도 추출시 탐색 영역과 시간을 줄일 수 있도록 한다.
즉, 카메라 보정부(13)에서는 주어진 영상에 대한 카메라의 내외부 파라메터를 구하게 되며(203), 이러한 정보는 다시점 영상 보정부(14)로 전달되어, 다시점 영상 보정부(14)에서는 카메라 보정부(13)에서 구해진 카메라 변환 행렬을 이용하여 기준 카메라에 대하여 나머지 카메라들에 의해 취득된 영상의 에피폴라 선(epipolar line)을 기준 영상의 행과 평행이 되도록 해준다(204). 이렇게 함으로써 변이지도 추출시에 탐색 영역과 시간을 줄일 수 있게 해준다.
다음으로, 변이지도 계산부(15)에서는 카메라 보정부(13)에서 계산된 각 시점 영상간 특징점들 간의 대응관계 행렬(fundamental matrix)을 이용하여 예상 위치를 계산하고, 이를 중심으로 탐색 영역을 설정하는데(205), 이렇게 탐색 시간과 정확도를 높일 수 있는 효과가 있다.
이어서, 변이지도 및 깊이지도 전처리부(16)에서는 변이지도와 깊이지도의 깊이 값의 스케일 일치를 위한 스케일링을 수행하게 되는데, 이는 깊이지도 융합부(17)에서 동일한 스케일하에서 깊이 정보를 선택할 수 있도록 하기 위함이다. 또한, 변이지도 및 깊이지도 전처리부(16)는 스케일링된 두 깊이지도들은 카메라 보정부(130)에서 구해진 각 시점 영상간 특징점들간의 대응관계 행렬(fundamental matrix)을 이용하여 정렬(registration)을 수행한다(206).
이렇게 정렬(registration) 및 스케일링된 두 깊이지도들은 일종의 3차원 모자이크 또는 파노라마를 형성하게 된다. 이 두 깊이지도에서는 공통적으로 데이터가 존재하는 부분과 어느 한쪽에서만 데이터가 존재하는 부분이 생기게 되는데, 이의 처리를 위하여 깊이지도 융합부(17)에서는 어느 한쪽에서만 데이터가 존재하는 부분에 대해서는 그 해당 데이터를 선택하고, 두 깊이지도에서 공통적으로 존재하는 부분에 대해서는 깊이 값 선택 방법(하기의 도 3 및 [수학식 1] 내지 [수학식 8]의 Confidence Score 참조)에 의해 깊이 값을 선택하게 된다(207). 이때, 만약 Confidence Score가 동일한 경우, 유사도(similarity cost)가 더 높은 깊이 값을 선택한다.
도 3을 참조하여 깊이지도 융합 과정(207)을 살펴보면, 먼저 정렬(registration)된 각 깊이지도 1과 2를 입력받아(301), 각 화소마다 깊이 값의 차이를 하기의 [수학식 1]과 같이 계산한다.
이때, depth1i,j와 depth2i,j는 각각의 깊이지도에서 얻어진 깊이 값이다.
이러한 깊이 차이를 계산하여 그 차이가 임계치 Th1보다 크면(302), 서로 다른 면에서 바라본 깊이 값일 가능성이 높다고 가정하여, 두 점 모두를 깊이지도 변환부(18)로 전달하며(303), 그렇지 않은 경우에 대해서 변이 값으로 환산하는 과정(304)과 대응점위치를 계산하는 과정(305)을 거쳐 구해진 대응점의 신뢰도를 측정한 후(306), 최종적인 깊이 값과 정합점을 선택하게 된다(307). 이때, 신뢰도가 0이면 깊이 값은 reject되며, 두 깊이 값이 0이 아닌 동일한 신뢰도를 가질 경우에는 유사도가 높은 깊이값을 선택하게 된다.
하기의 [수학식 2] 내지 [수학식 6]은 구해진 깊이 값의 신뢰도를 측정하는 과정을 나타낸 것으로서, 전체 신뢰도 점수는 하기의 [수학식 2]와 같이 정의되며, [수학식 3] 내지 [수학식 6] 까지로 정의되는 각각의 신뢰도 판정 점수를 합하여 이 점수가 높은 깊이 값을 선택하게 된다.
하기의 [수학식 3]은 구해진 정합점의 유사도를 조사하여 유사도가 임계치 Th2이상이면 1이고, 그렇지 않으면 0인 유사도 비용을 정의한 식이며, 하기의 [수학식 4]는 좌우영상을 서로 바꿔서 정합했을 때, 동일한 정합점이 나오면 1이고, 그렇지 않으면 0을 갖는 차폐 영역 비용으로서 차폐영역을 검출하기 위한 비용함수이다.
그리고, 하기의 [수학식 5]는 오정합에 의해 깊이가 주위화소에 비해 지나치게 크거나 작은 값을 가지는 경우를 검출하기 위한 비용함수로서, 일정한 크기의 창틀 내에서 깊이 값의 평균 및 표준편차를 구하여, 그 값과 평균값과의 차이가 표준편차보다 작을 경우 1의 값을, 그렇지 않을 경우에는 0의 값을 갖는다.
하기의 [수학식 6]은 화소의 텍스처 정도를 조사하는 비용함수로서, 일반적으로 스테레오 정합에 의한 변이지도의 정확도가 영상의 텍스쳐 정도(textureness)에 의존하여 텍스쳐 정도가 높으면, 비교적 정확도가 높으나, 텍스쳐 정도가 낮아 동일한 밝기를 가지는 화소들이 많으면, 오정합 확률이 높은 특성을 고려한 것으로서, Berthod 등에 의해 사용되었다. [수학식 7~9]에 의해 각 화소를 세 개의 클래스로 분류하고, 이에 따라 1 또는 0을 [수학식 6]에 의해 할당하게 된다.
상기 [수학식 7]에서, Tws와 Mws는 사용자에 의해 정해지는 임계치이며, Tw 는 하기의 [수학식 8]에 의해 계산되며, Mw는 창틀 내 평균 밝기로서 하기의 [수학식 9]와 같이 주어진다.
상기 [수학식 8]에서, 분산 과 평균 은 창틀의 각행을 따라 계산되며, n은 창틀내 열방향 화소 개수, Wy은 행방향 창틀 크기이다.
상기 [수학식 9]에서, 평균 은 창틀의 각행을 따라 계산되며, Wy은 행방향 창틀 크기이다.
상기 [수학식 7~9]의 의미는 상기 [수학식 9]에 의해 해당 화소의 분류 클래스를 결정하며, 그 클래스 중에서 어두운 영역(dark area)이 아니면, 즉 Textured Area나 Clear Area이면, 구해진 변이는 유효하다고 인정하여, Texture Cost를 1로 주게 된다는 것을 의미한다. 만약 그렇지 않으면, Texture Cost를 0으로 준다.
이러한 텍스쳐 정도 판단 기준은 다른 기준으로 대체될 수 있다.
한편, 두 깊이지도로부터 얻어진 깊이 값의 차이가 임계치 이상이면(302), 서로 다른 영역으로 판단하여 깊이 정보 변환부(18)로 모두 전달하여 3차원 점구름(Point Cloud)을 형성하게 된다.
마지막으로, 융합 및 결합된 깊이지도는 깊이지도 변환부(18)로 전달되어, 깊이지도 변환부(18)에서 카메라 정보 및 삼각측량 기법에 의해 실제 3차원 깊이를 구함으로써 3차원 공간상 점들의 집합인 3차원 점구름(Point Cloud)을 생성한다(208). 이후에, 이러한 3차원 점구름은 3차원 모델링부(19)로 전달되어, 3차원 모델링부(19)에서 Marching Cube 알고리즘 등 메쉬화 기법을 사용하여 3차원 메쉬 모델(mesh model)로 변환된다(209).
이상에서와 같은 본 발명은 종래의 기술 중에 P. Dias 등의 방법(P. Dias, V. Sequeira, F. Vaz, and J. G. M. Goncalves, "Registration and Fusion of Intensity and Range Data for 3D modeling of Real World Scenes", Proceedings of International Conference on 3-D Digital Imaging and Modeling 2003, October, 2003)과 비교해 볼 때, 비록 영상에 의해 구해진 변이지도와 3차원 스캐너 데이터로부터 얻어진 깊이지도를 카메라 보정의 초기 단계와 재보정 단계에서 깊이지도를 이용하고, 이를 두 데이터를 결합하여 3차원 모델을 생성하는 등 일부 과정에서 유사하나, 본 발명은 두 데이터의 결합시 삼각측량 변환된 3차원 공간 대신 삼각 측량되기 전의 모자이크 또는 파노라마 영상 수준의 깊이 데이터를 상호 결합하고, 이때 동일점 여부 판단 및 최적의 깊이 선택을 위한 규칙을 제시한다는 점에서 차이점이 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 종래의 능동 센서 시스템에 의한 3차원 모델 생성 방법 및 스테레오 정합에 의한 3차원 모델의 장단점을 상호 보완하고, 이 두 데이터를 효과적으로 결합함으로써 보다 정확도가 높은 깊이지도를 얻을 수 있으며, 또한 삼각측량 변환된 3차원 공간 대신 모자이크 또는 파노라마 영상 수준의 깊이 데이터를 상호 결합하고, 이때 동일점 여부 판단 및 최적의 깊이 선택을 위한 규칙을 제시함으로써, 3차원 깊이 정보의 정확도를 개선하여 보다 개선된 3차원 장면 모델을 생성할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 3차원 장면 모델 생성 장치의 일실시예 구성도.
도 2 는 본 발명에 따른 3차원 장면 모델 생성 방법에 대한 일실시예 흐름도.
도 3 은 본 발명에 따른 상기 도 2의 깊이지도 융합 과정에 대한 일실시예 상세 흐름도.
* 도면의 주요 부분에 대한 부호 설명
10 : 다시점 영상 및 깊이지도 입력부 11 : 다시점 비디오 저장부
12 : 깊이지도 추출 및 저장부 13 : 카메라 보정부
14 : 다시점 영상 보정부 15 : 변이지도 계산부,
16 : 변이지도 및 깊이지도 전처리부 17 : 깊이지도 융합부
18 : 깊이지도 변환부 19 : 3차원 모델링부

Claims (11)

  1. 3차원 장면 모델 생성 장치에 있어서,
    적어도 두 개의 비디오 카메라(다시점 카메라)로부터 동일시간에 취득된 다시점 영상에 대해, 인접한 두 영상을 스테레오 영상 쌍으로 선택하여 스테레오 정합 기법을 이용해 변이지도를 생성하기 위한 변이지도 생성수단;
    상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라 혹은 3차원 스캐너로부터 동일시간에 취득된 영상에 대해, 적어도 하나의 깊이지도(depth map)를 생성하기 위한 깊이지도 생성수단;
    변이지도 데이터 및 깊이지도 데이터를 스케일링하여 깊이 값 범위를 일치하고, 상기 변이지도 데이터와 상기 깊이지도 데이터의 위치를 정렬(registration)하기 위한 스케일링 및 정렬 수단;
    정렬된 두 깊이 데이터들을 융합하고, 이때 겹치지 않는 영역에 대해서는 깊이 값이 구해진 깊이지도의 값을 이용하고, 겹침이 발생된 영역에 대해 두 깊이 데이터의 신뢰도를 판단하여 3차원 모델의 오차를 최소화할 수 있는 깊이 값을 선택하는 깊이정보 융합수단;
    상기 융합된 깊이지도를 카메라 정보를 이용하여 3차원 깊이정보(3차원 점들의 집합)로 변환하기 위한 깊이정보 변환수단; 및
    상기 3차원 점들의 집합을 결합하여 메쉬 모델(3차원 장면 모델)로 만드는 3차원 모델링수단
    을 포함하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 장치.
  2. 제 1 항에 있어서,
    상기 변이지도 생성수단은,
    적어도 두 개의 비디오 카메라들(다시점 카메라)로부터 동일 시간에 취득된 영상의 프레임 데이터를 저장하고 있는 다시점 비디오 저장수단;
    각 시점의 카메라 초점 거리를 포함하는 상기 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하기 위한 카메라 보정수단; 및
    상기 카메라 정보와 상기 기반행렬을 이용하여 변이지도(예상위치를 중심으로한 탐색영역 포함) 데이터를 추출하기 위한 변이지도 추출수단
    을 포함하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 장치.
  3. 제 2 항에 있어서,
    상기 기반행렬을 이용하여, 다시점 카메라로 취득된 영상의 에피폴라 선이 일치하도록 보정하여, 상기 변이지도 추출수단에서 변이지도 추출시 탐색 영역과 시간을 줄일 수 있도록 하기 위한 다시점 영상 보정수단
    을 더 포함하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 스케일링 및 정렬 수단에서의 스케일링 및 정렬 과정은,
    상기 변이지도와 상기 깊이지도의 스케일을 맞추기 위하여 두 데이터의 깊이 범위가 동일하다는 가정하에, 한쪽 데이터의 스케일로 스케일링을 수행하며, 스케일링된 두 깊이지도의 위치를 맞추기 위하여 공통 영역에 대한 특징점을 추출하고, 이 특징점을 선택한 후 두 깊이지도 간의 대응점을 구하여 상호 변환 행렬을 구함으로써, 두 깊이지도의 위치를 맞춰주는 정렬(registration) 과정을 수행하는 것을 특징으로 하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 장치.
  5. 제 4 항에 있어서,
    상기 깊이정보 융합수단은,
    상기 카메라 정보에 의한 삼각측량 데이터를 먼저 생성하지 않고, 상호 정렬된 두 깊이 데이터를 입력받아, 각 화소마다 깊이 값의 차이를 계산하여, 그 차이가 소정의 임계치보다 크면, 서로 다른 면에서 바라본 깊이 값일 가능성이 높다고 가정하여, 두 점 모두를 상기 깊이정보 변환수단으로 전달하며, 그렇지 않은 경우에 변이 값으로 환산하는 과정과 대응점위치를 계산하는 과정을 거쳐 구해진 대응점의 신뢰도를 측정한 후, 3차원 모델의 오차를 최소화할 수 있는 깊이 값을 선택하는 것을 특징으로 하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 장치.
  6. 제 4 항에 있어서,
    상기 깊이정보 융합수단은,
    한쪽 깊이지도에서만 깊이값을 가지는 영역에 대해서는 해당 깊이를 통합된 깊이지도의 깊이로 할당하며, 공통적으로 포함되는 영역에 대해서, 상호 정렬된 두 깊이 데이터를 입력받아, 각 화소마다 깊이 값의 차이를 계산하여, 그 차이가 소정의 임계치보다 크면, 서로 다른 면에서 바라본 깊이 값일 가능성이 높다고 가정하여, 두 점 모두를 상기 깊이정보 변환수단으로 전달하며, 그렇지 않은 경우에 변이 값으로 환산하는 과정과 대응점위치를 계산하는 과정을 거쳐 구해진 대응점의 신뢰도를 측정한 후, 가장 신뢰도가 높은 값을 융합된 깊이지도의 깊이값으로 선택하되, 신뢰도가 동일할 경우에는 기준 영상과 정합 영상의 대응점 간 유사도가 큰 점에 대한 깊이(변이) 정보를 융합된 깊이로 선택하는 것을 특징으로 하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 장치.
  7. 3차원 장면 모델 생성 장치에 있어서,
    적어도 두 개의 비디오 카메라들(다시점 카메라)로부터 동일 시간에 취득된 영상의 프레임 데이터를 저장하고 있는 다시점 비디오 저장수단;
    상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라 혹은 3차원 스캐너로부터 동일시간에 취득된 적어도 하나의 깊이지도(depth map) 데이터를 저장하고 있는 깊이지도 저장수단;
    각 시점의 카메라 초점 거리를 포함하는 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하기 위한 카메라 보정수단;
    상기 기반행렬을 이용하여, 다시점 카메라로 취득된 영상의 에피폴라 선이 일치하도록 보정하여, 상기 변이지도 추출수단에서 변이지도 추출시 탐색 영역과 시간을 줄일 수 있도록 하기 위한 다시점 영상 보정수단;
    상기 카메라 정보와 상기 기반행렬을 이용하여 변이지도(예상위치를 중심으로한 탐색영역 포함) 데이터를 추출하기 위한 변이지도 추출수단;
    상기 변이지도 데이터 및 상기 깊이지도 데이터를 스케일링하여 깊이 값 범위를 일치하고, 상기 변이지도 데이터와 상기 깊이지도 데이터의 위치를 정렬(registration)하기 위한 스케일링 및 정렬 수단;
    정렬된 두 깊이 데이터들을 융합하고, 이때 겹침이 발생된 영역에 대해 두 깊이 데이터의 신뢰도를 판단하여 3차원 모델의 오차를 최소화할 수 있는 깊이 값을 선택하는 깊이정보 융합수단;
    상기 융합된 깊이지도를 상기 카메라 정보를 이용하여 3차원 깊이정보(3차원 점들의 집합)로 변환하기 위한 깊이정보 변환수단; 및
    상기 3차원 점들의 집합을 결합하여 메쉬 모델(3차원 장면 모델)로 만드는 3차원 모델링수단
    을 포함하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 장치.
  8. 3차원 장면 모델 생성 장치에 적용되는 3차원 장면 모델 생성 방법에 있어서,
    적어도 두 개의 비디오 카메라(다시점 카메라)로부터 동일시간에 취득된 다시점 영상에 대해, 인접한 두 영상을 스테레오 영상 쌍으로 선택하여 스테레오 정합 기법을 이용해 변이지도를 생성하는 변이지도 생성단계;
    상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라 혹은 3차원 스캐너로부터 동일시간에 취득된 영상에 대해, 적어도 하나의 깊이지도(depth map)를 생성하는 깊이지도 생성단계;
    변이지도 데이터 및 깊이지도 데이터를 스케일링하여 깊이 값 범위를 일치하고, 상기 변이지도 데이터와 상기 깊이지도 데이터의 위치를 정렬(registration)하는 스케일링 및 정렬 단계;
    정렬된 두 깊이 데이터들을 융합하고, 이때 겹치지 않는 영역에 대해서는 깊이 값이 구해진 깊이지도의 값을 이용하고, 겹침이 발생된 영역에 대해 두 깊이 데이터의 신뢰도를 판단하여 3차원 모델의 오차를 최소화할 수 있는 깊이 값을 선택하는 깊이정보 융합단계;
    상기 융합된 깊이지도를 카메라 정보를 이용하여 3차원 깊이정보(3차원 점들의 집합)로 변환하는 깊이정보 변환단계; 및
    상기 3차원 점들의 집합을 결합하여 메쉬 모델(3차원 장면 모델)로 만드는 3차원 모델링단계
    을 포함하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 방법.
  9. 제 8 항에 있어서,
    상기 스케일링 및 정렬 단계는,
    상기 변이지도와 상기 깊이지도의 스케일을 맞추기 위하여 두 데이터의 깊이 범위가 동일하다는 가정하에, 한쪽 데이터의 스케일로 스케일링을 수행하며, 스케일링된 두 깊이지도의 위치를 맞추기 위하여 공통 영역에 대한 특징점을 추출하고, 이 특징점을 선택한 후 두 깊이지도 간의 대응점을 구하여 상호 변환 행렬을 구함으로써, 두 깊이지도의 위치를 맞추는 것을 특징으로 하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 방법.
  10. 제 8 항에 있어서,
    상기 깊이정보 융합단계는,
    상호 정렬된 두 깊이 데이터를 입력받는 단계;
    각 화소마다 깊이 값의 차이를 계산하여, 그 차이가 소정의 임계치와 비교하는 단계;
    상기 깊이 값의 차이가 상기 소정의 임계치보다 크면, 서로 다른 면에서 바라본 깊이 값일 가능성이 높다고 가정하여, 두 점 모두를 선택하는 단계; 및
    상기 깊이 값의 차이가 상기 소정의 임계치보다 크지 않으면, 깊이의 중심 기준 영상에 대해 대상 영상의 변이 값으로 환산하고, 변이 값에 해당하는 대응점 위치를 계산하여, 구해진 대응점의 신뢰도를 측정한 후, 신뢰도가 높은 정합점의 깊이를 선택하는 단계
    를 포함하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 방법.
  11. 제 10 항에 있어서,
    상기 깊이정보 융합단계는,
    한쪽 깊이지도에서만 깊이값을 가지는 영역에 대해서는 해당 깊이를 통합된 깊이지도의 깊이로 할당하며, 공통적으로 포함되는 영역에 대해서, 상호 정렬된 두 깊이 데이터를 입력받아, 각 화소마다 깊이 값의 차이를 계산하여, 그 차이가 소정의 임계치보다 크면, 서로 다른 면에서 바라본 깊이 값일 가능성이 높다고 가정하여, 두 점 모두를 선택하며, 그렇지 않은 경우에 변이 값으로 환산하는 과정과 대응점위치를 계산하는 과정을 거쳐 구해진 대응점의 신뢰도를 측정한 후, 가장 신뢰도가 높은 값을 융합된 깊이지도의 깊이값으로 선택하되, 신뢰도가 동일할 경우에는 기준 영상과 정합 영상의 대응점 간 유사도가 큰 점에 대한 깊이(변이) 정보를 융합된 깊이로 선택하는 것을 특징으로 하는 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델 생성 방법.
KR10-2003-0090335A 2003-12-11 2003-12-11 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 KR100513055B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0090335A KR100513055B1 (ko) 2003-12-11 2003-12-11 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0090335A KR100513055B1 (ko) 2003-12-11 2003-12-11 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20050058085A KR20050058085A (ko) 2005-06-16
KR100513055B1 true KR100513055B1 (ko) 2005-09-06

Family

ID=37251764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0090335A KR100513055B1 (ko) 2003-12-11 2003-12-11 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100513055B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953076B1 (ko) 2007-12-13 2010-04-13 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
US7760932B2 (en) 2005-12-09 2010-07-20 Electronics And Telecommunications Research Institute Method for reconstructing three-dimensional structure using silhouette information in two-dimensional image
KR100991671B1 (ko) 2008-12-15 2010-11-04 재단법인대구경북과학기술원 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치
WO2012064010A1 (en) * 2010-11-10 2012-05-18 Samsung Electronics Co., Ltd. Image conversion apparatus and display apparatus and methods using the same
US8577089B2 (en) 2010-06-14 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for depth unfolding based on multiple depth images
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus
US10964040B2 (en) 2018-09-13 2021-03-30 Arcsoft Corporation Limited Depth data processing system capable of performing image registration on depth maps to optimize depth data

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100727033B1 (ko) * 2005-12-07 2007-06-12 한국전자통신연구원 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템
KR100706940B1 (ko) * 2006-02-27 2007-04-12 삼성전기주식회사 다 시점 카메라의 정렬 장치
KR100806201B1 (ko) * 2006-10-30 2008-02-22 광주과학기술원 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
KR100926520B1 (ko) * 2006-12-05 2009-11-12 한국전자통신연구원 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
KR100891549B1 (ko) * 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
KR101327794B1 (ko) * 2007-10-23 2013-11-11 삼성전자주식회사 깊이 정보 획득 방법 및 장치
KR20090055803A (ko) * 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
KR100924598B1 (ko) * 2007-11-30 2009-11-02 홍정우 3차원 모델 생성 방법
KR101420684B1 (ko) 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
KR101430474B1 (ko) * 2008-02-19 2014-08-18 엘지전자 주식회사 입체 영상 디스플레이 방법 및 장치
KR101483659B1 (ko) 2008-07-11 2015-01-16 삼성디스플레이 주식회사 입체영상 표시방법, 이를 수행하기 위한 표시장치
KR101502365B1 (ko) 2008-11-06 2015-03-13 삼성전자주식회사 삼차원 영상 생성기 및 그 제어 방법
KR101004758B1 (ko) * 2009-02-17 2011-01-04 포항공과대학교 산학협력단 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법
KR101626057B1 (ko) 2009-11-19 2016-05-31 삼성전자주식회사 3뷰 영상의 디스패리티 추정 방법 및 장치
KR101007409B1 (ko) * 2010-05-26 2011-01-14 삼성탈레스 주식회사 영상 융합 처리 장치 및 방법
KR20120011653A (ko) 2010-07-29 2012-02-08 삼성전자주식회사 영상 처리 장치 및 방법
KR101863626B1 (ko) 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
KR101862199B1 (ko) 2012-02-29 2018-05-29 삼성전자주식회사 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
KR101370718B1 (ko) * 2012-10-26 2014-03-06 한국과학기술원 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치
WO2019093532A1 (ko) * 2017-11-07 2019-05-16 공간정보기술 주식회사 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR102533909B1 (ko) * 2020-12-15 2023-05-26 광운대학교 산학협력단 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법
KR102611535B1 (ko) * 2021-11-24 2023-12-08 한국전자통신연구원 3차원 일체형 모델에서 지형 모델 및 지물 모델을 분리하는 방법 및 이를 수행하는 장치
CN114255197B (zh) * 2021-12-27 2024-04-05 西安交通大学 一种红外与可见光图像自适应融合对齐方法及系统
CN116437205B (zh) * 2023-06-02 2023-08-11 华中科技大学 一种多视点多焦距成像的景深拓展方法和系统
CN117315164B (zh) * 2023-11-28 2024-02-23 虚拟现实(深圳)智能科技有限公司 光波导全息显示方法、装置、设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760932B2 (en) 2005-12-09 2010-07-20 Electronics And Telecommunications Research Institute Method for reconstructing three-dimensional structure using silhouette information in two-dimensional image
KR100953076B1 (ko) 2007-12-13 2010-04-13 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR100991671B1 (ko) 2008-12-15 2010-11-04 재단법인대구경북과학기술원 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치
US8577089B2 (en) 2010-06-14 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for depth unfolding based on multiple depth images
WO2012064010A1 (en) * 2010-11-10 2012-05-18 Samsung Electronics Co., Ltd. Image conversion apparatus and display apparatus and methods using the same
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus
US10964040B2 (en) 2018-09-13 2021-03-30 Arcsoft Corporation Limited Depth data processing system capable of performing image registration on depth maps to optimize depth data

Also Published As

Publication number Publication date
KR20050058085A (ko) 2005-06-16

Similar Documents

Publication Publication Date Title
KR100513055B1 (ko) 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
KR100776649B1 (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
US20220207776A1 (en) Disparity image fusion method for multiband stereo cameras
US20090167843A1 (en) Two pass approach to three dimensional Reconstruction
US9025862B2 (en) Range image pixel matching method
CN113034568B (zh) 一种机器视觉深度估计方法、装置、系统
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
WO1999058927A1 (en) Image generating device and method
WO2007052191A2 (en) Filling in depth results
CN116029996A (zh) 立体匹配的方法、装置和电子设备
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN110378995B (zh) 一种利用投射特征进行三维空间建模的方法
JP4394487B2 (ja) ステレオ画像処理装置
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
Um et al. Three-dimensional scene reconstruction using multiview images and depth camera
JPH07103734A (ja) ステレオ対応探索装置
JP2005092451A (ja) 頭部検出装置及び頭部検出方法、並びに頭部検出プログラム
JP2001153633A (ja) 立体形状検出方法および装置
Li et al. Accurate depth estimation using structured light and passive stereo disparity estimation
Sato et al. Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system
CN107610170B (zh) 多目图像重聚焦的深度获取方法及系统
Gao et al. Research on tof camera-based guided binocular fusion technology
CN114754732B (zh) 一种基于多目视觉的距离测量方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090727

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee