KR100890224B1 - 3차원 영상 복원 방법 및 이를 수행하기 위한 장치 - Google Patents
3차원 영상 복원 방법 및 이를 수행하기 위한 장치 Download PDFInfo
- Publication number
- KR100890224B1 KR100890224B1 KR1020070072621A KR20070072621A KR100890224B1 KR 100890224 B1 KR100890224 B1 KR 100890224B1 KR 1020070072621 A KR1020070072621 A KR 1020070072621A KR 20070072621 A KR20070072621 A KR 20070072621A KR 100890224 B1 KR100890224 B1 KR 100890224B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- estimating
- disparity
- variation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 52
- 230000008859 change Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
본 발명은 2차원 매칭점과 3차원 매칭점에 의해 생성되는 카메라 움직임 인자를 이용하여 3D 배경 모델을 복원하는 3차원 영상 복원 장치에 관한 것이다. 상기 3차원 영상 복원 장치는 제 1 영상들과 제 2 영상들을 이용하여 변이를 추정하는 변이 추정부, 상기 제 1 영상들과 상기 제 2 영상들을 이용하여 적어도 하나의 매칭점을 검출하는 매칭부, 및 상기 변이 추정부에 의해 추정된 변이와 상기 매칭부에 의해 검출된 매칭점을 이용하여 적어도 하나의 카메라 움직임 인자를 추정하고, 상기 제 1 영상들을 제 1 삼차원 영상으로 복원시키며, 상기 제 2 영상들을 제 2 삼차원 영상으로 복원시키고, 상기 카메라 움직임 인자를 이용하여 상기 삼차원 영상들을 정합시키는 3D 모델 복원부를 포함한다. 여기서, 상기 변이 추정부는 경계 영역에서는 변이 추정을 위한 윈도우의 모양을 경계에 맞춰서 변화시키되, 상기 경계 영역은 변이값이 급격하게 변화하는 영역이다.
3차원 영상, 정합, 변이, 카메라 움직임
Description
본 발명은 3차원 영상 복원 방법 및 이를 수행하기 위한 장치에 관한 것으로, 더욱 상세하게는 2차원 매칭점과 3차원 매칭점에 의해 생성되는 카메라 움직임 인자를 이용하여 3D 배경 모델을 복원하는 3차원 영상 복원 방법 및 이를 수행하기 위한 장치에 관한 것이다.
3차원 영상 복원 장치에서 두 영상 사이의 매칭점을 찾는 변이 추정은 매우 중요한 역할을 한다. 그러나, 현재까지 개발된 많은 알고리즘은 정확한 변이 추정을 위해 전체적인 비용 함수를 최적화하는 기법을 사용하였으며, 결과적으로 계산 복잡도가 높아져서 실제 3차원 영상 복원 장치에 적용하기가 어려웠다.
또한, 경계 영역과 평활한 영역에 대하여 동일한 윈도우 사이즈로 변이를 추정하였으며, 그래서 경계에서 번짐 현상이 발생되거나 평활한 영역에서 잘못된 변이값이 자주 추정되었다.
게다가, 종래의 3차원 영상 복원 장치는 3차원 영상에 질감 정보를 제공할 수 없었으며, 3차원 영상들 정합시에도 복잡한 과정을 통하여 3차원 영상들을 정합 시켰다. 결과적으로, 상기 정합을 위해 많은 시간이 소요되었다.
본 발명의 제 1 목적은 2차원 매칭점과 3차원 매칭점에 의해 생성되는 카메라 움직임 인자를 이용하여 3D 배경 모델을 복원하여 정합을 위해 요구되는 시간을 감소시키는 3차원 영상 복원 방법 및 이를 수행하기 위한 장치를 제공하는 것이다.
본 발명의 제 2 목적은 정확한 변이 추정을 위하여 경계 영영과 평활한 영역을 나누어 별도의 방법으로 변이를 추정하는 3차원 영상 복원 방법 및 이를 수행하기 위한 장치를 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 3차원 영상 복원 장치는 제 1 영상들과 제 2 영상들을 이용하여 변이를 추정하는 변이 추정부; 상기 제 1 영상들과 상기 제 2 영상들을 이용하여 적어도 하나의 매칭점을 검출하는 매칭부; 및 상기 변이 추정부에 의해 추정된 변이와 상기 매칭부에 의해 검출된 매칭점을 이용하여 적어도 하나의 카메라 움직임 인자를 추정하고, 상기 제 1 영상들을 제 1 삼차원 영상으로 복원시키며, 상기 제 2 영상들을 제 2 삼차원 영상으로 복원시키고, 상기 카메라 움직임 인자를 이용하여 상기 삼차원 영상들을 정합시키는 3D 모델 복원부를 포함한다. 여기서, 상기 변이 추정부는 경계 영역에서는 변이 추정을 위한 윈도우의 모양을 경계에 맞춰서 변화시키되, 상기 경계 영역은 변이값이 급격하게 변화하는 영역이다.
본 발명의 일 실시예에 따른 3차원 영상 복원 방법은 제 1 영상들과 제 2 영상들을 이용하여 변이를 추정하는 단계; 상기 제 1 영상들과 상기 제 2 영상들을 이용하여 적어도 하나의 매칭점을 검출하는 단계; 상기 추정된 변이 및 상기 매칭점을 이용하여 제 1 카메라 움직임 인자를 추정하는 단계; 상기 제 1 영상들 및 상기 제 2 영상들을 각기 제 1 삼차원 영상 및 제 2 삼차원 영상으로 복원시키는 단계; 및 상기 추정된 제 1 카메라 움직임 인자를 이용하여 상기 제 1 삼차원 영상과 상기 제 2 삼차원 영상을 정합하여 3D 모델 영상을 복원시키는 단계를 포함한다. 여기서, 상기 변이를 추정하는 단계는 초기 변이 맵을 추정하는 단계; 상기 초기 변이 맵을 이용하여 경계 맵을 생성시키는 단계; 및 상기 생성된 경계 맵을 이용하여 새로운 변이 맵을 추정하는 단계를 포함하며, 상기 새로운 변이 맵을 추정하는 단계는 경계 영역에서는 상기 경계에 맞춰서 윈도우의 모양을 변화시키는 단계; 및 상기 변화된 모양을 가지는 윈도우를 이용하여 변이를 추정하는 단계를 포함한다. 여기서, 상기 경계 영역은 변이값이 급격하게 변화하는 영역이다.
본 발명에 따른 3차원 영상 복원 방법 및 이를 수행하기 위한 장치는 2차원 매칭점과 3차원 매칭점을 동시에 이용하여 영상을 정합하였으며, 그래서 3차원 영상에 질감 정보를 제공할 수 있는 장점이 있다.
또한, 본 발명에 따른 3차원 영상 복원 방법 및 이를 수행하기 위한 장치가 카메라 움직임 인자(RT)를 이용하여 삼차원 영상들을 정합시키므로, 3D 모델 영상을 복원하기 위한 복잡도가 낮아질 수 있는 장점이 있다.
게다가, 본 발명에 따른 3차원 영상 복원 방법 및 이를 수행하기 위한 장치가 경계 영역과 평활한 영역을 나누어 변이를 추정하므로, 경계 영역에 번지지 않을 수 있고 평활한 영역의 최소 비용을 용이하게 계산할 수 있는 장점이 있다. 즉, 효율적인 변이 추정이 가능하다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예들을 자세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 복원 장치를 도시한 블록도 이다.
도 1을 참조하면, 본 실시예의 3차원 영상 복원 장치는 카메라들을 복수의 위치에 설치하여 영상을 촬영한 후, 즉 다시점으로 영상을 촬영한 후 3차원으로 복원시키는 장치로서, 변이 추정부(104), 2D 매칭부(106) 및 3D 모델 복원부(108)를 포함한다.
변이 추정부(104)는 제 1 서브 변이 추정부(110) 및 제 2 서브 변이 추정부(112)를 포함한다.
제 1 서브 변이 추정부(110)는 제 1 스테레오 카메라에 의해 촬영된 제 1 좌영상(100a) 및 제 1 우영상(100b)을 비교하여 변이를 추정하며, 그 결과로 생성되는 제 1 변이 맵을 출력시킨다.
제 2 서브 변이 추정부(112)는 제 2 스테레오 카메라에 의해 촬영된 제 2 좌영상(102a) 및 제 2 우영상(102b)을 비교하여 변이를 추정하며, 그 결과로 생성되는 제 2 변이 맵을 출력시킨다.
변이 추정부(104)는 변이 추정시 후술하는 바와 같이 경계 맵을 생성시키고, 상기 경계 맵을 이용하여 영상의 영역을 경계 영역과 평활한 영역으로 나누어 변이를 추정한다. 이에 대한 자세한 설명은 이하 첨부된 도면들을 참조하여 상술하겠다.
2D 매칭부(106)는 2D 영상인 제 1 영상들(100)과 제 2 영상들(102)을 이용하여 적어도 하나의 매칭점(x, y)을 검출한다. 이러한 매칭점을 검출하는 방법은 기존에도 많이 존재하였으며, 본 발명의 3차원 영상 복원 장치는 기존의 어떠한 방법 도 사용할 수 있다. 따라서, 이러한 매칭점을 검출하는 과정에 대한 설명은 생략하겠다.
3D 모델 복원부(108)는 제 1 영상들(100)과 제 2 영상들(102)을 각기 제 1 삼차원 영상과 제 2 삼차원 영상으로 복원하고, 상기 제 1 삼차원 영상과 상기 제 2 삼차원 영상을 정합시켜 3D 모델 영상을 복원시킨다. 이러한 3D 모델 복원부(108)는 깊이 복원부(114), 삼차원 복원부(116), 카메라 움직임 추정부(118) 및 3D 모델 정합부(120)를 포함한다.
깊이 복원부(114)는 변이 추정부(104)로부터 출력된 변이 맵들 및 2D 매칭부(106)로부터 출력된 2차원 매칭점들을 이용하여 후술하는 바와 같이 깊이(Z)를 복원하며, 깊이 정보를 출력시킨다.
삼차원 복원부(116)는 제 1 서브 3D 복원부(122) 및 제 2 서브 3D 복원부(124)를 포함한다.
제 1 서브 3D 복원부(122)는 상기 깊이 정보를 이용하여 제 1 영상들(100)을 상기 제 1 삼차원 영상으로 복원시킨다.
제 2 서브 3D 복원부(124)는 상기 깊이 정보를 이용하여 제 2 영상들(102)을 상기 제 2 삼차원 영상으로 복원시킨다.
카메라 움직임 추정부(118)는 매칭점들 및 깊이 정보를 이용하여 카메라 움직임을 추정하여 카메라 움직임 인자를 출력시킨다. 본 발명의 일 실시예에 따르면, 상기 카메라 움직임 인자는 회전 정도를 나타내는 회전 인자(R) 및 이동 정도를 나타내는 이동 인자(T)를 포함한다. 즉, 카메라 움직임 추정부(118)는 상기 제 1 스테레오 카메라와 상기 제 2 스테레오 카메라의 위치 관계를 상기 카메라 움직임 인자(RT)에 반영시킨다.
3D 모델 정합부(120)는 상기 복원된 제 1 삼차원 영상과 제 2 삼차원 영상을 카메라 움직임 추정부(118)로부터 출력된 카메라 움직임 인자(RT)를 반영하여 정합시키며, 그래서 상기 제 1 스테레오 카메라와 상기 제 2 스테레오 카메라에 의해 실제적으로 촬영된 영상인 3D 모델 영상을 복원시킨다.
위에서는, 본 실시예의 3차원 영상 복원 장치가 2개의 스테레오 카메라들에 의해 촬영된 영상들을 하나의 3D 모델 영상으로 복원시켰으나, 3개 이상의 스테레오 카메라들에 의해 촬영된 영상들을 하나의 3D 모델 영상으로 복원시킬 수도 있다.
이하, 이러한 3차원 영상 복원 장치에서 영상을 복원하는 방법을 첨부된 도면들을 참조하여 상술하겠다.
도 2는 본 발명의 일 실시예에 따른 3차원 영상을 복원하는 과정을 도시한 순서도이고, 도 3은 도 2의 복원 방법에 따른 실제 복원 예를 도시한 도면이다.
도 2를 참조하면, 복수의 스테레오 카메라들에 의해 촬영된 다중 시점의 스테레오 영상들이 획득된다(S200). 이하, 설명의 편의를 위하여 상기 영상들은 2개의 스테레오 카메라들에 의해 촬영된 제 1 영상들과 제 2 영상들로 가정하겠다.
이어서, 상기 제 1 영상들에 대한 제 1 변이 맵과 상기 제 2 영상들에 대한 제 2 변이 맵이 추정되고, 예를 들어 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용함에 의해 2차원 매칭점들(2D 매칭점들)이 산출된다(S202).
계속하여, 3D 매칭점 세트들이 획득된다(S204). 상세하게는, 상기 2D 매칭점들과 상기 변이 맵들을 이용함에 의해 3D 매칭점 세트들이 아래의 수학식 1에 의해 산출된다.
위의 수학식 1을 통하여 많은 수의 3D 매칭점들이 구해지며, 이렇게 구해진 3D 매칭점들을 소정 단위로 그룹화되어 3D 매칭점 세트들을 구성한다. 바람직하게는, 3D 매칭점들이 특정 영상에서 복수의 영역들에 골고루 배치된 경우, 3D 매칭점 세트를 구성하는 3D 매칭점들이 아래의 수학식 2(LMedS 알고르즘)의 신뢰도에 따라 상기 영역들에서 골고루 선택되어진다.
여기서, ε은 매칭점의 에러 확률을 나타내고, p는 카메라 움직임 인자(RT)를 구하기 위해 필요한 매칭점 개수이며, m은 특정 신뢰도를 유지하면서 카메라 움직임 인자(RT)를 구하기 위해 필요한 매칭점 세트의 개수이다.
예를 들어, 에러 확률이 50%인 경우, 신뢰도를 99.9% 유지하면서 4개의 매칭점을 구하려 하는 경우 약 150 매칭점 세트들이 필요하다.
이어서, 카메라 움직임 인자(RT)가 아래의 수학식 3에 의해 추정된다(S206).
여기서, 회전 인자(R)는 예를 들어 3×3 매트릭스이며, T는 예를 들어 3×1 매트릭스이다.
즉, R 및 T를 구하기 위해서는 4개의 매칭점들이 요구되며, 이러한 4개의 매칭점들을 하나의 단위로 하는 매칭점 세트는 위의 단계 S204에 의해 획득된다. 그런 후, 150개의 매칭점 세트들에 대한 RT가 모두 구해지며, 상기 RT들 중 가장 적은 오류를 가지는 RT가 상기 카메라 움직임 인자로서 선택된다.
계속하여, 삼차원 복원부(116)는 상기 깊이(Z)와 상기 변이 맵을 이용하여 상기 삼차원 영상들, 즉 3D 부분 모델을 복원시키고 텍스쳐(texture)를 매핑시킨다(S208).
이어서, 3D 모델 정합부(120)는 상기 카메라 움직임 인자(RT)를 이용하여 상기 3D 부분 모델들을 정합시켜 3D 모델 영상(3D 배경 모델)을 생성시킨다(S210). 즉, 3D 모델 정합부(120)는 상기 3D 부분 모델들 중 하나를 R만큼 회전시키고 T만큼 이동시켜 나머지 3D 부분 모델에 정합시키며, 그 결과로 3D 모델 영상이 생성된다.
이러한 과정을 실험 결과를 통하여 살펴보면, 도 3의 (a)에 도시된 바와 같이 2개의 스테레오 카메라에 의해 촬영된 영상들이 상기 복원 과정을 통하여 도 3의 (b)에 도시된 바와 같이 3D 배경 모델로 복원되었음을 알 수 있다.
요컨대, 본 실시예의 3차원 영상 복원 방법은 2차원 매칭점과 3차원 매칭점을 이용하여 영상들을 정합시키며, 그래서 질감 정보를 3차원 영상에 제공할 수 있다.
위에서는 3차원 영상을 복원하는 방법의 전체 과정에 대하여 상술하였다. 이하에서는 상기 3차원 영상 복원 과정 중 변이를 추정하는 과정을 상술하겠다.
도 4는 본 발명의 일 실시예에 따른 변이 추정 과정을 도시한 순서도이고, 도 5는 도 4의 변이 추정 과정 중 에지 방향을 도시한 도면이다. 도 6은 도 5의 에지 방향에 따른 실제 에지 형성 결과를 도시한 도면이고, 도 7은 본 발명의 일 실시예에 따른 경계 영역에서의 윈도우 모양을 도시한 도면이다.
도 4를 참조하면, 변이 추정부(104)는 비용 함수를 이용하여 영상들에 대한 초기 변이를 추정한다(S400). 즉, 변이 추정부(104)는 좌영상이 기준 영상인 경우 상기 좌영상의 특정 지점에 해당하는 부분이 우영상의 어느 부분에 해당하는 지의 여부를 추정한다. 상세하게는, 변이 추정부(104)는 상기 우영상에서 상기 좌영상의 특정 지점에 대응하는 위치로부터 예를 들어 8×8 윈도우(window)를 수평 방향으로 이동시킨다. 이어서, 변이 추정부(104)는 상기 이동된 위치에서의 윈도우에 포함된 픽셀들의 화소값들과 상기 좌영상의 특정 지점의 윈도우에 포함된 픽셀들의 화소값들의 차이를 각 픽셀별로 계산하고, 상기 화소값의 차이를 모두 합하여 총합을 산 출한다. 그런 후, 변이 추정부(104)는 상기 윈도우의 이동에 따라 생성된 총합들 중 가장 작은 값을 변이로서 추정하여 변이 맵을 생성한다. 즉, 변이 추정부(104)는 비용 함수가 최소값을 가질 때의 변이값을 해당 블록의 변이값으로 추정한다.
이어서, 상기 변이 맵에서 에지 방향이 결정되고 상기 변이 맵으로부터 경계 맵이 획득된다(S402). 여기서, 상기 에지 방향은 도 5에 도시된 바와 같이 가로 방향, 세로 방향, 대각선 방향 및 역대각선 방향으로 분류된다. 결과적으로, 상기 추정된 변이 맵에서 에지 방향은 상기 분류된 방향에 따라 결정된다. 실험 결과로서, 도 6의 (a)의 영상에 대한 에지 방향은 도 6의 (b)에 도시된 바와 같이 결정된다. 그런 후, 상기 변이 맵으로부터 경계를 표시하는 경계 맵이 생성된다. 여기서, 상기 경계는 상기 변이 맵에서 급격하게 변화되는 변이값으로부터 추정될 수 있다. 예를 들어, 도 6(a)에서 원안의 사람 머리와 그 주변은 변이값이 급격하게 변화되는 부분으로서 경계에 해당하나, 머리 중 안면과 머리카락 부분은 색이 조금 다를 수 있으나 변이값은 급격하게 변화하지 않으므로 안면과 머리카락 사이의 부분은 경계가 아니다. 결과적으로, 머리 내부는 경계 영역이 아닌 평활 영역으로서 간주된다.
계속하여, 상기 영상 중 변이 추정을 실행하려는 부분이 경계 영역에 해당하는 지의 여부가 판단된다(S404).
상기 변이 추정을 실행하려는 부분이 경계 영역인 경우, 변이 추정부(104)는 상기 경계 부근에 해당하는 8×8 블록에 대하여는 윈도우의 모양을 경계의 형태에 따라 결정하며, 즉 변화시킨다(S406). 여기서, 상기 윈도우의 모양은 도 7에 도시된 바와 같이 에지의 방향에 따라 9가지로 나눠질 수 있다.
그런 후, 변이 추정부(104)는 상기 윈도우를 이동시키면서 변이를 추정한다(S410). 이렇게 경계 영역에 대하여 윈도우를 경계에 상응하여 변화시키는 이유는 경계 영역에서도 다른 부분과 동일하게 8×8 윈도우를 사용하면 변이가 번지는 현상이 나타나서 변이 맵에서 대상의 윤곽이 명확하게 표시되지 않기 때문이다.
반면에, 상기 변이 추정을 실행하려는 부분이 평활한 영역인 경우, 변이 추정부(104)는 윈도우의 사이즈를 윈도우가 경계에 접촉될 때까지 키우며, 즉 윈도우 사이즈를 변화시킨다(S408). 여기서, 상기 평활한 영역은 변이값이 급격하게 변화하지 않는 영역으로서, 에지가 아닌 균일한(homogeneous) 영역과 에지에 해당하는 색상만 다른 영역을 포함한다.
그런 후, 변이 추정부(104)는 상기 윈도우를 이동시키면서 변이를 추정한다(S410). 이렇게 평활한 영역에 대하여 윈도우의 사이즈를 변화시키는 이유는 평활한 영역에는 질감 정보가 부족하여 비용 함수를 통한 각 영역의 최소 비용을 계산하기 어렵기 때문이다.
이어서, 블록의 사이즈가 1×1인 지의 여부가 판단된다(S412).
상기 블록의 사이즈가 1×1이 아닌 경우에는, 상기 블록의 사이즈가 분할된다(S414). 바람직하게는, 상기 블록의 사이즈는 1/2로 분할된다. 예를 들어, 위에서 블록의 사이즈가 8×8이었으므로, 상기 블록의 사이즈가 4×4로 분할된다.
그런 후, 단계 S402부터 다시 수행된다. 즉, 상기 블록의 사이즈가 1×1이 될 때까지 경계 영역과 평활한 영역으로 나뉘어져 변이가 추정된다.
반면에, 상기 블록의 사이즈가 1×1인 경우에는 상기 변이 맵 추정 과정은 종료되며, 그래서 최종 변이 맵이 생성된다(S416). 즉, 본 발명의 변이 추정 과정은 픽셀 단위까지 변이를 추정하여 픽셀 단위로 변위값을 가지는 변이 맵을 생성시킨다.
본 발명의 일 실시예에 따르면, 단계 S412와 단계 S416 사이에 숨겨진 영역(Occlusion) 처리 과정과 변이 필터링 과정이 더 수행될 수도 있다.
도 8은 본 발명의 바람직한 다른 실시예에 따른 3차원 영상 복원 과정을 도 시한 블록도이다.
도 8을 참조하면, 4개의 스테레오 카메라들에 의해 2D 영상들이 생성되고, 그런 후 위에 상술된 과정을 통하여 (a)에 도시된 바와 같이 삼차원 영상들(800, 802, 804 및 806)이 발생된다. 또한, 삼차원 영상들(800, 802, 804 및 806) 사이의 카메라 움직임 인자들(RT1, RT2 및 RT3)이 각기 구해진다.
이어서, 제 2 삼차원 영상(802)이 기준 영상인 경우, (b)에 도시된 바와 같이 제 1 삼차원 영상(800)이 RT1만큼 회전 및 이동하여 제 2 삼차원 영상(802)에 정합되어 제 5 삼차원 영상(810)이 생성된다. 또한, 제 4 삼차원 영상(806)이 RT3만큼 회전 및 이동하여 제 3 삼차원 영상(804)에 정합되어 제 6 삼차원 영상(812)이 생성된다.
계속하여, 제 6 삼차원 영상(812)이 RT2만큼 회전 및 이동하여 제 5 삼차원 영상(810)이 정합되어 3D 배경 모델(814)이 생성된다.
요컨대, 본 발명의 3차원 영상 복원 방법은 기준 영상을 기준으로 하여 다른 영상들을 해당 카메라 움직임 인자만큼 회전 및 이동시켜 상기 기준 영상에 차례로 정합시킨다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 복원 장치를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 영상을 복원하는 과정을 도시한 순서도이다.
도 3은 도 2의 복원 방법에 따른 실제 복원 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 변이 추정 과정을 도시한 순서도이다.
도 5는 도 4의 변이 추정 과정 중 에지 방향을 도시한 도면이다.
도 6은 도 5의 에지 방향에 따른 실제 에지 형성 결과를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 경계 영역에서의 윈도우 모양을 도시한 도면이다.
도 8은 본 발명의 바람직한 다른 실시예에 따른 3차원 영상 복원 과정을 도시한 블록도이다.
Claims (15)
- 제 1 영상들과 제 2 영상들을 이용하여 변이를 추정하는 변이 추정부;상기 제 1 영상들과 상기 제 2 영상들을 이용하여 적어도 하나의 매칭점을 검출하는 매칭부; 및상기 변이 추정부에 의해 추정된 변이와 상기 매칭부에 의해 검출된 매칭점을 이용하여 적어도 하나의 카메라 움직임 인자를 추정하고, 상기 제 1 영상들을 제 1 삼차원 영상으로 복원시키며, 상기 제 2 영상들을 제 2 삼차원 영상으로 복원시키고, 상기 카메라 움직임 인자를 이용하여 상기 삼차원 영상들을 정합시키는 3D 모델 복원부를 포함하며,상기 변이 추정부는 경계 영역에서는 변이 추정을 위한 윈도우의 모양을 경계에 맞춰서 변화시키되, 상기 경계 영역은 변이값이 급격하게 변화하는 영역인 것을 특징으로 하는 3차원 영상 복원 장치.
- 제 1 항에 있어서, 상기 변이 추정부는 평활한 영역에서는 윈도우의 사이즈를 변화시키되, 상기 평활한 영역은 변이값이 급격하게 변화하지 않는 영역(균일한 영역 및 색상만 다른 영역을 포함)인 것을 특징으로 하는 3차원 영상 복원 장치.
- 제 2 항에 있어서, 상기 변이 추정부는 블록의 사이즈가 픽셀 단위로 될 때까지 변이 추정을 진행시키는 것을 특징으로 하는 3차원 영상 복원 장치.
- 제 2 항에 있어서, 상기 변이 추정부는 변이 맵을 이용하여 경계 맵을 생성시키고, 상기 생성된 경계 맵을 이용하여 변이를 추정하여 새로운 변이 맵을 생성 시키는 것을 특징으로 하는 3차원 영상 복원 장치.
- 제 1 항에 있어서, 상기 3D 모델 복원부는,상기 변이 추정부에 의해 추정된 변이와 상기 매칭부에 의해 검출된 매칭점들을 이용하여 깊이를 복원하는 깊이 복원부;상기 추정된 변이와 상기 복원된 깊이를 이용하여 상기 제 1 영상들을 상기 제 1 삼차원 영상으로 복원시키고, 상기 제 2 영상들을 상기 제 2 삼차원 영상으로 복원시키는 삼차원 복원부;상기 매칭점들 및 상기 복원된 깊이를 이용하여 상기 카메라 움직임 인자를 추정하는 카메라 움직임 추정부; 및상기 카메라 움직임 인자를 이용하여 상기 삼차원 영상들을 정합하여 3D 모델 영상을 복원시키는 3D 모델 정합부를 포함하는 것을 특징으로 하는 3차원 영상 복원 장치.
- 제 5 항에 있어서, 상기 카메라 움직임 인자는 회전 인자와 이동 인자인 것을 특징으로 하는 3차원 영상 복원 장치.
- 제 1 영상들과 제 2 영상들을 이용하여 변이를 추정하는 단계;상기 제 1 영상들과 상기 제 2 영상들을 이용하여 적어도 하나의 매칭점을 검출하는 단계;상기 추정된 변이 및 상기 매칭점을 이용하여 제 1 카메라 움직임 인자를 추정하는 단계;상기 제 1 영상들 및 상기 제 2 영상들을 각기 제 1 삼차원 영상 및 제 2 삼차원 영상으로 복원시키는 단계; 및상기 추정된 제 1 카메라 움직임 인자를 이용하여 상기 제 1 삼차원 영상과 상기 제 2 삼차원 영상을 정합하여 3D 모델 영상을 복원시키는 단계를 포함하되,상기 변이를 추정하는 단계는,초기 변이 맵을 추정하는 단계;상기 초기 변이 맵을 이용하여 경계 맵을 생성시키는 단계; 및상기 생성된 경계 맵을 이용하여 새로운 변이 맵을 추정하는 단계를 포함하며,상기 새로운 변이 맵을 추정하는 단계는,경계 영역에서는 상기 경계에 맞춰서 윈도우의 모양을 변화시키는 단계; 및상기 변화된 모양을 가지는 윈도우를 이용하여 변이를 추정하는 단계를 포함하되,상기 경계 영역은 변이값이 급격하게 변화하는 영역인 것을 특징으로 하는 3차원 영상 복원 방법.
- 삭제
- 제 7 항에 있어서, 상기 초기 변이 맵은 N×N(2이상의 정수) 윈도우를 이용함에 의해 추정되는 것을 특징으로 하는 3차원 영상 복원 방법.
- 제 7 항에 있어서, 상기 경계 맵을 생성시키는 단계는,상기 초기 변이 맵에서 에지 방향을 결정하는 단계; 및상기 결정된 에지 방향에 따라 상기 경계 맵을 생성시키는 단계를 포함하는 것을 특징으로 하는 3차원 영상 복원 방법.
- 제 7 항에 있어서, 상기 새로운 변이 맵을 추정하는 단계는,평활 영역에서는 윈도우의 사이즈를 변화시키는 단계; 및상기 변화된 사이즈를 가지는 윈도우를 이용하여 변이를 추정하는 단계를 더 포함하되,상기 평활한 영역은 변이값이 급격하게 변화하지 않는 영역(균일한 영역 및 색상만 다른 영역을 포함)인 것을 특징으로 하는 3차원 영상 복원 방법.
- 제 7 항에 있어서, 상기 변이를 추정하는 단계는,블록 사이즈가 1×1인지의 여부를 판단하는 단계를 더 포함하되,상기 블록 사이즈가 1×1이 아닌 경우 상기 경계 맵을 생성시키는 단계 및 상기 새로운 변이 맵을 추정하는 단계를 다시 수행하는 것을 특징으로 하는 3차원 영상 복원 방법.
- 제 7 항에 있어서, 상기 제 1 카메라 움직임 인자를 추정하는 단계는,상기 추정된 변이 및 상기 매칭점을 이용하여 깊이를 복원하는 단계; 및상기 매칭점 및 상기 복원된 깊이를 통하여 상기 제 1 카메라 움직임 인자를 추정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 복원 방법.
- 상기 제 13 항에 있어서, 상기 제 1 카메라 움직임 인자는 회전 인자와 이동 인자인 것을 특징으로 하는 3차원 영상 복원 방법.
- 제 7 항에 있어서, 상기 3차원 영상 복원 방법은,제 3 영상들을 제 3 삼차원 영상으로 복원시키는 단계; 및상기 제 2 영상들 및 상기 제 3 영상들과 관련된 제 2 카메라 움직임 인자를 추정하는 단계를 더 포함하되,상기 제 2 삼차원 영상이 기준 영상인 경우 상기 제 1 삼차원 영상은 상기 제 1 카메라 움직임 인자만큼 회전 및 이동하여 상기 제 2 삼차원 영상에 정합되고 상기 제 3 삼차원 영상은 상기 제 2 카메라 움직임 인자만큼 회전 및 이동하여 상기 제 2 삼차원 영상에 정합되는 것을 특징으로 하는 3차원 영상 복원 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070072621A KR100890224B1 (ko) | 2007-07-20 | 2007-07-20 | 3차원 영상 복원 방법 및 이를 수행하기 위한 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070072621A KR100890224B1 (ko) | 2007-07-20 | 2007-07-20 | 3차원 영상 복원 방법 및 이를 수행하기 위한 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090009399A KR20090009399A (ko) | 2009-01-23 |
| KR100890224B1 true KR100890224B1 (ko) | 2009-03-25 |
Family
ID=40489151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070072621A KR100890224B1 (ko) | 2007-07-20 | 2007-07-20 | 3차원 영상 복원 방법 및 이를 수행하기 위한 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100890224B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990057669A (ko) * | 1997-12-30 | 1999-07-15 | 윤종용 | 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법 |
| JP2005115420A (ja) * | 2003-10-02 | 2005-04-28 | Kazuo Iwane | 三次元形状生成装置 |
| JP2006337075A (ja) | 2005-05-31 | 2006-12-14 | Mitsubishi Electric Corp | ３次元情報復元装置 |
-
2007
- 2007-07-20 KR KR1020070072621A patent/KR100890224B1/ko not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990057669A (ko) * | 1997-12-30 | 1999-07-15 | 윤종용 | 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법 |
| JP2005115420A (ja) * | 2003-10-02 | 2005-04-28 | Kazuo Iwane | 三次元形状生成装置 |
| JP2006337075A (ja) | 2005-05-31 | 2006-12-14 | Mitsubishi Electric Corp | ３次元情報復元装置 |
Non-Patent Citations (1)
| Title |
|---|
| 김용옥외 2,‘평활화된 적응적 변이추정 기법을 이용한 스테레오 영상의 효과적인 복원’, 한국통신학회논문지 ‘03-4, Vol. 28 No.4C,2003.2., pp. 424-432* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090009399A (ko) | 2009-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8433157B2 (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| CA2650557C (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
| EP2291825B1 (en) | System and method for depth extraction of images with forward and backward depth prediction | |
| JP6754992B2 (ja) | 三次元再構成方法 | |
| US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
| US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
| JP5106375B2 (ja) | ３次元形状復元装置及びそのプログラム | |
| JP7116262B2 (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
| CN109564691A (zh) | 用于基于局部确定的3d信息假说执行3d估计的装置和方法 | |
| TW202014993A (zh) | 資訊處理裝置、記錄媒體、程式產品及資訊處理方法 | |
| JP2007053621A (ja) | 画像生成装置 | |
| KR101901495B1 (ko) | 다중 시점 카메라 기반 깊이 영상 추정 방법 | |
| KR101896941B1 (ko) | 스테레오 매칭 장치 및 그 방법 | |
| JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
| KR100837776B1 (ko) | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법 | |
| KR100890224B1 (ko) | 3차원 영상 복원 방법 및 이를 수행하기 위한 장치 | |
| KR102125750B1 (ko) | 실루엣 기반 3d 영상 복원 장치 및 방법 | |
| JP5024962B2 (ja) | 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| RU2716311C1 (ru) | Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети | |
| Grammalidis et al. | Disparity and occlusion estimation for multiview image sequences using dynamic programming | |
| JP2006065472A (ja) | ３次元モデル生成装置および方法 | |
| Fazakas et al. | 3D reconstruction system for autonomous robot navigation | |
| KR20200022800A (ko) | 4d 영상 복원 장치 및 방법 | |
| CN116105632B (zh) | 一种结构光三维成像的自监督相位展开方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130117 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20140304 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20150710 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20160202 Year of fee payment: 8 |
|
| LAPS | Lapse due to unpaid annual fee |