KR100793076B1 - 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법 - Google Patents
에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법 Download PDFInfo
- Publication number
- KR100793076B1 KR100793076B1 KR1020060045149A KR20060045149A KR100793076B1 KR 100793076 B1 KR100793076 B1 KR 100793076B1 KR 1020060045149 A KR1020060045149 A KR 1020060045149A KR 20060045149 A KR20060045149 A KR 20060045149A KR 100793076 B1 KR100793076 B1 KR 100793076B1
- Authority
- KR
- South Korea
- Prior art keywords
- edge
- image
- stereo
- variation
- matching
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003044 adaptive effect Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000007704 transition Effects 0.000 claims abstract description 3
- 238000012937 correction Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 230000006978 adaptation Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G06T3/153—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 영상 내 에지 분포에 따라 적절한 정합창틀을 적응적으로 사용함으로써 가려진 영역 또는 새로운 출현 영역에서의 오차를 줄이고 에지 영역에서의 깊이 값의 정확도를 높일 수 있는, 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 에지 적응형 스테레오/다시점 영상 정합 장치에 있어서, 두 시점 이상의 카메라로부터 스테레오/다시점 영상(비디오)을 획득하기 위한 영상 획득 수단; 상기 영상 획득 수단으로부터 전달받은 정합할 영상에서 에지를 추출하기 위한 에지 추출 수단; 상기 에지 추출 수단에서 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창틀을 선택하기 위한 정합창틀 선택 수단; 상기 정합창틀 선택 수단에서 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 변이를 탐색하기 위한 변이 탐색 수단; 및 상기 변이를 변이지도로 저장하기 위한 변이지도 저장 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 스테레오/다시점 영상(비디오) 기반 중간시점 영상 생성 시스템, 객체/장면의 3차원 복원 등에 이용됨.
스테레오 정합, 다시점 영상, 에지 적응, 정합창틀 선택, 변이지도, 3차원 영상 처리
Description
도 1은 본 발명에 따른 에지 적응형 스테레오/다시점 영상 정합 장치의 일실시예 구성도,
도 2는 본 발명에 따른 에지 적응형 스테레오/다시점 영상 정합 방법에 대한 일실시예 흐름도,
도 3은 본 발명에 따른 에지 형태에 따른 정합창틀의 분류를 나타내는 일실시예 도면,
도 4는 본 발명에 따른 에지 형태에 따라 정합창틀을 선택하는 예를 나타내는 도면,
도 5는 성형의 다시점 카메라 배치에서 에러를 비교하는 스테레오 영상 쌍을 나타내는 도면,
도 6은 선형의 다시점 카메라 배치에서 에러를 비교하는 스테레오 영상 쌍을 나타내는 도면이다.
* 도면의 주요 부분에 대한 부호의 설명
100 : 스테레오/다시점 영상 입력 및 저장부
101 : 카메라 보정부 102 : 에지 추출부
103 : 정합창틀 선택부 104 : 변이 탐색부
105 : 변이 선택부 106 : 변이지도 저장부
본 발명은 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 스테레오/다시점 카메라로부터 획득한 스테레오/다시점 영상(비디오)으로부터 보다 정확한 변이지도(Disparity Map)를 생성하기 위한, 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법에 관한 것이다.
두 대 이상의 카메라를 이용하여 획득한 영상(비디오)으로부터 객체나 장면의 3차원 정보를 얻는 방법으로는 "Shape from Silhouette", "Voxel Coloring", 및 스테레오/다시점 영상 정합 방식 등의 여러 가지 방식이 있다. 이 중에서 "Shape from Silhouette", 및 "Voxel Coloring" 방식은 주로 객체의 3차원 정보를 얻는데 사용되며, 스테레오/다시점 영상 정합 방식은 장면의 3차원 정보를 얻는데 사용된다. 여기서, 장면의 3차원 정보는 카메라 범위 내에서 가상 시점의 영상을 생성하는데 사용될 수 있다. 이때, 보다 좋은 화질의 가상 시점 영상 생성을 위해서는 정확한 변이지도를 얻는 것이 중요하다.
상기 스테레오/다시점 영상 정합 방식은 두 대 또는 그 이상의 카메라로부터 획득(취득)된 영상 중 하나를 기준 영상으로 하고 다른 영상들을 탐색 영상으로 놓았을 때, 3차원 공간상의 한 점이 기준 영상과 탐색 영상들에 투영된 화소의 영상 내 위치를 구하는 과정이다. 이때, 구해진 각 대응점들 간의 영상 좌표 차이를 변이(Disparity)라고 한다.
그리고 상기 변이를 기준 영상의 각 화소에 대하여 계산하면 영상의 형태로 변이가 저장되는데 이를 변이지도(Disparity Map)라고 한다.
이러한 변이지도를 여러 시점의 영상으로부터 여러 개 추출하고, 이들을 결합함으로써 장면의 3차원 정보를 획득하게 된다. 이러한 방법은 다른 3차원 정보 획득 방법에 비해 저가의 비용으로 3차원 정보를 얻을 수 있으며, 영상의 해상도가 높아서 보다 정밀한 결과를 얻을 수 있고, 텍스쳐 정보를 포함하고 있으므로 생성된 모델에 텍스쳐 정보를 투영하여 보다 사실적인 3차원 모델을 얻을 수 있다는 장점이 있다. 그러나 이러한 방법은 조광 조건 및 텍스쳐 정보의 영향이 크고, 차폐 지역에서 오차가 크며, 조밀한 변이지도를 얻기 위해서는 수행 시간이 길다는 단점이 있다.
보다 정확한 변이지도를 얻기 위한 연구는 많은 연구자들에 의해 오랫동안 연구되어 새로운 접근 방법이 속속 등장하였으나, 아직까지 제약 조건이 많고, 또한 새로운 응용 영역이 계속 생겨나면서 현재까지도 가장 활발하게 연구가 진행되고 있는 분야이다.
한편, 양안 스테레오 영상을 이용한 변이지도 추출에서는 차폐(occlusion) 문제 때문에 정확한 변이지도를 구하기가 어렵기 때문에 최근에는 다수의 카메라를 이용하여 스테레오 정합의 문제를 해결하려는 노력이 있었다(Okutomi and Kanade, "A Multiple-Baseline Stereo," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. PAMI-15, no. 4, pp. 353-363, 1993). 이러한 방법들은 다수의 스테레오 영상 쌍을 이용하여 각 화소의 대응점들을 좀더 정확하게 추적하여 가려진 영역 등에서 생기는 오류들을 최소화하고자 하였다.
또한, 가려진 영역들이 나타나는 패턴을 파악하여 그 패턴에 따라 적절한 스테레오 영상을 선택하여 좀더 효율적으로 가려진 영역을 피할 수 있는 방법이 제안되었다(Nakmura et al., "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix-", Proceedings of CVPR'96, pp. 371-378, 1996). 이러한 방법은 가려진 영역을 제거하는데 효과적이나, 물체의 가장자리에서의 경계선 과급(object boundary overreach) 문제 등과 같은 여전히 해결되지 않는 문제점이 있었다.
상기 경계선 과급 문제를 해결하기 위해 적응형 윈도우 방법(Kanade and Okutomi, "A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment, "IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 16, no. 9, Sept., 1994), 대칭적 윈도우 방법(Fusiello et al., "Efficient Stereo with Multiple Windowing," Proceedings of CVPR'97, p. 858, 1997), 점진적으로 윈도우의 크기를 변경시키는 방법(Park and Inoue, "Acquisition of sharp depth map from multiple cameras," Signal Processing: Image Communication, vol.14, pp.7-19, Nov. 1998) 등이 제안되었는데, 이들 연구들은 물체의 가장자리 를 효율적으로 복구하였으나, 계산량이 많아 신속한 변이지도 추출에 어려움이 있으며, 물체의 완만한(smooth) 표면에서 변이 정보가 손상되는 문제점을 보이고 있다.
최근에는 다중 창틀의 계산량을 줄이기 위한 방법으로, 에지 포함 여부 및 에지 형태에 따른 에지 적응형 수평 이동 창틀 정합 방법(Jong-Il Park, Gi Mun Um, Chunghyun Ahn, and Chieteuk Ahn, "Virtual Control of Optical Axis of the 3DTV Camera for Reducing Visual Fatigue in Stereoscopic 3DTV," ETRI Journal, vol.26, no.6, Dec. 2004, pp.597-604)이 제안되었는데, 이 방법은 다양한 에지 형태를 고려하지 못한 문제점이 있었다.
따라서 물체의 경계 부분에서 좀더 정확한 변이를 얻으면서, 계산량을 줄일 수 있는 스테레오/다시점 영상 정합 방법이 요구되고 있다.
본 발명은 상기한 바와 같은 문제점을 해결하고 상기 요구에 부응하기 위하여 제안된 것으로, 영상 내 에지 분포에 따라 적절한 정합창틀을 적응적으로 사용함으로써 가려진 영역 또는 새로운 출현 영역에서의 오차를 줄이고 에지 영역에서의 깊이 값의 정확도를 높일 수 있는, 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 에지 적응형 스테레오/다시점 영상 정합 장치에 있어서, 두 시점 이상의 카메라로부터 스테레오/다시점 영상(비디오)을 획득하기 위한 영상 획득 수단; 상기 영상 획득 수단으로부터 전달받은 정합할 영상에서 에지를 추출하기 위한 에지 추출 수단; 상기 에지 추출 수단에서 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창틀을 선택하기 위한 정합창틀 선택 수단; 상기 정합창틀 선택 수단에서 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 변이를 탐색하기 위한 변이 탐색 수단; 및 상기 변이를 변이지도로 저장하기 위한 변이지도 저장 수단을 포함한다.
또한, 상기 본 발명의 장치는, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하여 상기 변이지도 저장 수단으로 전달하기 위한 변이 선택 수단을 더 포함한다.
또한, 상기 본 발명의 장치는, 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정 수단; 및 상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단에서 추출한 카메라 정보를 이용하여 3차원 데이터로 변환하기 위한 변이지도 변환 수단을 더 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 에지 적응형 스테레오/ 다시점 영상 정합 방법에 있어서, 두 시점 이상의 카메라로부터 스테레오/다시점 영상(비디오)을 획득하는 단계; 정합할 영상에서 에지를 추출하는 단계; 상기 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창틀을 선택하는 정합창틀 선택 단계; 상기 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 변이를 탐색하는 단계; 및 상기 변이를 변이지도로 저장하는 단계를 포함한다.
또한, 상기 본 발명의 방법은, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하는 단계를 더 포함한다.
또한, 상기 본 발명의 방법은, 상기 각 카메라의 카메라 정보를 추출하는 단계; 및 상기 저장한 변이지도를 상기 추출한 카메라 정보를 이용하여 3차원 데이터로 변환하는 단계를 더 포함한다.
이처럼, 본 발명은 정합 창틀 내의 에지 분포 형태에 따라 정합창틀의 형태를 선택하고, 이 선택된 정합창틀을 사용하여 스테레오 정합함으로써 정확도를 개선하면서도, 모든 창틀의 형태에 대해 정합을 수행하는 종래의 방법에 비해 계산량을 줄일 수 있다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명 을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 에지 적응형 스테레오/다시점 영상 정합 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 에지 적응형 스테레오/다시점 영상 정합 장치는, 두 시점 이상의 비디오 카메라로부터 촬영된 스테레오/다시점 영상(비디오)을 입력받아 저장하기 위한 스테레오/다시점 영상 입력 및 저장부(100), 상기 스테레오/다시점 영상 입력 및 저장부(100)로부터 전달받은 정합할 영상에서 에지를 추출하기 위한 에지 추출부(102), 상기 에지 추출부(102)에서 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창틀을 선택하기 위한 정합창틀 선택부(103), 상기 정합창틀 선택부(103)에서 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 유사도가 가장 높은 변이를 탐색하기 위한 변이 탐색부(104), 각 스테레오 영상 쌍(즉, 여러 개의 스테레오 영상 쌍)으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하기 위한 변이 선택부(105), 및 상기 변이 선택부(105)에서 선택한 변이를 디지털 영상(비디오)으로 저장(기록)하기 위한 변이지도 저장부(106)를 포함한다.
여기서, 두 개 이상의 스테레오 영상 쌍이 존재할 경우(3시점 이상의 경우)에는 상기 변이 선택부(105)가 필요하지만, 스테레오 영상 쌍이 하나만 존재할 경우(2시점의 경우), 변이 선택부(105)는 없어도 된다. 이때에는 상기 변이지도 저장부(106)가 상기 변이 탐색부(104)에서 탐색한 변이(Disparity)를 변이지도 형태의 디지털 영상(비디오)으로 저장(기록)하도록 구현할 수 있다.
또한, 상기 에지 적응형 스테레오/다시점 영상 정합 장치는, 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정부(101), 및 상기 변이지도 저장부(106)로부터의 변이지도(Disparity Map)를 상기 카메라 보정부(101)로부터의 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델과 같은 3차원 데이터로 변환하기 위한 변이지도 변환부(도면에 도시되지 않음)를 더 포함한다.
상기와 같은 에지 적응형 스테레오/다시점 영상 정합 장치의 각 구성요소에 대하여 좀더 구체적으로 살펴보면 다음과 같다.
상기 스테레오/다시점 영상 입력 및 저장부(100)는 적어도 두 대 이상의 비디오 카메라(예 : 스테레오/다시점 카메라)로부터 동일시간에 취득된 스테레오/다시점 영상을 입력받아 동기를 맞추어 저장한다.
그리고 상기 카메라 보정부(101)에서는 상기 스테레오/다시점 영상 입력 및 저장부(100)로부터 전달받은 스테레오/다시점 영상을 이용하여 카메라 보정(calibration)을 통해 초점거리 등의 카메라 정보 및 각 시점 간의 상호 위치관계를 나타내는 기반 행렬(fundamental matrix)을 계산한다. 이때, 구해진 카메라 정보 및 기반 행렬 데이터는 데이터 저장장치 또는 컴퓨터 메모리(도면에 도시되지 않음) 상에 저장되어, 이후에 변이지도 변환 등에 이용된다. 여기서, 상기 카메라 보정부(101)는 본 발명의 부가 구성요소이다.
그리고 상기 에지 추출부(102)에서는 정합할 스테레오 영상 쌍에서 에지 연 산자를 이용하여 에지를 추출한다. 이때, 에지 연산자로는 프리위트(Prewitt), 캐니(Canny) 연산자 등이 사용될 수 있다.
그리고 상기 정합창틀 선택부(103)에서는 상기 에지 추출부(102)에서 추출한 에지의 분포를 조사하여 각 에지 성분의 분포 형태에 따라 적용할 정합창틀을 선택(결정)한다. 즉, 정합할 영상 내 각 화소마다 에지 분포를 조사하여 해당하는 에지 분포 형태에 따라, 기 분류되어 있는 8개의 정합창틀 중에서 적용할 하나의 정합창틀을 선택(결정)하게 된다(도 4 참조). 이때, 예를 들어 정합창틀은 도 3에 도시된 바와 같이 에지 분포 형태에 따라 8개의 형태로 이미 분류되어 있다.
그리고 상기 변이 탐색부(104)에서는 도 4에 주어진 예시와 같이 상기 정합창틀 선택부(103)에서 결정된 정합창틀을 사용하여 기준 영상 내 각 화소의 대응점을 대상 영상 내 에피폴라 라인 상에 존재하는 변이 탐색 범위 내 각 화소들 중에서 탐색하게 된다. 이때, 정합 유사도는 널리 쓰이는 NCC(Normalized Cross Correlation), ZNCC(Zero-mean Normalized Cross Correlation), 또는 SSD(Sum of Squared Difference) 중의 어느 하나를 이용하여 계산한다. 그리고 구해진 정합점으로부터 이에 해당하는 변이를 계산한다. 이러한 과정은 기준시점 영상을 포함하는 다른 스테레오 영상 쌍에 대해서도 반복 수행한다.
그리고 두 개 이상의 스테레오 영상 쌍이 존재할 경우(3시점 이상의 경우), 상기 변이 선택부(105)에서는 도 5(성형의 다시점 카메라 배치에서 에러를 비교하는 스테레오 영상 쌍을 나타냄)와 도 6(선형의 다시점 카메라 배치에서 에러를 비교하는 스테레오 영상 쌍을 나타냄)에 도시된 바와 같이 서로 대칭되는 카메라 간 에 기준시점에 대한 각각의 대응점 간의 유사도를 조사하고, 이 중에서 유사도가 가장 높은(또는 컬러 차이가 가장 적은) 대응점의 변이를 최종 변이로 결정하게 된다. 여기서, 유사도 값은 각 스테레오 영상의 정합 시에 저장하여 놓았다가 이용하게 된다. 한편, 한 쌍의 스테레오 영상 쌍만이 존재하는 2시점(2-view) 영상의 경우, 이렇게 선택된 대응점은 차폐 영역 검출을 위하여 기준 영상과 대상 영상을 바꾸어 정합을 수행한다. 이렇게 검출된 차폐 영역의 계산된 변이는 무시되고, 보간 등 다른 방법을 통하여 주위 화소의 변이에 의해 채워지게 된다. 한편, 3시점(3-view) 이상의 다시점 영상에서는, 대칭 위치에 있는 스테레오 영상의 정합 유사도 값을 비교하여 그 중 작은(유사도가 높은) 값만을 사용함으로써 차폐 영역으로 인한 변이 추정의 오차를 억제한다.
그리고 상기 스테레오/다시점 영상 내 각 화소에 대해 계산된 최종 변이는 변이지도 저장부(106)로 전달되어 변이지도 형태의 디지털 영상으로 저장된다. 한편, 부가적으로 상기 변이지도(Disparity Map)는 카메라 정보를 이용하여 3차원 점 구름이나 3차원 모델로 변환될 수 있다.
도 2는 본 발명에 따른 에지 적응형 스테레오/다시점 영상 정합 방법에 대한 일실시예 흐름도로서, 이에 대한 구체적인 동작 방식은 전술한 바와 같으므로 여기서는 주요 동작 과정만을 설명하기로 한다.
먼저, 스테레오/다시점 영상 입력 및 저장부(100)가 두 시점 이상의 비디오 카메라로부터 촬영된 스테레오/다시점 영상(비디오)을 획득하여 저장한다(200).
이후, 에지 추출부(102)가 상기 스테레오/다시점 영상 입력 및 저장부(100) 에 저장되어 있는 정합할 영상에서 에지를 추출한다(202).
이후, 정합창틀 선택부(103)가 상기 에지 추출부(102)에서 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창틀을 선택한다(203).
이후, 변이 탐색부(104)가 상기 정합창틀 선택부(103)에서 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 유사도가 가장 높은 변이를 탐색한다(204).
이후, 변이 선택부(105)가 각 스테레오 영상 쌍(즉, 여러 개의 스테레오 영상 쌍)으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택한다(205).
이후, 상기 변이 선택부(105)에서 선택한 변이를 변이지도 형태의 디지털 영상(비디오)으로 변이지도 저장부(106)에 저장한다(206).
여기서, 두 개 이상의 스테레오 영상 쌍이 존재할 경우(3시점 이상의 경우)에는 상기 변이 선택 과정(205)이 필요하지만, 스테레오 영상 쌍이 하나만 존재할 경우(2시점의 경우), 상기 변이 선택 과정(205)은 수행되지 않아도 된다. 이때에는 상기 변이 탐색 과정(204)에서 탐색한 변이를 디지털 영상(비디오)으로 저장(기록)하도록 구현할 수 있다.
그리고 상기 에지 적응형 스테레오/다시점 영상 정합 방법은, 카메라 보정부(101)가 상기 각 카메라의 카메라 정보를 추출하는 과정(201)을 더 수행한다.
그리고 변이지도 변환부(도면에 도시되지 않음)가 상기 변이지도 저장부(106)에 저장되어 있는 변이지도(Disparity Map)를 상기 카메라 보정부(101)에서 추출한 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델과 같은 3차원 데이터로 변환하는 과정(도면에 도시되지 않음)을 더 수행할 수도 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 종래의 스테레오 정합 기법이 가지는 깊이 불연속이나 차폐 영역에서 정확도가 저하되는 문제점을 해결하기 위하여, 정합창틀 내 에지 분포의 형태를 조사하여 그 에지 분포 형태에 따라 정합창틀의 종류를 선택함으로써, 3차원 깊이 또는 변이 정보의 정확도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 종래의 다중 창틀 기법에 비해 사용하는 창틀의 개수를 줄일 수 있어 계산량을 감소시킬 수 있는 효과가 있다.
또한, 본 발명은 상기와 같이 개선된 변이 정보를 3차원 모델링 또는 임의시 점 영상 생성에 이용할 수 있으며, 특히 임의시점 영상 생성 시에 영상 깨짐을 줄일 수 있는 효과가 있다.
Claims (8)
- 에지 적응형 스테레오/다시점 영상 정합 장치에 있어서,두 시점 이상의 카메라로부터 스테레오/다시점 영상(비디오)을 획득하기 위한 영상 획득 수단;상기 영상 획득 수단으로부터 전달받은 정합할 영상에서 에지를 추출하기 위한 에지 추출 수단;상기 에지 추출 수단에서 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창틀을 선택하기 위한 정합창틀 선택 수단;상기 정합창틀 선택 수단에서 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 변이를 탐색하기 위한 변이 탐색 수단; 및상기 변이를 변이지도로 저장하기 위한 변이지도 저장 수단을 포함하는 에지 적응형 스테레오/다시점 영상 정합 장치.
- 제 1항에 있어서,각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하여 상기 변이지도 저장 수단으로 전달하기 위한 변이 선택 수단을 더 포함하는 에지 적응형 스테레오/다시점 영상 정합 장치.
- 제 1항 또는 제 2항에 있어서,상기 정합창틀 선택 수단은,상기 에지 추출 수단에서 추출한 에지의 분포를 조사하여 각 에지 성분의 분포 형태에 따라, 기 분류되어 있는 다수의 정합창틀 중에서 적용할 하나의 정합창틀을 결정하는 것을 특징으로 하는 에지 적응형 스테레오/다시점 영상 정합 장치.
- 제 3항에 있어서,상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정 수단; 및상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단에서 추출한 카메라 정보를 이용하여 3차원 데이터로 변환하기 위한 변이지도 변환 수단을 더 포함하는 에지 적응형 스테레오/다시점 영상 정합 장치.
- 에지 적응형 스테레오/다시점 영상 정합 방법에 있어서,두 시점 이상의 카메라로부터 스테레오/다시점 영상(비디오)을 획득하는 단계;정합할 영상에서 에지를 추출하는 단계;상기 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창 틀을 선택하는 정합창틀 선택 단계;상기 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 변이를 탐색하는 단계; 및상기 변이를 변이지도로 저장하는 단계를 포함하는 에지 적응형 스테레오/다시점 영상 정합 방법.
- 제 5항에 있어서,각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하는 단계를 더 포함하는 에지 적응형 스테레오/다시점 영상 정합 방법.
- 제 5항 또는 제 6항에 있어서,상기 정합창틀 선택 단계는,상기 추출한 에지의 분포를 조사하여 각 에지 성분의 분포 형태에 따라, 기 분류되어 있는 다수의 정합창틀 중에서 적용할 하나의 정합창틀을 결정하는 것을 특징으로 하는 에지 적응형 스테레오/다시점 영상 정합 방법.
- 제 7항에 있어서,상기 각 카메라의 카메라 정보를 추출하는 단계; 및상기 저장한 변이지도를 상기 추출한 카메라 정보를 이용하여 3차원 데이터로 변환하는 단계를 더 포함하는 에지 적응형 스테레오/다시점 영상 정합 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20050119806 | 2005-12-08 | ||
| KR1020050119806 | 2005-12-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20070061094A KR20070061094A (ko) | 2007-06-13 |
| KR100793076B1 true KR100793076B1 (ko) | 2008-01-10 |
Family
ID=38357029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060045149A KR100793076B1 (ko) | 2005-12-08 | 2006-05-19 | 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100793076B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101358430B1 (ko) | 2012-06-25 | 2014-02-05 | 인텔렉추얼디스커버리 주식회사 | 깊이 영상 생성 방법 및 시스템 |
| US8705885B2 (en) | 2010-07-02 | 2014-04-22 | Samsung Electronics Co., Ltd. | Depth image encoding apparatus and depth image decoding apparatus using loop-filter, method and medium |
| US9378583B2 (en) | 2010-07-02 | 2016-06-28 | Samsung Electronics Co., Ltd. | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume |
| US9756312B2 (en) | 2014-05-01 | 2017-09-05 | Ecole polytechnique fédérale de Lausanne (EPFL) | Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100899422B1 (ko) | 2007-08-06 | 2009-05-27 | 삼성모바일디스플레이주식회사 | 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법 |
| KR20090055803A (ko) * | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
| KR100943635B1 (ko) * | 2008-11-06 | 2010-02-24 | 삼성에스디에스 주식회사 | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 |
| KR101626057B1 (ko) | 2009-11-19 | 2016-05-31 | 삼성전자주식회사 | 3뷰 영상의 디스패리티 추정 방법 및 장치 |
| GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
| GB2478157A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for cutting between a first and second image sequence in a stereoscopic video |
| GB2478164A (en) | 2010-02-26 | 2011-08-31 | Sony Corp | Calculating misalignment between a stereoscopic image pair based on feature positions |
| GB2479410A (en) * | 2010-04-09 | 2011-10-12 | Tektronix Uk Ltd | Measuring perceived stereoscopic visual depth |
| KR101702948B1 (ko) | 2010-07-20 | 2017-02-06 | 삼성전자주식회사 | 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법 |
| KR101694292B1 (ko) | 2010-12-17 | 2017-01-09 | 한국전자통신연구원 | 스테레오 영상 정합 장치 및 그 방법 |
| CN102724529B (zh) * | 2012-05-28 | 2014-08-06 | 清华大学 | 虚拟视点视频序列的生成方法及生成装置 |
| KR101240497B1 (ko) * | 2012-12-03 | 2013-03-11 | 복선우 | 다시점 입체영상 제작방법 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050102157A (ko) * | 2004-04-20 | 2005-10-25 | 쓰리알 주식회사 | 평활화된 적응적 변이 추정 방식을 이용한 스테레오 영상 복원 방법 |
-
2006
- 2006-05-19 KR KR1020060045149A patent/KR100793076B1/ko not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050102157A (ko) * | 2004-04-20 | 2005-10-25 | 쓰리알 주식회사 | 평활화된 적응적 변이 추정 방식을 이용한 스테레오 영상 복원 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8705885B2 (en) | 2010-07-02 | 2014-04-22 | Samsung Electronics Co., Ltd. | Depth image encoding apparatus and depth image decoding apparatus using loop-filter, method and medium |
| US9378583B2 (en) | 2010-07-02 | 2016-06-28 | Samsung Electronics Co., Ltd. | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume |
| KR101358430B1 (ko) | 2012-06-25 | 2014-02-05 | 인텔렉추얼디스커버리 주식회사 | 깊이 영상 생성 방법 및 시스템 |
| US9756312B2 (en) | 2014-05-01 | 2017-09-05 | Ecole polytechnique fédérale de Lausanne (EPFL) | Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20070061094A (ko) | 2007-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100793076B1 (ko) | 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법 | |
| US11562498B2 (en) | Systems and methods for hybrid depth regularization | |
| KR100745691B1 (ko) | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 | |
| US20190251738A1 (en) | System and method for infinite synthetic image generation from multi-directional structured image array | |
| KR100776649B1 (ko) | 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 | |
| KR101370718B1 (ko) | 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치 | |
| US5734743A (en) | Image processing method and apparatus for block-based corresponding point extraction | |
| KR100748719B1 (ko) | 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법 | |
| RU2382406C1 (ru) | Способ улучшения карты диспарантности и устройство для реализации способа | |
| KR100953076B1 (ko) | 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 | |
| KR100799990B1 (ko) | 2차원 영상의 3차원 영상 변환 장치 및 방법 | |
| CN104065947B (zh) | 一种集成成像系统的深度图获取方法 | |
| Pearson et al. | Plenoptic layer-based modeling for image based rendering | |
| KR20090055803A (ko) | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 | |
| KR100926520B1 (ko) | 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법 | |
| CN103679739A (zh) | 基于遮挡区域检测的虚拟视图生成方法 | |
| KR101086274B1 (ko) | 깊이정보 추출 장치 및 추출 방법 | |
| US20120050485A1 (en) | Method and apparatus for generating a stereoscopic image | |
| JP6285686B2 (ja) | 視差画像生成装置 | |
| KR20160085708A (ko) | 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치 | |
| Lee et al. | Automatic 2d-to-3d conversion using multi-scale deep neural network | |
| Lee et al. | Segment-based multi-view depth map estimation using belief propagation from dense multi-view video | |
| Orozco et al. | HDR multiview image sequence generation: Toward 3D HDR video | |
| Jorissen et al. | Multi-view wide baseline depth estimation robust to sparse input sampling | |
| De Sorbier et al. | Augmented reality for 3D TV using depth camera input |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] | ||
| FPAY | Annual fee payment |
Payment date: 20111230 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |