KR100931311B1 - 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법 - Google Patents

프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법 Download PDF

Info

Publication number
KR100931311B1
KR100931311B1 KR1020070095769A KR20070095769A KR100931311B1 KR 100931311 B1 KR100931311 B1 KR 100931311B1 KR 1020070095769 A KR1020070095769 A KR 1020070095769A KR 20070095769 A KR20070095769 A KR 20070095769A KR 100931311 B1 KR100931311 B1 KR 100931311B1
Authority
KR
South Korea
Prior art keywords
depth
pixel
image
frame
background
Prior art date
Application number
KR1020070095769A
Other languages
English (en)
Other versions
KR20080051015A (ko
Inventor
엄기문
허남호
김진웅
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20080051015A publication Critical patent/KR20080051015A/ko
Application granted granted Critical
Publication of KR100931311B1 publication Critical patent/KR100931311B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그 방법에 관한 것으로, 입력 영상에서 카메라 위치에 따른 차폐 영역 외에 객체 움직임에 의해 나타나는 차폐 영역을 동시에 고려하여 객체 및 배경의 깊이를 추정함으로써, 프레임 간의 일관성 또는 완만성을 유지하면서 깊이 불연속 지점 및 밝기가 균일한 영역에서의 오정합을 줄이기 위한, 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치에 있어서, 동일시간에 촬영된 두 개 이상의 영상을 입력받아 프레임별로 저장하기 위한 입력 처리 수단; 상기 입력 처리 수단을 통해 입력된 영상에 대해 카메라 보정을 수행하기 위한 카메라 보정 수단; 상기 카메라 보정 수단의 카메라 보정 결과에 기초하여 상기 입력 처리 수단에 저장된 영상을 영역별로 분리하고, 상기 분리된 영역의 각 화소별 깊이 추정을 위해 탐색 범위를 설정하기 위한 범위 설정 수단; 상기 범위 설정 수단에 의해 설정된 탐색 범위의 각 화소에 대한 컬러 값의 유사도 비교에 따라 깊이를 선택하기 위한 제1 깊이 선택 수단; 및 상기 제1 깊이 선택 수단에서의 컬러 값에 대한 편차를 이용하여 유사 함수 계산 대상을 축소 조정하여 각 화소에 대한 깊이를 유사 함수의 유사도에 따라 선택하기 위한 제2 깊이 선택 수단을 포함한다.
깊이 지도, 스테레오 정합, 다시점 영상, 3차원 영상 처리

Description

프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그 방법{Depth estimation apparatus for depth consistency between frames and its method}
본 발명은 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 스테레오 및 다시점 비디오 등에서 카메라 위치에 따른 차폐 영역 외에 객체 움직임에 의해 나타나는 차폐 영역을 동시에 고려하여 객체 및 배경의 깊이를 추정함으로써, 프레임 간의 일관성 또는 완만성을 유지하면서 깊이 불연속 지점 및 밝기가 균일한 영역에서의 오정합을 줄이기 위한, 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그 방법에 관한 것이다.
이하의 실시예에서는 스테레오 및 다시점 동영상을 예로 들어 설명하나, 본 발명이 이에 한정되는 것이 아님을 미리 밝혀둔다.
본 발명은 정보통신부의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-403-02, 과제명: 지능형 통합정보 방송(Smar TV) 기술개발].
두 대 이상의 카메라로부터 얻은 정확한 변이 및 깊이 정보를 얻기 위한 양안 및 다시점 스테레오 깊이 추정 방법은 오랫동안 컴퓨터 비전 분야에서 연구 대상이 되어 왔으며, 아직까지도 많은 연구가 이루어지고 있다.
그리고 스테레오 정합 또는 변이 추정은 두 대 또는 그 이상의 카메라로부터 취득된 영상 중 하나를 기준 영상으로 놓고 다른 영상들을 탐색 영상으로 놓았을 때 3차원 공간상의 한 점이 기준 영상과 탐색 영상들에 투영된 화소의 영상 내 위치를 구하는 과정을 의미하는 것이며, 이때 구해진 각 대응점들 간 영상 좌표 차이를 변이(disparity)라고 한다. 그리고 변이를 기준 영상의 각 화소에 대하여 계산하면 영상의 형태로 변이가 저장되는데, 이를 변이 지도(disparity map)라고 한다.
그리고 상기의 과정을 세 대 이상의 카메라에 대해 확장한 것이 다시점 스테레오 정합이다. 최근에는 영상 내에서 변이를 탐색하지 않고, 3차원 공간상의 특정 깊이 탐색 범위 내에서 카메라 정보를 이용하여 구하고자 하는 기준 시점의 위치에 각 카메라 시점의 영상을 직접 재투영하여 기준 시점의 영상과 다른 여러 시점 영상과의 컬러 차이를 비교하여 가장 유사도가 높은 깊이를 해당 화소의 깊이로 추정하는 기법(Plane Sweep 또는 Range Space 기법 등)이 많이 연구되고 있다.
최근 스테레오 및 다시점 스테레오 정합의 응용으로 전통적인 객체나 장면의 3차원 복원 외에 비디오 기반의 가상 시점 영상 생성 등과 같이 비디오에서의 깊이 정보 추출 응용이 많아지면서 기존의 동일시간에 공간적으로 다른 위치의 영상을 이용한 깊이 정보를 추출하는 기법에서 확장하여 프레임 간의 정보를 이용한 깊이 정보 추출 기법에 대한 연구도 증가하고 있다.
대부분의 기존 스테레오 및 다시점 스테레오 정합 기법의 동영상으로의 적용은 보통 각 프레임마다 독립적으로 이루어지며, 프레임 간의 연속성은 고려되지 못하였다.
따라서, 실제로 동일한 깊이를 가지는 화소임에도 불구하고 서로 다른 깊이로 추출될 가능성이 있다. 또한, 이렇게 얻어진 깊이 정보를 이용하여 가상 시점 영상을 생성할 때 시각적으로 눈에 거슬리는 오류(즉, 시각적 컬러 오류(visual artifact))를 발생시킬 수 있는 문제점이 있다.
즉, 기존 스테레오 및 다시점 스테레오 정합 기법을 움직이는 객체를 포함하는 동영상에 적용할 경우에는 객체의 움직임에 의해 새로 나타나는 영역(uncovered area) 및 가려지는 영역(occluded area)이 발생함으로 인해 각 프레임별로 각각 추출된 움직임 객체 및 정적 배경의 깊이가 프레임 간에 일관성(consistency) 또는 완만성(smoothness)을 가지지 못할 가능성이 높다.
따라서 카메라 위치에 따른 차폐 영역 외에 객체 움직임에 의해 나타나는 차폐 영역을 동시에 고려하여 프레임 간의 일관성을 유지할 수 있는 스테레오 및 다시점 비디오 기반의 깊이 추정 방안이 요구된다.
본 발명은 상기한 바와 같은 문제점을 해결하고 상기 요구에 부응하기 위하여 제안된 것으로, 입력 영상에서 카메라 위치에 따른 차폐 영역 외에 객체 움직임 에 의해 나타나는 차폐 영역을 동시에 고려하여 객체 및 배경의 깊이를 추정함으로써, 프레임 간의 일관성 또는 완만성을 유지하면서 깊이 불연속 지점 및 밝기가 균일한 영역에서의 오정합을 줄이기 위한, 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치에 있어서, 동일시간에 촬영된 두 개 이상의 영상을 입력받아 프레임별로 저장하기 위한 입력 처리 수단; 상기 입력 처리 수단을 통해 입력된 영상에 대해 카메라 보정을 수행하기 위한 카메라 보정 수단; 상기 카메라 보정 수단의 카메라 보정 결과에 기초하여 상기 입력 처리 수단에 저장된 영상을 영역별로 분류하고, 상기 분류된 영역의 각 화소별 깊이 추정을 위해 탐색 범위를 설정하기 위한 범위 설정 수단; 상기 범위 설정 수단에 의해 설정된 탐색 범위의 각 화소에 대한 컬러 값의 유사도 비교에 따라 깊이를 선택하기 위한 제1 깊이 선택 수단; 및 상기 제1 깊이 선택 수단에서의 컬러 값에 대한 편차를 이용하여 유사 함수 계산 대상을 축소 조정하여 각 화소에 대한 깊이를 유사 함수의 유사도에 따라 선택하기 위한 제2 깊이 선택 수단을 포함한다.
또한, 상기 본 발명의 장치는, 상기 제2 깊이 선택 수단에 의해 선택된 최종 깊이를 디지털 영상으로 기록하기 위한 디지털 영상 기록 수단을 더 포함한다.
또한, 상기 본 발명의 장치는, 상기 디지털 영상 기록 수단에 의해 기록된 디지털 영상을 3차원 모델로 변환하기 위한 3차원 모델 변환 수단을 더 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 프레임 간 깊이 연속성 유지를 위한 깊이 추정 방법에 있어서, 동일시간에 촬영된 두 개 이상의 영상을 입력받아 카메라 보정을 수행하는 카메라 보정 단계; 상기 카메라 보정 결과에 기초하여 상기 입력 영상을 영역별로 분류하고, 상기 분류된 영역의 각 화소별 깊이 추정을 위해 탐색 범위를 설정하는 범위 설정 단계; 상기 설정된 탐색 범위의 각 화소에 대한 컬러 값의 유사도 비교에 따라 깊이를 선택하기 위한 제1 깊이 선택 단계; 및 상기 컬러 값에 대한 편차를 이용하여 유사 함수 계산 대상을 축소 조정하여 각 화소에 대한 깊이를 유사 함수의 유사도에 따라 선택하기 위한 제2 깊이 선택 단계를 포함한다.
또한, 상기 본 발명의 방법은, 상기 선택된 최종 깊이를 디지털 영상으로 기록하는 디지털 영상 기록 단계를 더 포함한다.
또한, 상기 본 발명의 방법은, 상기 기록된 디지털 영상을 3차원 모델로 변환하는 3차원 모델 변환 단계를 더 포함한다.
상기와 같은 본 발명은, 입력 영상에서 카메라 위치에 따른 차폐 영역 외에 객체 움직임에 의해 나타나는 차폐 영역을 동시에 고려하여 객체 및 배경의 깊이를 추정함으로써, 프레임 간의 일관성 또는 완만성을 유지하면서 깊이 불연속 지점 및 밝기가 균일한 영역에서의 오정합을 줄여, 프레임 간 깊이 연속성을 유지할 수 있는 효과가 있다.
즉, 본 발명은 스테레오 및 다시점 비디오로부터 장면 또는 객체에 대한 3차원 정보(depth)를 추출하는 종래의 기법들이 가지는 단점인 프레임 간 연속성(consistency)을 유지하고, 깊이 불연속 지점 및 밝기가 균일한 영역에서의 오정합을 줄임으로써, 3차원 깊이 또는 변이 정보의 정확도를 개선할 수 있는 효과가 있다.
또한, 본 발명은 상기와 같이 깊이 또는 변이 정보의 정확도를 개선함으로써, 종래 기술의 시각적 컬러 오류를 줄일 수 있는 효과가 있다.
또한, 본 발명은 상기와 같이 정확도가 개선된 깊이 정보를 3차원 모델링 또는 임의 시점 영상 생성에 이용할 수 있으며, 특히 임의 시점 영상 생성 시에 영상의 깨짐 현상을 줄일 수 있는 효과가 있다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기 술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 프레임 간의 깊이 연속성 유지를 위한 스테레오 및 다시점 비디오 깊이 추정 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 프레임 간의 깊이 연속성 유지를 위한 스테레오 및 다시점 비디오 깊이 추정 장치(이하, '스테레오 및 다시점 비디오 깊이 추정 장치'라 함)(10)는, 영상 입력 및 저장부(11), 카메라 보정부(12), 객체 및 배경 분류부(13), 깊이 탐색 범위 설정부(14), 영상 및 화소 선택부(15), 유사 함수 계산 및 초기 깊이 선택부(16), 깊이 후처리부(17), 최종 깊이 선택부(18), 및 디지털 영상 기록부(19)를 포함한다.
여기서, 영상 입력 및 저장부(11)는 두 대 이상의 비디오 카메라(스테레오 및 다시점 카메라)로부터 동일시간에 촬영된 영상들(스테레오 및 다시점 영상)을 입력받아 이들의 동기를 맞추어 프레임별로 저장한다.
그리고 카메라 보정부(12)는 영상 입력 및 저장부(11)를 통해 입력된 스테레오 및 다시점 영상을 이용하여 카메라 보정(calibaration)을 통해 초점 거리 등의 카메라 정보 및 각 시점 간의 상호 위치 관계를 나타내는 기반 행렬(Fundamental Matrix)을 계산한다. 이때, 카메라 보정부(12)는 상기 계산된 카메라 정보 및 기반 행렬 데이터를 내장 또는 외장된 데이터 저장 장치(도면에 도시되지 않음) 또는 내장 또는 외장된 컴퓨터 메모리 상에 저장한다.
그리고 객체 및 배경 분류부(13)는 상기 카메라 보정부(12)에 의해 계산된 카메라 정보 및 기반 행렬을 바탕으로 영상 입력 및 저장부(11)에 저장된 스테레오 및 다시점 영상(배경에 대한 컬러 영상들 및 동적 객체가 포함된 장면 영상들)을 각각의 카메라 시점 영상과 프레임마다 정적 배경 영역(static background area)과 동적 객체 영역(moving object area)으로 분류한다.
이때, 객체 및 배경 분류부(13)는 여러 가지의 분류 방법을 사용하여 스테레오 및 다시점 영상(배경 영상과 장면 영상)을 정적 배경 영역과 동적 객체 영역으로 분류할 수 있다.
일예로, 객체 및 배경 분류부(13)는 객체 및 배경으로 분류하고자 하는 장면 영상이 첫 번째 프레임일 경우, 하기의 [수학식 1]과 같이 상기 배경 영상과 현재의 장면 영상 간의 컬러 차이를 계산하여 계산된 컬러 차이가 미리 정의된 제1 임계치(Th1)보다 같거나 크면 해당 화소를 동적 객체 영역으로 분류한다. 그리고, 객체 및 배경 분류부(13)는 하기의 [수학식 2]와 같이 객체 및 배경으로 분류하고자 하는 장면 영상이 두 번째 이상의 프레임이며 이전 프레임에 대한 객체 및 배경 분류 결과가 존재하는 경우, 이전 프레임에서 배경 영역으로 분류된 화소에 대해서는 이전 프레임과 현재 프레임 간 화소의 컬러 차이를 계산하여 계산된 컬러 차이가 미리 정의된 제2 임계치(Th2)보다 작으면 배경 영역으로 분류한다. 이때, 이전 프 레임과 현재 프레임 간 화소의 컬러 차이가 미리 정의된 제2 임계치(Th2)보다 겉거나 크면, 상기 배경 영상과 현재의 장면 영상 간의 컬러 차이를 계산하여 미리 정의된 제1 임계치(Th1)보다 같거나 클 경우 하기의 [수학식 3]과 같이 해당 화소를 동적 객체 영역으로 분류한다. 또한, 객체 및 배경 분류부(13)는 객체 및 배경으로 분류하고자 하는 장면 영상이 두 번째 이상의 프레임이며 이전 프레임에 대한 객체 및 배경 분류 결과가 존재하는 경우, 이전 프레임에서 동적 객체 영역으로 분류된 화소에 대해서는 장면 영상의 이전 프레임과 현재 프레임 간 화소의 컬러 차이를 계산하여 계산된 컬러 차이가 미리 정의된 제3 임계치(Th3)보다 같거나 크고 배경 영상과의 컬러 차이가 미리 정의된 제1 임계치(Th1)보다 작으면 하기의 [수학식 4]와 같이 해당 화소를 이전 프레임에서 객체로 분류되었더라도 새로 나타난 배경 영역으로 분류한다.
Figure 112007068253757-pat00001
여기서, color_scn(x,1)은 장면 영상 첫 번째 프레임 내 화소 x의 컬러를 나타내고, color_bg(x)는 배경 영상 내 화소 x의 컬러를 나타내며, Th1은 제1 임계치를 나타낸다.
Figure 112007068253757-pat00002
여기서, frame_color_diff(t,t-1)는 장면 영상의 현재 프레임과 이전 프레임 간 현재 화소 x 위치에서의 컬러 차이를 나타내고, color_scn(x,t) 및 color_scn(x,t-1)은 각각 현재 시간 t와 이전시간 t-1에서의 장면 영상 내 화소 x의 컬러를 나타낸다. 또한, Th2는 제2 임계치를 나타낸다.
Figure 112007068253757-pat00003
여기서, frame_color_diff(t,t-1)는 장면 영상의 현재 프레임과 이전 프레임 간 현재 화소 x 위치에서의 컬러 차이를 나타내고, color_scn(x,t) 및 color_scn(x,t-1)은 각각 현재 시간 t와 이전시간 t-1에서의 장면 영상 내 화소 x의 컬러를 나타낸다. 또한, scn_bg_color_diff(x, t)는 화소 x 위치에서의 배경 영상과 시간 t에서의 장면 영상 간의 컬러 차이를 나타낸다. 그리고, Th1은 제1 임계치를 나타내고, Th2는 제2 임계치를 나타낸다.
Figure 112007068253757-pat00004
여기서, frame_color_diff(t,t-1)는 장면 영상의 현재 프레임과 이전 프레임 간 현재 화소 x 위치에서의 컬러 차이를 나타내고, color_scn(x,t) 및 color_scn(x,t-1)은 각각 현재 시간 t와 이전시간 t-1에서의 장면 영상 내 화소 x의 컬러를 나타낸다. 또한, scn_bg_color_diff(x, t)는 화소 x 위치에서의 배경 영 상과 시간 t에서의 장면 영상 간의 컬러 차이를 나타낸다. 그리고, Th1은 제1 임계치를 나타내고, Th3은 제3 임계치를 나타낸다.
이때, 객체 및 배경 분류부(13)는 잡음에 의한 영향을 줄이기 위해 수학적 형태 연산자(Morphological Operator)인 확장(Dilation) 및 축소(Erosion) 필터링을 사용할 수 있다.
그리고 깊이 탐색 범위 설정부(14)는 객체 및 배경 분류부(13)에 의해 분류된 동적 객체 영역 및 정적 배경 영역의 분류 정보와 미리 정의된 객체 및 배경 영역의 최대 및 최소 깊이 범위를 이용하여, 각 화소별로 깊이 추정을 위한 깊이 탐색 범위를 설정한다.
여기서, 깊이 탐색 범위 설정부(14)는 깊이를 추정하고자 하는 영상의 종류에 따라 각각 상이한 방식을 이용하여 깊이 탐색 범위를 설정할 수 있는데, 이를 예로 들어 설명하면 다음과 같다.
본 실시예에서는 배경 영상이 사전에 취득가능하고, 배경 영상에 대한 깊이 정보를 미리 추정한다고 가정한다.
먼저, 깊이 탐색 범위 설정부(14)는 배경의 바닥이 보이지 않는 배경 영상(즉, 동적 객체로 인하여 배경의 바닥이 가려지는 또는 안보이는 배경 영상)에 대해서는 하기의 [수학식 5]와 같이, 미리 정의된 배경 영역의 최대 및 최소 깊이 범위에 따라 배경 영상 화소에 대한 깊이 탐색 범위를 설정한다.
Figure 112007068253757-pat00005
여기서, depth_min_bg는 배경 영상의 최소 깊이를 나타내고, depth_max_bg는 배경 영상의 최대 깊이를 나타내며, depth_search.bg는 배경 영상 화소 x에 대한 깊이를 나타낸다.
또한, 깊이 탐색 범위 설정부(14)는 장면 영상의 각 프레임에 대해서는 객체 및 배경 분류부(13)로부터 얻어진 장면 영상 각 프레임별 객체/배경 분류 정보에 따라 깊이 정보를 구하고자 하는 장면 영상 각 프레임의 화소가 배경 영역에 속하면, 미리 구해진 상기의 배경 영상의 깊이 정보추정 단계로부터 구해질 수 있을 것이므로, 장면 영상에 대한 깊이 정보 추정 단계에서는 깊이 추정 탐색 범위를 별도 설정하지 않으며, 하기의 [수학식 6]과 같이 배경 영상의 깊이 정보 추정에서 얻어진 해당 화소의 깊이 정보를 가져와서 깊이 정보 저장 장소에 넣는다.
Figure 112007068253757-pat00006
여기서, depth_scn(x,t)는 시간 t에서 장면 영상 내 화소 x의 깊이 정보를 나타내며, depth _bg(x)는 배경 영상 내 화소 x의 깊이 정보를 나타낸다.
한편, 만약 장면 영상이 첫 번째 프레임이고, 장면 영상 내 화소 x가 동적 객체 영역에 속하면, 하기의 [수학식 7]와 같이 동적 객체 화소에 대한 깊이 탐색 범위를 설정한다.
Figure 112007068253757-pat00007
여기서, depth_min_fg는 객체 위치의 최소 깊이를 나타내고, depth_max_fg는 객체 위치의 최대 깊이를 나타내며, depth_search.obj는 장면 영상 내 동적 객체 영역에 속하는 화소 x에 대한 깊이 탐색 범위를 나타낸다. 또한, x는 장면 영상 내 화소를 나타낸다.
이때, 동적 객체의 움직이는 범위가 배경 영역에 비해 가까운 깊이 범위 내에서 움직인다면, 전체 장면 영상의 깊이 범위 중 배경 영역이 속하는 깊이 범위보 다 가까운 깊이 범위 내에서만 깊이 탐색을 하면 된다. 그러나, 만약 바닥이 포함된 배경으로 말미암아 배경 영상의 깊이 범위가 객체가 움직이는 깊이 범위를 포함하거나 배경 깊이 범위와 동적 객체의 움직이는 깊이 범위가 겹치는 경우, 깊이 탐색 범위 설정부(14)는 배경 영역의 깊이 범위를 포함하거나 겹치게 잡을 수 있으며, 장면에 따라 적절하게 깊이 탐색 범위를 설정한다.
한편, 장면 영상이 두번째 프레임 이상이고, 이전 프레임에서 화소 x에 대한 깊이 정보가 구해져 있으며, 장면 영상 내 화소 x가 이전 프레임 및 현재 프레임에서 모두 객체 영역으로 분류된경우, 현재 프레임의 화소 x의 깊이 정보 탐색을 위한 탐색 범위는 하기의 [수학식 8]과 같이 설정한다.
Figure 112007068253757-pat00008
여기서, depth_scn(x,t-1)은 이전 시간 t-1에서 추정된 장면 영상 내 화소 x의 깊이 값을 나타내고, error_rate는 깊이 정보의 신뢰도에 따라 결정되는 변수를 나타낸다. 또한, depth_scn(x,t)는 현재 시간 t에서의 장면 영상 내 화소 x의 깊이 를 나타낸다.
Figure 112007068253757-pat00009
를 일예로 들어 설명하면, 만약 이전 프레임에서의 깊이 추정을 통해 계산된 깊이 정보의 신뢰도가 80%라고 하면
Figure 112007068253757-pat00010
는 0.2의 값을 가지게 된다.
그리고 영상 및 화소 선택부(15)는 상기 깊이 탐색 범위 설정부(14)에 의해 설정된 각 화소에 대한 깊이 탐색 범위에서 유사 함수 계산에 사용될 대상 영상(카메라 시점 영상)과 화소를 선택한다.
여기서, 영상 및 화소 선택부(15)는 각 카메라 시점의 영상을 각 카메라 정보를 이용하여 투영하였을 시에 투영된 화소가 기준 영상 영역의 범위를 벗어나면 해당 화소를 유사 함수 계산의 대상에서 제외시킴으로써, 유사 함수 계산에 사용될 카메라 시점의 영상을 선택한다.
또한, 영상 및 화소 선택부(15)는 미리 정의된 창틀 크기 내에서 깊이를 구하고자 하는 화소가 객체 영역에 속하는 화소일 경우에는 기준 영상과 대상 영상에서 객체 영역으로 분류된 화소들만을 유사 함수 계산에 사용될 화소로 선택하는데, 이때 기준 영상과 대상 영상 간에 객체 영역에 속하는 화소의 수가 다르면 개수가 적은 화소수 및 위치만을 저장한다.
여기서, 미리 정의된 창틀 크기 내에서 깊이를 구하고자 하는 화소가 배경 영역에 속하는 화소일 경우, 영상 및 화소 선택부(15)는 배경 영역으로 분류된 화소들만 유사 함수 계산에 사용될 화소로 선택한다. 이때, 영상 및 화소 선택부(15) 는 유사 함수 계산에 사용될 화소의 개수를 저장한다.
그리고 유사 함수 계산 및 초기 깊이 선택부(16)는 깊이 탐색 범위 설정부(14)에 의해 설정된 각 화소에 대한 깊이 탐색 범위 및 영상 및 화소 선택부(15)에 의해 선택된 카메라 시점의 영상 및 정합 창틀 내의 화소들을 이용하여 유사 함수를 계산하고, 상기 계산된 유사 함수의 값이 미리 정의된 임계치보다 높고, 컬러 유사도가 가장 높은 깊이를 해당 화소의 깊이로 선택한다.
그리고 깊이 후처리부(17)는 차폐 영역으로 인한 오정합 화소를 줄이기 위해 상기 유사 함수 계산 및 초기 깊이 선택부(16)의 유사 함수 계산에 이용된 각 화소의 컬러 값의 차이에 대한 평균과 그의 표준 편차를 구하여 평균에서 가장 멀리 떨어진 컬러(즉, 평균값으로부터 편차가 가장 큰 컬러)를 유사 함수 계산의 대상에서 제외시켜 유사 함수를 다시 계산한다. 여기서, 깊이 후처리부(17)는 각 유사 함수 재계산 과정을 표준 편차가 미리 정해진 제4 임계치(Th4)보다 작아지거나, 또는 표준 편차가 변화가 없거나, 또는 최대 반복 횟수에 도달할 때까지 반복하게 된다.
그리고 최종 깊이 선택부(18)는 각 화소별로 깊이 후처리부(17)에 의해 계산된 유사 함수의 유사도가 가장 높은 깊이를 해당 화소의 깊이로 최종적으로 선택한다.
그리고 디지털 영상 기록부(19)는 상기 최종 깊이 선택부(18)에 의해 선택된 각 화소별 최종 깊이를 디지털 영상으로 기록한다.
여기서, 상기와 같은 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 깊이 지도를 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델로 변환하는 수단을 더 포함하여 상기 기록된 디지털 영상에 해당 기능을 추가로 수행할 수 있다.
도 2 는 본 발명에 따른 프레임 간의 깊이 연속성 유지를 위한 스테레오 및 다시점 비디오 깊이 추정 방법의 일실시예 흐름도이다.
먼저, 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 두 대 이상의 비디오 카메라(스테레오 및 다시점 카메라)로부터 동일시간에 촬영된 영상들(스테레오 및 다시점 영상)을 입력받아 저장한다(201).
이후, 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 상기 입력된 스테레오 및 다시점 영상을 이용하여 카메라 보정(calibaration)을 통해 초점 거리 등의 카메라 정보 및 각 시점 간의 상호 위치 관계를 나타내는 기반 행렬(Fundamental Matrix)을 계산한다(202).
그리고 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 상기 "201" 과정에서 저장된 스테레오 및 다시점 영상(배경에 대한 컬러 영상들 및 동적 객체가 포함된 장면 영상들)을 각각의 카메라 시점 영상과 프레임마다 정적 배경 영역과 동적 객체 영역으로 분류한다(203).
이후, 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 상기 분류된 동적 객체 영역 및 정적 배경 영역의 분류 정보와 미리 정의된 객체 및 배경 영역의 최대 및 최소 깊이 범위를 이용하여, 각 화소별로 깊이 추정을 위한 깊이 탐색 범위를 설정한다(204).
이어서, 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 상기 설정된 각 화소에 대한 깊이 탐색 범위에서 유사 함수 계산에 사용될 대상 영상(카메라 시점 영상)과 화소를 선택한다(205).
그리고 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 상기 "204" 과정에서 설정된 각 화소에 대한 깊이 탐색 범위 및 상기 "205" 과정에서 선택된 카메라 시점의 영상 및 정합 창틀 내의 화소들을 이용하여 유사 함수를 계산한다(206).
이후, 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 상기 계산된 유사 함수의 값이 미리 정의된 임계치보다 높고 컬러 유사도가 가장 높은 깊이를 해당 화소의 깊이로 선택한다(207).
이어서, 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 상기 "206" 과정에서 유사 함수 계산에 이용된 각 시점의 컬러 값 차이에 대한 평균과 그의 표준 편차를 구하여 평균에서 가장 멀리 떨어진 컬러를 유사 함수 계산의 대상에서 제외시켜 유사 함수를 다시 계산한다(208).
이때, 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 상기 "208" 과정을 각 시점의 컬러 값 차이에 대한 표준 편차가 미리 정해진 제4 임계치(Th4)보다 작아지거나, 또는 표준 편차가 변화가 없거나, 또는 최대 반복 횟수에 도달할 때까지 반복한다(209).
다음으로, 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 각 화소별로 상기 "208" 과정에서 다시 계산된 유사 함수의 유사도가 가장 높은 깊이를 해당 화소의 깊이로 최종적으로 선택한다(210).
이후, 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 상기 선택된 각 화 소의 최종 깊이를 디지털 영상으로 기록한다(211).
여기서, 스테레오 및 다시점 비디오 깊이 추정 장치(10)는 상기 "211" 과정에서 기록된 디지털 영상을 3차원 공간 상의 점 구름(point cloud) 또는 3차원 모델로 변환할 수 있다.
상기와 같은 본 발명에 따르면, 장면 영상을 정적 배경과 동적 객체 영역으로 분류하여 이에 따라 적응적으로 깊이 탐색 범위를 설정하고, 유사 함수 계산에 있어서 별도로 처리함으로써 컬러 유사 영역에서의 오정합 및 프레임 간 깊이 일관성을 유지하며, 다시점 영상의 3차원 투영 결과에 따라 깊이 추정 시 고려하는 입력 영상의 개수를 조정하여 차폐 영역에 의한 오정합을 줄임으로써 보다 정확한 깊이 정보 추정을 가능하게 한다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 다시점 영상 기반 장면 모델링 시스템, 다시점 비디오 생성 시스템, 및 3차원 방송 시스템 등에 이용될 수 있다.
도 1 은 본 발명에 따른 프레임 간의 깊이 연속성 유지를 위한 스테레오 및 다시점 비디오 깊이 추정 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 프레임 간의 깊이 연속성 유지를 위한 스테레오 및 다시점 비디오 깊이 추정 방법의 일실시예 흐름도이다.
* 도면의 주요 부분에 대한 부호 설명
10 : 스테레오 및 다시점 비디오 깊이 추정 장치
11 : 영상 입력 및 저장부 12 : 카메라 보정부
13 : 객체 및 배경 분류부 14 : 깊이 탐색 범위 설정부
15 : 영상 및 화소 선택부
16 : 유사 함수 계산 및 초기 깊이 선택부
17 : 깊이 후처리부 18 : 최종 깊이 선택부
19 : 디지털 영상 기록부

Claims (25)

  1. 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치에 있어서,
    동일시간에 촬영된 두 개 이상의 영상을 입력받아 프레임별로 저장하기 위한 입력 처리 수단;
    상기 입력 처리 수단을 통해 각 입력된 영상에 대해 카메라의 내부 정보 및 각 시점간의 상호 위치 관계를 계산하기 위한 카메라 보정 수단;
    상기 카메라 보정 수단의 카메라 보정 결과와 상기 입력 처리 수단에 저장된 영상에서 동일 지점의 프레임간 화소의 컬러 차이를 계산하여 동적 객체 영역과 정적 배경 영역으로 분류하고, 상기 분류된 영역의 각 화소별 깊이 추정을 위해 미리 정의된 상기 동적 객체 영역 및 상기 정적 배경 영역 각각의 최대 최소 깊이 범위 값들을 이용하여 상기 입력된 영상의 깊이 탐색 범위를 설정하기 위한 범위 설정 수단;
    상기 범위 설정 수단에 의해 설정된 각각의 깊이 탐색 범위를 갖는 객체 또는 배경 영역 내 각 화소들에 대하여 미리 결정된 크기를 갖는 창틀을 깊이 단위(또는 화소 단위)로 깊이 탐색 범위 내에서 이동해 가면서, 각 창틀 내의 각 화소들에 대하여 컬러 값의 유사도를 유사함수 계산을 통해 비교하고, 유사도가 기 정의된 임계치보다 높고 유사도가 가장 높은 깊이를 해당 화소의 깊이로 선택하기 위한 제1 깊이 선택 수단; 및
    상기 제1 깊이 선택 수단에서의 선택된 각 화소들간의 컬러 값에 대한 편차를 이용하여 편차가 가장 큰 화소를 유사 함수 계산 대상 화소에서 제외하여 축소 조정하고 상기 축소 조정된 창틀 내 각 화소들을 이용한 유사 함수의 유사도에 따라 상기 각 화소의 깊이로 선택하기 위한 제2 깊이 선택 수단
    을 포함하는 깊이 추정 장치.
  2. 제 1 항에 있어서,
    상기 제2 깊이 선택 수단에 의해 선택된 깊이를 디지털 영상으로 기록하기 위한 디지털 영상 기록 수단
    을 더 포함하는 깊이 추정 장치.
  3. 제 2 항에 있어서,
    상기 디지털 영상 기록 수단에 의해 기록된 디지털 영상을 3차원 모델로 변환하기 위한 3차원 모델 변환 수단
    을 더 포함하는 깊이 추정 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 범위 설정 수단은,
    상기 입력 처리 수단에 저장된 입력 영상(이하, '장면 영상'이라 함)을 상기 정적 배경 영역과 상기 동적 객체 영역으로 분류하기 위한 객체 및 배경 분류 수단; 및
    상기 객체 및 배경 분류 수단에 의해 분류된 상기 정적 배경 영역과 상기 동적 객체 영역의 각 화소별로 깊이를 추정하기 위해 상기 미리 정의된 상기 객체 영역 및 상기 배경 영역의 최대 및 최소 깊이의 탐색 범위를 설정하기 위한 깊이 탐색 범위 설정 수단
    을 포함하는 깊이 추정 장치.
  5. 제 4 항에 있어서,
    상기 객체 및 배경 분류 수단은,
    상기 장면 영상이 첫 번째 프레임일 경우, 상기 장면 영상의 첫 번째 프레임과 해당 장면의 배경 영상 간 동일 지점 화소의 컬러 차이가 기정의된 제1 임계치보다 같거나 크면 해당 화소를 동적 객체 영역으로 분류하는 것을 특징으로 하는 깊이 추정 장치.
  6. 제 5 항에 있어서,
    상기 객체 및 배경 분류 수단은,
    상기 장면 영상이 두 번째 이상의 프레임이고 상기 장면 영상이 t 시점의 프레임이고, t-1 시점의 프레임에 대한 상기 객체 및 상기 배경 분류 결과가 존재하는 경우, 상기 장면 영상의 t-1 시점의 프레임에서 정적 배경 영역으로 분류된 화소에 대해서, 상기 장면 영상의 t-1 시점의 프레임과 t 시점의 프레임 간 동일 지점 화소의 컬러 차이가 기정의된 제2 임계치보다 작으면 해당 화소를 정적 배경 영역으로 분류하는 것을 특징으로 하는 깊이 추정 장치.
  7. 제 6 항에 있어서,
    상기 객체 및 배경 분류 수단은,
    상기 장면 영상이 두 번째 이상의 프레임이고 상기 장면 영상이 t 시점의 프레임이고, t-1 시점의 프레임에 대한 객체 및 배경 분류 결과가 존재하는 경우, 상기 장면 영상의 t-1 시점의 프레임과 t 시점의 프레임 간 동일 지점 화소의 컬러 차이가 상기 제2 임계치보다 같거나 크고, 해당 장면에 대한 배경 영상과 상기 장면 영상의 t 시점의 프레임 간 동일 지점 화소의 컬러 차이가 상기 제1 임계치보다 같거나 크면 해당 화소를 동적 객체 영역으로 분류하는 것을 특징으로 하는 깊이 추정 장치.
  8. 제 7 항에 있어서,
    상기 객체 및 배경 분류 수단은,
    상기 장면 영상이 두 번째 이상의 프레임이고 상기 장면 영상이 t 시점의 프레임이고, t-1 시점의 프레임에 대한 객체 및 배경 분류 결과가 존재하는 경우, 상기 장면 영상의 t-1 시점의 프레임에서 동적 객체 영역으로 분류된 화소에 대해서는, 상기 장면 영상의 t-1 시점의 프레임과 t 시점의 프레임 간 동일 지점 화소의 컬러 차이가 기정의된 제3 임계치보다 같거나 크고, 해당 장면에 대한 배경 영상과 상기 장면 영상의 t 시점의 프레임 간 동일 지점 화소의 컬러 차이가 상기 제1 임계치보다 작으면 해당 화소를 정적 배경 영역으로 분류하는 것을 특징으로 하는 깊이 추정 장치.
  9. 제 8 항에 있어서,
    상기 객체 및 배경 분류 수단은,
    잡음에 의한 영향을 줄이기 위하여 확장 및 축소 필터링을 사용하는 것을 특징으로 하는 깊이 추정 장치.
  10. 제 4 항에 있어서,
    상기 깊이 탐색 범위 설정 수단은,
    상기 장면 영상 중 배경의 바닥을 제외한 배경 영역에 대해서, 기정의된 배경 영역의 최대 깊이보다 작고 기정의된 배경 영역의 최소 깊이보다 큰 범위를 배경 영상 화소에 대한 깊이 탐색 범위로 설정하는 것을 특징으로 하는 깊이 추정 장치.
  11. 제 4 항에 있어서,
    상기 깊이 탐색 범위 설정 수단은,
    상기 장면 영상의 첫 번째 프레임에서 동적 객체 영역으로 분류된 화소에 대해서, 전체 장면 영상의 깊이 탐색 범위 중 배경의 바닥을 제외한 배경 영역이 속하는 깊이 범위를 제외한 깊이 범위 내에서 객체 위치의 최대 깊이보다 작고 객체 위치의 최소 깊이보다 큰 범위를 동적 객체 화소에 대한 깊이 탐색 범위로 설정하는 것을 특징으로 하는 깊이 추정 장치.
  12. 제 4 항에 있어서,
    상기 깊이 탐색 범위 설정 수단은,
    상기 장면 영상의 각 프레임의 화소가 정적 배경 영역으로 분류된 화소에 대해서는, 상기 장면 영상의 현재 프레임의 화소 깊이를 해당 장면의 배경 영상 내 동일 위치 화소 깊이와 동일하게 설정하는 것을 특징으로 하는 깊이 추정 장치.
  13. 제 4 항에 있어서,
    상기 깊이 탐색 범위 설정 수단은,
    상기 장면 영상이 두 번째 프레임 이상이고 t 시점의 상기 장면 영상에 대하여 t-1 시점의 프레임에서의 깊이 추정 결과가 있으며 상기 장면 영상의 t-1 시점의 프레임 및 t 시점의 프레임에서 동적 객체 영역으로 분류된 화소의 경우, 상기 장면 영상의 t-1 시점의 프레임의 화소 깊이 값(이하, '이전 깊이 값'이라 함)과 깊이 정보의 신뢰도에 따라 결정되는 변수(이하, '신뢰 변수'라 함)와의 곱에 상기 t-1 시점의 깊이 값을 더한 값보다 작고, 상기 t-1 시점의 깊이 값에서 상기 신뢰 변수와 상기 t-1 시점의 깊이 값의 곱을 뺀 값보다 큰 값을 상기 장면 영상의 t 시점의 프레임의 화소 깊이 탐색 범위로 설정하는 것을 특징으로 하는 깊이 추정 장치.
  14. 제 4 항에 있어서,
    상기 제1 깊이 선택 수단은,
    상기 깊이 탐색 범위 설정 수단에 의해 설정된 각각의 깊이 탐색 범위를 갖는 객체 또는 배경 영역 내 각 화소들에 대하여 미리 결정된 크기를 갖는 창틀을 깊이 단위(또는 화소 단위)만큼 깊이 탐색 범위 내에서 이동하면서 미리 결정된 기준 영상 영역의 범위를 벗어난 화소들을 제외하여 유사 함수 계산에 사용될 대상 영상 및 화소를 선택하기 위한 영상 및 화소 선택 수단; 및
    상기 영상 및 화소 선택 수단에 의해 선택된 화소들에 대해 상기 창틀 단위로 상기 유사 함수를 계산하여, 상기 계산된 유사 함수의 값이 기정의된 임계치보다 높을 경우 컬러 값의 유사도가 가장 높은 깊이를 해당 화소의 초기 깊이로 선택하기 위한 초기 깊이 선택 수단
    을 포함하는 깊이 추정 장치.
  15. 제 14 항에 있어서,
    상기 영상 및 화소 선택 수단은,
    영상을 투영하였을 시에 투영된 화소가 상기 기준 영상 영역의 범위를 벗어나면 해당 화소를 유사 함수 계산의 대상에서 제외시키는 것을 특징으로 하는 깊이 추정 장치.
  16. 제 14 항에 있어서,
    상기 제2 깊이 선택 수단은,
    상기 초기 깊이 선택 수단에서의 창틀 단위로 유사 함수 계산에 이용된 각 창틀 단위의 화소들간 컬러 값의 차이에 대한 평균과 표준 편차를 구하여 편차가 가장 큰 컬러를 갖는 화소를 유사 함수 계산의 대상에서 제외시켜 유사 함수를 계산하기 위한 깊이 후처리 수단; 및
    상기 깊이 후처리 수단에 의해 계산된 유사 함수의 유사도가 미리 정한 임계치보다 높은 경우 가장 높은 깊이를 해당 화소의 깊이로 선택하기 위한 최종 깊이 선택 수단
    을 포함하는 깊이 추정 장치.
  17. 제 16 항에 있어서,
    상기 깊이 후처리 수단은,
    유사 함수의 표준 편차가 기정의된 제4 임계치보다 작아지거나, 상기 표준 편차가 변화가 없거나, 최대 반복 횟수에 도달할 때까지 유사 함수 계산을 반복하는 것을 특징으로 하는 깊이 추정 장치.
  18. 제 17 항에 있어서,
    상기 카메라 보정 수단은,
    상기 입력 처리 수단으로 동일시간에 촬영된 영상을 입력하는 각 카메라의 내부 정보 및 각 시점 간의 상호 위치 관계를 나타내는 기반 행렬을 계산하는 것을 특징으로 하는 깊이 추정 장치.
  19. 프레임 간 깊이 연속성 유지를 위한 깊이 추정 방법에 있어서,
    동일시간에 촬영된 두 개 이상의 영상을 입력받아 각 영상에 대한 카메라의 내부 정보 및 각 시점간의 상호 위치 관계를 계산하기 위한 카메라 보정을 수행하는 카메라 보정 단계;
    상기 카메라 보정 결과와 상기 입력된 영상에서 동일 지점의 화소간 컬러 차이를 계산하여 동적 객체 영역과 정적 배경 영역으로 분류하고, 상기 분류된 영역의 각 화소별 깊이 추정을 위해 미리 정의된 상기 객체 영역과 상기 배경 영역 각각의 최대 및 최소 깊이 범위를 이용하여 상기 입력된 영상의 깊이 탐색 범위를 설정하는 범위 설정 단계;
    상기 설정된 각각의 깊이 탐색 범위를 갖는 객체 또는 배경 영역 내 각 화소들에 대하여 객체 또는 배경 영역 내 각 화소들에 대하여 미리 결정된 크기를 갖는 창틀을 깊이 단위(또는 화소 단위)만큼 깊이 탐색 범위 내에서 이동하면서 창틀 내 컬러 값의 유사도를 비교하고, 미리 결정된 기준 영상 영역의 범위 내에 존재하는 화소들만을 선택하기 위한 제1 깊이 선택 단계; 및
    상기 선택된 각 화소들간의 컬러 값에 대한 편차를 이용하여 편차가 가장 큰 화소를 유사 함수 계산 대상 화소에서 제외하여 축소 조정하고 상기 창틀 내 각 화소들을 이용한 유사함수의 유사도에 따라 상기 각 화소의 깊이로 선택하기 위한 제2 깊이 선택 단계
    를 포함하는 깊이 추정 방법.
  20. 제 19 항에 있어서,
    상기 범위 설정 단계는,
    상기 입력 영상을 상기 정적 배경 영역과 상기 동적 객체 영역으로 분류하는 객체 및 배경 분류 단계; 및
    상기 분류된 상기 정적 배경 영역과 상기 동적 객체 영역의 각 화소별로 깊이를 추정하기 위해 상기 미리 정의된 상기 객체 영역 및 상기 배경 영역의 최대 및 최소 깊이의 탐색 범위를 설정하는 깊이 탐색 범위 설정 단계
    를 포함하는 깊이 추정 방법.
  21. 제 20 항에 있어서,
    상기 제1 깊이 선택 단계는,
    상기 설정된 각각의 깊이 탐색 범위를 갖는 객체 또는 배경 영역 내 각 화소들에 대하여 미리 결정된 크기를 갖는 창틀을 깊이 단위(또는 화소 단위)로 깊이 탐색 범위 내에서 이동해가면서, 상기 기준 영상 영역의 범위를 벗어난 화소들을 제외하여 유사 함수 계산에 사용될 대상 영상 및 화소를 선택하는 영상 및 화소 선택 단계; 및
    상기 선택된 화소들에 대해 상기 창틀 단위로 상기 유사 함수를 계산하여, 상기 계산된 유사 함수의 값이 기정의된 임계치보다 높을 경우 컬러 값의 유사도가 가장 높은 깊이를 해당 화소의 초기 깊이로 선택하는 초기 깊이 선택 단계
    를 포함하는 깊이 추정 방법.
  22. 제 21 항에 있어서,
    상기 제2 깊이 선택 단계는,
    상기 초기 깊이 선택 단계에서의 상기 창틀 단위로 상기 유사 함수 계산에 이용된 각 창틀 단위의 화소들간 컬러 값의 차이에 대한 평균과 표준 편차를 구하여 편차가 가장 큰 컬러를 갖는 화소를 유사 함수 계산의 대상에서 제외시켜 유사 함수를 계산하는 깊이 후처리 단계; 및
    상기 깊이 후처리 단계에서 계산된 유사 함수의 유사도가 미리 정한 임계치보다 높고 가장 높은 깊이를 해당 화소의 깊이로 선택하는 최종 깊이 선택 단계
    를 포함하는 깊이 추정 방법.
  23. 제 22 항에 있어서,
    상기 선택된 최종 깊이를 디지털 영상으로 기록하는 디지털 영상 기록 단계
    를 더 포함하는 깊이 추정 방법.
  24. 제 23 항에 있어서,
    상기 디지털 영상의 기록 시 상기 디지털 영상에 상기 최종 깊이를 이용하여 3차원 모델로 변환하는 3차원 모델 변환 단계
    를 더 포함하는 깊이 추정 방법.
  25. 제 24 항에 있어서,
    상기 깊이 후처리 단계는,
    상기 유사 함수의 표준 편차가 기정의된 제4 임계치보다 작아지거나, 상기 표준 편차가 변화가 없거나, 최대 반복 횟수에 도달할 때까지 유사 함수 계산을 반복하는 것을 특징으로 하는 깊이 추정 방법.
KR1020070095769A 2006-12-04 2007-09-20 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법 KR100931311B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060121370 2006-12-04
KR20060121370 2006-12-04

Publications (2)

Publication Number Publication Date
KR20080051015A KR20080051015A (ko) 2008-06-10
KR100931311B1 true KR100931311B1 (ko) 2009-12-11

Family

ID=39806161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070095769A KR100931311B1 (ko) 2006-12-04 2007-09-20 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법

Country Status (1)

Country Link
KR (1) KR100931311B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101505360B1 (ko) 2014-01-22 2015-03-30 경북대학교 산학협력단 시차 탐색 범위 추정 장치 및 방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066550B1 (ko) * 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
KR100942925B1 (ko) * 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
KR101506926B1 (ko) 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
US8588515B2 (en) 2009-01-28 2013-11-19 Electronics And Telecommunications Research Institute Method and apparatus for improving quality of depth image
US9699434B2 (en) 2009-10-07 2017-07-04 Samsung Electronics Co., Ltd. Apparatus and method for adjusting depth
KR101699920B1 (ko) 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
KR101626057B1 (ko) 2009-11-19 2016-05-31 삼성전자주식회사 3뷰 영상의 디스패리티 추정 방법 및 장치
KR101665567B1 (ko) * 2010-05-20 2016-10-12 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
KR101682137B1 (ko) 2010-10-25 2016-12-05 삼성전자주식회사 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
KR101642964B1 (ko) 2010-11-03 2016-07-27 삼성전자주식회사 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치
KR20120072165A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 3ｄ 입체감 적응 장치 및 방법
KR101788032B1 (ko) 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
KR102245648B1 (ko) * 2012-09-10 2021-04-29 에이매스, 아이엔씨. 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐
KR101901184B1 (ko) 2012-09-20 2018-09-21 삼성전자주식회사 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
US10257506B2 (en) 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
EP3016076A1 (en) 2014-10-31 2016-05-04 Thomson Licensing Method and apparatus for removing outliers from a main view of a scene during 3D scene reconstruction
CN113243015B (zh) * 2018-12-19 2024-03-26 浙江大华技术股份有限公司 视频监控系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050066400A (ko) * 2003-12-26 2005-06-30 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
KR20060063558A (ko) * 2004-12-06 2006-06-12 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050066400A (ko) * 2003-12-26 2005-06-30 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
KR20060063558A (ko) * 2004-12-06 2006-06-12 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101505360B1 (ko) 2014-01-22 2015-03-30 경북대학교 산학협력단 시차 탐색 범위 추정 장치 및 방법

Also Published As

Publication number Publication date
KR20080051015A (ko) 2008-06-10

Similar Documents

Publication Publication Date Title
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
US10789765B2 (en) Three-dimensional reconstruction method
CN111050210B (zh) 执行操作的方法、视频处理系统及非瞬态计算机可读介质
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
US8422766B2 (en) System and method for depth extraction of images with motion compensation
US9659382B2 (en) System and method for depth extraction of images with forward and backward depth prediction
KR101518531B1 (ko) 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법
KR100748719B1 (ko) 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
JP6030617B2 (ja) 画像処理装置および画像処理方法
KR101370718B1 (ko) 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치
KR20140108828A (ko) 카메라 트래킹 장치 및 방법
US9661307B1 (en) Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
KR100926520B1 (ko) 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
KR100987412B1 (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
JP2007053621A (ja) 画像生成装置
Kim et al. Photorealistic interactive virtual environment generation using multiview cameras
Chiu et al. Voting-based depth map refinement and propagation for 2D to 3D conversion
KR101717381B1 (ko) 스테레오 카메라 기반의 주행 가능 영역 추정 장치 및 방법과 이에 관한 기록매체
Liu Improving forward mapping and disocclusion inpainting algorithms for depth-image-based rendering and geomatics applications
Ly et al. Mobile Scene Flow Synthesis
Yang et al. Exploiting spatial-temporal coherence in the construction of multiple perspective videos

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee