KR100953076B1 - 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 - Google Patents

객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 Download PDF

Info

Publication number
KR100953076B1
KR100953076B1 KR1020070129684A KR20070129684A KR100953076B1 KR 100953076 B1 KR100953076 B1 KR 100953076B1 KR 1020070129684 A KR1020070129684 A KR 1020070129684A KR 20070129684 A KR20070129684 A KR 20070129684A KR 100953076 B1 KR100953076 B1 KR 100953076B1
Authority
KR
South Korea
Prior art keywords
image
depth information
background
view
region
Prior art date
Application number
KR1020070129684A
Other languages
English (en)
Other versions
KR20090062440A (ko
Inventor
엄기문
김태원
장은영
안일구
허남호
김진웅
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070129684A priority Critical patent/KR100953076B1/ko
Publication of KR20090062440A publication Critical patent/KR20090062440A/ko
Application granted granted Critical
Publication of KR100953076B1 publication Critical patent/KR100953076B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Abstract

객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치가 개시된다. 객체 또는 배경 분리를 이용한 다시점 정합 방법은 다시점 카메라로부터 수신한 다시점 영상 및 깊이 카메라로부터 수신한 기준 시점 영상의 깊이 정보를 저장하는 단계 -상기 기준 시점은 상기 다시점 중 선택된 것임 - 상기 기준 시점 영상 및 상기 깊이 정보를 이용하여 상기 기준 시점 영상의 객체 영역 또는 배경 영역 분리를 수행하는 단계, 상기 객체 또는 배경 영역의 분리 수행 결과에 따라 상기 기준 시점 영상의 최종 깊이 정보를 결정하는 단계, 상기 기준 시점 영상의 최종 깊이 정보를 이용하여 상기 다시점 중 기준 시점 이외의 시점 영상의 최종 깊이 정보를 결정하는 단계 및 상기 다시점 영상 각각의 최종 깊이 정보를 디지털 영상으로 기록하는 단계를 포함한다.
스테레오 정합, 다시점 정합, 객체 또는 배경 분리, 깊이 정보

Description

객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치{MULTI-VIEW MATCHING METHOD AND DEVICE USING FOREGROUND/BACKGROUND SEPARATION}
본 발명은 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치에 관한 것으로 특히, 객체 또는 배경의 분리를 통하여 각각의 깊이를 추정하고, 객체 또는 배경 분리 시에 컬러 정보와 함께 깊이 정보를 이용하는 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT 성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술개발].
두 대 이상의 카메라로부터 얻은 정확한 변이 및 깊이 정보를 얻기 위한 양안 또는 다시점 스테레오 깊이 추정 방법은 오랫동안 컴퓨터 비전 분야에서 연구 대상이 되어 왔으며, 아직까지도 많은 연구가 이루어지고 있다.
스테레오 정합 또는 변이 추정은 두 대 또는 그 이상의 카메라로부터 취득된 영상 중 하나를 기준 영상으로 결정하고, 다른 영상들을 탐색 영상으로 결정하였을 때, 3차원 공간상의 한 점이 기준 영상 및 탐색 영상들에 투영되고, 각 영상에 투 영된 화소의 영상 내 위치를 각각 구하고, 비교하는 과정을 의미하는 것이다. 이때 각각의 영상에 투영된 대응점들 간의 영상 좌표 차이를 변이(disparity)라고 한다. 또한, 변이 지도는 이러한 변이를 기준 영상 각 화소에 대하여 계산하고, 영상의 형태로 저장한 것을 의미한다. 또한, 다시점 스테레오 정합은 세 대 이상의 카메라를 이용하여 상기 과정들을 수행하는 것을 의미한다.
최근들어 양안 또는 다시점 스테레오 깊이 추정 방법의 하나로, 영상 내에서 변이를 탐색하지 않고, 3차원 공간상의 특정 깊이 탐색 범위 내에서 카메라 정보를 이용하여 구하고자 하는 기준 시점의 위치에 각 카메라 시점의 영상을 직접 재투영하여 기준 시점의 영상과 다른 여러 시점 영상과의 컬러 차이를 비교하고, 가장 유사도가 높은 깊이를 해당 화소의 깊이로 추정하는 기법(예를 들어, Plane Sweep 또는 Range Space 기법)이 많이 연구되고 있다.
또한, 기존의 화소 단위 유사도 함수 계산에 의한 정합의 문제점을 해결하기 위하여 화소 대신, 컬러 영상을 컬러가 유사한 여러 개의 영역(segment)으로 나누고, 이 영역기반으로 스테레오 정합을 수행하는 방법이 연구되고 있다. 다만, 이러한 영역기반 정합 수행 방법은 영역 내에 깊이가 연속적으로 변화하고, 영역 간 깊이 차이가 크다는 가정하에 수행되어, 일반적으로 컬러가 유사한 영역 내에서도 깊이 변화가 컬러 변화보다 크게 나타날 수 있으므로 실제 깊이 불연속 지점과 컬러 불연속 지점이 일치하지 않는 정합 오류를 가질 수 있다.
또한, 이러한 영역기반 정합 수행 방법은 깊이 불연속 지점이 가장 많이 나타나는 객체와 배경 간의 경계에서도 영상 분할시 경계가 불명확해질 수 있는 문제 점을 가지고 있다. 따라서 깊이 불연속 지점, 특히 객체와 배경 간의 경계를 잘 표현할 수 있는 스테레오/다시점 정합 방안이 요구된다.
본 발명은 입력 영상에서 객체 또는 배경 분리를 통하여 개별적으로 객체 및 배경의 깊이를 추정함으로써, 객체 또는 배경 경계에서의 오정합을 줄이는 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치를 제공한다.
본 발명은 객체 또는 배경 분리 시에 컬러 정보와 함께 깊이 정보를 이용함으로써, 깊이 불연속 경계 검출 성능이 개선된 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 객체 또는 배경 분리를 이용한 다시점 정합 방법은 다시점 카메라로부터 수신한 다시점 영상 및 깊이 카메라로부터 수신한 기준 시점 영상의 깊이 정보를 저장하는 단계 - 상기 기준 시점은 상기 다시점 중 선택된 것임 - 상기 기준 시점 영상 및 상기 깊이 정보를 이용하여 상기 기준 시점 영상의 객체 영역 또는 배경 영역 분리를 수행하는 단계, 상기 객체 또는 배경 영역의 분리 수행 결과에 따라 상기 기준 시점 영상의 최종 깊이 정보를 결정하는 단계, 상기 기준 시점 영상의 최종 깊이 정보를 이용하여 상기 다시점 중 기준 시점 이외의 시점 영상의 최종 깊이 정보를 결정하는 단계 및 상기 다시점 영상 각각의 최종 깊이 정보를 디지털 영상으로 기록하는 단계를 포함한다.
본 발명의 일측에 따르면, 기준 시점 영상 및 깊이 정보를 이용하여 기준 시점 영상을 객체 영역 또는 배경 영역으로 분리하는 상기 단계는 상기 장면 영상, 장면 영상 깊이 정보 또는 배경 영상 중 적어도 하나를 이용하여 상기 기준 시점 영상에 포함된 적어도 하나의 프레임 각각을 객체 영역 및 배경 영역으로 분리하는 단계를 포함한다.
또한, 본 발명의 일측에 따르면, 객체 또는 배경 영역의 분리 수행 결과에 따라 기준 시점 영상의 최종 깊이 정보를 결정하는 상기 단계는 기 정의된 깊이 탐색 범위에 따라 상기 분리된 객체 또는 배경 영역별 영상분할기법을 적용하여 상기 기준 시점 영상의 단위 영역별로 유사함수를 계산하는 단계, 상기 계산된 유사함수 결과를 이용하여 상기 기준 시점 영상의 최종 깊이 정보를 결정하는 단계를 포함한다.
또한, 본 발명의 일측에 따르면, 객체 또는 배경 영역의 분리 수행 결과에 따라 기준 시점 영상의 최종 깊이 정보를 결정하는 상기 단계는 단위 영역별로 상기 기준 시점 및 상기 이외의 시점 상호간의 컬러 값 차이에 대한 평균과 표준 편차를 구하고, 상기 평균으로부터 편차가 가장 큰 컬러 값을 상기 유사함수 계산의 대상에서 제외하고, 상기 유사함수를 반복 계산하는 단계를 포함한다.
또한, 본 발명의 일측에 따른 객체 또는 배경 분리를 이용한 다시점 정합 장치는 다시점 카메라로부터 수신한 다시점 영상을 저장하는 다시점 비디오 저장부, 깊이 카메라로부터 수신한 기준 시점 영상의 깊이 정보를 저장하는 깊이 정보 저장부 - 상기 기준 시점은 상기 다시점 중 선택된 것임 - 상기 기준 시점 영상 및 상기 깊이 정보를 이용하여 상기 기준 시점 영상의 객체 영역 또는 배경 영역 분리를 수행하는 객체 또는 배경 분리부, 기 정의된 깊이 탐색 범위에 따라 상기 분리된 객체 또는 배경 영역별 영상분할기법을 적용하여 상기 기준 시점 영상의 단위 영역별로 유사함수를 계산하는 유사함수 계산부, 상기 계산된 유사함수 결과를 이용하여 상기 기준 시점 영상의 최종 깊이 정보를 결정하는 최종 깊이 선택부, 상기 기준 시점 영상의 최종 깊이 정보를 이용하여 상기 다시점 중 기준 시점 이외의 시점 영상의 최종 깊이 정보를 결정하는 깊이 투영부 및 상기 다시점 영상 각각의 최종 깊이 정보를 디지털 영상으로 기록하는 디지털 영상 기록부를 포함한다.
본 발명은 입력 영상에서 객체 또는 배경 분리를 통하여 개별적으로 객체 및 배경의 깊이를 추정함으로써, 객체 또는 배경 경계에서의 오정합을 줄일 수 있는 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치를 제공할 수 있다.
본 발명은 객체 또는 배경 분리 시에 컬러 정보와 함께 깊이 정보를 이용함으로써, 깊이 불연속 경계 검출 성능을 개선할 수 있는 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치를 제공할 수 있다.
본 발명은 깊이 정보의 정확도를 개선함으로써, 시각적 컬러 오류를 줄일 수 있는 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치를 제공할 수 있다.
본 발명은 정확도가 개선된 깊이 정보를 이용하여 3차원 모델링 또는 임의 시점 영상 생성을 수행할 수 있는 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치를 제공할 수 있다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실 시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 객체 또는 배경 분리를 이용한 다시점 정합 방법을 도시한 동작 흐름도이다.
도 1에 도시된 바와 같이 객체 또는 배경 분리를 이용한 다시점 정합 방법은 단계(S101) 내지 단계(S105)로 수행될 수 있다. 또한, 객체 또는 배경 분리를 이용한 다시점 정합 방법은 객체 또는 배경 분리를 이용한 다시점 정합 장치에 의해서 수행될 수 있다.
단계(S101)에서 상기 정합 장치는 다시점 카메라로부터 수신한 다시점 영상 및 깊이 카메라로부터 수신한 기준 시점 영상의 깊이 정보를 저장할 수 있다. 이 때, 상기 기준 시점 영상은 상기 다시점 영상 중 선택된 것이다. 즉, 상기 정합 장치는 상기 다시점 영상 중 어느 하나를 기준 시점 영상으로 선택하고, 상기 기준 시점 영상의 깊이 정보를 상기 깊이 카메라로부터 수신할 수 있다.
구체적으로, 상기 정합 장치는 다시점 카메라로부터 다시점 영상을 입력받아 이들의 동기를 맞추어 프레임별로 저장할 수 있다. 또한, 상기 정합 장치는 깊이 카메라로부터 상기 다시점 카메라와 동일시간에 촬영된 깊이 정보 영상을 입력받아 상기 다시점 카메라와 동기를 맞추어 프레임 별로 저장할 수 있다.
또한, 상기 기준 시점 영상은 배경만이 포함된 배경 영상 및 객체와 배경 모두 포함된 장면 영상을 포함하고, 상기 깊이 정보는 배경 영상 깊이 정보 및 장면 영상 깊이 정보를 포함할 수 있다. 즉, 상기 정합 장치는 상기 다시점 카메라 및 깊이 카메라를 이용하여 객체가 포함된 장면 영상 및 객체가 제외된 배경 영상을 각각 촬영할 수 있다. 또한, 본 발명의 일측에 따르면, 상기 정합 장치는 상기 배경 영상을 상기 장면 영상 촬영보다 먼저 촬영할 수 있다.
단계(S102)에서 상기 정합 장치는 상기 기준 시점 영상 및 상기 깊이 정보를 이용하여 상기 기준 시점 영상의 객체 영역 또는 배경 영역 분리를 수행할 수 있다.
구체적으로, 상기 정합 장치는 단계(S101)에서 저장된 상기 장면 영상, 장면 영상 깊이 정보 또는 배경 영상 중 적어도 하나를 이용하여 상기 기준 시점 영상에 포함된 적어도 하나의 프레임 각각을 객체 영역 및 배경 영역으로 분리할 수 있다.
또한, 상기 정합 장치는 상기 장면 영상, 장면 영상 깊이 정보 또는 배경 영상 중 적어도 하나를 이용하여 상기 기준 시점 영상의 제1 프레임을 객체 영역 또는 배경 영역으로 분리하고, 상기 제1 프레임의 영역 분리 결과를 기준으로 변화된 부분을 고려하여 상기 나머지 프레임들을 객체 영역 또는 배경 영역으로 분리할 수 있다. 이 때, 상기 제1 프레임은 상기 제1 프레임의 장면 영상 컬러, 장면 영상 깊이 정보 또는 배경 영상 컬러 중 적어도 하나를 이용하여 객체 영역 또는 배경 영역으로 분리하고, 상기 나머지 프레임은 상기 나머지 프레임 각각의 직전 프레임 영역 분리 결과를 기준으로, 상기 나머지 프레임 및 직전 프레임 각각의 장면 영상 컬러, 장면 영상 깊이 정보 또는 배경 영상 컬러 중 적어도 하나로 수행된 소정의 계산 결과에 따라 객체 영역 또는 배경 영역으로 분리할 수 있다.
이 때, 상기 장면 영상 컬러는 상기 장면 영상 각 화소의 컬러값이고, 상기 배경 영상 컬러는 상기 배경 영상 각 화소의 컬러값일 수 있다. 상기 정합 장치는 상기 배경 영상의 촬영을 통하여 배경 영상 컬러 및 배경 영상 깊이 정보를 결정하고, 객체와 배경이 포함된 장면 영상의 촬영을 통하여 장면 컬러 및 장면 영상 깊이 정보를 결정할 수 있다. 또한, 상기 정합 장치는 상기 기준 시점 영상의 첫 프레임과 두 번째 이후 프레임을 구분하여 서로 다른 기법에 의해 객체 또는 배경을 분리할 수 있다. 즉, 상기 정합 장치는 두 번째 이후 프레임에서는 첫 프레임에서 얻은 객체 분리 결과를 기준으로 변화된 부분만 갱신할 수 있다.
또한, 상기 정합 장치는 객체가 포함된 장면 영상을 촬영 시에는 깊이 카메라의 깊이 획득 범위를 객체의 깊이 범위 이내로 설정하여 객체 영역에 대해서만 깊이 정보를 획득할 수 있다.
상기 정합 장치는 객체 및 배경을 분리하기 위해, 장면 영상에 대한 깊이 정보 영상의 히스토그램을 이용하여 장면 영상의 첫 프레임을 객체와 배경으로 분리할 수 있다. 이 때, 상기 장면 영상의 깊이 정보 영상은 거리가 가까운 객체영역은 밝은 색으로, 거리가 먼 배경 영역은 어두운 색으로 나타날 수 있다. 즉, 객체 깊이 범위 이내로 설정된 깊이 영상에서 객체 영역을 제외한 나머지 영역은 깊이 값이 존재하지 않으므로 어두운 색으로 나타나게 된다. 따라서, 히스토그램상은 깊이 정보 영상의 밝기 값이 낮은 부분에 좁고 뾰족한 모양의 언덕을 가지게 된다. 이 때, 상기 정합 장치는 상기 히스토그램상을 이용하여 객체 또는 배경 영역을 분리하고, 그 결과를 이진 영상으로 만들어 저장할 수 있다. 예를 들어, 상기 정합 장치는 Otsu등이 제안한 thresholding 방법을 이용하여 객체 또는 배경 영역을 분 리하고, 그 결과를 이진 영상으로 만들어 저장할 수 있다.
한편, 상기 깊이 카메라로부터 얻은 깊이 정보는 사람의 머리카락과 같은 검은 색 영역에 대한 깊이를 정확하게 획득하지 못하는 단점이 있다. 이러한 단점을 보완하기 위해, 상기 정합 장치는 배경 영상 및 장면 영상의 컬러 차이의 절대값을 계산하고, 이 절대값이 제2임계치보다 크면 객체 영역으로 분류하고, 그렇지 않으면 배경 영역으로 분류할 수 있다.
상기 정합 장치는 상기 히스토그램에 의한 객체 또는 배경 분리 방법과 상기 컬러 차이의 절대값을 이용한 객체 또는 배경 분리방법이 결합된 수학식 1을 이용하여 장면 영상의 첫 번째 프레임에 대한 객체 또는 배경 분리 결과를 추출할 수 있다. 또한, 각각의 객체 또는 배경 분리 결과는 그래프 컷(graph cut)을 통한 에너지 함수 최적화를 통해서 획득될 수 있다.
Figure 112007089586366-pat00001
이 때, depth_scn(x, 1)은 깊이 카메라의 장면 영상 첫 번째 프레임 내 화소 x의 깊이 정보이고, Th1은 깊이 카메라로부터 얻은 깊이 정보 영상의 히스토그램에서 이진화 계산시의 임계값일 수 있다. 또한, color_scn(x, 1)은 장면 영상 첫 번째 프레임 내 화소 x의 컬러이고, color_bg(x)는 배경 영상 내 화소 x의 컬러이다. 또한, Th2은 제2임계치로서 배경 영상과 장면 영상의 첫번째 프레임간 컬러 차이에 대한 임계값일 수 있다.
또한, 상기 정합 장치는 장면 영상이 두 번째 이상의 프레임이고 이전 프레임에서 해당 화소가 배경으로 분류된 경우, 수학식 2를 이용하여 이전 프레임과 현재 프레임 간 화소의 컬러 차이와 깊이 정보 차이에 대한 제곱평균제곱근 오차를 계산할 수 있다. 또한, 상기 정합 장치는 상기 계산된 제곱평균제곱근 오차가 미리 정의된 제3임계치 Th3보다 작으면 해당 화소를 배경 영역으로 분류할 수 있다.
Figure 112007089586366-pat00002
이 때, RMSE(t, t-1)는 장면 영상의 현재 프레임과 이전 프레임 간 현재 화소 x 위치에서의 컬러 차이와 깊이 정보 차이의 제곱평균제곱근 오차이고, color_scn(x, t) 및 color_scn(x, t-1)은 각각 현재 시간 t와 이전시간 t-1에서의 장면 영상 내 화소 x의 컬러이다. 또한, depth_scn(x, t) 및 depth_scn(x, t-1)은 각각 현재 시간 t와 이전시간 t-1에서의 장면 영상 내 화소 x의 깊이 정보이다. 또한, Th3은 제3임계치로서 화소 x가 배경영역일 때, 장면 영상의 현재 프레임과 이전 프레임(t≥2) 간 현재 화소 x 위치에서의 컬러 차이와 깊이 정보 차이의 제곱평균제곱근 오차에 대한 임계치일 수 있다. 또한, 상기 정합 장치는 수학식 3과 같이, 이전 프레임과 현재 프레임 간 화소의 컬러 차이와 깊이 정보 차이의 제곱평균제곱근 오차가 미리 정의된 제3임계치보다 같거나 크고, 상기 배경 영상과 현재의 장면 영상 간의 컬러 차이가 미리 정의된 제4임계치보다 같거나 클 경우, 상기 화소를 객체 영역으로 분류할 수 있다.
Figure 112007089586366-pat00003
이 때, RMSE(t, t-1)는 장면 영상의 현재 프레임과 이전 프레임 간 현재 화소 x 위치에서의 컬러 차이의 제곱평균제곱근 오차 이고, color_scn(x, t) 및 color_scn(x, t-1)은 각각 현재 시간 t와 이전시간 t-1에서의 장면 영상 내 화소 x의 컬러이다. 또한, color_bg(x)는 상기 배경영상 내 화소 x의 컬러이다. 또한, scn_bg_color_diff(x, t)는 화소 x 위치에서의 배경 영상과 시간 t에서의 장면 영상 간의 컬러 차이의 절대값이다. 또한, depth_scn(x, t) 및 depth_scn(x, t-1)은 각각 현재 시간 t와 이전시간 t-1에서의 장면 영상 내 화소 x의 깊이 정보를 나타낸다. 또한, Th3은 제3임계치고, Th4는 제4임계치로서 화소 x가 배경영역일 때, 상기 배경 영상과 현재의 장면 영상 프레임 (t≥2) 간의 컬러 차이에 대한 임계치일 수 있다.
또한, 상기 정합 장치는 객체 및 배경으로 분리하고자 하는 장면 영상이 두 번째 이상의 프레임이고, 이전 프레임에 대한 객체 및 배경 분리 결과가 존재하는 경우, 이전 프레임에서 객체 영역으로 분류된 화소에 대해서 장면 영상의 이전 프레임과 현재 프레임 간 화소의 컬러 차이와 깊이 정보 차이의 제곱평균제곱근 오차를 계산할 수 있다. 또한, 상기 정합 장치는 계산된 오차가 미리 정의된 제5임계치보다 같거나 크고, 계산된 장면 영상의 프레임과 배경 영상 간 (t≥2)컬러차이가 미리 정의된 제6임계치보다 작으면, 수학식 4와 같이 상기 화소가 이전 프레임에서 객체로 분류되었더라도 새로 나타난 배경 영역으로 분류할 수 있다.
Figure 112007089586366-pat00004
이 때, RMSE(t, t-1), color_scn(x, t), color_scn(x, t-1), scn_bg_color_diff(x, t), depth_scn(x, t) 및 depth_scn(x, t-1)은 수학식 3을 통하여 설명한 바와 동일하다. 다만 Th5은 제5임계치로서 화소 x가 객체영역일 때, 연속되는 두 프레임 간(t≥2) 컬러 및 깊이 정보 차이의 제곱평균제곱근 오차에 관련된 임계치이며, Th6은 제6임계치로서 화소 x가 객체 화소일 때, 상기 배경 영상과 현재의 장면 영상 프레임 간(t≥2) 임계치일 수 있다.
또한, 상기 정합 장치는 잡음에 의한 영향을 줄이기 위해 수학적 형태 연산자인 확장 및 축소 필터링을 사용할 수 있다.
단계(S103)에서 상기 정합 장치는 상기 객체 또는 배경 영역의 분리 수행 결과에 따라 상기 기준 시점 영상의 최종 깊이 정보를 결정할 수 있다. 또한, 이와 같은 단계(S103)에 대해서는 추후 도 2를 통하여 더욱 상세하게 살펴보도록 하겠다.
단계(S104)에서 상기 정합 장치는 상기 기준 시점 영상의 최종 깊이 정보를 이용하여 상기 다시점 중 기준 시점 이외의 시점 영상의 최종 깊이 정보를 결정할 수 있다. 구체적으로, 상기 정합 장치는 상기 다시점 카메라의 카메라 정보를 통해 상기 기준 시점 영상의 최종 깊이 정보를 상기 다시점 영상 중 기준 시점 영상 이외의 시점 영상으로 투영하여 상기 이외의 시점 영상 각각의 최종 깊이 정보를 결정할 수 있다.
또한, 상기 정합 장치는 다시점 카메라 또는 깊이 카메라 중 적어도 하나로부터 카메라 정보를 검출할 수 있다. 이 때, 상기 카메라 정보는 초점 거리, 내부 또는 외부 파라미터일 수 있다. 또한, 상기 정합 장치는 다시점 영상을 이용한 카메라 보정을 수행하여 카메라 정보와 다시점 카메라 상호 간의 위치 관계를 나타내는 기반 행렬을 계산할 수 있다. 또한, 상기 정합 장치는 기반 행렬 데이터를 내장 또는 외장된 데이터 저장 장치 또는 컴퓨터 메모리 상에 저장할 수 있다. 또한, 상기 정합 장치는 상기 카메라 정보 또는 기반 행렬을 이용하여 상기 투영 및 상기 이외의 시점 영상 각각의 최종 깊이 정보 결정을 수행할 수 있다.
또한, 도 1에 도시되지 않았으나, 상기 정합 장치는 상기 이외의 시점 영상 각각으로 투영된 깊이 정보 영상에서 투영에 의하여 발생하는 구멍에 대한 보간을 수행할 수 있다. 이 때, 상기 정합 장치는 상기 구멍에 해당하는 화소 주변 화소의 깊이 정보를 이용하여 상기 보간을 수행할 수 있다.
단계(S105)에서 상기 정합 장치는 상기 다시점 영상 각각의 최종 깊이 정보를 디지털 영상으로 기록할 수 있다. 또한, 상기 정합 장치는 상기 디지털 영상을 이용하여 3차원 공간 상의 점 구름 또는 3차원 모델을 생성 또는 변환할 수 있다.
도 2는 본 발명의 일실시예에 따른 기준 시점 영상의 최종 깊이 정보를 결정 하는 단계를 도시한 동작 흐름도이다.
도 2에 도시된 바와 같이 도 1의 단계(S103)는 단계(S201) 내지 단계(S204)로 수행될 수 있다. 또한, 단계(S201) 내지 단계(S204)는 객체 또는 배경 분리를 이용한 다시점 정합 장치에 의해서 수행될 수 있다.
단계(S201)에서 상기 정합 장치는 기 정의된 깊이 탐색 범위에 따라 상기 분리된 객체 또는 배경 영역별 영상분할기법을 적용하여 상기 기준 시점 영상의 단위 영역별로 유사함수를 계산할 수 있다. 이 때, 상기 유사함수는 상기 기준 시점 영상 및 상기 다시점 영상 중 기준 시점 영상 이외의 시점 영상 상호간에 결정되고, 상기 유사함수의 계산은 상기 다시점 영상 각각의 컬러 또는 상기 다시점 카메라의 카메라 정보 중 적어도 하나를 이용하여 수행될 수 있다.
이 때, 상기 깊이 탐색 범위는 상기 기준 시점 영상에 대한 깊이 정보를 이용하여 수학식 5와 같이 구할 수 있다.
depthmin , segment (i) - error_rate_depthmin , segment (i) < search_depthsegment (i) < depthmax,segment(i) - error_rate_depthmax , segment (i)
이 때, depthmin , segment (i)는 미리 정의된 최소 탐색 범위이고 depthmax , segment (i)는 미리 정의된 최대 탐색 범위이다. error_rate_depthmin , segment (i) 및 error_rate_depthmax,segment(i)는 각각 깊이 카메라에 의해 획득된 깊이값의 오차를 고려하기 위해 미리 정의된 값일 수 있다. 또한, search_ depthsegment (i)는 깊이 탐색 범위이다.
예를 들어, 상기 정합 장치는 평균이동영상분할기법을 이용하여, 다시점 카메라 각각의 시점 영상을 기준 시점 영상에 수직인 선상으로 투영하는 plane-sweep방식 정합을 통하여 유사함수를 계산할 수 있다. 이 때, 상기 정합 장치는 다시점 카메라 각각의 카메라 정보를 이용하여 투영할 수 있다. 예를 들어 상기 정합 장치는 상기 카메라 정보에 포함된 내부 또는 외부 파라미터를 이용하여 투영할 수 있다.
또한, 상기 정합 장치는 다시점 카메라 또는 깊이 카메라 중 적어도 하나로부터 카메라 정보를 검출할 수 있다. 이 때, 상기 카메라 정보는 초점 거리, 내부 또는 외부 파라미터일 수 있다. 또한, 상기 정합 장치는 다시점 영상을 이용한 카메라 보정을 수행하여 카메라 정보와 다시점 카메라 상호 간의 위치 관계를 나타내는 기반 행렬을 계산할 수 있다. 또한, 상기 정합 장치는 기반 행렬 데이터를 내장 또는 외장된 데이터 저장 장치 또는 컴퓨터 메모리 상에 저장할 수 있다. 또한, 상기 정합 장치는 상기 카메라 정보 또는 기반 행렬을 이용하여 상기 유사함수를 계산할 수 있다.
또한, 상기 정합 장치는 상기 배경 영역 및 상기 객체 영역을 구분하여 상기 유사함수 계산을 수행할 수 있다. 또한, 상기 단위 영역은 상기 다시점 영상의 적 어도 하나의 화소를 포함할 수 있다.
단계(S202)에서 상기 정합 장치는 상기 유사함수 결과를 이용하여 상기 기준 시점 영상의 최초 깊이 정보를 결정할 수 있다. 구체적으로, 상기 정합 장치는 상기 기준 시점 영상 및 상기 이외의 시점 영상 상호간에 계산된 유사함수의 유사도가 가장 높은 깊이를 상기 기준 시점 영상의 단위 영역별 최초 깊이 정보로 결정할 수 있다. 또한, 상기 정합 장치는 상기 배경 영역 및 상기 객체 영역을 구분하여 상기 최초 깊이 정보 결정을 수행할 수 있다
단계(S203)에서 상기 정합 장치는 상기 유사함수 계산 및 최초 깊이 정보 결정에 사용된 상기 기준 시점 및 상기 이외의 시점 상호간의 단위 영역별 컬러 차이의 평균과 표준 편차를 구하고, 상기 평균으로부터 편차가 가장 큰 컬러 차이를 상기 유사함수 계산의 대상에서 제외하고, 상기 유사함수를 반복 계산할 수 있다. 이 때, 상기 정합 장치는 상기 표준 편차가 기 정해진 임계치 이하가 되거나, 상기 반복 계산에 따라 상기 표준 편차에 변화가 없거나, 또는 최대 반복 횟수에 도달하는 경우 상기 반복 계산을 종료할 수 있다.
구체적으로 상기 정합 장치는 차폐 영역으로 인한 오정합 화소를 줄이기 위해 상기 유사함수 계산 및 최초 깊이 정보 결정에 이용된 각 영역 내 화소의 컬러 값의 차이에 대한 평균과 그의 표준 편차를 구하여 평균에서 가장 멀리 떨어진 컬러 차이(평균값으로부터 편차가 가장 큰 컬러 차이)를 유사함수 계산의 대상에서 제외시켜 유사함수를 반복 계산할 수 있다.
이 때, 상기 정합 장치는 표준 편차가 미리 정해진 임계치보다 작아지거나, 표준 편차에 변화가 없거나, 또는 최대 반복 횟수에 도달할 때까지 각 유사함수 계산 과정을 반복하게 된다. 또한, 상기 정합 장치는 추가적으로 개선 과정을 수행할 수 있다. 예를 들어, 상기 개선 과정은 평면 근사화 과정 및 신뢰도 확산일 수 있다.
단계(S204)에서 상기 정합 장치는 상기 반복 계산된 유사함수 결과를 이용하여 상기 기준 시점 영상의 최종 깊이 정보를 결정할 수 있다. 구체적으로, 상기 정합 장치는 상기 반복 계산된 유사함수의 유사도가 가장 높은 깊이를 상기 기준 시점 영상의 단위 영역별 최종 깊이 정보로 결정할 수 있다.
도 3은 본 발명의 일실시예에 따른 객체 또는 배경 분리를 이용한 다시점 정합 장치를 나타낸 블록도이다.
도 3에 도시된 바와 같이 객체 또는 배경 분리를 이용한 다시점 정합 장치는 다시점 비디오 저장부(311), 깊이 정보 저장부(312), 카메라 보정부(313), 객체 또는 배경 분리부(314), 유사함수 계산부(315), 최종 깊이 선택부(317), 깊이 투영부(318), 깊이 보간부(319) 및 디지털 영상 기록부(320)를 포함할 수 있다.
다시점 비디오 저장부(311)는 다시점 카메라(321 내지 323)로부터 수신한 다시점 영상을 저장할 수 있다.
깊이 정보 저장부(312)는 깊이 카메라(324)로부터 수신한 기준 시점 영상의 깊이 정보를 저장할 수 있다. 이 때, 상기 기준 시점 영상은 상기 다시점 영상 중 선택된 것일 수 있다. 또한, 이와 같은 다시점 비디오 저장부(311) 및 깊이 정보 저장부(312)에 관하여 설명하지 아니한 내용은 앞서 도 1의 단계(S101)에서 설명한 바와 동일하므로 이하 설명을 생략하도록 하겠다.
카메라 보정부(313)는 다시점 카메라(321 내지 323) 또는 깊이 카메라(324) 중 적어도 하나로부터 카메라 정보를 수신할 수 있다. 이 때, 상기 카메라 정보는 초점 거리, 내부 또는 외부 파라미터일 수 있다. 또한, 카메라 보정부(313)는 다시점 비디오 저장부(311)를 통해 입력된 다시점 영상을 이용한 카메라 보정을 수행하여 카메라 정보와 다시점 카메라(321 내지 323) 상호 간의 위치 관계를 나타내는 기반 행렬을 계산할 수 있다. 또한, 상기 정합 장치는 기반 행렬 데이터를 내장 또는 외장된 데이터 저장 장치 또는 컴퓨터 메모리 상에 저장할 수 있다. 또한, 상기 정합 장치는 상기 카메라 정보 또는 기반 행렬을 이용하여 상기 유사함수를 계산할 수 있다.
객체 또는 배경 분리부(314)는 상기 기준 시점 영상 및 상기 깊이 정보를 이용하여 상기 기준 시점 영상의 객체 영역 또는 배경 영역 분리를 수행할 수 있다. 구체적으로, 객체 또는 배경 분리부(314)는 상기 장면 영상, 장면 영상 깊이 정보 또는 배경 영상 중 적어도 하나를 이용하여 상기 기준 시점 영상에 포함된 적어도 하나의 프레임 각각을 객체 영역 및 배경 영역으로 분리할 수 있다.
이 때, 상기 기준 시점 영상은 배경만이 포함된 배경 영상 및 객체와 배경 모두 포함된 장면 영상을 포함하고, 상기 깊이 정보는 배경 영상 깊이 정보 및 장면 영상 깊이 정보를 포함할 수 있다. 또한, 이와 같은 객체 또는 배경 분리부(314)에 대하여 설명하지 아니한 내용은 앞서 도 1의 단계(102)에서 설명한 바와 동일하므로 이하 설명을 생략하도록 하겠다.
유사함수 계산부(315)는 기 정의된 깊이 탐색 범위에 따라 상기 분리된 객체 또는 배경 영역별 영상분할기법을 적용하여 상기 기준 시점 영상의 단위 영역별로 유사함수를 계산할 수 있다. 또한, 깊이 후처리부(316)는 상기 단위 영역 별로 컬러 값 차이에 대한 평균 및 표준편차를 이용하여 상기 유사함수를 반복 계산할 수 있다. 또한, 최종 깊이 선택부(317)는 상기 계산된 유사함수 결과를 이용하여 상기 기준 시점 영상의 최종 깊이 정보를 결정할 수 있다.
이와 같은 유사함수 계산부(315), 깊이 후처리부(316) 및 최종 깊이 선택부(317)에 관하여 설명되지 아니한 내용은 앞서 도 2의 단계(S201) 내지 단계(S204)에 의하여 설명한 바와 동일하므로 이하 설명을 생략하도록 하겠다.
깊이 투영부(318)는 상기 기준 시점 영상의 최종 깊이 정보를 이용하여 상기 다시점 중 기준 시점 이외의 시점 영상의 최종 깊이 정보를 결정할 수 있다.
깊이 보간부(319)는 상기 기준 시점 이외의 영상의 최종 깊이 정보에 대한 보간을 수행할 수 있다.
디지털 영상 기록부(320)는 상기 다시점 영상 각각의 최종 깊이 정보를 디지털 영상으로 기록할 수 있다.
또한, 이와 같은 깊이 투영부(318), 깊이 보간부(319) 및 디지털 영상 기록부(320)에 대하여 설명하지 아니한 내용은 앞서 도 1을 통하여 설명한 바와 동일하므로 이하 설명을 생략하도록 하겠다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 객체 또는 배경 분리를 이용한 다시점 정합 방법을 도시한 동작 흐름도이다.
도 2는 본 발명의 일실시예에 따른 기준 시점 영상의 최종 깊이 정보를 결정하는 단계를 도시한 동작 흐름도이다.
도 3은 본 발명의 일실시예에 따른 객체 또는 배경 분리를 이용한 다시점 정합 장치를 나타낸 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
310: 객체 또는 배경 분리를 이용한 다시점 정합 장치
314: 객체 또는 배경 분리부
315: 유사함수 계산부
317: 최종 깊이 선택부

Claims (14)

  1. 다시점 카메라로부터 수신한 다시점 영상 및 깊이 카메라로부터 수신한 기준 시점 영상의 깊이 정보를 저장하는 단계 - 상기 기준 시점 영상은 상기 다시점 영상 중 선택된 것임 -;
    상기 기준 시점 영상 및 상기 깊이 정보를 이용하여 상기 기준 시점 영상의 객체 영역 또는 배경 영역 분리를 수행하는 단계;
    상기 객체 또는 배경 영역의 분리 수행 결과에 따라 다시점 정합을 수행하고, 상기 기준 시점 영상의 최종 깊이 정보를 결정하는 단계;
    상기 기준 시점 영상의 최종 깊이 정보를 이용하여 상기 다시점 중 기준 시점 이외의 시점 영상의 최종 깊이 정보를 결정하는 단계; 및
    상기 다시점 영상 각각의 최종 깊이 정보를 디지털 영상으로 기록하는 단계
    를 포함하는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  2. 제1항에 있어서,
    상기 기준 시점 영상은,
    배경만이 포함된 배경 영상 및 객체와 배경 모두 포함된 장면 영상을 포함하고,
    상기 깊이 정보는,
    배경 영상 깊이 정보 및 장면 영상 깊이 정보를 포함하는 것을 특징으로 하 는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  3. 제2항에 있어서,
    기준 시점 영상 및 깊이 정보를 이용하여 기준 시점 영상을 객체 영역 또는 배경 영역으로 분리하는 상기 단계는,
    상기 장면 영상, 장면 영상 깊이 정보 또는 배경 영상 중 적어도 하나를 이용하여 상기 기준 시점 영상에 포함된 적어도 하나의 프레임 각각을 객체 영역 및 배경 영역으로 분리하는 단계
    를 포함하는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  4. 제3항에 있어서,
    적어도 하나의 프레임 각각을 객체 영역 및 배경 영역으로 분리하는 상기 단계는,
    상기 장면 영상, 장면 영상 깊이 정보 또는 배경 영상 중 적어도 하나를 이용하여 상기 기준 시점 영상의 제1 프레임을 객체 영역 또는 배경 영역으로 분리하고, 상기 제1 프레임의 영역 분리 결과를 기준으로, 상기 제1 프레임과 다르게 변화된 부분을 고려하여 상기 기준 시점 영상의 상기 제1 프레임 이외의 프레임들을 객체 영역 또는 배경 영역으로 분리하는 것을 특징으로 하는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  5. 제4항에 있어서,
    상기 제1 프레임은,
    상기 제1 프레임의 장면 영상 컬러, 장면 영상 깊이 정보 또는 배경 영상 컬러 중 적어도 하나를 이용하여 객체 영역 또는 배경 영역으로 분리하고,
    상기 제1 프레임 이외의 프레임은,
    상기 제1 프레임 이외의 프레임 각각의 직전 프레임 영역 분리 결과를 기준으로, 상기 제1 프레임 이외의 프레임 및 직전 프레임 각각의 장면 영상 컬러, 장면 영상 깊이 정보 또는 배경 영상 컬러 중 적어도 하나로 수행된 소정의 계산 결과에 따라 객체 영역 또는 배경 영역으로 분리하는 것을 특징으로 하는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  6. 제1항에 있어서,
    객체 또는 배경 영역의 분리 수행 결과에 따라 기준 시점 영상의 최종 깊이 정보를 결정하는 상기 단계는,
    기 정의된 깊이 탐색 범위에 따라 상기 분리된 객체 또는 배경 영역별로 영상을 분할하고, 상기 분할을 통해 추출되는 단위 영역별로 유사함수 - 상기 유사함수는 상기 기준 시점 영상과 상기 다시점 영상 중 기준 시점 영상 이외의 시점 영상 상호간의 유사도를 산출함 - 를 계산하는 단계; 및
    상기 계산된 유사함수 결과를 이용하여 상기 기준 시점 영상의 최종 깊이 정보를 결정하는 단계
    를 포함하는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  7. 제6항에 있어서,
    상기 유사함수의 계산은,
    상기 다시점 영상 각각의 컬러 또는 상기 다시점 카메라의 카메라 정보 중 적어도 하나를 이용하는 것을 특징으로 하는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  8. 제7항에 있어서,
    계산된 유사함수 결과를 이용하여 기준 시점 영상의 최종 깊이 정보를 결정하는 상기 단계는,
    상기 유사함수 결과를 이용하여 상기 기준 시점 영상의 최초 깊이 정보를 결정하는 단계;
    상기 유사함수 계산 및 최초 깊이 정보 결정에 사용된 상기 기준 시점 영상과 상기 이외의 시점 영상 상호간의 대응하는 단위 영역별 컬러 차이의 평균과 표준 편차를 구하고, 상기 평균으로부터 편차가 가장 큰 컬러 차이를 상기 유사함수 계산의 대상에서 제외하고, 상기 유사함수를 반복 계산하는 단계; 및
    상기 반복 계산된 유사함수 결과를 이용하여 상기 기준 시점 영상의 최종 깊이 정보를 결정하는 단계
    를 포함하는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  9. 제8항에 있어서,
    유사함수를 반복 계산하는 상기 단계는,
    상기 표준 편차가 기 정해진 임계치 이하가 되거나, 상기 반복 계산에 따라 상기 표준 편차에 변화가 없거나, 또는 최대 반복 횟수에 도달하는 경우 상기 반복 계산을 종료하는 것을 특징으로 하는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  10. 제8항에 있어서,
    유사함수 결과를 이용하여 기준 시점 영상의 최초 깊이 정보를 결정하는 상기 단계는,
    상기 기준 시점 영상과 상기 이외의 시점 영상 상호간에 계산된 유사함수의 유사도가 가장 높은 깊이를 상기 기준 시점 영상의 단위 영역별 최초 깊이 정보로 결정하고,
    반복 계산된 유사함수 결과를 이용하여 기준 시점 영상의 최종 깊이 정보를 결정하는 상기 단계는,
    상기 반복 계산된 유사함수의 유사도가 가장 높은 깊이를 상기 기준 시점 영상의 단위 영역별 최종 깊이 정보로 결정하는 것을 특징으로 하는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  11. 제1항에 있어서,
    기준 시점 영상의 최종 깊이 정보를 이용하여 다시점 중 기준 시점 이외의 시점 영상의 최종 깊이 정보를 결정하는 상기 단계는,
    상기 다시점 카메라의 카메라 정보를 통해 상기 기준 시점 영상의 최종 깊이 정보를 상기 다시점 영상 중 기준 시점 영상 이외의 시점 영상으로 투영하여 상기 이외의 시점 영상 각각의 최종 깊이 정보를 결정하는 것을 특징으로 하는 객체 또는 배경 분리를 이용한 다시점 정합 방법.
  12. 다시점 카메라로부터 수신한 다시점 영상을 저장하는 다시점 비디오 저장부;
    깊이 카메라로부터 수신한 기준 시점 영상의 깊이 정보를 저장하는 깊이 정보 저장부 - 상기 기준 시점 영상은 상기 다시점 영상 중 선택된 것임 -;
    상기 기준 시점 영상 및 상기 깊이 정보를 이용하여 상기 기준 시점 영상의 객체 영역 또는 배경 영역 분리를 수행하는 객체 또는 배경 분리부;
    기 정의된 깊이 탐색 범위에 따라 상기 분리된 객체 또는 배경 영역별 영상분할기법을 적용하여 상기 기준 시점 영상의 단위 영역별로 유사함수를 계산하는 유사함수 계산부;
    상기 계산된 유사함수 결과를 이용하여 상기 기준 시점 영상의 최종 깊이 정보를 결정하는 다시점 정합을 수행함으로써 최종 깊이를 선택하는 최종 깊이 선택부;
    상기 기준 시점 영상의 최종 깊이 정보를 이용하여 상기 다시점 영상 중 기준 시점 영상 이외의 시점 영상의 최종 깊이 정보를 결정하는 깊이 투영부; 및
    상기 다시점 영상 각각의 최종 깊이 정보를, 디지털 영상으로 기록하는 디지털 영상 기록부
    를 포함하는 객체 또는 배경 분리를 이용한 다시점 정합 장치.
  13. 제12항에 있어서,
    상기 다시점 카메라 또는 깊이 카메라 중 적어도 하나의 카메라 정보를 포함하는 카메라 보정부;
    상기 단위 영역 별로 컬러 값 차이에 대한 평균 및 표준편차를 이용하여 상기 유사함수를 반복 계산하는 깊이 후 처리부; 및
    상기 기준 시점 이외의 영상의 최종 깊이 정보에 대한 보간을 수행하는 깊이 보간부를 더 포함하고,
    상기 깊이 투영부는,
    상기 다시점 카메라의 카메라 정보를 통해 상기 최종 깊이 정보를 상기 다시점 영상 중 기준 시점 영상 이외의 시점 영상으로 투영하여 상기 이외의 시점 영상 각각의 최종 깊이 정보를 결정하는 것을 특징으로 하는 객체 또는 배경 분리를 이용한 다시점 정합 장치.
  14. 제12항에 있어서,
    상기 기준 시점 영상은,
    배경만이 포함된 배경 영상 및 객체와 배경 모두 포함된 장면 영상을 포함하고,
    상기 깊이 정보는,
    배경 영상 깊이 정보 및 장면 영상 깊이 정보를 포함하고,
    상기 객체 또는 배경 분리부는,
    상기 장면 영상, 장면 영상 깊이 정보 또는 배경 영상 중 적어도 하나를 이용하여 상기 기준 시점 영상에 포함된 적어도 하나의 프레임 각각을 객체 영역 및 배경 영역으로 분리하는 것을 특징으로 하는 객체 또는 배경 분리를 이용한 다시점 정합 장치.
KR1020070129684A 2007-12-13 2007-12-13 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 KR100953076B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070129684A KR100953076B1 (ko) 2007-12-13 2007-12-13 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070129684A KR100953076B1 (ko) 2007-12-13 2007-12-13 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090062440A KR20090062440A (ko) 2009-06-17
KR100953076B1 true KR100953076B1 (ko) 2010-04-13

Family

ID=40991689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070129684A KR100953076B1 (ko) 2007-12-13 2007-12-13 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100953076B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336955B1 (ko) 2012-06-25 2013-12-04 인텔렉추얼디스커버리 주식회사 다시점 영상 생성 방법 및 시스템
US9445071B2 (en) 2011-01-03 2016-09-13 Samsung Electronics Co., Ltd. Method and apparatus generating multi-view images for three-dimensional display

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101636370B1 (ko) * 2009-11-10 2016-07-05 삼성전자주식회사 영상 처리 장치 및 방법
KR101626057B1 (ko) 2009-11-19 2016-05-31 삼성전자주식회사 3뷰 영상의 디스패리티 추정 방법 및 장치
KR101282196B1 (ko) 2009-12-11 2013-07-04 한국전자통신연구원 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법
KR101130044B1 (ko) * 2010-08-02 2012-03-28 주식회사 레드로버 입체 프리젠테이션 영상 제작 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체, 그 프로그램이 저장된 서버 시스템 및 무 안경 방식의 다 시점 입체영상 출력 엔진용 입체 프리젠테이션 영상 제작방법
KR20120060549A (ko) 2010-12-02 2012-06-12 전자부품연구원 사용자 단말 및 이를 이용한 영상 통화 방법
KR101349699B1 (ko) * 2012-06-29 2014-01-10 에스케이플래닛 주식회사 영상 추출 및 합성 장치, 이의 방법
KR101893788B1 (ko) 2012-08-27 2018-08-31 삼성전자주식회사 다시점 카메라간 정합 장치 및 방법
KR102365735B1 (ko) * 2018-11-06 2022-02-22 한국전자통신연구원 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법
CN109803133B (zh) * 2019-03-15 2023-04-11 京东方科技集团股份有限公司 一种图像处理方法及装置、显示装置
CN111898448B (zh) * 2020-06-30 2023-10-24 北京大学 一种基于深度学习的行人属性识别方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513055B1 (ko) 2003-12-11 2005-09-06 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
KR100544677B1 (ko) 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
KR100748719B1 (ko) 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
KR100776649B1 (ko) 2004-12-06 2007-11-19 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513055B1 (ko) 2003-12-11 2005-09-06 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
KR100544677B1 (ko) 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
KR100776649B1 (ko) 2004-12-06 2007-11-19 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
KR100748719B1 (ko) 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445071B2 (en) 2011-01-03 2016-09-13 Samsung Electronics Co., Ltd. Method and apparatus generating multi-view images for three-dimensional display
KR101336955B1 (ko) 2012-06-25 2013-12-04 인텔렉추얼디스커버리 주식회사 다시점 영상 생성 방법 및 시스템

Also Published As

Publication number Publication date
KR20090062440A (ko) 2009-06-17

Similar Documents

Publication Publication Date Title
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
KR102185179B1 (ko) 멀티-뷰 장면 분할 및 전파
US9374571B2 (en) Image processing device, imaging device, and image processing method
JP6351238B2 (ja) 画像処理装置、撮像装置および距離補正方法
KR101096468B1 (ko) 복잡성-적응형 2차원-대-3차원 비디오 시퀀스 변환
CN101960860B (zh) 使用基于区域的滤波的深度图提取系统和方法
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
KR100793076B1 (ko) 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
US10950032B2 (en) Object capture coverage evaluation
US20100182406A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
TW201308252A (zh) 深度測量之品質提升
CN109949347B (zh) 人体跟踪方法、装置、系统、电子设备和存储介质
KR100888081B1 (ko) 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
KR20050066400A (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
KR101618776B1 (ko) 3차원 깊이 영상의 개선 방법
KR100926520B1 (ko) 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
KR101784620B1 (ko) 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 18