KR100748719B1 - 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법 - Google Patents

다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법 Download PDF

Info

Publication number
KR100748719B1
KR100748719B1 KR1020050063858A KR20050063858A KR100748719B1 KR 100748719 B1 KR100748719 B1 KR 100748719B1 KR 1020050063858 A KR1020050063858 A KR 1020050063858A KR 20050063858 A KR20050063858 A KR 20050063858A KR 100748719 B1 KR100748719 B1 KR 100748719B1
Authority
KR
South Korea
Prior art keywords
variation
image
camera
background
dimensional
Prior art date
Application number
KR1020050063858A
Other languages
English (en)
Other versions
KR20070009899A (ko
Inventor
손광훈
김한성
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020050063858A priority Critical patent/KR100748719B1/ko
Publication of KR20070009899A publication Critical patent/KR20070009899A/ko
Application granted granted Critical
Publication of KR100748719B1 publication Critical patent/KR100748719B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images

Abstract

본 발명은 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그 방법에 관한 것으로서, 본 발명의 다중 스테레오 카메라로부터 수신한 다중 스테레오 영상 데이터에 대하여 실시간으로 3차원 모델을 생성하기 위한, 다중 스테레오 카메라를 이용한 3차원 모델링 장치는, 다중 스테레오 영상을 수집하여, 카메라 보정에 의해 내부 및 외부 파라미터를 추출하기 위한 카메라 보정부; 다중 스테레오 영상의 배경차 및 프레임차를 이용하여 실시간으로 객체를 분할하기 위한 실시간 객체분할부; 다중 스테레오 영상으로부터 깊이 정보를 복원하기 위하여, 스테레오 영상 내에서 정합점을 찾는 변이추정을 수행하기 위한 변이추정부; 상기 카메라 보정부로부터 수신한 내부 및 외부 파라미터, 상기 실시간 객체분할부로부터 수신한 분할된 객체정보 및 상기 변이추정부로부터 수신한 변이정보를 이용하여, 실시간으로 3차원 공간상의 객체의 모델을 생성하기 위한 3차원 모델복원부; 및 사용자가 요구하는 시점에서의 장면을 렌더링하기 위한 렌더링부를 포함한다.
3차원 모델링, 실시간, 객체분할, 변이추정, 렌더링

Description

다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그 방법{APPARATUS AND METHOD FOR 3-DIMENSIONAL MODELING USING MULTIPLE STEREO CAMERAS}
도 1은 본 발명에 따른 다중 스테레오 카메라를 이용한 3차원 모델링 장치의 일실시예 구조도,
도 2는 상기 도 1의 카메라 보정부가 투영행렬을 구하기 위해 사용하는 기지 패턴의 일예,
도 3은 상기 도 1의 실시간 객체분할부의 일실시예 상세 구조도,
도 4는 상기 도 3의 윤곽추출기가 최종 윤곽을 추출하는 과정을 설명하기 위한 일예시도,
도 5는 상기 도 1의 상기 변이추정부의 일실시예 상세 구조도,
도 6a는 상기 도 1의 3차원 모델복원부가 윤곽정보와 변이정보를 이용하여 모델을 복원하는 2차원 개념을 설명하기 위한 일예시도,
도 6b는 상기 도 1의 3차원 모델복원부가 윤곽정보와 변이정보를 이용하여 모델을 복원하는 3차원 개념을 설명하기 위한 일예시도
도 7은 카메라로부터 3차원 공간까지의 거리를 설명하기 위한 개념도,
도 8a 및 도 8b는 상기 도 1의 상기 3차원 모델복원부가 사용하는 8진 트리 구조를 설명하기 위한 일예시도,
도 9a 및 도 9b는 상기 도 1의 상기 렌더링부의 투영 텍스처 매핑을 설명하기 위한 개념도,
도 10은 본 발명에 따른 다중 스테레오 카메라를 이용한 3차원 모델링 방법을 설명하기 위한 일실시예 흐름도,
도 11은 상기 도 10의 실시간 객체분할 과정을 설명하기 위한 일실시예 상세 흐름도,
도 12는 상기 도 10의 변이추정 과정을 설명하기 위한 일실시예 상세 흐름도,
도 13은 본 발명의 다중 스테레오 카메라를 이용한 3차원 모델링 방법을 실험하기 위한 실험 공간의 일예시도,
도 14a 내지 도 14d는 상기 도 13의 4대의 카메라로 동시에 획득한 영상을 나타내는 일예시도,
도 15a 내지 도 15d는 각각 상기 도 14a 내지 도 14d의 영상에 대하여 객체분할 및 변이추정을 수행한 결과를 나타내는 일예시도,
도 16a 내지 도 16d는 본 발명의 모델링 방법에 따라 생성된 모델링 결과를 나타내는 일예시도,
도 17a 내지 도 17d는 도 16a 내지 도 16d의 영상을 종래의 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull)에 의해 생성된 모델링 결과와 비교하기 위한 일예시도,
도 18a 내지 도 18d는 본 발명의 모델링 방법에 따른 최종 렌더링 결과를 설명하기 위한 것으로, 카메라 회전 모드를 나타낸 것,
도 19a 및 도 19b는 본 발명의 모델링 방법에 따른 최종 렌더링 결과를 설명하기 위한 것으로, 줌 아웃/인모드를 나타낸 것,
도 20a 및 도 20b는 본 발명의 모델링 방법에 따른 최종 렌더링 결과를 설명하기 위한 것으로, 스테레오 모드를 나타낸 것이다.
<도면의 주요부분에 대한 부호의 설명>
101 : 카메라 보정부 102 : 실시간 객체분할부
103 : 변이추정부 104 : 3차원 모델복원부
105 : 렌더링부 301 : 최소/최대값 산출기
302 : 배경차 연산기 303 : 프레임차 연산기
304 : 초기객체 추출기 305 : 필터링기
306 : 윤곽추출기 501 : 전처리기
502 : 배경변이 추정기 503 : 전경변이 추정기
504 : 경계영역 변이추정기
본 발명은 다중 스테레오 카메라를 이용한 3차원 모델링 장치, 방법 및 이를 구현하기 위한 프로그램을 기록한 기록매체에 관한 것으로서, 보다 상세하게는, 다중 스테레오 카메라 환경에서 원하는 시점에서의 영상을 자유롭게 재현하도록 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치, 방법 및 이를 구현하기 위한 프로그램을 기록한 기록매체에 관한 것이다.
영상으로부터 3차원 모델을 복원하는 기법은, 컴퓨터 비전 영역에서 매우 오래된 연구 주제이다. 그 대표적인 기술로서 빛과 그림자의 관계로부터 3차원 정보를 복원하는 기법(shape from shading), 물체 표면 패턴으로부터 3차원 정보를 복원하는 기법(shape from texture) 및 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull) 등이 있다.
특히, 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull)은 매우 간단하면서도 효율적으로 3차원 모델을 복원할 수 있어 최근 많은 연구가 이루어졌다. 그러나, 이 기법은 오목한 영역에 대한 복원이 불가능한 문제점이 있으며, 카메라의 수가 적은 경우 매우 조악한 모델이 생성되는 문제점이 있다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 공간상에 설치된 복수의 스테레오 카메라에서 획득되고 분석된 영상 데이터들을 이용하여 실시간으로 3차원 모델을 생성하고 이로부터 사용자가 원하는 위치에서의 장면을 생성하여 디스플레이 하기 위한, 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 카메라의 수가 많지 않은 경우에도 사용자가 원하는 위치에서의 장면을 생성하여 디스플레이 하기 위한, 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명의 일실시예에 따르면, 다중 스테레오 카메라로부터 수신한 다중 스테레오 영상 데이터에 대하여 실시간으로 3차원 모델을 생성하기 위한, 다중 스테레오 카메라를 이용한 3차원 모델링 장치에 있어서, 다중 스테레오 영상을 수집하여, 카메라 보정에 의해 내부 및 외부 파라미터를 추출하기 위한 카메라 보정부; 다중 스테레오 영상의 배경차 및 프레임차를 이용하여 실시간으로 객체를 분할하기 위한 실시간 객체분할부; 다중 스테레오 영상으로부터 깊이 정보를 복원하기 위하여, 스테레오 영상 내에서 정합점을 찾는 변이추정을 수행하기 위한 변이추정부; 상기 카메라 보정부로부터 수신한 내부 및 외부 파라미터, 상기 실시간 객체분할부로부터 수신한 분할된 객체정보 및 상기 변이추정부로부터 수신한 변이정보를 이용하여, 실시간으로 3차원 공간상의 객체의 모델을 생성하기 위한 3차원 모델복원부; 및 사용자가 요구하는 시점에서의 장면을 렌더링하기 위한 렌더링부를 포함하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치가 제공된다.
또한, 본 발명의 다른 실시예에 따르면, 다중 스테레오 카메라로부터 수신한 다중 스테레오 영상 데이터에 대하여 실시간으로 3차원 모델을 생성하기 위한, 다중 스테레오 카메라를 이용한 3차원 모델링 방법에 있어서, 다중 스테레오 영상을 수집하여, 카메라 보정에 의해 내부 및 외부 파라미터를 추출하는 단계(a); 다중 스테레오 영상의 배경차 및 프레임차를 이용하여 실시간으로 객체를 분할하는 단계(b); 다중 스테레오 영상으로부터 깊이 정보를 복원하기 위하여, 스테레오 영상 내에서 정합점을 찾는 변이추정을 수행하는 단계(c); 상기 카메라 보정부로부터 수신한 내부 및 외부 파라미터, 상기 실시간 객체분할부로부터 수신한 분할된 객체정보 및 상기 변이추정부로부터 수신한 변이정보를 이용하여, 실시간으로 3차원 공간상의 객체의 모델을 생성하는 단계(d); 및 사용자가 요구하는 시점에서의 장면을 렌더링하는 단계(e)를 포함하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법이 제공된다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 본 발명에 따른 다중 스테레오 카메라를 이용한 3차원 모델링 장치의 일실시예 구조도이다.
도면에 도시된 바와 같이, 본 발명의 3차원 모델링 장치는, 카메라 보정부 (101), 실시간 객체분할부(102), 변이추정부(103), 3차원 모델복원부(104) 및 렌더링부(105)를 포함하여 구성된다.
상기 카메라 보정부(101)는 공간상에 다수의 다중 스테레오 카메라(도시되지 않음)로부터 각각 다중 스테레오 영상을 수집하여, 카메라 보정(camera calibration)에 의해 사전에 내부와 외부 파라미터를 추출하는 기능을 담당한다. 본 발명의 설명을 위하여, 다중 스테레오 카메라가 4대가 설치되어, 다중 스테레오 영상이 4개 수집되는 것을 예를 들어 설명하겠으나, 그 수에 한정되는 것은 아니다.
이에 대하여 상세히 설명하면 다음과 같다.
카메라 보정은 카메라로부터 획득된 영상으로부터 카메라의 내부와 외부 특성 파라미터를 추출하는 것으로서, 일반적으로 특수한 기지 패턴을 이용해 측정된다. 카메라 보정은 패턴으로부터 직접 각 파라미터를 추출하는 방법과 투영 행렬을 먼저 구하고 이로부터 다시 각 파라미터를 구하는 방법이 있다. 본 발명에서는 모델 복원에 투영 행렬을 사용하므로 두 번째 방법을 사용하여 파라미터를 추출하며, 투영 행렬과 이로부터 구한 외부 파라미터 및 내부 다음 파라미터는 각각 다음의 수학식 1 내지 수학식 5와 같다.
[수학식 1]
Figure 112005038216694-pat00001
[수학식 2]
Figure 112005038216694-pat00002
[수학식 3]
Figure 112005038216694-pat00003
[수학식 4]
[f x , f y ]
[수학식 5]
[c x , c y ]
여기서, 수학식 1의 P는 투영 행렬을, 수학식 2의 R은 3×3 회전행렬을, 수학식 3의 t는 이동행렬을 나타낸다. 또한, 수학식 4는 유효 화소 사이즈를, 수학식 5는 영상 중심 좌표를 나타낸다. 수학식 2 및 3의 회전행렬과 이동행렬은 외부 파라미터이며, 수학식 4 및 5의 유효 화소 사이즈와 영상 중심 좌표는 내부 파라미터이다.
3차원 공간상의 좌표(X i , Y i , Z i )와 이 점이 투영된 2차원 영상 내에서의 좌표 사이의 관계는 다음의 수학식 6 및 7과 같은 투영행렬로 나타내어진다.
[수학식 6]
Figure 112005038216694-pat00004
[수학식 7]
Figure 112005038216694-pat00005
투영행렬 P는 랭크 11을 가지므로, 6쌍의 3차원 좌표와 2차원 좌표간의 정합점을 알면 각 원소를 계산할 수 있다. 투영행렬 P는 도 2와 같은 기지 패턴을 이용하여 좌표 정합을 구하고, 최소 자승 기법을 이용해 오차를 최소화하도록 구할 수 있다.
도 2는 상기 도 1의 카메라 보정부가 투영행렬을 구하기 위해 사용하는 기지 패턴의 일예이다.
본 발명의 일실시예에서, 상기 도 2와 같은 기지 패턴을 이용해 40개의 좌표 정합을 구하고, 최소 자승 기법을 이용해 오차를 최소화하는 투영행렬 P를 계산할 수 있다.
이후, 투영행렬 P를 이용하여 다음의 수학식 8로부터 내부 파라미터와 외부 파라미터를 구할 수 있다.
[수학식 8]
Figure 112005038216694-pat00006
상기 실시간 객체분할부(102)는 최종 모델의 정확도와 효율성을 결정하는 것으로, 수신한 다수의 다중 스테레오 영상의 배경차(background difference)와 프레임차(frame difference)를 동시에 이용하여 실시간으로 객체를 분할하는 기능을 담당한다. 상기 실시간 객체분할부(102)를 도 3을 참조로 상세히 설명하기로 한다.
도 3은 상기 도 1의 실시간 객체분할부의 일실시예 상세 구조도이다.
도면에 도시된 바와 같이, 상기 실시간 객체분할부(102)는 최소/최대값 산출기(301), 배경차 연산기(302), 프레임차 연산기(303), 초기 객체 추출기(304), 필터링기(305) 및 윤곽추출기(306)를 포함하여 구성된다.
상기 최소/최대값 산출기(301)는 수신한 다중 스테레오 영상에서, 배경영상의 각 화소 중 그 최소값인 I min (x,y)와 최대값인 I max (x,y)를 산출하여 저장하는 기능을 담당한다. 상기 배경차 연산기(302)는 입력된 영상과 기존 산출된 배경 영상과의 차이를 비교하는 기능을 담당하며, 상기 프레임차 연산기(303)는 연속되는 두 프레임간의 차영상인 I fd (x,y)를 연산하는 기능을 담당한다.
상기 초기 객체 추출기(304)는 현재 프레임의 값이 다음의 수학식 9와 같이 배경차와 프레임차 조건 중 하나를 만족하면 해당 영상을 초기 객체로 분할하는 기 능을 담당한다.
[수학식 9]
Figure 112005038216694-pat00007
여기서 Thtol과 Thfd는 현재 픽셀을 전경 영상으로 분류하기 위한 기준치이다.
그러나 이러한 조건으로 추출된 객체 영역은 많은 잡음과 에러를 포함하고 있다. 이에, 본 발명에서는 상기 필터링기(305)가 해당 영상의 잡음과 잘못 추출된 영역을 제거하는 기능을 담당한다.
상기 윤곽추출기(306)는 전경의 윤곽을 부드럽게 하기 위하여, 영역 내부의 빈 영역을 제거함으로써, 최종 전경영역을 추출하는 기능을 담당한다. 윤곽추출은 일정 크기의 탄성을 가진 라인을 영상의 한쪽 끝에서 반대 쪽으로 이동시키며 영역을 둘러싸게 되며, 라인의 탄성으로 인해 폭이 일정 크기 이하의 영역에는 침투하지 못하게 된다. 이러한 과정을 4방향에서 모두 수행하여 4개의 결과에 모두 포함된 영역을 최종 객체 영역으로 추출하게 된다. 도 4는 상기 도 3의 윤곽추출기가 최종 윤곽을 추출하는 과정을 설명하기 위한 일예시도이다.
상기 도 1의 상기 변이추정부(103)는 동일한 장면을 조금 다른 위치에서 찍은 두 장의 영상 내에서 정합점을 찾는 변이추정(disparity estimation)을 수행하 여, 실시간으로 스테레오 영상으로부터 깊이 정보를 복원하는 기능을 담당한다.
본 발명에 따른 모델링 장치에서, 영상을 받아들이는 스테레오 카메라가 고정되어 있고, 배경정보를 추출하기 위한 초기 몇 초간의 초기화 시간 중에는 움직이는 물체가 존재하지 않는다고 가정하면, 이러한 가정 하에서 정밀한 배경영역의 변이 정보가 사전에 추출되고, 실제 시스템이 동작할 때는 상기 실시간 객체분할부(102)에 의해 추출된 전경영역만을 이용하여 고속으로 변이를 추정하고, 배경 정보와의 융합을 통해 완전한 깊이정보를 복원할 수 있다.
평행식 스테레오 카메라를 가정할 때 추정된 변이는 스테레오 영상 모델에 의해 다음 수학식 10과 같이 깊이 정보로 변환될 수 있다.
[수학식 10]
Figure 112005038216694-pat00008
여기서 f는 카메라의 초점 거리를 의미하며, d는 추출된 변이, B는 카메라간의 거리 즉, 베이스 라인을 의미한다. 본 발명의 변이추정부(103)는 배경 정보 등록과 상기 실시간 객체분할부(102)에서 추출한 전경 분할을 이용하여 고속 변이추정을 수행할 수 있다. 이하, 도 5를 참조로 상기 도 1의 변이추정부(103)를 상세히 설명하기로 한다.
도 5는 상기 도 1의 상기 변이추정부의 일실시예 상세 구조도이다.
도면에 도시된 바와 같이, 본 발명의 상기 변이추정부(103)는 전처리기(501), 배경변이 추정기(502), 전경변이 추정기(503) 및 경계영역 변이추정기(504) 를 포함하여 구성된다.
상기 전처리기(501)는 획득된 스테레오 동영상 내의 잡음을 줄이기 위하여, 저역통과 필터링을 수행하고 및 에피폴라선을 수평으로 맞추어 변이 추정을 1차원상에서 가능하게 하여 효율성이 증가하도록 하기 위하여 영상의 정렬을 수행하는 기능을 담당한다.
배경변이 추정기(502)는 스테레오 영상의 배경영역의 변이를 추정하는 기능을 담당한다. 이러한 배경영역의 변이추정은 초기화 단계에서 수행되기 때문에 실시간 추출이 아니어도 되고, 또한 한 번 추출된 변이가 전체 프로세스에 사용되므로 최대한 정밀한 변이를 추출하여야 한다. 배경변이의 추정을 다음의 단계를 거쳐 수행된다.
먼저 입력된 스테레오 영상을 1/2로 다운 샘플링하여 Ｂ×Ｂ 크기의 블록 단위로 변이를 추정하며, 이러한 블록 단위의 초기 변이를 기반으로 원영상에서 다시 영역 분할 기법을 사용하여 화소 단위의 미세 변이를 추정하고, 이후 변이 평활화를 수행하여 더욱 정밀한 변이장을 추출할 수 있다.
상기 전경변이 추정기(503)는 스테레오 영상의 전경영역의 변이를 추정하는 기능을 담당한다. 전경영역의 변이는 각 프레임마다 매번 추출되어야 하므로 전경영역 변이추정에서 가장 중요한 요소는 속도라 할 수 있다. 이에, 본 발명은 배경영역의 변이추정에서 사용되었던 계층적 변이추정을 동일하게 전경영역에도 적용하지만, 시간 소요가 많은 변이 평활화 과정은 거치지 않는다. 또한, 전경영역은 언제나 배경보다 거리상 앞에 존재하기 때문에 변이추정에서 검색 범위는 인접한 배 경영역의 변이에 의해서도 제한될 수 있다.
다음의 수학식 11 및 수학식 12는 배경변이에 따른 전경영역 최대 검색범위 SR Max 와 최소 검색범위 SR Min 를 보여준다. 이때, 최대 검색범위는 좌→우 변이를 나타내는 것이며, 최소 검색범위는 우→좌 변이를 나타내는 것이다.
[수학식 11]
SR Max = Min ( d ln , d rn )
[수학식 12]
SR Min = Max ( d ln , d rn )
이때, d ln 과 d rn 는 동일한 행 내에서 추정 위치에서 각각 오른쪽과 왼쪽 방향으로 인접해 있는 배경영역의 변이를 의미한다.
그러나 정합 과정에서 기존의 정사각형 정합창은 주변의 큰 특징점에 강하게 영향을 받으므로 객체의 경계 부분 영역에서는 오류가 발생하여 정확한 경계가 검출되지 않는 단점이 있다. 배경영역의 변이추정에서는 이러한 오류가 평활화 과정에서 보정되지만, 전경영역에서는 평활화를 수행하지 않으므로 이러한 오류가 계속 남아있게 된다.
따라서, 본 발명에서는 전경영역과 배경영역의 경계를 포함하고 있는 블록의 화소들에 대하여, 다시 한번 변이의 신뢰도를 비교하여 전경변이와 배경변이 중 높은 신뢰도의 변이를 할당하기 위한 경계영역 변이추정기(504)를 포함한다. 이러한 경계 영역에서의 최종변이는 다음의 수학식 13에 의해 결정된다.
[수학식 13]
if ( | I r (x,y)- I l (x+ d fore ,y)| < | I r (x,y)- I l (x+ d back ,y)| )
d final (x,y)= d fore (x,y)
else
d final (x,y)= d back (x,y)
이때, d back (x,y) 는 (x, y) 위치에서의 배경영역의 변이장의 변이를 의미하며, d fore (x,y) 는 동일한 위치에서의 전경영역의 변이장의 변이를 의미한다.
상기 도 1에서 상기 3차원 모델복원부(104)는 분할된 객체정보와 추출된 변이정보를 이용하여 카메라의 내/외부 파라미터들을 이용해 3차원 공간상의 객체의 모델을 생성하는 기능을 담당한다.
도 6a 및 도 6b는 각각 상기 도 1의 3차원 모델복원부가 윤곽정보와 변이정보를 이용하여 모델을 복원하는 2차원 및 3차원 개념을 설명하기 위한 일예시도이다.
각 카메라에서 추출된 객체의 윤곽과 변이정보는 각 카메라의 파라미터에 의해 3차원 공간상으로 투사되며, 투사된 정보들은 객체의 윤곽과 깊이 이외의 영역을 제거하여 최종적으로 객체 영역만 남기게 된다.
실제적인 모델 형성은 3차원 공간을 구성하는 요소인 복셀(Voxel)을 각 카메 라에 투영하여 이루어진다. 3차원 공간강의 점 M(X, Y, X)은 각 카메라의 영상 I n 에 카메라의 투영행렬에 의해 다음 수학식 14와 같이 투영된다.
[수학식 14]
Figure 112005038216694-pat00009
만약 M이 객체의 윤곽 내부에 투영된다면, 다음으로 M이 투영점의 변이정보로부터 계산된 깊이보다 더 뒤쪽에 존재하는지 검사한다.
카메라로부터 M까지의 거리 d voxe l은 도 7에 기반하여 수학식 15에 의해 추출할 수 있으며, 변이로부터 계산되는 거리 dsurf 역시 수학식 10로부터 계산할 수 있다. 도 7은 카메라로부터 3차원 공간까지의 거리를 설명하기 위한 개념도이다.
[수학식 15]
Figure 112005038216694-pat00010
한편, 만약 점 M이 모든 카메라에 대해 윤곽 내부에 존재하며 동시에 표면까지의 거리 뒤쪽에 존재하면 점 M은 객체 내부에 속해있는 복셀로 판단된다. 그러나 모델링할 공간상의 모든 복셀을 각 카메라에 투영해 보는 것은 매우 소모적인 일이다. 따라서 본 발명에서 상기 3차원 모델복원부(107)는 복셀의 크기를 계층적으로 줄여가면서 모델링하는 8진 트리구조(octree structure)를 사용한다.
도 8a 및 도 8b는 상기 도 1의 상기 3차원 모델복원부가 사용하는 8진 트리구조를 설명하기 위한 일예시도이다.
도 8a에 도시된 바와 같이, 8진 트리 구조에서 각 복셀의 꼭지점과 모서리의 중심점, 면의 중심점, 복셀의 중심점을 포함하는 총 27개의 점이 체크된다. 만약 27개의 점이 모두 객체 내부에 포함되거나 모두 객체 밖에 있다고 판단되면 그 복셀은 각각 객체 내부 혹은 외부 복셀로 지정된다. 그렇지 않을 경우에는, 도 8b에 도시된 바와 같이 그 복셀은 하위단계의 8개의 복셀로 분할되어 동일한 과정이 반복된다. 이러한 8진 트리 구조를 사용하면 계산 시간뿐 아니라 데이터의 양도 크게 줄어들게 된다.
상기 렌더링부(105)는 사용자가 요구하는 시점에서의 장면을 렌더링하여 단말의 화면(도시되지 않음)에 디스플레이하는 기능을 담당한다(렌더링의 사전적 의미는, ‘그림자나 색상과 농도의 변화 등과 같은 3차원 질감을 넣음으로써 컴퓨터 그래픽에 사실감을 추가하는 과정’임). 본 발명에서 배경영역은 시스템이 작동되는 초기단계에서 사전에 모델링되며, 실시간 처리에서는 객체 영역만 업데이트되어 렌더링할 수 있다. 상기 렌더링부(105)는 시스템을 단순화하고 렌더링 속도를 높이기 위해 투영 텍스처 매핑(projective texture mapping) 함수를 사용할 수 있다. 도 9a 및 도 9b는 상기 도 1의 상기 렌더링부의 투영 텍스처 매핑을 설명하기 위한 개념도이다. 도면에 도시된 바와 같이, 투영 텍스처 매핑은 마치 슬라이드 프로젝 트가 영상을 공간상에 투사하듯 카메라 위치로부터 텍스처를 모델 위에 투사한다.
이하에서는, 상기 도 1의 장치를 기반으로, 본 발명에 따른 다중 스테레오 카메라를 이용한 3차원 모델링 방법에 대하여 도면을 참조로 상세히 설명하기로 한다.
도 10은 본 발명에 따른 다중 스테레오 카메라를 이용한 3차원 모델링 방법을 설명하기 위한 일실시예 흐름도이다.
도면에 도시된 바와 같이, 본 발명의 모델링 방법은, 공간상에 다수의 다중 스테레오 카메라로부터 각각 다중 스테레오 영상을 획득하여(S1001), 카메라 보정(camera calibration)에 의해 사전에 내부와 외부 파라미터를 추출한다(S1003). 본 발명은 패턴으로부터 투영행렬을 먼저 구하고, 이로부터 다시 각 파라미터를 구한다. 3차원 공간상의 좌표(X i , Y i , Z i )와 이 점이 투영된 2차원 영상 내에서의 좌표 사이의 관계는 상기 수학식 6 및 7과 같은 투영행렬로 나타내어질 수 있으며, 상기 수학식 1에서의 투영행렬 P는 랭크 11을 가지므로, 6쌍의 3차원 좌표와 2차원 좌표간의 정합점을 알면 각 원소를 계산할 수 있다. 투영행렬 P는 상기 도 2와 같은 기지 패턴을 이용하여 좌표 정합을 구하고, 최소 자승 기법을 이용해 오차를 최소화하도록 구할 수 있다. 이후, 투영행렬 P를 이용하여 상기 수학식 8로부터 상기 수학식 2 내지 수학식 5의 내부 파라미터와 외부 파라미터를 구할 수 있다.
본 발명의 3차원 모델링 방법은, 이후 최종 모델의 정확도와 효율성을 결정하기 위하여, 수신된 다중 스테레오 영상의 배경차(background difference)와 프레임차(frame difference)를 동시에 이용하여 실시간으로 객체를 분할할 수 있다(S1005). 이를 도 11을 참조로 상세히 설명하기로 한다.
도 11은 상기 도 10의 실시간 객체분할 과정을 설명하기 위한 일실시예 상세 흐름도이다.
도면에 도시된 바와 같이, 본 발명의 실시간 객체분할(S1005)은, 먼저 초기화 단계로 배경영상의 각 화소 중 그 최소값인 I min (x,y)와 최대값인 I max (x,y)를 산출하여 저장하고(S1103), 스테레오 영상으로부터 배경차를 연산하고(S1105), 또한, 수신되는 배경영상의 프레임을 지연하여(S1107) 연속되는 두 프레임간의 차영상인 I fd (x,y)를 연산할 수 있다(S1109).
이후, 현재 프레임의 값이 상기 수학식 9와 같이 배경차와 프레임차 조건 중 하나를 만족하면(S1111), 해당 영상을 초기 객체로 분할하고(S1113). 잡음과 에러를 포함하고 있는 초기 객체에서 잡음을 제거하는 필터링을 수행한다(S1115).
마지막으로, 전경의 윤곽을 부드럽게 하기 위하여, 영역 내부의 빈 영역을 제거함으로써, 최종 전경영역을 추출할 수 있다(S1117). 윤곽추출은 일정 크기의 탄성을 가진 라인을 영상의 한쪽 끝에서 반대 쪽으로 이동시키며 영역을 둘러싸게 되며, 라인의 탄성으로 인해 폭이 일정 크기 이하의 영역에는 침투하지 못하게 된다. 이러한 과정을 4방향에서 모두 수행하여 4개의 결과에 모두 포함된 영역을 최 종 객체 영역으로 추출하게 된다. 이는 상기 도 4를 참조로 설명한 바와 같다.
이후, 본 발명의 모델링 방법은, 스테레오 영상의 깊이 정보를 복원하기 위하여 수신한 영상의 변이추정을 수행한다(S1007). 이를 도 12를 참조로 상세히 설명하기로 한다.
도 12는 상기 도 10의 변이추정 과정을 설명하기 위한 일실시예 상세 흐름도이다. 본 발명에 따른 모델링 방법에서, 영상을 받아들이는 스테레오 카메라가 고정되어 있고, 배경정보를 추출하기 위한 초기 몇 초간의 초기화 시간 중에는 움직이는 물체가 존재하지 않는다고 가정하면, 이러한 가정 하에서 정밀한 배경영역의 변이 정보가 사전에 추출되고, 초기화가 완료된 후에는 상기 실시간 객체분할(S1005)에 의해 추출된 전경영역을 이용하여 고속으로 변이를 추정하고, 배경 정보와의 융합을 통해 완전한 깊이정보를 복원할 수 있다.
도면에 도시된 바와 같이, 본 발명의 변이추정(S1007)은, 다중 스테레오 영상을 수신하여(S1201), 획득된 스테레오 영상 내의 잡음을 줄이기 위하여, 저역통과 필터링을 수행하고 및 에피폴라선을 수평으로 맞추기 위하여 영상의 정렬을 수행하여, 영상에 대한 초기화를 수행한다(S1203).
이후, 입력된 스테레오 영상을 1/2로 다운 샘플링하여 Ｂ×Ｂ 크기의 블록 단위로 초기변이를 추정하며(S1205), 이러한 블록 단위의 초기변이를 기반으로 원영상에서 다시 영역을 분할하여 화소 단위의 미세변이를 추정한다(S1207). 이후, 변이 평활화를 수행하여(S1209) 더욱 정밀한 변이장을 추출할 수 있다.
S1205 내지 S1209의 배경영역에 대한 변이추정은 초기화 단계에서 수행되는 것으로 실시간 추출이 아니어도 되고, 또한, 한 번 추출된 변이가 전체 프로세스에 사용되므로 최대한 정밀한 변이를 추출하여야 한다.
이후, 본 발명의 3차원 모델링 방법은 상기 실시간 객체분할(S1005)에 의해 추출된 전경영역을 수신하여(S1211), 수신한 영상의 전경영역의 변이를 실시간으로 추정한다(S1213). 전경영역의 변이는 각 프레임마다 매번 추출되어야 하므로 전경영역 변이추정에서 가장 중요한 요소는 속도라 할 수 있다. 이에, 본 발명은 배경영역의 변이추정에서 사용되었던 계층적 변이추정을 동일하게 전경영역에도 적용하지만, 시간 소요가 많은 변이 평활화 과정은 거치지 않는다. 또한, 전경영역은 언제나 배경보다 거리상 앞에 존재하기 때문에 변이추정에서 검색 범위는 인접한 배경영역의 변이에 의해서도 제한될 수 있다.
상기 수학식 11 및 수학식 12는 배경변이에 따른 전경영역 최대 검색범위 SR Max 와 최소 검색범위 SR Min 를 보여준다. 이때, 최대 검색범위는 좌→우 변이를 나타내는 것이며, 최소 검색범위는 우→좌 변이를 나타내는 것이다.
그러나 정합 과정에서 기존의 정사각형 정합창은 주변의 큰 특징점에 강하게 영향을 받으므로 객체의 경계 부분 영역에서는 오류가 발생하여 정확한 경계가 검출되지 않는 단점이 있다. 배경영역의 변이추정에서는 이러한 오류가 평활화 과정에서 보정되지만, 전경영역에서는 평활화를 수행하지 않으므로 이러한 오류가 계속 남아있게 된다.
따라서, 본 발명에서는 전경영역과 배경영역의 경계를 포함하고 있는 블록의 화소들에 대하여, 다시 한번 변이의 신뢰도를 비교하여 전경변이와 배경변이 중 높은 신뢰도의 변이를 할당하는 과정을 포함한다. 이러한 경계 영역에서의 최종변이는 상기 수학식 13에 의해 결정된다.
상기 도 10에서 본 발명의 3차원 모델링 방법은, 분할된 객체정보와 추출된 변이정보 및 카메라의 내/외부 파라미터들을 이용해 3차원 공간상의 객체의 모델을 복원할 수 있다(S1009).
각 카메라에서 추출된 객체의 윤곽과 변이정보는 각 카메라의 파라미터에 의해 3차원 공간상으로 투사되며, 투사된 정보들은 객체의 윤곽과 깊이 이외의 영역을 제거하여 최종적으로 객체 영역만 남기게 된다.
실제적인 모델 형성은 3차원 공간을 구성하는 요소인 복셀(Voxel)을 각 카메라에 투영하여 이루어진다. 3차원 공간강의 점 M(X, Y, X)은 각 카메라의 영상 I n 에 카메라의 투영행렬에 의해 상기 수학식 14와 같이 투영된다.
만약 M이 객체의 윤곽 내부에 투영된다면, 다음으로 M이 투영점의 변이정보로부터 계산된 깊이보다 더 뒤쪽에 존재하는지 검사한다.
카메라로부터 M까지의 거리 d voxe l은 상기 도 7에 기반하여 상기 수학식 15에 의해 추출할 수 있으며, 변이로부터 계산되는 거리 d surf 역시 수학식 15로부터 계산할 수 있다.
한편, 만약 점 M이 모든 카메라에 대해 윤곽 내부에 존재하며 동시에 표면까지의 거리 뒤쪽에 존재하면 점 M은 객체 내부에 속해있는 복셀로 판단된다. 따라서 본 발명은 복셀의 크기를 계층적으로 줄여가면서 모델링하는 8진 트리구조(octree structure)를 사용한다.
상기 도 8에 도시된 바와 같이, 8진 트리 구조에서 각 복셀의 꼭지점과 모서리의 중심점, 면의 중심점, 복셀의 중심점을 포함하는 총 27개의 점이 체크된다. 만약 27개의 점이 모두 객체 내부에 포함되거나 모두 객체 밖에 있다고 판단되면 그 복셀은 각각 객체 내부 혹은 외부 복셀로 지정된다. 그렇지 않을 경우에는 그 복셀은 하위단계의 8개의 복셀로 분할되어 동일한 과정이 반복된다. 이러한 8진 트리 구조를 사용하면 계산 시간뿐 아니라 데이터의 양도 크게 줄어들게 된다.
마지막으로, 본 발명의 3차원 모델링 방법은, 사용자가 요구하는 임의의 시점에서의 장면을 렌더링하여 단말의 화면(도시되지 않음)에 디스플레이하는 렌더링을 수행할 수 있다(S1011). 본 발명에서 배경영역은 시스템이 작동되는 초기단계에서 사전에 모델링되며, 실시간 처리에서는 객체영역, 즉 전경영역만 업데이트되어 렌더링할 수 있다. 본 발명의 모델링 방법은 시스템을 단순화하고 렌더링 속도를 높이기 위해 투영 텍스처 매핑(projective texture mapping) 함수를 사용할 수 있다.
도 13은 본 발명의 다중 스테레오 카메라를 이용한 3차원 모델링 방법을 실 험하기 위한 실험 공간의 일예시도이다.
도면에 도시된 바와 같이, 본 발명의 실험을 위하여, 4대의 스테레오 카메라를 사용하였으나, 본 발명이 그 수에 한정되는 것은 아니다. 각 카메라는 영상의 획득과 동시에 해당 영상을 본 발명의 모델링 장치로 전송한다.
도 14a 내지 도 14d는 상기 도 13의 4대의 카메라로 동시에 획득한 영상을 나타내는 일예시도로서, 각각 카메라 a~d에서 수신한 영역을 순차적으로 설명하기 위한 것이고, 도 15a 내지 도 15d는 각각 상기 도 14a 내지 도 14d의 영상에 대하여 객체분할 및 변이추정을 수행한 결과를 나타내는 일예시도이다.
도 16a 내지 도 16d는 본 발명의 모델링 방법에 따라 생성된 모델링 결과를 나타내는 일예시도이며, 도 17a 내지 도 17d는 도 16a 내지 도 16d의 영상을 종래의 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull)에 의해 생성된 모델링 결과와 비교하기 위한 일예시도이다.
도면에 도시된 바와 같이, 본 발명에 따른 모델링 결과가 종래의 방법에 의한 모델링 결과보다 더 실제 모델이 가까움을 알 수 있다.
도 18a 내지 도 18d는 본 발명의 모델링 방법에 따른 최종 렌더링 결과를 설명하기 위한 것으로, 카메라 회전 모드를 나타낸 것이며, 도 19a 및 도 19b는 본 발명의 모델링 방법에 따른 최종 렌더링 결과를 설명하기 위한 것으로, 줌 아웃/인모드를 나타낸 것이다. 또한, 도 20a 및 도 20b는 본 발명의 모델링 방법에 따른 최종 렌더링 결과를 설명하기 위한 것으로, 스테레오 모드를 나타낸 것이다.
도면에 도시된 바와 같이, 본 발명의 모델링 방법에 따른 렌더링 결과는 전 반적으로 지정된 시점에서 자연스러운 영상을 제공한다. 또한 3차원 모델로부터 직접 렌더링을 하므로 도 20a 및 도 20b와 같이 스테레오 영상을 생성하여 입체 영상을 만들어 낼 수도 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 공간상에 설치된 복수의 스테레오 카메라에서 획득되고 분석된 영상 데이터에 대하여 실시간으로 3차원 모델을 생성함으로써, 이로부터 사용자가 원하는 위치에서의 장면을 생성해 디스플레이하도록 하는 효과가 있다.
또한, 본 발명은 깊이 추정을 위한 능동 장비 없이 저렴하게 시스템 구현이 가능하도록 하는 효과가 있으며, 또한 적은 수의 카메라로도 빠른 속도의 영상 구현이 가능하도록 하는 효과가 있다.

Claims (31)

  1. 다중 스테레오 카메라로부터 수신한 다중 스테레오 영상 데이터에 대하여 실시간으로 3차원 모델을 생성하기 위한, 다중 스테레오 카메라를 이용한 3차원 모델링 장치에 있어서,
    다중 스테레오 영상을 수집하여, 카메라 보정에 의해 내부 및 외부 파라미터를 추출하기 위한 카메라 보정부;
    다중 스테레오 영상의 배경차 및 프레임차를 이용하여 실시간으로 객체를 분할하기 위한 실시간 객체분할부;
    다중 스테레오 영상으로부터 깊이 정보를 복원하기 위하여, 스테레오 영상 내에서 정합점을 찾는 변이추정을 수행하기 위한 변이추정부;
    상기 카메라 보정부로부터 수신한 내부 및 외부 파라미터, 상기 실시간 객체분할부로부터 수신한 분할된 객체정보 및 상기 변이추정부로부터 수신한 변이정보를 이용하여, 실시간으로 3차원 공간상의 객체의 모델을 생성하기 위한 3차원 모델복원부; 및
    사용자가 요구하는 시점에서의 장면을 렌더링하기 위한 렌더링부를 포함하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  2. 제1항에 있어서,
    상기 카메라 보정부는,
    기지 패턴으로부터 투영행렬을 먼저 구하고, 이로부터 내부 및 외부 파라미터를 구하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  3. 제1항에 있어서,
    상기 실시간 객체분할부는,
    다중 스테레오 영상에서, 배경영상의 각 화소 중 그 최소값(I min (x,y)) 및 최대값(I max (x,y))을 산출하기 위한 최소/최대값 산출기;
    입력된 영상과 기존 산출된 배경 영상과의 차이를 비교하여 배경차를 연산하기 위한 배경차 연산기;
    연속되는 두 프레임간의 차영상을 연산하기 위한 프레임차 연산기;
    현재 프레임의 값이 소정의 조건을 만족하는 경우, 해당 영상을 초기 객체로 분할하기 위한 초기 객체 추출기;
    상기 초기 객체 추출기로부터 수신한 영상의 잡음을 제거하기 위한 필터링기; 및
    영역 내부의 빈 영역을 제거하여, 최종 전경영역을 추출하기 위한 윤곽추출기를 포함하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  4. 제3항에 있어서,
    상기 초기 객체 추출기는,
    현재 프레임의 값이 다음의 수학식 중 어느 하나를 만족하면 해당 영상을 초기 객체로 분할하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
    Figure 112007016991377-pat00011
    (Iout(x,y)는 현재 프레임 값이고, Imin(x,y)는 배경 영상의 각 화소값 중 최소값이며, Imax(x,y)는 배경영상의 화소값 중 최대값이고, Ifd(x,y)는 연속하는 두 프레임간의 차영상 화소값이며, Thtol 및 및 Thfd는 현재 픽셀을 전경 영상으로 분류하기 위한 기준치임)
  5. 제3항에 있어서,
    상기 윤곽추출기는,
    일정 크기의 탄성을 가진 라인을 영상의 한쪽 끝에서 반대 쪽으로 이동시키며 영역을 둘러싸게 되며, 라인의 탄성으로 인해 폭이 일정 크기 이하의 영역에는 침투하지 못하게 되는 과정을 상, 하, 좌, 우의 4방향에서 모두 수행하여, 4개의 결과에 모두 포함된 영역을 최종 객체 영역으로 추출하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  6. 제1항에 있어서,
    상기 변이추정부는,
    다중 스테레오 영상에 대하여 저역통과 필터링 및 영상 정렬을 수행하기 위한 전처리기;
    다중 스테레오 영상에 대하여 배경영역의 변이를 추정하기 위한 배경변이 추정기;
    다중 스테레오 영상에 대하여 실시간으로 전경영역의 변이를 추정하기 위한 전경변이 추정기; 및
    전경영역과 배경영역의 경계를 포함하고 있는 화소에 대하여, 전경변이와 배경변이 중 높은 신뢰도의 변이를 할당하기 위한 경계영역 변이추정기를 포함하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  7. 제6항에 있어서,
    상기 배경변이 추정기는,
    다중 스테레오 영상을 1/2로 다운 샘플링하여 B B(여기서 B는 카메라간의 거리임) 크기의 블록 단위로 변이를 추정하고, 블록 단위의 초기 변이를 기반으로 원영상에서 다시 영역 분할 기법을 사용하여 화소 단위의 미세 변이를 추정하고, 변이 평활화를 수행하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  8. 제6항에 있어서,
    상기 전경변이 추정기는,
    다중 스테레오 영상을 1/2로 다운 샘플링하여 B B 크기의 블록 단위로 변이를 추정하고, 블록 단위의 초기 변이를 기반으로 원영상에서 다시 영역 분할 기법을 사용하여 화소 단위의 미세 변이를 추정하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  9. 제8항에 있어서,
    상기 전경변이 추정기는,
    그 검색범위의 최대값(SRMax )이 다음 식에 의해 결정되는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
    SRMax = Min (dln, drn)
    (이때, dln 과 drn 는 동일한 행 내에서 추정 위치에서 각각 오른쪽과 왼쪽 방향으로 인접해 있는 배경영역의 변이임)
  10. 제8항에 있어서,
    상기 전경변이 추정기는,
    그 검색범위의 최소값(SRMin )이 다음 식에 의해 결정되는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
    SRMin = Max (dln, drn)
  11. 제6항에 있어서,
    상기 경계영역 변이추정기는,
    다음의 수학식에 의해 경계영역의 변이를 추정하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
    if ( |Ir(x,y)-Il(x+dfore,y)| < |Ir(x,y)-Il(x+dback,y)| )
    dfinal(x,y)=dfore(x,y)
    else
    dfinal(x,y)=dback(x,y)
    (이때, dback(x,y) 는 (x, y) 위치에서의 배경영역의 변이장의 변이를 의미하며, dfore(x,y) 는 동일한 위치에서의 전경영역의 변이장의 변이를 의미하고, Ir(x,y) 및 Ir(x,y)는 우영상 및 좌영상을 의미함)
  12. 제1항에 있어서,
    상기 3차원 모델복원부는,
    각 카메라에서 추출된 객체의 윤곽정보와 변이정보를 각 카메라의 파라미터에 의해 3차원 공간상으로 투사-투사된 정보들은 객체의 윤곽과 깊이 이외의 영역을 제거하여 최종적으로 객체 영역이 존재함-하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  13. 제 12항에 있어서,
    상기 3차원 모델복원부는,
    3차원 공간을 구성하는 요소인 복셀을 각 카메라에 투영하여 모델복원을 수행하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  14. 제13항에 있어서,
    3차원 공간상의 점(M(X, Y, Z))은 각 카메라의 영상(In )과 카메라의 투영행렬에 의해, 다음의 수학식과 같이 투영되는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
    Figure 112007016991377-pat00012
    (이때, Pn은 투영행렬로서,
    Figure 112007016991377-pat00056
    위의 같이 정의되고, [u,v,s]T는 2차원 좌표이며, [X,Y,Z,1]T는 3차원 공간상의 점 좌표임)
  15. 제13항에 있어서,
    3차원 공간상의 점(M)이 객체의 윤곽 내부에 투영되는 경우에, M이 투영점의 변이정보로부터 계산된 깊이보다 더 뒤쪽에 존재하는지 검사하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  16. 삭제
  17. 제12항에 있어서,
    상기 3차원 모델복원부는,
    복셀의 크기를 계층적으로 줄여가면서 모델링-8진 트리구조를 사용함-하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  18. 제1항에 있어서,
    상기 렌더링부는,
    객체영역에 대하여 실시간으로 업데이트하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 장치.
  19. 다중 스테레오 카메라로부터 수신한 다중 스테레오 영상 데이터에 대하여 실시간으로 3차원 모델을 생성하기 위한, 다중 스테레오 카메라를 이용한 3차원 모델링 방법에 있어서,
    다중 스테레오 영상을 수집하여, 카메라 보정에 의해 내부 및 외부 파라미터를 추출하는 단계(a);
    다중 스테레오 영상의 배경차 및 프레임차를 이용하여 실시간으로 객체를 분할하는 단계(b);
    다중 스테레오 영상으로부터 깊이 정보를 복원하기 위하여, 스테레오 영상 내에서 정합점을 찾는 변이추정을 수행하는 단계(c);
    상기 내부 및 외부 파라미터, 상기 실시간 객체분할부로부터 수신한 분할된 객체정보 및 상기 변이추정부로부터 수신한 변이정보를 이용하여, 실시간으로 3차원 공간상의 객체의 모델을 생성하는 단계(d); 및
    사용자가 요구하는 시점에서의 장면을 렌더링하는 단계(e)를 포함하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
  20. 제19항에 있어서,
    상기 단계(b)는,
    다중 스테레오 영상에서, 배경영상의 각 픽셀에 대한 화소값들 중 그 최소값(Imin (x,y)) 및 최대값(Imax (x,y))을 산출하는 단계;
    입력된 영상과 기존 산출된 배경 영상과의 차이를 비교하여 배경차를 연산하는 단계;
    수신되는 배경영상의 프레임을 지연하여, 연속되는 두 프레임간의 차영상을 연산하는 단계;
    현재 프레임의 값이 소정의 조건을 만족하는 경우, 해당 영상을 초기 객체로 분할하는 단계;
    상기 초기 객체 추출기로부터 수신한 영상의 잡음을 제거하는 단계; 및
    영역 내부의 빈 영역을 제거하여, 최종 전경영역을 추출하는 단계를 포함하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
  21. 제19항에 있어서,
    상기 단계(c)는,
    다중 스테레오 영상에 대하여 저역통과 필터링 및 영상 정렬을 수행하는 단계;
    다중 스테레오 영상에 대하여 배경영역의 변이를 추정하는 단계;
    다중 스테레오 영상에 대하여 실시간으로 전경영역의 변이를 추정하는 단계;
    전경영역과 배경영역의 경계를 포함하고 있는 화소에 대하여, 전경변이와 배경변이 중 높은 신뢰도의 변이를 경계영역에 할당하는 단계를 포함하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
  22. 제21항에 있어서,
    상기 전경영역의 변이를 추정하는 단계는,
    다중 스테레오 영상을 1/2로 다운 샘플링하여 B B 크기의 블록 단위로 변이 를 추정하고, 블록 단위의 초기 변이를 기반으로 원영상에서 다시 영역 분할 기법을 사용하여 화소 단위의 미세 변이를 추정하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
  23. 제22항에 있어서,
    상기 전경영역의 변이를 추정하는 단계는,
    그 검색범위의 최대값(SR Max )이 다음 식에 의해 결정되는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
    SR Max = Min ( d ln , d rn )
    (이때, d ln 과 d rn 는 동일한 행 내에서 추정 위치에서 각각 오른쪽과 왼쪽 방향으로 인접해 있는 배경영역의 변이임)
  24. 제22항에 있어서,
    상기 전경영역의 변이를 추정하는 단계는,
    그 검색범위의 최소값(SR Min )이 다음 식에 의해 결정되는 것을 특징으로 하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
    SR Min = Max ( d ln , d rn )
  25. 제21항에 있어서,
    상기 경계영역에 할당하는 단계는,
    다음의 수학식에 의해 경계영역의 변이를 추정하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
    if ( |Ir(x,y)-Il(x+dfore,y)| < |Ir(x,y)-Il(x+dback,y)| )
    dfinal(x,y)=dfore(x,y)
    else
    dfinal(x,y)=dback(x,y)
    (이때, dback(x,y) 는 (x, y) 위치에서의 배경영역의 변이장의 변이를 의미하며, dfore(x,y) 는 동일한 위치에서의 전경영역의 변이장의 변이를 의미하고, Ir(x,y) 및 Ir(x,y)는 우영상 및 좌영상을 의미함)
  26. 제19항에 있어서,
    상기 단계(d)는,
    각 카메라에서 추출된 객체의 윤곽정보와 변이정보를 각 카메라의 파라미터 에 의해 3차원 공간상으로 투사-투사된 정보들은 객체의 윤곽과 깊이 이외의 영역을 제거하여 최종적으로 객체 영역이 존재함-하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
  27. 제 26항에 있어서,
    상기 단계(d)는,
    3차원 공간을 구성하는 요소인 복셀을 각 카메라에 투영하여 모델복원을 수행하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
  28. 제27항에 있어서,
    3차원 공간상의 점(M(X, Y, X))은 각 카메라의 영상(In )과 카메라의 투영행렬에 의해, 다음의 수학식과 같이 투영되는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
    Figure 112007016991377-pat00014
    (이때, Pn은 투영행렬로서,
    Figure 112007016991377-pat00057
    위의 같이 정의되고, [u,v,s]T는 2차원 좌표이며, [X,Y,Z,1]T는 3차원 공간상의 점 좌표임)
  29. 제27항에 있어서,
    3차원 공간상의 점(M)이 객체의 윤곽 내부에 투영되는 경우에, M이 투영점의 변이정보로부터 계산된 깊이보다 더 뒤쪽에 존재하는지 검사하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
  30. 삭제
  31. 제26항에 있어서,
    상기 단계(d)는,
    복셀의 크기를 계층적으로 줄여가면서 모델링-8진 트리구조를 사용함-하는 것을 특징으로 하는 다중 스테레오 카메라를 이용한 3차원 모델링 방법.
KR1020050063858A 2005-07-14 2005-07-14 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법 KR100748719B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050063858A KR100748719B1 (ko) 2005-07-14 2005-07-14 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050063858A KR100748719B1 (ko) 2005-07-14 2005-07-14 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법

Publications (2)

Publication Number Publication Date
KR20070009899A KR20070009899A (ko) 2007-01-19
KR100748719B1 true KR100748719B1 (ko) 2007-08-13

Family

ID=38011374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050063858A KR100748719B1 (ko) 2005-07-14 2005-07-14 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법

Country Status (1)

Country Link
KR (1) KR100748719B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953076B1 (ko) 2007-12-13 2010-04-13 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR100969576B1 (ko) 2009-12-17 2010-07-12 (주)유디피 카메라 파라미터 캘리브레이션 장치 및 방법
US8577089B2 (en) 2010-06-14 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for depth unfolding based on multiple depth images
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus
KR101929042B1 (ko) 2012-10-30 2018-12-14 엘지디스플레이 주식회사 디스패러티 산출부와 이를 포함한 입체영상 표시장치, 및 디스패러티 산출방법
US20210192704A1 (en) * 2019-01-25 2021-06-24 Beijing Ainfinit Technology Co., Ltd Three-dimensional reconstruction method and apparatus
US11954832B2 (en) * 2019-01-25 2024-04-09 Beijing Ainfinit Technology Co., Ltd Three-dimensional reconstruction method and apparatus

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125510B2 (en) 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
KR100922429B1 (ko) * 2007-11-13 2009-10-16 포항공과대학교 산학협력단 스테레오 영상을 이용한 사람 검출 방법
KR100924716B1 (ko) * 2007-12-24 2009-11-04 연세대학교 산학협력단 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
KR101282196B1 (ko) 2009-12-11 2013-07-04 한국전자통신연구원 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법
KR101129713B1 (ko) * 2010-05-28 2012-03-28 광운대학교 산학협력단 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체
KR101137110B1 (ko) * 2010-08-23 2012-04-19 (주)넥스리얼 영상 내 물체 감시 방법 및 장치
KR101893769B1 (ko) * 2012-01-19 2018-08-31 삼성전자주식회사 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법
KR101284136B1 (ko) * 2012-02-28 2013-07-10 한국과학기술원 3차원 물체 복원 자동화를 위한 카메라 파라미터 추정 및 물체 추출 시스템
KR101975971B1 (ko) * 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
US8462155B1 (en) * 2012-05-01 2013-06-11 Google Inc. Merging three-dimensional models based on confidence scores
KR102009292B1 (ko) 2012-05-11 2019-08-12 한국전자통신연구원 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법
KR101901184B1 (ko) 2012-09-20 2018-09-21 삼성전자주식회사 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
KR101614874B1 (ko) 2014-08-08 2016-04-22 에쓰온(주) 지능형 3차원 씨씨티브이 카메라 영상 처리장치
KR101593316B1 (ko) 2014-08-18 2016-02-11 경희대학교 산학협력단 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치
KR101995411B1 (ko) * 2017-12-14 2019-07-02 주식회사 아이미마인 신체 모델 생성 장치 및 방법
KR102273836B1 (ko) * 2019-12-31 2021-07-05 한국해양대학교 산학협력단 두 개의 스테레오 비전 방식에 의한 물체의 3 차원 형상 측정 정도 향상
CN113298868B (zh) * 2021-03-17 2024-04-05 阿里巴巴创新公司 模型建立方法、装置、电子设备、介质及程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980028347A (ko) * 1996-10-19 1998-07-15 장근호 움직임예측 및 시차예측을 적용하는 경우의 화질열화억제를 위한 입체동영상의 압축방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980028347A (ko) * 1996-10-19 1998-07-15 장근호 움직임예측 및 시차예측을 적용하는 경우의 화질열화억제를 위한 입체동영상의 압축방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
공개특허공보 10-1998-0010869호(1998.04.30.자 공개)
공개특허공보 10-1998-0028347호(1998.07.15.자 공개)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953076B1 (ko) 2007-12-13 2010-04-13 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR100969576B1 (ko) 2009-12-17 2010-07-12 (주)유디피 카메라 파라미터 캘리브레이션 장치 및 방법
US8577089B2 (en) 2010-06-14 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for depth unfolding based on multiple depth images
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus
KR101929042B1 (ko) 2012-10-30 2018-12-14 엘지디스플레이 주식회사 디스패러티 산출부와 이를 포함한 입체영상 표시장치, 및 디스패러티 산출방법
US20210192704A1 (en) * 2019-01-25 2021-06-24 Beijing Ainfinit Technology Co., Ltd Three-dimensional reconstruction method and apparatus
US11954832B2 (en) * 2019-01-25 2024-04-09 Beijing Ainfinit Technology Co., Ltd Three-dimensional reconstruction method and apparatus

Also Published As

Publication number Publication date
KR20070009899A (ko) 2007-01-19

Similar Documents

Publication Publication Date Title
KR100748719B1 (ko) 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
KR102504246B1 (ko) 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들
EP2087466B1 (en) Generation of depth map for an image
EP2033164B1 (en) Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8878835B2 (en) System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images
KR101613721B1 (ko) ２ｄ 이미지 시퀀스들로부터 ３ｄ 장면을 재구성하기 위한방법
US5734743A (en) Image processing method and apparatus for block-based corresponding point extraction
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
US20080228449A1 (en) Systems and methods for 2-d to 3-d conversion using depth access segments to define an object
US20080225045A1 (en) Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion
US20080225042A1 (en) Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters
US20080226128A1 (en) System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images
WO2008112762A1 (en) Systems amd methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
WO2008112771A2 (en) Systems and methods for filling light in frames during 2-d to 3-d image conversion
WO2008112781A2 (en) Systems and methods for treating occlusions in 2-d to 3-d image conversion
Wang et al. Disparity manipulation for stereo images and video
CN116051980B (zh) 基于倾斜摄影的建筑识别方法、系统、电子设备及介质
Kubota et al. All-focused light field rendering.
CN112637582B (zh) 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法
Liu Improving forward mapping and disocclusion inpainting algorithms for depth-image-based rendering and geomatics applications
CN111066065B (zh) 用于混合深度正则化的系统和方法
KR102653808B1 (ko) 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들
Ghys et al. Graph-based multi-resolution temporal-based face reconstruction
KR20130101430A (ko) 스테레오 영상에서 가상 정면평행 평면 투영에 기반한 효율적인 시청자 중심 깊이 조정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130718

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140602

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150922

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee