KR20110133677A - 3ｄ 영상 처리 장치 및 그 방법 - Google Patents

3ｄ 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20110133677A
KR20110133677A KR1020100053187A KR20100053187A KR20110133677A KR 20110133677 A KR20110133677 A KR 20110133677A KR 1020100053187 A KR1020100053187 A KR 1020100053187A KR 20100053187 A KR20100053187 A KR 20100053187A KR 20110133677 A KR20110133677 A KR 20110133677A
Authority
KR
South Korea
Prior art keywords
color
images
feature points
depth
coordinate system
Prior art date
Application number
KR1020100053187A
Other languages
English (en)
Inventor
최욱
임화섭
이승규
이기창
강병민
김용선
김도균
김창용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100053187A priority Critical patent/KR20110133677A/ko
Publication of KR20110133677A publication Critical patent/KR20110133677A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

3D 영상 처리 장치 및 그 방법이 제공된다. 일 측면에 따른 3D 영상 처리 장치는 하나의 카메라에 의해 촬영된 복수 개의 컬러 영상들과 복수 개의 깊이 영상들을 하나의 기준 좌표계를 기준으로 융합하여 다시점의 Real 3D 비디오를 생성할 수 있다.

Description

3Ｄ 영상 처리 장치 및 그 방법{Method and Apparatus for Processing 3D Image}
기술분야는 3D 영상 처리 장치 및 그 방법에 관한 것으로, 보다 상세하게는, 복수 개의 컬러-깊이 영상으로부터 촬영되지 않은 시점의 컬러-깊이 영상을 포함하는 Real 3D 비디오를 생성할 수 있는 3D 영상 처리 장치 및 그 방법에 관한 것이다.
3D 영상은 관찰자가 보는 시점을 변경할 때마다 다른 방향에서 영상을 보는 것과 같은 효과를 제공하기 위해, 다양한 시점에서 촬영한 컬러 영상과 깊이 영상을 필요로 한다. 다양한 시점에서 영상을 촬영하기 위해, 일반적으로 여러 대의 칼리브레이션된 컬러 카메라들과 깊이 카메라들을 필요로 한다. 또한, 3D 영상을 생성하기 위해, 기존에는 여러 대의 컬러 카메라들과 깊이 카메라들에 의해 촬영된 컬러 영상들과 깊이 영상들을 정합하여 3D 영상을 생성한다.
일 측면에 있어서, 촬영된 복수 개의 컬러 영상들과 복수 개의 깊이 영상들을 수신하는 수신부; 상기 복수 개의 깊이 영상들에 위치하는 동일한 3D(dimension) 특징점들을 이용하여, 상기 복수 개의 컬러 영상들과 상기 복수 개의 깊이 영상들에 대응하는 가상 카메라들의 위치와 방향을 추정하는 추정부; 상기 추정된 가상 카메라들의 위치와 방향을 이용하여 상기 3D 특징점들을 하나의 기준 좌표계로 융합하는 융합부; 및 상기 하나의 기준 좌표계에서 표현되는 3D 특징점들을 상기 복수 개의 컬러 영상들에 투영하여 텍스쳐 매핑하는 텍스쳐 매핑부를 포함하는 3D 영상 처리 장치가 제공된다.
상기 추정부는, 상기 복수 개의 컬러 영상들과 상기 복수 개의 깊이 영상들 중, 연속하는 두 컬러 영상들로부터 동일한 2D 특징점들을 추출하고, 상기 추출된 2D 특징점들에 대응하는 상기 3D 특징점들을 상기 연속하는 두 컬러 영상들에 대응하는 두 깊이 영상들로부터 추출하며, 상기 추출된 3D 특징점들을 3D 대응쌍으로 정하는 대응쌍 추출부를 포함한다.
상기 추정부는, 상기 3D 대응쌍이 복수 개 산출되면, 상기 산출된 복수 개의 3D 대응쌍들을 이용하여, 상기 연속하는 두 컬러 영상들 중 하나에 대응하는 가상 카메라의 위치와 방향을 임시 기준 좌표계를 기준으로 추정하는 제1위치 및 방향 추정부를 더 포함한다.
상기 임시 기준 좌표계는 상기 연속하는 두 컬러 영상들 중 이전에 촬영된 컬러 영상 또는 이후에 촬영된 컬러 영상의 좌표계이다.
상기 추정부는, 상기 추정된 가상 카메라의 위치와 방향을 이용하여 상기 3D 특징점들을 상기 두 깊이 영상들 중 하나에 투영하고, 상기 3D 특징점들이 상기 두 깊이 영상들 중 하나에 투영된 점들의 좌표가 상기 3D 특징점들과 일치하도록 상기 3D 대응쌍들의 좌표 및 상기 가상 카메라의 위치와 방향을 보정하는 보정부를 더 포함한다.
상기 추정부는, 상기 3D 특징점들을 상기 기준 좌표계의 좌표로 이동하고, 상기 두 컬러 영상들에 대응하는 가상 카메라들의 위치와 방향을 상기 기준 좌표계를 기준으로 산출하되, 상기 추정된 가상 카메라의 위치와 방향을 이용하여 산출하는 제2위치 및 방향 추정부를 더 포함한다.
상기 융합부는, 상기 복수 개의 깊이 영상들에 위치하는 모든 3D 점들을 상기 기준 좌표계로 이동하여 상기 복수 개의 깊이 영상들을 하나의 기준 깊이 영상을 생성하고, 상기 복수 개의 깊이 영상들 간의 깊이값이 일치하도록 상기 추정된 가상 카메라들의 위치와 방향을 보정한다.
상기 텍스쳐 매핑부는, 상기 기준 좌표계에서 표현되는 3D 특징점들 중 현재 처리할 타겟 3D 특징점을 상기 복수 개의 컬러 영상들에 투영하고, 상기 복수 개의 컬러 영상들에 투영된 컬러값들을 확인하며, 상기 확인된 컬러값들의 평균을 상기 타겟 3D 특징점의 컬러로 정한다.
다른 측면에 있어서, 촬영된 복수 개의 컬러 영상들과 복수 개의 깊이 영상들을 수신하는 단계; 상기 복수 개의 깊이 영상들에 위치하는 동일한 3D(dimension) 특징점들을 이용하여, 상기 복수 개의 컬러 영상들과 상기 복수 개의 깊이 영상들에 대응하는 가상 카메라들의 위치와 방향을 추정하는 단계; 상기 추정된 가상 카메라들의 위치와 방향을 이용하여 상기 3D 특징점들을 하나의 기준 좌표계로 융합하는 단계; 및 상기 하나의 기준 좌표계에서 표현되는 3D 특징점들을 상기 복수 개의 컬러 영상들에 투영하여 텍스쳐 매핑하는 단계를 포함하는 3D 영상 처리 방법이 제공된다.
상기 추정하는 단계는, 상기 복수 개의 컬러 영상들과 상기 복수 개의 깊이 영상들 중, 연속하는 두 컬러 영상들로부터 동일한 2D 특징점들을 추출하는 단계; 상기 추출된 2D 특징점들에 대응하는 상기 3D 특징점들을 상기 연속하는 두 컬러 영상들에 대응하는 두 깊이 영상들로부터 추출하는 단계; 상기 추출된 3D 특징점들을 3D 대응쌍으로 정하는 단계를 포함한다.
상기 추정하는 단계는, 상기 3D 대응쌍이 복수 개 산출되면, 상기 산출된 복수 개의 3D 대응쌍들을 이용하여, 상기 연속하는 두 컬러 영상들 중 하나에 대응하는 가상 카메라의 위치와 방향을 임시 기준 좌표계를 기준으로 추정하는 단계를 더 포함한다.
상기 추정하는 단계는, 상기 추정된 가상 카메라의 위치와 방향을 이용하여 상기 3D 특징점들을 상기 두 깊이 영상들 중 하나에 투영하는 단계; 상기 3D 특징점들이 상기 두 깊이 영상들 중 하나에 투영된 점들의 좌표가 상기 3D 특징점들과 일치하도록 상기 3D 대응쌍들의 좌표 및 상기 가상 카메라의 위치와 방향을 보정하는 단계를 더 포함한다.
상기 추정하는 단계는, 상기 3D 특징점들을 상기 기준 좌표계의 좌표로 이동하고, 상기 두 컬러 영상들에 대응하는 가상 카메라들의 위치와 방향을 상기 기준 좌표계를 기준으로 산출하되, 상기 추정된 가상 카메라의 위치와 방향을 이용하여 산출하는 단계를 더 포함한다.
상기 융합하는 단계는, 상기 복수 개의 깊이 영상들에 위치하는 모든 3D 점들을 상기 기준 좌표계로 이동하여 상기 복수 개의 깊이 영상들을 하나의 기준 깊이 영상을 생성하는 단계; 상기 복수 개의 깊이 영상들 간의 깊이값이 일치하도록 상기 추정된 가상 카메라들의 위치와 방향을 보정하는 단계를 더 포함한다.
상기 텍스쳐 매핑하는 단계는, 상기 기준 좌표계에서 표현되는 3D 특징점들 중 현재 처리할 타겟 3D 특징점을 상기 복수 개의 컬러 영상들에 투영하는 단계; 상기 투영에 의해 상기 복수 개의 컬러 영상들에 매핑되는 컬러값들을 확인하는 단계; 및 상기 확인된 컬러값들의 평균을 상기 타겟 3D 특징점의 컬러로 정하는 단계를 포함한다.
3D 영상 처리 장치 및 그 방법에 의하면, 한 대의 컬러-깊이 카메라만을 사용하여 Real 3D 비디오를 생성하므로, 다수의 카메라를 구비하지 않아도 된다.
또한, 복수 개의 컬러-깊이 비디오를 연결함으로써, field-of-view의 증대 효과 및 깊이 데이터의 보정 효과를 제공할 수 있다.
또한, Real 3D 비디오를 이용하여, 임의의 카메라 위치와 방향에서 획득한 효과의 컬러-깊이 영상을 생성할 수 있다.
또한, Real 3D 비디오를 생성함으로써 임의의 시점에 대응하는 컬러-깊이 영상 중 임의 위치에 가상 물체를 추가표시할 수 있다.
도 1은 3D 영상 처리 장치의 구성 예를 도시한 블록도이다.
도 2는 카메라가 타겟 영상, 즉, 타겟 영상을 연속적으로 촬영하는 일 예를 설명하기 위한 도면이다.
도 3은 연속적으로 촬영된 컬러-깊이 영상들의 일 예를 도시한 도면이다.
도 4는 두 컬러-깊이 영상들로부터 추출된 3D 대응쌍의 예를 보여준다.
도 5는 3D 대응쌍을 이루는 각 3D 대응점이 이웃하는 컬러-깊이 영상에 투영되는 예를 보여주는 도면이다.
도 6은 컬러-깊이 영상의 모든 3D 점을 이용하여 카메라 위치 및 방향, 그리고, 컬러-깊이 영상의 모든 3D 점을 보정하는 방법을 설명하기 위한 도면이다.
도 7은 N+1개의 깊이 영상들을 융합한 기준 깊이 영상을 도시한 도면이다.
도 8a 내지 도 8d는 임의 시점에서 생성되는 Real 3D 비디오의 일 예를 보여주는 도면이다.
도 9는 3D 영상 처리 장치에 의한 3D 영상 처리 방법을 설명하기 위한 흐름도이다.
도 10은 도 9의 920단계를 구체화한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 3D(Dimension) 영상 처리 장치의 구성 예를 도시한 블록도이다.
도 1에 도시된 3D 영상 처리 장치(100)는 하나의 카메라로 촬영한 컬러-깊이 비디오로부터 Read 3D 비디오를 생성할 수 있다. 상기 카메라는 동일 시점에서 동일 초점 거리로 컬러 영상과 깊이 영상을 동시에 획득할 수 있다. 즉, 상기 카메라는 컬러 영상의 매 픽셀마다 해당 픽셀의 컬러값과 해당 픽셀에 투영된 점의 3D 좌표를 동시에 획득할 수 있다.
상기 컬러-깊이 비디오는 일정 시간 동안 임의 시간 간격으로 연속적으로 촬영한 컬러-깊이 영상들의 집합을 의미한다. Read 3D 비디오는 연속적으로 촬영된 컬러-깊이 영상들을 하나의 연결된 형태로 이어 붙인 결과물이다. 즉, Read 3D 비디오는 원래의 카메라가 가지는 시계(Field-of-view)보다 넓은 영역에 대해서 3D 정보를 가지는 파노라마 영상을 의미할 수 있으며, 촬영되지 않은 시점을 포함하는 다시점의 3D 영상들로 이루어질 수 있다.
도 1을 참조하면, 3D 영상 처리 장치(100)는 수신부(110), 추정부(120), 융합부(130), 텍스쳐 매핑부(140) 및 다시점 영상 생성부(150)를 포함한다.
1. 복수 개의 컬러-깊이 영상들 수신
수신부(110)는 하나의 카메라를 통해 촬영되는 컬러-깊이 비디오, 즉, 복수 개의 컬러-깊이 영상들(I0, I1, I2, …, IN)을 카메라로부터 수신하여, 추정부(120)로 제공한다. 카메라에 의해 컬러-깊이 영상들(I0, I1, I2, …, IN)을 획득한 시각은 t0, t1, …, tN으로 표현한다.
도 2는 카메라가 타겟 영상을 연속적으로 촬영하는 일 예를 설명하기 위한 도면, 도 3은 연속적으로 촬영된 컬러-깊이 영상들의 일 예를 도시한 도면이다.
도 2 및 도 3을 참조하면, 카메라(C)는 동일한 타겟 영상을 t0, t1, t3 및 t3 시각에서 촬영하여, 컬러-깊이 영상들(I0, I1, I2 및 I3)을 순차적으로 획득하였다. 컬러-깊이 영상들(I0, I1, I2 및 I3)은 각각 컬러 영상과 깊이 영상으로 이루어진다.
카메라는 3D 영상 처리 장치(100)에 구비되거나 분리될 수 있다. 카메라는 내부적으로 칼리브레이션이 되어 있다고 가정한다.
2. 카메라의 위치 및 방향(R, T) 추정
추정부(120)는 복수 개의 깊이 영상들에 위치하는 동일한 3D 특징점들을 이용하여, 복수 개의 컬러 영상들과 복수 개의 깊이 영상들에 대응하는 가상 카메라들의 위치와 방향을 추정할 수 있다. 가상 카메라들의 위치와 방향은 복수 개의 깊이 영상들을 촬영한 시점을 의미한다.
이하에서는 복수 개의 컬러 영상들과 복수 개의 깊이 영상들, 즉, 복수 개의 컬러-깊이 영상들 중, 연속적으로 촬영된 두 컬러-깊이 영상들(In-1, In)을 예로 들어, 추정부(120)의 동작을 설명한다. 두 컬러-깊이 영상들(In, In-1)은 서로 다른 카메라 위치 및 방향에서 촬영된다.
두 컬러-깊이 영상들(In-1, In)을 융합하기 위해서는 tn-1에서 타겟 영상을 촬영한 카메라 위치 및 방향을 기준으로 tn에서의 상대적인 카메라 위치 및 방향이 추정되어야 한다. 즉, tn-1에서의 카메라 좌표계를 tn에서의 카메라 좌표계로 변환해야 한다. 카메라의 상대적인 위치 및 방향, 즉, 좌표계 변환은 3차원 회전(R: Rotation matrix)과 평행 이동(T: Translation vector)으로 표현될 수 있으며, 이는 [수학식 1]과 같이 나타낼 수 있다.
Figure pat00001
Figure pat00002
[수학식 1]에서, X n과 X n-1은 3D 장면 상에 위치하는 점 X가 시각 tn과 tn-1에 각각 촬영된 In과 In-1에서 관측된 좌표를 나타낸다. R n-1→n은 X n-1을 tn에서의 카메라 좌표계로 변환하기 위해 3D 회전 변환하는 것을 의미한다. 또한, T n-1→n은 3차원 회전된 X n-1을 평행 이동하는 것을 의미한다. X n은 X n-1을 tn에서의 카메라 좌표계로 변환한 후의 3D 좌표이다. 기준 좌표계가 시각 t0의 카메라 좌표계인 경우, 추정부(120)는 X n이 기준 좌표계에서 표현된 X를　[수학식 2]를 이용하여 구할 수 있다.
Figure pat00003
즉, 모든 이웃한 시각 tn과 tn-1에 대해서 R n-1→n과 T n-1→n을 구하면, X n이 기준 좌표계에서 표현된 X를 구할 수 있으므로, 컬러-깊이 비디오에서 관측된 모든 3D 데이터를 하나의 기준 좌표계에서 융합할 수 있다.
이를 위하여, 추정부(120)는 대응쌍 추출부(121), 제1위치 및 방향 추정부(123), 보정부(125) 및 제2위치 및 방향 추정부(127)를 포함한다.
대응쌍 추출부(121)는 두 컬러-깊이 영상들(In-1, In) 간에 R n-1?n과 T n-1?n를 추정하기 위해, 먼저, 두 컬러-깊이 영상들(In-1, In)의 두 컬러 영상들로부터 동일한 2D 특징점들(xn-1, xn)을 추출한다. 2D 특징점은 컬러 영상에 위치하며 이미지의 코너와 같이 색상이 두 방향 이상으로 변하거나 또는 에지와 같이 색상이 한 방향으로 변하는 점이다.
그리고, 대응쌍 추출부(121)는 3D 대응쌍을 추출한다. 이를 위하여, 대응쌍 추출부(121)는 두 컬러-깊이 영상들(In-1, In)에서 컬러 영상들의 좌표값으로부터 2D 대응쌍 {(x n i, x n-1 i)|i=1,...,M}을 구할 수 있다. 2D 대응쌍은 위치는 다르나 동일한 픽셀을 나타내는 좌표들이다. 그리고, 대응쌍 추출부(121)는 In과 In-1에서 각각의 2D 대응점(x n i, x n-1 i)의 좌표에 해당하는 픽셀에서의 3D 좌표를 읽어와 3D 대응쌍 {(X n i, X n-1 i)|i=1,...,M}으로 정할 수 있다.
도 4는 두 컬러-깊이 영상들(In-1, In)로부터 추출된 3D 대응쌍의 예를 보여준다.
도 4를 참조하면, 대응쌍 추출부(121)는 서로 동일한 곳을 나타내는 2D 특징점들(xn-1, xn)을 두 컬러 영상들로부터 추출한다. 그리고, 대응쌍 추출부(121)는 추출된 2D 특징점들(xn-1 i, xn i)에 대응하는 3D 특징점들(X n-1 i, X n i)을 두 컬러 영상들에 대응하는 두 깊이 영상들로부터 추출한다. 대응쌍 추출부(121)는 추출된 3D 특징점들(X n-1 i, X n i)을 3D 대응쌍으로 정한다.
상술한 과정에 의해 복수 개의 3D 대응쌍이 추출되면, 제1위치 및 방향 추정부(123)는 산출된 복수 개의 3D 대응쌍들을 이용하여, 두 컬러 영상들 중 하나에 대응하는 가상 카메라의 위치와 방향을 임시 기준 좌표계를 기준으로 추정할 수 있다. 즉, 제1위치 및 방향 추정부(123)는 R n-1→n과 T n-1→n를 추정할 수 있다. 임시 기준 좌표계는 두 컬러 영상들 중 이전 또는 이후에 촬영된 컬러 영상의 좌표계이다.
예를 들어, 제1위치 및 방향 추정부(123)는 복수 개의 3D 대응쌍 중 3개 이상의 3D 대응쌍을 랜덤하게 추출하고, R n-1→n과 T n-1→n를 추정할 수 있다. R n-1→n과 T n-1→n은 주지된 기술에 의해 추정될 수 있다.
제1위치 및 방향 추정부(123)는 추정된 R n-1→n과 T n-1→n의 대응관계의 정확도를 높이기 위하여, 랜덤 샘플링 방식을 추가로 사용할 수 있다. 이에 의해, 제1위치 및 방향 추정부(123)는 [수학식 3]의 관계를 만족시키는 Inlier 3D 대응쌍들을 추출할 수 있다.
Figure pat00004
Inlier 3D 대응쌍은 [수학식 3]의 조건을 만족하는 대응쌍을 의미한다. 제1위치 및 방향 추정부(123)의 동작에 대해서는 도 10을 참조하여 자세히 설명한다.
한편, 보정부(125)는 제1위치 및 방향 추정부(123)에서 추정된 가상 카메라의 위치와 방향(R n-1→n과 T n-1→n)을 이용하여 3D 특징점들(X n i, X n-1 i)을 두 깊이 영상들 중 반대편 깊이 영상에 투영하고, 3D 특징점들(X n i, X n-1 i)이 두 깊이 영상들 중 하나에 투영된 점들의 좌표가 3D 특징점들(X n i, X n-1 i)과 일치하도록 3D 대응쌍들의 좌표 및 가상 카메라의 위치와 방향(R n-1→n과 T n-1→n)을 보정할 수 있다. 이는, 카메라로 관측한 3D 점의 좌표들, 즉, 깊이 영상의 깊이값이 정확하지 않을 경우를 발생할 수 있는 오차를 보정하기 위함이다.
이를 위하여, 보정부(125)는 [수학식 4]의 목적 함수(Cost Function)을 최소화하는 {(X n i, X n-1 i)|i=1, …, M}과 R n-1→n과 T n-1→n을 추정하며, 결과적으로 보다 정확한 {(X n i, X n-1 i)|i=1, …, M}과 R n-1→n과 T n-1→n을 추정할 수 있다.
Figure pat00005
[수학식 4]에서 {(X n i, X n-1 i)|i=1, …, M}은 제1위치 및 방향 추정부(123)에서 추정된 Inlier 3D 대응쌍들로서, 두 컬러-깊이 영상들(In-1, In)에 위치한다. i는 대응쌍 추출부(121)에서 추출된 두 컬러-깊이 영상들(In-1, In) 간의 i번째 대응쌍을 나타내는 인덱스이다. 　y n-1 i는 X n i가 컬러-깊이 영상(In-1)에 투영된 2D 좌표이고, y n i는 X n-1 i이 컬러-깊이 영상(In)에 투영된 좌표이다. 도 5는 이러한 관계를 보여주는 도면이다. 즉, 도 5는 3D 대응쌍을 이루는 각 3D 대응점(X n i, X n-1 i)이 이웃하는 컬러-깊이 영상(In, 또는, In-1)에 투영되는 예를 보여주는 도면이다.
예를 들어, In-1의 컬러 영상에 있는 2D 대응점(xn-1 i)을 In-1의 깊이 영상에 투영하면, 3D 대응점은 X n-1 i이다. 보정부(125)는 3D 대응점(X n-1 i)을 제1위치 및 방향 추정부(123)에서 추정된 가상 카메라의 위치와 방향(R n-1→n과 T n-1→n)을 이용하여 In의 깊이 영상으로 좌표계 변환한다. 즉, 보정부(125)는
Figure pat00006
을 이용하여 좌표계 변환한다. 이 때, 대응하는 3D 대응점은 X n i이어야 한다. 그러나, 실제 좌표계 변환된 3D 대응점은 X n i가 아닌 Y n i이다. 보정부(125)는 변환된 3D 대응점(Y n i)을 In의 컬러 영상에 투영하며, 이 때 대응하는 2D 대응점은 x n i가 아닌 y n i이다.
이와 유사하게, In의 컬러 영상에 있는 2D 대응점(xn i)을 In의 깊이 영상에 투영하면, 이에 대응하는 3D 대응점은 X n i이다. 보정부(125)는 3D 대응점(X n i)을 가상 카메라의 위치와 방향(R n-1→n과 T n-1→n)을 이용하여 In-1의 깊이 영상으로 좌표계 역변환한다. 즉, 보정부(125)는
Figure pat00007
을 이용하여 좌표계 역변환한다. 이 때, 대응하는 3D 대응점은 X n-1 i이어야 한다. 그러나, 실제 좌표계 변환된 3D 대응점은 X n-1 i가 아닌 Y n-1 i이며, 2D 대응점은 x n-1 i가 아닌 y n-1 i이다.
따라서, 보정부(125)는 서로 대응하는 3D 대응점들(X n i, X n-1 i)이 서로 이웃하는 영상(In-1, In)에 투영된 좌표가 {x n-1 i, x n i}과 일치하도록, 3D 대응점들(X n i, X n-1 i)의 좌표, R n-1→n 및 T n-1→n을 보정한다. 즉, 보정부(125)는
Figure pat00008
과
Figure pat00009
이 각각 최소가 되도록 하는 3D 대응점들(X n i, X n-1 i)의 좌표, R n-1→n 및 T n-1→n을 찾는다.
보정부(125)에 의해 두 컬러-깊이 영상들(In-1, In)에 대해 {(X n i, X n-1 i)|i=1, …, M}, R n-1→n 및 T n-1→n이 보정되면, 제2위치 및 방향 추정부(127)는 3D 특징점들을 기준 좌표계의 좌표로 이동한다. 그리고, 제2위치 및 방향 추정부(127)는 두 컬러 영상들에 대응하는 가상 카메라들의 위치와 방향을 기준 좌표계를 기준으로 산출한다. 이 때, 제2위치 및 방향 추정부(127)는 제1위치 및 방향 추정부(123)에서 추정된 가상 카메라의 위치와 방향 또는 보정부(125)에서 보정된 가상 카메라의 위치와 방향을 이용한다.
즉, 제2위치 및 방향 추정부(127)는 컬러-깊이 영상(In)의 모든 3D 특징점(X n)을 기준 좌표계의 점(X)로 이동한다. 그리고, 제2위치 및 방향 추정부(127)는 [수학식 2]를 이용하여 R 0→n 및 T 0→n을 구하고, 다음 [수학식 5]의 목적 함수(Cost Function)을 최적화한다.
Figure pat00010
[수학식 5]에서 j는 기준 좌표계에서 표현되는 3D 점인 X의 인덱스, N+1은 촬영된 컬러-깊이 영상의 개수이다. X j는 3D 특징점(X n)이 기준 좌표계로 변환된 점이다. V(X j)는 3D 점(X j)가 표시되는 컬러-깊이 영상들의 집합을 나타낸다. 또한, R 0→n 및 T 0→n은 컬러-깊이 영상(I0)을 컬러-깊이 영상(In)으로 좌표계 변환하는데 사용된다.
제2위치 및 방향 추정부(127)는, '기준 좌표계의 3D 점(X j)이 컬러-깊이 영상(In)에 투영된 점의 좌표(yn j)'가 '좌표(yn j)와 대응하는 특징점의 좌표(xn j)'와 일치하도록, [수학식 5]의 최적화를 수행한다.
상술한 과정에 의해 매 시각 tn에서 촬영된 각 컬러-깊이 영상들에 대한 카메라 위치 및 방향이 추정될 수 있다.
3. 3D 데이터 융합
다시 도 1을 참조하면, 모든 컬러-깊이 영상들에는 추정부(120)에서 사용된 3D 특징점뿐만 아니라, 그 외 모든 픽셀들에 대해 3D 점의 좌표가 존재한다. 융합부(130)는 3D 특징점들을 포함하는 모든 3D 점들을 이용하여 카메라의 위치 및 방향을 보다 정확하게 추정한다. 그리고, 융합부(130)는 보다 정확히 추정된 카메라의 위치 및 방향을 이용하여 복수 개의 깊이 영상들을 하나의 깊이 영상으로 영상의 틀어짐 없이 융합한다.
이를 위하여, 융합부(130)는 추정부(120)에서 추정된 가상 카메라들의 위치와 방향(R 0→n, T 0→n)을 이용하여 복수 개의 컬러-깊이 영상들의 3D 특징점들을 하나의 기준 좌표계로 융합할 수 있다. 구체적으로, 융합부(130)는 복수 개의 깊이 영상들에 위치하는 모든 3D 점들을 기준 좌표계로 이동하여 하나의 기준 깊이 영상을 생성한다. 그리고, 융합부(130)는 복수 개의 깊이 영상들 간의 깊이값이 일치하도록, 추정된 가상 카메라들의 위치와 방향을 보정할 수 있다. 상기 모든 3D 점들은 추정부(120)에서 추출된 3D 특징점들을 포함한다.
이하에서는 도 6 및 [수학식 6]을 참조하여 융합부(130)의 동작을 자세히 설명한다.
먼저, 융합부(130)는 모든 컬러-깊이 영상들에서 관측된 모든 3D 점들을 [수학식 2]를 이용하여 기준 좌표계의 점으로 표현한다. 기준 좌표계의 점으로 표현된 모든 컬러-깊이 영상들의 모든 3D 점들은 {W i}라 한다.
도 6은 컬러-깊이 영상(In)의 모든 3D 점인 {Z n i}을 이용하여 카메라 위치 및 방향, 그리고, 컬러-깊이 영상(In)의 모든 3D 점을 보정하는 방법을 설명하기 위한 도면이다. 예를 들어, 융합부(130)는 컬러-깊이 영상(In)에서 관측된 3D 점들의 집합을 도 6에 도시된 바와 같이 기준 좌표계로 이동하여 기준 좌표계의 점으로 표현한다.
도 6을 참조하면, {Z n i}는 컬러-깊이 영상(In)에서 관측된 3D 점들의 집합, Z n i는 {Z n i} 중 i번째 3D 점, {W n i}는 [수학식 2]를 이용하여 기준 좌표계로 이동한 점들의 집합으로서, {W i}의 부분집합이다. {W n i}는 {Z n i}의 3D 대응점일 수 있다. W i {0, …, N}-n은 {W i}-{W n i}에 속하는 모든 3D 점들 중에서 W n i에　가장 근접한 점을 의미하며, {W i {0, …, N}-n}은 모든 W i {0, …, N}-n의 집합을 의미한다.
융합부(130)는 3D 점(Z n i)을 추정부(120)에서 추정된 가상 카메라들의 위치와 방향(R 0→n, T 0→n)을 이용하여 I0의 깊이 영상의 좌표계, 즉, 기준 좌표계의 좌표로 역변환한다. 즉, 융합부(130)는
Figure pat00011
을 이용하여 좌표계 역변환한다. 이에 의해 기준 좌표계를 기준으로 하나의 기준 깊이 영상이 생성된다.
그러나, 생성되는 기준 깊이 영상의 테두리에는 도 6에 도시된 바와 같이 왜곡이 발생한다. 이러한 문제를 해소하기 위하여, 융합부(130)는 [수학식 6]의 목적 함수(Cost Function)를 최소화하는 {Z n i}, R 0→n, T 0→n를 구할 수 있다.
Figure pat00012
여기서,
Figure pat00013
[수학식 6]에서, λ는 양의 상수이고, V(In)은 n 번째 컬러-깊이 영상(In)에서 관측 가능한 3D 점(X j)들의 집합이다.
[수학식 6]을 참조하면, 융합부(130)는 컬러-깊이 영상(In)에 대해서 {Z n i}, R 0→n, T 0→n를 순차적으로 변경하면서 목적 함수를 최소화하는 {Z n i}, R 0→n, T 0→n를 구할 수 있다. [수학식 6]의 목적 함수를 최소화함은
Figure pat00014
과
Figure pat00015
을 최소화하는 것을 의미하며, 이는 {Z n i}, R 0→n, T 0→n의 영향을 받는다. 따라서, [수학식 5]의 목적 함수를 최소화함으로써, 융합부(130)는 추정부(120)에서 추정된 R 0→n, T 0→n를 최대한 적게 보정하면서 최적의 {Z n i}, R 0→n, T 0→n를 추정할 수 있다.
융합부(130)는 컬러-깊이 영상들 각각에 대해서 [수학식 6]의 목적 함수를 최소화하는 최적의 {Z n i}, R 0→n, T 0→n를 추정할 수 있다. 융합부(130)는 최적의 {Z n i}, R 0→n, T 0→n를 이용하여 {Z n i}의 각 Z n i를 기준 좌표계로 이동한다. 모든 컬러-깊이 영상들에서 관측된 3D 좌표(Z n i)들에 대해 기준 좌표계로의 변환이 완료되면, 모든 깊이 영상들이 하나의 기준 깊이 영상으로 융합된다. 기준 좌표계에서 표시되는 하나의 기준 깊이 영상은 도 7에 도시된 바와 같이 왜곡이 해소되며, 모든 깊이 영상들을 이어 붙인 파노라마 효과를 갖는다.
4. 텍스쳐 매핑
융합부(130)에 의해 모든 깊이 영상들이 하나의 기준 깊이 영상으로 융합되면, 텍스쳐 매핑부(140)는 하나의 기준 좌표계에서 표현되는 3D 특징점들({W i})을 복수 개의 컬러 영상들에 투영하여 텍스쳐 매핑할 수 있다. 즉, 텍스쳐 매핑부(140)는 기준 깊이 영상에서 관측되는 3D 특징점들({W i})에 대해 컬러값을 정해준다.
이를 위하여, 텍스쳐 매핑부(140)는 기준 좌표계에서 표현되는 기준 깊이 영상의 3D 특징점들({W i}) 중 현재 처리할 타겟 3D 특징점(W i)을 복수 개의 컬러 영상들에 투영한다. 그리고, 텍스쳐 매핑부(140)는 투영에 의해 복수 개의 컬러 영상들에 매핑되는 컬러값들을 확인하며, 확인된 컬러값들의 평균을 타겟 3D 특징점(W i)의 컬러로 정할 수 있다. 이를 식으로 표현한 것이 [수학식 7]이다. 텍스쳐 매핑부(140)는 [수학식 7]을 이용하여 W i의 컬러를 산출할 수 있다.
Figure pat00016
V(W i)는 W i를 관측 가능한 깊이 영상들의 인덱스의 집합, 즉, 집합 V(W i)의 원소의 개수를 의미한다. w n i는 W i가 n번째 컬러 영상에 투영된 2D 점의 좌표를 의미한다. C(W i)는 1개 이상의 컬러 영상에서 관측되는 2D 점(wn i)의 컬러값 평균, C는 컬러를 의미한다.
도 7은 N+1개의 깊이 영상들을 융합한 기준 깊이 영상을 도시한 도면이다.
{W i}에 속하는 하나의 3D 점(W i)는 N+1개의 깊이 영상들 중 1개 이상의 깊이 영상에서 관측 가능하다. 이는, 곧, 3D 점(W i)에 대응하는 2D 점(wn i)는 1개 이상의 컬러 영상에서 관측 가능함을 의미한다. 도 7의 경우, 3D 점(W i)에 대응하는 2D 점들(w2 i, w0 i, w1 i, w3 i)은 4개의 컬러 영상에서 관측되었다. 따라서, 텍스쳐 매핑부(140)는 2D 점들(w2 i, w0 i, w1 i, w3 i)의 컬러값 평균을 3D 점(W i)의 컬러값으로 정한다. 이러한 과정을 통해, 3D 점(W i)은 전체적으로 통일된 느낌의 컬러를 갖게 된다.
5. Real 3D 비디오 생성
상술한 바와 같이, 복수 개의 컬러-깊이 비디오가 입력되면, 다시점 영상 생성부(150)는 기준 깊이 영상에서 관측되는 3D 점들과 이 3D 점들의 컬러값을 합쳐 Real 3D 비디오를 생성하여 출력할 수 있다. 또한, 다시점 영상 생성부(150)는 생성된 Real 3D 비디오로부터, 복수 개의 컬러-깊이 비디오가 촬영되지 않은 임의 시점, 즉, 임의 카메라 위치 및 방향에 대응하는 컬러-깊이 영상을 생성할 수 있다.
도 8a는 카메라가 촬영한 타겟 영상이며, 도 8b는 융합부(130)에 의해 하나의 기준 좌표계로 융합된 기준 깊이 영상과, 텍스쳐 매핑부(140)에 의해 기준 깊이 영상에 컬러가 부여된 기준 컬러 영상이다. 다시점 영상 생성부(150)는 도 8b에 도시된 기준 컬러 영상과 기준 깊이 영상을 합쳐 파노라마 효과를 가지는 Real 3D 비디오를 생성할 수 있다. 기준 컬러 영상은 융합부()에서 융합될 수 있다. 또한, 다시점 영상 생성부(150)는 최적의 {Z n i}, R 0→n, T 0→n를 이용하여 도 8c 및 도 8d와 같이 타겟 영상이 촬영되지 않은 임의 시점에서의 Real 3D 비디오를 생성할 수 있다.
도 9는 3D 영상 처리 장치에 의한 3D 영상 처리 방법을 설명하기 위한 흐름도이다.
도 9의 3D 영상 처리 방법은 도 1을 참조하여 설명한 3D 영상 처리 장치(100)에 의해 구현될 수 있다.
910단계에서, 3D 영상 처리 장치는 하나의 카메라에 의해 촬영된 복수 개의 컬러-깊이 영상들을 수신할 수 있다.
920단계에서, 3D 영상 처리 장치는 복수 개의 깊이 영상들에 위치하는 동일한 3D 특징점들 및 [수학식 3] 내지 [수학식 5]를 이용하여, 복수 개의 컬러 영상들과 복수 개의 깊이 영상들에 대응하는 가상 카메라들의 위치와 방향(R 0→n, T 0→n)을 추정할 수 있다. 가상 카메라들의 위치와 방향(R 0→n, T 0→n)은 복수 개의 깊이 영상들을 촬영한 시점을 의미하며, 기준 좌표계를 기준으로 추정된다.
930단계에서, 3D 영상 처리 장치는 920단계에서 추정된 가상 카메라들의 위치와 방향(R 0→n, T 0→n) 및 [수학식 6]을 이용하여 복수 개의 깊이 영상들에서 관측되는 3D 특징점들을 하나의 기준 좌표계로 융합할 수 있다.
940단계에서, 3D 영상 처리 장치는 930단계에서 모든 깊이 영상들이 하나의 기준 깊이 영상으로 융합되면, 기준 좌표계에서 표현되는(즉, 기준 깊이 영상에서 관측되는) 3D 특징점들을 복수 개의 컬러 영상들에 투영하여 텍스쳐 매핑할 수 있다. 이 때, 3D 영상 처리 장치는 컬러 영상들에 투영된 점의 컬러값들의 평균을 [수학식 7]을 이용하여 산출하고, 산출된 평균을 3D 특징점들의 컬러값으로 정할 수 있다.
950단계에서, 3D 영상 처리 장치는 하나로 합쳐진 기준 깊이 영상과 기준 컬러 영상을 융합하여 카메라에 의해 실제 촬영된 시점에 대응하는 Real 3D 비디오 또는 촬영되지 않은 시점에 대응하는 가상 Real 3D 비디오를 생성할 수 있다.
도 10은 도 9의 920단계를 구체화한 흐름도이다.
1010단계에서, 3D 영상 처리 장치는 복수 개의 컬러-깊이 영상들 중 두 컬러-깊이 영상들(In-1, In)을 입력받는다.
1020단계에서, 3D 영상 처리 장치는 두 컬러-깊이 영상들(In-1, In) 간에 R n-1?n과 T n-1?n를 추정하기 위해, 3D 대응쌍을 추출한다. 3D 영상 처리 장치는 먼저, 두 컬러-깊이 영상들(In-1, In)의 두 컬러 영상들로부터 동일한 2D 특징점들(xn-1, xn)을 추출하고, 2D 특징점들(x n i, x n-1 i)에 대응하는 3D 좌표를 두 깊이 영상들로부터 읽어와 3D 대응쌍으로 정할 수 있다.
1030단계에서, 3D 영상 처리 장치는 복수 개의 3D 대응쌍들 중 예를 들어, 3개의 대응쌍을 랜덤하게 선택한다.
1040단계에서, 3D 영상 처리 장치는 선택된 3개의 대응쌍들을 이용하여, 두 컬러 영상들 중 하나에 대응하는 가상 카메라의 위치와 방향(R n-1→n, T n-1→n)을 임시 기준 좌표계를 기준으로 추정할 수 있다. 임시 기준 좌표계는 두 컬러 영상들 중 이후에 촬영된 컬러 영상의 좌표계이다.
1050단계에서, 3D 영상 처리 장치는 1040단계에서 추정된 R n-1→n과 T n-1→n의 정확도를 높이기 위하여, [수학식 3]의 관계를 만족시키는 Inlier 3D 대응쌍들을 추출할 수 있다. 즉, 3D 영상 처리 장치는 1020단계에서 추출된 복수 개의 3D 대응쌍들 중 [수학식 3]을 만족시키는 3D 대응쌍들을 Inlier 3D 대응쌍으로 추출하고, 추출된 Inlier 3D 대응쌍들의 개수를 계수한다.
그리고, 3D 영상 처리 장치는 1030단계로 진입하여 3개의 3D 대응쌍을 다시 랜덤하게 선택하고, 1040단계 및 1050단계를 반복 수행한다.
1060단계에서, 1030단계 내지 1050단계를 반복동작한 횟수, 즉, 1050단계에서 Inlier 3D 대응쌍들을 추출한 횟수가 설정된 기준값에 도달하면, 1070단계에서, 3D 영상 처리 장치는 가장 많은 Inlier 3D 대응쌍이 추출된 가상 카메라의 위치와 방향(R n-1→n, T n-1→n)을 선택한다.
1080단계에서, 3D 영상 처리 장치는, 1070단계에서 선택된 가상 카메라의 위치와 방향(R n-1→n, T n-1→n)을 이용하여 3D 특징점들을 반대편 영상에 투영하고, 3D 특징점들(X n i, X n-1 i)이 투영된 점들의 좌표가 3D 특징점들(X n i, X n-1 i)과 일치하도록 Inlier 3D 대응쌍들의 좌표 및 가상 카메라의 위치와 방향(R n-1→n과 T n-1→n)을 보정할 수 있다.
1090단계에서, 3D 영상 처리 장치는 3D 특징점들을 기준 좌표계의 좌표로 이동하고, 두 컬러 영상들에 대응하는 가상 카메라들의 위치와 방향(R 0→n, T 0→n)을 기준 좌표계를 기준으로 산출한 후, [수학식 5]를 이용하여 보정할 수 있다. 이 때, 3D 영상 처리 장치는 1080단계에서 보정된 가상 카메라의 위치와 방향(R n-1→n과 T n-1→n)을 이용할 수 있다.
상술한 과정에 의해 매 시각 tn에서 촬영된 각 컬러-깊이 영상들에 대한 카메라 위치 및 방향(R 0→n, T 0→n)이 추정될 수 있다. 추정되는 각 컬러-깊이 영상들에 대한 카메라 위치 및 방향(R 0→n, T 0→n)은 930단계에서 사용될 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 3D 영상 처리 장치 110: 수신부
120: 추정부 130: 융합부
140: 텍스쳐 매핑부 150: 다시점 영상 생성부

Claims (17)

  1. 촬영된 복수 개의 컬러 영상들과 복수 개의 깊이 영상들을 수신하는 수신부;
    상기 복수 개의 깊이 영상들에 위치하는 동일한 3D(dimension) 특징점들을 이용하여, 상기 복수 개의 컬러 영상들과 상기 복수 개의 깊이 영상들에 대응하는 가상 카메라들의 위치와 방향을 추정하는 추정부;
    상기 추정된 가상 카메라들의 위치와 방향을 이용하여 상기 3D 특징점들을 하나의 기준 좌표계로 융합하는 융합부; 및
    상기 하나의 기준 좌표계에서 표현되는 3D 특징점들을 상기 복수 개의 컬러 영상들에 투영하여 텍스쳐 매핑하는 텍스쳐 매핑부
    를 포함하는 3D 영상 처리 장치.
  2. 제1항에 있어서,
    상기 추정부는,
    상기 복수 개의 컬러 영상들과 상기 복수 개의 깊이 영상들 중,
    연속하는 두 컬러 영상들로부터 동일한 2D 특징점들을 추출하고, 상기 추출된 2D 특징점들에 대응하는 상기 3D 특징점들을 상기 연속하는 두 컬러 영상들에 대응하는 두 깊이 영상들로부터 추출하며, 상기 추출된 3D 특징점들을 3D 대응쌍으로 정하는 대응쌍 추출부
    를 포함하는, 3D 영상 처리 장치.
  3. 제2항에 있어서,
    상기 추정부는,
    상기 3D 대응쌍이 복수 개 산출되면, 상기 산출된 복수 개의 3D 대응쌍들을 이용하여, 상기 연속하는 두 컬러 영상들 중 하나에 대응하는 가상 카메라의 위치와 방향을 임시 기준 좌표계를 기준으로 추정하는 제1위치 및 방향 추정부
    를 더 포함하는, 3D 영상 처리 장치.
  4. 제3항에 있어서,
    상기 임시 기준 좌표계는 상기 연속하는 두 컬러 영상들 중 이전에 촬영된 컬러 영상 또는 이후에 촬영된 컬러 영상의 좌표계인, 3D 영상 처리 장치.
  5. 제3항에 있어서,
    상기 추정부는,
    상기 추정된 가상 카메라의 위치와 방향을 이용하여 상기 3D 특징점들을 상기 두 깊이 영상들 중 하나에 투영하고, 상기 3D 특징점들이 상기 두 깊이 영상들 중 하나에 투영된 점들의 좌표가 상기 3D 특징점들과 일치하도록 상기 3D 대응쌍들의 좌표 및 상기 가상 카메라의 위치와 방향을 보정하는 보정부
    를 더 포함하는, 3D 영상 처리 장치.
  6. 제3항 또는 제5항에 있어서,
    상기 추정부는,
    상기 3D 특징점들을 상기 기준 좌표계의 좌표로 이동하고, 상기 두 컬러 영상들에 대응하는 가상 카메라들의 위치와 방향을 상기 기준 좌표계를 기준으로 산출하되, 상기 추정된 가상 카메라의 위치와 방향을 이용하여 산출하는 제2위치 및 방향 추정부
    를 더 포함하는, 3D 영상 처리 장치.
  7. 제1항에 있어서,
    상기 융합부는,
    상기 복수 개의 깊이 영상들에 위치하는 모든 3D 점들을 상기 기준 좌표계로 이동하여 상기 복수 개의 깊이 영상들을 하나의 기준 깊이 영상을 생성하고, 상기 복수 개의 깊이 영상들 간의 깊이값이 일치하도록 상기 추정된 가상 카메라들의 위치와 방향을 보정하는, 3D 영상 처리 장치.
  8. 제1항에 있어서,
    상기 텍스쳐 매핑부는,
    상기 기준 좌표계에서 표현되는 3D 특징점들 중 현재 처리할 타겟 3D 특징점을 상기 복수 개의 컬러 영상들에 투영하고, 상기 복수 개의 컬러 영상들에 투영된 컬러값들을 확인하며, 상기 확인된 컬러값들의 평균을 상기 타겟 3D 특징점의 컬러로 정하는, 3D 영상 처리 장치.
  9. 촬영된 복수 개의 컬러 영상들과 복수 개의 깊이 영상들을 수신하는 단계;
    상기 복수 개의 깊이 영상들에 위치하는 동일한 3D(dimension) 특징점들을 이용하여, 상기 복수 개의 컬러 영상들과 상기 복수 개의 깊이 영상들에 대응하는 가상 카메라들의 위치와 방향을 추정하는 단계;
    상기 추정된 가상 카메라들의 위치와 방향을 이용하여 상기 3D 특징점들을 하나의 기준 좌표계로 융합하는 단계; 및
    상기 하나의 기준 좌표계에서 표현되는 3D 특징점들을 상기 복수 개의 컬러 영상들에 투영하여 텍스쳐 매핑하는 단계
    를 포함하는 3D 영상 처리 방법.
  10. 제9항에 있어서,
    상기 추정하는 단계는, 상기 복수 개의 컬러 영상들과 상기 복수 개의 깊이 영상들 중,
    연속하는 두 컬러 영상들로부터 동일한 2D 특징점들을 추출하는 단계;
    상기 추출된 2D 특징점들에 대응하는 상기 3D 특징점들을 상기 연속하는 두 컬러 영상들에 대응하는 두 깊이 영상들로부터 추출하는 단계;
    상기 추출된 3D 특징점들을 3D 대응쌍으로 정하는 단계
    를 포함하는, 3D 영상 처리 방법.
  11. 제10항에 있어서,
    상기 추정하는 단계는,
    상기 3D 대응쌍이 복수 개 산출되면, 상기 산출된 복수 개의 3D 대응쌍들을 이용하여, 상기 연속하는 두 컬러 영상들 중 하나에 대응하는 가상 카메라의 위치와 방향을 임시 기준 좌표계를 기준으로 추정하는 단계
    를 더 포함하는, 3D 영상 처리 방법.
  12. 제11항에 있어서,
    상기 임시 기준 좌표계는 상기 연속하는 두 컬러 영상들 중 이전에 촬영된 컬러 영상 또는 이후에 촬영된 컬러 영상의 좌표계인, 3D 영상 처리 방법.
  13. 제11항에 있어서,
    상기 추정하는 단계는,
    상기 추정된 가상 카메라의 위치와 방향을 이용하여 상기 3D 특징점들을 상기 두 깊이 영상들 중 하나에 투영하는 단계;
    상기 3D 특징점들이 상기 두 깊이 영상들 중 하나에 투영된 점들의 좌표가 상기 3D 특징점들과 일치하도록 상기 3D 대응쌍들의 좌표 및 상기 가상 카메라의 위치와 방향을 보정하는 단계
    를 더 포함하는, 3D 영상 처리 방법.
  14. 제11항 또는 제13항에 있어서,
    상기 추정하는 단계는,
    상기 3D 특징점들을 상기 기준 좌표계의 좌표로 이동하고, 상기 두 컬러 영상들에 대응하는 가상 카메라들의 위치와 방향을 상기 기준 좌표계를 기준으로 산출하되, 상기 추정된 가상 카메라의 위치와 방향을 이용하여 산출하는 단계
    를 더 포함하는, 3D 영상 처리 방법.
  15. 제9항에 있어서,
    상기 융합하는 단계는,
    상기 복수 개의 깊이 영상들에 위치하는 모든 3D 점들을 상기 기준 좌표계로 이동하여 상기 복수 개의 깊이 영상들을 하나의 기준 깊이 영상을 생성하는 단계;
    상기 복수 개의 깊이 영상들 간의 깊이값이 일치하도록 상기 추정된 가상 카메라들의 위치와 방향을 보정하는 단계
    를 포함하는, 3D 영상 처리 방법.
  16. 제9항에 있어서,
    상기 텍스쳐 매핑하는 단계는,
    상기 기준 좌표계에서 표현되는 3D 특징점들 중 현재 처리할 타겟 3D 특징점을 상기 복수 개의 컬러 영상들에 투영하는 단계;
    상기 투영에 의해 상기 복수 개의 컬러 영상들에 매핑되는 컬러값들을 확인하는 단계; 및
    상기 확인된 컬러값들의 평균을 상기 타겟 3D 특징점의 컬러로 정하는 단계
    를 포함하는, 3D 영상 처리 방법.
  17. 제9항 내지 제16항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
KR1020100053187A 2010-06-07 2010-06-07 3ｄ 영상 처리 장치 및 그 방법 KR20110133677A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100053187A KR20110133677A (ko) 2010-06-07 2010-06-07 3ｄ 영상 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100053187A KR20110133677A (ko) 2010-06-07 2010-06-07 3ｄ 영상 처리 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20110133677A true KR20110133677A (ko) 2011-12-14

Family

ID=45501200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100053187A KR20110133677A (ko) 2010-06-07 2010-06-07 3ｄ 영상 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20110133677A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013105783A1 (ko) * 2012-01-11 2013-07-18 삼성전자주식회사 오브젝트 인식 장치， 분류 트리 학습 장치 및 그 동작 방법
CN112422848A (zh) * 2020-11-17 2021-02-26 深圳市歌华智能科技有限公司 一种基于深度图和彩色图的视频拼接方法
WO2022100250A1 (zh) * 2020-11-12 2022-05-19 Oppo广东移动通信有限公司 图像融合方法、装置、计算机设备和存储介质
WO2022119039A1 (ko) * 2020-12-04 2022-06-09 한국전자기술연구원 가상 카메라를 이용한 증강현실 객체 생성 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013105783A1 (ko) * 2012-01-11 2013-07-18 삼성전자주식회사 오브젝트 인식 장치， 분류 트리 학습 장치 및 그 동작 방법
US9508152B2 (en) 2012-01-11 2016-11-29 Samsung Electronics Co., Ltd. Object learning and recognition method and system
US10163215B2 (en) 2012-01-11 2018-12-25 Samsung Electronics Co., Ltd. Object learning and recognition method and system
US10867405B2 (en) 2012-01-11 2020-12-15 Samsung Electronics Co., Ltd. Object learning and recognition method and system
WO2022100250A1 (zh) * 2020-11-12 2022-05-19 Oppo广东移动通信有限公司 图像融合方法、装置、计算机设备和存储介质
CN112422848A (zh) * 2020-11-17 2021-02-26 深圳市歌华智能科技有限公司 一种基于深度图和彩色图的视频拼接方法
CN112422848B (zh) * 2020-11-17 2024-03-29 深圳市歌华智能科技有限公司 一种基于深度图和彩色图的视频拼接方法
WO2022119039A1 (ko) * 2020-12-04 2022-06-09 한국전자기술연구원 가상 카메라를 이용한 증강현실 객체 생성 장치 및 방법

Similar Documents

Publication Publication Date Title
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US10789765B2 (en) Three-dimensional reconstruction method
JP4942221B2 (ja) 高解像度仮想焦点面画像生成方法
US9025862B2 (en) Range image pixel matching method
JP2017531976A (ja) アレイカメラを動的に較正するためのシステム及び方法
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
KR20060063558A (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
WO2014002521A1 (ja) 画像処理装置及び画像処理方法
KR20110071854A (ko) 입체 영상 시스템에서 영상 데이터의 색상 보정 장치 및 방법
JP2010152535A (ja) ３次元形状復元装置及びそのプログラム
DK3189493T3 (en) PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP
KR20110133677A (ko) 3ｄ 영상 처리 장치 및 그 방법
KR100805802B1 (ko) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
CN112422848B (zh) 一种基于深度图和彩色图的视频拼接方法
JP4578653B2 (ja) 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
CN112950698B (zh) 基于双目散焦图像的深度估计方法、装置、介质和设备
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
KR102430726B1 (ko) 멀티 카메라의 정보 처리 장치 및 방법
JP6292785B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
CN111080689B (zh) 确定面部深度图的方法和装置
KR101323195B1 (ko) 2차원 영상에서 3차원 영상 생성 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application