KR20060007816A - 영상 합성 방법 - Google Patents

Abstract

본 발명은 영상 합성 방법에 관한 것으로, 특히 카메라의 주점을 가변적으로 적용하여 최적화된 카메라 내부 파라미터를 찾아 영상을 합성하도록 한 영상 합성 방법에 관한 것이다. 본 발명의 영상 합성 방법은, 동영상을 입력으로 받아 각각의 영상 프레임에 대해서 특징점을 추출하고 해당 추출된 특징점에 대한 대응점을 탐색하는 과정과; 상기 대응점 탐색의 결과를 이용해서 각 프레임에서 특징점을 추적하고 영상에서의 기본행렬을 계산하여 투영적 재구성을 수행하는 과정과; 상기 대응점 탐색의 결과를 이용하여 카메라 내부 파라미터의 주점을 가변적으로 변화시키면서 오차가 최소화된 유클리드 공간상의 재구성으로 변환시키는 카메라 자동 교정을 수행하는 과정과; 상기 카메라 자동 교정에서 얻어진 값들을 바탕으로 오차가 최소화된 카메라 내부 파라미터를 추출하여 최종 영상 합성을 수행하는 과정을 포함하여 이루어진 것을 특징으로 한다.

Description

영상 합성 방법{Method For Synthesizing Image}

도 1은 본 발명의 실시예에 따른 영상 합성 방법을 나타낸 순서도.

도 2는 도 1에 있어 특징점 추출 및 대응점 탐색 과정을 나타낸 순서도.

도 3은 도 2에 있어 대응점 탐색 단계를 나타낸 순서도.

도 4는 대표 벡터 추출을 위한 영상 분할을 나타낸 도면.

도 5는 도 2에 있어 기하학 정보 구성 단계를 나타낸 순서도.

도 6은 에피폴라 기하학을 나타낸 도면.

도 7은 대응점들을 포함하는 영역 분할을 나타낸 도면.

도 8은 정합에 의한 투영적 재구성 과정을 나타낸 순서도.

도 9는 도 1에 있어 카메라 자동 교정 과정을 나타낸 순서도.

도 10은 특징점 추출 결과를 나타낸 도면.

도 11은 대응점 탐색 결과를 나타낸 도면.

도 12는 (oxi,oyi)의 변화에 따른 스큐값의 변화를 나타낸 도면.

도 13은 (oxi,oyi)의 변화에 따른 주점의 변화를 나타낸 도면.

도 14는 (oxi,oyi)의 변화에 따른 오차 함수의 변화를 나타낸 도면.

도 15는 재투영 오차를 나타낸 도면.

도 16은 입력 기차길 영상을 나타낸 도면.

도 17은 애니메이션이 첨가된 기차 합성 영상을 나타낸 도면.

도 18은 입력 청룡 영상을 나타낸 도면.

도 19는 가상의 용이 합성된 영상을 나타낸 도면.

본 발명은 영상 합성 방법에 관한 것으로, 특히 카메라의 주점을 가변적으로 적용하여 최적화된 카메라 내부 파라미터를 찾아 영상을 합성하도록 한 영상 합성 방법에 관한 것이다.

일반적으로, 3차원 기반의 영상 합성은 크게 두 분야로 나뉘어 진다. 하나는 카메라 자동 교정(Autocalibration) 방법이고 다른 하나는 패턴과 같은 3차원 실측 데이터를 이용하는 방법이다. 상기 카메라 자동 교정 방법은 대상 영상에 대한 제약조건이 전혀 없기 때문에 상기 3차원 실측 데이터를 이용하는 방법보다 진보된 방법이라 할 수 있다. 상기 카메라 자동 교정 방법은 비선형 방정식을 유도하는 등의 복잡한 계산 과정을 거치게 되는데, 이와 같은 이유로 최근에는 카메라 내부 파라미터에 제약조건을 줌으로써 복잡한 비선형 방정식 대신에 선형 방정식을 유도하는 방법이 많이 사용되고 있고 가장 대표적인 경우가 카메라의 주점(principal point)을 고정시키는 방법이다.

이하, 종래의 영상 합성 방법에 적용되는 카메라 자동 교정 방법을 설명한다.

최근 일반적으로 사용하는 종래의 선형적인 카메라 자동 교정 방법은 하기 수학식 1에 표현한 방정식의 해를 구하는 것을 기본으로 한다.

상기 수학식 1에서 카메라 내부 파라미터의 곱인 KK^T로 표현되는 w*는 DIAC(dual image of the absolute conic)로 3 ×3 대칭행렬이므로 변수는 6개이다. 여기에 오른쪽 c₁~c₁₀으로 표현된 절대 듀얼 2차 함수(absolute dual quadric)를 포함하면 변수가 총 16개인 비선형 방정식이 된다.

따라서, 최근의 일반적인 경향은 카메라 내부 파라미터에 강한 제약조건을 설정함으로써 선형 방정식을 유도하는 방법을 사용한다.

상기 선형 방정식을 유도하기 위해서 카메라 내부 파라미터에 해당하는 주점을 영상의 중앙(0,0)에 고정하고 스큐(skew)를 0이라 가정하는 것이 일반적인 방법으로 하기 수학식 2, 3 및 4가 유도된다. 여기에 초점 거리 f_x, f_y까지 동일하게 적용하면 하기 수학식 5가 추가된다.

따라서, 상기 수학식 1의 우측에 c₁ ~ c₁₀로 표현된 10개의 듀얼 2차 함수만이 변수로 남게 되므로 10개의 변수를 포함하는 선형 방정식을 풀기 위해서 3개 이상의 투영행렬을 3장 이상의 영상으로부터 각각 추출하여 계산한다.

종래 영상 합성 방법에 적용되는 상술한 선형 방정식을 유도하는 일반적인 카메라 자동 교정 방법은 카메라 내부 파라미터에 강한 제약조건을 둠으로써 계산 량을 줄이는 반면 방정식이 간단해지는 과정에서 자연스럽게 오차를 유발하게 되는 문제점이 있다.

상술한 바와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 카메라 내부 파라미터의 주점을 가변적으로 변화시키면서 선형 방정식의 해를 구한 후 오차 정도를 판단함으로써 오차가 최소화된 카메라 내부 파라미터를 최종적으로 선택하는 비선형적인 방법을 적용하여 선형 방정식에 의한 계산의 간결성을 유지한 채 오차를 최소화하도록 하는데 있다.

즉, 본 발명은 목적은 카메라 자동 교정에서의 복잡한 비선형 방정식을 유도하지 않고 기존의 선형 방정식을 사용함으로써 계산상의 간결함을 그대로 유지하고 선형 방정식을 유도하는 과정에서 카메라 내부 파라미터에 강한 제약조건을 주기 때문에 발생하는 오차의 정도를 최소화하기 위해서 카메라 내부 파라미터의 주점을 일정 영역에서 변화시킴으로써 최적화된 카메라 내부 파라미터를 찾아가는 비선형적인 방법을 적용하도록 하는데 있다.

상술한 바와 같은 목적을 해결하기 위하여, 본 발명의 영상 합성 방법은, 동영상을 입력으로 받아 각각의 영상 프레임에 대해서 특징점을 추출하고 해당 추출된 특징점에 대한 대응점을 탐색하는 과정과; 상기 대응점 탐색의 결과를 이용해서 각 프레임에서 특징점을 추적하고 영상에서의 기본행렬을 계산하여 투영적 재구성을 수행하는 과정과; 상기 대응점 탐색의 결과를 이용하여 카메라 내부 파라미터의 주점을 가변적으로 변화시키면서 오차가 최소화된 유클리드 공간상의 재구성으로 변환시키는 카메라 자동 교정을 수행하는 과정과; 상기 카메라 자동 교정에서 얻어진 값들을 바탕으로 오차가 최소화된 카메라 내부 파라미터를 추출하여 최종 영상 합성을 수행하는 과정을 포함하여 이루어진 것을 특징으로 한다.

이하, 본 발명의 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.

먼저, 도 1을 참조하여 본 발명의 실시예에 따른 영상 합성 방법을 설명한다.

도 1은 본 발명의 실시예에 따른 영상 합성 방법을 나타낸 순서도이다.

동영상을 입력으로 받아(S100), 각각의 영상 프레임에 대해서 특징점(feature points)을 추출하고 해당 추출된 특징점에 대한 대응점(correspondences)을 탐색한다(S200). 여기서, 구성된 대응점 탐색의 결과가 카메라 자동 교정에서 유일하게 사용되는 정보이기 때문에 이 과정에서 오차를 최소화하는 것이 바람직하다. 따라서 본 발명은 기존의 대응점 탐색 알고리즘들을 수정, 보완하여 각 프레임간의 움직임이 작은 비디오 영상에 효과적으로 적용하였다.

상기 대응점 탐색의 결과를 이용해서 각 프레임에서 특징점을 추적(tracking)하고 영상에서의 기본행렬(fundamental matrix)을 계산하여 투영적 재구성(projective reconstruction)을 수행한다(S300).

상기 대응점 탐색의 결과를 이용하여 카메라 내부 파라미터의 주점을 가변적으로 변화시키면서 오차가 최소화된 유클리드(Euclid) 공간상의 재구성으로 변환시키는 카메라 자동 교정을 수행한다(S400). 상기 투영적 재구성 과정(S300)까지는 영상에서의 원근을 그대로 포함하고 있기 때문에 카메라 자동 교정을 수행한다.

그런 후, 상기 카메라 자동 교정에서 얻어진 값들을 바탕으로 오차가 최소화된 카메라 내부 파라미터를 추출하여 최종 영상 합성을 수행한다(S500).

이하, 도 2를 참조하여 상기 특징점 추출 및 대응점 탐색 과정(S200)을 설명한다.

도 2는 도 1에 있어 특징점 추출 및 대응점 탐색 과정을 나타낸 순서도이다.

먼저, 상기 카메라 모델을 설정한다(S210).

그리고, 상기 설정된 카메라 모델에 따른 밝기 정보만을 포함하는 영상에 대해서 밝기의 변화량을 측정함으로써 특징점을 추출한다(S220).

그런 후, 상기 추출된 특징점에 대하여 상관관계를 비교하여 대응점을 탐색하고 해당 탐색된 대응점 중 잘못된 대응점을 제거한다(S230).

그리고, 상기 잘못된 대응점이 제거된 탐색된 대응점을 바탕으로 기하학 정보를 구성(constructing epipolar geometry)한다(S240).

이하, 상기 카메라 모델 설정 단계(S210)를 구체적으로 설명한다.

일반적인 세공(細孔,pin-hole) 카메라에 대해서 3차원 공간상의 한 점 X_i와 그에 대응되는 2차원 카메라에 대해 평면 영상 좌표계의 한 점 x_i가 주어졌을 때, 두 점들의 관계는 하기 수학식 6이 34 카메라 투영행렬(projection matrix)에 의해 x_i=PX_i를 만족하게 된다.

상기 투영행렬은 11 자유도(degrees of freedom)를 가지고 있으며 하기 수학식 7과 같이 실 세계 좌표계와 관련된 카메라 원점과 위치로 분할 표현될 수 있다.

P=K[R T]

여기서, R은 3 ×3 회전행렬이고, T는 3 ×1 이동 벡터이다.

상기 수학식 8에서 보는 바와 같이 카메라 내부 파라미터 K는 5 자유도를 갖는 33 상삼각행렬(upper triangular matrix)로 f_x , f_y는 초점거리로 카메라 영상의 각 x, y 축에 대한 크기 비율을, s는 그 두 축의 기울기, 그리고 u_o, v_o는 카메라 중심과 카메라 투영 평면(image plane)이 직교하는 주점(主點, principal point)을 나타낸다.

이하, 상기 특징점 추출 단계(S220)를 구체적으로 설명한다.

밝기 정보만을 포함하는 영상에 대해서 밝기의 변화량을 측정함으로써 특징 점을 찾아내는 방법으로 좌우 영상에 대한 특징점 정보를 얻어낸다. 해리스 (Harris) 모서리 탐색기(corner detector)로 하기 수학식 9와 같은 연산자를 사용하였다.

상기 수학식 10에서의 I_x와 I_y는 영상을 x와 y방향으로 각각 편미분한 것을 나타낸다. 이렇게 얻어진 밝기의 변화량에 대해서 방향성을 고려하면 소수점 단위의 특징점 추출이 가능해진다.

이하, 도 3을 참조하여 상기 대응점 탐색 단계(S230)를 구체적으로 설명한다.

도 3은 도 2에 있어 대응점 탐색 단계를 나타낸 순서도이다.

기본적으로 상관관계를 비교하는 대응점 탐색의 방법은 두 영상에서 찾아진 특징점들에 대해서 상관 함수를 사용하여 초기의 대응되는 후보점을 찾아낸다(S231).

상기 상관 함수에 적용하는 상관 윈도우의 크기는 (2n+1) ×(2m+1), 두 번째 영상에서 검색영역의 크기는 (2du+1) × (2dv+1)로 나타낸다.

상기 수학식 11에서 n=7, m=7, du=(영상의 폭)/4, dv=(영상의 높이)/4를 사용하였다. 상기 수학식 12는 점(u,v)에서의 평균값이고, 상기 수학식 13은 (u,v)의 이웃하는(2n+1) ×(2m+1)에서 영상 I_k의 표준편차를 나타낸다.

상기 수학식 11의 결과는 정규화 과정을 거쳤기 때문에 -1에서 1 사이의 값을 가지며 두 영상의 상관도가 정확히 일치할 경우에 이론적으로 1의 값을 갖게 된다. 본 발명에서는 임계값으로 0.8을 사용하여 대응 후보점을 추출하였다.

하지만, 상관관계(correlation)를 이용하는 기존 대응점 탐색 방법에서의 문제점은 잘못된 대응점들이 많이 추출된다는 점이다. 따라서 본 발명의 대응점 탐색에서는 잘못된 대응점들을 효율적으로 제거하는 것이 가장 중요한 문제라고 할 수 있다.

따라서, 상기 후보점 찾는 단계(231)이후, 대표 벡터 추출을 위한 영상 분할 을 나타낸 도면인 도 4와 같이 상기 영상을 전체적으로 4등분으로 분할하여 각 영역마다의 대표되는 움직임 벡터(motion vector)를 추출하고(S232), 각 영역에서 추출된 움직임 벡터를 이용해 잘못된 대응점 쌍을 제거한다(S233). 즉, 대표되는 움직임 벡터에 비해 비교하고자 하는 움직임 벡터의 길이가 예컨대, ±30%, 방향이 예컨대, ±5°차이가 나면 잘못된 대응점으로 판단하고 제거하게 된다. 이는 움직임이 작은 동영상을 기반으로 할 때 효과적인 성능을 나타내게 된다.

이하, 도 5를 참조하여 상기 기하학 정보 구성 단계(S240)를 설명한다.

도 5는 도 2에 있어 기하학 정보 구성 단계를 나타낸 순서도이다.

에피폴라(Epipolar) 기하학을 나타낸 도면인 도 6과 같이, 3차원 공간의 한 점 M이 두 대의 카메라 C₁, C₂에 투영되어 각각의 영상에 맺힌 좌표를 m₁, m₂ 라고 하면 m₁, m₂는 대응점 관계를 갖게 되고, 이때 기준 카메라 C₁에 대한 C ₂의 기본행렬 F를 구하면 하기 수학식 14, 15 및 16이 성립하게 된다.

l_m1은 좌측 영상에서의 m₁에 대한 우측영상으로의 에피폴라 직선(Epipolar Line)이 되고, e₁, e₂는 두 카메라의 중심을 연결한 직선이 영상을 지나는 교점인 에피폴(Epipole)이 되며, M과 C₁, C₂가 존재하는 평면이 에피폴라 평면(Epipolar Plane)이 된다. 이 때 왼쪽 영상의 l_m2위에 존재하는 모든 점들은 오른쪽 영상의 l_m1위에 존재하게 된다.

상기 기하학 정보를 구성하기 위해 본 발명에서 제시하는 방법이 RANSAC에서 적용하는 알고리즘과 다른 점은 예컨대, 8점 알고리즘에 적용하는 8쌍의 대응점을 무작위로 추출 하지않는다는 것이다.

대응점들을 포함하는 영역 분할을 나타낸 도면인 도 7에 도시된 바와 같이, 좌측 영상에 대해서 대응점들을 모두 포함하는 사각형 테두리를 씌우고 그 테두리를 8 ×8의 영역으로 나누어 8개의 영역을 임의로 선택한다(S241).

또, 상기 선택된 각각의 영역내에서 하나의 대응점을 임의로 선택하는 방식으로 영상 전체에서 골고루 8쌍의 대응점을 얻어내어(S242), 8점 알고리즘에 적용한다(S243).

에피폴라 직선과 상기 대응점간의 거리 오차를 계산한 하기 수학식 17의 오차값이 기준값이하 인지를 판단한다(S244).

이때, 상기 판단 결과(S244), 상기 오차값이 기준값을 초과하는 경우에, 상기 영역 선택 단계(S241)로 진행한다(S245).

반면에, 상기 판단 결과(S244), 상기 오차값이 기준값이하인 경우에, 해당 오차값이 최소가 되는 기본행렬을 최종값으로 선택한다.

이하, 상기 투영적 재구성 과정(S300)을 설명한다.

상기 투영적 재구성에는 행렬 분해에 의한 투영적 재구성(Projective Reconstruction with Factorization)과 정합에 의한 투영적 재구성(Projective Reconstruction with Merging)이 있다.

먼저, 상기 행렬 분해에 의한 투영적 재구성을 설명한다.

카메라의 특성과 원근감에 의해 영상에 포함된 왜곡을 그대로 포함하는 단계에서의 재구성을 말하며 차후에 실 공간으로의 전환을 위해 카메라 자동 교정을 수행하게 된다.

상기 행렬 분해에 의한 투영적 재구성은 연속되는 영상에 대한 특징점을 추적함으로써 특징점의 좌표값들을 하나의 행렬로 표현한 뒤 이를 분해하는 방법을 말한다. 하기 수학식 18에서 W를 구성하는 x_mn에서 각각 m은 영상의 개수를, n은 추적한 특징점의 개수를 나타내고, λ_mn은 투영적 깊이(projective depth)로 간단하게 상수 1을 사용하여 선형적으로 표현한다.

상기 수학식 18, 19, 20 및 21을 통해 행렬 W를 분해하여 투영적 재구성을 수행한다.

다음으로, 도 8을 참조하여 상기 정합에 의한 투영적 재구성을 설명한다.

도 8은 정합에 의한 투영적 재구성 과정을 나타낸 순서도이다.

상기 투영적 재구성의 또 다른 방법인 정합에 의한 투영적 재구성 방법은 영상내의 기하학 정보를 이용한다는 특징이 있다.

먼저, 초기 기준이 되는 영상에 대한 투영행렬 P1, P2를 설정하기 위해 초기 기준 영상 1,2 사이에서 확보된 대응점과 기하학 정보를 바탕으로 하기 수학식 22 및 23과 같이 초기 기준 영상에 관한 투영행렬 P1, P2를 설정한다(S301).

P1 = [1 | 0]

P2 = [M | e']

상기 설정된 투영행렬 P1, P2와 상기 초기 기준 영상 1과 2 사이에서 얻어진 대응점을 이용해 하기 수학식 24에 표현한 선형적 삼각 계측법(Direct Linear Triangulation)을 통해 정합하여 초기 기준 영상에 관한 투영적 재구성을 수행한다(S302).

이후, 상기 초기 영상 1과 2 사이의 다음 영상 2와 3 사이, 다음 영상 3과 4 사이, 다음 영상 4와 5 사이, … 등에서 얻어진 대응점을 이용해 계속해서 정합하여 다음 영상에 관한 투영적 재구성을 수행한다(S303).

이하, 도 9를 참조하여 상기 카메라 자동 교정 과정(S400)을 설명한다.

도 9는 도 1에 있어 카메라 자동 교정 과정을 나타낸 순서도이다.

카메라 자동 교정 알고리즘에서 선형 방정식을 유도하는 일반적인 종래 방법들은 카메라 내부 파라미터에 강한 제약조건을 둠으로써 계산량을 줄이는 반면 방정식이 간단해지는 과정에서 자연스럽게 오차를 유발하게 되는 문제점이 있다.

일반적으로 카메라 내부 파라미터의 스큐와 주점을 0으로 가정하지만 이는 카메라 자체가 가지고 있는 왜곡에 의한 오차를 무시한 경우이다. 따라서 본 발명에서는 카메라마다 다르게 나타나는 오차의 정도를 계산상으로 찾아내고 감소시키는 방법을 제안하여 비선형적인 방법을 적용함으로써, 선형 방정식에 의한 계산의 간결성을 유지한 채 오차를 최소화하는 방법을 제안한다.

상술한 문제점을 개선하기 위한 본 발명에서의 카메라 자동 교정 과정(S400)에서는 먼저, 카메라 내부 파라미터의 주점을 가변적으로 변화시킨다(S410). 즉, 주점을 변형시키는 행렬 C를 하기 수학식 25와 같이 적용한다.

그리고, 상기 가변적 변화에 따른 선형 방정식의 해를 구한다(S420). 즉, 상기 수학식 2, 3, 4 및 5의 선형 방정식에 의해 절대 듀얼 2차 함수(absolute dual quadric Ω)를 계산한다.

그런 후, 상기 선형 방정식의 해에 따른 오차 정도를 판단함으로써 해당 오차가 최소화된 카메라 내부 파라미터를 최종적으로 선택한다(S430). 즉, 하기 수학식 26과 같이 오차 함수 E를 통해서 카메라 내부 파라미터의 오차 정도를 판단한다. 하기 수학식 26에서 사용한 오차 함수는 상기 수학식 1의

관계에 의해서 계산된 카메라 내부 파라미터의 스큐와 주점(u_o, v_o)이 초기에 설정한 0값과의 오차를 나타낸다.

이하, 본 발명을 구체적인 실험을 통해 설명한다.

먼저, 특징점 추출 및 대응점 탐색 결과을 설명한다.

입력되는 비디오 영상에 대해서 각 프레임에 대한 특징점을 소수점 단위의 정확도로 추출하고 특징점을 기반으로 대응점을 탐색한다. 움직임이 작은 비디오 영상을 기반으로 하기 때문에 보다 많은 대응점 수를 확보하면서도 아주 작은 기하학적 오차를 포함하는 것을 볼 수 있다. 특징점 추출 결과를 나타낸 도 10의 영상에 대해 추출된 특징점은 각각 도 10a와 도 10b는 640 ×480, 도 10c와 도 10d는 720 × 480의 해상도에 도 10a는 1803개, 도 10b는 1951개, 도 10c는 2019개, 도 10d는 2163개이다.

그림 11은 대응점 탐색 결과를 나타낸 도면으로, 비디오 프레임간의 움직임 궤적을 나타낸 도면이다. 기존의 대응점 탐색 알고리즘에 대해 움직임이 작은 비디오 영상을 대상으로 성능을 개선한 본 발명에 따른 대응점 탐색 알고리즘을 적용한 결과 도 11에 대한 대응점 탐색 결과를 나타내는 하기 표 1에서 제시한 향상된 결과를 얻을 수 있었다.

영상	영상의 크기 (pixel)	대응점 수	기하학적 평균오차 (pixel)
a	640 ×480	513	0.317
b	640 ×480	501	0.298
c	720 ×480	524	0.382
d	720 ×480	695	0.394

다음으로, 본 발명에 따른 카메라 자동 교정 결과를 설명한다.

본 발명에 따른 카메라 자동 교정 알고리즘에 의해 상기 수학식 25에서의 oxi, oyi를 각각 -30 ~ 30으로 변화시키면서 계산된 카메라 내부 파라미터의 오차 정도를 측정하였다. (oxi,oyi)의 변화에 따른 스큐값의 변화를 나타낸 도면인 도 12와 (oxi,oyi)의 변화에 따른 주점의 변화를 나타낸 도면인 도 13에서 보는 바와 같이 oxi, oyi를 변화시킴으로써 카메라 내부 파라미터가 일정 영역을 기준으로 수렴하는 것을 볼 수 있다.

(oxi,oyi)의 변화에 따른 오차 함수의 변화를 나타낸 도면인 도 14에서와 같이 제안한 오차 함수를 통해 최소의 오차를 갖는 카메라 내부 파라미터를 주점이 (-7, 13)인 위치에서 찾아내게 된다.

하기 표 2는 제안한 본 발명에 따른 카메라 자동 교정 알고리즘과 기존 알고리즘과의 비교를 나타낸다.

	기존 알고리즘	제안한 알고리즘
초점거리	206.72	190.421
스큐	0.121	0.111
주점(uo, vo)	(0.541,0.053)	(0.499,0.042)

재투영 오차를 나타낸 도면인 도 15는 카메라 자동 교정에 대해서 기존의 알고리즘과 제안한 알고리즘간의 재투영 오차를 제시하고 있다. 재투영 오차는 하기 수학식 27과 같이 계산한다.

(x_i,y_i)는 영상으로부터 추출된 특징점을, (x'_i,y'_i)는 계산된 투영행렬에 의해 재투영된 점을 나타낸다.

하기 표 3은 도 15에서 제시한 87개의 특징점에 대해서 재투영 오차 평균을 나타내고 있다.

평균 재투영 오차	기존 알고리즘	제안한 알고리즘
단위(pixel)	0.2677	0.1993

이하, 본 발명에 따른 영상 합성 결과를 설명한다.

예컨대, 입력 기차길 영상을 나타낸 도면인 도 16은 애니메이션이 첨가된 기차 합성 영상을 나타낸 도면인 도 17과 같이 된다. 그리고, 입력 청룡 영상을 나타낸 도면인 도 18은 가상의 용이 합성된 영상을 나타낸 도면인 도 19와 같이 된다.

상술한 실험 결과에서 보는 바와 같이 주점이 변화함에 따라서 스큐와 함께 계산된 주점이 각기 다르게 나타나기 때문에 세값의 변화를 분석하여 최소의 오차를 갖는 카메라 내부 파라 미터를 찾아내고 이를 기반으로 영상 합성을 수행하였다. 재투영 오차의 경우 기존의 알고리즘이 0.267픽셀인데 비해 제안한 본 발명에 따른 알고리즘을 적용한 결과 0.199픽셀로 감소하였다.

카메라 자동 교정에 기반한 영상 합성의 경우는 입력되는 비디오 영상에 대해서 대응관계를 보다 정확하게 구성하는 것이 가장 중요한 문제이기 때문에 움직임이 작은 비디오 영상에 알맞게 기존의 대응점 탐색 알고리즘을 수정, 보완하였다. 그 결과 대응점 탐색 결과 640 ×80의 해상도에서도 500개 이상의 대응점을 확보함과 동시에 기하학적 오차를 0.3픽셀 내외로 줄이는 향상된 결과를 얻어 낼 수 있었다.

차후 본 발명에서 제안한 카메라 자동 교정 알고리즘을 3차원 기반의 자동 영상 합성뿐만 아니라 영상기반 모델링(Image Based Modeling)에 적용함으로써 환 경에 대한 3차원 재구성과 환경내의 특정 물체에 대한 3차원 재구성 등에도 적용 가능하다.

또한, 본 발명에 따른 실시예는 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.

이상과 같이, 본 발명은 자동 영상 합성을 위해 선형적인 카메라 자동 교정 알고리즘을 사용하는데 있어서 야기되는 오차를 최소화하기 위해 카메라 내부 파라미터의 주점을 변형시키면서 최적의 카메라 내부 파라미터를 찾아가는 비선형적인 알고리즘을 제안하여, 카메라 자동 교정 알고리즘에서의 복잡한 비선형 방정식을 유도하지 않고 기존의 선형 방정식을 사용함으로써, 계산상의 간결함을 그대로 유지할 수 있고, 선형 방정식을 유도하는 과정에서 카메라 내부 파라미터에 강한 제약조건을 주기 때문에 발생하는 오차의 정도를 최소화하기 위해서 카메라 내부 파라미터의 주점을 일정 영역에서 변화시킴으로써, 최적화된 카메라 내부 파라미터를 찾아가는 비선형적인 방법을 제공할 수 있다.

Claims (7)

1. 동영상을 입력으로 받아 각각의 영상 프레임에 대해서 특징점을 추출하고 해당 추출된 특징점에 대한 대응점을 탐색하는 과정과;

   상기 대응점 탐색의 결과를 이용해서 각 프레임에서 특징점을 추적하고 영상에서의 기본행렬을 계산하여 투영적 재구성을 수행하는 과정과;

   상기 대응점 탐색의 결과를 이용하여 카메라 내부 파라미터의 주점을 가변적으로 변화시키면서 오차가 최소화된 유클리드 공간상의 재구성으로 변환시키는 카메라 자동 교정을 수행하는 과정과;

   상기 카메라 자동 교정에서 얻어진 값들을 바탕으로 오차가 최소화된 카메라 내부 파라미터를 추출하여 최종 영상 합성을 수행하는 과정을 포함하여 이루어진 것을 특징으로 하는 영상 합성 방법.
2. 제 1 항에 있어서,

   상기 특징점 추출 및 대응점 탐색 과정은,

   상기 카메라 모델을 설정하는 단계와;

   상기 설정된 카메라 모델에 따른 밝기 정보만을 포함하는 영상에 대해서 밝기의 변화량을 측정함으로써 특징점을 추출하는 단계와;

   상기 추출된 특징점에 대하여 상관관계를 비교하여 대응점을 탐색하고 해당 탐색된 대응점 중 잘못된 대응점을 제거하는 단계와;

   상기 잘못된 대응점이 제거된 탐색된 대응점을 바탕으로 기하학 정보를 구성하는 단계를 포함하여 이루어진 것을 특징으로 하는 영상 합성 방법.
3. 제 2 항에 있어서,

   상기 대응점 탐색 단계는,

   두 영상에서 찾아진 특징점들에 대해서 상관 함수를 사용하여 초기의 대응되는 후보점을 찾아내는 단계와;

   상기 영상을 분할하여 각 영역마다의 대표되는 움직임 벡터를 추출하는 단계와;

   상기 각 영역에서 추출된 움직임 벡터를 이용해 잘못된 대응점 쌍을 제거하는 단계를 포함하여 이루어진 것을 특징으로 하는 영상 합성 방법.
4. 제 2 항에 있어서,

   상기 기하학 정보 구성 단계는,

   상기 영상에 대해서 대응점들을 모두 포함하는 사각형 테두리를 씌우고 그 테두리를 소정 개수의 영역으로 나누어 해당 나뉘어진 영역 중 특정 개수의 영역을 임의로 선택하는 단계와;

   상기 선택된 각각의 영역내에서 하나의 대응점을 임의로 선택하는 방식으로 영상 전체에서 골고루 상기 특정 개수 쌍의 대응점을 얻어내어 해당 특정 개수점 알고리즘에 적용하는 단계와;

   에피폴라 직선과 상기 대응점간의 거리 오차를 계산한 오차값이 기준값이하 인지를 판단하는 단계와;

   상기 오차값이 기준값을 초과하는 경우에 상기 소정 개수로 나뉘어진 영역 중 특정 개수의 영역을 임의로 선택하는 단계로 진행하고, 상기 오차값이 기준값이하인 경우에 해당 오차값이 최소가 되는 기본행렬을 최종값으로 선택하는 단계를 포함하여 이루어진 것을 특징으로 하는 영상 합성 방법.
5. 제 1 항에 있어서,

   상기 투영적 재구성 과정은,

   연속되는 영상에 대한 특징점을 추적함으로써 특징점의 좌표값들을 하나의 행렬로 표현한 뒤 이를 분해하는 행렬 분해에 의한 투영적 재구성을 수행함을 특징으로 하는 영상 합성 방법.
6. 제 1 항에 있어서,

   상기 투영적 재구성 과정은,

   초기 기준 영상 사이에서 확보된 대응점과 기하학 정보를 바탕으로 초기 기준 영상에 관한 투영행렬을 설정하는 단계와;

   상기 설정된 투영행렬과 상기 초기 기준 영상 사이에서 얻어진 대응점을 이용해 선형적 삼각 계측법을 통해 정합하여 초기 기준 영상에 관한 투영적 재구성을 수행하는 단계와;

   상기 초기 영상 사이의 다음 영상 사이에서 얻어진 대응점을 이용해 계속해서 정합하여 다음 영상에 관한 투영적 재구성을 수행하는 단계를 포함하여 이루어진 것을 특징으로 하는 영상 합성 방법.
7. 제 1 항에 있어서,

   상기 카메라 자동 교정 과정은,

   상기 카메라 내부 파라미터의 주점을 가변적으로 변화시키는 단계와;

   상기 가변적 변화에 따른 선형 방정식의 해를 구하는 단계와;

   상기 선형 방정식의 해에 따른 오차 정도를 판단함으로써 해당 오차가 최소화된 카메라 내부 파라미터를 최종적으로 선택하는 단계를 포함하여 이루어진 것을 특징으로 하는 영상 합성 방법.

Images