KR100871149B1 - 카메라 초점거리 추정 장치 및 방법 - Google Patents

카메라 초점거리 추정 장치 및 방법 Download PDF

Info

Publication number
KR100871149B1
KR100871149B1 KR1020070100389A KR20070100389A KR100871149B1 KR 100871149 B1 KR100871149 B1 KR 100871149B1 KR 1020070100389 A KR1020070100389 A KR 1020070100389A KR 20070100389 A KR20070100389 A KR 20070100389A KR 100871149 B1 KR100871149 B1 KR 100871149B1
Authority
KR
South Korea
Prior art keywords
focal length
camera
image
cost function
function
Prior art date
Application number
KR1020070100389A
Other languages
English (en)
Other versions
KR20080051026A (ko
Inventor
김재철
추창우
김호원
박정철
박지영
임성재
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US11/945,759 priority Critical patent/US8238648B2/en
Publication of KR20080051026A publication Critical patent/KR20080051026A/ko
Application granted granted Critical
Publication of KR100871149B1 publication Critical patent/KR100871149B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상 간의 대응점 위치로부터 고정된 줌 렌즈 카메라 초점거리를 계산하는 카메라 자동보정 방법에 관한 것으로, 초점거리를 변수로 하는 비용함수(cost function)를 정의하고, 정의한 비용함수를 최소화하는 초점거리를 구하여 모든 영상 쌍 각각에서 계산되는 대응점의 3차원 복원결과가 최대한 일치하는 초점거리를 구함으로써, 계산된 초점거리의 신뢰도를 쉽게 검증할 수 있을 뿐 아니라, 입력 대응점의 위치가 부정확하게 주어진 경우에도 안정적으로 카메라 초점거리를 계산할 수 있다.
카메라 보정(camera calibration), 카메라 자동보정(camera self-calibration), 카메라 내부인자(camera intrinsic parameter), 카메라 초점거리 (camera focal length), 3차원 복원(3D reconstruction), 카메라 자세추정(camera motin estimation)

Description

카메라 초점거리 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING CAMERA FOCAL LENGTH}
본 발명은 영상간의 대응점 위치로부터 카메라 초점거리, 위치, 방향을 계산하는 카메라 자동보정(camera self-calibration) 기술 분야에 관한 것으로, 더욱 상세하게는 3차원 유클리디언 공간에서 기하학적으로 유의미한 값을 가지는 3차원 좌표계들의 방향 일치성을 제약조건으로 사용하여 카메라를 자동보정하기 위한 초점거리 추정 방법에 관한 것이다.
종래 고정된 초점거리의 카메라를 자동보정하는 방법으로 Sturm은 영상 간의 대응점 위치로부터 구할 수 있는 기본행렬(Fundamental Matrix)의 SVD(Singular Value Decompostion)로부터 폐형식(closed-form)을 이용해 초점거리를 계산하는 수식을 유도하였다.
Sturm이 유도한 수식은 복소수 공간에서 정의되는 추상적 기하체(imaginary geometric entity)인 Absolute Quadric(절대 2차 원추곡면)을 이용하여 계산되었다.
추상적 기하체를 이용하였기 때문에 대응점의 위치에 오차가 있을 경우, 계 산의 정확성을 보장해 줄 수 있는 어떠한 측정 가능한 기준이 존재하지 않는다. 따라서 Sturm의 방법은 영상 잡음에 매우 민감한 결과를 제공한다.
한편, 결과의 안정성을 확보하기 위해, 자동 보정을 위한 비용함수를 정의하고 비용함수를 최소로 하는 초점거리를 비선형 최적화를 통해 계산하는 방법이 제안되었다.
Mendonca와 Cipolla는 정확한 초점거리에서는 Essential Matrix의 처음 두 개의 고유치(singular values)가 같아야 한다는 제약조건을 적용하여 비용함수를 정의하였다. 그리고 비용함수를 최소화하는 초점거리를 비선형 최적화를 통해 계산한다.
이때, 비선형 최적화를 위한 초점거리의 초기값은 Sturm의 방법을 통해 추정할 수 있다. 이러한 비선형 최적화 방법은 폐형식(Closed-form)의 해를 얻는 것보다 정확한 결과를 얻을 수 있다.
그러나 Essential Matrix에 가해지는 제약조건 역시 추상적 기하체인 Absolute Quadric(절대 2차 원추곡면)에서 유도되기 때문에 계산 결과의 신뢰도를 보장할 수 있는 기하학적 측정 기준이 존재하지 않는다. 단순히 비용함수의 수치값을 최소화하기 때문에 영상잡음이 존재할 경우 여전히 신뢰도 문제가 존재한다.
따라서 본 발명의 목적은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 3차원 유클리디언 공간에서 기하학적으로 유의미한 값을 가지는 3차원 좌표계들의 방향 일치성을 제약조건으로 적용하여 비용함수를 정의하고, 이 정의된 비용함수를 최소화하는 초점거리를 계산함으로써 카메라 초점거리를 영상 잡음하에서 안정적이고 정확하게 계산할 수 있는 초점거리 추정 장치 및 방법을 제공하는 것이다.
또한 본 발명의 목적은 기존의 방법들과는 달리 대응점의 위치가 부정확하게 주어진 경우에도 영상간의 대응점 위치로부터 고정된 줌 렌즈 카메라 초점거리를 영상 잡음하에서 안정적이고 정확하게 계산할 수 있는 초점거리 추정 장치 및 방법을 제공하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 카메라 초점거리 추정 장치는, 입력되는 2차원 영상에서 영상 쌍 간의 대응점 위치를 지정하는 영상대응점 위치지정부; 상기 지정한 영상 쌍 간의 대응점 위치로부터 카메라 자동보정을 위한 초점거리를 구하기 위해 비용함수(cost function)를 정의하는 비용함수 정의부; 및 상기 정의한 비용함수를 최소화하는 최적의 초점거리(fopt)를 계산하는 비용함수 최소화부를 포함하여 구성되는 것을 특징으로 한다.
한편, 본 발명의 카메라 초점거리 추정 방법은, 입력되는 2차원 영상의 모든 영상 쌍에 대해 각 영상쌍 간의 대응점 위치를 지정하는 1단계; 상기 지정한 대응점에 대해 컴퓨터비전 알고리즘을 통해 3차원 좌표를 계산하는 2단계; 상기 구한 3차원 좌표에 대해 각 영상쌍 간의 닮음변환 관계를 적용하여 복원한 3차원 좌표축 결과로부터 차이함수를 정의하는 3단계; 상기 모든 영상쌍에 대해 상기 정의한 차이함수의 합을 구하여 비용함수로 정의하는 4단계; 및 설정된 검색영역에서 상기 정의한 비용함수를 최소화하는 최적의 초점거리(fopt)를 구하는 5단계를 포함하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 카메라 초점거리 추정 장치 및 방법은 복소수 공간에서 정의되는 추상적 기하체(imaginary geometric entity)인 Absolute Quadric(절대 2차 원추곡면)이나 Absolute Conic을 이용하여 계산식을 유도하던 기존의 방법들과는 달리 3차원 유클리디언 공간에서 기하학적으로 유의미한 값을 가지는 3차원 좌표계들의 방향 일치성을 제약조건으로 사용함으로써 영상 잡음하에서의 카메라 초점거리 계산의 안정성을 확보할 수 있을 뿐 아니라 계산된 초점거리의 신뢰도를 쉽게 검증할 수 있고, 입력 대응점의 위치가 부정확하게 주어진 경우에도 안정적으로 초점거리를 구할 수 있다.
이하, 본 발명의 초점거리 추정 장치에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
우선 본 발명은 영상 간의 대응점 위치로부터 고정된 줌 렌즈 카메라 초점거 리를 계산하는 카메라 자동보정 방법을 고안한다. 따라서 카메라 자동보정을 위해 3장 이상의 영상과 5개 이상의 영상간 대응점이 필요하다.
또한, 일반적으로 카메라 자동보정을 위해서 보통 카메라 초점거리나 카메라의 움직임 등에 제약조건을 가하는 경우가 많은데 본 발명에서는 카메라 초점거리가 촬영중에 고정되어 있는 경우를 고려한다.
도 1은 본 발명에 따른 카메라 초점거리 추정 장치(100)의 전체 구성을 나타낸 것으로, 본 발명의 카메라 초점거리 추정 장치(100)는 영상대응점 위치지정부(110), 비용함수 정의부(120), 비용함수 최소화부(130)로 구성된다.
먼저 영상대응점 위치지정부(110)에서는 복수의 카메라들(10)에 의해 입력되는 영상으로부터 영상 쌍 간의 대응점 위치를 지정한다. 여기서, 영상은 디지털 카메라로 촬영한 이미지 파일이나 필름카메라에서 촬영한 사진의 디지털 스캔, 또는 비디오 카메라로 촬영한 동영상 파일 등이 사용될 수 있다.
영상 간의 대응점 위치는 사용자가 수동으로 위치를 지정하거나 특징점 검출 및 추적 알고리즘을 적용하여 자동으로 위치를 지정할 수 있으며 방법상의 특정한 제약은 존재하지 않는다.
그리고, 비용함수 정의부(120)에서는 영상대응점 위치지정부(110)로부터 지정된 대응점에 대한 3차원 복원결과로부터 차이함수를 구하고, 이 차이함수를 이용해 카메라 자동보정을 위한 최적의 초점거리를 구하기 위한 비용함수(D(f))를 정의한다.
그리고, 비용함수 최소화부(130)는 비용함수 정의부(120)에서 정의한 비용함수(D(f))를 최소화하는 초점거리를 계산한다. 이 초점거리의 계산은 다중 해상도의 전역 검색 방법(Exhaustive search of multi-resolution) 및 비선형 최적화 알고리즘을 이용해 수행한다.
도 2는 본 발명의 영상대응점 위치지정부(110)에서 영상 간 대응점을 지정하는 모습을 나타낸 개념도이다. 도 2와 같이 실세계 좌표에서 입력 영상 쌍(P1, P2)의 대응점(X)에 대해 3차원 좌표를 구한다.
도 3은 본 발명의 비용함수 정의부(120)에서 카메라 초점거리를 계산하기 위해 비용함수를 정의하는 과정을 구체적으로 나타낸 순서도이다.
먼저, 비용함수 정의에 필요한 차이함수를 구하기 위해서 영상대응점 위치지정부(110)에서 지정한 대응점에 대한 두 3차원 좌표계 사이의 닮음변환(similarity transform)을 아래 [수학식 1]과 같이 정의한다.
Figure 112007071677010-pat00001
[수학식 1]
수학식 1에서
Figure 112007071677010-pat00002
과
Figure 112007071677010-pat00003
는 3차원 상의 임의의 한 점 X에 대한 두 좌표계에서의 좌표값이고, R은 3ㅧ3 크기의 회전행렬(Rotation Matrix)이며, t는 3ㅧ1 크기의 병진벡터(Translation Vector)이고, s는 두 좌표계 간의 비례(scale)를 나타내는 상수값이다.
B.K.P. Horn은 "Closed-form Solution of Absolute Orientation Using Unit Quaternions"이라는 논문에서 일반적으로 3개 이상의 3차원 점이 주어지면 닮음변환을 결정하는 유일해를 계산할 수 있음을 보였다.
따라서 수학식 1로 정의된 두 3차원 좌표계의 닮음변환으로부터 유일해를 구하고, 구한 유일해를 이용해 두 영상 쌍간의 3차원 복원결과의 차이를 측정하기 위한 기준을 정의한다.
먼저, 기준영상(Ir)을 공통으로 포함하는 두 영상 쌍(P1과 P2)이 존재한다고 가정한다. 이때, 카메라의 정확한 초점거리를 알고 있으며, 5개 이상의 대응점이 모든 영상에 존재한다면, 두 영상 쌍(P1, P2)에서 각각 대응점의 3차원 좌표들을 계산할 수 있다.
두 영상 쌍(P1, P2)에서 각각 계산된 대응점의 3차원 좌표들 사이에는 수학식 1의 닮음변환 관계가 존재한다.
여기서 대응점의 3차원 좌표는 컴퓨터 비젼 분야에서 잘 알려져 있는 알고리즘들인 5-points, 6-points, 7-points, 8-points 알고리즘 등으로 계산이 가능하다.
그리고 모든 영상에 5개 이상의 대응점이 존재한다고 가정했기 때문에, B.K.P. Horn의 알고리즘 등을 이용해서 두 영상 쌍에서 각각 구한 대응점들의 3차원 좌표들로부터 두 영상 쌍의 3차원 좌표계 사이의 닮음변환을 구성하는 수학식 1의 R, t, s를 계산할 수 있다.
그런데 두 영상 쌍(P1, P2)이 공통의 기준영상(Ir)을 포함하므로 두 영상 쌍(P1, P2)에서 대응점의 3차원 좌표를 모두 기준영상(Ir)의 카메라 좌표계를 기준으로 계산할 수 있다. 이것은 두 영상 쌍(P1, P2)의 3차원 좌표계를 기준영상(Ir)의 카메라 좌표계로 일치시킴을 의미한다.
따라서 수학식 1로 정의된 두 3차원 좌표계의 닮음변환에서 회전과 병진은 제거된다. 다시 말해 두 3차원 좌표계에서 표현되는 하나의 대응점(X)에 대한 3차원 좌표
Figure 112007071677010-pat00004
과
Figure 112007071677010-pat00005
사이에서
Figure 112007071677010-pat00006
의 비례변환(Scale Transform) 관계만 성립한다.
결국, 카메라 초점거리가 정확하다면 두 3차원 좌표계의 닮음변환에서 구해지는 회전행렬(R)은 단위행렬(identity matrix)이 되어야 하고, 병진벡터(t)는 영벡터(zero vector)가 되어야 한다.
이러한 사실로부터 주어진 초점거리에 대해 두 영상 쌍(P1, P2)에서 계산한 3차원 복원 결과의 차이를 나타내는 차이함수(D(f))를 아래 식과 같이 정의한다.
Figure 112007071677010-pat00007
[수학식 2]
수학식 2에서
Figure 112007071677010-pat00008
(i=1, 2, 3)는 회전행렬(R)의 i번째 열을 구성하는 벡터이고,
Figure 112007071677010-pat00009
=[1,0,0]T,
Figure 112007071677010-pat00010
=[0,1,0]T,
Figure 112007071677010-pat00011
=[0,0,1]T이고,
Figure 112007071677010-pat00012
는 x의 역코사인(arccosine) 함수를 나타내며,
Figure 112007071677010-pat00013
는 두 벡터(
Figure 112007071677010-pat00014
)의 내적을 나타낸다.
수학식 2(차이함수(D(f)))는 수학식 1로 표현되는 닮음변환을 구성하는 회전행렬(R)이 단위행렬에 가까워질수록 작은 값을 가진다. 이를 기하학적으로 해석하면, 두 영상 쌍(P1, P2)에서 각각 계산한 대응점(X)의 3차원 좌표로부터 얻어지는 두 영상 쌍 좌표계의 방향이 서로 일치할수록 수학식 2(차이함수(D(f)))는 작은 값을 가진다.
한편, 수학식 2(차이함수(D(f)))는 회전행렬(R)만을 두 좌표계의 일치도를 계산하는데 고려하고 있다. 그러나 보다 정확한 계산을 위해서는 병진벡터(t)도 함께 고려해야 한다.
즉, 병진벡터(t)의 크기 값(norm value)이 작을수록 두 3차원 좌표계는 서로 일치하게 된다. 이를 기하학적으로 해석하면, 두 영상 쌍 좌표계의 원점의 위치가 서로 일치할수록 두 좌표계 사이의 차이함수(D(f))는 작은 값을 가진다.
따라서 수학식 2의 차이함수(D(f))를 다음과 같은 형태로 정의하는 것도 가능하다.
Figure 112007071677010-pat00015
[수학식 3]
수학식 3에서 첫 번째 항은 수학식 2와 동일하고, 두 번째 항은 병진벡터(t)의 크기를 나타내며,
Figure 112007071677010-pat00016
(i=1, 2, 3)는 병진벡터(t)의 i번째 성분을 나타내고, α는 두 항 사이의 비중을 정의하는 임의의 상수값이다.
수학식 3이 수학식 2에 비해 두 좌표계의 일치도를 보다 정확하게 기술할 수 는 있지만, 실제로는 수학식 2만으로도 안정적인 계산결과를 얻는데 큰 문제가 없다. 또한 수학식 3의 α 값을 어떻게 정하는가에 따라 수학식 3의 계산결과가 달라지는 문제가 존재한다.
이제 수학식 2나 3에서 정의한 차이함수(D(f))로부터 카메라 자동보정을 위한 비용함수(C(f))를 아래 식과 같이 정의한다.
Figure 112007071677010-pat00017
[수학식 4]
수학식 4에서
Figure 112007071677010-pat00018
는 두 영상 쌍(P1과 Pk) 사이에서 계산된 차이함수(D(f))를 의미하고, 이때, 영상 쌍 P1은 기준영상(Ir)과 영상(I1)으로 구성되며, 영상 쌍 Pk는 기준영상(Ir)과 영상(Ik)으로 구성된다.
수학식 4를 참조하면, 비용함수(C(f))는 기준영상(Ir)과 나머지 영상(I1, ..., In)으로 구성된 n+1 장의 영상에서 기준영상(Ir)을 포함하는 n개의 영상 쌍(P1, ..., Pn)을 구성하고, 영상 쌍(P1)과 나머지 영상 쌍(P2, ..., Pn) 사이의 차이함수(
Figure 112007071677010-pat00019
, k=2, ..., n))를 각각 계산하여 그 값들을 모두 더한 것이다.
따라서 수학식 4의 비용함수(C(f))를 최소화하는 초점거리를 계산함으로써 입력 영상으로부터 구성되는 각각의 영상 쌍들에서 계산한 대응점들의 3차원 좌표들이 최대로 일치하는 카메라 초점거리 값을 얻을 수 있다.
한편, 수학식 4의 비용함수(C(f))는 n+1 장의 입력 영상 중에서 기준영상(Ir)과 첫 번째 영상(I1)을 어떻게 선택하는가에 따라 동일한 초점거리에서의 함 수값이 달라질 수 있다.
이러한 문제를 제거하기 위해서는 n+1 장의 입력 영상에서 선택 가능한 기준영상(Ir)과 첫 번째 영상(I1)을 총 n(n+1)번 반복하여 계산해야 하기 때문에 연산량이 매우 늘어나게 된다.
그러나 실제로 임의로 선택한 하나의 기준영상(Ir)과 첫 번째 영상(I1)의 조합에 대해 한 번만 비용함수를 계산해도 제공되는 초점거리의 정확도가 실용적 사용에 큰 문제가 없기 때문에, 비용함수의 반복적 계산은 일반적으로 요구되지 않는다.
도 4는 본 발명에서 비용함수 정의부(120)에서 정의된 비용함수(C(f))를 이용해 비용함수 최소화부(130)에서 초점거리를 구하는 과정을 설명하는 순서도이다.
비용함수 최소화부(130)는 수학식 4에서 정의한 비용함수(D(f))를 최소화하는 초점거리를 계산한다. 이러한 초점거리의 계산은 다중 해상도의 전역 검색 방법(Exhaustive search of multi-resolution) 및 비선형 최적화 알고리즘을 이용해 수행된다.
먼저 초점거리의 계산을 수행하기 전에, 본 발명에서는 초점거리가 가질 수 있는 값의 범위(검색영역)를 미리 설정하고, 등간격의 m등분으로 샘플링한다.
본 발명에서는 입력된 영상크기의
Figure 112007071677010-pat00020
에서 5배에 이르는 초점거리를 검색영역으로 설정한다. 그러나 검색영역은 적용 분야에 따라 다양하게 지정할 수 있으 며, 지정 방법상의 특별한 제약은 없다.
그런 다음, 제1과정으로, 검색영역을 같은 간격으로 m등분하여 얻은 샘플링된 초점거리(fi(i=1, ..., m))에 대해 각각 수학식 4의 비용함수(C(f)) 값을 계산한다. 그리고 샘플링된 초점거리(fi(i=1, ..., m))에 대해 각각 계산한 비용함수(C(f)) 값들 중에서 비용함수(C(f)) 값을 최소로 하는 초점거리(fmim)를 구한다(S401).
제2과정으로, fmim을 초기값으로 하여 비용함수(C(f))를 최소화하는 초점거리를 Quasi-Newton 방법과 같은 비선형 최적화 알고리즘을 이용하여 구한다. 이렇게 구한 최적의 초점거리(fopt)를 카메라 초점거리로 결정한다(S402).
한편, 카메라의 촬영 위치나 자세를 구해야 할 경우, 최적의 초점거리(fopt)와 영상 간의 대응점 위치가 이미 주어졌기 때문에 카메라의 위치와 자세는 컴퓨터 비젼 분야에서 잘 알려져 있는 5-points, 6-points, 7-points, 8-points 알고리즘 등으로 간단하게 구할 수 있다.
그러면, 상기와 같은 구성을 가지는 본 발명의 고정된 줌 렌즈 카메라 초점거리 추정 방법에 대해 도 5를 참조하여 설명하기로 한다.
도 5는 본 발명에 따른 비용함수를 이용해 카메라 초점거리를 구하는 방법을 나타낸 순서도이다.
우선, 초점거리가 가질 수 있는 값의 범위(검색영역)를 미리 설정하고, 등간격의 m등분으로 샘플링하여 저장한다(S500).
그런 다음, 본 발명은 샘플링된 각각의 검색영역에 있어서 영상대응점 위치지정부(110)에서 2차원 입력영상에 대한 영상쌍 간 대응점(X) 위치를 지정한다(S501).
그런 다음, 주어진 초점거리에서 2차원 입력영상의 각 영상 쌍(P1, P2) 조합에 대해 지정한 대응점(X)의 3차원 좌표를 계산한다(S502).
각각의 영상 쌍(P1, P2)에서 계산한 대응점의 3차원 좌표로부터 각 영상 쌍(P1, P2)의 3차원 좌표축을 결정한다(S503).
서로 다른 두 개의 영상 쌍(P1, P2)에서 구한 3차원 좌표축의 방향을 비교하여 두 3차원 좌표축의 각도 차이를 계산한다(S504).
모든 영상 쌍(P1, P2,....Pn)에 대한 (S504)의 수행이 완료되었는지 확인하여(S505), NO이면 (S504)의 과정으로 리턴하여 반복수행하고, YES이면 각 영상 쌍에서 계산한 3차원 좌표축의 각도차이들의 총합을 비용함수의 값으로 결정한다(S506).
일정 범위내의 모든 검색 영역의 초점거리에 대해 (S501)-(S506)의 과정을 반복하여 완료되었는지 확인하고(S507), NO이면 (S501)-(S506)의 과정을 반복하고, YES이면 비용함수의 값을 최소화하는 초점거리를 계산한다(S508). 이와 같이 구해진 초점거리를 이용해 카메라의 자동보정을 수행한다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어 나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
도 1은 본 발명에 따른 고정된 줌 렌즈 카메라 초점거리 추정 장치의 전체 구성도,
도 2는 영상 쌍 간의 대응점에 대한 3차원 좌표의 관계를 나타낸 도면,
도 3은 비용함수 정의 과정을 나타낸 순서도,
도 4는 초점거리를 구하는 과정을 나타낸 순서도,
도 5는 본 발명에 따른 고정된 줌 렌즈 카메라 초점거리를 추정하는 과정을 나타낸 순서도이다.
<도면의 주요 부호에 대한 설명>
10 : 카메라
100 : 카메라 초점거리 추정 장치
110 : 영상대응점 위치지정부
120 : 비용함수 정의부
130 : 비용함수 최소화부

Claims (17)

  1. 입력되는 2차원 영상에서 영상 쌍 간의 대응점 위치를 지정하는 영상대응점 위치지정부;
    상기 영상 쌍 간의 대응점에 대해 닮음변환을 적용하여 대응점의 3차원 좌표를 기준영상의 카메라 좌표로 복원한 결과를 차이함수로 정의하는 차이함수 정의수단과, 상기 기준영상과 나머지 영상(I1,...,In)으로 구성된 영상 쌍에 대해, 영상 쌍(P1)과 나머지 영상 쌍(P2,...,Pn) 사이의 차이함수를 구하여 합한 결과를 비용함수로 정의하는 비용함수 정의수단으로 구성된 비용함수 정의부; 및
    상기 정의한 비용함수를 최소화하는 최적의 초점거리(fopt)를 계산하는 비용함수 최소화부
    를 포함하는 것을 특징으로 하는 카메라 초점거리 추정 장치.
  2. 제1항에 있어서,
    상기 초점거리(fopt)와 상기 영상 쌍 간의 대응점 위치를 이용해 5-points, 6-points, 7-points, 8-points를 포함하는 컴퓨터 알고리즘으로 카메라의 촬영 위치 및 자세를 계산하는 위치 및 자세 계산부를 더 포함하는 것을 특징으로 하는 카메라 초점거리 추정 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 영상대응점 위치지정부에서는 사용자에 의해 수동으로 영상 쌍 간 대응점 위치가 지정되거나 특징점 검출 및 추적 알고리즘을 적용하여 영상 쌍 간 대응점 위치를 자동으로 지정하는 것을 특징으로 하는 카메라 초점거리 추정 장치.
  4. 삭제
  5. 제1항에 있어서, 상기 차이함수 정의수단에서 아래 식과 같이 차이함수를 구하는 것을 특징으로 하는 카메라 초점거리 추정 장치.
    Figure 112008052938357-pat00021
    (여기서,
    Figure 112008052938357-pat00022
    (i=1, 2, 3)는 회전행렬(R)의 i번째 열을 구성하는 벡터이고,
    Figure 112008052938357-pat00023
    =[1,0,0]T,
    Figure 112008052938357-pat00024
    =[0,1,0]T,
    Figure 112008052938357-pat00025
    =[0,0,1]T이고,
    Figure 112008052938357-pat00026
    는 x의 역코사인(arccosine) 함수를 나타내며,
    Figure 112008052938357-pat00027
    는 두 벡터(
    Figure 112008052938357-pat00028
    )의 내적을 나타낸다.
  6. 제1항에 있어서, 상기 차이함수 정의수단에서 아래 식과 같이 차이함수를 구하는 것을 특징으로 하는 카메라 초점거리 추정 장치.
    (여기서, 첫 번째 항은
    Figure 112008052938357-pat00030
    (i=1, 2, 3)는 회전행렬(R)의 i번째 열을 구성하는 벡터이고,
    Figure 112008052938357-pat00031
    =[1,0,0]T,
    Figure 112008052938357-pat00032
    =[0,1,0]T,
    Figure 112008052938357-pat00033
    =[0,0,1]T이고,
    Figure 112008052938357-pat00034
    는 x의 역코사인(arccosine) 함수를 나타내며,
    Figure 112008052938357-pat00035
    는 두 벡터(
    Figure 112008052938357-pat00036
    )의 내적을 나타낸다. 두 번째 항은 병진벡터(t)의 크기를 나타내며,
    Figure 112008052938357-pat00037
    (i=1, 2, 3)는 병진벡터(t)의 i번째 성분을 나타내고, α는 두 항 사이의 비중을 정의하는 임의의 상수값이다.)
  7. 제5항 또는 제6항에 있어서, 상기 비용함수 정의수단에서 아래 식과 같이 정의된 비용함수를 이용해 상기 비용함수가 최소가 되는 최적의 초점거리(fopt)를 구하는 것을 특징으로 하는 카메라 초점거리 추정 장치.
    Figure 112008052938357-pat00038
    (여기서,
    Figure 112008052938357-pat00039
    는 두 영상 쌍(P1과 Pk) 사이에서 계산된 차이함수(D(f))를 의미한다.)
  8. 제1항 또는 제2항에 있어서,
    상기 비용함수 최소화부는 카메라 초점거리가 가질 수 있는 값의 범위를 검색영역으로 미리 설정하고, m등분으로 샘플링하여 저장해 두는 것을 특징으로 하는 카메라 초점거리 추정 장치.
  9. 제8항에 있어서, 상기 비용함수 최소화부는,
    다중 해상도의 전역 검색 방법(Exhaustive Search of Multi-resolution)을 통해 상기 설정된 검색영역을 m등분으로 샘플링한 초점거리에 대해 각각 비용함수 값을 계산하고, 상기 계산한 비용함수 값 중 최소의 비용함수 값에 해당하는 초점거리(fmin)를 구하는 전역검색수단; 및
    상기 구한 초점거리(fmin)를 이용해 비선형 최적화 기법을 적용하여 최적의 초점거리(fopt)를 구하는 비선형최적화수단
    을 포함하는 것을 특징으로 하는 카메라 초점거리 추정 장치.
  10. 제9항에 있어서, 상기 비선형최적화수단은
    상기 최소의 비용함수 값에 해당하는 초점거리(fmin)를 초기값으로 하여 Quasi-Newton 방법을 사용한 비선형최적화 기법을 이용해 상기 비용함수를 최소화하는 최적의 초점거리를 구하는 것을 특징으로 하는 카메라 초점거리 추정 장치.
  11. 입력되는 2차원 영상의 모든 영상 쌍에 대해 각 영상쌍 간의 대응점 위치를 지정하는 1단계;
    상기 지정한 대응점에 대해 컴퓨터비전 알고리즘을 통해 3차원 좌표를 계산하는 2단계;
    상기 구한 3차원 좌표에 대해 각 영상쌍 간의 닮음변환 관계를 적용하여 대응점의 3차원 좌표를 기준영상의 카메라 좌표로 복원한 결과를 차이함수로 정의하는 3단계;
    상기 기준영상과 나머지 영상(I1,...,In)으로 구성된 영상 쌍에 대해, 영상 쌍(P1)과 나머지 영상 쌍(P2,...,Pn) 사이의 차이함수를 구하여 합한 결과를 비용함수로 정의하는 4단계; 및
    설정된 검색영역에서 상기 정의한 비용함수를 최소화하는 최적의 초점거리(fopt)를 구하는 5단계
    를 포함하는 것을 특징으로 하는 카메라 초점거리 추정 방법.
  12. 제11항에 있어서,
    상기 구한 초점거리(fopt)와 상기 영상쌍 간의 대응점 위치를 이용해 5-points, 6-points, 7-points, 8-points를 포함하는 컴퓨터비전 알고리즘을 적용하여 카메라의 촬영 위치 및 자세를 추정하는 6단계를 더 포함하는 것을 특징으로 하는 카메라 초점거리 추정 방법.
  13. 제11항에 있어서, 상기 3단계는
    상기 각각의 영상쌍의 계산한 3차원 좌표로부터 각 영상쌍의 3차원 좌표축을 복원하는 3-1단계
    상기 복원한 각 영상쌍의 3차원 좌표축 중 서로 다른 두 개의 영상쌍에서 구한 좌표축의 방향을 비교하여 두 좌표축의 각도차이를 계산하기 위한 차이함수를 정의하는 3-2단계
    를 포함하는 것을 특징으로 하는 카메라 초점거리 추정 방법.
  14. 제13항에 있어서, 상기 3-2단계는
    서로 다른 두 개의 영상쌍에서 복원된 3차원 좌표축의 각도차이를 아래와 같은 닮음변환 식1의 회전행렬(R), 병진벡터(t), 비례상수(s)를 이용하여 나타내고, 상기 닮음변환 식1에 대해 상기 복원된 3차원 좌표축이 일치하도록 아래 식2, 식3의 차이함수로 정의하는 것을 특징으로 하는 카메라 초점거리 추정 방법.
    Figure 112007071677010-pat00040
    ---[식1],
    Figure 112007071677010-pat00041
    ---[식2],
    Figure 112007071677010-pat00042
    ---[식3]
    (여기서,
    Figure 112007071677010-pat00043
    (i=1, 2, 3)는 회전행렬(R)의 i번째 열을 구성하는 벡터이고,
    Figure 112007071677010-pat00044
    =[1,0,0]T,
    Figure 112007071677010-pat00045
    =[0,1,0]T,
    Figure 112007071677010-pat00046
    =[0,0,1]T이고,
    Figure 112007071677010-pat00047
    는 x의 역코사인(arccosine) 함수를 나타내며,
    Figure 112007071677010-pat00048
    는 두 벡터(
    Figure 112007071677010-pat00049
    )의 내적을 나타내고,
    Figure 112007071677010-pat00050
    (i=1, 2, 3)는 병진벡터(t)의 i번째 성분을 나타내고, α는 두 항 사이의 비중을 정의하는 임의의 상수값이다.)
  15. 제14항에 있어서, 상기 4단계는
    상기 정의된 식2의 차이함수를 모든 영상쌍에 대해 확장하여 각 영상쌍별로 반복하여 계산하고, 상기 계산한 각 영상쌍의 차이함수 값의 총합을 식4의 비용함수로 정의하는 것을 특징으로 하는 카메라 초점거리 추정 방법.
    Figure 112007071677010-pat00051
    ---[식4]
    (여기서,
    Figure 112007071677010-pat00052
    는 두 영상 쌍(P1과 Pk) 사이에서 계산된 차이함수(D(f))를 의미한다.)
  16. 제14항에 있어서, 상기 4단계는
    상기 정의된 식3의 차이함수를 모든 영상쌍에 대해 확장하여 각 영상쌍별로 반복하여 계산하고, 상기 계산한 각 영상쌍의 차이함수 값의 총합을 식4의 비용함수로 정의하는 카메라 초점거리 추정 방법.
    Figure 112007071677010-pat00053
    ---[식4]
    (여기서,
    Figure 112007071677010-pat00054
    는 두 영상 쌍(P1과 Pk) 사이에서 계산된 차이함수(D(f))를 의미한다.)
  17. 제11항에 있어서, 상기 5단계는
    설정된 검색영역을 미리 m등분으로 샘플링한 초점거리(fi(i=1, ..., m))에 대해 각각 비용함수(C(f)) 값을 계산하는 단계;
    다중 해상도의 전역 검색 방법(Exhaustive Search of Multi-resolution)을 적용해 상기 계산한 비용함수(C(f)) 값이 최소가 되는 초점거리(fmin)를 계산하는 단계; 및
    상기 초점거리(fmin)를 초기해로 하여 상기 비선형 최적화 알고리즘을 통해 상기 비용함수(C(f))를 최소화하는 최적의 초점거리(fopt)를 계산하는 단계
    를 포함하는 것을 특징으로 하는 카메라 초점거리 추정 방법.
KR1020070100389A 2006-12-04 2007-10-05 카메라 초점거리 추정 장치 및 방법 KR100871149B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/945,759 US8238648B2 (en) 2006-12-04 2007-11-27 Apparatus and method for estimating focal length of camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060121355 2006-12-04
KR1020060121355 2006-12-04

Publications (2)

Publication Number Publication Date
KR20080051026A KR20080051026A (ko) 2008-06-10
KR100871149B1 true KR100871149B1 (ko) 2008-12-05

Family

ID=39806170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070100389A KR100871149B1 (ko) 2006-12-04 2007-10-05 카메라 초점거리 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100871149B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754587B (zh) * 2020-06-28 2024-01-12 东华大学 一种基于单焦距聚焦拍摄图像的变焦镜头快速标定方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980014688A (ko) * 1996-08-14 1998-05-25 이대원 줌 렌즈의 초점 거리 보상 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980014688A (ko) * 1996-08-14 1998-05-25 이대원 줌 렌즈의 초점 거리 보상 장치 및 그 방법

Also Published As

Publication number Publication date
KR20080051026A (ko) 2008-06-10

Similar Documents

Publication Publication Date Title
US10334168B2 (en) Threshold determination in a RANSAC algorithm
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
EP3428875A1 (en) Methods and apparatuses for panoramic image processing
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
Pagani et al. Structure from motion using full spherical panoramic cameras
CN105308627B (zh) 一种标定相机的方法及其系统
US8238648B2 (en) Apparatus and method for estimating focal length of camera
CN108955718A (zh) 一种视觉里程计及其定位方法、机器人以及存储介质
CN102472609A (zh) 位置和姿势校准方法及设备
CN106530358A (zh) 仅用两幅场景图像标定ptz摄像机的方法
Brückner et al. Intrinsic and extrinsic active self-calibration of multi-camera systems
Strelow et al. Precise omnidirectional camera calibration
JP6282377B2 (ja) ３次元形状計測システムおよびその計測方法
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
CN111105462B (zh) 位姿确定方法及装置、增强现实设备和可读存储介质
JP2016148649A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
Ventura et al. Structure and motion in urban environments using upright panoramas
Trajković Interactive calibration of a PTZ camera for surveillance applications
KR100871149B1 (ko) 카메라 초점거리 추정 장치 및 방법
Holtz et al. Automatic extrinsic calibration of depth sensors with ambiguous environments and restricted motion
Kuhl et al. Monocular 3D scene reconstruction at absolute scales by combination of geometric and real-aperture methods
Marko et al. Automatic Stereo Camera Calibration in Real-World Environments Without Defined Calibration Objects
Montone et al. Unsupervised model-free camera calibration algorithm for robotic applications
Peer et al. Where physically is the optical center?

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141027

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 12