KR20220103547A - 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치 및 이를 이용한 방법 - Google Patents

카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치 및 이를 이용한 방법 Download PDF

Info

Publication number
KR20220103547A
KR20220103547A KR1020210006308A KR20210006308A KR20220103547A KR 20220103547 A KR20220103547 A KR 20220103547A KR 1020210006308 A KR1020210006308 A KR 1020210006308A KR 20210006308 A KR20210006308 A KR 20210006308A KR 20220103547 A KR20220103547 A KR 20220103547A
Authority
KR
South Korea
Prior art keywords
camera
wide
image
angle
image distortion
Prior art date
Application number
KR1020210006308A
Other languages
English (en)
Inventor
이재영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210006308A priority Critical patent/KR20220103547A/ko
Publication of KR20220103547A publication Critical patent/KR20220103547A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치 및 이를 이용한 방법이 개시된다. 본 발명의 일실시예에 따른 광각 카메라 캘리브레이션 방법은 광각 카메라의 카메라 스펙을 수집하는 단계; 상기 카메라 스펙과 상기 광각 카메라에 의한 방사왜곡(RADIAL DISTORTION)에 상응하는 영상 왜곡모델을 기반으로 상기 방사왜곡이 보상된 초점거리(FOCAL LENGTH)를 산출하는 단계; 상기 방사왜곡이 보상된 초점거리를 기반으로 상기 영상 왜곡모델의 영상 왜곡계수(DISTORTION COEFFICIENT)를 추정하는 단계; 및 상기 영상 왜곡계수를 상기 영상 왜곡모델에 적용하여 상기 광각 카메라의 캘리브레이션을 수행하는 단계를 포함한다.

Description

카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치 및 이를 이용한 방법 {APPARATUS FOR CALIBRATING WIDE ANGLE CAMERA USING FIELD OF VIEW ANGLE OF CAMERA AND METHOD USING THE SAME}
본 발명은 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 기술에 관한 것으로, 특히 카메라 스펙(specification)에 표기된 시야각 정보를 이용하여 광각 카메라의 파라미터를 추정하는 기술에 관한 것이다.
카메라 캘리브레이션은 카메라의 초점거리(focal length), 주점(principal point), 영상왜곡계수(distortion coefficient) 등의 카메라 파라미터를 구하는 일련의 과정을 일컫는다. 카메라 캘리브레이션은 지능형 영상시스템, CCTV 응용 등에서 공통적으로 선행되는 필수 과정 중 하나이다.
카메라 캘리브레이션을 수행하는 목적은 카메라의 특성을 모델링하고 보상함으로써 지능형 인식 알고리즘을 카메라 종류, 스펙 및 설치 위치 등에 관계없이 동일하게 적용하기 위함이다. 또한, 영상으로부터 기하학적 정보(사물의 위치, 크기)를 추출하기 위해서도 카메라 캘리브레이션 정보가 필요하다.
종래의 카메라 캘리브레이션 방법은, 도 1과 같이 체스보드와 같은 특별한 형태의 패턴을 다양한 위치 및 각도(보통 20장 내외)에서 카메라로 촬상한 후 촬상된 영상들을 분석하여 카메라 파라미터를 추정하는 것이 일반적이다.
하지만 이러한 방법은 복잡한 영상획득 과정으로 인해, 번거롭고 시간이 많이 걸린다는 문제점이 있다. 특히, 감시용 CCTV 카메라처럼 이미 설치되어 있는 카메라를 대상으로 캘리브레이션을 수행할 경우, 영상 획득 과정이 매우 힘들거나 아예 불가능할 수 있다. 또한, 대상 카메라가 다수인 경우(건물, 도심에 설치된 수십, 수백 대의 CCTV를 대상으로 지능형 시스템을 구축할 경우 등)에 이런 문제는 더욱 심각해진다.
이처럼 직접적인 카메라 캘리브레이션이 어려운 경우에는 카메라의 시야각(field of view angle) 정보를 이용하여 카메라 파라미터를 구하는 방법을 생각해 볼 수 있다. 카메라 시야각, 카메라 초점거리, 이미지 해상도 사이에는 서로 상관관계가 있으며 이 상관관계를 이용하면 카메라 시야각으로부터 카메라 초점거리 산출이 가능하다.
그러나, 카메라 시야각을 이용한 캘리브레이션 방법은 카메라의 영상왜곡이 없는 경우에만 적용할 수 있으며, 영상왜곡이 심한 광각 카메라(수평시야각 90도 이상의 카메라)에는 적용이 힘든 문제점이 있다. 하지만, CCTV 및 지능형 영상감시 시스템에 사용되는 대부분의 카메라는 넓은 시야를 확보하기 위해 광각 카메라를 사용하는 것이 일반적이므로 종래의 복잡한 캘리브레이션 과정을 회피하기 어렵다.
한국 공개 특허 제10-2018-0105875호, 2018년 10월 01일 공개(명칭: 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치)
본 발명의 목적은 복잡한 영상획득 과정 없이 제조사에서 공개한 카메라 스펙을 통해 확인할 수 있는 카메라의 시야각 정보만을 이용하여 광각 카메라의 파라미터를 추정하는 것이다.
또한, 본 발명의 목적은 캘리브레이션이 어려운 곳에 위치한 카메라나 여러 대의 카메라를 동시에 캘리브레이션해야 하는 경우, 캘리브레이션에 따른 비용과 시간을 효과적으로 줄일 수 있는 방법을 제공하는 것이다.
또한, 본 발명의 목적은 정밀한 캘리브레이션을 요구하지 않는 일반 영상 응용 시스템에 효과적으로 적용할 수 있는 캘리브레이션 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 광각 카메라 캘리브레이션 방법은 광각 카메라의 카메라 스펙을 수집하는 단계; 상기 카메라 스펙과 상기 광각 카메라에 의한 방사왜곡(RADIAL DISTORTION)에 상응하는 영상 왜곡모델을 기반으로 상기 방사왜곡이 보상된 초점거리(FOCAL LENGTH)를 산출하는 단계; 상기 방사왜곡이 보상된 초점거리를 기반으로 상기 영상 왜곡모델의 영상 왜곡계수(DISTORTION COEFFICIENT)를 추정하는 단계; 및 상기 영상 왜곡계수를 상기 영상 왜곡모델에 적용하여 상기 광각 카메라의 캘리브레이션을 수행하는 단계를 포함한다.
이 때, 카메라 스펙은 수평 시야각(HORIZONTAL FIELD OF VIEW ANGLE), 수직 시야각(VERTICAL FIELD OF VIEW ANGLE) 및 이미지 해상도를 포함할 수 있다.
이 때, 추정하는 단계는 상기 영상 왜곡모델을 기반으로 상기 방사왜곡이 보상된 초점거리에 상응하는 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값을 상기 영상 왜곡계수로 추정할 수 있다.
이 때, 캘리브레이션을 수행하는 단계는 상기 영상 왜곡계수를 적용한 영상 왜곡모델을 이용하여 상기 광각 카메라에 상응하는 초점거리를 산출할 수 있다.
이 때, 추정하는 단계는 상기 영상 왜곡계수의 변화에 따른 에러함수 그래프를 생성하고, 상기 에러함수 그래프에서 에러 값이 최소가 되는 값을 상기 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단할 수 있다.
이 때, 추정하는 단계는 뉴턴-랩슨(NEWTON-RAPSON) 방법을 기반으로 상기 영상 왜곡계수에 대한 에러함수의 값을 0으로 하는 값을 상기 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단할 수 있다.
이 때, 카메라 스펙은 상기 광각 카메라의 제조사에서 제공하는 스펙에 상응할 수 있다.
또한, 본 발명의 일실시예에 따른 광각 카메라 캘리브레이션 장치는, 광각 카메라의 카메라 스펙을 수집하고, 상기 카메라 스펙과 상기 광각 카메라에 의한 방사왜곡(RADIAL DISTORTION)에 상응하는 영상 왜곡모델을 기반으로 상기 방사왜곡이 보상된 초점거리(FOCAL LENGTH)를 산출하고, 상기 방사왜곡이 보상된 초점거리를 기반으로 상기 영상 왜곡모델의 영상 왜곡계수(DISTORTION COEFFICIENT)를 추정하고, 상기 영상 왜곡계수를 상기 영상 왜곡모델에 적용하여 상기 광각 카메라의 캘리브레이션을 수행하는 프로세서; 및 상기 카메라 스펙을 저장하는 메모리를 포함한다.
이 때, 카메라 스펙은 수평 시야각(HORIZONTAL FIELD OF VIEW ANGLE), 수직 시야각(VERTICAL FIELD OF VIEW ANGLE) 및 이미지 해상도를 포함할 수 있다.
이 때, 프로세서는 상기 영상 왜곡모델을 기반으로 상기 방사왜곡이 보상된 초점거리에 상응하는 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값을 상기 영상 왜곡계수로 추정할 수 있다.
이 때, 프로세서는 상기 영상 왜곡계수를 적용한 영상 왜곡모델을 이용하여 상기 광각 카메라에 상응하는 초점거리를 산출할 수 있다.
이 때, 프로세서는 상기 영상 왜곡계수의 변화에 따른 에러함수 그래프를 생성하고, 상기 에러함수 그래프에서 에러 값이 최소가 되는 값을 상기 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단할 수 있다.
이 때, 프로세서는 뉴턴-랩슨(NEWTON-RAPSON) 방법을 기반으로 상기 영상 왜곡계수에 대한 에러함수의 값을 0으로 하는 값을 상기 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단할 수 있다.
이 때, 카메라 스펙은 상기 광각 카메라의 제조사에서 제공하는 스펙에 상응할 수 있다.
본 발명에 따르면, 복잡한 영상획득 과정 없이 제조사에서 공개한 카메라 스펙을 통해 확인할 수 있는 카메라의 시야각 정보만을 이용하여 광각 카메라의 파라미터를 추정할 수 있다.
또한, 본 발명은 캘리브레이션이 어려운 곳에 위치한 카메라나 여러 대의 카메라를 동시에 캘리브레이션해야 하는 경우, 캘리브레이션에 따른 비용과 시간을 효과적으로 줄일 수 있는 방법을 제공할 수 있다.
또한, 본 발명은 정밀한 캘리브레이션을 요구하지 않는 일반 영상 응용 시스템에 효과적으로 적용할 수 있는 캘리브레이션 방법을 제공할 수 있다.
도 1은 체커보드를 이용한 종래의 카메라 캘리브레이션 과정의 일 예를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명에 따른 카메라 시야각과 초점거리, 이미지 해상도의 관계를 나타낸 도면이다.
도 4는 본 발명에 따른 영상 왜곡모델의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 방사왜곡에 의한 광각 카메라 영상의 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 방사왜곡의 함수 모델링의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 에러함수 그래프의 일 예를 나타낸 도면이다.
도 8 내지 도 13은 본 발명에 따라 추정된 영상 왜곡계수를 적용하여 보정된 영상과 보정 전 영상을 나타낸 도면이다.
도 14는 본 발명의 일실시예에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치를 나타낸 블록도이다.
도 15는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 방법을 나타낸 동작 흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 방법은 광각 카메라의 카메라 스펙을 수집한다(S210).
이 때, 카메라 스펙은 수평 시야각(HORIZONTAL FIELD OF VIEW ANGLE), 수직 시야각(VERTICAL FIELD OF VIEW ANGLE) 및 이미지 해상도를 포함할 수 있다.
이 때, 이미지 해상도는 카메라 이미지의 수평해상도와 수직해상도를 포함할 수 있다.
이 때, 카메라 스펙은 광각 카메라의 제조사에서 제공하는 스펙에 상응할 수 있다. 이 때, 이미지 해상도는 카메라 설정에 따라서 달라질 수 있다.
예를 들어, 720p 해상도의 HD 이미지의 경우는 수평 해상도 W가 1280, 수직 해상도 H가 720에 상응할 수 있고, 1080p 해상도의 full HD 이미지의 경우는 수평 해상도 W가 1920, 수직 해상도 H가 1080에 상응할 수 있다.
이 때, 카메라의 시야각(θ), 초점거리(f), 이미지 해상도(Res.)는 도 3과 같은 관계를 가질 수 있다.
따라서, 카메라 초점거리 fx, fy는 [수학식 1]과 같이 계산될 수 있다.
[수학식 1]
fx = (W / 2) / tan(hfov / 2)
fy = (H / 2) / tan(vfov / 2)
이 때, hfov는 수평 시야각(horizontal fov), vfov는 수직 시야각(vertical fov)에 해당할 수 있다.
이 때, 카메라 초점거리는 카메라 렌즈 중심에서 이미지 센서까지의 거리를 이미지 센서의 셀(cell)의 크기로 나눈 값을 의미할 수 있다. 따라서, fx는 이미지 센서까지의 거리를 수평방향의 셀 크기(또는 셀 간격)로 나눈 값을 의미하고, fy는 이미지 센서까지의 거리를 수직방향의 셀 크기로 나눈 값을 의미할 수 있다. 과거의 카메라들 중에는 fx와 fy의 값이 서로 다른 경우도 있었으나, 근래에 출시되는 대부분의 카메라들은 셀들이 정사각 격자 형태로 이미지 센서에 배치되기 때문에 fx = fy라 보아도 무방하다.
예를 들어, 웹 카메라 중 하나인 Logitech C920 Pro 카메라의 경우, 제조사에서 공개된 카메라 스펙 상의 수평시야각은 hfov = 70.42°, 수직시야각은 vfov = 43.3°에 해당한다. 이 때, 1080p 해상도의 이미지(W = 1920, H = 1080)를 기준으로 [수학식 2]와 같이 초점거리 fx, fy를 계산할 수 있으며, 이를 통해 fx = fy임을 확인할 수 있다.
[수학식 2]
fx = 1920/2/tan(70.42*pi/180/2) = 1360
fy = 1080/2/tan(43.3*pi/180/2) = 1360
이 때, pi는 원주율 3.141592에 상응하는 값일 수 있다.
하지만, [수학식 1] 내지 [수학식 2]와 같은 계산 방법은 카메라로 촬영된 영상에 왜곡이 없다는 것을 전제로 성립될 수 있다. 따라서, 웹 캠과 같은 일반 카메라에는 적용이 가능하지만, 광각 카메라에는 적용이 힘들다는 문제점이 있다.
즉, 광각 카메라를 통해 촬영된 영상에는 도 4 내지 도 5에 도시된 것과 같이 영상의 중심에서 멀어질수록 영상 압축이 심해지는 방사왜곡(radial distortion) 현상이 나타나므로, 도 3에 도시된 기하학 관계가 더 이상 성립하지 않게 된다.
예를 들어, 상용 보안카메라인 AXIS M2026-LE Network Camera의 경우, 제조사에서 공개한 스펙 상의 수평시야각은 hfov = 130°, 수직시야각은 vfov = 73°에 해당한다. 이 때, 720p 해상도의 이미지(W = 1280, H = 720)를 기준으로 초점거리 fx, fy를 계산하면 [수학식 3]과 같이 fx와 fy가 서로 상이한 값으로 얻어진다.
[수학식 3]
fx = 1280/2/tan(130*pi/180/2) = 298.4
fy = 720/2/tan(73*pi/180/2) = 486.5
이 때, [수학식 3]에서 계산한 것처럼 광각 카메라에 대한 초점거리 fx와 fy가 상이한 값으로 얻어지는 이유는, fx와 fy가 원래의 이미지 크기가 아닌 [수학식 4]처럼 왜곡된 이미지 크기에 기초해서 계산된 값이기 때문이다.
[수학식 4]
fxdistorted = (Wdistorted/2)/tan(hfov/2)
fydistorted = (Hdistorted/2)/tan(vfov/ 2)
이 때, 방사왜곡(radial distortion)은 앞서 설명한 것처럼 이미지 중심인 주점(principal point)으로부터 멀리 떨어질수록 왜곡(영상압축)이 심해지는 특성을 갖는다. 따라서, 수평 해상도가 수직 해상도보다 큰 이미지의 특성상 가로방향으로 보다 많은 영상 압축이 일어나고, 결과적으로 [수학식 3]처럼 fxdistorted가 fydistorted보다 더 작은 값을 갖는 현상이 발생한다. 그리고, 그 차이는 영상의 왜곡이 심할수록 더 크게 벌어지게 된다.
따라서, 본 발명에서는 방사왜곡에 의해 발생하는 fxdistorted와 fydistorted의 값의 차이를 이용하여 광각 카메라를 통해 촬영된 영상에 적용된 왜곡모델의 영상 왜곡계수(DISTORTION COEFFICIENT)를 추정함으로써 카메라 캘리브레이션을 수행하고자 한다.
즉, 광각 카메라를 통해 촬영된 영상의 왜곡 현상을 설명하는 영상 왜곡모델로 영상의 방사왜곡을 보상하고, 방사왜곡이 보상된 영상에서 초점거리인 fx, fy 값을 계산했을 때 두 값이 서로 같아지도록 하는 영상 왜곡계수(DISTORTION COEFFICIENT)를 검출하는 것이 본 발명의 핵심 구성이라 할 수 있다.
또한, 본 발명의 일실시예에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 방법은 카메라 스펙과 광각 카메라에 의한 방사왜곡(RADIAL DISTORTION)에 상응하는 영상 왜곡모델을 기반으로 방사왜곡이 보상된 초점거리(FOCAL LENGTH)를 산출한다(S220).
예를 들어, 도 6을 참조하면, 영상의 방사왜곡(radial distortion)을 모델링하는 영상 왜곡모델을 g, 영상 왜곡모델 g의 모델 파라미터를 w, 왜곡 영상에서의 주점(principal point)까지의 거리를 rd, 왜곡이 보정된 영상에서의 주점까지의 거리를 ru라고 가정한다면, 왜곡을 보정한 영상에서의 초점거리는 [수학식 5]와 같이 계산할 수 있다.
[수학식 5]
Figure pat00001
rd = gw(ru)
ru = gw -1(rd)
(d: distorted, u: undistorted)
fxundistorted = gw -1(Wdistorted/2)/tan(hfov/2)
fyundistorted = gw -1(Hdistorted/2)/tan(vfov/2)
또한, 본 발명의 일실시예에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 방법은 방사왜곡이 보상된 초점거리를 기반으로 영상 왜곡모델의 영상 왜곡계수(DISTORTION COEFFICIENT)를 추정한다(S230).
이 때, 영상 왜곡모델을 기반으로 방사왜곡이 보상된 초점거리에 상응하는 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값을 영상 왜곡계수로 추정할 수 있다.
예를 들어, 영상 왜곡계수를 w*라고 한다면, [수학식 6]과 같이 fxundistorted와 fyundistorted의 차이를 최소로 하는 값을 w*으로 추정할 수 있다.
[수학식 6]
Figure pat00002
이 때, 본 발명에서 사용되는 영상 왜곡모델은 구체적으로 한정되거나 제한되지 않으며, 컴퓨터 비전 분야에서 사용되는 다양한 왜곡모델 함수들이 적용될 수 있다.
일 예로, [수학식 7]과 같은 왜곡 모델이 적용될 수 있다.
[수학식 7]
Figure pat00003
이 때, 조건(fxundistorted = fyundistorted)을 만족시키도록 영상 왜곡계수를 추정하는 방법은 다양한 방법이 적용될 수 있다.
이 때, 영상 왜곡계수의 변화에 따른 에러함수 그래프를 생성하고, 에러함수 그래프에서 에러 값이 최소가 되는 값을 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단할 수 있다.
예를 들어, 영상 왜곡계수 w에 대한 에러함수 J(w)를 [수학식 8]과 같이 두 값의 차의 절대값으로 정의한 후, 유효한 w 값의 범위 내에서 w를 일정한 간격으로 변화시키면서 J(w)를 계산하여 J(w)가 최소가 되는 w를 결과로 반환할 수 있다.
[수학식 8]
J(w)=|tan(wW/2)/2tan(w/2)/tan(hfov/2)- tan(wH/2)/2tan(w/2)/tan(vfov/2)|
일실시예로, 수평 시야각 hfov = 130°, 수직 시야각 vfov = 73°, 이미지 해상도 720p(W = 1280, H = 720)인 카메라에 대해 구간 w∈[0, 0.002]에서 0.0001 간격으로 w를 변화시키면서 J(w)를 계산하면 도 7에 도시된 것과 같은 그래프가 얻어지고, J(w)는 w = 0.00178에서 최소가 되므로 해당 값을 계수 값(700)으로 반환할 수 있다.
이 때, 뉴턴-랩슨(NEWTON-RAPSON) 방법을 기반으로 영상 왜곡계수에 대한 에러함수의 값을 0으로 하는 값을 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단할 수 있다.
이 때, 뉴턴-랩슨 방법과 같은 최적화 기법은 보다 정밀하게 영상 왜곡계수를 추정해야 하는 경우에 적용할 수 있다.
실제로 위 실시예의 카메라에 대해 초기값을 w = 0.0001, 반복(iteration)횟수를 100, 학습율(learning rate)를 0.1로 설정하고 Newton-Rapson 방법을 적용하면 w = 0.001775092586845로 오차 범위 내 유사한 값을 획득할 수 있다.
또한, 본 발명의 일실시예에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 방법은 영상 왜곡계수를 영상 왜곡모델에 적용하여 광각 카메라의 캘리브레이션을 수행한다(S240).
이 때, 영상 왜곡계수를 적용한 영상 왜곡모델을 이용하여 광각 카메라에 상응하는 초점거리를 산출할 수 있다.
예를 들어, 영상 왜곡계수를 w*가 추정되면, 영상왜곡을 반영한 광각 카메라 초점거리는 최종적으로 [수학식 9]와 같이 산출될 수 있다.
아래와 같이 계산된다.
[수학식 9]
fx* = gw *-1(Wdistorted/2)/tan(hfov/2)
fy* = gw *-1(Hdistorted/2)/tan(vfov/2)
다른 예를 들어, 상기의 뉴턴-랩슨(NEWTON-RAPSON) 방법을 통해 획득된 영상 왜곡계수를 w = 0.001775로 설정하고 [수학식 10]을 이용하여 카메라 초점거리를 계산하면 fx = fy = 565.7의 값을 산출할 수 있다.
[수학식 10]
fxundistorted = tan(wW/2)/2tan(w/2)/tan(hfov/2) = 565.7
fyundistorted = tan(wH/2)/2tan(w/2)/tan(vfov/2) = 565.7
그리고 이 값은 영상 왜곡계수 w = 0.001775와 더불어 해당 광각 카메라 영상의 최종적인 캘리브레이션 결과가 될 수 있다.
이하에서는, 본 발명에 따른 광각 카메라 캘리브레이션 방법의 효과(유효성)를 실제 적용예를 통해 평가한 사례를 소개하고자 한다.
이 때, 평가를 위해 서로 다른 3개의 상용 광각 카메라 제품에 대해 카메라 파라미터(초점거리) 기준값(참값, ground truth)과 추정값 사이의 오차(=|추정값-기준값|/기준값)를 산출하고, 기준값(ground truth)으로는 종래의 카메라 캘리브레이션 방법으로 구한 파라미터(초점거리) 값을 사용하였다. 실험에 사용된 3개 카메라 제품의 영상 해상도는 모두 720p(W = 1280, H = 720)이다.
먼저, [표 1]은 영상왜곡을 고려하지 않고 [수학식 1]을 이용하여 카메라의 시야각을 초점거리로 단순 변환한 경우의 초점거리 추정오차를 보여준다. 즉, 영상왜곡을 고려하지 않은 초점거리 추정 결과(시야각을 초점거리로 단순변환)를 나타낸 것이다.
이 때, 초점거리 추정 값은 변환된 fx, fy의 평균값을 사용하였다.
이 때, [표 1]에서 보여지듯이 16 ~ 35%의 높은 오차율을 나타내며 이는 실제 응용에 적용하기 힘든 수준의 오차에 해당한다.
모델 FOV(h/v) 기준값(f gt ) 변환값(fs/fy) 추정값(f est ) 오차(%)
제품 A 86.5°/47.8° 889.7 680.3/812.4 746.35 16.1%
제품 B 115°/ 64° 613.9 407.7/576.1 491.9 19.9%
제품 C 130°/ 73° 609.6 298.4/486.5 392.45 35.6%
반면에, [표 2]는 본 발명에 따른 광각 카메라 캘리브레이션 방법을 이용하여 카메라 영상의 영상 왜곡계수 및 초점거리를 추정한 결과를 나타낸 것이다.
이 때, [표 2]에서 확인할 수 있듯이 본 발명에 따라 추정된 초점거리는 영상왜곡을 반영한 결과로서 월등히 향상된 추정 오차를 보여준다. 즉, [표 2]에서 나타난 2 ~ 6% 대의 오차는 실제 응용에 적용 가능한 수준으로서 정밀 측량용이 아닌 대부분의 응용에 활용 가능하다. 그리고, 이와 같은 추정 과정은 번거로운 영상 획득 과정없이 오직 카메라 스펙의 시야각 정보만을 이용하여 수행될 수 있다.
모델 FOV(h/v) 기준값(f gt ) 왜곡계수(w) 추정값(f est ) 오차(%)
제품 A 86.5°/47.8° 889.7 0.00124 871.5 2.0%
제품 B 115°/ 64° 613.9 0.00159 648.8 5.7%
제품 C 130°/ 73° 609.6 0.00178 568.8 6.7%
또한, 도 8 내지 도 13은 본 발명에 따라 추정된 영상 왜곡계수의 정확도를 평가하기 위한 결과를 보여주기 위한 도면으로, [표 1] 및 [표 2]에서 실험한 제품 A, B, C 카메라 영상샘플에 대해 본 발명에 따라 추정된 영상 왜곡계수(w)를 적용하여 영상왜곡을 보정한 결과를 보여준다.
즉, 도 8은 제품 A의 영상 샘플이고, 도 9는 본 발명에 따라 추정된 영상 왜곡계수(w)를 적용하여 왜곡 보정한 영상을 나타낸 도면이다.
또한, 도 10은 제품 B의 영상 샘플이고, 도 11은 본 발명에 따라 추정된 영상 왜곡계수(w)를 적용하여 왜곡 보정한 영상을 나타낸 도면이다.
또한, 도 12는 제품 C의 영상 샘플이고, 도 13은 본 발명에 따라 추정된 영상 왜곡계수(w)를 적용하여 왜곡 보정한 영상을 나타낸 도면이다.
이와 같은 비교를 통해 높은 정확도로 영상 왜곡계수가 추정되었음을 정성적으로(qualitatively) 확인할 수 있다.
이와 같은 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 방법을 통해 복잡한 영상획득 과정 없이 제조사에서 공개한 카메라 스펙을 통해 확인할 수 있는 카메라의 시야각 정보만을 이용하여 광각 카메라의 파라미터를 추정할 수 있다.
또한, 캘리브레이션이 어려운 곳에 위치한 카메라나 여러 대의 카메라를 동시에 캘리브레이션해야 하는 경우, 캘리브레이션에 따른 비용과 시간을 효과적으로 줄일 수 있는 방법을 제공할 수 있다.
또한, 정밀한 캘리브레이션을 요구하지 않는 일반 영상 응용 시스템에 효과적으로 적용할 수 있는 캘리브레이션 방법을 제공할 수 있다.
도 14는 본 발명의 일실시예에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치를 나타낸 블록도이다.
도 14를 참조하면, 본 발명의 일실시예에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치는 통신부(1410), 프로세서(1420) 및 메모리(1430)를 포함한다.
통신부(1410)는 네트워크와 같은 통신망을 통해 광각 카메라 캘리브레이션을 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 이 때, 네트워크는 장치들간에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다.
예를 들면, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.
또한, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.
프로세서(1420)는 광각 카메라의 카메라 스펙을 수집한다.
이 때, 카메라 스펙은 수평 시야각(HORIZONTAL FIELD OF VIEW ANGLE), 수직 시야각(VERTICAL FIELD OF VIEW ANGLE) 및 이미지 해상도를 포함할 수 있다.
이 때, 이미지 해상도는 카메라 이미지의 수평해상도와 수직해상도를 포함할 수 있다.
이 때, 카메라 스펙은 광각 카메라의 제조사에서 제공하는 스펙에 상응할 수 있다. 이 때, 이미지 해상도는 카메라 설정에 따라서 달라질 수 있다.
예를 들어, 720p 해상도의 HD 이미지의 경우는 수평 해상도 W가 1280, 수직 해상도 H가 720에 상응할 수 있고, 1080p 해상도의 full HD 이미지의 경우는 수평 해상도 W가 1920, 수직 해상도 H가 1080에 상응할 수 있다.
이 때, 카메라의 시야각(θ), 초점거리(f), 이미지 해상도(Res.)는 도 3과 같은 관계를 가질 수 있다.
따라서, 카메라 초점거리 fx, fy는 [수학식 1]과 같이 계산될 수 있다.
[수학식 1]
fx = (W / 2) / tan(hfov / 2)
fy = (H / 2) / tan(vfov / 2)
이 때, hfov는 수평 시야각(horizontal fov), vfov는 수직 시야각(vertical fov)에 해당할 수 있다.
이 때, 카메라 초점거리는 카메라 렌즈 중심에서 이미지 센서까지의 거리를 이미지 센서의 셀(cell)의 크기로 나눈 값을 의미할 수 있다. 따라서, fx는 이미지 센서까지의 거리를 수평방향의 셀 크기(또는 셀 간격)로 나눈 값을 의미하고, fy는 이미지 센서까지의 거리를 수직방향의 셀 크기로 나눈 값을 의미할 수 있다. 과거의 카메라들 중에는 fx와 fy의 값이 서로 다른 경우도 있었으나, 근래에 출시되는 대부분의 카메라들은 셀들이 정사각 격자 형태로 이미지 센서에 배치되기 때문에 fx = fy라 보아도 무방하다.
예를 들어, 웹 카메라 중 하나인 Logitech C920 Pro 카메라의 경우, 제조사에서 공개된 카메라 스펙 상의 수평시야각은 hfov = 70.42°, 수직시야각은 vfov = 43.3°에 해당한다. 이 때, 1080p 해상도의 이미지(W = 1920, H = 1080)를 기준으로 [수학식 2]와 같이 초점거리 fx, fy를 계산할 수 있으며, 이를 통해 fx = fy임을 확인할 수 있다.
[수학식 2]
fx = 1920/2/tan(70.42*pi/180/2) = 1360
fy = 1080/2/tan(43.3*pi/180/2) = 1360
이 때, pi는 원주율 3.141592에 상응하는 값일 수 있다.
하지만, [수학식 1] 내지 [수학식 2]와 같은 계산 방법은 카메라로 촬영된 영상에 왜곡이 없다는 것을 전제로 성립될 수 있다. 따라서, 웹 캠과 같은 일반 카메라에는 적용이 가능하지만, 광각 카메라에는 적용이 힘들다는 문제점이 있다.
즉, 광각 카메라를 통해 촬영된 영상에는 도 4 내지 도 5에 도시된 것과 같이 영상의 중심에서 멀어질수록 영상 압축이 심해지는 방사왜곡(radial distortion) 현상이 나타나므로, 도 3에 도시된 기하학 관계가 더 이상 성립하지 않게 된다.
예를 들어, 상용 보안카메라인 AXIS M2026-LE Network Camera의 경우, 제조사에서 공개한 스펙 상의 수평시야각은 hfov = 130°, 수직시야각은 vfov = 73°에 해당한다. 이 때, 720p 해상도의 이미지(W = 1280, H = 720)를 기준으로 초점거리 fx, fy를 계산하면 [수학식 3]과 같이 fx와 fy가 서로 상이한 값으로 얻어진다.
[수학식 3]
fx = 1280/2/tan(130*pi/180/2) = 298.4
fy = 720/2/tan(73*pi/180/2) = 486.5
이 때, [수학식 3]에서 계산한 것처럼 광각 카메라에 대한 초점거리 fx와 fy가 상이한 값으로 얻어지는 이유는, fx와 fy가 원래의 이미지 크기가 아닌 [수학식 4]처럼 왜곡된 이미지 크기에 기초해서 계산된 값이기 때문이다.
[수학식 4]
fxdistorted = (Wdistorted/2)/tan(hfov/2)
fydistorted = (Hdistorted/2)/tan(vfov/ 2)
이 때, 방사왜곡(radial distortion)은 앞서 설명한 것처럼 이미지 중심인 주점(principal point)으로부터 멀리 떨어질수록 왜곡(영상압축)이 심해지는 특성을 갖는다. 따라서, 수평 해상도가 수직 해상도보다 큰 이미지의 특성상 가로방향으로 보다 많은 영상 압축이 일어나고, 결과적으로 [수학식 3]처럼 fxdistorted가 fydistorted보다 더 작은 값을 갖는 현상이 발생한다. 그리고, 그 차이는 영상의 왜곡이 심할수록 더 크게 벌어지게 된다.
따라서, 본 발명에서는 방사왜곡에 의해 발생하는 fxdistorted와 fydistorted의 값의 차이를 이용하여 광각 카메라를 통해 촬영된 영상에 적용된 왜곡모델의 영상 왜곡계수(DISTORTION COEFFICIENT)를 추정함으로써 카메라 캘리브레이션을 수행하고자 한다.
즉, 광각 카메라를 통해 촬영된 영상의 왜곡 현상을 설명하는 영상 왜곡모델로 영상의 방사왜곡을 보상하고, 방사왜곡이 보상된 영상에서 초점거리인 fx, fy 값을 계산했을 때 두 값이 서로 같아지도록 하는 영상 왜곡계수(DISTORTION COEFFICIENT)를 검출하는 것이 본 발명의 핵심 구성이라 할 수 있다.
또한, 프로세서(1420)는 카메라 스펙과 광각 카메라에 의한 방사왜곡(RADIAL DISTORTION)에 상응하는 영상 왜곡모델을 기반으로 방사왜곡이 보상된 초점거리(FOCAL LENGTH)를 산출한다.
예를 들어, 도 6을 참조하면, 영상의 방사왜곡(radial distortion)을 모델링하는 영상 왜곡모델을 g, 영상 왜곡모델 g의 모델 파라미터를 w, 왜곡 영상에서의 주점(principal point)까지의 거리를 rd, 왜곡이 보정된 영상에서의 주점까지의 거리를 ru라고 가정한다면, 왜곡을 보정한 영상에서의 초점거리는 [수학식 5]와 같이 계산할 수 있다.
[수학식 5]
Figure pat00004
rd = gw(ru)
ru = gw -1(rd)
(d: distorted, u: undistorted)
fxundistorted = gw -1(Wdistorted/2)/tan(hfov/2)
fyundistorted = gw -1(Hdistorted/2)/tan(vfov/2)
또한, 프로세서(1420)는 방사왜곡이 보상된 초점거리를 기반으로 영상 왜곡모델의 영상 왜곡계수(DISTORTION COEFFICIENT)를 추정한다.
이 때, 영상 왜곡모델을 기반으로 방사왜곡이 보상된 초점거리에 상응하는 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값을 영상 왜곡계수로 추정할 수 있다.
예를 들어, 영상 왜곡계수를 w*라고 한다면, [수학식 6]과 같이 fxundistorted와 fyundistorted의 차이를 최소로 하는 값을 w*으로 추정할 수 있다.
[수학식 6]
Figure pat00005
이 때, 본 발명에서 사용되는 영상 왜곡모델은 구체적으로 한정되거나 제한되지 않으며, 컴퓨터 비전 분야에서 사용되는 다양한 왜곡모델 함수들이 적용될 수 있다.
일 예로, [수학식 7]과 같은 왜곡 모델이 적용될 수 있다.
[수학식 7]
Figure pat00006
이 때, 조건(fxundistorted = fyundistorted)을 만족시키도록 영상 왜곡계수를 추정하는 방법은 다양한 방법이 적용될 수 있다.
이 때, 영상 왜곡계수의 변화에 따른 에러함수 그래프를 생성하고, 에러함수 그래프에서 에러 값이 최소가 되는 값을 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단할 수 있다.
예를 들어, 영상 왜곡계수 w에 대한 에러함수 J(w)를 [수학식 8]과 같이 두 값의 차의 절대값으로 정의한 후, 유효한 w 값의 범위 내에서 w를 일정한 간격으로 변화시키면서 J(w)를 계산하여 J(w)가 최소가 되는 w를 결과로 반환할 수 있다.
[수학식 8]
J(w)=|tan(wW/2)/2tan(w/2)/tan(hfov/2)- tan(wH/2)/2tan(w/2)/tan(vfov/2)|
일실시예로, 수평 시야각 hfov = 130°, 수직 시야각 vfov = 73°, 이미지 해상도 720p(W = 1280, H = 720)인 카메라에 대해 구간 w∈[0, 0.002]에서 0.0001 간격으로 w를 변화시키면서 J(w)를 계산하면 도 7에 도시된 것과 같은 그래프가 얻어지고, J(w)는 w = 0.00178에서 최소가 되므로 해당 값을 계수 값(700)으로 반환할 수 있다.
이 때, 뉴턴-랩슨(NEWTON-RAPSON) 방법을 기반으로 영상 왜곡계수에 대한 에러함수의 값을 0으로 하는 값을 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단할 수 있다.
이 때, 뉴턴-랩슨 방법과 같은 최적화 기법은 보다 정밀하게 영상 왜곡계수를 추정해야 하는 경우에 적용할 수 있다.
실제로 위 실시예의 카메라에 대해 초기값을 w = 0.0001, 반복(iteration)횟수를 100, 학습율(learning rate)를 0.1로 설정하고 Newton-Rapson 방법을 적용하면 w = 0.001775092586845로 오차 범위 내 유사한 값을 획득할 수 있다.
또한, 프로세서(1420)는 영상 영상 왜곡계수를 왜곡모델에 적용하여 광각 카메라의 캘리브레이션을 수행한다.
이 때, 영상 왜곡계수를 적용한 영상 왜곡모델을 이용하여 광각 카메라에 상응하는 초점거리를 산출할 수 있다.
예를 들어, 영상 왜곡계수를 w*가 추정되면, 영상왜곡을 반영한 광각 카메라 초점거리는 최종적으로 [수학식 9]와 같이 산출될 수 있다.
아래와 같이 계산된다.
[수학식 9]
fx* = gw *-1(Wdistorted/2)/tan(hfov/2)
fy* = gw *-1(Hdistorted/2)/tan(vfov/2)
다른 예를 들어, 상기의 뉴턴-랩슨(NEWTON-RAPSON) 방법을 통해 획득된 영상 왜곡계수를 w = 0.001775로 설정하고 [수학식 10]을 이용하여 카메라 초점거리를 계산하면 fx = fy = 565.7의 값을 산출할 수 있다.
[수학식 10]
fxundistorted = tan(wW/2)/2tan(w/2)/tan(hfov/2) = 565.7
fyundistorted = tan(wH/2)/2tan(w/2)/tan(vfov/2) = 565.7
그리고 이 값은 영상 왜곡계수 w = 0.001775와 더불어 해당 광각 카메라 영상의 최종적인 캘리브레이션 결과가 될 수 있다.
메모리(1430)는 상술한 바와 같이 본 발명의 일실시예에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치에서 발생하는 다양한 정보를 저장한다.
실시예에 따라, 메모리(1430)는 광각 카메라 캘리브레이션 장치와 독립적으로 구성되어 광각 카메라 캘리브레이션을 위한 기능을 지원할 수 있다. 이 때, 메모리(1430)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.
한편, 광각 카메라 캘리브레이션 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이와 같은 차량 사고 판단 장치를 이용함으로써 복잡한 영상획득 과정 없이 제조사에서 공개한 카메라 스펙을 통해 확인할 수 있는 카메라의 시야각 정보만을 이용하여 광각 카메라의 파라미터를 추정할 수 있다.
또한, 캘리브레이션이 어려운 곳에 위치한 카메라나 여러 대의 카메라를 동시에 캘리브레이션해야 하는 경우, 캘리브레이션에 따른 비용과 시간을 효과적으로 줄일 수 있는 방법을 제공할 수 있다.
또한, 정밀한 캘리브레이션을 요구하지 않는 일반 영상 응용 시스템에 효과적으로 적용할 수 있는 캘리브레이션 방법을 제공할 수 있다.
도 15는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 15를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 15에 도시된 바와 같이, 컴퓨터 시스템(1500)은 버스(1520)를 통하여 서로 통신하는 하나 이상의 프로세서(1510), 메모리(1530), 사용자 입력 장치(1540), 사용자 출력 장치(1550) 및 스토리지(1560)를 포함할 수 있다. 또한, 컴퓨터 시스템(1500)은 네트워크(1580)에 연결되는 네트워크 인터페이스(1570)를 더 포함할 수 있다. 프로세서(1510)는 중앙 처리 장치 또는 메모리(1530)나 스토리지(1560)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1530) 및 스토리지(1560)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1531)이나 RAM(1532)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치 및 이를 이용한 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
700: 계수 값 1410: 통신부
1420,1510: 프로세서 1430, 1530: 메모리
1500: 컴퓨터 시스템 1520: 버스
1531: 롬 1532: 램
1540: 사용자 입력 장치 1550: 사용자 출력 장치
1560: 스토리지 1570: 네트워크 인터페이스
1580: 네트워크

Claims (14)

  1. 광각 카메라의 카메라 스펙을 수집하는 단계;
    상기 카메라 스펙과 상기 광각 카메라에 의한 방사왜곡(RADIAL DISTORTION)에 상응하는 영상 왜곡모델을 기반으로 상기 방사왜곡이 보상된 초점거리(FOCAL LENGTH)를 산출하는 단계;
    상기 방사왜곡이 보상된 초점거리를 기반으로 상기 영상 왜곡모델의 영상 왜곡계수(DISTORTION COEFFICIENT)를 추정하는 단계; 및
    상기 영상 왜곡계수를 상기 영상 왜곡모델에 적용하여 상기 광각 카메라의 캘리브레이션을 수행하는 단계
    를 포함하는 것을 특징으로 하는 광각 카메라 캘리브레이션 방법.
  2. 청구항 1에 있어서,
    상기 카메라 스펙은
    수평 시야각(HORIZONTAL FIELD OF VIEW ANGLE), 수직 시야각(VERTICAL FIELD OF VIEW ANGLE) 및 이미지 해상도를 포함하는 것을 특징으로 하는 광각 카메라 캘리브레이션 방법.
  3. 청구항 1에 있어서,
    상기 추정하는 단계는
    상기 왜곡모델을 기반으로 상기 방사왜곡이 보상된 초점거리에 상응하는 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값을 상기 영상 왜곡계수로 추정하는 것을 특징으로 하는 광각 카메라 캘리브레이션 방법.
  4. 청구항 3에 있어서,
    상기 캘리브레이션을 수행하는 단계는
    상기 영상 왜곡계수를 적용한 영상 왜곡모델을 이용하여 상기 광각 카메라에 상응하는 초점거리를 산출하는 것을 특징으로 하는 광각 카메라 캘리브레이션 방법.
  5. 청구항 3에 있어서,
    상기 추정하는 단계는
    상기 영상 왜곡계수의 변화에 따른 에러함수 그래프를 생성하고, 상기 에러함수 그래프에서 에러 값이 최소가 되는 값을 상기 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단하는 것을 특징으로 하는 광각 카메라 캘리브레이션 방법.
  6. 청구항 3에 있어서,
    상기 추정하는 단계는
    뉴턴-랩슨(NEWTON-RAPSON) 방법을 기반으로 상기 영상 왜곡계수에 대한 에러함수의 값을 0으로 하는 값을 상기 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단하는 것을 특징으로 하는 광각 카메라 캘리브레이션 방법.
  7. 청구항 1에 있어서,
    상기 카메라 스펙은
    상기 광각 카메라의 제조사에서 제공하는 스펙에 상응하는 것을 특징으로 하는 광각 카메라 캘리브레이션 방법.
  8. 광각 카메라의 카메라 스펙을 수집하고, 상기 카메라 스펙과 광각 카메라에 의한 방사왜곡(RADIAL DISTORTION)에 상응하는 영상 왜곡모델을 기반으로 상기 방사왜곡이 보상된 초점거리(FOCAL LENGTH)를 산출하고, 상기 방사왜곡이 보상된 초점거리를 기반으로 상기 영상 왜곡모델의 영상 왜곡계수(DISTORTION COEFFICIENT)를 추정하고, 상기 영상 왜곡계수를 상기 영상 왜곡모델에 적용하여 상기 광각 카메라의 캘리브레이션을 수행하는 프로세서; 및
    상기 카메라 스펙을 저장하는 메모리
    를 포함하는 것을 특징으로 하는 광각 카메라 캘리브레이션 장치.
  9. 청구항 8에 있어서,
    상기 카메라 스펙은
    수평 시야각(HORIZONTAL FIELD OF VIEW ANGLE), 수직 시야각(VERTICAL FIELD OF VIEW ANGLE) 및 이미지 해상도를 포함하는 것을 특징으로 하는 광각 카메라 캘리브레이션 장치.
  10. 청구항 8에 있어서,
    상기 프로세서는
    상기 영상 왜곡모델을 기반으로 상기 방사왜곡이 보상된 초점거리에 상응하는 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값을 상기 영상 왜곡계수로 추정하는 것을 특징으로 하는 광각 카메라 캘리브레이션 장치.
  11. 청구항 10에 있어서,
    상기 프로세서는
    상기 영상 왜곡계수를 적용한 영상 왜곡모델을 이용하여 상기 광각 카메라에 상응하는 초점거리를 산출하는 것을 특징으로 하는 광각 카메라 캘리브레이션 장치.
  12. 청구항 10에 있어서,
    상기 프로세서는
    상기 영상 왜곡계수의 변화에 따른 에러함수 그래프를 생성하고, 상기 에러함수 그래프에서 에러 값이 최소가 되는 값을 상기 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단하는 것을 특징으로 하는 광각 카메라 캘리브레이션 장치.
  13. 청구항 10에 있어서,
    상기 프로세서는
    뉴턴-랩슨(NEWTON-RAPSON) 방법을 기반으로 상기 영상 왜곡계수에 대한 에러함수의 값을 0으로 하는 값을 상기 수평성분과 수직성분 간의 차이를 최소로 하는 계수 값으로 판단하는 것을 특징으로 하는 광각 카메라 캘리브레이션 장치.
  14. 청구항 8에 있어서,
    상기 카메라 스펙은
    상기 광각 카메라의 제조사에서 제공하는 스펙에 상응하는 것을 특징으로 하는 광각 카메라 캘리브레이션 장치.
KR1020210006308A 2021-01-15 2021-01-15 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치 및 이를 이용한 방법 KR20220103547A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210006308A KR20220103547A (ko) 2021-01-15 2021-01-15 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치 및 이를 이용한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210006308A KR20220103547A (ko) 2021-01-15 2021-01-15 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치 및 이를 이용한 방법

Publications (1)

Publication Number Publication Date
KR20220103547A true KR20220103547A (ko) 2022-07-22

Family

ID=82605994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210006308A KR20220103547A (ko) 2021-01-15 2021-01-15 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치 및 이를 이용한 방법

Country Status (1)

Country Link
KR (1) KR20220103547A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180105875A (ko) 2017-03-16 2018-10-01 한국전자통신연구원 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180105875A (ko) 2017-03-16 2018-10-01 한국전자통신연구원 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치

Similar Documents

Publication Publication Date Title
JP6722323B2 (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
US9787911B2 (en) Systems and methods for photometric normalization in array cameras
US20020027651A1 (en) Self-calibrating 3D machine measuring system useful in motor vehicle wheel alignment
US20090059041A1 (en) Method of correcting image distortion and apparatus for processing image using the method
US20190378250A1 (en) Image processing method, device and photographic apparatus
CN107409205B (zh) 用于焦距调节和深度图确定的装置和方法
US8406511B2 (en) Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating
US20200077073A1 (en) Real-time stereo calibration by direct disparity minimization and keypoint accumulation
US10109063B2 (en) Image processing in a multi-channel camera
CN110070582B (zh) 多摄模组参数自校准系统和校准方法及其电子设备
CN110345875B (zh) 标定及测距方法、装置、电子设备及计算机可读存储介质
CN110940312A (zh) 一种结合激光设备的单目相机测距方法及系统
CN105869129B (zh) 针对非均匀校正后的热红外图像剩余非均匀噪声去除方法
US20220349837A1 (en) Method and system for providing optical distortion information of a vehicle glazing
CN111105465B (zh) 一种摄像装置校准方法、装置、系统电子设备及存储介质
US8520973B2 (en) Method for restoring transport error included in image and apparatus thereof
KR20220103547A (ko) 카메라 시야각 정보를 이용한 광각 카메라 캘리브레이션 장치 및 이를 이용한 방법
CN107645634A (zh) 一种无畸变广角网络摄像机及安防监控系统
WO2023113754A1 (en) Calibration and management method of ptz cameras
WO2022241333A2 (en) System and methods for depth sensing with auxiliary information by a monocular camera
CN107736013B (zh) 检测乱真像素的方法、介质和图像处理装置
EP3343511A1 (en) Image processing apparatus and image processing method
CN114500968A (zh) 色温估计方法、白平衡调整方法、装置及存储介质
CN111369587B (zh) 一种跟踪方法及装置
KR20190112561A (ko) 크로스 오버랩을 이용한 화질 보정 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A201 Request for examination