KR102591844B1 - 미러를 이용한 카메라 캘리브레이션 장치 - Google Patents

미러를 이용한 카메라 캘리브레이션 장치 Download PDF

Info

Publication number
KR102591844B1
KR102591844B1 KR1020210009054A KR20210009054A KR102591844B1 KR 102591844 B1 KR102591844 B1 KR 102591844B1 KR 1020210009054 A KR1020210009054 A KR 1020210009054A KR 20210009054 A KR20210009054 A KR 20210009054A KR 102591844 B1 KR102591844 B1 KR 102591844B1
Authority
KR
South Korea
Prior art keywords
camera
distance
mirror
chart
image
Prior art date
Application number
KR1020210009054A
Other languages
English (en)
Other versions
KR20220106292A (ko
Inventor
김혜광
Original Assignee
(주) 루리텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 루리텍 filed Critical (주) 루리텍
Priority to KR1020210009054A priority Critical patent/KR102591844B1/ko
Publication of KR20220106292A publication Critical patent/KR20220106292A/ko
Application granted granted Critical
Publication of KR102591844B1 publication Critical patent/KR102591844B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 카메라 캘리브레이션 장치는 실거리 차트를 사용하는 대신 차트의 미러를 이용한 다중 반사에 의한 다중 상을 이용하여 원거리 포커싱 거리를 갖는 카메라에 대하여도 표준 격자 차트를 크게 하지 않고 실거리 캘리브레이션과 동등한 정밀도로 카메라 캘리브레이션을 수행한다. 이때, 사용되는 미러는 하프미러이며 표준 격자 차트는 모니터 등에 가상으로 생성하여 출력된 것을 사용한다.

Description

미러를 이용한 카메라 캘리브레이션 장치 { APPARATUS FOR CAMERA CALIBRATION USING MIRRORS }
본 발명은 카메라의 내/외부 파라미터를 추출하는 카메라 캘리브레이션 기술에 관한 것으로, 보다 상세하게는 원 거리를 보기 위한 카메라의 거리 측정 및 영상 왜곡 보정 등을 위한 카메라 캘리브레이션 장치의 소형화 및 최적화에 관한 것이다.
카메라는 단순히 영상을 촬영하는 기능을 넘어 가상현실(VR)이나 증강현실(AR)등의 기술이나, 차량용 ADAS 기술 등에서 사용되고 있다. 이러한 기술에서 영상 왜곡은 VR, AR의 현실감을 떨어뜨리거나, ADAS 기능의 거리측정 위치 정보 오류 등의 치명적인 오류를 가져오게 된다. 이를 방지하기 위해 카메라의 영상 왜곡 특성을 파악하여 카메라 캘리브레이션(Calibration)을 수행하는 것은 필수 불가결한 과정이다.
일반적으로 정밀한 영상 왜곡보정을 위해 실거리 표준 격자 차트를 이용하여 카메라 캘리브레이션을 적용하고 있으며, 이미지 센서의 픽셀 사이즈가 크고 피사계 심도가 깊은 카메라에 대하여 표준 격자 차트를 근거리(약 50cm 이내)에 두고 캘리브레이션을 수행하고 있다. 그러나, 카메라가 고화소 카메라로 발전하면서 이미지센서의 집적도가 높아짐에 따라 픽셀 사이즈가 작아지게 되고 피사계 심도 또한 짧아져 카메라의 포커스 거리(카메라로부터 촬영 대상체까지의 거리)가 멀어져 가고 있다. 따라서, 출시되는 카메라들의 포커스 거리가 1m 이상인 경우가 많아지는 추세이며, 2m 이상 혹은 10m 이상의 포커스 거리를 갖는 카메라에 대하여 실거리 카메라 캘리브레이션을 수행해야 하는 상황에 이르렀다.
카메라 캘리브레이션 거리가 멀어짐에 따라, 사용되어야하는 표준 격자 차트 크기가 기존 차트까지 거리가 50cm일 경우, 필요한 차트의 크기가 30cm x 40cm 정도였으나, 거리에 비례하여 계산하면 거리가 2m 인 경우 1.2m x 1.6m 크기의 차트가 필요하고, 10m 인 경우는 필요한 차트의 크기만 6m x 8m 로 장비 구현 자체가 곤란해지고 있다.
또한, 차트의 평탄도를 유지하기 위한 차트 지지용 구조물의 하중이 급격이 커지게 되고, 뿐만 아니라 이를 구동하기 위한 모터의 파워 및 가격이 매우 커질 수밖에 없는 문제가 발생한다.
대한민국 공개특허 제10-2010-0125015호
본 발명은 원거리 포커싱 거리를 갖는 카메라에 대한 캘리브레이션을 위한 표준 격자 차트의 크기를 작게 구현하면서도 실거리 캘리브레이션과 동등한 정밀도로 캘리브레이션할 수 있는 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 양상에 따른 카메라 캘리브레이션 장치는 미러부와, 거리 산출부와, 보정부를 포함하여 미러의 다중 반사를 이용하여 거리 측정 카메라를 캘리브레이션한다.
미러부는 평행하게 배치된 두 개의 미러를 이용한 다중 반사에 의해 표준 격자 차트의 다중 상을 맺히게 한다.
거리 산출부는 미러의 반사 회수에 기초하여 미러부에 맺힌 다중 상 중에서 선택된 상과 상기 카메라와의 거리를 산출한다.
보정부는 산출된 거리와 표준 격자 차트에 대한 카메라 영상의 왜곡을 평가하여 캘리브레이션을 수행한다.
추가적 양상에 따르면, 카메라 캘리브레이션 장치는 하나의 미러 배면에서 표준 격자 차트 영상을 투사하는 차트 투사부를 더 포함할 수 있다. 이때 두 개의 미러는 하프 미러이다.
또한, 차트 투사부는 실제 차트를 회전시키는 것과 동일한 효과를 달성하도록 설정된 각도로 회전된 상태의 표준 격자 차트 영상을 투사할 수 있다.
본 발명에 의하면 원거리 포커싱 거리를 갖는 카메라에 대한 캘리브레이션을 위해 실거리에 맞는 표준 격자 차트를 사용하지 않고 미러의 다중 반사를 이용하여 크기가 작은 표준 격자 차트를 이용하여 실거리 캘리브레이션과 동등한 정밀도로 캘리브레이션할 수 있다.
도 1은 미러의 다중 반사를 이용하여 카메라와 차트 사이의 거리를 확장하는 개념을 도시한 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 카메라 캘리브레이션 장치의 블록도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시 예들을 통해 구체화된다. 각 실시 예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시 예 내에서 다양한 조합이 가능한 것으로 이해된다. 블록도의 각 블록은 어느 경우에 있어서 물리적인 부품을 표현할 수 있으나 또 다른 경우에 있어서 하나의 물리적인 부품의 기능의 일부 혹은 복수의 물리적인 부품에 걸친 기능의 논리적인 표현일 수 있다. 때로는 블록 혹은 그 일부의 실체는 프로그램 명령어들의 집합(set)일 수 있다. 이러한 블록들은 전부 혹은 일부가 하드웨어, 소프트웨어 혹은 이들의 결합에 의해 구현될 수 있다.
사람이 눈으로 보는 세상은 3차원이지만, 카메라로 촬영한 영상은 2차원 이미지이다. 카메라 영상은 3차원 공간상의 점들을 2차원 이미지 평면에 투사하여 생성된다. 이때, 3차원 공간상의 점들이 이미지 상에서 어디에 맺히는지는 영상을 촬영하는 카메라의 위치 및 방향에 의해 결정된다. 실제 이미지는 사용된 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 각 등 카메라 내부의 기구적 요인에 영향을 받으므로 3차원 점들이 영상에 투영되는 위치를 계산하거나 영상좌표로부터 3차원 공간좌표를 복원할 때는 이러한 카메라 내부의 요인을 제거하여야 정확한 계산이 가능하다. 이러한 내부 요인의 파라미터 값을 구하는 과정이 카메라 캘리브레이션이다. 카메라 캘리브레이션은 3차원 공간좌표와 2차원 영상좌표 사이의 변환관계를 설명할 수 있는 내부 및 외부 파라미터를 찾는 과정이다.
카메라 내부 파라미터로는 초점거리(focal length), 주점(principal point), 비대칭계수(skew coefficient)가 있으며, 카메라 외부 파라미터는 카메라 좌표계와 월드 좌표계 사이의 변환관계를 설명하는 파라미터로 두 좌표계 사이의 회전(rotation) 변환 및 평행이동(translation) 변환으로 표현된다. 다만, 카메라 외부 파라미터는 카메라 고유의 파라미터가 아니므로 카메라의 위치와 방향, 월드 좌표계의 정의에 따라 달라진다.
도 1은 미러의 다중 반사를 이용하여 카메라와 차트 사이의 거리를 확장하는 개념을 도시한 개념도이다.
도 1은 마주 보는 두 개의 하프 미러(Half Mirror)에 반사된 차트의 상 내에 다시 반사된 상이 반복적으로 확장되도록 카메라와 표준 격자 차트를 표시하는 모니터의 위치를 정렬하여 카메라와 차트 사이의 거리를 확장하는 개념을 도시하고 있다. 두 하프 미러간 거리가 d 이므로 하프 미러#1에 맺힌 상 중 최외곽에 맺힌 상과 카메라까지 거리는 d 이고, 하프 미러#1에 맺힌 다음 외곽에 맺힌 상과 카메라까지 거리는 3d 로 연장되고, 그 다음 상까지의 거리는 5d 로 연장된다. 즉, 하프 미러#1에 맺힌 상과 카메라까지 거리는 (2n + 1) * d (단, n은 0부터 시작하는 정수)로 계산된다. 카메라 캘리브레이션 장치(100)는 다중 반사된 표준 격자 차트의 다중 상 중에 하나를 선택하고 해당 상까지의 거리를 산출하여 거리를 보정할 수 있다. 또한, 카메라 캘리브레이션 장치(100)는 카메라에 의해 촬영된 표준 격자 차트 영상의 상하좌우 왜곡을 평가하여 보정할 수 있다.
이 때 좌/우면에도 미러를 설치하여 광학적으로 공간을 확장할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 카메라 캘리브레이션 장치의 블록도이다. 본 발명의 일 양상에 따른 카메라 캘리브레이션 장치(100)는 미러부(110)와, 거리 산출부(120)와, 보정부(130)를 포함하여 미러의 다중 반사를 이용하여 카메라를 캘리브레이션한다.
카메라는 일반적으로 실거리 표준 격자 차트를 이용하여 카메라 캘리브레이션을 수행한다. 예를 들어, 포커싱 거리가 10m 인 카메라의 경우 실거리 카메라 캘리브레이션을 하기 위해서는 10m의 거리에 6m X 8m 크기의 차트가 필요하나 이러한 캘리브레이션 장치는 구현이 거의 불가능하다. 또한, 차트의 크기가 커지면 해당 차트의 평탄도를 유지하기 위한 차트 지지용 구조물 또한 커질 수 밖에 없고 그에 따라 해당 지지용 구조물의 하중 또한 급격히 커지게 되므로 이를 구동하기 위한 모터 또한 커질 수 밖에 없으므로 장치의 가격도 매우 커지게 된다.
미러부(110)는 일정 간격으로 이격되어 평행하게 배치된 두 개의 미러를 이용하여 미러 상에 표준 격자 차트가 다중 반사에 의해 다중 상이 맺히게 한다. 미러부(110)는 실거리 캘리브레이션을 하지 않아도 실거리 캘리브레이션을 하는 것과 동일한 효과를 내도록 미러에 반복하여 상을 맺히게 하여 거리를 연장할 수 있다. 즉, 두 개의 미러 사이에서 반복적으로 상을 맺으면서 카메라와 상과의 거리를 광학적으로 연장할 수 있다. 미러부(110)는 두 개의 미러를 앞/뒤면의 미러로 하여 두 미러들의 측면을 연결하는 좌/우면에도 미러를 설치하여 광학적으로 공간을 확장할 수 있다.
거리 산출부(120)는 미러의 반사 회수에 기초하여 미리부에 맺힌 다중 상 중에서 선택된 상과 상기 카메라와의 거리를 산출한다. 일 예로, 마주 보는 두 개의 미러 사이의 거리가 d 일 때, 카메라 반대편 미러에 맺힌 상들의 거리는 (2n + 1) * d (단, n은 0부터 시작하는 정수)로 계산된다.
보정부(130)는 산출된 거리와 표준 격자 차트에 대한 카메라 영상의 왜곡을 평가하여 캘리브레이션을 수행한다. 보정부(130)는 카메라 내부 및 외부 파라미터를 계산하며, 카메라 내부 파라미터를 먼저 구한다. 보정부(130)는 일반적으로 널리 사용되는 머신 러닝 기반의 카메라 캘리브레이션 알고리즘을 사용하여 캘리브레이션을 수행할 수 있다.
추가적 양상에 따르면, 카메라 캘리브레이션 장치는 하나의 미러 배면에서 표준 격자 차트 영상을 투사하는 차트 투사부(140)를 더 포함할 수 있다. 예를 들어, 카메라 반대편의 미러 배면에 차트 투사부(140)가 위치할 수 있다. 차트 투사부(140)는 영상을 표시할 수 있는 모니터 등의 디스플레이 장치일 수 있으며, 이에 제한되는 것은 아니며 영상을 투사하는 빔 프로젝터와 같은 장비일 수 있다. 차트 투사부(140)는 다양한 형태의 표준 격자 차트 영상을 출력하여 카메라 캘리브레이션을 수행하도록 할 수 있다. 이때 미러부(110)의 두 개의 미러는 하프 미러이다. 하프 미러는 원웨이미러(one-way mirror)라고도 하며, 한 방향의 면에서는 빛이 투과가 되고 다른 방향의 면에서는 반사가 이루어지는 반투명 거울이다. 일반적으로 유리에 얇은 금속재질의 코팅막을 형성하여 일부 빛을 반사하고 일부 빛은 관통하는 미러이다. 본 발명에서 사용하는 하프 미러는 투과율이 약 80%인 미러를 사용하는 것이 바람직하다. 본 발명은 하프 미러를 사용함으로써 하프 미러 배면에 위치하는 차트 투사부(140)가 출력하는 표준 격자 차트 영상을 두 미러 사이에서 다중 반사시킬 수 있다. 카메라 또한 하프 미러 배면에 위치하게 할 수 있다.
또한, 차트 투사부(140)는 실제 차트를 회전시키는 것과 동일한 효과를 달성하도록 설정된 각도로 회전된 상태의 표준 격자 차트 영상을 투사할 수 있다. 카메라 캘리브레이션을 위하여 일반적으로 차트를 30도 정도 좌우로 회전시킬 수 있어야 한다. 하지만, 실제 차트를 사용하는 경우에는 차트를 회전시키는 모터 등이 필요하나 차트 투사부(140)는 이러한 모터를 사용할 필요 없이 표준 격자 차트를 회전시킨 상태 즉, 틸트된 표준 격자 차트 영상을 생성하여 출력하여 사용할 수 있다. 따라서, 카메라의 포커싱 거리가 커지는 경우 대형 차트를 회전시켜야 하는 문제가 발생되지 않는다.
다만, 이에 제한되는 것은 아니며 차트 투사부(140)가 틸트되지 않은 표준 격자 차트 영상을 출력하고 차트 투사부(140)를 30도 정도 좌우로 회전시킬 수도 있다.
이상에서 본 발명을 첨부된 도면을 참조하는 실시 예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형 예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형 예들을 포괄하도록 의도되었다.
100 : 카메라 캘리브레이션 장치
110 : 미러부
120 : 거리 산출부
130 : 보정부
140 : 차트 투사부

Claims (3)

  1. 카메라 캘리브레이션 장치에 있어서,
    제1 미러 및 제2 미러를 이용한 다중 반사에 의해 표준 격자 차트의 다중 상을 맺히게 하는 미러부;
    제1 미러 배면에서 표준 격자 차트 영상을 투사하는 차트 투사부;
    제1 미러에 맺힌 다중 상 중에서 선택된 상과 제2 미러 배면에 위치하는 카메라와의 거리를 두 미러 사이의 거리를 이용하여 아래의 수학식과 같이 산출하는 거리 산출부; 및
    산출된 거리와 표준 격자 차트에 대한 카메라 영상의 왜곡을 평가하여 캘리브레이션을 수행하는 보정부;
    를 포함하되,
    제1 미러 및 제2 미러는 하프 미러(half mirror)인 미러를 이용한 카메라 캘리브레이션 장치.
    [수학식]
    (2×n+1)×d, 여기서 n은 0부터 시작하는 정수이며, d는 두 미러 사이의 거리이다.
  2. 삭제
  3. 제 1 항에 있어서,
    차트 투사부는 설정된 각도로 회전된 상태의 표준 격자 차트 영상을 투사하는 미러를 이용한 카메라 캘리브레이션 장치.
KR1020210009054A 2021-01-22 2021-01-22 미러를 이용한 카메라 캘리브레이션 장치 KR102591844B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210009054A KR102591844B1 (ko) 2021-01-22 2021-01-22 미러를 이용한 카메라 캘리브레이션 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210009054A KR102591844B1 (ko) 2021-01-22 2021-01-22 미러를 이용한 카메라 캘리브레이션 장치

Publications (2)

Publication Number Publication Date
KR20220106292A KR20220106292A (ko) 2022-07-29
KR102591844B1 true KR102591844B1 (ko) 2023-10-23

Family

ID=82606503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210009054A KR102591844B1 (ko) 2021-01-22 2021-01-22 미러를 이용한 카메라 캘리브레이션 장치

Country Status (1)

Country Link
KR (1) KR102591844B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626572B1 (ko) 2009-05-20 2016-06-01 삼성전자주식회사 캘리브레이션 장치 및 방법, 캘리브레이션 용 격자판
JP5185424B1 (ja) * 2011-09-30 2013-04-17 株式会社東芝 キャリブレーション方法および映像表示装置
KR102427739B1 (ko) * 2015-05-08 2022-08-03 한국전자통신연구원 거울들을 사용하는 멀티 카메라들의 캘리브레이션을 위한 방법 및 장치

Also Published As

Publication number Publication date
KR20220106292A (ko) 2022-07-29

Similar Documents

Publication Publication Date Title
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
US8662676B1 (en) Automatic projector calibration
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP2612097B2 (ja) ３次元空間内の物体の位置及び向きを自動的に決定する方法及びシステム
CA2819956C (en) High accuracy camera modelling and calibration method
US9946955B2 (en) Image registration method
JP6079333B2 (ja) 校正装置、方法及びプログラム
JP5713624B2 (ja) 三次元計測方法
JP6067175B2 (ja) 位置測定装置及び位置測定方法
KR20160116075A (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP2012088114A (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
Zhou et al. A novel laser vision sensor for omnidirectional 3D measurement
KR102276456B1 (ko) Iid에서 디스플레이 오차를 보정하는 장치 및 방법
CN110381302B (zh) 一种投影系统的投影图案校正方法、装置及系统
CN113691788A (zh) 投影机系统的投影方法
Wilm et al. Accurate and simple calibration of DLP projector systems
US11380063B2 (en) Three-dimensional distortion display method, terminal device, and storage medium
JP2017098859A (ja) 画像のキャリブレーション装置及びキャリブレーション方法
CN114286068A (zh) 对焦方法、装置、存储介质以及投影设备
KR102160340B1 (ko) 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치
JP6065670B2 (ja) ３次元計測システム、プログラム及び方法。
JP2007033087A (ja) キャリブレーション装置及び方法
KR102591844B1 (ko) 미러를 이용한 카메라 캘리브레이션 장치
CN114993207B (zh) 基于双目测量系统的三维重建方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant