KR102267696B1 - 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법 - Google Patents

사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법 Download PDF

Info

Publication number
KR102267696B1
KR102267696B1 KR1020200073066A KR20200073066A KR102267696B1 KR 102267696 B1 KR102267696 B1 KR 102267696B1 KR 1020200073066 A KR1020200073066 A KR 1020200073066A KR 20200073066 A KR20200073066 A KR 20200073066A KR 102267696 B1 KR102267696 B1 KR 102267696B1
Authority
KR
South Korea
Prior art keywords
lens distortion
camera lens
photogrammetry
computer vision
distortion coefficient
Prior art date
Application number
KR1020200073066A
Other languages
English (en)
Other versions
KR102267696B9 (ko
Inventor
김의명
서홍덕
홍송표
Original Assignee
남서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 남서울대학교 산학협력단 filed Critical 남서울대학교 산학협력단
Priority to KR1020200073066A priority Critical patent/KR102267696B1/ko
Application granted granted Critical
Publication of KR102267696B1 publication Critical patent/KR102267696B1/ko
Publication of KR102267696B9 publication Critical patent/KR102267696B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G06T5/006—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법에 관한 것으로, 서로 다른 좌표계에서 정의한 카메라 렌즈왜곡 계수를 이용하여 영상을 처리하는 컴퓨터비전과 사진측량에 있어서, 상기 컴퓨터비전의 렌즈왜곡 모델과, 상기 사진측량의 렌즈왜곡 모델을 각각 이용하여, 상기 사진측량과 컴퓨터비전에서 상호적으로 사용할 수 있도록 상기 각 렌즈왜곡 계수를 상호 변환하고, 가상의 격자점을 이용하여 상호 변환한 상기 카메라 렌즈왜곡 계수를 검증하여, 신뢰성 높은 변환결과를 제공할 수 있도록 하는 시스템 및 그 방법에 관한 것이다.

Description

사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법{SYSTEM AND METHOD FOR CONVERTING CAMERA LENS DISTORTIONS BETWEEN PHOTOGRAMMETRY AND COMPUTER VISION}
본 발명은 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 서로 다른 좌표계에서 정의한 카메라 렌즈왜곡 계수를 이용하여 영상을 처리하는 컴퓨터비전과 사진측량에 있어서, 상기 컴퓨터비전의 렌즈왜곡 모델과, 상기 사진측량의 렌즈왜곡 모델을 각각 이용하여, 상기 사진측량과 컴퓨터비전에서 상호적으로 사용할 수 있도록 상기 각 렌즈왜곡 계수를 상호 변환하고, 가상의 격자점을 이용하여 상호 변환한 상기 렌즈왜곡 계수를 검증하여, 신뢰성 높은 변환결과를 제공할 수 있도록 하는 시스템 및 그 방법에 관한 것이다.
최근 영상처리기술의 급격한 발달로 인해, 카메라를 통해 수집되는 영상을 이용하여 정사영상, 3차원 점군(Point Cloud), 3차원 모델 등의 결과물을 자동화된 방법으로 제작할 수 있도록 하는 컴퓨터비전과, 상기 영상을 이용하여 수치지도를 제작하기 위한 사진측량에 대한 대중의 관심이 증대되고 있다.
상기 컴퓨터비전과 사진측량은, 카메라에서 촬영된 영상으로부터 정사영상이나, 수치지도와 같이 3차원 공간정보를 제작하는 것은 동일하지만, 전통적인 사진측량의 경우, 상기 영상을 처리하기 위한 알고리즘에 대한 매개변수의 설정, 도화작업, 품질평가 등의 전문적인 지식을 요구하는 반면에, 상기 컴퓨터비전은 자동화와 신속성에 중점을 두어, 별다른 전문적인 지식 없이도 간편하게 상기 정사영상 등을 제작할 수 있도록 하여 사용자에게 편의성을 제공한다. 한편, 수치지도를 제작하기 위해서는, 항공사진 측량용 디지털 카메라를 이용한 영상의 수집 및 항공 삼각측량 등이 수행되어야 한다.
일반적으로 수치지도를 제작하는 과정은, 사진측량 기반의 번들블록조정(Bundle Block Adjustment)법을 수행하여 결정된 카메라의 내부표정요소를 결정한 후, 사진측량 기반의 소프트웨어로 도화작업을 수행하게 된다.
하지만 컴퓨터비전과 사진측량에서는, 서로 다른 좌표계에서 카메라 렌즈왜곡 계수를 각각 정의하기 때문에 서로 호환하여 사용하는 것에 그 한계가 있다.
따라서 상기 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량에 이용하기 위해서는, 상기 컴퓨터비전의 카메라 렌즈왜곡 모델을 사진측량의 카메라 렌즈왜곡 모델로 변환하여, 사진측량을 위한 카메라 렌즈왜곡 계수로 변환해야 된다.
반대로 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전에서 이용하기 위해서는, 상기 사진측량의 카메라 렌즈왜곡 모델을 상기 컴퓨터비전의 카메라 렌즈왜곡 모델로 변환하여 컴퓨터비전을 위한 렌즈왜곡 계수로 변환할 필요성이 있다.
그러나 종래의 컴퓨터비전이나 사진측량의 경우, 서로 다른 좌표계에서 결정한 카메라 렌즈왜곡 계수를 이용하여 상기 영상을 각각 처리할 뿐, 상기 카메라 렌즈왜곡 계수를 변환하여 상호적으로 사용할 수 있도록 하는 방법을 전혀 제공하지 않고 있다.
따라서 본 발명은, 컴퓨터비전과 사진측량에 있어서, 상기 컴퓨터비전에서 이용하는 카메라 렌즈왜곡 모델과, 상기 사진측량에서 이용하는 카메라 렌즈왜곡 모델을 각각 이용하여, 상기 컴퓨터비전에서 이용하는 렌즈왜곡 계수를 사진측량에서 이용할 수 있도록 변환하거나, 또는 상기 사진측량에서 이용하는 렌즈왜곡 계수를 컴퓨터비전에서 이용할 수 있도록 변환하고, 가상의 격자점을 이용하여 상기 변환한 렌즈왜곡 계수를 검증하여, 신뢰성 높은 변환결과를 제공함으로써, 상기 사진측량과 상기 컴퓨터비전 간에 상호적으로 렌즈왜곡 계수를 이용할 수 있도록 하는 방안을 제안하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국등록특허 제1239671호(2013.02.27.)는 렌즈에 의한 왜곡 영상 보정방법 및 그 장치에 관한 것으로, 대상 객체의 직선부분의 복비(Cross ratio)와, 렌즈를 통해 해당 객체를 촬영한 영상 중 해당 객체의 직선부분이 투영된 복비를 비교하여 복비 왜곡을 추정하고, 상기 영상 중 상기 객체의 직선부분과, 상기 직선부분에 포함되는 점들을 최소자승법을 이용하여 근사화한 직선을 비교하여 직선 왜곡을 추정한 후, 상기 추정한 복비 왜곡과, 직선 왜곡을 이용하여 렌즈의 왜곡 파라미터를 추정하여 상기 영상의 왜곡을 보정하는 렌즈에 의한 왜곡 영상 보정 방법 및 그 장치에 관한 것이다.
즉, 상기 선행기술은, 카메라를 통해 촬영한 영상으로부터 카메라 렌즈의 왜곡 계수를 추정하여 상기 영상에서 발생한 왜곡을 보정하는 것이다.
또한 한국등록특허 제1277427호(2013.06.14.)는 매개변수를 이용하여 영상데이터를 왜곡보정하고, 보정된 영상데이터와 항공사진 데이터를 비교하는 수치지도 제작 방법 및 시스템에 관한 것으로, 촬영 영상 획득 모듈로부터 수신된 보정 전의 영상 정보로부터 커브를 검출하여 제1 보정 그룹을 설정하여, 상기 보정 전의 영상 정보에서 상기 제1 보정 그룹을 제거하고, 상기 제1 보정 그룹이 제거된 영상 정보로부터 3차원 좌표 상에서 중심점으로부터 임계값을 벗어나는 선들을 제2 보정 그룹으로 설정하여 상기 제1 보정 그룹이 제거된 영상 상기 설정한 제1 보정 그룹을 상기 보정 전의 영상 정보로부터 제거 한 후, 상기 제1 보정 그룹 및 제2 보정 그룹이 제거된 영상 정보를 기초로 영상의 휘어짐 정보를 나타내는 매개변수를 추출하여, 상기 추출한 매개변수를 이용하여 상기 보정 전의 영상 정보에 대한 보정을 수행하는 매개변수를 이용하여 영상데이터를 왜곡보정하고, 보정된 영상데이터와 항공사진 데이터를 비교하는 수치지도 제작 방법 및 시스템에 관한 것이다.
즉, 상기 선행기술은, 영상의 왜곡에 대한 매개변수를 추출하여, 해당 영상을 보정하는 것이다.
상기에서 선행기술들을 살펴본 바와 같이, 대부분의 선행기술들은, 단순히 영상의 왜곡에 대한 매개변수를 추정하거나 추출하여, 왜곡이 있는 영상을 보정하는 기술적 특징만을 기재하고 있을 뿐이다.
반면에 본 발명은, 컴퓨터비전에서 사용하는 렌즈왜곡 계수를 사진측량에서 이용할 수 있도록 변환하거나, 사진측량에서 사용하는 렌즈왜곡 계수를 컴퓨터비전에서 이용할 수 있도록 변환함으로써, 상기 컴퓨터비전과 사진측량에서 상기 렌즈왜곡 계수를 상호적으로 이용할 수 있도록 하는 것으로, 상기 선행기술들은 이러한 본 발명의 기술적 특징을 기재하거나 시사 혹은 아무런 암시도 없다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작 된 것으로서, 사진측량에서 이용하는 카메라 렌즈왜곡 계수와 컴퓨터비전에서 이용하는 카메라 렌즈왜곡 계수를 상호 변환하여, 상기 사진측량이나 컴퓨터비전에서 결정된 어느 하나의 카메라 렌즈왜곡 계수를 상기 사진측량이나 컴퓨터비전에서 상호적으로 이용 가능하도록 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은 가상의 격자점을 이용하여, 상기 카메라 렌즈왜곡 계수를 변환한 변환결과를 검증하여, 신뢰성 높은 변환결과를 제공하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 렌즈왜곡 계수로 변환하여, 상기 사진측량을 통해 수치지도를 효율적으로 제작할 수 있도록 지원하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은, 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 카메라 렌즈왜곡 계수로 변환하여, 상기 컴퓨터비전을 통해 3D 모델이나 정사영상을 효율적으로 제작할 수 있도록 지원하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템은, 컴퓨터비전의 카메라 렌즈왜곡 모델과 상기 사진측량의 카메라 렌즈왜곡 모델을 결정하는 렌즈왜곡 모델 결정부, 상기 컴퓨터비전의 카메라 렌즈왜곡 계수 또는 상기 사진측량의 카메라 렌즈왜곡 계수를 추출하는 렌즈왜곡 계수 추출부 및 상기 추출한 카메라 렌즈왜곡 계수를 상기 결정된 각 카메라 렌즈왜곡 모델을 이용하여, 상기 사진측량과 컴퓨터비전에서 상호적으로 사용할 수 있도록 상기 각 카메라 렌즈왜곡 계수를 상호 변환하는 렌즈왜곡 계수 변환부를 포함하며, 카메라 렌즈왜곡이 없는 제1 가상의 격자점 또는 카메라 렌즈왜곡이 있는 제2 가상의 격자점을 이용하여, 카메라 렌즈왜곡 계수에 대한 선형식을 구성하는 것을 특징으로 한다.
또한 상기 렌즈왜곡 계수 변환부는, 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환하는 경우, 카메라 렌즈왜곡이 제거된 영상에 카메라 렌즈왜곡이 없는 상기 제1 가상의 격자점을 생성하는 제1 가상 격자점 생성부, 상기 결정한 컴퓨터비전의 카메라 렌즈왜곡 모델에 상기 생성한 제1 가상의 격자점에 대한 영상좌표와 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 입력하여, 상기 생성한 제1 가상의 격자점에 카메라 렌즈왜곡을 부여하는 렌즈왜곡 부여부, 상기 생성한 제1 가상의 격자점에 대한 영상좌표와, 상기 렌즈왜곡을 부여한 제1 가상의 격자점에 대한 영상좌표를 사진좌표로 각각 변환하는 사진좌표 변환부 및 상기 변환한 각 사진좌표를 상기 결정한 사진측량의 카메라 렌즈왜곡 모델이 입력하여, 상기 사진측량의 카메라 렌즈왜곡 계수를 미지수로 하는 상기 선형식을 구성하고, 상기 구성한 선형식을 계산하여 상기 사진측량의 카메라 렌즈왜곡 계수를 결정함으로써, 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 상기 사진측량의 카메라 렌즈왜곡 계수로 변환하는 사진측량 렌즈왜곡 계수 결정부를 더 포함하는 것을 특징으로 한다.
또한 상기 사진측량 렌즈왜곡 계수 결정부는, 상기 변환한 각 사진좌표를 상기 영상에서 결정된 최대방사거리로 나누어, 상기 변환한 사진좌표를 각각 정규화하고, 상기 정규화한 각 사진좌표를 상기 결정한 사진측량의 카메라 렌즈왜곡 모델이 입력하여, 상기 사진측량의 렌즈왜곡 계수를 추정한 후, 상기 추정한 사진측량의 카메라 렌즈왜곡 계수에 다시 상기 최대방사거리를 곱함으로써, 상기 사진측량의 카메라 렌즈왜곡 계수를 결정하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 카메라 렌즈왜곡 변환 시스템은, 상기 변환한 사진측량의 카메라 렌즈왜곡 계수로, 상기 카메라 렌즈왜곡을 부여한 제1 가상의 격자점에 대한 카메라 렌즈왜곡을 제거하고, 상기 카메라 렌즈왜곡을 제거한 제1 가상의 격자점에 대한 사진좌표와, 상기 생성한 카메라 렌즈왜곡이 없는 제1 가상의 격자점에 대한 사진좌표를 비교하여, 상기 컴퓨터비전의 렌즈왜곡 계수를 사진측량의 렌즈왜곡 계수로 변환한 변환결과를 검증하는 제1 검증부를 더 포함하는 것을 특징으로 한다.
또한 상기 렌즈왜곡 계수 변환부는, 상기 추출한 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환하는 경우, 카메라 렌즈왜곡이 있는 영상에 카메라 렌즈왜곡이 있는 제2 가상의 격자점을 생성하는 제2 가상의 격자점 생성부, 상기 결정한 사진측량의 카메라 렌즈왜곡 모델에 상기 생성한 제2 가상의 격자점에 대한 영상좌표와 상기 추출한 사진측량의 렌즈왜곡 계수를 입력하여, 상기 생성한 제2 가상의 격자점에 대한 카메라 렌즈왜곡을 제거하는 렌즈왜곡 제거부, 상기 생성한 제2 가상의 격자점에 대한 영상좌표와, 상기 카메라 렌즈왜곡을 제거한 제2 가상의 격자점에 대한 영상좌표를 상기 영상을 촬영한 카메라의 초점거리를 이용하여 상기 카메라의 초점거리가 1인 정규좌표로 각각 변환하는 정규좌표 변환부 및 상기 변환한 각 정규좌표를 상기 결정한 컴퓨터비전의 카메라 렌즈왜곡 모델에 입력하여, 상기 컴퓨터비전의 렌즈왜곡 계수를 미지수로 하는 상기 선형식을 구성하고, 상기 구성한 선형식을 계산하여 상기 컴퓨터비전의 렌즈왜곡 계수를 결정함으로써, 상기 추출한 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환하는 컴퓨터비전 렌즈왜곡 계수 결정부를 더 포함하는 것을 특징으로 한다.
또한 상기 카메라 렌즈왜곡 변환 시스템은, 상기 변환한 컴퓨터비전의 렌즈왜곡 계수로 상기 카메라 렌즈왜곡을 제거한 제2 가상의 격자점 대해 상기 카메라 렌즈왜곡을 부여하고, 상기 카메라 렌즈왜곡을 부여한 상기 제2 가상의 격자점에 대한 영상좌표와, 상기 생성한 카메라 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표를 비교하여, 상기 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환한 변환결과를 검증하는 제2 검증부를 더 포함하는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 방법은, 컴퓨터비전의 카메라 렌즈왜곡 모델과 상기 사진측량의 카메라 렌즈왜곡 모델을 결정하는 렌즈왜곡 모델 결정 단계, 상기 컴퓨터비전의 카메라 렌즈왜곡 계수 또는 상기 사진측량의 카메라 렌즈왜곡 계수를 추출하는 렌즈왜곡 계수 추출 단계 및 상기 추출한 카메라 렌즈왜곡 계수를 상기 결정된 각 카메라 렌즈왜곡 모델을 이용하여, 상기 사진측량과 컴퓨터비전에서 상호적으로 사용할 수 있도록 상기 각 카메라 렌즈왜곡 계수를 상호 변환하는 렌즈왜곡 계수 변환 단계를 포함하며, 카메라 렌즈왜곡이 없는 제1 가상의 격자점 또는 카메라 렌즈왜곡이 있는 제2 가상의 격자점을 이용하여, 카메라 렌즈왜곡 계수에 대한 선형식을 구성하는 것을 특징으로 한다.
또한 상기 렌즈왜곡 계수 변환 단계는, 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환하는 경우, 카메라 렌즈왜곡이 제거된 영상에 카메라 렌즈왜곡이 없는 상기 제1 가상의 격자점을 생성하는 제1 가상 격자점 생성 단계, 상기 결정한 컴퓨터비전의 카메라 렌즈왜곡 모델에 상기 생성한 제1 가상의 격자점에 대한 영상좌표와 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 입력하여, 상기 생성한 제1 가상의 격자점에 카메라 렌즈왜곡을 부여하는 렌즈왜곡 부여 단계, 상기 생성한 제1 가상의 격자점에 대한 영상좌표와, 상기 렌즈왜곡을 부여한 제1 가상의 격자점에 대한 영상좌표를 사진좌표로 각각 변환하는 사진좌표 변환 단계 및 상기 변환한 각 사진좌표를 상기 결정한 사진측량의 카메라 렌즈왜곡 모델이 입력하여, 상기 사진측량의 카메라 렌즈왜곡 계수를 미지수로 하는 상기 선형식을 구성하고, 상기 구성한 선형식을 계산하여 상기 사진측량의 카메라 렌즈왜곡 계수를 결정함으로써, 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 상기 사진측량의 카메라 렌즈왜곡 계수로 변환하는 사진측량 렌즈왜곡 계수 결정 단계를 더 포함하며, 상기 사진측량 렌즈왜곡 계수 결정 단계는, 상기 변환한 각 사진좌표를 상기 영상에서 결정된 최대방사거리로 나누어, 상기 변환한 사진좌표를 각각 정규화하고, 상기 정규화한 각 사진좌표를 상기 결정한 사진측량의 카메라 렌즈왜곡 모델이 입력하여, 상기 사진측량의 렌즈왜곡 계수를 추정한 후, 상기 추정한 사진측량의 카메라 렌즈왜곡 계수에 다시 상기 최대방사거리를 곱함으로써, 상기 사진측량의 카메라 렌즈왜곡 계수를 결정하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 카메라 렌즈왜곡 변환 방법은, 상기 변환한 사진측량의 카메라 렌즈왜곡 계수로, 상기 카메라 렌즈왜곡을 부여한 제1 가상의 격자점에 대한 카메라 렌즈왜곡을 제거하고, 상기 카메라 렌즈왜곡을 제거한 제1 가상의 격자점에 대한 사진좌표와, 상기 생성한 카메라 렌즈왜곡이 없는 제1 가상의 격자점에 대한 사진좌표를 비교하여, 상기 컴퓨터비전의 렌즈왜곡 계수를 사진측량의 렌즈왜곡 계수로 변환한 변환결과를 검증하는 제1 검증 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 렌즈왜곡 계수 변환 단계는, 상기 추출한 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환하는 경우, 카메라 렌즈왜곡이 있는 영상에 카메라 렌즈왜곡이 있는 제2 가상의 격자점을 생성하는 제2 가상의 격자점 생성 단계, 상기 결정한 사진측량의 카메라 렌즈왜곡 모델에 상기 생성한 제2 가상의 격자점에 대한 영상좌표와 상기 추출한 사진측량의 렌즈왜곡 계수를 입력하여, 상기 생성한 제2 가상의 격자점에 대한 카메라 렌즈왜곡을 제거하는 렌즈왜곡 제거 단계, 상기 생성한 제2 가상의 격자점에 대한 영상좌표와, 상기 카메라 렌즈왜곡을 제거한 제2 가상의 격자점에 대한 영상좌표를 상기 영상을 촬영한 카메라의 초점거리를 이용하여 상기 카메라의 초점거리가 1인 정규좌표로 각각 변환하는 정규좌표 변환 단계, 상기 변환한 각 정규좌표를 상기 결정한 컴퓨터비전의 카메라 렌즈왜곡 모델에 입력하여, 상기 컴퓨터비전의 렌즈왜곡 계수를 미지수로 하는 상기 선형식을 구성하고, 상기 구성한 선형식을 계산하여 상기 컴퓨터비전의 렌즈왜곡 계수를 결정함으로써, 상기 추출한 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환하는 컴퓨터비전 렌즈왜곡 계수 결정 단계 및 상기 변환한 컴퓨터비전의 렌즈왜곡 계수로 상기 카메라 렌즈왜곡을 제거한 제2 가상의 격자점 대해 상기 카메라 렌즈왜곡을 부여하고, 상기 카메라 렌즈왜곡을 부여한 상기 제2 가상의 격자점에 대한 영상좌표와, 상기 생성한 카메라 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표를 비교하여, 상기 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환한 변환결과를 검증하는 제2 검증 단계를 더 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법은, 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 계수를 상호적으로 변환하여, 상기 사진측량 또는 컴퓨터비전에서 결정한 어느 하나의 렌즈왜곡 계수를 상기 사진측량과 컴퓨터비전에서 상호적으로 이용할 수 있는 효과가 있다.
또한 본 발명은, 상기 컴퓨터비전에서 이용하는 렌즈왜곡 계수만 결정된 경우라도, 상기 변환을 통해 사진측량에서 이용가능 하도록 함으로써, 카메라를 통해 수신되는 영상을 이용하여 수치지도를 효율적으로 제작할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 사진측량에서 사용하는 좌표계를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 컴퓨터비전에서 사용하는 좌표계를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환한 결과를 검증하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 카메라 렌즈왜곡 계수로 변환하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 카메라 렌즈왜곡 계수로 변환한 결과를 검증하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템의 구성을 나타낸 블록도이다.
도 9는 본 발명의 일 실시예에 따른 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환하여 검증하는 절차를 나타낸 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 카메라 렌즈왜곡 계수로 변환하여 검증하는 절차를 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예를 상세히 설명하기로 한다. 본 발명의 명세서 또는 출원에 개시되어 있는 일 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의 되어 있지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 아니한다.
도 1은 본 발명의 일 실시예에 따른 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법을 설명하기 위한 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템(100))(이하, 렌즈왜곡 변환 시스템이라 칭함)은, 드론 등과 같은 무인항공기(200)에 설치된 카메라(210)로부터, 상기 무인항공기(200)가 이동함에 따라 촬영대상영역을 촬영한 복수의 영상을 수신하여, 상기 촬영대상영역에 대한 정사영상이나 3D 모델을 제작하기 위한 컴퓨터비전의 (카메라) 렌즈왜곡 계수와, 상기 촬영대상영역에 대한 수치지도를 제작하기 위한 사진측량의 (카메라) 렌즈왜곡 계수를 상호적으로 변환하는 기능을 지원한다.
이때, 상기 사진측량의 렌즈왜곡 계수는, 상기 영상의 사진좌표에서 결정되며, 상기 컴퓨터비전의 렌즈왜곡 계수는, 상기 영상의 정규좌표에서 결정되기 때문에 상기 각 렌즈왜곡 계수를 상호적으로 이용하기 위해서는 사진측량 또는 컴퓨터비전의 렌즈왜곡 계수를 상호 변환해야하는 필요성이 있다.
따라서 상기 렌즈왜곡 변환 시스템(100))은, 상기 컴퓨터비전과 상기 사진측량에서 각기 다른 좌표계를 통해 결정된 렌즈왜곡 계수를 상기 컴퓨터비전과 상기 사진측량 간에 상호적으로 이용가능 하도록 변환함으로써, 상기 컴퓨터비전에서 상기 정사영상이나 3D 모델, 또는 상기 사진측량에서 상기 수치지도를 효율적으로 제작할 수 있도록 지원한다.
한편, 상기 도 1에는, 상기 영상이 상기 무인항공기(200)에 탑재되어 지상의 특정 촬영대상영역을 촬영한 것(항공영상)으로 나타나 있으나, 이에 한정하지 않으며, 실내/외에 설치된 카메라(210)로부터 실내/외를 촬영한 영상일 수 있다.
또한 상기 렌즈왜곡 변환 시스템(100))은, 상기 변환을 위해 상기 컴퓨터비전의 렌즈왜곡 계수와 상기 사진측량의 렌즈왜곡 계수를 상기 수신한 영상을 이용하여 사전에 각각 결정하여 데이터베이스(300)에 저장한다.
상기 사진측량의 렌즈왜곡 계수와 상기 컴퓨터비전의 렌즈왜곡 계수는, 가상기준점(Virtual Reference Station)측량 방식을 통해 사전에 취득한 복수의 지상기준점을 중복하여 촬영한 상기 복수의 영상과, BBA(Bundle Block Adjustment) 방법과 같은 다양한 방법을 통해 상기 카메라(210)에 대한 카메라 켈리브레이션을 수행하여, 상기 카메라(210)의 내부표정요소를 결정함으로써, 수행된다.
여기서, 상기 내부표정요소는, 상기 카메라(210)의 초점거리, 상기 영상의 주점(Principal Point)위치, 영상의 크기, 방사왜곡(Radial Distortion) 계수 및 편심왜곡(Decentric Distortion) 계수를 포함하는 렌즈왜곡 계수를 포함한다.
상기 카메라 켈리브레이션은, 카메라(121)의 상기 렌즈왜곡 계수, 초점거리 및 영상에 대한 주점위치 등의 내부표정요소를 결정하기 위한 것으로, 다양한 방법을 통해 상기 렌즈왜곡 계수를 포함하는 내부표정요소를 결정할 수 있다. 즉, 본 발명에서는, 상기 영상의 사진좌표계나 정규좌표계로부터 상기 렌즈왜곡 계수를 결정하는 방법에 대해서는 그 제한을 두지 아니한다.
상기 결정한 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량에 이용할 수 있도록 사진측량의 렌즈왜곡 계수로 변환하는 경우, 상기 렌즈왜곡 변환 시스템(100)은, 상기 렌즈왜곡이 제거된 영상에 렌즈왜곡이 없다고 가정한 제1 가상의 격자점(즉, 렌즈왜곡이 없는 제1 가상의 격자점)을 생성한다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 결정한 컴퓨터비전의 렌즈왜곡 계수를 이용하여, 상기 생성한 제1 가상의 격자점에 렌즈왜곡을 부여하고, 이를 사진좌표로 변환한 후, 상기 생성한 제1 가상의 격자점을 이용하여, 상기 사진측량의 렌즈왜곡 계수에 대한 선형식을 구성하여, 계산함으로써, 상기 결정한 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 변환한다.
이를 통해 상기 변환한 사진측량의 렌즈왜곡 계수를 통해, 상기 수신한 영상을 이용하여 상기 촬영대상영역에 대한 수치지도를 효율적으로 제작할 수 있다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 렌즈왜곡이 제거된 제1 가상의 격자점을 이용하여, 상기 사진측량의 렌즈왜곡 계수로 변환한 결과에 대한 신뢰성을 검증한다.
한편, 상기 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 변환하는 것과, 상기 사진측량의 렌즈왜곡 계수로 변환한 결과에 대한 신뢰성을 검증하는 것은, 본 발명의 핵심적인 기술적 특징으로, 도 4 및 도 5를 각각 참조하여 상세히 설명하도록 한다.
또한 상기 결정한 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전에서 이용할 수 있도록 컴퓨터비전의 렌즈왜곡 계수로 변환하는 경우, 상기 렌즈왜곡 변환 시스템(100)은, 상기 수신한 영상(즉, 렌즈왜곡이 있는 영상)에 렌즈왜곡이 있는 것으로 가정한 제2 가상의 격자점(즉, 렌즈왜곡이 있는 제2 가상의 격자점)을 생성하고, 상기 카메라(210)의 초점거리를 이용하여 상기 렌즈왜곡이 있는 제2 가상의 격자점을 생성한 영상의 영상좌표(즉, 픽셀좌표)를 정규좌표로 변환한다. 이때, 상기 렌즈왜곡 변환 시스템(100)은, 상기 결정한 사진측량의 렌즈왜곡 계수를 이용하여, 제2 가상의 격자점에 대해 렌즈왜곡이 제거된 영상좌표로 변환한 후, 상기 카메라(210)의 초점거리를 이용하여 상기 변환한 영상좌표를 정규좌표로 변환한다.
이후, 상기 렌즈왜곡 변환 시스템(100)은, 상기 제2 가상의 격자점에 대해 렌즈왜곡이 있는 정규좌표와, 상기 제2 가상의 격자점에 대해 렌즈왜곡이 제거된 정규좌표를 이용하여, 컴퓨터비전의 렌즈왜곡 계수에 대한 선형식을 구성하여 계산함으로써, 상기 결정한 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환한다. 이를 통해 상기 변환한 컴퓨터비전의 렌즈왜곡 계수를 이용하여, 상기 수신한 영상으로부터 상기 촬영대상영역에 대한 3D 모델 또는 정사영상을 효율적으로 제작할 수 있도록 한다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 생성한 렌즈왜곡이 부여된 제2 가상의 격자점을 이용하여, 상기 컴퓨터비전의 렌즈왜곡 계수로 변환한 결과에 대한 신뢰성을 검증한다.
한편, 상기 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환하는 것과, 상기 컴퓨터비전의 렌즈왜곡 계수로 변환한 결과에 대한 신뢰성 검증은 본 발명의 핵심적인 기술적 특징으로, 도 6 및 도 7을 각각 참조하여 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 사진측량에서 사용하는 좌표계를 설명하기 위한 도면이다.
도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 사진측량에서는 영상좌표(픽셀좌표(Pixel Coordinate))와 사진좌표(Photo coordinate)를 이용하며, 수치적 안정성을 위해 다음의 [수학식 1]을 이용하여 영상의 영상좌표를 사진좌표로 변환한 후, 수지지도를 제작하기 위한 기하학적 연산을 수행한다.
[수학식 1]
Figure 112020061849521-pat00001
여기서, 상기 Nc는 영상의 열에 대한 픽셀의 수, Nr은, 영상의 행에 대한 픽셀의 수를 의미하며, xpix size, 및 ypix size는, 픽셀의 가로 및 세로의 사이즈를 각각 나타낸다. 또한 (xpix, ypix)는, 영상좌표를 나타내며, (xphoto, yphoto)는 사진좌표를 나타낸다.
또한 상기 영상좌표의 경우에는, 픽셀단위를 사용하며, 사진좌표는 일반적으로 mm단위를 사용하지만 픽셀의 크기를 1mm/pix로 설정할 경우에는 픽셀단위가 된다. 또한 사진측량의 내부표정요소인 카메라 렌즈의 중심위치를 나타내는 주점(xp, yp)의 위치, 카메라 초점거리와 렌즈왜곡 계수는, 사진좌표에서 결정된 값을 사용한다.
또한 사진측량에서는, 사진측량의 렌즈왜곡 모델인 다음의 [수학식 2]를 이용하여 렌즈왜곡이 있는 사진좌표(xadd, yadd)에 사진측량에서 결정된 렌즈왜곡 계수를 이용하여 왜곡이 없는 사진좌표(xfree, yfree)로 변환함으로써, 카메라 렌즈왜곡을 보정한다.
[수학식 2]
Figure 112020061849521-pat00002
여기서, r은 방사거리, (k1, k2, k3)는, 방사왜곡, (p1, p2)은, 편심왜곡을 의미한다. 상기 방사왜곡 및 편심왜곡이 사진측량의 렌즈왜곡 계수이다.
도 3은 본 발명의 일 실시예에 따른 컴퓨터비전에서 사용하는 좌표계를 설명하기 위한 도면이다.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 컴퓨터비전에서는 영상좌표인 픽셀좌표(Pixel Coordinate)와 정규좌표(Normalized Pixel coordinate)를 이용하며, 상기 컴퓨터비전에서의 영상좌표는 사진측량에서 이용하는 영상좌표와 동일하지만, 주점 및 초점거리와 렌즈왜곡은 영상좌표에서 정의된다.
또한 컴퓨터비전에서는, 수치적 안정성을 위해 다음의 [수학식 3]을 이용하여 영상좌표를 정규좌표로 변환한 후, 3D 모델이나 정사영상을 제작하기 위한 기하학적 연산을 수행한다.
[수학식 3]
Figure 112020061849521-pat00003
여기서, (xpix, ypix)는 픽셀좌표, f는 초점거리, (xp, yp)는 영상좌표에서 주점위치를 나타내며, (u, v)는 정규화된 영상좌표(정규좌표)를 나타낸다.
정규좌표는 상기 영상좌표를 초점거리로 나누었기 때문에 단위가 없는 무차원 상수값이 된다. 컴퓨터비전에서 정규좌표를 사용하는 이유는, 연산과정에서의 효율성을 위해 동차좌표(Homogeneous coordinate)를 사용하기 때문에 초점거리를 1로 정규화하면 연산처리가 수월하기 때문이다.
또한 컴퓨터비전에서 이용하는 컴퓨터비전의 렌즈왜곡 모델인 다음의 [수학식 4]는, 상기 사진측량과 달리 렌즈왜곡이 없는 영상좌표를 정규좌표(ufree, vfree)로 변환한 후, 컴퓨터비전의 렌즈왜곡 계수를 이용하여 렌즈왜곡을 고려한 정규좌표(uadd, vadd)로 변환한다.
[수학식 4]
Figure 112020061849521-pat00004
여기서, 여기서, r은 방사거리, (k1, k2, k3)는 방사왜곡, (p1, p2)은 편심왜곡을 의미한다. 상기 방사왜곡 및 편심왜곡이 컴퓨터비전의 렌즈왜곡 계수이다.
또한 상기 도 2 및 도 3을 참조하여 설명한 것과 같이, 사진측량의 렌즈왜곡 모델과, 컴퓨터비전의 렌즈왜곡 모델이 서로 다른 이유는, 상기 사진측량은 관측자가 렌즈왜곡이 있는 원 영상으로부터 수동으로 공액점(Conjugate Point)을 관측하여 렌즈왜곡을 제거한 후, 대상물의 3차원 위치를 결정하는 것이 목적이다. 따라서 사진측량의 렌즈왜곡 계수를 알고 있다면 렌즈왜곡을 제거하는 과정을 선형식으로 정의할 필요가 있다.
이에 반하여, 컴퓨터비전에서는, 연산처리의 자동화 및 속도에 중점을 두기 때문에 왜곡이 있는 원 영상에서 렌즈왜곡이 제거된 영상을 제작한 후, 가상의 3차원 위치를 신속하게 결정하는 것이 목적이다. 이를 위해 상기 컴퓨터비전의 렌즈왜곡 모델을 이용하여 렌즈왜곡이 없는 좌표에 렌즈왜곡을 부여하고 렌즈왜곡이 있는 원 영상에서 주변의 밝기값을 가져와서 보간한다.
또한 사진측량에서의 렌즈왜곡 계수는 사진좌표에서 정의되며, 컴퓨터비전에서의 렌즈왜곡 계수는 정규좌표에서 정의되기 때문에, 상기 사진측량의 렌즈왜곡 계수와 상기 컴퓨터비전의 렌즈왜곡 계수는, 상기 사진측량과 컴퓨터비전 간에서 상호적으로 이용하는 것이 불가능하다.
도 4는 본 발명의 일 실시예에 따른 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환하는 과정을 설명하기 위한 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 렌즈왜곡 변환 시스템(100)은, 컴퓨터비전의 렌즈왜곡 계수를 사진측량의 렌즈왜곡 계수로 변환할 때, 컴퓨터비전의 렌즈왜곡 모델과 사진측량의 렌즈왜곡 모델을 결정하고, 사전에 결정되어 데이터베이스(300)에 저장된 컴퓨터비전의 렌즈왜곡 계수를 추출한다. 이때, 상기 컴퓨터비전의 렌즈왜곡 계수는 왜곡이 없는 좌표에서 왜곡을 부여하는 좌표로 계산한 것이기 때문에 상기 렌즈왜곡 변환 시스템(100)은, 렌즈왜곡이 제거된 영상에 렌즈왜곡이 없는 제1 가상의 격자점을 생성한다(①).
상기 영상은, 드론(200)에 장착된 카메라(210)를 통해 특정 촬영대상영역을 촬영한 영상이며, 상기 렌즈왜곡이 제거된 영상은, 사전에 결정한 컴퓨터비전의 렌즈왜곡 계수를 이용하여 상기 영상으로부터 렌즈왜곡을 제거한 영상을 의미한다.
이때, 상기 렌즈왜곡 변환 시스템(100)은, 상기 영상의 사이즈를 고려하여, 상기 렌즈왜곡이 제거된 영상의 단위픽셀에 따라 상기 가상의 격자점이 형성되도록 생성하는 것이 바람직하다. 다만, 이에 한정하지 않으며 상기 단위픽셀을 사전에 설정한 개수만큼 각각 그룹핑하여, 상기 그룹핑한 복수의 단위픽셀에 따라 상기 가상의 격자점이 형성되도록 생성하는 것도 가능하다.
또한 상기 생성한 제1 가상의 격자점은 렌즈왜곡이 없는 영상좌표이므로, 상기 렌즈왜곡 변환 시스템(100)은, 상기 생성한 제1 가상의 격자점에 대한 렌즈왜곡을 부여하여, 상기 렌즈왜곡을 부여한 제1 가상의 격자점에 대한 영상좌표를 사진좌표(즉, 렌즈왜곡이 있는 사진좌표)로 변환한다(②).
이때, 상기 렌즈왜곡 변환 시스템(100)은, 상기 생성한 제1 가상의 격자점에 대한 영상좌표와 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 상기 결정한 컴퓨터비전의 렌즈왜곡 모델이 입력함으로써, 상기 생성한 제1 가상의 격자점에 대한 렌즈왜곡을 부여한다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 제1 가상의 격자점에 대한 영상좌표를 사진좌표(즉, 렌즈왜곡이 없는 사진좌표)로 변환한다(③).
이때, 상기 렌즈왜곡 변환 시스템(100)은, 상기 [수학식 1]을 통해 각 영상좌표를 사진좌표로 변환한다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 변환한 렌즈왜곡이 없는 사진좌표와, 렌즈왜곡이 있는 사진좌표를 상기 결정한 사진측량의 렌즈왜곡 모델에 각각 입력하여, 다음의 [수학식 5]와 같이 사진측량의 렌즈왜곡 계수를 미지수로 하는 선형식을 구성한다(④).
[수학식 5]
Figure 112020061849521-pat00005
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 구성한 선형식으로 사진측량의 렌즈왜곡 계수를 결정함으로써, 상기 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 최종 변환한다(⑤).
이때, 상기 [수학식 5]를 행렬기호로 표시하면 다음의 [수학식 6]과 같고, 상기 렌즈왜곡 변환 시스템(100)은, 상기 [수학식 6]을 다음의 [수학식 7]로 변환하여, 상기 사진측량의 렌즈왜곡 계수로 변환한다.
[수학식 6]
Figure 112020061849521-pat00006
[수학식 7]
Figure 112020061849521-pat00007
여기서, N은, 상기 [수학식 6]의 행렬 A와 행렬 A의 전치행렬(AT)의 곱이며, 상기 t는 상기 행렬 A의 전치행렬과 상기 b의 곱을 나타내며, 상기 x는 상기 사진측량의 렌즈왜곡 계수에 대한 미지수로 [k1, k2, k3, p1, p2]T를 나타낸다.
한편, 상기 [수학식 5]는, 상기 영상의 크기가 크고, 단위가 픽셀인 사진좌표를 사용할 경우, 방사거리의 영향으로 상기 [수학식 7]의 행렬 N의 값이 커지기 때문에 상기 행렬 N에 대한 역행렬을 계산할 수 없는 경우가 발생될 수 있다.
따라서 상기 렌즈왜곡 변환 시스템(100)은, 다음의 [수학식 8]과 같이 상기 영상 내의 최대방사거리(rmax)를 상기 각 사진좌표로 나누어 무단위의 사진좌표로 정규화한다.
[수학식 8]
Figure 112020061849521-pat00008
여기서, 상기 H는 사진좌표에서 영상의 세로에 대한 사이즈, W는 사진좌표에서 상기 영상의 가로에 대한 사이즈를 나타낸다.
이후, 상기 렌즈왜곡 변환 시스템(100))은, 다음의 [수학식 9]를 이용하여, 최종적으로 상기 [수학식 5]에 상기 정규화한 각 사진좌표를 입력하여 사진측량의 렌즈왜곡 계수를 추정한 후, 상기 추정한 사진측량의 렌즈왜곡 계수를 상기 정규화에 사용한 최대방사거리를 다시 곱하여, 상기 추정한 사진측량의 렌즈왜곡 계수에 대한 단위를 복원함으로써, 상기 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 최종 변환하게 된다.
[수학식 9]
Figure 112020061849521-pat00009
여기서
Figure 112020061849521-pat00010
는, 상기 정규화한 사진좌표에서 추정한 사진측량의 렌즈왜곡 계수이다.
도 5는 본 발명의 일 실시예에 따른 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환한 결과를 검증하는 과정을 설명하기 위한 도면이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 컴퓨터비전의 렌즈왜곡 계수를 사진측량의 렌즈왜곡 계수로 변환한 결과에 대한 신뢰성을 검증하기 위해, 상기 렌즈왜곡 변환 시스템(100)은, 도 4에서 설명한 것과 같이, 렌즈왜곡이 제거된 영상에 생성한 렌즈왜곡이 없는 제1 가상의 격자점에 대해 상기 추출한 컴퓨터비전의 렌즈왜곡 계수로 렌즈왜곡을 부여한다(①).
이때, 상기 렌즈왜곡 변환 시스템(100)은, 상기 결정한 컴퓨터비전의 렌즈왜곡 모델에 상기 제1 가상의 격자점에 대한 사진좌표와 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 입력함으로써, 상기 생성한 렌즈왜곡이 없는 제1 가상의 격자점에 렌즈왜곡을 부여하고, 상기 렌즈왜곡이 부여된 제1 가상의 격자점에 대한 사진좌표로 변환한다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 도 4에서 설명한 것과 같이, 컴퓨터비전 렌즈왜곡 계수를 변환한 결과인 사진측량의 렌즈왜곡 계수를 통해, 상기 렌즈왜곡을 부여한 제1 가상의 격자점에 대해 렌즈왜곡을 제거한다(②).
이후, 상기 렌즈왜곡 변환 시스템(100)은, 상기 생성한 렌즈왜곡이 없는 상기 제1 가상의 격자점과, 상기 렌즈왜곡을 제거한 제1 가상의 격자점을 비교하여 렌즈왜곡에 대한 영향을 분석함으로써, 상기 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 변환한 결과를 검증한다(③).
이때, 상기 렌즈왜곡 변환 시스템(100)은, 상기 생성한 렌즈왜곡이 없는 제1 가상의 격자점과 상기 변환한 사진측량의 렌즈왜곡 계수를 통해 상기 렌즈왜곡을 제거한 제1 가상의 격자점 간의 차이에 대한 평균제곱근 오차(RMSE, Root Mean Square Error)와 평균제곱근 거리(RMSD, Root Mean Square Distance)를 계산하여, 상기 평균제곱근 오차와 평균제곱근 거리가 사전에 설정한 임계값 이하인 경우에 상기 변환결과에 대한 신뢰성이 있는 것으로 판단한다.
도 6은 본 발명의 일 실시예에 따른 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 카메라 렌즈왜곡 계수로 변환하는 과정을 설명하기 위한 도면이다.
도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 렌즈왜곡 변환 시스템(100)은, 사진측량의 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환할 때, 사전에 결정되어 저장된 사진측량의 렌즈왜곡 계수를 추출한다. 이때, 상기 추출한 사진측량의 렌즈왜곡 계수는 왜곡이 있는 영상(즉, 카메라로 촬영한 영상)의 사진좌표를 렌즈왜곡을 제거한 영상의 사진좌표로 변환할 수 있는 계수이므로, 상기 렌즈왜곡 변환 시스템(100)은, 카메라(210)로 촬영한 영상에 렌즈왜곡이 있는 제2 가상의 격자점을 생성한다(①). 상기 제2 가상의 격자점은, 상기 도 4에서 설명한 제1 가상의 격자점을 생성하는 방법과 동일한 방법으로 생성된다.
또한 렌즈왜곡 변환 시스템(100)은, 상기 생성한 렌즈왜곡이 있는 상기 제2 가상의 격자점에 대한 영상좌표를 상기 추출한 사진측량의 렌즈왜곡 계수를 이용하여 상기 제2 가상의 격자점에 대한 렌즈왜곡을 제거된 영상좌표로 변환한다(②).
여기서, 상기 제2 가상의 격자점에 대해 렌즈왜곡이 제거된 영상좌표로 변환하는 것은, 상기 결정한 사진측량의 렌즈왜곡 모델([수학식 3])에, 상기 생성한 렌즈왜곡이 있는 제1 가상의 격자점에 대한 영상좌표와 상기 추출한 사진측량의 렌즈왜곡 계수를 입력함으로써, 수행된다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 변환한 영상좌표를 정규좌표(즉, 왜곡이 제거된 정규좌표)로 변환한다(③).
여기서 상기 정규좌표는, 상기 카메라(121)의 초점거리가 1인 영상을 정의하는 좌표계를 의미하는 것으로, 상기 렌즈왜곡 변환 시스템(100)은, 상기 카메라(121)의 초점거리를 이용하여 상기 영상좌표를 정규좌표로 변환한다. 이때, 상기 영상좌표를 정규좌표로 변환하는 것은, 상기 변환한 영상좌표에서 주점의 위치좌표를 차감한 결과에 상기 카메라(121)의 초점거리를 나눔으로써, 수행된다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 생성한 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표(즉, 렌즈왜곡이 있는 영상좌표)를 정규좌표(즉, 렌즈왜곡이 있는 정규좌표)로 변환한다(④). 여기서, 상기 왜곡이 있는 영상좌표를 상기 왜곡이 있는 정규좌표로 변환하는 것은, 상기 왜곡이 제거된 정규좌표로 변환하는 것과 동일한 과정으로 수행된다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 변환한 각각의 정규좌표를 상기 결정한 컴퓨터비전의 렌즈왜곡 모델에 각각 입력하여, 다음의 [수학식 10]과 같이 컴퓨터비전의 렌즈왜곡 계수를 미지수로 하는 선형식을 구성한다(⑤).
[수학식 10]
Figure 112020061849521-pat00011
여기서, (ufree, vfree)는 상기 제2 가상의 격자점에 대해 렌즈왜곡을 제거하여 변환한 정규좌표(즉, 렌즈왜곡이 제거된 정규좌표)를 의미하고, (uadd, vadd)는, 상기 생성한 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표를 변환한 정규좌표(즉, 렌즈왜곡이 있는 정규좌표를 나타낸다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 구성한 선형식으로 컴퓨터비전의 렌즈왜곡 계수를 결정함으로써, 상기 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 최종 변환한다.
한편, 상기 변환한 컴퓨터비전의 렌즈왜곡 계수는, 상기에서 설명한 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환하는 과정에서 이미 정규좌표를 사용하였기 때문에, 상기 변환한 컴퓨터비전의 렌즈왜곡 계수에 대한 단위를 복원할 필요가 없음은 당연하다.
도 7은 본 발명의 일 실시예에 따른 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 카메라 렌즈왜곡 계수로 변환한 결과를 검증하는 과정을 설명하기 위한 도면이다.
도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 사진측량의 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환한 결과에 대한 신뢰성을 검증하기 위해, 상기 렌즈왜곡 변환 시스템(100)은, 도 6에서 설명한 것과 같이, 상기 생성한 렌즈왜곡이 있는 제2 가상의 격자점에 대해 상기 추출한 사진측량의 렌즈왜곡 계수로 상기 렌즈왜곡을 제거한다(①).
이때, 상기 렌즈왜곡 변환 시스템(100)은, 상기 결정한 사진측량의 렌즈왜곡 모델에 상기 생성한 제2 가상의 격자점에 대한 영상좌표와 상기 결정한 사진측량의 렌즈왜곡 계수를 입력함으로써, 상기 제2 가상의 격자점에 대해 렌즈왜곡이 제거된 영상좌표로 변환한다.
또한 상기 렌즈왜곡 변환 시스템(100)은, 상기 도 6에서 설명한 것과 같이, 상기 변환한 컴퓨터비전의 렌즈왜곡 계수를 통해 상기 렌즈왜곡을 제거한 제2 가상의 격자점에 대해 렌즈왜곡을 부여한다(②).
이후, 상기 렌즈왜곡 변환 시스템(100)은, 상기 생성한 렌즈왜곡이 있는 제2 가상의 격자점과 상기 변환한 컴퓨터비전의 렌즈왜곡 계수를 통해 렌즈왜곡을 부여한 제2 가상의 격자점을 비교하여, 렌즈왜곡에 대한 영향을 분석함으로써, 상기 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환한 결과를 검증한다. 이때, 렌즈왜곡 변환 시스템(100)은, 도 4에서 설명한 평균제곱근 오차나 평균 제곱근 거리를 이용하여 상기 검증을 수행한다.
도 8은 본 발명의 일 실시예에 따른 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템의 구성을 나타낸 블록도이다.
도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 렌즈왜곡 변환 시스템(100)은, 영상 수집부(110), 컴퓨터비전의 렌즈왜곡 모델과 사진측량의 렌즈왜곡 모델을 결정하는 렌즈왜곡 모델 결정부(120), 데이터베이스(300)에 저장된 컴퓨터비전의 렌즈왜곡 계수 또는 사진측량의 렌즈왜곡 계수를 추출하는 렌즈왜곡 계수 수출부(130), 제1 검증부(140), 제2 검증부(150) 및 상기 추출한 렌즈왜곡 계수를 상기 결정한 각 카메라 렌즈왜곡 모델을 이용하여, 상기 사진측량과 컴퓨터비전에서 상호적으로 사용할 수 있도록 상기 각 렌즈왜곡 계수를 상호 변환하는 렌즈왜곡 계수 변환부(160)를 포함하여 구성된다.
상기 영상 수집부(110)는, 무인항공기(200)에 탑재된 카메라(210)로부터 촬영한 영상을 수집하여 데이터베이스(300)에 저장한다. 상기 수집한 영상은, 컴퓨터비전을 통해 상기 촬영대상영역에 대한 3D 모델이나 정사영상을 제작하거나, 사진측량을 통해 상기 촬영대상영역에 대한 수치지도를 제작하는데 이용된다.
또한 상기 렌즈왜곡 모델 결정부(120)는, 상기 컴퓨터비전의 렌즈왜곡 모델과 상기 사진측량의 렌즈왜곡 모델을 결정한다. 이때, 상기 각 렌즈왜곡 모델은, 도 2 및 도 3을 참조하여 설명하였으므로, 더 이상의 상세한 설명은 생략한다.
또한 렌즈왜곡 계수 추출부(130)는, 상기 수집한 영상을 토대로 사전에 결정하여 저장한 컴퓨터비전이나, 사진측량의 내부표정요소에 해당하는 컴퓨터비전의 렌즈왜곡 계수 또는 사진측량의 렌즈왜곡 계수를 상기 데이터베이스(300)로부터 추출하는 기능을 수행한다.
또한 상기 렌즈왜곡 계수 변환부(160)는, 상기 데이터베이스(300)에 사전에 결정되어 저장된 컴퓨터비전의 렌즈왜곡 계수 또는 사진측량의 렌즈왜곡 계수를 사익 사진측량 또는 컴퓨터비전에서 이용할 수 있도록 상호 변환하기 위한 것으로, 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 사진측량의 렌즈왜곡 계수로 변환할 때 동작하는 제1 가상 격자점 생성부(161), 렌즈왜곡 부여부(162), 사진좌표 변환부(163) 및 사진측량 렌즈왜곡 계수 결정부(164)와, 상기 추출한 사진측량의 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환할 때 동작하는 제2 가상 격자점 생성부(165), 렌즈왜곡 제거부(166) 및 정규좌표 변환부(167)를 포함하여 구성된다.
이하에서는, 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 사진측량의 렌즈왜곡 계수로 변환하기 위한 상기 렌즈왜곡 계수 변환부(160)의 각 구성부분에 대한 동작을 설명하도록 한다.
상기 제1 가상 격자점 생성부(161)는, 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수를 변환할 때, 렌즈왜곡이 제거된 영상에 렌즈왜곡이 없는 제1 가상의 격자점을 생성한다. 여기서 상기 제1 가상의 격자점은, 렌즈왜곡이 없다고 가정한 가상의 격자점을 의미한다.
또한 상기 렌즈왜곡 부여부(162)는, 상기 생성한 제1 가상의 격자점에 렌즈왜곡을 부여하는 기능을 수행한다. 상기 렌즈왜곡을 부여하는 것은, 상기 결정한 컴퓨터비전의 렌즈왜곡 모델에 상기 생성한 제1 가상의 격자점에 대한 영상좌표와 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 입력함으로써, 수행됨은 상술한 바와 같다.
또한 상기 사진좌표 변환부(163)는, 상기 생성한 제1 가상의 격자점에 대한 영상좌표 및 상기 렌즈왜곡을 제거한 제1 가상의 격자점에 대한 영상좌표를 사진좌표로 각각 변환하는 기능을 수행한다. 상기 사진좌표로 변환하는 것은 도 4를 참조하여 설명하였으므로, 더 이상의 상세한 설명은 생략한다.
또한 상기 사진측량 렌즈왜곡 계수 결정부(164)는, 상기 변환한 각각의 사진좌표를 상기 결정한 사진측량의 렌즈왜곡 모델에 입력하여, 상기 결정한 사진측량의 렌즈왜곡 모델을 상기 [수학식 5]와 같이 상기 사진측량의 렌즈왜곡 계수를 미지수로 하는 선형식으로 구성하여, 상기 사진측량의 렌즈왜곡 계수를 결정함으로써, 상기 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 변환한다.
한편, 상기 사진측량 렌즈왜곡 계수 결정부(164)는, 상기 [수학식 5]를 행렬기호로 표현하여, 상기 [수학식 6] 및 [수학식 7]로 변환하고, 상기 사진측량 렌즈왜곡 계수를 결정한다. 이때, 상기 사진측량 렌즈왜곡 계수 결정부(164)는, 상기 변환한 각 사진좌표의 방사거리의 영향으로 상기 [수학식 7]의 행렬 N에 대한 역행렬을 계산할 수 없는 경우, 상기 각 사진좌표를 상기 영상내의 최대방사거리로 나누어 무단위의 사진좌표로 각각 정규화하여, 상기 정규화한 각각의 사진좌표를 상기 결정한 사진측량의 렌즈왜곡 모델에 입력하여, 상기 사진측량의 렌즈왜곡 계수를 추정한다. 이후, 상기 사진측량 렌즈왜곡 계수 결정부(164)는, 상기 추정한 사진측량의 렌즈왜곡 계수에 최대방사거리를 다시 곱한 결과를 상기 사진측량의 렌즈왜곡 계수로 최종 결정한다. 한편, 상기 무단위 사진좌표로 정규화하고, 최종적으로 사진측량의 렌즈왜곡 계수로 결정하는 방법은, 도 4를 참조하여 설명하였으므로, 더 이상의 상세한 설명은 생략하도록 한다.
또한 상기 제1 검증부(140)는, 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 변환한 변환결과에 대한 신뢰성을 검증하는 것으로, 상기 사진측량 렌즈왜곡 계수 결정부(164)에서, 상기 생성한 렌즈왜곡이 없는 제1 가상의 격자점에 대한 사진좌표와, 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 상기 결정한 컴퓨터비전의 렌즈왜곡 모델이 각각 입력하여, 상기 제1 가상의 격자점에 렌즈왜곡을 부여한다.
또한 상기 제1 검증부(140)는, 상기 변환한 사진측량의 렌즈왜곡 계수를 이용하여, 상기 렌즈왜곡을 부여한 제1 가상의 격자점에 대한 렌즈왜곡을 제거한 후, 상기 렌즈왜곡을 제거한 제1 가상의 격자점과, 상기 생성한 렌즈왜곡이 없는 제1 가상의 격자점을 비교하여 상기 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 변환한 결과를 검증한다. 상기 검증하는 과정은 도 5를 참조하여 설명하였으므로, 더 이상의 상세한 설명은 생략한다.
이하에서는, 상기 추출한 사진측량의 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환하기 위한 상기 렌즈왜곡 계수 변환부(160)의 각 구성부분에 대한 동작을 설명하도록 한다.
상기 제2 가상 격자점 생성부(165)는, 상기 추출한 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환할 때, 상기 수집한 영상(즉, 렌즈왜곡이 있는 영상)에 렌즈왜곡이 있는 제2 가상의 격자점을 생성한다. 여기서, 제2 가상의 격자점은, 렌즈왜곡이 있다고 가정한 가상의 격자점을 의미한다.
또한 상기 렌즈왜곡 제거부(143)는, 상기 결정한 사진측량의 렌즈왜곡 모델에 상기 추출한 사진측량의 렌즈왜곡 계수와, 상기 생성한 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표를 각각 입력하여, 상기 생성한 렌즈왜곡이 있는 제2 가상의 격자점에 대한 렌즈왜곡을 제거함으로써, 상기 생성한 렌즈왜곡이 있는 제2 가상의 격자점에 대해 렌즈왜곡을 제거한 영상좌표로 변환한다.
또한 상기 정규좌표 변환부(167)는, 상기 생성한 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표와, 상기 렌즈왜곡을 제거한 제2 가상의 격자점에 대한 영상좌표를 정규좌표로 각각 변환하는 기능을 수행한다.
상기 정규좌표로 변환하는 것은, 상기 영상을 촬영한 카메라(121)의 초점거리를 이용함은 상술한 바와 같다.
또한 컴퓨터비전 렌즈왜곡 계수 결정부(168)는, 상기 변환한 각 정규좌표를 상기 결정한 컴퓨터비전의 렌즈왜곡 모델이 각각 입력하여, 상기 결정한 컴퓨터비전의 렌즈왜곡 모델을 상기 [수학식 10]과 같이 상기 컴퓨터비전의 렌즈왜곡 계수를 미지수로 하는 선형식을 구성하여, 상기 구성한 선형식을 계산함으로써, 상기 컴퓨터비전의 렌즈왜곡 계수를 결정함으로써, 상기 추출한 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 최종 변환한다.
또한 상기 제2 검증부(150)는, 상기 변환한 컴퓨터비전의 렌즈왜곡 계수로, 상기 렌즈왜곡을 제거한 제2 가상의 격자점에 렌즈왜곡을 부여하고, 상기 생성한 렌즈왜곡이 없는 제2 가상의 격자점과 상기 렌즈왜곡을 부여한 제2 가상의 격자점을 비교하여, 상기 사진측량의 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환한 변환결과를 검증한다. 상기 검증은 도 7을 참조하여 설명하였으므로, 더 이상의 상세한 설명은 생략하도록 한다.
도 9는 본 발명의 일 실시예에 따른 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환하고, 변환결과를 검증하는 절차를 나타낸 흐름도이다.
도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 컴퓨터비전의 렌즈왜곡 계수를 사진측량의 렌즈왜곡 계수로 변환하여, 이에 대한 결과를 검증하는 절차는 우선, 상기 렌즈왜곡 변환 시스템(100)은, 컴퓨터비전의 렌즈왜곡 모델과, 사진측량의 렌즈왜곡 모델을 결정하는 렌즈왜곡 모델 결정단계(S110)를 수행하고, 사전에 결정하여 저장한 컴퓨터비전의 렌즈왜곡 계수를 추출하는 렌즈왜곡 계수 추출 단계를 수행한다(S120).
다음으로 상기 렌즈왜곡 변환 시스템(100)은, 렌즈왜곡이 제거된 영상에, 렌즈왜곡이 없는 제1 가상의 격자점을 생성하는 제1 가상 격자점 생성 단계를 수행한다(S120).
다음으로 상기 렌즈왜곡 변환 시스템(100)은, 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 이용하여, 상기 생성한 제1 가상의 격자점에 대해 렌즈왜곡을 부여하는 렌즈왜곡 부여 단계를 수행한다(S140).
상기 렌즈왜곡을 부여하는 것은, 상기 생성한 렌즈왜곡이 없는 제1 가상의 격자점에 대한 영상좌표와 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 상기 결정한 컴퓨터비전의 렌즈왜곡 모델에 입력함으로써, 수행된다.
다음으로 상기 렌즈왜곡 변환 시스템(100)은, 상기 생성한 렌즈왜곡이 없는 제1 가상의 격자점에 대한 영상좌표와, 상기 렌즈왜곡을 부여한 제1 가상의 격자점에 대한 영상좌표를 사진좌표로 변환하는 사진좌표 변환 단계를 수행한다(S150).
다음으로 상기 렌즈왜곡 변환 시스템(100)은, 상기 변환한 각 사진좌표를 상기 결정한 사진측량의 렌즈왜곡 모델에 입력하여, 상기 사진측량의 렌즈왜곡 계수를 미지수로 하는 선형식을 구성하고, 상기 구성한 선형식으로 상기 사진측량의 렌즈왜곡 계수를 결정함으로써, 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 변환하는 사진측량 렌즈왜곡 계수 결정 단계를 수행한다(S160).
한편, 상기 사진측량의 렌즈왜곡 계수를 결정하여, 상기 추출한 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 변환하는 것은, 도 4를 참조하여 설명하였으므로, 더 이상의 상세한 설명은 생략하도록 한다.
다음으로 상기 렌즈왜곡 변환 시스템(100)은, 상기 컴퓨터비전의 렌즈왜곡 계수를 상기 사진측량의 렌즈왜곡 계수로 변환한 변환결과에 대한 신뢰성을 검증하는 제1 검증 단계를 수행한다(S170). 상기 제1 검증 단계는, 상기 변환한 사진측량의 렌즈왜곡 계수로 상기 렌즈왜곡을 부여한 제1 가상의 격자점에서 렌즈왜곡을 제거하여, 상기 생성한 렌즈왜곡이 없는 제1 가상의 격자점과 비교하여, 수행된다.
도 10은 본 발명의 일 실시예에 따른 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 카메라 렌즈왜곡 계수로 변환하고, 변환결과를 검증하는 절차를 나타낸 흐름도이다.
도 10에 도시한 바와 같이, 본 발명의 일 실시예에 따른 사진측량의 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환하고, 변환결과를 검증하는 절차는 우선, 상기 렌즈왜곡 변환 시스템(100)은, 컴퓨터비전의 렌즈왜곡 모델과 사진측량의 렌즈왜곡 모델을 결정하는 렌즈왜곡 모델 결정 단계를 수행(S210)하고, 사전에 결정한 사진측량의 렌즈왜곡 계수를 추출하는 사진측량 렌즈왜곡 계수 추출 단계를 수행한다(S210).
다음으로 상기 렌즈왜곡 변환 시스템(100)은, 렌즈왜곡이 있는 영상에 렌즈왜곡이 있는 제2 가상의 격자점을 생성하는 제2 가상 격자점 생성 단계를 수행한다(S230).
다음으로 상기 렌즈왜곡 변환 시스템(100)은, 상기 추출한 사진측량의 렌즈왜곡 계수를 이용하여, 상기 생성한 제2 가상의 격자점에 대한 렌즈왜곡을 제거하는 렌즈왜곡 제거 단계를 수행한다(S240).
상기 렌즈왜곡 제거 단계는, 상기 결정한 사진측량의 렌즈왜곡 모델에 상기 생성한 제2 가상의 격자점에 대한 영상좌표와 상기 추출한 사진측량의 렌즈왜곡 계수를 입력하여, 상기 생성한 제2 가상의 격자점에 대한 영상좌표를 렌즈왜곡이 제거된 영상좌표로 변환함으로써, 수행된다.
다음으로 상기 렌즈왜곡 변환 시스템(100)은, 상기 렌즈왜곡이 제거된 제2 가상의 격자점에 대한 영상좌표와, 상기 생성한 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표를 정규좌표로 각각 변환하는 정규좌표 변환 단계를 수행한다(S250).
다음으로 상기 렌즈왜곡 변환 시스템(100)은, 상기 변환한 각 정규좌표를 상기 결정한 컴퓨터비전의 렌즈왜곡 모델에 입력하여, 상기 컴퓨터비전의 렌즈왜곡 계수에 대한 선형식을 구성하고, 상기 구성한 선형식으로 상기 컴퓨터비전의 렌즈왜곡 계수를 결정함으로써, 상기 추출한 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환하는 컴퓨터비전 렌즈왜곡 계수 결정 단계를 수행한다(S260).
다음으로 상기 렌즈왜곡 변환 시스템(100)은, 상기 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환한 결과에 대한 신뢰성을 검증하는 제2 검증 단계를 수행한다(S270).
상기 제2 검증 단계는, 상기 변환한 컴퓨터비전의 렌즈왜곡 계수를 이용하여, 상기 렌즈왜곡을 제거한 제2 가상의 격자점에 대해 렌즈왜곡을 부여하여, 상기 생성한 렌즈왜곡이 있는 제2 가상의 격자점과 비교함으로써, 수행됨은 상술한 바와 같다.
이상에서 설명한 바와 같이, 본 발명의 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법은, 사진측량과 컴퓨터비전에서 각각 이용하는 렌즈왜곡 모델과 가상의 격자점을 통해 상기 사진측량의 렌즈왜곡 계수와 상기 컴퓨터비전의 렌즈왜곡 계수를 상호 변환하여, 상기 사진측량의 렌즈왜곡 계수와 상기 컴퓨터비전의 렌즈왜곡 계수를 상호적으로 이용가능 하도록 하고, 가상의 격자점을 이용하여 상기 변환한 결과에 대한 신뢰성을 검증함으로써, 신뢰성 높은 변환결과를 제공할 수 있는 효과가 있다.
상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 하며, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템
110: 영상 수집부 120: 렌즈왜곡 모델 결정부
130: 렌즈왜곡 계수 결정부 140: 제1 검증부
150: 제2 검증부 160: 렌즈왜곡 계수 변환부
161: 제1 가상 격자점 생성부 162: 렌즈왜곡 부여부
163: 사진좌표 변환부 164: 사진측량 렌즈왜곡 계수 결정부
165: 제2 가상 격자점 생성부 166: 렌즈왜곡 제거부
167: 정규좌표 변환부 168: 컴퓨터비전 렌즈왜곡 계수 결정부

Claims (10)

  1. 컴퓨터비전의 카메라 렌즈왜곡 모델과 사진측량의 카메라 렌즈왜곡 모델을 결정하는 렌즈왜곡 모델 결정부;
    상기 결정한 컴퓨터비전의 카메라 렌즈왜곡 모델의 카메라 렌즈왜곡 계수 또는 상기 결정한 사진측량의 카메라 렌즈왜곡 모델의 카메라 렌즈왜곡 계수를 추출하는 렌즈왜곡 계수 추출부; 및
    상기 결정된 각 카메라 렌즈왜곡 모델을 이용하여, 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환하거나, 상기 추출한 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환하는 렌즈왜곡 계수 변환부;를 포함하며,
    상기 렌즈왜곡 계수 변환부는,
    상기 결정한 각 카메라 렌즈왜곡 모델에 카메라 렌즈왜곡이 없거나 또는 카메라 렌즈왜곡이 있는 가상의 격자점에 대한 영상좌표와 상기 가상의 격자점에 상기 추출한 각 카메라 렌즈왜곡 계수를 부여한 영상좌표를 각각 사진좌표 또는 정규좌표로 변환하고, 상기 변환한 각 사진좌표 또는 정규좌표를 입력하여, 상기 각 카메라 렌즈왜곡 계수를 미지수로 하는 선형식을 구성하고, 상기 구성한 선형식을 계산하여, 상기 추출한 각 카메라 렌즈왜곡 계수를 상기 각 카메라 렌즈왜곡 계수로 변환하는 것을 특징으로 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템.
  2. 청구항 1에 있어서,
    상기 렌즈왜곡 계수 변환부는,
    상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환하는 경우, 상기 가상의 격자점은 제1 가상의 격자점이며,
    상기 카메라 렌즈왜곡이 없는 상기 제1 가상의 격자점에 대한 영상좌표와 상기 제1 가상의 격자점에 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 부여한 영상좌표를 사진좌표로 변환하는 사진좌표 변환부; 및
    상기 변환한 각 사진좌표를 상기 결정한 사진측량의 카메라 렌즈왜곡 모델에 입력하여 상기 사진측량의 카메라 렌즈왜곡 계수를 미지수로 하는 선형식을 구성하고, 상기 구성한 선형식을 계산하여 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 상기 사진측량의 카메라 렌즈왜곡 계수로 변환하는 사진측량 렌즈왜곡 계수 결정부;를 더 포함하는 것을 특징으로 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템.
  3. 청구항 2에 있어서,
    상기 사진측량 렌즈왜곡 계수 결정부는,
    상기 변환한 각 사진좌표를 상기 영상에서 결정된 최대방사거리로 나누어, 상기 변환한 사진좌표를 각각 정규화하고,
    상기 정규화한 각 사진좌표를 상기 결정한 사진측량의 카메라 렌즈왜곡 모델에 입력하여 상기 사진측량의 렌즈왜곡 계수를 추정한 후, 상기 추정한 사진측량의 카메라 렌즈왜곡 계수에 다시 상기 최대방사거리를 곱함으로써 상기 사진측량의 카메라 렌즈왜곡 계수를 결정하는 것을 더 포함하는 것을 특징으로 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템.
  4. 청구항 2에 있어서,
    상기 카메라 렌즈왜곡 변환 시스템은,
    상기 변환한 사진측량의 카메라 렌즈왜곡 계수로, 상기 카메라 렌즈왜곡을 부여한 제1 가상의 격자점에 대한 카메라 렌즈왜곡을 제거하고, 상기 카메라 렌즈왜곡을 제거한 제1 가상의 격자점에 대한 사진좌표와 상기 생성한 카메라 렌즈왜곡이 없는 제1 가상의 격자점에 대한 사진좌표를 비교하여 상기 컴퓨터비전의 렌즈왜곡 계수를 사진측량의 렌즈왜곡 계수로 변환한 변환결과를 검증하는 제1 검증부;를 더 포함하는 것을 특징으로 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템.
  5. 청구항 1에 있어서,
    상기 렌즈왜곡 계수 변환부는,
    상기 추출한 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환하는 경우, 상기 가상의 격자점은 제2 가상의 격자점이며,
    상기 카메라 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표와 상기 제2 가상의 격자점에 상기 추출한 사진측량의 카메라 렌즈왜곡 계수를 부여한 영상좌표를 상기 영상을 촬영한 카메라의 초점거리를 이용하여 상기 카메라의 초점 거리가 1인 정규좌표로 각각 변환하는 정규좌표 변환부; 및
    상기 변환한 각 정규좌표를 상기 결정한 컴퓨터비전의 카메라 렌즈왜곡 모델에 입력하여 상기 컴퓨터비전의 렌즈왜곡 계수를 미지수로 하는 상기 선형식을 구성하고, 상기 구성한 선형식을 계산하여 상기 추출한 사진측량의 카메라 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환하는 컴퓨터비전 렌즈왜곡 계수 결정부;를 더 포함하는 것을 특징으로 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템.
  6. 청구항 5에 있어서,
    상기 카메라 렌즈왜곡 변환 시스템은,
    상기 변환한 컴퓨터비전의 렌즈왜곡 계수로 상기 카메라 렌즈왜곡을 제거한 제2 가상의 격자점 대해 상기 카메라 렌즈왜곡을 부여하고, 상기 카메라 렌즈왜곡을 부여한 상기 제2 가상의 격자점에 대한 영상좌표와 상기 생성한 카메라 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표를 비교하여 상기 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환한 변환결과를 검증하는 제2 검증부;를 더 포함하는 것을 특징으로 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템.
  7. 컴퓨터비전의 카메라 렌즈왜곡 모델과 사진측량의 카메라 렌즈왜곡 모델을 결정하는 렌즈왜곡 모델 결정 단계;
    상기 결정한 컴퓨터비전의 카메라 렌즈왜곡 모델의 카메라 렌즈왜곡 계수 또는 상기 결정한 사진측량의 카메라 렌즈왜곡 모델의 카메라 렌즈왜곡 계수를 추출하는 렌즈왜곡 계수 추출 단계; 및
    상기 결정된 각 카메라 렌즈왜곡 모델을 이용하여, 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환하거나, 상기 추출한 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환하는 렌즈왜곡 계수 변환 단계;를 포함하며,
    상기 렌즈왜곡 계수 변환 단계는,
    상기 결정한 각 카메라 렌즈왜곡 모델에 카메라 렌즈왜곡이 없거나 또는 카메라 렌즈왜곡이 있는 가상의 격자점에 대한 영상좌표와 상기 가상의 격자점에 상기 추출한 각 카메라 렌즈왜곡 계수를 부여한 영상좌표를 각각 사진좌표 또는 정규좌표로 변환하고, 상기 변환한 각 사진좌표 또는 정규좌표를 입력하여, 상기 각 카메라 렌즈왜곡 계수를 미지수로 하는 선형식을 구성하고, 상기 구성한 선형식을 계산하여, 상기 추출한 각 카메라 렌즈왜곡 계수를 상기 각 카메라 렌즈왜곡 계수로 변환하는 것을 특징으로 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 방법.
  8. 청구항 7에 있어서,
    상기 렌즈왜곡 계수 변환 단계는,
    상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 사진측량의 카메라 렌즈왜곡 계수로 변환하는 경우, 상기 가상의 격자점은 제1 가상의 격자점이며,
    상기 카메라 렌즈왜곡이 없는 상기 제1 가상의 격자점에 대한 영상좌표와 상기 제1 가상의 격자점에 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 부여한 영상좌표를 사진좌표로 변환하는 사진좌표 변환 단계; 및
    상기 변환한 각 사진좌표를 상기 결정한 사진측량의 카메라 렌즈왜곡 모델에 입력하여 상기 사진측량의 카메라 렌즈왜곡 계수를 미지수로 하는 선형식을 구성하고, 상기 구성한 선형식을 계산하여 상기 추출한 컴퓨터비전의 카메라 렌즈왜곡 계수를 상기 사진측량의 카메라 렌즈왜곡 계수로 변환하는 사진측량 렌즈왜곡 계수 결정 단계;를 더 포함하며,
    상기 사진측량 렌즈왜곡 계수 결정 단계는,
    상기 변환한 각 사진좌표를 상기 영상에서 결정된 최대방사거리로 나누어, 상기 변환한 사진좌표를 각각 정규화하고,
    상기 정규화한 각 사진좌표를 상기 결정한 사진측량의 카메라 렌즈왜곡 모델에 입력하여 상기 사진측량의 렌즈왜곡 계수를 추정한 후, 상기 추정한 사진측량의 카메라 렌즈왜곡 계수에 다시 상기 최대방사거리를 곱함으로써 상기 사진측량의 카메라 렌즈왜곡 계수를 결정하는 것을 더 포함하는 것을 특징으로 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 방법.
  9. 청구항 7에 있어서,
    상기 카메라 렌즈왜곡 변환 방법은,
    상기 변환한 사진측량의 카메라 렌즈왜곡 계수로, 상기 카메라 렌즈왜곡을 부여한 제1 가상의 격자점에 대한 카메라 렌즈왜곡을 제거하고, 상기 카메라 렌즈왜곡을 제거한 제1 가상의 격자점에 대한 사진좌표와 상기 생성한 카메라 렌즈왜곡이 없는 제1 가상의 격자점에 대한 사진좌표를 비교하여 상기 컴퓨터비전의 렌즈왜곡 계수를 사진측량의 렌즈왜곡 계수로 변환한 변환결과를 검증하는 제1 검증 단계;를 더 포함하는 것을 특징으로 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 방법.
  10. 청구항 7에 있어서,
    상기 렌즈왜곡 계수 변환 단계는,
    상기 추출한 사진측량의 카메라 렌즈왜곡 계수를 컴퓨터비전의 렌즈왜곡 계수로 변환하는 경우, 상기 가상의 격자점은 제2 가상의 격자점이며,
    상기 카메라 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표와 상기 제2 가상의 격자점에 상기 추출한 사진측량의 카메라 렌즈왜곡 계수를 부여한 영상좌표를 상기 영상을 촬영한 카메라의 초점거리를 이용하여 상기 카메라의 초점 거리가 1인 정규좌표로 각각 변환하는 정규좌표 변환 단계; 및
    상기 변환한 각 정규좌표를 상기 결정한 컴퓨터비전의 카메라 렌즈왜곡 모델에 입력하여 상기 컴퓨터비전의 렌즈왜곡 계수를 미지수로 하는 상기 선형식을 구성하고, 상기 구성한 선형식을 계산하여 상기 추출한 사진측량의 카메라 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환하는 컴퓨터비전 렌즈왜곡 계수 결정 단계; 및
    상기 변환한 컴퓨터비전의 렌즈왜곡 계수로 상기 카메라 렌즈왜곡을 제거한제2 가상의 격자점 대해 상기 카메라 렌즈왜곡을 부여하고, 상기 카메라 렌즈왜곡을 부여한 상기 제2 가상의 격자점에 대한 영상좌표와 상기 생성한 카메라 렌즈왜곡이 있는 제2 가상의 격자점에 대한 영상좌표를 비교하여 상기 사진측량의 렌즈왜곡 계수를 상기 컴퓨터비전의 렌즈왜곡 계수로 변환한 변환결과를 검증하는 제2 검증 단계;를 더 포함하는 것을 특징으로 하는 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 방법.
KR1020200073066A 2020-06-16 2020-06-16 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법 KR102267696B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200073066A KR102267696B1 (ko) 2020-06-16 2020-06-16 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200073066A KR102267696B1 (ko) 2020-06-16 2020-06-16 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR102267696B1 true KR102267696B1 (ko) 2021-06-21
KR102267696B9 KR102267696B9 (ko) 2022-05-10

Family

ID=76599685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200073066A KR102267696B1 (ko) 2020-06-16 2020-06-16 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102267696B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180032529A (ko) * 2015-07-22 2018-03-30 소니 주식회사 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법
KR101921672B1 (ko) * 2014-10-31 2019-02-13 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 처리 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101921672B1 (ko) * 2014-10-31 2019-02-13 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 처리 방법 및 장치
KR20180032529A (ko) * 2015-07-22 2018-03-30 소니 주식회사 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kaichang Di et al., CAHVOR camera model and its photogrammetric conversion for planetary applications, Journal of Geophysical Research: Planets, AN AGU JOURNAL, 22 April 2004(2004.04.22.) 1부.* *

Also Published As

Publication number Publication date
KR102267696B9 (ko) 2022-05-10

Similar Documents

Publication Publication Date Title
CN110264416B (zh) 稀疏点云分割方法及装置
CN107292921B (zh) 一种基于kinect相机的快速三维重建方法
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
KR101857472B1 (ko) 카메라 보정 방법 및 이에 대한 시스템
US20230206594A1 (en) System and method for correspondence map determination
CN110008779B (zh) 一种立体二维码处理方法及装置
WO2013182873A1 (en) A multi-frame image calibrator
CN104537707A (zh) 像方型立体视觉在线移动实时测量系统
CN110738703A (zh) 定位方法及装置、终端、存储介质
CN114692720B (zh) 基于鸟瞰图的图像分类方法、装置、设备及存储介质
JP2016509805A (ja) 画像ストリームの高フレームレート化
KR102533909B1 (ko) 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법
KR102267696B1 (ko) 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법
EP3496042A1 (en) System and method for generating training images
CN112446926B (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
JP5071866B2 (ja) 距離測定装置および方法並びにプログラム
CN117437303B (zh) 一种标定相机外参的方法及系统
CN111630569A (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN114445583A (zh) 数据处理方法、装置、电子设备及存储介质
CN111768448A (zh) 一种基于多相机检测的空间坐标系标定方法
KR20110133677A (ko) 3ｄ 영상 처리 장치 및 그 방법
CN116563460A (zh) 三维重建优化方法及装置、介质、设备
CN112066876B (zh) 一种利用手机快速测量物体尺寸方法
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统
CN115601438A (zh) 外参标定方法、装置以及自主移动设备

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200616

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210309

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210614

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210616

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210616

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

Patent event code: PG17011E01I

Patent event date: 20220504

Comment text: Request for Publication of Correction

Publication date: 20220510

PR1001 Payment of annual fee

Payment date: 20240513

Start annual number: 4

End annual number: 4