KR20200005119A - 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법 - Google Patents

단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법 Download PDF

Info

Publication number
KR20200005119A
KR20200005119A KR1020180078397A KR20180078397A KR20200005119A KR 20200005119 A KR20200005119 A KR 20200005119A KR 1020180078397 A KR1020180078397 A KR 1020180078397A KR 20180078397 A KR20180078397 A KR 20180078397A KR 20200005119 A KR20200005119 A KR 20200005119A
Authority
KR
South Korea
Prior art keywords
camera
error
data
mounting
calculating
Prior art date
Application number
KR1020180078397A
Other languages
English (en)
Other versions
KR102079258B1 (ko
Inventor
이상훈
노형우
정우채
김명규
Original Assignee
주식회사 한화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한화 filed Critical 주식회사 한화
Priority to KR1020180078397A priority Critical patent/KR102079258B1/ko
Publication of KR20200005119A publication Critical patent/KR20200005119A/ko
Application granted granted Critical
Publication of KR102079258B1 publication Critical patent/KR102079258B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

본 발명은 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법에 관한 것으로, 카메라, 레이저 거리 측정기(LRF) 및 관성 측정기(IMU)가 장착된 단일 장착면의 장착 오차를 산출하여 보정하는 장치에 있어서, 격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득하는 카메라 장착 데이터 획득부, 레이저 거리 측정기의 거리 데이터를 산출하고, 산출된 거리 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 단일 평면의 평탄도를 결정하는 레이저 거리 측정기 장착 데이터 획득부, 관성 측정기의 각도 데이터를 산출하고, 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출하는 관성 측정기 장착 데이터 획득부 및 카메라의 위치 및 자세 데이터를 토대로 추출되는 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출하고, 산출된 장착 오차를 이용하여 카메라, 레이저 거리 측정기 및 관성 측정기를 제어하는 장착 오차 제어부를 포함한다.

Description

단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법{APPARATUS AND METHOD FOR CALCULATING AND CORRECTING A MOUNTING ERROR OF A SINGLE MOUNTING SURFACE}
본 발명은 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법에 관한 것으로, 보다 자세하게는 격자무늬 패턴을 이용하여 단일 장착면의 임의의 위치에 장착되는 카메라, 레이저 거리 측정기(LRF) 및 관성 측정기(IMU)의 장착 오차를 산출하여 보정하는 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법에 관한 것이다.
일반적으로 3차원 형상을 가진 스캔 대상물체에 대한 3차원 데이터를 획득하는 방법은 기계적인 메카니즘을 이용하여 3차원 좌표점을 접촉식으로 디지타이징(digitizing)하는 방법이 있으나, 일반적으로는 피사체에 레이저를 주사하여 3차원 이미지를 획득하는 광학식 방법인 광삼각법이 잘 알려져있다.
상기한 광삼각법을 이용한 3차원 스캐너는, 일반적으로 피사체에 쉬트빔 형태의 레이저 라인을 주사(조사)하고, 이를 일정각을 유지하며 고속영상카메라로 촬영하는 센서 헤드와, 센서 헤드로부터 카메라의 영상을 입력받아 영상해석을 통하여 3차원 데이터를 생성하는 이미지 처리부를 구비한다.
이때, 3차원 스캐너에서 3차원 데이터를 생성하기 위해서는 정확한 거리 데이터가 산출되어야 한다. 이에, 3차원 스캐너에는 거리 정보를 포함하는 3차원 영상을 제공하는 3D 카메라가 구비된다.
그러나, 3D 카메라가 구비되는 3차원 스캐너 장착에 따른 오차 및 3D 카메라자체의 오프셋 값 등에 의한 오차등이 발생할 수 있다. 이에, 3차원 스캐너에서 대상 물체에 대한 3차원 이미지를 획득하기 이전에 3D 카메라에 대한 정렬오차를 미리 산출하고, 이를 근거로 3차원 이미지에 오차에 대응되는 보정값을 적용함으로써, 보다 정확한 3차원 이미지를 얻는 방법이 이용되고 있으나 이미 제작된 후에 발생되는 오차에 대해서는 보정하기가 곤란하다는 문제점이 있었다.
이와 관련하여, 한국공개특허 제2006-0087674호는 "레지스트레이션 오차감소를 위한 전동픽스처 및 이를이용한 측정방법"에 관하여 개시하고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로서, 격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득하고, 레이저 거리 측정기의 거리 데이터를 토대로 단일 평면의 평탄도를 결정하고, 관성 측정기의 각도 데이터를 토대로 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출하는 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 카메라의 위치 및 자세 데이터를 토대로 추출되는 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출하고, 산출된 장착 오차를 이용하여 카메라, 레이저 거리 측정기 및 관성 측정기를 보정하는 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치는 카메라, 레이저 거리 측정기(LRF) 및 관성 측정기(IMU)가 장착된 단일 장착면의 장착 오차를 산출하여 보정하는 장치에 있어서, 격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득하는 카메라 장착 데이터 획득부; 레이저 거리 측정기의 거리 데이터를 산출하고, 산출된 거리 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 단일 평면의 평탄도를 결정하는 레이저 거리 측정기 장착 데이터 획득부; 관성 측정기의 각도 데이터를 산출하고, 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출하는 관성 측정기 장착 데이터 획득부; 및 카메라의 위치 및 자세 데이터를 토대로 추출되는 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출하고, 산출된 장착 오차를 이용하여 카메라, 레이저 거리 측정기 및 관성 측정기를 제어하는 장착 오차 제어부;를 포함한다.
또한, 상기 카메라 장착 데이터 획득부는 격자무늬 패턴이 출력된 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션(calibration)을 통해 획득되는 영상으로부터 3차원 특징점의 영상 좌표를 추출하고, 추출된 3차원 특징점의 영상 좌표를 토대로 카메라의 위치 및 자세 데이터를 획득하는 것을 특징으로 한다.
또한, 상기 레이저 거리 측정기 장착 데이터 획득부는 획득된 카메라의 위치 및 자세 데이터를 반영하여 레이저 거리 측정기의 거리 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 레이저 거리 측정기의 거리 데이터의 이용하여 단일 평면의 평탄도를 결정하는 것을 특징으로 한다.
또한, 상기 레이저 거리 측정기 장착 데이터 획득부를 통해 결정되는 평면의 평탄도는 주성분 분석을 통해 획득된 고유 벡터에 따른 3차원 좌표를 특이값으로 분해하여 도출된 2번째 고유값과 3번째 고유값의 비율을 토대로 결정되는 것을 특징으로 한다.
또한, 상기 관성 측정기 장착 데이터 획득부는 카메라의 위치 및 자세 데이터를 반영하여 관성 측정기의 각도 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 관성 측정기의 각도 데이터로부터 추출되는 초기 장착 오차를 이용하여 좌표를 변환하고, 변환된 좌표를 토대로 좌표 변환 오차를 산출하는 것을 특징으로 한다.
또한, 상기 장착 오차 제어부는, 격자무늬 패턴이 출력된 단일 평면의 코너점과 해당 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션을 통해 획득되는 영상으로부터 추출되는 3차원 특징점을 카메라로부터 촬영되는 격자무늬 패턴이 출력되는 단일 평면의 영상에 재투영하여 생성되는 재투영 영상 좌표를 추출하는 영상 재투영 좌표 추출부; 초기에 추출된 3차원 특징점의 영상 좌표와 재투영 영상 좌표의 영상 좌표 오차를 산출하는 영상 좌표 오차 산출부; 결정된 단일 평면의 평탄도, 산출된 좌표 변환 오차 및 산출된 영상 좌표 오차의 합으로 장착 오차를 산출하는 장착 오차 산출부; 산출된 장착 오차와 기 설정된 임계값을 비교하는 비교부; 및 비교 결과에 따라, 카메라, 레이저 거리 측정기 및 관성 측정기의 장착 오차를 보정하거나 현재 카메라 및 레이저 거리 측정기의 위치 및 자세 그리고 관성 측정기의 각도에 대한 데이터를 출력하는 장착 오차 보정부;를 포함하는 것을 특징으로 한다.
또한, 상기 비교부는 산출된 장착 오차와 비선형 최적화 알고리즘을 통해 획득된 임계값을 비교하는 것을 특징으로 한다.
또한, 상기 장착 오차 보정부는 산출된 장착 오차와 기 설정된 임계값의 비교 결과, 산출된 장착 오차가 기 설정된 임계값 이상일 경우 단일 평면의 평탄도, 좌표 변환 오차 및 영상 좌표 오차를 보정하고, 산출된 장착 오차가 기 설정된 임계값 미만일 경우 현재 카메라 및 레이저 거리 측정기의 위치 및 자세 그리고 관성 측정기의 각도에 대한 데이터를 출력하는 것을 특징으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 방법은 카메라, 레이저 거리 측정기(LRF) 및 관성 측정기(IMU)가 장착된 단일 장착면의 장착 오차를 산출하여 보정하는 방법에 있어서, 카메라 장착 데이터 획득부에 의해, 격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득하는 단계; 레이저 거리 측정기 장착 데이터 획득부에 의해, 레이저 거리 측정기의 거리 데이터를 산출하고, 산출된 거리 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 단일 평면의 평탄도를 결정하는 단계; 관성 측정기 장착 데이터 획득부에 의해, 측정기의 각도 데이터를 산출하고, 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출하는 단계; 및 장착 오차 제어부에 의해, 카메라의 위치 및 자세 데이터를 토대로 추출되는 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출하고, 산출된 장착 오차를 이용하여 카메라, 레이저 거리 측정기 및 관성 측정기의 장착 오차를 제어하는 단계;를 포함한다.
또한, 격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득하는 단계는, 격자무늬 패턴이 출력된 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션(calibration)을 통해 획득되는 영상으로부터 3차원 특징점의 영상 좌표를 추출하고, 추출된 3차원 특징점의 영상 좌표를 토대로 카메라의 위치 및 자세 데이터를 획득하는 것을 특징으로 한다.
또한, 레이저 거리 측정기의 거리 데이터를 산출하고, 산출된 거리 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 단일 평면의 평탄도를 결정하는 단계는, 획득된 카메라의 위치 및 자세 데이터를 반영하여 레이저 거리 측정기의 거리 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 레이저 거리 측정기의 거리 데이터의 이용하여 단일 평면의 평탄도를 결정하는 것을 특징으로 한다.
또한, 측정기의 각도 데이터를 산출하고, 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출하는 단계는, 카메라의 위치 및 자세 데이터를 반영하여 관성 측정기의 각도 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 관성 측정기의 각도 데이터로부터 추출되는 초기 장착 오차를 이용하여 좌표를 변환하고, 변환된 좌표를 토대로 좌표 변환 오차를 산출하는 것을 특징으로 한다.
또한, 카메라의 위치 및 자세 데이터를 토대로 추출되는 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출하고, 산출된 장착 오차를 이용하여 카메라, 레이저 거리 측정기 및 관성 측정기의 장착 오차를 제어하는 단계는, 격자무늬 패턴이 출력된 단일 평면의 코너점과 해당 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션을 통해 획득되는 영상으로부터 추출되는 3차원 특징점을 카메라로부터 촬영되는 격자무늬 패턴이 출력되는 단일 평면의 영상에 재투영하여 생성되는 재투영 영상 좌표를 추출하는 단계; 초기에 추출된 3차원 특징점의 영상 좌표와 재투영 영상 좌표의 영상 좌표 오차를 산출하는 단계; 결정된 단일 평면의 평탄도, 산출된 좌표 변환 오차 및 산출된 영상 좌표 오차의 합으로 장착 오차를 산출하는 단계; 산출된 장착 오차와 기 설정된 임계값을 비교하는 단계; 및 비교 결과에 따라, 카메라, 레이저 거리 측정기 및 관성 측정기의 장착 오차를 보정하거나 현재 카메라 및 레이저 거리 측정기의 위치 및 자세 그리고 관성 측정기의 각도에 대한 데이터를 출력하는 단계;를 포함하는 것을 특징으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 방법은 격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득하고, 레이저 거리 측정기의 거리 데이터를 토대로 단일 평면의 평탄도를 결정하고, 관성 측정기의 각도 데이터를 토대로 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출하고, 이를 토대로 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출함으로써, 별도의 3차원 정밀 측정기 없이도 저렴하고 반영구적인 격자무늬 패턴을 활용하여 다수의 센서를 장착하는 장착면의 물리적인 가공 오차 측정 시 시간 및 비용적 부담을 줄여 효율적으로 진행할 수 있는 효과가 있다.
또한, 본 발명은 3차원 정밀 측정기로 측정이 불가능한 경우나 이미 제작된 후에 발생되는 오차에 대해서도 보정이 수월하게 이루어지는 효과가 있다.
도 1은 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치에서의 정렬을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치에서 격자무늬 패턴이 출력된 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 자세에서 획득되는 영상을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치에서 획득되는 카메라의 위치 및 자세 데이터를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치에서 산출되는 레이저 거리 측정기의 거리 데이터를 토대로 결정되는 평면 평탄도를 설명하기 위한 도면이다.
도 6은 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치에 채용되는 장착 오차 제어부의 세부 구성을 설명하기 위한 도면이다.
도 7은 도 6의 장착 오차 제어부에서 추출되는 3차원 특징점이 자세에 따라 영상 내에서 다른 점으로 투영되는 것을 설명하기 위한 도면이다.
도 8은 도 6의 장착 오차 제어부에서 3차원 특징점이 격자무늬 패턴이 출력되는 단일 평면의 영상에 재투영되는 것을 설명하기 위한 도면이다.
도 9는 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 방법의 순서를 설명하기 위한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치의 구성을 설명하기 위한 도면이고, 도 2는 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치에서의 정렬을 설명하기 위한 도면이고, 도 3은 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치에서 격자무늬 패턴이 출력된 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 자세에서 획득되는 영상을 설명하기 위한 도면이고, 도 4는 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치에서 획득되는 카메라의 위치 및 자세 데이터를 설명하기 위한 도면이고, 도 5는 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치에서 산출되는 레이저 거리 측정기의 거리 데이터를 토대로 결정되는 평면 평탄도를 설명하기 위한 도면이다.
도 1을 참조하여 설명하면, 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치는 크게 카메라 장착 데이터 획득부(110), 거리 측정기 장착 데이터 획득부(120), 관성 측정기 장착 데이터 획득부(130) 및 장착 오차 제어부(140)를 포함한다.
먼저, 본 발명에 따른 단일 장착면에는 카메라, 레이저 거리 측정기(LRF) 및 관성 측정기(IMU)가 요구되는 시스템의 성격에 맞는 형태로 제작되어 장작되어 있으나, 본 발명에서는 도 2에 도시된 바와 같이 관성 측정기, 카메라 및 레이저 거리 측정기 순으로 장착된 것으로 설명하기로 한다. 여기서, 관성 측정기, 카메라 및 레이저 거리 측정기간의 장착오차는 관성측정기와 레이저 거리측정기에 대해서 각각, T_mc, T_cl로 정의할 수 있다. T_mc, T_cl은 3×3 회전행렬 R과 3×1 병진이동행렬 t로 구성된다.
카메라 장착 데이터 획득부(110)는 격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득한다.
카메라 장착 데이터 획득부(110)는 격자무늬 패턴이 출력된 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션(calibration)을 통해 획득되는 영상으로부터 3차원 특징점의 영상 좌표를 추출하고, 추출된 3차원 특징점의 영상 좌표를 토대로 카메라의 위치 및 자세 데이터를 획득할 수 있다. 이때, 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션을 통해 획득되는 영상은 도 3에 도시된 바와 같고, 추출된 3차원 특징점의 영상 좌표를 토대로 획득되는 카메라의 위치 및 자세 데이터는 도 4에 도시된 바와 같다.
레이저 거리 측정기 장착 데이터 획득부(120)는 레이저 거리 측정기의 거리 데이터를 산출하고, 산출된 거리 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 단일 평면의 평탄도를 결정한다. 여기서, 카메라 캘리브레이션을 수행하는 위치 및 자세에서 획득된 레이저 거리 측정기의 위치 및 자세 데이터는 격자무늬 패턴을 관측하고 있는 경우 도 5와 같이 평면을 이루는 값이어야 할 것이다.
레이저 거리 측정기 장착 데이터 획득부(120)는 획득된 카메라의 위치 및 자세 데이터를 반영하여 레이저 거리 측정기의 거리 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 레이저 거리 측정기의 거리 데이터의 이용하여 단일 평면의 평탄도를 결정할 수 있다.
그리고 레이저 거리 측정기 장착 데이터 획득부(120)를 통해 결정되는 평면의 평탄도는 주성분 분석을 통해 획득된 고유 벡터에 따른 3차원 좌표를 특이값으로 분해하여 도출된 2번째 고유값과 3번째 고유값의 비율을 토대로 결정될 수 있다.
보다 자세하게, 평면의 평탄도는 주성분 분석(PCA: Principal Component Analysis)를 통해서 획득할 수 있다. 평면의 경우 주성분이 2개의 고유 벡터를 가져야 한다. 그러므로, 레이저 거리 측정기의 위치 및 자세와 거리 입력으로 얻어진 3차원 좌표를 특이값 분해(SVD: Singular Value Decomposition)로 분해하였을 때, 평면을 이루기 위한 평탄도는 3번째로 큰 특이값이 2번째로 큰 특이값에 비해 매우 작을수록 평탄한 것으로 판단할 수 있다.
관성 측정기 장착 데이터 획득부(130)는 관성 측정기의 각도 데이터를 산출하고, 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출한다.
관성 측정기 장착 데이터 획득부(130)는 카메라의 위치 및 자세 데이터를 반영하여 관성 측정기의 각도 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 관성 측정기의 각도 데이터로부터 추출되는 초기 장착 오차를 이용하여 좌표를 변환하고, 변환된 좌표를 토대로 좌표 변환 오차를 산출한다.
장착 오차 제어부(140)는 카메라의 위치 및 자세 데이터를 토대로 추출되는 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출하고, 산출된 장착 오차를 이용하여 카메라, 레이저 거리 측정기 및 관성 측정기를 제어한다.
이에 따른 장착 오차 제어부(140)의 구성 및 기능은 이후 설명되는 도 6에서 자세하게 설명하기로 한다.
도 6은 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치에 채용되는 장착 오차 제어부의 세부 구성을 설명하기 위한 도면이고, 도 7은 도 6의 장착 오차 제어부에서 추출되는 3차원 특징점이 자세에 따라 영상 내에서 다른 점으로 투영되는 것을 설명하기 위한 도면이고, 도 8은 도 6의 장착 오차 제어부에서 3차원 특징점이 격자무늬 패턴이 출력되는 단일 평면의 영상에 재투영되는 것을 설명하기 위한 도면이다.
도 6을 참조하여 설명하면, 본 발명에 따른 장착 오차 제어부(140)는 카메라의 위치 및 자세 데이터를 토대로 추출되는 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출하고, 산출된 장착 오차를 이용하여 카메라, 레이저 거리 측정기 및 관성 측정기를 제어한다.
이를 위해, 장착 오차 제어부(140)는 영상 재투영 좌표 추출부(141), 영상 좌표 오차 산출부(142), 장착 오차 산출부(143), 비교부(144) 및 장착 오차 보정부(145)를 포함한다.
영상 재투영 좌표 추출부(141)는 격자무늬 패턴이 출력된 단일 평면의 코너점과 해당 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션을 통해 획득되는 영상으로부터 추출되는 3차원 특징점을 카메라로부터 촬영되는 격자무늬 패턴이 출력되는 단일 평면의 영상에 재투영하여 생성되는 재투영 영상 좌표를 추출한다. 이에, 정지되어 있는 3차원 특징점이 관측하는 카메라의 위치 및 자세에 따라 영상 내에 투영되는 좌표가 변화되는 것은 도 7에 도시된 바와 같으며, 본 발명에 따라 생성된 재투영 영상 좌표는 도 8에 도시된 바와 같다.
영상 좌표 오차 산출부(142)는 초기에 추출된 3차원 특징점의 영상 좌표와 재투영 영상 좌표의 영상 좌표 오차를 산출한다.
장착 오차 산출부(143)는 결정된 단일 평면의 평탄도, 산출된 좌표 변환 오차 및 산출된 영상 좌표 오차의 합으로 장착 오차를 산출한다.
비교부(144)는 산출된 장착 오차와 기 설정된 임계값을 비교한다.
비교부(144)는 산출된 장착 오차와 비선형 최적화(Levenberg Marquardt) 알고리즘을 통해 획득된 임계값을 비교한다.
보다 자세하게, 비교부(144)는 장착 오차를 산출하여 보정하기 위해 비선형 최적화 알고리즘을 적용함에 있어, 비선형 최적화의 해를 구하기 위해서는 구하고자 하는 파라미터와 오차 값으로 정의되는 목적함수의 정의가 필요하며, 국소 최소값(local minimum)에 빠지지 않도록 최초 근사해를 잘 선정해 주어야 한다. 본 발명에서 구하고자 하는 미지의 파라미터는 각 센서들(관성 측정기, 카메라 및 레이저 거리 측정기) 간에 이격된 거리(t)와 각도(R)이며, 각 센서의 입력값이 같은 단위에서 해석될 수 있도록 관측 모델을 설정하는 것이 필요하다.
이에, 카메라는 하기의 수 1로 정의되는 투영 기하를 따른다.
< 수식 1 >
Figure pat00001
여기서, K
Figure pat00002
, R은 3×3 회전행렬, t는 3×1 선형 이동 벡터이며, 카메라 내부변수 K는 미리 캘리브레이션이 수행되어 있다고 가정한다. 이때, 카메라의 내부변수 fx, fy는 초점거리(focal length), cx, cy는 주점(principal point), s는 비대칭 계수(skew coefficient)이다.
그리고 레이저 거리 측정기는 측정면의 반사도가 확보되는 경우 제공되는 센서에 따라 수m ~ 수mm 단위의 정확도를 제공한다. 만약, 측정면이 평면으로 주어지는 것을 보장할 수 있다면, 다양한 자세로부터 얻어지는 거리 측정치로 형성된 면은 평면이어야 한다는 가정할 수 있다. 그리고 관성 측정기는 가속도와 각속도를 측정할 수 있는데, 관성 측정기 내의 동체 좌표계를 기준으로 출력을 얻을 수 있으며 사전에 바이어스가 보정된 상태라면 측정되는 짧은 시간 동안 신뢰할 수 있는 측정값을 얻을 수 있다고 가정할 수 있다.
이와 같이, 세 가지 센서(관성 측정기, 카메라 및 레이저 거리 측정기)로부터 각 센서의 상대적 장착 위치 및 각도를 구하기 위하여 각 센서의 측정값을 하나의 목적함수로 정의하고 비선형 최적화 알고리즘을 적용하는 것이다.
이에 따라, 본 발명에 따른 장착 오차를 고려하기 위한 비선형 최적화(LM)를 위한 목적함수는 하기의 수식 2와 같이 정의할 수 있다.
< 수식 2 >
Figure pat00003
여기서,
Figure pat00004
는 i번째 카메라 위치 및 자세에서 투영된 j번째 3차원 특징점의 영상 좌표,
Figure pat00005
는 j번째 3차원 특징점,
Figure pat00006
은 <수식 1> 에 따른 j번째 3차원 특징점에 대한 재투영을 관성측정기의 입력을 통해서 수행한 영상 좌표, 장착 오차 예측치와 레이저 거리 측정기를 통해 입력된 거리 값을 이용하여 산출된 평면의 평탄도를 의미한다.
장착 오차 보정부(145)는 비교 결과에 따라, 카메라, 레이저 거리 측정기 및 관성 측정기의 장착 오차를 보정하거나 현재 카메라 및 레이저 거리 측정기의 위치 및 자세 그리고 관성 측정기의 각도에 대한 데이터를 출력한다.
장착 오차 보정부는 산출된 장착 오차와 기 설정된 임계값의 비교 결과, 산출된 장착 오차가 기 설정된 임계값 이상일 경우 단일 평면의 평탄도, 좌표 변환 오차 및 영상 좌표 오차를 보정하고, 산출된 장착 오차가 기 설정된 임계값 미만일 경우 현재 카메라 및 레이저 거리 측정기의 위치 및 자세 그리고 관성 측정기의 각도에 대한 데이터를 출력한다.
도 9는 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 방법의 순서를 설명하기 위한 순서도이다.
도 9를 참조하여 설명하면, 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 방법의 순서는 앞서 설명한 바와 같은 단일 장착면의 장착 오차를 산출하여 보정하는 장치를 이용하는 것으로, 이하 중복되는 설명은 생략하기로 한다.
먼저, 격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득한다(S100).
S100 단계는 격자무늬 패턴이 출력된 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션(calibration)을 통해 획득되는 영상으로부터 3차원 특징점의 영상 좌표를 추출하고, 추출된 3차원 특징점의 영상 좌표를 토대로 카메라의 위치 및 자세 데이터를 획득할 수 있다.
다음, 레이저 거리 측정기의 거리 데이터를 산출하고, 산출된 거리 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 단일 평면의 평탄도를 결정한다(S110).
S110 단계는 레이저 거리 측정기 장착 데이터 획득부(120)는 획득된 카메라의 위치 및 자세 데이터를 반영하여 레이저 거리 측정기의 거리 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 레이저 거리 측정기의 거리 데이터의 이용하여 단일 평면의 평탄도를 결정할 수 있다. 그리고 결정되는 평면의 평탄도는 주성분 분석을 통해 획득된 고유 벡터에 따른 3차원 좌표를 특이값으로 분해하여 도출된 2번째 고유값과 3번째 고유값의 비율을 토대로 결정될 수 있다.
다음, 관성 측정기의 각도 데이터를 산출하고, 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출한다(S120).
S120 단계는 카메라의 위치 및 자세 데이터를 반영하여 관성 측정기의 각도 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 관성 측정기의 각도 데이터로부터 추출되는 초기 장착 오차를 이용하여 좌표를 변환하고, 변환된 좌표를 토대로 좌표 변환 오차를 산출한다.
다음, 결정된 단일 평면의 평탄도, 산출된 좌표 변환 오차 및 산출된 영상 좌표 오차의 합으로 장착 오차를 산출한다(S130)
S130 단계에서 영상 좌표 오차는 격자무늬 패턴이 출력된 단일 평면의 코너점과 해당 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션을 통해 획득되는 영상으로부터 추출되는 3차원 특징점을 카메라로부터 촬영되는 격자무늬 패턴이 출력되는 단일 평면의 영상에 재투영하여 생성되며, 초기에 추출된 3차원 특징점의 영상 좌표와 재투영 영상 좌표의 오차를 토대로 영상 좌표 오차를 산출한다.
다음, 산출된 장착 오차와 기 설정된 임계값을 비교한다(S140).
S140 단계에서, 산출된 장착 오차와 기 설정된 임계값의 비교 결과, 산출된 장착 오차가 기 설정된 임계값 이상일 경우 단일 평면의 평탄도, 좌표 변환 오차 및 영상 좌표 오차를 보정(S150)하고, 산출된 장착 오차가 기 설정된 임계값 미만일 경우 현재 카메라 및 레이저 거리 측정기의 위치 및 자세 그리고 관성 측정기의 각도에 대한 데이터를 출력(S160)한다.
이처럼, 본 발명에 따른 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 방법은 격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득하고, 레이저 거리 측정기의 거리 데이터를 토대로 단일 평면의 평탄도를 결정하고, 관성 측정기의 각도 데이터를 토대로 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출하고, 이를 토대로 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출함으로써, 별도의 3차원 정밀 측정기 없이도 저렴하고 반영구적인 격자무늬 패턴을 활용하여 다수의 센서를 장착하는 장착면의 물리적인 가공 오차 측정 시 시간 및 비용적 부담을 줄여 효율적으로 진행할 수 있다.
이상 본 명세서에서 설명한 기능적 동작과 본 주제에 관한 실시형태들은 본 명세서에서 개시한 구조들 및 그들의 구조적인 등가물을 포함하여 디지털 전자 회로나 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 또는 이들 중 하나 이상이 조합에서 구현 가능하다.
본 명세서에서 기술하는 주제의 실시형태는 하나 이상이 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치에 의한 실행을 위하여 또는 그 동작을 제어하기 위하여 유형의 프로그램 매체 상에 인코딩되는 컴퓨터 프로그램 명령에 관한 하나 이상이 모듈로서 구현될 수 있다. 유형의 프로그램 매체는 전파형 신호이거나 컴퓨터로 판독 가능한 매체일 수 있다. 전파형 신호는 컴퓨터에 의한 실행을 위하여 적절한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위하여 생성되는 예컨대 기계가 생성한 전기적, 광학적 또는 전자기 신호와 같은 인공적으로 생성된 신호이다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조합 또는 이들 중 하나 이상이 조합일 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 또는 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 또는 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다.
컴퓨터 프로그램은 파일 장치의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 또는 다중의 상호 작용하는 파일(예컨대, 하나 이상이 모듈, 하위 프로그램 또는 코드의 일부를 저장하는 파일) 내에, 또는 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상이 스크립트) 내에 저장될 수 있다.
컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
부가적으로, 본 특허문헌에서 기술하는 논리 흐름과 구조적인 블록도는 개시된 구조적인 수단의 지원을 받는 대응하는 기능과 단계의 지원을 받는 대응하는 행위 및/또는 특정한 방법을 기술하는 것으로, 대응하는 소프트웨어 구조와 알고리즘과 그 등가물을 구축하는 데에도 사용 가능하다.
본 명세서에서 기술하는 프로세스와 논리 흐름은 입력 데이터 상에서 동작하고 출력을 생성함으로써 기능을 수행하기 위하여 하나 이상이 컴퓨터 프로그램을 실행하는 하나 이상이 프로그래머블 프로세서에 의하여 수행 가능하다.
컴퓨터 프로그램의 실행에 적합한 프로세서는, 예컨대 범용 및 특수 목적의 마이크로프로세서 양자 및 어떤 형태의 디지털 컴퓨터의 어떠한 하나 이상이 프로세서라도 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 양자로부터 명령어와 데이터를 수신할 것이다.
컴퓨터의 핵심적인 요소는 명령어와 데이터를 저장하기 위한 하나 이상이 메모리 장치 및 명령을 수행하기 위한 프로세서이다. 또한, 컴퓨터는 일반적으로 예컨대 자기, 자기 광학 디스크나 광학 디스크와 같은 데이터를 저장하기 위한 하나 이상이 대량 저장 장치로부터 데이터를 수신하거나 그것으로 데이터를 전송하거나 또는 그러한 동작 둘 다를 수행하기 위하여 동작가능 하도록 결합되거나 이를 포함할 것이다. 그러나, 컴퓨터는 그러한 장치를 가질 필요가 없다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다.
따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100 : 단일 장착면의 장착 오차를 산출하여 보정하는 장치
110 : 카메라 장착 데이터 획득부
120 : 거리 측정기 장착 데이터 획득부
130 : 관성 측정기 장착 데이터 획득부
140 : 장착 오차 제어부

Claims (13)

  1. 카메라, 레이저 거리 측정기(LRF) 및 관성 측정기(IMU)가 장착된 단일 장착면의 장착 오차를 산출하여 보정하는 장치에 있어서,
    격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득하는 카메라 장착 데이터 획득부;
    레이저 거리 측정기의 거리 데이터를 산출하고, 산출된 거리 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 단일 평면의 평탄도를 결정하는 레이저 거리 측정기 장착 데이터 획득부;
    관성 측정기의 각도 데이터를 산출하고, 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출하는 관성 측정기 장착 데이터 획득부; 및
    카메라의 위치 및 자세 데이터를 토대로 추출되는 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출하고, 산출된 장착 오차를 이용하여 카메라, 레이저 거리 측정기 및 관성 측정기를 제어하는 장착 오차 제어부;
    를 포함하는 것을 특징으로 하는 단일 장착면의 장착 오차를 산출하여 보정하는 장치.
  2. 제1항에 있어서,
    상기 카메라 장착 데이터 획득부는 격자무늬 패턴이 출력된 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션(calibration)을 통해 획득되는 영상으로부터 3차원 특징점의 영상 좌표를 추출하고, 추출된 3차원 특징점의 영상 좌표를 토대로 카메라의 위치 및 자세 데이터를 획득하는 것을 특징으로 하는 단일 장착면의 장착 오차를 산출하여 보정하는 장치.
  3. 제1항에 있어서,
    상기 레이저 거리 측정기 장착 데이터 획득부는 획득된 카메라의 위치 및 자세 데이터를 반영하여 레이저 거리 측정기의 거리 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 레이저 거리 측정기의 거리 데이터의 이용하여 단일 평면의 평탄도를 결정하는 것을 특징으로 하는 단일 장착면의 장착 오차를 산출하여 보정하는 장치.
  4. 제3항에 있어서,
    상기 레이저 거리 측정기 장착 데이터 획득부를 통해 결정되는 평면의 평탄도는 주성분 분석을 통해 획득된 고유 벡터에 따른 3차원 좌표를 특이값으로 분해하여 도출된 2번째 고유값과 3번째 고유값의 비율을 토대로 결정되는 것을 특징으로 하는 단일 장착면의 장착 오차를 산출하여 보정하는 장치.
  5. 제1항에 있어서,
    상기 관성 측정기 장착 데이터 획득부는 카메라의 위치 및 자세 데이터를 반영하여 관성 측정기의 각도 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 관성 측정기의 각도 데이터로부터 추출되는 초기 장착 오차를 이용하여 좌표를 변환하고, 변환된 좌표를 토대로 좌표 변환 오차를 산출하는 것을 특징으로 하는 단일 장착면의 장착 오차를 산출하여 보정하는 장치.
  6. 제1항에 있어서,
    상기 장착 오차 제어부는,
    격자무늬 패턴이 출력된 단일 평면의 코너점과 해당 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션을 통해 획득되는 영상으로부터 추출되는 3차원 특징점을 카메라로부터 촬영되는 격자무늬 패턴이 출력되는 단일 평면의 영상에 재투영하여 생성되는 재투영 영상 좌표를 추출하는 영상 재투영 좌표 추출부;
    초기에 추출된 3차원 특징점의 영상 좌표와 재투영 영상 좌표의 영상 좌표 오차를 산출하는 영상 좌표 오차 산출부;
    결정된 단일 평면의 평탄도, 산출된 좌표 변환 오차 및 산출된 영상 좌표 오차의 합으로 장착 오차를 산출하는 장착 오차 산출부;
    산출된 장착 오차와 기 설정된 임계값을 비교하는 비교부; 및
    비교 결과에 따라, 카메라, 레이저 거리 측정기 및 관성 측정기의 장착 오차를 보정하거나 현재 카메라 및 레이저 거리 측정기의 위치 및 자세 그리고 관성 측정기의 각도에 대한 데이터를 출력하는 장착 오차 보정부;
    를 포함하는 것을 특징으로 하는 단일 장착면의 장착 오차를 측정하여 보정하는 장치.
  7. 제6항에 있어서,
    상기 비교부는 산출된 장착 오차와 비선형 최적화 알고리즘을 통해 획득된 임계값을 비교하는 것을 특징으로 하는 단일 장착면의 장착 오차를 측정하여 보정하는 장치.
  8. 제6항에 있어서,
    상기 장착 오차 보정부는 산출된 장착 오차와 기 설정된 임계값의 비교 결과, 산출된 장착 오차가 기 설정된 임계값 이상일 경우 단일 평면의 평탄도, 좌표 변환 오차 및 영상 좌표 오차를 보정하고, 산출된 장착 오차가 기 설정된 임계값 미만일 경우 현재 카메라 및 레이저 거리 측정기의 위치 및 자세 그리고 관성 측정기의 각도에 대한 데이터를 출력하는 것을 특징으로 하는 단일 장착면의 장착 오차를 측정하여 보정하는 장치.
  9. 카메라, 레이저 거리 측정기(LRF) 및 관성 측정기(IMU)가 장착된 단일 장착면의 장착 오차를 산출하여 보정하는 방법에 있어서,
    카메라 장착 데이터 획득부에 의해, 격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득하는 단계;
    레이저 거리 측정기 장착 데이터 획득부에 의해, 레이저 거리 측정기의 거리 데이터를 산출하고, 산출된 거리 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 단일 평면의 평탄도를 결정하는 단계;
    관성 측정기 장착 데이터 획득부에 의해, 측정기의 각도 데이터를 산출하고, 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출하는 단계; 및
    장착 오차 제어부에 의해, 카메라의 위치 및 자세 데이터를 토대로 추출되는 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출하고, 산출된 장착 오차를 이용하여 카메라, 레이저 거리 측정기 및 관성 측정기의 장착 오차를 제어하는 단계;
    를 포함하는 것을 특징으로 하는 단일 장착면의 장착 오차를 산출하여 보정하는 방법.
  10. 제9항에 있어서,
    격자무늬 패턴이 출력된 단일 평면의 영상을 촬영하는 카메라의 위치 및 자세 데이터를 획득하는 단계는,
    격자무늬 패턴이 출력된 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션(calibration)을 통해 획득되는 영상으로부터 3차원 특징점의 영상 좌표를 추출하고, 추출된 3차원 특징점의 영상 좌표를 토대로 카메라의 위치 및 자세 데이터를 획득하는 것을 특징으로 하는 단일 장착면의 장착 오차를 산출하여 보정하는 방법.
  11. 제9항에 있어서,
    레이저 거리 측정기의 거리 데이터를 산출하고, 산출된 거리 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 단일 평면의 평탄도를 결정하는 단계는,
    획득된 카메라의 위치 및 자세 데이터를 반영하여 레이저 거리 측정기의 거리 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 레이저 거리 측정기의 거리 데이터의 이용하여 단일 평면의 평탄도를 결정하는 것을 특징으로 하는 단일 장착면의 장착 오차를 산출하여 보정하는 방법.
  12. 제9항에 있어서,
    측정기의 각도 데이터를 산출하고, 산출된 각도 데이터와 카메라의 위치 및 자세 데이터를 토대로 하여 좌표 변환 오차를 산출하는 단계는,
    카메라의 위치 및 자세 데이터를 반영하여 관성 측정기의 각도 데이터를 산출하고, 카메라의 위치 및 자세 데이터와 관성 측정기의 각도 데이터로부터 추출되는 초기 장착 오차를 이용하여 좌표를 변환하고, 변환된 좌표를 토대로 좌표 변환 오차를 산출하는 것을 특징으로 하는 단일 장착면의 장착 오차를 산출하여 보정하는 방법.
  13. 제9항에 있어서,
    카메라의 위치 및 자세 데이터를 토대로 추출되는 3차원 특징점이 단일 평면에 재투영되어 발생하는 오차, 단일 평면의 평탄도 및 좌표 변환 오차를 이용하여 장착 오차를 산출하고, 산출된 장착 오차를 이용하여 카메라, 레이저 거리 측정기 및 관성 측정기의 장착 오차를 제어하는 단계는,
    격자무늬 패턴이 출력된 단일 평면의 코너점과 해당 단일 평면에 대하여 카메라의 위치 및 자세를 다수 변경시킨 후 카메라의 캘리브레이션을 통해 획득되는 영상으로부터 추출되는 3차원 특징점을 카메라로부터 촬영되는 격자무늬 패턴이 출력되는 단일 평면의 영상에 재투영하여 생성되는 재투영 영상 좌표를 추출하는 단계;
    초기에 추출된 3차원 특징점의 영상 좌표와 재투영 영상 좌표의 영상 좌표 오차를 산출하는 단계;
    결정된 단일 평면의 평탄도, 산출된 좌표 변환 오차 및 산출된 영상 좌표 오차의 합으로 장착 오차를 산출하는 단계;
    산출된 장착 오차와 기 설정된 임계값을 비교하는 단계; 및
    비교 결과에 따라, 카메라, 레이저 거리 측정기 및 관성 측정기의 장착 오차를 보정하거나 현재 카메라 및 레이저 거리 측정기의 위치 및 자세 그리고 관성 측정기의 각도에 대한 데이터를 출력하는 단계;
    를 포함하는 것을 특징으로 하는 단일 장착면의 장착 오차를 산출하여 보정하는 방법.
KR1020180078397A 2018-07-05 2018-07-05 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법 KR102079258B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180078397A KR102079258B1 (ko) 2018-07-05 2018-07-05 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180078397A KR102079258B1 (ko) 2018-07-05 2018-07-05 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200005119A true KR20200005119A (ko) 2020-01-15
KR102079258B1 KR102079258B1 (ko) 2020-02-19

Family

ID=69156776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180078397A KR102079258B1 (ko) 2018-07-05 2018-07-05 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102079258B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112129322A (zh) * 2020-09-22 2020-12-25 重庆华渝电气集团有限公司 一种捷联惯组与三轴转台的安装误差检测方法及校正方法
CN113701798A (zh) * 2021-08-29 2021-11-26 孙恺欣 一种二维栅格标准板的校准装置和方法
CN113828949A (zh) * 2021-11-23 2021-12-24 济南邦德激光股份有限公司 一种激光切割机零焦识别方法、标定系统及零焦识别系统
CN115717901A (zh) * 2022-11-14 2023-02-28 北京自动化控制设备研究所 基于滤波的惯性/视觉里程计安装误差估计方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230030159A (ko) 2021-08-25 2023-03-06 주식회사 디지트로그 이미지 내의 객체 위치 거리 측정을 위한 카메라 보정 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046687A (ja) * 2006-08-10 2008-02-28 Canon Inc 撮影環境校正方法及び情報処理装置
KR20130022415A (ko) * 2013-01-23 2013-03-06 주식회사 고영테크놀러지 측정장치 및 이의 보정방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046687A (ja) * 2006-08-10 2008-02-28 Canon Inc 撮影環境校正方法及び情報処理装置
KR20130022415A (ko) * 2013-01-23 2013-03-06 주식회사 고영테크놀러지 측정장치 및 이의 보정방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112129322A (zh) * 2020-09-22 2020-12-25 重庆华渝电气集团有限公司 一种捷联惯组与三轴转台的安装误差检测方法及校正方法
CN112129322B (zh) * 2020-09-22 2022-11-22 重庆华渝电气集团有限公司 一种捷联惯组与三轴转台的安装误差检测方法及校正方法
CN113701798A (zh) * 2021-08-29 2021-11-26 孙恺欣 一种二维栅格标准板的校准装置和方法
CN113701798B (zh) * 2021-08-29 2024-01-19 孙恺欣 一种二维栅格标准板的校准装置和方法
CN113828949A (zh) * 2021-11-23 2021-12-24 济南邦德激光股份有限公司 一种激光切割机零焦识别方法、标定系统及零焦识别系统
CN113828949B (zh) * 2021-11-23 2022-03-11 济南邦德激光股份有限公司 一种激光切割机零焦识别方法、标定系统及零焦识别系统
CN115717901A (zh) * 2022-11-14 2023-02-28 北京自动化控制设备研究所 基于滤波的惯性/视觉里程计安装误差估计方法
CN115717901B (zh) * 2022-11-14 2024-05-03 北京自动化控制设备研究所 基于滤波的惯性/视觉里程计安装误差估计方法

Also Published As

Publication number Publication date
KR102079258B1 (ko) 2020-02-19

Similar Documents

Publication Publication Date Title
KR102079258B1 (ko) 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법
US10979694B2 (en) Information processing apparatus, method, and storage medium
EP2416113B1 (en) Position and orientation measurement apparatus and position and orientation measurement method
CN102472609B (zh) 位置和姿势校准方法及设备
JP6370038B2 (ja) 位置姿勢計測装置及び方法
JP6271953B2 (ja) 画像処理装置、画像処理方法
US10203197B2 (en) Range measurement apparatus and range measurement method
JP6282098B2 (ja) キャリブレーション装置及び方法
US11830223B2 (en) Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program
KR20150101484A (ko) 카메라 보정 방법 및 이에 대한 시스템
US20220180560A1 (en) Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program
JP6282377B2 (ja) ３次元形状計測システムおよびその計測方法
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
JP5267100B2 (ja) 運動推定装置及びプログラム
Ricolfe-Viala et al. Optimal conditions for camera calibration using a planar template
KR102265081B1 (ko) 벡터내적과 3차원 좌표변환을 이용한 카메라의 위치 및 자세를 결정하는 시스템
KR101222009B1 (ko) 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 렌즈 왜곡 보정 시스템과 그 방법
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
Paganoni et al. 2D DIC from single moving camera by homographies compensation
US11143499B2 (en) Three-dimensional information generating device and method capable of self-calibration
KR102016988B1 (ko) 3차원 정보 생성을 위한 카메라 자세 벡터 보정 방법
JP2018087715A (ja) 情報処理装置、情報処理方法及びプログラム
JP2018156442A (ja) 推定器学習装置、法線方向推定装置、方法、及びプログラム
US20230005175A1 (en) Position analysis device and method, and camera system
CN109425309B (zh) 图像处理装置、图像处理系统以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant