KR101379787B1 - 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법 - Google Patents

구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법 Download PDF

Info

Publication number
KR101379787B1
KR101379787B1 KR1020130049380A KR20130049380A KR101379787B1 KR 101379787 B1 KR101379787 B1 KR 101379787B1 KR 1020130049380 A KR1020130049380 A KR 1020130049380A KR 20130049380 A KR20130049380 A KR 20130049380A KR 101379787 B1 KR101379787 B1 KR 101379787B1
Authority
KR
South Korea
Prior art keywords
camera
coordinate system
laser
straight line
control points
Prior art date
Application number
KR1020130049380A
Other languages
English (en)
Inventor
하종은
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020130049380A priority Critical patent/KR101379787B1/ko
Application granted granted Critical
Publication of KR101379787B1 publication Critical patent/KR101379787B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 영상 정보를 수집하는 카메라(camera), 거리 정보를 감지하는 레이저 거리 센서(laser range finder, LRF), 삼각형 구멍을 갖는 평면 부재로 이루어진 보정 구조물(calibration structure), 동일한 제어점들(control points)에 대한 카메라 좌표계 기준 3차원 좌표와 레이저 거리 센서 좌표계 기준 3차원 좌표의 대응관계를 이용하여, 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬을 계산하는 제어부를 포함하고, 상기 제어점들은, 상기 보정 구조물의 자세를 상기 레이저 거리 센서의 레이저 주사면(scan plane)이 상기 보정 구조물과 교차하면서 상기 삼각형 구멍을 통과하는 조건을 만족하는 자세로 조정한 상태에서 획득한 레이저 스캔 데이터로부터 검출된 직선 상에서 선택되는 보정 장치를 제공한다.
본 발명은 새롭게 제안된 삼각형 구멍을 갖는 보정 구조물을 이용하여 카메라와 레이저 거리 센서 사이의 3차원-3차원 좌표 대응관계를 제공함으로써, 두 센서 좌표계 사이의 변환 행렬을 계산하는데 요구되는 최소 데이터의 양이 종래 기술에 비해 감소하고, 계산 과정 및 시간이 줄어들게 되어 레이저 거리 센서 정보와 카메라 정보를 보다 효율적으로 융합하여 이용할 수 있는 효과를 갖는다.

Description

구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법{An apparatus and a method for calibration of camera and laser range finder using a structure with a triangular hole}
본 발명은 삼각형 구멍(triangular hole)을 갖는 평면 구조물(struture of plane)을 이용한 카메라(camera)와 레이저 거리 센서(laser ranger finder, LRF)의 보정(calibration) 장치 및 보정 방법에 관한 것이다. 구체적으로, 본 발명은 삼각형의 구멍을 갖는 평면 구조물을 이용하여 레이저 거리 센서 좌표계와 카메라 좌표계 사이의 변환 행렬을 구하는 장치 및 방법에 관한 것이다.
GPS(global positioning system)나 IMU(inertial measurement unit) 시스템과 함께 카메라, 레이저 거리 센서를 포함하는 다양한 센서들이 모바일 로봇 (mobile robot)의 자율 항법(autonomous navigation)을 위해 이용되고 있다. 일반적으로, 레이저 거리 센서(laser range finder)는 카메라보다 정확한 거리 정보를 제공하므로 자율 항법을 위한 메인 센서로 이용된다. 한편 카메라는 주변 환경의 색상이나 강도(intensity) 등과 관련된 더 다양한 정보를 제공할 수 있으므로, 레이저 거리 센서와 카메라는 동시에 이용되기도 한다. 레이저 거리 센서의 정보를 카메라 정보와 융합하기 위해서는 두 센서 간의 보정 작업이 필요하며, 본 발명은 카메라와 레이저 거리 센서의 외부 보정인자(extrinsic parameters)를 계산하는 것과 관련된다.
이와 관련된 종래기술로서, 아래 선행기술문헌에서 제시한 비특허문헌1은 체스보드 보정 구조물(chsessboard calibration strutcure)을 이용한 카메라와 레이저 거리 센서 간의 변환을 위한 알고리즘(algorithm)을 개시하고 있다. 비특허문헌1은 평면에 존재하는 공통의 점들(common points)로부터 얻어진 제한조건을 이용하여 선형의 해(linear solution)를 제공한다. 최종의 해는 점과 평면 사이의 거리를 이용한 비선형 최적화를 통해 얻어진다. 선형의 해는 보정 구조물의 다른 자세들(different poses)로부터 얻어진 최소 9가지 세트의 데이터를 요구하며, 결과는 레이저 스캔 평면과 체스보드 사이의 각도에 많은 영향을 받는다.
비특허문헌2는 보정 구조물로서 직각 삼각형을 이용한 점과 선 사이의 제한조건을 이용한 알고리즘을 개시하고 있으며, 점과 선 사이의 거리를 최소화하는 것에 의해 해를 구한다. 비특허문헌3은 최소 5쌍의 점-선 대응관계를 요구하는 점과 선 사이의 관계를 이용한 선형의 해를 개시하고 있으며, 점과 선 사이의 기하학적 거리를 최소화하는 비선형 최적화를 통해 최종의 해를 구한다. 비특허문헌4는 비특허문헌1에서 제시된 카메라와 레이저 거리 센서의 보정 방법을 자동화하는 방법을 개시하고 있다.
상기 설명한 종래기술에서 비특허문헌1과 4는 점과 평면 사이의 제한조건을 이용한 선형의 해를 제안하며, 비특허문헌2와 3은 점과 선 사이의 제한조건을 이용한 선형의 해를 제안한다. 이러한 기존의 알고리즘은 보정 구조물의 다른 자세들(different poses)로부터 얻어지는 많은 양의 데이터 세트를 요구하므로, 센서 간의 변환 관계를 계산하는데 복잡한 과정과 시간을 필요로 한다.
본 발명은 새롭게 제안된 삼각형 구멍을 갖는 보정 구조물을 이용하여 카메라와 레이저 거리 센서 간의 외부 보정인자를 계산하는 알고리즘을 제안한다. 새로운 보정 구조물 위에서의 거리 불연속성을 이용하여 보정 평면상의 레이저 스캔 데이터의 실제 위치(absolute locations)를 계산하고, 보정 문제를 카메라와 레이저 거리 센서 간의 3D-3D(dimension) 대응관계 사이의 강성 변환(rigid transformation)을 구하는 문제로 환원하여 선형의 해를 구한다. 본 발명은 보정 구조물의 다른 자세에서 얻어진 최소 두 세트의 데이터를 요구하므로, 종래 기술에 비해 계산 과정과 시간을 절약하게 된다.
Q. Zhang and R. Pless, "extrinsic calibration of a camera and laser range finder (improves camera calibration)," Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 2301-2306, 2004. G. Li, Y. Liu, L. Dong, and D. Zhou, "An algorithm for extrinsic parameters calibration of a camera and a laser range finder using line features," IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 3854-3859, 2007. Y. S. Bok, Y. K. Jeong, D. G. Choi, and I. S. Kweon, "Capturing village-level heritages with a hand-held camera-laser sensor," International Journal of Computer Vision, vol. 94, no. 1, pp. 36-53, 2011. A. Kassir and T. Peynot, "Reliable automatic camera-laser calibration," Proc. of Australasian Conference on Robotics and Automation, 2010.
따라서, 본 발명이 이루고자 하는 과제는 레이저 거리 센서 정보와 카메라 정보를 융합하기 위한 향상된 보정 방법과 보정 장치를 제공하고자 하는 것이다. 두 센서의 정보를 융합하여 이용할 수 있도록, 새롭게 제안된 삼각형 구멍을 갖는 보정 구조물을 이용하여 레이저 거리 센서 좌표계와 카메라 좌표계 사이의 변환 행렬을 기존의 기술보다 효율적으로 구할 수 있는 보정 방법과 보정 장치를 제공하고자 하는 것이다.
상기 기술적 과제를 해결하기 위해 본 발명은 영상 정보를 수집하는 카메라(camera); 거리 정보를 감지하는 레이저 거리 센서(laser range finder, LRF); 삼각형 구멍을 갖는 평면 부재로 이루어진 보정 구조물(calibration structure); 동일한 제어점들(control points)에 대한 카메라 좌표계 기준 3차원 좌표와 레이저 거리 센서 좌표계 기준 3차원 좌표의 대응관계를 이용하여, 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬을 계산하는 제어부;를 포함하고, 상기 제어점들은, 상기 보정 구조물의 자세를 상기 레이저 거리 센서의 레이저 주사면(scan plane)이 상기 보정 구조물과 교차하면서 상기 삼각형 구멍을 통과하는 조건을 만족하는 자세로 조정한 상태에서 획득한 레이저 스캔 데이터로부터 검출된 직선 상에서 선택되는 보정 장치를 제공한다.
또한, 본 발명은 삼각형 구멍(triangular hole)을 갖는 평면 부재로 이루어진 보정 구조물(calibration structure)을 이용한 카메라(camera)와 레이저 거리 센서(laser range finder, LRF)의 보정 방법으로서, 상기 보정 구조물의 자세를 상기 레이저 거리 센서의 주사면(scan plane)이 상기 보정 구조물과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 자세로 조정하는 제1단계; 레이저 스캔 데이터와 카메라 데이터를 획득하는 제2단계; 카메라 보정을 수행하는 제3단계; 레이저 스캔 데이터 중 레이저 주사면(scan plane)이 상기 보정 구조물 상에 교차된 부분에 대응되는 데이터를 검출하는 제4단계; 상기 보정 구조물 상의 직선 탐색(line search)을 통해 상기 제4단계에서 검출된 데이터의 세계 좌표계(world coordinate system)에 대한 실제 위치를 나타내는 직선을 검출하는 제5단계; 상기 제5단계에서 검출된 직선 상에서 제어점들(control points)을 선택하는 제6단계; 상기 제6단계에서 선택된 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표를 결정하는 제7단계; 상기 제6단계에서 선택된 제어점들에 대한 카메라 좌표계 기준 3차원 좌표를 결정하는 제8단계; 상기 보정 구조물의 자세를 레이저 거리 센서의 주사면(scan plane)이 상기 보정 구조물과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 다른 자세로 조정하고, 상기 제2단계 내지 상기 제8단계를 반복 수행하는 제9단계; 서로 다른 두 자세로부터 획득한 2개의 데이터 세트(set)로부터 결정된 상기 카메라와 상기 레이저 거리 센서 사이의 3차원-3차원 좌표 대응관계를 이용하여 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬을 계산하는 제10단계;를 포함하는 보정 방법을 제공한다.
또한, 본 발명은 삼각형 구멍(triangular hole)을 갖는 평면 부재로 이루어진 보정 구조물(calibration structure)을 이용한 카메라(camera)와 레이저 거리 센서(laser range finder, LRF)의 보정 방법으로서, 상기 보정 구조물의 자세를 상기 레이저 거리 센서의 주사면(scan plane)이 상기 보정 구조물과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 자세로 조정하고, 상기 보정 구조물의 자세 변경 회수를 나타내는 인덱스(index) i를 i=1로 설정하는 제1단계; 레이저 스캔 데이터와 카메라 데이터를 획득하는 제2단계; 카메라 보정을 수행하는 제3단계; 레이저 스캔 데이터 중 레이저 주사면(scan plane)이 상기 보정 구조물 상에 교차된 부분에 대응되는 데이터를 검출하는 제4단계; 상기 보정 구조물 상의 직선 탐색(line search)을 통해 상기 제4단계에서 검출된 데이터의 세계 좌표계(world coordinate system)에 대한 실제 위치를 나타내는 직선을 검출하는 제5단계; 상기 제5단계에서 검출된 직선 상에서 제어점들(control points)을 선택하는 제6단계; 상기 제6단계에서 선택된 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표를 결정하는 제7단계; 상기 제6단계에서 선택된 제어점들에 대한 카메라 좌표계 기준 3차원 좌표를 결정하는 제8단계; 인덱스 i가 미리 지정한 자세 변경 회수 M(M>1인 양의 정수)과 동일한지 판단하여, 동일하지 않으면 제10단계로 진행하고, 동일하면 제11단계로 진행하는 제9단계; 상기 보정 구조물의 자세를 레이저 거리 센서의 주사면(scan plane)이 상기 보정 구조물과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 자세이면서 이전 자세들과는 다른 자세로 조정하고, 인덱스 i=i+1로 설정하고, 상기 제2단계로 진행하는 제10단계; M개의 자세로부터 획득한 M개의 데이터 세트(set)로부터 결정된 상기 카메라와 상기 레이저 거리 센서 사이의 3차원-3차원 좌표 대응관계를 이용하여 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 관계를 계산하는 제11단계;를 포함하는 보정 방법을 제공한다.
본 발명은 새롭게 제안된 삼각형 구멍을 갖는 보정 구조물을 이용하여 카메라와 레이저 거리 센서 사이의 3차원-3차원 좌표 대응관계를 제공함으로써, 두 센서 좌표계 사이의 변환 행렬을 계산하는데 요구되는 최소 데이터의 양이 종래 기술에 비해 감소하고, 계산 과정 및 시간이 줄어들게 되어 레이저 거리 센서 정보와 카메라 정보를 보다 효율적으로 융합하여 이용할 수 있는 효과를 갖는다.
도 1은 본 발명에서 제안한 삼각형 구멍을 갖는 평면 부재로 이루어진 보정 구조물을 보인 도면.
도 2는 레이저 거리 센서의 주사면이 보정 구조물과 교차하는 경우의 이미지(좌측)와 대응되는 레이저 스캔 데이터(우측)를 보인 도면.
도 3은 레이저 거리 센서의 주사면이 보정 구조물 상에 교차한 부분의 실제 위치를 나타내는 직선을 보인 도면.
도 4는 서로 다른 두 자세에서 얻은 카메라 보정 이미지를 보인 것으로서 카메라 보정용 제어점들의 위치와 숫자가 표시된 도면.
도 5는 도 4에 대응되는 두 세트의 레이저 스캔 데이터를 보인 도면.
도 6은 보정 구조물의 서로 다른 두 자세에 대응하여 레이저 거리 센서의 주사면이 보정 구조물 상에 교차한 부분의 실제 위치로 검출된 직선을 보인 도면.
도 7은 계산된 외부 보정인자를 이용하여 레이저 스캔 데이터를 이미지상으로 투영한 것을 보인 도면.
도 8은 본 발명에 따른 보정 장치의 블록도.
도 9는 본 발명의 일 실시예에 따른 보정 장치의 사진을 보인 도면.
도 10은 본 발명의 다른 실시예에 따른 보정 방법의 순서도.
도 11은 본 발명의 또 다른 실시예에 따른 보정 방법의 순서도.
레이저 거리 센서 정보와 카메라 정보를 융합하기 위해서는 두 센서 간의 보정이 필요하며, 이러한 보정을 위해서는 레이저 거리 센서 좌표계와 카메라 좌표계 사이의 변환 행렬을 구하는 것이 요구된다.
레이저 거리 센서는 일반적으로 비가시광 영역의 레이저 소스를 이용하므로, 육안이나 카메라로 확인이 어렵다. 따라서, 비가시광 레이저를 이용하는 경우에는 실제 눈에 보이지 않는 레이저 거리 센서 정보를 이용할 수 있는 보정 방법 및 보정 장치가 요구된다.
이하, 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
본 발명은 도 1에 보인 바와 같이, 카메라와 레이저 거리 센서의 외부 보정(extrinsic calibration)을 위한 삼각형 구멍(triangular hole)을 갖는 평면 부재로 이루어진 새로운 보정 구조물(calibration structure)을 제안한다. 도 1에서 보정 구조물 상의 체스보드 패턴(chessboard patterns)은 카메라 보정에 이용된다. 삼각형 구멍(triangular hole)은 보정 구조물 상 세계 좌표계(world coordinate system)에 대한 레이저 스캔 데이터(laser scan data)의 실제 위치를 검출하기 위해 고안된 것이다. 본 발명에서 보정 구조물에 대한 제한조건은, 데이터를 획득하는 동안 레이저 거리 센서(laser range finder)의 주사면(scan plane)이 보정 구조물과 교차하면서 삼각형 구멍을 통과해야 한다는 것이다.
보정 구조물은 레이저 스캔 데이터가 상이한 거리 불연속성(distinct range discontinuities)을 갖도록 배경 영역(background regions)의 앞에 놓여진다. 이에 따라 보정 구조물 상의 스캔 데이터는 쉽게 분할할 수 있는데, 전체 스캔 데이터 중 보정 구조물에 주사된 부분에 해당하는 데이터를 분할한다. 보정 구조물 상의 레이저 스캔 데이터는 거리 불연속성으로 인해 세 개의 다른 직선을 형성한다.
도 2는 레이저 거리 센서의 주사면이 보정 구조물과 교차하는 경우의 이미지(좌측)와 대응되는 레이저 스캔 데이터(우측)를 보인 도면이다. 레이저가 눈에 보이지 않으므로, 레이저 거리 센서의 주사면이 보정 평면과 교차할 때 그 정확한 위치를 찾을 수 없지만, 레이저 거리 센서의 주사면이 보정 구조물과 교차하는 부분의 정확한 위치를 알 수 있다면, 레이저 거리 센서와 카메라 사이의 3차원-3차원 좌표 대응 관계를 얻을 수 있다. 이 경우, 레이저 거리 센서 좌표계 기준의 3차원 좌표는 바로 얻을 수 있고, 대응되는 점(point)의 카메라 좌표계 기준 3차원 좌표는 카메라 보정을 통해 얻을 수 있다. 이러한 3차원-3차원 좌표 대응관계는 카메라와 레이저 거리 센서 사이의 외부 보정인자를 계산하는데 이용된다.
도 2에서 거리 스캔 데이터에 대한 거리 불연속성을 쉽게 구별할 수 있다. 먼저, 레이저 스캔 데이터에서 보정 평면의 두 에지면(edge sides)에 대응되는 두 경계 위치(two boundary positions)를 검출한다. 이는 거리값(range value)의 평균을 문턱값(threshold)으로 이용하여 검출할 수 있다. 보정 구조물이 배경 영역의 앞에 놓여지므로, 보정 구조물 상의 거리값은 배경의 거리값보다 작다. 따라서, 거리값이 가깝고(near), 멀고(far), 다시 가까운(near) 패턴을 보이는 영역을 검출한다. 이는 레이저 스캔 데이터의 처리를 통해, 거리 경계값 및 거리가 변화하는 지점을 검출함으로써 자동으로 추출된다. 레이저 스캔 데이터에서 {A', B', C', D'}의 위치를 검출하고, {A', B', C', D'}의 위치에 대응되는 보정 구조물 상의 {A, B, C, D}의 실제 위치를 검출한다.
점 A에서 점 D까지의 레이저 스캔 데이터는 두 개의 다른 직선을 형성한다. 하나는 보정 구조물 상에서 점 A에서 점 B까지와 점 C에서 점 D까지를 지나는 직선이고, 다른 하나는 점 B에서 점 C를 지나는 직선이다. 이들의 세계 좌표계에 대한 실제 위치를 찾기 위해 가상의 직선을 생성하여 레이저 스캔 데이터와 비교하는데, 점 A에서 점 D까지의 레이저 스캔 데이터는 평균 거리값을 문턱값으로 하여 이진화한다. 이하, 점 A에서 점 D까지의 레이저 스캔 데이터를 "교차부분 스캔 데이터"라 부르기로 한다.
레이저 스캔 데이터 중 도 2에서 검출된 부분의 실제 위치는 보정 구조물 상의 세계 좌표계에 대한 좌표를 구하는 것이다. 이를 위해, 세계 좌표계에 대한 실제 위치를 알고 있는 보정 구조물 상에서 기울기와 절편(gradient and intercept)을 변경하면서 가상의 직선을 생성하여 도 2에서 검출된 부분의 데이터와 비교한다. 생성된 각각의 직선에 대해, 생성된 직선과 교차부분 스캔 데이터 사이의 매칭 스코어(matching score)를 (수식1)과 같이 계산한다.
Figure 112013038878541-pat00001
,
Figure 112013038878541-pat00002
(수식1)
여기서,
Figure 112013038878541-pat00003
는 교차부분 스캔 데이터의 i번째 위치에서 이진화된 거리값이고,
Figure 112013038878541-pat00004
는 생성된 가상 직선의 i번째 위치에서 이진화된 거리값이다. 보정 구조물의 좌측면의 위치를 직선 생성을 위한 원점으로 설정하면, 생성 직선의 기울기의 변경 범위는 0에서 π/2까지가 되고, 생성 직선의 절편의 변경 범위는 0부터 보정 구조물의 삼각형 구멍의 높이까지가 된다. 이와 같이 기울기와 절편을 변경 범위 전체에 걸쳐 변경하면서 생성된 가상의 직선 중 (수식1)이 최소값을 갖는 직선을 선택한다.
도 3은 앞의 과정을 통해 검출된 결과를 보인 도면이다. 도 3에서 이미지의 상단 직선은 이진화된 교차부분 스캔 데이터를 나타내는데, 파란색 부분은 보정 구조물 상(on the calibration structure)의 데이터를 나타내고, 녹색 부분은 삼각형 구멍을 통과하여 보정 구조물을 벗어난 부분(off the calibration structure)의 데이터를 나타낸다. 빨간색 점선은 보정 구조물 상에서 검출된 위치를 나타낸다. 이러한 과정을 통해, 레이저 거리 센서의 주사면이 보정 구조물 상에 교차된 부분의 세계 좌표계 대한 실제 위치를 검출한다. 그리고, 검출된 실제 위치를 나타내는 빨간색 점선 상에서 등간격을 갖는 제어점들(control points)을 선택한다. 선택된 제어점들의 레이저 거리 센서 좌표계에 대한 3차원 좌표는 교차부분 스캔 데이터로부터 피트된 직선(fitted line)을 이용하여 결정된다. 보정 구조물 상의 레이저 스캔 데이터만을 이용하여 직선을 피트(fit a line)하며, 이 피트된 직선(fitted line)으로부터 선택된 제어점들의 3차원 좌표가 계산된다. 도 3의 예에서는 동일한 간격을 갖는 10개의 제어점들이 빨간색 점들로 표시되어 있다.
선택된 제어점들의 카메라 좌표계에 대한 대응되는 3차원 좌표는 카메라 보정을 통해 얻어진다. 이러한 카메라 보정에는, 예를 들어, 아래 비특허문헌5에서 이미 알려진 짜이 알고리즘(Tsai algorithm)이 이용될 수 있으며, 보정 구조물 상의 체스보드(chessboard)가 이용된다. 이에 대한 내용은 이미 공개된 것이므로 자세한 설명은 생략한다.
(비특허문헌5) R. Y. Tsai, "A versatile camera calibration techniques for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses," IEEE Journal of Robotics and Automation, pp. 323-344, 1987.
도 4는 서로 다른 두 자세에서 얻은 카메라 보정 이미지를 보인 것으로서 카메라 보정용 제어점들의 위치와 숫자가 표시된 도면이고, 도 5는 도 4에 대응되는 두 세트의 레이저 스캔 데이터를 보인 도면이다. 도 4는 카메라 보정을 위해 보정 구조물 상의 체스보드(chessboard) 패턴으로 식별되는 카메라 보정용 제어점들을 34개 이용한 경우를 보인 것이다. 도 5는 도 4의 보정 구조물 자세에 대응하여 얻은 레이저 거리 센서 데이터를 보인 것으로서, 이 데이터로부터 앞서 설명한 바와 같이 보정 구조물 상의 뚜렷한 거리 불연속성을 확인할 수 있다.
카메라 보정 정보를 이용하여, 앞서 설명한 직선 탐색을 통해 검출된 직선 상에서 선택된 제어점들에 대한 보정 구조물 상 세계 좌표계 기준 실제 위치는 카메라 좌표계에 대한 3차원 좌표로 변환된다. 따라서, 최종적으로 카메라와 레이저 거리 센서 사이의 3차원-3차원 좌표 대응관계를 얻게 된다.
이와 같이 얻어진 3차원-3차원 좌표 대응관계와 3D(dimension) 강체 변환(rigid body transformation)을 추정하는 알고리즘을 이용하여, 카메라와 레이저 거리 센서 사이의 외부 보정인자인 변환 행렬을 계산한다. 3차원-3차원 좌표 대응관계 데이터가 주어진 경우에 변환 행렬을 구하는 알고리즘은 이미 알려진 내용이므로, 자세한 설명은 생략한다. 발명의 완결성을 위하여 알려진 알고리즘 중 하나를 간단히 설명한다.
대응되는 N개(N은 양의 정수)의 3차원 점들(points)에 대한 카메라 좌표계 기준 좌표를
Figure 112013038878541-pat00005
, 레이저 거리 센서 좌표계 기준 좌표를
Figure 112013038878541-pat00006
,
Figure 112013038878541-pat00007
라 하면,
Figure 112013038878541-pat00008
(수식2)
이고, 여기서
Figure 112013038878541-pat00009
은 3×3 회전 행렬(ratation matrix),
Figure 112013038878541-pat00010
는 3차원 변위 벡터(translation vector),
Figure 112013038878541-pat00011
는 잡음 벡터(noise vector)를 의미한다.
최적 변환
Figure 112013038878541-pat00012
를 추정하는 것은 (수식3)으로 주어지는 최소 자승 오차(least squares error)를 최소화하는 해를 구하는 것이다.
Figure 112013038878541-pat00013
(수식3)
여기서,
Figure 112013038878541-pat00014
은 벡터
Figure 112013038878541-pat00015
에 대해
Figure 112013038878541-pat00016
로 정의되는 벡터의 노옴(norm)을 의미한다. 3차원 점들의 세트(set)인
Figure 112013038878541-pat00017
와
Figure 112013038878541-pat00018
의 중심(centroid)에 대한 정의를 나타내는 (수식4)를 이용하여 (수식3)을 정리하면 (수식5)와 같다.
Figure 112013038878541-pat00019
Figure 112013038878541-pat00020
Figure 112013038878541-pat00021
Figure 112013038878541-pat00022
(수식4)
Figure 112013038878541-pat00023
(수식5)
(수식5)의 오차를 최소화하는 해는
Figure 112013038878541-pat00024
를 최대화하여 얻어진다. 여기서
Figure 112013038878541-pat00025
는 (수식6)에 의해 주어지는 상관 행렬(correlation matrix)이다.
Figure 112013038878541-pat00026
(수식6)
Figure 112013038878541-pat00027
의 특이값 분해(singular value decomposition)가
Figure 112013038878541-pat00028
와 같이 주어지면,
Figure 112013038878541-pat00029
를 최대화하는 최적의 회전 행렬
Figure 112013038878541-pat00030
은 (수식7)이 된다.
Figure 112013038878541-pat00031
(수식7)
세트
Figure 112013038878541-pat00032
의 중심(centroid)과 세트
Figure 112013038878541-pat00033
의 중심을 정렬하는 최적의 변위 벡터는 (수식8)로 주어진다.
Figure 112013038878541-pat00034
(수식8)
여기서 설명한 알고리즘은 서로 다른 두 자세에서 얻은 최소 두 세트(set)의 3차원-3차원 점 대응관계만 있으면 선형의 해(linear solution)로서 최적 변환
Figure 112013038878541-pat00035
를 구할 수 있다. 따라서, 본 발명에서 제안한 방법으로 얻어진 최소 두 세트의 데이터만을 이용하여 카메라와 레이저 거리 센서의 외부 보정인자를 계산할 수 있는 것이다. 추가적으로, 보정 구조물의 자세를 바꾸어 더 많은 자세에서 두 세트 이상의 3차원-3차원 좌표 대응관계에 대한 데이터를 얻으면 이 데이터를 이용하여 비선형 최적화를 수행하는 알고리즘을 적용함으로써 외부 보정인자를 구할 수도 있다. 비선형 최적화를 적용하면 더 정확한 보정을 수행할 수 있겠지만, 위에서 설명한 선형의 해를 이용한 결과도 비선형 최적화를 이용한 결과와 필적한 만한 결과를 제공한다.
위에서 설명한 방법을 실제 적용한 예를 도면을 통해 간단히 설명한다. 도 6은 보정 구조물의 서로 다른 두 자세에 대응하여 레이저 거리 센서의 주사면이 보정 구조물 상에 교차한 부분의 실제 위치로 검출된 직선을 보인 도면이고, 도 7은 계산된 외부 보정인자를 이용하여 레이저 스캔 데이터를 이미지상으로 투영(projection)한 것을 보인 도면이다. 도 7에서 파란색 원들은 카메라 좌표계에 대한 제어점들의 3차원 좌표를 투영한 것이고, 빨간색 원들은 레이저 거리 센서 좌표계에 대한 제어점들의 3차원 좌표를 투영한 것이다. 도 7에서 이미지에 투영된 레이저 스캔 데이터는 카메라와 레이저 거리 센서 사이의 계산된 외부 보정인자, 즉 위에서 설명한 알고리즘을 이용하여 얻어진 회전 행렬과 변위 벡터를 이용하여 얻은 것이다. 외부 보정인자에 오차가 존재하므로, 두 센서의 데이터가 완전히 일치하지는 않으나, 실제 응용분야에서 활용되기에 충분한 것으로 판단된다. 도 7에서 보인 것과 같은 투영을 통해 두 센서간의 융합이 가능하게 되며, 레이저 거리 센서의 주사면이 지나는 부분에 대한 여러 가지 작업을 카메라의 영상 데이터와 같이 활용하게 되므로, 여러 센서의 정보를 좀 더 효율적으로 이용할 수 있게 된다.
본 발명에서는 레이저 거리 센서의 레이저 주사면(scan plane)이 보정 구조물 상에 교차된 부분의 실제 위치를 알아내기 위해 삼각형 형태의 구멍이 뚫린 보정 구조물을 새로 제안하여 사용하는데, 다양한 형태의 구멍이 뚫린 보정 구조물을 사용하여 보정을 수행한 결과, 현재까지는 삼각형 형태의 구멍을 갖는 보정 구조물을 이용하는 것이 가장 유리한 것으로 판단된다. 다만, 이때 필요한 제한 조건은 데이터를 획득하는 동안, 레이저 거리 센서의 레이저 주사면이 보정 구조물과 교차하면서 삼각형 구멍을 통과해야 한다는 것이다.
도 8은 본 발명에 따른 보정 장치의 블록도이고, 도 9는 본 발명의 일 실시예에 따른 보정 장치의 사진을 보인 도면이다.
도 8과 도 9를 참조하면, 본 발명에 따른 보정 장치는 영상 정보를 수집하는 카메라(camera, 100), 거리 정보를 감지하는 레이저 거리 센서(laser range finder, LRF, 110), 삼각형 구멍을 갖는 평면 부재로 이루어진 보정 구조물(calibration structure, 120), 동일한 제어점들(control points)에 대한 카메라 좌표계 기준 3차원 좌표와 레이저 거리 센서 좌표계 기준 3차원 좌표의 대응관계를 이용하여, 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬을 계산하는 제어부(130)를 포함하고, 상기 제어점들은, 보정 구조물(120)의 자세를 레이저 거리 센서(110)의 레이저 주사면(scan plane)이 보정 구조물(120)과 교차하면서 상기 삼각형 구멍을 통과하는 조건을 만족하는 자세로 조정한 상태에서 획득한 레이저 스캔 데이터로부터 검출된 직선 상에서 선택된다. 상기 제어점들이 선택되는 직선은, 레이저 스캔 데이터 중 레이저 주사면이 보정 구조물(120) 상에 교차된 부분에 대응되는 데이터를 검출한 후, 보정 구조물(120) 상의 직선 탐색(line search)을 통해 상기 검출된 데이터의 세계 좌표계(world coordinate system)에 대한 실제 위치를 나타내는 직선으로 검출되며, 상기 제어점들은 상기 검출된 직선 상에서 등간격으로 선택된다. 상기 제어점들이 선택되는 직선은, 세계 좌표계에 대한 실제 위치를 알고 있는 보정 구조물(120) 상에서 기울기와 절편(gradient and intercept)을 변경하면서 가상의 직선을 생성하여 상기 검출된 데이터와 비교하고, 생성된 가상의 직선과 상기 검출된 데이터의 거리값(range value) 차이가 가장 작은 직선으로 선택되며, 상기 가상의 직선은 보정 구조물(120)의 좌측면의 위치를 직선 생성을 위한 원점으로 설정하여, 기울기의 변경 범위를 0에서 π/2까지로 하고, 절편의 변경 범위는 0부터 보정 구조물(120)의 삼각형 구멍의 높이까지로 하여, 기울기와 절편을 변경하면서 생성한다. 상기 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표는, 레이저 스캔 데이터 중 레이저 주사면이 보정 구조물(120) 상에 교차된 부분에 대응되는 데이터만을 이용하여 직선을 피트하고(fit a line), 이 피트된 직선(fitted line)으로부터 상기 제어점들의 레이저 거리 센서 좌표계 기준 3차원 좌표가 계산된다. 상기 제어점들에 대한 카메라 좌표계 기준 3차원 좌표는 카메라 보정 정보를 이용하여 결정되며, 상기 카메라 보정 정보는 보정 구조물(120) 상에 표시된 체스보드 패턴(chessboard patterns)으로 식별되는 카메라 보정용 제어점들을 이용한 카메라 보정을 수행하여 얻은 정보이다. 제어부(130)는 서로 다른 두 자세로부터 획득한 2개의 데이터 세트(set)로부터 결정된 카메라(100)와 레이저 거리 센서(110) 사이의 3차원-3차원 좌표 대응관계를 이용하여 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬을 계산한다. 또한, 제어부(130)는 M개(M>1인 정수)의 자세로부터 획득한 M개의 데이터 세트(set)로부터 결정된 카메라(100)와 레이저 거리 센서(110) 사이의 3차원-3차원 좌표 대응관계를 이용하여 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 관계를 계산한다.
도 10은 본 발명의 다른 실시예에 따른 보정 방법의 순서도이다. 도 10을 참조하면, 본 발명에 따른 삼각형 구멍(triangular hole)을 갖는 평면 부재로 이루어진 보정 구조물(calibration structure, 120)을 이용한 카메라(camera, 100)와 레이저 거리 센서(laser range finder, LRF, 110)의 보정 방법은, 보정 구조물(120)의 자세를 레이저 거리 센서(110)의 주사면(scan plane)이 보정 구조물(120)과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 자세로 조정하는 제1단계(도 10의 S1), 레이저 스캔 데이터와 카메라 데이터를 획득하는 제2단계(도 10의 S2), 카메라 보정을 수행하는 제3단계(도 10의 S3), 레이저 스캔 데이터 중 레이저 주사면(scan plane)이 보정 구조물(120) 상에 교차된 부분에 대응되는 데이터를 검출하는 제4단계(도 10의 S4), 보정 구조물(120) 상의 직선 탐색(line search)을 통해 제4단계(도 10의 S4)에서 검출된 데이터의 세계 좌표계(world coordinate system)에 대한 실제 위치를 나타내는 직선을 검출하는 제5단계(도 10의 S5), 제5단계(도 10의 S5)에서 검출된 직선 상에서 제어점들(control points)을 선택하는 제6단계(도 10의 S6), 제6단계(도 10의 S6)에서 선택된 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표를 결정하는 제7단계(도 10의 S7), 제6단계(도 10의 S6)에서 선택된 제어점들에 대한 카메라 좌표계 기준 3차원 좌표를 결정하는 제8단계(도 10의 S8), 보정 구조물(120)의 자세를 레이저 거리 센서(110)의 주사면(scan plane)이 보정 구조물(120)과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 다른 자세로 조정하고, 제2단계(도 10의 S2) 내지 제8단계(도 10의 S8)를 반복 수행하는 제9단계(도 10의 S9), 서로 다른 두 자세로부터 획득한 2개의 데이터 세트(set)로부터 결정된 카메라(100)와 레이저 거리 센서(110) 사이의 3차원-3차원 좌표 대응관계를 이용하여 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬을 계산하는 제10단계(도 10의 S10)를 포함한다.
제5단계(도 10의 S5)의 직선은, 세계 좌표계에 대한 실제 위치를 알고 있는 보정 구조물(120) 상에서 기울기와 절편(gradient and intercept)을 변경하면서 가상의 직선을 생성하여 제4단계(도 10의 S4)에서 검출된 데이터와 비교하고, 생성된 가상의 직선과 상기 검출된 데이터의 거리값(range value) 차이가 가장 작은 직선으로 선택되며, 상기 가상의 직선은 보정 구조물(120)의 좌측면의 위치를 직선 생성을 위한 원점으로 설정하여, 기울기의 변경 범위를 0에서 π/2까지로 하고, 절편의 변경 범위는 0부터 보정 구조물(120)의 삼각형 구멍의 높이까지로 하여, 기울기와 절편을 변경하면서 생성하며, 상기 제어점들은 제5단계(도 10의 S5)에서 검출된 직선 상에서 등간격으로 선택된다.
제7단계(도 10의 S7)에서 상기 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표는, 레이저 스캔 데이터 중 레이저 주사면이 보정 구조물(120) 상에 교차된 부분에 대응되는 데이터만을 이용하여 직선을 피트하고(fit a line), 이 피트된 직선(fitted line)으로부터 상기 제어점들의 레이저 거리 센서 좌표계 기준 3차원 좌표가 계산된다.
제8단계(도 10의 S8)에서 상기 제어점들에 대한 카메라 좌표계 기준 3차원 좌표는, 카메라 보정 정보를 이용하여 결정되며, 상기 카메라 보정 정보는 보정 구조물(120) 상에 표시된 체스보드 패턴(chessboard patterns)으로 식별되는 카메라 보정용 제어점들을 이용한 카메라 보정을 수행하여 얻은 정보이다.
제10단계(도 10의 S10)에서, 제6단계(도 10의 S6)에서 선택된 제어점들의 개수가 N(N은 양의 정수)이고, 동일한 N개의 3차원 제어점들에 대한 카메라 좌표계 기준 좌표를
Figure 112013038878541-pat00036
, 레이저 거리 센서 좌표계 기준 좌표를
Figure 112013038878541-pat00037
,
Figure 112013038878541-pat00038
라 할 때,
Figure 112013038878541-pat00039
(수식9)
로 표시되고, 여기서
Figure 112013038878541-pat00040
은 3×3 회전 행렬(ratation matrix),
Figure 112013038878541-pat00041
는 3차원 변위 벡터(translation vector),
Figure 112013038878541-pat00042
는 잡음 벡터(noise vector)를 의미하고,
Figure 112013038878541-pat00043
은 벡터
Figure 112013038878541-pat00044
에 대해
Figure 112013038878541-pat00045
로 정의되는 벡터의 노옴(norm)을 의미하고, 최소 자승 오차(least squares error)는 (수식10)으로 주어진다고 하면,
Figure 112013038878541-pat00046
(수식10)
카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬은 (수식10)을 최소화하는 해(solution)인
Figure 112013038878541-pat00047
로 주어진다.
Figure 112013038878541-pat00048
Figure 112013038878541-pat00049
,
Figure 112013038878541-pat00050
Figure 112013038878541-pat00051
(수식11)
라 하면, (수식10)는 (수식12)로 정리되며,
Figure 112013038878541-pat00052
(수식12)
Figure 112013038878541-pat00053
를 (수식13)에 의해 주어지는 상관 행렬(correlation matrix)이라 하면,
Figure 112013038878541-pat00054
(수식13)
(수식12)의 오차를 최소화하는 해는
Figure 112013038878541-pat00055
를 최대화하는 해가 되며,
Figure 112013038878541-pat00056
의 특이값 분해(singular value decomposition)가
Figure 112013038878541-pat00057
와 같이 주어지면,
Figure 112013038878541-pat00058
를 최대화하는 회전 행렬
Figure 112013038878541-pat00059
과 변위벡터
Figure 112013038878541-pat00060
은
Figure 112013038878541-pat00061
,
Figure 112013038878541-pat00062
(수식14)
로 주어진다.
도 11은 본 발명의 또 다른 실시예에 따른 보정 방법의 순서도이다. 도 11을 참조하면, 본 발명에 따른 삼각형 구멍(triangular hole)을 갖는 평면 부재로 이루어진 보정 구조물(calibration structure, 120)을 이용한 카메라(camera, 100)와 레이저 거리 센서(laser range finder, LRF, 110)의 보정 방법은, 보정 구조물(120)의 자세를 레이저 거리 센서(110)의 주사면(scan plane)이 보정 구조물(120)과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 자세로 조정하고, 보정 구조물(120)의 자세 변경 회수를 나타내는 인덱스(index) i를 i=1로 설정하는 제1단계(도 11의 S100), 레이저 스캔 데이터와 카메라 데이터를 획득하는 제2단계(도 11의 S200), 카메라 보정을 수행하는 제3단계(도 11의 S300), 레이저 스캔 데이터 중 레이저 주사면(scan plane)이 보정 구조물(120) 상에 교차된 부분에 대응되는 데이터를 검출하는 제4단계(도 11의 S400), 보정 구조물(120) 상의 직선 탐색(line search)을 통해 제4단계(도 11의 S400)에서 검출된 데이터의 세계 좌표계(world coordinate system)에 대한 실제 위치를 나타내는 직선을 검출하는 제5단계(도 11의 S500), 제5단계(도 11의 S500)에서 검출된 직선 상에서 제어점들(control points)을 선택하는 제6단계(도 11의 S600), 제6단계(도 11의 S600)에서 선택된 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표를 결정하는 제7단계(도 11의 S700), 제6단계(도 11의 S600)에서 선택된 제어점들에 대한 카메라 좌표계 기준 3차원 좌표를 결정하는 제8단계(도 11의 S800), 인덱스 i가 미리 지정한 자세 변경 회수 M(M>1인 정수)과 동일한지 판단하여, 동일하지 않으면 제10단계(도 11의 S1000)로 진행하고, 동일하면 제11단계(도 11의 S1100)로 진행하는 제9단계(도 11의 S900), 보정 구조물(120)의 자세를 레이저 거리 센서(110)의 주사면(scan plane)이 보정 구조물(120)과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 자세이면서 이전 자세들과는 다른 자세로 조정하고, 인덱스 i=i+1로 설정하고, 제2단계(도 11의 S200)로 진행하는 제10단계(도 11의 S1000), M개의 자세로부터 획득한 M개의 데이터 세트(set)로부터 결정된 카메라(100)와 레이저 거리 센서(110) 사이의 3차원-3차원 좌표 대응관계를 이용하여 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 관계를 계산하는 제11단계(도 11의 S1100)를 포함한다.
제5단계(도 11의 S500)의 직선은 세계 좌표계에 대한 실제 위치를 알고 있는 보정 구조물(120) 상에서 기울기와 절편(gradient and intercept)을 변경하면서 가상의 직선을 생성하여 제4단계(도 11의 S400)에서 검출된 데이터와 비교하고, 생성된 가상의 직선과 상기 검출된 데이터의 거리값(range value) 차이가 가장 작은 직선으로 선택되며, 상기 가상의 직선은 보정 구조물(120)의 좌측면의 위치를 직선 생성을 위한 원점으로 설정하여, 기울기의 변경 범위를 0에서 π/2까지로 하고, 절편의 변경 범위는 0부터 보정 구조물(120)의 삼각형 구멍의 높이까지로 하여, 기울기와 절편을 변경하면서 생성하며, 상기 제어점들은 제5단계(도 11의 S500)에서 검출된 직선 상에서 등간격으로 선택된다.
제7단계(도 11의 S700)에서 상기 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표는, 레이저 스캔 데이터 중 레이저 주사면이 보정 구조물(120) 상에 교차된 부분에 대응되는 데이터만을 이용하여 직선을 피트하고(fit a line), 이 피트된 직선(fitted line)으로부터 상기 제어점들의 레이저 거리 센서 좌표계 기준 3차원 좌표가 계산된다.
제8단계(도 11의 S800)에서 상기 제어점들에 대한 카메라 좌표계 기준 3차원 좌표는, 카메라 보정 정보를 이용하여 결정되며, 상기 카메라 보정 정보는 보정 구조물(120) 상에 표시된 체스보드 패턴(chessboard patterns)으로 식별되는 카메라 보정용 제어점들을 이용한 카메라 보정을 수행하여 얻은 정보이다.
제11단계(도 11의 S1100)의 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 관계는, M개의 자세로부터 획득한 M개의 데이터 세트(set)를 이용하여 비선형 최적화(nonlinear optimization)를 수행하는 알고리즘(algorithm)을 적용하여 계산된다.
100: 카메라
110: 레이저 거리 센서
120: 보정 구조물
130: 제어부

Claims (18)

  1. 영상 정보를 수집하는 카메라(camera);
    거리 정보를 감지하는 레이저 거리 센서(laser range finder, LRF);
    삼각형 구멍을 갖는 평면 부재로 이루어진 보정 구조물(calibration structure);
    동일한 제어점들(control points)에 대한 카메라 좌표계 기준 3차원 좌표와 레이저 거리 센서 좌표계 기준 3차원 좌표의 대응관계를 이용하여, 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬을 계산하는 제어부;
    를 포함하고,
    상기 제어점들은, 상기 보정 구조물의 자세를 상기 레이저 거리 센서의 레이저 주사면(scan plane)이 상기 보정 구조물과 교차하면서 상기 삼각형 구멍을 통과하는 조건을 만족하는 자세로 조정한 상태에서 획득한 레이저 스캔 데이터로부터 검출된 직선 상에서 선택되는 보정 장치.
  2. 제1항에 있어서,
    상기 제어점들이 선택되는 직선은,
    레이저 스캔 데이터 중 레이저 주사면이 상기 보정 구조물 상에 교차된 부분에 대응되는 데이터를 검출한 후, 상기 보정 구조물 상의 직선 탐색(line search)을 통해 상기 검출된 데이터의 세계 좌표계(world coordinate system)에 대한 실제 위치를 나타내는 직선으로 검출되며,
    상기 제어점들은 상기 검출된 직선 상에서 등간격으로 선택되는 보정 장치.
  3. 제2항에 있어서,
    상기 제어점들이 선택되는 직선은,
    세계 좌표계에 대한 실제 위치를 알고 있는 상기 보정 구조물 상에서 기울기와 절편(gradient and intercept)을 변경하면서 가상의 직선을 생성하여 상기 검출된 데이터와 비교하고, 생성된 가상의 직선과 상기 검출된 데이터의 거리값(range value) 차이가 가장 작은 직선으로 선택되며,
    상기 가상의 직선은 상기 보정 구조물의 좌측면의 위치를 직선 생성을 위한 원점으로 설정하여, 기울기의 변경 범위를 0에서 π/2까지로 하고, 절편의 변경 범위는 0부터 상기 보정 구조물의 삼각형 구멍의 높이까지로 하여, 기울기와 절편을 변경하면서 생성하는 보정 장치.
  4. 제1항에 있어서,
    상기 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표는,
    레이저 스캔 데이터 중 레이저 주사면이 상기 보정 구조물 상에 교차된 부분에 대응되는 데이터만을 이용하여 직선을 피트하고(fit a line), 이 피트된 직선(fitted line)으로부터 상기 제어점들의 레이저 거리 센서 좌표계 기준 3차원 좌표가 계산되는 보정 장치.
  5. 제1항에 있어서,
    상기 제어점들에 대한 카메라 좌표계 기준 3차원 좌표는 카메라 보정 정보를 이용하여 결정되며,
    상기 카메라 보정 정보는 상기 보정 구조물 상에 표시된 체스보드 패턴(chessboard patterns)으로 식별되는 카메라 보정용 제어점들을 이용한 카메라 보정을 수행하여 얻은 정보인 보정 장치.
  6. 제1항에 있어서,
    상기 제어부는
    서로 다른 두 자세로부터 획득한 2개의 데이터 세트(set)로부터 결정된 상기 카메라와 상기 레이저 거리 센서 사이의 3차원-3차원 좌표 대응관계를 이용하여 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬을 계산하는 보정 장치.
  7. 제1항에 있어서,
    상기 제어부는
    M개(M>1인 정수)의 자세로부터 획득한 M개의 데이터 세트(set)로부터 결정된 상기 카메라와 상기 레이저 거리 센서 사이의 3차원-3차원 좌표 대응관계를 이용하여 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬을 계산하는 보정 장치.
  8. 삼각형 구멍(triangular hole)을 갖는 평면 부재로 이루어진 보정 구조물(calibration structure)을 이용한 카메라(camera)와 레이저 거리 센서(laser range finder, LRF)의 보정 방법으로서,
    상기 보정 구조물의 자세를 상기 레이저 거리 센서의 주사면(scan plane)이 상기 보정 구조물과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 자세로 조정하는 제1단계;
    레이저 스캔 데이터와 카메라 데이터를 획득하는 제2단계;
    카메라 보정을 수행하는 제3단계;
    레이저 스캔 데이터 중 레이저 주사면(scan plane)이 상기 보정 구조물 상에 교차된 부분에 대응되는 데이터를 검출하는 제4단계;
    상기 보정 구조물 상의 직선 탐색(line search)을 통해 상기 제4단계에서 검출된 데이터의 세계 좌표계(world coordinate system)에 대한 실제 위치를 나타내는 직선을 검출하는 제5단계;
    상기 제5단계에서 검출된 직선 상에서 제어점들(control points)을 선택하는 제6단계;
    상기 제6단계에서 선택된 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표를 결정하는 제7단계;
    상기 제6단계에서 선택된 제어점들에 대한 카메라 좌표계 기준 3차원 좌표를 결정하는 제8단계;
    상기 보정 구조물의 자세를 상기 레이저 거리 센서의 주사면(scan plane)이 상기 보정 구조물과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 다른 자세로 조정하고, 상기 제2단계 내지 상기 제8단계를 반복 수행하는 제9단계;
    서로 다른 두 자세로부터 획득한 2개의 데이터 세트(set)로부터 결정된 상기 카메라와 상기 레이저 거리 센서 사이의 3차원-3차원 좌표 대응관계를 이용하여 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬을 계산하는 제10단계;
    를 포함하는 보정 방법.
  9. 제8항에 있어서,
    상기 제5단계의 직선은,
    세계 좌표계에 대한 실제 위치를 알고 있는 상기 보정 구조물 상에서 기울기와 절편(gradient and intercept)을 변경하면서 가상의 직선을 생성하여 상기 제4단계에서 검출된 데이터와 비교하고, 생성된 가상의 직선과 상기 검출된 데이터의 거리값(range value) 차이가 가장 작은 직선으로 선택되며,
    상기 가상의 직선은 상기 보정 구조물의 좌측면의 위치를 직선 생성을 위한 원점으로 설정하여, 기울기의 변경 범위를 0에서 π/2까지로 하고, 절편의 변경 범위는 0부터 상기 보정 구조물의 삼각형 구멍의 높이까지로 하여, 기울기와 절편을 변경하면서 생성하며,
    상기 제어점들은 상기 제5단계에서 검출된 직선 상에서 등간격으로 선택되는 보정 방법.
  10. 제8항에 있어서,
    상기 제7단계에서 상기 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표는,
    레이저 스캔 데이터 중 레이저 주사면이 상기 보정 구조물 상에 교차된 부분에 대응되는 데이터만을 이용하여 직선을 피트하고(fit a line), 이 피트된 직선(fitted line)으로부터 상기 제어점들의 레이저 거리 센서 좌표계 기준 3차원 좌표가 계산되는 보정 방법.
  11. 제8항에 있어서,
    상기 제8단계에서 상기 제어점들에 대한 카메라 좌표계 기준 3차원 좌표는,
    카메라 보정 정보를 이용하여 결정되며, 상기 카메라 보정 정보는 상기 보정 구조물 상에 표시된 체스보드 패턴(chessboard patterns)으로 식별되는 카메라 보정용 제어점들을 이용한 카메라 보정을 수행하여 얻은 정보인 보정 방법.
  12. 제8항에 있어서,
    상기 제10단계에서,
    상기 제6단계에서 선택된 제어점들의 개수가 N(N은 양의 정수)이고, 동일한 N개의 3차원 제어점들에 대한 카메라 좌표계 기준 좌표를
    Figure 112013038878541-pat00063
    , 레이저 거리 센서 좌표계 기준 좌표를
    Figure 112013038878541-pat00064
    ,
    Figure 112013038878541-pat00065
    라 할 때,
    Figure 112013038878541-pat00066
    (1)
    로 표시되고, 여기서
    Figure 112013038878541-pat00067
    은 3×3 회전 행렬(ratation matrix),
    Figure 112013038878541-pat00068
    는 3차원 변위 벡터(translation vector),
    Figure 112013038878541-pat00069
    는 잡음 벡터(noise vector)를 의미하고,
    Figure 112013038878541-pat00070
    은 벡터
    Figure 112013038878541-pat00071
    에 대해
    Figure 112013038878541-pat00072
    로 정의되는 벡터의 노옴(norm)을 의미하고, 최소 자승 오차(least squares error)는 수식(2)로 주어진다고 하면,
    Figure 112013038878541-pat00073
    (2)
    카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 행렬은 수식(2)를 최소화하는 해(solution)인
    Figure 112013038878541-pat00074
    로 주어지는 보정 방법.
  13. 제12항에 있어서,
    Figure 112013038878541-pat00075
    Figure 112013038878541-pat00076
    ,
    Figure 112013038878541-pat00077
    Figure 112013038878541-pat00078
    (3)
    라 하면, 수식(2)는 수식(4)로 정리되며,
    Figure 112013038878541-pat00079
    (4)
    Figure 112013038878541-pat00080
    를 수식(5)에 의해 주어지는 상관 행렬(correlation matrix)이라 하면,
    Figure 112013038878541-pat00081
    (5)
    수식(4)의 오차를 최소화하는 해는
    Figure 112013038878541-pat00082
    를 최대화하는 해가 되며,
    Figure 112013038878541-pat00083
    의 특이값 분해(singular value decomposition)가
    Figure 112013038878541-pat00084
    와 같이 주어지면,
    Figure 112013038878541-pat00085
    를 최대화하는 회전 행렬
    Figure 112013038878541-pat00086
    과 변위벡터
    Figure 112013038878541-pat00087
    은
    Figure 112013038878541-pat00088
    ,
    Figure 112013038878541-pat00089
    (6)
    로 주어지는 보정 방법.
  14. 삼각형 구멍(triangular hole)을 갖는 평면 부재로 이루어진 보정 구조물(calibration structure)을 이용한 카메라(camera)와 레이저 거리 센서(laser range finder, LRF)의 보정 방법으로서,
    상기 보정 구조물의 자세를 상기 레이저 거리 센서의 주사면(scan plane)이 상기 보정 구조물과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 자세로 조정하고, 상기 보정 구조물의 자세 변경 회수를 나타내는 인덱스(index) i를 i=1로 설정하는 제1단계;
    레이저 스캔 데이터와 카메라 데이터를 획득하는 제2단계;
    카메라 보정을 수행하는 제3단계;
    레이저 스캔 데이터 중 레이저 주사면(scan plane)이 상기 보정 구조물 상에 교차된 부분에 대응되는 데이터를 검출하는 제4단계;
    상기 보정 구조물 상의 직선 탐색(line search)을 통해 상기 제4단계에서 검출된 데이터의 세계 좌표계(world coordinate system)에 대한 실제 위치를 나타내는 직선을 검출하는 제5단계;
    상기 제5단계에서 검출된 직선 상에서 제어점들(control points)을 선택하는 제6단계;
    상기 제6단계에서 선택된 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표를 결정하는 제7단계;
    상기 제6단계에서 선택된 제어점들에 대한 카메라 좌표계 기준 3차원 좌표를 결정하는 제8단계;
    인덱스 i가 미리 지정한 자세 변경 회수 M(M>1인 정수)과 동일한지 판단하여, 동일하지 않으면 제10단계로 진행하고, 동일하면 제11단계로 진행하는 제9단계;
    상기 보정 구조물의 자세를 상기 레이저 거리 센서의 주사면(scan plane)이 상기 보정 구조물과 교차하면서 삼각형 구멍을 통과하는 조건을 만족하는 자세이면서 이전 자세들과는 다른 자세로 조정하고, 인덱스 i=i+1로 설정하고, 상기 제2단계로 진행하는 제10단계;
    M개의 자세로부터 획득한 M개의 데이터 세트(set)로부터 결정된 상기 카메라와 상기 레이저 거리 센서 사이의 3차원-3차원 좌표 대응관계를 이용하여 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 관계를 계산하는 제11단계;
    를 포함하는 보정 방법.
  15. 제14항에 있어서,
    상기 제5단계의 직선은,
    세계 좌표계에 대한 실제 위치를 알고 있는 상기 보정 구조물 상에서 기울기와 절편(gradient and intercept)을 변경하면서 가상의 직선을 생성하여 상기 제4단계에서 검출된 데이터와 비교하고, 생성된 가상의 직선과 상기 검출된 데이터의 거리값(range value) 차이가 가장 작은 직선으로 선택되며,
    상기 가상의 직선은 상기 보정 구조물의 좌측면의 위치를 직선 생성을 위한 원점으로 설정하여, 기울기의 변경 범위를 0에서 π/2까지로 하고, 절편의 변경 범위는 0부터 상기 보정 구조물의 삼각형 구멍의 높이까지로 하여, 기울기와 절편을 변경하면서 생성하며,
    상기 제어점들은 상기 제5단계에서 검출된 직선 상에서 등간격으로 선택되는 보정 방법.
  16. 제14항에 있어서,
    상기 제7단계에서 상기 제어점들에 대한 레이저 거리 센서 좌표계 기준 3차원 좌표는,
    레이저 스캔 데이터 중 레이저 주사면이 상기 보정 구조물 상에 교차된 부분에 대응되는 데이터만을 이용하여 직선을 피트하고(fit a line), 이 피트된 직선(fitted line)으로부터 상기 제어점들의 레이저 거리 센서 좌표계 기준 3차원 좌표가 계산되는 보정 방법.
  17. 제14항에 있어서,
    상기 제8단계에서 상기 제어점들에 대한 카메라 좌표계 기준 3차원 좌표는,
    카메라 보정 정보를 이용하여 결정되며, 상기 카메라 보정 정보는 상기 보정 구조물 상에 표시된 체스보드 패턴(chessboard patterns)으로 식별되는 카메라 보정용 제어점들을 이용한 카메라 보정을 수행하여 얻은 정보인 보정 방법.
  18. 제14항에 있어서,
    상기 제11단계의 카메라 좌표계와 레이저 거리 센서 좌표계 사이의 변환 관계는, M개의 자세로부터 획득한 M개의 데이터 세트(set)를 이용하여 비선형 최적화(nonlinear optimization)를 수행하는 알고리즘(algorithm)을 적용하여 계산되는 보정 방법.
KR1020130049380A 2013-05-02 2013-05-02 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법 KR101379787B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130049380A KR101379787B1 (ko) 2013-05-02 2013-05-02 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130049380A KR101379787B1 (ko) 2013-05-02 2013-05-02 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법

Publications (1)

Publication Number Publication Date
KR101379787B1 true KR101379787B1 (ko) 2014-03-31

Family

ID=50649853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130049380A KR101379787B1 (ko) 2013-05-02 2013-05-02 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법

Country Status (1)

Country Link
KR (1) KR101379787B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068209A (ko) * 2016-12-13 2018-06-21 전자부품연구원 라이다 장치
KR20180131033A (ko) * 2017-05-31 2018-12-10 재단법인대구경북과학기술원 카메라와 레이더의 캘리브레이션 장치 및 방법
US10628968B1 (en) 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset
CN111815712A (zh) * 2020-06-24 2020-10-23 中国地质大学（武汉） 一种高精度的相机-单激光仪联合标定方法
CN111862043A (zh) * 2020-07-21 2020-10-30 北京林业大学 一种基于激光和机器视觉的蘑菇检测方法
CN112229385A (zh) * 2020-10-04 2021-01-15 山东理工大学 一种用3个三维平面基元直接求解扫描点云地理化参数的方法
CN116973894A (zh) * 2023-07-31 2023-10-31 苏州如涵科技有限公司 一种线激光测距传感器的标定方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269119B1 (ko) 1997-08-14 2000-11-01 윤종용 광비젼센서의캘리브레이션방법및장치
KR20090049720A (ko) * 2007-11-14 2009-05-19 삼성중공업 주식회사 Ｘ―ｙ스테이지를 이용한 엘브이에스 캘리브레이션 자동화방법
KR20090128177A (ko) * 2008-06-10 2009-12-15 삼성중공업 주식회사 비접촉 계측 시스템의 캘리브레이션 장치
KR101033167B1 (ko) 2011-01-31 2011-05-11 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269119B1 (ko) 1997-08-14 2000-11-01 윤종용 광비젼센서의캘리브레이션방법및장치
KR20090049720A (ko) * 2007-11-14 2009-05-19 삼성중공업 주식회사 Ｘ―ｙ스테이지를 이용한 엘브이에스 캘리브레이션 자동화방법
KR20090128177A (ko) * 2008-06-10 2009-12-15 삼성중공업 주식회사 비접촉 계측 시스템의 캘리브레이션 장치
KR101033167B1 (ko) 2011-01-31 2011-05-11 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068209A (ko) * 2016-12-13 2018-06-21 전자부품연구원 라이다 장치
KR102216690B1 (ko) * 2016-12-13 2021-02-17 한국전자기술연구원 라이다 장치
KR20180131033A (ko) * 2017-05-31 2018-12-10 재단법인대구경북과학기술원 카메라와 레이더의 캘리브레이션 장치 및 방법
KR102016636B1 (ko) * 2017-05-31 2019-09-02 재단법인대구경북과학기술원 카메라와 레이더의 캘리브레이션 장치 및 방법
US10628968B1 (en) 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset
CN111815712A (zh) * 2020-06-24 2020-10-23 中国地质大学（武汉） 一种高精度的相机-单激光仪联合标定方法
CN111815712B (zh) * 2020-06-24 2023-12-15 中国地质大学（武汉） 一种高精度的相机-单激光仪联合标定方法
CN111862043A (zh) * 2020-07-21 2020-10-30 北京林业大学 一种基于激光和机器视觉的蘑菇检测方法
CN112229385A (zh) * 2020-10-04 2021-01-15 山东理工大学 一种用3个三维平面基元直接求解扫描点云地理化参数的方法
CN116973894A (zh) * 2023-07-31 2023-10-31 苏州如涵科技有限公司 一种线激光测距传感器的标定方法及系统

Similar Documents

Publication Publication Date Title
KR101379787B1 (ko) 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법
CN109029257B (zh) 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法
KR100948161B1 (ko) 카메라 보정 장치
US9457470B2 (en) Robot system and method for calibration
US7659921B2 (en) Distance measurement apparatus, distance measurement method, and distance measurement program
CN104848858B (zh) 二维码以及用于机器人的视觉-惯性组合导航系统及方法
KR102268151B1 (ko) 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법
US11544860B2 (en) Combined point cloud generation using a stationary laser scanner and a mobile scanner
JP4234059B2 (ja) カメラキャリブレーション方法およびカメラキャリブレーション装置
JP2022089269A (ja) キャリブレーション装置およびキャリブレーション方法
US8941732B2 (en) Three-dimensional measuring method
JP2021193400A (ja) アーチファクトを測定するための方法
CN110702101A (zh) 一种面向电力巡检场景的定位方法及系统
JP2007212187A (ja) ステレオ写真計測装置、ステレオ写真計測方法、及びステレオ写真計測プログラム
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
JP2016148649A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
KR101634283B1 (ko) 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
JP2015007639A (ja) 情報処理装置、情報処理方法およびプログラム
JP2004028811A (ja) 監視システムの距離補正装置および距離補正方法
KR101626374B1 (ko) 모서리 기반 코너 추정을 이용한 정밀 위치 보정 방법
KR20240056516A (ko) 카메라 교정을 위한 카메라 모델을 생성하는 방법 및 시스템
JPH09329440A (ja) 複数枚の画像の各計測点の対応づけ方法
Mazzei et al. A lasers and cameras calibration procedure for VIAC multi-sensorized vehicles

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
FPAY Annual fee payment
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170309

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180307

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee