KR101565900B1 - 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법 - Google Patents

Abstract

본 발명은 각각 촬영된 이미지 정보 및 거리 정보를 이용하여 좌표변환을 하는 캘리브레이션 장치 및 방법을 제공하며, 꼭지점을 포함하는 평판부재를 이용하고, 상기 거리 정보로부터 예측된 꼭지점과 상기 이미지 정보로부터 추출된 꼭지점으로 이루어지는 대응쌍을 이용하여 좌표변화를 구현한다. 이에 따라, 레이저 센서 및 카메라와 상기 평판부재가 배치되는 위치의 한계를 극복할 수 있다.

Description

카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법{DEVICE, METHOD FOR CALIBRATION OF CAMERA AND LASER RANGE FINDER}

본 발명은 지형 및 사물 인지를 위한 이종 센서 간 캘리브레이션에 관한 발명이다.

각도 및 거리 정보를 가지는 레이저 센서(또는 레이저 거리센서)의 사용 범위는 로봇 및 자율이동차량 등의 분야의 발전에 따라 점점 넓어지고 있다. 산업분야 또는 군수분야는 더 많은 정보를 활용하기 위하여 최근에 상기 레이저 센서와 함께 카메라 이미지를 많이 사용한다. 다만, 레이저 센서와 카메라를 함께 사용하기 위해서는 레이저 센서와 카메라 간의 대응 관계를 알아내는 캘리브레이션이 필수적으로 선행되어야 한다.

거리를 측정하는 레이저 센서와 컬러(밝기) 영상을 획득하는 2D CCD 카메라 간 캘리브레이션을 수행하기 위하여, 새로운 모양의 보드를 활용하는 방법이 개발되었다. 예를 들어, 사각형 평판에 일정 반경의 구멍을 뚫어 해당 구멍에서 거리 (깊이)의 차이에 의한 레이저 스캔 데이터와 칼라 영상의 밝기의 변화에 의한 구멍을 검출함으로써 자동적인 대응점 검출을 하는 방법이다. 다만, 판 위의 구멍을 비스듬히 지나 반사되어 되돌아오는 레이저가 종종 평판의 뒷면에 부딪치어 돌아오지 않는 경우가 발생하였다.

이에 두 개의 사각형 평판을 예각(acute angle)의 V형으로 붙이고 두 평판의 가장자리에 투영된 거리 센서의 3D 포인트 클라우드의 거리를 최소화하는 방향으로 변환 매트릭스의 파라미터를 결정하는 방법이 제안되었으나, 레이저 거리 데이터와 밝기의 영상 데이터의 직접적인 대응점을 기반으로 하지 않아 과정이 복잡하거나 인간의 개입을 필요로 하는 단점이 있다.

레이저 거리 데이터와 칼라 영상 데이터의 좀 더 정확한 대응점 검출을 위해 가시적인 IR (infra-red) 선을 사용하여 칼라 영상에서 직접 거리와 밝기의 대응점을 검출하는 방법이 발표 되었다. 다만, 방법은 IR 센서가 구비되어야 가능하다는 단점이 있다.

보드의 기하학적인 특징을 이용하여 레이저 거리 데이터와 영상 데이터의 직접적인 대응점을 검출하는 방법이 제안되었다. 예를 들어 삼각형의 보드를 사용하여 취득한 거리 레이저 데이터와 이미 알고 있는 삼각형 밑면의 길이의 비율로부터 카메라 영상에서 취득한 삼각형 모양의 두 선분을 지나는 양쪽 두 점을 유추할 수 있으며 이들 대응점을 이용하여 좌표축 변환식의 값들 계산할 수 있다

다만, 상기 방법은 삼각형 평면 보드의 밑면이 레이저 거리 센서의 주사면과 평행을 이루어야 한다는 조건과 삼각형의 면에 대해 단일 레이저 스캔 데이터를 이용한다는 한계가 있다.

이에 본 발명의 삼각형 보드가 수평으로 배치되는 등의 제약이 없는 3D 레이저 스캐너와 2D 영상 카메라의 캘리브레이션 장치를 제공하는 것에 있다.

이와 같은 본 발명의 과제를 달성하기 위한 일 실시예에 따른 캘리브레이션 장치는 이미지 정보를 촬영하는 카메라, 거리 정보를 감지하는 레이저 센서, 상기 이미지 정보 및 거리 정보의 대응관계를 산출하여 상기 카메라 및 레이저 센서의 캘리브레이션을 수행하는 캘리브레이션 모듈을 포함하고, 상기 캘리브레이션 모듈은 복수의 꼭지점을 포함하는 다각형으로 이루어지는 평판부재 및 상기 거리 정보를 이용하여 상기 복수의 꼭지점들을 예측하고, 상기 예측된 꼭지점들을 상기 이미지 정보에 포함되는 평판부재의 꼭지점과 대응시켜 상기 이미지 정보와 상기 거리 정보 사이에서 좌표를 변환하는 제어부을 포함한다.

본 발명과 관련된 일 예로서, 상기 평판 부재는 삼각형 또는 마름모 형태로 이루어진다.

본 발명과 관련된 일 예로서, 상기 제어부는 상기 꼭지점을 예측하기 위하여 상기 거리 정보에 포함되는 복수의 평면 중 하나의 평면을 선택하며, 상기 하나의 평면은, 상기 복수의 평면 중 기 설정된 거리 내에 위치하고 상기 평판부재에 해당되는 가장 많은 포인트를 포함한다.

본 발명과 관련된 일 예로서, 상기 제어부는 상기 하나의 평면의 포인트들을 상기 평면에 수직하도록 정사영 시키고, 상기 정사영된 포인트들을 이용하여 상기 평판부재의 꼭지점을 예측한다.

본 발명과 관련된 일 예로서, 상기 제어부는 상기 정사영된 포인트들을 이용하여 복수의 빗면에 대한 방정식을 검출하고, 상기 복수의 방정식의 연산을 통하여 상기 꼭지점을 산출한다.

본 발명과 관련된 일 예로서, 상기 제어부는 상기 꼭지점들 사이의 길이와 상기 평판부재의 모서리의 길이를 비교하여, 상기 길이들의 차이가 오차범위내에 해당되는지 판단한다.

본 발명과 관련된 일 예로서, 상기 제어부는 상기 이미지 정보에서 연산된 이미지 좌표축에 대한 제1 위치 데이터와 상기 예측된 꼭지점들에 의하여 연산된 좌표축에 대한 제2 위치데이터를 이용하여 복수의 대응점을 산출한다.

본 발명과 관련된 일 예로서, 상기 제어부는 상기 대응점이 기 설정된 기준개수 이상 산출되는지 여부를 판단하고, 상기 대응점이 상기 기준개수 미만인 경우, 상기 거리 정보 및 상기 이미지정보를 다시 수신한다.

본 발명과 관련된 일 예로서, 상기 제어부는 상기 제1 및 제2 위치데이터를 이용하여 상기 이미지 정보 및 상기 거리정보 사이에서의 변환행렬을 산출하고, 상기 변환행렬을 이용하여 좌표변환을 수행한다.

이와 같은 본 발명의 과제를 달성하기 위한 일 실시예에 따른, 이미지 정보를 촬영하는 카메라 및 거리 정보를 감지하는 레이저 센서의 사이에서 좌표변환을 수행하는 캘리브레이션 방법은, 상기 카메라 및 상기 레이저 센서를 이용하여 평판부재를 촬영하는 단계, 상기 평판부재의 거리 정보로부터 복수의 꼭지점을 예측하는 단계, 상기 예측된 꼭지점과 상기 평판부재의 이미지 정보에 포함되는 꼭지점을 이용하여 적어도 하나의 대응쌍을 생성하는 단계, 상기 대응쌍을 이용하여 변환행렬을 생성하는 단계 및 상기 변환행렬을 이용하여 좌표변환을 수행하는 단계를 포함한다.

본 발명과 관련된 일 예로서, 상기 복수의 꼭지점을 예측하는 단계는 상기 거리 정보로부터 하나의 평면을 검출하는 단계. 상기 검출된 평면 상에 상기 거리 정보에 포함되는 포인트들을 정사영시키는 단계 및 상기 정사영된 포인트들을 이용하여 복수의 빗면을 산출하는 단계를 포함한다.

본 발명과 관련된 일 예로서, 상기 대응쌍이 기 설정된 기준개수 이상인지 판단하는 단계를 더 포함하고, 상기 대응쌍이 상기 기준개수 미만인 경우 상기 카메라 및 상기 레이저 센서로부터 각각 상기 이미지 정보 및 거리 정보를 다시 수신한다.

상기와 같은 구성의 본 발명에 의하면, 평판부재 자체의 형상을 이용하여 평판부재와 상기 평판부재를 촬영하는 카메라 및 레이저 센서의 위치를 보다 간편하게 변환행렬을 위한 데이터를 구할 수 있다.

이에 따라, 평판부재의 위치에 따른 오차를 최소화하고 보다 용이하게 레이저 스캐너와 카메라를 캘리브레이션 할 수 있다.

도 1a는 본 발명의 일 실시예에 따르는 캘리브레이션 시스템을 나타내는 개념도.
도 1b는 도 1a의 캘리브레이션 시스템의 구성도.
도 2는 본 발명의 일 실시 예에 따른 캘리브레이션 장치를 나타내는 개념도.
도 3은 본 발명에 따른 캘리브레이션 방법을 설명하기 위한 흐름도.
도 4는 3D 포인트 클라우드에서 대응쌍에 이용되는 삼각형의 세 꼭지점 예측 방법에 대한 흐름도.
도 5a 및 도 5b는 정렬된 포인트들을 연산하는 방법을 설명하기 위한 개념도.
도 6은 정렬된 3D 포인트 클라우드에서 삼각형의 모서리와 위쪽 꼭지점을 검출하는 방법에 대한 개념도.
도 7은 대응쌍에 이용되는 2D 이미지와 3D 포인트 클라우드에서 삼각형 보드의 세 꼭지점에 대한 개념도.

이하, 본 발명과 관련된 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법에 관하여 도면을 참조하여 보다 상세하게 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다. 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

도 1a는 본 발명의 일 실시예에 따르는 캘리브레이션 시스템을 나타내는 개념도이고, 도 1b는 도 1a의 캘리브레이션 시스템의 구성도이다. 도 2는 본 발명의 일 실시 예에 따른 캘리브레이션 장치를 나타내는 개념도이다.

본 발명에 따른 캘리브레이션 시스템은 레이저 스캐너(11), 카메라(12), 제어부 모듈(S) 및 평판부재(13)를 포함한다. 상기 레이저 스캐너(11)는 복수이 장치로 이루어지고, 상기 복수의 장치들은 하나의 축을 기준으로 배열된다. 배열된 상기 레이저 스캐너(11)와 상기 카메라(12)의 위치는 도면에 도시된 바와 같이 기 설정된 위치에 고정된다. 상기 레이저 스캐너(11)와 상기 카메라(12)는, 상기 레이저 스캐너(11)와 상기 카메라(12)에 의한 데이터가 상기 평판부재(13) 상에서 획득되도록 고정된다. 상기 레이저 스캐너(11)와 상기 케마라(12)는 상대적으로 고정된 거리를 유지하면서, 이동형 로봇본체(미도시)에 장착될 수 있다.

상기 레이저 스캐너(11)는 감지 대상체들의 거리 정보를 감지하며, 전방을 향하여 레이저 빔을 주사하여 대상 물체로부터 반사된 레이저를 수광하는 3D 레이저 스캐너의 형태로 구현될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니며, 레이저 센서(10)는 3D 포인트 클라우드를 생성할 수 있는 구동되는 2D 레이저 스캐너나 , 대상물의 거리 정보를 획득할 수 있는 FMCW(Frequency Modulated Continuous Wave) 레이더 또는 3D 레이저 스캐너 등이 될 수 있다.

상기 카메라(12)는 이미지 정보를 촬영하며, CCD(Charge Coupled-Device) 카메라, 복수의 카메라가 하나의 마운트에 고정되는 스테레오 카메라 등의 형태를 가질 수 있다.

상기 제어부 모듈(S)은 상기 레이저 스캐너(11)와 상기 카메라(12)로부터 데이터를 수신하여 캘리브레이션을 수행한다. 상기 제어부 모듈(S)은 상기 이동형 로봇본체(미도시)에 탑재 될 수 있다.

상기 배열레이저 스캐너(11)로부터 제어부(S)로 수신된 데이터는 3D포인트 클라우드(30)로 이루어지며, 3D포인트 클라우드(30)는 레이저 수광 센서로부터 반사된 물체의 표면까지의 거리를 레이저 센서의 원점 또는 공간상의 임의의 원점을 기준으로 3D 좌표계로 나타낸 포인트들의 집합을 의미한다. 다만, 본 발명의 거리 데이터는 3D 레이저 스캐너(11)의 데이터에 한정되는 것은 아니며 빛의 패턴의 크기를 이용하는 방식이나 빛의 속도를 재는 방식의 깊이 카메라(Depth camera)등 일반적인 3D 거리 센서의 데이터가 될 수도 있다.

상기 카메라(12)로부터 제어부(S)로 수신되는 데이터(20)는 2D 이미지 정보이며, 이 때 사용되는 카메라는 도 1a에 도시된 것처럼 복수일 수도 있다. 또한 2D 이미지 정보(20)는 컬러이미지 정보가 아닌 흑백이미지 등 평판부재(13)의 기하학적인 정보를 표현 가능한 2D 이미지들이 될 수도 있다.

상기 평판부재(13)는 상기 레이저 센서(11)의 감지범위(측정범위)와 상기 카메라(12)의 촬영범위 내에 배치된다. 상기 평판부재(13)는 배열레이저 스캐너(11)에서 생성된 3D 포인트 클라우드(30)와 카메라(12)에서 생성된 2D 이미지(20)에서 각각 포함될 수 있는 공간적 위치에 배치된다. 평판부재(13)는 모서리가 직선으로 이루어져있고, 맞닿은 빗변들이 예각을 이루는 형태로 이루어 질 수 있다. 예를 들어 삼각형이나 마름모형이 될 수 있다.

다만, 상기 레이저 센서(11)의 데이터 스캔 방향이 서로 평행한 경우 상기 평판부재(13)는 상기 평판부재(13)을 이루는 두 개 이상의 모서리가 상기 스캔 방향과 평행하게 배치되는 것이 제한된다.

하나의 상기 평판부재의 배치에서 생성된 3D 포인트 클라우드(30)와 2D 이미지(20)는 한 쌍의 데이터로 정의된다. 상기 한 쌍의 데이터에는 촬영 당시 사용한 평판부재 형태와 개수에 따라서 검출되는 대응쌍의 개수가 다르다. 상기 대응쌍은 전체 검출된 평판부재의 꼭지점 수의 합과 같을 수 있다.

예를 들어, 상기 평판부재(13)가 삼각형 모양인 경우, 상기 데이터 쌍에서는 3개의 대응쌍이 형성될 수 있다. 두 개의 마름모 모양의 평면부재를 사용한 상기 데이터 상에서는 8개의 대응쌍이 형성될 수 있다. 설명의 편의를 위하여 상기 평판부재가 삼각형 모양인 것으로 설명한다.

도 3은 본 발명에 따른 캘리브레이션 방법을 설명하기 위한 흐름도이고, 도 4는 3D 포인트 클라우드에서 대응쌍에 이용되는 삼각형의 세 꼭지점 예측 방법에 대한 흐름도이다. 도 5a 및 도 5b는 정렬된 포인트들을 연산하는 방법을 설명하기 위한 개념도이다.

먼저 상기 제어부 모듈(S)은 3D 포인트 클라우드를 수신한다(S10). 상기 제어부 모듈(S)는 수신한 3D 포인트 클라우드(30)에서 하나의 평판부재 (삼각형 보드)에 대한 복수의 포인트들을 검출한다. 예를 들어, 두 개의 평판부재에 대한 데이터가 포함된 3D 포인트 클라우드(30)에서 하나의 평판부재에 대한 포인트를 검출할 수 있다.

또한, 상기 평판부재(삼각형 보드) 영역에 대한 데이터를 정렬한다(S30). 상기 평판부재 영역에 대한 데이터를 정렬하여 상기 레이저 센서(12)에서 생성한 노이즈를 줄일 수 있다.

도 4 및 도 5a를 참조하면, 상기 평판부재(삼각형 보드)에 해당하는 평면을 검출한다(S21), 즉 상기 제어부 모듈(S)은 상기 수신된 평판부재에 해당하는 포인트들에서 상기 평판부재에 해당하는 평면(P)를 검출한다.

예를 들어, 상기 제어부 모듈(S)은 상기 평면(P)를 검출하기 위하여 상기 평판부재에 해당하는 포인트들 중 임의의 3개의 포인트를 선택한다. 상기 제어부 모듈(S)은 상기 3개의 포인트를 포함한 평면으로부터 일정거리 내의 상기 평판부재에 해당하는 포인트 수가 최대가 되는 평면을 검출하도록 반복하여 연산한다.

상기 제어부 모듈(S)은 상기 검출된 평판부재 평면(P) 위에 상기 평판부재에 해당하는 포인트들(30)을 평면에 수직하도록 정사영(orthogonal projection)시켜 정렬된 포인트들(40)을 얻을 수 있다(S22). 다만, 각 포인트들의 발광점의 위치가 추정 가능하다면, 레이저 발광부에 평행하도록 정사영을 나타낼 수 있다.

도 5b를 참조하면, 상기 제어부 모듈(S)은 상기 평판부재(삼각형 보드)영역에 해당하는 3D 포인트들 중 일부(30a, 30b, 30c, 30d)에 의하여 검출된 평면(P)에 각각 정사영된 정렬된 포인트(40a, 40b, 40c, 40d)를 연산한다.

상기 제어부 모듈(S)은 평판부재(삼각형 보드)의 꼭지점을 예측한다(S30). 도 6은 정렬된 3D 포인트 클라우드에서 삼각형의 모서리와 위쪽 꼭지점을 검출하는 방법에 대한 개념도이고, 이를 참조하여 꼭지점을 예측하는 방법을 보다 구체적으로 설명한다.

상기 제어부 모듈(S)은 상기 정렬된 포인트들(40a, 40b, 40c, 40d) 중 상기 평판부재의 좌측빗면에 해당하는 3D직선 방정식을 검출하고(S31), 상기 평판부재의 우측 빗면에 해당하는 3D 직선방정식을 검출한다(S32).

상기 3D 직선 방정식을 검출하기 위하여 상기 좌측 빗면에 해당하는 포인트들(41)을 검출하고 상기 우측 빗면에 해당하는 포인트들(42)을 검촐한다.

예를 들어, 상기 레이저 센서(11)가 서로 평행한 동일 방향을 스캔하는 레이저 센서장치들로 구성되어 있는 경우, 상기 정렬된 포인트들(40a, 40b, 40c, 40d) 중 상기 각 센서 스캔라인에서 가장 좌측에 해당하는 포인트들을 검출하여 상기 좌측 빗면에 해당하는 포인트들(41)을 검출할 수 있다. 또한, 상기 정렬된 포인트 중 각 센서 스캔라인에서 가장 우측에 해당하는 포인트들을 검출하여 상기 우측 빗면에 해당하는 포인트들(42)을 검출할 수 있다.

상기 삼각형 보드의 좌측 빗면에 해당하는 3D 직선방정식(43)은, 상기 검출한 좌측 빗면에 해당하는 포인트들(41)로부터 임의의 2개를 선택하여, 상기 2개의 포인트를 포함한 3D 직선방정식으로부터 일정거리 내의 상기 좌측 빗면에 해당하는 포인트들(41)의 수가 최대가 되는 3D 직선방정식을 검출하도록 반복하여 연산이 가능하다(S31). 상기 삼각형 보드의 우측 빗면에 해당하는 3D 직선방정식(44)은, 상기 연산 방법(S31)으로 상기 검출한 우측 빗면에 해당하는 포인트들(42)로부터 연산이 가능하다(S32).

다음으로, 상기 제어부 모듈(S)은 상기 삼각형 보드의 위쪽 꼭지점을 산출한다(S33). 상기 꼭지점은 상기 삼각형 보드의 좌측 빗면에 해당하는 3D 직선방정식(43)과 상기 삼각형 보드의 우측 빗면에 해당하는 3D 직선방정식(44)의 교점을 연산하여 산출할 수 있다.

상기 좌측 3D 직선 방정식(43)과 우측 3D 직선 방정식(44)은 각각 동일한 평면(P)위에 존재하는 포인트들(40) 내의 하위 집합들(41, 42)로 구해진 직선들이므로 역시 동일한 평면(P)에 속한다. 따라서 두 직선 43과 44가 평행하지 않다면 교점(51)가 평면(P)위에 존재한다.

또한 상기 좌측 3D 직선 방정식(43)은 삼각형 보드의 좌측 모서리의 위치 정보를 포함하고, 우측 3D 직선 방정식(44)은 삼각형 보드의 좌측 모서리의 위치정보를 포함하므로, 두 직선 방정식의 교점(51)은 삼각형 보드의 위쪽 꼭지점의 3D 위치정보에 해당한다.

상기 제어부 모듈(S)은 삼각형 보드의 좌측 아랫쪽 꼭지점(52)의 위치정보와 우측 아랫쪽 꼭지점(53)의 위치정보를 연산한다(S34). 예를 들어, 상기 좌측 3D 직선 방정식(43)의 하위 집합이며, 한쪽 끝점을 상기 두 직선의 교점(51)으로 하는 3D 선분을 가정한다. 이 때 삼각형 보드의 위쪽 꼭지점과 좌측 아래쪽 꼭지점 사이의 거리는 좌측 모서리의 길이와 같다. 따라서 상기 선분의 길이가 삼각형 보드의 왼쪽 모서리의 길이와 같다고 가정하고, 좌측 아래쪽 꼭지점에 해당하는 선분의 끝점(52)의 위치정보를 연산한다. 상기 우측 아래쪽 꼭지점(53)의 위치정보도 같은 연산 방법으로, 상기 두 직선의 교점(51)과 삼각형 보드의 우측 모서리의 길이를 이용하여 연산한다.

상기 제어부 모듈(S)은 기 연산한 꼭지점들(51, 52, 53)의 위치 정보의 적합성을 판별한다(S35). 예를 들어, 상기 검출한 삼각형 보드의 좌측 아래쪽 꼭지점(52)과 우측 아래쪽 꼭지점(53) 사이의 거리는 연산된 삼각형 보드의 아래쪽 모서리의 길이이다. 실제 삼각형 보드의 아래쪽 모서리의 길이와의 크기차를 산출하여, 임계값 이상의 오차가 생기는 경우, 상기 연산단계(S20, S30)에서 평면(P)과 직선 방정식들(43, 44)을 검출하는 조건들을 변경하여 오차가 임계값 이하가 될 때까지 반복 수행할 수 있다.

한편, 상기 제어부 모듈(S)은 2D 이미지(20)를 수신한다(S20). 상기 재어부 모듈(S)은 상기 수신된 2D 이미지(20)에서 상기 평판부재의 꼭지점의 위치 데이터를 검출한다(S50). 예를 들어, 상기 삼각형 보드를 사용한 경우, 3개의 꼭지점의 2D 위치 데이터를 검출할 수 있다.

상기 제어부 모듈(S)은 두 꼭지점의 대응쌍을 형성한다(S60). 도 7은 대응쌍에 이용되는 2D 이미지와 3D 포인트 클라우드에서 삼각형 보드의 세 꼭지점에 대한 개념도이다. 도 3 및 도 7을 참조하여, 대응쌍을 형성하는 방법을 설명한다.

상기 평판부재(13)가 삼각형 보드인 경우 상기 삼각형 보드의 세 꼭지점들은 2D이미지에서 연산된 2D 이미지 좌표축 2개에 대한 제1 위치 데이터(21, 22, 23)와 상기 3D 포인트 클라우드에서 연산된 3D 이미지 좌표축 3개에 대한 제2 위치데이터(51, 52, 53)로 나타낼 수 있다.

삼각형 보드의 위쪽 꼭지점은 2D 위치데이터의 2개 좌표축의 위치 정보(21)와 3D 포인트 클라우드의 3개 좌표축의 위치정보(51)를 가진다.

상기 제어부 모듈(S)은 상기 형성된 대응쌍의 개수가 변환행렬을 산출할 수 있는 기준값에 충분한지 판단한다(S70).

상기 변환 행렬은 3D 포인트 클라우드의 좌표값을 2D 이미지 좌표값으로 변환하는 행렬을 의미한다. 만약, 변환 행렬이 3X4의 크기의 행렬이면, 대응쌍의 수는 12개 이상일 때 변환 행렬을 산출 가능할 것이다.

상기 대응쌍이 충분하지 아니한 경우, 상기 제어부 모듈(S)은 상기 3D 병렬레이저 스캐너를 통해 생성된 포인트 클라우드를 다시 수신하고(S10), 상기 2D 카메라 영상을 다시 수신한다(S40). 즉, 상위 단계들(S10 내지 S50)을 다시 수행한다.

상기 제어부 모듈(S)은 상기 대응쌍들로부터 변환행렬을 생성한다(S60). 상기 제어부 모듈(S)은 3D 포인트 클라우드의 좌표값은 2D 이미지 좌표값으로 변환하는 행렬과 상기 변환행렬의 역행렬에 해당하는 2D 이미지 좌표값을 3D 포인트 클라우드의 좌표값으로 변환하느 역변환행렬을 구할 수 있다. 상기 변환행렬은 카메라의 내부변수, 외부변수 및 카메라와 레이저 센서간의 좌표변환 행렬을

포함하며, 이를 통하여 이미지 정보 및 거리 정보의 사이에서 직접적인 좌표 변환이 가능하게 된다.

상기 제어부 모듈(S)은 상기 변환행렬 및 상기 역변환행렬을 이용하여 2D 이미지 데이터와 3D 포인트 클라우드 데이터의 캘리브레이션을 수행한다(S90).

기 생성된 변환 행렬을 이용하여 상기 3D 포인트 클라우드(30)의 좌표축에서 상기 2D 이미지(20)의 좌표축으로 변환할 수 있다. 또한 상기 단계에서(S80) 연산된 역 변환 행렬을 이용하여 2D 이미지(20)의 좌표축에서 상기 3D 포인트 클라우드(30)의 좌표축으로 변환 가능하다.

상기와 같은 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 방법은 위에서 설명된 실시예들의 구성과 방법에 한정되는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성 될 수 있다.

Claims (12)

1. 이미지 정보를 촬영하는 카메라;
   거리 정보를 감지하는 레이저 센서;
   상기 이미지 정보 및 거리 정보의 대응관계를 산출하여 상기 카메라 및 레이저 센서의 캘리브레이션을 수행하는 캘리브레이션 모듈을 포함하고,
   상기 캘리브레이션 모듈은,
   복수의 꼭지점을 포함하는 다각형으로 이루어지는 평판부재; 및
   상기 이미지 정보와 상기 거리 정보 사이에서 좌표를 변환하는 제어부를 포함하며,
   상기 제어부는,
   상기 거리 정보를 이용하여 평판부재에 위치한 포인트들을 추출해내고, 상기 포인트들을 이용하여 상기 평판부재의 외곽 선분을 구성하는 복수의 빗면이 교차함으로써 만들어지는 복수의 꼭지점을 산출해내어 상기 이미지 정보에서 추출해낸 상기 평판부재의 복수의 꼭지점과 대응시키는 것을 특징으로 하는 캘리브레이션 장치.
2. 제1항에 있어서.
   상기 평판 부재는 삼각형 또는 마름모 형태로 이루어지는 것을 특징으로 하는 캘리브레이션 장치.
3. 제1항에 있어서, 상기 제어부는 상기 꼭지점을 예측하기 위하여 상기 거리 정보에 포함되는 복수의 평면 중 하나의 평면을 선택하며,
   상기 하나의 평면은, 상기 복수의 평면 중 기 설정된 거리 내에 위치하고 상기 평판부재에 해당되는 가장 많은 포인트를 포함하는 것을 특징으로 하는 캘리브레이션 장치.
4. 제3항에 있어서,
   상기 제어부는 상기 하나의 평면의 포인트들은 상기 평면에 수직하도록 정사영시키고, 상기 정사영된 포인트들을 이용하여 상기 평판부재의 꼭지점을 예측하는 것을 특징으로 하는 캘리브레이션 장치.
5. 제4항에 있어서,
   상기 제어부는 상기 정사영된 포인트들을 이용하여 복수의 빗면에 대한 방정식을 검출하고, 상기 복수의 방정식의 연산을 통하여 상기 꼭지점을 산출하는 것을 특징으로 하는 캘리브레이션 장치.
6. 제3항에 있어서,
   상기 제어부는 상기 꼭지점들 사이의 길이와 상기 평판부재의 모서리의 길이를 비교하여, 상기 꼭지점들 사이의 길이와 상기 모서리의 길이 차이가 오차범위 내에 해당되는지 판단하는 것을 특징으로 하는 캘리브레이션 장치.
7. 제1항에 있어서,
   상기 제어부는 상기 이미지 정보에서 연산된 이미지 좌표축에 대한 제1 위치데이터와 상기 예측된 꼭지점들에 의하여 연산된 좌표축에 대한 제2 위치데이터를 이용하여 복수의 대응점을 산출하는 것을 특징으로 하는 캘리브레이션 장치.
8. 제7항에 있어서, 상기 제어부는 상기 대응점이 기 설정된 기준개수 이상 산출되는지 여부를 판단하고,
   상기 대응점이 상기 기준개수 미만인 경우, 상기 거리 정보 및 상기 이미지 정보를 다시 수신하는 것을 특징으로 하는 캘리브레이션 장치.
9. 제8항에 있어서, 상기 제어부는 상기 제1 및 제2 위치데이터를 이용하여 상기 이미지 정보 및 상기 거리 정보 사이에서의 변환행렬을 산출하고, 상기 변환행렬을 이용하여 좌표변환을 수행하는 것을 특징으로 하는 캘리브레이션 장치.
10. 이미지 정보를 촬영하는 카메라와, 거리 정보를 감지하는 레이저 센서의 사이에서 좌표변환을 수행하는 캘리브레이션 방법에 있어서,
    상기 카메라 및 상기 레이저 센서를 이용하여 평판부재를 촬영하는 단계;
    상기 거리 정보를 이용하여 평판부재에 위치한 포인트들을 추출해내고, 상기 포인트들을 이용하여 상기 평판부재의 외곽 선분을 구성하는 복수의 빗변이 교차함으로써 만들어지는 복수의 꼭지점을 예측하는 단계;
    상기 예측된 복수의 꼭지점과 상기 이미지 정보에서 추출해낸 상기 평판부재의 복수의 꼭지점을 이용하여 적어도 하나의 대응쌍을 생성하는 단계;
    상기 대응쌍을 이용하여 변환행렬을 생성하는 단계; 및
    상기 변환행렬을 이용하여 좌표변환을 수행하는 단계를 포함하는 캘리브레이션 방법.
11. 제10항에 있어서, 상기 복수의 꼭지점을 예측하는 단계는,
    상기 거리 정보로부터 하나의 평면을 검출하는 단계;
    상기 검출된 평면 상에 상기 거리 정보에 포함되는 포인트들을 정사영시키는 단계; 및
    상기 정사영된 포인트들을 이용하여 복수의 빗면을 산출하는 단계를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
12. 제10항에 있어서,
    상기 대응쌍이 기 설정된 기준개수 이상인지 판단하는 단계를 더 포함하고,
    상기 대응쌍이 상기 기준개수 미만인 경우 상기 카메라 및 상기 레이저 센서로부터 각각 상기 이미지 정보 및 거리 정보를 다시 수신하는 것을 특징으로 하는 캘리브레이션 방법.

Images