KR101626572B1 - 캘리브레이션 장치 및 방법, 캘리브레이션 용 격자판 - Google Patents

Abstract

융합 센서로부터 얻어진 데이터에 대한 캘리브레이션 기술이 개시된다. 본 발명의 일 양상에 따르면, 캘리브레이션 격자판을 고정된 거리에 위치시키고 특정 지점을 지정하여 캘리브레이션을 수행하는 것이 가능하다. 구체적으로, 특정 지점을 포함하는 거리 센서 좌표계 상의 제 1 선분을 획득하고, 제 1 선분에 대응되는 카메라 좌표계 상의 제 2 선분을 획득하며, 제 1 선분과 제 2 선분을 매칭시켜서 캘리브레이션을 수행하는 것이 가능하다.

거리 센서, 카메라, 레인지 데이터, 이미지 데이터, 매칭, 캘리브레이션

Description

캘리브레이션 장치 및 방법, 캘리브레이션 용 격자판{Apparatus and Method for Calibration, and Calibration Rig}

융합 센서로부터 얻어진 데이터에 대한 캘리브레이션 기술과 관련된다.

로봇이 환경을 자동으로 인식하고 능동적으로 장애물 출현 등의 환경 변화에 대처하기 위해서는 거리 센서, 카메라, 거리 및 영상 융합 센서, 초음파 센서 등 환경 인식 용 센서로부터 정확한 데이터 취득이 필수 조건이 된다.

이때 환경 인식을 위해 사용하는 센서가 거리센서와 카메라를 결합한 3D 거리 및 영상 융합 센서일 때, 두 센서로부터 나오는 데이터를 정확하게 결합하는 일이 중요하다.

카메라의 영상 데이터와 3D Range 센서 데이터를 정확하게 결합시키기 위하여 캘리브레이션 과정을 수행하게 된다. 캘리브레이션은 3D 거리 센서의 중심과 카메라의 중심 간의 위치를 정확하게 구하는 과정이라 할 수 있다. 따라서 캘리브레이션이 얼마나 정확하게 수행되었는지에 따라 카메라 영상 데이터와 3D Range 센서 데이터의 데이터 결합 정확도가 결정되는 것이다.

일반적인 캘리브레이션은 격자무늬 패턴의 특별한 도구, 즉 rig를 이용하여 카메라로부터의 rig 영상 데이터와 이에 상응하는 3D Range 센서 데이터를 여러 방향에서 다수 획득함으로써 수행되었다. 이와 같은 캘리브레이션 방법은 센서로부터의 거리 데이터가 모두 정확하다고 가정한 상태로 행해졌다.

하지만 많은 센서들의 경우 rig의 색상 및 거리에 따라서 오프셋 값이 존재하고 있으므로 거리 데이터가 정확하다고 가정하여 캘리브레이션을 수행하는 것은 적절치 못하다. 만약, 캘리브레이션을 수행하려고 한다면 여러 자세 및 거리에 대한 오프셋 값을 구해야 함으로 많은 시간과 노력이 필요하며 오프셋 보정을 위한 고가의 정밀한 추가 장비를 필요로 하므로 추가 비용이 발생하게 된다.

본 명세서에서는, 오프셋 보정이 필요 없고 적은 수의 측정 데이터를 이용하여 캘리브레이션을 수행할 수 있는 기술이 개시된다.

본 발명의 일 양상에 따른 캘리브레이션 장치 및 방법은, 고정된 거리에 위치한 격자판의 캘리브레이션 기준점을 포함하는 선분을, 거리 센서 좌표계 및 카메라 좌표계 상에서 각각 획득한 후, 획득된 선분을 매칭하여 캘리브레이션을 수행하는 것이 가능하다.

본 발명의 일 양상에 따라, 격자판은 특정 부분이 개방될 수 있으며, 캘리브레이션 기준점은 이 개방된 부분 근처에 지정되거나 개방된 부분 근처로부터 추출되는 것이 가능하다.

또한, 본 발명의 일 양상에 따라, 캘리브레이션은 선분을 매칭하기 위해 어느 하나의 선분을 회전이동 및 평행이동 시킨 값을 좌표 변환 파라미터로 이용하는 것이 가능하다.

또한, 본 발명의 일 양상에 따라 거리 센서 좌표계 상의 선분을 제 1 선분, 카메라 좌표계 상의 선분을 제 2 선분이라고 할 수 있으며, 다수의 제 1 선분 및 제 2 선분을 매칭시켜서 캘리브레이션의 정확도를 높이는 것이 가능하다.

개시된 내용에 따르면, 선분 매칭에 의해 캘리브레이션이 수행되기 때문에 캘리브레이션의 정확도를 높이는 것이 가능하다. 또한, 선분은 캘리브레이션 기준점을 포함하며, 캘리브레이션 기준점은 여러 번의 측정 없이 한 번에 검출되기 때문에 캘리브레이션을 위한 계산 시간을 단축시킬 수가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 캘리브레이션 장치의 개략적인 구성을 도시한다.

도 1을 참조하면, 캘리브레이션 장치(100)는 융합센서(101), 데이터 처리부(102), 및 격자판(103)을 포함할 수 있다.

융합센서(101)는 거리 센서와 카메라를 포함할 수 있다.

거리 센서는 주변으로 레이저를 스캐닝하고 반사된 레이저를 검출하여 물체까지의 거리를 측정하는 것이 가능하다. 본 실시 예에서, 레인지 데이터(range data)란 거리 센서에서 얻어진 정보가 될 수 있다.

카메라는 주변을 촬영하여 물체의 영상을 획득하는 것이 가능하다. 본 실시 예에서, 이미지 데이터(image data)란 카메라에 의해 얻어진 정보가 될 수 있다.

데이터 처리부(102)는 레인지 데이터 및 이미지 데이터를 분석하여 어떤 물체에 대한 3차원 좌표값을 계산하는 것이 가능하다.

예를 들어, 데이터 처리부(102)는 레인지 데이터를 분석해서 거리 센서 좌표계 상의 특정 좌표값을 얻는 것이 가능하다. 또한, 데이터 처리부(102)는 이미지 데이터를 분석해서 카메라 좌표계 상의 특정 좌표값을 얻는 것이 가능하다.

또한, 데이터 처리부(102)는 어떤 물체에 대한 거리 센서 좌표계 상의 좌표값과 카메라 좌표계 상의 좌표값을 일치시키는 것이 가능하다. 동일한 물체에 대한 좌표값이라도 거리 센서의 좌표축과 카메라의 좌표축이 일치하지 않기 때문에 이를 일치시켜줄 필요가 있다. 이와 같이 좌표축을 서로 일치시켜주는 과정을 캘리브레이션(Calibration)이라고 한다.

캘리브레이션은 좌표 변환 파라미터를 구해내는 과정이 될 수 있다. 캘리브레이션이 수행되면 동일한 물체에 대한 레인지 데이터와 이미지 데이터가 일치하게 되므로 주변을 보다 정확하게 인식하는 것이 가능하다.

격자판(103)은 캘리브레이션을 위한 기준 물체가 될 수 있다. 격자판(103)에는 대비되는 색상 및 동일한 크기를 갖는 격자무늬가 반복적으로 배치되어 형성되는 것이 가능하다. 격자판(103)은 고정된 거리에 설치될 수 있다. 고정된 거리란 융합센서(101)와의 거리가 캘리브레이션 과정 중 변하지 않는 것을 의미한다.

캘리브레이션을 위해, 융합센서(101)는 격자판(103)의 캘리브레이션 기준점에 관한 레인지 데이터와 이미지 데이터를 획득한다. 여기서 캘리브레이션 기준점이란 격자판(103)의 특정한 지점을 포함할 수 있는데, 자세한 위치에 대해서는 후술한다.

데이터 처리부(102)는 레인지 데이터로부터 캘리브레이션 기준점의 거리 센서 좌표계 상의 좌표값(예컨대, PL)을 계산한다. 또한, 데이터 처리부(102)는 이미지 데이터로부터 캘리브레이션 기준점의 카메라 좌표계 상의 좌표값(예컨대, PC)을 계산한다.

그리고 데이터 처리부(102)는 PL과 PC를 매칭한다. 좌표값을 매칭하기 위해서는 어느 하나의 좌표값을 기준으로 다른 하나의 좌표값을 변환시키는 방법이 이용될 수 있다. 즉, 특정 좌표값을 회전이동 및 평행이동 시키는 것이 가능하다.

그리고 데이터 처리부(102)는 좌표 변환 파라미터를 구한다. 좌표 변환 파라미터는 매칭을 위해 좌표값을 회전이동 및 평행이동 시킨 값이 될 수 있다.

이와 같이 격자판(103)의 캘리브레이션 기준점에 대한 좌표값을 서로 일치시면 그 과정에서 좌표 변환 파라미터가 구해지고 캘리브레이션이 수행되는 것을 알 수 있다.

도 2는 본 발명의 일 실시 예에 따른 격자판(103)을 도시한 것으로, 격자판(103)은 격자부(201), 뚫림부(202), 및 라인부(203)를 포함할 수 있다.

격자부(201)는 격자무늬가 반복적으로 배치되어 형성된다. 각각의 격자무늬의 크기는 동일하고, 그 색상은 서로 대비될 수 있다. 예컨대, 동일한 크기의 검은색 격자와 흰색 격자가 반복적으로 배치되어 격자부(201)를 형성하는 것이 가능하다.

뚫림부(202)는 격자부(201)의 양 측부의 일부가 개방되어 형성된다. 예컨대, 격자무늬를 (M x N) 행렬 구조로 본다면, 2번, 3번 열 및 N-2번, N-3번 열에 해당하는 격자무늬를 개방시켜서 뚤림부(202)를 형성하는 것이 가능하다.

라인부(203)는 한쪽의 뚫림부(202-1)에서 다른 쪽의 뚫림부(202-2)까지 걸쳐서 형성된다. 예컨대, 특정 행에 해당하는 격자무늬들을 모두 흰색으로 만들어서 라인부(203)를 형성하는 것이 가능하다. 이러한 라인부(203)는 두 개 이상 형성될 수 있다.

도 2에서, 캘리브레이션 기준점은 P1, P2, P3, 및 P4와 같이 라인부(203)의 양 단부에 지정되는 것이 가능하다. 이때, 상측 라인부(203-1)의 양 끝부분에 P1 및 P2가 지정되고, 하측 라인부(203-2)의 양 끝부분에 P3 및 P4가 지정될 수 있다.

또한, 각각의 P1, P2, P3, 및 P4는 사전에 지정되는 것 외에 레인지 데이터 및 이미지 데이터를 분석하여 추출하는 것도 가능하다. 예를 들어, 거리 센서가 라인 레이저를 투사하여 한쪽의 뚤림부(202-1)에서 다른 쪽의 뚤림부(202-2)까지 라인부(203)를 스캐닝하여 격자판(103)의 각 지점에 대한 거리를 측정하는 것이 가능하다. 이때, 거리 값의 변화율이 임계 값 이상이 되는 지점을 캘리브레이션 기준점으로 추출할 수 있다. 임계 값은 격자판(103)의 라인부(203)와 뚤림부(202)의 경계지점을 구분하는 기준으로서, 실험이나 시뮬레이션을 통해 결정될 수 있다.

그리고, 거리 센서가 레이저 라인을 투사하였을 때 카메라가 격자판(103)을 촬영하면, 라인부(203)에 투사된 레이저 라인도 함께 촬영이 되므로 이 레이저 라인의 양 끝점을 캘리브레이션 기준점으로 추출하는 것이 가능하다.

캘리브레이션과 관련하여, P1-P2 직선을(또는 P3-P4 직선을) 거리 센서 좌표계 및 카메라 좌표계 상에서 각각 구하고 이렇게 구해진 두 개의 직선을 매칭시켜서 캘리브레이션을 수행하는 것이 가능하다.

도 3은 본 발명의 일 실시 예에 따른 캘리브레이션 장치의 구체적인 구성을 도시한다.

도 3에서, 융합센서(101) 및 격자판(103)은 위에서 설명한 것과 동일하므로 자세한 설명은 생략한다. 다만, 융합센서(101)의 경우, 거리 센서(304)는 라인 레이저를 투사하여 라인부(203)를 스캐닝하는 것이 가능하고, 카메라(305)는 격자판(103)에 표시된 레이저 라인을 포함하는 이미지를 촬영하는 것이 가능하다.

데이터 처리부(102)는 레인지 데이터 처리부(301), 이미지 데이터 처리부(302), 및 파라미터 획득부(303)를 포함할 수 있다.

레인지 데이터 처리부(301)는 거리 센서(304)로부터 레인지 데이터를 수신한다. 레인지 데이터 처리부(301)는 수신된 레인지 데이터를 분석하여 P1 및 P2의 좌표값을 계산한다. 또한, 레인지 데이터 처리부(301)는 P1 및 P2를 직선으로 연결한 제 1 선분을 획득한다. 즉, 본 실시 예에서 제 1 선분이란 거리 센서 좌표계 상에서의 P1-P2를 연결한 직선(또는 P3-P4를 연결한 직선)이 될 수 있다.

제 1 선분의 P1 및 P2를 편의상 PL1 및 PL2라 하겠다. 여기서 L은 이 값이 거리 센서 좌표계 상의 값임을 의미한다.

이미지 데이터 처리부(302)는 카메라(305)로부터 이미지 데이터를 수신한다. 이미지 데이터 처리부(301)는 수신된 이미지 데이터를 분석하여 P1 및 P2의 좌표값을 계산한다. 또한, 이미지 데이터 처리부(301)는 P1 및 P2를 직선으로 연결한 제 2 선분을 획득한다. 즉, 본 실시 예에서 제 2 선분이란 카메라 좌표계 상에서의 P1-P2를 연결한 직선(또는 P3-P4를 연결한 직선)이 될 수 있다.

제 2 선분의 P1 및 P2를 편의상 PC1 및 PC2라 하겠다. 여기서 C는 이 값이 카메라 좌표계 상의 값임을 의미한다. 즉, 제 2 선분은 제 1 선분에 대응되는 카메 라 좌표계 상의 선분이 될 수 있다.

파라미터 획득부(303)는 제 1 선분과 제 2 선분을 매칭시킨다. 매칭은 제 1 선분을 고정시키고 제 2 선분을 회전이동 및 평행이동 시키는 방법이 이용될 수 있다. 이때, 다수의 제 1 선분과 다수의 제 2 선분이 사용될 수도 있다.

또한, 파라미터 획득부(303)는 거리 센서 좌표계와 카메라 좌표계 간의 좌표 변환 파라미터를 획득한다. 좌표 변환 파라미터는 매칭을 위해 제 2 선분의 회전이동 및 평행이동 값이 될 수 있다.

이어서, 도 4를 참조하여 제 1 선분을 획득하는 방법을 더 구체적으로 살펴본다.

도 4는 본 발명의 일 실시 예에 따른 레인지 데이터를 도시한다.

도 4에서, Y축은 격자판(103)까지의 측정 거리를 나타낸다. X축은 격자판(103)의 격자무늬 열에 대응된다.

도 4에서, 어떤 구간은 측정 거리가 비교적 일정한 값을 갖고, 또 다른 어떤 구간은 측정 거리가 매우 불규칙한 것을 알 수 있다. 즉, 격자판(103)에서 뚫린 부분은 A 구간에 대응되고, 막힌 구간은 B 구간에 대응되는 것으로 볼 수 있다.

본 실시 예에서, 레인지 데이터 처리부(301)는 측정 거리가 급격하게 증가되는 곳을 캘리브레이션 기준점으로 추출하는 것이 가능하다. 예컨대, 격자판에 대한 거리 데이터에서 거리 변화율이 설정된 임계 값 이상인 지점을 검출하는 것이 가능하다. 예컨대, 도 4에서, 401 및 402는 각각 PL1 및 PL2가 될 수 있다.

선택적으로, 레인지 데이터 처리부(301)은 도 4와 같은 데이터를 얻기 위해 측정 거리 데이터에 median filter를 적용하는 것도 가능하다.

다음으로, 도 5를 참조하여 제 2 선분을 획득하는 방법을 더욱 구체적으로 살펴본다.

도 5에서, a, b는 격자판(103)의 격자무늬의 모서리를 나타낸다. 그리고 점선은 거리 센서(304)로부터 투사된 레이저 라인이 될 수 있다.

격자판(103)의 격자무늬의 크기는 정해진 값을 갖고, 격자판(103)은 고정된 거리에 위치하므로 카메라 좌표계 상에서 a와 b의 좌표를 알 수 있다.

따라서 PC1은 선분 a-b를 m:n으로 내분한 점이 되며, PC1은 제 2 선분의 한쪽 끝점이 될 수 있다. 반대 쪽 PC2에 대하여도 마찬가지 방법으로 그 좌표를 구할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 제 1 선분과 제 2 선분의 매칭 방법을 도시한다.

도 6에서, (a)는 매칭 전의 제 1 선분과 제 2 선분을 나타내고, (b)는 매칭 후의 제 1 선분과 제 2 선분을 나타낸다.

매칭을 위해서는 어느 하나의 선분을 고정하고 다른 선분을 회전이동 및 평행이동 시키는 것이 가능하며, 회전이동 및 평행이동 값을 좌표 변환 파라미터로 이용할 수 있음은 전술한 바와 같다.

도 6에서는 더 정확한 매칭을 위해 2개의 제 1 선분과 2개의 제 2 선분을 이용한 것을 나타낸다. 예컨대, PL1-PL2 선분 및 PL3-PL4 선분을 제 1 선분으로 사용하고, PC1-PC2 선분 및 PC3-PC4 선분을 제 2 선분으로 사용할 수 있다.

다음으로, 도 7을 참조하여 본 발명의 일 실시 예에 따른 캘리브레이션 방법을 설명한다.

도 7을 참조하면, 캘리브레이션 방법은, 먼저, 제 1 선분을 획득한다(701).

제 1 선분은 격자판(103)의 캘리브레이션 기준점을 포함하는 거리 센서 좌표계 상에서의 직선이 될 수 있다. 예컨대, 제 1 선분은 도 2에서 P1-P2 직선 또는 P3-P4 직선이 될 수 있다.

이때, 제 1 선분은 레인지 데이터 처리부(301)가 도 4와 같은 방법을 이용하여 획득하는 것이 가능하다.

그리고, 제 2 선분을 획득한다(702).

제 2 선분은 격자판(103)의 캘리브레이션 기준점을 포함하는 카메라 좌표계 상에서의 직선이 될 수 있다. 예컨대, 제 2 선분은 제 1 선분에 대응될 수 있다.

이때, 제 2 선분은 이미지 데이터 처리부(302)가 도 5와 같은 방법을 이용하여 획득하는 것이 가능하다.

그리고, 제 1 선분과 제 2 선분을 매칭하고, 좌표 변환 파라미터를 획득한다(703).

매칭은 어느 하나의 선분을 고정시키고 다른 선분을 회전 및 평행이동을 시키는 방법이 사용될 수 있으며, 이때의 회전 및 평행이동 값을 좌표 변환 파라미터로 이용할 수 있다.

예컨대, 파라미터 획득부(303)가 도 6과 같이, 2개의 제 1 선분과 2개의 제 2 선분을 이용하여 매칭 및 파라미터 획득을 수행하는 것이 가능하다.

한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.

도 1은 본 발명의 일 실시 예에 따른 캘리브레이션 장치의 개략적인 구성을 도시한다.

도 2는 본 발명의 일 실시 예에 따른 격자판을 도시한다.

도 3은 본 발명의 일 실시 예에 따른 캘리브레이션 장치의 구체적인 구성을 도시한다.

도 4는 본 발명의 일 실시 예에 따른 레인지 데이터를 도시한다.

도 5는 본 발명의 일 실시 예에 따른 이미지 데이터를 도시한다.

도 6은 본 발명의 일 실시 예에 따른 매칭 및 좌표 변환 파라미터 획득 방법을 도시한다.

도 7은 본 발명의 일 실시 예에 따른 캘리브레이션 방법을 도시한다.

Claims (8)

1. 일정한 거리에 위치한 격자판의 캘리브레이션 기준점을 이용하여 거리 센서 좌표계 상의 제 1 선분을 획득하는 레인지 데이터 처리부;

   상기 제 1 선분에 대응되는 카메라 좌표계 상의 제 2 선분을 획득하는 이미지 데이터 처리부; 및

   상기 제 1 선분과 상기 제 2 선분을 매칭시키고, 상기 거리 센서 좌표계와 상기 카메라 좌표계 간의 좌표 변환 파라미터를 획득하는 파라미터 획득부; 를 포함하는 캘리브레이션 장치.
2. 제 1 항에 있어서,

   상기 레인지 데이터 처리부는, 상기 격자판의 측정 거리에서 거리 변화율이 설정된 임계값 이상인 지점을 상기 캘리브레이션 기준점으로 추출하는 캘리브레이션 장치.
3. 제 1 항에 있어서,

   상기 격자판은,

   대비되는 색상을 갖는 동일한 크기의 격자무늬가 반복적으로 배치되어 형성되는 격자부;

   상기 격자부의 양 측부의 일부가 제거되어 형성되는 뚫림부; 및

   상기 격자부의 중심부에서 상기 뚫림부로 이어지며 동일한 색상으로 형성되는 라인부; 를 포함하는 캘리브레이션 장치.
4. 제 3 항에 있어서,

   상기 캘리브레이션 기준점은, 상기 라인부의 양 단부에 지정되거나 상기 양 단부로부터 추출되는 캘리브레이션 장치.
5. 제 4 항에 있어서,

   상기 라인부는 다수 개가 형성되는 캘리브레이션 장치.
6. 일정한 거리에 위치한 격자판의 캘리브레이션 기준점을 이용하여 거리 센서 좌표계 상의 제 1 선분을 획득하는 단계;

   상기 제 1 선분에 대응되는 카메라 좌표계 상의 제 2 선분을 획득하는 단계; 및

   상기 제 1 선분과 상기 제 2 선분을 매칭시키고, 상기 거리 센서 좌표계와 상기 카메라 좌표계 간의 좌표 변환 파라미터를 획득하는 단계; 를 포함하는 캘리브레이션 방법.
7. 제 6 항에 있어서,

   상기 제 1 선분은, 상기 격자판의 측정 거리에서 거리 변화율이 설정된 임계값 이상인 지점을 적어도 2 이상 포함하는 캘리브레이션 방법.
8. 대비되는 색상을 갖는 동일한 크기의 격자무늬가 반복적으로 배치되어 형성되는 격자부;

   상기 격자부의 양 측부의 일부가 제거되어 형성되는 뚫림부; 및

   상기 격자부의 중심부에서 상기 뚫림부로 이어지며 동일한 색상으로 형성되는 라인부; 를 포함하는 캘리브레이션용 격자판.

Images