KR102113053B1 - 카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법 - Google Patents

Abstract

본 발명은 카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법에 관한 것으로서, 본 발명의 캘리브레이션 시스템은 서로 인접한 복수의 단위 무늬의 색상이 서로 다르도록 격자 형태로 형성되고, 각 행은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되며, 각 열은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되는 3차원 체스보드, 3차원 체스보드에 포함된 단위 무늬 간의 색상 차이를 이용해 특징점을 추출하여 카메라를 캘리브레이션하고, 요철 형태의 깊이 차이를 이용해 특징점을 추출하여 거리 센서를 캘리브레이션 하는 캘리브레이션 장치를 포함하며, 이를 통해 가시광선 영역을 촬영하는 카메라와 대상 물체까지의 거리를 감지하는 거리 센서를 동시에 캘리브레이션 할 수 있어, 캘리브레이션에 요구되는 시간과 노력을 절감할 수 있다.

Description

카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법 {System and method for concurrent calibration of camera and depth sensor}

본 발명은 카메라의 캘리브레이션(calibration) 기술과 관련한 것으로, 더욱 상세하게는 가시광선 영역의 이미지를 촬영하는 카메라와 대상 물체까지의 거리를 감지하는 거리 센서의 캘리브레이션을 동시에 수행할 수 있는 카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법에 관한 것이다.

피사체를 촬영하여 가시광선 영역의 영상을 촬영하는 RGB(Red-Green-Blue) 카메라는 3차원 공간좌표와 2차원 이미지 좌표간의 파리미터 값을 구하는 캘리브레이션 과정을 거치게 되는데, 이때 통상 체스보드와 같은 격자무늬의 보드가 활용된다. 또한 TOF(Time Of Flight)를 이용해 감지 대상 물체까지의 거리(depth)를 판단하는 거리 센서도 캘리브레이션 과정을 필요로 하는데, 평면이 아닌 입체 형상의 지그(jig) 등을 활용하여 캘리브레이션이 진행된다.

그런데 이러한 RGB 카메라와 TOF 방식의 거리 센서는 캘리브레이션에 이용되는 도구의 형태가 서로 달라, 각각 별개의 도구를 이용해 캘리브레이션을 진행하여야만 하고, 특히 이들 모두를 활용하여 3차원 영상을 촬영하는 장치의 경우 캘리브레이션을 복수회 반복해야만 하는 번거로움이 존재한다.

등록특허공보 제10-1033167호 (2011년 04월 28일 공고)

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 입체 형상의 3차원 체스보드를 이용해 가시광선 영역의 이미지를 촬영하는 카메라와 대상 물체까지의 거리를 감지하는 거리 센서의 캘리브레이션을 동시에 수행할 수 있는 카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법을 제공하기 위한 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 카메라와 거리 센서의 동시 캘리브레이션 시스템은, 서로 인접한 복수의 단위 무늬의 색상이 서로 다르도록 격자 형태로 형성되고, 각 행은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되며, 각 열은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되는 3차원 체스보드, 및 상기 3차원 체스보드에 포함된 단위 무늬 간의 색상 차이를 이용해 특징점을 추출하여 카메라를 캘리브레이션하고, 상기 요철 형태의 깊이 차이를 이용해 특징점을 추출하여 거리 센서를 캘리브레이션 하는 캘리브레이션 장치를 포함하는 것을 특징으로 한다.

본 발명의 카메라와 거리 센서의 동시 캘리브레이션 시스템에 있어서, 상기 거리 센서는, TOF(Time Of Flight) 방식으로 거리를 감지하는 것을 특징으로 한다.

본 발명의 카메라와 거리 센서의 동시 캘리브레이션 시스템에 있어서, 상기 캘리브레이션 장치는, 상기 3차원 체스보드 중 상대적으로 깊이가 깊은 무늬를 제외하고 동일 평면 상에 위치하는 나머지 무늬를 인식하여 가상의 2차원 체스보드를 생성하고, 상기 가상의 2차원 체스보드를 이용해 상기 카메라를 캘리브레이션 하는 것을 특징으로 한다.

본 발명의 카메라와 거리 센서의 동시 캘리브레이션 시스템에 있어서, 상기 캘리브레이션 장치는, 해리스 코너 알고리즘을 이용해 특징점을 추출하는 것을 특징으로 한다.

본 발명의 카메라와 거리 센서의 동시 캘리브레이션 시스템에 있어서, 상기 캘리브레이션 장치는, 상기 카메라의 좌표와 상기 거리 센서의 좌표 간의 변환행렬을 연산하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 거리 센서의 동시 캘리브레이션 방법은, 캘리브레이션 장치가, 서로 인접한 복수의 무늬가 서로 색상이 다르도록 격자 형태로 형성되고, 각 행은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되며, 각 열은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되는 3차원 체스보드에 포함된 단위 무늬 간의 색상 차이를 이용해 특징점을 추출하여 카메라를 캘리브레이션 하는 단계, 및 상기 캘리브레이션 장치가, 상기 3차원 체스보드에 포함된 상기 요철 형태의 깊이 차이를 이용해 특징점을 추출하여 거리 센서를 캘리브레이션 하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법에 따르면, 가시광선 영역을 촬영하는 카메라와 대상 물체까지의 거리를 감지하는 거리 센서를 동시에 캘리브레이션 할 수 있어, 캘리브레이션에 요구되는 시간과 노력을 절감할 수 있고 사용자 편의와 효율이 개선된다.

도 1은 본 발명의 일 실시예에 따른 캘리브레이션 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 체스보드를 나타낸 사시도이다.
도 3은 본 발명의 일 실시예에 따른 3차원 체스보드를 나타낸 정면도이다.
도 4는 본 발명의 일 실시예에 따른 캘리브레이션 방법의 과정을 나타낸 도면이다.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명은 캘리브레이션 기술과 관련한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 캘리브레이션 시스템(100)을 나타낸 블록도이고, 도 2는 본 발명의 일 실시예에 따른 3차원 체스보드(10)를 나타낸 사시도이며, 도 3은 본 발명의 일 실시예에 따른 3차원 체스보드(10)를 나타낸 정면도이다.

도 1 내지 도 3을 참조하면, 본 실시예의 캘리브레이션 시스템(100)은 3차원 체스보드(10) 및 캘리브레이션(20) 장치를 포함하고, 도 1에는 캘리브레이션 대상인 영상 센서 모듈(30)이 도시된다.

3차원 체스보드(10)는 영상 센서 모듈(30)에 포함된 카메라(31)와 거리 센서(32)를 캘리브레이션 하는데 이용되는 구성이다.

3차원 체스보드(10)는 도 2 및 도 3에 도시된 바와 같이 정면에서 바라봤을 때는 빨강(Red) 무늬, 초록(Green) 무늬 및 파랑(Blue) 무늬가 격자 형태로 반복되는 체스보드(chessboard)의 형태를 가지되, 빨강(Red) 무늬 및 파랑(Blue) 무늬가 동일 평면의 무늬를 형성하고 초록(Green) 무늬 부분은 상대적으로 깊이가 깊도록 형성된 입체 형상의 보드이다. 이때 3차원 체스보드(10)의 가장자리는 검정색(Black) 또는 하얀색(White)으로 되어 격자 무늬와 구별이 가능하다.

본 실시예의 3차원 체스보드(10)에서 최상단 행은 좌측에서부터 우측으로 갈수록 빨강(Red) 무늬 및 초록(Green) 무늬가 번갈아 반복되며, 이때 빨강(Red) 무늬보다 초록(Green) 무늬의 깊이가 상대적으로 더 깊도록 요철 형태가 반복되는 모양을 갖는다. 또한 3차원 체스보드(10)에서 그 다음 행은 좌측에서부터 우측으로 갈수록 초록(Green) 무늬 및 파랑(Blue) 무늬가 번갈아 반복되며, 이때 파랑(Blue) 무늬보다 초록(Green) 무늬의 깊이가 상대적으로 더 깊도록 요철 형태가 반복되는 모양을 갖는다.

그리고 본 실시예의 3차원 체스보드(10)에서 좌측 끝 열은 상단으로부터 하단으로 갈수록 빨강(Red) 무늬 및 초록(Green) 무늬가 번갈아 반복되며, 이때 빨강(Red) 무늬보다 초록(Green) 무늬의 깊이가 상대적으로 더 깊도록 요철 형태가 반복되는 모양을 갖는다. 또한 3차원 체스보드(10)에서 그 다음 열은 상단으로부터 하단으로 갈수록 초록(Green) 무늬 및 파랑(Blue) 무늬가 번갈아 반복되며, 이때 파랑(Blue) 무늬보다 초록(Green) 무늬의 깊이가 상대적으로 더 깊도록 요철 형태가 반복되는 모양을 갖는다.

이에 따라 3차원 체스보드(10)에서 특정 빨강(Red) 무늬와 인접한 상하좌우의 무늬는 초록(Green) 무늬가 되고, 특정 파랑(Blue) 무늬와 인접한 상하좌우의 무늬는 초록(Green) 무늬가 되며, 특정 초록(Green) 무늬와 인접한 상하좌우의 무늬는 빨강(Red) 무늬 또는 파랑(Blue) 무늬가 된다. 즉, 3차원 체스보드(10)에서 특정 무늬의 색상은 인접한 다른 무늬의 색상과 다르게 형성되어 색상에 따라 각 무늬를 구분할 수 있다.

캘리브레이션 장치(20)는 영상 센서 모듈(30)에 포함된 카메라(31)와 거리 센서(32)를 캘리브레이션 하는 역할을 한다.

영상 센서 모듈(30)에 포함된 카메라(31)는 3차원 공간을 2차원 이미지로 촬영하는 장치로서 가시광선 영역을 촬영하는 RGB(Red-Green-Blue) 카메라가 될 수 있다. 또한 영상 센서 모듈(30)에 포함된 거리 센서(32)는 감지 대상 물체까지의 거리(depth)를 감지하는 역할을 하며, 빛을 투사하고 되돌아오는 시간을 계산하여 거리값을 측정하는 TOF(Time Of Flight) 방식의 센서일 수 있다.

캘리브레이션 장치(20)는 3차원 체스보드(10)의 격자 무늬에서 단위 무늬 간의 색상 차이를 이용해 특징점을 추출하고, 추출된 특징점을 이용해 카메라(31)를 캘리브레이션 한다. 이때 캘리브레이션 장치(20)는 3차원 체스보드(10) 중 상대적으로 깊이가 깊은 초록(Green) 무늬 부분을 제외하고, 빨강(Red) 무늬 및 파랑(Blue) 무늬를 인식하여 가상의 2차원 체스보드를 생성한다. 이때 빨강(Red) 무늬 및 파랑(Blue) 무늬는 동일 평면상에 위치하는 무늬로서, 통상의 평면 체스보드와 유사한 형태를 갖는다. 그리고 캘리브레이션 장치(20)는 가상의 2차원 체스보드에서 빨강(Red) 무늬 또는 파랑(Blue) 무늬와 인접 무늬의 색상 차이를 이용해 특징점을 추출하고, 추출된 특징점을 이용해 카메라(31)의 캘리브레이션을 수행한다.

또한 캘리브레이션 장치(20)는 3차원 체스보드(10)의 요철 형태에서 빨강(Red) 무늬 및 파랑(Blue) 무늬보다 상대적으로 깊이가 깊은 초록(Green) 무늬의 깊이 차이를 이용해 특징점을 추출하고, 추출된 특징점을 이용해 거리 센서(32)의 캘리브레이션을 수행한다.

이때 캘리브레이션 장치(20)는 해리스(Harris) 코너 알고리즘을 이용해 3차원 체스보드(10)에서 특징점을 추출할 수 있다.

그리고 캘리브레이션 장치(20)는 카메라(31)의 좌표와 거리 센서(32)의 좌표 간에 변환행렬을 연산하고, 카메라(31)에서 촬영한 이미지와 거리 센서(32)에서 감지한 거리 데이터에 따라 픽셀을 매칭하여 3차원 영상을 생성할 수 있다.

본 발명에 따라 3차원 체스보드(10)를 이용해 캘리브레이션 하는 과정에 대해서는 도 4를 참조하여 상세하게 설명하기로 한다.

도 4는 본 발명의 일 실시예에 따른 캘리브레이션 방법의 과정을 나타낸 도면이다.

도 4를 참조하면, 카메라를 이용해 3차원 체스보드를 촬영한다(S1).

이때 3차원 체스보드는 전면에서 바라볼 때 서로 인접한 복수의 무늬가 서로 색상이 다르도록 격자 형태로 형성되며, 이때 각 행은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되고, 각 열은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되는 입체적 형상을 갖는다.

그리고 캘리브레이션 장치는 카메라가 촬영한 영상에서, 상대적으로 깊이가 깊은 무늬를 제외하고 동일 평면상에 위치하는 나머지 무늬를 인식하여 가상의 2차원 체스보드를 생성한다(S2).

이후 캘리브레이션 장치는 가상의 2차원 체스보드에서 단위 무늬 간의 색상 차이를 이용해 특징점을 추출하고, 해당 특징점을 이용해 카메라를 캘리브레이션 한다(S3).

한편 거리 센서를 이용해 동일한 3차원 체스보드를 감지한다(S2).

이때 거리 센서는 예를 들어 빛을 투사하고 되돌아오는 시간을 계산하여 거리값을 측정하는 TOF 방식의 센서일 수 있다.

그리고 캘리브레이션 장치는 거리 센서의 감지 데이터에서 특징점을 추출하고(S5), 추출된 특징점을 이용해 거리 센서를 캘리브레이션 한다(S6).

이때 캘리브레이션 장치는 해리스 코너 알고리즘을 이용해 특징점을 추출할 수 있다.

이후 캘리브레이션 장치는 카메라의 좌표와 거리 센서의 좌표 간의 변환행렬을 연산한다(S7).

단계(S7)에서 연산한 변환행렬에 따라 카메라의 촬영 이미지와 거리 센서의 감지 데이터를 매칭하여 3차원 영상을 생성할 수 있다.

실시예에 따라서는 단계(S1 내지 S3)의 카메라에 대한 캘리브레이션 과정과 단계(S4 내지 S6)의 거리 센서에 대한 캘리브레이션 과정이 서로 순서를 바꾸어 진행되거나 동시에 병행하여 진행될 수 있다.

본 발명의 실시예에 따른 카메라와 거리 센서의 동시 캘리브레이션 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.

10: 3차원 체스보드 20: 캘리브레이션 장치
30: 영상 센서 모듈 31: 카메라
32: 거리센서 100: 캘리브레이션 시스템

Claims (6)

1. 서로 인접한 복수의 단위 무늬의 색상이 서로 다르도록 격자 형태로 형성되고, 각 행은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되며, 각 열은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되는 3차원 체스보드; 및
   상기 3차원 체스보드에 포함된 단위 무늬 간의 색상 차이를 이용해 특징점을 추출하여 카메라를 캘리브레이션하고, 상기 요철 형태의 깊이 차이를 이용해 특징점을 추출하여 거리 센서를 캘리브레이션 하는 캘리브레이션 장치;
   를 포함하는 것을 특징으로 하는 카메라와 거리 센서의 동시 캘리브레이션 시스템.
2. 제1항에 있어서,
   상기 거리 센서는, TOF(Time Of Flight) 방식으로 거리를 감지하는 것을 특징으로 하는 카메라와 거리 센서의 동시 캘리브레이션 시스템.
3. 제1항에 있어서,
   상기 캘리브레이션 장치는, 상기 3차원 체스보드 중 상대적으로 깊이가 깊은 무늬를 제외하고 동일 평면 상에 위치하는 나머지 무늬를 인식하여 가상의 2차원 체스보드를 생성하고, 상기 가상의 2차원 체스보드를 이용해 상기 카메라를 캘리브레이션 하는 것을 특징으로 하는 카메라와 거리 센서의 동시 캘리브레이션 시스템.
4. 제1항에 있어서,
   상기 캘리브레이션 장치는, 해리스 코너 알고리즘을 이용해 특징점을 추출하는 것을 특징으로 하는 카메라와 거리 센서의 동시 캘리브레이션 시스템.
5. 제1항에 있어서,
   상기 캘리브레이션 장치는, 상기 카메라의 좌표와 상기 거리 센서의 좌표 간의 변환행렬을 연산하는 것을 특징으로 하는 카메라와 거리 센서의 동시 캘리브레이션 시스템.
6. 캘리브레이션 장치가, 서로 인접한 복수의 무늬가 서로 색상이 다르도록 격자 형태로 형성되고, 각 행은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되며, 각 열은 서로 깊이가 다른 단위 무늬가 요철 형태로 반복되는 3차원 체스보드에 포함된 단위 무늬 간의 색상 차이를 이용해 특징점을 추출하여 카메라를 캘리브레이션 하는 단계;
   상기 캘리브레이션 장치가, 상기 3차원 체스보드에 포함된 상기 요철 형태의 깊이 차이를 이용해 특징점을 추출하여 거리 센서를 캘리브레이션 하는 단계;
   를 포함하는 것을 특징으로 하는 카메라와 거리 센서의 동시 캘리브레이션 방법.

Images