KR20190064708A

KR20190064708A - 다종센서 캘리브래이션 시스템 및 다종센서 캘리브래이션 방법

Info

Publication number: KR20190064708A
Application number: KR1020170163474A
Authority: KR
Inventors: 엄태영; 최영호; 배기덕; 이석재
Original assignee: 한국로봇융합연구원
Priority date: 2017-11-30
Filing date: 2017-11-30
Publication date: 2019-06-11
Also published as: CN111433570B; KR102012568B1; WO2019107679A1; CN111433570A

Abstract

본 발명은 다종센서 캘리브래이션 시스템 및 다종센서 캘리브래이션 방법에 관한 것으로, 일면에 일정한 크기의 검은색 사각형과 일정한 크기의 하얀색 사각형이 번갈아가며 형성된 격자패턴이 형성되는 컬러패턴 플레이트; 바둑판무늬의 패턴이 형성되고, 상기 바둑판무늬 패턴의 모서리부분에 열선이 설치되는 열선 플레이트; 상기 컬러패턴 플레이트 및 열선 플레이트를 영상으로 촬영하기 위한 촬영센서부; 기 설정된 깊이를 가지며, 일정한 크기의 적어도 하나의 사각형으로 형성된 사각형 패턴이 형성되는 깊이패턴 플레이트; 및 상기 깊이패턴 플레이트를 영상으로 촬영하기 위한 깊이센서부; 및 상기 촬영센서부에서 촬영된 영상정보를 교정하여 교정영상정보를 생성하고, 상기 깊이센서부에서 촬영한 영상정보를 교정하여 깊이교정정보를 생성하여, 상기 깊이교정정보와 상기 교정영상정보를 통합하여 최종영상정보를 생성하기 위한 교정부;를 포함한다.

Description

다종센서 캘리브래이션 시스템 및 다종센서 캘리브래이션 방법{Multi sensor calibration system and calibration method for multi sensor}

본 발명은 다종센서 캘리브래이션 시스템 및 다종센서 캘리브래이션 방법에 관한 것으로, 보다 상세하게는 열선, 컬러패턴 및 깊이를 가지는 패턴이 형성된 각각의 플레이트를 다양한 센서로 촬영하여, 촬영된 영상을 통합하여 교정하도록 구현한 다종센서 캘리브래이션 시스템 및 다종센서 캘리브래이션 방법에 관한 것이다.

일반적으로 로봇이나 자율주행 차량 등에서 주변 환경을 감지하기 위하여 여러 가지 센서를 사용하고 있다. 이 중 로봇이나 자율주행 차량 주변의 환경을 감지하기 위하여 라이다, 레이더, 카메라 등이 많이 사용되고 있다. 이 때 하나의 단일 센서를 사용하기 보다, 여러 개의 다종센서를 이용한 센서 정보를 융합하여 활용하고 있다. 이에 서로 다른 센서 정보를 융합하기 위하여 각각의 센서 사이의 관계를 알아야 한다. 여기에서 센서 간의 관계는 센서 이의 회전(Rotation)과 병진(Translation)이다. 센서 간의 관계를 알기 위하여 센서 간을 캘리브래이션(Calibration) 하여야 한다. 정보 융합의 정확성을 높이기 위해서는 캘리브래이션의 오차를 최소화해야 한다.

일반적인 다종센서를 장치한 시스템에서 캘리브래이션을 수행하기 위해서는 캘리브래이션이 가능한 두 센서의 조합을 먼저 수행하고, 차례로 다른 조합에 대하여 캘리브래이션을 수행한다. 차례로 캘리브래이션을 하게 되면 첫 번째의 캘리브래이션 오차가 두 번째 캘리브레이션에 영향을 주고, 그 오차가 다시 다음 캘리브래이션에 영향을 주게 되어, 처음의 센서와 마지막의 센서 관계의 오차가 커지게 되는 문제점을 가진다.

대한민국 특허등록번호 제 10-1473736 호 대한민국 특허공개번호 제 10-2013-0098040 호

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 해결하고자 하는 과제는 열선, 컬러패턴 및 깊이를 가지는 패턴이 형성된 각각의 플레이트를 다양한 센서로 촬영하여, 촬영된 영상을 통합하여 교정하도록 구현한 다종센서 캘리브래이션 시스템 및 다종센서 캘리브래이션 방법을 제공하는 것이다.

다만, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 달성하기 위한 수단으로는, 일면에 일정한 크기의 검은색 사각형과 일정한 크기의 하얀색 사각형이 번갈아가며 형성된 격자패턴이 형성되는 컬러패턴 플레이트; 바둑판무늬의 패턴이 형성되고, 바둑판무늬 패턴의 모서리부분에 열선이 설치되는 열선 플레이트; 컬러패턴 플레이트 및 열선 플레이트를 영상으로 촬영하기 위한 촬영센서부; 기 설정된 깊이를 가지는 일정한 크기의 적어도 하나의 사각형으로 형성된 사각형 패턴이 형성되는 깊이패턴 플레이트; 및 깊이패턴 플레이트를 영상으로 촬영하기 위한 깊이센서부; 및 촬영센서부에서 촬영된 영상정보를 교정하여 교정영상정보를 생성하고, 깊이센서부에서 촬영한 영상정보를 교정하여 깊이교정정보를 생성하여, 깊이교정정보와 교정영상정보를 통합하여 최종영상정보를 생성하기 위한 교정부;를 포함하는 다종센서 캘리브래이션 시스템을 제공한다.

또한, 일 실시예에서, 촬영센서부는, 컬러패턴 플레이트를 촬영하여 컬러영상정보를 생성하고, 열선 플레이트를 촬영하여 열영상정보를 생성하는 것을 특징으로 한다.

또한, 일 실시예에서, 깊이센서부는, 깊이패턴 플레이트를 촬영하여 깊이영상정보를 생성하는 것을 특징으로 한다.

또한, 일 실시예에서, 교정부는, 촬영센서부에서 촬영된 영상정보에서 컬러패턴 플레이트와 열선 플레이트의 왜곡부분을 교정하여 교정영상정보를 생성하는 것을 특징으로 한다.

상기의 기술적 과제를 달성하기 위한 다른 수단으로는, 컬러패턴 플레이트와 열선 플레이트를 촬영센서부가 영상으로 촬영하는 제1 단계; 교정부가 촬영센서부에서 생성된 영상정보를 교정하여 교정영상정보를 생성하는 제2 단계; 깊이패턴 플레이트를 깊이센서부가 영상으로 촬영하는 제3 단계; 및 교정부가 촬영센서부에서 촬영된 영상정보를 교정하여 깊이교정정보를 생성하며, 깊이교정정보와 교정영상정보를 통합하여 최종영상정보를 생성하는 제4 단계;를 포함하는 다종센서 캘리브래이션 방법을 제공한다.

또한, 일 실시예에서, 제2 단계는, 촬영센서부에서 생성된 영상정보가 열영상정보 또는 컬러영상정보인 것을 특징으로 한다.

본 발명의 일 실시예에 의하면, 다종센서 캘리브래이션 시스템 및 다종센서 캘리브래이션 방법을 제공함으로써, 다종의 멀티센서를 동시에 캘리브래이션을 수행할 수 있는 효과를 가진다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어서 해석되어서는 아니된다.
도 1은 본 발명의 다종센서 캘리브래이션 시스템을 제1 실시예로 블럭도이다.
도 2는 도 1에 있는 컬러패턴 플레이트의 정면도이다.
도 3은 도 1에 있는 열선 플레이트의 정면도이다.
도 4는 도 1에 있는 깊이패턴 플레이트의 정면도이다.
도 5는 도 1에 있는 깊이패턴 플레이트의 A-A` 단면도이다.
도 6은 도 1에 있는 열선 플레이트의 실제사진이다.
도 7은 본 발명의 다종센서 캘리브래이션 방법을 제1 실시예로 나타내는 순서도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

<제1 실시예에 따른 구성>

도 1은 본 발명의 다종센서 캘리브래이션 시스템을 제1 실시예로 블록도이며, 도 2는 도 1에 있는 컬러패턴 플레이트의 정면도이며, 도 3은 도 1에 있는 열선 플레이트의 정면도이며, 도 4는 도 1에 있는 깊이패턴 플레이트의 정면도이며, 도 5는 도 1에 있는 깊이패턴 플레이트의 A-A` 단면도이며, 도 6은 도 1에 있는 열선 플레이트의 실제사진이다.

도 1 내지 도 2를 참조하면, 다종센서 캘리브래이션 시스템(10)는 컬러패턴 플레이트(100), 열선 플레이트(200), 촬영센서부(300), 깊이패턴 플레이트(400), 깊이센서부(500), 교정부(600)를 포함한다.

컬러패턴 플레이트(100)는 일면에 일정한 크기의 검은색 사각형(11)과 일정한 크기의 하얀색 사각형(12)이 번갈아가며 형성된 격자패턴이 형성된다(도 2 참조).

검은색 사각형(11)과 하얀색 사각형(12)은 직사각형(바람직하게는 정사각형)으로 형성될 수 있다. 검은색 사각형(11)과 하얀색 사각형(12)은 동일한 크기 및 형태로 형성될 수 있다.

열선 플레이트(200)는 일면에 바둑판무늬의 패턴이 형성되고, 바둑판무늬 패턴의 모서리부분에 열선(13)이 설치된다(도 3 참조). 여기서 바둑판무늬는 컬러패턴 플레이트(100)의 격자패턴과 동일한 크기 및 형태로 형성될 수 있다.

촬영센서부(300)는 컬러패턴 플레이트(100) 및 열선 플레이트(200)를 영상으로 촬영한다. 촬영센서부(300)는 컬러패턴 플레이트(100)를 촬영하여 컬러영상정보를 생성하고, 열선 플레이트(200)를 촬영하여 열영상정보를 생성할 수 있다. 촬영센서부(300)는 컬러영상정보와 열영상정보를 교정부(600)로 전달할 수 있다. 촬영센서부(300)는 컬러패턴 플레이트(100)를 촬영하기 위한 카메라(예를 들어, 컬러 카메라) 또는 열선을 감지하여 촬영하기 위한 카메라(예를 들어, 열화상 카메라, 나이트비전 카메라, 3D Lidar 등)등과 같은 다종의 멀티센서로 형성될 수 있다.

열화상 카메라는 열을 추적, 탐지하여 화면으로 한 눈에 보여주는 장치로서, 열을 어느 정도 내는지에 따라서 화면을 보여주기 때문에 연기와 같은 장애물의 유무, 빛의 유무와 상관없이 물체를 확인할 수 있다.

나이트비전 카메라는 적외선 영역을 이용하여 시야를 확보하고, 확보된 시야를 기반으로 전방의 물체를 감지한다. 이러한 나이트 비전 카메라는 근적외선 방식과 원적외선 박식으로 나뉠 수 있다. 여기서, 근적외선 방식은 적외선 방사기(IR Generator)를 통하여 방사된 적외선이 물체에 도달한 후 반사된 근적외선(파장 : 800~1,000nm)을 카메라를 통하여 감지하는 방법이다. 또한, 원적외선 방식은 물체가 발산하는 열(파장 : 1,000nm이상)을 원적외선 카메라를 이용하여 감지하는 방법을 말한다.

3D Lidar는 물체 움직임에 상관없이 물체의 주변을 감지하는 센서이다.

깊이패턴 플레이트(400)는 기 설정된 깊이를 가지는 일정한 크기의 적어도 하나의 사각형으로 형성된 사각형 패턴(14)이 형성된다(도 4 참조). 여기서, 사각형 패턴(14)에서 사각형은 검은색 사각형(11) 또는 하얀색 사각형(12)과 동일한 크기로 형성될 수 있다. 또한, 사각형 패턴(14)은 가로방향으로 하얀색 사각형(12)의 가로길이만큼 이격된 위치에 설치되며, 서로방향으로 하얀색 사각형(12)의 세로길이만큼 이격된 위치에 각각 설치될 수 있다.

깊이센서부(500)는 깊이패턴 플레이트(400)를 영상으로 촬영한다. 깊이센서부(500)는 깊이패턴 플레이트(400)를 촬영하여 깊이영상정보를 생성할 수 있다. 여기서, 깊이영상정보는 촬영된 깊이패턴 플레이트(400)의 깊이정보를 저장할 수 있다. 깊이센서부(500)는 깊이영상정보를 교정부(600)로 전달할 수 있다. 깊이센서부(500)는 다양한 종류의 깊이센서(Depth sensor)로 형성되며, 능동적 깊이 센서방식과 수동적 깊이 센서방식으로 사용될 수 있다.

능동적 깊이 센서 방식은 레이저 센서, 적외선 센서, 패턴 센서를 이용하여 물체의 3차원 깊이 정보를 직접 획득하는 방법이다. 이러한 경우 저해상도의 깊이 영상을 제공하고 큰 비용이 드는 단점이 있으나, 정확한 깊이 정보를 획득할 수 있는 장점이 있다.

수동적 깊이 센서 방식은 다시점 및 스테레오 영상으로부터 간접적으로 3차원 깊이 정보를 획득하는 방법이다. 이러한 경우 깊이 정보를 획득하기 위해 시간이 오래 걸리며, 상대적으로 폐색 영역과 텍스처가 없는 영역 등에서 부정확한 깊이 정보를 제공하는 단점이 있으나, 고해상도의 깊이 영상을 제공하고, 하드웨어 구성을 위한 비용이 낮다는 장점이 있다.

교정부(600)는 촬영센서부(300)에서 촬영된 영상정보를 교정하여 교정영상정보를 생성하고, 깊이센서부(500)에서 촬영한 영상정보를 교정하여 깊이교정정보를 생성하여, 깊이교정정보와 교정영상정보를 통합하여 최종영상정보를 생성한다. 교정부(600)는 촬영센서부(300)에서 촬영된 영상정보에서 컬러패턴 플레이트(100)와 열선 플레이트(200)의 왜곡부분을 교정하여 교정영상정보를 생성할 수 있다. 교정부(600)는 촬영센서부(300)로부터 컬러영상정보를 전달받아 촬영된 컬러패턴 플레이트(100)의 형상 중에서 왜곡된 부분(예를 들면, 컬러패턴 플레이트(100)의 주변부)을 교정할 수 있다. 다시 말해서, 교정부(600)는 컬러영상정보에서 컬러패턴 플레이트(100)의 영상좌표계에서 왜곡부분을 교정할 수 있다. 교정부(600)는 촬영센서부(300)로부터 열영상정보를 전달받아 촬영된 열선 플레이트(200)의 형상 중에서 왜곡된 부분(예를 들면, 열선 플레이트(200)의 주변부)을 교정할 수 있다. 다시 말해서, 교정부(600)는 열영상정보에서 열선 플레이트(200)의 영상좌표계에서 왜곡부분을 교정할 수 있다. 교정부(600)는 컬러영상정보와 열영상정보를 비교하여 왜곡된 부분을 교정하여 교정영상정보를 생성할 수 있다. 교정부(600)는 깊이센서부(500)로부터 깊이영상정보를 전달받아 촬영된 깊이패턴 플레이트(400)의 깊이를 확인하여, 촬영된 깊이패턴 플레이트(400)의 깊이와 실제 깊이패턴 플레이트(400)의 깊이를 비교하여 교정할 수 있다. 예를 들어, 교정부(600)는 깊이영상정보에 저장된 깊이패턴 플레이트(400)의 깊이가 5mm이고, 실제 깊이패턴 플레이트(400)의 깊이가 10mm인 경우에, 5mm의 차이를 교정할 수 있다. 교정부(600)는 컬러패턴 플레이트(100)의 실제패턴정보, 열선 플레이트(200)의 실제패턴정보 및 깊이패턴 플레이트(400)의 실제깊이정보를 미리 저장해 둘 수 있다.

상술한 바와 같은 구성을 가진 다종센서 캘리브래이션 시스템(10)는 촬영센서부(300)와 깊이센서부(500)가 컬러패턴 플레이트(100), 열선 플레이트(200) 및 깊이패턴 플레이트(400)를 한 번에 촬영하여, 다종의 멀티센서(예를 들면, 열화상 카메라, 나이트비전 카메라, 3D Lidar 등)를 동시에 캘리브래이션을 수행할 수 있다.

<제1 실시예에 따른 방법>

도 7은 본 발명의 다종센서 캘리브래이션 방법을 일 실시예로 나타내는 순서도이다.

도 7을 참조하면, 다종센서 캘리브래이션 방법은 제1 단계(S100), 제2 단계(S200), 제3 단계(S300), 제4 단계(S400)를 포함한다.

먼저, 컬러패턴 플레이트(100)와 열선 플레이트(200)를 촬영센서부(300)가 영상으로 촬영한다(S100).

상술한 단계 S100이후에, 촬영센서부(300)가 촬영한 영상정보를 교정하여 교정영상정보를 생성한다(S200).

상술한 단계 S200이후에, 깊이패턴 플레이트(400)를 깊이센서부(500)가 영상으로 촬영한다(S300).

상술한 단계 S300이후에, 교정영상정보와 깊이센서부(500)가 촬영한 영상정보를 교정한다(S400).

<제2 실시예에 따른 구성>

다종센서 캘리브래이션 시스템은 컬러패턴 및 열선 플레이트(설명의 편의상 도면에는 도시하지 않음), 촬영센서부(300), 깊이패턴 플레이트(400), 깊이센서부(500), 교정부(600)를 포함한다. 여기서, 촬영센서부(300), 깊이패턴 플레이트(400), 깊이센서부(500), 교정부(600)는 도 1의 구성요소와 유사한 부분에 대해서 이하 그 설명을 생략하며, 다른 부분에 대해서만 설명하도록 한다.

컬러패턴 및 열선 플레이트는 일면에 일정한 크기의 검은색 사각형과 일정한 크기의 하얀색 사각형이 번갈아가며 형성된 격자패턴이 형성되고, 격자패턴의 모서리부분에 열선이 설치된다.

촬영센서부(300)는 컬러패턴 및 열선 플레이트의 일면을 영상으로 촬영한다.

상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 교정에 의해 새로운 청구항으로 포함할 수 있다.

10: 다종센서 캘리브래이션 시스템
11: 검은색 사각형
12: 하얀색 사각형
13: 열선
14: 사각형 패턴
100: 컬러패턴 플레이트
200: 열선 플레이트
300: 촬영센서부
400: 깊이패턴 플레이트
500: 깊이센서부
600: 교정부

Claims

일면에 일정한 크기의 검은색 사각형과 일정한 크기의 하얀색 사각형이 번갈아가며 형성된 격자패턴이 형성되는 컬러패턴 플레이트;
바둑판무늬의 패턴이 형성되고, 상기 바둑판무늬 패턴의 모서리부분에 열선이 설치되는 열선 플레이트;
상기 컬러패턴 플레이트 및 열선 플레이트를 영상으로 촬영하기 위한 촬영센서부;
기 설정된 깊이를 가지는 일정한 크기의 적어도 하나의 사각형으로 형성된 사각형 패턴이 형성되는 깊이패턴 플레이트; 및
상기 깊이패턴 플레이트를 영상으로 촬영하기 위한 깊이센서부; 및
상기 촬영센서부에서 촬영된 영상정보를 교정하여 교정영상정보를 생성하고, 상기 깊이센서부에서 촬영한 영상정보를 교정하여 깊이교정정보를 생성하여, 상기 깊이교정정보와 상기 교정영상정보를 통합하여 최종영상정보를 생성하기 위한 교정부;를 포함하는 다종센서 캘리브래이션 시스템.
제1항에 있어서,
상기 촬영센서부는,
상기 컬러패턴 플레이트를 촬영하여 컬러영상정보를 생성하고,
상기 열선 플레이트를 촬영하여 열영상정보를 생성하는 것을 특징으로 하는 다종센서 캘리브래이션 시스템.
제1항에 있어서,
상기 깊이센서부는,
상기 깊이패턴 플레이트를 촬영하여 깊이영상정보를 생성하는 것을 특징으로 하는 다종센서 캘리브래이션 시스템.
제1항에 있어서,
상기 교정부는,
상기 촬영센서부에서 촬영된 영상정보에서 상기 컬러패턴 플레이트와 상기 열선 플레이트의 왜곡부분을 교정하여 교정영상정보를 생성하는 것을 특징으로 하는 캘리브래이션 장치.
컬러패턴 플레이트와 열선 플레이트를 촬영센서부가 영상으로 촬영하는 제1 단계;
상기 촬영센서부에서 생성된 영상정보를 교정하여 교정영상정보를 생성하는 제2 단계;
깊이패턴 플레이트를 깊이센서부가 영상으로 촬영하는 제3 단계; 및
교정부가 상기 촬영센서부에서 촬영된 영상정보를 교정하여 깊이교정정보를 생성하며, 상기 깊이교정정보와 상기 교정영상정보를 통합하여 최종영상정보를 생성하는 제4 단계;를 포함하는 다종센서 캘리브래이션 방법.
제5항에 있어서,
상기 제2 단계는,
상기 촬영센서부에서 생성된 영상정보가 열영상정보 또는 컬러영상정보인 것을 특징으로 하는 다종센서 캘리브래이션 방법.