KR101785202B1 - 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법 - Google Patents

열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법 Download PDF

Info

Publication number
KR101785202B1
KR101785202B1 KR1020160052781A KR20160052781A KR101785202B1 KR 101785202 B1 KR101785202 B1 KR 101785202B1 KR 1020160052781 A KR1020160052781 A KR 1020160052781A KR 20160052781 A KR20160052781 A KR 20160052781A KR 101785202 B1 KR101785202 B1 KR 101785202B1
Authority
KR
South Korea
Prior art keywords
rgb
image
sensor
thermal image
pixel
Prior art date
Application number
KR1020160052781A
Other languages
English (en)
Inventor
김종환
유용호
김의환
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160052781A priority Critical patent/KR101785202B1/ko
Application granted granted Critical
Publication of KR101785202B1 publication Critical patent/KR101785202B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0021—Measuring arrangements characterised by the use of mechanical techniques for measuring the volumetric dimension of an object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G06K9/00234—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H04N13/0425—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof

Abstract

열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법이 제시된다. 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법은 열상 센서를 통해 열 영상을 획득하고 RGB 센서를 통해 RGB 영상을 획득하여 상기 열 영상과 상기 RGB 영상에서의 피사체 영역을 검출하는 단계; 상기 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 단계; 및 상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 단계를 포함할 수 있다.

Description

열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법{Automatic Calibration for RGB-D and Thermal Sensor Fusion and Method thereof}
아래의 실시예들은 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법에 관한 것이다. 더욱 상세하게는, 열상 센서와 RGB 센서를 통해 얻은 영상을 자동으로 매칭하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법에 관한 것이다.
사람의 시각을 모방한 대부분의 카메라는 사람이 눈에 볼 수 있는 가시광선 영역의 빛을 영상으로 보여준다. 그러나 가시광선 영역으로는 해당 피사체와의 거리 및 열 정보를 얻을 수 없으며, 피사체와의 거리를 얻기 위해 가시광선이 아닌 적외선을 이용할 수 있다.
Kinect 등의 RGB-D 센서 내부에는 적외선 센서가 있으며, 이를 이용하여 피사체에 적외선을 보내어 피사체에 반사되어 들어오는 적외선 신호를 분석함으로써 피사체와의 거리를 추정할 수 있다. 또한 적외선 영역의 일부에서는 열원을 감지할 수 있고, 0K 이상의 모든 물체는 열 방사선을 방출하기 때문에 이를 적외선으로 감지가 가능하다. 따라서 사람의 가시광선 영역에서 얻은 RGB 영상, IR에서 얻은 깊이 영상, 그리고 IR에서 얻은 열 영상을 함께 이용하면 많은 정보를 얻을 수 있기 때문에 다양한 분야에 적용이 가능하다.
한국등록특허 10-1164640호는 이러한 동일시계 및 영상을 갖는 적외선 열화상 카메라 장치에 관한 것으로, 열 영상과 RGB 영상의 매칭 시 발생하는 오차를 최소화하기 위한 적외선 열화상 카메라 장치를 사용하는 기술을 기재하고 있다.
그러나 열 영상과 RGB 영상의 매칭 시 발생하는 오차를 최소화하기 위해 적외선 열화상 카메라 장치를 사용하는 경우 열화상 카메라와 RGB 카메라의 위치를 정교하게 세팅해야 하는 번거로움이 있다.
실시예들은 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법에 관하여 기술하며, 보다 구체적으로 열상 센서와 RGB 센서를 통해 얻은 영상을 자동으로 매칭하는 기술을 제공한다.
실시예들은 열 영상과 RGB 영상의 서로 대응되는 픽셀을 찾고 대응되는 픽셀간 오차가 있는 경우 오차가 있는 픽셀을 제외함으로써, 열 영상과 RGB 영상의 매칭 시 발생하는 오차를 최소화하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법을 제공하는데 있다.
일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법은 열상 센서를 통해 열 영상을 획득하고 RGB 센서를 통해 RGB 영상을 획득하여 상기 열 영상과 상기 RGB 영상에서의 피사체 영역을 검출하는 단계; 상기 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 단계; 및 상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 단계를 포함한다.
그리고 상기 열 영상과 상기 RGB 영상이 매칭이 되는 경우 깊이 정보를 이용하여 부피를 구하는 단계를 더 포함할 수 있다.
또한, 상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 단계는, 기설정된 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후, 나머지 픽셀 쌍들에 대하여 상기 변환행렬을 구하는 단계를 포함할 수 있다.
상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 단계는, 임의로 선택된 적어도 4개의 대응되는 픽셀 쌍을 구한 후 변환행렬을 구하는 단계; 나머지 픽셀에 대하여 실제 RGB 상의 픽셀 위치와 열 영상의 픽셀의 위치를 변환행렬을 통하여 구한 픽셀 위치간 거리를 구하는 단계; 상기 픽셀 위치간 거리가 임계 거리보다 작을 경우 참인 정보(inlier)로 판단하는 단계; 및 상기 참인 정보(inlier)로 판단된 픽셀 쌍들에 대해 변환행렬을 구하는 단계를 포함할 수 있다.
상기 열 영상과 상기 RGB 영상에서의 피사체 영역을 검출하는 단계는, 상기 캘리브레이션을 용이하게 하기 위하여 상기 열 영상 내에서 특정 온도로 구분이 가능하고 상기 RGB 영상 내에서 특정 색상으로 구분이 가능한 상기 열 영상과 상기 RGB 영상으로부터 동시에 검출 가능한 피사체를 이용하여 상기 피사체 영역을 검출할 수 있다.
다른 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템은 피사체의 열 영상을 획득하는 열상 센서; 상기 피사체의 RGB 영상을 획득하는 RGB 센서; 및 상기 열상 센서와 상기 RGB 센서를 통해 획득한 상기 열 영상과 상기 RGB 영상을 자동으로 매칭하는 매칭부를 포함한다.
여기서, 상기 RGB 센서는 깊이 정보를 획득하는 RGB-D 센서이며, 상기 열 영상과 상기 RGB 영상이 매칭이 되는 경우 상기 깊이 정보를 이용하여 부피를 구할 수 있다.
상기 매칭부는, 상기 열 영상과 상기 RGB 영상에서의 피사체 영역을 검출하는 검출부; 상기 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 픽셀 설정부; 및 상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 변환행렬 산출부를 포함할 수 있다.
상기 변환행렬 산출부는, 기설정된 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후, 나머지 픽셀 쌍들에 대하여 상기 변환행렬을 구할 수 있다.
또 다른 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템은 열상 센서를 통해 열 영상을 획득하고 RGB 센서를 통해 RGB 영상을 획득하여 상기 열 영상과 상기 RGB 영상에서의 피사체 영역을 검출하는 검출부; 상기 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 픽셀 설정부; 및 상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 변환행렬 산출부를 포함한다.
그리고 상기 열 영상과 상기 RGB 영상이 매칭이 되는 경우 깊이 정보를 이용하여 부피를 구하는 부피 산출부를 더 포함할 수 있다.
상기 변환행렬 산출부는, 기설정된 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후, 나머지 픽셀 쌍들에 대하여 상기 변환행렬을 구할 수 있다.
상기 변환행렬 산출부는, 임의로 선택된 적어도 4개의 대응되는 픽셀 쌍을 구한 후 변환행렬을 구하고, 나머지 픽셀에 대하여 실제 RGB 상의 픽셀 위치와 열 영상의 픽셀의 위치를 변환행렬을 통하여 구한 픽셀 위치간 거리를 구하여, 상기 픽셀 위치간 거리가 임계 거리보다 작을 경우 참인 정보(inlier)로 판단하고, 상기 참인 정보(inlier)로 판단된 픽셀 쌍들에 대해 변환행렬을 구할 수 있다.
상기 검출부는, 상기 캘리브레이션을 용이하게 하기 위하여 상기 열 영상 내에서 특정 온도로 구분이 가능하고 상기 RGB 영상 내에서 특정 색상으로 구분이 가능한 상기 열 영상과 상기 RGB 영상으로부터 동시에 검출 가능한 피사체를 이용하여 상기 피사체 영역을 검출할 수 있다.
실시예들에 따르면 열상 센서와 RGB 센서를 통해 얻은 영상을 자동으로 매칭하는 기술을 제공할 수 있으며, 특수한 마커 제작이 필요 없이 RGB 상에서 색상에 따른 피사체를 검출하고 열상에서 온도에 따른 피사체를 검출하여 매칭되는 포인트를 이용하여 캘리브레이션(calibration) 하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법을 제공할 수 있다.
실시예들에 따르면 열 영상과 RGB 영상의 서로 대응되는 픽셀을 찾고 대응되는 픽셀간 오차가 있는 경우 오차가 있는 픽셀을 제외함으로써, 열 영상과 RGB 영상의 매칭 시 발생하는 오차를 최소화하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법을 제공할 수 있다.
실시예들에 따르면 소프트웨어를 이용하여 간단한 방법으로 두 카메라의 각 영상 간 변환행렬을 자동으로 구할 수 있는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법을 제공할 수 있다.
도 1은 일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템을 나타내는 블록도이다.
도 2는 다른 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템을 나타내는 블록도이다.
도 3은 일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템의 예를 나타내는 도면이다.
도 5는 일 실시예에 따른 열상 센서와 RGB-D 센서의 차이를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 RGB 영상과 열 영상의 캘리브레이션을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 RANSAC 반복에 따른 RGB 영상과 열 영상 간의 매칭을 나타낸다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 실시예는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법에 관하여 기술하며, 보다 구체적으로 열상 센서와 RGB 센서를 통해 얻은 영상을 자동으로 매칭하는 기술을 제공한다.
다양한 센서에서 얻은 영상을 사용하기 위해서는 매칭 작업이 선행되어야 한다. 각 센서마다 초점거리 등의 파라미터 값이 다르기 때문에 각 센서로 얻은 영상 간 변환행렬을 구해주는 과정을 매칭 혹은 캘리브레이션 이라고 부른다. 캘리브레이션을 할 때, 흔히 격자형 무늬가 있는 체커보드를 별도로 제작하여 매칭을 해준다.
다양한 센서로 얻은 영상을 융합하여 사용하고자 할 경우 각 픽셀간 오차를 제거해야 한다. 이를 위해 기존에는 대부분 흑과 백의 격자형 무늬로 이루어진 체커보드(checkerboard)를 사용한다. 각 센서마다 상기의 체커보드가 포함된 이미지를 이용하여 각 코너를 찾고, 코너 간 대응되는 픽셀을 이용하여 캘리브레이션(calibration)을 할 수 있다. 그러나 단순히 흑과 백으로 체커보드를 구성할 경우, IR 센서에서는 체커보드 내 코너 부분을 검출할 수 없다. 따라서 IR 센서에 맞는 특수한 체커보드를 구성하여 체커보드 내 코너 부분을 검출할 수 있다.
그리고 열상 센서의 경우 온도 차이가 있는 격자형 무늬를 배치하여 체커보드를 구성할 수 있으나, 열역학 제0 법칙에 의하여 온도 차이가 있는 두 물체가 인접해 있을 경우 결국 열 평형에 도달하기 때문에 일시적으로 사용할 수밖에 없다.
아래의 실시예들은 열상 센서와 RGB(Red-Green-Blue) 센서를 통해 얻은 영상을 자동으로 매칭하는 시스템에 관한 것으로, 열 영상과 RGB 영상의 서로 대응되는 픽셀을 찾는 방법을 제공하고, 대응되는 픽셀간 오차가 있는 경우 오차가 있는 픽셀을 제외하는 방법을 제공한다. 이러한 열상 센서와 RGB 센서를 통해 얻은 영상을 자동으로 매칭하는 시스템을 통해 매칭된 영상을 이용하여 로봇의 서비스 분야에 응용할 수 있다.
아래에서는 RGB 영상과 깊이 정보를 획득하는 센서를 RGB-D 센서로 표현할 수 있으며, RGB 영상, 깊이 정보, 및 열 영상을 획득하는 센서를 RGB-DT 센서로 표현할 수 있다. 여기서 RGB-DT 센서는 RGB-D 센서와 열상 센서를 연결하여 하나의 장치를 구성할 수 있다.
도 1은 일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템을 나타내는 블록도이다.
도 1을 참조하면, 일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템(100)은 열상 센서(110), RGB 센서(120), 및 매칭부(130)를 포함하여 이루어질 수 있다. 실시예에 따라 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템(100)은 깊이 센서를 더 포함할 수 있으며, RGB 센서(120)는 깊이 정보를 포함하는 RGB-D 센서로 이루어질 수도 있다.
열상 센서(110)는 피사체의 열 영상을 획득할 수 있다.
RGB 센서(120)는 피사체의 RGB 영상을 획득할 수 있다.
여기서 RGB 센서(120)는 RGB 영상을 획득뿐 아니라, 깊이 정보를 획득하는 RGB-D 센서가 될 수 있다. RGB-D 센서는 열 영상과 RGB 영상이 매칭이 되는 경우 깊이 정보를 이용하여 부피를 구할 수 있다.
또한, 실시예에 따라 깊이 정보를 획득하는 별도의 깊이 센서를 더 포함하여 이루어질 수 있다. 마찬가지로 깊이 센서는 열 영상과 RGB 영상이 매칭이 되는 경우 깊이 정보를 이용하여 부피를 구할 수 있다.
캘리브레이션을 용이하게 하기 위하여 RGB 영상과 열 영상으로부터 동시에 검출 가능한 피사체를 이용할 수 있다. 여기에서 동시에 검출 가능한 피사체는 RGB 영상 내에서 특정한 색상으로 구분이 가능하며, 이와 동시에 열 영상 내에서도 특정한 온도로 구분이 가능해야 한다.
예를 들어 동시 검출 가능한 피사체는 사람의 손 등이 될 수 있다. 사람의 손은 사람마다 고유한 색상을 가지고 있으며, 동시에 주위 환경과의 온도 차이가 있어 열 영상에서도 구분이 가능하다. 따라서 RGB 영상과 열 영상에서의 사람의 손 영역을 검출하여 손 영역의 가장자리(edge) 또는 중점 등을 서로 매칭이 되는 픽셀이라고 가정한 후, 이러한 픽셀을 여러 개 획득하여 캘리브레이션을 위한 변환행렬을 구할 수 있다.
매칭부(130)는 열상 센서(110)에서 획득한 열 영상과 RGB 센서(120)에서 획득한 RGB 영상을 자동으로 매칭시킬 수 있다.
더 구체적으로, 매칭부(130)는 검출부(131), 픽셀 설정부(132), 및 변환행렬 산출부(133)를 포함하여 이루어질 수 있다.
검출부(131)는 열 영상과 RGB 영상에서의 피사체 영역을 검출할 수 있다.
픽셀 설정부(132)는 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정할 수 있다.
변환행렬 산출부(133)는 픽셀을 다수 개 획득하여 열 영상과 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구할 수 있다.
더욱이, 변환행렬 산출부(133)는 기설정된 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후 나머지 픽셀 쌍들에 대하여 변환행렬을 구함으로써, 오차 발생을 줄일 수 있다.
예컨대 사람 손 등의 가장자리(edge) 또는 중점 등을 이용하여 RGB 영상과 열 영상 간 매칭되는 픽셀을 찾을 경우, 체커보드 등의 마커를 이용한 코너 기반 매칭되는 픽셀을 찾는 경우보다 오차가 크게 발생한다. 이에, 오차가 큰 것을 제외하고 나머지 픽셀 쌍에 대한 변환행렬을 구하기 위하여 RANSAC(Random Sample Consensus)을 이용할 수 있다.
매칭부(130)는 매칭을 위한 변환행렬을 구할 때, 특정 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후, 나머지 픽셀 쌍들에 대하여 변환행렬을 구함으로써 오차를 줄이고 정확한 값을 산출할 수 있다. 더 구체적으로, 매칭부(130)는 임의의 4개의 대응되는 픽셀 쌍을 구한 후 변환행렬을 구하고, 나머지 픽셀에 대하여 실제 RGB 상의 픽셀 위치와 열 영상의 픽셀의 위치를 변환행렬을 통하여 구한 픽셀 위치간 거리를 구하고, 그 거리가 임계 거리보다 작을 경우를 참인 정보(inlier)로 판단할 수 있다. 그리고 참인 정보(inlier)로 판단된 픽셀 쌍만 고려하여 변환행렬을 구하여 더욱 정확한 변환행렬을 구할 수 있다.
이렇게 RGB 영상과 열 영상이 매칭이 되었을 경우 깊이 정보와 함께 이용하여 액체의 부피를 구할 수 있다.
예를 들어 액체가 담긴 용기가 책상 위에 있을 경우, 액체가 담긴 영역을 책상으로 사영한 후 이 영역의 크기를 밑면의 넓이로 하며, 책상과 액체 간 거리가 가장 멀리 있는 경우를 높이로 하여 상기의 높이를 추정할 수 있다.
이렇게 추정된 액체의 부피는 로봇이 사람에게 서비스를 할 때 효율적으로 사용될 수 있다. 사람의 경우 눈으로 열에 의한 액체의 부피를 검출하지 못하지만, 로봇의 경우 사람이 볼 수 없는 적외선 영역까지 볼 수 있으므로 사람보다 더욱 정확한 서비스가 가능해진다.
도 2는 다른 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템을 나타내는 블록도이다.
도 2를 참조하면, 다른 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템(200)은 검출부(210), 픽셀 설정부(220), 및 변환행렬 산출부(230)를 포함하여 이루어질 수 있다. 실시예에 따라 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템(200)은 부피 산출부(240)를 더 포함하여 이루어질 수 있다. 또한 실시예에 따라 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템(200)은 열 영상, RGB 영상, 및 깊이 정보를 획득하는 수집부를 더 포함하여 이루어질 수 있다.
검출부(210)는 열상 센서를 통해 열 영상을 획득하고 RGB 센서를 통해 RGB 영상을 획득하여 열 영상과 RGB 영상에서의 피사체 영역을 검출할 수 있다. 이때, 열 영상 및 RGB 영상을 수집하는 수집부를 별도로 더 포함할 수 있다.
검출부(210)는 캘리브레이션을 용이하게 하기 위하여 열 영상 내에서 특정 온도로 구분이 가능하고 RGB 영상 내에서 특정 색상으로 구분이 가능한 열 영상과 RGB 영상으로부터 동시에 검출 가능한 피사체를 이용하여 피사체 영역을 검출할 수 있다.
픽셀 설정부(220)는 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정할 수 있다.
변환행렬 산출부(230)는 픽셀을 다수 개 획득하여 열 영상과 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구할 수 있다.
변환행렬 산출부(230)는 기설정된 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후 나머지 픽셀 쌍들에 대하여 변환행렬을 구함으로써, 오차 발생을 줄일 수 있다. 이때, 변환행렬 산출부(230)는 변환행렬을 구하기 위해 RANSAC(Random Sample Consensus)을 이용할 수 있다.
더 구체적으로, 변환행렬 산출부(230)는 임의로 선택된 적어도 4개의 대응되는 픽셀 쌍을 구한 후 변환행렬을 구하고, 나머지 픽셀에 대하여 실제 RGB 상의 픽셀 위치와 열 영상의 픽셀의 위치를 변환행렬을 통하여 구한 픽셀 위치간 거리를 구할 수 있다. 이후, 픽셀 위치간 거리가 임계 거리보다 작을 경우 참인 정보(inlier)로 판단하고, 참인 정보(inlier)로 판단된 픽셀 쌍들에 대해 변환행렬을 구할 수 있다.
그리고, 부피 산출부(240)는 열 영상과 RGB 영상이 매칭이 되는 경우 깊이 정보를 이용하여 부피를 구할 수 있다.
기존 열 영상과 RGB 영상의 매칭 시 발생하는 오차를 최소화하기 위한 적외선 열화상 카메라 장치를 사용하는 경우, 열화상 카메라와 RGB 카메라의 위치를 정교하게 세팅해야 하는 번거로움이 있다. 실시예들에 따르면 카메라 장치를 변경하는 대신 소프트웨어를 이용하여 간단한 방법으로 두 카메라의 각 영상 간 변환행렬을 자동으로 구할 수 있다.
또한, 기존에는 체커보드와 같은 마커를 이용하여 캘리브레이션 하였으나, 마커는 RGB 상에서 흑과 백의 격자형 무늬로 보여야 하며 열상에서는 고온, 저온 영역의 격자형 무늬를 보여야 하므로 특수 제작이 필요하다. 실시예들에 따르면 특수한 마커 제작이 필요 없이 RGB 상에서 색상에 따른 사람의 손 등의 피사체를 검출할 수 있다. 그리고 열상에서 온도에 따른 사람의 손 등의 피사체를 검출하여 두 손의 매칭되는 포인트를 이용하여 캘리브레이션(calibration)을 할 수 있다.
도 3은 일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법을 나타내는 흐름도이다.
도 3을 참조하면, 일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법은 열상 센서를 통해 열 영상을 획득하고 RGB 센서를 통해 RGB 영상을 획득하여 열 영상과 RGB 영상에서의 피사체 영역을 검출하는 단계(310), 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 단계(320), 및 픽셀을 다수 개 획득하여 열 영상과 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 단계(330)를 포함하여 이루어질 수 있다.
그리고 열 영상과 RGB 영상이 매칭이 되는 경우 깊이 정보를 이용하여 부피를 구하는 단계(340)를 더 포함하여 이루어질 수 있다.
실시예들에 따르면 열 영상과 RGB 영상의 서로 대응되는 픽셀을 찾고 대응되는 픽셀간 오차가 있는 경우 오차가 있는 픽셀을 제외함으로써, 열 영상과 RGB 영상의 매칭 시 발생하는 오차를 최소화하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법을 제공할 수 있다.
아래에서는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법의 각 단계에 대해 상세히 설명하기로 한다.
일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법은 도 2에서 설명한 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템을 이용하여 더 구체적으로 설명할 수 있다.
여기서 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템(200)은 검출부(210), 픽셀 설정부(220), 및 변환행렬 산출부(230)를 포함하여 이루어질 수 있다. 실시예에 따라 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템(200)은 부피 산출부(240)를 더 포함하여 이루어질 수 있다.
단계(310)에서, 검출부(210)는 열상 센서를 통해 열 영상을 획득하고 RGB 센서를 통해 RGB 영상을 획득하여 열 영상과 RGB 영상에서의 피사체 영역을 검출할 수 있다. 이때, 열 영상 및 RGB 영상을 수집하는 수집부를 별도로 더 포함할 수 있다.
여기서, 검출부(210)는 캘리브레이션을 용이하게 하기 위하여 열 영상 내에서 특정 온도로 구분이 가능하고 RGB 영상 내에서 특정 색상으로 구분이 가능한 열 영상과 RGB 영상으로부터 동시에 검출 가능한 피사체를 이용하여 피사체 영역을 검출할 수 있다.
단계(320)에서, 픽셀 설정부(220)는 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정할 수 있다.
단계(330)에서, 변환행렬 산출부(230)는 픽셀을 다수 개 획득하여 열 영상과 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구할 수 있다.
변환행렬 산출부(230)는 기설정된 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후 나머지 픽셀 쌍들에 대하여 변환행렬을 구함으로써, 오차 발생을 줄일 수 있다. 이때, 변환행렬 산출부(230)는 기설정된 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후, 나머지 픽셀 쌍들에 대하여 변환행렬을 구하기 위해 RANSAC(Random Sample Consensus)을 이용할 수 있다.
더 구체적으로, 변환행렬 산출부(230)는 임의로 선택된 적어도 4개의 대응되는 픽셀 쌍을 구한 후 변환행렬을 구하는 단계, 나머지 픽셀에 대하여 실제 RGB 상의 픽셀 위치와 열 영상의 픽셀의 위치를 변환행렬을 통하여 구한 픽셀 위치간 거리를 구하는 단계, 픽셀 위치간 거리가 임계 거리보다 작을 경우 참인 정보(inlier)로 판단하는 단계, 및 참인 정보(inlier)로 판단된 픽셀 쌍들에 대해 변환행렬을 구하는 단계를 포함할 수 있다.
그리고 단계(340)에서, 부피 산출부(240)는 열 영상과 RGB 영상이 매칭이 되는 경우 깊이 정보를 이용하여 부피를 구할 수 있다.
실시예들에 따르면 열상 센서와 RGB 센서를 통해 얻은 영상을 자동으로 매칭하는 기술을 제공할 수 있으며, 특수한 마커 제작이 필요 없이 RGB 상에서 색상에 따른 피사체를 검출하고 열상에서 온도에 따른 피사체를 검출하여 매칭되는 포인트를 이용하여 캘리브레이션(calibration) 할 수 있다.
또한, 실시예들에 따르면 열 영상과 RGB 영상의 서로 대응되는 픽셀을 찾고 대응되는 픽셀간 오차가 있는 경우 오차가 있는 픽셀을 제외함으로써, 열 영상과 RGB 영상의 매칭 시 발생하는 오차를 최소화할 수 있다. 이에 따라 소프트웨어를 이용하여 간단한 방법으로 두 카메라의 각 영상 간 변환행렬을 자동으로 구할 수 있다.
도 4는 일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템의 예를 나타내는 도면이다.
도 4를 참조하면, 일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템은 RGB-DT 센서로 구성될 수 있다. 더 구체적으로 RGB-D 센서와 열상 센서를 연결하여 하나의 장치로 구성될 수 있다. 또한, RGB 센서, 열상 센서, 및 깊이 센서를 연결하여 하나의 장치로 구성될 수도 있다.
여기서, RGB 영상과 깊이 정보를 획득하는 센서를 RGB-D 센서로 표현할 수 있으며, RGB 영상, 깊이 정보, 및 열 영상을 획득하는 센서를 RGB-DT 센서로 표현할 수 있다. 그리고 RGB-DT 센서는 RGB-D 센서와 열상 센서를 연결하여 하나의 장치를 구성할 수 있다.
일 실시예에 따른 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템은 열상 센서와 RGB(Red-Green-Blue) 센서를 통해 얻은 영상을 자동으로 매칭하는 것으로, 열 영상과 RGB 영상의 서로 대응되는 픽셀을 찾는 방법을 제공하고, 대응되는 픽셀간 오차가 있는 경우 오차가 있는 픽셀을 제외하는 방법을 제공한다. 이러한 열상 센서와 RGB 센서를 통해 얻은 영상을 자동으로 매칭하는 시스템을 통해 매칭된 영상을 이용하여 로봇의 서비스 분야에 응용할 수 있다.
도 5는 일 실시예에 따른 열상 센서와 RGB-D 센서의 차이를 설명하기 위한 도면이다.
도 5를 참조하면, R(Red, 적색), G(Green, 녹색), B(Blue, 청색) 픽셀을 통해 가시광 영역의 컬러 영상(color image)를 획득하고, 또한, IR(Infrared Ray, 적외선) 픽셀을 통해 적외선 영상을 획득하는 구조로 이루어 진다.
예를 들어, IR 센서는 깊이 정보를 획득하고 열 영상(열 정보)을 획득할 수 있다. 모든 물체는 0도 이상의 온도로 열 방사선을 방출하기 때문에 적외선으로 감지 할 수 있다. 즉, 모든 물체에서 방출되는 열 방사선을 중간 파장의 적외선 및 긴 파장의 적외선 영역에서 감지할 수 있다.
이에 따라 피사체에 적외선을 보내어 피사체에 반사되어 들어오는 적외선 신호를 분석함으로써 피사체와의 거리를 추정할 수 있다.
RGB-D 캘리브레이션을 위해 깊이 정보(영상)의 픽셀과 대응하는 3D 점(point)의 관계를 다음 식과 같이 나타낼 수 있다.
[수학식 1]
Figure 112016041395452-pat00001
여기서,
Figure 112016041395452-pat00002
는 깊이 정보(영상)의 임의의 픽셀에 대한 좌표값이며, 이에 대응 하는 3차원 점은
Figure 112016041395452-pat00003
로 정의할 수 있고,
Figure 112016041395452-pat00004
는 해당 픽셀의 깊이가 될 수 있다. 　
Figure 112016041395452-pat00005
는
Figure 112016041395452-pat00006
를 동차 좌표계로 표현한 벡터로, 각 성분에
Figure 112016041395452-pat00007
를 곱하여 표현할 수 있다.
Figure 112016041395452-pat00008
는 깊이 카메라의 초점 거리(focal length)를 말하며,
Figure 112016041395452-pat00009
는 깊이 카메라의 주점(principal point)가 될 수 있다.
RGB-D 캘리브레이션을 위해 깊이 정보로 구한 3D 점을 이용하여 깊이 정보의 픽셀과 대응하는 RGB 영상에서의 픽셀은 다음 식과 같이 나타낼 수 있다.
[수학식 2]
Figure 112016041395452-pat00010
여기서, 수학식 1의 를 이용하여 깊이 정보의 실제 3차원 점
Figure 112016041395452-pat00012
를 구할 수 있고,
Figure 112016041395452-pat00013
에 대한 동차좌표
Figure 112016041395452-pat00014
와 기설정된 파라미터(known parameter)인 회전행렬(rotation matrix) R과 변환 벡터(translation vector) T를 이용하여 대응하는 RGB 영상에서의 3차원 점
Figure 112016041395452-pat00015
를 구할 수 있다. 기설정된 RGB 센서의 내부 파라미터(intrinsic parameter)
Figure 112016041395452-pat00016
를 이용하여 이에 대응하는 RGB 영상 내 픽셀의 동차 좌표계
Figure 112016041395452-pat00017
를 얻을 수 있으며,
Figure 112016041395452-pat00018
로 나누어 줌으로써
Figure 112016041395452-pat00019
를 구할 수 있다.
도 6은 일 실시예에 따른 RGB 영상과 열 영상의 캘리브레이션을 설명하기 위한 도면이다.
도 6을 참조하면, 캘리브레이션을 용이하게 하기 위하여 RGB 영상과 열 영상으로부터 동시에 검출 가능한 피사체를 이용할 수 있다. 예컨대 피사체는 사람의 손 등이 될 수 있다. 사람의 손은 사람마다 고유한 색상을 가지고 있으며, 동시에 주위 환경과의 온도 차이가 있어 열 영상에서도 구분이 가능하다. 따라서 RGB 영상과 열 영상에서의 사람의 손 영역을 검출하여 손 영역의 가장자리(edge) 또는 중점 등을 서로 매칭이 되는 픽셀이라고 가정한 후, 이러한 픽셀을 여러 개 획득하여 캘리브레이션을 위한 변환행렬을 구할 수 있다.
RGB-DT 캘리브레이션을 다음 식과 같이 나타낼 수 있다.
[수학식 3]
Figure 112016041395452-pat00020
여기서
Figure 112016041395452-pat00021
는 동차 좌표계로 표현한 열 영상 내 픽셀의 좌표로, 열상 센서의 내부 파라미터(intrinsic parameter)
Figure 112016041395452-pat00022
를 이용하여 대응되는 3차원 점
Figure 112016041395452-pat00023
를 구할 수 있다. RGB 영상 내의 3차원 점
Figure 112016041395452-pat00024
와 열 영상 내의 3차원 점
Figure 112016041395452-pat00025
가 동일하다고 가정할 때
Figure 112016041395452-pat00026
와
Figure 112016041395452-pat00027
의 관계는 상기의 수학식과 같이 정리할 수 있으며, 이 두 점간의 관계를 나타내는 사영 변환 행렬(projective transformation matrix) H를 구함으로써 RGB-DT 캘리브레이션을 할 수 있고, 이를 위하여 적어도 4개 이상의 점이 사용될 수 있다.
더 구체적으로, 호모그래피(homography)를 이용한 사영 변환(projective transformation)에서 프로젝티비티(projectivity)의 행렬은 8개의 자유도(degree)를 가지고 있기 때문에, 두 영상 사이의 매칭은 하나의 영상에 4개의 점의 좌표가 있는 경우 계산될 수 있으며 다른 영상에 매칭되는 위치를 알 수 있다. 한편, RGB 영상과 열 영상의 대응되는 픽셀 쌍을 반복적으로 매칭할 수 있다.
도 7은 일 실시예에 따른 RANSAC 반복에 따른 RGB 영상과 열 영상 간의 매칭을 나타낸다.
도 7을 참조하면, RANSAC를 이용하여 RGB 영상과 열 영상을 매칭하는 것을 나타내며, 도 7a, 7b, 7c는 각각 RGB 영상, 열 영상, 깊이 영상을 나타내며, 7d는 매칭 없이 RGB 영상과 열 영상을 중첩한 경우이고 7e는 RANSAC 반복에 따른 RGB 영상과 열 영상 간의 매칭된 영상을 나타낸다.
실시예들에 따르면 열상 센서와 RGB 센서를 통해 얻은 영상을 자동으로 매칭하는 기술을 제공할 수 있으며, 특수한 마커 제작이 필요 없이 RGB 상에서 색상에 따른 피사체를 검출하고 열상에서 온도에 따른 피사체를 검출하여 매칭되는 포인트를 이용하여 캘리브레이션(calibration) 하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법을 제공할 수 있다.
실시예들에 따르면 열 영상과 RGB 영상의 서로 대응되는 픽셀을 찾고 대응되는 픽셀간 오차가 있는 경우 오차가 있는 픽셀을 제외함으로써, 열 영상과 RGB 영상의 매칭 시 발생하는 오차를 최소화하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법을 제공할 수 있다.
실시예들에 따르면 소프트웨어를 이용하여 간단한 방법으로 두 카메라의 각 영상 간 변환행렬을 자동으로 구할 수 있는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법을 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 열상 센서를 통해 열 영상을 획득하고 RGB 센서를 통해 RGB 영상을 획득하여 상기 열 영상과 상기 RGB 영상에서의 피사체 영역을 검출하는 단계;
    상기 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 단계; 및
    상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 단계
    를 포함하고,
    상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 단계는,
    임의로 선택된 적어도 4개의 대응되는 픽셀 쌍을 구한 후 변환행렬을 구하는 단계;
    나머지 픽셀에 대하여 실제 RGB 상의 픽셀 위치와 열 영상의 픽셀의 위치를 변환행렬을 통하여 구한 픽셀 위치간 거리를 구하는 단계;
    상기 픽셀 위치간 거리가 임계 거리보다 작을 경우 참인 정보(inlier)로 판단하는 단계; 및
    상기 참인 정보(inlier)로 판단된 픽셀 쌍들에 대해 변환행렬을 구하는 단계
    를 포함하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법.
  2. 제1항에 있어서,
    상기 열 영상과 상기 RGB 영상이 매칭이 되는 경우 깊이 정보를 이용하여 부피를 구하는 단계
    를 더 포함하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법.
  3. 제1항에 있어서,
    상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 단계는,
    기설정된 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후, 나머지 픽셀 쌍들에 대하여 상기 변환행렬을 구하는 단계
    를 포함하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 열 영상과 상기 RGB 영상에서의 피사체 영역을 검출하는 단계는,
    상기 캘리브레이션을 용이하게 하기 위하여 상기 열 영상 내에서 특정 온도로 구분이 가능하고 상기 RGB 영상 내에서 특정 색상으로 구분이 가능한 상기 열 영상과 상기 RGB 영상으로부터 동시에 검출 가능한 피사체를 이용하여 상기 피사체 영역을 검출하는 것
    을 특징으로 하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법.
  6. 피사체의 열 영상을 획득하는 열상 센서;
    상기 피사체의 RGB 영상을 획득하는 RGB 센서; 및
    상기 열상 센서와 상기 RGB 센서를 통해 획득한 상기 열 영상과 상기 RGB 영상을 자동으로 매칭하는 매칭부
    를 포함하고,
    상기 매칭부는,
    상기 열 영상과 상기 RGB 영상에서의 피사체 영역을 검출하는 검출부;
    상기 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 픽셀 설정부; 및
    상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 변환행렬 산출부
    를 포함하며,
    상기 변환행렬 산출부는,
    임의로 선택된 적어도 4개의 대응되는 픽셀 쌍을 구한 후 변환행렬을 구하고, 나머지 픽셀에 대하여 실제 RGB 상의 픽셀 위치와 열 영상의 픽셀의 위치를 변환행렬을 통하여 구한 픽셀 위치간 거리를 구하여, 상기 픽셀 위치간 거리가 임계 거리보다 작을 경우 참인 정보(inlier)로 판단하고, 상기 참인 정보(inlier)로 판단된 픽셀 쌍들에 대해 변환행렬을 구하는 것
    을 특징으로 하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템.
  7. 제6항에 있어서,
    상기 RGB 센서는,
    깊이 정보를 획득하는 RGB-D 센서이며,
    상기 열 영상과 상기 RGB 영상이 매칭이 되는 경우 상기 깊이 정보를 이용하여 부피를 구하는 것
    을 특징으로 하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템.
  8. 삭제
  9. 제6항에 있어서,
    상기 변환행렬 산출부는,
    기설정된 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후, 나머지 픽셀 쌍들에 대하여 상기 변환행렬을 구하는 것
    을 특징으로 하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템.
  10. 열상 센서를 통해 열 영상을 획득하고 RGB 센서를 통해 RGB 영상을 획득하여 상기 열 영상과 상기 RGB 영상에서의 피사체 영역을 검출하는 검출부;
    상기 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 픽셀 설정부; 및
    상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 변환행렬 산출부
    를 포함하고,
    상기 변환행렬 산출부는,
    임의로 선택된 적어도 4개의 대응되는 픽셀 쌍을 구한 후 변환행렬을 구하고, 나머지 픽셀에 대하여 실제 RGB 상의 픽셀 위치와 열 영상의 픽셀의 위치를 변환행렬을 통하여 구한 픽셀 위치간 거리를 구하여, 상기 픽셀 위치간 거리가 임계 거리보다 작을 경우 참인 정보(inlier)로 판단하고, 상기 참인 정보(inlier)로 판단된 픽셀 쌍들에 대해 변환행렬을 구하는 것
    을 특징으로 하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템.
  11. 제10항에 있어서,
    상기 열 영상과 상기 RGB 영상이 매칭이 되는 경우 깊이 정보를 이용하여 부피를 구하는 부피 산출부
    를 더 포함하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템.
  12. 제10항에 있어서,
    상기 변환행렬 산출부는,
    기설정된 임계 값보다 오차가 큰 픽셀 쌍을 제거한 후, 나머지 픽셀 쌍들에 대하여 상기 변환행렬을 구하는 것
    을 특징으로 하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템.
  13. 삭제
  14. 제10항에 있어서,
    상기 검출부는,
    상기 캘리브레이션을 용이하게 하기 위하여 상기 열 영상 내에서 특정 온도로 구분이 가능하고 상기 RGB 영상 내에서 특정 색상으로 구분이 가능한 상기 열 영상과 상기 RGB 영상으로부터 동시에 검출 가능한 피사체를 이용하여 상기 피사체 영역을 검출하는 것
    을 특징으로 하는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템.
KR1020160052781A 2016-04-29 2016-04-29 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법 KR101785202B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160052781A KR101785202B1 (ko) 2016-04-29 2016-04-29 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160052781A KR101785202B1 (ko) 2016-04-29 2016-04-29 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법

Publications (1)

Publication Number Publication Date
KR101785202B1 true KR101785202B1 (ko) 2017-10-13

Family

ID=60139627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160052781A KR101785202B1 (ko) 2016-04-29 2016-04-29 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법

Country Status (1)

Country Link
KR (1) KR101785202B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094257A (ko) * 2019-01-29 2020-08-07 주식회사 유니크 공간 정렬을 이용한 다중 ir 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법
US10796403B2 (en) 2017-09-14 2020-10-06 The Regents Of The University Of Colorado, A Body Corporate Thermal-depth fusion imaging
CN112115776A (zh) * 2020-08-07 2020-12-22 长江三峡通航管理局 船闸启闭机大型开式齿轮润滑状态监测方法
CN113474788A (zh) * 2019-07-23 2021-10-01 东洋制罐株式会社 影像数据处理系统、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体
US11481979B2 (en) 2018-04-23 2022-10-25 The Regents Of The University Of Colorado, A Body Corporate Mobile and augmented reality based depth and thermal fusion scan

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010281811A (ja) * 2009-05-08 2010-12-16 Univ Of Miyazaki 温度画像の三次元化装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010281811A (ja) * 2009-05-08 2010-12-16 Univ Of Miyazaki 温度画像の三次元化装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796403B2 (en) 2017-09-14 2020-10-06 The Regents Of The University Of Colorado, A Body Corporate Thermal-depth fusion imaging
US11481979B2 (en) 2018-04-23 2022-10-25 The Regents Of The University Of Colorado, A Body Corporate Mobile and augmented reality based depth and thermal fusion scan
KR20200094257A (ko) * 2019-01-29 2020-08-07 주식회사 유니크 공간 정렬을 이용한 다중 ir 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법
KR102595600B1 (ko) * 2019-01-29 2023-11-01 주식회사 유니크 공간 정렬을 이용한 다중 ir 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법
CN113474788A (zh) * 2019-07-23 2021-10-01 东洋制罐株式会社 影像数据处理系统、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体
CN113474788B (zh) * 2019-07-23 2024-02-13 东洋制罐株式会社 影像数据处理系统、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体
CN112115776A (zh) * 2020-08-07 2020-12-22 长江三峡通航管理局 船闸启闭机大型开式齿轮润滑状态监测方法
CN112115776B (zh) * 2020-08-07 2024-03-12 长江三峡通航管理局 船闸启闭机大型开式齿轮润滑状态监测方法

Similar Documents

Publication Publication Date Title
KR101785202B1 (ko) 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법
Pusztai et al. Accurate calibration of LiDAR-camera systems using ordinary boxes
US9916689B2 (en) Apparatus and method for estimating camera pose
KR101766603B1 (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP6237326B2 (ja) 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
CN108451536B (zh) 自动地定位x射线系统的x射线源的方法和x射线系统
CN109584307B (zh) 改进摄像机固有参数校准的系统和方法
US20170374360A1 (en) Camera calibration system, target, and process
US20030210407A1 (en) Image processing method, image processing system and image processing apparatus
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
JP2015128242A (ja) 画像投影装置及びそのキャリブレーション方法
JP2002090118A (ja) ３次元位置姿勢センシング装置
JP2005326247A (ja) 校正装置及び校正方法並びに校正プログラム
US11488354B2 (en) Information processing apparatus and information processing method
Borrmann et al. Mutual calibration for 3D thermal mapping
Wilm et al. Accurate and simple calibration of DLP projector systems
US10319105B2 (en) Method and system for calibrating an image acquisition device and corresponding computer program product
US20200364900A1 (en) Point marking using virtual fiducial elements
JP6615486B2 (ja) カメラキャリブレーション装置、方法及びプログラム
JP2005140547A (ja) ３次元計測方法、３次元計測装置、及びコンピュータプログラム
EP3216005B1 (en) Image processing device and method for geometric calibration of images
KR102295857B1 (ko) 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치
JP5732424B2 (ja) ３次元形状計測装置とそのキャリブレーション方法
JP2002135807A (ja) ３次元入力のためのキャリブレーション方法および装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration