KR101978830B1 - 이종 센서의 감지 결과 정합 시스템 및 방법 - Google Patents

이종 센서의 감지 결과 정합 시스템 및 방법 Download PDF

Info

Publication number
KR101978830B1
KR101978830B1 KR1020170174828A KR20170174828A KR101978830B1 KR 101978830 B1 KR101978830 B1 KR 101978830B1 KR 1020170174828 A KR1020170174828 A KR 1020170174828A KR 20170174828 A KR20170174828 A KR 20170174828A KR 101978830 B1 KR101978830 B1 KR 101978830B1
Authority
KR
South Korea
Prior art keywords
sensing
sensing object
distance
sensors
detection result
Prior art date
Application number
KR1020170174828A
Other languages
English (en)
Inventor
김승훈
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170174828A priority Critical patent/KR101978830B1/ko
Application granted granted Critical
Publication of KR101978830B1 publication Critical patent/KR101978830B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이종 센서의 감지 결과 정합 시스템 및 방법에 관한 것으로, 종류가 다른 복수 센서를 구비한 센서 장치로부터 평면 상에서 이동 가능한 점 형태의 감지 대상까지의 거리에 따라 평면 상에서 이동하는 감지 대상의 이동 간격을 설정하고, 특정 위치의 감지 대상을 감지한 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산한 후, 감지 대상을 이동 간격 만큼 떨어진 다른 위치로 이동시키며, 다른 위치의 감지 대상을 감지한 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산한다. 이를 통해 감지 대상이 어느 곳에 위치하는지에 관계없이 종류가 서로 다른 복수의 센서에서 감지한 결과를 오차 없이 실시간으로 정합할 수 있다.

Description

이종 센서의 감지 결과 정합 시스템 및 방법 {Detection result matching system and method of different kinds of sensors}
본 발명은 센서의 감지 결과를 보정하는 방법에 관한 것으로, 더욱 상세하게는 서로 다른 종류의 센서를 이용해 감지한 결과를 정합하기 위한 이종 센서의 감지 결과 정합 시스템 및 방법에 관한 것이다.
감지 대상에 대한 다양하고도 정확한 정보를 얻기 위해 복수의 센서에서 감지한 결과를 융합하는 기술에 대한 개발되고 있다.
특히 3차원 공간에 위치하는 물체를 이종의 센서를 이용해 감지하고, 감지 결과에 따른 영상을 단일 영상으로 융합하여 합성 영상을 생성하는 기술에 대한 연구 개발이 진행되고 있다.
도 8은 종래의 기술에 따라 이종 센서의 감지 결과를 이용해 합성 영상을 생성한 결과를 나타낸다.
도 8의 각 영상은 RGB 카메라의 감지 결과에 따른 영상과, Thermal 카메라의 감지 결과에 따른 영상을 합성한 결과를 나타낸다.
도 8의 좌측에서 감지 대상인 사람의 손에 대한 RGB 카메라 영상과 Thermal 카메라 영상은 오차없이 정확하게 합성되었다.
반면 도 8의 중앙에서 감지 대상인 손이 센서에서 멀어짐에 따라 RGB 카메라 영상과 Thermal 카메라 영상에 오차가 생겨 서로 어긋나도록 합성되었음을 확인할 수 있고, 도 8의 우측에서 감지 대상인 손이 센서에서 가까워짐에 따라 RGB 카메라 영상과 Thermal 카메라 영상에 오차가 생겨 서로 어긋나도록 합성되었음을 확인할 수 있다.
이렇듯 특정 위치에서 감지 대상을 감지한 이종 센서의 감지 정보를 이용해 좌표 변환 행렬을 계산하고, 이를 이용해 3차원 공간 상에서 다른 위치의 감지 대상을 감지한 이종 센서의 감지 정보 사이에 융합을 시도하는 경우, 의도치 않은 정합 오차가 발생하는 문제가 있다.
등록특허공보 제10-0269119호 (2000.11.01. 공고)
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 서로 다른 종류의 센서를 이용해 각 위치의 감지 대상을 감지한 결과를 오차없이 정확하게 정합할 수 있는 이종 센서의 감지 결과 정합 시스템 및 방법을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 이종 센서의 감지 결과 정합 시스템은, 평면 상에서 이동 가능한 점 형태의 감지 대상을 구비한 감지 대상 장치, 종류가 다른 복수 센서를 구비한 센서 장치, 및 상기 센서 장치로부터 상기 감지 대상까지의 거리에 따라 상기 평면 상에서 이동하는 상기 감지 대상의 이동 간격을 설정하고, 특정 위치의 상기 감지 대상을 감지한 상기 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산하고, 상기 감지 대상을 상기 이동 간격 만큼 떨어진 다른 위치로 이동시키며, 상기 다른 위치의 상기 감지 대상을 감지한 상기 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산하는 감지 결과 정합 장치를 포함한다.
상기와 같은 목적을 달성하기 위한 본 발명의 이종 센서의 감지 결과 정합 시스템은, 평면 상에서 이동 가능한 점 형태의 감지 대상을 구비한 감지 대상 장치, 및 종류가 다른 복수 센서를 구비한 센서 장치로부터 상기 감지 대상까지의 거리에 따라 상기 평면 상에서 이동하는 상기 감지 대상의 이동 간격을 설정하고, 특정 위치의 상기 감지 대상을 감지한 상기 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산하고, 상기 감지 대상을 상기 이동 간격 만큼 떨어진 다른 위치로 이동시키며, 상기 다른 위치의 상기 감지 대상을 감지한 상기 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산하는 감지 결과 정합 장치를 포함한다.
본 발명의 이종 센서의 감지 결과 정합 시스템에 있어서, 상기 감지 대상 장치는, 간격을 두고 나란히 위치하는 복수의 제1 프레임, 상기 복수의 제1 프레임과 수직하게 위치하며 상기 복수의 제1 프레임의 길이 방향을 따라 위치 이동이 가능한 제2 프레임을 포함하고, 상기 감지 대상은 상기 제2 프레임의 길이 방향을 따라 위치 이동이 가능한 것을 특징으로 한다.
본 발명의 이종 센서의 감지 결과 정합 시스템에 있어서, 상기 센서 장치는, Depth 카메라를 포함하고, RGB 카메라, Thermal 카메라, 자외선 카메라, 적외선 카메라, 근적외선 카메라 중 하나 이상의 센서를 더 포함하는 것을 특징으로 한다.
본 발명의 이종 센서의 감지 결과 정합 시스템에 있어서, 상기 센서 장치에 포함된 상기 Depth 카메라에서 감지한 상기 감지 대상까지의 거리를 이용해 상기 이동 간격을 설정하는 것을 특징으로 한다.
본 발명의 이종 센서의 감지 결과 정합 시스템에 있어서, 상기 감지 결과 정합 장치는, 상기 센서 장치로부터 상기 감지 대상까지의 거리가 가까울수록 상기 이동 간격이 작아지고 상기 감지 대상까지의 거리가 멀수록 상기 이동 간격이 커지도록 설정하는 것을 특징으로 한다.
본 발명의 이종 센서의 감지 결과 정합 시스템에 있어서, 상기 감지 결과 정합 장치는, 상기 센서 장치로부터 상기 감지 대상까지의 거리가 변화하여도 상기 센서 장치에서 감지하는 상기 이동 간격이 동일한 간격으로 인식되도록 상기 이동 간격을 설정하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 이종 센서의 감지 결과 정합 방법은, 감지 결과 정합 시스템이 종류가 다른 복수 센서를 구비한 센서 장치로부터 평면 상에서 이동 가능한 점 형태의 감지 대상까지의 거리에 따라 상기 평면 상에서 이동하는 상기 감지 대상의 이동 간격을 설정하는 단계, 상기 감지 결과 정합 시스템이 특정 위치의 상기 감지 대상을 감지한 상기 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산하는 단계, 상기 감지 결과 정합 시스템이 상기 감지 대상을 상기 이동 간격 만큼 떨어진 다른 위치로 이동시키는 단계, 및 상기 감지 결과 정합 시스템이 상기 다른 위치의 상기 감지 대상을 감지한 상기 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산하는 단계를 포함한다.
본 발명의 이종 센서의 감지 결과 정합 방법에 있어서, 상기 감지 대상의 이동 간격을 설정하는 단계는, 상기 센서 장치로부터 상기 감지 대상까지의 거리가 가까울수록 상기 이동 간격이 작아지고 상기 감지 대상까지의 거리가 멀수록 상기 이동 간격이 커지도록 설정하는 것을 특징으로 한다.
본 발명의 이종 센서의 감지 결과 정합 방법에 있어서, 상기 감지 대상의 이동 간격을 설정하는 단계는, 상기 센서 장치로부터 상기 감지 대상까지의 거리가 변화하여도 상기 센서 장치에서 감지하는 상기 이동 간격이 동일한 간격으로 인식되도록 상기 이동 간격을 설정하는 것을 특징으로 한다.
본 발명의 이종 센서의 감지 결과 정합 방법에 있어서, 상기 감지 결과 정합 시스템이 상기 센서 장치로부터 상기 감지 대상까지의 거리를 조정하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 이종 센서의 감지 결과 정합 시스템 및 방법에 따르면 감지 대상이 어느 곳에 위치하는지에 관계없이 종류가 서로 다른 복수의 센서에서 감지한 결과를 오차 없이 실시간으로 정합할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이종 센서의 감지 결과 정합 시스템의 모습을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 이종 센서의 감지 결과 정합 시스템의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 감지 대상 장치의 모습을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 감지 대상의 이동 간격을 나타낸 도면이다.
도 5는 본 발명의 다른 일 실시예에 따른 감지 대상의 이동 간격을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 이종 센서가 감지한 결과에 대응하는 영상을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 이종 센서의 감지 결과 정합 방법의 과정을 나타낸 도면이다.
도 8은 종래 기술을 설명하기 위한 도면이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 이종 센서의 융합 기술과 관련한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이종 센서의 감지 결과 정합 시스템의 모습을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 이종 센서의 감지 결과 정합 시스템의 구성을 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 감지 대상 장치의 모습을 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 감지 대상의 이동 간격을 나타낸 도면이고, 도 5는 본 발명의 다른 일 실시예에 따른 감지 대상의 이동 간격을 나타낸 도면이며, 도 6은 본 발명의 일 실시예에 따라 이종 센서가 감지한 결과에 대응하는 영상을 나타낸 도면이다.
도 1 내지 도 6을 참조하면 본 실시예의 감지 결과 정합 시스템(100)은 감지 대상 장치(10), 센서 장치(20) 및 감지 결과 정합 장치(30)를 포함하여 구성된다.
감지 대상 장치(10)는 센서 장치(20)의 센서(21)에서 감지하는 감지 대상(11)을 포함한 장치이다. 감지 대상 장치(10)에 포함된 감지 대상(11)은 일정 평면 상에서 위치의 이동이 가능하며, 각 위치의 감지 대상(11)을 센서 장치(20)가 감지하도록 한다.
도 3에 도시된 바에 따르면 감지 대상 장치(10)는 서로 간격을 두고 나란히 위치하는 복수의 제1 프레임(12), 복수의 제1 프레임(12)과 수직하게 위치하며 복수의 제1 프레임(12)의 길이 방향을 따라 위치 이동이 가능한 제2 프레임(13), 제2 프레임(13)의 길이 방향을 따라 위치 이동이 가능한 감지 대상(11)을 포함한다. 도 3에서 제2 프레임(13)이 복수의 제1 프레임(12)의 길이 방향을 따라 수평으로 이동하면 감지 대상(11)의 수평 위치가 결정되고, 감지 대상(11)이 제2 프레임(13)의 길이 방향을 따라 수직으로 이동하면 감지 대상(11)의 수직 위치가 결정된다. 이때 감지 대상 장치(10)는 제2 프레임(13)이나 감지 대상(11)의 위치 이동을 위한 구동 모터 등을 포함할 수 있다.
센서 장치(20)는 종류가 서로 다른 복수의 센서(21)를 구비한 장치로서, 해당 이종 센서(21)를 이용해 감지 대상 장치(10)에 포함된 감지 대상(11)을 감지한다. 센서 장치(20)에서 복수의 이종 센서(21)를 이용해 감지한 결과는 감지 결과 정합 장치(30)로 전달된다.
센서 장치(20)는 감지 대상(11)까지의 거리를 감지하기 위한 센서(21)로서 Depth 카메라를 포함하고, RGB 카메라, Thermal 카메라, 자외선 카메라, 적외선 카메라, 근적외선 카메라 등의 센서(21)를 더 포함할 수 있다. 센서 장치(20)가 Thermal 카메라를 포함한 경우 감지 대상 장치(10)에 포함된 감지 대상(11)은 발열체를 포함할 수 있다.
감지 결과 정합 장치(30)는 센서 장치(20)의 복수의 이종 센서(21)에서 감지한 결과를 수신하면, 이를 이용해 복수의 이종 센서(21)의 감지 결과를 정합하기 위한 좌표 변환 행렬을 계산하는 역할을 한다.
이러한 감지 대상 장치(10), 센서 장치(20) 및 감지 결과 정합 장치(30)는 유선 통신 또는 무선 통신을 이용해 정보를 송수신하기 위한 통신 인터페이스, 각 장치(10, 20, 30)의 제어를 담당하는 연산 유닛, 정보 저장을 위한 메모리, 프로그램 저장소 등을 각각 포함한다.
먼저 감지 대상 장치(10)와 센서 장치(20)의 위치가 정해지면, 센서 장치(20)의 Depth 카메라가 감지 대상(11)까지의 거리를 측정한다. 그리고 센서 장치(20)는 측정된 거리에 대한 정보를 감지 결과 정합 장치(30)로 전송한다.
그리고 감지 결과 정합 장치(30)는 센서 장치(20)로부터 감지 대상(11)까지의 거리에 따라, 감지 대상(11)이 이동하는 평면 상에서 감지 대상(11)이 이동하는 이동 간격을 설정한다.
이때 감지 결과 정합 장치(30)는 센서 장치(20)로부터 감지 대상(11)까지의 거리가 가까울수록 이동 간격이 작아지도록 설정하고, 센서 장치(20)로부터 감지 대상(11)까지의 거리가 멀수록 이동 간격이 커지도록 설정할 수 있다.
도 4 및 도 5에 도시된 바에 따르면 수평선과 수직선으로 표시된 격자는 감지 대상 장치(10)의 평면 상에서 감지 대상(11)이 이동하는 간격을 나타낸다. 이때 감지 대상(11)은 수평선과 수직선의 교차 지점에 정지하여 센서 장치(20)가 감지 대상(11)을 감지하도록 하고, 이후 수평 방향 또는 수직 방향을 따라 기 설정된 이동 간격 만큼 이동하고 다음 교차 지점에 정지하여 센서 장치(20)가 감지 대상(11)을 감지하도록 한다.
이 경우 도 4에 도시된 격자의 크기는 도 5에 도시된 격자의 크기보다 상대적으로 작으며 그 결과 수평선과 수직선이 만나는 교차점 사이의 이동 간격이 작아지게 된다. 감지 결과 정합 장치(30)는 센서 장치(20)로부터 감지 대상(11)까지의 거리가 가까울수록 도 4와 같이 이동 간격이 작아지도록 설정하고, 반대로 센서 장치(20)로부터 감지 대상(11)까지의 거리가 멀수록 도 5와 같이 이동 간격이 커지도록 설정하여, 센서 장치(20)의 각종 센서(21)에서 바라보는 감지 대상(11)의 이동 간격에 차이가 적어지도록 할 수 있다.
이때 감지 결과 정합 장치(30)는 센서 장치(20)로부터 감지 대상(11)까지의 거리가 변화하여도 센서 장치(20)에서 감지하는 이동 간격이 동일한 간격으로 인식되도록 해당 이동 간격을 설정할 수 있다. 이 경우 센서 장치(20)로부터 감지 대상(11)까지의 거리에 대응하여 단일 평면 상에서의 감지 대상(11)의 이동 간격은 변화하지만, 센서 장치(20)의 이종 센서(21)에서 바라보는 감지 대상(11)의 이동 간격은 일정하게 된다.
이렇게 감지 대상(11)의 이동 간격을 설정한 감지 결과 정합 장치(30)는, 센서 장치(20)로부터 특정 위치의 감지 대상(11)을 감지한 복수의 이종 센서(21)의 감지 결과를 수신한다. 그리고 감지 결과 정합 장치(30)는 수신된 감지 결과에 따른 좌표의 대응관계를 이용하여 해당 특정 위치에 감지 대상 객체가 위치하는 경우 감지 결과를 정합하는데 활용될 좌표 변환 행렬을 계산한다.
그리고 감지 결과 정합 장치(30)는 기 설정된 이동 간격을 참조하여, 감지 대상(11)을 해당 이동 간격 만큼 떨어진 다른 위치로 이동시킨다. 이 경우 감지 결과 정합 장치(30)는 감지 대상 장치(10)로 감지 대상(11)의 이동을 위한 제어 명령을 전송하여 감지 대상(11)의 위치 이동을 제어한다.
이후 감지 결과 정합 장치(30)는, 센서 장치(20)로부터 위치가 이동된 다른 위치의 감지 대상(11)을 감지한 복수의 이종 센서(21)의 감지 결과를 수신한다. 그리고 감지 결과 정합 장치(30)는 수신된 감지 결과에 따른 좌표의 대응관계를 이용하여 해당 다른 위치에 감지 대상 객체가 위치하는 경우 감지 결과를 정합하는데 활용될 좌표 변환 행렬을 계산한다.
이러한 과정을 통해 감지 대상(11)을 평면 상에서 이동 시키며 좌표 변환 행렬을 계산한 감지 결과 정합 장치(30)는, 센서 장치(20)로부터 감지 대상(11)까지의 거리를 변경하여 조정하고, 조정된 거리에 맞게 감지 대상(11)의 이동 간격을 설정한 후, 감지 대상(11)을 해당 이동 간격에 따라 이동시키며 감지된 복수의 이종 센서(21)의 감지 결과를 이용해 각 위치에 대응하는 좌표 변환 행렬을 계산하는 과정을 반복한다.
이를 통해 3차원 공간 상에서 감지 대상 객체가 어느 위치에 존재하는 경우에도, 종류가 서로 다른 복수의 센서(21)의 감지 결과를 정합하기 위한 좌표 변환 행렬을 각각 계산할 수 있으며, 이렇게 계산된 좌표 변환 행렬을 룩업테이블로 구성하여 실시간 감지 결과 정합에 활용할 수 있다.
도 6은 이렇게 계산된 좌표 변환 행렬을 이용해 각 상황에서 차량의 뒷 자석 상황을 감지한 영상을 나타낸다. 도 6의 각 상황에서 RGB 영상, Depth 영상 및 Thermal 영상은 오차없이 정합되어 합성(Fusion) 영상이 생성되었음을 확인할 수 있다.
본 발명에 따라 이종 센서의 감지 결과를 정합하는 과정에 대해서는 도 7을 참조하여 상세하게 설명하기로 한다.
도 7은 본 발명의 일 실시예에 따른 이종 센서의 감지 결과 정합 방법의 과정을 나타낸 도면이다.
도 7을 참조하면, 감지 결과 정합 시스템이 종류가 다른 복수 센서를 구비한 센서 장치로부터 평면 상에서 이동 가능한 점 형태의 감지 대상까지의 거리를 확인하고(S1), 확인된 거리에 따라 평면 상에서 이동하는 감지 대상의 이동 간격을 설정한다(S2).
단계(S1)에서 감지 결과 정합 시스템은, 센서 장치의 Depth 카메라에서 감지한 감지 대상까지의 거리에 대한 정보를 수신할 수 있다.
단계(S2)의 감지 결과 정합 시스템은 센서 장치로부터 감지 대상까지의 거리가 가까울수록 이동 간격이 작아지고 센서 장치로부터 감지 대상까지의 거리가 멀수록 이동 간격이 커지도록 설정할 수 있다. 이 경우 감지 결과 정합 시스템은 센서 장치로부터 감지 대상까지의 거리가 변화하여도 센서 장치에서 감지하는 이동 간격이 동일한 간격으로 인식되도록 이동 간격을 설정할 수도 있다.
그리고 센서 장치에 포함된 종류가 서로 다른 복수의 센서에서 특정 위치의 감지 대상을 감지하면(S3), 감지 결과 정합 시스템은 센서 장치로부터 특정 위치의 감지 대상을 감지한 복수의 이종 센서의 감지 결과를 수신하고 수신된 감지 결과에 따른 좌표의 대응관계를 이용하여 해당 특정 위치에 감지 대상 객체가 위치하는 경우 감지 결과를 정합하는데 활용될 좌표 변환 행렬을 계산한다(S4).
이후 감지 결과 정합 시스템은 단계(S2)에서 설정한 이동 간격을 참조하여, 감지 대상을 해당 이동 간격 만큼 떨어진 다른 위치로 이동시킨다(S5).
그리고 센서 장치에 포함된 복수의 이종 센서가 단계(S5)에서 위치 이동된 다른 위치의 감지 대상을 감지하면(S6), 감지 결과 정합 시스템은 센서 장치로부터 해당 다른 위치의 감지 대상을 감지한 복수의 이종 센서의 감지 결과를 수신하고 수신된 감지 결과에 따른 좌표의 대응관계를 이용하여 해당 다른 위치에 감지 대상 객체가 위치하는 경우 감지 결과를 정합하는데 활용될 좌표 변환 행렬을 계산한다(S7).
이러한 과정을 통해 감지 대상의 위치를 이동시키며 좌표 변환 행렬을 계산한 감지 결과 정합 시스템은 단계(S1)에서 확인한 거리에 대응하는 평면에서 감지 대상을 이동시키며 좌표 변환 행렬의 계산을 완료하였는지 판단한다(S8).
단계(S8)에서의 판단 결과 해당 거리에서의 좌표 변환 행렬 계산이 완료되지 않은 경우라면 감지 결과 정합 시스템은 단계(S5) 내지 단계(S7)의 과정을 반복하여 감지 대상을 이동 간격에 따라 이동시키며 복수의 이종 센서를 이용해 감지하고 좌표 변환 행렬을 계산하는 과정을 계속한다.
반면 단계(S8)에서의 판단결과 해당 거리에서의 좌표 변환 행렬 계산이 완료된 경우라면 감지 결과 정합 시스템은 각 거리에 대응하는 전체 좌표 변환 행렬의 계산을 완료하였는지 판단한다(S9).
단계(S9)에서의 판단 결과 각 거리에 따른 전체 좌표 변환 행렬 계산이 완료되지 않은 경우라면 감지 결과 정합 시스템은 센서 장치로부터 감지 대상까지의 거리를 조정하고(S10), 단계(S1) 내지 단계(S8)를 반복하여 조정된 거리에 따른 평면에서 감지 대상을 이동시키며 각 위치에 따른 좌표 변환 행렬을 계산하는 과정을 계속한다.
반면 단계(S9)에서의 판단결과 각 거리에 따른 전체 좌표 변환 행렬 계산이 완료된 경우라면 감지 결과 정합 시스템은 좌표 변환 행렬의 계산 동작을 종료한다.
본 발명의 실시예에 따른 이종 센서의 감지 결과 정합 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
10: 감지 대상 장치
11: 감지 대상
12: 제1 프레임
13: 제2 프레임
20: 센서 장치
21: 센서
30: 감지 결과 정합 장치
100: 감지 결과 정합 시스템

Claims (11)

  1. 평면 상에서 이동 가능한 점 형태의 감지 대상을 구비한 감지 대상 장치;
    Depth 카메라를 포함하여 종류가 다른 복수 센서를 구비한 센서 장치; 및
    상기 센서 장치로부터 상기 감지 대상까지의 거리에 따라 상기 평면 상에서 이동하는 상기 감지 대상의 이동 간격을 설정하고, 특정 위치의 상기 감지 대상을 감지한 상기 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산하고, 상기 감지 대상을 상기 이동 간격 만큼 떨어진 다른 위치로 이동시키며, 상기 다른 위치의 상기 감지 대상을 감지한 상기 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산하는 감지 결과 정합 장치;를 포함하고,
    상기 감지 결과 정합 장치는,
    상기 센서 장치에 포함된 상기 Depth 카메라에서 감지한 상기 감지 대상까지의 거리를 이용해 상기 이동 간격을 설정하는 것을 특징으로 하는 이종 센서의 감지 결과 정합 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 감지 대상 장치는,
    간격을 두고 나란히 위치하는 복수의 제1 프레임;
    상기 복수의 제1 프레임과 수직하게 위치하며 상기 복수의 제1 프레임의 길이 방향을 따라 위치 이동이 가능한 제2 프레임;
    을 포함하고,
    상기 감지 대상은 상기 제2 프레임의 길이 방향을 따라 위치 이동이 가능한 것을 특징으로 하는 이종 센서의 감지 결과 정합 시스템.
  4. 제1항에 있어서,
    상기 센서 장치는,
    RGB 카메라, Thermal 카메라, 자외선 카메라, 적외선 카메라, 근적외선 카메라 중 하나 이상의 센서를 더 포함하는 것을 특징으로 하는 이종 센서의 감지 결과 정합 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 감지 결과 정합 장치는,
    상기 센서 장치로부터 상기 감지 대상까지의 거리가 가까울수록 상기 이동 간격이 작아지고 상기 감지 대상까지의 거리가 멀수록 상기 이동 간격이 커지도록 설정하는 것을 특징으로 하는 이종 센서의 감지 결과 정합 시스템.
  7. 제1항에 있어서,
    상기 감지 결과 정합 장치는,
    상기 센서 장치로부터 상기 감지 대상까지의 거리가 변화하여도 상기 센서 장치에서 감지하는 상기 이동 간격이 동일한 간격으로 인식되도록 상기 이동 간격을 설정하는 것을 특징으로 하는 이종 센서의 감지 결과 정합 시스템.
  8. 감지 결과 정합 시스템이 Depth 카메라를 포함하여 종류가 다른 복수 센서를 구비한 센서 장치로부터 평면 상에서 이동 가능한 점 형태의 감지 대상까지의 거리에 따라 상기 평면 상에서 이동하는 상기 감지 대상의 이동 간격을 설정하는 단계;
    상기 감지 결과 정합 시스템이 특정 위치의 상기 감지 대상을 감지한 상기 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산하는 단계;
    상기 감지 결과 정합 시스템이 상기 감지 대상을 상기 이동 간격 만큼 떨어진 다른 위치로 이동시키는 단계; 및
    상기 감지 결과 정합 시스템이 상기 다른 위치의 상기 감지 대상을 감지한 상기 복수 센서의 감지 결과에 따른 좌표의 대응관계를 이용하여 좌표 변환 행렬을 계산하는 단계;를 포함하고,
    상기 감지 대상의 이동 간격을 설정하는 단계는,
    상기 센서 장치에 포함된 상기 Depth 카메라에서 감지한 상기 감지 대상까지의 거리를 이용해 상기 이동 간격을 설정하는 것을 특징으로 하는 이종 센서의 감지 결과 정합 방법.
  9. 제8항에 있어서,
    상기 감지 대상의 이동 간격을 설정하는 단계는,
    상기 센서 장치로부터 상기 감지 대상까지의 거리가 가까울수록 상기 이동 간격이 작아지고 상기 감지 대상까지의 거리가 멀수록 상기 이동 간격이 커지도록 설정하는 것을 특징으로 하는 이종 센서의 감지 결과 정합 방법.
  10. 제8항에 있어서,
    상기 감지 대상의 이동 간격을 설정하는 단계는,
    상기 센서 장치로부터 상기 감지 대상까지의 거리가 변화하여도 상기 센서 장치에서 감지하는 상기 이동 간격이 동일한 간격으로 인식되도록 상기 이동 간격을 설정하는 것을 특징으로 하는 이종 센서의 감지 결과 정합 방법.
  11. 제8항에 있어서,
    상기 감지 결과 정합 시스템이 상기 센서 장치로부터 상기 감지 대상까지의 거리를 조정하는 단계;
    를 더 포함하는 것을 특징으로 하는 이종 센서의 감지 결과 정합 방법.
KR1020170174828A 2017-12-19 2017-12-19 이종 센서의 감지 결과 정합 시스템 및 방법 KR101978830B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170174828A KR101978830B1 (ko) 2017-12-19 2017-12-19 이종 센서의 감지 결과 정합 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170174828A KR101978830B1 (ko) 2017-12-19 2017-12-19 이종 센서의 감지 결과 정합 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101978830B1 true KR101978830B1 (ko) 2019-05-15

Family

ID=66579287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170174828A KR101978830B1 (ko) 2017-12-19 2017-12-19 이종 센서의 감지 결과 정합 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101978830B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021182793A1 (ko) * 2020-03-12 2021-09-16 주식회사 멀티플아이 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269119B1 (ko) 1997-08-14 2000-11-01 윤종용 광비젼센서의캘리브레이션방법및장치
JP2001235819A (ja) * 2000-02-21 2001-08-31 Minolta Co Ltd カメラのキャリブレーション方法および装置ならびに対応点探索方法
JP2002354506A (ja) * 2001-05-25 2002-12-06 Minolta Co Ltd カメラ校正用立体チャート、カメラの校正用パラメータの取得方法、カメラの校正用情報処理装置、およびプログラム
KR20120047482A (ko) * 2010-11-04 2012-05-14 삼성전자주식회사 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치
KR20130068243A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 영상 정합 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269119B1 (ko) 1997-08-14 2000-11-01 윤종용 광비젼센서의캘리브레이션방법및장치
JP2001235819A (ja) * 2000-02-21 2001-08-31 Minolta Co Ltd カメラのキャリブレーション方法および装置ならびに対応点探索方法
JP2002354506A (ja) * 2001-05-25 2002-12-06 Minolta Co Ltd カメラ校正用立体チャート、カメラの校正用パラメータの取得方法、カメラの校正用情報処理装置、およびプログラム
KR20120047482A (ko) * 2010-11-04 2012-05-14 삼성전자주식회사 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치
KR20130068243A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 영상 정합 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021182793A1 (ko) * 2020-03-12 2021-09-16 주식회사 멀티플아이 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치

Similar Documents

Publication Publication Date Title
KR100766434B1 (ko) 영상 인식이 가능한 이동체와 이동체 유도 방법
JP5057936B2 (ja) 鳥瞰画像生成装置および方法
US9796083B2 (en) Simulation apparatus for robot system
KR101672732B1 (ko) 객체 추적 장치 및 방법
KR101896715B1 (ko) 주변차량 위치 추적 장치 및 방법
CN104827480A (zh) 机器人系统的自动标定方法
WO1992015838A1 (en) Detection position correction system
JP5775965B2 (ja) ステレオカメラシステム及び移動体
US20240151531A1 (en) Movable marking system, controlling method for movable marking apparatus, and computer readable recording medium
KR102021202B1 (ko) 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법
US20210039265A1 (en) Autonomous working system, method and computer readable recording medium
KR101782317B1 (ko) 3차원 스캐너를 이용한 로봇 캘리브레이션 장치 및 이를 이용한 로봇 캘리브레이션 방법
KR101978830B1 (ko) 이종 센서의 감지 결과 정합 시스템 및 방법
KR101480774B1 (ko) Cctv를 이용한 이동로봇의 위치 인식 장치 및 방법
JPWO2020137315A1 (ja) 測位装置及び移動体
KR20160056559A (ko) 포인터를 이용한 로봇의 주행 시스템 및 방법
JP6450788B2 (ja) ワーク取出システム
US20100017032A1 (en) Device for controlling a robot
JP2006224291A (ja) ロボットシステム
KR101412513B1 (ko) 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법
KR20170076506A (ko) 어라운드뷰 생성방법과 이를 수행하는 장치
KR100792852B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리추출방법
KR102433287B1 (ko) 학습 세트 생성 방법, 학습 세트 생성 장치, 및 학습 세트 생성 시스템
KR20170078914A (ko) 차량용 어라운드 뷰 시스템 및 그 동작 방법
CN111300428B (zh) 机器人、机器人控制方法和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant