KR20190072015A - 융합 센서 데이터 시각화 장치 및 방법 - Google Patents

융합 센서 데이터 시각화 장치 및 방법 Download PDF

Info

Publication number
KR20190072015A
KR20190072015A KR1020170173026A KR20170173026A KR20190072015A KR 20190072015 A KR20190072015 A KR 20190072015A KR 1020170173026 A KR1020170173026 A KR 1020170173026A KR 20170173026 A KR20170173026 A KR 20170173026A KR 20190072015 A KR20190072015 A KR 20190072015A
Authority
KR
South Korea
Prior art keywords
camera
distance
distance probability
spatial map
space
Prior art date
Application number
KR1020170173026A
Other languages
English (en)
Other versions
KR102347226B1 (ko
Inventor
신동인
조민영
전세웅
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170173026A priority Critical patent/KR102347226B1/ko
Publication of KR20190072015A publication Critical patent/KR20190072015A/ko
Application granted granted Critical
Publication of KR102347226B1 publication Critical patent/KR102347226B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

본 발명은 복수의 센서로부터 센싱된 거리 확률 값을 카메라로부터 촬영된 영상과 융합하여 화재 현장과 같은 농연 환경에서 정확도 높은 영상을 제공하기 위한 융합 센서 데이터 시각화 장치 및 방법에 관한 것이다. 본 발명에 따른 융합 센서 데이터 시각화 장치는 공간을 촬영하는 카메라와, 카메라가 촬영하는 지점으로부터 공간에 포함되는 장애물의 거리를 센싱하는 복수의 센서를 포함하는 센싱부, 복수의 센서 각각의 거리 확률 값을 산출하고, 각각의 거리 확률 값을 융합하여 공간 맵을 생성하고, 공간 맵을 카메라를 통해 촬영된 영상에 융합하여 출력하도록 하는 제어부를 포함한다.

Description

융합 센서 데이터 시각화 장치 및 방법{Fusion sensor data visualization device and method}
본 발명은 융합 센서 데이터 시각화 장치에 관한 것으로, 더욱 상세하게는 복수의 센서로부터 센싱된 거리 확률 값을 카메라로부터 촬영된 영상과 융합하여 화재 현장과 같은 농연 환경에서 정확도 높은 영상을 제공하기 위한 융합 센서 데이터 시각화 장치 및 방법에 관한 것이다.
화재가 발생한 현장에는 화염과 연소가스 때문에 큰 피해를 입게 되는데, 특히 고온의 화염이 발생하고 폭발 위험이 있는 경우에는 소방관이 화재 현장에 투입되어도 효과적으로 화재 현장을 제압할 수 없을 뿐만 아니라, 화염이 심한 경우에는 화재 현장에 접근을 할 수 없는 경우도 있다.
이에 따라 화재 현장에 사람 대신에 투입할 수 있는 로봇이 사용되고 있다. 이러한 로봇은 카메라가 장착되어 조종자가 카메라로부터 획득한 영상을 보면서 조종되게 된다.
그러나 화재 현장과 같은 농연 환경에서는 카메라로 촬영된 영상만으로는 장애물이나 구조 파악이 힘든 문제점이 있었다.
이에 따라 융합 센서를 이용하여 화재 현장 등과 같은 농연 환경에서 정확도 높은 영상을 얻기 위한 연구가 진행되고 있다.
한편 한국등록특허 제10-1785202호에는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법에 대하여 개시하고 있다.
개시된 캘리브레이션 시스템은 피사체의 열 영상을 획득하는 열상 센서, 피사체의 RGB 영상을 획득하는 RGB 센서, 열상 센서와 RGB 센서를 통해 획득한 열 영상과 RGB 영상을 자동으로 매칭하는 매칭부를 포함하고, 매칭부는 열 영상과 RGB 영상에서의 피사체 영역을 검출하는 검출부, 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 픽셀 설정부 및 픽셀을 다수 개 획득하여 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 변환행렬 산출부를 포함하는 내용을 개시하고 있다.
개시된 캘리브레이션 시스템은 RGB 영상과 열상 영상을 매칭하는 내용을 개시하고 있으나, RGB 영상에 에지(edge) 정보를 추출하여 열화상 데이터에 오버레이 하는 정도로 화재 현장과 같은 농연 환경에서는 정확한 영상을 얻기 힘든 문제점이 있었다.
따라서 본 발명의 목적은 복수의 센서를 이용하여 화재 현장과 같은 농연 환경에서 정확도 높은 영상을 제공할 수 있는 융합 센서 데이터 시각화 장치 및 방법을 제공하는 데 있다.
본 발명에 따른 융합 센서 데이터 시각화 장치는 공간을 촬영하는 카메라와, 상기 카메라가 촬영하는 지점으로부터 상기 공간에 포함되는 장애물의 거리를 센싱하는 복수의 센서를 포함하는 센싱부, 상기 복수의 센서 각각의 거리 확률 값을 산출하고, 각각의 상기 거리 확률 값을 융합하여 공간 맵을 생성하고, 상기 공간 맵을 상기 카메라를 통해 촬영된 영상에 융합하여 출력하도록 하는 제어부를 포함한다.
본 발명에 따른 융합 센서 데이터 시각화 장치에 있어서, 상기 복수의 센서는 레이더 및 열화상 카메라을 포함하는 것을 특징으로 한다.
본 발명에 따른 융합 센서 데이터 시각화 장치에 있어서, 상기 제어부는 상기 레이더의 거리 확률 값을 하기의 수학식 1로 산출하는 것을 특징으로 한다.
[수학식 1]
Figure pat00001
본 발명에 따른 융합 센서 데이터 시각화 장치에 있어서, 상기 제어부는 상기 열화상 카메라의 거리 확률 값을 하기의 수학식 2로 산출하는 것을 특징으로 한다.
[수학식 2]
Figure pat00002
본 발명에 따른 융합 센서 데이터 시각화 장치에 있어서, 상기 제어부는 상기 레이더 및 상기 열화상 카메라 각각의 거리 확률 값을 하기의 수학식 3을 통해 융합하여 공간 맵을 생성하는 것을 특징으로 한다.
[수학식 3]
Figure pat00003
(여기서 Wradar는 레이더 거리 확률 값의 가중치, Wt는 열화상카메라 거리 확률 값의 가중치)
본 발명에 따른 융합 센서 데이터 시각화 장치에 있어서, 상기 제어부는 DCP(Dark Channel Prior) 알고리즘을 통해 상기 카메라로부터 촬영된 영상에서 농연이 존재하는 영역과, 농연이 존재하지 않는 영역을 구분하는 것을 특징으로 한다.
본 발명에 따른 융합 센서 데이터 시각화 장치에 있어서, 상기 제어부는 상기 카메라로부터 촬영된 영상에서 농연이 존재하는 영역을 0 값으로 정의하고, 농연이 존재하지 않는 영역을 1 값으로 정의하여, 하기의 수학식 4를 통해 상기 카메라를 통해 촬영된 영상에 상기 공간맵을 융합하여 출력하는 것을 특징으로 한다.
[수학식 4]
Figure pat00004
(여기서 WRGB는 농연 값, IRGB는 카메라로부터 촬영된 영상 값, V3D는 공간 맵 값)
본 발명에 따른 융합 센서 데이터 시각화 방법은 제어부가 카메라를 통해 공간을 촬영하고, 복수의 센서를 통해 상기 카메라가 촬영하는 지점으로부터 상기 공간에 포함되는 장애물의 거리를 센싱하는 단계, 상기 제어부가 상기 복수의 센서 각각의 거리 확률 값을 산출하고, 각각의 거리 확률 값을 융합하여 공간 맵을 형성하고, 상기 공간 맵을 상기 카메라를 통해 촬영된 영상에 융합하여 출력하는 단계를 포함한다.
본 발명에 따른 융합 센서 데이터 시각화 장치는 공간에 대한 레이더와 열화상카메라 각각의 거리 확률 값을 산출하고, 각 거리 확률 값을 융합하여 공간 맵을 형성하고, 공간 맵을 카메라로부터 촬영된 영상에 융합하여 시각화함으로써, 화재 현장과 같은 농연 환경에서 정확도 높은 영상을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 융합 센서 데이터 시각화 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라에 의해 촬영되는 공간을 나타낸 예시도이다.
도 3은 본 발명의 실시예에 따른 레이더 및 열화상카메라의 거리 확률 값을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 공간 맵을 나타낸 예시도이다.
도 5 및 도 6은 본 발명의 실시예에 따른 제어부가 카메라를 통해 촬영된 영상에 공간맵을 융합하여 출력하는 과정을 나타낸 모식도이다.
도 7은 본 발명의 실시예에 따른 융합 센서 데이터 시각화 방법을 나타낸 순서도이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 실시예에 따른 융합 센서 데이터 시각화 장치의 구성을 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 카메라에 의해 촬영되는 공간을 나타낸 예시도이고, 도 3은 본 발명의 실시예에 따른 레이더 및 열화상카메라의 거리 확률 값을 설명하기 위한 도면이고, 도 4는 본 발명의 실시예에 따른 공간 맵을 나타낸 예시도이고, 도 5 및 도 6은 본 발명의 실시예에 따른 제어부가 카메라를 통해 촬영된 영상에 공간맵을 융합하여 출력하는 과정을 나타낸 모식도이다.
도 1 내지 도 6을 참조하면, 본 발명의 실시예에 따른 융합 센서 데이터 시각화 장치(100)는 화재 현장과 같은 농연 환경에서 장애물에 대한 위치 파악을 용이하게 하기 위한 영상을 제공하는 것으로, 화재 진압용 로봇, 드론 등에 탑재되어 사용될 수 있다. 하지만 이에 한정된 것은 아니고, 융합 센서 데이터 시각화 장치(100)는 자율 주행 자동차와 같이 안개나 저조도 등 악천후 환경에서 자율 주행을 위한 센서로도 사용 가능하며, 드론과 같은 원격 감시에도 적용할 수 있다.
이러한 본 발명의 실시예에 따른 융합 센서 데이터 시각화 장치(100)는 센싱부(10), 입력부(20), 표시부(30), 저장부(40) 및 제어부(50)를 포함한다.
센싱부(10)는 공간을 촬영하는 카메라와, 카메라가 촬영하는 지점으로부터 공간에 포함되는 장애물의 거리를 센싱하는 복수의 센서를 포함한다. 예컨데 공간은 화재 공간이 될 수 있다.
이러한 센싱부(10)는 공간을 촬영하는 카메라와, 복수의 다양한 센서가 적용될 수 있지만, 바람직하게 센싱부(10)는 RGB 카메라(11), 레이더(12) 및 열화상 카메라(13)를 포함할 수 있다.
RGB 카메라(11)는 공간에 대한 RGB 영상을 획득할 수 있다. 즉 RGB 카메라(11)는 전방의 이미지를 가시광선을 이용하여 포착하여 디지털 신호로 변환할 수 있으다. 이러한 RGB 카메라는 CCD(Charge Coupled Device) 카메라 등이 될 수 있다.
레이더(12)는 전자파를 공간을 향해 발사해 그 반사파를 측정함으로써, 공간에 포함된 장애물까지의 거리를 측정할 수 있다. 여기서 레이더(12)는 RGB 카메라(11)가 촬영하고 있는 공간에 대하여 스캔할 수 있으며, 공간을 기 설정된 거리로 분할하여 반사파를 통해 분할된 각 영역의 거리를 측정할 수 있다.
열화상 카메라(13)는 RGB 카메라(11)가 촬영하고 있는 공간에 대하여 열을 추적, 탐지할 수 있다. 이러한 열화상 카메라(13)는 물체 표면에서부터 직접적으로 방사되는 눈에 보이지 않는 적외선 복사 에너지를 사용하며, 표적의 외부 온도가 높을수록 그 표적은 복사에너지의 방출량이 많기 때문에 영상에서 밝게 표현된다. 여기서 복사 에너지의 강도는 그레이 스케일로 표현될 수 있다.
입력부(20)는 숫자 및 문자 정보 등의 다양한 정보를 입력받고, 융합 센서 데이터 시각화 장치(100)의 기능 제어와 관련한 입력되는 신호를 제어부(50)로 전달한다. 특히 입력부(20)는 후술할 공갑 맵을 생성하는 과정에서 레이더(12) 거리 확률 값과, 열화상 카메라(13)의 거리 확률 값에 대한 가중치 등을 입력받을 수 있다.
표시부(30)는 융합 센서 데이터 시각화 장치(100)의 기능 수행 중에 발생하는 동작 상태 및 동작 결과 등에 대한 정보를 표시할 수 있다. 이러한 표시부(30)는 레이더(12)와 열화상 카메라(13) 각각의 거리 확률 값을 융합하여 생성된 공간 맵을 표시하거나, 공간 맵을 RGB 카메라(11)를 통해 촬영된 영상에 융합한 영상을 출력할 수 있다. 이 밖에도 표시부(30)는 공간 맵을 생성하는 과정, 공간 맵을 RGB 카메라(11)를 통해 촬영된 영상에 융합하는 과정 등을 표시할 수 있다.
여기서 입력부(20) 및 표시부(30)는 융합 센서 데이터 시각화 장치(100)에 구비될 수 있으나, 이에 한정된 것은 아니고, 융합 센서 데이터 시각화 장치(100)가 로봇에 탑재될 경우, 통신망을 제어부(50)와 통신하여 원격지에 구비되도록 할 수 있다.
저장부(40)는 데이터를 저장하기 위한 장치로, 융합 센서 데이터 시각화 장치(100)의 기능 동작에 필요한 다양한 응용 프로그램을 저장한다. 특히 저장부(40)는 레이더(12)와 열화상 카메라(13) 각각의 거리 확률 값을 산출하기 위한 알고리즘, 각각의 거리 확률 값을 융합하여 공간 맵을 생성하기 위한 알고리즘, 공간 맵을 RGB 카메라(11)를 통해 촬영된 영상에 융합하기 위한 알고리즘 등을 저장할 수 있다.
제어부(50)는 복수의 센서 각각의 거리 확률 값을 산출하고, 각각의 거리 확률 값을 융합하여 공간 맵을 생성하고, 공간 맵을 카메라를 통해 촬영된 영상에 융합하여 표시부(30)를 통해 출력할 수 있다.
이러한 제어부(50)는 거리 확률 값 산출 모듈(51), 공간 맵 생성 모듈(52) 및 영상 융합 모듈(53)을 포함할 수 있다.
거리 확률 값 산출 모듈(51)은 레이더(12)의 거리 확률 값을 하기의 수학식 1을 통해 산출할 수 있다.
[수학식 1]
Figure pat00005
즉 거리 확률 값 산출 모듈(51)은 도 3의 (a)에 도시된 바와 같이, RGB 카메라(11)가 촬영하고 있는 공간을 기 설정된 거리로 분할하고, 분할된 각 영역에서 레이더(12)의 최대관측거리에 대한 장애물과의 거리를 통해 각 영역에 대한 거리 확률 값을 산출할 수 있다.
또한 거리 확률 값 산출 모듈(51)은 열화상 카메라(13)의 거리 확률 값을 하기의 수학식 2를 통해 산출할 수 있다.
[수학식 2]
Figure pat00006
즉 거리 확률 값 산출 모듈(51)은 도 3의 (b)에 도시된 바와 같이, 열화상 카메라(13)를 통해 촬영된 영상에서, 열화상 카메라(13)의 최대관측거리에 대한 열화상스테레오거리를 통하여 거리 확률 값을 산출할 수 있다.
공간 맵 생성 모듈(52)은 거리 확률 값 산출 모듈(51)에 의해 산출된 레이더(12)의 거리 확률 값과, 열화상 카메라(13)의 거리 확률 값을 융합하여 도 4에 도시된 바와 같은 공간 맵을 생성할 수 있다. 이때 공간 맵 생성 모듈(52)은 주행 가능한 영역과, 장애물이 존재하는 영역을 구분하여 공간 맵 상에 표시할 수 있다.
여기서 공간 맵 생성 모듈(52)은 하기의 수학식 3을 통해 레이더(12)의 거리 확률 값과, 열화상 카메라(13)의 거리 확률 값을 융합할 수 있다.
[수학식 3]
Figure pat00007
(여기서 Wradar는 레이더 거리 확률 값의 가중치, Wt는 열화상카메라 거리 확률 값의 가중치)
이때 공간 맵 생성 모듈(52)은 수학식 3에 개시된 바와 같이, 레이더(12)의 거리 확률 값과, 열화상 카메라(13)의 거리 확률 값 각각에 가중치를 부여하여 공간 맵을 생성할 수 있다. 여기서 레이더(12) 거리 확률 값의 가중치가 0 일때 레이더 신호 값을 무시할 수 있으며, 열화상 카메라(13) 거리 확률 값의 가중치가 0 일때 열화상 카메라 값을 무시할 수 있다.
영상 융합 모듈(53)은 공간 맵 생성 모듈(52)에 의해 생성된 공간 맵을 RGB 카메라(11)를 통해 촬영된 영상에 융합할 수 있다.
여기서 영상 융합 모듈(53)은 DCP(Dark Channel Prior) 알고리즘을 통해 RGB 카메라(11)로부터 촬영된 영상에서 농연이 존재하는 영역과, 농연이 존재하지 않는 영역을 구분할 수 있다. 이때 DCP 알고리즘은 색 정보를 이용하여 농연의 전달량을 추정하는 알고리즘으로, 농연이 없을 경우 1의 값을 가지며, 농연이 짙어 사물을 측정할 수 없을 때는 0의 값을 갖도록 설정될 수 있다.
영상 융합 모듈(53)은 하기의 수학식 4를 통해 생성된 공간 맵을 RGB 카메라(11)를 통해 촬영된 영상에 융합할 수 있다.
[수학식 4]
Figure pat00008
(여기서 WRGB는 농연 값, IRGB는 카메라로부터 촬영된 영상 값, V3D는 공간 맵 값)
영상 융합 모듈(53)은 RGB 카메라(11)로부터 촬영된 영상에서 농연이 존재하는 영역을 0 값으로 정의하고, 농연이 존재하지 않는 영역을 1 값으로 정의하여, 농연이 존재하는 영역에 공간 맵이 국부적(Locally)으로 생성되도록 할 수 있다.
즉 도 6에 도시된 바와 같이, 영상 융합 모듈(53)은 RGB 카메라(11)로부터 촬영된 영상에서 농연의 존재 유무에 따라 WRGB 영상을 생성하고, 농연이 존재하는 영역에 국부적으로 공간 맵(V3D)를 생성하도록 할 수 있다.
하지만 이에 한정된 것은 아니고, 도 7에 도시된 바와 같이, 영상 융합 모듈(53)은 RGB 카메라(11)로부터 촬영된 영상 전체에 공간 맵(V3D)를 생성하도록 할 수 있다.
이와 같이, 본 발명의 실시예에 따른 융합 센서 데이터 시각화 장치(100)는 공간에 대한 레이더(12)와 열화상카메라(13) 각각의 거리 확률 값을 산출하고, 각 거리 확률 값을 융합하여 공간 맵을 형성하고, 공간 맵을 RGB 카메라(11)로부터 촬영된 영상에 융합하여 시각화함으로써, 화재 현장과 같은 농연 환경에서 정확도 높은 영상을 제공할 수 있다.
이하 본 발명의 실시예에 따른 융합 센서 데이터 시각화 방법에 대하여 상세히 설명하도록 한다.
도 7은 본 발명의 실시예에 따른 융합 센서 데이터 시각화 방법을 나타낸 순서도이다.
도 7을 참조하면, 먼저 S10 단계에서 제어부는 RGB 카메라를 통해 공간을 촬영하고, 레이더 및 열화상카메라를 통해 카메라가 촬영하는 지점으로부터 공간에 포함되는 장애물의 거리를 센싱하도록 할 수 있다.
다음으로 S20 단계에서 제어부는 상술한 수학식 1 및 2를 활용하여 레이더 및 열화상카메라 각각의 거리 확률 값을 산출할 수 있다.
다음으로 S30 단계에서 제어부는 상술한 수학식 3을 활용하여 레이더의 거리 확률 값과, 열화상카메라의 거리 확률 값을 융합하여 공간 맵을 생성할 수 있다.
그리고 S40 단계에서 제어부는 S30 단계에서 생성된 공간 맵을 상술한 수학식 4를 이용하여 RGB 카메라를 통해 촬영된 영상에 공간 맵을 융합하여 시각화 할 수 있다.
이와 같이, 본 발명의 실시예에 따른 융합 센서 데이터 시각화 방법은 공간에 대한 레이더와 열화상카메라 각각의 거리 확률 값을 산출하고, 각 거리 확률 값을 융합하여 공간 맵을 형성하고, 공간 맵을 RGB 카메라로부터 촬영된 영상에 융합하여 시각화함으로써, 화재 현장과 같은 농연 환경에서 정확도 높은 영상을 제공할 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.
10 : 센싱부 11 : RGB 카메라
12 : 레이더 13 : 열화상카메라
20 : 입력부 30 : 표시부
40 : 저장부 50 : 제어부
51 : 거리 확률 값 산출 모듈 52 : 공간 맵 생성 모듈
53 : 영상 융합 모듈 100 : 융합 센서 데이터 시각화 장치

Claims (8)

  1. 공간을 촬영하는 카메라와, 상기 카메라가 촬영하는 지점으로부터 상기 공간에 포함되는 장애물의 거리를 센싱하는 복수의 센서를 포함하는 센싱부;
    상기 복수의 센서 각각의 거리 확률 값을 산출하고, 각각의 상기 거리 확률 값을 융합하여 공간 맵을 생성하고, 상기 공간 맵을 상기 카메라를 통해 촬영된 영상에 융합하여 출력하도록 하는 제어부;
    를 포함하는 것을 특징으로 하는 융합 센서 데이터 시각화 장치.
  2. 제1항에 있어서,
    상기 복수의 센서는 레이더 및 열화상 카메라을 포함하는 것을 특징으로 하는 융합 센서 데이터 시각화 장치.
  3. 제2항에 있어서,
    상기 제어부는 상기 레이더의 거리 확률 값을 하기의 수학식 1로 산출하는 것을 특징으로 하는 융합 센서 데이터 시각화 장치.
    [수학식 1]
    Figure pat00009
  4. 제3항에 있어서,
    상기 제어부는 상기 열화상 카메라의 거리 확률 값을 하기의 수학식 2로 산출하는 것을 특징으로 하는 융합 센서 데이터 시각화 장치.
    [수학식 2]
  5. 제4항에 있어서,
    상기 제어부는 상기 레이더 및 상기 열화상 카메라 각각의 거리 확률 값을 하기의 수학식 3을 통해 융합하여 공간 맵을 생성하는 것을 특징으로 하는 융합 센서 데이터 시각화 장치.
    [수학식 3]
    Figure pat00011

    (여기서 Wradar는 레이더 거리 확률 값의 가중치, Wt는 열화상카메라 거리 확률 값의 가중치)
  6. 제5항에 있어서,
    상기 제어부는 DCP(Dark Channel Prior) 알고리즘을 통해 상기 카메라로부터 촬영된 영상에서 농연이 존재하는 영역과, 농연이 존재하지 않는 영역을 구분하는 것을 특징으로 하는 융합 센서 데이터 시각화 장치.
  7. 제6항에 있어서,
    상기 제어부는 상기 카메라로부터 촬영된 영상에서 농연이 존재하는 영역을 0 값으로 정의하고, 농연이 존재하지 않는 영역을 1 값으로 정의하여, 하기의 수학식 4를 통해 상기 카메라를 통해 촬영된 영상에 상기 공간맵을 융합하여 출력하는 것을 특징으로 하는 융합 센서 데이터 시각화 장치.
    [수학식 4]
    Figure pat00012

    (여기서 WRGB는 농연 값, IRGB는 카메라로부터 촬영된 영상 값, V3D는 공간 맵 값)
  8. 제어부가 카메라를 통해 공간을 촬영하고, 복수의 센서를 통해 상기 카메라가 촬영하는 지점으로부터 상기 공간에 포함되는 장애물의 거리를 센싱하는 단계;
    상기 제어부가 상기 복수의 센서 각각의 거리 확률 값을 산출하고, 각각의 거리 확률 값을 융합하여 공간 맵을 형성하고, 상기 공간 맵을 상기 카메라를 통해 촬영된 영상에 융합하여 출력하는 단계;
    를 포함하는 것을 특징으로 하는 융합 센서 데이터 시각화 방법.
KR1020170173026A 2017-12-15 2017-12-15 융합 센서 데이터 시각화 장치 및 방법 KR102347226B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170173026A KR102347226B1 (ko) 2017-12-15 2017-12-15 융합 센서 데이터 시각화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170173026A KR102347226B1 (ko) 2017-12-15 2017-12-15 융합 센서 데이터 시각화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190072015A true KR20190072015A (ko) 2019-06-25
KR102347226B1 KR102347226B1 (ko) 2022-01-04

Family

ID=67065568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170173026A KR102347226B1 (ko) 2017-12-15 2017-12-15 융합 센서 데이터 시각화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102347226B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021226776A1 (zh) * 2020-05-11 2021-11-18 华为技术有限公司 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
KR102631928B1 (ko) * 2023-08-08 2024-01-31 주식회사 삼주전자 재난 및 안전사고시 구조자의 위치정보를 제공하는실시간 영상 복원 시스템
CN117771595A (zh) * 2024-02-27 2024-03-29 中国矿业大学 一种基于多模式视觉系统的举高消防灭火方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
KR101406210B1 (ko) * 2013-01-02 2014-06-12 군산대학교산학협력단 영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
KR101406210B1 (ko) * 2013-01-02 2014-06-12 군산대학교산학협력단 영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021226776A1 (zh) * 2020-05-11 2021-11-18 华为技术有限公司 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
KR102631928B1 (ko) * 2023-08-08 2024-01-31 주식회사 삼주전자 재난 및 안전사고시 구조자의 위치정보를 제공하는실시간 영상 복원 시스템
CN117771595A (zh) * 2024-02-27 2024-03-29 中国矿业大学 一种基于多模式视觉系统的举高消防灭火方法及系统

Also Published As

Publication number Publication date
KR102347226B1 (ko) 2022-01-04

Similar Documents

Publication Publication Date Title
US10129490B2 (en) Systems and approaches for thermal image corrections
US10165202B2 (en) Method and system for performing alignment of a projection image to detected infrared (IR) radiation information
US20170365068A1 (en) Combining light-field data with active depth data for depth map generation
EP2107799B1 (en) An IR camera and a method for processing information in images
EP2634747A1 (en) A method and system for projecting a visible representation of infrared radiation
CN107864375B (zh) 带对准分析的成像设备
US8818079B2 (en) 3D radiometry
EP3358480B1 (en) Drawing creation device and drawing creation method
JP5966935B2 (ja) 赤外線目標検出装置
KR102347226B1 (ko) 융합 센서 데이터 시각화 장치 및 방법
KR20200018553A (ko) 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법
JP2017201757A (ja) 画像取得システム、画像取得方法、画像処理方法
KR101523046B1 (ko) 영상처리기반의 거리 측정장치
CN114495416A (zh) 基于无人机的火情监测方法、装置及终端设备
US20230054197A1 (en) Dual-band temperature detection systems and methods
CN113358231B (zh) 红外测温方法、装置及设备
CN108254738A (zh) 避障告警方法、装置及存储介质
EP2948791B1 (en) Improved laser range finding
KR101177365B1 (ko) 합성 적외선 영상 주입장치
KR20200076056A (ko) 농연 환경 데이터 시각화 장치 및 방법
WO2021258282A1 (zh) 目标检测设备及方法、成像装置和可移动平台
JPWO2020022373A1 (ja) 運転支援装置および運転支援方法、プログラム
JP7411539B2 (ja) 測距システム及びその座標キャリブレーション方法
JP6909751B2 (ja) 無人飛行機及び相対反射率の算出方法
US20230336702A1 (en) Processing device, processing system, and processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant