KR20200043771A - 열영상 및 가시광 영상을 이용한 화재 예측 시스템 및 방법 - Google Patents
열영상 및 가시광 영상을 이용한 화재 예측 시스템 및 방법 Download PDFInfo
- Publication number
- KR20200043771A KR20200043771A KR1020180124581A KR20180124581A KR20200043771A KR 20200043771 A KR20200043771 A KR 20200043771A KR 1020180124581 A KR1020180124581 A KR 1020180124581A KR 20180124581 A KR20180124581 A KR 20180124581A KR 20200043771 A KR20200043771 A KR 20200043771A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- visible light
- thermal image
- data
- thermal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 73
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 description 8
- 238000001931 thermography Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 201000003373 familial cold autoinflammatory syndrome 3 Diseases 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Alarm Systems (AREA)
- Image Processing (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
열영상 및 가시광 영상을 이용한 화재 예측 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 열영상 및 가시광 영상을 이용한 화재 예측 시스템은, 가시광 센서 및 열영상 센서를 이용하여 객체를 센싱하고, 센싱된 가시광 센서의 신호 및 센싱된 열영상 센서의 신호를 처리하여 객체의 가시광 데이터 및 객체의 열영상 데이터를 생성하며, 가시광 데이터 및 열영상 데이터를 영상 합성 장치로 송신하는 영상 데이터 처리 장치, 및 가시광 데이터 및 열영상 데이터를 이용하여 객체의 가시광 영상 및 객체의 열영상을 생성하고, 가시광 영상 및 열영상 각각에서 복수의 제1 특징점 및 복수의 제2 특징점을 각각 추출하며, 복수의 제1 특징점 및 복수의 제2 특징점을 매칭하여 가시광 영상 및 열영상을 합성하며, 합성된 영상을 출력하는 영상 합성 장치를 포함한다.
Description
본 발명의 실시예들은 열영상 및 가시광 영상을 이용한 화재 예측 시스템 및 방법과 관련된다.
화재는 다양한 장소(예를 들어, 아파트, 오피스텔, 공장, 발전소 등)에서 발생될 수 있으며, 이를 방지하기 위해 다양한 화재 예측 또는 경보 시스템들이 설치되고 있다. 이러한 화재 예측 시스템들은 화재 감지 센서, 열영상 카메라 등을 이용하여 화재를 예측하고 있으며, 화재 감지 센서를 이용한 화재 예측 시스템의 경우 화재 감지 센서의 빈번한 오동작으로 인한 문제가 있다. 이에 따라, 열영상 카메라를 이용한 화재 예측 시스템의 필요성이 대두되었다.
일반적으로, 열영상 카메라를 이용한 화재 예측 시스템의 경우, 해상도에 비례하여 크게 증가하는 열영상 카메라의 비용을 감소시키기 위해 낮은 해상도의 열영상 카메라와 높은 해상도의 가시광 카메라를 함께 설치하고, 사용자가 각 카메라로부터 수신된 열영상 및 가시광 영상을 직접 비교하여 화재 여부를 예측한다.
그러나, 이러한 화재 예측 시스템의 경우, 각 카메라의 개별 설치에 따라 화재 예측 시스템의 부피가 증가하고, 각 카메라의 개별 구매에 따라 화재 예측 시스템 설치 비용이 증가한다는 문제가 있다.
본 발명의 실시예들은 열영상 센서 및 가시광 센서를 통해 입력된 열영상 및 가시광 영상을 합성하여 출력하기 위한 것이다.
본 발명의 일 실시예에 따른 화재 예측 시스템은, 가시광 센서 및 열영상 센서를 이용하여 객체를 센싱하고, 센싱된 상기 가시광 센서의 신호 및 센싱된 상기 열영상 센서의 신호를 처리하여 상기 객체의 가시광 데이터 및 상기 객체의 열영상 데이터를 생성하며, 상기 가시광 데이터 및 상기 열영상 데이터를 영상 합성 장치로 송신하는 영상 데이터 처리 장치, 및 상기 가시광 데이터 및 상기 열영상 데이터를 이용하여 상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하고, 상기 가시광 영상 및 상기 열영상 각각에서 복수의 제1 특징점 및 복수의 제2 특징점을 각각 추출하며, 상기 복수의 제1 특징점 및 상기 복수의 제2 특징점을 매칭하여 상기 가시광 영상 및 상기 열영상을 합성하며, 합성된 영상을 출력하는 영상 합성 장치를 포함한다.
상기 열영상 데이터는, 상기 객체의 각 부분에 대한 온도 데이터를 포함하고, 상기 영상 합성 장치는, 설정된 변환 테이블을 이용하여 상기 온도 데이터를 영상변환처리하여 상기 열영상을 생성할 수 있다.
상기 영상 데이터 처리 장치는, 상기 가시광 데이터 및 상기 열영상 데이터를 인코딩하여 상기 영상 합성 장치로 송신하되, 상기 열영상 데이터를 하나 이상의 영역으로 분할하고, 분할된 상기 하나 이상의 영역 각각에 대응되는 상기 열영상 데이터를 각각 인코딩하고, 상기 영상 합성 장치는, 인코딩된 상기 가시광 데이터 및 인코딩된 상기 열영상 데이터를 디코딩하여 상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하되, 분할된 상기 하나 이상의 영역 각각에 대응되는 상기 열영상 데이터를 각각 디코딩하고, 디코딩된 상기 열영상 데이터 각각을 합산하여 상기 객체의 열영상을 생성할 수 있다.
상기 영상 데이터 처리 장치는, 설정된 형태 및 온도를 갖는 타깃 보드를 센싱하여 상기 타깃 보드의 가시광 데이터 및 상기 타깃 보드의 열영상 데이터를 영상 합성 장치로 송신할 수 있다.
상기 영상 합성 장치는, 상기 가시광 영상 위에 상기 열영상을 겹쳐서 표현할 수 있도록 상기 열영상을 이동, 변형 또는 회전 변환하여 상기 가시광 영상 및 상기 열영상을 합성할 수 있다.
상기 영상 합성 장치는, 사용자의 요청에 따라 상기 합성된 영상의 각 부분에 해당하는 온도 정보를 출력할 수 있다.
상기 열영상 데이터는, 상기 객체의 각 부분에 대한 온도 데이터를 포함하고, 상기 영상 합성 장치는, 상기 열영상 데이터 내에 설정된 기준치 이상의 온도 데이터가 포함된 경우, 사용자로 화재 경고 메시지를 출력할 수 있다.
본 발명의 일 실시예에 따른 화재 예측 시스템에 의해 수행되는 화재 예측 방법은, 영상 데이터 처리 장치에서, 가시광 센서 및 열영상 센서를 이용하여 객체를 센싱하는 단계, 상기 영상 데이터 처리 장치에서, 센싱된 상기 가시광 센서의 신호 및 센싱된 상기 열영상 센서의 신호를 처리하여 상기 객체의 가시광 데이터 및 상기 객체의 열영상 데이터를 생성하는 단계, 상기 영상 데이터 처리 장치에서, 상기 가시광 데이터 및 상기 열영상 데이터를 영상 합성 장치로 송신하는 단계, 상기 영상 합성 장치에서, 상기 가시광 데이터 및 상기 열영상 데이터를 이용하여 상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하는 단계, 상기 영상 합성 장치에서, 상기 가시광 영상 및 상기 열영상 각각에서 복수의 제1 특징점 및 복수의 제2 특징점을 각각 추출하는 단계, 상기 영상 합성 장치에서, 상기 복수의 제1 특징점 및 상기 복수의 제2 특징점을 매칭하여 상기 가시광 영상 및 상기 열영상을 합성하는 단계, 및 상기 영상 합성 장치에서, 합성된 영상을 출력하는 단계를 포함한다.
상기 열영상 데이터는, 상기 객체의 각 부분에 대한 온도 데이터를 포함하고, 상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하는 단계는, 설정된 변환 테이블을 이용하여 상기 온도 데이터를 영상변환처리하여 상기 열영상을 생성할 수 있다.
상기 송신하는 단계는, 상기 가시광 데이터 및 상기 열영상 데이터를 인코딩하여 상기 영상 합성 장치로 송신하되, 상기 열영상 데이터를 하나 이상의 영역으로 분할하고, 분할된 상기 하나 이상의 영역 각각에 대응되는 상기 열영상 데이터를 각각 인코딩하고, 상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하는 단계는, 인코딩된 상기 가시광 데이터 및 인코딩된 상기 열영상 데이터를 디코딩하여 상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하되, 분할된 상기 하나 이상의 영역 각각에 대응되는 상기 열영상 데이터를 각각 디코딩하고, 디코딩된 상기 열영상 데이터 각각을 합산하여 상기 객체의 열영상을 생성할 수 있다.
상기 센싱하는 단계는, 설정된 형태 및 온도를 갖는 타깃 보드를 센싱하고, 상기 송신하는 단계는, 상기 타깃 보드의 가시광 데이터 및 상기 타깃 보드의 열영상 데이터를 영상 합성 장치로 송신할 수 있다.
상기 합성하는 단계는, 상기 가시광 영상 위에 상기 열영상을 겹쳐서 표현할 수 있도록 상기 열영상을 이동, 변형 또는 회전 변환하여 상기 가시광 영상 및 상기 열영상을 합성할 수 있다.
본 발명의 일 실시예에 따른 화재 예측 방법은, 상기 영상 합성 장치에서, 사용자의 요청에 따라 상기 합성된 영상의 각 부분에 해당하는 온도 정보를 출력하는 단계를 더 포함할 수 있다.
상기 열영상 데이터는, 상기 객체의 각 부분에 대한 온도 데이터를 포함하고, 본 발명의 일 실시예에 따른 화재 예측 방법은, 상기 영상 합성 장치에서, 상기 열영상 데이터 내 설정된 기준치 이상의 온도 데이터가 포함된 경우, 사용자로 화재 경고 메시지를 출력하는 단계를 더 포함할 수 있다.
본 발명의 실시예들에 따르면, 열영상 및 가시광 영상을 매칭하여 합성함으로써, 화재 발생 가능성을 원활하게 예측할 수 있다.
또한, 본 발명의 실시예들에 따르면, 열영상 센서 및 가시광 센서를 하나의 보호 케이스 내에 설치하고, 각 센서를 통해 획득된 신호를 하나의 처리 장치(예를 들어, CPU(Central Processing Unit))를 통해 처리함으로써, 열영상 카메라 및 가시광 카메라의 개별 설치에 따른 부피 및 비용 증가 문제를 해결할 수 있다.
도 1은 본 발명의 일 실시예에 따른 화재 예측 시스템을 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 화재 예측 시스템에서 가시광 영상 및 열영상을 합성하는 방법을 설명하기 위한 도면
도 3은 본 발명의 일 실시예에 따른 화재 예측 시스템에 의해 수행되는 화재 예측 방법의 흐름도
도 2는 본 발명의 일 실시예에 따른 화재 예측 시스템에서 가시광 영상 및 열영상을 합성하는 방법을 설명하기 위한 도면
도 3은 본 발명의 일 실시예에 따른 화재 예측 시스템에 의해 수행되는 화재 예측 방법의 흐름도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 화재 예측 시스템(100)을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 화재 예측 시스템(100)은 가시광 영상 및 열영상을 촬영하고, 촬영된 가시광 영상 및 열영상을 매칭하여 합성 영상을 생성하며, 합성된 영상을 출력하기 위한 시스템으로서, 영상 데이터 처리 장치(102) 및 영상 합성 장치(106)를 포함한다.
또한, 영상 데이터 처리 장치(102) 및 영상 합성 장치(106)는 네트워크(104)를 통해 연결될 수 있으며, 네트워크(104)는 예를 들어, 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크 등의 유선 또는 무선 네트워크 등일 수 있다.
영상 데이터 처리 장치(102)는 가시광 센서 및 열영상 센서를 이용하여 객체를 센싱한다. 이때, 가시광 센서는 전자기파 중 파장이 특정 범위 내(예를 들어, 400 내지 700 나노미터)에 있어 육안으로 식별 가능한 전자기파를 센싱하는 센서일 수 있으며, 열영상 센서는 적외선 신호를 이용하여 대상의 각 부분에 해당하는 온도 정보를 센싱하는 센서일 수 있다. 또한, 가시광 센서는 고해상도(예를 들어, HD(High Definition), FHD(Full HD), QHD(Quad HD), UHD(Ultra HD) 등)를 갖는 센서일 수 있으며, 열영상 센서는 저해상도(예를 들어, SD(Standard Definition) 이하의 해상도)를 갖는 센서일 수 있다.
또한, 가시광 센서 및 열영상 센서는 하나의 보호 케이스 내에서 동일한 방향을 바라보도록 각각 설치될 수 있다. 구체적으로, 영상 데이터 처리 장치(102)는 동일한 방향을 바라보는 복수의 렌즈를 포함하되, 각 렌즈는 가시광 센서 및 열영상 센서 각각에 대응되어 가시광 영상 및 열영상을 동시에 입력 받는 장치일 수 있다.
영상 데이터 처리 장치(102)는 센싱된 가시광 센서의 신호 및 센싱된 열영상 센서의 신호를 처리하여 객체의 가시광 데이터 및 객체의 열영상 데이터를 생성하고, 생성된 가시광 데이터 및 생성된 열영상 데이터를 영상 합성 장치(106)로 송신한다. 구체적으로, 영상 데이터 처리 장치(102)는 가시광 센서 및 열영상 센서에서 출력된 전기적 신호를 데이터(예를 들어, 디지털 데이터)로 변환하여 가시광 데이터 및 열영상 데이터를 생성할 수 있으며, 생성된 가시광 데이터 및 열영상 데이터를 영상 합성 장치(106)로 송신할 수 있다. 이때, 영상 데이터 처리 장치(102)는 하나의 처리 장치(예를 들어, CPU)만을 이용하여 각 센서들을 통해 출력된 복수의 신호들을 처리할 수 있다. 또한, 열영상 데이터는 열영상 센서에서 출력된 전기적 신호가 변환된 것으로서 객체의 각 부분에 대한 온도 데이터를 포함할 수 있다.
또한, 영상 데이터 처리 장치(102)는 각 센서의 신호를 변환하여 생성된 가시광 데이터 및 열영상 데이터를 인코딩하여 영상 합성 장치(106)로 송신할 수 있다. 구체적으로, 영상 데이터 처리 장치(102)는 생성된 가시광 데이터를 압축하기 위해 영상 압축 표준(예를 들어, H.264, HEVC(High Efficiency Video Coding))에 따라 가시광 데이터를 인코딩하여 영상 합성 장치(106)로 송신할 수 있다. 또한, 영상 데이터 처리 장치(102)는 생성된 열영상 데이터를 하나 이상의 영역으로 분할하고, 분할된 하나 이상의 영역 각각에 대응되는 열영상 데이터를 각각 분리하여 인코딩 하고, 이를 영상 합성 장치(106)로 송신할 수 있다. 예를 들어, 영상 데이터 처리 장치(102)는 가시광 데이터는 영역 분할 없이 인코딩하되, 열영상 데이터를 하나 이상의 영역으로 분할하여 인코딩하여 영상 합성 장치(106)로 송신할 수 있다. 또한, 영상 데이터 처리 장치(102)는 예를 들어, TCP(Transmission Control Protocol)를 이용하여 인코딩된 가시광 영상 데이터를 영상 합성 장치(106)로 송신할 수 있으며, 예를 들어, UDP(User Datagram Protocol)를 이용하여 인코딩된 열영상 데이터를 영상 합성 장치(106)로 송신할 수 있다.
영상 데이터 처리 장치(102)는 설정된 형태 및 온도를 갖는 타깃 보드를 센싱하여 타깃 보드의 가시광 데이터 및 타깃 보드의 열영상 데이터를 영상 합성 장치(106)로 송신할 수 있다. 이때, 설정된 형태 및 온도란 화재 예측 시스템(100)의 사용자 또는 관리자에 의해 미리 설정된 형태 및 온도일 수 있으며, 영상 데이터 합성 장치(106)는 타깃 보드의 가시광 데이터 및 열영상 데이터를 이용하여 가시광 영상 및 열영상을 합성할 수 있다. 다만, 이는 도 2를 참조하여 상세히 설명하기로 한다.
영상 합성 장치(106)는 영상 데이터 처리 장치(102)로부터 수신된 가시광 데이터 및 열영상 데이터를 이용하여 객체의 가시광 영상 및 객체의 열영상을 생성한다. 예를 들어, 수신된 가시광 데이터가 색상 정보인 RGB 스케일(예를 들어, 0 내지 255 사이의 값)의 데이터를 포함하는 경우, 영상 합성 장치(106)는 수신된 색상 정보를 이용하여 가시광 영상을 생성할 수 있다. 다른 예로, 수신된 열영상 데이터가 객체의 각 부분에 대한 온도 데이터를 포함하는 경우, 영상 합성 장치(106)는 설정된 변환 테이블을 이용하여 온도 데이터를 영상변환처리하여 열영상을 생성할 수 있다. 이때, 설정된 변환 테이블은 화재 예측 시스템(100)의 사용자 또는 관리자에 의해 미리 설정된 변환 테이블일 수 있다.
구체적으로, 설정된 변환 테이블은 하나 이상의 온도 범위 및 각 온도 범위에 대응되는 색상 정보를 포함할 수 있다. 또한, 영상 합성 장치(106)는 각 열영상 데이터가 설정된 변환 테이블 내 어느 온도 범위에 해당하는지 판단하고, 판단된 온도 범위에 대응되는 색상 정보로 구성된 열영상을 생성할 수 있다. 예를 들어, 설정된 변환 테이블이 세 개의 온도 범위(10도 미만, 10도 이상 내지 30도 미만, 30도 이상)를 갖고, 각 온도 범위에 대응되도록 세 개의 색상 정보(파란색, 초록색, 빨간색)를 갖는다면, 영상 합성 장치(106)는 열영상 데이터 중 10도 미만에 해당하는 부분은 파란색, 10도 이상 내지 30도 미만에 해당하는 부분은 초록색, 30도 이상에 해당하는 부분은 빨간색으로 구성된 열영상을 생성할 수 있다. 다만, 이는 본 발명의 일 예시로서 이에 제한되지 않는다.
영상 합성 장치(106)는 영상 데이터 처리 장치(102)가 가시광 데이터 및 열영상 데이터를 인코딩하여 송신한 경우, 인코딩된 가시광 데이터 및 인코딩된 열영상 데이터를 디코딩하여 객체의 가시광 영상 및 객체의 열영상을 생성할 수 있다. 이때, 영상 합성 장치(106)는 영상 데이터 처리 장치(102)가 이용한 인코딩 방식에 대응되는 디코딩 방식으로 가시광 데이터 및 열영상 데이터를 디코딩할 수 있다.
또한, 영상 합성 장치(106)는 영상 데이터 처리 장치(102)가 열영상 데이터를 하나 이상의 영역으로 분할하고, 분할된 하나 이상의 영역 각각에 대응되는 열영상 데이터를 각각 인코딩하여 송신한 경우, 분할된 하나 이상의 영역 각각에 대응되는 열영상 데이터를 합산하여 열영상을 생성할 수 있다. 구체적으로, 영상 합성 장치(106)는 분할된 하나 이상의 영역 각각에 대응되는 열영상 데이터를 각각 디코딩하고, 디코딩된 열영상 데이터 각각을 합산하여 열영상을 생성할 수 있다.
영상 합성 장치(106)는 생성된 가시광 영상 및 생성된 열영상 각각에서 복수의 제1 특징점 및 복수의 제2 특징점을 각각 추출하며, 추출된 복수의 제1 특징점 및 제2 특징점을 매칭하여 가시광 영상 및 열영상을 합성한다. 이때, 복수의 제1 특징점 및 제2 특징점은 서로 대응되는 쌍으로 존재할 수 있으며, 영상 합성 장치(106)는 복수의 제1 및 제2 특징점 쌍들을 이용하여 가시광 영상 및 열영상을 합성할 수 있다. 예를 들어, 영상 합성 장치(106)는 설정된 형태 및 온도를 갖는 타깃 보드에 대한 가시광 데이터 및 가시광 영상 각각으로부터 복수의 제1 특징점 및 복수의 제2 특징점 각각을 추출하고, 추출된 특징점들을 매칭함으로써 가시광 영상 및 열영상을 합성할 수 있다. 또한, 영상 합성 장치(106)는 타깃 보드에 대한 가시광 데이터 및 가시광 영상을 이용하여 복수의 제1 특징점 및 복수의 제2 특징점을 한번 추출한 후, 기 추출된 복수의 제1 특징점 및 복수의 제2 특징점을 계속하여 이용할 수 있다. 다만, 이는 도 2를 참조하여 상세히 설명하기로 한다.
영상 합성 장치(106)는 생성된 가시광 영상 위에 생성된 열영상을 겹쳐서 표현할 수 있도록 열영상을 이동, 변형 또는 회전 변환하여 가시광 영상 및 열영상을 합성할 수 있다. 예를 들어, 영상 합성 장치(106)는 추출된 복수의 제1 특징점 및 이에 대응되는 복수의 제2 특징점들을 이용하여 가시광 영상 및 열영상 사이의 변환 매트릭스를 계산할 수 있으며, 계산된 변환 매트릭스를 이용해 열영상을 이동, 변형 또는 회전 변환할 수 있다. 또한, 영상 합성 장치(106)는 가시광 영상 및 열영상의 특징들이 모두 드러나도록 열영상을 가시광 영상 위에 반투명 또는 투명하게 합성할 수 있다.
영상 합성 장치(106)는 합성된 영상을 출력한다. 예를 들어, 영상 합성 장치(106)는 합성된 영상을 출력하기 위한 출력 장치(예를 들어, 디스플레이 장치, 프린터 등)를 이용하여 합성된 영상을 출력할 수 있다.
또한, 영상 합성 장치(106)는 사용자의 요청에 따라 합성된 영상의 각 부분에 해당하는 온도 데이터를 출력할 수 있다. 이를 위해, 영상 합성 장치(106)는 사용자의 요청을 입력 받기 위한 입력 장치(예를 들어, 키보드, 마우스, 터치 입력 장치(터치 패드 또는 터치스크린 등) 및 사용자로 온도 정보를 출력하기 위한 출력 장치(예를 들어, 디스플레이 장치, 프린터 및/또는 스피커 등)와 같은 출력 장치를 포함할 수 있다. 예를 들어, 사용자가 영상 합성 장치(106)를 통해 출력된 합성 영상 중 일정 부분을 선택하는 경우, 영상 합성 장치(106)는 선택된 부분의 온도 정보를 사용자로 출력할 수 있다.
또한, 영상 합성 장치(106)는 수신된 열영상 데이터 내 설정된 기준치 이상의 온도 정보가 포함된 경우, 사용자로 화재 경고 메시지를 출력할 수 있다. 이때, 설정된 기준치는 화재 예측 시스템(100)의 사용자 또는 관리자에 의해 설정된 온도값일 수 있다.
도 2는 본 발명의 일 실시예에 따른 화재 예측 시스템(100)에서 가시광 영상 및 열영상을 합성하는 방법을 설명하기 위한 도면(200)이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 화재 예측 시스템(100)은 동일한 방향을 바라보는 가시광 센서(202) 및 열영상 센서(204)를 이용하여 타깃 보드(206)의 가시광 영상 및 열영상을 생성할 수 있다. 이때, 타깃 보드(206)는 예를 들어, 전면부에 일정한 간격의 격자 무늬를 가진 패턴이 형성되며, 복수의 지점(208 내지 216)에서 다른 부분들과 상이한 온도를 방출하는 보드일 수 있다. 다만, 이는 본 발명의 일 예시로서, 타깃 보드(206)는 가시광 센서(202) 및 열영상 센서(204)를 이용하여 추출될 수 있는 복수의 지점을 갖는 다른 형태 및 온도를 갖는 보드일 수 있다.
화재 예측 시스템(100)은 가시광 센서(202)를 이용하여 생성된 가시광 영상에서 복수의 지점(208 내지 216)에 해당하는 지점을 찾아 복수의 제1 특징점을 추출할 수 있다. 이때, 화재 예측 시스템(100)은 타깃 보드(206) 내 격자 무늬의 패턴을 이용하여 복수의 제1 특징점을 추출할 수 있으며, 이를 위해, 예를 들어, 해리스 코너 검출(Harris Corner Detection) 기법, SIFT(Scale Invariant Feature Trasform) 기법 등과 같은 특징점 검출 기법들을 이용할 수 있다.
화재 예측 시스템(100)은 열영상 센서(204)를 이용하여 생성된 열영상에서 복수의 지점(208 내지 216)에 해당하는 지점을 찾아 복수의 제2 특징점을 추출할 수 있다. 이때, 타깃 보드 내 복수의 지점(208 내지 216) 각각은 다른 부분과 상이한 온도를 가지므로, 화재 예측 시스템(100)은 복수의 지점들(208 내지 216)과 다른 부분의 온도차를 이용하여 복수의 제2 특징점을 추출할 수 있다.
화재 예측 시스템(100)은 추출된 복수의 제1 특징점 및 이에 대응하는 복수의 제2 특징점을 비교하여 가시광 영상 및 열영상 간의 변환 매트릭스를 계산하고, 계산된 변환 매트릭스를 이용해 열영상을 이동, 변형 또는 회전 변환하고, 가시광 영상 및 변환된 열영상을 합성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 화재 예측 시스템(100)에 의해 수행되는 화재 예측 방법(300)의 흐름도이다.
도 3을 참조하면, 영상 데이터 처리 장치(102)는 가시광 센서 및 열영상 센서를 이용하여 객체를 센싱한다(302). 이때, 영상 데이터 처리 장치(102)는 설정된 형태 및 온도를 갖는 타깃 보드를 센싱할 수 있다.
영상 데이터 처리 장치(102)는 센싱된 가시광 센서의 신호 및 센싱된 열영상 센서의 신호를 처리하여 객체의 가시광 데이터 및 객체의 열영상 데이터를 생성한다(304). 이때, 열영상 데이터는 객체의 각 부분에 대한 온도 데이터를 포함할 수 있다.
영상 데이터 처리 장치(102)는 생성된 가시광 데이터 및 생성된 열영상 데이터를 영상 합성 장치(106)로 송신한다(306). 이때, 영상 데이터 처리 장치(102)는 영상 데이터 처리 장치(102)에서 생성된 가시광 데이터 및 열영상 데이터를 인코딩하여 영상 합성 장치(106)로 송신하되, 열영상 데이터를 하나 이상의 영역으로 분할하고, 분할된 하나 이상의 영역 각각에 대응되는 열영상 데이터를 각각 인코딩할 수 있다. 또한, 영상 데이터 처리 장치(102)가 타깃 보드를 센싱한 경우, 영상 데이터 처리 장치(102)는 타깃 보드의 가시광 데이터 및 타깃 보드의 열영상 데이터를 영상 합성 장치(106)로 송신할 수 있다.
영상 합성 장치(106)는 가시광 데이터 및 열영상 데이터를 이용하여 객체의 가시광 영상 및 객체의 열영상을 생성한다(308). 이때, 열영상 데이터가 객체의 각 부분에 대한 온도 데이터를 포함하는 경우, 영상 합성 장치(106)는 설정된 변환 테이블을 이용하여 온도 데이터를 영상변환처리하여 열영상을 생성할 수 있다. 또한, 영상 합성 장치(106)는 인코딩된 가시광 데이터 및 인코딩된 열영상 데이터를 디코딩하여 객체의 가시광 영상 및 객체의 열영상을 생성하되, 분할된 하나 이상의 영역 각각에 대응되는 열영상 데이터를 각각 디코딩하고, 디코딩된 열영상 데이터 각각을 합산하여 상기 열영상을 생성할 수 있다.
영상 합성 장치(106)는 가시광 영상 및 열영상 각각에서 복수의 제1 특징점 및 복수의 제2 특징점을 각각 추출한다(310).
영상 합성 장치(106)는 추출된 복수의 제1 특징점 및 복수의 제2 특징점을 매칭하여 가시광 영상 및 열영상을 합성한다(312). 이때, 영상 합성 장치(106)는 가시광 영상 위에 열영상을 겹쳐서 표현할 수 있도록 열영상을 이동, 변형 또는 회전 변환하여 가시광 영상 및 열영상을 합성할 수 있다.
영상 합성 장치(106)는 합성된 영상을 출력한다(314).
영상 합성 장치(106)는 사용자의 요청에 따라 합성된 합성 영상의 각 부분에 해당하는 온도 정보를 출력할 수 있다.
영상 합성 장치(106)는 열영상 데이터 내 설정된 기준치 이상의 온도 데이터가 포함된 경우, 사용자로 화재 경고 메시지를 출력할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 화재 예측 시스템
102: 영상 데이터 처리 장치
106: 영상 합성 장치
202: 가시광 센서
204: 열영상 센서
206: 타깃 보드
102: 영상 데이터 처리 장치
106: 영상 합성 장치
202: 가시광 센서
204: 열영상 센서
206: 타깃 보드
Claims (9)
- 가시광 센서 및 열영상 센서를 이용하여 객체를 센싱하고, 센싱된 상기 가시광 센서의 신호 및 센싱된 상기 열영상 센서의 신호를 처리하여 상기 객체의 가시광 데이터 및 상기 객체의 열영상 데이터를 생성하며, 상기 가시광 데이터 및 상기 열영상 데이터를 영상 합성 장치로 송신하는 영상 데이터 처리 장치; 및
상기 가시광 데이터 및 상기 열영상 데이터를 이용하여 상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하고, 상기 가시광 영상 및 상기 열영상 각각에서 복수의 제1 특징점 및 복수의 제2 특징점을 각각 추출하며, 상기 복수의 제1 특징점 및 상기 복수의 제2 특징점을 매칭하여 상기 가시광 영상 및 상기 열영상을 합성하며, 합성된 영상을 출력하는 영상 합성 장치를 포함하는 화재 예측 시스템.
- 청구항 1에 있어서,
상기 열영상 데이터는, 상기 객체의 각 부분에 대한 온도 데이터를 포함하고,
상기 영상 합성 장치는, 설정된 변환 테이블을 이용하여 상기 온도 데이터를 영상변환처리하여 상기 열영상을 생성하는 화재 예측 시스템.
- 청구항 1에 있어서,
상기 영상 데이터 처리 장치는, 상기 가시광 데이터 및 상기 열영상 데이터를 인코딩하여 상기 영상 합성 장치로 송신하되, 상기 열영상 데이터를 하나 이상의 영역으로 분할하고, 분할된 상기 하나 이상의 영역 각각에 대응되는 상기 열영상 데이터를 각각 인코딩하고,
상기 영상 합성 장치는, 인코딩된 상기 가시광 데이터 및 인코딩된 상기 열영상 데이터를 디코딩하여 상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하되, 분할된 상기 하나 이상의 영역 각각에 대응되는 상기 열영상 데이터를 각각 디코딩하고, 디코딩된 상기 열영상 데이터 각각을 합산하여 상기 객체의 열영상을 생성하는 화재 예측 시스템.
- 청구항 1에 있어서,
상기 영상 데이터 처리 장치는, 설정된 형태 및 온도를 갖는 타깃 보드를 센싱하여 상기 타깃 보드의 가시광 데이터 및 상기 타깃 보드의 열영상 데이터를 영상 합성 장치로 송신하는 화재 예측 시스템.
- 청구항 1에 있어서,
상기 영상 합성 장치는, 상기 가시광 영상 위에 상기 열영상을 겹쳐서 표현할 수 있도록 상기 열영상을 이동, 변형 또는 회전 변환하여 상기 가시광 영상 및 상기 열영상을 합성하는 화재 예측 시스템.
- 청구항 1에 있어서,
상기 영상 합성 장치는, 사용자의 요청에 따라 상기 합성된 영상의 각 부분에 해당하는 온도 정보를 출력하는 화재 예측 시스템.
- 청구항 1에 있어서,
상기 열영상 데이터는, 상기 객체의 각 부분에 대한 온도 데이터를 포함하고,
상기 영상 합성 장치는, 상기 열영상 데이터 내에 설정된 기준치 이상의 온도 데이터가 포함된 경우, 사용자로 화재 경고 메시지를 출력하는 화재 예측 시스템.
- 화재 예측 시스템에 의해 수행되는 화재 예측 방법에 있어서,
영상 데이터 처리 장치에서, 가시광 센서 및 열영상 센서를 이용하여 객체를 센싱하는 단계;
상기 영상 데이터 처리 장치에서, 센싱된 상기 가시광 센서의 신호 및 센싱된 상기 열영상 센서의 신호를 처리하여 상기 객체의 가시광 데이터 및 상기 객체의 열영상 데이터를 생성하는 단계;
상기 영상 데이터 처리 장치에서, 상기 가시광 데이터 및 상기 열영상 데이터를 영상 합성 장치로 송신하는 단계;
상기 영상 합성 장치에서, 상기 가시광 데이터 및 상기 열영상 데이터를 이용하여 상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하는 단계;
상기 영상 합성 장치에서, 상기 가시광 영상 및 상기 열영상 각각에서 복수의 제1 특징점 및 복수의 제2 특징점을 각각 추출하는 단계;
상기 영상 합성 장치에서, 상기 복수의 제1 특징점 및 상기 복수의 제2 특징점을 매칭하여 상기 가시광 영상 및 상기 열영상을 합성하는 단계; 및
상기 영상 합성 장치에서, 합성된 영상을 출력하는 단계를 포함하는 화재 예측 방법.
- 청구항 8에 있어서,
상기 송신하는 단계는, 상기 가시광 데이터 및 상기 열영상 데이터를 인코딩하여 상기 영상 합성 장치로 송신하되, 상기 열영상 데이터를 하나 이상의 영역으로 분할하고, 분할된 상기 하나 이상의 영역 각각에 대응되는 상기 열영상 데이터를 각각 인코딩하고,
상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하는 단계는, 인코딩된 상기 가시광 데이터 및 인코딩된 상기 열영상 데이터를 디코딩하여 상기 객체의 가시광 영상 및 상기 객체의 열영상을 생성하되, 분할된 상기 하나 이상의 영역 각각에 대응되는 상기 열영상 데이터를 각각 디코딩하고, 디코딩된 상기 열영상 데이터 각각을 합산하여 상기 객체의 열영상을 생성하는 화재 예측 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180124581A KR102108201B1 (ko) | 2018-10-18 | 2018-10-18 | 열영상 및 가시광 영상을 이용한 화재 예측 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180124581A KR102108201B1 (ko) | 2018-10-18 | 2018-10-18 | 열영상 및 가시광 영상을 이용한 화재 예측 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200043771A true KR20200043771A (ko) | 2020-04-28 |
| KR102108201B1 KR102108201B1 (ko) | 2020-05-07 |
Family
ID=70456119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180124581A KR102108201B1 (ko) | 2018-10-18 | 2018-10-18 | 열영상 및 가시광 영상을 이용한 화재 예측 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102108201B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230168243A (ko) * | 2022-06-03 | 2023-12-13 | 울산과학기술원 | 가스 누출 탐지를 위한 합성 영상을 생성하는 방법 및 이를 수행하는 인공지능 기반 가스 누출 탐지 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101635000B1 (ko) * | 2015-06-26 | 2016-07-08 | (주) 비엑스 솔루션 | 복수의 카메라를 이용한 화재감지장치 및 그 시스템 |
| KR20170010543A (ko) * | 2015-07-20 | 2017-02-01 | 서울대학교산학협력단 | 가시광 센서와 열영상 센서 기반 융합 객체 인식 방법 및 장치 |
| KR20170119189A (ko) * | 2016-04-18 | 2017-10-26 | 단국대학교 천안캠퍼스 산학협력단 | 영상의 이미지 분할 인코딩 및 디코딩 시스템 |
-
2018
- 2018-10-18 KR KR1020180124581A patent/KR102108201B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101635000B1 (ko) * | 2015-06-26 | 2016-07-08 | (주) 비엑스 솔루션 | 복수의 카메라를 이용한 화재감지장치 및 그 시스템 |
| KR20170010543A (ko) * | 2015-07-20 | 2017-02-01 | 서울대학교산학협력단 | 가시광 센서와 열영상 센서 기반 융합 객체 인식 방법 및 장치 |
| KR20170119189A (ko) * | 2016-04-18 | 2017-10-26 | 단국대학교 천안캠퍼스 산학협력단 | 영상의 이미지 분할 인코딩 및 디코딩 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230168243A (ko) * | 2022-06-03 | 2023-12-13 | 울산과학기술원 | 가스 누출 탐지를 위한 합성 영상을 생성하는 방법 및 이를 수행하는 인공지능 기반 가스 누출 탐지 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102108201B1 (ko) | 2020-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5241500B2 (ja) | カメラパラメータを利用した多視点動画符号化及び復号化装置並びに方法と、これを行うためのプログラムの記録された記録媒体 | |
| US9794518B2 (en) | Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates | |
| US9432390B2 (en) | Scene identification system and methods | |
| EP3383030B1 (en) | Osd information generation camera, osd information synthesis terminal (20), and osd information sharing system comprising same | |
| KR20080049063A (ko) | 모션 감지 디바이스 | |
| WO2005117448A1 (ja) | 移動物体検出装置および移動物体検出方法 | |
| KR20180125878A (ko) | 비디오 카메라 및 클라이언트 디바이스를 포함하는 시스템 및 그에 의해 수행되는 방법 | |
| KR102108201B1 (ko) | 열영상 및 가시광 영상을 이용한 화재 예측 시스템 및 방법 | |
| JP7255841B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
| JP2009194760A (ja) | 画像符号化装置、画像復号化装置、画像符号化プログラム及び画像復号化プログラム | |
| WO2019131880A1 (ja) | 符号化方法、復号方法、情報処理方法、符号化装置、復号装置、及び、情報処理システム | |
| CN113170043B (zh) | 图像捕获元件、图像捕获装置和方法 | |
| JP2008022421A (ja) | 多視点画像圧縮符号化方法、装置及びプログラム | |
| Tanseer et al. | Real-time, content-based communication load reduction in the internet of multimedia things | |
| KR20140004942A (ko) | 영상 정합 방법 | |
| KR20150060730A (ko) | 인터-이미지 예측 방법과 디바이스 및 대응하는 인코딩 방법과 디바이스 | |
| KR102620477B1 (ko) | 증강 현실 서비스를 제공하는 서버, 단말 및 방법 | |
| JP5449241B2 (ja) | 映像復号装置、映像送受信装置、映像復号方法、及び映像送受信方法 | |
| JP4224405B2 (ja) | データ信号受信方法とその装置及びプログラム並びにその記録媒体 | |
| Saba | IOT based energy efficient security system | |
| CN117061581B (zh) | 远程控制方法、装置、电子设备、存储介质及程序产品 | |
| KR101323886B1 (ko) | 분산처리 기반의 물체 추적장치 및 추적방법 | |
| WO2022130514A1 (ja) | 映像処理方法、映像処理装置、及びプログラム | |
| JP2008236673A (ja) | 監視カメラ制御装置 | |
| CN116055746A (zh) | 视频编码方法及装置、视频解码方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |