KR101428913B1 - 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템 - Google Patents

초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템 Download PDF

Info

Publication number
KR101428913B1
KR101428913B1 KR1020130016733A KR20130016733A KR101428913B1 KR 101428913 B1 KR101428913 B1 KR 101428913B1 KR 1020130016733 A KR1020130016733 A KR 1020130016733A KR 20130016733 A KR20130016733 A KR 20130016733A KR 101428913 B1 KR101428913 B1 KR 101428913B1
Authority
KR
South Korea
Prior art keywords
image
visible light
analysis data
processing unit
thermal infrared
Prior art date
Application number
KR1020130016733A
Other languages
English (en)
Other versions
KR20140087968A (ko
Inventor
김응태
류장선
Original Assignee
한국산업기술대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단 filed Critical 한국산업기술대학교산학협력단
Publication of KR20140087968A publication Critical patent/KR20140087968A/ko
Application granted granted Critical
Publication of KR101428913B1 publication Critical patent/KR101428913B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Radiation Pyrometers (AREA)

Abstract

본 발명은 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템에 관한 것으로, 상기의 목적은 본 발명에 따라 감지대상의 가시광 영상과 열적외선 영상을 감지하는 이미지 센서와; 상기 이미지 센서에 의해 감지된 상기 가시광 영상을 웨이브릿 변환을 통해 해상도를 변환하거나, 상기 열적외선 영상을 보간법을 통해 해상도를 변환하여 상호 대응하는 변환 영상의 적어도 일 영역을 매칭하여 분석데이터를 생성하고, 상기 분석데이터의 신호성분에 기초하여 상기 감지대상에 대한 이벤트 발생 여부를 판단하는 프로세싱부를 포함하는 것을 특징으로 한다. 이로써 감지대상에서 발생하는 이상징후를 실시간 감지하고, 이상징후의 발생 시, 전원을 차단하거나 신속한 대응을 유도할 수 있다.

Description

초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템 {SURVEILLANCE SYSTEM FOR OVERHEATING STATE UTILIZING MICRO-SIZE IMAGE ARRAY SENSOR}
본 발명은 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템에 관한 것으로, 더욱 상세하게는 감지대상의 영상을 검출하여 과열과 같은 비정상적인 상태를 실시간 감시할 수 있는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템에 관한 것이다.
일반적으로 감시구역에 화재와 같은 사건이 발생하였을 때, 초동진화를 위해 감시구역에 카메라와 같은 영상수집장치를 설치하여 보안감시를 실시하는 다양한 모니터링 시스템이 제시되어 왔다.
그런데 이러한 모니터링 시스템의 대부분은 사고 발생이후 초치를 하기 위한 기술에 해당할 뿐, 사고 발생 징후를 포착하여 미연에 방지할 수 있지 못하고 있는 실정이다.
근래에 들어서는 휴대용 전자 제품의 보급의 증가로, 배터리를 이용한 전자장치의 사용률이 크게 증가하는 추세에 있는데, 종종 배터리의 결함이나 사용 부주의로 인한 배터리의 폭발 사고가 언론에 이슈화 되고 있다. 이러한 사고는 상당수가 전자 제품 내부의 불꽃(스파크), 합선, 이물질, 배터리 과충전 등에 의해 발생한다.
또한, 각종 산업현장이나 자동차와 같은 다양한 부품이 집약되어 이루어진 각종 기기에서도 동일한 원인으로 재해가 발생하기도 한다. 각종 기기 내부에서 발생하는 과열은 화재등으로 이어져 인적 물적 손실을 가져올 수 있으므로 실시간 상태를 감지하여 이상징후 발견 시, 전원의 차단 또는 위험을 통보할 수 있는 시스템이 필요한 실정이다.
대한민국공개특허 2002-0028979(공개일 2002년 04월17일, 과열방지 및 무인 온도 감지 시스템)에는 변압기 또는 단로기 주위에 설치되어 과열로 인한 이상징후를 감지하여 상황실에 정보를 전송하는 시스템을 개시하고 있다. 배터리 타입의 전자제품에 적용하고 온도변화뿐만 아니라 스파크 발생 및 이물질 유입등의 이상상태를 보다 정확하게 측정하여 사고 발생 이전에 경고 알람을 제공할 수 있는 시스템이 요구된다.
본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 감지대상을 실시간 감시하고, 이상징후 검출 시, 경고알람이 가능한 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템을 제공하는데 목적이 있다.
상기의 목적은 본 발명에 따라 감지대상의 가시광 영상과 열적외선 영상을 감지하는 이미지 센서와; 상기 이미지 센서에 의해 감지된 상기 가시광 영상을 웨이브릿 변환을 통해 해상도를 변환하거나, 상기 열적외선 영상을 보간법을 통해 해상도를 변환하여 상호 대응하는 변환 영상의 적어도 일 영역을 매칭하여 분석데이터를 생성하고, 상기 분석데이터의 신호성분에 기초하여 상기 감지대상에 대한 이벤트 발생 여부를 판단하는 프로세싱부를 포함하는 것을 특징으로 하는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템으로 달성될 수 있다.
여기에서, 상기 프로세싱부는 상기 가시광 영상과 상기 열적외선 영상의 해상도가 동일해지도록 상기 가시광 영상과 상기 열적외선 영상 중 적어도 어느 하나의 해상도를 변환하여 매칭한 후 이벤트 발생 여부를 판단할 수 있다.
삭제
그리고, 상기 프로세싱부로부터의 이벤트 발생 여부 판단에 기초하여 상기 감지대상의 이벤트 발생에 대한 알람을 제공하는 알람부를 더 포함할 수 있다.
또한, 상기 프로세싱부는, 상기 변환된 가시광 영상 및 상기 변환된 열적외선 영상을 소정 크기의 분할 영역을 갖도록 분할하고 인접한 소정 개수의 분할 영역으로 이루어진 탐색영역을 설정하며; 상기 가시광 영상 또는 상기 열적외선 영상 중 어느 하나의 영상에서 각각의 분할 영역은 대응되는 영상의 탐색영역 중 에지성분의 차이가 최소인 분할 영역과 매칭하여 분석데이터를 생성하는 것이 가능하다.
이때, 상기 프로세싱부는, 상기 분석데이터에 포함된 신호성분 중, 특정 온도에 대응하는 열적외선 영상의 신호성분이 소정의 임계치 이상인 경우, 이벤트 발생으로 판단할 수 있다.
또한, 상기 프로세싱부는, 상기 분석데이터에 포함된 신호성분 중, 특정 가시광 범위에 대응되는 가시광 영상의 신호성분이 소정의 임계치 이상인 경우, 이벤트 발생으로 판단할 수 있다.
또한, 상기 프로세싱부는, 상기 이미지 센서의 최근 감지 주기에 감지된 영상을 기초로 생성된 분석데이터의 신호성분과 상기 최근 감지 주기의 직전 주기에 감지된 영상을 기초로 생성된 분석데이터에 포함된 신호성분의 차이가 소정의 임계치 이상일 경우, 이벤트 발생으로 판단할 수 있다.
또한, 상기 프로세싱부는, 상기 이미지 센서의 최근 감지 주기에 감지된 영상을 기초로 생성된 분석데이터의 신호성분과 상기 최근 감지 주기의 이전 주기에 감지된 영상을 기초로 생성된 분석데이터에 포함된 신호성분의 평균값 차이가 소정의 임계치 이상일 경우, 이벤트 발생으로 판단할 수 있다.
그리고, 상기 알람부는 상기 프로세싱부로부터의 매칭된 분석데이터를 기초로 상기 가시광 영상과 상기 적외선 영상을 병합하여 출력하는 디스플레이부를 더 포함하는 것이 가능하다.
상기와 같은 구성에 따른 본 발명에 의하면, 이미지센서로부터 감지영상을 분석하여 실시간 판별함으로써, 화재와 같은 사고발생 이전에 이상징후를 발생에 대한 알람을 제공할 수 있다.
특히 육안으로 확인하기 어려운 온도상태의 감지가 가능하므로 과열상태의 지속으로 인하여 발생하는 화재와 같은 사고의 예방에 유용하다.
그리고, 과열 감시 시스템에 연동하는 알람부는 외부인터페이스로 사용자에게 감지 상태에 대한 경고알람을 제공하므로 보다 효과적인 감시 시스템을 구축할 수 있다.
또한, 배터리를 활용하여 운용하는 장비 또는 각종 산업시설의 전원부에서 발생할 수 있는 과열, 이물질, 불꽃 등의 이상 상태를 검출하여 실시간 감시에 따른 경보를 제공할 수 있다.
도 1은 본 발명에 따른 초소형 이미지 어레이 센서를 이용한 과열 감시 시스템의 구성을 나타낸 도면이고,
도 2는 이미지 센서의 구성을 설명하기 위한 도면이며,
도 3은 프로세싱부에서 처리과정을 나타낸 순서도이며,
도 4는 해상도 변환된 RGB영상과 IR영상을 소정의 분할영역으로 블록화한 것을 개략적으로 나타낸 도면이며,
도 5는 탐색영역에서 분할 영역의 매칭을 설명하기 위한 도면이며,
도 6은, 디스플레이부에 출력되는 병합된 영상의 출력 예시도이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. 본 발명에 따른 초소형 이미지 어레이 센서를 이용한 과열 감시 시스템의 실시예를 설명하는데 있어, 상호 대응하는 구성요소에 대해서는 동일한 참조번호를 사용하여 설명하며, 필요에 따라 그 설명은 생략될 수 있다.
도 1은 본 발명에 따른 초소형 이미지 어레이 센서를 이용한 과열 감시 시스템(10)의 구성을 설명하기 위한 도면이다. 이를 참조하면 가시광 영상 및 적외선 영상으로 이상징후 발생의 유무를 판단하는 초소형 이미지 어레이 센서를 이용한 과열 감시 시스템(10)은, 이미지 센서(110)와 프로세싱부(120)를 포함한다.
이미지 센서(110)는 감지대상의 가시광 영상과 열적외선 영상을 감지하여 이미지데이터를 제공하며, 프로세싱부(120)는 이미지 센서(110)에 의해 감지된 가시광 영상과 열적외선 영상의 상호 대응하는 적어도 일 영역을 매칭하여 분석데이터를 생성하고, 분석데이터의 신호성분에 기초하여 감지대상에 대한 이벤트 발생 여부를 판단하게 된다.
본 발명의 실시예에서 이미지 센서(110)는 이에 한정하는 것은 아니지만, 감지대상으로부터의 가시광 영역과 열적외선 영역을 수광하여 영상신호를 수집할 수 있는 CCD 또는 CMOS센서를 예시로 한다. RGB와 열적외선을 각각 감지하기 위해서는 각각의 센서가 구비되어야 하지만, CCD 또는 CMOS 센서처럼 단일센서를 이용할 수 있다. CCD/CMOS 센서는 가시광 영상과 열적외선(IR) 영상을 수집하는 것이 가능할 뿐만 아니라 수집된 데이터를 전기적 신호로 변환하므로 추후 설명할 RGB영상과 IR영상을 통합하는데 보다 용이함이 있다.
이미지 센서(110)로부터 감지되는 영상 중, 가시광 영상은 대표적으로 RGB성분으로 이루어지고 열적외선 영상은 열적외선 값을 일정한 신호레벨로 나타낸 영상으로 이하에서는 각각 RGB 영상과 IR영상으로 표현하여 설명하기로 한다.
이미지 센서(110)로부터 감지된 RGB 영상과 IR 영상은 픽셀을 갖는 배열형태로 나타내 지는데 프로세싱부(120)는 배열형태로 나타낸 R,G,B,IR 신호성분을 분석하여 불꽃(스파크), 화재발생, 과열 및 이물질 유입여부를 판단한다. 프로세싱부(120)의 보다 상세한 처리과정은 후술하기로 한다.
추가적으로 이미지 센서(110)와 프로세싱부(120) 간에 버퍼를 구성할 수 있다. 버퍼는 이미지 센서(110)에서 수집된 영상데이터를 적재하여 프로세싱부(120)에 순차적으로 제공한다.
도 2는 이미지 센서(110)의 구성을 나타내고 있다. 이미지 센서(110)는 감지대상의 가시광 영상과 열적외선 영상을 감지하는 것으로 수집부(115), 필터부(116), 제어부(119), 데이터 인터페이스부(117) 및 변환부(118)를 포함하여 이루어진다.
수집부(115)는 감지대상에서 발생하는 신호를 수집하는 것으로 빛의 3원색과 열적외선을 수집한다. 감지대상에서 방출되는 열적외선 영역의 광학적 신호는 과열 및 화재와 같은 온도성분을 영상으로 구현하는데 사용되며, 가시광선 영역의 광학적 신호는 밝기성분을 영상으로 구현하여 감지대상에 발생하는 이벤트적 상황을 보다 효과적으로 판단하기 위한 영상 구현에 사용된다.
필터부(116)는 수집부(115)로부터 수집된 신호에서 잡음을 제거하는 기능을 담당하고 추가적으로는 신호 수집기능을 갖는다. 앞서 설명한 센서의 구성 예로, CCD 또는 CMOS 영상 센서의 경우 적외선 신호도 함께 수집하게 되는데, 수집된 신호를 UV 필터를 통하여 적외선 신호만을 추출하는 것이 가능하므로 적외선 센서(112)를 대체할 수 있게 된다.
제어부(119)는 각각의 센서에 신호 수집에 대한 제어를 담당하는 것으로 이미지 센서(110)의 감지 주기를 조절하고, 감지하여 수집된 신호를 처리하기 위하여 데이터의 전송을 제어한다.
데이터 인터페이스부(117)는 수집하여 생성된 데이터를 사용자가 원하는 데이터의 형태로 전달할 수 있도록 가공하며 변환부(118)는 가공된 신호를 전자적 신호로 전달하기 위한 것으로 CCIR 656, 601과 같은 신호 형태로 변환한다.
도 3은 프로세싱부(120)에서의 처리과정을 나타낸 순서도이다. 이를 통해 프로세싱 과정을 보다 상세하게 설명하기로 한다.
가장 먼저 센서영상획득(S100) 과정이 실시된다. 이는 앞서 설명한 이미지 센서(110)로부터 RGB영상과 IR영상을 획득하는 과정을 상술하였으므로 생략한다.
프로세싱부(120)는 가시광 영상과 상기 열적외선 영상의 해상도가 동일해지도록 가시광 영상과 열적외선 영상 중 적어도 어느 하나의 해상도를 변환하여 매칭한 분석데이터를 이용하여 이벤트 발생을 판단한다.
더 자세하게는 이미지 센서(110)로부터 수집된 감지 영상은 RGB 값과 IR값을 갖게 되는데 RGB 값 만으로는 감지대상의 내부적 열 특성을 확인할 수 없고 단순히 사물의 식별만 가능하다.
이와 반대로 IR값은 감지대상에 대한 열 특성을 확인할 수 있으나, 사물의 식별에 있어서는 RGB 영상에 못미치는 것이 일반적이다.
또한, IR값은 열적외선 감지에 따른 온도정보를 기반으로 사용자가 육안으로 식별할 수 있도록 특정 적외선 영역별 온도정보에서 추출한 신호레벨을 임의의 밝기 또는 색상 값을 주어 시각적으로 표현한 것이다. 따라서 RGB 값이 갖는 색상값과는 특성이 상이하다.
전술한 것처럼 서로다른 특성값으로 이루어진 RGB 영상값과 IR영상값을 각각 분석하여 이벤트 발생에 대한 판단을 실시하는 것이 가능하지만, 신뢰도 높은 판단을 위하여 각각의 영상 값을 매칭하여 분석할 수 있게 된다.
여기에서 각각의 영상을 매칭하는 단계(S300)에 앞서 해상도 변환 단계(200)가 선행되는데 이를 설명하면 다음과 같다.
일반적으로 열적외선을 감지하여 열화상을 수집하는 적외선 센서(112)는 RGB 센서(111)보다 분해능이 좋지 않은 경우가 많다. 서로 다른 분해능을 갖는 영상을 매칭하여 비교분석을 실시할 경우 정확한 판단이 어렵다. 따라서 각각의 영상을 동일한 해상도로 보정이 필요하게 된다.
그런데 분해능이 좋은 RGB 영상의 데이터를 작게 하는 경우, 영상의 특징을 나타내는 신호 성분이 줄어들어 이벤트발생 판단에 부정적으로 작용할 수 있다. 따라서 IR 영상에서 신호의 양을 적절하게 증가시키면서 RGB 데이터 량을 상대적으로 줄이는 방식을 적용한다.
해상도 변환 단계(S200)에서 프로세싱부(120)는 가시광 영상을 웨이브릿 변환(S210)을 통해 해상도를 변환하고, 상기 열적외선 영상은 보간법(S220)을 통해 해상도를 변환한다.
웨이브릿 변환(S210)은 RGB 영상을 웨이브릿 변환 처리기에 대입하여 RGB 영상으로부터 외곽선을 추출한 후 변환함수를 적용한 알고리즘에 외곽선을 적용하여 그 결과로 나온 특징 벡터를 이미지 전체의 모양에 대한 특징으로 표현한다.
여기에서 웨이브릿 변환을 이용하면 신호에 대한 복원율이 우수하므로 초소형 센서에서 발생하는 잡음에 효과적인 대응이 가능하다는 이점이 있다.
보간법 적용단계(S210)는 IR 영상을 보간할 크기와 유사한 서브 밴드 신호를 선택하여 처리하여 변환하고자 하는 해상도로 IR영상을 변환하게 된다. 여기에서, 서브 밴드 신호를 통해 IR영상을 보간하면, 영상의 에지 성분만을 갖고 있게 된다.
해상도 변환 단계(S200) 이 후, 변환 이미지 매칭 과정(S300)을 갖는다. 해상도 변환 단계(S200)를 통해 RGB영상과 IR영상은 거의 동일한 해상도를 갖도록 변환 되므로 이미지 매칭 과정(S300)이 보다 용이하게 실시할 수 있게 된다.
이미지 매칭 과정(S300)을 보면 변환된 가시광 영상 및 변환된 열적외선 영상을 소정 크기의 분할 영역을 갖도록 분할하고 인접한 소정 개수의 분할 영역으로 이루어진 탐색영역을 설정한다. 그리고 가시광 영상 또는 열적외선 영상 중 어느 하나의 영상에서 각각의 분할 영역은 대응되는 영상의 탐색영역에서 에지성분의 차이가 최소인 분할 영역과 매칭하여 분석데이터를 생성한다.
도 4는 해상도 변환된 RGB영상과 IR영상을 소정의 분할영역으로 블록화한 것을 개략적으로 나타낸 도면이며, 도 5는 탐색영역에서 분할 영역의 매칭을 설명하기 위한 도면이다. 이를 이용하여 매칭 과정(S300)을 설명하기로 한다. 도 4와 도 5를 이용한 매칭은 RGB영상을 기준으로 IR영상의 분할 영역을 비교하여 매칭하는 예시이다.
RGB영상과 IR영상을 매칭한 분석데이터를 생성하기 위해 해상도 변환된 각각의 영상을 소정의 크기를 갖도록 분할 영역을 설정한다. 언급한 바와 같이 RGB영상을 기준으로 IR영상의 분할 영역을 각각 매칭시키는 예시이므로 탐색영역은 RGB영상에 설정한다. 여기에서 탐색영역은 매칭하고자 하는 IR 영상의 분할 영역에 대응하는 RGB 영상의 분할 영역의 위치에 서로 인접한 분할 영역들의 그룹으로 설정될 수 있고, 인접영역은 상하좌우 및 대각선 방향의 분할 영역이 될 수 있다.
도면의 예시에서는 RGB영상을 십(十)자로 구획하고 4개의 사분면에 해당하는 4개의 탐색영역으로 예시한 것이나 탐색영역의 개수는 다양하게 설정될 수 있다.
도 5에서 IR영상의 분할 영역 1을 매칭하기 위한 탐색영역은 RGB영상의 분할 영역 1, 분할 영역 2, 분할 영역 5, 분할 영역 6으로 이루어진 경우를 나타내고 있고, IR영상의 분할 영역 1을 탐색영역에서 가장 유사한 분할 영역과 매칭하게 된다.
이때, 탐색영역을 설정하는 것은 계산량을 감소시키기 위함이다. 해상도 변환이 실시된 영상에서 일정한 크기로 분할영역을 설정했을 때, 해상도 변환의 오차가 있을지라도 이벤트 발생의 상황과 대응하는 블록은 일정 범위 안에서 차이를 갖게 되므로 영상 전체를 비교할 필요는 없다. 이로써 프로세싱 속도가 향상된다.
또한 블록을 설정하는 것은 영상 신호에서 변이가 발생할지라도 각각의 픽셀에 해당하는 화소가 서로 다른 방향으로 이동하기보다는 유사한 방향으로 변위되는 벡터값을 갖는 경우가 많으므로 적당한 탐색영역에서 가장 오차가 적은 블록을 찾아서 이동시킨다.
여기에서 오차는 각각의 분할 영역에 포함된 에지의 일치하는 정도로 계산된다. 웨이브릿 변환된 영상에도 에지는 포함되어 있어 블록간 에지의 일치하는 정도를 비교하여 판단할 수 있다.
즉, 두 신호의 에지 성분을 기준으로 두 성분을 합치게 되는데 이때, 일정 크기의 분할 영역으로 나누어 일정 탐색영역 안에 두 신호의 오차가 가장 적은 부분을 기준으로 각 분할 영역을 매칭하는 것이며, 탐색영역 안의 에지신호들에 대해서 유사정도는 [수학식 1]을 이용하여 계산된다.
Figure 112013014064283-pat00001
여기에서 I,J는 블록(분할영역)의 크기이며,
Prgb(i,j),Pir(i,j)는 i와 j에 대응하는 에지성분의 값이다.
위 식에 의해서 각각의 센서 값의 차이가 최소가 되는 지점을 유사도가 가장 높은 영역으로 판단하여 변환 이미지를 매칭(S300) 한다.
변환 이미지를 매칭하여 분석데이터 생성(S400)하며 이를 분석하여 온도, 불꽃, 이물질 등의 이벤트 발생 여부를 판단(S500)하게 된다.
감지대상에서 발생할 수 있는 이상 징후를 감지하여 알람을 발생시키기 위한 이벤트 발생 여부의 판단(S500)은 [수학식 2]을 기초로 산출하고자 하는 특징에 해당하는 함수를 추가하여 이벤트 발생을 판단할 수 있다.
Figure 112013014064283-pat00002
여기에서 T는 검출시간,
X,Y는 이벤트 발생을 판단하고자 하는 관심영역의 크기,
M(x,y,t)는 t 시점의 x,y 좌표에 대응하는 분석데이터의 신호성분의 값
TH는 임계치
[수학식 2]를 활용하면 감시하는 현 시점에서 감지대상에 이상이 없을 경우, 매칭된 분석데이터에서 영상신호는 어느정도의 오차범위 내에서 유사한 레벨의 신호 값을 유지하게 되는데, 일정 값 이상의 온도에 따른 밝기 값의 변화 및 RGB 값을 포함하는 신호 성분이 감지되는 경우 알람 신호를 발생시키는 원리가 적용된다.
즉, 분석데이터에 포함된 신호성분 중, 특정 온도에 대응하는 열적외선 영상의 신호성분이 소정의 임계치 이상인 경우나, 분석데이터에 포함된 신호성분 중, 특정 가시광 범위에 대응되는 가시광 영상의 신호성분이 소정의 임계치 이상인 경우 이벤트 발생으로 판단한다.
또한, 상기 프로세싱부(120)는 이미지 센서(110)로부터 최근 감지 주기에 감지된 영상을 기초로 생성된 분석데이터의 신호성분과 최근 감지 주기의 직전 주기에 감지된 영상을 기초로 생성된 분석데이터에 포함된 신호성분의 차이가 소정의 임계치 이상일 경우, 이벤트 발생으로 판단한다.
불꽃(스파크)의 발생을 이를 적용하여 판별할 수 있다. 불꽃의 경우, 순간적으로 발생하며 대개 밝은 색을 가지게 되므로 이를 통해 감지할 수 있으며, [수학식 3]으로 나타낼 수 있다.
Figure 112013014064283-pat00003
정상상태의 경우에는 이전 시점과 현 시점의 신호 간의 차이가 거의 없으나, 불꽃과 같이 순간적으로 변화하는 경우 신호 간의 차이가 벌어지게 되므로 이상상태의 감지로 판단한다.
한편으로는 이미지 센서(110)의 최근 감지 주기에 감지된 영상을 기초로 생성된 분석데이터의 신호성분과 상기 최근 감지 주기의 이전 주기에 감지된 영상을 기초로 생성된 분석데이터에 포함된 신호성분의 평균값 차이가 소정의 임계치 이상일 경우, 이벤트 발생으로 판단하는 것도 가능하다.
이물질이 유입된 경우나 감지대상의 파손이나 기타 변형이 발생하는 경우를 RGB 영상과 IR영상에 포함된 신호성분에 변화가 생기므로, 이를 이용하여 감지할 수 있으며, [수학식 4]를 이용하여 판별한다.
Figure 112013014064283-pat00004
이물질이 유입되기 전에는 신호 간의 평균수치와 새로 입력되는 수치 간에 차이가 없지만 이물질이 유입되는 경우, 신호성분의 수치 정도가 변화하게 되므로 이를 이물질 유입으로 판단하게 된다.
이벤트 발생 판단(S500)과정에서 이벤트 발생으로 판단되는 경우 알람을 발생(S700)시킨다.
이를 위해 본 발명의 실시예에서는 프로세싱부(120)로부터의 이벤트 발생 여부 판단에 기초하여 감지대상의 이벤트 발생에 대한 알람을 제공하는 알람부(130)를 더 포함할 수 있다. 이는 프로세싱부(120)로부터 분석데이터의 분석 결과가 이벤트 발생으로 판단되어 알람 신호를 발생시키는 경우, 사용자에게 이상징후 포착을 알리는 기능을 담당하는 것으로, 대표적으로 시각 청각적인 방법을 이용할 수 있으며, 관리자가 원격지에 있는 경우 SMS를 발송과 같이 다양한 형태로 실시될 수 있다.
도 6은 디스플레이부(131)에 출력되는 병합된 영상의 출력 예시도이다. 알람부(130)는 프로세싱부(120)로부의 매칭된 분석데이터를 기초로 상기 가시광 영상과 상기 적외선 영상을 병합하여 출력하는 디스플레이부(131)를 더 구성할 수 있다. 디스플레이를 통해 보다 효과적인 알람의 제공을 위해, 영상데이터 병합 단계(S600)가 앞서 실시될 수 있다. 매칭된 RGB영상과 IR영상을 하나의 디스플레이 장치에서 병합된 상태로 출력하므로 사용자가 육안 확인에 보다 유용해 진다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
100: 과열 감시 시스템 110: 이미지 센서
111: RGB센서 112: IR센서
115: 수집부 116: 필터부
117: 데이터 인터페이스부 118: 변환부
119: 제어부 120: 프로세싱부
130: 알람부 131: 디스플레이부

Claims (10)

  1. 감지대상의 가시광 영상과 열적외선 영상을 감지하는 이미지 센서와;
    상기 이미지 센서에 의해 감지된 상기 가시광 영상을 웨이브릿 변환을 통해 해상도를 변환하거나, 상기 열적외선 영상을 보간법을 통해 해상도를 변환하여 상호 대응하는 변환 영상의 적어도 일 영역을 매칭하여 분석데이터를 생성하고, 상기 분석데이터의 신호성분에 기초하여 상기 감지대상에 대한 이벤트 발생 여부를 판단하는 프로세싱부를 포함하는 것을 특징으로 하는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템.
  2. 제1항에 있어서,
    상기 프로세싱부는 상기 가시광 영상과 상기 열적외선 영상의 해상도가 동일해지도록 상기 가시광 영상과 상기 열적외선 영상 중 적어도 어느 하나의 해상도를 변환하여 매칭하는 것을 특징으로 하는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 프로세싱부로부터의 이벤트 발생 여부 판단에 기초하여 상기 감지대상의 이벤트 발생에 대한 알람을 제공하는 알람부를 더 포함하는 것을 특징으로 하는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템.
  5. 제1항 또는 제2항에 있어서,
    상기 프로세싱부는,
    상기 변환된 가시광 영상 및 상기 변환된 열적외선 영상을 소정 크기의 분할 영역을 갖도록 분할하고 인접한 소정 개수의 분할 영역으로 이루어진 탐색영역을 설정하며;
    상기 가시광 영상 또는 상기 열적외선 영상 중 어느 하나의 영상에서 각각의 분할 영역은 대응되는 영상의 탐색영역에서 에지성분의 차이가 최소인 분할 영역과 매칭하여 분석데이터를 생성하는 것을 특징으로 하는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템.
  6. 제5항에 있어서,
    상기 프로세싱부는,
    상기 분석데이터에 포함된 신호성분 중, 특정 온도에 대응하는 열적외선 영상의 신호성분이 소정의 임계치 이상인 경우, 이벤트 발생으로 판단하는 것을 특징으로 하는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템.
  7. 제5항에 있어서,
    상기 프로세싱부는,
    상기 분석데이터에 포함된 신호성분 중, 특정 가시광 범위에 대응되는 가시광 영상의 신호성분이 소정의 임계치 이상인 경우, 이벤트 발생으로 판단하는 것을 특징으로 하는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템.
  8. 제5항에 있어서,
    상기 프로세싱부는,
    상기 이미지 센서로부터 최근 감지 주기에 감지된 영상을 기초로 생성된 분석데이터의 신호성분과 상기 최근 감지 주기의 직전 주기에 감지된 영상을 기초로 생성된 분석데이터에 포함된 신호성분의 차이가 소정의 임계치 이상일 경우, 이벤트 발생으로 판단하는 것을 특징으로 하는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템.
  9. 제5항에 있어서,
    상기 프로세싱부는,
    상기 이미지 센서의 최근 감지 주기에 감지된 영상을 기초로 생성된 분석데이터의 신호성분과 상기 최근 감지 주기의 이전 주기에 감지된 영상을 기초로 생성된 분석데이터에 포함된 신호성분의 평균값 차이가 소정의 임계치 이상일 경우, 이벤트 발생으로 판단하는 것을 특징으로 하는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템.
  10. 제4항에 있어서,
    상기 알람부는
    상기 프로세싱부로부터의 매칭된 분석데이터를 기초로 상기 가시광 영상과 상기 적외선 영상을 병합하여 출력하는 디스플레이부를 더 포함하는 것을 특징으로 하는 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템.
KR1020130016733A 2012-12-28 2013-02-18 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템 KR101428913B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120156633 2012-12-28
KR20120156633 2012-12-28

Publications (2)

Publication Number Publication Date
KR20140087968A KR20140087968A (ko) 2014-07-09
KR101428913B1 true KR101428913B1 (ko) 2014-08-11

Family

ID=51736795

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130016733A KR101428913B1 (ko) 2012-12-28 2013-02-18 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템

Country Status (1)

Country Link
KR (1) KR101428913B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663140B1 (ko) 2015-06-19 2016-10-07 경희대학교 산학협력단 양자점을 이용하는 고투명 가시광 센서 및 형성 방법
KR20170000828A (ko) 2016-12-23 2017-01-03 경희대학교 산학협력단 금속나노 입자를 이용하는 고투명 다파장 센서 및 형성 방법
KR20190110354A (ko) * 2018-03-20 2019-09-30 한양대학교 산학협력단 기계 학습 기반의 이상 상태 발생 지점 탐지 방법 및 이상 상태 발생 지점의 탐지를 위한 학습 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101679127B1 (ko) * 2014-12-16 2016-12-07 주식회사 에스원 과열 측정 방법 및 이를 이용한 과열 측정 장치
KR101635000B1 (ko) * 2015-06-26 2016-07-08 (주) 비엑스 솔루션 복수의 카메라를 이용한 화재감지장치 및 그 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080065833A (ko) * 2007-01-10 2008-07-15 한국서부발전 주식회사 화재 발생 감시 방법 및 시스템
KR20090089931A (ko) * 2008-02-20 2009-08-25 유넷웨어(주) 실시간 복합 영상 출력 장치
KR20090089932A (ko) * 2008-02-20 2009-08-25 유넷웨어(주) 핫 스팟 추적이 가능한 실시간 복합 영상 출력 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080065833A (ko) * 2007-01-10 2008-07-15 한국서부발전 주식회사 화재 발생 감시 방법 및 시스템
KR20090089931A (ko) * 2008-02-20 2009-08-25 유넷웨어(주) 실시간 복합 영상 출력 장치
KR20090089932A (ko) * 2008-02-20 2009-08-25 유넷웨어(주) 핫 스팟 추적이 가능한 실시간 복합 영상 출력 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663140B1 (ko) 2015-06-19 2016-10-07 경희대학교 산학협력단 양자점을 이용하는 고투명 가시광 센서 및 형성 방법
KR20170000828A (ko) 2016-12-23 2017-01-03 경희대학교 산학협력단 금속나노 입자를 이용하는 고투명 다파장 센서 및 형성 방법
KR20190110354A (ko) * 2018-03-20 2019-09-30 한양대학교 산학협력단 기계 학습 기반의 이상 상태 발생 지점 탐지 방법 및 이상 상태 발생 지점의 탐지를 위한 학습 방법
KR102048519B1 (ko) * 2018-03-20 2019-11-25 한양대학교 산학협력단 기계 학습 기반의 이상 상태 발생 지점 탐지 방법 및 이상 상태 발생 지점의 탐지를 위한 학습 방법

Also Published As

Publication number Publication date
KR20140087968A (ko) 2014-07-09

Similar Documents

Publication Publication Date Title
KR101428913B1 (ko) 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템
JP4803376B2 (ja) カメラ妨害検知方式
US7167575B1 (en) Video safety detector with projected pattern
CN110633682B (zh) 基于双光融合的红外图像的异常监测方法、装置、设备
JP4626632B2 (ja) 映像監視システム
Wong et al. An effective surveillance system using thermal camera
KR101309407B1 (ko) 블록 단위 영상 기반의 화재감지 카메라 및 센서를 이용한 복합 화재 감지기, 화재 감지 시스템 및 그 방법
KR101307698B1 (ko) 출입 제한 영역 침입자 검출 시스템, 침입자 검출 장치, 출입 제한 영역 침입자 검출 방법 및 그 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
EP2874100B1 (en) Slow change detection system
US9293022B2 (en) Detecting apparatus, detecting system, and detecting method
KR101066900B1 (ko) 씨씨티브이 카메라 영상에서의 특정 움직임 감지 장치
KR101521236B1 (ko) 열영상을 이용한 감시 시스템
JP2018173888A (ja) 火気監視支援システム
CN109596226B (zh) 用于红外热成像测温系统的黑体异常检测方法、装置、设备及系统
CN109841028B (zh) 一种基于红外热像仪的热源探测方法、系统及存储介质
JP4707019B2 (ja) 映像監視装置及び方法
US20230401859A1 (en) Management apparatus, management method, management system, computer program and recording medium
CN111414967A (zh) 提高测温系统鲁棒性的方法及监测系统
JP3888528B2 (ja) 液面認識処理装置及び液面監視システム
CN113516091B (zh) 一种识别变电站电火花图像的方法
KR20230064388A (ko) 복합 영상 기반 화재 감지 시스템
JP2009294974A (ja) 画像処理による侵入者検知装置
TWM528432U (zh) 熱源檢測裝置及其系統
JP2021002791A (ja) 環境異常検知装置
WO2019082474A1 (ja) ３次元侵入検知システムおよび３次元侵入検知方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170901

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190805

Year of fee payment: 6