KR102370491B1 - Method And Apparatus for Detecting Motion by Using Optical Image and Thermal Image - Google Patents

Method And Apparatus for Detecting Motion by Using Optical Image and Thermal Image Download PDF

Info

Publication number
KR102370491B1
KR102370491B1 KR1020200026967A KR20200026967A KR102370491B1 KR 102370491 B1 KR102370491 B1 KR 102370491B1 KR 1020200026967 A KR1020200026967 A KR 1020200026967A KR 20200026967 A KR20200026967 A KR 20200026967A KR 102370491 B1 KR102370491 B1 KR 102370491B1
Authority
KR
South Korea
Prior art keywords
image
change amount
motion
candidate region
threshold
Prior art date
Application number
KR1020200026967A
Other languages
Korean (ko)
Other versions
KR20210111992A (en
Inventor
신동균
박성희
Original Assignee
주식회사 이오씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이오씨 filed Critical 주식회사 이오씨
Priority to KR1020200026967A priority Critical patent/KR102370491B1/en
Publication of KR20210111992A publication Critical patent/KR20210111992A/en
Application granted granted Critical
Publication of KR102370491B1 publication Critical patent/KR102370491B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치를 개시한다.
본 실시예는 일반 영상 센서와 열 영상 센서를 동시에 탑재한 듀얼 센서 카메라(Dual Sensor Camera)로서, 일반 영상 센서로부터 획득한 일반영상의 이미지 변화량과 열 영상 센서로부터 획득한 열상의 온도 변화량을 동시에 이용하여 오탐지(False Alarm) 가능성을 줄이고, 일반영상에 대한 이미지 처리를 최소화하여 연산량을 줄일 수 있으므로, 임베디드 시스템(Embedded System)에 적용할 수 있는 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치를 제공한다.Disclosed are a method and an apparatus for detecting motion using a general image and a thermal image.
This embodiment is a dual sensor camera equipped with a general image sensor and a thermal image sensor at the same time, and the image change amount of the general image obtained from the general image sensor and the temperature change amount of the thermal image obtained from the thermal image sensor are used simultaneously This reduces the possibility of false alarm and reduces the amount of computation by minimizing image processing for general images. A method to detect motion using general images and thermal images applicable to embedded systems. and devices.

Description

일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치{Method And Apparatus for Detecting Motion by Using Optical Image and Thermal Image}Method and Apparatus for Detecting Motion by Using Optical Image and Thermal Image

본 실시예는 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치에 관한 것이다. The present embodiment relates to a method and apparatus for detecting motion using a general image and a thermal image.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The content described below merely provides background information related to the present embodiment and does not constitute the prior art.

일반적으로 영상을 이용하여 움직임을 감지하는 방법으로는 CV(Computer Vision)를 이용한 방식이 존재한다.In general, a method using CV (Computer Vision) exists as a method of detecting motion using an image.

CV를 이용한 방식은 기 설정된 이미지 또는 과거 입력 이미지를 배경 이미지로 설정하고, 현재 이미지와 배경 이미지의 차이를 비교하여 미리 정해둔 임계치를 초과할 경우, 움직임을 감지하는 방식이다. CV를 이용한 방식은 조명 등이 끄고 켜지는 상황과 같이 급격한 조도 변화 발생 시에도 감지가 될 수 있으며, 특히 사람과 같은 객체의 움직임을 감지하기 위해서 많은 계산량을 필요로 하여 작은 연산 능력을 갖는 임베디드 시스템(Embedded System)에 적용하기 어려운 문제가 있다.The method using CV sets a preset image or a past input image as a background image, compares the difference between the current image and the background image, and detects motion when a predetermined threshold is exceeded. The method using CV can be detected even when a sudden change in illuminance occurs, such as when lights are turned off and on. There is a problem that is difficult to apply to (Embedded System).

일반적으로 영상을 이용하여 움직임을 감지하는 방법으로는 PIR(Passive InfraRed)을 이용한 방식이 존재한다.In general, as a method of detecting motion using an image, there is a method using PIR (Passive InfraRed).

PIR을 이용한 방식은 적외선을 이용하여 온도변화를 통해 움직임을 감지하는 방식이다. PIR을 이용한 방식은 ‘바람에 흔들리는 커튼’, ‘조광량의 변화’ 등과 같은 무생물의 움직임 등 중요하지 않는 물체의 움직임을 필터링이 가능하다. PIR을 이용한 방식은 별도의 센서를 사용할 경우 전력효율이 우수한 장점이 있는 반면에 차페물(예컨대, 유리창 등)이 있는 경우나, 열이 차단될 수 있는 상황에서는 움직임을 감지할 수 없는 문제가 있다. The method using PIR is a method of detecting motion through temperature change using infrared rays. In the method using PIR, it is possible to filter the movement of insignificant objects, such as the movement of inanimate objects such as 'curtains swaying in the wind' and 'change in light intensity'. The method using PIR has the advantage of excellent power efficiency when a separate sensor is used, but there is a problem that movement cannot be detected when there is a shield (eg, a window, etc.) or in a situation where heat can be blocked. .

따라서, 기존의 CV, PIR을 이용한 방식의 문제점을 해결하여 보다 정확하게 영상 내의 움직임을 탐지할 수 있는 기술을 필요로 한다.Accordingly, there is a need for a technology capable of more accurately detecting motion in an image by solving the problems of the existing method using CV and PIR.

본 실시예는 일반 영상 센서와 열 영상 센서를 동시에 탑재한 듀얼 센서 카메라(Dual Sensor Camera)로서, 일반 영상 센서로부터 획득한 일반영상의 이미지 변화량과 열 영상 센서로부터 획득한 열상의 온도 변화량을 동시에 이용하여 오탐지(False Alarm) 가능성을 줄이고, 일반영상에 대한 이미지 처리를 최소화하여 연산량을 줄일 수 있으므로, 임베디드 시스템(Embedded System)에 적용할 수 있는 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치를 제공하는 데 목적이 있다.This embodiment is a dual sensor camera equipped with a general image sensor and a thermal image sensor at the same time, and uses the image change amount of the general image obtained from the general image sensor and the temperature change amount of the thermal image obtained from the thermal image sensor at the same time This reduces the possibility of false alarm and reduces the amount of computation by minimizing image processing for general images. A method to detect motion using general images and thermal images applicable to embedded systems. and to provide a device.

본 실시예의 일 측면에 의하면, 일반 영상 센서로부터 일반 영상 이미지를 획득하는 일반 영상 획득부; 열 영상 센서로부터 온도 정보를 획득하여 열상 이미지를 생성하는 열상 영상 생성부; 상기 일반 영상 이미지에 대한 움직임 후보 영역을 검출하는 움직임 후보 영역 설정부; 상기 열상 이미지에 대한 온도변화 후보 영역을 검출하는 온도변화 후보 영역 설정부; 및 상기 움직임 후보 영역과 상기 온도변화 후보 영역을 기반으로 최종 움직임 발생 여부를 탐지하는 움직임 탐지부를 포함하는 것을 특징으로 하는 움직임 감지 장치를 제공한다.According to an aspect of the present embodiment, a general image acquisition unit for acquiring a general image image from a general image sensor; a thermal image generating unit that acquires temperature information from a thermal image sensor to generate a thermal image; a motion candidate region setting unit configured to detect a motion candidate region for the general video image; a temperature change candidate region setting unit for detecting a temperature change candidate region for the thermal image; and a motion detector configured to detect whether a final motion has occurred based on the motion candidate region and the temperature change candidate region.

본 실시예의 다른 측면에 의하면, 일반 영상 센서로부터 일반 영상 이미지를 획득하는 과정; 열 영상 센서로부터 온도 정보를 획득하여 열상 이미지를 생성하는 과정; 상기 일반 영상 이미지에 대한 움직임 후보 영역을 검출하는 과정; 상기 열상 이미지에 대한 온도변화 후보 영역을 검출하는 과정; 및 상기 움직임 후보 영역과 상기 온도변화 후보 영역을 기반으로 최종 움직임 발생 여부를 탐지하는 과정을 포함하는 것을 특징으로 하는 움직임 감지 방법을 제공한다.According to another aspect of the present embodiment, the process of acquiring a general image image from the general image sensor; generating a thermal image by acquiring temperature information from a thermal imaging sensor; detecting a motion candidate region for the general video image; detecting a temperature change candidate region for the thermal image; and detecting whether a final motion has occurred based on the motion candidate region and the temperature change candidate region.

이상에서 설명한 바와 같이 본 실시예에 의하면, 일반 영상 센서와 열 영상 센서를 동시에 탑재한 듀얼 센서 카메라(Dual Sensor Camera)로서, 일반 영상 센서로부터 획득한 일반영상의 이미지 변화량과 열 영상 센서로부터 획득한 열상의 온도 변화량을 동시에 이용하여 오탐지(False Alarm) 가능성을 줄이고, 일반영상에 대한 이미지 처리를 최소화하여 연산량을 줄일 수 있으므로, 임베디드 시스템(Embedded System)에 적용할 수 있는 효과가 있다.As described above, according to this embodiment, as a dual sensor camera equipped with a general image sensor and a thermal image sensor at the same time, the image change amount of the general image acquired from the general image sensor and the image change amount acquired from the thermal image sensor By simultaneously using the temperature change of the thermal image, the possibility of false alarm is reduced, and the amount of computation can be reduced by minimizing image processing for general images, so it has an effect that can be applied to embedded systems.

도 1은 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임 감지 장치를 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임을 감지하는 방법을 설명하기 위한 순서도이다.
도 3은 본 실시예에 따른 열 영상을 처리 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 일반 영상과 열 영상의 중첩 영역에 따른 움직임 발생 여부 판별 방법을 설명하기 위한 순서도이다.1 is a block diagram schematically showing a motion sensing apparatus using a general image and a thermal image according to the present embodiment.
2 is a flowchart illustrating a method of detecting a motion using a general image and a thermal image according to the present embodiment.
3 is a flowchart illustrating a method of processing a thermal image according to the present embodiment.
4 is a flowchart for explaining a method for determining whether a motion occurs according to an overlapping region of a normal image and a thermal image according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임 감지 장치를 개략적으로 나타낸 블럭 구성도이다.1 is a block diagram schematically showing a motion sensing apparatus using a general image and a thermal image according to the present embodiment.

본 실시예에 따른 움직임 감지 장치(100)는 일반 영상(CMOS) 센서(112)와 열 영상(LWIR) 센서(114)를 동시에 탑재한 듀얼 센서 카메라(Dual Sensor Camera)를 의미한다. 움직임 감지 장치(100)는 듀얼 센서 카메라를 이용하여 움직임 감지(Motion Detection)하고 침입을 탐지한다.The motion detection apparatus 100 according to the present embodiment refers to a dual sensor camera in which a general image (CMOS) sensor 112 and a thermal image (LWIR) sensor 114 are simultaneously mounted. The motion detection device 100 detects motion by using a dual sensor camera and detects an intrusion.

움직임 감지 장치(100)는 일반 영상 센서(112)로부터 획득한 일반영상의 이미지 변화량과 열 영상 센서(114)로부터 획득한 열상의 온도 변화량을 동시에 이용하여 오탐지(False Alarm) 가능성을 줄일 수 있다. 움직임 감지 장치(100)는 일반영상에 대한 이미지 처리를 최소화하여 연산량을 줄일 수 있으므로, 임베디드 시스템(Embedded System)에 적용할 수 있다.The motion detection apparatus 100 may reduce the possibility of false alarm by simultaneously using the image change amount of the general image obtained from the general image sensor 112 and the temperature change amount of the thermal image obtained from the thermal image sensor 114 . . Since the motion sensing apparatus 100 can reduce the amount of computation by minimizing image processing for a general image, it can be applied to an embedded system.

움직임 감지 장치(100)는 일반 영상 센서(112)와 열 영상 센서(114)를 동시에 탑재한다. 일반 영상 센서(112)는 CMOS 센서인 것이 바람직하나 반드시 이에 한정되는 것은 아니다.The motion detection apparatus 100 is equipped with a general image sensor 112 and a thermal image sensor 114 at the same time. The general image sensor 112 is preferably a CMOS sensor, but is not limited thereto.

열 영상 센서(114)는 적외선 센서로서, 영상 획득할 때 물체의 온도에 의해 스스로 복사하는 적외선을 이용하기 때문에 열형 적외선(Thermal InfraRed)을 이용한다.The thermal image sensor 114 is an infrared sensor, and since it uses infrared radiation that is radiated by itself according to the temperature of an object when acquiring an image, thermal infrared (Thermal InfraRed) is used.

열 영상 센서(114)는 바람직하게는 장파장 적외선(LWIR: Long Wave InfraRed) 센서가 적용될 수 있으나 반드시 이에 한정되는 것은 아니며, 중파장 적외선(MWIR: Mid Wave InfraRed) 센서, 단파장 적외선(SWIR: Short Wave InfraRed) 센서가 적용될 수 있다.The thermal image sensor 114 is preferably a Long Wave InfraRed (LWIR) sensor, but is not limited thereto. A Mid Wave InfraRed (MWIR) sensor, a Short Wave Infrared (SWIR) sensor may be applied. InfraRed) sensor can be applied.

움직임 감지 장치(100)는 듀얼 센서 카메라의 특징을 이용하여 일반 영상으로부터 움직임의 영역을 먼저 도출한다. 이후 움직임 감지 장치(100)는 움직임이 발생한 영역의 열상 정보를 이용하여 움직임의 중요도(예컨대, 무생물 여부, 단순 조도 변화 여부 등)를 판별하여 최종적으로 감시 지역 내에 움직임 또는 침입 발생 여부를 판별한다.The motion detection apparatus 100 first derives a motion region from a general image by using a feature of the dual sensor camera. Thereafter, the motion sensing device 100 determines the importance of the motion (eg, whether it is inanimate, whether a simple illuminance change, etc.) using the thermal image information of the area in which the motion occurs, and finally determines whether a motion or intrusion has occurred within the monitoring area.

움직임 감지 장치(100)는 일반영상 정보와 열정보를 모두 이용함으로써, 오탐지(False Alarm)의 가능성을 줄일 수 있다.The motion detection apparatus 100 may reduce the possibility of false alarm by using both general image information and thermal information.

본 실시예에 따른 움직임 감지 장치(100)는 일반 영상 센서(112), 열 영상 센서(114), 일반 영상 획득부(122), 열상 영상 생성부(124), 움직임 후보 영역 설정부(132), 온도변화 후보 영역 설정부(134), 움직임 탐지부(140)를 포함한다. 움직임 감지 장치(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The motion detection apparatus 100 according to the present embodiment includes a general image sensor 112 , a thermal image sensor 114 , a general image acquisition unit 122 , a thermal image generation unit 124 , and a motion candidate region setting unit 132 . , a temperature change candidate region setting unit 134 , and a motion detection unit 140 . Components included in the motion sensing device 100 are not necessarily limited thereto.

움직임 감지 장치(100)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the motion sensing device 100 may be connected to a communication path that connects a software module or a hardware module inside the device to organically operate with each other. These components communicate using one or more communication buses or signal lines.

도 2에 도시된 움직임 감지 장치(100)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.Each component of the motion sensing apparatus 100 shown in FIG. 2 means a unit for processing at least one function or operation, and may be implemented as a software module, a hardware module, or a combination of software and hardware.

일반 영상 센서(112)는 CMOS 센서인 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 열 영상 센서(114)는 적외선 센서로서, 영상 획득할 때 물체의 온도에 의해 스스로 복사하는 적외선을 이용하기 때문에 열형 적외선(Thermal InfraRed)을 이용한다.The general image sensor 112 is preferably a CMOS sensor, but is not limited thereto. The thermal image sensor 114 is an infrared sensor, and since it uses infrared radiation that is radiated by itself according to the temperature of an object when acquiring an image, thermal infrared (Thermal InfraRed) is used.

일반 영상 획득부(122)는 일반 영상 센서(112)로부터 일반 영상 이미지를 획득한다. 열상 영상 생성부(124)는 열 영상 센서(114)로부터 온도 정보를 획득하여 열상 이미지를 생성한다.The general image acquisition unit 122 acquires a general image image from the general image sensor 112 . The thermal image generator 124 obtains temperature information from the thermal image sensor 114 to generate a thermal image.

움직임 후보 영역 설정부(132)는 일반 영상 이미지에 대한 움직임 후보 영역을 검출한다. 온도변화 후보 영역 설정부(134)는 열상 이미지에 대한 온도변화 후보 영역을 검출한다.The motion candidate region setting unit 132 detects a motion candidate region for a general video image. The temperature change candidate region setting unit 134 detects a temperature change candidate region for the thermal image.

움직임 탐지부(140)는 움직임 후보 영역과 온도변화 후보 영역을 기반으로 최종 움직임 발생 여부를 탐지한다. 움직임 탐지부(140)는 일반 영상 이미지를 기반으로 배경 이미지를 갱신한다. 움직임 탐지부(140)는 갱신한 배경 이미지와 일반 영상 이미지를 비교하여 움직임 발생을 추정하는 영역이 검출되는지의 여부를 확인한다.The motion detector 140 detects whether a final motion has occurred based on the motion candidate region and the temperature change candidate region. The motion detector 140 updates the background image based on the general video image. The motion detector 140 compares the updated background image with the general video image to determine whether a region for estimating motion occurrence is detected.

움직임 탐지부(140)는 열 영상 센서(114)에서 출력한 각 픽셀의 온도 데이터를 기반으로 열상 이미지를 생성한다. 움직임 탐지부(140)는 열상 이미지를 기반으로 온도 변환 영역을 검출한다.The motion detector 140 generates a thermal image based on the temperature data of each pixel output from the thermal image sensor 114 . The motion detector 140 detects a temperature conversion region based on the thermal image.

움직임 탐지부(140)는 내삽(Interpolation)을 이용하여 일반 영상 이미지의 해상도로 확장(예컨대, 80×60, 160×120 → 800×600)한 해상도 확장 열상 이미지를 생성한다. 움직임 탐지부(140)는 해상도 확장 열상 이미지에 칼라 테이블(Color Table)을 적용하여 해상도 확장 열상 이미지를 색공간 이미지로 변환한다. 움직임 탐지부(140)는 색공간 이미지로부터 온도 변환 영역을 검출한다.The motion detector 140 generates a resolution-extended thermal image that is expanded (eg, 80×60, 160×120 → 800×600) to the resolution of a general video image by using interpolation. The motion detector 140 converts the resolution-extended thermal image into a color space image by applying a color table to the resolution-extended thermal image. The motion detector 140 detects a temperature conversion region from the color space image.

움직임 탐지부(140)는 열 영상 센서(114)로부터 출력한 각 픽셀의 온도 데이터를 기반으로 온도 조건을 검색한다. 움직임 탐지부(140)는 해상도 확장 열상 이미지의 면적 또는 외곽선으로부터 온도 조건(온도 영역 또는 모양)에 따른 후보 영역을 검출한다.The motion detector 140 searches for a temperature condition based on the temperature data of each pixel output from the thermal image sensor 114 . The motion detector 140 detects a candidate region according to a temperature condition (temperature region or shape) from an area or an outline of the resolution extended thermal image.

움직임 탐지부(140)는 움직임 후보 영역과 온도변화 후보 영역을 비교하여 중첩 영역이 존재하는지의 여부를 확인한다. 움직임 탐지부(140)는 중첩 영역 여부에 따라 최종적인 움직임 발생 여부를 검출한다.The motion detector 140 compares the motion candidate region with the temperature change candidate region to determine whether an overlapping region exists. The motion detector 140 detects whether a final motion occurs according to whether or not there is an overlapping area.

움직임 탐지부(140)는 중첩 영역이 미존재하는 경우, 움직임 후보 영역으로부터 일반영상 후보영역의 이미지 변화량(TH_C), 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)을 추출한다. 움직임 탐지부(140)는 열영상 후보영역으로부터 온도 변화량(TH_T), 온도 변화량에 대한 상위 임계값(Threshold_T_upper)을 추출한다. 움직임 탐지부(140)는 일반영상 후보영역의 이미지 변화량(TH_C), 이미지 변화량에 대한 상위 임계값(Threshold_C_upper), 온도 변화량(TH_T), 온도 변화량에 대한 상위 임계값(Threshold_T_upper)을 기반으로 최종적인 움직임 발생 여부를 검출한다.When the overlapping region does not exist, the motion detector 140 extracts an image change amount TH_C of the general image candidate region and an upper threshold value Threshold_C_upper for the image change amount from the motion candidate region. The motion detector 140 extracts a temperature change amount TH_T and an upper threshold value Threshold_T_upper for the temperature change amount from the thermal image candidate region. The motion detector 140 determines the final image based on the image change amount (TH_C) of the general image candidate region, the upper threshold value for the image change amount (Threshold_C_upper), the temperature change amount (TH_T), and the upper threshold value for the temperature change amount (Threshold_T_upper). Detects whether motion has occurred.

움직임 탐지부(140)는 중첩 영역이 미존재하는 경우, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 초과(TH_C > Threshold_C_upper)하거나 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 초과(TH_T > Threshold_T_upper)하는 경우, 중첩 영역에 움직임이 발생한 것으로 인지한다.When the overlapping region does not exist, the motion detector 140 determines that the image change amount (TH_C) of the general image candidate region exceeds the upper threshold value (Threshold_C_upper) for the image change amount (TH_C > Threshold_C_upper) or the temperature of the thermal image candidate region When the change amount TH_T exceeds the upper threshold value Threshold_T_upper for the temperature change amount (TH_T > Threshold_T_upper), it is recognized that motion has occurred in the overlapping area.

움직임 탐지부(140)는 중첩 영역이 미존재하는 경우, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 이하(TH_C ≤ Threshold_C_upper)이거나 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 이하(TH_T ≤ Threshold_T_upper)인 경우, 중첩 영역에 움직임이 미발생한 것으로 인지한다.When the overlapping region does not exist, the motion detector 140 determines that the image change amount (TH_C) of the general image candidate region is less than or equal to the upper threshold value (Threshold_C_upper) for the image change amount (TH_C ≤ Threshold_C_upper), or the temperature of the thermal image candidate region When the change amount TH_T is equal to or less than the upper threshold value Threshold_T_upper for the temperature change amount (TH_T ≤ Threshold_T_upper), it is recognized that no motion has occurred in the overlapping area.

움직임 탐지부(140)는 중첩 영역이 존재하는 경우, 일반영상 후보영역으로부터 이미지 변화량(TH_C), 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)을 추출한다. 움직임 탐지부(140)는 열영상 후보영역의 온도 변화량(TH_T), 온도 변화량에 대한 하위 임계값(Threshold_T_lower)을 추출한다. 움직임 탐지부(140)는 이미지 변화량(TH_C), 이미지 변화량에 대한 하위 임계값(Threshold_C_lower), 온도 변화량(TH_T), 온도 변화량에 대한 하위 임계값(Threshold_T_lower)을 기반으로 최종적인 움직임 발생 여부를 검출한다.When there is an overlapping region, the motion detector 140 extracts an image change amount TH_C and a lower threshold value Threshold_C_lower for the image change amount from the general image candidate region. The motion detector 140 extracts a temperature change amount (TH_T) of the thermal image candidate region and a lower threshold value (Threshold_T_lower) for the temperature change amount. The motion detector 140 detects whether a final motion has occurred based on the image change amount (TH_C), the lower threshold value for the image change amount (Threshold_C_lower), the temperature change amount (TH_T), and the lower threshold value for the temperature change amount (Threshold_T_lower) do.

움직임 탐지부(140)는 중첩 영역이 존재하는 경우, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 초과(TH_C > Threshold_C_lower)하고 온도 변화량(TH_T)이 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 초과(TH_T > Threshold_T_lower)하는 경우, 중첩 영역에 움직임이 발생한 것으로 인지한다.When the overlapping region exists, the motion detector 140 determines that the image change amount (TH_C) of the general image candidate region exceeds the lower threshold value (Threshold_C_lower) for the image change amount (TH_C > Threshold_C_lower), and the temperature change amount (TH_T) is the temperature When the lower threshold value (Threshold_T_lower) for the change amount exceeds (TH_T > Threshold_T_lower), it is recognized that motion has occurred in the overlapping area.

움직임 탐지부(140)는 중첩 영역이 존재하는 경우, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 이하(TH_C ≤ Threshold_C_lower)이고, 온도 변화량(TH_T)이 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 이하(TH_T ≤ Threshold_T_lower)인 경우, 중첩 영역에 움직임이 미발생한 것으로 인지한다.When the overlapping region exists, the motion detector 140 determines that the image change amount (TH_C) of the general image candidate region is less than or equal to the lower threshold value (Threshold_C_lower) for the image change amount (TH_C ≤ Threshold_C_lower), and the temperature change amount (TH_T) is When the lower threshold value (Threshold_T_lower) for the amount of temperature change is less than (TH_T ≤ Threshold_T_lower), it is recognized that no motion has occurred in the overlapping area.

도 2는 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임을 감지하는 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating a method of detecting a motion using a general image and a thermal image according to the present embodiment.

움직임 감지 장치(100)는 구비한 일반 영상 센서(112)를 구동한다(S210). 움직임 감지 장치(100)는 일반 영상 센서(112)로부터 일반 영상 이미지를 획득한다(S212).The motion detection device 100 drives the provided general image sensor 112 (S210). The motion detection apparatus 100 acquires a general video image from the general image sensor 112 (S212).

움직임 감지 장치(100)는 일반 영상 이미지를 기반으로 배경 이미지를 갱신한다(S214). 움직임 감지 장치(100)는 갱신한 배경 이미지와 일반 영상 이미지를 비교하여 움직임 발생을 추정하는 영역이 검출되는지의 여부를 확인한다(S216).The motion detection apparatus 100 updates the background image based on the general video image (S214). The motion sensing apparatus 100 compares the updated background image with the general video image to determine whether a region estimating motion occurrence is detected (S216).

움직임 감지 장치(100)는 구비한 열 영상 센서(114)를 구동한다(S220). 움직임 감지 장치(100)는 열 영상 센서(114)로부터 온도 정보를 획득한다(S222). 움직임 감지 장치(100)는 온도 정보를 기반으로 열상 이미지를 생성한다(S224).The motion detection device 100 drives the provided thermal image sensor 114 (S220). The motion detection apparatus 100 obtains temperature information from the thermal image sensor 114 (S222). The motion detection apparatus 100 generates a thermal image based on the temperature information (S224).

움직임 감지 장치(100)는 열상 이미지를 기반으로 온도 변환 영역을 검출한다(S226). 단계 S216의 확인 결과, 움직임 발생을 추정하는 영역이 검출되거나 단계 S226을 수행하여 열상 이미지를 기반으로 온도 변환 영역을 검출한 경우, 움직임 감지 장치(100)는 최종적인 움직임 발생 또는 침입 탐지 여부를 검출한다(S228).The motion detection apparatus 100 detects a temperature conversion region based on the thermal image (S226). As a result of checking in step S216, when a region for estimating motion occurrence is detected or when a temperature conversion region is detected based on the thermal image by performing step S226, the motion detection device 100 detects whether a final motion occurrence or intrusion is detected do (S228).

도 2에서는 단계 S210 내지 단계 S228을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 2에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.Although it is described that steps S210 to S228 are sequentially executed in FIG. 2 , it is not necessarily limited thereto. In other words, since it may be applicable by changing and executing the steps described in FIG. 2 or executing one or more steps in parallel, FIG. 2 is not limited to a time-series order.

전술한 바와 같이 도 2에 기재된 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임을 감지하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임을 감지하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. As described above, the method for detecting motion using a general image and a thermal image according to the present embodiment described in FIG. 2 may be implemented as a program and recorded in a computer-readable recording medium. A program for implementing a method for detecting motion using a general image and a thermal image according to the present embodiment is recorded and the computer-readable recording medium includes any type of recording device in which data that can be read by a computer system is stored. include

도 3은 본 실시예에 따른 열 영상을 처리 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating a method of processing a thermal image according to the present embodiment.

움직임 감지 장치(100)는 구비한 열 영상 센서(114)를 구동한다(S310). 열 영상 센서(114)는 각 픽셀(Pixel)의 온도 데이터를 출력한다.The motion detection apparatus 100 drives the provided thermal image sensor 114 (S310). The thermal image sensor 114 outputs temperature data of each pixel.

움직임 감지 장치(100)는 열 영상 센서(114)로부터 온도 데이터를 추출한다(S312). 단계 S312에서, 움직임 감지 장치(100)는 열 영상 센서(114)에서 출력한 각 픽셀의 온도 데이터를 추출한다. 움직임 감지 장치(100)는 각 픽셀의 온도 데이터를 기반으로 열상 이미지(예컨대, 80×60, 160×120)를 생성한다.The motion detection apparatus 100 extracts temperature data from the thermal image sensor 114 ( S312 ). In step S312 , the motion detection apparatus 100 extracts temperature data of each pixel output from the thermal image sensor 114 . The motion sensing apparatus 100 generates a thermal image (eg, 80×60, 160×120) based on the temperature data of each pixel.

움직임 감지 장치(100)는 열상 이미지(예컨대, 80×60, 160×120)의 해상도를 확장(예컨대, 800×600)한다(S314). 단계 S314에서, 움직임 감지 장치(100)는 내삽(Interpolation)을 이용하여 일반 영상의 해상도로 확장(예컨대, 80×60, 160×120 → 800×600)한 해상도 확장 열상 이미지를 생성한다.The motion sensing apparatus 100 expands (eg, 800×600) the resolution of the thermal image (eg, 80×60, 160×120) (S314). In step S314 , the motion sensing apparatus 100 generates a resolution extended thermal image expanded to the resolution of a general image (eg, 80×60, 160×120 → 800×600) by using interpolation.

움직임 감지 장치(100)는 해상도 확장 열상 이미지에 칼라 테이블(Color Table)을 적용(S315)하여 해상도 확장 열상 이미지를 색공간 이미지로 변환한다(S316). 단계 S316에서, 움직임 감지 장치(100)는 각 픽셀(Pixel)의 온도 데이터를 미리 만들어진 칼라 테이블을 이용하여 색공간 이미지인 YCbCr 이미지로 변환한다.The motion sensing apparatus 100 applies a color table to the resolution extended thermal image (S315) to convert the resolution extended thermal image into a color space image (S316). In operation S316 , the motion sensing apparatus 100 converts the temperature data of each pixel into a YCbCr image, which is a color space image, using a pre-made color table.

움직임 감지 장치(100)는 온도 변화 조건을 설정한다(S320). 움직임 감지 장치(100)는 열 영상 센서(114)에서 출력한 각 픽셀의 온도 데이터를 기반으로 온도 조건을 검색한다(S322).The motion detection apparatus 100 sets a temperature change condition (S320). The motion detection apparatus 100 searches for a temperature condition based on the temperature data of each pixel output from the thermal image sensor 114 ( S322 ).

움직임 감지 장치(100)는 해상도 확장 열상 이미지의 면적 또는 외곽선으로부터 후보 영역을 검색한다(S324). 단계 S324에서, 움직임 감지 장치(100)는 온도 조건(온도 영역 또는 모양)에 따른 ROI 영역 검출한다. 움직임 감지 장치(100)는 색공간 이미지 내에서 후보 영역 내의 온도 변화 영역을 검출한다(S326).The motion detection apparatus 100 searches for a candidate region from the area or outline of the resolution extended thermal image (S324). In step S324, the motion sensing apparatus 100 detects an ROI region according to a temperature condition (temperature region or shape). The motion sensing apparatus 100 detects a temperature change region in the candidate region in the color space image (S326).

도 3에서는 단계 S310 내지 단계 S326을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.Although it is described that steps S310 to S326 are sequentially executed in FIG. 3 , the present invention is not limited thereto. In other words, since it may be applicable to changing and executing the steps described in FIG. 3 or executing one or more steps in parallel, FIG. 3 is not limited to a chronological order.

전술한 바와 같이 도 3에 기재된 본 실시예에 따른 열 영상을 처리 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 열 영상을 처리 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. As described above, the method for processing a thermal image according to the present embodiment illustrated in FIG. 3 may be implemented as a program and recorded in a computer-readable recording medium. A computer-readable recording medium in which a program for implementing the method for processing a thermal image according to the present embodiment is recorded includes all types of recording devices in which data readable by a computer system is stored.

도 4는 본 실시예에 따른 일반 영상과 열 영상의 중첩 영역에 따른 움직임 발생 여부 판별 방법을 설명하기 위한 순서도이다.4 is a flowchart for explaining a method of determining whether a motion occurs according to an overlapping region of a normal image and a thermal image according to the present embodiment.

움직임 감지 장치(100)는 일반 영상 이미지로부터 움직임 후보 영역을 검출한다(S410). 단계 S410에서, 움직임 감지 장치(100)는 갱신한 배경 이미지와 일반 영상 이미지를 비교하여 움직임이 발생하는 움직임 후보 영역을 검출한다.The motion detection apparatus 100 detects a motion candidate region from the general video image (S410). In step S410, the motion sensing apparatus 100 compares the updated background image with the general video image to detect a motion candidate region in which motion occurs.

움직임 감지 장치(100)는 열상 이미지로부터 온도변화 후보 영역을 검출한다(S420). 단계 S420에서, 움직임 감지 장치(100)는 열상 이미지의 면적 또는 외곽선으로부터 온도변화 후보 영역을 검색한다.The motion detection apparatus 100 detects a temperature change candidate region from the thermal image (S420). In step S420, the motion detection apparatus 100 searches for a temperature change candidate region from the area or outline of the thermal image.

움직임 감지 장치(100)는 일반 영상 이미지로부터 추출한 움직임 후보 영역과 열상 이미지로부터 추출한 온도변화 후보 영역을 비교하여 중첩 영역이 존재하는지의 여부를 확인한다(S430).The motion detection apparatus 100 compares the motion candidate area extracted from the general video image with the temperature change candidate area extracted from the thermal image to determine whether an overlapping area exists (S430).

단계 S430의 확인 결과, 중첩 영역이 미존재하는 경우, 움직임 감지 장치(100)는 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 초과(TH_C > Threshold_C_upper)하거나 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 초과(TH_T > Threshold_T_upper)하는 지의 여부를 확인한다(S440).As a result of checking in step S430, if the overlapping region does not exist, the motion detection apparatus 100 determines that the image change amount (TH_C) of the general image candidate region exceeds the upper threshold value (Threshold_C_upper) for the image change amount (TH_C > Threshold_C_upper) or It is checked whether the temperature change amount TH_T of the thermal image candidate region exceeds the upper threshold value Threshold_T_upper for the temperature change amount (TH_T > Threshold_T_upper) (S440).

단계 S440의 확인 결과, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 초과(TH_C > Threshold_C_upper)하거나 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 초과(TH_T > Threshold_T_upper)하는 경우, 움직임 감지 장치(100)는 중첩 영역에 움직임이 발생한 것으로 인지한다(S460).As a result of checking in step S440, if the image change amount (TH_C) of the general image candidate area exceeds the upper threshold value (Threshold_C_upper) for the image change amount (TH_C > Threshold_C_upper), or the temperature change amount (TH_T) of the thermal image candidate area When the upper threshold value Threshold_T_upper exceeds (TH_T > Threshold_T_upper), the motion sensing apparatus 100 recognizes that a motion has occurred in the overlapping area (S460).

단계 S440의 확인 결과, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 이하(TH_C ≤ Threshold_C_upper)이거나 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 이하(TH_T ≤ Threshold_T_upper)인 경우, 움직임 감지 장치(100)는 중첩 영역에 움직임이 미발생한 것으로 인지한다(S470).As a result of checking in step S440, if the image change amount (TH_C) of the general image candidate area is less than the upper threshold value (Threshold_C_upper) for the image change amount (TH_C ≤ Threshold_C_upper), or the temperature change amount (TH_T) of the thermal image candidate area is the temperature change amount When the upper threshold value Threshold_T_upper is equal to or less than (TH_T ≤ Threshold_T_upper), the motion detecting apparatus 100 recognizes that no motion has occurred in the overlapping area ( S470 ).

단계 S430의 확인 결과, 중첩 영역이 존재하는 경우, 움직임 감지 장치(100)는 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 초과(TH_C > Threshold_C_lower)하고 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 초과(TH_T > Threshold_T_lower)하는 지의 여부를 확인한다(S450).As a result of checking in step S430, if there is an overlapping region, the motion detection apparatus 100 determines that the image change amount (TH_C) of the general image candidate region exceeds the lower threshold value (Threshold_C_lower) for the image change amount (TH_C > Threshold_C_lower) It is checked whether the temperature change amount TH_T of the image candidate region exceeds the lower threshold value Threshold_T_lower for the temperature change amount (TH_T > Threshold_T_lower) (S450).

단계 S450의 확인 결과, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 초과(TH_C > Threshold_C_lower)하고 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 초과(TH_T > Threshold_T_lower)하는 경우, 움직임 감지 장치(100)는 중첩 영역에 움직임이 발생한 것으로 인지한다(S460).As a result of checking in step S450, the image change amount (TH_C) of the general image candidate area exceeds the lower threshold value (Threshold_C_lower) for the image change amount (TH_C > Threshold_C_lower), and the temperature change amount (TH_T) of the thermal image candidate area When the lower threshold value Threshold_T_lower exceeds (TH_T > Threshold_T_lower), the motion sensing apparatus 100 recognizes that a motion has occurred in the overlapping area (S460).

단계 S450의 확인 결과, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 이하(TH_C ≤ Threshold_C_lower)이고, 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 이하(TH_T ≤ Threshold_T_lower)인 경우, 움직임 감지 장치(100)는 중첩 영역에 움직임이 미발생한 것으로 인지한다(S470).As a result of checking in step S450, the image change amount (TH_C) of the general image candidate area is less than the lower threshold value (Threshold_C_lower) for the image change amount (TH_C ≤ Threshold_C_lower), and the temperature change amount (TH_T) of the thermal image candidate area is the temperature change amount When the lower threshold value Threshold_T_lower is equal to or less than (TH_T ≤ Threshold_T_lower), the motion sensing apparatus 100 recognizes that no motion has occurred in the overlapping area (S470).

도 4에서는 단계 S410 내지 단계 S470을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.Although it is described that steps S410 to S470 are sequentially executed in FIG. 4 , the present invention is not limited thereto. In other words, since it may be applicable to changing and executing the steps described in FIG. 4 or executing one or more steps in parallel, FIG. 4 is not limited to a time-series order.

전술한 바와 같이 도 4에 기재된 본 실시예에 따른 일반 영상과 열 영상의 중첩 영역에 따른 움직임 발생 여부 판별 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 일반 영상과 열 영상의 중첩 영역에 따른 움직임 발생 여부 판별 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. As described above, the method for determining whether motion occurs according to the overlapping area of the general image and the thermal image according to the present embodiment described in FIG. 4 may be implemented as a program and recorded in a computer-readable recording medium. A program for implementing a method for determining whether motion occurs according to an overlapping region of a general image and a thermal image according to the present embodiment is recorded and a computer-readable recording medium is any type of recording medium that stores data that can be read by a computer system. Includes recorder.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and a person skilled in the art to which this embodiment belongs may make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.

100: 움직임 감지 장치
112: 일반 영상 센서
114: 열 영상 센서
122: 일반 영상 획득부
124: 열상 영상 생성부
132: 움직임 후보 영역 설정부
134: 온도변화 후보 영역 설정부
140: 움직임 탐지부100: motion detection device
112: general image sensor
114: thermal imaging sensor
122: general image acquisition unit
124: thermal image generating unit
132: motion candidate area setting unit
134: temperature change candidate area setting unit
140: motion detection unit

Claims (13)

영상 센서로부터 영상 이미지를 획득하는 영상 획득부;
열 영상 센서로부터 온도 정보를 획득하여 열상 이미지를 생성하는 열상 영상 생성부;
상기 영상 이미지에 대한 움직임 후보 영역을 검출하는 움직임 후보 영역 설정부;
상기 열상 이미지에 대한 온도변화 후보 영역을 검출하는 온도변화 후보 영역 설정부; 및
상기 움직임 후보 영역과 상기 온도변화 후보 영역을 기반으로 최종 움직임 발생 여부를 탐지하는 움직임 탐지부;를 포함하되,
상기 움직임 탐지부는,
상기 영상 이미지를 기반으로 배경 이미지를 갱신하고, 상기 갱신한 배경 이미지와 상기 영상 이미지를 비교하여 움직임 발생을 추정하는 영역이 검출되는지의 여부를 확인하며,
상기 열 영상 센서에서 출력한 각 픽셀의 온도 데이터를 기반으로 열상 이미지를 생성하고, 상기 열상 이미지를 기반으로 온도 변환 영역을 검출하며,
내삽(Interpolation)을 이용하여 상기 영상 이미지의 해상도로 확장한 해상도 확장 열상 이미지를 생성하고, 상기 해상도 확장 열상 이미지에 칼라 테이블(Color Table)을 적용하여 상기 해상도 확장 열상 이미지를 색공간 이미지로 변환하고, 상기 색공간 이미지로부터 온도 변환 영역을 검출하며,
상기 열 영상 센서에서 출력한 각 픽셀의 온도 데이터를 기반으로 온도 조건을 검색하고, 상기 해상도 확장 열상 이미지의 면적 또는 외곽선으로부터 상기 온도 조건에 따른 열영상 후보영역을 검출하며,
상기 움직임 후보 영역과 상기 온도변화 후보 영역을 비교하여 중첩 영역이 존재하는지의 여부를 확인하고, 상기 중첩 영역 여부에 따라 최종적인 움직임 발생 여부를 검출하며,
상기 중첩 영역이 미존재하는 경우, 상기 움직임 후보 영역으로부터 영상 후보영역의 이미지 변화량(TH_C), 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)을 추출하고, 상기 열영상 후보영역으로부터 온도 변화량(TH_T), 온도 변화량에 대한 상위 임계값(Threshold_T_upper)을 추출하고, 상기 영상 후보영역의 이미지 변화량(TH_C), 상기 이미지 변화량에 대한 상위 임계값(Threshold_C_upper), 상기 온도 변화량(TH_T), 상기 온도 변화량에 대한 상위 임계값(Threshold_T_upper)을 기반으로 최종적인 움직임 발생 여부를 검출하는 것을 특징으로 하는 움직임 감지 장치.an image acquisition unit for acquiring an image image from an image sensor;
a thermal image generating unit that acquires temperature information from a thermal image sensor to generate a thermal image;
a motion candidate region setting unit configured to detect a motion candidate region for the video image;
a temperature change candidate region setting unit for detecting a temperature change candidate region for the thermal image; and
A motion detector for detecting whether a final motion has occurred based on the motion candidate region and the temperature change candidate region;
The motion detection unit,
updating a background image based on the video image, comparing the updated background image with the video image, and confirming whether a region for estimating motion occurrence is detected;
generating a thermal image based on the temperature data of each pixel output from the thermal image sensor, and detecting a temperature conversion region based on the thermal image,
A resolution-extended thermal image is generated by using interpolation to the resolution of the video image, and a color table is applied to the resolution-extended thermal image to convert the resolution-extended thermal image into a color space image, , detecting a temperature conversion region from the color space image,
searching for a temperature condition based on the temperature data of each pixel output from the thermal image sensor, and detecting a thermal image candidate region according to the temperature condition from an area or an outline of the resolution extended thermal image;
Comparing the motion candidate region and the temperature change candidate region to check whether an overlapping region exists, and detecting whether a final motion occurs according to the overlapping region,
When the overlapping region does not exist, the image change amount (TH_C) of the image candidate region and the upper threshold value (Threshold_C_upper) for the image change amount are extracted from the motion candidate region, and the temperature change amount (TH_T) from the thermal image candidate region, An upper threshold value (Threshold_T_upper) for the temperature change is extracted, and an image change amount (TH_C) of the image candidate region, an upper threshold value for the image change amount (Threshold_C_upper), the temperature change amount (TH_T), and an upper limit for the temperature change amount A motion sensing device, characterized in that it detects whether a final motion occurs based on a threshold value (Threshold_T_upper). 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 움직임 탐지부는,
상기 중첩 영역이 미존재하는 경우, 상기 영상 후보영역의 이미지 변화량(TH_C)이 상기 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 초과하거나 상기 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 초과하는 경우, 상기 중첩 영역에 움직임이 발생한 것으로 인지하는 것을 특징으로 하는 움직임 감지 장치.According to claim 1,
The motion detection unit,
When the overlapping region does not exist, the image change amount (TH_C) of the image candidate region exceeds the upper threshold value (Threshold_C_upper) for the image change amount, or the temperature change amount (TH_T) of the thermal image candidate region is the temperature change amount When the upper threshold value (Threshold_T_upper) is exceeded, the motion sensing apparatus characterized in that it is recognized that a motion has occurred in the overlapping area. 제8항에 있어서,
상기 움직임 탐지부는,
상기 중첩 영역이 미존재하는 경우, 상기 영상 후보영역의 이미지 변화량(TH_C)이 상기 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 이하이거나 상기 열영상 후보영역의 상기 온도 변화량(TH_T)이 상기 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 이하인 경우, 상기 중첩 영역에 움직임이 미발생한 것으로 인지하는 것을 특징으로 하는 움직임 감지 장치.9. The method of claim 8,
The motion detection unit,
When the overlapping region does not exist, the image change amount (TH_C) of the image candidate region is less than or equal to an upper threshold value (Threshold_C_upper) for the image change amount, or the temperature change amount (TH_T) of the thermal image candidate region is the temperature change amount When the upper threshold value (Threshold_T_upper) for ? is less than or equal to, the motion sensing apparatus, characterized in that it is recognized that no motion has occurred in the overlapping region. 제1항에 있어서,
상기 움직임 탐지부는,
상기 중첩 영역이 존재하는 경우, 상기 영상 후보영역으로부터 이미지 변화량(TH_C), 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)을 추출하고, 상기 열영상 후보영역의 온도 변화량(TH_T), 온도 변화량에 대한 하위 임계값(Threshold_T_lower)을 추출하고, 상기 이미지 변화량(TH_C), 상기 이미지 변화량에 대한 하위 임계값(Threshold_C_lower), 상기 온도 변화량(TH_T), 상기 온도 변화량에 대한 하위 임계값(Threshold_T_lower)을 기반으로 최종적인 움직임 발생 여부를 검출하는 것을 특징으로 하는 움직임 감지 장치.According to claim 1,
The motion detection unit,
When the overlapping region exists, the image change amount (TH_C) and a lower threshold value (Threshold_C_lower) for the image change amount are extracted from the image candidate region, and the temperature change amount (TH_T) of the thermal image candidate region and the lower value for the temperature change amount A threshold value (Threshold_T_lower) is extracted, and the final result is based on the image change amount (TH_C), the lower threshold value for the image change amount (Threshold_C_lower), the temperature change amount (TH_T), and the lower threshold value for the temperature change amount (Threshold_T_lower) A motion sensing device, characterized in that it detects whether a hostile motion has occurred. 제10항에 있어서,
상기 움직임 탐지부는,
상기 중첩 영역이 존재하는 경우, 상기 영상 후보영역의 이미지 변화량(TH_C)이 상기 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 초과하고 상기 온도 변화량(TH_T)이 상기 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 초과하는 경우, 상기 중첩 영역에 움직임이 발생한 것으로 인지하는 것을 특징으로 하는 움직임 감지 장치.11. The method of claim 10,
The motion detection unit,
When the overlapping region exists, the image change amount TH_C of the image candidate region exceeds the lower threshold value Threshold_C_lower for the image change amount, and the temperature change amount TH_T is the lower threshold value Threshold_T_lower for the temperature change amount ) is exceeded, the motion sensing device, characterized in that it is recognized that motion has occurred in the overlapping area. 제11항에 있어서,
상기 움직임 탐지부는,
상기 중첩 영역이 존재하는 경우, 상기 영상 후보영역의 이미지 변화량(TH_C)이 상기 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 이하이고, 상기 온도 변화량(TH_T)이 상기 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 이하인 경우, 상기 중첩 영역에 움직임이 미발생한 것으로 인지하는 것을 특징으로 하는 움직임 감지 장치.12. The method of claim 11,
The motion detection unit,
When the overlapping region exists, the image change amount (TH_C) of the image candidate region is less than or equal to a lower threshold value (Threshold_C_lower) for the image change amount, and the temperature change amount (TH_T) is a lower threshold value for the temperature change amount ( Threshold_T_lower) is less than or equal to, the motion sensing apparatus, characterized in that it is recognized that no motion has occurred in the overlapping area. 영상 센서로부터 영상 이미지를 획득하는 과정;
열 영상 센서로부터 온도 정보를 획득하여 열상 이미지를 생성하는 과정;
상기 영상 이미지에 대한 움직임 후보 영역을 검출하는 과정;
상기 열상 이미지에 대한 온도변화 후보 영역을 검출하는 과정; 및
상기 움직임 후보 영역과 상기 온도변화 후보 영역을 기반으로 최종 움직임 발생 여부를 탐지하는 과정;을 포함하되,
상기 움직임 후보 영역을 검출하는 과정에서,
상기 영상 이미지를 기반으로 배경 이미지를 갱신하고, 상기 갱신한 배경 이미지와 상기 영상 이미지를 비교하여 움직임 발생을 추정하는 영역이 검출되는지의 여부를 확인하며,
상기 온도변화 후보 영역을 검출하는 과정에서,
상기 열 영상 센서에서 출력한 각 픽셀의 온도 데이터를 기반으로 열상 이미지를 생성하고, 상기 열상 이미지를 기반으로 온도 변환 영역을 검출하며,
내삽(Interpolation)을 이용하여 상기 영상 이미지의 해상도로 확장한 해상도 확장 열상 이미지를 생성하고, 상기 해상도 확장 열상 이미지에 칼라 테이블(Color Table)을 적용하여 상기 해상도 확장 열상 이미지를 색공간 이미지로 변환하고, 상기 색공간 이미지로부터 온도 변환 영역을 검출하며,
상기 열 영상 센서에서 출력한 각 픽셀의 온도 데이터를 기반으로 온도 조건을 검색하고, 상기 해상도 확장 열상 이미지의 면적 또는 외곽선으로부터 상기 온도 조건에 따른 열영상 후보영역을 검출하며,
상기 움직임 발생 여부를 탐지하는 과정에서,
상기 움직임 후보 영역과 상기 온도변화 후보 영역을 비교하여 중첩 영역이 존재하는지의 여부를 확인하고, 상기 중첩 영역 여부에 따라 최종적인 움직임 발생 여부를 검출하며,
상기 중첩 영역이 미존재하는 경우, 상기 움직임 후보 영역으로부터 영상 후보영역의 이미지 변화량(TH_C), 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)을 추출하고, 상기 열영상 후보영역으로부터 온도 변화량(TH_T), 온도 변화량에 대한 상위 임계값(Threshold_T_upper)을 추출하고, 상기 영상 후보영역의 이미지 변화량(TH_C), 상기 이미지 변화량에 대한 상위 임계값(Threshold_C_upper), 상기 온도 변화량(TH_T), 상기 온도 변화량에 대한 상위 임계값(Threshold_T_upper)을 기반으로 최종적인 움직임 발생 여부를 검출하는 것을 특징으로 하는 움직임 감지 방법.
acquiring a video image from an image sensor;
generating a thermal image by acquiring temperature information from a thermal imaging sensor;
detecting a motion candidate region for the video image;
detecting a temperature change candidate region for the thermal image; and
Detecting whether a final motion has occurred based on the motion candidate region and the temperature change candidate region;
In the process of detecting the motion candidate region,
updating a background image based on the video image, comparing the updated background image with the video image, and confirming whether a region for estimating motion occurrence is detected;
In the process of detecting the temperature change candidate region,
generating a thermal image based on the temperature data of each pixel output from the thermal image sensor, and detecting a temperature conversion region based on the thermal image,
A resolution-extended thermal image is generated by using interpolation to the resolution of the video image, and a color table is applied to the resolution-extended thermal image to convert the resolution-extended thermal image into a color space image, , detecting a temperature conversion region from the color space image,
searching for a temperature condition based on the temperature data of each pixel output from the thermal image sensor, and detecting a thermal image candidate region according to the temperature condition from an area or an outline of the resolution extended thermal image;
In the process of detecting whether the movement occurs,
Comparing the motion candidate region and the temperature change candidate region to check whether an overlapping region exists, and detecting whether a final motion occurs according to the overlapping region,
When the overlapping region does not exist, the image change amount (TH_C) of the image candidate region and the upper threshold value (Threshold_C_upper) for the image change amount are extracted from the motion candidate region, and the temperature change amount (TH_T) from the thermal image candidate region, An upper threshold value (Threshold_T_upper) for the temperature change is extracted, and an image change amount (TH_C) of the image candidate region, an upper threshold value for the image change amount (Threshold_C_upper), the temperature change amount (TH_T), and an upper limit for the temperature change amount A motion detection method comprising detecting whether a final motion has occurred based on a threshold value (Threshold_T_upper).
KR1020200026967A 2020-03-04 2020-03-04 Method And Apparatus for Detecting Motion by Using Optical Image and Thermal Image KR102370491B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200026967A KR102370491B1 (en) 2020-03-04 2020-03-04 Method And Apparatus for Detecting Motion by Using Optical Image and Thermal Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200026967A KR102370491B1 (en) 2020-03-04 2020-03-04 Method And Apparatus for Detecting Motion by Using Optical Image and Thermal Image

Publications (2)

Publication Number Publication Date
KR20210111992A KR20210111992A (en) 2021-09-14
KR102370491B1 true KR102370491B1 (en) 2022-03-04

Family

ID=77774530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026967A KR102370491B1 (en) 2020-03-04 2020-03-04 Method And Apparatus for Detecting Motion by Using Optical Image and Thermal Image

Country Status (1)

Country Link
KR (1) KR102370491B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101635000B1 (en) 2015-06-26 2016-07-08 (주) 비엑스 솔루션 Fire detector and system using plural cameras
KR101772820B1 (en) * 2016-09-07 2017-09-12 신동균 Method for generating a thermal image and electronic device performing the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066900B1 (en) * 2009-04-23 2011-09-27 유한대학산학협력단 An apparatus of dection for moving from cctv camera
KR101035055B1 (en) * 2009-06-24 2011-05-19 전자부품연구원 System and method of tracking object using different kind camera
KR101374139B1 (en) * 2012-07-31 2014-03-14 주식회사 제론헬스케어 Monitoring method through image fusion of surveillance system
KR102366521B1 (en) * 2015-01-19 2022-02-23 한화테크윈 주식회사 System and Method for Detecting Moving Objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101635000B1 (en) 2015-06-26 2016-07-08 (주) 비엑스 솔루션 Fire detector and system using plural cameras
KR101772820B1 (en) * 2016-09-07 2017-09-12 신동균 Method for generating a thermal image and electronic device performing the same

Also Published As

Publication number Publication date
KR20210111992A (en) 2021-09-14

Similar Documents

Publication Publication Date Title
US9224278B2 (en) Automated method and system for detecting the presence of a lit cigarette
KR101237089B1 (en) Forest smoke detection method using random forest classifier method
KR102195706B1 (en) Method and Apparatus for Detecting Intruder
KR101464344B1 (en) Surveillance camera and image managing system, and method for detecting abnormal state by training normal state of surveillance image
KR102478335B1 (en) Image Analysis Method and Server Apparatus for Per-channel Optimization of Object Detection
CN107122743B (en) Security monitoring method and device and electronic equipment
CN109040711A (en) A kind of image-pickup method, monitoring method and imaging sensor
Sharma Human detection and tracking using background subtraction in visual surveillance
JP6214426B2 (en) Object detection device
US20220245941A1 (en) Method and device for detecting abnormal target, and storage medium
JP2010182021A (en) Image monitor system
KR102370491B1 (en) Method And Apparatus for Detecting Motion by Using Optical Image and Thermal Image
KR20200139987A (en) Apparatus and method for detecting invader and fire for energy storage system
KR100513739B1 (en) Motion detecting device using face characteristics and monitoring system adapting it
JP2021007055A (en) Discriminator learning device, discriminator learning method, and computer program
CN112312076A (en) Intelligent mobile detection device
US20050128298A1 (en) Method for following at least one object in a scene
JP2002032759A (en) Monitor
JP4544988B2 (en) Image sensing device
Kim DSP embedded early fire detection method using IR thermal video
KR20030067212A (en) Surveillance and security methode using thermal image system
CN111225178A (en) Video monitoring method and system based on object detection
CN112084813B (en) Abnormal target detection method, device and storage medium
KR100749457B1 (en) Method and device for perceiving approach of object using camera
JP2001118155A (en) Human body detection device, human body detection method and computer readable recording medium recording program making computer execute the method

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant