KR20210111992A - 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치 - Google Patents

일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치 Download PDF

Info

Publication number
KR20210111992A
KR20210111992A KR1020200026967A KR20200026967A KR20210111992A KR 20210111992 A KR20210111992 A KR 20210111992A KR 1020200026967 A KR1020200026967 A KR 1020200026967A KR 20200026967 A KR20200026967 A KR 20200026967A KR 20210111992 A KR20210111992 A KR 20210111992A
Authority
KR
South Korea
Prior art keywords
image
motion
change amount
threshold
temperature change
Prior art date
Application number
KR1020200026967A
Other languages
English (en)
Other versions
KR102370491B1 (ko
Inventor
신동균
박성희
Original Assignee
주식회사 이오씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이오씨 filed Critical 주식회사 이오씨
Priority to KR1020200026967A priority Critical patent/KR102370491B1/ko
Publication of KR20210111992A publication Critical patent/KR20210111992A/ko
Application granted granted Critical
Publication of KR102370491B1 publication Critical patent/KR102370491B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4092—Image resolution transcoding, e.g. client/server architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치를 개시한다.
본 실시예는 일반 영상 센서와 열 영상 센서를 동시에 탑재한 듀얼 센서 카메라(Dual Sensor Camera)로서, 일반 영상 센서로부터 획득한 일반영상의 이미지 변화량과 열 영상 센서로부터 획득한 열상의 온도 변화량을 동시에 이용하여 오탐지(False Alarm) 가능성을 줄이고, 일반영상에 대한 이미지 처리를 최소화하여 연산량을 줄일 수 있으므로, 임베디드 시스템(Embedded System)에 적용할 수 있는 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치를 제공한다.

Description

일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치{Method And Apparatus for Detecting Motion by Using Optical Image and Thermal Image}
본 실시예는 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
일반적으로 영상을 이용하여 움직임을 감지하는 방법으로는 CV(Computer Vision)를 이용한 방식이 존재한다.
CV를 이용한 방식은 기 설정된 이미지 또는 과거 입력 이미지를 배경 이미지로 설정하고, 현재 이미지와 배경 이미지의 차이를 비교하여 미리 정해둔 임계치를 초과할 경우, 움직임을 감지하는 방식이다. CV를 이용한 방식은 조명 등이 끄고 켜지는 상황과 같이 급격한 조도 변화 발생 시에도 감지가 될 수 있으며, 특히 사람과 같은 객체의 움직임을 감지하기 위해서 많은 계산량을 필요로 하여 작은 연산 능력을 갖는 임베디드 시스템(Embedded System)에 적용하기 어려운 문제가 있다.
일반적으로 영상을 이용하여 움직임을 감지하는 방법으로는 PIR(Passive InfraRed)을 이용한 방식이 존재한다.
PIR을 이용한 방식은 적외선을 이용하여 온도변화를 통해 움직임을 감지하는 방식이다. PIR을 이용한 방식은 ‘바람에 흔들리는 커튼’, ‘조광량의 변화’ 등과 같은 무생물의 움직임 등 중요하지 않는 물체의 움직임을 필터링이 가능하다. PIR을 이용한 방식은 별도의 센서를 사용할 경우 전력효율이 우수한 장점이 있는 반면에 차페물(예컨대, 유리창 등)이 있는 경우나, 열이 차단될 수 있는 상황에서는 움직임을 감지할 수 없는 문제가 있다.
따라서, 기존의 CV, PIR을 이용한 방식의 문제점을 해결하여 보다 정확하게 영상 내의 움직임을 탐지할 수 있는 기술을 필요로 한다.
본 실시예는 일반 영상 센서와 열 영상 센서를 동시에 탑재한 듀얼 센서 카메라(Dual Sensor Camera)로서, 일반 영상 센서로부터 획득한 일반영상의 이미지 변화량과 열 영상 센서로부터 획득한 열상의 온도 변화량을 동시에 이용하여 오탐지(False Alarm) 가능성을 줄이고, 일반영상에 대한 이미지 처리를 최소화하여 연산량을 줄일 수 있으므로, 임베디드 시스템(Embedded System)에 적용할 수 있는 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 일반 영상 센서로부터 일반 영상 이미지를 획득하는 일반 영상 획득부; 열 영상 센서로부터 온도 정보를 획득하여 열상 이미지를 생성하는 열상 영상 생성부; 상기 일반 영상 이미지에 대한 움직임 후보 영역을 검출하는 움직임 후보 영역 설정부; 상기 열상 이미지에 대한 온도변화 후보 영역을 검출하는 온도변화 후보 영역 설정부; 및 상기 움직임 후보 영역과 상기 온도변화 후보 영역을 기반으로 최종 움직임 발생 여부를 탐지하는 움직임 탐지부를 포함하는 것을 특징으로 하는 움직임 감지 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 일반 영상 센서로부터 일반 영상 이미지를 획득하는 과정; 열 영상 센서로부터 온도 정보를 획득하여 열상 이미지를 생성하는 과정; 상기 일반 영상 이미지에 대한 움직임 후보 영역을 검출하는 과정; 상기 열상 이미지에 대한 온도변화 후보 영역을 검출하는 과정; 및 상기 움직임 후보 영역과 상기 온도변화 후보 영역을 기반으로 최종 움직임 발생 여부를 탐지하는 과정을 포함하는 것을 특징으로 하는 움직임 감지 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 일반 영상 센서와 열 영상 센서를 동시에 탑재한 듀얼 센서 카메라(Dual Sensor Camera)로서, 일반 영상 센서로부터 획득한 일반영상의 이미지 변화량과 열 영상 센서로부터 획득한 열상의 온도 변화량을 동시에 이용하여 오탐지(False Alarm) 가능성을 줄이고, 일반영상에 대한 이미지 처리를 최소화하여 연산량을 줄일 수 있으므로, 임베디드 시스템(Embedded System)에 적용할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임 감지 장치를 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임을 감지하는 방법을 설명하기 위한 순서도이다.
도 3은 본 실시예에 따른 열 영상을 처리 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 일반 영상과 열 영상의 중첩 영역에 따른 움직임 발생 여부 판별 방법을 설명하기 위한 순서도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임 감지 장치를 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 움직임 감지 장치(100)는 일반 영상(CMOS) 센서(112)와 열 영상(LWIR) 센서(114)를 동시에 탑재한 듀얼 센서 카메라(Dual Sensor Camera)를 의미한다. 움직임 감지 장치(100)는 듀얼 센서 카메라를 이용하여 움직임 감지(Motion Detection)하고 침입을 탐지한다.
움직임 감지 장치(100)는 일반 영상 센서(112)로부터 획득한 일반영상의 이미지 변화량과 열 영상 센서(114)로부터 획득한 열상의 온도 변화량을 동시에 이용하여 오탐지(False Alarm) 가능성을 줄일 수 있다. 움직임 감지 장치(100)는 일반영상에 대한 이미지 처리를 최소화하여 연산량을 줄일 수 있으므로, 임베디드 시스템(Embedded System)에 적용할 수 있다.
움직임 감지 장치(100)는 일반 영상 센서(112)와 열 영상 센서(114)를 동시에 탑재한다. 일반 영상 센서(112)는 CMOS 센서인 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
열 영상 센서(114)는 적외선 센서로서, 영상 획득할 때 물체의 온도에 의해 스스로 복사하는 적외선을 이용하기 때문에 열형 적외선(Thermal InfraRed)을 이용한다.
열 영상 센서(114)는 바람직하게는 장파장 적외선(LWIR: Long Wave InfraRed) 센서가 적용될 수 있으나 반드시 이에 한정되는 것은 아니며, 중파장 적외선(MWIR: Mid Wave InfraRed) 센서, 단파장 적외선(SWIR: Short Wave InfraRed) 센서가 적용될 수 있다.
움직임 감지 장치(100)는 듀얼 센서 카메라의 특징을 이용하여 일반 영상으로부터 움직임의 영역을 먼저 도출한다. 이후 움직임 감지 장치(100)는 움직임이 발생한 영역의 열상 정보를 이용하여 움직임의 중요도(예컨대, 무생물 여부, 단순 조도 변화 여부 등)를 판별하여 최종적으로 감시 지역 내에 움직임 또는 침입 발생 여부를 판별한다.
움직임 감지 장치(100)는 일반영상 정보와 열정보를 모두 이용함으로써, 오탐지(False Alarm)의 가능성을 줄일 수 있다.
본 실시예에 따른 움직임 감지 장치(100)는 일반 영상 센서(112), 열 영상 센서(114), 일반 영상 획득부(122), 열상 영상 생성부(124), 움직임 후보 영역 설정부(132), 온도변화 후보 영역 설정부(134), 움직임 탐지부(140)를 포함한다. 움직임 감지 장치(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
움직임 감지 장치(100)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 2에 도시된 움직임 감지 장치(100)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
일반 영상 센서(112)는 CMOS 센서인 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 열 영상 센서(114)는 적외선 센서로서, 영상 획득할 때 물체의 온도에 의해 스스로 복사하는 적외선을 이용하기 때문에 열형 적외선(Thermal InfraRed)을 이용한다.
일반 영상 획득부(122)는 일반 영상 센서(112)로부터 일반 영상 이미지를 획득한다. 열상 영상 생성부(124)는 열 영상 센서(114)로부터 온도 정보를 획득하여 열상 이미지를 생성한다.
움직임 후보 영역 설정부(132)는 일반 영상 이미지에 대한 움직임 후보 영역을 검출한다. 온도변화 후보 영역 설정부(134)는 열상 이미지에 대한 온도변화 후보 영역을 검출한다.
움직임 탐지부(140)는 움직임 후보 영역과 온도변화 후보 영역을 기반으로 최종 움직임 발생 여부를 탐지한다. 움직임 탐지부(140)는 일반 영상 이미지를 기반으로 배경 이미지를 갱신한다. 움직임 탐지부(140)는 갱신한 배경 이미지와 일반 영상 이미지를 비교하여 움직임 발생을 추정하는 영역이 검출되는지의 여부를 확인한다.
움직임 탐지부(140)는 열 영상 센서(114)에서 출력한 각 픽셀의 온도 데이터를 기반으로 열상 이미지를 생성한다. 움직임 탐지부(140)는 열상 이미지를 기반으로 온도 변환 영역을 검출한다.
움직임 탐지부(140)는 내삽(Interpolation)을 이용하여 일반 영상 이미지의 해상도로 확장(예컨대, 80×60, 160×120 → 800×600)한 해상도 확장 열상 이미지를 생성한다. 움직임 탐지부(140)는 해상도 확장 열상 이미지에 칼라 테이블(Color Table)을 적용하여 해상도 확장 열상 이미지를 색공간 이미지로 변환한다. 움직임 탐지부(140)는 색공간 이미지로부터 온도 변환 영역을 검출한다.
움직임 탐지부(140)는 열 영상 센서(114)로부터 출력한 각 픽셀의 온도 데이터를 기반으로 온도 조건을 검색한다. 움직임 탐지부(140)는 해상도 확장 열상 이미지의 면적 또는 외곽선으로부터 온도 조건(온도 영역 또는 모양)에 따른 후보 영역을 검출한다.
움직임 탐지부(140)는 움직임 후보 영역과 온도변화 후보 영역을 비교하여 중첩 영역이 존재하는지의 여부를 확인한다. 움직임 탐지부(140)는 중첩 영역 여부에 따라 최종적인 움직임 발생 여부를 검출한다.
움직임 탐지부(140)는 중첩 영역이 미존재하는 경우, 움직임 후보 영역으로부터 일반영상 후보영역의 이미지 변화량(TH_C), 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)을 추출한다. 움직임 탐지부(140)는 열영상 후보영역으로부터 온도 변화량(TH_T), 온도 변화량에 대한 상위 임계값(Threshold_T_upper)을 추출한다. 움직임 탐지부(140)는 일반영상 후보영역의 이미지 변화량(TH_C), 이미지 변화량에 대한 상위 임계값(Threshold_C_upper), 온도 변화량(TH_T), 온도 변화량에 대한 상위 임계값(Threshold_T_upper)을 기반으로 최종적인 움직임 발생 여부를 검출한다.
움직임 탐지부(140)는 중첩 영역이 미존재하는 경우, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 초과(TH_C > Threshold_C_upper)하거나 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 초과(TH_T > Threshold_T_upper)하는 경우, 중첩 영역에 움직임이 발생한 것으로 인지한다.
움직임 탐지부(140)는 중첩 영역이 미존재하는 경우, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 이하(TH_C ≤ Threshold_C_upper)이거나 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 이하(TH_T ≤ Threshold_T_upper)인 경우, 중첩 영역에 움직임이 미발생한 것으로 인지한다.
움직임 탐지부(140)는 중첩 영역이 존재하는 경우, 일반영상 후보영역으로부터 이미지 변화량(TH_C), 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)을 추출한다. 움직임 탐지부(140)는 열영상 후보영역의 온도 변화량(TH_T), 온도 변화량에 대한 하위 임계값(Threshold_T_lower)을 추출한다. 움직임 탐지부(140)는 이미지 변화량(TH_C), 이미지 변화량에 대한 하위 임계값(Threshold_C_lower), 온도 변화량(TH_T), 온도 변화량에 대한 하위 임계값(Threshold_T_lower)을 기반으로 최종적인 움직임 발생 여부를 검출한다.
움직임 탐지부(140)는 중첩 영역이 존재하는 경우, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 초과(TH_C > Threshold_C_lower)하고 온도 변화량(TH_T)이 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 초과(TH_T > Threshold_T_lower)하는 경우, 중첩 영역에 움직임이 발생한 것으로 인지한다.
움직임 탐지부(140)는 중첩 영역이 존재하는 경우, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 이하(TH_C ≤ Threshold_C_lower)이고, 온도 변화량(TH_T)이 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 이하(TH_T ≤ Threshold_T_lower)인 경우, 중첩 영역에 움직임이 미발생한 것으로 인지한다.
도 2는 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임을 감지하는 방법을 설명하기 위한 순서도이다.
움직임 감지 장치(100)는 구비한 일반 영상 센서(112)를 구동한다(S210). 움직임 감지 장치(100)는 일반 영상 센서(112)로부터 일반 영상 이미지를 획득한다(S212).
움직임 감지 장치(100)는 일반 영상 이미지를 기반으로 배경 이미지를 갱신한다(S214). 움직임 감지 장치(100)는 갱신한 배경 이미지와 일반 영상 이미지를 비교하여 움직임 발생을 추정하는 영역이 검출되는지의 여부를 확인한다(S216).
움직임 감지 장치(100)는 구비한 열 영상 센서(114)를 구동한다(S220). 움직임 감지 장치(100)는 열 영상 센서(114)로부터 온도 정보를 획득한다(S222). 움직임 감지 장치(100)는 온도 정보를 기반으로 열상 이미지를 생성한다(S224).
움직임 감지 장치(100)는 열상 이미지를 기반으로 온도 변환 영역을 검출한다(S226). 단계 S216의 확인 결과, 움직임 발생을 추정하는 영역이 검출되거나 단계 S226을 수행하여 열상 이미지를 기반으로 온도 변환 영역을 검출한 경우, 움직임 감지 장치(100)는 최종적인 움직임 발생 또는 침입 탐지 여부를 검출한다(S228).
도 2에서는 단계 S210 내지 단계 S228을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 2에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 2에 기재된 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임을 감지하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 일반 영상과 열 영상을 이용한 움직임을 감지하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 3은 본 실시예에 따른 열 영상을 처리 방법을 설명하기 위한 순서도이다.
움직임 감지 장치(100)는 구비한 열 영상 센서(114)를 구동한다(S310). 열 영상 센서(114)는 각 픽셀(Pixel)의 온도 데이터를 출력한다.
움직임 감지 장치(100)는 열 영상 센서(114)로부터 온도 데이터를 추출한다(S312). 단계 S312에서, 움직임 감지 장치(100)는 열 영상 센서(114)에서 출력한 각 픽셀의 온도 데이터를 추출한다. 움직임 감지 장치(100)는 각 픽셀의 온도 데이터를 기반으로 열상 이미지(예컨대, 80×60, 160×120)를 생성한다.
움직임 감지 장치(100)는 열상 이미지(예컨대, 80×60, 160×120)의 해상도를 확장(예컨대, 800×600)한다(S314). 단계 S314에서, 움직임 감지 장치(100)는 내삽(Interpolation)을 이용하여 일반 영상의 해상도로 확장(예컨대, 80×60, 160×120 → 800×600)한 해상도 확장 열상 이미지를 생성한다.
움직임 감지 장치(100)는 해상도 확장 열상 이미지에 칼라 테이블(Color Table)을 적용(S315)하여 해상도 확장 열상 이미지를 색공간 이미지로 변환한다(S316). 단계 S316에서, 움직임 감지 장치(100)는 각 픽셀(Pixel)의 온도 데이터를 미리 만들어진 칼라 테이블을 이용하여 색공간 이미지인 YCbCr 이미지로 변환한다.
움직임 감지 장치(100)는 온도 변화 조건을 설정한다(S320). 움직임 감지 장치(100)는 열 영상 센서(114)에서 출력한 각 픽셀의 온도 데이터를 기반으로 온도 조건을 검색한다(S322).
움직임 감지 장치(100)는 해상도 확장 열상 이미지의 면적 또는 외곽선으로부터 후보 영역을 검색한다(S324). 단계 S324에서, 움직임 감지 장치(100)는 온도 조건(온도 영역 또는 모양)에 따른 ROI 영역 검출한다. 움직임 감지 장치(100)는 색공간 이미지 내에서 후보 영역 내의 온도 변화 영역을 검출한다(S326).
도 3에서는 단계 S310 내지 단계 S326을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 열 영상을 처리 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 열 영상을 처리 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 4는 본 실시예에 따른 일반 영상과 열 영상의 중첩 영역에 따른 움직임 발생 여부 판별 방법을 설명하기 위한 순서도이다.
움직임 감지 장치(100)는 일반 영상 이미지로부터 움직임 후보 영역을 검출한다(S410). 단계 S410에서, 움직임 감지 장치(100)는 갱신한 배경 이미지와 일반 영상 이미지를 비교하여 움직임이 발생하는 움직임 후보 영역을 검출한다.
움직임 감지 장치(100)는 열상 이미지로부터 온도변화 후보 영역을 검출한다(S420). 단계 S420에서, 움직임 감지 장치(100)는 열상 이미지의 면적 또는 외곽선으로부터 온도변화 후보 영역을 검색한다.
움직임 감지 장치(100)는 일반 영상 이미지로부터 추출한 움직임 후보 영역과 열상 이미지로부터 추출한 온도변화 후보 영역을 비교하여 중첩 영역이 존재하는지의 여부를 확인한다(S430).
단계 S430의 확인 결과, 중첩 영역이 미존재하는 경우, 움직임 감지 장치(100)는 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 초과(TH_C > Threshold_C_upper)하거나 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 초과(TH_T > Threshold_T_upper)하는 지의 여부를 확인한다(S440).
단계 S440의 확인 결과, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 초과(TH_C > Threshold_C_upper)하거나 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 초과(TH_T > Threshold_T_upper)하는 경우, 움직임 감지 장치(100)는 중첩 영역에 움직임이 발생한 것으로 인지한다(S460).
단계 S440의 확인 결과, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 이하(TH_C ≤ Threshold_C_upper)이거나 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 이하(TH_T ≤ Threshold_T_upper)인 경우, 움직임 감지 장치(100)는 중첩 영역에 움직임이 미발생한 것으로 인지한다(S470).
단계 S430의 확인 결과, 중첩 영역이 존재하는 경우, 움직임 감지 장치(100)는 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 초과(TH_C > Threshold_C_lower)하고 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 초과(TH_T > Threshold_T_lower)하는 지의 여부를 확인한다(S450).
단계 S450의 확인 결과, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 초과(TH_C > Threshold_C_lower)하고 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 초과(TH_T > Threshold_T_lower)하는 경우, 움직임 감지 장치(100)는 중첩 영역에 움직임이 발생한 것으로 인지한다(S460).
단계 S450의 확인 결과, 일반영상 후보영역의 이미지 변화량(TH_C)이 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 이하(TH_C ≤ Threshold_C_lower)이고, 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 이하(TH_T ≤ Threshold_T_lower)인 경우, 움직임 감지 장치(100)는 중첩 영역에 움직임이 미발생한 것으로 인지한다(S470).
도 4에서는 단계 S410 내지 단계 S470을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 4에 기재된 본 실시예에 따른 일반 영상과 열 영상의 중첩 영역에 따른 움직임 발생 여부 판별 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 일반 영상과 열 영상의 중첩 영역에 따른 움직임 발생 여부 판별 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 움직임 감지 장치
112: 일반 영상 센서
114: 열 영상 센서
122: 일반 영상 획득부
124: 열상 영상 생성부
132: 움직임 후보 영역 설정부
134: 온도변화 후보 영역 설정부
140: 움직임 탐지부

Claims (13)

  1. 영상 센서로부터 영상 이미지를 획득하는 영상 획득부;
    열 영상 센서로부터 온도 정보를 획득하여 열상 이미지를 생성하는 열상 영상 생성부;
    상기 영상 이미지에 대한 움직임 후보 영역을 검출하는 움직임 후보 영역 설정부;
    상기 열상 이미지에 대한 온도변화 후보 영역을 검출하는 온도변화 후보 영역 설정부; 및
    상기 움직임 후보 영역과 상기 온도변화 후보 영역을 기반으로 최종 움직임 발생 여부를 탐지하는 움직임 탐지부
    를 포함하는 것을 특징으로 하는 움직임 감지 장치.
  2. 제1항에 있어서,
    상기 움직임 탐지부는,
    상기 영상 이미지를 기반으로 배경 이미지를 갱신하고, 상기 갱신한 배경 이미지와 상기 영상 이미지를 비교하여 움직임 발생을 추정하는 영역이 검출되는지의 여부를 확인하는 것을 특징으로 하는 움직임 감지 장치.
  3. 제2항에 있어서,
    상기 움직임 탐지부는,
    상기 열 영상 센서에서 출력한 각 픽셀의 온도 데이터를 기반으로 열상 이미지를 생성하고, 상기 열상 이미지를 기반으로 온도 변환 영역을 검출하는 것을 특징으로 하는 움직임 감지 장치.
  4. 제3항에 있어서,
    상기 움직임 탐지부는,
    내삽(Interpolation)을 이용하여 상기 영상 이미지의 해상도로 확장한 해상도 확장 열상 이미지를 생성하고, 상기 해상도 확장 열상 이미지에 칼라 테이블(Color Table)을 적용하여 상기 해상도 확장 열상 이미지를 색공간 이미지로 변환하고, 상기 색공간 이미지로부터 온도 변환 영역을 검출하는 것을 특징으로 하는 움직임 감지 장치.
  5. 제4항에 있어서,
    상기 움직임 탐지부는,
    상기 열 영상 센서에서 출력한 각 픽셀의 온도 데이터를 기반으로 온도 조건을 검색하고, 상기 해상도 확장 열상 이미지의 면적 또는 외곽선으로부터 상기 온도 조건에 따른 후보 영역을 검출하는 것을 특징으로 하는 움직임 감지 장치.
  6. 제5항에 있어서,
    상기 움직임 탐지부는,
    상기 움직임 후보 영역과 상기 온도변화 후보 영역을 비교하여 중첩 영역이 존재하는지의 여부를 확인하고, 상기 중첩 영역 여부에 따라 최종적인 움직임 발생 여부를 검출하는 것을 특징으로 하는 움직임 감지 장치.
  7. 제6항에 있어서,
    상기 움직임 탐지부는,
    상기 중첩 영역이 미존재하는 경우, 상기 움직임 후보 영역으로부터 영상 후보영역의 이미지 변화량(TH_C), 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)을 추출하고, 상기 열영상 후보영역으로부터 온도 변화량(TH_T), 온도 변화량에 대한 상위 임계값(Threshold_T_upper)을 추출하고, 상기 영상 후보영역의 이미지 변화량(TH_C), 상기 이미지 변화량에 대한 상위 임계값(Threshold_C_upper), 상기 온도 변화량(TH_T), 상기 온도 변화량에 대한 상위 임계값(Threshold_T_upper)을 기반으로 최종적인 움직임 발생 여부를 검출하는 것을 특징으로 하는 움직임 감지 장치.
  8. 제7항에 있어서,
    상기 움직임 탐지부는,
    상기 중첩 영역이 미존재하는 경우, 상기 영상 후보영역의 이미지 변화량(TH_C)이 상기 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 초과하거나 상기 열영상 후보영역의 온도 변화량(TH_T)이 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 초과하는 경우, 상기 중첩 영역에 움직임이 발생한 것으로 인지하는 것을 특징으로 하는 움직임 감지 장치.
  9. 제8항에 있어서,
    상기 움직임 탐지부는,
    상기 중첩 영역이 미존재하는 경우, 상기 영상 후보영역의 이미지 변화량(TH_C)이 상기 이미지 변화량에 대한 상위 임계값(Threshold_C_upper)이 이하이거나 상기 열영상 후보영역의 상기 온도 변화량(TH_T)이 상기 온도 변화량에 대한 상위 임계값(Threshold_T_upper)이 이하인 경우, 상기 중첩 영역에 움직임이 미발생한 것으로 인지하는 것을 특징으로 하는 움직임 감지 장치.
  10. 제6항에 있어서,
    상기 움직임 탐지부는,
    상기 중첩 영역이 존재하는 경우, 상기 영상 후보영역으로부터 이미지 변화량(TH_C), 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)을 추출하고, 상기 열영상 후보영역의 온도 변화량(TH_T), 온도 변화량에 대한 하위 임계값(Threshold_T_lower)을 추출하고, 상기 이미지 변화량(TH_C), 상기 이미지 변화량에 대한 하위 임계값(Threshold_C_lower), 상기 온도 변화량(TH_T), 상기 온도 변화량에 대한 하위 임계값(Threshold_T_lower)을 기반으로 최종적인 움직임 발생 여부를 검출하는 것을 특징으로 하는 움직임 감지 장치.
  11. 제10항에 있어서,
    상기 움직임 탐지부는,
    상기 중첩 영역이 존재하는 경우, 상기 영상 후보영역의 이미지 변화량(TH_C)이 상기 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 초과하고 상기 온도 변화량(TH_T)이 상기 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 초과하는 경우, 상기 중첩 영역에 움직임이 발생한 것으로 인지하는 것을 특징으로 하는 움직임 감지 장치.
  12. 제11항에 있어서,
    상기 움직임 탐지부는,
    상기 중첩 영역이 존재하는 경우, 상기 영상 후보영역의 이미지 변화량(TH_C)이 상기 이미지 변화량에 대한 하위 임계값(Threshold_C_lower)이 이하이고, 상기 온도 변화량(TH_T)이 상기 온도 변화량에 대한 하위 임계값(Threshold_T_lower)이 이하인 경우, 상기 중첩 영역에 움직임이 미발생한 것으로 인지하는 것을 특징으로 하는 움직임 감지 장치.
  13. 영상 센서로부터 영상 이미지를 획득하는 과정;
    열 영상 센서로부터 온도 정보를 획득하여 열상 이미지를 생성하는 과정;
    상기 영상 이미지에 대한 움직임 후보 영역을 검출하는 과정;
    상기 열상 이미지에 대한 온도변화 후보 영역을 검출하는 과정; 및
    상기 움직임 후보 영역과 상기 온도변화 후보 영역을 기반으로 최종 움직임 발생 여부를 탐지하는 과정
    을 포함하는 것을 특징으로 하는 움직임 감지 방법.
KR1020200026967A 2020-03-04 2020-03-04 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치 KR102370491B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200026967A KR102370491B1 (ko) 2020-03-04 2020-03-04 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200026967A KR102370491B1 (ko) 2020-03-04 2020-03-04 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210111992A true KR20210111992A (ko) 2021-09-14
KR102370491B1 KR102370491B1 (ko) 2022-03-04

Family

ID=77774530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026967A KR102370491B1 (ko) 2020-03-04 2020-03-04 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102370491B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100116829A (ko) * 2009-04-23 2010-11-02 (주)플렛디스 씨씨티브이 카메라 영상에서의 특정 움직임 감지 장치 및 방법
KR20100138202A (ko) * 2009-06-24 2010-12-31 전자부품연구원 이종 카메라를 이용한 객체 추적 시스템 및 방법
KR20140017222A (ko) * 2012-07-31 2014-02-11 주식회사 제론헬스케어 감시시스템의 영상 융합을 통한 객체 감시 방법
KR101635000B1 (ko) * 2015-06-26 2016-07-08 (주) 비엑스 솔루션 복수의 카메라를 이용한 화재감지장치 및 그 시스템
KR20160089165A (ko) * 2015-01-19 2016-07-27 한화테크윈 주식회사 이동 물체 탐지 시스템 및 방법
KR101772820B1 (ko) * 2016-09-07 2017-09-12 신동균 열 이미지 생성 방법 및 이를 수행하는 전자 기기

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100116829A (ko) * 2009-04-23 2010-11-02 (주)플렛디스 씨씨티브이 카메라 영상에서의 특정 움직임 감지 장치 및 방법
KR20100138202A (ko) * 2009-06-24 2010-12-31 전자부품연구원 이종 카메라를 이용한 객체 추적 시스템 및 방법
KR20140017222A (ko) * 2012-07-31 2014-02-11 주식회사 제론헬스케어 감시시스템의 영상 융합을 통한 객체 감시 방법
KR20160089165A (ko) * 2015-01-19 2016-07-27 한화테크윈 주식회사 이동 물체 탐지 시스템 및 방법
KR101635000B1 (ko) * 2015-06-26 2016-07-08 (주) 비엑스 솔루션 복수의 카메라를 이용한 화재감지장치 및 그 시스템
KR101772820B1 (ko) * 2016-09-07 2017-09-12 신동균 열 이미지 생성 방법 및 이를 수행하는 전자 기기

Also Published As

Publication number Publication date
KR102370491B1 (ko) 2022-03-04

Similar Documents

Publication Publication Date Title
KR101237089B1 (ko) 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법
US20120262583A1 (en) Automated method and system for detecting the presence of a lit cigarette
KR101464344B1 (ko) 감시 영상의 정상 상태 학습을 통한 이상 상태 감지 방법과 이를 적용한 감시 카메라 및 영상 관리 시스템
KR102478335B1 (ko) 채널별 객체 검출 최적화를 위한 영상분석 방법 및 서버장치
CN107122743B (zh) 安防监控方法、装置和电子设备
CN109040711A (zh) 一种图像采集方法、监控方法和图像传感器
CN112084813A (zh) 异常目标的检测方法、装置及存储介质
JP6214426B2 (ja) 物体検出装置
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
KR102370491B1 (ko) 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치
KR100513739B1 (ko) 얼굴특징을 이용한 움직임 검출장치 및 이를 적용한감시시스템
JP2004282368A (ja) 移動体監視装置
KR20060003321A (ko) 보안 감시 시스템의 물체 인식 장치 및 방법
CN112312076A (zh) 智能型移动检测装置
JP2002032759A (ja) 監視装置
KR20030067212A (ko) 적외선 열상 장비를 이용한 감시 및 보안방법
JPWO2016136214A1 (ja) 識別器学習装置、滞留物体検出システム、識別器学習方法、滞留物体検出方法およびプログラム
JP4544988B2 (ja) 画像センシング装置
Kim DSP embedded early fire detection method using IR thermal video
KR102608625B1 (ko) 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법
CN111225178A (zh) 基于对象检测的视频监控方法及其系统
KR100749457B1 (ko) 카메라를 이용한 물체 접근 인식 방법 및 장치
JP2001118155A (ja) 人体検知装置、人体検知方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN117689688A (zh) 移动侦测方法、单元、智能监测设备及存储介质
JPH04200084A (ja) 画像監視装置

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant