KR101927220B1 - 열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치 - Google Patents

열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치 Download PDF

Info

Publication number
KR101927220B1
KR101927220B1 KR1020160126731A KR20160126731A KR101927220B1 KR 101927220 B1 KR101927220 B1 KR 101927220B1 KR 1020160126731 A KR1020160126731 A KR 1020160126731A KR 20160126731 A KR20160126731 A KR 20160126731A KR 101927220 B1 KR101927220 B1 KR 101927220B1
Authority
KR
South Korea
Prior art keywords
interest
temperature
information
sensing
detection result
Prior art date
Application number
KR1020160126731A
Other languages
English (en)
Other versions
KR20180036861A (ko
Inventor
강원구
박만진
권오성
김승재
Original Assignee
(주)혜진시스
재단법인 한국전자기계융합기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)혜진시스, 재단법인 한국전자기계융합기술원 filed Critical (주)혜진시스
Priority to KR1020160126731A priority Critical patent/KR101927220B1/ko
Publication of KR20180036861A publication Critical patent/KR20180036861A/ko
Application granted granted Critical
Publication of KR101927220B1 publication Critical patent/KR101927220B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치를 개시한다.
기 설정된 대상영역에 대한 저화소 열화상 영상을 촬영하고, 열화상 영상을 이용하여 대상영역 내에 위치한 관심대상에 대한 온도를 감지하고, 감지된 온도를 이용하여 관심대상의 상태 및 상황을 판단하는 열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치에 관한 것이다.

Description

열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치{Method and Apparatus for Detecting Object of Interest By Using Infrared Thermography Image}
본 실시예는 열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
의료 산업 기술의 발전에 따라 병원을 찾는 환자들이 증가하고, 고령화 사회로 인해 요양원에서 거주하는 노인들도 증가하고 있다. 이러한, 환자 또는 노인들이 거동이 불편한 경우 병간호를 위해 환자 또는 노인들 주변에 항상 간병인이 있어야만 한다.
이러한 불편함 및 인력낭비를 해결하기 위해 각종 전자 장치를 환자에게 부착하여 환자의 상태를 실시간으로 감시할 수 있는 시스템들이 개발되었다. 하지만, 긴급 상황이 빈번하게 나타나는 질병을 앓고 있거나 상태가 불안정한 환자 등의 경우 환자 자신은 무방비 상태인 경우가 대부분이며, 이를 빠르고 정확하게 판단하기는 쉽지 않다.
또한, 실시간으로 환자를 감지하기 위한 시스템은 각종 전자 장치들을 환자의 몸에 직접 부착하는 경우 환자에게 불편함을 끼치게 되며, 환자의 주변에서 일어나는 상황까지 감지할 수는 없다. 환자의 주변상황을 위해 CCTV를 통해 영상을 촬영할 수 있으나 이는 환자의 사생활 침해도 인해 현실적으로 설치가 어려운 상황이다.
본 실시예는 기 설정된 대상영역에 대한 저화소 열화상 영상을 촬영하고, 열화상 영상을 이용하여 대상영역 내에 위치한 관심대상에 대한 온도를 감지하고, 감지된 온도를 이용하여 관심대상의 상태 및 상황을 판단하는 열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치를 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 기 설정된 대상영역에 대한 열화상 영상을 촬영하는 열화상 촬영부; 상기 열화상 영상을 교정(Calibration)하고, 교정된 열화상 영상의 각 픽셀(Pixel)에 대한 온도값을 감지하는 온도 감지부; 상기 교정된 열화상 영상을 복수의 격자로 구분하고, 상기 복수의 격자 각각에 대한 격자값을 이용하여 상기 대상영역 내에서 관심대상을 인식하는 관심대상 인식부; 상기 관심대상의 온도 변화에 근거하여 상기 관심대상의 상태를 판단하는 판단부; 및 상기 관심대상의 상태 판단 결과에 근거하여 감지 결과정보를 생성하는 감지결과 처리부를 포함하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 관심대상 감지장치가 열화상 영상을 기반으로 관심대상을 감지하기 위한 방법에 있어서, 기 설정된 대상영역에 대한 열화상 영상을 촬영하는 열화상 촬영과정; 상기 열화상 영상을 교정(Calibration)하고, 교정된 열화상 영상의 각 픽셀(Pixel)에 대한 온도값을 감지하는 온도 감지과정; 상기 교정된 열화상 영상을 복수의 격자로 구분하고, 상기 복수의 격자 각각에 대한 격자값을 이용하여 상기 대상영역 내에서 관심대상을 인식하는 관심대상 인식과정; 상기 관심대상의 온도 변화에 근거하여 상기 관심대상의 상태를 판단하는 판단과정; 및 상기 관심대상의 상태 판단 결과에 근거하여 감지 결과정보를 생성하는 감지결과 처리과정을 포함하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 관심대상 감지장치를 이용함으로써, 저화소 열화상 영상을 이용하여 환자의 상태 감지할 수 있는 효과가 있으며, 사생활 침해를 하지 않으면서 관심대상(환자, 요양 노인 등)의 상태를 감지할 수 있는 효과가 있다.
또한, 관심대상 감지장치는 관심대상의 상태를 판단할 수 있으며, 추가적으로 관심대상의 낙상 여부, 식사 여부 등과 같은 상황을 판단할 수 있는 효과가 있다. 또한, 관심대상 감지장치는 관심대상에 대한 감지 결과정보를 외부 단말기로 전송함에 따라 관심대상의 상황에 따른 조치를 취할 수 있는 효과가 있다.
관심대상 감지장치는 별도의 제어 컴퓨터와의 연동 없이, 관심대상의 상태 및 상황을 판단할 수 있고, 관리자 단말기로 직접 관심대상의 상태 및 상황을 신속하게 제공할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 열화상 영상 기반의 관심대상 감지 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 관심대상 감지장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 관심대상을 감지하는 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 저화소 열화상 영상을 이용하여 관심대상을 인식하는 알고리즘을 설명하기 위한 예시도이다.
도 5는 본 실시예에 따른 관심대상 감지장치에서 관심대상의 상황을 판단하는 동작을 설명하기 위한 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 열화상 영상 기반의 관심대상 감지 시스템을 개략적으로 나타낸 도면이다.
본 실시예에 따른 관심대상 감지 시스템(100)은 관심대상(110)의 온도를 감지 및 관리하는 관심대상 감지장치(120) 및 관리 단말기(130)를 포함한다.
관심대상(110)은 소정의 이유로 인해 관리자가 움직임을 감지해야 하는 대상이다. 예를 들어, 관심대상(110)은 병원, 요양원 등에서 침상에 누워있는 환자 또는 요양하는 사람인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 가정집 또는 소정의 장소에 위치한 거동이 불편한 사람 또는 동물일 수 있다.
관심대상 감지장치(120)는 기 설정된 대상영역에 대한 열화상 영상을 촬영하고, 열화상 영상을 이용하여 대상영역 내에 위치한 관심대상에 대한 감지를 수행한다.
관심대상 감지장치(120)는 열화상 영상을 이용하여 관심대상의 온도(체온)를 확인하고, 소정의 기준 온도값과 관심대상의 온도를 비교한 온도 변화에 근거하여 관심대상의 상태를 판단한다. 여기서, 관심대상의 상태는 관심대상의 온도 변화값에 따라 '정상', '경고', '위험' 등으로 분류되거나, 레벨 1, 2, 3 등으로 분류된 상태일 수 있다.
한편, 관심대상 감지장치(120)는 관심대상의 주변 온도를 추가로 확인하여 관심대상에 대한 상황을 판단할 수 있다. 여기서, 관심대상에 대한 상황은 관심대상의 낙상, 응급요청 등에 대한 상황 또는 관심대상의 식사, 회진 등의 수행 여부 등에 대한 상황일 수 있다.
관심대상 감지장치(120)는 관심대상의 상태 또는 상황에 근거하여 감지 결과정보를 생성하고, 생성된 감지 결과정보를 관리 단말기(130)로 전송한다.
관리 단말기(130)는 관심대상을 관리하기 위해 관리자가 휴대하는 단말기를 말한다. 관리 단말기(130)는 관리자의 키 조작에 따라 AP(Access Point), 근거리 통신, 통신 기지국 등을 이용하여 관심대상 감지장치(120)와 각종 데이터를 송수신할 수 있다. 예를 들어, 관리 단말기(130)는 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다.
관리 단말기(130)는 관심대상 감지장치(120)로부터 감지 결과정보를 수신하고, 수신된 감지 결과정보를 출력한다. 여기서, 감지 결과정보는 텍스트, 이미지, 이모티콘, 동영상, 음성 등을 포함하는 메시지 형태일 수 있다.
또한, 관리 단말기(130)는 관심대상 감지장치(120)와 연동하여 관심대상 감지장치(120)의 초기 설정을 수행할 수 있다. 예를 들어, 관리 단말기(130)는 관리자의 조작에 근거하여 관심대상 감지장치(120)에서 관심대상을 감지하기 위한 초기 대상영역을 설정하거나, 관심대상의 온도 변화값을 산출하기 위한 기준 온도값 등을 수동 또는 자동으로 설정할 수 있다.
관리 단말기(130)는 관리자가 휴대하는 단말기인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 관리 단말기(130)는 관심대상 감지장치(120)로부터 수신된 감지 결과정보를 저장하는 서버와 같은 저장장치일 수 있으며, 감지 결과정보에 근거하여 관리자에게 알림을 제공할 수 있는 전등, 스피커, 등의 알람장치일 수 있다.
도 2는 본 실시예에 따른 관심대상 감지장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 관심대상 감지장치(120)는 열화상 촬영부(210), 온도 감지부(220), 관심대상 인식부(230), 판단부(240) 및 감지결과 처리부(270)를 포함한다. 도 2에 도시된 관심대상 감지장치(120)는 일 실시예에 따른 것으로서, 도 2에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 관심대상 감지장치(120)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
본 실시예에 따른 관심대상 감지장치(120)는 열화상 영상을 이용하여 관심대상을 감지하기 위한 하드웨어로 구현될 수 있으나 반드시 이에 한정되는 것은 아니며, 별도의 열화상 카메라에 탑재되는 소프트웨어 모듈로 구현될 수도 있다.
열화상 촬영부(210)는 기 설정된 대상영역에 대한 열화상 영상을 촬영한다. 열화상 촬영부(210)는 실시간으로 열화상 영상을 촬영하고, 촬영된 열화상 영상을 온도 감지부(220)로 전송한다. 여기서, 대상영역은 관리자가 감지 및 관리를 하기 위한 관심대상이 존재하는 영역을 의미하며, 예컨대, 병실, 요양실, 침상 등을 포함하는 영역일 수 있다.
절대온도 이상의 온도를 갖는 모든 물체는 적외선을 방사하며, 방사하는 적외선의 양은 물체의 온도에 따라 상이하다. 열화상 촬영부(210)는 대상영역 내에 존재하는 모든 물체의 적외선을 이용하여 열화상 영상을 생성한다.
열화상 촬영부(210)는 열화상 영상의 각 픽셀마다 열을 감지하는 복수의 디텍터(Detector)가 존재하고, 각 디텍터에 의해 감지된 열을 각 픽셀에 표현한다. 여기서, 열화상 촬영부(210)는 픽셀 수와 동일한 디텍터를 구비한다. 열화상 촬영부(210)는 관심대상의 사생활 침해를 방지하기 위해 70 * 50 내지 90 * 70 픽셀을 갖는 열화상 영상을 촬영한다.
열화상 촬영부(210)는 관심대상 감지장치(120) 내에 포함된 모듈인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 단순히 열화상 영상을 촬영하기 위한 별도의 열화상 카메라(미도시) 구현될 수도 있다.
온도 감지부(220)는 열화상 영상을 이용하여 대상영역 전체에 대한 온도를 감지한다. 더 자세히 설명하자면, 온도 감지부(220)는 열화상 영상의 각 픽셀(Pixel)의 온도값을 기반으로 교정(Calibration)을 수행하여 교정된 열화상 영상을 생성하고, 교정된 열화상 영상의 각 픽셀에 대한 온도값을 감지한다. 여기서, 교정된 열화상 영상의 온도값은 절대온도값을 의미한다.
온도 감지부(220)는 열화상 촬영부(210)의 디텍터에서 감지하는 적외선의 서로 다른 미세한 감응도의 차이에 따라 차감되는 오프셋값(Offset), 적외선의 이득률(Gain) 등의 차이를 감소시키기 위해 교정(Calibration)을 수행한다.
관심대상 인식부(230)는 교정된 열화상 영상의 각 픽셀에 대한 온도값을 기초로 관심대상을 인식한다.
관심대상 인식부(230)는 교정된 열화상 영상을 기 설정된 크기의 복수의 격자로 구분하고, 각각의 격자에 대한 격자값을 산출하여 격자 프로파일을 생성한다. 여기서, 복수의 격자 각각은 복수의 픽셀을 포함한다.
관심대상 인식부(230)는 각 격자마다 복수의 픽셀 각각에 대한 온도값의 평균을 격자값으로 산출하여 격자 프로파일을 생성하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 복수의 픽셀 각각에 대한 온도값의 합을 격자값으로 산출하여 격자 프로파일을 생성할 수도 있다. 격자 프로파일의 격자는 n × m (n, m > 0) 크기의 격자일 수 있다.
관심대상 인식부(230)는 격자 프로파일의 각 행(n 개의 행 각각)에 대한 격자값을 이용하여 대상 영역에서 관심대상을 인식한다. 관심대상 인식부(230)는 각 행의 격자값을 그래프화하고, 생성된 그래프 상에서 기 설정된 온도값 범위에 해당하거나, 기 설정된 기준온도값을 초과하는 부분을 관심대상으로 인식한다.
판단부(240)는 관심대상에 대한 온도 변화 및 온도 변화에 따른 상황을 판단한다. 판단부(240)는 온도변화 판단부(250) 및 상황 판단부(260)를 포함한다.
온도변화 판단부(250)는 관심대상의 온도 변화를 확인하여 관심대상의 이상 유무를 판단한다. 온도변화 판단부(250)는 소정의 기준 온도값을 기준으로 관심대상의 온도 변화를 확인한다. 여기서, 소정의 기준 온도값은 기 설정된 기간동안 누적된 관심대상의 평균 온도값인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 관리자가 수동으로 설정한 온도값이거나 기 설정된 고정 온도값일 수 있다.
온도변화 판단부(250)는 관심대상의 온도 변화에 근거하여 관심대상의 이상유무에 대한 대상 상태정보를 감지결과 처리부(270)로 전송하여 감지 결과정보가 생성되도록 한다. 여기서, 대상 상태정보는 관심대상의 온도 변화값에 따라 '정상', '경고', '위험' 등으로 분류된 정보를 포함하거나, 레벨 1, 2, 3 등으로 분류된 정보를 포함할 수 있다.
상황 판단부(260)는 관심대상의 온도 및 주변의 온도에 근거하여 관심대상의 상황을 판단한다. 상황 판단부(260)는 대상영역에서 관심대상의 온도가 상이한 위치로 변경되거나, 관심대상의 주변의 온도 변화에 근거하여 상황을 판단할 수 있다.
상황 판단부(260)는 기존에 누적된 관심대상의 온도값을 이용하여 생성된 기준 위치를 기준으로 관심대상의 온도 감지 위치가 변경된 것으로 확인되는 경우 위급 상황인 것으로 판단하여 위급 상황에 대한 상황 판단정보를 생성한다. 예를 들어, 상황 판단부(260)는 침상 위치를 기준으로 관심대상이 침상 영역을 벗어난 것으로 확인된 경우, 관심대상이 낙상, 응급요청 등의 위급 상황인 것으로 판단하여 상황 판단정보를 생성한다.
한편, 상황 판단부(260)는 기 설정된 주기 또는 시간과 같은 반복 감지시간이 설정된 경우, 해당 반복 감지시간에 발생하는 주변 동작을 감지하여 주변 동작에 대한 상황 판단정보를 생성한다. 예를 들어, 상황 판단부(260)는 기 설정된 식사시간에 식사가 제공되었는지 여부를 판단하거나, 기 설정된 회진시간에 의사 또는 간호사가 회진을 돌았는지 여부를 판단할 수 있다. 다시 말해, 기 설정된 반복 감지시간에 관심대상의 주변에 식사를 위한 주변의 온도 변화가 발생한 경우 식사가 제공된 것으로 판단할 수 있다. 또한, 기 설정된 반복 감지시간에 관심대상의 주변에 사람의 체온을 갖는 의사 또는 간호사가 감지된 경우 회진이 해당 시간에 돈 것으로 판단할 수 있다.
상황 판단부(260)는 관심대상에 대한 반복 감지시간의 상황 판단정보를 관리자 또는 외부 사용자가 확인할 수 있도록 기 설정된 기간동안 저장 또는 기록한다.
상황 판단부(260)는 생성된 상황 판단정보를 감지결과 처리부(270)로 전송하여 감지 결과정보가 생성되도록 한다.
감지결과 처리부(270)는 대상 상태정보 또는 상황 판단정보를 수신하고, 수신된 정보를 이용하여 감지 결과정보를 생성한다. 감지 결과정보는 대상 상태정보 및 상황 판단정보 중 적어도 하나의 정보를 포함할 수 있으며, 텍스트, 이미지, 이모티콘, 동영상, 음성 등을 포함하는 메시지 형태일 수 있다.
감지결과 처리부(270)는 감지 결과정보를 관리 단말기(130)로 전송한다. 한편, 관리 단말기(130)가 관심대상의 상태 또는 상황을 알리기 위한 전등인 경우, 감지 결과정보는 대상 상태정보 또는 상황 판단정보에 근거하여 전등을 On 또는 Off하기 위한 제어신호를 포함할 수 있다.
도 3은 본 실시예에 따른 관심대상을 감지하는 방법을 설명하기 위한 순서도이다.
관심대상 감지장치(120)는 기 설정된 대상영역에 대한 열화상 영상을 촬영한다(S310).
관심대상 감지장치(120)는 열화상 영상을 교정하고, 교정된 열화상 영상을 이용하여 대상영역에 대한 온도를 감지한다(S320). 관심대상 감지장치(120)는 열화상 영상의 각 픽셀(Pixel)의 온도값을 기반으로 교정(Calibration)을 수행하여 교정된 열화상 영상을 생성하고, 교정된 열화상 영상의 각 픽셀에 대한 온도값을 감지한다.
관심대상 감지장치(120)는 교정된 열화상 영상을 이용하여 격자 프로파일을 생성하여 대상 영역에서 관심대상을 인식한다(S330).
관심대상 감지장치(120)는 교정된 열화상 영상을 기 설정된 크기의 복수의 격자로 구분하고, 각각의 격자에 대한 격자값을 산출하여 격자 프로파일을 생성한다. 관심대상 감지장치(120)는 격자 프로파일의 각 행(n 개의 행 각각)에 대한 격자값을 이용하여 대상 영역에서 관심대상을 인식한다.
관심대상 감지장치(120)는 관심대상의 온도 변화를 확인한다(S340).
단계 S340에서 관심대상의 온도 변화가 없는 경우, 새로운 열화상 영상을 촬영하는 단계 S310으로 되돌아 갈 수 있으나 반드시 이에 한정되는 것은 아니며, 정상 온도에 대한 상태정보를 생성할 수도 있다.
관심대상 감지장치(120)는 관심대상의 온도 변화한 경우 관심대상의 상황을 판단한다(S350).
관심대상 감지장치(120)는 소정의 기준 온도값을 기준으로 관심대상의 온도 변화를 확인하고, 온도 변화에 근거하여 관심대상의 이상유무에 대한 대상 상태정보를 생성한다. 여기서, 대상 상태정보는 관심대상의 온도 변화값과 관심대상의 온도 변화에 따라 '정상', '경고', '위험' 등으로 분류된 정보를 포함하거나, 레벨 1, 2, 3 등으로 분류된 정보를 포함할 수 있다.
한편, 관심대상 감지장치(120)는 관심대상의 온도 및 주변의 온도에 근거하여 관심대상에 대한 상황을 판단하고, 해당 상황에 대한 상황 판단정보를 생성할 수 있다. 여기서, 관심대상에 대한 상황은 관심대상의 낙상, 응급요청 등에 대한 상황 또는 관심대상의 식사, 회진 등의 수행 여부 등에 대한 상황일 수 있다.
관심대상 감지장치(120)는 관심대상의 상태 또는 상황에 근거하여 감지 결과정보를 생성하고, 감지 결과정보를 관리 단말기(130)로 전송한다(S360). 감지 결과정보는 대상 상태정보 및 상황 판단정보 중 적어도 하나의 정보를 포함할 수 있으며, 텍스트, 이미지, 이모티콘, 동영상, 음성 등을 포함하는 메시지 형태일 수 있다.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 관심대상을 감지하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 관심대상을 감지하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
도 4는 본 실시예에 따른 저화소 열화상 영상을 이용하여 관심대상을 인식하는 알고리즘을 설명하기 위한 예시도이다.
도 4의 (a)에 도시된 바와 같이, 관심대상 감지장치(120)는 관심대상인 환자를 저화소 열화상 영상으로 촬영한다. 여기서, 저화소 열화상 영상은 70 * 50 내지 90 * 70 픽셀을 갖는 열화상 영상인 것이 바람직하다. 열화상 영상이 고화소 영상으로 촬영되는 경우 병원 또는 요양원에 누워있는 환자에 대한 사생활 침해가 발생할 수 있다. 따라서, 관심대상 감지장치(120)는 환자의 신분을 확인하기 어려우면서 환자의 형태만을 알아볼 수 있도록 설정된 화소수를 이용하여 저화소 열화상 영상을 촬영할 수 있다.
관심대상 감지장치(120)는 저화소 열화상 영상을 절대온도로 변환하기 위해 교정을 수행한다. 여기서, 관심대상 감지장치(120)는 관심영역(410)이 설정되어 있는 경우 관심영역(410)을 위주로 교정을 수행함으로써, 저화소 열화상 영상의 교정을 신속하게 처리할 수 있다.
관심대상 감지장치(120)는 저화소 열화상 영상에 대해 RGB(Red Green Blue) 분리를 수행하고, Gray Scale 변환을 수행하여 도 4의 (b)와 같은 교정된 열화상 영상을 생성한다.
도 4의 (b) 및 (c)에 도시된 바와 같이, 관심대상 감지장치(120)는 교정된 열화상 영상의 각 픽셀에 대한 온도값을 기초로 환자를 인식할 수 있다.
관심대상 감지장치(120)는 교정된 열화상 영상을 기 설정된 크기의 복수의 격자로 구분하고, 각각의 격자에 대한 격자값을 산출하여 도 4의 (b)와 같은 격자 프로파일을 생성한다. 격자 프로파일에 포함된 복수의 격자 각각은 복수의 픽셀을 포함하며, 격자 프로파일은 픽셀 각각에 대한 온도값의 평균을 격자값으로 산출하여 생성될 수 있다.
관심대상 감지장치(120)는 격자 프로파일의 각 행(n 개의 행 각각)에 대한 격자값을 이용하여 대상 영역에서 인식할 수 있다. 관심대상 감지장치(120)는 제1 행(420), 제2 행(430) 등과 같이 각 행의 격자값을 도 4의 (c)와 같이 그래프화하고, 생성된 그래프(422, 432 등) 상에서 관심영역(410)에 포함된 부분을 환자로 인식한다. 여기서, 관심영역(410)에 포함된 부분은 그래프(422, 432 등) 상에서 기 설정된 온도값 범위에 해당하거나, 기 설정된 기준온도값을 초과하는 부분일 수 있다.
도 5는 본 실시예에 따른 관심대상 감지장치에서 관심대상의 상황을 판단하는 동작을 설명하기 위한 예시도이다.
도 5의 (a)는 관심대상 즉, 환자가 침상 위에 정상적으로 누워 있는 상황을 나타낸다. 이러한 경우, 관심대상 감지장치(120)는 환자의 온도 변화 상태를 확인하여 환자의 상태를 판단할 수 있다.
도 5의 (b)는 관심대상 즉, 환자가 침상 위에 있다가 바닥으로 떨어진 낙상 상황을 나타낸다. 관심대상 감지장치(120)는 침상에서 환자의 온도가 침상이 아닌 다른 위치에서 변경된 경우 환자가 바닥으로 떨어진 낙상 상황으로 판단한다.
다시 말해, 관심대상 감지장치(120)는 기존에 누적된 환자의 온도값을 이용하여 생성된 기준 위치를 기준으로 환자의 온도 감지 위치가 변경된 것으로 확인되는 경우, 낙상, 응급요청 등과 같은 위급 상황인 것으로 판단하여 위급 상황에 대한 상황 판단정보를 생성한다.
도 5의 (c)는 관심대상 즉, 환자가 침상 위에서 기 설정된 시간에 제공되는 식사를 하는 상황을 나타낸다. 관심대상 감지장치(120)는 기 설정된 주기 또는 시간과 같은 반복 감지시간이 설정된 경우, 해당 반복 감지시간에 음식, 주변 사람 체온 등과 같은 주변 온도 변화가 발생한 경우 식사가 제공된 것으로 판단하여 식사 상황에 대한 상황 판단정보를 생성한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 연구는 서울시 산학연 협력사업중 지역사회 사회기술 지원사업의 일환인 "침상 생활을 하는 고령 및 장애인의 동적 실시간 모니터링 시스템 개발 사업의 지원에 의한 것입니다.
100: 관심대상 감지 시스템
110: 관심대상 120: 관심대상 감지장치
130: 관리 단말기
210: 열화상 촬영부 220: 온도 감지부
230: 관심대상 인식부 240: 판단부
250: 온도변화 판단부 260: 상황 판단부
270: 감지결과 처리부

Claims (15)

  1. 기 설정된 대상영역에 대한 열화상 영상을 촬영하는 열화상 촬영부;
    상기 열화상 영상을 교정(Calibration)하고, 교정된 열화상 영상의 각 픽셀(Pixel)에 대한 온도값을 감지하는 온도 감지부;
    상기 교정된 열화상 영상을 복수의 격자로 구분하고, 상기 복수의 격자 각각에 대한 격자값을 이용하여 상기 대상영역 내에서 관심대상을 인식하는 관심대상 인식부;
    상기 관심대상의 온도 변화에 근거하여 상기 관심대상의 상태를 판단하는 판단부; 및
    상기 관심대상의 상태 판단 결과에 근거하여 감지 결과정보를 생성하는 감지결과 처리부를 포함하되,
    상기 판단부는, 상기 관심대상의 온도 변화를 확인하여 상기 관심대상의 이상 유무를 판단하는 온도변화 판단부; 및 상기 관심대상의 온도 및 주변 온도 중 적어도 하나를 이용하여 상기 관심대상의 상황을 판단하는 상황 판단부를 포함하며,
    상기 상황 판단부는, 상기 대상영역 내에서 상기 관심대상의 온도에 근거하여 상기 관심대상의 위치가 변경된 경우 상기 관심대상이 낙상 또는 응급 요청에 대한 긴급 상황 판단정보를 생성하고, 기 설정된 주기 또는 시간에 대한 반복 감지시간이 설정된 경우, 상기 반복 감지시간 내에 발생하는 상기 관심대상의 온도 및 상기 주변 온도를 감지하여 주변 동작에 따른 상기 관심대상의 반복 상황 판단정보를 생성하여 상기 감지 결과정보가 생성되도록 하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지장치.
  2. 제1항에 있어서,
    상기 온도 감지부는,
    상기 열화상 촬영부의 디텍터(Detector)에서 감지하는 적외선의 서로 다른 미세한 감응도의 차이에 따라 차감되는 오프셋값(Offset) 및 적외선의 이득률(Gain)의 차이를 감소시키기 위해 상기 교정을 수행하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지장치.
  3. 제1항에 있어서,
    상기 관심대상 인식부는,
    적어도 하나의 픽셀을 포함하는 기 설정된 크기의 격자로 상기 교정된 열화상 영상을 구분하고, 각각의 격자에 대한 격자값을 산출하여 격자 프로파일을 생성하며, 상기 격자 프로파일을 그래프화하여 상기 관심대상을 인식하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지장치.
  4. 제3항에 있어서,
    상기 관심대상 인식부는,
    상기 격자 프로파일을 그래프화한 그래프 상에서 기 설정된 온도값 범위에 해당하거나, 기 설정된 기준온도값을 초과하는 부분을 상기 관심대상으로 인식하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 온도 변화 판단부는,
    소정의 기준 온도값과 상기 관심대상의 온도를 비교하여 상기 관심대상의 온도 변화를 확인하고, 온도 변화에 대한 대상 상태정보를 생성하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지장치.
  7. 제6항에 있어서,
    상기 감지결과 처리부는,
    상기 대상 상태정보에 포함된 상태 분류정보 또는 레벨 분류정보를 이용하여 감지 결과정보를 생성하되, 상기 감지 결과정보는 텍스트, 이미지, 이모티콘, 동영상 및 음성 중 적어도 하나를 포함하는 메시지를 포함하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지장치.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 감지결과 처리부는,
    상기 주변 동작에 대한 시간, 횟수, 기록정보 중 적어도 하나의 정보를 포함하는 상기 감지 결과정보를 생성하고, 상기 감지 결과정보를 외부 단말기로 전송하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지장치.
  11. 관심대상 감지장치가 열화상 영상을 기반으로 관심대상을 감지하기 위한 방법에 있어서,
    기 설정된 대상영역에 대한 열화상 영상을 촬영하는 열화상 촬영과정;
    상기 열화상 영상을 교정(Calibration)하고, 교정된 열화상 영상의 각 픽셀(Pixel)에 대한 온도값을 감지하는 온도 감지과정;
    상기 교정된 열화상 영상을 복수의 격자로 구분하고, 상기 복수의 격자 각각에 대한 격자값을 이용하여 상기 대상영역 내에서 관심대상을 인식하는 관심대상 인식과정;
    상기 관심대상의 온도 변화에 근거하여 상기 관심대상의 상태를 판단하는 판단과정; 및
    상기 관심대상의 상태 판단 결과에 근거하여 감지 결과정보를 생성하는 감지결과 처리과정을 포함하되,
    상기 판단과정은, 상기 관심대상의 온도 변화를 확인하여 상기 관심대상의 이상 유무를 판단하는 온도변화 판단과정; 및 상기 관심대상의 온도 및 주변 온도 중 적어도 하나를 이용하여 상기 관심대상의 상황을 판단하는 상황 판단과정을 포함하며,
    상기 상황 판단과정은, 상기 대상영역 내에서 상기 관심대상의 온도에 근거하여 상기 관심대상의 위치가 변경된 경우 상기 관심대상이 낙상 또는 응급 요청에 대한 긴급 상황 판단정보를 생성하고, 기 설정된 주기 또는 시간에 대한 반복 감지시간이 설정된 경우, 상기 반복 감지시간 내에 발생하는 상기 관심대상의 온도 및 상기 주변 온도를 감지하여 주변 동작에 따른 상기 관심대상의 반복 상황 판단정보를 생성하여 상기 감지 결과정보가 생성되도록 하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 온도 변화 판단과정은,
    소정의 기준 온도값과 상기 관심대상의 온도를 비교하여 상기 관심대상의 온도 변화를 확인하고, 온도 변화에 대한 대상 상태정보를 생성하며,
    상기 감지결과 처리과정은 대상 상태정보에 포함된 상태 분류정보 또는 레벨 분류정보를 이용하여 감지 결과정보를 생성하는 것을 특징으로 하는 열화상 영상 기반의 관심대상 감지방법.
  14. 삭제
  15. 삭제
KR1020160126731A 2016-09-30 2016-09-30 열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치 KR101927220B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160126731A KR101927220B1 (ko) 2016-09-30 2016-09-30 열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160126731A KR101927220B1 (ko) 2016-09-30 2016-09-30 열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치

Publications (2)

Publication Number Publication Date
KR20180036861A KR20180036861A (ko) 2018-04-10
KR101927220B1 true KR101927220B1 (ko) 2018-12-11

Family

ID=61975043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160126731A KR101927220B1 (ko) 2016-09-30 2016-09-30 열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치

Country Status (1)

Country Link
KR (1) KR101927220B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240011512A (ko) 2022-07-19 2024-01-26 주식회사 럭스로보 열화상 영상을 이용한 객체 행동 감지 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102704460B1 (ko) * 2019-01-03 2024-09-09 엘지이노텍 주식회사 조리기기 및 이의 제어 방법
KR102389286B1 (ko) * 2020-04-02 2022-04-21 주식회사 시온테크닉스 열이미지 알고리즘을 이용한 노인 케어 장치
CN113645435A (zh) * 2020-04-27 2021-11-12 财团法人工业技术研究院 影像监控装置与方法
KR102380671B1 (ko) * 2020-07-20 2022-03-29 노경숙 열상센서를 이용한 산업기계의 열상 이상 검출방법
KR102317454B1 (ko) * 2021-03-17 2021-10-26 주식회사 서현아이앤씨 스마트 관제 cctv 시스템
KR102565174B1 (ko) * 2021-12-08 2023-08-10 주식회사 밀리센스 열-감지센서를 이용한 병동 돌발 상황 경보 및 모니터링 시스템
KR102565175B1 (ko) * 2021-12-08 2023-08-10 주식회사 밀리센스 열-감지센서를 이용한 병동 돌발 상황 경보 및 모니터링 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013207393A (ja) * 2012-03-27 2013-10-07 Secom Co Ltd 画像監視装置
KR101350922B1 (ko) 2013-10-14 2014-01-14 브이씨에이 테크놀러지 엘티디 열화상 카메라를 사용한 객체 추적 방법 및 장치
KR101420200B1 (ko) * 2013-11-21 2014-07-21 (주)토핀스 열화상 카메라를 이용한 체온 감지 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013207393A (ja) * 2012-03-27 2013-10-07 Secom Co Ltd 画像監視装置
KR101350922B1 (ko) 2013-10-14 2014-01-14 브이씨에이 테크놀러지 엘티디 열화상 카메라를 사용한 객체 추적 방법 및 장치
KR101420200B1 (ko) * 2013-11-21 2014-07-21 (주)토핀스 열화상 카메라를 이용한 체온 감지 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240011512A (ko) 2022-07-19 2024-01-26 주식회사 럭스로보 열화상 영상을 이용한 객체 행동 감지 시스템

Also Published As

Publication number Publication date
KR20180036861A (ko) 2018-04-10

Similar Documents

Publication Publication Date Title
KR101927220B1 (ko) 열화상 영상을 이용한 관심대상 감지 방법 및 그를 위한 장치
US12080069B2 (en) Patient video monitoring systems and methods for thermal detection of liquids
US20110295583A1 (en) Monitoring changes in behavior of a human subject
KR101990803B1 (ko) IoT를 이용한 취약계층 보호관리 시스템
JP2015132963A (ja) 監視システム
JP6724051B2 (ja) 自動イベント予測のための方法および装置
KR101712191B1 (ko) 환자 낙상예방 모니터링 장치
WO2016199504A1 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
JPWO2019021744A1 (ja) 発報制御システム、検知ユニット、ケアサポートシステムおよび発報制御方法
KR20110035335A (ko) 열화상 카메라를 이용한 모니터링 방법 및 시스템
JP7172376B2 (ja) 情報提供装置、情報提供システム、情報提供方法、及びプログラム
WO2020071374A1 (ja) 状態監視装置および状態監視方法
WO2016126481A1 (en) System to determine events in a space
JPWO2019049530A1 (ja) データ処理装置、ケアサポートシステムおよびデータ処理方法
US20230172489A1 (en) Method And A System For Monitoring A Subject
JP7480475B2 (ja) 通知制御システム、通知制御方法、及びプログラム
KR101643248B1 (ko) 지능형 열상감지센서
Danielsen Non-intrusive bedside event recognition using infrared array and ultrasonic sensor
JP7500929B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2023548886A (ja) カメラを制御するための装置及び方法
JP2009268854A (ja) 転倒検知システム
JP2020091628A (ja) 要介護者見守りシステム
Takeda Proposal of an awakening behavior detection system for medical use and adaptation for fluctuation of the brightness quantity with infrared camera device Kinect
WO2021024691A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2023042310A1 (ja) 見守りシステム及び見守り方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant