KR102333947B1 - 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치 - Google Patents

멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치 Download PDF

Info

Publication number
KR102333947B1
KR102333947B1 KR1020200092011A KR20200092011A KR102333947B1 KR 102333947 B1 KR102333947 B1 KR 102333947B1 KR 1020200092011 A KR1020200092011 A KR 1020200092011A KR 20200092011 A KR20200092011 A KR 20200092011A KR 102333947 B1 KR102333947 B1 KR 102333947B1
Authority
KR
South Korea
Prior art keywords
heat
image
infectious disease
temperature
thermal
Prior art date
Application number
KR1020200092011A
Other languages
English (en)
Inventor
김성민
장채은
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020200092011A priority Critical patent/KR102333947B1/ko
Application granted granted Critical
Publication of KR102333947B1 publication Critical patent/KR102333947B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0008—Temperature signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • A61B2560/0252—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value using ambient temperature

Abstract

멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치 및 감염 질환 예방 방법이 개시된다. 본 발명의 일실시예에 따른, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법은, 복수의 사용자가 밀집되어 위치하는 공간에 대해 촬영된, 실화상 영상과 열화상 영상을 획득하는 단계; 상기 실화상 영상에 대한 얼굴인식을 통해, 상기 복수의 사용자 중 측정 대상자를 인식하는 단계; 상기 실화상 영상 내 상기 얼굴인식이 이루어진 영역과 정합되는, 상기 열화상 영상 내 대상 영역에 관한 열 수치를 확인하는 단계; 및 상기 확인된 열 수치가 정상 범위 이내에 속하지 않는 경우, 상기 측정 대상자에 대해 감염 위험을 보호자 단말에 통지하는 단계를 포함할 수 있다.

Description

멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치{METHOD AND APPARATUS FOR PREVENTING INFECTIOUS DISEASES USING THERMAL TRACKING AND THERMAL DISCRIMINATION USING MULTI-MODAL IMAGING}
본 발명은 밀도 높은 보육 환경에서 보육 대상 아동을 인식하여 비접촉 체온 측정과 함께 추적된 데이터를 바탕으로 체온 측정 아동의 발열 정도를 판단하여 아동의 질병을 조기에 발견할 수 있도록 지원하는, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치에 관한 것이다.
특히, 본 발명에서는, 멀티 모달 영상을 활용하여 아동의 얼굴 인식, 체온 모니터링, 발열 판별 및 감염 질환 위험도 알림 등의 기능을 갖는 감염 질환 모니터링 및 예방 시스템을 제공한다.
본 발명의 배경이 되는 기술은 다음의 문헌에 개시되어 있다.
1) 등록번호 : 10-1729327 (2017.04.21.) "듀얼 카메라를 이용한 체온 추적 모니터링 시스템"
2) 공개번호 : 10-2018-0123900 (2018.11.20.) "인체 감시 발열 경보 방법 및 장치"
3) 등록번호 : 10-1420200 (2014.07.21.) "열화상 카메라를 이용한 체온 감지 시스템"
4) 공개번호 : 10-2019-0106608 (2019.09.18.) "실내 공기조화 통합 제어 시스템"
밀도 높은 보육 환경에서는 보육 대상 아동 개개인을 항상 주의 깊게 관찰하는 것이 불가능할 수 있다.
또한, 밀도 높은 보육 환경에서는, 아동이 초기 질환 증상을 보인다고 할지라도 뚜렷한 이상 행동, 예컨대 기력 없음, 누워서 노는 경향을 보임, 통증 호소 등이 없는 경우, 질환을 초기에 발견하는 것이 매우 어려울 수 있다.
이에 따라, 감염 질환의 경우 경미한 증상을 보이는 경우에도 주위 다른 아동에게 전파가 가능하며, 밀도 높은 보육환경에서 초기에 감염 질환 아동을 인식하여 조치를 취하는 것이 매우 중요할 수 있다.
따라서, 실화상 영상과 열화상 영상을 정합시켜, 이들 영상을 통해, 아동 개개인의 체온을 실시간으로 모니터링하고, 정상 범위를 벗어나는 체온을 갖는 아동에 대해, 감염 위험을 사전에 경고하는 기술 개발이 절실히 필요한 실정이다.
본 발명의 실시예는, 여러 아동이 같은 공간에서 활동할 때, 실화상 영상과 열화상 영상을 활용하여 아동의 얼굴 인식과 체온 측정을 동시에 수행하여 아동 개개인의 체온을 추적 모니터링하는, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명의 실시예는, 모니터링 된 체온이 정상 범위를 벗어날 때, 그 정도에 따라 정상, 주의, 발열 질환 의심 등의 여러 단계로 알람을 주어, 눈으로 인식하기 힘든 초기 질환 아동을 판별하여 보육 환경 내에서 감염 질환의 전파를 조기에 차단할 수 있게 하는 것을, 목적으로 한다.
또한, 본 발명의 실시예는, 멀티 모달 영상 데이터를 이용하여 얼굴 인식을 통하여 아동 인식과 체온 열화상 영상을 이용한 비접촉 체온 측정이 동시에 이루어지도록 하는 것을 목적으로 한다.
또한, 본 발명의 실시예는, 여러 아동이 동시에 인식 범위에 들어오더라도 개별 아동을 일일이 식별하여 체온을 측정하고, 각 아동의 데이터베이스에 체온 정보를 업데이트하는 것을 목적으로 한다.
또한, 본 발명의 실시예는, 얼굴 인식을 위해 학습 기반 알고리즘(인공지능 알고리즘)을 활용하여 높은 얼굴 인식 정확도를 확보하는 것을 목적으로 한다.
또한, 본 발명의 실시예는, 각 아동별로 체온 측정 데이터가 축적되므로, 과거 데이터를 기반으로 현재 측정 체온의 이상 유무를 판단하여 정상, 관심 필요, 감염질환 의심 등의 위험도를 시각 신호 (디스플레이에 색깔, 글자 등의 정보로 표시)와 청각 신호 (관심 필요, 감염질환 의심 등의 위험도에 따라 알람 소리를 달리함)로 보육자에게 알람을 제공하여 감염질환 위험군을 조기에 판별하여 조치할 수 있게 하는 것을 목적으로 한다.
또한, 본 발명의 실시예는, 체온의 이상 유무 판별 시 학습 기반 알고리즘을 활용하여 높은 판별 정확도를 확보하는 것을 목적으로 한다.
본 발명의 일실시예에 따른, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법은, 복수의 사용자가 밀집되어 위치하는 공간에 대해 촬영된, 실화상 영상과 열화상 영상을 획득하는 단계; 상기 실화상 영상에 대한 얼굴인식을 통해, 상기 복수의 사용자 중 측정 대상자를 인식하는 단계; 상기 실화상 영상 내 상기 얼굴인식이 이루어진 영역과 정합되는, 상기 열화상 영상 내 대상 영역에 관한 열 수치를 확인하는 단계; 및 상기 확인된 열 수치가 정상 범위 이내에 속하지 않는 경우, 상기 측정 대상자에 대해 감염 위험을 보호자 단말에 통지하는 단계를 포함할 수 있다.
또한, 본 발명의 실시예에 따른, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치는, 복수의 사용자가 밀집되어 위치하는 공간에 대해 촬영된, 실화상 영상과 열화상 영상을 획득하는 획득부; 상기 실화상 영상에 대한 얼굴인식을 통해, 상기 복수의 사용자 중 측정 대상자를 인식하는 인식부; 상기 실화상 영상 내 상기 얼굴인식이 이루어진 영역과 정합되는, 상기 열화상 영상 내 대상 영역에 관한 열 수치를 확인하는 확인부; 및 상기 확인된 열 수치가 정상 범위 이내에 속하지 않는 경우, 상기 측정 대상자에 대해 감염 위험을 보호자 단말에 통지하는 처리부를 포함하여 구성할 수 있다.
본 발명의 일실시예에 따르면, 여러 아동이 같은 공간에서 활동할 때, 실화상 영상과 열화상 영상을 활용하여 아동의 얼굴 인식과 체온 측정을 동시에 수행하여 아동 개개인의 체온을 추적 모니터링하는, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의해서는, 모니터링 된 체온이 정상 범위를 벗어날 때, 그 정도에 따라 정상, 주의, 발열 질환 의심 등의 여러 단계로 알람을 주어, 눈으로 인식하기 힘든 초기 질환 아동을 판별하여 보육 환경 내에서 감염 질환의 전파를 조기에 차단할 수 있다.
또한, 본 발명에 의해서는, 멀티 모달 영상 데이터를 이용하여 얼굴 인식을 통하여 아동 인식과 체온 열화상 영상을 이용한 비접촉 체온 측정이 동시에 이루어지도록 할 수 있다.
또한, 본 발명에 의해서는, 여러 아동이 동시에 인식 범위에 들어오더라도 개별 아동을 일일이 식별하여 체온을 측정하고, 각 아동의 데이터베이스에 체온 정보를 업데이트 할 수 있다.
또한, 본 발명에 의해서는, 얼굴 인식을 위해 학습 기반 알고리즘(인공지능 알고리즘)을 활용하여 높은 얼굴 인식 정확도를 확보할 수 있다.
또한, 본 발명에 의해서는, 각 아동별로 체온 측정 데이터가 축적되므로, 과거 데이터를 기반으로 현재 측정 체온의 이상 유무를 판단하여 정상, 관심 필요, 감염질환 의심 등의 위험도를 시각 신호 (디스플레이에 색깔, 글자 등의 정보로 표시)와 청각 신호 (관심 필요, 감염질환 의심 등의 위험도에 따라 알람 소리를 달리함)로 보육자에게 알람을 제공하여 감염질환 위험군을 조기에 판별하여 조치할 수 있다.
또한, 본 발명에 의해서는, 체온의 이상 유무 판별 시 학습 기반 알고리즘을 활용하여 높은 판별 정확도를 확보할 수 있다.
또한, 본 발명에 의해서는, 강한 전염성을 가진 전염병이 유행할 경우, 발열이 주요한 증상 중 하나일 경우, 시스템의 설정을 통해 경미한 발열에도 개인의 정상 체온 범위를 우회하여 알람을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치의 구성을 도시한 블록도이다.
도 2는, 본 발명의 일실시예에 따른 감염 질환 예방 시스템의 블록도를 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 감염 질환 예방의 순서도를 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법을 도시한 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일실시예에 따른 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치(이하, '감염 질환 예방 장치'라 약칭함)(100)는 획득부(110), 인식부(120), 확인부(130), 및 처리부(140)를 포함하여 구성할 수 있다. 또한, 실시예에 따라, 감염 질환 예방 장치(100)는 정합부(150) 및 공조제어부(160)를 선택적으로 추가하여 구성할 수 있다.
우선, 획득부(110)는, 복수의 사용자가 밀집되어 위치하는 공간에 대해 촬영된, 실화상 영상과 열화상 영상을 획득한다. 즉, 획득부(110)는, 다수가 이용하는 대중적인 장소인 공간에 설치된, RGB 카메라와 열화상 카메라에 의해 촬영되어 생성되는 실화상 영상과 열화상 영상 각각을, 유무선 연결을 통해 각 카메라로부터 수신하여 획득하는 역할을 할 수 있다.
여기서, 상기 공간은, 주로 다수의 아동들이 단체로 생활하는, 예컨대 학교, 유치원, 돌봄 교실 등을 지칭할 수 있다.
또한, 획득부(110)는, 상기 실화상 영상을 생성하는 RGB 카메라와, 상기 열화상 영상을 생성하는 열화상 카메라가, 상기 공간을 바라보는 뷰 포인트(view point)를 동일하게 하여, 상기 실화상 영상과 상기 열화상 영상을 획득할 수 있다. 즉, 획득부(110)는 이종의 카메라가 동일한 뷰 포인트를 가지고, 동일한 장소를 촬영하게 함으로써, 상기 실화상 영상과 상기 열화상 영상이 동일한 대상을 배경으로 한 영상으로서 획득되도록 할 수 있다.
인식부(120)는 상기 실화상 영상에 대한 얼굴인식을 통해, 상기 복수의 사용자 중 측정 대상자를 인식한다. 즉, 인식부(120)는 실화상 영상에 촬영되어 있는 객체들 중에서, 얼굴인식에 따라, 얼굴 형체를 갖는 영역을 구별하는 역할을 수행할 수 있다.
상기 얼굴인식(Face Recognition)은 실화상 영상에서, 사람 얼굴의 대칭적인 구도, 생김새, 머리카락, 눈의 색상, 얼굴 근육의 움직임 등을 분석해 얼굴의 특징을 알아내는 작업을 지칭할 수 있다. 이러한 얼굴인식을 통해, 인식부(120)는 실화상 영상 내 객체에 대해, 얼굴 모양새에 따른 성별과 나이도 인지해 낼 수 있다.
또한, 인식부(120)는 정지된 얼굴 뿐 아니라, 웃는 표정을 포함한 얼굴 요소의 움직임과 근육의 변화도 파악할 수 있다. 이러한 얼굴인식은 분실이나 복제될 우려가 없다는 점에서 최근 차세대 신원확인 시스템으로 주목 받고 있고, 출입관리를 위한 보안에 가장 빠르게 확산되고 있으며 유통산업에서 맞춤형 홍보에도 적용되고 있다.
확인부(130)는 상기 실화상 영상 내 상기 얼굴인식이 이루어진 영역과 정합되는, 상기 열화상 영상 내 대상 영역에 관한 열 수치를 확인한다. 즉, 확인부(130)는 얼굴인식이 되어, 측정 대상자가 위치한 것을 파악되는 실화상 영상 내 영역에, 해당하는 열화상 영상 내 영역을 대상 영역으로 정하고, 대상 영역에서 측정되어진 체온 관련한 열 수치를 확인하는 역할을 할 수 있다.
만약, 대상 영역을 정할 수 없는 경우에는, 후술하는 정합부(150)에서 실화상 영상과 열화상 영상에 대한, 좌표 정합을 다시 수행하도록 할 수 있다.
상기 대상 영역은 실화상 영상과 열화상 영상을 정합시켜, 얼굴인식이 이루어진 영상의 영역과 대응되는 다른 영상의 영역으로 정의될 수 있다.
이러한 정합을 위해, 본 발명의 감염 질환 예방 장치(100)는 정합부(150)를 포함하여 구성될 수 있다.
정합부(150)는 상기 실화상 영상의 좌표계와 상기 열화상 영상의 좌표계를 매칭시켜, 상기 열화상 영상의 좌표를, 상기 실화상 영상의 좌표와 일치되도록 하고, 상기 실화상 영상에서 얼굴인식이 이루어진 좌표를 식별하며, 상기 식별된 좌표에 의해 지정되는, 상기 열화상 영상 내의 영역을, 상기 대상 영역으로 결정할 수 있다.
즉, 정합부(150)는 동일한 뷰 포인트로 촬영하여 획득된 실화상 영상과 열화상 영상에 대해, 좌표 정합을 통해, 보다 정확하게 영역을 일치시키는 역할을 할 수 있다.
예컨대, 정합부(150)는 카메라의 뷰 포인트가 도달하는 공간 내 일지점을 중심(0,0)으로 하여 각 영상 상에 가상의 좌표계를 설정 함으로써, 실화상 영상의 좌표계와 상기 열화상 영상의 좌표계에서 지정되는 임의 좌표의 공간 상 위치가 서로 동일해지도록 할 수 있다.
이후, 정합부(150)는 얼굴인식이 실제 진행된 실화상 영상의 좌표를 인지하고, 인지된 좌표에 의해 지정되는 열화상 영상의 영역을 대상 영역을 정하여, 확인부(130)로 하여금 대상 영역에서 측정된 열 수치를 확인할 수 있게 한다.
또한, 확인부(130)는, 상기 공간에서의 시간 대 별 실내 온도를 고려하여, 상기 열 수치에 대해 수치 보정할 수 있다.
즉, 확인부(130)는, 공간에서 시간 대 별로 변화하는 실내 온도의 영향을 반영하여, 열화상 영상의 기 측정된 열 수치를 조정할 수 있다. 예컨대, 상기 공간에 설치된 공조 시스템을 통해 냉방이 이루어지는 주간 시간(09:00~18:00) 동안, 확인부(130)는 열화상 영상에 의해 측정된 열 수치에 대해, 외부 기온과의 차이를 만큼 상향시켜 조정할 수 있다. 만약, 열화상 영상의 대상 영역에서 확인된 열 수치가 '35.5도'이고, 주간 시간 동안의, 실내 온도가 21도이며, 외부 기온이 23도이면, 확인부(130)는 실내 온도와 외부 기온과의 차이인 '2도'를, 상기 열 수치 '35.5도'에 반영하여, '37.5도'로 보정할 수 있다.
처리부(140)는 상기 확인된 열 수치가 정상 범위 이내에 속하지 않는 경우, 상기 측정 대상자에 대해 감염 위험을 보호자 단말에 통지한다. 즉, 처리부(140)는 열화상 영상 내 대상 영역에서의 열 수치가 정상 범위 외 이상 범위에 속하는 경우, 측정 대상자를 질병감염 의심자로 분류하여, 후속 처리를 진행할 수 있는 보호자에게 알리는 역할을 할 수 있다.
여기서 보호자 단말은, 아동인 측정 대상자를 실질적으로 보호하는 부모의 단말일 수 있고, 실시예에 따라 상기 공간을 관리하는 유치원 교사, 보육 관리자 등이 보유하는 단말일 수도 있다.
예컨대, 정상 범위가 주간 시간(09:00~18:00) 동안 '35.0~37.0도'로 설계된 상태에서, 확인된 열 수치가 '37.5도'이면, 처리부(140)는 열 수치가 정상 범위로부터 '0.5도' 초과하여 벗어난 것으로 판단하여, 해당 측정 대상자가 감염 위험에 있음을 보호자 단말로 통지할 수 있다.
보호자 단말에 감염 위험을 통지 함에 있어, 처리부(140)는 상기 열 수치가 상기 정상 범위를 벗어나는 정도에 따라, 상기 감염 위험을, 상기 보호자 단말의 디스플레이에서의 경고 이미지로서 상이하게 표출하거나, 또는 상기 보호자 단말의 스피커에서의 경고 음을 상이하게 출력하여 통지할 수 있다.
예컨대, 상기 열 수치가 정상 범위로부터 '0.5도' 초과하여 벗어난 상술의 예시에서, 처리부(140)는 측정 대상자의 감염 위험을, 보호자 단말의 디스플레이에서의 '감염 위험이 있습니다. 주의하세요.'의 경고 이미지로 표출하거나, 또는 보호자 단말의 스피커에서의 '중간 크기의 사이렌'의 경고 음을 출력하여 통지할 수 있다.
만약, 열 수치가 정상 범위를 '1.5도' 초과하여 벗어난 경우, 처리부(140)는 측정 대상자의 감염 위험을, 보호자 단말의 디스플레이에서의 '심각한 감염 위험이 있습니다. 조속한 전문의의 진찰이 요망됩니다.'의 보다 강한 경고 이미지로 표출하거나, 또는 보호자 단말의 스피커에서의 '가장 큰 크기의 사이렌'의 경고 음을 출력하여 통지할 수 있다.
실시예에 따라, 처리부(140)는 상기 정상 범위를 사용자 별로 최적화하여 설계할 수 있다.
이를 위해, 처리부(140)는, 사용자 데이터베이스로부터, 상기 측정 대상자의 평균 체온, 병력, 및 체질 중 적어도 하나의 개인 정보를 추출하고, 상기 개인 정보를 고려하여, 상기 측정 대상자 별로 상기 정상 범위를 조정할 수 있다.
즉, 처리부(140)는 측정 대상자의 체질적 특징, 주위 환경에 따른 신체 반응 등에 따라, 기 설계된 정상 범위를, 해당 측정 대상자에 따라 변경 조정 함으로써, 보다 정확한 감염 추정이 이루어지도록 유도할 수 있다.
예컨대, 정상 범위가 주간 시간(09:00~18:00) 동안 '35.0~37.0도'로 설계된 상태에서, 처리부(140)는 추출된 개인 정보를 분석하여, 측정 대상자가 마른 체질이라, 일반 사람들 보다 '0.3도' 정도 낮은 평균 체온을 갖고 있음을 인지하여, 해당 측정 대상자에 대해, 상기 정상 범위를 '34.7~36.7도'로 변경하여 조정할 수 있다.
이로 인해, 측정 대상자에 관해 확인된 열 수치가 '36.8도' 이더라도, 조정된 정상 범위 '34.7~36.7도' 이내에, 상기 열 수치 '36.8도'가 속하지 않게 되므로, 처리부(140)는 해당 측정 대상자에 대해 감염 위험을 판단하여 보호자 단말로 통지할 수도 있다.
또한, 다른 실시예에서, 처리부(140)는, 근래에 유행하는 질병 및 그 경향을 고려하여, 강한 전염성을 갖는 질병, 또는 주요 증상이 발열인 질병에 대해, 상기 정상 범위를 조정할 수 있다.
즉, 처리부(140)는 감염 정도나, 열의 발생이 주요 증상인 질병이 시기적으로 유행일 경우, 해당 시기에 한 해, 기 설계된 정상 범위를 변경 조정 함으로써, 비교적 낮은 발열이 발생하는 아동에 대해 보다 정확한 감염 추정이 이루어지도록 유도할 수 있다.
예컨대, 정상 범위가 주간 시간(09:00~18:00) 동안 '35.0~37.0도'로 설계된 상태에서, 처리부(140)는 계절성 독감이 유행인 시기에 상기 정상 범위를 일시적으로 '34.5~36.5도'로 변경하여 조정할 수 있다.
이로 인해, 측정 대상자에 관해 확인된 열 수치가 비교적 경미한 발열인 '36.7도' 이더라도, 조정된 정상 범위 '34.5~36.5도' 이내에, 상기 열 수치 '36.7도'가 속하지 않게 되므로, 처리부(140)는 해당 측정 대상자에 대해 감염 위험을 판단하여 보호자 단말로 통지할 수도 있다.
즉, 본 발명에 의해서는, 강한 전염성을 갖는 질병, 또는 주요 증상이 발열인 질병에 대해, 모니터링하는 체온 기준을 일시적으로 낮추어, 경미한 발열이 발생하는 아동이더라도, 보호자에게 알람하여 경고할 수 있다.
또한, 실시예에 따라, 처리부(140)는 공인된 기관(예컨대, 병의원, 전문의가 소속된 기관, 응급 처치사가 동행하는 119 구조대 등)에 의해, 감염 위험이 해소되는 경우, 기 설계된 정상 범위를 최적하게 조정할 수 있다.
즉, 처리부(140)는 상기 감염 위험의 통지 후, 공인 기관으로부터 검진 결과 상기 측정 대상자가 정상으로 판별되는 경우, 상기 정상 범위를 높은 온도대로 상향 조정할 수 있다.
이를 통해, 처리부(140)는 오류를 내포하는 정상 범위를 바로 잡고, 해당 측정 대상자에게 보다 최적화되는 크기의 정상 범위가 되도록 함으로써, 열 수치에 따른 감염 위험의 추정이 보다 정확하게 이루어지도록 할 수 있다.
예컨대, 정상 범위가 주간 시간(09:00~18:00) 동안 '35.0~37.0도'로 설계된 상태에서 열 수치 '37.2도'로 확인되어 감염 위험을 통지한 측정 대상자에 대해, 만약, 병의원에서의 정밀 검진 후 정상임이 입증되면, 처리부(140)는 상기 정상 범위를 '0.3도' 높인 '35.3~37.3도'로 변경하여 조정할 수 있다. 이에 따라, 이후 확인된 열 수치가 '37.2도'이더라도, 처리부(140)는 상향 조정된 정상 범위 '35.3~37.3도'에 의해 해당 측정 대상자를 감염 위험으로 판단하지 않게 하는 환경을 조성할 수 있다.
실시예에 따라, 처리부(140)는 얼굴인식에 따라 식별된 측정 대상자의 움직임 정도를 계산하여, 해당 측정 대상자의 이상 행동을 감지할 수 있다.
즉, 처리부(140)는 정해진 시간격을 두고 획득한 복수의 실화상 영상 내에서, 상기 얼굴인식을 통해 인식된 측정 대상자에 관한 움직임 정도를 계산하고, 상기 계산된 움직임 정도가, 기 설정된 한계를 벗어나면, 상기 감염 위험의 통지와 무관하게, 상기 측정 대상자에게 상기 측정 대상자에 대한 행동이상 위험을 상기 보호자 단말에 통지할 수 있다.
예컨대, 14:00에 획득한 첫번째 실화상 영상에서의 측정 대상자의 움직임과, 14:05에 획득한 두번째 실화상 영상에서의 측정 대상자의 움직임이 설정된 한계 '1m' 미만으로, 전혀 움직임이 없다고 판정되면, 처리부(140)는 해당 측정 대상자에게 행동이상이 발생하였음을 진단하여, 보호자 단말에, 행동이상이 발생한 측정 대상자에게 접근하도록 유도하는 통지를 할 수 있다.
이를 통해, 처리부(140)는 사고나 질환으로 인해, 움직임이 불편한 아동을 조기에 발견하여 보호자에게 통지하여 빠른 조치가 이루어지도록 유도할 수 있다.
실시예에 따라, 감염 질환 예방 장치(100)는 공간에 대한 기온을 모니터링하고, 모니터링 결과에 따라, 상기 공간에 대해 공기 환경을 제어하는 공조 시스템에 기온 조정을 명령할 수 있다.
이를 위해, 감염 질환 예방 장치(100)는 공조제어부(160)를 더 포함하여 구성할 수 있다.
공조제어부(160)는 상기 열화상 영상을 촬영하는 열화상 카메라에 의해, 상기 공간에 대한 기온을 체크하고, 상기 체크된 기온이, 설계된 최적 온도 범위와 일치하지 않으면, 공조 시스템으로, 상기 공간에 대한 기온 조정 명령을 송출할 수 있다.
예컨대, 공조제어부(160)는 열화상 영상에 의해 측정된 공간의 평균 기온을 연산하고, 연산된 평균 기온 '28도'가, 최적 온도 범위 '24~25도'와 일치하지 않음에 따라, 공조 시스템인 에어컨으로 기온의 하향 조정을 위한 명령을 작성하여 송출할 수 있다.
상기의 기온 조정 명령의 송출 후, 열화상 영상을 통해 연산된 공간의 평균 기온이 '25도' 이하가 되면, 공조제어부(160)는 평균 기온 '25도'가, 최적 온도 범위 '24~25도'와 일치 됨에 따라, 공조 시스템인 에어컨으로 작동 정지 명령을 작성하여 송출할 수 있다.
본 발명의 일실시예에 따르면, 여러 아동이 같은 공간에서 활동할 때, 실화상 영상과 열화상 영상을 활용하여 아동의 얼굴 인식과 체온 측정을 동시에 수행하여 아동 개개인의 체온을 추적 모니터링하는, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의해서는, 모니터링 된 체온이 정상 범위를 벗어날 때, 그 정도에 따라 정상, 주의, 발열 질환 의심 등의 여러 단계로 알람을 주어, 눈으로 인식하기 힘든 초기 질환 아동을 판별하여 보육 환경 내에서 감염 질환의 전파를 조기에 차단할 수 있다.
또한, 본 발명에 의해서는, 멀티 모달 영상 데이터를 이용하여 얼굴 인식을 통하여 아동 인식과 체온 열화상 영상을 이용한 비접촉 체온 측정이 동시에 이루어지도록 할 수 있다.
또한, 본 발명에 의해서는, 여러 아동이 동시에 인식 범위에 들어오더라도 개별 아동을 일일이 식별하여 체온을 측정하고, 각 아동의 데이터베이스에 체온 정보를 업데이트 할 수 있다.
또한, 본 발명에 의해서는, 얼굴 인식을 위해 학습 기반 알고리즘(인공지능 알고리즘)을 활용하여 높은 얼굴 인식 정확도를 확보할 수 있다.
또한, 본 발명에 의해서는, 각 아동별로 체온 측정 데이터가 축적되므로, 과거 데이터를 기반으로 현재 측정 체온의 이상 유무를 판단하여 정상, 관심 필요, 감염질환 의심 등의 위험도를 시각 신호 (디스플레이에 색깔, 글자 등의 정보로 표시)와 청각 신호 (관심 필요, 감염질환 의심 등의 위험도에 따라 알람 소리를 달리함)로 보육자에게 알람을 제공하여 감염질환 위험군을 조기에 판별하여 조치할 수 있다.
또한, 본 발명에 의해서는, 체온의 이상 유무 판별 시 학습 기반 알고리즘을 활용하여 높은 판별 정확도를 확보할 수 있다.
또한, 본 발명에 의해서는, 강한 전염성을 가진 전염병이 유행할 경우, 발열이 주요한 증상 중 하나일 경우, 시스템의 설정을 통해 경미한 발열에도 개인의 정상 체온 범위를 우회하여 알람을 제공할 수 있다.
도 2는, 본 발명의 일실시예에 따른 감염 질환 예방 시스템의 블록도를 설명하는 도면이다.
도 2에서는, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 시스템의 내부 구성을 설명한다.
실화상 영상 입력부(a-1)와, 열화상 영상 입력부(a-2)는 실화상 영상 및 열화상 영상을 획득할 수 있다.
얼굴 인식부(b)는 실화상 영상에서 인식 가능 얼굴이 있는지 판단할 수 있다.
정보 인식부(c)는 얼굴인식을 통하여 체온 측정자의 정보를 인식할 수 있다.
체온 측정부(d)는 실화상 영상의 얼굴영역을 바탕으로, 열화상 영상의 얼굴 영역 인식 및 체온 측정 데이터 획득을 수행할 수 있다.
데이터베이스(e)는 체온 측정자의 체온을 저장할 수 있다.
체온 이상 유무 판별부(f)는 데이터베이스(e)의 체온 측정 데이터를 기반으로 현재 측정 체온의 이상 유무를 판단할 수 있다.
시각 정보 출력부(g-1)와 청각 정보 출력부(g-2)는 측정 체온의 이상 유무에 따라, 정상, 관심 필요, 발열 질환 의심 등의 위험도를 디스플레이와 소리 등을 통하여 알려줄 수 있다.
도 3은 본 발명의 일실시예에 따른 감염 질환 예방의 순서도를 설명하는 도면이다.
우선, 감염 질환 예방 장치(100)는 복수의 사용자가 밀집되어 위치하는 공간에 대해 촬영된 실화상 영상을 획득할 수 있다(311).
또한, 감염 질환 예방 장치(100)는 실화상 영상에 대한 얼굴인식을 통해, 복수의 사용자 중 측정 대상자를 인식할 수 있다(312).
또한, 감염 질환 예방 장치(100)는 인식된 측정 대상자의 정보를 인식할 수 있다(313).
또한, 감염 질환 예방 장치(100)는 상기 공간에 대해 촬영된 열화상 영상을 획득할 수 있다(314).
또한, 감염 질환 예방 장치(100)는 열화상 영상과 인식된 정보를 이용하여, 측정 대상자의 체온을 측정할 수 있다(315).
또한, 감염 질환 예방 장치(100)는 측정된 체온 데이터를 저장할 수 있다(316).
또한, 감염 질환 예방 장치(100)는 측정 대상자의 체온 데이터가 정상 체온인지를 판별할 수 있다(317).
만약, 정상 체온일 경우(317의 yes 방향), 감염 질환 예방 장치(100)는 정상 체온의 체온 데이터를 데이터베이스에 저장하여 업데이트 할 수 있다(318). 이후 감염 질환 예방 장치(100)는 '시작'으로 리턴하여 단계 311에서부터 반복 수행할 수 있다.
만약, 정상 체온이 아닐 경우(317의 no 방향), 감염 질환 예방 장치(100)는 시각/청각 정보를 발생시켜, 알람을 제공할 수 있다(320).
또한, 감염 질환 예방 장치(100)는 비정상 체온의 체온 데이터를 데이터베이스에 저장하여 업데이트 할 수 있다(321). 이후 감염 질환 예방 장치(100)는 '시작'으로 리턴하여 단계 311에서부터 반복 수행할 수 있다.
아동의 얼굴 인식은 RGB 카메라 영상을 기반으로, 학습 기반 인공지능 알고리즘을 이용하여 이루어질 수 있다.
본 발명에서는, 각 아동의 영상 혹은 동일한 카메라로 촬영한 영상을 사전에 입력받아 등록하고, 등록된 영상과 현재 촬영된 영상을 비교하여, 촬영된 영상 내의 아동이 누구인지 파악할 수 있다.
감염 질환 예방 장치(100)는 RGB 카메라 영상과 열화상 카메라 영상의 영역 정합할 수 있다.
본 발명에서는, RGB 카메라와 열화상 카메라 각각을 캘리브레이션하여 왜곡을 보정한 후, RGB 카메라 영상과 열화상 카메라의 영역을 일치화하는 과정을 거칠 수 있다.
이를 통하여, 본 발명에서는, RGB 카메라의 영상과 열화상 카메라의 영상에서, 동일한 위치에 동일한 피사체가 위치하도록 할 수 있다.
또한, 본 발명은 RGB 카메라의 영상에서 아동의 얼굴이 인식되면 열화상 카메라의 동일 영역에서 얼굴의 열화상 데이터를 확인 가능하며, 해당 영역에서 온도 측정 데이터를 획득할 수 있다.
이 과정을 통하여, 본 발명에 의해서는, 여러 아동이 동시에 화면에 나타났을 경우에도, 각 아동의 얼굴과 온도 측정 데이터를 구분하여 인식할 수 있다.
감염 질환 예방 장치(100)는 개인 맞춤형 정상 온도 범위를 설정할 수 있다.
사람은 각자 정상 범위가 다를 수 있다. 아동의 경우도 마찬가지로, 정상 범위를 모두 동일하게 설정하였을 경우에는, 제대로 된 발열 모니터링이 불가능할 수 있다.
시스템 초기에는 모두 동일한 온도 대를 정상 범위로 설정하나, 이후 실제 측정된 온도 데이터를 기반으로 개인 별 정상 범위를 조정하여 업데이트 할 수 있다.
본 발명은 머신 러닝 알고리즘 등을 이용하여 측정 데이터의 정상 여부를 판별하게 되고, 정상이 아니라고 판단될 경우 위험도에 따라 소리, 시각 정보를 통하여 알람을 제공할 수 있다.
특히, 정상이 아니라고 판단된 경우에도 감염 질환 예방 장치(100)는 직접 측정, 병원 진료 등을 통하여 정상이라고 판별될 경우, 해당 측정치를 정상으로 수정하게 되고, 그 결과를 정상 범위의 업데이트에 활용할 수 있다.
이를 통하여, 감염 질환 예방 장치(100)는 각 측정 대상자 별로 정상 범위를 달리 설정하고, 각 측정 대상자 별 정상 범위는 실측치를 기반으로 하여 계속 업데이트 될 수 있다.
또한, 감염 질환 예방 장치(100)는 실내 온도를 반영할 수 있다.
열화상 카메라의 온도 측정 치는 실내 온도에 따라 달라질 수 있는데, 감염 질환 예방 장치(100)는 열화상 카메라를 통한 측정 대상의 측정치와 실내 온도 데이터를 동시에 측정하여 특정 시간 범위에서 실내 온도의 변화에 따라 각 대상의 온도 측정치가 어느 정도 변화하는지를 보고, 실내 온도 변화에 따른 보정 값을 구하여, 이를 온도 측정 값의 정상 여부를 판별하는데 사용할 수 있다.
감염 질환 예방 장치(100)는 공조 시스템과 연계한 능동 관리를 수행할 수 있다.
감염 질환 예방 장치(100)는 RGB 카메라, 열화상 카메라를 통한 멀티 모달 영상과 실내 온도 측정 값 등을 이용하여 실내에서 생활하기에 최적인 온도를 계산할 수 있으므로, 이 값을 이용하여 공조 시스템을 컨트롤하여 실내 온도를 생활하기에 쾌적한 조건으로 능동 조절할 수 있는 기능을 제공할 수 있다.
감염 질환 예방 장치(100)는 멀티 모달 영상을 이용한 움직임 모니터링 기능을 제공할 수 있다.
감염 질환 예방 장치(100)는 멀티 모달 영상을 이용하여 측정 대상 개인의 온도 측정 결과 뿐만 아니라, 움직임 데이터도 획득할 수 있으며, 이 값을 실내 온도, 온도 측정 값과 관련하여 측정 대상의 발열 여부 판단의 정확도를 향상시키는데 활용할 수 있으며, 발열 질환 이외의 다른 질환의 초기 증상 여부를 판별하는데 활용할 수 있다.
감염 질환 예방 장치(100)는 실내 온도가 급격한 변화 없이 측정 대상의 움직임에 급격한 변화가 발생하였다면, 이를 질환 의심 현상으로 인식할 수 있고, 이런 현상이 지속될 경우 질환 위험도가 높은 것으로 판단하여 알람을 제공할 수 있다.
특히, 감염 질환 예방 장치(100)는 온도 측정 값이 정상 범위의 경계에 있고, 움직임의 둔화가 눈에 띈다면 질환을 위험도를 높게 판단하고 알람을 주어 직접 확인할 수 있도록 유도할 수 있다.
이하, 도 4에서는 본 발명의 실시예들에 따른 감염 질환 예방 장치(100)의 작업 흐름을 상세히 설명한다.
도 4는 본 발명의 일실시예에 따른, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법을 도시한 흐름도이다.
본 실시예에 따른 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법은 감염 질환 예방 장치(100)에 의해 수행될 수 있다.
우선, 감염 질환 예방 장치(100)는, 복수의 사용자가 밀집되어 위치하는 공간에 대해 촬영된, 실화상 영상과 열화상 영상을 획득한다(410). 단계(410)는, 다수가 이용하는 대중적인 장소인 공간에 설치된, RGB 카메라와 열화상 카메라에 의해 촬영되어 생성되는 실화상 영상과 열화상 영상 각각을, 유무선 연결을 통해 각 카메라로부터 수신하여 획득하는 과정일 수 있다.
여기서, 상기 공간은, 주로 다수의 아동들이 단체로 생활하는, 예컨대 학교, 유치원, 돌봄 교실 등을 지칭할 수 있다.
또한, 감염 질환 예방 장치(100)는, 상기 실화상 영상을 생성하는 RGB 카메라와, 상기 열화상 영상을 생성하는 열화상 카메라가, 상기 공간을 바라보는 뷰 포인트를 동일하게 하여, 상기 실화상 영상과 상기 열화상 영상을 획득할 수 있다. 즉, 감염 질환 예방 장치(100)는 이종의 카메라가 동일한 뷰 포인트를 가지고, 동일한 장소를 촬영하게 함으로써, 상기 실화상 영상과 상기 열화상 영상이 동일한 대상을 배경으로 한 영상으로서 획득되도록 할 수 있다.
감염 질환 예방 장치(100)는 상기 실화상 영상에 대한 얼굴인식을 통해, 상기 복수의 사용자 중 측정 대상자를 인식한다(420). 단계(420)는 실화상 영상에 촬영되어 있는 객체들 중에서, 얼굴인식에 따라, 얼굴 형체를 갖는 영역을 구별하는 과정일 수 있다.
상기 얼굴인식은 실화상 영상에서, 사람 얼굴의 대칭적인 구도, 생김새, 머리카락, 눈의 색상, 얼굴 근육의 움직임 등을 분석해 얼굴의 특징을 알아내는 작업을 지칭할 수 있다. 이러한 얼굴인식을 통해, 감염 질환 예방 장치(100)는 실화상 영상 내 객체에 대해, 얼굴 모양새에 따른 성별과 나이도 인지해 낼 수 있다.
또한, 감염 질환 예방 장치(100)는 정지된 얼굴 뿐 아니라, 웃는 표정을 포함한 얼굴 요소의 움직임과 근육의 변화도 파악할 수 있다. 이러한 얼굴인식은 분실이나 복제될 우려가 없다는 점에서 최근 차세대 신원확인 시스템으로 주목 받고 있고, 출입관리를 위한 보안에 가장 빠르게 확산되고 있으며 유통산업에서 맞춤형 홍보에도 적용되고 있다.
감염 질환 예방 장치(100)는 상기 실화상 영상 내 상기 얼굴인식이 이루어진 영역과 정합되는, 상기 열화상 영상 내 대상 영역에 관한 열 수치를 확인한다(430). 단계(430)는 얼굴인식이 되어, 측정 대상자가 위치한 것을 파악되는 실화상 영상 내 영역에, 해당하는 열화상 영상 내 영역을 대상 영역으로 정하고, 대상 영역에서 측정되어진 체온 관련한 열 수치를 확인하는 과정일 수 있다.
만약, 대상 영역을 정할 수 없는 경우에는, 실화상 영상과 열화상 영상에 대한, 좌표 정합을 다시 수행하도록 할 수 있다.
상기 대상 영역은 실화상 영상과 열화상 영상을 정합시켜, 얼굴인식이 이루어진 영상의 영역과 대응되는 다른 영상의 영역으로 정의될 수 있다.
감염 질환 예방 장치(100)는 상기 실화상 영상의 좌표계와 상기 열화상 영상의 좌표계를 매칭시켜, 상기 열화상 영상의 좌표를, 상기 실화상 영상의 좌표와 일치되도록 하고, 상기 실화상 영상에서 얼굴인식이 이루어진 좌표를 식별하며, 상기 식별된 좌표에 의해 지정되는, 상기 열화상 영상 내의 영역을, 상기 대상 영역으로 결정할 수 있다.
즉, 감염 질환 예방 장치(100)는 동일한 뷰 포인트로 촬영하여 획득된 실화상 영상과 열화상 영상에 대해, 좌표 정합을 통해, 보다 정확하게 영역을 일치시키는 역할을 할 수 있다.
예컨대, 감염 질환 예방 장치(100)는 카메라의 뷰 포인트가 도달하는 공간 내 일지점을 중심(0,0)으로 하여 각 영상 상에 가상의 좌표계를 설정 함으로써, 실화상 영상의 좌표계와 상기 열화상 영상의 좌표계에서 지정되는 임의 좌표의 공간 상 위치가 서로 동일해지도록 할 수 있다.
이후, 감염 질환 예방 장치(100)는 얼굴인식이 실제 진행된 실화상 영상의 좌표를 인지하고, 인지된 좌표에 의해 지정되는 열화상 영상의 영역을 대상 영역을 정하여, 감염 질환 예방 장치(100)로 하여금 대상 영역에서 측정된 열 수치를 확인할 수 있게 한다.
또한, 감염 질환 예방 장치(100)는, 상기 공간에서의 시간 대 별 실내 온도를 고려하여, 상기 열 수치에 대해 수치 보정할 수 있다.
즉, 감염 질환 예방 장치(100)는, 공간에서 시간 대 별로 변화하는 실내 온도의 영향을 반영하여, 열화상 영상의 기 측정된 열 수치를 조정할 수 있다. 예컨대, 상기 공간에 설치된 공조 시스템을 통해 냉방이 이루어지는 주간 시간(09:00~18:00) 동안, 감염 질환 예방 장치(100)는 열화상 영상에 의해 측정된 열 수치에 대해, 외부 기온과의 차이를 만큼 상향시켜 조정할 수 있다. 만약, 열화상 영상의 대상 영역에서 확인된 열 수치가 '35.5도'이고, 주간 시간 동안의, 실내 온도가 21도이며, 외부 기온이 23도이면, 감염 질환 예방 장치(100)는 실내 온도와 외부 기온과의 차이인 '2도'를, 상기 열 수치 '35.5도'에 반영하여, '37.5도'로 보정할 수 있다.
감염 질환 예방 장치(100)는 상기 확인된 열 수치가 정상 범위 이내에 속하지 않는 경우, 상기 측정 대상자에 대해 감염 위험을 보호자 단말에 통지한다(440). 단계(440)는 열화상 영상 내 대상 영역에서의 열 수치가 정상 범위 외 이상 범위에 속하는 경우, 측정 대상자를 질병감염 의심자로 분류하여, 후속 처리를 진행할 수 있는 보호자에게 알리는 과정일 수 있다.
여기서 보호자 단말은, 아동인 측정 대상자를 실질적으로 보호하는 부모의 단말일 수 있고, 실시예에 따라 상기 공간을 관리하는 유치원 교사, 보육 관리자 등이 보유하는 단말일 수도 있다.
예컨대, 정상 범위가 주간 시간(09:00~18:00) 동안 '35.0~37.0도'로 설계된 상태에서, 확인된 열 수치가 '37.5도'이면, 감염 질환 예방 장치(100)는 열 수치가 정상 범위로부터 '0.5도' 초과하여 벗어난 것으로 판단하여, 해당 측정 대상자가 감염 위험에 있음을 보호자 단말로 통지할 수 있다.
보호자 단말에 감염 위험을 통지 함에 있어, 감염 질환 예방 장치(100)는 상기 열 수치가 상기 정상 범위를 벗어나는 정도에 따라, 상기 감염 위험을, 상기 보호자 단말의 디스플레이에서의 경고 이미지로서 상이하게 표출하거나, 또는 상기 보호자 단말의 스피커에서의 경고 음을 상이하게 출력하여 통지할 수 있다.
예컨대, 상기 열 수치가 정상 범위로부터 '0.5도' 초과하여 벗어난 상술의 예시에서, 감염 질환 예방 장치(100)는 측정 대상자의 감염 위험을, 보호자 단말의 디스플레이에서의 '감염 위험이 있습니다. 주의하세요.'의 경고 이미지로 표출하거나, 또는 보호자 단말의 스피커에서의 '중간 크기의 사이렌'의 경고 음을 출력하여 통지할 수 있다.
만약, 열 수치가 정상 범위를 '1.5도' 초과하여 벗어난 경우, 감염 질환 예방 장치(100)는 측정 대상자의 감염 위험을, 보호자 단말의 디스플레이에서의 '심각한 감염 위험이 있습니다. 조속한 전문의의 진찰이 요망됩니다.'의 보다 강한 경고 이미지로 표출하거나, 또는 보호자 단말의 스피커에서의 '가장 큰 크기의 사이렌'의 경고 음을 출력하여 통지할 수 있다.
실시예에 따라, 감염 질환 예방 장치(100)는 상기 정상 범위를 사용자 별로 최적화하여 설계할 수 있다.
이를 위해, 감염 질환 예방 장치(100)는, 사용자 데이터베이스로부터, 상기 측정 대상자의 평균 체온, 병력, 및 체질 중 적어도 하나의 개인 정보를 추출하고, 상기 개인 정보를 고려하여, 상기 측정 대상자 별로 상기 정상 범위를 조정할 수 있다.
즉, 감염 질환 예방 장치(100)는 측정 대상자의 체질적 특징, 주위 환경에 따른 신체 반응 등에 따라, 기 설계된 정상 범위를, 해당 측정 대상자에 따라 변경 조정 함으로써, 보다 정확한 감염 추정이 이루어지도록 유도할 수 있다.
예컨대, 정상 범위가 주간 시간(09:00~18:00) 동안 '35.0~37.0도'로 설계된 상태에서, 감염 질환 예방 장치(100)는 추출된 개인 정보를 분석하여, 측정 대상자가 마른 체질이라, 일반 사람들 보다 '0.3도' 정도 낮은 평균 체온을 갖고 있음을 인지하여, 해당 측정 대상자에 대해, 상기 정상 범위를 '34.7~36.7도'로 변경하여 조정할 수 있다.
이로 인해, 측정 대상자에 관해 확인된 열 수치가 '36.8도' 이더라도, 조정된 정상 범위 '34.7~36.7도' 이내에, 상기 열 수치 '36.8도'가 속하지 않게 되므로, 감염 질환 예방 장치(100)는 해당 측정 대상자에 대해 감염 위험을 판단하여 보호자 단말로 통지할 수도 있다.
또한, 다른 실시예에서, 감염 질환 예방 장치(100)는, 근래에 유행하는 질병 및 그 경향을 고려하여, 강한 전염성을 갖는 질병, 또는 주요 증상이 발열인 질병에 대해, 상기 정상 범위를 조정할 수 있다.
즉, 감염 질환 예방 장치(100)는 감염 정도나, 열의 발생이 주요 증상인 질병이 시기적으로 유행일 경우, 해당 시기에 한 해, 기 설계된 정상 범위를 변경 조정 함으로써, 비교적 낮은 발열이 발생하는 아동에 대해 보다 정확한 감염 추정이 이루어지도록 유도할 수 있다.
예컨대, 정상 범위가 주간 시간(09:00~18:00) 동안 '35.0~37.0도'로 설계된 상태에서, 감염 질환 예방 장치(100)는 계절성 독감이 유행인 시기에 상기 정상 범위를 일시적으로 '34.5~36.5도'로 변경하여 조정할 수 있다.
이로 인해, 측정 대상자에 관해 확인된 열 수치가 비교적 경미한 발열인 '36.7도' 이더라도, 조정된 정상 범위 '34.5~36.5도' 이내에, 상기 열 수치 '36.7도'가 속하지 않게 되므로, 감염 질환 예방 장치(100)는 해당 측정 대상자에 대해 감염 위험을 판단하여 보호자 단말로 통지할 수도 있다.
즉, 본 발명에 의해서는, 강한 전염성을 갖는 질병, 또는 주요 증상이 발열인 질병에 대해, 모니터링하는 체온 기준을 일시적으로 낮추어, 경미한 발열이 발생하는 아동이더라도, 보호자에게 알람하여 경고할 수 있다.
또한, 실시예에 따라, 감염 질환 예방 장치(100)는 공인된 기관(예컨대, 병의원, 전문의가 소속된 기관, 응급 처치사가 동행하는 119 구조대 등)에 의해, 감염 위험이 해소되는 경우, 기 설계된 정상 범위를 최적하게 조정할 수 있다.
즉, 감염 질환 예방 장치(100)는 상기 감염 위험의 통지 후, 공인 기관으로부터 검진 결과 상기 측정 대상자가 정상으로 판별되는 경우, 상기 정상 범위를 높은 온도대로 상향 조정할 수 있다.
이를 통해, 감염 질환 예방 장치(100)는 오류를 내포하는 정상 범위를 바로 잡고, 해당 측정 대상자에게 보다 최적화되는 크기의 정상 범위가 되도록 함으로써, 열 수치에 따른 감염 위험의 추정이 보다 정확하게 이루어지도록 할 수 있다.
예컨대, 정상 범위가 주간 시간(09:00~18:00) 동안 '35.0~37.0도'로 설계된 상태에서 열 수치 '37.2도'로 확인되어 감염 위험을 통지한 측정 대상자에 대해, 만약, 병의원에서의 정밀 검진 후 정상임이 입증되면, 감염 질환 예방 장치(100)는 상기 정상 범위를 '0.3도' 높인 '35.3~37.3도'로 변경하여 조정할 수 있다. 이에 따라, 이후 확인된 열 수치가 '37.2도'이더라도, 감염 질환 예방 장치(100)는 상향 조정된 정상 범위 '35.3~37.3도'에 의해 해당 측정 대상자를 감염 위험으로 판단하지 않게 하는 환경을 조성할 수 있다.
실시예에 따라, 감염 질환 예방 장치(100)는 얼굴인식에 따라 식별된 측정 대상자의 움직임 정도를 계산하여, 해당 측정 대상자의 이상 행동을 감지할 수 있다.
즉, 감염 질환 예방 장치(100)는 정해진 시간격을 두고 획득한 복수의 실화상 영상 내에서, 상기 얼굴인식을 통해 인식된 측정 대상자에 관한 움직임 정도를 계산하고, 상기 계산된 움직임 정도가, 기 설정된 한계를 벗어나면, 상기 감염 위험의 통지와 무관하게, 상기 측정 대상자에게 상기 측정 대상자에 대한 행동이상 위험을 상기 보호자 단말에 통지할 수 있다.
예컨대, 14:00에 획득한 첫번째 실화상 영상에서의 측정 대상자의 움직임과, 14:05에 획득한 두번째 실화상 영상에서의 측정 대상자의 움직임이 설정된 한계 '1m' 미만으로, 전혀 움직임이 없다고 판정되면, 감염 질환 예방 장치(100)는 해당 측정 대상자에게 행동이상이 발생하였음을 진단하여, 보호자 단말에, 행동이상이 발생한 측정 대상자에게 접근하도록 유도하는 통지를 할 수 있다.
이를 통해, 감염 질환 예방 장치(100)는 사고나 질환으로 인해, 움직임이 불편한 아동을 조기에 발견하여 보호자에게 통지하여 빠른 조치가 이루어지도록 유도할 수 있다.
실시예에 따라, 감염 질환 예방 장치(100)는 공간에 대한 기온을 모니터링하고, 모니터링 결과에 따라, 상기 공간에 대해 공기 환경을 제어하는 공조 시스템에 기온 조정을 명령할 수 있다.
감염 질환 예방 장치(100)는 상기 열화상 영상을 촬영하는 열화상 카메라에 의해, 상기 공간에 대한 기온을 체크하고, 상기 체크된 기온이, 설계된 최적 온도 범위와 일치하지 않으면, 공조 시스템으로, 상기 공간에 대한 기온 조정 명령을 송출할 수 있다.
예컨대, 감염 질환 예방 장치(100)는 열화상 영상에 의해 측정된 공간의 평균 기온을 연산하고, 연산된 평균 기온 '28도'가, 최적 온도 범위 '24~25도'와 일치하지 않음에 따라, 공조 시스템인 에어컨으로 기온의 하향 조정을 위한 명령을 작성하여 송출할 수 있다.
상기의 기온 조정 명령의 송출 후, 열화상 영상을 통해 연산된 공간의 평균 기온이 '25도' 이하가 되면, 감염 질환 예방 장치(100)는 평균 기온 '25도'가, 최적 온도 범위 '24~25도'와 일치 됨에 따라, 공조 시스템인 에어컨으로 작동 정지 명령을 작성하여 송출할 수 있다.
본 발명의 일실시예에 따르면, 여러 아동이 같은 공간에서 활동할 때, 실화상 영상과 열화상 영상을 활용하여 아동의 얼굴 인식과 체온 측정을 동시에 수행하여 아동 개개인의 체온을 추적 모니터링하는, 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의해서는, 모니터링 된 체온이 정상 범위를 벗어날 때, 그 정도에 따라 정상, 주의, 발열 질환 의심 등의 여러 단계로 알람을 주어, 눈으로 인식하기 힘든 초기 질환 아동을 판별하여 보육 환경 내에서 감염 질환의 전파를 조기에 차단할 수 있다.
또한, 본 발명에 의해서는, 멀티 모달 영상 데이터를 이용하여 얼굴 인식을 통하여 아동 인식과 체온 열화상 영상을 이용한 비접촉 체온 측정이 동시에 이루어지도록 할 수 있다.
또한, 본 발명에 의해서는, 여러 아동이 동시에 인식 범위에 들어오더라도 개별 아동을 일일이 식별하여 체온을 측정하고, 각 아동의 데이터베이스에 체온 정보를 업데이트 할 수 있다.
또한, 본 발명에 의해서는, 얼굴 인식을 위해 학습 기반 알고리즘(인공지능 알고리즘)을 활용하여 높은 얼굴 인식 정확도를 확보할 수 있다.
또한, 본 발명에 의해서는, 각 아동별로 체온 측정 데이터가 축적되므로, 과거 데이터를 기반으로 현재 측정 체온의 이상 유무를 판단하여 정상, 관심 필요, 감염질환 의심 등의 위험도를 시각 신호 (디스플레이에 색깔, 글자 등의 정보로 표시)와 청각 신호 (관심 필요, 감염질환 의심 등의 위험도에 따라 알람 소리를 달리함)로 보육자에게 알람을 제공하여 감염질환 위험군을 조기에 판별하여 조치할 수 있다.
또한, 본 발명에 의해서는, 체온의 이상 유무 판별 시 학습 기반 알고리즘을 활용하여 높은 판별 정확도를 확보할 수 있다.
또한, 본 발명에 의해서는, 강한 전염성을 가진 전염병이 유행할 경우, 발열이 주요한 증상 중 하나일 경우, 시스템의 설정을 통해 경미한 발열에도 개인의 정상 체온 범위를 우회하여 알람을 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
100 : 감염 질환 예방 장치
110 : 획득부 120 : 인식부
130 : 확인부 140 : 처리부
150 : 정합부 160 : 공조제어부

Claims (19)

  1. 감염 질환 예방 장치에 의해 구현되는 감염 질환 예방 방법에 있어서,
    상기 감염 질환 예방 장치 내 획득부에서, 복수의 사용자가 밀집되어 위치하는 공간에 대해 촬영된, 실화상 영상과 열화상 영상을 획득하는 단계;
    상기 감염 질환 예방 장치 내 인식부에서, 상기 실화상 영상에 대한 얼굴인식을 통해, 상기 복수의 사용자 중 측정 대상자를 인식하는 단계;
    상기 감염 질환 예방 장치 내 확인부에서, 상기 실화상 영상 내 상기 얼굴인식이 이루어진 영역과 정합되는, 상기 열화상 영상 내 대상 영역에 관한 열 수치를 확인하는 단계;
    상기 감염 질환 예방 장치 내 공조제어부에서, 상기 열화상 영상을 촬영하는 열화상 카메라에 의해, 상기 공간에 대한 기온을 체크하는 단계;
    상기 체크된 기온이, 설계된 최적 온도 범위인 '24~25도'와 일치하지 않으면,
    상기 공조제어부에서, 상기 공간에 설치된 공조 시스템으로, 상기 공간에 대한 기온의 하향 조정을 위한 기온 조정 명령을 송출하는 단계;
    상기 확인부에서, 상기 기온 조정 명령에 따른 상기 공조 시스템을 통해 냉방이 이루어지는 시간 동안, 상기 확인된 열 수치에 대해, 실내 온도와 외부 기온과의 차이 만큼 상향시켜 조정하는 단계; 및
    상기 감염 질환 예방 장치 내 처리부에서, 상기 열 수치가 정상 범위 이내에 속하지 않는 경우, 상기 측정 대상자에 대해 감염 위험을 보호자 단말에 통지하는 단계
    를 포함하는 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법.
  2. 제1항에 있어서,
    상기 감염 질환 예방 장치 내 정합부에서, 상기 실화상 영상의 좌표계와 상기 열화상 영상의 좌표계를 매칭시켜, 상기 열화상 영상의 좌표를, 상기 실화상 영상의 좌표와 일치되도록 하는 단계;
    상기 정합부에서, 상기 실화상 영상에서 얼굴인식이 이루어진 좌표를 식별하는 단계; 및
    상기 정합부에서, 상기 식별된 좌표에 의해 지정되는, 상기 열화상 영상 내의 영역을, 상기 대상 영역으로 결정하는 단계
    를 더 포함하는 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법.
  3. 제1항에 있어서,
    상기 처리부에서, 사용자 데이터베이스로부터, 상기 측정 대상자의 평균 체온, 병력, 및 체질 중 적어도 하나의 개인 정보를 추출하는 단계; 및
    상기 처리부에서, 상기 개인 정보를 고려하여, 상기 측정 대상자 별로 상기 정상 범위를 조정하는 단계
    를 더 포함하는 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법.
  4. 제1항에 있어서,
    상기 감염 위험의 통지 후, 공인 기관으로부터 검진 결과 상기 측정 대상자가 정상으로 판별되는 경우,
    상기 처리부에서, 상기 정상 범위를 높은 온도대로 상향 조정하는 단계
    를 더 포함하는 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법.
  5. 제1항에 있어서,
    상기 확인부에서, 상기 공간에서의 시간 대 별 실내 온도를 고려하여, 상기 열 수치에 대해 수치 보정하는 단계
    를 더 포함하는 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법.
  6. 제1항에 있어서,
    상기 처리부에서, 정해진 시간격을 두고 획득한 복수의 실화상 영상 내에서, 상기 얼굴인식을 통해 인식된 측정 대상자에 관한 움직임 정도를 계산하는 단계;
    상기 처리부에서, 상기 계산된 움직임 정도가, 기 설정된 한계를 벗어나면, 상기 감염 위험의 통지와 무관하게, 상기 측정 대상자에게 상기 측정 대상자에 대한 행동이상 위험을 상기 보호자 단말에 통지하는 단계
    를 더 포함하는 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법.
  7. 제1항에 있어서,
    상기 실화상 영상과 열화상 영상을 획득하는 단계는,
    상기 실화상 영상을 생성하는 RGB 카메라와, 상기 열화상 영상을 생성하는 열화상 카메라가, 상기 공간을 바라보는 뷰 포인트를 동일하게 하여, 상기 실화상 영상과 상기 열화상 영상을 획득하는 단계
    를 포함하는 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법.
  8. 제1항에 있어서,
    상기 보호자 단말에 통지하는 단계는,
    상기 열 수치가 상기 정상 범위를 벗어나는 정도에 따라, 상기 감염 위험을, 상기 보호자 단말의 디스플레이에서의 경고 이미지로서 상이하게 표출하거나, 또는 상기 보호자 단말의 스피커에서의 경고 음을 상이하게 출력하여 통지하는 단계
    를 포함하는 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법.
  9. 삭제
  10. 복수의 사용자가 밀집되어 위치하는 공간에 대해 촬영된, 실화상 영상과 열화상 영상을 획득하는 획득부;
    상기 실화상 영상에 대한 얼굴인식을 통해, 상기 복수의 사용자 중 측정 대상자를 인식하는 인식부;
    상기 실화상 영상 내 상기 얼굴인식이 이루어진 영역과 정합되는, 상기 열화상 영상 내 대상 영역에 관한 열 수치를 확인하는 확인부;
    상기 열화상 영상을 촬영하는 열화상 카메라에 의해, 상기 공간에 대한 기온을 체크하고, 상기 체크된 기온이, 설계된 최적 온도 범위인 '24~25도'와 일치하지 않으면, 상기 공간에 설치된 공조 시스템으로, 상기 공간에 대한 기온의 하향 조정을 위한 기온 조정 명령을 송출하는 공조제어부; 및
    상기 확인된 열 수치가 정상 범위 이내에 속하지 않는 경우, 상기 측정 대상자에 대해 감염 위험을 보호자 단말에 통지하는 처리부
    를 포함하고,
    상기 확인부는,
    상기 기온 조정 명령에 따른 상기 공조 시스템을 통해 냉방이 이루어지는 시간 동안, 상기 확인된 열 수치에 대해, 실내 온도와 외부 기온과의 차이 만큼 상향시켜 조정하는
    멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치.
  11. 제10항에 있어서,
    상기 감염 질환 예방 장치는,
    상기 실화상 영상의 좌표계와 상기 열화상 영상의 좌표계를 매칭시켜, 상기 열화상 영상의 좌표를, 상기 실화상 영상의 좌표와 일치되도록 하고, 상기 실화상 영상에서 얼굴인식이 이루어진 좌표를 식별하며, 상기 식별된 좌표에 의해 지정되는, 상기 열화상 영상 내의 영역을, 상기 대상 영역으로 결정하는 정합부
    를 더 포함하는 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치.
  12. 제10항에 있어서,
    상기 처리부는,
    사용자 데이터베이스로부터, 상기 측정 대상자의 평균 체온, 병력, 및 체질 중 적어도 하나의 개인 정보를 추출하고, 상기 개인 정보를 고려하여, 상기 측정 대상자 별로 상기 정상 범위를 조정하는
    멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치.
  13. 제10항에 있어서,
    상기 감염 위험의 통지 후, 공인 기관으로부터 검진 결과 상기 측정 대상자가 정상으로 판별되는 경우,
    상기 처리부는,
    상기 정상 범위를 높은 온도대로 상향 조정하는
    멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치.
  14. 제10항에 있어서,
    상기 확인부는,
    상기 공간에서의 시간 대 별 실내 온도를 고려하여, 상기 열 수치에 대해 수치 보정하는
    멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치.
  15. 제10항에 있어서,
    상기 처리부는,
    정해진 시간격을 두고 획득한 복수의 실화상 영상 내에서, 상기 얼굴인식을 통해 인식된 측정 대상자에 관한 움직임 정도를 계산하고, 상기 계산된 움직임 정도가, 기 설정된 한계를 벗어나면, 상기 감염 위험의 통지와 무관하게, 상기 측정 대상자에게 상기 측정 대상자에 대한 행동이상 위험을 상기 보호자 단말에 통지하는
    멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치.
  16. 제10항에 있어서,
    상기 획득부는,
    상기 실화상 영상을 생성하는 RGB 카메라와, 상기 열화상 영상을 생성하는 열화상 카메라가, 상기 공간을 바라보는 뷰 포인트를 동일하게 하여, 상기 실화상 영상과 상기 열화상 영상을 획득하는
    멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치.
  17. 제10항에 있어서,
    상기 처리부는,
    상기 열 수치가 상기 정상 범위를 벗어나는 정도에 따라, 상기 감염 위험을, 상기 보호자 단말의 디스플레이에서의 경고 이미지로서 상이하게 표출하거나, 또는 상기 보호자 단말의 스피커에서의 경고 음을 상이하게 출력하여 통지하는
    멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 장치.
  18. 삭제
  19. 제1항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020200092011A 2020-07-24 2020-07-24 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치 KR102333947B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200092011A KR102333947B1 (ko) 2020-07-24 2020-07-24 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200092011A KR102333947B1 (ko) 2020-07-24 2020-07-24 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102333947B1 true KR102333947B1 (ko) 2021-12-01

Family

ID=78933930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200092011A KR102333947B1 (ko) 2020-07-24 2020-07-24 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102333947B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101420200B1 (ko) * 2013-11-21 2014-07-21 (주)토핀스 열화상 카메라를 이용한 체온 감지 시스템
KR101729327B1 (ko) * 2015-11-10 2017-04-21 홍미선 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
KR20180123900A (ko) * 2017-05-10 2018-11-20 수원대학교산학협력단 인체 감시 발열 경보 방법 및 장치
KR20190106608A (ko) * 2018-03-06 2019-09-18 동서콘트롤(주) 실내 공기조화 통합 제어 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101420200B1 (ko) * 2013-11-21 2014-07-21 (주)토핀스 열화상 카메라를 이용한 체온 감지 시스템
KR101729327B1 (ko) * 2015-11-10 2017-04-21 홍미선 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
KR20180123900A (ko) * 2017-05-10 2018-11-20 수원대학교산학협력단 인체 감시 발열 경보 방법 및 장치
KR20190106608A (ko) * 2018-03-06 2019-09-18 동서콘트롤(주) 실내 공기조화 통합 제어 시스템

Similar Documents

Publication Publication Date Title
US11935301B2 (en) Information processing method, recording medium, and information processing system
ES2947667T3 (es) Sistemas y métodos para procesar vídeo en tiempo real de un dispositivo de imágenes médicas y detectar objetos en el vídeo
JP2023171650A (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
KR101978548B1 (ko) 안구 움직임 측정을 통한 어지럼 진단 서버, 방법, 및 이를 기록한 기록매체
CN112640427A (zh) 用于配置热成像系统的用户界面
JP6666488B2 (ja) 画像抽出装置
JP6199791B2 (ja) ペット健康診断装置、ペット健康診断方法及びプログラム
JP2020533702A (ja) 対象者識別システム及び方法
JP2020500570A (ja) 患者モニタリングシステム及び方法
CN107077214A (zh) 用于在医院中使用的通信的方法和系统
CA3110581C (en) System and method for evaluating the performance of a user in capturing an image of an anatomical region
JP7344520B2 (ja) 疾患者判別装置及び疾患者判別システム
CN110832599A (zh) 用于检测患者环境的光学图像数据和识别患者检查的方法、设备和计算机程序
Liu et al. Response to name: A dataset and a multimodal machine learning framework towards autism study
KR102321197B1 (ko) 딥러닝을 이용한 치매 위험인자 결정 방법 및 장치
JP5648452B2 (ja) 画像処理プログラムおよび画像処理装置
KR102333947B1 (ko) 멀티 모달 영상을 이용한 열 추적 및 열 판별 기술을 활용한 감염 질환 예방 방법 및 장치
JP2012079340A (ja) 不審対象検知システム、不審対象検知装置、不審対象検知方法及びプログラム
JP5025292B2 (ja) 不審者検知システム及び方法
KR102261175B1 (ko) 동물 인식 장치 및 동물 인식 방법
JP7067672B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2020241034A1 (ja) 監視システム及び監視方法
JP7351339B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
US20240038403A1 (en) Image display apparatus, image display system, image display method, and non-transitory computer readable medium
JP7416253B2 (ja) 会話監視装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant