KR102444277B1 - Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same - Google Patents

Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same Download PDF

Info

Publication number
KR102444277B1
KR102444277B1 KR1020200097007A KR20200097007A KR102444277B1 KR 102444277 B1 KR102444277 B1 KR 102444277B1 KR 1020200097007 A KR1020200097007 A KR 1020200097007A KR 20200097007 A KR20200097007 A KR 20200097007A KR 102444277 B1 KR102444277 B1 KR 102444277B1
Authority
KR
South Korea
Prior art keywords
thermal image
face
camera
monitoring
area
Prior art date
Application number
KR1020200097007A
Other languages
Korean (ko)
Other versions
KR20210120785A (en
Inventor
박헌수
정동주
Original Assignee
주식회사 에프엔지시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프엔지시스템 filed Critical 주식회사 에프엔지시스템
Priority to KR1020200097007A priority Critical patent/KR102444277B1/en
Publication of KR20210120785A publication Critical patent/KR20210120785A/en
Application granted granted Critical
Publication of KR102444277B1 publication Critical patent/KR102444277B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0008—Temperature signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0211—Combination with medical sensor, e.g. for measuring heart rate, temperature
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Abstract

본 발명은 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램에 관한 것이다.
본 발명의 실시예에 따르면, 출입자에 대한 얼굴 감시 기능과 열화상을 이용한 고온 감시 기능을 함께 실행함으로써, 출입자의 건강 이상 상태를 무인화된 감시 프로세스를 통해 모니터링할 수 있도록 구성된 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램이 개시된다. The present invention relates to a health abnormality detection method using face monitoring and thermal image monitoring, a health abnormality detection device and a computer program.
According to an embodiment of the present invention, face monitoring and thermal image monitoring configured to monitor the health abnormality of the occupants through an unmanned monitoring process by executing the face monitoring function and the high temperature monitoring function using thermal images together Disclosed are a health abnormality detection method, a health abnormality detection device, and a computer program using

Description

얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램 {Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same}{Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same}

본 발명은 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램에 관한 것으로서, 출입자에 대한 얼굴 감시 기능과 열화상을 이용한 고온 감시 기능을 함께 실행함으로써, 출입자의 건강 이상 상태를 무인화된 감시 프로세스를 통해 모니터링할 수 있도록 구성된 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to a health abnormality detection method, health abnormality detection device and computer program using face monitoring and thermal image monitoring. It relates to a health abnormality detection method, health abnormality detection device, and computer program using face monitoring and thermal image monitoring configured to monitor the state through an unmanned monitoring process.

열화상을 이용하여 사람의 신체 온도를 측정하고 건강 상태를 판단하는 기술들이 제안된 바 있다. Techniques for measuring a person's body temperature and judging health status using thermal imaging have been proposed.

이러한 종래기술의 일예로, 대한민국 공개특허 10-2015-0129937 (2015년11월23일 공개)은 객체 건강 상태 판단 방법 및 시스템에 관한 것으로서, 열상 카메라를 통해 적어도 하나의 객체와 적어도 하나의 흑체를 포함한 열화상을 획득하는 단계, 열화상에서 얼굴 인식을 통해 적어도 하나의 객체의 얼굴 온도를 검출하는 단계, 열화상 내 흑체의 측정 온도와 흑체의 기설정 온도의 차이를 토대로 얼굴 온도를 보정하는 단계, 및 보정된 얼굴 온도와 기준 온도 범위를 비교하여 객체의 건강 상태를 판단하는 단계하는 구성을 제안하였다. As an example of this prior art, Korean Patent Laid-Open Patent Publication No. 10-2015-0129937 (published on November 23, 2015) relates to a method and system for determining an object's health state, and provides at least one object and at least one black body through a thermal camera. obtaining a thermal image including; detecting the face temperature of at least one object through face recognition in the thermal image; correcting the face temperature based on the difference between the measured temperature of the black body in the thermal image and the preset temperature of the black body; and comparing the corrected face temperature with the reference temperature range to determine the health state of the object.

또다른 종래기술의 일예로, 대한민국 등록특허 10-2053295 (2019년12월02일 등록)은 안면의 온도 분포를 이용하여 대상자의 질병 감염 여부를 판단하는 방법과 장치에 관한 것으로서, 열화상 카메라로 대상자의 열화상을 획득하고, 획득된 열화상으로부터 복수의 관심 영역의 온도를 검출하여 상기 복수의 관심 영역의 온도로부터 대상자의 질병 감염 여부를 판단하는 방법과 장치를 제안하였다. As another example of the prior art, Republic of Korea Patent Registration No. 10-2053295 (registered on December 02, 2019) relates to a method and apparatus for determining whether a subject is infected with a disease using the temperature distribution of the face, and uses a thermal imaging camera. A method and apparatus for acquiring a thermal image of a subject, detecting the temperature of a plurality of regions of interest from the obtained thermal images, and determining whether the subject is infected with a disease from the temperatures of the plurality of regions of interest are proposed.

그런데, 상기 종래기술들은 얼굴의 온도를 측정하여 사람의 건강 상태 또는 질병 감염 여부 등을 판단할 뿐이며, 건물이나 시설의 출입 보안 관점을 고려한 구성을 제안하지 못하였다는 한계점이 있었다. However, the prior art has a limitation in that it only measures the temperature of the face to determine a person's health status or whether a person is infected with a disease, and cannot propose a configuration in consideration of the security point of access to a building or facility.

대한민국 공개특허 10-2015-0129937 (2015년11월23일 공개)Republic of Korea Patent Publication 10-2015-0129937 (published on November 23, 2015) 대한민국 등록특허 10-2053295 (2019년12월02일 등록)Republic of Korea Patent Registration 10-2053295 (Registered on December 02, 2019)

본 발명은 상기와 같은 문제점을 감안하여 안출한 것으로서, 출입자에 대한 얼굴 감시 기능과 열화상을 이용한 고온 감시 기능을 함께 실행함으로써, 출입자의 건강 이상 상태를 무인화된 감시 프로세스를 통해 모니터링할 수 있도록 구성된 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법, 건강 이상 감지장치 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다. The present invention has been devised in view of the above problems, and is configured to monitor the health abnormality of the occupants through an unmanned monitoring process by executing both the face monitoring function and the high-temperature monitoring function using thermal images. An object of the present invention is to provide a health abnormality detection method using face monitoring and thermal image monitoring, a health abnormality detection device and a computer program.

상기 목적을 감안한 본 발명의 일 측면에 따르면, 카메라와 열화상 센서를 구비한 건강 이상 감지장치에서 실행하는 건강 이상 감지방법으로서, 1) 출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하는 단계; 2) 고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하는 단계- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-; 3) 상기 2)단계를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하는 단계- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-; 및 4) 상기 3)단계를 통해 상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 단계;를 포함하여 구성된 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법이 개시된다.According to one aspect of the present invention in consideration of the above object, there is provided a health abnormality detection method performed in a health abnormality detection device having a camera and a thermal image sensor, 1) a camera image obtained through a camera to detect the face of an entrant monitoring; 2) monitoring a thermal image obtained through a thermal image sensor to detect a high-temperature thermal distribution region- The image coordinates of the camera image and the image coordinates of the thermal image are in a state in which they are matched with each other, and the high-temperature thermal distribution region is the thermal image It is an area determined to be above a preset temperature among the heat distribution areas included in the image-; 3) If the high-temperature heat distribution area is detected through step 2), and the high-temperature heat distribution area has an area at least partially common to the area of the occupant's face detected through step 1), the person is said to be in an abnormal state. Determining - The health abnormality is a state in which it is determined that the body temperature of the entrant is high above a preset temperature; and 4) when it is determined through step 3) that the entrant is in a state of health abnormality, providing, through a display means, a health abnormality occupant occurrence alarm indicating that an entrant with a health abnormality has occurred; Disclosed is a method for detecting health abnormalities using thermal imaging monitoring.

바람직하게 본 발명은, 상기 1)단계를 통해 출입자의 얼굴을 감지한 경우, 11) 상기 1)단계를 통해 감지한 출입자의 얼굴이 얼굴 데이터베이스에 등록된 얼굴인지를 판별하는 단계;를 더욱 포함하며, 상기 3)단계를 통해 상기 출입자가 건강 이상 상태라고 판단한 경우, 31) 상기 3)단계를 통해 건강 이상 상태라고 판단한 출입자의 얼굴 데이터베이스에 해당 출입자의 신체 온도 정보를 기록하는 단계;를 더욱 포함하여 구성된다. Preferably, the present invention further comprises; 11) determining whether the face of the entrant detected in step 1) is a face registered in the face database, when the face of the entrant is detected through step 1), , when it is determined in step 3) that the entrant has a health abnormality, 31) recording body temperature information of the entrant in the face database of the entrant who has been determined to have a health abnormality in step 3); further including is composed

바람직하게, 상기 건강 이상 출입자 발생 경보는, 건강 이상 상태라고 판단한 출입자의 얼굴을 표시수단의 화면 내에서 시각적으로 식별할 수 있는 얼굴 식별 정보 및 해당 출입자의 신체 온도 정보를 포함한다. Preferably, the health abnormality occupant occurrence alarm includes face identification information that can visually identify the entrant's face determined to be in a health abnormal state on the screen of the display means and body temperature information of the entrant.

바람직하게 본 발명은, 301) 상기 1)단계를 통해 출입자의 얼굴을 감지하지 않았는데 상기 2)단계를 통해 고온 열분포 영역을 감지한 경우, 카메라의 전방 측에 위치한 얼굴 촬영 지역으로 출입자가 이동하여 카메라 방향으로 얼굴을 향하도록 표시수단을 통해 출입자 이동 안내 지시를 출력하는 단계;를 더욱 포함하여 구성된다. Preferably, in the present invention, when the high-temperature heat distribution area is detected through step 2) without detecting the face of the entrant through step 1), the occupant moves to the face photographing area located on the front side of the camera to move the camera. and outputting an occupant movement guide instruction through the display means to face the face in the direction.

바람직하게 본 발명은, 301') 상기 2)단계를 통해 고온 열분포 영역을 감지하였는데 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 공통된 영역을 갖지 않는 경우, 카메라의 전방 측에 위치한 얼굴 촬영 지역으로 출입자가 이동하여 카메라 방향으로 얼굴을 향하도록 표시수단을 통해 출입자 이동 안내 지시를 출력하는 단계;를 더욱 포함하여 구성된다. Preferably, in the present invention, when the high-temperature heat distribution area is detected through step 301') 2), and the high-temperature heat distribution area does not have a common area with the area of the face of the entrant detected through step 1), the front of the camera and outputting an occupant movement guide instruction through the display means so that the occupant moves to the face photographing area located on the side and faces the face in the camera direction.

바람직하게 본 발명은, 상기 1)단계를 통해 출입자의 얼굴을 감지한 경우, 1001) 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역의 일부를 가리는 보형물이 착용되었는지를 판단하는 단계;를 더욱 포함하며, 상기 2)단계 이후, 3001) 상기 1001)단계를 통해 출입자의 얼굴에 보형물이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자의 얼굴의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 해당 출입자에게 얼굴의 보형물을 제거하고 카메라의 전방 측에 위치한 얼굴 촬영 지역으로 이동하여 카메라 방향으로 얼굴을 향하도록 표시수단을 통해 출입자 이동 안내 지시를 출력하는 단계;를 더욱 포함하여 구성된다. Preferably, in the present invention, when the face of the occupant is detected in step 1), 1001) determining whether an implant covering a part of the face of the occupant detected in step 1) is worn; further Including, after step 2), in the state where it is determined that the implant is worn on the face of the visitor through step 3001) and step 1001), and the high temperature heat distribution region is not detected through step 2), in the region of the face of the visitor When detecting a heat distribution area of interest set to a lower temperature range than the high temperature heat distribution area, remove the facial implant from the person in question, move to the face recording area located on the front side of the camera, and use the display means to direct the face toward the camera. It is configured to further include; outputting a movement guide instruction.

바람직하게 본 발명은, 상기 카메라 및 열화상 센서는 상기 건강 이상 감지장치의 전면부를 향해 카메라 영상을 촬영하거나 또는 열화상을 수득하도록 설치되고, 상기 카메라 및 열화상 센서와 다른 각도에서 카메라 영상을 촬영하거나 또는 열화상을 수득하는 측면 카메라 및 측면 열화상 센서를 상기 건강 이상 감지장치가 더욱 구비하며, 상기 1)단계를 통해 출입자의 얼굴을 감지한 경우, 1001) 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역의 일부를 가리는 보형물이 착용되었는지를 판단하는 단계;를 더욱 포함하며, 상기 2)단계 이후, 3002) 상기 1001)단계를 통해 출입자의 얼굴에 보형물이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자의 얼굴의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 상기 측면 열화상 센서를 이용하여 상기 열화상 센서와 다른 각도에서 상기 2)단계를 추가 실행하는 단계; 및 3003) 상기 2)단계의 추가 실행 결과 고온 열분포 영역을 감지한 경우, 관리자 단말로 감시 현장 확인 지시를 출력하는 단계;를 더욱 포함하여 구성된다. Preferably, in the present invention, the camera and the thermal image sensor are installed to take a camera image or obtain a thermal image toward the front of the health abnormality detection device, and take a camera image from an angle different from the camera and the thermal image sensor or a side camera and a side thermal image sensor for obtaining a thermal image, the health abnormality detecting device further includes 1001) the occupant detected through step 1) Further comprising the step of determining whether an implant covering a part of the face region of In a state where the high-temperature heat distribution area is not detected through the additionally performing step 2) at an angle; and 3003) outputting a monitoring site confirmation instruction to an administrator terminal when the high temperature heat distribution region is detected as a result of the additional execution of step 2).

바람직하게, 상기 1)단계 내지 4)단계는 상기 카메라 영상 및 열화상에 포함된 다수 출입자에 대해 각각 함께 실행하며, 41) 상기 3)단계를 통해 상기 다수 출입자 중 일부 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자와 건강 이상 상태가 아닌 출입자의 발생을 구분하여 알려주는 건강 이상 출입자 구분 발생 경보를 표시수단을 통해 제공하는 단계- 상기 건강 이상 출입자 구분 발생 경보는, 건강 이상 상태의 출입자의 얼굴과 건강 이상 상태가 아닌 출입자의 얼굴을 표시수단의 화면 내에서 상호 구분하여 시각적으로 식별할 수 있는 구분 얼굴 식별 정보 및 각각의 출입자의 신체 온도 정보를 포함함-;를 더욱 포함하여 구성된다. Preferably, steps 1) to 4) are performed together for multiple visitors included in the camera image and thermal image, 41) It is determined that some of the multiple visitors have a health abnormality through step 3). In this case, the step of providing, through a display means, a health abnormality occupant classification occurrence alarm that distinguishes the occurrence of entrants with health abnormalities and entrants not with health abnormalities through display means - The health abnormality occupant classification occurrence alarm is The face of the person and the face of the person who is not in a health condition are divided into each other on the screen of the display means to visually identify the face identification information and the body temperature information of each person. .

본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리; 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서; 및 카메라와 열화상 센서를 포함하고, 상기 프로세서는, 출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하고; 고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하며- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-; 상기 열화상 감시를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 카메라 영상 감시를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하고- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-; 상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 것을 특징으로 하는 건강 이상 감지장치가 개시된다. According to another aspect of the present invention, a memory for storing one or more instructions; a processor that executes the one or more instructions stored in the memory; and a camera and a thermal image sensor, wherein the processor monitors a camera image obtained through the camera in order to detect a face of an entrant; In order to detect a high-temperature heat distribution region, a thermal image obtained through a thermal image sensor is monitored - the image coordinates of the camera image and the image coordinates of the thermal image are matched with each other, and the high-temperature thermal distribution region is included in the thermal image It is an area determined to be above a preset temperature among the heat distribution areas; If the high-temperature heat distribution area is detected through the thermal image monitoring, and the high-temperature heat distribution area has an area at least partially common to the area of the occupant's face detected through the camera image monitoring, it is determined that the entrant is in an abnormal state, and - The health abnormality is a state in which it is determined that the body temperature of the entrant is high above a preset temperature-; Disclosed is a health abnormality detection device characterized in that, when it is determined that the entrant is in a health abnormal state, a health abnormal occupant occurrence alarm notifying that an entrant in a health abnormal state has occurred through a display means.

본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리와 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하는 하드웨어와 결합되어 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법을 실행하도록 매체에 저장된 컴퓨터 프로그램으로서, 상기 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법은, 1) 출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하는 단계; 2) 고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하는 단계- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-; 3) 상기 2)단계를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하는 단계- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-; 및 4) 상기 3)단계에서 상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다. According to another aspect of the present invention, a method for detecting health abnormalities using face monitoring and thermal image monitoring is provided in combination with hardware including a memory for storing one or more commands and a processor for executing the one or more commands stored in the memory. A computer program stored in a medium to be executed, the health abnormality detection method using the face monitoring and thermal image monitoring comprises the steps of: 1) monitoring a camera image obtained through a camera to detect the face of an occupant; 2) monitoring a thermal image obtained through a thermal image sensor to detect a high-temperature thermal distribution region- The image coordinates of the camera image and the image coordinates of the thermal image are in a state in which they are matched with each other, and the high-temperature thermal distribution region is the thermal image It is an area determined to be above a preset temperature among the heat distribution areas included in the image-; 3) If the high-temperature heat distribution area is detected through step 2), and the high-temperature heat distribution area has an area at least partially common to the area of the occupant's face detected through step 1), the person is said to be in an abnormal state. Determining - The health abnormality is a state in which it is determined that the body temperature of the occupant is higher than or equal to a preset temperature; and 4) when it is determined in step 3) that the occupant has a health abnormality, providing a health abnormality occupant occurrence alarm through the display means indicating that an entrant with a health abnormality has occurred. A computer program stored in a computer-readable medium is disclosed.

이와 같은 본 발명은, 출입자에 대한 얼굴 감시 기능과 열화상을 이용한 고온 감시 기능을 함께 실행함으로써, 출입자의 건강 이상 상태를 무인화된 감시 프로세스를 통해 모니터링할 수 있다는 장점이 있다. The present invention has the advantage of being able to monitor the health abnormality of the occupants through an unmanned monitoring process by executing both the face monitoring function for the occupants and the high-temperature monitoring function using thermal images.

또한 본 발명은, 건물이나 시설의 출입 보안 관점에서 건강 이상이 감지된 출입자에 대한 안내 처리를 효과적으로 제공하며, 다수 출입자에 대한 안내 처리와 마스크 등의 보형물을 착용한 출입자에 대한 처리를 효과적으로 제공하는 장점이 있다.In addition, the present invention effectively provides guidance processing for entrants with detected health abnormalities from the viewpoint of access security of a building or facility, and effectively provides guiding processing for multiple entrants and processing for entrants wearing implants such as masks There are advantages.

도 1은 본 발명의 일실시예에 따른 건강 이상 감지장치의 구성도,
도 2는 본 발명의 일실시예에 따른 건강 이상 감지장치의 하드웨어 관점의 구성도,
도 3은 본 발명의 일실시예에 따른 건강 이상 감지장치의 정면 방향 모식도,
도 4는 본 발명의 또다른 일실시예에 따른 건강 이상 감지장치의 평면 방향 모식도,
도 5는 본 발명의 일실시예에 따른 건강 이상 감지장치의 관리 서버 연동 구성도,
도 6은 본 발명의 일실시예에 따른 건강 이상 감지방법의 흐름도,
도 7은 본 발명의 일실시예에 따른 건강 이상 감지방법에서 출입자의 얼굴에 보형물이 착용된 상태를 설명하기 위한 모식도이다. 1 is a block diagram of a health abnormality detection device according to an embodiment of the present invention;
2 is a configuration diagram of a hardware point of view of an apparatus for detecting health abnormalities according to an embodiment of the present invention;
3 is a frontal schematic diagram of a health abnormality detection device according to an embodiment of the present invention;
4 is a schematic plan view of a health abnormality detection device according to another embodiment of the present invention;
5 is a configuration diagram of a management server interworking of a health abnormality detection device according to an embodiment of the present invention;
6 is a flowchart of a health abnormality detection method according to an embodiment of the present invention;
7 is a schematic diagram for explaining a state in which an implant is worn on a person's face in the method for detecting health abnormalities according to an embodiment of the present invention.

본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.The present invention may be embodied in various other forms without departing from its technical spirit or main characteristics. Accordingly, the embodiments of the present invention are merely illustrative in all respects and should not be construed as limiting.

제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. The terms 1st, 2nd, etc. are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but another component may exist in between.

본 출원에서 사용한 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서에 기재된 구성요소 또는 이들의 조합이 존재하는 것을 표현하려는 것이지, 다른 구성요소 또는 특징이 존재 또는 부가될 가능성을 미리 배제하는 것은 아니다. As used herein, the singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprises" or "comprising", "have" and the like are intended to represent the presence of elements or combinations thereof described in the specification, and the possibility that other elements or features may be present or added. It is not precluded.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 건강 이상 감지장치의 구성도, 도 2는 본 발명의 일실시예에 따른 건강 이상 감지장치의 하드웨어 관점의 구성도, 도 3은 본 발명의 일실시예에 따른 건강 이상 감지장치의 정면 방향 모식도, 도 4는 본 발명의 또다른 일실시예에 따른 건강 이상 감지장치의 평면 방향 모식도, 도 5는 본 발명의 일실시예에 따른 건강 이상 감지장치의 관리 서버 연동 구성도이다. 1 is a configuration diagram of an apparatus for detecting health abnormalities according to an embodiment of the present invention, FIG. 2 is a configuration diagram from a hardware perspective of an apparatus for detecting health abnormalities according to an embodiment of the present invention, and FIG. 3 is an embodiment of the present invention A frontal schematic diagram of a health abnormality detection device according to the , FIG. 4 is a planar direction schematic diagram of a health abnormality detection device according to another embodiment of the present invention, and FIG. 5 is management of a health abnormality detection device according to an embodiment of the present invention This is the configuration diagram of server linkage.

본 실시예의 건강 이상 감지장치(100)는, 예를 들어 건물이나 시설의 출입구에 설치되어 출입자에 대한 출입 인증과 함께 건강 이상 감지를 무인화된 감시 프로세스를 통해 실행하는 컴퓨팅 수단이다. The health abnormality detection device 100 of this embodiment is, for example, a computing means installed at the entrance of a building or facility to perform health abnormality detection through an unmanned monitoring process together with access authentication for the occupants.

본 실시예의 건강 이상 감지장치(100)는 개별 장치 단위로 로컬 동작이 가능하지만, 바람직하게는 도 5에 예시된 것처럼 네트워크(10)를 통해 관리 서버(200) 및 관리자 단말(300)과 연동할 수 있다. 관리 서버(200)는 개별 건강 이상 감지장치(100)에서 관리하는 얼굴 정보 및 출입자 정보를 전송받아 전체 정보를 관리할 수 있다. 관리자 단말(300)은 출입자에 대한 출입 허가 여부 및 출입자 관리 업무를 담당하는 관리자가 사용하는 단말이다. Although the health abnormality detection device 100 of this embodiment is capable of local operation in units of individual devices, it is preferable to interwork with the management server 200 and the manager terminal 300 through the network 10 as illustrated in FIG. 5 . can The management server 200 may receive the face information and the occupant information managed by the individual health abnormality detection device 100 to manage the entire information. The manager terminal 300 is a terminal used by a manager in charge of whether or not access is permitted for an access person and an access management task.

본 실시예의 건강 이상 감지장치(100)는 일반 영상을 촬영하는 카메라(140), 적외선을 감지하여 열화상을 촬영하는 열화상 센서(150), 각종 안내 및 판단 정보를 디스플레이하는 표시수단(170)을 구비한다. 일예로, 카메라(140)는 이미지 센서를 구비한 공지의 디지털 카메라일 수 있으며, 열화상 센서(150)는 적외선 감지 센서를 구비한 공지의 열화상 센서(열화상 카메라)일 수 있으며, 표시수단(170)은 공지의 전자식 디스플레이(예, LCD 또는 LED, OLED 등)일 수 있다. 표시수단(170)은 터치 패널 형태로 제작되어 입출력 인터페이스의 기능을 제공할 수도 있다. The health abnormality detection device 100 of this embodiment includes a camera 140 for capturing a general image, a thermal image sensor 150 for sensing infrared rays to capture a thermal image, and a display unit 170 for displaying various guidance and determination information. to provide For example, the camera 140 may be a known digital camera equipped with an image sensor, and the thermal image sensor 150 may be a known thermal image sensor (thermal image camera) equipped with an infrared sensor, and display means 170 may be a known electronic display (eg, LCD or LED, OLED, etc.). The display unit 170 may be manufactured in the form of a touch panel to provide a function of an input/output interface.

본 실시예의 건강 이상 감지장치(100)는 기능적 관점에서, 출입자(M1,M2)의 얼굴(F)을 실시간 또는 녹화 감지하기 위해 카메라(140)를 통해 수득한 카메라 영상(C)을 감시하는 카메라 영상 감시 모듈(102), 고온 열분포 영역을 실시간 또는 녹화 감지하기 위해 열화상 센서(150)를 통해 수득한 열화상(H)을 감시하는 열화상 감시 모듈(104), 고온 열분포 영역과 출입자(M1,M2)의 얼굴(F)의 영역에 기초하여 출입자(M1,M2)의 건강 이상 상태를 판단하는 건강 이상 상태 판단 모듈(106), 출입자(M1,M2)가 건강 이상 상태라고 판단한 경우에 이에 관한 정보를 표시수단(170) 및/또는 관리자 단말(300)을 통해 제공하는 경보/알림 모듈(108), 통상의 컴퓨팅 수단 관리 기능을 제공하는 운영 모듈(110)을 포함한다. The health abnormality detection device 100 of this embodiment is a camera that monitors the camera image (C) obtained through the camera 140 in order to detect the face (F) of the occupants (M1, M2) in real time or by recording from a functional point of view The video monitoring module 102, the thermal image monitoring module 104 for monitoring the thermal image (H) obtained through the thermal image sensor 150 to detect the high temperature heat distribution area in real time or by recording, the high temperature heat distribution area and the occupants (M1) , The health abnormal state determination module 106 that determines the health abnormal state of the occupants M1 and M2 based on the area of the face F of M2. It includes an alarm/notification module 108 for providing information about the display means 170 and/or the manager terminal 300, and an operation module 110 for providing a normal computing means management function.

또한, 본 실시예의 건강 이상 감지장치(100)는 미리 정해진 프로세스에 따라 출입자(M1,M2)의 얼굴(F)을 등록 및 관리하는 얼굴 데이터베이스(120), 출입자(M1,M2)의 개인 식별 정보 및 로그 정보를 관리하는 출입자 데이터베이스(130)를 포함한다. In addition, the health abnormality detecting device 100 of this embodiment includes a face database 120 that registers and manages the face F of the occupants M1 and M2 according to a predetermined process, and personal identification information of the occupants M1 and M2. and a visitor database 130 for managing log information.

도 2를 참조하면 하드웨어적 관점에서, 본 실시예의 건강 이상 감지장치(100)는 하나 이상의 명령을 저장하는 메모리(2) 및 상기 메모리(2)에 저장된 상기 하나 이상의 명령을 실행하는 프로세서(4)를 포함하며, 건강 이상 감지방법을 실행하도록 매체에 저장된 건강 이상 감지 애플리케이션 프로그램이 실행되는 컴퓨팅 장치이다. 본 실시예의 건강 이상 감지장치(100)는 데이터 입출력 인터페이스(6)와 통신 인터페이스(8), 데이터 표시 수단(3), 데이터 저장 수단(5)을 포함할 수 있다. Referring to FIG. 2 , from a hardware point of view, the health abnormality detection device 100 of this embodiment includes a memory 2 for storing one or more instructions and a processor 4 for executing the one or more instructions stored in the memory 2 . It is a computing device on which the health abnormality detection application program stored in the medium is executed to execute the health abnormality detection method. The health abnormality detecting device 100 of this embodiment may include a data input/output interface 6 , a communication interface 8 , a data display means 3 , and a data storage means 5 .

도 6은 본 발명의 일실시예에 따른 건강 이상 감지방법의 흐름도, 도 7은 본 발명의 일실시예에 따른 건강 이상 감지방법에서 출입자의 얼굴에 보형물이 착용된 상태를 설명하기 위한 모식도이다. 6 is a flowchart of a health abnormality detection method according to an embodiment of the present invention, and FIG. 7 is a schematic diagram for explaining a state in which an implant is worn on the face of an entrant in the health abnormality detection method according to an embodiment of the present invention.

1)단계에서 건강 이상 감지장치(100)는, 출입자(M1,M2)의 얼굴(F)을 감지하기 위해, 카메라(140)를 통해 수득한 카메라 영상(C)을 감시한다. 감시는 실시간으로 이뤄지며, 녹화 감시가 이뤄지는 것을 배제하지 않는다. 카메라 영상(C)의 감시는 얼굴 이외의 다른 신체 부분을 포함하여 이뤄질 수도 있다. In step 1), the health abnormality detection device 100 monitors the camera image C obtained through the camera 140 in order to detect the face F of the entrants M1 and M2. Monitoring is done in real time, and recording monitoring is not excluded. The monitoring of the camera image C may be performed by including other body parts other than the face.

2)단계에서 건강 이상 감지장치(100)는, 고온 열분포 영역을 감지하기 위해, 열화상 센서(150)를 통해 수득한 열화상(H)을 감시한다. 감시는 실시간으로 이뤄지며, 녹화 감시가 이뤄지는 것을 배제하지 않는다. 열화상(H)의 감시는 얼굴 이외의 다른 신체 부분을 포함하여 이뤄질 수도 있다. In step 2), the health abnormality detecting device 100 monitors the thermal image H obtained through the thermal image sensor 150 in order to detect a high-temperature heat distribution region. Monitoring is done in real time, and recording monitoring is not excluded. The thermal image H may be monitored by including other body parts other than the face.

상기 카메라 영상(C)의 영상 좌표와 상기 열화상(H)의 화상 좌표는 서로 정합된 상태이다. 좌표가 서로 정합된 상태라는 것은 동일한 영상 좌표계에 기반하여 영상 인식 및 처리가 가능한 상태로 이해될 수 있다. The image coordinates of the camera image C and the image coordinates of the thermal image H are matched with each other. The state in which the coordinates are matched with each other may be understood as a state in which image recognition and processing are possible based on the same image coordinate system.

상기 고온 열분포 영역은 상기 열화상(H)에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역이다. 미리 설정된 온도는 예를 들어 39℃와 같이 정상 체온을 벗어난 온도로 이해될 수 있으며, 구체적인 수치는 변경 가능하다. The high-temperature heat distribution area is an area determined to be equal to or higher than a preset temperature among heat distribution areas included in the thermal image H. The preset temperature may be understood as a temperature out of normal body temperature, such as 39°C, and specific values may be changed.

3)단계에서 건강 이상 감지장치(100)는, 상기 2)단계를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자(M1,M2)의 얼굴(F)의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자(M1,M2)가 건강 이상 상태라고 판단한다. 적어도 부분적으로 공통된 영역을 갖는다는 것은 화면 내에 공통된 좌표 영역을 갖는 것으로 이해될 수 있다. In step 3), the health abnormality detection device 100 detects the high-temperature heat distribution area through step 2), and the high-temperature heat distribution area detects the face (F) of the entrants M1 and M2 through step 1). When it has an area that is at least partially common with the area of , it is determined that the occupants M1 and M2 have a health abnormality. Having a common area, at least partially, may be understood as having a common coordinate area within the screen.

상기 건강 이상 상태는 상기 출입자(M1,M2)의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태이다. The health abnormality is a state in which it is determined that the body temperature of the occupants M1 and M2 is higher than or equal to a preset temperature.

4)단계에서 건강 이상 감지장치(100)는, 상기 3)단계를 통해 상기 출입자(M1,M2)가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자(M1,M2)가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단(170)을 통해 제공한다. In step 4), when the health abnormality detection device 100 determines that the occupants M1 and M2 are in a state of health through the step 3), health informs that the entrants M1 and M2 in a state of health abnormality have occurred. An abnormal occupant occurrence alarm is provided through the display means 170 .

일예로, 상기 건강 이상 출입자 발생 경보는, 건강 이상 상태라고 판단한 출입자(M1,M2)의 얼굴(F)을 표시수단(170)의 화면 내에서 시각적으로 식별할 수 있는 얼굴 식별 정보(예, 얼굴 식별 마커) 및 해당 출입자(M1,M2)의 신체 온도 정보(예, 온도 수치값)를 포함하며, 바람직하게 스피커(180)를 이용한 음성 출력도 가능하다. 건강 이상 출입자 발생 경보를 시각적으로 또는 청각적으로 확인한 출입자는 안내되는 방식에 따라 장소 이동 또는 머무름 동작을 할 수 있으며, 관리자가 이후 출입자에 대한 이동 안내 또는 의학적 처리를 할 수 있다. For example, the health abnormality occupant occurrence alarm is face identification information (eg, face) that can visually identify the face F of the occupants M1 and M2 determined to be in a health abnormal state within the screen of the display unit 170 . identification marker) and body temperature information (eg, temperature numerical value) of the corresponding entrants M1 and M2, and preferably, voice output using the speaker 180 is also possible. A person who visually or audibly confirms an alarm about the occurrence of a person with a health condition can move or stay in the location according to the guide method, and the manager can guide the person to move or provide medical treatment thereafter.

한편, 건강 이상 감지장치(100)는 출입자(M1,M2)의 얼굴(F) 등록 및 식별 기능을 가질 수 있다. Meanwhile, the health abnormality detecting device 100 may have a function of registering and identifying the face F of the entrants M1 and M2.

이를 위해, 상기 1)단계를 통해 출입자(M1,M2)의 얼굴(F)을 감지한 경우, 11)단계에서 건강 이상 감지장치(100)는, 상기 1)단계를 통해 감지한 출입자(M1,M2)의 얼굴(F)이 얼굴 데이터베이스(120)에 등록된 얼굴(F)인지를 더욱 판별한다. To this end, when the face F of the occupants M1 and M2 is detected in step 1), the health abnormality detection device 100 in step 11) detects the occupant M1, It is further determined whether the face F of M2) is a face F registered in the face database 120 .

또한, 상기 3)단계를 통해 상기 출입자(M1,M2)가 건강 이상 상태라고 판단한 경우, 31)단계에서 건강 이상 감지장치(100)는, 상기 3)단계를 통해 건강 이상 상태라고 판단한 출입자(M1,M2)의 얼굴 데이터베이스(120)에 해당 출입자(M1,M2)의 신체 온도 정보를 기록한다. 신체 온도 정보의 기록은 한 사람의 출입자에 대해 감지된 최저/최고/평균 온도값이 모두 기록될 수도 있다. In addition, when it is determined in step 3) that the occupants M1 and M2 are in an abnormal health state, the health abnormality detecting device 100 in step 31) determines that the occupants M1 and M2 are in a health abnormal state in step 3). , M2) records body temperature information of the corresponding entrants (M1, M2) in the face database 120 . In the recording of body temperature information, all of the detected minimum/highest/average temperature values for one person may be recorded.

이러한 과정을 통해 얼굴 데이터베이스(120)에 얼굴(F)이 등록된 출입자의 경우, 건강 이상 정보가 추적 관리될 수 있으며, 관리 서버(200)에서 이러한 정보를 전체적으로 관리할 수 있다. Through this process, in the case of an entrant whose face F is registered in the face database 120 , health abnormality information can be tracked and managed, and the management server 200 can manage this information as a whole.

한편, 변형예로서, 301)단계에서 건강 이상 감지장치(100)는, 상기 1)단계를 통해 출입자(M1,M2)의 얼굴(F)을 감지하지 않았는데 상기 2)단계를 통해 고온 열분포 영역을 감지한 경우, 카메라(140)의 전방 측에 위치한 얼굴 촬영 지역(RA)으로 출입자(M1,M2)가 이동하여 카메라(140) 방향으로 얼굴(F)을 향하도록 표시수단(170)을 통해 출입자 이동 안내 지시를 출력한다. On the other hand, as a modified example, in step 301), the health abnormality detecting device 100 did not detect the face F of the occupants M1 and M2 through step 1), but the high temperature heat distribution region was detected through step 2). When detected, the occupants M1 and M2 move to the face photographing area RA located on the front side of the camera 140 and face the occupant through the display means 170 to face the face F in the camera 140 direction. Outputs movement guidance instructions.

이러한 경우는, 고온 상태인 출입자가 있는데도 불구하고 얼굴이 정확하게 감지되지 않은 경우이거나, 또는 출입자의 체온이 아닌 물건의 온도로 인해 고온 열분포 영역이 감지된 경우일 수 있으므로, 정확한 확인을 위해 상기 프로세스가 실행된다. In this case, the face is not detected accurately despite the presence of a high-temperature occupant, or a high-temperature heat distribution region may be detected due to the temperature of an object other than the occupant's body temperature. is executed

얼굴 촬영 지역(RA)은 물리적 표시(예, 바닥 표시선) 또는 광학적 표시(예, 레이저광 표시) 등으로 안내될 수 있다. The facial imaging area RA may be guided by a physical mark (eg, a floor mark) or an optical mark (eg, a laser light mark) or the like.

이후, 302)단계에서 건강 이상 감지장치(100)는, 상기 출입자 이동 안내 지시를 출력한 이후, 설정 시간 이내에 상기 고온 열분포 영역이 출입자(M1,M2)의 얼굴(F)의 영역과 적어도 부분적으로 공통된 영역을 갖는 것으로 판단하지 못한 경우, 정확한 확인을 위해 관리자 단말(300)로 감시 현장 확인 지시를 출력한다. Thereafter, in step 302), the health abnormality detecting device 100 outputs the occupant movement guide instruction, and within a set time, the high-temperature heat distribution region is at least partially with the region of the face F of the occupants M1 and M2. If it is not determined to have a common area, a monitoring site confirmation instruction is output to the manager terminal 300 for accurate confirmation.

또다른 변형예로서, 301')단계에서 건강 이상 감지장치(100)는, 상기 2)단계를 통해 고온 열분포 영역을 감지하였는데 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자(M1,M2)의 얼굴(F)의 영역과 공통된 영역을 갖지 않는 경우, 카메라(140)의 전방 측에 위치한 얼굴 촬영 지역(RA)으로 출입자(M1,M2)가 이동하여 카메라(140) 방향으로 얼굴(F)을 향하도록 표시수단(170)을 통해 출입자 이동 안내 지시를 출력할 수 있다. As another modification, in step 301'), the health abnormality detection device 100 detects a high-temperature heat distribution area through step 2), and the high-temperature heat distribution area detects the high-temperature heat distribution area through step 1). ), the occupants M1 and M2 move to the face photographing area RA located on the front side of the camera 140 and face F in the camera 140 direction. ) may be output through the display means 170 to guide the movement of the entrants.

이러한 경우도, 고온 상태인 출입자가 있는데도 불구하고 얼굴이 정확하게 감지되지 않은 경우이거나, 또는 출입자의 체온이 아닌 물건의 온도로 인해 고온 열분포 영역이 감지된 경우일 수 있으므로, 정확한 확인을 위해 상기 프로세스가 실행된다. Even in this case, it may be a case in which a face is not detected accurately despite the presence of a high-temperature occupant, or a case in which a high-temperature heat distribution area is detected due to the temperature of an object other than the occupant's body temperature. is executed

이후, 건강 이상 감지장치(100)는 상기 302)단계를 실행한다. Thereafter, the health abnormality detection device 100 executes step 302).

한편, 변형예로서, 상기 1)단계를 통해 출입자(M1,M2)의 얼굴(F)을 감지한 경우, 1001)단계에서 건강 이상 감지장치(100)는, 상기 1)단계를 통해 감지한 출입자(M1,M2)의 얼굴(F)의 영역의 일부를 가리는 보형물(M,S)이 착용되었는지를 판단한다. 일예로 보형물(M,S)은 마스크(M), 선글라스(S) 등과 같이 얼굴 영역을 가리는 형태의 보형물이 될 수 있다. 보형물(M,S)의 착용 여부의 판단은 공지의 얼굴 인식 프로세스 기술을 이용하여 실행될 수 있으므로 상세 설명은 생략한다. On the other hand, as a modified example, when the face F of the occupants M1 and M2 is detected through step 1), the health abnormality detection device 100 in step 1001) detects the occupant through step 1). It is determined whether the implants (M, S) covering a part of the area of the face (F) of (M1, M2) are worn. For example, the implants M and S may be implants in the form of covering a face region, such as a mask M and sunglasses S. Since the determination of whether to wear the implants M and S may be performed using a known face recognition process technology, detailed description thereof will be omitted.

또한, 상기 2)단계 이후, 3001)단계에서 건강 이상 감지장치(100)는, 상기 1001)단계를 통해 출입자(M1,M2)의 얼굴(F)에 보형물(M,S)이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역(예, 39℃ 이상)을 감지하지 않은 상태에서, 출입자(M1,M2)의 얼굴(F)의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위(예, 38℃ 이상~39℃ 미만)로 설정된 요주의 열분포 영역을 감지한 경우, 해당 출입자(M1,M2)에게 얼굴(F)의 보형물(M,S)을 제거하고 카메라(140)의 전방 측에 위치한 얼굴 촬영 지역(RA)으로 이동하여 카메라(140) 방향으로 얼굴(F)을 향하도록 표시수단(170)을 통해 출입자 이동 안내 지시를 출력한다. In addition, after step 2), in step 3001), the health abnormality detection device 100 determines that the implants (M, S) are worn on the face (F) of the occupants (M1, M2) through the step 1001). In the state of not detecting the high-temperature heat distribution region (eg, 39° C. or higher) through step 2), in the area of the face F of the entrants M1 and M2, a lower temperature range (eg, 38° C.) When a heat distribution area of interest set to more than ~39℃) is detected, remove the implants (M,S) of the face (F) to the corresponding entrants (M1, M2), and the face recording area located on the front side of the camera 140 It moves to (RA) and outputs an occupant movement guide instruction through the display means 170 to face the face F in the direction of the camera 140 .

이러한 경우는, 출입자(M1,M2)의 얼굴(F)의 영역의 일부를 가리는 보형물(M,S)에 의해 얼굴에 고온 열분포 영역(예, 39℃ 이상)이 있음에도 불구하고 감지되지 않고, 보형물 주위 또는 인접 얼굴 영역에 고온 열분포 영역보다 다소 온도가 낮지만 여전히 위험도가 내재된 저온 범위(예, 38℃ 이상~39℃ 미만)의 요주의 열분포 영역이 감지된 경우이다. In this case, despite the presence of a high-temperature heat distribution region (eg, 39°C or higher) on the face by the implants (M,S) that cover a part of the face (F) of the visitors (M1, M2), the implant is not detected. This is a case in which a heat distribution area of interest in the low temperature range (eg, 38°C or higher to less than 39°C) is detected in the surrounding or adjacent face area, which is slightly lower than the high temperature heat distribution area but still has a risk.

이를 감안하여, 출입자(M1,M2)에게 얼굴(F)의 보형물(M,S)을 제거하도록 안내하고 더욱 정확한 촬영 및 온도 감지가 이뤄지도록 한다. In consideration of this, guide the entrants (M1, M2) to remove the implants (M, S) of the face (F) so that more accurate shooting and temperature sensing are performed.

한편, 상기 카메라(140) 및 열화상 센서(150)는 상기 건강 이상 감지장치(100)의 전면부(A1)를 향해 카메라 영상(C)을 촬영하거나 또는 열화상(H)을 수득하도록 설치될 수 있다. On the other hand, the camera 140 and the thermal image sensor 150 may be installed to take a camera image C or obtain a thermal image H toward the front portion A1 of the health abnormality detection device 100 . can

변형예로서, 상기 카메라(140) 및 열화상 센서(150)와 다른 각도(A2)에서 카메라 영상(C)을 촬영하거나 또는 열화상(H)을 수득하는 측면 카메라(140') 및 측면 열화상 센서(150')를 상기 건강 이상 감지장치(100)가 더욱 구비할 수 있다. As a modification, the side camera 140 ′ and the side thermal imager for taking a camera image C or obtaining a thermal image H from an angle A2 different from that of the camera 140 and the thermal image sensor 150 . The health abnormality detection device 100 may further include a sensor 150 ′.

이러한 구성을 가진 상태에서, 상기 1)단계를 통해 출입자(M1,M2)의 얼굴(F)을 감지한 경우, 1001)단계에서 건강 이상 감지장치(100)는, 상기 1)단계를 통해 감지한 출입자(M1,M2)의 얼굴(F)의 영역의 일부를 가리는 보형물(M,S)이 착용되었는지를 판단한다. In a state with such a configuration, when the face F of the occupants M1 and M2 is detected through step 1), the health abnormality detection device 100 in step 1001) detects through step 1). It is determined whether the implants M and S covering a part of the face F of the occupants M1 and M2 are worn.

또한, 상기 2)단계 이후, 3002)단계에서 건강 이상 감지장치(100)는, 상기 1001)단계를 통해 출입자(M1,M2)의 얼굴(F)에 보형물(M,S)이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자(M1,M2)의 얼굴(F)의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 상기 측면 열화상 센서(150')를 이용하여 상기 열화상 센서(150)와 다른 각도(A2)에서 상기 2)단계를 추가 실행한다. In addition, after step 2), in step 3002), the health abnormality detection device 100 determines that the implants (M, S) are worn on the face (F) of the entrants (M1, M2) through step 1001), In the state in which the high-temperature heat distribution area is not detected through step 2), when detecting a heat distribution area of interest set to a lower temperature range than the high-temperature heat distribution area in the area of the face F of the entrants M1 and M2, the side surface Step 2) is additionally performed at an angle A2 different from that of the thermal image sensor 150 by using the thermal image sensor 150'.

3003)단계에서 건강 이상 감지장치(100)는, 상기 2)단계의 추가 실행 결과 고온 열분포 영역을 감지한 경우, 관리자 단말(300)로 감시 현장 확인 지시를 출력한다. 본 실시예의 경우, 측면 카메라(140')를 통해 얼굴 감지가 정확하게 이뤄지지 않을 수도 있음을 감안하여 관리자가 현장에서 직접 확인하도록 한다. In step 3003), when the health abnormality detection device 100 detects a high temperature heat distribution region as a result of the additional execution of step 2), it outputs a monitoring site confirmation instruction to the manager terminal 300 . In the case of this embodiment, in consideration that face detection may not be performed accurately through the side camera 140 ′, the administrator directly checks it on the spot.

이러한 경우도, 출입자(M1,M2)의 얼굴(F)의 영역의 일부를 가리는 보형물(예, 마스크)에 의해 얼굴에 고온 열분포 영역(예, 39℃ 이상)이 있음에도 불구하고 감지되지 않고, 보형물 주위 또는 인접 얼굴 영역에 고온 열분포 영역보다 다소 온도가 낮지만 여전히 위험도가 내재된 저온 범위(예, 38℃ 이상~39℃ 미만)의 요주의 열분포 영역이 감지된 경우이다. Even in this case, despite the presence of a high-temperature heat distribution area (eg, 39°C or higher) on the face by the implant (eg, mask) that covers a part of the region of the face (F) of the visitors (M1, M2), the implant is not detected, This is a case in which a heat distribution area of interest in the low temperature range (eg, 38°C or higher to less than 39°C) is detected in the surrounding or adjacent face area, which is slightly lower than the high temperature heat distribution area but still has a risk.

다만, 본 실시예의 경우, 출입자(M1,M2) 및 주위 사람들의 안전(예, 바이러스 감염 방지)을 우선 고려하여 얼굴(F)의 보형물(예, 마스크)을 제거하도록 안내하지 않고, 측면 열화상 센서(150')를 이용하여 상기 열화상 센서(150)와 다른 각도(A2, 예, 얼굴과 마스크 사이 틈새를 촬영할 수 있는 각도)에서 상기 2)단계를 추가 실행하여 더욱 정확한 촬영 및 온도 감지가 이뤄지도록 한다. However, in this embodiment, in consideration of the safety (eg, prevention of virus infection) of the occupants (M1, M2) and surrounding people, the removal of the implant (eg, mask) of the face (F) is not guided, but the side thermal image By using the sensor 150', the step 2) is additionally performed at an angle different from the thermal image sensor 150 (A2, for example, an angle capable of photographing a gap between the face and the mask) to achieve more accurate imaging and temperature detection. make it happen

한편, 변형예로서, 상기 1)단계 내지 4)단계는 상기 카메라 영상(C) 및 열화상(H)에 포함된 다수 출입자(M1,M2)에 대해 각각 함께 실행할 수 있다. Meanwhile, as a modification, steps 1) to 4) may be performed together with respect to the plurality of persons M1 and M2 included in the camera image C and the thermal image H, respectively.

41)단계에서 건강 이상 감지장치(100)는, 상기 3)단계를 통해 상기 다수 출입자(M1,M2) 중 일부 출입자(M1)가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자(M1)와 건강 이상 상태가 아닌 출입자(M2)의 발생을 구분하여 알려주는 건강 이상 출입자 구분 발생 경보를 표시수단(170)을 통해 제공한다. In step 41), the health abnormality detection device 100 determines that some of the visitors M1 and M2 among the plurality of visitors M1 and M2 are in an abnormal health state through the step 3), and A health abnormality classification occurrence alarm is provided through the display means 170 to distinguish and inform the occurrence of the occupant M2 who is not in a health abnormal state.

일예로, 상기 건강 이상 출입자 구분 발생 경보는, 건강 이상 상태의 출입자(M1)의 얼굴(F)과 건강 이상 상태가 아닌 출입자(M2)의 얼굴(F)을 표시수단(170)의 화면 내에서 상호 구분하여 시각적으로 식별할 수 있는 구분 얼굴 식별 정보(예, 얼굴 구분 마킹) 및 각각의 출입자(M1,M2)의 신체 온도 정보를 포함한다. As an example, the health abnormality occupant classification occurrence alarm displays the face F of the entrant M1 with a health abnormality and the face F of the entrant M2 with no health abnormality within the screen of the display means 170 . It includes distinguishable face identification information (eg, face discrimination marking) that can be distinguished and visually identified from each other and body temperature information of each occupant (M1, M2).

42)단계에서 건강 이상 감지장치(100)는, 건강 이상 상태가 아닌 출입자(M2)에게는 출입구를 향하여 이동하도록 표시수단(170)을 통해 출입구 안내를 출력한다. In step 42), the health abnormality detecting device 100 outputs an entrance guide through the display means 170 to move toward the entrance to the entrant M2 who is not in a health abnormal state.

바람직하게 상기 42)단계는 다음과 같이 더욱 상세하게 구성된다. Preferably, step 42) is configured in more detail as follows.

421)단계에서 건강 이상 감지장치(100)는, 건강 이상 상태가 아닌 출입자(M2)에게 마스크(M) 착용을 지시하는 마스크 착용 지시를 출력한다. 이는 건강 이상 상태가 아닌 출입자(M2)를 먼저 출입 허가하기 위한 안전 조치이다. In step 421), the health abnormality detecting device 100 outputs a mask wearing instruction for instructing the occupant M2 to wear the mask M2, which is not in a health abnormal state. This is a safety measure to allow entry and exit of the person (M2) who is not in an abnormal state.

422)단계에서 건강 이상 감지장치(100)는, 카메라 영상(C) 및 열화상(H) 영상을 통해 출입자(M2)의 얼굴(F)에 마스크(M)가 착용되었는지를 판단한다. In step 422), the health abnormality detecting apparatus 100 determines whether the mask M is worn on the face F of the occupant M2 through the camera image C and the thermal image H image.

423)단계에서 건강 이상 감지장치(100)는, 출입자(M2)의 얼굴(F)에 마스크(M)가 착용되었다고 판단한 경우, 출입자(M2)에게 출입구를 향하여 이동하도록 표시수단(170)을 통해 출입구 안내를 출력한다. In step 423), when it is determined that the mask M is worn on the face F of the occupant M2, the health abnormality detection device 100 allows the occupant M2 to move toward the entrance. Print out the entrance guide.

이후, 43)단계에서 건강 이상 감지장치(100)는, 건강 이상 상태의 출입자(M1)에게는 이동을 중지하고 상기 41)단계의 판단 시점의 위치에서 설정 시간 동안 머무르도록 표시수단(170)을 통해 이동 중지 안내 지시를 출력한다. 설정 시간은 관리자가 후속 조치를 취하기 위한 준비 시간을 고려하여 설정한다. Then, in step 43), the health abnormality detection device 100 stops the movement for the entrant M1 in a health abnormal state and displays the display means 170 to stay at the position at the time of determination in step 41) for a set time. Outputs a movement stop guidance instruction through The set time is set in consideration of the preparation time for the manager to take follow-up actions.

바람직하게 상기 43)단계는 431)단계를 더욱 포함할 수 있다. Preferably, step 43) may further include step 431).

431)단계에서 건강 이상 감지장치(100)는, 카메라 영상(C) 및 열화상(H)에 기초하여, 상기 설정 시간이 경과되지 않았음에도 불구하고 건강 이상 상태의 출입자(M1)가 상기 41)단계의 판단 시점의 위치에서 벗어난 것으로 판단한 경우, 표시수단(170)을 통해 무단 이탈 금지 경보를 출력하고, 또한 관리자 단말(300)로 감시 현장 확인 지시를 출력한다. In step 431), the health abnormality detecting device 100 detects the entrant M1 in a health abnormal state even though the set time has not elapsed based on the camera image (C) and the thermal image (H). If it is determined that the position is deviated from the position at the time of determination of the step, an unauthorized departure prohibition alarm is output through the display means 170 , and a monitoring site confirmation instruction is output to the manager terminal 300 .

상기 구성을 취하는 경우, 다수 출입자(M1,M2)에 대해 상기 1)단계 내지 4)단계를 동시 진행할 수 있으므로 건강 이상 판단 프로세스를 훨씬 빠른 속도로 효율적으로 진행할 수 있다. In the case of taking the above configuration, since steps 1) to 4) can be simultaneously performed for a plurality of people M1 and M2, the health abnormality determination process can be efficiently performed at a much faster speed.

또한, 건강 이상 상태의 출입자(M1)와 건강 이상 상태가 아닌 출입자(M2)의 발생을 구분하여 알려주고, 각각의 출입자(M1 또는 M2)에 대해 별도의 사후 프로세스를 실행하므로, 건강 이상 상태가 아닌 출입자(M2)의 건강을 보호하면서도 출입 통제의 효율을 도모하고, 건강 이상 상태의 출입자(M1)에 대한 관리를 철저하게 하는 장점이 있다. In addition, since the occurrence of an entrant (M1) with an abnormal health condition and an occupant (M2) without an abnormal health state are separately notified and a separate post-process is executed for each entrant (M1 or M2), the There are advantages of protecting the health of the entrant M2, promoting the efficiency of access control, and thoroughly managing the entrant M1 with an abnormal health condition.

본 발명의 실시예 들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램과 이를 기록한 컴퓨터 판독가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, USB 드라이브와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include a program for performing various computer-implemented operations and a computer-readable medium recording the same. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs, DVDs, and USB drives, magneto-optical media such as floppy disks, and ROM, RAM, Included are hardware devices specially configured to store and execute program instructions, such as flash memory and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

100: 건강 이상 감지장치
140: 카메라
150: 열화상 센서
170: 표시수단
180: 스피커
200: 관리 서버
300: 관리자 단말100: health abnormality detection device
140: camera
150: thermal image sensor
170: display means
180: speaker
200: management server
300: administrator terminal

Claims (14)

카메라와 열화상 센서를 구비한 건강 이상 감지장치에서 실행하는 건강 이상 감지방법으로서,
1) 출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하는 단계;
2) 고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하는 단계- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-;
3) 상기 2)단계를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하는 단계- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-; 및
4) 상기 3)단계를 통해 상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 단계;를 포함하며,
상기 카메라 및 열화상 센서는 상기 건강 이상 감지장치의 전면부를 향해 카메라 영상을 촬영하거나 또는 열화상을 수득하도록 설치되고, 상기 카메라 및 열화상 센서와 다른 각도에서 카메라 영상을 촬영하거나 또는 열화상을 수득하는 측면 카메라 및 측면 열화상 센서를 상기 건강 이상 감지장치가 구비하며,
상기 1)단계를 통해 출입자의 얼굴을 감지한 경우,
1001) 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역의 일부를 가리는 보형물이 착용되었는지를 판단하는 단계;를 포함하며,
상기 2)단계 이후,
3002) 상기 1001)단계를 통해 출입자의 얼굴에 보형물이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자의 얼굴의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 상기 측면 열화상 센서를 이용하여 상기 열화상 센서와 다른 각도에서 상기 2)단계를 추가 실행하는 단계; 및
3003) 상기 2)단계의 추가 실행 결과 고온 열분포 영역을 감지한 경우, 관리자 단말로 감시 현장 확인 지시를 출력하는 단계;를 포함하여 구성된 것을 특징으로 하는 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법.
As a health abnormality detection method executed by a health abnormality detection device having a camera and a thermal image sensor,
1) monitoring a camera image obtained through a camera in order to detect the face of an entrant;
2) monitoring a thermal image obtained through a thermal image sensor to detect a high-temperature thermal distribution region- The image coordinates of the camera image and the image coordinates of the thermal image are in a state in which they are matched with each other, and the high-temperature thermal distribution region is the thermal image It is an area determined to be above a preset temperature among the heat distribution areas included in the image-;
3) If the high-temperature heat distribution area is detected through step 2), and the high-temperature heat distribution area has an area at least partially common to the area of the occupant's face detected through step 1), the person is said to be in an abnormal state. Determining - The health abnormality is a state in which it is determined that the body temperature of the entrant is high above a preset temperature; and
4) when it is determined through step 3) that the entrant has a health abnormality, providing a health abnormal occupant occurrence alarm through the display means to inform that an entrant with a health abnormality has occurred;
The camera and the thermal image sensor are installed to take a camera image or obtain a thermal image toward the front of the health abnormality detection device, and take a camera image or obtain a thermal image from an angle different from that of the camera and the thermal image sensor The health abnormality detection device is provided with a side camera and a side thermal image sensor,
When the face of the entrant is detected through step 1) above,
1001) determining whether an implant that covers a part of the face area of the visitor detected through step 1) is worn;
After step 2) above,
3002) In the state where it is determined that the implant is worn on the face of the visitor through step 1001) and the high-temperature heat distribution area is not detected through step 2), the area of the person's face is set to a lower temperature range than the high-temperature heat distribution area additionally performing step 2) at an angle different from that of the thermal image sensor using the side thermal image sensor when a heat distribution region of interest is detected; and
3003) when the high temperature heat distribution area is detected as a result of the additional execution of step 2), outputting a monitoring site confirmation instruction to the manager terminal; health abnormality detection method using face monitoring and thermal image monitoring, characterized in that it comprises .
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 하나 이상의 명령을 저장하는 메모리;
상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서; 및
카메라와 열화상 센서를 포함하는 건강 이상 감지장치로서,
상기 프로세서는,
출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하고;
고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하며- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-;
상기 열화상 감시를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 카메라 영상 감시를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하고- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-;
상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 것;을 특징으로 하며,
상기 카메라 및 열화상 센서는 상기 건강 이상 감지장치의 전면부를 향해 카메라 영상을 촬영하거나 또는 열화상을 수득하도록 설치되고, 상기 카메라 및 열화상 센서와 다른 각도에서 카메라 영상을 촬영하거나 또는 열화상을 수득하는 측면 카메라 및 측면 열화상 센서를 상기 건강 이상 감지장치가 구비하며,
상기 카메라 영상 감시를 통해 출입자의 얼굴을 감지한 경우,
상기 감지한 출입자의 얼굴의 영역의 일부를 가리는 보형물이 착용되었는지를 판단하며;
상기 열화상 감시 이후,
상기 보형물 착용 판단을 통해 출입자의 얼굴에 보형물이 착용되었다고 판단하고 상기 열화상 감시를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자의 얼굴의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 상기 측면 열화상 센서를 이용하여 상기 열화상 센서와 다른 각도에서 상기 열화상 감시를 추가 실행하고;
상기 열화상 감시의 추가 실행 결과 고온 열분포 영역을 감지한 경우, 관리자 단말로 감시 현장 확인 지시를 출력하는 것;을 특징으로 하는 건강 이상 감지장치.
a memory that stores one or more instructions;
a processor that executes the one or more instructions stored in the memory; and
A health abnormality detection device comprising a camera and a thermal image sensor,
The processor is
monitoring the camera image obtained through the camera to detect the face of the entrant;
In order to detect a high-temperature heat distribution region, a thermal image obtained through a thermal image sensor is monitored - the image coordinates of the camera image and the image coordinates of the thermal image are matched with each other, and the high-temperature thermal distribution region is included in the thermal image It is an area determined to be above a preset temperature among the heat distribution areas;
If the high-temperature heat distribution area is detected through the thermal image monitoring, and the high-temperature heat distribution area has an area at least partially common to the area of the occupant's face detected through the camera image monitoring, it is determined that the entrant is in an abnormal state, and - The health abnormality is a state in which it is determined that the body temperature of the entrant is high above a preset temperature-;
When it is determined that the occupant is in a state of health abnormality, providing a health abnormal occupant occurrence alarm through the display means informing that an entrant with a health abnormality has occurred; and
The camera and the thermal image sensor are installed to take a camera image or obtain a thermal image toward the front of the health abnormality detection device, and take a camera image or obtain a thermal image from an angle different from that of the camera and the thermal image sensor The health abnormality detection device is provided with a side camera and a side thermal image sensor,
When the face of an entrant is detected through the camera video monitoring,
determining whether an implant covering a part of the detected face area of the person is worn;
After the thermal imaging monitoring,
In the state where it is determined that the implant is worn on the face of the occupant through the determination of wearing the prosthesis and the high-temperature heat distribution area is not detected through the thermal image monitoring, the heat distribution of interest set to a lower temperature range than the high-temperature heat distribution area in the area of the occupant's face when detecting an area, additionally performing the thermal image monitoring at an angle different from that of the thermal image sensor by using the side thermal image sensor;
and outputting a monitoring site confirmation instruction to an administrator terminal when a high temperature heat distribution region is detected as a result of additional execution of the thermal image monitoring.
 하나 이상의 명령을 저장하는 메모리와 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하는 건강 이상 감지장치의 하드웨어와 결합되어 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법을 실행하도록 매체에 저장된 컴퓨터 프로그램으로서,
상기 얼굴 감시 및 열화상 감시를 이용한 건강 이상 감지방법은,
1) 출입자의 얼굴을 감지하기 위해, 카메라를 통해 수득한 카메라 영상을 감시하는 단계;
2) 고온 열분포 영역을 감지하기 위해, 열화상 센서를 통해 수득한 열화상을 감시하는 단계- 상기 카메라 영상의 영상 좌표와 상기 열화상의 화상 좌표는 서로 정합된 상태이며, 상기 고온 열분포 영역은 상기 열화상에 포함된 열분포 영역 중에서 미리 설정된 온도 이상인 것으로 판단된 영역임-;
3) 상기 2)단계를 통해 고온 열분포 영역을 감지하고, 상기 고온 열분포 영역이 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역과 적어도 부분적으로 공통된 영역을 갖는 경우, 상기 출입자가 건강 이상 상태라고 판단하는 단계- 상기 건강 이상 상태는 상기 출입자의 신체 온도가 미리 설정된 온도 이상의 고온이라고 판단한 상태임-; 및
4) 상기 3)단계에서 상기 출입자가 건강 이상 상태라고 판단한 경우, 건강 이상 상태의 출입자가 발생했음을 알려주는 건강 이상 출입자 발생 경보를 표시수단을 통해 제공하는 단계;를 포함하며,
상기 카메라 및 열화상 센서는 상기 건강 이상 감지장치의 전면부를 향해 카메라 영상을 촬영하거나 또는 열화상을 수득하도록 설치되고, 상기 카메라 및 열화상 센서와 다른 각도에서 카메라 영상을 촬영하거나 또는 열화상을 수득하는 측면 카메라 및 측면 열화상 센서를 상기 건강 이상 감지장치가 구비하며,
상기 1)단계를 통해 출입자의 얼굴을 감지한 경우,
1001) 상기 1)단계를 통해 감지한 출입자의 얼굴의 영역의 일부를 가리는 보형물이 착용되었는지를 판단하는 단계;를 포함하며,
상기 2)단계 이후,
3002) 상기 1001)단계를 통해 출입자의 얼굴에 보형물이 착용되었다고 판단하고 상기 2)단계를 통해 고온 열분포 영역을 감지하지 않은 상태에서, 출입자의 얼굴의 영역에서 상기 고온 열분포 영역보다 더욱 저온 범위로 설정된 요주의 열분포 영역을 감지한 경우, 상기 측면 열화상 센서를 이용하여 상기 열화상 센서와 다른 각도에서 상기 2)단계를 추가 실행하는 단계; 및
3003) 상기 2)단계의 추가 실행 결과 고온 열분포 영역을 감지한 경우, 관리자 단말로 감시 현장 확인 지시를 출력하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램.
In combination with hardware of a health abnormality detection device including a memory for storing one or more instructions and a processor for executing the one or more instructions stored in the memory, stored in the medium to execute a health abnormality detection method using face monitoring and thermal image monitoring A computer program comprising:
The health abnormality detection method using the face monitoring and thermal imaging monitoring,
1) monitoring a camera image obtained through a camera in order to detect the face of an entrant;
2) monitoring a thermal image obtained through a thermal image sensor to detect a high-temperature thermal distribution region- The image coordinates of the camera image and the image coordinates of the thermal image are in a state in which they are matched with each other, and the high-temperature thermal distribution region is the thermal image It is an area determined to be above a preset temperature among the heat distribution areas included in the image-;
3) If the high-temperature heat distribution area is detected through step 2), and the high-temperature heat distribution area has an area at least partially common to the area of the occupant's face detected through step 1), the person is said to be in an abnormal state. Determining - The health abnormality is a state in which it is determined that the body temperature of the entrant is high above a preset temperature; and
4) if it is determined in step 3) that the entrant has a health abnormality, providing a health abnormal occupant occurrence alarm through a display means to inform that an entrant with a health abnormality has occurred;
The camera and the thermal image sensor are installed to take a camera image or obtain a thermal image toward the front of the health abnormality detection device, and take a camera image or obtain a thermal image from an angle different from that of the camera and the thermal image sensor The health abnormality detection device is provided with a side camera and a side thermal image sensor,
When the face of the entrant is detected through step 1) above,
1001) determining whether an implant that covers a part of the face area of the visitor detected through step 1) is worn;
After step 2) above,
3002) In the state where it is determined that the implant is worn on the face of the visitor through step 1001) and the high-temperature heat distribution area is not detected through step 2), the area of the person's face is set to a lower temperature range than the high-temperature heat distribution area additionally performing step 2) at an angle different from that of the thermal image sensor using the side thermal image sensor when a heat distribution region of interest is detected; and
3003) when the high-temperature heat distribution region is detected as a result of the additional execution of step 2), outputting a monitoring site confirmation instruction to an administrator terminal; a computer program stored in a computer-readable medium comprising a.
KR1020200097007A 2020-03-26 2020-08-03 Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same KR102444277B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200097007A KR102444277B1 (en) 2020-03-26 2020-08-03 Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200036828A KR102143231B1 (en) 2020-03-26 2020-03-26 Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same
KR1020200097007A KR102444277B1 (en) 2020-03-26 2020-08-03 Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200036828A Division KR102143231B1 (en) 2020-03-26 2020-03-26 Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same

Publications (2)

Publication Number Publication Date
KR20210120785A KR20210120785A (en) 2021-10-07
KR102444277B1 true KR102444277B1 (en) 2022-09-16

Family

ID=72049457

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200036828A KR102143231B1 (en) 2020-03-26 2020-03-26 Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same
KR1020200097007A KR102444277B1 (en) 2020-03-26 2020-08-03 Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200036828A KR102143231B1 (en) 2020-03-26 2020-03-26 Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same

Country Status (1)

Country Link
KR (2) KR102143231B1 (en)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102430338B1 (en) * 2020-08-13 2022-08-08 주식회사 코맥스 Apparatus and method of providing lobby phone notification service based on social open data
KR102550119B1 (en) * 2020-08-20 2023-06-30 주식회사 현대케피코 System for judging mask wearing and abnormality of body temperature
CN111968291B (en) * 2020-08-26 2022-05-17 重庆康普达科技有限公司 Face recognition intelligent column
KR102415458B1 (en) * 2020-08-28 2022-06-30 한남대학교 산학협력단 Mask Distribution Access Control System and its Access Control Method
KR102285619B1 (en) 2020-09-01 2021-08-03 이상훈 A system that is using Kiosks to check pyrexia of people for prevention of epidemic
KR102495004B1 (en) * 2020-09-07 2023-02-03 (주)에이쓰리시큐리티 Disinfection system using thermal image and visible image
KR102301348B1 (en) * 2020-12-11 2021-09-13 (주)컴버스테크 Vehicle installation type smart body temperature measurement system
KR102642252B1 (en) * 2020-12-30 2024-02-29 인플랩 주식회사 Real-time risk measurement system for respiratory infections of floating population in dense environments
KR102586615B1 (en) * 2021-01-25 2023-10-06 (주)포스코이앤씨 Apparatus and method for controlling access with measurement for body heat
KR102508595B1 (en) * 2021-01-28 2023-03-09 경북대학교 산학협력단 Method and apparatus for measuring body temperature using histogram and deep learning
CN112669316B (en) * 2021-01-29 2023-05-30 南方电网调峰调频发电有限公司 Power production abnormality monitoring method, device, computer equipment and storage medium
KR102464186B1 (en) * 2021-02-08 2022-11-09 주식회사 픽넘버 Kiosk with the function of detecting facial recognition and thermal imaging, and an access control method using it
KR102518332B1 (en) * 2021-02-26 2023-04-04 충남대학교산학협력단 Automatic door system and control method thereof
KR102335156B1 (en) 2021-03-18 2021-12-03 주식회사 나우시스템 Intelligent system and method for preventing safety accidents
KR20220138585A (en) 2021-04-06 2022-10-13 이상훈 A system that is using kiosks to check health events of students
CN113837030B (en) * 2021-09-06 2024-03-22 中国福利会国际和平妇幼保健院 Personnel intelligent management and control method and system for epidemic situation prevention and control and computer equipment
KR20230079769A (en) 2021-11-29 2023-06-07 주식회사 루켄 A system that is using kiosks to check health events of students
CN114152349B (en) * 2021-11-30 2023-11-14 深圳Tcl新技术有限公司 Temperature measurement method and device, storage medium and electronic equipment
CN116077024B (en) * 2023-02-20 2023-07-07 北京鹰之眼智能健康科技有限公司 Data processing method based on head infrared image, electronic equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729327B1 (en) * 2015-11-10 2017-04-21 홍미선 A monitoring system for body heat using the dual camera
JP2018183564A (en) * 2017-04-26 2018-11-22 パナソニックＩｐマネジメント株式会社 Deep body temperature measuring apparatus, deep body temperature measuring system, and deep body temperature measuring method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150129937A (en) 2014-05-12 2015-11-23 (주)유틸리온 System and Method for Determining Health Status of Object
KR102053295B1 (en) 2017-06-22 2019-12-06 주식회사 아이알웨이브 Method and apparatus for determining infections using a face temperature distribution

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729327B1 (en) * 2015-11-10 2017-04-21 홍미선 A monitoring system for body heat using the dual camera
JP2018183564A (en) * 2017-04-26 2018-11-22 パナソニックＩｐマネジメント株式会社 Deep body temperature measuring apparatus, deep body temperature measuring system, and deep body temperature measuring method

Also Published As

Publication number Publication date
KR102143231B1 (en) 2020-08-10
KR20210120785A (en) 2021-10-07

Similar Documents

Publication Publication Date Title
KR102444277B1 (en) Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same
KR101729327B1 (en) A monitoring system for body heat using the dual camera
JP6148065B2 (en) Face recognition system
JP5377982B2 (en) Elevator security system
CN111192391B (en) Pedestrian passageway gate control method and device based on images and/or videos
KR101961891B1 (en) Automatic counting method and appratus for human among the human and stuffs entering into automatic immigration check point
JP5552746B2 (en) Entrance / exit management device, entrance / exit management method, and program
CN112711960B (en) Gate alarm method and device, control processor and readable storage medium
JP2013069155A (en) Face authentication database construction method, face authentication device, and face authentication program
KR102243890B1 (en) Method and apparatus for managing visitor of hospital
JP4521086B2 (en) Face image recognition apparatus and face image recognition method
CN111568379A (en) Intelligent human body radioactivity detection and epidemic prevention and control access control system
WO2020167155A1 (en) Method and system for detecting troubling events during interaction with a self-service device
CN110544312A (en) Video display method and device in virtual scene, electronic equipment and storage device
JP2011034458A (en) Monitoring system, monitoring device, and monitoring method
JP2020174849A (en) Safety monitoring system on operator
CN113314230A (en) Intelligent epidemic prevention method, device, equipment and storage medium based on big data
JP4120379B2 (en) Behavior monitoring system and program
US20230267788A1 (en) Face authentication method
KR102285619B1 (en) A system that is using Kiosks to check pyrexia of people for prevention of epidemic
JP5524250B2 (en) Abnormal behavior detection device, monitoring system, abnormal behavior detection method and program
JP7039084B1 (en) Self-registration monitoring system and self-registration monitoring method
KR102543963B1 (en) Vehicle access control system to prevent infectious diseases
JP7279774B2 (en) Information processing equipment
KR102494665B1 (en) System for controlling access of gate

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant