KR101754152B1 - Thermal Patient Monitering System by Using Multiple Band Camera and Method thereof - Google Patents
Thermal Patient Monitering System by Using Multiple Band Camera and Method thereof Download PDFInfo
- Publication number
- KR101754152B1 KR101754152B1 KR1020160008745A KR20160008745A KR101754152B1 KR 101754152 B1 KR101754152 B1 KR 101754152B1 KR 1020160008745 A KR1020160008745 A KR 1020160008745A KR 20160008745 A KR20160008745 A KR 20160008745A KR 101754152 B1 KR101754152 B1 KR 101754152B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- subject
- infrared
- temperature
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 230000036760 body temperature Effects 0.000 claims abstract description 13
- 238000010438 heat treatment Methods 0.000 claims abstract description 13
- 239000000470 constituent Substances 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 206010037660 Pyrexia Diseases 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000006740 morphological transformation Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 208000015181 infectious disease Diseases 0.000 description 4
- 208000035473 Communicable disease Diseases 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- H04N5/2258—
Abstract
본 발명 복수 대역 카메라를 이용한 발열환자 감시 시스템은 피사체를 촬영하고 피사체의 가시광 이미지와 적외선 이미지를 생성하여 서버로 전송하는 카메라부와 카메라부로부터 수신되는 가시광 이미지와 적외선 이미지로부터 피사체의 촬영 각도를 결정하고, 피사체의 얼굴을 구성하는 특징점을 결정하여 얼굴 영역을 검출하고 착용 액세서리를 검출하며 피사체의 나이 및 성별을 추출하여 얼굴 영역의 구성 화소 집합을 생성하고, 상이 얼굴 영역 구성 화소 집합을 기초로 적외선 실요 해상도를 산출하여 상기 산출된 얼굴 영역의 적외선 실요 해상도가 트레쉬 홀드 이하는 경우에는 이미지를 버리고 이상인 경우 상기 산출된 얼굴 영역 구성 화소 집합, 얼굴구성 특징점 및 참조 주형을 기초로 하여 화소 값 2차원 분포를 생성하고 상기 피사체의 얼굴형에 따는 화소 값 2차원 분포를 참조 얼굴 형태로 형태적 변환을 수행한 후 정면 2차원 평면에 투영하며 상기 형태 변환된 온도 분포, 부위별 오차 특성, 주변 온도, 피사체 나이 등과 같은 메타 정보를 수신하여 추정온도를 산출하며 상기 추출된 추정 온도를 체온 온도와 비교하여 초과하는 경우 경보를 제공하는 관리 서버로 구성된 것을 특징으로 하는 것이다. A heating patient monitoring system using a multi-band camera comprises a camera unit for photographing a subject, generating a visible light image and an infrared image of the subject and transmitting the generated infrared light image to a server, and an image pickup angle of the subject from the visible light image and infrared image received from the camera unit A feature point constituting a face of the subject is determined to detect a face area, a wearable accessory is detected, an age and a gender of the subject are extracted to generate a constituent pixel set of the face area, Calculating a real image resolution, and if the infrared real image resolution of the calculated face area is less than the threshold, discarding the image and if it is abnormal, calculating the pixel value two-dimensional image based on the calculated face area constituent pixel set, Generating a distribution of the object Dimensional distribution of pixel values according to the oval shape is transformed into a reference face shape and then projected on a frontal two-dimensional plane, and meta information such as the morphologically transformed temperature distribution, site-specific error characteristics, ambient temperature, And a management server for providing an alarm when the extracted estimated temperature is compared with the temperature of the body temperature and exceeds the estimated temperature.
Description
본 발명은 다중이 접하는 장소에서 신종 전염병이 유행하는 경우 신종 전염병의 1차 반응이 주로 발열 반응이므로 상기 발열 반응을 가시광 및 적외선 카메라를 통하여 체온을 추정하고 발열이 의심되는 경우 경보를 생성하도록 함으로써 전염병에 대한 대응을 신속히 하도록 하는 것에 관한 것이다.
In the present invention, when a new infectious disease is prevalent in a place where multiple infections occur, since the first reaction of the new infectious disease is mainly an exothermic reaction, the exothermic reaction is estimated through the visible light and the infrared camera and the alarm is generated when the fever is suspected. In response to the request.
본 발명과 관련된 종래의 기술은 대한민국 공개특허 공보 제10-2014-0067160호(2014. 06. 03. 공개)에 개시되어 있는 것이다. 도 1은 상기 종래의 스마트 감시 카메라 시스템 구성도이다. 상기도 1에서 종래의 스마트 감시 카메라 시스템(1200)은 열 촬영기(1202), 가시광/NIR 카메라(1204), 1개 이상의 IR 조명기(1206), 1개 이상의 가시광선 조명기(1208A, 1208B), 프로세서(1210), 통신모듈(1212), 저장장치(1214), 및/또는 기타 부품들(1216)을 포함할 수 있다. 카메라 시스템(1200)은, 낮 시간 또는 밤 시간에 장면의 이미지를 기록하거나, 원격 관찰/기록을 위해 전송하거나, 아니면 제공함으로써, 장면(예컨대, 장면(1230))의 감시를 제공하기 위해 원하는 위치에 부착되거나, 탑재되거나, 아니면 설치될 수 있다. 다양한 실시예에서, 카메라 시스템(1200)의 부품들은 호스트 장치(102)의 대응하는 부품들과 같거나 유사한 방식으로 구현될 수 있다. 또한, 카메라 시스템(1200)의 부품들은 다양한 NUC 프로세스 및 여기서 설명된 다른 프로세스들을 수행하도록 설정될 수 있다. 어떤 실시예들에서는, 카메라 시스템(1200)의 다양한 부품들은 분산되고 네트워크(1260)를 통해 서로 통신할 수 있다. 그와 같은 실시예에서, 부품들은 카메라 시스템(1200)의 특정 응용을 위해 원한다면 복제될 수도 있다. 즉, 같거나 유사한 동작을 위해 설정된 부품들이 네트워크를 통해 분산될 수 있다. 또한, 상기 다양한 부품들의 어느 하나의 전부 또는 일부는 원한다면 원격 장치(1262)(예컨대, 종래의 원격 디지털 비디오 리코더(DVR), 원격 모니터링 스테이션, 및/또는 다른 장치)의 적절한 부품을 사용하여 구현될 수 있다. 따라서, 예를 들면, 프로세서(1210)의 일부 또는 전부 및/또는 저장장치(1214)의 일부 또는 전부는 원격장치(1262)에 구현되거나 복제될 수 있으며, 본 명세서에서 추가로 설명된 것과 같이 감시 이미지를 기록하거나 기록하는 것을 제어하도록 설정될 수 있다. 또 다른 실시예에서, 카메라 시스템(1200)은 하우징(1250)에서 분리되어 원격 위치된 또 하나의 가시광/NIR 카메라(1220)를 포함할 수 있으며, 상기 하우징(1250)에는 열 촬영기(1202), 가시광/NIR 카메라(1204), 및/또는 프로세서(1210)가 수납될 수 있는 것이다.
The prior art related to the present invention is disclosed in Korean Patent Laid-Open Publication No. 10-2014-0067160 (published on April, 2013, 03). FIG. 1 is a block diagram of the conventional smart surveillance camera system. 1, a conventional smart
상기와 같은 종래 기술은 감시 구역 내의 물체를 용이하게 감시할 수 있으나 다중이 집합하는 장소에 존재하는 사람의 체온을 모니터링하여 발열에 대한 경보를 제공할 수 없는 문제점이 있는 것이다. 따라서 본 발명의 목적은 병원이나 공공 장소와 같이 다중이 왕래하고 집합하는 장소의 개개인에 대한 얼굴을 검출하고 상기 검출된 얼굴을 기초로 전염병의 1차 반응인 발열 여부를 체크하여 경보를 제공하기 위한 것이다.
Such a conventional technique can easily monitor the object in the monitoring area, but it can not provide an alarm for the heat by monitoring the body temperature of a person in a place where the multiple is collected. Accordingly, an object of the present invention is to provide a method and apparatus for detecting faces of individuals in a place where a plurality of people come and go, such as a hospital or a public place, and to provide an alarm by checking whether the first reaction of the infectious disease, will be.
상기와 같은 목적을 가지는 본 발명 복수 대역 카메라를 이용한 발열환자 감시 시스템은 피사체를 촬영하고 피사체의 가시광 이미지와 적외선 이미지를 생성하여 서버로 전송하는 카메라부와 카메라부로부터 수신되는 가시광 이미지와 적외선 이미지로부터 상호 보상성을 이용하여 피사체의 얼굴 영역 추정온도를 산출하며 상기 추출된 추정 온도를 체온 온도와 비교하여 초과하는 경우 경보를 제공하는 관리 서버로 구성된 것을 특징으로 하는 것이다. 또한 본 발명 복수 대역 카메라를 이용한 발열환자 감시 방법은 카메라부의 카메라가 다중 집합 장소에 모인 대중의 피사체를 촬영하고 촬영된 피사체의 가시광 이미지와 적외선 이미지를 생성하고 관리 서버로 전송하는 단계와, 관리 서버가 수신된 가시광 이미지 정보와 적외선 이미지 정보를 기초로 피사체 촬영 각도, 얼굴의 특징점을 결정하여 얼굴 영역을 검출하고 착용 액세서리를 검출하며 피사체의 나이 및 성별을 추출하는 단계와, 상기 추출된 얼굴 영역, 착용 액세서리, 나이 및 성별 정보를 기초로 픽셀로 이루어진 얼굴 영역 구성 화소 집합을 생성하는 단계와, 상기 얼굴 영역 구성 화소 집합을 기초로 얼굴 영역의 적외선 실요 해상도를 계산하는 단계와, 상기 얼굴 영역 적외선 실요 해상도가 트레쉬홀드 이상 인지 여부를 판단하는 단계와, 이상인 경우 얼굴 영역 구성 화소 집합, 얼굴 영역 특징점 및 참조 주형(Reference Template)을 기초로 하여 화소 값 2차원 분포를 생성하는 단계와, 피사체의 얼굴형에 따라 화소 값 2차원 분포를 참조 얼굴 형태로 형태적 변환을 수행한 후 정면 2차원 평면에 투영하는 단계와, 상기 형태 변환된 온도 분포, 부위별 오차 특성, 주변 온도, 피사체의 나이 등과 같은 메타 정보를 수신하여 추정온도를 산출하는 단계와, 상기 산출된 추정온도와 체온을 비교하여 초과하는 경우 경보를 제공하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.
A heating patient monitoring system using the multi-band camera of the present invention has a camera unit for photographing a subject, generating a visible light image and an infrared image of the subject and transmitting the infrared light image to a server, and a visible light image and infrared image received from the camera unit. And a management server for calculating an estimated temperature of the face region of the subject using the mutual compensability and for providing an alarm when the extracted estimated temperature is compared with the body temperature and exceeded. According to another aspect of the present invention, there is provided a method for monitoring a heating patient using a multi-band camera, comprising the steps of: capturing a public object collected by a camera of a camera unit in a plurality of sets, generating a visible light image and an infrared image of the photographed object, Detecting a face area, determining a photographing angle and a feature point of the face based on the received visible light image information and the infrared image information, detecting a wearable accessory and extracting the age and sex of the subject, The method comprising the steps of: generating a set of face area constituting pixels constituted of pixels based on wearer accessories, age and gender information; calculating an infrared lightness resolution of a face area based on the set of face area constituting pixels; Determining whether the resolution is equal to or greater than a threshold , Generating a two-dimensional distribution of pixel values based on a face region constituent pixel set, a face region feature point, and a reference template when the number of pixels is greater than or equal to 1, Dimensional image of the object; performing a morphological transformation and projecting the image on a frontal two-dimensional plane; calculating estimated temperature by receiving meta information such as the morphologically transformed temperature distribution, site-specific error characteristics, ambient temperature, Comparing the calculated estimated temperature with the body temperature, and providing an alarm when the estimated temperature is exceeded.
상기와 같이 구성된 본 발명 복수 대역 카메라를 이용한 발열환자 감시 시스템 및 이를 이용한 발열환자 감시 방법은 다중이 모이는 집합 장소에서 발열 환자를 추출하여 전염병에 걸린 사람을 조기에 찾아낼 수 있는 효과가 있는 것이다. 또한 상기와 같이 구성된 본 발명의 다른 효과는 얼굴 영역의 온도를 검출하도록 함으로써 발열 환자를 정확히 판단할 수 있는 효과가 있는 것이다.
The heating patient monitoring system using the multi-band camera according to the present invention configured as described above and the heating patient monitoring method using the same have the effect of early detection of a person infected with a fever by extracting fever patients at a gathering place where multiple people gather. In addition, another effect of the present invention configured as described above is that the temperature of the face region is detected, thereby accurately determining the fever patient.
도 1은 종래의 스마트 감시 카메라 시스템 구성도,
도 2는 본 발명 복수 대역 카메라를 이용한 발열환자 감시 시스템 전체 구성도,
도 3은 본 발명에 적용되는 관리 서버의 상세 구성도,
도 4는 본 발명 복수 대역 카메라를 이용한 발열환자 감시 방법 제어 흐름도,
도 5는 본 발명에 적용되는 얼굴 영역에 대한 적외선 이미지,
도 6은 본 발명에 적용되는 얼굴 영역에 대한 가시광선 이미지,
도 7은 본 발명에 적용되는 얼굴 영역에 대한 특징점 검출 예의 사진
도 8은 본 발명에 적용되는 실요 해상도 계산기의 적용 예 사진,
도 9는 병원의 로비에 설치되는 SVMS와 연동된 적외선 카메라에 의한 발열자 검출 예시도 이다.1 is a block diagram of a conventional smart surveillance camera system,
FIG. 2 is a general configuration view of a heating patient monitoring system using a multi-band camera of the present invention;
3 is a detailed configuration diagram of a management server according to the present invention,
FIG. 4 is a flowchart of a method for controlling a heating patient monitoring method using a multi-
FIG. 5 is a diagram illustrating an infrared image of a face region applied to the present invention,
FIG. 6 is a diagram illustrating a visible ray image of a face region applied to the present invention,
FIG. 7 is a photograph of a feature point detection example for a face region applied to the present invention
FIG. 8 is a photograph of an application example of a practical resolution calculator applied to the present invention,
FIG. 9 is a diagram illustrating an example of detecting a heat generator by an infrared camera interlocked with an SVMS installed in a lobby of a hospital.
상기와 같은 목적을 가진 본 발명 복수 대역 카메라를 이용한 발열환자 감시 시스템 및 이를 이용한 발열환자 감시 방법을 도 2 내지 도 4를 기초로 하여 설명하면 다음과 같다.
A heating patient monitoring system using the multi-band camera of the present invention having the above-described objects and a heating patient monitoring method using the same will be described with reference to FIG. 2 to FIG.
도 2는 본 발명 복수 대역 카메라를 이용한 발열환자 감시 시스템 전체 구성도이다. 상기도 2에서 본 발명 복수 대역 카메라를 이용한 발열환자 감시 시스템은 피사체를 촬영하고 피사체의 가시광 이미지와 적외선 이미지를 생성하여 서버로 전송하는 카메라부(10)와, 상기 카메라부로부터 수신되는 가시광 이미지와 적외선 이미지로부터 피사체의 촬영 각도를 결정하고, 피사체의 얼굴을 구성하는 특징점을 결정하여 얼굴 영역을 검출하고 착용 액세서리를 검출하며 피사체의 나이 및 성별을 추출하여 얼굴 영역의 구성 화소 집합을 생성하고, 상이 얼굴 영역 구성 화소 집합을 기초로 실요 해상도를 산출하여 상기 산출된 얼굴 영역의 적외선 실요 해상도가 트레쉬 홀드 이하는 경우에는 이미지를 버리고 이상인 경우 상기 산출된 얼굴 영역 구성 화소 집합, 얼굴구성 특징점 및 참조 주형을 기초로 하여 화소 값 2차원 분포를 생성하고, 상기 피사체의 얼굴형에 따는 화소 값 2차원 분포를 참조 얼굴 형태로 형태적 변환을 수행한 후 정면 2차원 평면에 투영하며, 상기 형태 변환된 온도 분포, 부위별 오차 특성, 주변 온도, 피사체 나이 등과 같은 메타 정보를 기초로 하여 추정온도를 산출하며, 상기 산출된 추정 온도가 체온 온도와 비교하여 초과하는 경우 경보를 제공하는 관리 서버(20) 및 상기 카메라부와 관리 서버를 네트워크로 연결하는 인터넷망(30)으로 구성된 것을 특징으로 하는 것이다. 또한 상기 카메라부는 가시광 카메라와 적외선 카메라를 포함하여 구성되는 것을 특징으로 하는 것이다.FIG. 2 is an overall configuration diagram of a heating patient monitoring system using a multi-band camera of the present invention. 2, the heating patient monitoring system using the multi-band camera of the present invention includes a
도 3은 본 발명에 적용되는 관리 서버의 상세 구성도이다. 상기도 3에서 본 발명에 적용되는 관리 서버는 가시광 카메라와 적외선 카메라가 포함 구성되는 카메라부로부터 가시광 이미지 정보와 적외선 이미지 정보를 수신하기 위한 송수신부(21)와, 카메라부로부터 수신되는 가시광 이미지와 적외선 이미지로부터 피사체의 촬영 각도를 결정하고, 피사체의 얼굴을 구성하는 특징점을 결정하여 얼굴 영역을 검출하고 착용 액세서리를 검출하며 피사체의 나이 및 성별을 추출하여 얼굴 영역의 구성 화소 집합을 생성하는 메타 정보 계산기(23)와, 상기 얼굴 영역 구성 화소 집합을 기초로 실요 해상도를 산출하는 실요 해상도 계산기(25)와, 상기 산출된 얼굴 영역 구성 화소 집합, 얼굴구성 특징점 및 참조 주형을 기초로 하여 화소 값 2차원 분포를 생성하고 상기 피사체의 얼굴형에 따른 화소 값 2차원 분포를 참조 얼굴 형태로 형태적 변환을 수행한 후 정면 2차원 평면에 투영하며 상기 형태 변환된 온도 분포, 부위별 오차 특성, 주변 온도, 피사체 나이 등과 같은 메타 정보를 생성하는 주형 변환기(27)와, 상기 메타 정보를 수신하여 추정온도를 산출하는 신체 내부 추정온도 추정기(29)와, 경보를 제공하는 경보부(22)와, 수신되는 이미지 정보와 메타 정보 계산기, 실요 해상도 계산기, 주형 변환기 및 추정 온도 추정기에서 생성되는 데이터를 저장하는 메모리부(24)와 경보 및 데이터를 표출하는 표시부(28)와 상기 송수신부, 메타 정보 계산기, 실요 해상도 계산기, 주형 변환기, 추정온도 추정기, 메모리부, 표시부 및 경보부를 제어하여 실요 해상도 계산기에서 산출된 실요 해상도가 트레쉬 홀드 이상인지 여부를 판단하고 트레쉬 홀드 미만인 경우는 버리고 이상인 경우에는 다음 단계를 이행하도록 제어하며 추정온도 추정기에서 추정된 오도가 체온 온도 이상인 경우 경보를 제공하도록 제어하는 제어부(26)로 구성된 것을 특징으로 하는 것이다.
3 is a detailed configuration diagram of a management server applied to the present invention. 3, the management server according to the present invention includes a
도 4는 본 발명 복수 대역 카메라를 이용한 발열환자 감시 방법 제어 흐름도이다. 상기도 4에서 본 발명 복수 대역 카메라를 이용한 발열환자 감시 방법은 카메라부의 카메라가 다중 집합 장소에 모인 대중의 피사체를 촬영하고 촬영된 피사체의 가시광 이미지와 적외선 이미지를 생성하고 관리 서버로 전송하는 단계(S11)와, 관리 서버가 수신된 가시광 이미지 정보와 적외선 이미지 정보를 기초로 피사체 촬영 각도, 얼굴의 특징점을 결정하여 얼굴 영역을 검출하고 착용 액세서리를 검출하며 피사체의 나이 및 성별을 추출하는 단계(S12)와, 관리 서버가 상기 추출된 얼굴 영역, 착용 액세서리, 나이 및 성별 정보를 기초로 픽셀로 이루어진 얼굴 영역 구성 화소 집합을 생성하는 단계(S13)와, 관리 서버가 상기 얼굴 영역 구성 화소 집합을 기초로 얼굴 영역의 적외선 실요 해상도를 계산하는 단계(S14)와, 관리 서버가 상기 얼굴 영역 적외선 실요 해상도가 트레쉬홀드 이상 인지 여부를 판단하는 단계(S15)와, 관리 서버가 적외선 실요 해상도가 트레쉬홀드 이상인 경우 얼굴 영역 구성 화소 집합, 얼굴 영역 특징점 및 참조 주형(Reference Template)을 기초로 하여 화소 값 2차원 분포를 생성하는 단계(S16)와, 관리 서버가 피사체의 얼굴형에 따라 화소 값 2차원 분포를 참조 얼굴 형태로 형태적 변환을 수행한 후 정면 2차원 평면에 투영하는 단계(S17)와, 관리 서버가 상기 형태 변환된 얼굴 영역 온도 분포, 부위별 오차 특성, 주변 온도, 피사체의 나이 등과 같은 메타 정보를 기초로 하여 추정온도를 산출하는 단계(S18)와, 관리 서버가 상기 산출된 추정온도와 체온 온도를 비교하여 초과하는 경우 경보를 제공하는 단계(S19)를 포함하여 이루어지는 것을 특징으로 하는 것이다.
4 is a flowchart of a method for monitoring a fever patient using a multi-band camera of the present invention. 4, a method for monitoring a patient who feels heat using a multi-band camera according to the present invention comprises the steps of: capturing a public object collected by a camera of a camera unit in a multi-set location, generating a visible light image and an infrared image of the photographed object, S11), the management server detects the face area, detects the wearing accessories, and extracts the age and sex of the subject by determining the subject photographing angle and the feature point of the face based on the received visible light image information and the infrared image information (S12 (S13) of creating a face area constituting pixel set made up of pixels based on the extracted face area, wearing accessory, age and gender information, and a management server (S14) of calculating an infrared pseudo resolution of the face region with the face region infrared ray (S15) judging whether or not the actual resolution is equal to or greater than the threshold, and if the management server determines that the infrared real resolution is equal to or greater than the threshold, based on the face area constituent pixel set, the face area feature point, and the reference template A step S16 of generating a two-dimensional distribution of pixel values, a step of projecting the pixel value 2-dimensional distribution according to the face type of the subject to a frontal two-dimensional plane after performing morphological conversion into a reference face form (S17 (S18) of calculating the estimated temperature based on the meta information such as the face region temperature distribution, the error characteristic of each region, the ambient temperature, the age of the subject, and the like, (S19) comparing the estimated temperature and the temperature of the body temperature with each other and providing an alarm when the estimated temperature and the body temperature are exceeded.
도 5는 본 발명에 적용되는 얼굴 영역에 대한 적외선 이미지이다. 상기도 5에서 얼굴 영역에 대한 적외선 이미지는 상기 적외선 이미지 정보로부터 체온정보의 해상도는 매우 상이하므로 획득된 얼굴 영영 화소 집합에 적외선 실요 해상도 결정기를 적용하여 실요 해상도가 트레쉬홀드 이하인 경우 이미지는 버리고 트레쉬홀드 이상인 경우 상기 S16 단계 이하의 알고리즘을 적용할 수 있는 것이다.
5 is an infrared image of a face region applied to the present invention. In FIG. 5, since the resolution of the body temperature information from the infrared image information is very different from the infrared image information of the face region, the infrared real resolution determiner is applied to the acquired set of face real image pixels. If the real resolution is lower than the threshold, The algorithm of step S16 and the following steps can be applied.
도 6은 본 발명에 적용되는 얼굴 영역에 대한 가시광선 이미지이다. 상기도 6에서 본 발명에 적용되는 얼굴 영역에 대한 가시광선 이미지에서 얼굴 영역을 추출하는 것은 얼굴에 고유하게 존재하는 눈, 코, 입부분 및 얼굴 윤곽의 형태적 특성에 기반하는 것으로 계산면에서는 상당한 자원을 소모하고 상당히 높은 수준의 FP(비얼굴을 이미지 얼굴로 판별), FN(얼굴 이미지를 비얼굴 이미지로 판별)율을 가질 수 있는 것이다. 또한 얼굴 영역의 표면 온도는 배경의 온도보다 높으므로 적외선 이미지에서 얼굴 영역 추출이 용이하며 상기 적외선 이미지와 가시광선 이미지의 상보성을 사용하여 최소 계산 자원을 이용하여 높은 정확도로 얼굴 영역을 특정할 수 있는 것이다.
6 is a visible ray image of a face region applied to the present invention. In FIG. 6, extracting the face region from the visible ray image of the face region applied to the present invention is based on the morphological characteristics of the eyes, nose, mouth, and face contours inherently present in the face, It can consume resources and have a fairly high level of FP (discriminate non-faces as image faces) and FN (face images as non-face images). In addition, since the surface temperature of the face region is higher than the background temperature, it is easy to extract the face region from the infrared image and the face region can be specified with high accuracy using the minimum calculation resources using the complement of the infrared image and the visible ray image will be.
도 7은 본 발명에 적용되는 얼굴 영역에 대한 특징점 검출 예의 사진이다. 상기도 7에서 본 발명의 얼굴 이미지를 구성하는 특징점(입끝, 눈끝) 등이 가려질 수 있으며 상기와 같은 특징점을 통하여 액세서리 착용 여부를 판단할 수 있는 것이다. 또한 나이, 성별과 같은 기타 메타 정보는 자동화된 방식을 통하여 추출할 수 있는 것이다.
7 is a photograph of a feature point detection example for a face region applied to the present invention. In FIG. 7, the minutiae (mouth, eye) constituting the facial image of the present invention can be obscured and it is possible to judge whether or not the accessory is worn through the minutiae. Other meta information such as age and gender can be extracted through automated methods.
도 8은 본 발명에 적용되는 실요 해상도 계산기의 적용 예 사진이다. 상기도 8에서 실요 해상도 계산기는 고해상도 얼굴 적외선 이미지에서 인체 구조상 특징적 고체온 부분의 구별이 가능한 것이고, 고해상도 이미지에서 얼굴 영역 구성의 화소 집합은 저해상도 이미지와 대비하여 더 큰 값의 변위를 가지는 것으로 실요 해상도 계산기는 구성 화소 값의 일차원적, 이차원적 분포 기반의 이미지 실요 해상도를 계산하고 트레쉬홀드를 적용하여 이미지를 저해상도 및 고해상도로 분류할 수 있는 것임을 나타내고 있는 것이다.
FIG. 8 is a photograph of an application example of a practical resolution calculator applied to the present invention. In FIG. 8, the coarse resolution calculator is capable of distinguishing a characteristic solid-temperature part in a human body structure from a high-resolution face infrared image, and a pixel set of a face area configuration in a high resolution image has a larger value displacement as compared with a low resolution image. Shows that one-dimensional, two-dimensional distribution based image pixel values of the constituent pixel values are calculated and the image can be classified into a low resolution and a high resolution by applying a threshold.
도 9는 병원의 로비에 설치되는 SVMS와 연동된 적외선 카메라에 의한 발열자 검출 예시도 이다. 상기도 9는 병원 로비에 설치되는 본 발명 복수 대역 카메라를 이용한 발열환자 감시 시스템이 SVMS(Smart Video Management System)와 연동되어 발열자를 감지할 수 있는 것임을 나타내고 있는 것이다. 또한 상기도 9에서 발열자는 얼굴 검출과 얼굴 영역의 온도 감지와 체열 온도를 측정하고 37.5 ℃ 이상인 경우 알람을 생성하여 제공하고 감염자 리스트 DB에 저장되어 관리될 수 있는 것임을 나타내고 있는 것이다.
FIG. 9 is a diagram illustrating an example of detecting a heat generator by an infrared camera interlocked with an SVMS installed in a lobby of a hospital. FIG. 9 shows that a heating patient monitoring system using a multi-band camera of the present invention installed in a hospital lobby can detect a heater by interlocking with a SVMS (Smart Video Management System). 9, the heat generator measures the face detection, the temperature detection of the face region, and the body temperature, and generates and provides an alarm when the temperature is 37.5 DEG C or higher, and is stored and managed in the infected person list DB.
10 : 카메라부, 20 : 관리 서버,
21 : 송수신부, 23 : 메타 정보 계산기,
25 : 실요 해상도 계산기, 27 : 주형 변환기,
30 : 인터넷망10: camera unit, 20: management server,
21: transmitting / receiving unit, 23: meta information calculator,
25: stitch resolution calculator, 27: mold transducer,
30: Internet network
Claims (10)
피사체를 촬영하고 피사체의 가시광 이미지와 적외선 이미지를 생성하여 서버로 전송하는 카메라부(10)와;
상기 카메라부로부터 수신되는 가시광 이미지와 적외선 이미지로부터 피사체의 얼굴을 구성하는 특징점을 결정하여 얼굴 영역을 검출하고 착용 액세서리를 검출하며 피사체의 나이 및 성별을 추출하여 얼굴 영역의 구성 화소 집합을 생성하고, 상기 얼굴 영역 구성 화소 집합을 기초로 실요 해상도를 산출하여 상기 산출된 얼굴 영역의 적외선 실요 해상도가 트레쉬 홀드 이상인 경우 상기 산출된 얼굴 영역 구성 화소 집합, 얼굴구성 특징점 및 참조 주형을 기초로 하여 화소 값 2차원 분포를 생성하고, 상기 피사체의 얼굴형에 따는 화소 값 2차원 분포를 참조 얼굴 형태로 형태적 변환을 수행한 후 정면 2차원 평면에 투영하며, 상기 형태 변환된 얼굴 영역의 메타 정보를 기초로 추정온도를 산출하며, 상기 산출된 추정 온도가 체온 온도와 비교하여 초과하는 경우 경보를 제공하는 관리 서버(20);
및 상기 카메라부와 관리 서버를 네트워크로 연결하는 인터넷망(30)으로 구성된 것을 특징으로 하는 다중 집합 장소에 집합하는 다중에 대한 복수 대역 카메라를 이용한 발열환자 감시 시스템.
A heating patient monitoring system using a multi-band camera for multi-
A camera unit 10 for photographing a subject, generating a visible light image and an infrared image of the subject and transmitting the generated infrared light image to a server;
Detecting a face area, detecting a wearable accessory, extracting an age and a sex of a subject by determining a feature point constituting a face of the subject from the visible light image and the infrared image received from the camera unit, Calculating a pseudo-resolution based on the set of face-area constituting pixels; calculating a pixel value based on the calculated face-area constituent pixel set, facial feature point, and reference template when the calculated infrared real- Dimensional distribution of the face image of the subject, performing a morphological transformation on the two-dimensional distribution of the pixel values according to the face shape of the subject into a reference face shape, projecting the two-dimensional distribution on the two-dimensional front face, And the calculated estimated temperature is compared with the body temperature in seconds The management server 20 to provide an alarm if;
And an Internet network (30) for connecting the camera unit and the management server via a network. The system of claim 1,
상기 메타 정보는,
얼굴 영역의 온도 분포, 부위별 오차 특성, 주변 온도, 피사체 나이인 것을 특징으로 하는 다중 집합 장소에 집합하는 다중에 대한 복수 대역 카메라를 이용한 발열환자 감시 시스템.
The method according to claim 1,
The meta-
Wherein the temperature distribution of the face region, the error characteristic of the region, the ambient temperature, and the age of the subject are collected.
상기 관리 서버는,
가시광 이미지 정보와 적외선 이미지 정보를 수신하기 위한 송수신부(21)와;
카메라부로부터 수신되는 가시광 이미지와 적외선 이미지로부터 피사체의 촬영 각도를 결정하고, 피사체의 얼굴을 구성하는 특징점을 결정하여 얼굴 영역을 검출하고 착용 액세서리를 검출하며 피사체의 나이 및 성별을 추출하여 얼굴 영역의 구성 화소 집합을 생성하는 메타 정보 계산기(23)와;
상기 얼굴 영역 구성 화소 집합을 기초로 실요 해상도를 산출하는 실요 해상도 계산기(25)와;
상기 산출된 얼굴 영역 구성 화소 집합, 얼굴구성 특징점 및 참조 주형을 기초로 하여 화소 값 2차원 분포를 생성하고 상기 피사체의 얼굴형에 따른 화소 값 2차원 분포를 참조 얼굴 형태로 형태적 변환을 수행한 후 정면 2차원 평면에 투영하며 상기 형태 변환된 온도 분포, 부위별 오차 특성, 주변 온도, 피사체 나이 등과 같은 메타 정보를 생성하는 주형 변환기(27)와;
상기 메타 정보를 수신하여 추정온도를 산출하는 신체 내부 추정온도 추정기(29)와;
경보를 제공하는 경보부(22)와;
수신되는 이미지 정보와 메타 정보 계산기, 실요 해상도 계산기, 주형 변환기 및 추정 온도 추정기에서 생성되는 데이터를 저장하는 메모리부(24)와;
경보, 데이터를 표출하는 표시부(28);
및 상기 송수신부, 메타 정보 계산기, 실요 해상도 계산기, 주형 변환기, 추정온도 추정기, 메모리부, 표시부 및 경보부를 제어하여 실요 해상도 계산기에서 산출된 실요 해상도가 트레쉬 홀드 이상인지 여부를 판단하고 트레쉬 홀드 미만인 경우는 버리고 이상인 경우에는 다음 단계를 이행하도록 제어하며 추정온도 추정기에서 추정된 오도가 체온 온도 이상인 경우 경보를 제공하도록 제어하는 제어부(26)로 구성된 것을 특징으로 하는 다중 집합 장소에 집합하는 다중에 대한 복수 대역 카메라를 이용한 발열환자 감시 시스템.
The method according to claim 1,
The management server includes:
A transceiver 21 for receiving visible light image information and infrared image information;
The photographing angle of the subject is determined from the visible light image and the infrared ray image received from the camera unit, the feature points constituting the face of the subject are determined to detect the face region, the wearing accessories are detected, and the age and sex of the subject are extracted. A meta information calculator (23) for generating a constituent pixel set;
A pale resolution calculator (25) for calculating a pile resolution based on the set of face area constituting pixels;
Dimensional distribution of pixel values based on the calculated facial region constituting pixel set, facial feature point and reference template, and morphological conversion of the pixel value two-dimensional distribution according to the facial type of the subject into reference face form A template converter 27 for generating meta information such as a temperature distribution, an error characteristic of each part, an ambient temperature, an age of a subject, etc., projected on a rear two-dimensional plane;
An in-body estimated temperature estimator (29) for receiving the meta information and calculating an estimated temperature;
An alarm unit 22 for providing an alarm;
A memory unit 24 for storing received image information, data generated by a meta information calculator, a realistic resolution calculator, a template converter, and an estimated temperature estimator;
A display unit 28 for displaying alarms and data;
And a control unit for controlling the transceiver unit, the meta information calculator, the actual resolution calculator, the template converter, the estimated temperature estimator, the memory unit, the display unit, and the alarm unit to determine whether the actual resolution calculated by the realistic resolution calculator is greater than or equal to the threshold, And a control unit (26) for controlling the control unit (26) to control the control unit (26) to perform an alarm if the estimated temperature is equal to or higher than the body temperature. Fever patient monitoring system using multi - band camera.
상기 카메라부는,
가시광 카메라와 적외선 카메라를 포함하여 구성된 것을 특징으로 하는 다중 집합 장소에 집합하는 다중에 대한 복수 대역 카메라를 이용한 발열환자 감시 시스템.
The method according to claim 1,
The camera unit includes:
Wherein the infrared sensor is configured to include a visible light camera and an infrared camera.
카메라부의 카메라가 다중 집합 장소에 모인 대중의 피사체를 촬영하고 촬영된 피사체의 가시광 이미지와 적외선 이미지를 생성하고 관리 서버로 전송하는 단계(S11)와;
관리 서버가 수신된 가시광 이미지 정보와 적외선 이미지 정보를 기초로 피사체 촬영 각도, 얼굴의 특징점을 결정하여 얼굴 영역을 검출하고 착용 액세서리를 검출하며 피사체의 나이 및 성별을 추출하는 단계(S12)와;
관리 서버가 상기 추출된 얼굴 영역, 착용 액세서리, 나이 및 성별 정보를 기초로 픽셀로 이루어진 얼굴 영역 구성 화소 집합을 생성하는 단계(S13)와;
관리 서버가 상기 얼굴 영역 구성 화소 집합을 기초로 얼굴 영역의 적외선 실요 해상도를 계산하는 단계(S14)와;
관리 서버가 상기 얼굴 영역 적외선 실요 해상도가 트레쉬홀드 이상 인지 여부를 판단하는 단계(S15)와;
관리 서버가 적외선 실요 해상도가 트레쉬홀드 이상인 경우 얼굴 영역 구성 화소 집합, 얼굴 영역 특징점 및 참조 주형(Reference Template)을 기초로 하여 화소 값 2차원 분포를 생성하는 단계(S16)와;
관리 서버가 피사체의 얼굴형에 따라 화소 값 2차원 분포를 참조 얼굴 형태로 형태적 변환을 수행한 후 정면 2차원 평면에 투영하는 단계(S17)와;
관리 서버가 상기 형태 변환된 얼굴 영역 메타 정보를 기초로 추정온도를 산출하는 단계(S18);
및 관리 서버가 상기 산출된 추정온도와 체온 온도를 비교하여 초과하는 경우 경보를 제공하는 단계(S19)를 포함하여 이루어지는 것을 특징으로 하는 다중 집합 장소에 집합하는 다중에 대한 복수 대역 카메라를 이용한 발열환자 감시 방법.
A method for monitoring a fever patient using a multi-band camera for multi-
A step (S11) of photographing a public photographed by a camera of a camera unit in a multi-set location, generating visible light images and infrared images of photographed photographed subjects, and transmitting the visible light images and the infrared images to a management server;
(S12) of detecting the face area, detecting the wearing accessories, and extracting the age and sex of the subject by determining the subject photographing angle and the feature points of the face based on the received visible light image information and the infrared image information;
(S13) a management server generates a face area constituting pixel set made up of pixels based on the extracted face area, wearing accessory, age and gender information;
A step (S14) of the management server to calculate the infrared realistic resolution of the face region based on the set of face area constituting pixels;
(S15) of determining whether the face region infrared real image resolution is equal to or greater than a threshold;
A step (S16) of generating a two-dimensional pixel value distribution based on a face region constituting pixel set, a face region feature point, and a reference template when the management server has an infrared real resolution equal to or greater than a threshold;
A step S17 of the management server performing morphological conversion of the pixel value two-dimensional distribution according to the face type of the subject into a reference face shape and then projecting the two-dimensional pixel value on the front two-dimensional plane;
(S18) the management server calculates an estimated temperature based on the morphologically transformed face area meta information;
And a step (S19) of providing an alarm when the management server compares the calculated estimated temperature with the temperature of the body temperature and if the calculated temperature exceeds the calculated temperature, the management server uses the multi-band camera Monitoring method.
상기 S15 단계에서 트레쉬 홀드 이하인 경우 계산된 얼굴 영역 적외선 실요 해상도를 버리는 것을 특징으로 하는 다중 집합 장소에 집합하는 다중에 대한 복수 대역 카메라를 이용한 발열환자 감시 방법.
6. The method of claim 5,
The method comprising the steps of: (a) determining whether the infrared region of the face region is within a predetermined threshold range;
상기 메타 정보는,
얼굴 영역의 온도 분포, 부위별 오차 특성, 주변 온도, 피사체 나이인 것을 특징으로 하는 다중 집합 장소에 집합하는 다중에 대한 복수 대역 카메라를 이용한 발열환자 감시 방법.
6. The method of claim 5,
The meta-
Wherein a temperature distribution of the face region, an error characteristic of each region, an ambient temperature, and a subject age are collected.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160008745A KR101754152B1 (en) | 2016-01-25 | 2016-01-25 | Thermal Patient Monitering System by Using Multiple Band Camera and Method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160008745A KR101754152B1 (en) | 2016-01-25 | 2016-01-25 | Thermal Patient Monitering System by Using Multiple Band Camera and Method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101754152B1 true KR101754152B1 (en) | 2017-07-19 |
Family
ID=59427349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160008745A KR101754152B1 (en) | 2016-01-25 | 2016-01-25 | Thermal Patient Monitering System by Using Multiple Band Camera and Method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101754152B1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102246925B1 (en) * | 2020-07-30 | 2021-04-30 | 주식회사 제이브이지 | Integrated bus information and disease management systems and methods |
| KR102255229B1 (en) | 2020-10-15 | 2021-05-24 | 주식회사 유유랑컴퍼니 | Fever patient tracking management system using face recognition technology |
| CN113449567A (en) * | 2020-03-27 | 2021-09-28 | 深圳云天励飞技术有限公司 | Face temperature detection method and device, electronic equipment and storage medium |
| KR20210121678A (en) * | 2020-03-31 | 2021-10-08 | 주식회사 웹게이트 | Observation network system using face recognition and heat detection |
| KR20220003249A (en) * | 2020-07-01 | 2022-01-10 | 탐투스 주식회사 | System and method for thermal image sensing |
| KR20220094923A (en) | 2020-12-29 | 2022-07-06 | 주식회사 아이에스피 | A device for monitoring users in abnormal heat conditions in groups |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5339476B2 (en) | 2011-05-09 | 2013-11-13 | 九州日本電気ソフトウェア株式会社 | Image processing system, fever tracking method, image processing apparatus, control method thereof, and control program |
| JP5668261B2 (en) | 2010-08-16 | 2015-02-12 | 株式会社チノー | Alarm system |
-
2016
- 2016-01-25 KR KR1020160008745A patent/KR101754152B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5668261B2 (en) | 2010-08-16 | 2015-02-12 | 株式会社チノー | Alarm system |
| JP5339476B2 (en) | 2011-05-09 | 2013-11-13 | 九州日本電気ソフトウェア株式会社 | Image processing system, fever tracking method, image processing apparatus, control method thereof, and control program |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449567A (en) * | 2020-03-27 | 2021-09-28 | 深圳云天励飞技术有限公司 | Face temperature detection method and device, electronic equipment and storage medium |
| CN113449567B (en) * | 2020-03-27 | 2024-04-02 | 深圳云天励飞技术有限公司 | Face temperature detection method and device, electronic equipment and storage medium |
| KR20210121678A (en) * | 2020-03-31 | 2021-10-08 | 주식회사 웹게이트 | Observation network system using face recognition and heat detection |
| KR102368181B1 (en) | 2020-03-31 | 2022-02-28 | 주식회사 웹게이트 | Observation network system using face recognition and heat detection |
| KR20220003249A (en) * | 2020-07-01 | 2022-01-10 | 탐투스 주식회사 | System and method for thermal image sensing |
| KR102364702B1 (en) * | 2020-07-01 | 2022-02-21 | 탐투스 주식회사 | System and method for thermal image sensing |
| KR102246925B1 (en) * | 2020-07-30 | 2021-04-30 | 주식회사 제이브이지 | Integrated bus information and disease management systems and methods |
| KR102255229B1 (en) | 2020-10-15 | 2021-05-24 | 주식회사 유유랑컴퍼니 | Fever patient tracking management system using face recognition technology |
| KR20220094923A (en) | 2020-12-29 | 2022-07-06 | 주식회사 아이에스피 | A device for monitoring users in abnormal heat conditions in groups |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101754152B1 (en) | Thermal Patient Monitering System by Using Multiple Band Camera and Method thereof | |
| KR101729327B1 (en) | A monitoring system for body heat using the dual camera | |
| KR101806400B1 (en) | A surveillance system for body heat by the dual camera using the black body | |
| TWI768641B (en) | Monitoring method, electronic equipment and storage medium | |
| CN109196850B (en) | Image pickup apparatus and image pickup system | |
| EP2991027B1 (en) | Image processing program, image processing method and information terminal | |
| JP6077655B2 (en) | Shooting system | |
| KR20170134256A (en) | Method and apparatus for correcting face shape | |
| JP6564271B2 (en) | Imaging apparatus, image processing method, program, and storage medium | |
| JP2016193021A (en) | Pulse wave detection device and pulse wave detection program | |
| KR20150080728A (en) | Acquisition System and Method of Iris image for iris recognition by using facial component distance | |
| JP2011165008A (en) | Image recognition apparatus and method | |
| JP2010081480A5 (en) | ||
| KR101436290B1 (en) | Detection of fraud for access control system of biometric type | |
| KR101640014B1 (en) | Iris recognition apparatus for detecting false face image | |
| CN111144169A (en) | Face recognition method and device and electronic equipment | |
| JP5538963B2 (en) | Emergency call device | |
| US20160203454A1 (en) | Information processing apparatus and method for recognizing specific person by the same | |
| JP4862518B2 (en) | Face registration device, face authentication device, and face registration method | |
| CN114894337B (en) | Temperature measurement method and device for outdoor face recognition | |
| JP2022177267A (en) | Authentication system, authentication method, and program | |
| CN106991376B (en) | Depth information-combined side face verification method and device and electronic device | |
| KR101919138B1 (en) | Method and apparatus for remote multi biometric | |
| CN111062313A (en) | Image identification method, image identification device, monitoring system and storage medium | |
| KR101877873B1 (en) | System and method for fear mentality analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |