KR20240017050A - 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법 - Google Patents

체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법 Download PDF

Info

Publication number
KR20240017050A
KR20240017050A KR1020240013066A KR20240013066A KR20240017050A KR 20240017050 A KR20240017050 A KR 20240017050A KR 1020240013066 A KR1020240013066 A KR 1020240013066A KR 20240013066 A KR20240013066 A KR 20240013066A KR 20240017050 A KR20240017050 A KR 20240017050A
Authority
KR
South Korea
Prior art keywords
temperature
learning
area
facial
body temperature
Prior art date
Application number
KR1020240013066A
Other languages
English (en)
Other versions
KR102644487B1 (ko
Inventor
이석한
송창훈
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020240013066A priority Critical patent/KR102644487B1/ko
Publication of KR20240017050A publication Critical patent/KR20240017050A/ko
Application granted granted Critical
Publication of KR102644487B1 publication Critical patent/KR102644487B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • A61B2560/0252—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value using ambient temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

본 발명의 일 실시예에 따른 체온 예측 장치는 입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역(region of interest)으로 검출하여, 측정된 얼굴 부위 온도를 기초로 외부 환경 활동 유형을 추정하는 외부 환경 활동 추정 신경망 및 외부 환경 활동 추정 신경망에 의해 추정된 외부 환경 활동 유형 및 측정된 얼굴 부위의 온도를 기초로, 피측정자의 체온을 예측하는 체온 예측 신경망을 포함할 수 있다.

Description

체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법{APPARATUS AND METHOD FOR PREDICTING BODY TEMPERATURE AND METHOD FOR TRAINING SAME}
본 발명은 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법에 관한 것으로서, 자세하게는 얼굴 온도 측정 장치를 이용하여 체온 예측에 대한 정확도를 향상시킬 수 있는 장치 및 방법에 관한 것이다.
최근 감염병 바이러스의 확산을 방지하고 의료진 및 관리자를 보호하기 위해 출입자 및 환자의 발열 확인이 필수적으로 시행되고 있다. 특히, 감염병 확산 방지를 위해 열화상 카메라로 얼굴 피부 온도를 측정하는 비접촉식 체온 측정 장치가 많이 사용되고 있다.
체온을 측정하기 위해 비접촉식 체온 측정 장치를 이용하는 경우, 피부 온도는 외부 환경에 영향을 받으며 측정 대상자가 운동을 하는 등 외부 활동을 했을 때 평상시와 다르게 측정되므로 피부 온도를 측정하여 정확한 체온을 예측하기 어려운 문제가 있다.
피부 온도 측정을 위한 신체 부위 중 얼굴 및 손목, 손등 등 피부의 온도는 체온과 동일하게 측정되지 않으며 체온보다 2~4도 낮게 측정되기 때문에 열화상 카메라 및 적외선 카메라를 이용하여 만들어져 사용되고 있는 기존 비접촉식 온도 측정 시스템들은 정확한 체온을 예측하기 어렵다.
따라서, 비접촉식 온도 측정 시스템으로 피부 온도를 측정하고, 피부 온도 및 외부 환경 활동을 고려하여 정확한 체온을 예측할 수 있는 방법이 문제된다.
한국공개특허공보 제10-2021-0062535호(2021.05.31)
본 발명이 해결하고자 하는 과제는, 피부 온도를 측정하여 외부 환경 활동이 반영된 정확한 체온 예측 장치, 방법 및 그리고 이를 정확하게 학습시키는 방법을 제공하는 데 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 체온 예측 장치는 입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역(region of interest)으로 검출하여, 측정된 상기 얼굴 부위 온도를 기초로 외부 환경 활동 유형을 추정하는 외부 환경 활동 추정 신경망 및 상기 외부 환경 활동 추정 신경망에 의해 추정된 외부 환경 활동 유형 및 상기 측정된 얼굴 부위의 온도를 기초로, 상기 피측정자의 체온을 예측하는 체온 예측 신경망을 포함할 수 있다.
상기 외부 환경 활동 추정 신경망은, 복수의 학습 대상의 학습용 얼굴 열화상 이미지 내의 적어도 하나 이상의 상기 얼굴 부위의 온도를 학습용 입력 데이터로서 이용하고, 상기 복수의 학습대상에 대한 얼굴 부위의 온도 측정시의 얼굴 부위의 온도에 따른 외부 환경 활동 유형을 레이블 데이터로서 이용하여 학습될 수 있다.
상기 체온 예측 신경망은, 복수의 학습대상의 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도 및 상기 복수의 학습 대상에 대한 얼굴 부위 온도 측정시의 학습용 상기 외부 환경 활동 유형을 학습용 입력 데이터로서 이용하고, 상기 학습 대상의 얼굴 부위 온도 측정시의 체온을 레이블 데이터로서 이용하여 학습될 수 있다.
상기 적어도 하나 이상의 얼굴 부위는 눈 안쪽 부위, 코 및 볼을 포함할 수 있다.
상기 외부 환경 활동 유형은 뜨거운 환경, 운동 후 환경, 평상시 환경 및 차가운 환경 중 하나를 나타낼 수 있다.
검출된 상기 관심영역은, 제 1 객체 검출 알고리즘에 기초해 상기 입력된 피측정자의 열화상 이미지에서 얼굴 영역이 검출되고, 상기 검출된 얼굴 영역 내에서 제 2 객체 검출 알고리즘에 기초해 상기 적어도 하나 이상의 얼굴부위가 관심영역으로서 검출될 수 있다.
본 발명의 다른 실시예에 따른 체온 예측 방법은 입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역으로 검출하여, 상기 적어도 하나 이상의 관심영역의 온도를 이용하여 외부 환경 활동 유형을 추정하는 단계 및 상기 입력된 얼굴 열화상 이미지에 대해 상기 적어도 하나 이상의 관심영역의 온도를 이용하여, 체온을 예측하는 단계를 포함할 수 있다.
상기 적어도 하나 이상의 얼굴 부위는 눈 안쪽 부위, 코 및 볼을 포함할 수 있다.
상기 외부 환경 활동 유형은 뜨거운 환경, 운동 후 환경, 평상시 환경 및 차가운 환경 중 하나를 나타낼 수 있다.
검출된 상기 관심영역은, 제 1 객체 검출 알고리즘에 기초해 상기 입력된 피측정자의 열화상 이미지에서 얼굴 영역이 검출되고, 상기 검출된 얼굴 영역 내에서 제 2 객체 검출 알고리즘에 기초해 상기 적어도 하나 이상의 얼굴부위가 관심영역으로서 검출될 수 있다.
본 발명의 또 다른 실시예에 따른 체온 예측 장치를 학습 시키는 방법은 입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역으로 검출하여, 상기 적어도 하나 이상의 관심영역의 온도를 이용하여 외부 환경 활동 유형을 추정하도록, 복수의 학습용 얼굴 열화상 이미지를 제 1 학습용 입력 데이터로서 이용하고, 상기 학습용 얼굴 열화상 이미지내의 상기 얼굴 부위의 온도에 따른 외부 환경 활동 유형을 제 1 레이블 데이터로서 이용하여 외부 환경 활동 추정 신경망을 학습시키는 단계 및 상기 입력된 얼굴 열화상 이미지에 대해 상기 적어도 하나 이상의 관심영역의 온도를 이용하여, 체온을 예측하도록, 복수의 학습용 얼굴 열화상 이미지 및 복수의 추정된 학습용 외부 활동 유형을 제 2 학습용 입력 데이터로서 이용하고, 상기 학습용 얼굴 열화상 이미지내의 상기 얼굴 부위의 온도 및 복수의 추정된 학습용 외부 활동 유형에 따른 체온을 제 2 레이블 데이터로서 이용하여 체온 예측 신경망을 학습시키는 단계를 포함할 수 있다.
본 발명의 실시 예에 의하면, 피부 온도 측정 및 외부 환경 활동을 딥러닝네트워크를 통해 체온을 정확하게 예측함으로써, 발열 증상에 예민한 병원, 공항 등 유동 인구가 많은 장소에서 출입자에 대한 철저한 관리를 할 수 있다. 그뿐 아니라, 비접촉식 얼굴 온도 측정을 통해 정확한 체온을 예측할 수 있어, 감염병 확산을 방지하고 신속하게 체온을 예측할 수 있다.
도 1은 본 발명의 일 실시예에 따른 체온 예측 장치를 설명하기 위한 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 부위 중 가장 높은 온도를 갖는 얼굴 부위를 나타낸 얼굴 열화상 이미지와 얼굴 ROI의 온도 측정 방식을 나타낸다.
도 3은 얼굴 부위와 체온 데이터 사이의 상관 관계를 다양한 환경 및 활동에 따라 나타내는 그래프이다.
도 4는 각 얼굴 부위 사이의 상관 관계를 다양한 환경 및 활동에 따라 나타내는 그래프이다.
도 5는 얼굴 부위의 관심 영역의 온도를 입력데이터로 체온을 예측하는 모델에 대한 체온 예측 결과를 나타내는 그래프이다.
도 6은 본 발명의 일 실시 예에 본 발명의 일 실시 예에 따른 얼굴 부위의 관심 영역의 온도와 외부 환경 활동을 입력데이터로 체온을 예측하는 모델에 대한 체온 예측 결과를 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 체온 예측 장치를 하드웨어적 측면에서 설명하기 위한 블록 구성도이다.
도 8은 본 발명의 다른 실시예에 따른 체온 예측 장치 학습 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 체온 예측 장치를 설명하기 위한 블록 구성도이다.
도 1을 참조하면, 체온 예측 장치(1000)는 데이터 수신부(1100), ROI(region of interest) 검출부(1200), 외부 환경 활동 추정부(1300) 및 체온 예측부(1400)를 포함할 수 있다.
본 명세서에서는, 설명의 편의상 외부 환경 활동 추정부(1300) 및 체온 예측부(1400)가 체온 예측 장치(1000)에 포함되어 있는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 외부 환경 활동 추정부(1300) 및 체온 예측부(1400)는 별개의 장치 또는 저장부에 저장된 프로그램으로 실행될 수 있다.
체온 예측 장치(1000)는 사전 학습된 외부 환경 활동 추정 신경망(1350)을 이용하여, 입력된 열화상 이미지로부터 외부 환경 활동을 추정할 수 있다.
또한, 체온 예측 장치(1000)는 사전 학습된 체온 예측 신경망(1450)을 이용하여, 입력된 열화상 이미지와 추정된 외부 환경 활동을 입력으로 하여 최종적으로 체온을 예측할 수 있다.
데이터 수신부(1100)는 외부 또는 내부로부터 신체의 열화상 이미지를 입력받을 수 있다. 예를 들어, 데이터 수신부(1100)는 신체 중 얼굴 열화상 이미지 또는 전신 열화상 이미지를 외부 또는 내부 촬영 기기로부터 수신할 수 있다.
ROI 검출부(1200)는 데이터 수신부(1100)로부터 수신 받은 열화상 이미지 내에서 얼굴 ROI를 검출하고, 선정된 얼굴 ROI의 온도를 입력 받을 수 있다.
보다 자세하게는 ROI 검출부(1200)는 객체 검출 방법을 이용하여, 수신 받은 열화상 이미지 내에서 기 설정된 얼굴 ROI영역을 검출할 수 있다. 객체 검출 방법은 R-CNN(region with convolutional neural network), SSD(single shot multi-box detector), YOLO(you only look once) 등이 있을 수 있다.
본 발명의 일 실시예에 따라, ROI 검출부(1200)는 먼저 YOLO 객체 검출 방법을 이용하여 수신 받은 열화상 이미지내에서 얼굴을 검출할 수 있다. 이어서, ROI 검출부(1200)는 두 번째 YOLO 객체 검출 방법을 이용하여 검출된 얼굴내에서 기 설정된 얼굴 ROI를 검출할 수 있다. 이로써, ROI 검출부(1200)는 검출된 얼굴 ROI에 대한 온도를 획득할 수 있다.
도 2의 (a)는 인간의 얼굴 부위 중 가장 높은 온도를 갖는 얼굴 부위를 나타낸 얼굴 열화상 이미지이고 도 2의 (b)는 본 발명의 일 실시예에 따른 얼굴 ROI의 온도 측정 방식을 나타낸다.
도 2의 (a)를 더 참조하면, 인간의 얼굴 부위 중 가장 높은 온도를 갖는 얼굴 부위가 눈 안쪽임을 알 수 있다. 인간의 체온은 일반적으로 피부 온도와 비교했을 때, 더 높은 온도를 갖는다. 따라서, 얼굴 피부의 온도 중 가장 높은 온도를 갖는 얼굴 부위를 얼굴 ROI로 선정하여 체온 변화를 탐지할 수 있다.
본 발명의 일 실시예에 따라, ROI 검출부(1200)는 얼굴 피부의 온도가 가장 높은 얼굴 부위인 눈 안쪽을 얼굴 ROI로 선정할 수 있다. 또한, 외부환경을 추정하기 위해 코와 볼을 추가로 얼굴 ROI로 선정할 수 있다.
도 2의 (b)를 더 참조하면, 본 발명의 일 실시예에 따라, ROI 검출부(1200)는 YOLO 객체 검출 방법을 이용하여, 인간의 얼굴 영역(210)을 검출하고, 검출된 얼굴 영역 내에서 얼굴 ROI로 기 설정한 눈 안쪽(230), 코(250) 및 볼(270) 영역을 검출할 수 있다.
이어서, ROI 검출부(1200)는 검출된 얼굴 ROI의 영역 모든 픽셀(pixel) 온도를 획득한다. ROI 검출부(1200)는 획득된 눈 안쪽(230) 영역내 모든 픽셀 온도 중 가장 높은 온도를 눈 안쪽(230)의 대표 온도로 결정할 수 있다. 또한, ROI 검출부(1200)는 획득된 코(250)와 볼(270) 각각의 영역내 모든 픽셀 온도의 평균값을 각각 코(250)와 볼(270)의 대표 온도로 결정할 수 있다. 눈 안쪽(230)은 체온과 가장 유사한 부위이므로 눈 안쪽(230) 영역내 픽셀 온도 중 가장 높은 온도를 대표 온도로 할 수 있다. 또한, 코(250)와 볼(270)은 외부 환경 활동에 따라 민감하게 변화하는 부위이며, 영역내 픽셀에 따라 온도 변동 폭이 커 외부 환경 활동을 추정하기 위한 코(250)와 볼(270)영역 내 모든 픽셀의 평균 온도를 대표 온도로 할 수 있다.
도 3은 얼굴 부위와 체온 데이터 사이의 상관 관계를 다양한 환경 및 활동에 따라 나타내는 그래프이다.
도 3의 (a)를 참조하면, 본 발명의 일 실시예에 따라, 체온, 눈 안쪽, 코, 볼의 총 4개의 값을 수집하여 다양한 환경과 활동에 따라, 체온과 얼굴 ROI 사이의 상관 관계를 알 수 있다.
보다 자세히 살펴보면, x축의 체온과 y축의 눈 안쪽의 온도는 뜨거운 환경(hot), 운동 후 환경(health), 평상시 환경(normal)에서 체온이 증가함에 따라 눈 안쪽의 온도도 증가함을 확인할 수 있어 높은 상관관계를 갖는다는 것을 확인할 수 있다. 차가운 환경(cold)에서는 36도 이하로 체온이 내려가지 않으나, 눈 안쪽의 온도는 차가운 환경에 피부가 영향을 받아 내려감을 확인할 수 있다.
도 3의 (b), (c)를 참조하면, x축의 체온과 y축의 코와 볼의 온도는 눈 안쪽과 체온과의 관계처럼 차가운 환경(cold)에서 체온은 36도 이하로 내려가지 않으나 차가운 환경에 피부가 영향을 받아 온도가 내려감을 확인할 수 있다. 한편, 차가운 환경(cold)에 있은 후에, 코와 볼의 온도를 측정하면, 눈 안쪽의 온도에 비해 피부가 두껍기 때문에 체온이 증가해도 코와 볼의 온도는 빠르게 증가하지 않음을 확인할 수 있다.
도 4는 각 얼굴 부위 사이의 상관 관계를 다양한 환경 및 활동에 따라 나타내는 그래프이다.
도 4를 참조하면, 체온을 예측하기 위해 수집된 눈 안쪽의 온도, 코의 온도, 볼의 온도 사이의 다양한 환경 및 활동에 따른 상관관계를 알 수 있다. 눈 안쪽의 온도가 증가할수록 코의 온도 및 볼의 온도 또한 증가하는 추세를 보여주고, 차가운 환경에 노출된 후, 수집된 온도 데이터 이외에는 코의 온도와 볼의 온도 분포가 크게 감소하지 않는 것을 알 수 있다.
도 1을 다시 참조하면, 외부 환경 활동 추정부(1300)는 외부 환경 활동 추정 신경망(1350)을 포함할 수 있고, ROI 검출부(1200)로부터 얼굴 ROI의 온도를 획득하여, 외부 환경 활동을 추정할 수 있다.
일 실시예에 따라 얼굴 ROI의 온도는 눈 안쪽의 온도, 코의 온도 및 볼의 온도를 포함할 수 있고, 외부 환경 활동은 차가운 환경, 뜨거운 환경, 운동 후 환경 및 평상시 환경을 포함할 수 있다.
보다 자세히 설명하면, 외부 환경 활동 추정 신경망(1350)은 복수의 학습 대상의 학습용 얼굴 열화상 이미지 내의 적어도 하나 이상의 얼굴 부위의 온도를 학습용 입력 데이터로서 이용하고, 복수의 학습대상에 대한 얼굴 부위의 온도 측정시의 얼굴 부위의 온도에 따른 외부 환경 활동 유형을 레이블 데이터로서 이용하여 학습된 인공신경망 모델일 수 있다.
외부 환경 활동 추정부(1300)는 피측정자의 눈 안쪽의 온도, 코의 온도 및 볼의 온도를 입력받아 외부 환경 활동 추정 신경망(1350)을 이용하여 차가운 환경, 뜨거운 환경, 운동 후 환경 및 평상시 환경에 대한 각각의 추정 확률을 소프트맥스(softmax) 함수를 사용하여 획득할 수 있다.
체온 예측부(1400)는 체온 예측 신경망(1450)을 포함할 수 있고, ROI 검출부(1200)로부터 얼굴 ROI의 온도와 외부 환경 활동 추정부(1300)로부터 추정된 각 외부 환경 활동에 대한 확률을 획득하여, 피측정자의 체온을 예측할 수 있다.
보다 자세히 설명하면, 일 실시예에 따라, 체온 예측 신경망(1450)은 복수의 학습대상의 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도 및 상기 복수의 학습 대상에 대한 얼굴 부위 온도 측정시의 학습용 상기 외부 환경 활동 유형을 학습용 입력 데이터로서 이용하고, 상기 학습 대상의 얼굴 부위 온도 측정시의 체온을 레이블 데이터로서 이용하여 학습된 인공신경망 모델일 수 있다.
즉, 체온 예측부(1400)는 피측정자의 눈 안쪽의 온도, 코의 온도 및 볼의 온도 및 외부 환경 활동 추정 신경망(1350)을 이용하여 획득된 차가운 환경, 뜨거운 환경, 운동 후 환경 및 평상시 환경에 대한 각각의 추정 확률을 입력받아, 학습된 체온 예측 신경망(1450)을 이용하여, 피측정자의 체온을 예측할 수 있다.
본 명세서에서는 설명의 편의를 위해 외부 환경 활동 추정부(1300)와 체온 예측부(1400)를 기능적으로 분리된 형태로 설명하였으나, 통합된 인공신경망으로 기능을 수행할 수 있다.
도 5는 얼굴 부위의 관심 영역의 온도를 입력 데이터로 체온을 예측하는 모델에 대한 체온 예측 결과를 나타내는 그래프이다.
도 5를 참조하면, 체온 예측 모델을 이용하여 실제 체온과 예측된 체온을 각 실험별로 데이터를 36세트를 이용하고, 실험을 6회 진행하여 각각 비교한 그래프이다. 실험에 이용한 체온 예측모델은 얼굴 ROI로 복수의 눈 안쪽의 온도, 코의 온도 및 볼의 온도를 학습용 입력 데이터로 하고, 복수의 실제 체온 데이터를 레이블 데이터로 이용하여 학습된 인공신경망 모델이다.
그래프에서, 체온 예측을 위해 상기 학습된 체온 예측 모델에 입력 데이터로 눈 안쪽의 온도, 코의 온도 및 볼의 온도를 입력하여, 예측된 체온(Prediction)과 실제 체온(Ground Truth)을 비교해 보면, 비교적 예측된 체온과 실제 체온이 유사한 양상을 보인다. 예측된 체온과 실제 체온간의 평균제곱오차(mean square error)는 0.0499이고, 예측된 체온과 실제 체온의 차이가 크게 나타나는 부분은 운동 후 환경일 때이다.
도 6은 본 발명의 일 실시 예에 본 발명의 일 실시 예에 따른 얼굴 부위의 관심 영역의 온도와 외부 환경 활동을 입력 데이터로 체온을 예측하는 모델에 대한 체온 예측 결과를 나타내는 그래프이다.
*도 1 및 도 6을 더 참조하면, 본 발명의 일 실시예에 따라, 체온 예측 모델을 이용하여 실제 체온과 예측된 체온을 각 실험별로 데이터를 36세트를 이용하고, 실험을 6회 진행하여 각각 비교한 그래프이다. 일 실시예에 따라 체온 예측을 위해 이용된 체온 예측 모델은 외부 환경 활동 추정부(1300)의 외부 환경 활동 추정 신경망(1350)과 체온 예측부(1400)의 체온 예측 신경망(1450)이 연결되어 체온을 예측하는 인공신경망 모델이다.
그래프에서, 체온 예측을 위해 상기 학습된 체온 예측 모델에 입력 데이터로 눈 안쪽의 온도, 코의 온도 및 볼의 온도를 입력하여, 예측된 체온(Prediction)과 실제 체온(Ground Truth)을 비교해 보면, 도 5에서 사용된 체온 예측 모델보다 예측된 체온과 실제 체온이 더 유사한 양상을 보인다. 예측된 체온과 실제 체온간의 평균제곱오차는 0.0033으로 도 5에서 사용된 체온 예측 모델보다 본 발명의 실시예에 따른 체온 예측 모델은 모든 외부 환경 활동 유형에서 정확한 체온을 측정할 수 있음을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 체온 예측 장치를 하드웨어적 측면에서 설명하기 위한 블록 구성도이다.
도 1 및 도 7을 참조하면, 체온 예측 장치 (1000)는 적어도 하나의 명령을 저장하는 저장장치(1710) 및 상기 메모리의 적어도 하나의 명령을 실행하는 프로세서(1720), 송수신 장치(1730), 입력 인터페이스 장치(1740) 및 출력 인터페이스 장치(1750)를 포함할 수 있다.
3차원 치아 이미지 표시 장치(1000)에 포함된 각각의 구성 요소들(1710, 1720, 1730, 1740, 1750)은 데이터 버스(bus, 1760)에 의해 연결되어 서로 통신을 수행할 수 있다.
저장장치(1710)는 메모리 또는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나를 포함할 수 있다. 예를 들어, 저장장치(1710)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나를 포함할 수 있다.
저장장치(1710)는 후술될 프로세서(1720)에 의해 실행될 적어도 하나의 명령을 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역으로 검출하여, 상기 적어도 하나 이상의 관심영역의 온도를 이용하여 외부 환경 활동 유형을 추정하도록, 복수의 학습용 얼굴 열화상 이미지를 제 1 학습용 입력 데이터로서 이용하고, 상기 학습용 얼굴 열화상 이미지내의 상기 얼굴 부위의 온도에 따른 외부 환경 활동 유형을 제 1 레이블 데이터로서 이용하여 외부 환경 활동 추정 신경망(1350)을 학습시키는 제 1 명령, 상기 입력된 얼굴 열화상 이미지에 대해 상기 적어도 하나 이상의 관심영역의 온도를 이용하여, 체온을 예측하도록, 복수의 학습용 얼굴 열화상 이미지 및 복수의 추정된 학습용 외부 활동 유형을 제 2 학습용 입력 데이터로서 이용하고, 상기 학습용 얼굴 열화상 이미지내의 상기 얼굴 부위의 온도 및 복수의 추정된 학습용 외부 활동 유형에 따른 체온을 제 2 레이블 데이터로서 이용하여 체온 예측 신경망(1450)을 학습시키는 제 2 명령을 포함할 수 있다.
프로세서(1720)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), MCU(micro controller unit) 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
도 1을 더 참조하면, 프로세서(1720)는 앞서 설명한 바와 같이, 저장장치(1710)에 저장된 적어도 하나의 프로그램 명령에 의해 ROI 검출부(1200), 외부 환경 활동 추정부(1300) 및 체온 예측부(1400)의 기능을 수행할 수 있으며, 이들 각각은 적어도 하나의 모듈의 형태로 메모리에 저장되어 프로세서에 의해 실행될 수 있다.
입력 인터페이스 장치(1740)는 사용자로부터 적어도 하나의 제어 신호를 입력받을 수 있다. 또한 입력 인터페이스 장치(1740)는 외부의 기기로부터 촬영된 피측정자의 열화상 이미지를 입력받는 데이터 수신부(1100)의 기능을 수행할 수 있다.
출력 인터페이스 장치(1750)는 프로세서(1720)의 동작에 의해 피측정자의 예측된 체온을 포함하는 적어도 하나의 정보를 출력하여 가시화할 수 있다.
이상에서는, 본 발명의 일 실시예에 따른 체온 예측 장치를 설명하였다. 이하에서는 본 발명의 다른 실시예에 따른 상기 체온 예측 장치 내 프로세서 동작에 의해 실행되는 체온 예측 방법을 설명한다.
도 8은 본 발명의 다른 실시예에 따른 체온 예측 장치 학습 방법의 순서도이다.
도 1, 도 7 및 도 8을 참조하면, 체온 예측 장치 (1000) 내 송수신 장치(1730)는 외부로부터 피측정자의 열화상 이미지를 수신할 수 있다(S1000).
이후, 프로세서(1720)는 YOLO 객체 검출 방법을 포함하는 객체 검출 알고리즘을 이용하여 수신된 피측정자의 열화상 이미지에서, 먼저 피측정자의 얼굴을 검출하고, 다시 객체 검출 알고리즘을 이용하여, 얼굴 ROI를 검출하고(S2000) 각 얼굴 ROI의 온도를 획득할 수 있다(S3000).
이어서, 프로세서(1720)는 사전 학습된 외부 환경 활동 추정 신경망(1350)을 이용하여 획득된 각 얼굴 ROI의 온도를 입력데이터로 하여, 피측정자의 외부 환경 활동을 추정할 수 있다(S4000).
최종적으로 프로세서(1720)는 사전 학습된 체온 예측 신경망(1450)을 이용하여 획득된 각 얼굴 ROI의 온도 및 추정된 피측정자의 외부 환경 활동을 입데이터로 하여, 피측정자의 체온을 예측할 수 있다(S5000).
본 발명의 또 다른 실시예에 따르면, 입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역으로 검출하여, 상기 적어도 하나 이상의 관심영역의 온도를 이용하여 외부 환경 활동 유형을 추정하는 단계, 상기 입력된 얼굴 열화상 이미지에 대해 상기 적어도 하나 이상의 관심영역의 온도를 이용하여, 체온을 예측하는 단계를 포함할 수 있다.
이로써, 본 발명의 실시예에 따른 장치 및 방법은 피측정자의 외부 환경 활동을 추정하고, 추정된 결과와 얼굴 ROI의 온도를 이용하여 체온을 예측함으로써, 다양한 외부 환경 활동에 대하여 얼굴 피부가 영향을 받더라도, 정확한 체온을 예측할 수 있다.
따라서, 본 발명의 실시예에 따른 장치 및 방법은 비접촉식으로 피측정자의 체온을 정확하게 예측할 수 있으므로, 감염병 예방 및 감염병 전파 방지에 효과적일 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 체온 예측 장치
1100: 데이터 수신부
1200: ROI 검출부
1300: 외부 환경 활동 추정부
1350: 외부 환경 활동 추정 신경망
1400: 체온 예측부
1450: 체온 예측 신경망
1710: 저장장치
1720: 프로세서
1730: 송수신 장치
1740: 입력 인터페이스 장치
1750: 출력 인터페이스 장치
1760: 데이터 버스

Claims (11)

  1. 입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역(region of interest)으로 검출하여, 상기 관심영역의 측정된 온도 분포를 이용하여, 상기 피측정자의 체온 측정에 영향을 주는 상기 피측정자의 노출 외부 환경 또는 활동 유형을 분류하는 외부 환경 활동 추정 신경망; 및
    상기 외부 환경 활동 추정 신경망에 의해 분류된 상기 노출 외부 환경 또는 활동 유형 및 상기 관심영역의 측정된 온도 분포를 결합하여, 상기 피측정자의 체온을 예측하는 체온 예측 신경망을 포함하고,
    상기 외부 환경 활동 추정 신경망은, 복수의 학습 대상의 학습용 얼굴 열화상 이미지 내의 적어도 하나 이상의 상기 얼굴 부위의 온도를 학습용 입력 데이터로서 이용하고, 상기 복수의 학습 대상에 대한 얼굴 부위의 온도 측정시의 얼굴 부위의 온도에 따른 활동 유형을 레이블 데이터로서 이용하여 학습되고,
    상기 체온 예측 신경망은, 상기 복수의 학습 대상의 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도 및 상기 복수의 학습 대상에 대한 얼굴 부위 온도 측정시의 학습용 상기 활동 유형을 학습용 입력 데이터로서 이용하고, 상기 학습 대상의 얼굴 부위 온도 측정시의 체온을 레이블 데이터로서 이용하여 학습되며,
    상기 적어도 하나 이상의 얼굴 부위는, 눈 안쪽 부위, 코 및 볼을 포함하고,
    상기 학습용 입력 데이터로서 이용되는 상기 눈 안쪽 부위의 온도는, 상기 눈 안쪽 영역 내 모든 픽셀 온도 중 가장 높은 온도로 결정되고,
    상기 학습용 입력 데이터로서 이용되는 상기 코의 온도는, 상기 코 영역 내 모든 픽셀 온도의 평균 온도로 결정되고,
    상기 학습용 입력 데이터로서 이용되는 상기 볼의 온도는, 상기 볼 영역 내 모든 픽셀 온도의 평균 온도로 결정되는
    체온 예측 장치.
  2. 제 1 항에 있어서,
    상기 활동 유형은 뜨거운 환경, 운동 후 환경, 평상시 환경 및 차가운 환경 중 하나를 나타내는
    체온 예측 장치.
  3. 제 1 항에 있어서,
    검출된 상기 관심영역은,
    제 1 객체 검출 알고리즘에 기초해 상기 입력된 피측정자의 열화상 이미지에서 얼굴 영역이 검출되고, 상기 검출된 얼굴 영역 내에서 제 2 객체 검출 알고리즘에 기초해 상기 적어도 하나 이상의 얼굴부위가 관심영역으로서 검출되는
    체온 예측 장치.
  4. 외부 환경 활동 추정 신경망 및 체온 예측 신경망을 포함하는 체온 예측 장치에 의해 수행되는 체온 예측 방법으로서,
    입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역으로 검출하여, 상기 관심영역의 측정된 온도 분포를 이용하여, 상기 피측정자의 체온 측정에 영향을 주는 상기 피측정자의 노출 외부 환경 또는 활동 유형을 분류하는 단계; 및
    상기 분류된 노출 외부 환경 또는 활동 유형과 상기 관심영역의 측정된 온도 분포를 결합하여, 상기 피측정자의 체온을 예측하는 단계를 포함하고,
    상기 외부 환경 활동 추정 신경망은, 복수의 학습 대상의 학습용 얼굴 열화상 이미지 내의 적어도 하나 이상의 상기 얼굴 부위의 온도를 학습용 입력 데이터로서 이용하고, 상기 복수의 학습 대상에 대한 얼굴 부위의 온도 측정시의 얼굴 부위의 온도에 따른 활동 유형을 레이블 데이터로서 이용하여 학습되고,
    상기 체온 예측 신경망은, 상기 복수의 학습 대상의 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도 및 상기 복수의 학습 대상에 대한 얼굴 부위 온도 측정시의 학습용 상기 활동 유형을 학습용 입력 데이터로서 이용하고, 상기 학습 대상의 얼굴 부위 온도 측정시의 체온을 레이블 데이터로서 이용하여 학습되며,
    상기 적어도 하나 이상의 얼굴 부위는, 눈 안쪽 부위, 코 및 볼을 포함하고,
    상기 학습용 입력 데이터로서 이용되는 상기 눈 안쪽 부위의 온도는, 상기 눈 안쪽 영역 내 모든 픽셀 온도 중 가장 높은 온도로 결정되고,
    상기 학습용 입력 데이터로서 이용되는 상기 코의 온도는, 상기 코 영역 내 모든 픽셀 온도의 평균 온도로 결정되고,
    상기 학습용 입력 데이터로서 이용되는 상기 볼의 온도는, 상기 볼 영역 내 모든 픽셀 온도의 평균 온도로 결정되는
    체온 예측 방법.
  5. 제 4 항에 있어서,
    상기 활동 유형은 뜨거운 환경, 운동 후 환경, 평상시 환경 및 차가운 환경 중 하나를 나타내는
    체온 예측 방법.
  6. 제 4 항에 있어서,
    검출된 상기 관심영역은,
    제 1 객체 검출 알고리즘에 기초해 상기 입력된 피측정자의 열화상 이미지에서 얼굴 영역이 검출되고, 상기 검출된 얼굴 영역 내에서 제 2 객체 검출 알고리즘에 기초해 상기 적어도 하나 이상의 얼굴부위가 관심영역으로서 검출되는
    체온 예측 방법.
  7. 체온 예측 장치에 의해 수행되는 체온 예측 장치 학습 방법으로서,
    상기 체온 예측 장치는,
    체온 예측 장치를 학습시키기 위한 명령어를 포함하는 메모리; 및
    상기 메모리에서 상기 체온 예측 장치를 학습시키기 위한 명령어에 기초하여 실행되는 프로세서를 포함하고,
    상기 프로세서는,
    입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역으로 검출하여, 상기 관심영역의 측정된 온도 분포를 이용하여, 상기 피측정자의 체온 측정에 영향을 주는 상기 피측정자의 노출 외부 환경 또는 활동 유형을 분류하도록, 복수의 학습용 얼굴 열화상 이미지를 제 1 학습용 입력 데이터로서 이용하고, 상기 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도에 따른 활동 유형을 제 1 레이블 데이터로서 이용하여 외부 환경 활동 추정 신경망을 학습시키는 단계; 및
    상기 분류된 노출 외부 환경 또는 활동 유형과 상기 관심영역의 측정된 온도 분포를 결합하여, 상기 피측정자의 체온을 예측하도록, 복수의 학습용 얼굴 열화상 이미지 및 복수의 분류된 학습용 활동 유형을 제 2 학습용 입력 데이터로서 이용하고, 상기 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도 및 복수의 분류된 학습용 활동 유형에 따른 체온을 제 2 레이블 데이터로서 이용하여 체온 예측 신경망을 학습시키는 단계를 포함하고,
    상기 적어도 하나 이상의 얼굴 부위는, 눈 안쪽 부위, 코 및 볼을 포함하고,
    상기 제1 레이블 데이터 및 상기 제2 레이블 데이터로서 이용되는 상기 눈 안쪽 부위의 온도는, 상기 눈 안쪽 영역 내 모든 픽셀 온도 중 가장 높은 온도로 결정되고,
    상기 제1 레이블 데이터 및 상기 제2 레이블 레이터로서 이용되는 상기 코의 온도는, 상기 코 영역 내 모든 픽셀 온도의 평균 온도로 결정되고,
    상기 제1 레이블 데이터 및 상기 제2 레이블 데이터로서 이용되는 상기 볼의 온도는, 상기 볼 영역 내 모든 픽셀 온도의 평균 온도로 결정되는
    상기 피측정자의 체온 예측 장치 학습 방법.
  8. 컴퓨터 판독 가능한 기록 매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    외부 환경 활동 추정 신경망 및 체온 예측 신경망을 포함하는 체온 예측 장치에 의해 수행되는 체온 예측 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
    상기 방법은,
    입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역으로 검출하여, 상기 관심영역의 측정된 온도 분포를 이용하여, 상기 피측정자의 체온 측정에 영향을 주는 상기 피측정자의 노출 외부 환경 또는 활동 유형을 분류하는 단계; 및
    상기 분류된 노출 외부 환경 또는 활동 유형과 상기 관심영역의 측정된 온도 분포를 결합하여, 상기 피측정자의 체온을 예측하는 단계를 포함하고,
    상기 외부 환경 활동 추정 신경망은, 복수의 학습 대상의 학습용 얼굴 열화상 이미지 내의 적어도 하나 이상의 상기 얼굴 부위의 온도를 학습용 입력 데이터로서 이용하고, 상기 복수의 학습 대상에 대한 얼굴 부위의 온도 측정시의 얼굴 부위의 온도에 따른 활동 유형을 레이블 데이터로서 이용하여 학습되고,
    상기 체온 예측 신경망은, 상기 복수의 학습 대상의 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도 및 상기 복수의 학습 대상에 대한 얼굴 부위 온도 측정시의 학습용 상기 활동 유형을 학습용 입력 데이터로서 이용하고, 상기 학습 대상의 얼굴 부위 온도 측정시의 체온을 레이블 데이터로서 이용하여 학습되며,
    상기 적어도 하나 이상의 얼굴 부위는, 눈 안쪽 부위, 코 및 볼을 포함하고,
    상기 학습용 입력 데이터로서 이용되는 상기 눈 안쪽 부위의 온도는, 상기 눈 안쪽 영역 내 모든 픽셀 온도 중 가장 높은 온도로 결정되고,
    상기 학습용 입력 데이터로서 이용되는 상기 코의 온도는, 상기 코 영역 내 모든 픽셀 온도의 평균 온도로 결정되고,
    상기 학습용 입력 데이터로서 이용되는 상기 볼의 온도는, 상기 볼 영역 내 모든 픽셀 온도의 평균 온도로 결정되는
    컴퓨터 프로그램.
  9. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록 매체로서,
    상기 컴퓨터 프로그램은,
    외부 환경 활동 추정 신경망 및 체온 예측 신경망을 포함하는 체온 예측 장치에 의해 수행되는 체온 예측 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
    상기 방법은,
    입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역으로 검출하여, 상기 관심영역의 측정된 온도 분포를 이용하여, 상기 피측정자의 체온 측정에 영향을 주는 상기 피측정자의 노출 외부 환경 또는 활동 유형을 분류하는 단계; 및
    상기 분류된 노출 외부 환경 또는 활동 유형과 상기 관심영역의 측정된 온도 분포를 결합하여, 상기 피측정자의 체온을 예측하는 단계를 포함하고,
    상기 외부 환경 활동 추정 신경망은, 복수의 학습 대상의 학습용 얼굴 열화상 이미지 내의 적어도 하나 이상의 상기 얼굴 부위의 온도를 학습용 입력 데이터로서 이용하고, 상기 복수의 학습 대상에 대한 얼굴 부위의 온도 측정시의 얼굴 부위의 온도에 따른 활동 유형을 레이블 데이터로서 이용하여 학습되고,
    상기 체온 예측 신경망은, 상기 복수의 학습 대상의 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도 및 상기 복수의 학습 대상에 대한 얼굴 부위 온도 측정시의 학습용 상기 활동 유형을 학습용 입력 데이터로서 이용하고, 상기 학습 대상의 얼굴 부위 온도 측정시의 체온을 레이블 데이터로서 이용하여 학습되며,
    상기 적어도 하나 이상의 얼굴 부위는, 눈 안쪽 부위, 코 및 볼을 포함하고,
    상기 학습용 입력 데이터로서 이용되는 상기 눈 안쪽 부위의 온도는, 상기 눈 안쪽 영역 내 모든 픽셀 온도 중 가장 높은 온도로 결정되고,
    상기 학습용 입력 데이터로서 이용되는 상기 코의 온도는, 상기 코 영역 내 모든 픽셀 온도의 평균 온도로 결정되고,
    상기 학습용 입력 데이터로서 이용되는 상기 볼의 온도는, 상기 볼 영역 내 모든 픽셀 온도의 평균 온도로 결정되는
    컴퓨터 판독 가능한 기록 매체.
  10. 컴퓨터 판독 가능한 기록 매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    체온 예측 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
    입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역으로 검출하여, 상기 관심영역의 측정된 온도 분포를 이용하여, 상기 피측정자의 체온 측정에 영향을 주는 상기 피측정자의 노출 외부 환경 또는 활동 유형을 분류하도록, 복수의 학습용 얼굴 열화상 이미지를 제 1 학습용 입력 데이터로서 이용하고, 상기 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도에 따른 활동 유형을 제 1 레이블 데이터로서 이용하여 외부 환경 활동 추정 신경망을 학습시키는 단계; 및
    상기 분류된 노출 외부 환경 또는 활동 유형과 상기 관심영역의 측정된 온도 분포를 결합하여, 상기 피측정자의 체온 예측하도록, 복수의 학습용 얼굴 열화상 이미지 및 복수의 분류된 학습용 활동 유형을 제 2 학습용 입력 데이터로서 이용하고, 상기 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도 및 복수의 분류된 학습용 활동 유형에 따른 체온을 제 2 레이블 데이터로서 이용하여 체온 예측 신경망을 학습시키는 단계를 포함하고,
    상기 적어도 하나 이상의 얼굴 부위는, 눈 안쪽 부위, 코 및 볼을 포함하고,
    상기 제1 레이블 데이터 및 상기 제2 레이블 데이터로서 이용되는 상기 눈 안쪽 부위의 온도는, 상기 눈 안쪽 영역 내 모든 픽셀 온도 중 가장 높은 온도로 결정되고,
    상기 제1 레이블 데이터 및 상기 제2 레이블 레이터로서 이용되는 상기 코의 온도는, 상기 코 영역 내 모든 픽셀 온도의 평균 온도로 결정되고,
    상기 제1 레이블 데이터 및 상기 제2 레이블 데이터로서 이용되는 상기 볼의 온도는, 상기 볼 영역 내 모든 픽셀 온도의 평균 온도로 결정되는
    컴퓨터 프로그램.
  11. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록 매체로서,
    상기 컴퓨터 프로그램은,
    입력된 피측정자의 열화상 이미지에 대해 적어도 하나 이상의 얼굴 부위를 관심영역으로 검출하여, 상기 관심영역의 측정된 온도 분포를 이용하여, 상기 피측정자의 체온 측정에 영향을 주는 상기 피측정자의 노출 외부 환경 또는 활동 유형을 분류하도록, 복수의 학습용 얼굴 열화상 이미지를 제 1 학습용 입력 데이터로서 이용하고, 상기 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도에 따른 활동 유형을 제 1 레이블 데이터로서 이용하여 외부 환경 활동 추정 신경망을 학습시키는 단계; 및
    상기 분류된 노출 외부 환경 또는 활동 유형과 상기 관심영역의 측정된 온도 분포를 결합하여, 상기 피측정자의 체온을 예측하도록, 복수의 학습용 얼굴 열화상 이미지 및 복수의 분류된 학습용 활동 유형을 제 2 학습용 입력 데이터로서 이용하고, 상기 학습용 얼굴 열화상 이미지 내의 상기 얼굴 부위의 온도 및 복수의 분류된 학습용 활동 유형에 따른 체온을 제 2 레이블 데이터로서 이용하여 체온 예측 신경망을 학습시키는 단계를 포함하고,
    상기 적어도 하나 이상의 얼굴 부위는, 눈 안쪽 부위, 코 및 볼을 포함하고,
    상기 제1 레이블 데이터 및 상기 제2 레이블 데이터로서 이용되는 상기 눈 안쪽 부위의 온도는, 상기 눈 안쪽 영역 내 모든 픽셀 온도 중 가장 높은 온도로 결정되고,
    상기 제1 레이블 데이터 및 상기 제2 레이블 레이터로서 이용되는 상기 코의 온도는, 상기 코 영역 내 모든 픽셀 온도의 평균 온도로 결정되고,
    상기 제1 레이블 데이터 및 상기 제2 레이블 데이터로서 이용되는 상기 볼의 온도는, 상기 볼 영역 내 모든 픽셀 온도의 평균 온도로 결정되는
    컴퓨터 판독 가능한 기록 매체.
KR1020240013066A 2021-08-02 2024-01-29 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법 KR102644487B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020240013066A KR102644487B1 (ko) 2021-08-02 2024-01-29 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210101407A KR20230019645A (ko) 2021-08-02 2021-08-02 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법
KR1020240013066A KR102644487B1 (ko) 2021-08-02 2024-01-29 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210101407A Division KR20230019645A (ko) 2021-08-02 2021-08-02 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법

Publications (2)

Publication Number Publication Date
KR20240017050A true KR20240017050A (ko) 2024-02-06
KR102644487B1 KR102644487B1 (ko) 2024-03-07

Family

ID=85037666

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020210101407A KR20230019645A (ko) 2021-08-02 2021-08-02 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법
KR1020230176892A KR102709243B1 (ko) 2021-08-02 2023-12-07 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법
KR1020240013066A KR102644487B1 (ko) 2021-08-02 2024-01-29 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020210101407A KR20230019645A (ko) 2021-08-02 2021-08-02 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법
KR1020230176892A KR102709243B1 (ko) 2021-08-02 2023-12-07 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법

Country Status (2)

Country Link
US (1) US20230036164A1 (ko)
KR (3) KR20230019645A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4002303A1 (en) * 2020-11-09 2022-05-25 Tata Consultancy Services Limited Real time region of interest (roi) detection in thermal face images based on heuristic approach
KR102725582B1 (ko) * 2023-05-04 2024-11-05 주식회사 에이투마인드 노인 케어 서비스를 제공하기 위한 장치, 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150091808A (ko) * 2014-02-04 2015-08-12 동국대학교 산학협력단 범죄 사건의 예측을 위한 영상 처리 장치 및 방법
KR20180015792A (ko) * 2016-08-03 2018-02-14 동국대학교 산학협력단 공포 심리 분석 시스템 및 방법
KR20210062535A (ko) 2019-11-21 2021-05-31 주식회사 지비소프트 비접촉식 생체 지수 측정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150091808A (ko) * 2014-02-04 2015-08-12 동국대학교 산학협력단 범죄 사건의 예측을 위한 영상 처리 장치 및 방법
KR20180015792A (ko) * 2016-08-03 2018-02-14 동국대학교 산학협력단 공포 심리 분석 시스템 및 방법
KR20210062535A (ko) 2019-11-21 2021-05-31 주식회사 지비소프트 비접촉식 생체 지수 측정 방법

Also Published As

Publication number Publication date
US20230036164A1 (en) 2023-02-02
KR20230019645A (ko) 2023-02-09
KR102709243B1 (ko) 2024-09-23
KR20230169066A (ko) 2023-12-15
KR102644487B1 (ko) 2024-03-07

Similar Documents

Publication Publication Date Title
KR102644487B1 (ko) 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법
US20200205697A1 (en) Video-based fall risk assessment system
CN109477951B (zh) 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
Alvarez et al. Behavior analysis through multimodal sensing for care of Parkinson’s and Alzheimer’s patients
JP5384629B2 (ja) 監視ゾーン内の対象物の移動を分類する装置および方法
JP7057959B2 (ja) 動作解析装置
US8682417B2 (en) Heat-related symptom detection systems and methods
Datcu et al. Noncontact automatic heart rate analysis in visible spectrum by specific face regions
US20110181614A1 (en) Quantification method of the feature of a tumor and an imaging method of the same
KR20170091677A (ko) 체온이 증가한 개체를 식별하기 위한 방법 및 시스템
EP2739134A1 (en) Systems and methods of monitoring social interactions in a group of organisms over a period of at least 24 hours in a semi-natural environment
CN101189638A (zh) 膝关节形态的特征描述方法和系统
US20160259898A1 (en) Apparatus and method for providing reliability for computer aided diagnosis
GB2501542A (en) Abnormal behaviour detection in video or image surveillance data
CN110414400A (zh) 一种施工现场安全帽穿戴自动检测方法及系统
US11779260B2 (en) Cognitive function evaluation method, cognitive function evaluation device, and non-transitory computer-readable recording medium in which cognitive function evaluation program is recorded
JP2020515948A (ja) 患者周辺の光学画像データを検出し、患者のチェックを識別する方法、装置およびコンピュータプログラム
US20240057946A1 (en) Sarcopenia evaluation method, sarcopenia evaluation device, and non-transitory computer-readable recording medium in which sarcopenia evaluation program is recorded
US11482046B2 (en) Action-estimating device
JP2010250775A (ja) 犯罪防止装置およびプログラム
Yan et al. Dynamic group difference coding based on thermal infrared face image for fever screening
Brzostowski et al. Data fusion in ubiquitous sports training: methodology and application
JP7190871B2 (ja) 画像解析装置、画像解析方法、及びプログラム
CN112507916A (zh) 一种基于面部神态的人脸检测方法和系统
CN110210345A (zh) 一种施工人员安全帽佩戴情况实时检测方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20240129

Patent event code: PA01071R01D

Filing date: 20210802

Application number text: 1020210101407

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240228

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240304

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240304

End annual number: 3

Start annual number: 1

PG1601 Publication of registration