KR102496334B1 - 멀티퍼슨 체온 측정 방법, 장치, 전자 기기 및 저장 매체 - Google Patents

멀티퍼슨 체온 측정 방법, 장치, 전자 기기 및 저장 매체 Download PDF

Info

Publication number
KR102496334B1
KR102496334B1 KR1020200058317A KR20200058317A KR102496334B1 KR 102496334 B1 KR102496334 B1 KR 102496334B1 KR 1020200058317 A KR1020200058317 A KR 1020200058317A KR 20200058317 A KR20200058317 A KR 20200058317A KR 102496334 B1 KR102496334 B1 KR 102496334B1
Authority
KR
South Korea
Prior art keywords
image
body temperature
face
still image
face image
Prior art date
Application number
KR1020200058317A
Other languages
English (en)
Other versions
KR20210114838A (ko
Inventor
슈펭 가오
지에 마
유항 리우
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20210114838A publication Critical patent/KR20210114838A/ko
Application granted granted Critical
Publication of KR102496334B1 publication Critical patent/KR102496334B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Radiation Pyrometers (AREA)
  • Image Processing (AREA)

Abstract

본 출원의 실시예는 멀티퍼슨 체온 측정 방법, 장치, 전자 기기 및 저장 매체를 개시하였으며, 적외선 온도 측정 분야에 관한 것이다. 해당 방법은, 광학 정지 영상에 대해 얼굴 인식을 진행하여, 상기 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 상기 얼굴 영상의 좌표를 확정하는 것; 열화상 정지 영상 및/또는 상기 광학 정지 영상에 대해 좌표 변환을 진행하여, 각 상기 얼굴 영상의 열화상 정보를 확정하는 것 - 여기서, 상기 광학 정지 영상과 상기 열화상 정지 영상은 동일한 영상 채집 대상을 포함함 - ; 및 각 상기 얼굴 영상에 대해, 상기 얼굴 영상의 열화상 정보에 기반하여, 상기 얼굴 영상에 대응되는 체온을 확정하는 것을 포함한다. 본 출원의 실시예는 공공장소에서 체온 측정을 진행하는 효율을 향상시킬수 있을 뿐만아니라, 교차 감염을 방지 할수 있다.

Description

멀티퍼슨 체온 측정 방법, 장치, 전자 기기 및 저장 매체{METHOD AND DEVICE FOR DETECTING BODY TEMPERATURE, ELECTRONIC APPARATUS AND STORAGE MEDIUM}
본 발명은 열화상 분야에 관한 것으로서, 특히 적외선 온도 측정 분야에 관한 것이다.
공공장소에서 대량의 인원들에 대해 체온을 측정할 경우, 현재는 일반적으로 적외선 체온계(비접촉식 이마용 체온계)를 사용하여 인원들에 대해 하나하나씩 측정을 진행한다. 이러한 방식은 측정 효율이 낮고, 측정 설비와 접촉하여 교차 감염될 가능성이 있다.
[종래기술 특허문헌]
일본공개특허공보 JP2010-079446 A (공개일: 2010. 04. 08.)
본 발명의 실시예는 멀티퍼슨 체온 측정 방법 및 장치를 제공하여, 상기 기술 문제 중의 적어도 하나를 해결하도록 한다.
제1 측면에 있어서, 본 발명의 실시예는 멀티퍼슨 체온 측정 방법을 제공하며, 해당 방법은,
광학 정지 영상에 대해 얼굴 인식을 진행하여, 상기 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 상기 얼굴 영상의 좌표를 확정하는 것;
열화상 정지 영상 및/또는 상기 광학 정지 영상에 대해 좌표 변환을 진행하여, 각 상기 얼굴 영상의 열화상 정보를 확정하는 것 - 여기서 상기 광학 정지 영상과 상기 열화상 정지 영상은 동일한 영상 채집 대상을 포함함 - ; 및
각 상기 얼굴 영상에 대해, 상기 얼굴 영상의 열화상 정보에 기반하여, 상기 얼굴 영상에 대응되는 체온을 확정하는 것을 포함한다.
본 출원의 실시예는 일반적인 광학 영상 중의 복수의 얼굴 영상을 확정하고, 각 얼굴 영상에 대응하는 열화상 영상중의 열화상 정보를 확정하여, 복수의 얼굴 영상에 대응하는 체온을 확정함으로써, 공공장소에서 체온 측정을 진행하는 효율을 향상시킬수 있을 뿐만 아니라 교차 감염을 방지할수 있다.
일 실시방식에 있어서, 광학 비디오 영상 및 열화상 비디오 영상중에서 동일한 프레임을 각각 추출하여, 상기 광학 정지 영상 및 상기 열화상 정지 영상을 획득하는 것을 포함한다.
본 출원의 실시예는 비디오 영상중에서 정지 영상을 선택해내여, 품질이 높은 정지 영상을 선택하여 체온을 측정하기에 편리하다.
일 실시방식에 있어서, 상기 광학 정지 영상에 대해 얼굴인식을 진행하여, 각 상기 얼굴 영상의 열화상 정보를 확정하는 것은,
상기 광학 정지 영상의 선명도 및 상기 광학 정지 영상중의 얼굴 선명도에 기반하여, 상기 광학 정지 영상의 영상 품질을 확정하는 것, - 여기서, 상기 얼굴 선명도는 가림 정도, 모호도, 광도, 자세 각도, 완정도, 사이즈 특징중의 적어도 하나를 포함함 - ; 및
상기 영상 품질이 사전에 설정된 품질 표준을 만족하는 경우, 상기 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 상기 얼굴 영상의 좌표를 확정하는 단계를 실행하는 것을 포함한다.
본 출원의 실시예는 영상 품질이 사전에 설정된 품질 표준을 만족하는 정지 영상을 선별함으로써, 얼굴 인식의 정확도를 향상시키고, 인원들의 체온 측정의 정확도를 향상시킬수 있다.
일 실시방식에 있어서, 상기 얼굴 인식은 키포인트 포지셔닝 기술을 사용하여, 얼굴 기관 및 윤곽의 복수의 키포인트를 포지셔닝한다.
본 출원의 실시예는 키포인트 포지셔닝 기술을 사용하여, 얼굴 인식을 효율적으로 정확하게 구현할수 있다.
일 실시방식에 있어서, 상기 얼굴 영상의 열화상 정보는, 상기 열화상 정지 영상중의 상기 얼굴 영상에 대응되는 온도 격자를 포함하며,
상기 얼굴 영상의 열화상 정보에 기반하여 상기 얼굴 영상에 대응되는 체온을 확정하는 것은, 선형 회귀 알고리즘을 사용하여 상기 온도 격자에 대해 계산을 진행하여, 상기 얼굴 영상에 대응되는 체온을 획득하는 것을 포함한다.
본 출원의 실시예는 선형 회귀 알고리즘을 사용하여 상기 온도 격자에 대해 계산을 진행함으로써, 얼굴 영상에 대응되는 체온을 정확하게 확정할수 있다.
일 실시방식에 있어서, 상기 온도 격자는 상기 열화상 정지 영상중의 상기 얼굴 영상 이마 위치에 대응되는 화소가 나타내는 온도를 포함한다.
일 실시방식에 있어서, 대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상을 전시한다.
일 실시방식에 있어서, 상기 얼굴 영상에 대응되는 인원 표지를 사전에 저장하고; 대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상의 인원 표지를 전시한다.
본 출원의 실시예는 대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상 또는 인원 표지를 전시하는 것을 통하여, 체온이 이상인 인원을 신속하고 효율적으로 통보 또는 표시할수 있다.
제2측면에 있어서, 본 출원의 실시예는 멀티퍼슨 체온 측정 장치를 제공하며, 해당 장치는,
광학 정지 영상에 대해 얼굴 인식을 진행하여, 상기 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 상기 얼굴 영상의 좌표를 확정하기 위한 얼굴 인식 모듈;
열화상 정지 영상 및/또는 상기 광학 정지 영상에 대해 좌표 변환을 진행하여, 각 상기 얼굴 영상의 열화상 정보를 확정하기 위한 좌표 변환 모듈, 여기서 상기 광학 정지 영상과 상기 열화상 정지 영상은 동일한 영상 채집 대상을 포함함; 및
각 상기 얼굴 영상에 대해, 상기 얼굴 영상의 열화상 정보에 기반하여, 상기 얼굴 영상에 대응되는 체온을 확정하기 위한 체온 확정 모듈, 을 포함한다.
일 실시방식에 있어서, 광학 비디오 영상 및 열화상 비디오 영상중에서 동일한 프레임을 각각 추출하여, 상기 광학 정지 영상 및 상기 열화상 정지 영상을 획득하기 위한 정지 영상 획득 모듈을 더 포함한다.
일 실시방식에 있어서, 얼굴 인식 모듈은,
상기 광학 정지 영상의 선명도 및 상기 광학 정지 영상중의 얼굴 선명도에 기반하여, 상기 광학 정지 영상의 영상 품질을 확정하기 위한 선별 서브 모듈, 여기서 상기 얼굴 선명도는 가림 정도, 모호도, 광도, 자세 각도, 완정도, 사이즈 특징중의 적어도 하나를 포함함; 및
상기 영상 품질이 사전에 설정된 품질 표준을 만족하는 경우, 상기 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 상기 얼굴 영상의 좌표를 확정하기 위한 얼굴 영상 확정 서브 모듈, 을 포함한다.
일 실시방식에 있어서, 상기 얼굴 인식 모듈은 키포인트 포지셔닝 기술을 사용하여, 얼굴 기관 및 윤곽의 복수의 키포인트를 포지셔닝한다.
일 실시방식에 있어서, 상기 얼굴 영상의 열화상 정보는, 상기 열화상 정지 영상중의 상기 얼굴 영상에 대응되는 온도 격자를 포함하며,
상기 체온 확정 모듈은, 선형 회귀 알고리즘을 사용하여 상기 온도 격자에 대해 계산을 진행하여, 상기 얼굴 영상에 대응되는 체온을 획득하기 위한 것이다.
일 실시방식에 있어서, 상기 온도 격자는 상기 열화상 정지 영상중의 상기 얼굴 영상 이마 위치에 대응되는 화소가 나타내는 온도를 포함한다.
일 실시방식에 있어서, 대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상을 전시하기 위한 제1 전시 모듈을 더 포함한다.
일 실시방식에 있어서, 상기 얼굴 영상에 대응되는 인원 표지를 사전에 저장하고, 대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상의 인원 표지를 전시하기 위한 제2 전시 모듈을 더 포함한다.
제3측면에 있어서, 본 출원의 실시예는,
적어도 하나의 프로세서 및 적어도 하나의 프로세서와 연결되여 통신하는 메모리를 포함하는 전자 기기에 있어서,
메모리는 적어도 하나의 프로세서에 의해 실행되는 명령들을 저장하며, 명령들은 적어도 하나의 프로세서에 의해 실행되여, 적어도 하나의 프로세서가 제1측면중 어느 한 항의 방법을 실행하도록 하는 전자 기기를 제공한다.
제4측면에 있어서, 본 출원의 실시예는 컴퓨터 명령들을 저장하는 비 일시적 컴퓨터 판독가능한 저장 매체를 제공하며, 컴퓨터 명령들은 컴퓨터가 제1측면중의 어느 한 방법을 실행하도록 한다.
상기 출원중의 일 실시예는 다음과 같은 장점 및 유익한 효과를 갖다줄수 있다. 즉: 본 출원의 실시예는 일반적인 광학 영상중의 복수의 얼굴 영상을 확정하고, 각 얼굴 영상에 대응되는 열화상 영상중의 열화상 정보를 확정하여, 복수의 얼굴 영상에 대응되는 체온을 확정함으로써, 공공장소에서 체온 측정을 진행하는 효율을 향상시킬수 있을 뿐만 아니라, 교차 감염을 방지할수 있다.
상기의 선택적인 방식이 갖다주는 기타 효과는 다음에서 구체적인 실시예와 결합되여 설명될 것이다.
도면은 본 기술방안을 더욱 잘 이해할수 있기 위한것이지, 본 출원에 대한 한정이 아니다.
도1은 본 출원의 실시예의 멀티퍼슨 체온 측정 방법의 구현 흐름도1이다.
도2는 본 출원의 실시예의 멀티퍼슨 체온 측정 방법의 구현 흐름도2이다.
도3은 본 출원의 실시예의 멀티퍼슨 체온 측정 방법의 현장 모습 개략도이다.
도4는 본 출원의 실시예의 멀티퍼슨 체온 측정 방법의 기술 구성 개략도이다.
도5는 본 출원의 실시예의 멀티퍼슨 체온 측정 장치의 구조 개략도1이다.
도6은 본 출원의 실시예의 멀티퍼슨 체온 측정 장치의 구조 개략도2이다.
도7은 본 출원의 실시예의 멀티퍼슨 체온 측정 방법을 구현하기 위한 전자 기기의 블록도이다.
이하에서는 도면과 결합하여 본 출원의 시범적인 실시예를 설명하고자 한다. 그 중에는 이해에 도움이 되도록 본 출원의 실시예의 각종 상세한 내용을 포함하였으며, 이런 내용은 단지 시범적인 것으로 간주되여야 할것이다. 그러므로, 해당 분야 기술자들은 본 출원의 범위와 정신을 벗어나지 않은 한, 여기에서 기재된 실시예에 대해 각종 변형 및 수정을 할수 있다는것을 인식하여야 한다. 마찬가지로, 간단하고 명확하게 하기 위하여, 이하의 기재에서는 공지적인 기능 및 구조에 관한 기재를 생략하고자 한다.
본 출원의 실시예는 멀티퍼슨 체온 측정 방법을 제공하며, 도1은 본 출원의 실시예의 멀티퍼슨 체온 측정 방법의 구현 흐름도이며, 해당 방법은,
단계S101: 광학 정지 영상에 대해 얼굴 인식을 진행하여, 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 얼굴 영상의 좌표를 확정하는 것;
단계S102: 열화상 정지 영상 및/또는 해당 광학 정지 영상에 대해 좌표 변환을 진행하여, 각 얼굴 영상의 열화상 정보를 확정하는 것, 여기서 광학 정지 영상과 열화상 정지 영상은 동일한 영상 채집 대상을 포함함; 및
단계S103: 각 얼굴 영상에 대해, 얼굴 영상의 열화상 정보에 기반하여, 해당 얼굴 영상에 대응되는 체온을 확정하는 것, 을 포함한다.
도2에서 나타낸 바와 같이, 일 가능한 실시방식에 있어서, 상기 방법은 다음 단계를 더 포함한다. 즉:
단계S100: 광학 비디오 영상 및 열화상 비디오 영상중에서 동일한 프레임을 각각 추출하여, 광학 정지 영상 및 열화상 정지 영상을 획득한다.
본 출원의 실시예는 동일한 위치에 광학 카메라 및 열화상 케메라(적외선 열화상 카메라)를 설치하고, 해당 광학 카메라와 열화상 카메라가 동일한 방향을 향하도록 하여, 광학 카메라와 열화상 카메라가 동일한 위치의 비디오 영상을 채집할수 있도록 한다. 상기 단계S100에 있어서, 광학 비디오 영상 및 열화상 비디오 영상중에서 동일한 프레임을 각각 추출하는 것은, 광학 비디오 영상 및 대응되는 열화상 비디오 영상중에서 동일한 시각의 프레임을 각각 추출하는 것을 의미하며, 추출된 광학 정지 영상 및 열화상 정지 영상이 동일한 영상 채집 대상에 대응되는것을 구현하도록 한다.
본 출원의 실시예는 복수 세트의 광학 카메라 및 열화상 카메라를 설치할수 있으며, 매 하나의 세트는 동일한 위치에 설치되고 동일한 방향을 향한 하나의 광학 카메라와 하나의 열화상 카메라를 포함함으로써, 복수의 부동한 위치의 사람들의 영상을 채집할수 있다.
일 가능한 실시방식에 있어서, 상기 단계S101은,
상기 광학 정지 영상의 선명도 및 광학 정지 영상중의 얼굴 선명도에 기반하여, 광학 정지 영상의 영상 품질을 확정하는 것, 여기서 얼굴 선명도는 가림 정도, 모호도, 광도, 자세 각도, 완정도, 사이즈 특징중의 적어도 하나를 포함함; 및
영상 품질이 사전에 설정된 품질 표준을 만족하는 경우, 해당 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 얼굴 영상의 좌표를 확정하는 단계를 실행하는 것, 을 포함한다.
선택적으로, 상기 광학 정지 영상의 선명도에 대한 판단은 무아레 무늬(Moire Pattern) 및/또는 영상 변형 등이 존재하는지 여부의 정황을 포함할수 있다.
일 가능한 실시방식에 있어서, 단계S101중의 얼굴 인식은 키포인트 포지셔닝 기술을 사용하여, 얼굴 기관 및 윤곽의 복수의 키포인트를 포지셔닝한다. 선택적으로, 볼, 눈섭, 눈, 입, 코 등 얼굴의 기관 및 윤곽의 150개의 키포인트에 대한 포지셔닝을 포함할 수 있다. 본 출원의 실시예는 인체 인식 기술과 결합하여 인체 포지셔닝을 진행할수 있다. 본 출원의 실시예는 동시에 복수의 얼굴을 인식하고 표기하는 것을 지지할수 있다.
일 가능한 실시방식에 있어서, 상기 단계S101중의 열화상 정지 영상 및/또는 광학 정지 영상에 대해 좌표 변환을 진행하는 것은, 사전에 설정된 좌표 변환 알고리즘을 사용할수 있으며, 얼굴 영상 및 열화상 정지 영상을 교정하고, 광학 정지 영상중의 얼굴 영상과 그에 대응된 온도 정보를 바인딩한다.
광학 정지 영상과 열화상 정지 영상의 사이즈가 부동할 가능성이 크기에, 광학 정지 영상중의 각 얼굴 영상이 열화상 정지 영상중의 어느 부분에 대응될것인가를 확정하기 위하여, 본 출원의 실시예에서는 열화상 정지 영상 및/또는 광학 정지 영상에 대해 좌표 변환을 진행하는 방식을 사용하고 있다.
예를 들어, 광학 정지 영상 P1의 사이즈가
Figure 112020049234570-pat00001
이고, 그에 대응되는 열화상 정지 영상 P2의 사이즈가
Figure 112020049234570-pat00002
이다.
이런 경우, P1중의 하나의 얼굴 영상의 하나의 화소p1의 좌표가 (x1, y1)인것을 이미 알고 있다면, P1에 대해 좌표 변환을 진행하는 것을 통하여, 해당 화소 p1에 대응되는 열화상 영상중의 화소(p2로 표시함)의 좌표가
Figure 112021142972091-pat00003
인것을 확정할수 있다.
또는, P2중의 하나의 얼굴 영상의 하나의 화소p2의 좌표가 (x2, y2)인것을 이미 알고 있다면, P2에 대해 좌표 변환을 진행하는 것을 통하여, 해당 화소 p2에 대응되는 광학 정지 영상중의 화소(p1로 표시함)의 좌표가
Figure 112021142972091-pat00004
인것을 확정할수 있다.
매 하나의 화소에 대해 상기 좌표 변환 조작을 진행하는 것을 통하여, 광학 정지 영상중의 각 얼굴 영상의 열화상 정보, 즉 해당 얼굴 영상이 해당 열화상 정지 영상중의 대응되는 위치의 열화상 정보를 확정할수 있다.
일 가능한 실시방식에 있어서, 얼굴 영상의 열화상 정보는 열화상 정지 영상중의 얼굴 영상에 대응되는 온도 격자를 포함하며,
얼굴 영상의 열화상 정보에 기반하여 얼굴 영상에 대응되는 체온을 확정하는 것은, 선형 회귀 알고리즘을 사용하여 상기 온도 격자에 대해 계산을 진행하여, 얼굴 영상에 대응되는 체온을 획득하는 것을 포함한다.
선택적으로, 상기 온도 격자는 열화상 정지 영상중의 얼굴 영상 이마 위치에 대응되는 화소가 나타내는 온도를 포함한다.
예를 들면, 매 하나의 얼굴 영상은 하나의 온도 격자와 대응되며, 해당 온도 격자는 해당 얼굴 영상의 이마 위치가 열화상 정지 영상중에서의 복수의 화소가 나타내는 온도를 포함한다. 예를 들어, 어떤 사람의 얼굴 영상의 이마 위치가 열화상 정지 영상중에서 n개의 화소가 존재하고, 그 중, 화소p1이 나타내는 온도가 36.1섭씨도이고, 화소 p2가 나타내는 온도가 36.2섭씨도이고, ……, 화소pn가 나타내는 온도가 36.1섭씨도 일수 있다. 본 출원의 실시예에서는 선형 회귀 알고리즘을 사용하여, 해당 얼굴 영상 이마 위치의 온도를 계산하고, 해당 온도가 해당 얼굴 영상에 대응되는 체온을 대표할수 있다.
평균치를 구하는 방식에 따라 체온을 계산하는 방식에 대비하여, 본 출원의 실시예에서는 선형 회귀 알고리즘을 사용하여, 인원들의 체온을 더욱 정확하게 확정할수 있다.
일 가능한 실시방식에 있어서, 도2에서 나타낸 바와 같이, 본 출원의 실시예는 다음 단계를 더 포함할수 있다. 즉:
S104: 대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상을 전시한다.
이런 방식을 사용하여, 본 출원의 실시예는 여러 사람들의 정확한 체온 측정과 얼굴 검측를 구현할수 있으며, 설정된 역치 온도를 초과하는 정황을 쉽게 미리 경보알리고, 웹페이지(web)를 통하여 전시할수 있다.
일 실시방식에 있어서, 각 얼굴 영상에 대응되는 인원 표지를 사전에 저장할수 있다.
이에 대응하여, 도2에서 나타낸 바와 같이, 본 출원의 실시예는 다음 단계를 더 포함할수 있다. 즉:
S105: 대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상의 인원 표지를 전시한다.
이상으로 부터 알수 있는 바와 같이, 본 출원의 실시예는 카메라를 통하여 현재 사람들의 체온 정황을 인식하고, 현장의 대형 화면에 실시간으로 비디오 스트리밍을 표시하여, 현재 인원들의 정황 내용에 기반하여 제때에 피드백할수 있으며, 이상/고온의 인원에 대해 경고할수 있다. 또한, 본 출원의 실시예는 기관 부문에게 전반적인 데이터 전시를 제공할수 있으며, 각 검문소의 누적/매일의 테스트 인수, 고온 인수를 포함할수 있다. 본 출원의 실시예는 정밀화된 지도를 사용할수 있으며, 기업 등 조직들의 LAN에 연결하여, LAN데이터를 사용하여 얼굴 인식을 진행할수 있으며, 체온 측정 결과를 기업의 기업 내부 사무 시스템 또는 웹페이지 시스템에 피드백할수 있다.
도3은 본 출원의 실시예의 멀티퍼슨 체온 측정 방법의 현장 모습 개략도이다. 도3에서 나타낸 바와 같이, 동일한 위치에 광학 카메라와 열화상 카메라(적외선 열화상 카메라)를 설치하고, 두 개의 카메라는 동일한 방향을 향하고, 사람들과의 거리는 1내지 1.6미터이다. 광학 카메라는 정확하게 얼굴을 포지셔닝할수 있으며, 볼, 눈섭, 눈, 입, 코 등의 얼굴의 기관 및 윤곽의 150개의 키포인트를 포함할수 있다. 측정 단말은 광학 카메라가 촬영한 광학 비디오 영상중의 광학 정지 영상에 대하여, AI 검측 기술(얼굴 검측/인체 추적을 포함)을 사용하여, 열화상 카메라가 촬영한 열화상 비디오 영상중의 열화상 정지 영상에 대해 정합을 진행하여, 완전한 집단 쾌속 체온 측정 방안을 형성할수 있다. 이런 방식을 사용하여 체온이 이상인 인원들을 발견하고 주동적으로 알려주고, 체온이 이상인 인원을 화면에 표시하는 것과 동시에, 화면에 열화상 비디오 영상(예를 들어 적외선 비디오 영상)을 표시할수 있다. 체온이 이상인 인원들에 대해, 적외선 온도계를 결합하여 2차 측정을 진행하여, 측정 효율을 향상시킬수 있다.
도4는 본 출원의 실시예의 멀티퍼슨 체온 측정 방법의 기술 구성 개략도이다. 도4에서 나타낸 바와 같이, 해당 시스템은 적어도 카메라(광학 카메라와 열화상 카메라를 포함함), 기기 단말, 클라우드 단말, 제3자 애플리케이션 및 집중형 대형 화면을 포함할수 있다. 광학 카메라 및 열화상 카메라를 사용하여, 광학 비디오 영상 및 열화상 비디오 영상을 각각 촬영하고, 로컬 모니터 화면에 해당 영상을 표시할수 있다. 기기 단말의 실시간 감지 모듈은 광학 비디오 영상중의 광학 정지 영상에 대해 데이터 추출 및 얼굴 인식을 진행하고, 광학 정지 영상 및 대응되는 열화상 정지 영상에 대해 영상 피팅(fitting)을 진행함으로써, 광학 정지 영상중의 각 얼굴 영상에 대응되는 체온을 확정하고, 체온을 로컬에 저장할수 있다. 기기 단말의 기기 대리 서비스 모듈를 통하여, 체온 데이터 및 실시간 비디오 등 데이터를 클라우드 단말에 업로드할수 있다. 클라우드 단말은 각 기기 단말이 보고한 데이터에 대해 통계 및 분석을 진행하며, 데이터의 집중 전송, 관리등을 포함할수 있다. 클라우드 단말은 통계 분석후의 데이터를 제3자 애플리케이션에 송신하여, 제3자에게 체온 측정 서비스를 제공하는 것을 구현할수 있으며; 또는 클라우드 단말은 통계후의 데이터 및 관련 영상을 집중형 대형 화면에 표시할수 있다.
그리고, 클라우드 단말은 각 기기 단말의 설정 하달, 소프트웨어 업그레이드 등 기능을 담당한다. 각 기기 단말은 사물 인터넷(IoT，Internet of Things)기기 소프트웨어 개발 키트(SDK，Software Development Kit) 모듈 및 무선 다운로드(OTA，Over the Air) 모듈을 사용하여 클라우드 단말과의 인터랙션을 구현할수 있다. 클라우드 단말은 구체적으로 기기 액세스, 기기 관리, 실시간 비디오 모니터링, 지도 서비스, 데이터 저장, 시각화 서비스, 사용자 관리 등의 기능을 담당하고, OTA모듈과 kafka 모듈을 사용하여 기기 단말과의 인터랙션을 실현할수 있다.
본 출원의 실시예는 또한 멀티퍼슨 체온 측정 장치를 제공하며, 도5는 본 출원의 실시예의 멀티퍼슨 체온 측정 장치의 구조 개략도이며, 해당 장치는,
광학 정지 영상에 대해 얼굴 인식을 진행하여, 해당 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 얼굴 영상의 좌표를 확정하기 위한 얼굴 인식 모듈 510;
열화상 정지 영상 및/또는 해당 광학 정지 영상에 대해 좌표 변환을 진행하여, 각 얼굴 영상의 열화상 정보를 확정하기 위한 좌표 변환 모듈 520, 여기서 해당 광학 정지 영상과 열화상 정지 영상은 동일한 영상 채집 대상을 포함함; 및
각 얼굴 영상에 대해, 해당 얼굴 영상의 열화상 정보에 기반하여, 해당 얼굴 영상에 대응되는 체온을 확정하기 위한 체온 확정 모듈530, 을 포함한다.
도6에서 나타낸 바와 같이, 일 가능한 실시방식에 있어서, 상기 장치는,
광학 비디오 영상 및 열화상 비디오 영상중에서 동일한 프레임을 각각 추출하여, 광학 정지 영상 및 열화상 정지 영상을 획득하기 위한 정지 영상 획득 모듈600을 더 포함한다.
일 가능한 실시방식에 있어서, 얼굴 인식 모듈510은,
광학 정지 영상의 선명도 및 광학 정지 영상중의 얼굴 선명도에 기반하여, 광학 정지 영상의 영상 품질을 확정하기 위한 선별 서브 모듈511, 여기서 얼굴 선명도는 가림 정도, 모호도, 광도, 자세 각도, 완정도, 사이즈 특징중의 적어도 하나를 포함함; 및
영상 품질이 사전에 설정된 품질 표준을 만족하는 경우, 해당 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 얼굴 영상의 좌표를 확정하기 위한 얼굴 영상 확정 서브 모듈512, 을 포함한다.
일 가능한 실시방식에 있어서, 얼굴 인식 모듈510은 키포인트 포지셔닝 기술을 사용하여, 얼굴 기관 및 윤곽의 복수의 키포인트를 포지셔닝한다.
일 가능한 실시방식에 있어서, 얼굴 영상의 열화상 정보는 열화상 정지 영상중의 해당 얼굴 영상에 대응되는 온도 격자를 포함하며,
체온 확정 모듈530은, 선형 회귀 알고리즘을 사용하여 해당 온도 격자에 대해 계산을 진행하여, 해당 얼굴 영상에 대응되는 체온을 획득하기 위한 것이다.
일 가능한 실시방식에 있어서, 온도 격자는 열화상 정지 영상중의 얼굴 영상 이마 위치에 대응되는 화소가 나타내는 온도를 포함한다.
도6에서 나타낸 바와 같이, 일 가능한 실시방식에 있어서, 상기 장치는,
대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상을 전시하기 위한 제1 전시 모듈640을 더 포함한다.
또는, 상기 장치는,
상기 얼굴 영상에 대응되는 인원 표지를 사전에 저장하고, 대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상의 인원 표지를 전시하기 위한 제2 전시 모듈650을 더 포함한다
본 출원의 실시예의 각 장치중의 각 모듈의 기능은 상기 방법중의 대응된 기재를 참조할수 있으므로, 여기서 기재를 생략한다.
이상으로, 본 출원의 실시예가 제공한 멀티퍼슨 체온 측정 방법과 장치는, 일반적인 광학 영상중의 복수개의 얼굴 영상을 확정하고, 각 얼굴 영상에 대응되는 열화상 영상중의 열화상 정보를 확정하고, 복수개의 얼굴 영상에 대응되는 체온을 확정하는 것을 통하여, 공공장소에서 체온 측정을 진행하는 효율을 향상시킬수 있을 뿐만 아니라, 교차 감염을 방지할수 있다. 본 출원의 실시예는 실시간으로 비디오 영상중의 정지 영상을 선택할수 있으며, 정지 영상을 사용하여 체온 측정을 진행할수 있다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독 가능한 저장 매체를 제공한다.
도7에서 나타낸 바와 같이, 본 출원의 실시예에 따른 멀티퍼슨 체온 측정 방법의 전자 기기의 블록도이다. 전자 기기는 여러가지 형식의 디지털 컴퓨터를 의미하며, 예를 들면, 랩톱 컴퓨터, 디스크톱 컴퓨터, 워크벤치, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터가 있을수 있다. 전자 기기는 또한 여러가지 형식의 모바일 장치를 의미할수 있으며, 예를 들면, 개인 정보 단말기, 휴대 전화, 스마트 폰, 웨어러블 디바이스 및 기타 유사한 컴퓨팅 장치가 있을수 있다. 본 문에서 기재한 부재, 그들간의 연결 및 관계, 그리고 그들의 기능은 단지 예시적인 것이며, 본 문에서 기재한 및/또는 요구한 본 출원의 구현을 제한하는 것이 아니다.
도7에서 나타낸 바와 같이, 해당 전자 기기는 하나 또는 복수개의 프로세서701, 메모리702 및 각 부재를 연결하기 위한 인터페이스를 포함하며, 고속 인터페이스와 저속 인터페이스를 포함한다. 각 부재는 부동한 버스를 이용하여 상호 연결되였으며, 메인보드에 설치되거나 또는 수요에 따라 기타 형식으로 설치될수 있다. 프로세서는 전자 기기내에서 실행되는 명령들에 대해 처리할수 있으며, 메모리에 저장된 또는 메모리에서 외부 입력/출력 장치(예를 들어, 인터페이스에 결합된 디스플레이 장치)상에 그래픽 사용자 인터페이스(Graphical User Interface, GUI)를 표시한 그래픽 정보의 명령들을 포함한다. 기타 실시방식에 있어서, 필요한 경우, 복수개의 프로세서 및/또는 복수개의 버스를 복수개의 메모리와 함께 사용할수 있다. 상술한 바와 같이, 복수개의 전자 기기를 연결하여, 각 기기가 일부 필요한 조작(예를 들어, 서버 어레이, 블레이드 서버 또는 멀티 프로세서 시스템과 같이)을 제공할수 있다. 도7에서는 하나의 프로세서701인 경우를 예로 나타낸다.
메모리702는 본 출원이 제공한 비 일시적 컴퓨터 판독가능한 저장 매체에 상당하다. 여기서, 메모리는 적어도 하나의 프로세서가 실행할수 있는 명령을 저장하며, 적어도 하나의 프로세서가 본 출원이 제공한 멀티퍼슨 체온 측정 방법을 실행하도록 한다. 본 출원의 비 일시적 컴퓨터 판독가능한 저장 메체는 컴퓨터 명령들을 저장하며, 해당 컴퓨터 명령은 컴퓨터가 본 출원이 제공한 멀티퍼슨 체온 측정 방법을 실행하도록 하기 위한것이다.
메모리702는 비 일시적 컴퓨터 판독가능한 저장 매체로서, 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 실행 가능한 프로그램 및 모듈들을 저장하기 위한 것이며, 본 출원의 실시예중의 멀티퍼슨 체온 측정 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도5에서 나타낸 얼굴 인식 모듈510, 좌표 변환 모듈520 및 체온 확정 모듈530)들이 있다. 프로세서701은 메모리702에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 운행하는 것을 통하여, 서버의 각종 기능 응용 및 데이터 처리를 실행하며, 다시 말하면 상기 방법 실시예중의 멀티퍼슨 체온 측정 방법을 구현할수 있다.
메모리702는 프로그램 저장 구역 및 데이터 저장 구역을 포함하며, 그중, 프로그램 저장 구역은 오에이스, 적어도 하나의 기능이 필요로 하는 응용 프로그램을 저장할수 있으며, 데이터 저장 구역은 멀티퍼슨 체온 측정 방법의 전자 기기의 사용에 기반하여 생성된 데이터 등을 저장할수 있다. 그리고, 메모리702는 고속 랜덤 액세스 메모리를 포함할수 있으며, 또한 비 일시적 메모리를 포함할수 있다. 예를 들어, 적어도 하나의 디스크 저장 기기, 플래시 메모리 기기, 또는 기타 비 일시적 솔리드 메모리 기기가 있다. 일부 실시예에 있어서, 메모리702는 프로세서701와 원격으로 설치된 메모리를 선택적으로 포함할수 있으며, 이런 원격 메모리는 네트워크를 통하여 멀티퍼슨 체온 측정의 전자 기기와 연결될수 있다. 상기 네트워크의 실예로서, 인터넷, 기업내부네트, LAN, 모바일 통신망 및 그들의 조합을 포함하지만, 이에 한정되는것은 아니다.
멀티퍼슨 체온 측정 방법의 전자 기기는 입력장치703 및 출력장치704를 더 포함할수 있다. 프로세서701, 메모리702, 입력장치703 및 출력장치704는 버스 또는 기타 방식으로 연결될수 있으며, 도7에서는 버스를 통하여 연결된 경우를 예로 나타낸다.
입력장치703은 입력된 수자 및 문자 정보를 수신할수 있으며, 멀티퍼슨 체온 측정의 전자 기기의 사용자 설정 및 기능 제어에 관한 키시그널 입력을 생성할수 있으며, 예를 들어 터치 스크린, 소형 키보드, 마우스, 트랙 패드, 터치 패드, 지시 바, 하나 또는 복수의 마우스 버튼, 트랙 볼, 조정 바 등 입력장치이다. 출력 장치704는 디스플레이 장치, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할수 있다. 해당 디스플레이 장치는 액정 디스플레이(Liquid Crystal Display，LCD), 발광 다이오드(Light Emitting Diode，LED) 디스플레이 및 프라즈마 디스플레이를 포함할수 있으며, 이에 한정되지 않는다. 일부 실시예에 있어서, 디스플레이 장치는 터치 스크린일수 있다.
여기에 기재된 시스템 및 기술의 각종 실시방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 집적 회로(Application Specific Integrated Circuits，ASIC), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 그들의 조합에서 구현될수 있다. 이런 각종 실시방식은 하나 또는 복수의 컴퓨터 프로그램중에서 실시하는 것을 포함할수 있으며, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함한 프로그래머블 시스템에서 실행 및/또는 해석할수 있으며, 해당 프로그래머블 프로세서는 전용 또는 일반 프로그래머블 프로세서일수 있으며, 저장 시스템, 적어도 하나의 입력장치 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할수 있고, 또한 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치 및 해당 적어도 하나의 출력장치에 전송할수 있다.
이런 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 또는 코드라고도 함)은 프로그래머블 프로세서의 기계명령들을 포함하며, 고급 과정 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이런 컴퓨팅 프로그램을 실시할수 있다. 본문에서 사용한 바와 같이, 용어“기계 판독가능한 매체” 및 “컴퓨터 판독가능한 매체”는 기계 명령 및/또는 데이터를 프로그래머블 프로세서에 제공하는 모든 컴퓨터 프로그램 제품, 디바이스 및/또는 장치(예를 들어, 자기 디스크, 시디롬, 메모리, 프로그래머블 로직 장치(programmable logic device，PLD))일수 있으며, 기계 판독가능한 시그널로서의 기계명령을 수신하는 기계판독가능한 매체를 포함할수 있다. 용어“기계 판독가능한 시그널”은 기계명령 및/또는 데이터를 프로그래머블 프로세서에 제공하는 모든 시그널을 의미한다.
사용자간의 인터랙션을 제공하기 위하여, 컴퓨터상에서 여기에 기재된 시스템 및 기술을 실시할수 있으며, 해당 컴퓨터는 사용자에게 정보를 디스플레이하는 디스플레이 장치(예를 들어, CRT(Cathe Ray Tube, 음극선관) 또는 LCD(액정 디스플레이)모니터), 그리고 키보드와 포인팅 장치(예를 들어, 마우스 또는 트랙 볼)를 포함할수 있으며, 사용자는 해당 키보드와 해당 포인팅 장치를 통하여 입력을 컴퓨터에 제공해줄수 있다. 기타 종류의 장치는 사용자와의 인터랙션을 제공하는데 사용될수 있으며, 예를 들어, 사용자에게 제공된 피드백은 모든 형식의 감각 피드백(예를 들어, 시각 피드백, 청각 피드백 또는 촉각 피드백)일수 있으며, 모든 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함)을 통하여 사용자로부터의 입력을 수신할수 있다.
여기에 기재된 시스템과 기술은 백그라운드 위젯을 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 중간 위젯을 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 위젯을 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 혹은 네트워크 브라우저를 갖고있는 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 네트워크 브라우저를 통하여 여기에 기재된 시스템 및 기술의 실시방식과 인터랙션을 진행할수 있다), 또는 이런 백그라운드 위젯, 중간 위젯, 프론트 위젯의 모든 조합을 포함하는 컴퓨팅 시스템에서 실시될수 있다. 모든 형식 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통하여, 시스템의 부재를 상호 연결할수 있다. 통신 네트워크의 실예로서는, LAN(Local Area Network), WAN(Wide Area Networ) 및 인터넷을 포함할수 있다.
컴퓨터 시스템은 클라이언트 단말 및 서버를 포함할수 있다. 클라이언트 단말 및 서버는 일반적으로 서로 원격으로 설치되여 있으며, 통상적으로는 통신 네트워크를 통하여 인터랙션을 진행한다. 대응되는 컴퓨터에서 운행됨과 동시에 클라이언트 단말-서버관계를 갖고있는 컴퓨터 프래그램을 통하여 클라이언트 단말과 서버사이의 관계를 발생한다.
이해하여야 할 것은, 위에 기재된 각종 형식의 프로세스를 이용하여, 단계를 다시 순서배열, 증가 또는 삭제할수 있다. 예를 들어, 본 출원에 기재된 각 단계는 병행하여 실행될수도 있고, 순서대로 실행될수도 있고, 다른 부동한 순서대로 실행될수도 있으며, 본 출원에 개시된 기술방안이 기대하는 결과만 구현할수 있다면, 본문에서는 어떤 한정을 하지 않는다.
이상의 구체적인 실시방식은, 본 출원의 보호범위에 대한 한정이 아니다. 해당 분야 기술자들이 명백해야 할것은, 설계의 요구와 기타 요소에 기반하여, 각종 수정, 조합, 서브 조합 및 교체를 진행할수 있다는 점이다. 본 출원의 정신 및 원칙내에서 진행된 모든 수정, 균등 교체와 개량 등은 모두 본 출원의 보호 범위내에 포함되여야 할 것이다.

Claims (18)

  1. 멀티퍼슨 체온 측정 장치에 의한 멀티퍼슨 체온 측정 방법에 있어서,
    광학 정지 영상에 대해 얼굴 인식을 진행하여, 상기 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 상기 얼굴 영상의 좌표를 확정하는 것;
    열화상 정지 영상 및/또는 상기 광학 정지 영상에 대해 좌표 변환을 진행하여, 각 상기 얼굴 영상의 열화상 정보를 확정하는 것 - 여기서, 상기 광학 정지 영상과 상기 열화상 정지 영상은 동일한 영상 채집 대상을 포함함 - ; 및
    각 상기 얼굴 영상에 대해, 상기 얼굴 영상의 열화상 정보에 기반하여, 상기 얼굴 영상에 대응되는 체온을 확정하는 것을 포함하되;
    여기서, 상기 광학 정지 영상에 대해 얼굴인식을 진행하여, 상기 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 상기 얼굴 영상의 좌표를 확정하는 것은,
    상기 광학 정지 영상의 선명도 및 상기 광학 정지 영상중의 얼굴 선명도에 기반하여, 상기 광학 정지 영상의 영상 품질을 확정하는 것 - 여기서 상기 얼굴 선명도는 가림 정도, 모호도, 광도, 자세 각도, 완정도, 사이즈 특징중의 적어도 하나를 포함함 - ; 및
    상기 영상 품질이 사전에 설정된 품질 표준을 만족하는 경우, 상기 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 상기 얼굴 영상의 좌표를 확정하는 단계를 실행하는 것
    을 포함하는 것을 특징으로 하는 멀티퍼슨 체온 측정 방법.
  2. 제1항에 있어서,
    광학 비디오 영상 및 열화상 비디오 영상중에서 동일한 프레임을 각각 추출하여, 상기 광학 정지 영상 및 상기 열화상 정지 영상을 획득하는 것
    을 더 포함하는 것을 특징으로 하는 멀티퍼슨 체온 측정 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 얼굴 인식은 키포인트 포지셔닝 기술을 사용하여, 얼굴 기관 및 윤곽의 복수의 키포인트를 포지셔닝하는 것
    을 특징으로 하는 멀티퍼슨 체온 측정 방법.
  5. 제1항에 있어서,
    상기 얼굴 영상의 열화상 정보는, 상기 열화상 정지 영상중의 상기 얼굴 영상에 대응되는 온도 격자를 포함하며,
    상기 얼굴 영상의 열화상 정보에 기반하여 상기 얼굴 영상에 대응되는 체온을 확정하는 것은, 선형 회귀 알고리즘을 사용하여 상기 온도 격자에 대해 계산을 진행하여, 상기 얼굴 영상에 대응되는 체온을 획득하는 것을 포함하는 것
    을 특징으로 하는 멀티퍼슨 체온 측정 방법.
  6. 제5항에 있어서,
    상기 온도 격자는 상기 열화상 정지 영상중의 상기 얼굴 영상 이마 위치에 대응되는 화소가 나타내는 온도를 포함하는 것
    을 특징으로 하는 멀티퍼슨 체온 측정 방법.
  7. 제1항에 있어서,
    대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상을 전시하는 것을 포함하는 것
    을 특징으로 하는 멀티퍼슨 체온 측정 방법.
  8. 제1항에 있어서,
    상기 얼굴 영상에 대응되는 인원 표지를 사전에 저장하고; 대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상의 인원 표지를 전시하는 것을 포함하는 것
    을 특징으로 하는 멀티퍼슨 체온 측정 방법.
  9. 멀티퍼슨 체온 측정 장치에 있어서,
    광학 정지 영상에 대해 얼굴 인식을 진행하여, 상기 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 상기 얼굴 영상의 좌표를 확정하기 위한 얼굴 인식 모듈;
    열화상 정지 영상 및/또는 상기 광학 정지 영상에 대해 좌표 변환을 진행하여, 각 상기 얼굴 영상의 열화상 정보를 확정하기 위한 좌표 변환 모듈 - 여기서, 상기 광학 정지 영상과 상기 열화상 정지 영상은 동일한 영상 채집 대상을 포함함 - ; 및
    각 상기 얼굴 영상에 대해, 상기 얼굴 영상의 열화상 정보에 기반하여, 상기 얼굴 영상에 대응되는 체온을 확정하기 위한 체온 확정 모듈을 포함하되;
    여기서, 상기 얼굴 인식 모듈은,
    상기 광학 정지 영상의 선명도 및 상기 광학 정지 영상중의 얼굴 선명도에 기반하여, 상기 광학 정지 영상의 영상 품질을 확정하기 위한 선별 서브 모듈 - 여기서 상기 얼굴 선명도는 가림 정도, 모호도, 광도, 자세 각도, 완정도, 사이즈 특징중의 적어도 하나를 포함함 - ; 및
    상기 영상 품질이 사전에 설정된 품질 표준을 만족하는 경우, 상기 광학 정지 영상중의 적어도 하나의 얼굴 영상 및 각 상기 얼굴 영상의 좌표를 확정하기 위한 얼굴 영상 확정 서브 모듈
    을 포함하는 것을 특징으로 하는 멀티퍼슨 체온 측정 장치.
  10. 제9항에 있어서,
    광학 비디오 영상 및 열화상 비디오 영상중에서 동일한 프레임을 각각 추출하여, 상기 광학 정지 영상 및 상기 열화상 정지 영상을 획득하기 위한 정지 영상 획득 모듈을 더 포함하는 것
    을 특징으로 하는 멀티퍼슨 체온 측정 장치.
  11. 삭제
  12. 제9항 또는 제10항에 있어서,
    상기 얼굴 인식 모듈은 키포인트 포지셔닝 기술을 사용하여, 얼굴 기관 및 윤곽의 복수의 키포인트를 포지셔닝하는 것
    을 특징으로 하는 멀티퍼슨 체온 측정 장치.
  13. 제9항 또는 제10항에 있어서,
    상기 얼굴 영상의 열화상 정보는, 상기 열화상 정지 영상중의 상기 얼굴 영상에 대응되는 온도 격자를 포함하며,
    상기 체온 확정 모듈은, 선형 회귀 알고리즘을 사용하여 상기 온도 격자에 대해 계산을 진행하여, 상기 얼굴 영상에 대응되는 체온을 획득하기 위한 것인 것
    을 특징으로 하는 멀티퍼슨 체온 측정 장치.
  14. 제13항에 있어서,
    상기 온도 격자는 상기 열화상 정지 영상중의 상기 얼굴 영상 이마 위치에 대응되는 화소가 나타내는 온도를 포함하는 것
    을 특징으로 하는 멀티퍼슨 체온 측정 장치.
  15. 제9항 또는 제10항에 있어서,
    대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상을 전시하기 위한 제1 전시 모듈을 더 포함하는 것
    을 특징으로 하는 멀티퍼슨 체온 측정 장치.
  16. 제9항 또는 제10항에 있어서,
    상기 얼굴 영상에 대응되는 인원 표지를 사전에 저장하고, 대응되는 체온이 사전에 설정된 역치보다 높은 얼굴 영상의 인원 표지를 전시하기 위한 제2 전시 모듈을 더 포함하는 것
    을 특징으로 하는 멀티퍼슨 체온 측정 장치.
  17. 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서와 연결되어 통신하는 메모리를 포함하는 전자 기기에 있어서,
    상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행되는 명령들을 저장하며, 상기 명령들은 상기 적어도 하나의 프로세서에 의해 실행되여, 상기 적어도 하나의 프로세서가 청구항 제1항 내지 제2항 및 제4항 내지 제8항 중 어느 한 항에 따른 방법을 실행하도록 하는 것
    을 특징으로 하는 전자 기기.
  18. 컴퓨터 명령들을 저장하는 비 일시적 컴퓨터 판독가능한 저장 매체에 있어서,
    상기 컴퓨터 명령들은 상기 컴퓨터가 청구항 제1항 내지 제2항 및 제4항 내지 제8항 중 어느 한 항에 따른 방법을 실행하도록 하기 위한 것을 특징으로 하는 저장 매체.
KR1020200058317A 2020-03-10 2020-05-15 멀티퍼슨 체온 측정 방법, 장치, 전자 기기 및 저장 매체 KR102496334B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010163118.1A CN113447128B (zh) 2020-03-10 2020-03-10 一种多人体温检测方法、装置、电子设备及存储介质
CN202010163118.1 2020-03-10

Publications (2)

Publication Number Publication Date
KR20210114838A KR20210114838A (ko) 2021-09-24
KR102496334B1 true KR102496334B1 (ko) 2023-02-06

Family

ID=70680286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200058317A KR102496334B1 (ko) 2020-03-10 2020-05-15 멀티퍼슨 체온 측정 방법, 장치, 전자 기기 및 저장 매체

Country Status (4)

Country Link
US (1) US11521422B2 (ko)
EP (1) EP3879439A1 (ko)
KR (1) KR102496334B1 (ko)
CN (1) CN113447128B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114038077A (zh) * 2021-10-29 2022-02-11 金陵科技学院 一种教室用疫情防控专用签到测温系统
CN115240310A (zh) * 2022-07-22 2022-10-25 中国银行股份有限公司 防疫门禁控制方法及系统
CN117789278A (zh) * 2024-02-26 2024-03-29 深圳市华彩视讯科技有限公司 一种人脸识别测温方法、装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729327B1 (ko) * 2015-11-10 2017-04-21 홍미선 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
JP2018183564A (ja) * 2017-04-26 2018-11-22 パナソニックＩｐマネジメント株式会社 深部体温測定装置、深部体温測定システム及び深部体温測定方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849379B2 (en) * 2002-04-22 2014-09-30 Geelux Holdings, Ltd. Apparatus and method for measuring biologic parameters
US8328420B2 (en) * 2003-04-22 2012-12-11 Marcio Marc Abreu Apparatus and method for measuring biologic parameters
US9848815B2 (en) * 2002-04-22 2017-12-26 Geelux Holdings, Ltd. Apparatus and method for measuring biologic parameters
EP1646310B1 (en) * 2003-05-27 2015-07-08 Cardiowave, Inc. Methods and apparatus for a remote, noninvasive technique to detect core body temperature in a subject via thermal imaging
US10227063B2 (en) * 2004-02-26 2019-03-12 Geelux Holdings, Ltd. Method and apparatus for biological evaluation
US20070153871A1 (en) * 2005-12-30 2007-07-05 Jacob Fraden Noncontact fever screening system
JP4840426B2 (ja) 2008-09-24 2011-12-21 ソニー株式会社 電子機器、ぼけ画像選別方法及びプログラム
US8223218B2 (en) 2008-12-05 2012-07-17 Panasonic Corporation Face detection apparatus
US20150062346A1 (en) * 2013-09-04 2015-03-05 Jacob Fraden Mobile thermal imaging device
JP6345276B2 (ja) 2014-06-16 2018-06-20 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 顔認証方法およびシステム
JP6517499B2 (ja) 2014-11-28 2019-05-22 マクセル株式会社 撮像システム
SE540038C2 (en) * 2014-12-05 2018-03-06 Imafor Ab Method and system for identifying an individual with increased body temperature
US20180110416A1 (en) 2015-04-20 2018-04-26 Sharp Kabushiki Kaisha Monitoring system, monitoring device, and monitoring method
US10827930B2 (en) * 2016-02-26 2020-11-10 Niramai Health Analytix Pvt Ltd Privacy booth for breast cancer screening
CN105852819B (zh) * 2016-03-23 2018-04-20 深圳云天励飞技术有限公司 体温监测设备
DE112017002805T5 (de) 2016-06-03 2019-02-28 Mitsubishi Electric Corporation Ausrüstungssteuerungseinrichtung und Ausrüstungssteuerungsverfahren
WO2018079031A1 (ja) 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
KR102021999B1 (ko) 2017-05-10 2019-09-17 수원대학교산학협력단 인체 감시 발열 경보 장치
US10496891B2 (en) * 2017-08-17 2019-12-03 Harman International Industries, Incorporated Driver assistance system and method for object detection and notification
CN108700468A (zh) 2017-09-29 2018-10-23 深圳市大疆创新科技有限公司 对象检测方法、对象检测终端及计算机可读介质
CN107679504A (zh) * 2017-10-13 2018-02-09 北京奇虎科技有限公司 基于摄像头场景的人脸识别方法、装置、设备及存储介质
KR20190052870A (ko) 2017-11-09 2019-05-17 센시(주) 출입자의 음주상태 진단시스템
WO2019209680A1 (en) * 2018-04-24 2019-10-31 Helen Of Troy Limited System and method for human temperature regression using multiple structures
CN109215806A (zh) 2018-10-31 2019-01-15 绍兴文理学院 一种基于人脸识别的公共场所健康监测系统及方法
US20200146557A1 (en) * 2018-11-09 2020-05-14 Electrical and Mechanical Services Department, The Government of the Hong Kong Special Administrativ Smart Body Temperature Screening System at Controlled Area
CN109846463A (zh) * 2019-03-04 2019-06-07 武汉迅检科技有限公司 红外人脸测温方法、系统、设备及存储介质
CN110044486B (zh) * 2019-03-11 2020-05-22 武汉高德智感科技有限公司 用于人体检验检疫系统避免重复报警的方法、装置、设备
CN110160670A (zh) 2019-05-05 2019-08-23 深圳中集智能科技有限公司 人体体温检测装置
CN110332995A (zh) * 2019-06-13 2019-10-15 深圳市中科鸿智科技有限公司 非接触式人体测温方法、装置、系统及存储介质
CN110580452A (zh) 2019-08-08 2019-12-17 宁波中国科学院信息技术应用研究院 一种基于视频的人脸识别系统中的多模板人脸自动录入方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729327B1 (ko) * 2015-11-10 2017-04-21 홍미선 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
JP2018183564A (ja) * 2017-04-26 2018-11-22 パナソニックＩｐマネジメント株式会社 深部体温測定装置、深部体温測定システム及び深部体温測定方法

Also Published As

Publication number Publication date
US20210286974A1 (en) 2021-09-16
CN113447128B (zh) 2023-06-23
US11521422B2 (en) 2022-12-06
CN113447128A (zh) 2021-09-28
EP3879439A1 (en) 2021-09-15
KR20210114838A (ko) 2021-09-24

Similar Documents

Publication Publication Date Title
KR102496334B1 (ko) 멀티퍼슨 체온 측정 방법, 장치, 전자 기기 및 저장 매체
CN111046744B (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN110427917B (zh) 用于检测关键点的方法和装置
CN111693147A (zh) 温度补偿的方法、装置、电子设备及计算机可读存储介质
EP4116462A2 (en) Method and apparatus of processing image, electronic device, storage medium and program product
KR20210038487A (ko) 영상 검측 방법, 장치, 전자 기기, 저장 매체 및 프로그램
KR20220154227A (ko) 얼굴 이미지 식별 방법, 장치, 설비 및 저장매체
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN111739069B (zh) 图像配准方法、装置、电子设备及可读存储介质
CN110619807B (zh) 生成全局热力图的方法和装置
CN114140528A (zh) 数据标注方法、装置、计算机设备及存储介质
CN111998959B (zh) 基于实时测温系统的温度校准方法、装置及存储介质
KR102566300B1 (ko) 실내 측위 방법, 장치, 장비 및 저장 매체
US11277591B2 (en) Surveillance system, surveillance network construction method, and program
CN113177468A (zh) 人体行为检测方法、装置、电子设备及存储介质
KR20190080243A (ko) 증강 현실 제공 방법
CN114565916A (zh) 目标检测模型训练方法、目标检测方法以及电子设备
CN116596854A (zh) 一种设备缺陷的识别方法、装置、设备及介质
CN113628239B (zh) 显示优化方法、相关装置及计算机程序产品
US20220076399A1 (en) Photographing guide device
CN116486125A (zh) 一种设备的检测方法、装置、设备及介质
CN113706692B (zh) 三维图像重构方法、装置、电子设备以及存储介质
WO2023273158A1 (zh) 车路协同中相机作用距离确定方法、装置和路侧设备
CN111913574B (zh) 用于控制设备的方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant