KR20220027569A - 듀얼 카메라 영상 검출을 통한 마스크 착용여부 및 체온의 실시간 확인 방법 및 장치 - Google Patents

듀얼 카메라 영상 검출을 통한 마스크 착용여부 및 체온의 실시간 확인 방법 및 장치 Download PDF

Info

Publication number
KR20220027569A
KR20220027569A KR1020200108598A KR20200108598A KR20220027569A KR 20220027569 A KR20220027569 A KR 20220027569A KR 1020200108598 A KR1020200108598 A KR 1020200108598A KR 20200108598 A KR20200108598 A KR 20200108598A KR 20220027569 A KR20220027569 A KR 20220027569A
Authority
KR
South Korea
Prior art keywords
mask
body temperature
wear
subject
determining whether
Prior art date
Application number
KR1020200108598A
Other languages
English (en)
Inventor
김영호
김인환
Original Assignee
주식회사 후니즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 후니즈 filed Critical 주식회사 후니즈
Priority to KR1020200108598A priority Critical patent/KR20220027569A/ko
Publication of KR20220027569A publication Critical patent/KR20220027569A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Radiation Pyrometers (AREA)

Abstract

본 발명은 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법에 관한 것으로,
가시광 카메라 및 열화상 카메라 각각을 피사체로부터 동일한 거리와 각도로 배치하여 피사체를 촬영하는 단계, 가시광 카메라에 의하여 획득된 제1영상에서 피사체의 안면 영역을 인식하는 단계, 열화상 카메라에 의하여 획득된 제2영상에 인식된 안면 영역을 중첩하는 단계, 제2영상에서 중첩된 영역을 제2영상의 안면 영역으로 선택하는 단계, 선택된 안면 영역에서 픽셀 별 온도 데이터를 획득하는 단계, 획득한 온도 데이터를 기초로 피사체의 체온을 판단하는 단계를 포함할 수 있다.
본 발명에 의하면, 마스크 착용 확인 및 체온 확인 작업이 실시간으로 빠르게 가능하여 다중 이용시설에서 다수의 출입자 중 체온이 높은 유증상자 선별이 가능하고, 마스크 미착용자에 대한 통제가 가능하다.

Description

듀얼 카메라 영상 검출을 통한 마스크 착용여부 및 체온의 실시간 확인 방법 및 장치{Method and apparatus for real-time checking of body temperature and whether a mask is worn through dual camera image detection}
본 발명은 일반 가시광 카메라 및 열화상 카메라를 이용하여 빠르게 체온을 측정하고 마스크 착용여부를 판단하는, 체온 측정 및 마스크 착용여부 판단 방법 및 장치에 관한 것이다.
일반적으로, 출입 통제 시스템이나 보안 시스템에서는 지문 인식, 홍채 인식 기술 등이 이용되며, 최근 들어 안면인식 기술도 많이 사용되고 있다.
안면인식은 단순히 출입 통제 등에서 나아가, 게임 등 다양한 어플리케이션으로 확장하여 사용되고 있으며 안면을 인식하여 표정을 추적하거나 AR기술을 적용하여 다양한 이미지를 영상 위에 오버레이 시켜 출력하는 등 엔터테인먼트적 요소로도 사용되고 있다.
뿐만 아니라, 안면인식에 대한 여러 연구들이 오픈소스(Open Source) 기반으로 진행되면서 누구나 쉽게 접근이 가능하며 구글 등 글로벌 기업에서 안면인식 SDK(Software Development Kit) 등을 제공하여 앱 개발자들 또한 쉽게 자신의 어플리케이션에 적용이 가능하다.
한편, 열화상 카메라는 일반적으로 적외선을 기반으로 촬영된 데이터를 가공(육안으로 식별하기 편한 색으로 변환)하여 영상을 출력해준다.
최근 전세계적으로 급속히 확산하는 코로나바이러스감염증-19(COVID-19) 대응을 위해서는 다중이용시설 등에서 이용자들이 마스크를 상시 착용이 필수적이고, 감염자를 빠르게 선별하여 격리할 수 있도록 신속한 체온 측정이 필요하다.
이를 위해 본 발명은 가시광 카메라로 촬영된 영상에서 안면 인식된 영역을 구분하고 이를 열화상 영상에 적용하여 안면의 열화상 영역을 구성하고, 구성된 영역을 빠르게 스캔하여 온도를 측정하는 방법을 제안한다. 일반적으로 열화상 영상 전체를 검색하여 체온을 측정하는데, 이 경우 속도가 느리고, 온도 측정이 부정확한 단점이 있으므로, 빠르고 정확한 측정을 위해 안면 영역의 열화상 영상을 이용한다.
또한, 이용자의 마스크 착용여부를 판단하기 위해 딥러닝 기술을 적용하지 않고 자체 알고리즘을 적용하여 딥러닝 결과 보다 빠르고 정확한 데이터를 얻고자 한다.
또한, OpenCV를 이용한 안면 인식의 정확도를 높이기 위해서 안면 인식과 눈 인식을 병합하여, 눈만 인식했을 경우에도 확장되는 알고리즘을 적용하여 안면 영역을 인지할 수 있도록 하고자 한다.
본 발명의 다양한 실시 예들에 따른 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법은, 가시광 카메라 및 열화상 카메라 각각을 피사체로부터 동일한 거리와 각도로 배치하여 피사체를 촬영하는 단계; 상기 가시광 카메라에 의하여 획득된 제1영상에서 상기 피사체의 안면 영역을 인식하는 단계; 상기 열화상 카메라에 의하여 획득된 제2영상에 상기 인식된 안면 영역을 중첩하는 단계; 상기 제2영상에서 상기 중첩된 영역을 제2영상의 안면 영역으로 선택하는 단계; 상기 선택된 안면 영역에서 픽셀 별 온도 데이터를 획득하는 단계; 상기 획득한 온도 데이터에 기초하여 상기 피사체의 체온을 판단하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 선택된 안면 영역의 픽셀 중 제1설정온도 이상을 나타내는 픽셀의 수를 카운트하는 단계; 및 상기 카운트한 픽셀의 수에 기초하여 상기 피사체의 마스크 착용여부를 판단하는 단계를 더 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 제1설정온도는 섭씨 34도로 설정할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 카운트한 픽셀의 수에 기초하여 상기 피사체의 마스크 착용여부를 판단하는 단계는, 상기 제1설정온도 이상을 나타내는 픽셀은 안면의 피부가 노출된 부분으로 간주하여, 상기 카운트한 픽셀의 수가 상기 인식된 안면 영역의 픽셀의 수에 대하여 설정 비중을 초과하는 값을 갖는 경우 마스크 미착용으로 판단하고, 설정 비중 이하의 값을 갖는 경우 마스크 착용으로 판단하는 단계를 더 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 설정 비중은 상기 인식된 안면 영역의 픽셀의 수의 30퍼센트로 설정할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 가시광 카메라에 의하여 획득한 제1영상에서 상기 피사체의 안면 영역을 인식하는 단계에서, 상기 안면 영역 인식이 정상적으로 되지 않는 경우에는, 상기 피사체의 눈 영역을 인식하는 단계; 상기 인식된 눈 영역을 정사각형 모양으로 정형화하는 단계; 상기 정사각형의 한 변 길이를 계측하는 단계; 및 상기 정사각형의 한 변 길이를 기준으로 안면 영역의 가로 및 세로 길이를 추정하는 단계를 더 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 정사각형의 한 변 길이를 기준으로 안면 영역의 가로 및 세로 길이를 추정하는 단계에서, 상기 가로 길이는 상기 정사각형의 한 변 길이의 4배, 상기 세로 길이는 상기 정사각형의 한 변 길이의 5.5배로 추정할 수 있다.
본 발명의 다양한 실시 예들에 따른 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치는, 피사체로부터 동일한 거리와 각도에서 각각 상기 피사체를 촬영하는 가시광 카메라 및 열화상 카메라를 포함하는 영상 취득부; 상기 촬영된 영상들의 데이터를 저장하는 메모리; 상기 영상 취득부가 촬영한 영상으로부터 상기 피사체의 안면 영역을 인식하여 체온을 측정하고 마스크 착용여부를 판단하는 프로세서; 및 상기 측정된 체온 및 마스크 착용여부 판단결과를 표시하는 표시부를 포함하고, 상기 프로세서는, 상기 가시광 카메라에 의하여 획득된 제1영상에서 상기 피사체의 안면 영역을 인식하고, 상기 열화상 카메라에 의하여 획득된 제2영상에 상기 인식된 안면 영역을 중첩하고, 상기 제2영상에서 상기 중첩된 영역을 제2영상의 안면 영역으로 선택하고, 상기 선택된 안면 영역에서 픽셀 별 온도 데이터를 획득하고, 상기 획득한 온도 데이터에 기초하여 상기 피사체의 체온을 판단하는 동작을 수행할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 프로세서는, 상기 선택된 안면 영역의 픽셀 중 제1설정온도 이상을 나타내는 픽셀의 수를 카운트하고, 상기 카운트한 픽셀의 수에 기초하여 상기 피사체의 마스크 착용여부를 판단하는 동작을 더 수행할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 제1설정온도는 섭씨 34도로 설정할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 프로세서는, 상기 제1설정온도 이상을 나타내는 픽셀은 안면의 피부가 노출된 부분으로 간주하여, 상기 카운트한 픽셀의 수가 상기 인식된 안면 영역의 픽셀의 수에 대하여 설정 비중을 초과하는 값을 갖는 경우 마스크 미착용으로 판단하고, 설정 비중 이하의 값을 갖는 경우 마스크 착용으로 판단할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 설정 비중은 상기 인식된 안면 영역의 픽셀의 수의 30퍼센트로 설정할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 프로세서는, 상기 안면 영역 인식이 정상적으로 되지 않는 경우에는, 상기 피사체의 눈 영역을 인식하고, 상기 인식된 눈 영역을 정사각형 모양으로 정형화하고, 상기 정사각형의 한 변 길이를 계측하고, 상기 정사각형의 한 변 길이를 기준으로 안면 영역의 가로 및 세로 길이를 추정하는 동작을 더 수행할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 프로세서는, 상기 가로 길이는 상기 정사각형의 한 변 길이의 4배, 상기 세로 길이는 상기 정사각형의 한 변 길이의 5.5배로 추정할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 피사체의 체온이 제2설정온도를 초과하는 경우 경보를 발생시키는 경보부를 더 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 제2설정온도는 섭씨 37.5도로 설정할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 피사체가 마스크를 착용하지 않은 것으로 판단되는 경우 경보를 발생시키는 경보부를 더 포함할 수 있다.
다양한 실시 예들에 따라, 듀얼 카메라를 이용하여 이용자의 마스크 착용여부를 확인하는 동작 수행 시 종래의 딥러닝, 이미지 매칭 시스템 등과 비교하여 신속성과 정확성을 높일 수 있다.
다양한 실시 예들에 따라, 듀얼 카메라를 이용하여 이용자의 체온을 확인하는 동작 수행 시 안면 영역을 획득하여 온도를 판단함으로써, 종래의 전체 영상을 스캔하는 방식과 비교하여 신속성과 정확성을 높일 수 있다.
다양한 실시 예들에 따라, 마스크 착용 확인 및 체온 확인 작업이 실시간으로 빠르게 가능하여 다중 이용시설에서 다수의 출입자 중 체온이 높은 유증상자 선별이 가능하고, 마스크 미착용자에 대한 통제가 가능하다.
다양한 실시 예들에 따라, 많은 양의 데이터 처리과정이 필요하지 않으므로 고사양의 장비가 요구되지 않아서 PC는 물론 모바일 디바이스에서도 구현이 가능하다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은, 다양한 실시예들에 따른 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법의 전체 동작 순서를 나타낸 흐름도이다.
도 2는, 다양한 실시예들에 따른 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법의 각 단계 동작 순서를 상세하게 나타낸 흐름도이다.
도 3은, 다양한 실시예들에 따라 촬영영상으로부터 피사체의 마스크 착용여부를 판단하는 알고리즘을 나타낸 흐름도이다.
도 4는, 다양한 실시예들에 따른 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)의 내부 구성을 도시한 도면이다.
도 5는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)의 실 사용예를 도시한 도면이다.
도 6은, 다양한 실시예들에 따른 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)에서 피사체의 안면 영역(310) 및 눈 영역(320)을 인식하는 동작을 도시한 도면이다.
이하 다양한 실시 예들이 첨부된 도면을 참고하여 상세히 설명된다.
도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략할 수 있다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 '모듈' 또는 '부'는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, '모듈' 또는 '부'는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미하나, 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 하나의 구성요소, '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.
본 발명의 몇몇 실시 예들과 관련하여 설명되는 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC은 사용자 단말기 내에 상주할 수도 있다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
우선 본 명세서에서 사용되는 용어들에 대하여 간략히 설명한다.
OpenCV (Open Source Computer Vision)는 오픈 소스 컴퓨터 비전 라이브러리 중 하나로 크로스플랫폼과 실시간 이미지 프로세싱에 중점을 둔 라이브러리로서 객체, 얼굴, 행동 인식, 모션 추적 등의 응용 프로그램에서 일반적으로 사용된다. 여기에는 2500개가 넘는 컴퓨터 비전 및 머신러닝 알고리즘을 포함하고 있으며, C++, Python, JAVA, MATLAB 인터페이스를 모두 보유하고 있고, 윈도우, 리눅스, 안드로이드, 맥OS와도 호환된다.
가시광 카메라는 카메라 센서가 육안으로 식별이 가능한 가시광선(파장 400nm~700nm)을 감지하여 피사체를 컬러로 촬영하는 카메라이다.
열화상 카메라는 적외선 에너지(열)를 비접촉식으로 감지하여 전기 신호로 변환해 주는 기기이다. 전기 신호는 다시 열화상 이미지나 동영상으로 변환되어 비디오 모니터를 통해 출력되고 온도 관련 정보를 산출하는데 활용된다.
이하 다양한 실시 예들이 첨부된 도면 순서에 따라 상세히 설명된다.
도 1은, 다양한 실시예들에 따른 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법의 전체 동작 순서를 나타낸 흐름도이다.
도 1을 참조하면, 동작 S100에서, 가시광 카메라(110) 및 열화상 카메라(120)를 포함하는 영상 취득부(100)가 피사체를 촬영하여 제1영상 및 제2영상을 획득할 수 있다. 동작 S200에서, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)의 프로세서(300)는 제1영상 및 제2영상을 이용하여 OpenCV(Open Source Computer Vision)를 활용한 알고리즘에 따라 안면 영역(310)을 인지 및 선택하고, 안면 영역(310) 내 픽셀들의 온도 데이터에 기초한 분석을 수행할 수 있다. 동작 S300에서, 프로세서(300)는 안면 영역(310) 내 픽셀들의 온도데이터에 기초하여 체온을 결정할 수 있다. 동작 S400에서, 프로세서(300)는 안면 영역(310) 내 픽셀들의 온도데이터를 분석하여 제1설정온도 이상을 갖는 픽셀의 수를 카운트하여 전체 안면 영역(310) 픽셀들 중 차지하는 비중을 계측함으로써 피사체의 마스크 착용여부를 판단할 수 있다.
도 2는, 다양한 실시예들에 따른 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법의 각 단계 동작 순서를 상세하게 나타낸 흐름도이다.
도 2를 참조하면, 동작 S110에서, 영상 취득부(100)는 가시광 카메라(110)로 피사체를 촬영하여 가시광 영상인 제1영상을 획득할 수 있다. 동작 S120에서, 영상 취득부(100)는 열화상 카메라(120)로 피사체를 촬영하여 열화상 영상인 제2영상을 획득할 수 있다.
동작 S210에서, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)의 프로세서(300)는 OpenCV(Open Source Computer Vision) 라이브러리를 이용하여 제1영상에서 피사체의 안면 영역(310)을 인식할 수 있다. 동작 S220에서, 프로세서(300)는 제1영상에서 인식한 안면 영역(310)을 제2영상 위에 오버레이 시킬 수 있다. 동작 S230에서, 제2영상 중 오버레이 된 영역을 제2영상의 안면 영역(310)으로 선택할 수 있다. 동작 S240에서, 프로세서(300)는 제2영상의 선택된 안면 영역(310) 내의 각 픽셀들을 분석하여 픽셀 별 온도 데이터를 획득할 수 있다. 여기서, 종래기술들은 열화상 카메라(120)에서 얻은 영상 전체를 스캔하여 온도 데이터를 검출하는 반면, 본 발명은 앞서 선택된 안면 영역(310)만을 스캔하여 온도 데이터를 검출함으로써 데이터 처리 속도가 향상되고 PC, 스마트폰 등 낮은 사양의 장비로도 동작 수행이 가능할 수 있다.
동작 S310에서, 프로세서(300)는 제2영상의 안면 영역(310) 픽셀들의 온도 데이터에 기초하여 피사체의 체온을 판단할 수 있다. 또한, 프로세서(300)는 판단된 체온을 표시부(400)에 출력할 수 있다. 또한, 판단된 체온이 제2설정온도(예를 들어, 섭씨 37.5도)를 초과하는 경우에는 경보부(500)에서 경고등, 경고음 등의 경보를 발생시킬 수 있다.
동작 S410에서, 프로세서(300)는 제2영상의 선택된 안면 영역(310) 픽셀들 중에서 제1설정온도(예를 들어, 섭씨 34도) 이상인 픽셀들의 수를 카운트할 수 있다. 동작 S420에서, 프로세서(300)는 카운트된 픽셀의 수가 전체 안면 영역(310)에서 차지하는 비중에 따라 피사체의 마스크 착용여부를 판단할 수 있다. 이는 마스크를 쓰면 표면 온도가 낮게 측정되기 때문에, 픽셀의 온도가 제1설정온도 이상인 부분은 노출된 피부로 판단할 수 있기 때문이다. 종래기술은 이미지 분석 시 CNN(Convolutional Neural Network) 등을 이용한 딥러닝 모델을 많이 활용하는데 이는 수많은 마스크 사진의 데이터베이스와 피사체의 영상을 비교하는 방식으로 많은 양의 데이터 처리에 따른 부하증가 및 속도저하의 문제가 존재한다. 이에 반하여 본 발명의 알고리즘은, 픽셀의 온도 데이터를 이용하여 마스크 착용여부를 판단하므로 보다 빠른 처리가 가능하며, 이미지 매칭 프로세싱 방법을 통한 마스크 착용여부 판단 결과는 보통 80~90 퍼센트 정도의 성공률을 보이는 것과 비교하여 본 발명의 알고리즘에 의하는 경우 99 퍼센트에 가까운 성공률을 보인다.
도 3은, 다양한 실시예들에 따라 촬영영상으로부터 피사체의 마스크 착용여부를 판단하는 알고리즘을 나타낸 흐름도이다.
도 3을 참조하면, 동작 S410에서, 프로세서(300)는 제2영상의 선택된 안면 영역(310) 픽셀들 중에서 제1설정온도(예를 들어, 섭씨 34도) 이상인 픽셀들의 수를 카운트할 수 있다. 동작 S421에서, 프로세서(300)는 카운트된 픽셀의 수가 전체 안면 영역(310)에서 차지하는 비중이 설정 비중(예를 들면, 30퍼센트)을 초과하는지 판정할 수 있다. 동작 S422에서 설정 비중을 초과하지 않는다면 피사체가 마스크를 착용한 것으로 판단할 수 있고, 동작 S423에서 설정 비중을 초과한다면 피부가 노출된 범위가 넓은 것으로 보아 피사체가 마스크를 착용하지 않은 것으로 판단할 수 있다. 또한, 프로세서(300)는 마스크 착용여부 판단결과를 표시부(400)에 출력할 수 있다. 또한, 프로세서(300)는 피사체가 마스크를 착용하지 않은 것으로 판단되는 경우 경보부(500)에서 경고등, 경고음 등의 경보를 발생시킬 수 있다.
도 4는, 다양한 실시예들에 따른 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)의 내부 구성을 도시한 도면이다.
도 4를 참조하면, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)는 피사체를 촬영하여 영상을 획득하는 영상 취득부(100), 촬영된 영상 및 온도 데이터, 분석결과 등을 저장하는 메모리(200), 안면 영역(310) 인식과 온도 데이터 분석, 체온 측정 및 마스크 착용여부 판단 동작을 수행하는 프로세서(300), 판단한 결과를 디스플레이에 출력하는 표시부(400), 피사체의 체온이 제2설정온도(예를 들어, 섭씨 37.5도)를 초과하거나 마스크 미착용으로 판단되는 경우 경보를 발생시키는 경보부(500)를 포함할 수 있다.
영상 취득부(100)는 가시광선을 이용하여 가시광 영상을 촬영하는 가시광 카메라(110) 및 적외선을 이용하여 열화상 영상을 촬영하는 열화상 카메라(120)를 포함할 수 있다.
메모리(200)는 프로세서(300)의 동작 프로그램, 영상 취득부(100)에 의한 촬영 영상, 검출된 온도 데이터, 안면 영역(310) 인식 및 분석 결과 데이터 등을 저장할 수 있다.
프로세서(300)는 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)의 각 구성요소를 제어하여 피사체의 촬영영상을 분석하고 설정된 알고리즘에 따라 체온 측정 및 마스크 착용여부 판단의 동작을 수행할 수 있다. 또한 판단 결과를 표시부(400)에 출력하거나, 피사체의 설정 체온 초과 또는 마스크 미착용 이벤트 발생시 경보부(500)에서 경보가 발생하도록 제어할 수 있다.
표시부(400)는 프로세서(300)의 제어에 따라 체온 측정 결과값 또는 마스크 착용여부 판단 결과를 디스플레이에 출력할 수 있다.
경보부(500)는 프로세서(300)의 제어에 따라 피사체의 체온이 제2설정온도를 초과하거나 마스크를 쓰지 않은 것으로 판단되는 경우 경고등 점등, 경고음 또는 안내멘트 등의 경보를 발생시킬 수 있다.
도 5는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)의 일 실시예를 도시한 도면이다.
도 5를 참조하면, 영상취득부(100)를 이루는 듀얼 카메라인 가시광 카메라(110) 및 열화상 카메라(120)가 피사체를 촬영하고, 촬영 영상을 이용하여 알고리즘에 따라 피사체의 체온 측정과 마스크 착용여부 판단을 수행한 후, 측정된 체온 또는 마스크 착용여부 판단 결과를 표시부(400)에 출력할 수 있다. 여기서 가시광 카메라(110)와 열화상 카메라(120)는 피사체로부터 동일한 거리 및 각도를 유지해야 안면 영역(310) 인식의 정확도를 높일 수 있으므로 서로 최대한 근접 배치시키는 것이 바람직하다.
도 6은, 다양한 실시예들에 따른 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)에서 피사체의 안면 영역(310) 및 눈 영역(320)을 인식하는 동작을 도시한 도면이다.
도 6을 참조하면, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치(10)의 프로세서(300)가 OpenCV 라이브러리를 이용하여 눈 영역(320) 인식을 진행할 수 있다. 이는 안면 영역(310)의 인식이 되지 않는 경우를 보완하기 위한 과정으로 통상 OpenCV를 이용한 안면 영역(310) 인식이 10~20퍼센트 정도의 확률로 실패하는 경우가 있어 추가로 눈 영역(320) 인식을 진행하고 그 결과를 확장하여 안면 영역(310)을 추정할 수 있다.
프로세서(300)는 눈 영역(320)이 인식되면 정사각형 모양으로 정형화하고, 정사각형의 한 변 길이를 기준으로 하여 안면 영역(310)의 가로, 세로 길이를 추정할 수 있다. 보다 상세하게, 안면 영역(310)의 가로 길이는 정사각형 한 변 길이의 4배, 안면 영역(310)의 세로 길이는 정사각형 한 변 길이의 5.5배로 설정하여 안면 영역(310)을 추정할 수 있다.
Figure pat00001
(h는 안면 영역(310)의 가로 길이, e는 눈 영역(320) 정사각형의 한 변 길이)
Figure pat00002
(v는 안면 영역(310)의 세로 길이, e는 눈 영역(320) 정사각형의 한 변 길이)
상술한 본원 발명의 체온 측정 및 마스크 유무 판단 장치 또는 방법은 종래 기술과 비교할 때 빠르고 정확한 작업 수행이 가능하므로, 다중 이용시설에서 다수의 출입자 중 체온이 높은 유증상자 선별, 마스크 미착용자에 대한 통제를 신속하고 정확하게 할 수 있는 효과를 기대할 수 있을 것이다.
10: 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치
100: 영상 취득부
110: 가시광 카메라
120: 열화상 카메라
200: 메모리
300: 프로세서
310: 안면 영역
320: 눈 영역
400: 표시부
500: 경보부

Claims (19)

  1. 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법에 있어서,
    가시광 카메라 및 열화상 카메라 각각을 피사체로부터 동일한 거리와 각도로 배치하여 피사체를 촬영하는 단계;
    상기 가시광 카메라에 의하여 획득된 제1영상에서 상기 피사체의 안면 영역을 인식하는 단계;
    상기 열화상 카메라에 의하여 획득된 제2영상에 상기 인식된 안면 영역을 중첩하는 단계;
    상기 제2영상에서 상기 중첩된 영역을 제2영상의 안면 영역으로 선택하는 단계;
    상기 선택된 안면 영역에서 픽셀 별 온도 데이터를 획득하는 단계; 및
    상기 획득한 온도 데이터에 기초하여 상기 피사체의 체온을 판단하는 단계를 포함하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법.
  2. 제1항에 있어서,
    상기 선택된 안면 영역의 픽셀 중 제1설정온도 이상을 나타내는 픽셀의 수를 카운트하는 단계; 및
    상기 카운트한 픽셀의 수에 기초하여 상기 피사체의 마스크 착용여부를 판단하는 단계를 더 포함하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법.
  3. 제2항에 있어서,
    상기 제1설정온도는 섭씨 34도인, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법.
  4. 제2항에 있어서,
    상기 카운트한 픽셀의 수에 기초하여 상기 피사체의 마스크 착용여부를 판단하는 단계는,
    상기 제1설정온도 이상을 나타내는 픽셀은 안면의 피부가 노출된 부분으로 간주하여, 상기 카운트한 픽셀의 수가 상기 인식된 안면 영역의 픽셀의 수에 대하여 설정 비중을 초과하는 값을 갖는 경우 마스크 미착용으로 판단하고, 설정 비중 이하의 값을 갖는 경우 마스크 착용으로 판단하는 단계를 더 포함하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법.
  5. 제4항에 있어서,
    상기 설정 비중은 상기 인식된 안면 영역의 픽셀의 수의 30퍼센트인, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법.
  6. 제1항에 있어서,
    상기 가시광 카메라에 의하여 획득한 제1영상에서 상기 피사체의 안면 영역을 인식하는 단계에서,
    상기 안면 영역 인식이 정상적으로 되지 않는 경우에는, 상기 피사체의 눈 영역을 인식하는 단계;
    상기 인식된 눈 영역을 정사각형 모양으로 정형화하는 단계;
    상기 정사각형의 한 변 길이를 계측하는 단계; 및
    상기 정사각형의 한 변 길이를 기준으로 안면 영역의 가로 및 세로 길이를 추정하는 단계를 더 포함하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법.
  7. 제6항에 있어서,
    상기 정사각형의 한 변 길이를 기준으로 안면 영역의 가로 및 세로 길이를 추정하는 단계에서,
    상기 가로 길이는 상기 정사각형의 한 변 길이의 4배, 상기 세로 길이는 상기 정사각형의 한 변 길이의 5.5배로 추정하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법.
  8. 제7항에 있어서,
    상기 피사체의 양 쪽 눈 영역의 정사각형의 한 변 길이가 다른 경우, 두 길이의 평균값을 이용하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 방법.
  9. 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치에 있어서,
    피사체로부터 동일한 거리와 각도에서 각각 상기 피사체를 촬영하는 가시광 카메라 및 열화상 카메라를 포함하는 영상 취득부;
    상기 촬영된 영상들의 데이터를 저장하는 메모리;
    상기 영상 취득부가 촬영한 영상으로부터 상기 피사체의 안면 영역을 인식하여 체온을 측정하고 마스크 착용여부를 판단하는 프로세서; 및
    상기 측정된 체온 및 마스크 착용여부 판단결과를 표시하는 표시부를 포함하고,
    상기 프로세서는,
    상기 가시광 카메라에 의하여 획득된 제1영상에서 상기 피사체의 안면 영역을 인식하고, 상기 열화상 카메라에 의하여 획득된 제2영상에 상기 인식된 안면 영역을 중첩하고, 상기 제2영상에서 상기 중첩된 영역을 제2영상의 안면 영역으로 선택하고, 상기 선택된 안면 영역에서 픽셀 별 온도 데이터를 획득하고, 상기 획득한 온도 데이터에 기초하여 상기 피사체의 체온을 판단하는 동작을 수행하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 선택된 안면 영역의 픽셀 중 제1설정온도 이상을 나타내는 픽셀의 수를 카운트하고, 상기 카운트한 픽셀의 수에 기초하여 상기 피사체의 마스크 착용여부를 판단하는 동작을 더 수행하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
  11. 제10항에 있어서,
    상기 제1설정온도는 섭씨 34도인, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
  12. 제10항에 있어서,
    상기 프로세서는,
    상기 제1설정온도 이상을 나타내는 픽셀은 안면의 피부가 노출된 부분으로 간주하여, 상기 카운트한 픽셀의 수가 상기 인식된 안면 영역의 픽셀의 수에 대하여 설정 비중을 초과하는 값을 갖는 경우 마스크 미착용으로 판단하고, 설정 비중 이하의 값을 갖는 경우 마스크 착용으로 판단하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
  13. 제12항에 있어서,
    상기 설정 비중은 상기 인식된 안면 영역의 픽셀의 수의 30퍼센트인, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
  14. 제9항에 있어서,
    상기 프로세서는,
    상기 안면 영역 인식이 정상적으로 되지 않는 경우에는, 상기 피사체의 눈 영역을 인식하고, 상기 인식된 눈 영역을 정사각형 모양으로 정형화하고, 상기 정사각형의 한 변 길이를 계측하고, 상기 정사각형의 한 변 길이를 기준으로 안면 영역의 가로 및 세로 길이를 추정하는 동작을 더 수행하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 가로 길이는 상기 정사각형의 한 변 길이의 4배, 상기 세로 길이는 상기 정사각형의 한 변 길이의 5.5배로 추정하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 피사체의 양 쪽 눈 영역의 정사각형의 한 변 길이가 다른 경우, 두 길이의 평균값을 이용하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
  17. 제9항에 있어서,
    상기 피사체의 체온이 제2설정온도를 초과하는 경우 경보를 발생시키는 경보부를 더 포함하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
  18. 제17항에 있어서,
    상기 제2설정온도는 섭씨 37.5도인, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
  19. 제12항에 있어서,
    상기 피사체가 마스크를 착용하지 않은 것으로 판단되는 경우 경보를 발생시키는 경보부를 더 포함하는, 듀얼 카메라를 이용한 체온 측정 및 마스크 착용여부 판단 장치.
KR1020200108598A 2020-08-27 2020-08-27 듀얼 카메라 영상 검출을 통한 마스크 착용여부 및 체온의 실시간 확인 방법 및 장치 KR20220027569A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200108598A KR20220027569A (ko) 2020-08-27 2020-08-27 듀얼 카메라 영상 검출을 통한 마스크 착용여부 및 체온의 실시간 확인 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200108598A KR20220027569A (ko) 2020-08-27 2020-08-27 듀얼 카메라 영상 검출을 통한 마스크 착용여부 및 체온의 실시간 확인 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220027569A true KR20220027569A (ko) 2022-03-08

Family

ID=80813443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200108598A KR20220027569A (ko) 2020-08-27 2020-08-27 듀얼 카메라 영상 검출을 통한 마스크 착용여부 및 체온의 실시간 확인 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220027569A (ko)

Similar Documents

Publication Publication Date Title
KR101806400B1 (ko) 흑체를 이용한 듀얼 카메라 기반 체온 감시 시스템
US20040037450A1 (en) Method, apparatus and system for using computer vision to identify facial characteristics
JP3271750B2 (ja) アイリス識別コード抽出方法及び装置、アイリス認識方法及び装置、データ暗号化装置
JP6932150B2 (ja) 顔検出／認識システム用の方法及び装置
CN107808115A (zh) 一种活体检测方法、装置及存储介质
EP0989517B1 (en) Determining the position of eyes through detection of flashlight reflection and correcting defects in a captured frame
US7819525B2 (en) Automatic direct gaze detection based on pupil symmetry
JP6700791B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3118811B1 (en) Detecting device, detecting method, and recording medium
US10891479B2 (en) Image processing method and system for iris recognition
JP2020062198A (ja) 状態判定システム
US7697766B2 (en) System and method to determine awareness
JP2018156408A (ja) 画像認識撮像装置
JP2014067193A (ja) 画像処理装置および画像処理方法
US20100177932A1 (en) Object detection apparatus and object detection method
JP6315144B2 (ja) 検知装置、検知方法、および、プログラム
KR101815697B1 (ko) 위조 얼굴 판별 장치 및 방법
Paquit et al. Combining near-infrared illuminants to optimize venous imaging
KR102205605B1 (ko) 열상 이미지의 온도 표시 방법
KR20220027569A (ko) 듀얼 카메라 영상 검출을 통한 마스크 착용여부 및 체온의 실시간 확인 방법 및 장치
JP6292341B2 (ja) 検知装置、検知方法、および、プログラム
Anwar et al. Development of real-time eye tracking algorithm
KR101355206B1 (ko) 영상분석을 이용한 출입 계수시스템 및 그 방법
CN113011222A (zh) 一种活体检测系统、方法及电子设备
KR102473744B1 (ko) 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application