KR102144483B1 - 헤드 마운트 디스플레이 타입의 체온 측정장치 - Google Patents

헤드 마운트 디스플레이 타입의 체온 측정장치 Download PDF

Info

Publication number
KR102144483B1
KR102144483B1 KR1020200024073A KR20200024073A KR102144483B1 KR 102144483 B1 KR102144483 B1 KR 102144483B1 KR 1020200024073 A KR1020200024073 A KR 1020200024073A KR 20200024073 A KR20200024073 A KR 20200024073A KR 102144483 B1 KR102144483 B1 KR 102144483B1
Authority
KR
South Korea
Prior art keywords
image
display
body temperature
user
area
Prior art date
Application number
KR1020200024073A
Other languages
English (en)
Inventor
강형욱
Original Assignee
주식회사 에프씨티케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프씨티케이 filed Critical 주식회사 에프씨티케이
Priority to KR1020200024073A priority Critical patent/KR102144483B1/ko
Application granted granted Critical
Publication of KR102144483B1 publication Critical patent/KR102144483B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 헤드 마운트 디스플레이(Head Mount Display) 타입으로, 사용자의 시야 영역 촬영영상에 포함된 사람의 체온상태를 해당 촬영영상에 추가적으로 표현하여 사용자의 눈 전면에 위치하는 디스플레이로 출력할 수 있도록 해 주는 기술에 관한 것이다.
본 발명에 따른 헤드 마운트 디스플레이 타입의 체온 측정장치는, 사용자의 가시 영역에 대한 RGB 형태의 실사 영상을 획득하는 가시광 카메라와, 사용자의 가시 영역에 대한 열화상 영상을 획득하는 열화상 카메라, 사용자 시야영역에 대한 표시영상을 출력하는 디스플레이 및, 상기 가시광 카메라와 열화상 카메라를 통해 수집된 동일한 사용자 가시영역에 대한 실사 영상과 열화상 영상을 이용하여 사용자 시야영역 촬영영상에 포함된 사람의 체온정보가 추가적으로 표현된 표시영상을 생성하고 이를 디스플레이를 통해 출력하는 제어부를 포함하여 구성되고, 상기 장치들은 사용자의 두부에 착용가능한 고글 형태의 착용장치에 배치되되, 착용장치는 상기 디스플레이를 사용자의 눈 영역에 배치시키기 위한 프레임으로 이루어지고, 상기 가시광 카메라와 열화상 카메라는 착용장치가 착용된 상태에서 사용자의 두부 전면측에 위치하도록 배치되는 것을 특징으로 한다.

Description

헤드 마운트 디스플레이 타입의 체온 측정장치{Head Mount Display Type Apparatus For Measuring Body Temperature}
본 발명은 헤드 마운트 디스플레이(Head Mount Display) 타입으로, 사용자의 시야 영역 촬영영상에 포함된 사람의 체온상태를 해당 촬영영상에 추가적으로 표현하여 사용자의 눈 전면에 위치하는 디스플레이로 출력할 수 있도록 해 주는 기술에 관한 것이다.
2000년 이후 신종 바이러스 유행으로 인한 인명 피해, 막대한 경제적 손실이 빈번하게 발생되고 있다. 예를 들어, 코로나, 사스(SARS, 중증 급성 호흡기 증후군), 신종플루, 에볼라, 메르스 등의 신종 전염병들이 자주 발생하고 있다. 그러나 이러한 전염성 질병들은 감기 등 통상의 질병과 유사한 증상을 나타내기 때문에, 감염자 자신도 전염성 질병이 확진되기 전까지는 감염 사실 자체를 알기 어렵다. 따라서 사람들이 많이 모이는 공공장소 등에서 이러한 감염자들이 통행하는지를 신속하게 확인하여 추가적인 검사나 격리조치를 취할 필요가 있다.
일반적으로 이러한 전염성 질병들의 대부분은 열을 동반하므로 심한 열을 가진 사람들은 1차적으로 해당 질병 의심자로 판단할 수 있고, 정밀 검사를 통해 감염 여부를 판단할 수 있다. 즉, 체온을 측정하여 1차적인 의심자를 판단할 수 있다.
그러나, 공항 등의 공공장소와 같이 불특정 다수의 사람들이 통행하는 장소에서 모든 통행자들을 대상으로 일일이 온도를 측정하여 체온을 검사하기 위해서는 많은 인력이 소요되고, 통행자들에게 불편함을 초래한다는 문제점이 있다.
위와 같은 문제점을 해결하고자 열화상 카메라를 이용하여 체온 및 감염자 상태를 모니터링하기 위한 다양한 장치가 제안되었다.
선행문헌 1에는 열화상 카메라를 고정식으로 구성하여, 사람들의 체온을 비접촉식으로 모니터링 하는 구성이 개시되어 있다.
그러나, 고정식 열화상 카메라는 비용이 매우 고가이고 정해진 장소에서만 사용 가능한 단점이 있다.
특히, 공항의 입국 심사대의 경우 입국자는 한 명씩 떨어져서 입국하기 보다는 통상 동일한 비행기를 탄 탑승자가 동시에 나오는 경우가 많으므로 여러명이 한꺼번에 입국하는 경우가 많다. 이러한 문제로 인해서 입국 심사대에 설치된 고정시 열화상 카메라의 경우 다수의 입국자 중에서 비정상적으로 높은 체온을 가진 한 명을 검출했다 하더라도 여러 명과 섞여서 군집을 이룰 경우에 높은 체온을 가진 사람을 놓치는 문제가 발생되고 있는 실정이다.
또한, 선행문헌 2에는 스마트폰에 열화상 카메라를 구비하여 휴대형으로 이동객체에 대한 온도를 모니터링하는 구성이 개시되어 있다.
그러나, 이러한 휴대용 열화상 카메라는 사용시 손으로 파지하고 있는 형태로서, 사용이 불편하고 측정 범위가 근접범위로 제한되는 단점이 있다.
1. 국내등록특허 제10-1978264호 (명칭 : 비접촉식 체온 모니터링 시스템) 2. 국내공개특허 제10-2019-0110476호 (명칭 : 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 헤드 마운트 디스플레이 타입으로 사용자의 손을 자유롭게 사용할 수 있도록 함과 더불어, 열화상 카메라와 가시광 카메라를 이용하여 사용자의 시야 영역을 촬영하여 표시하되, 시야 영역에 위치하는 사람의 체온상태를 추가적으로 촬영영상에 표현하여 출력함으로써, 다지점/대면적 동시 측정이 가능하도록 해 주는 헤드 마운트 디스플레이 타입의 체온 측정장치를 제공함에 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 사용자의 가시 영역에 대한 RGB 형태의 실사 영상을 획득하는 가시광 카메라와, 사용자의 가시 영역에 대한 열화상 영상을 획득하는 열화상 카메라, 사용자 시야영역에 대한 표시영상을 출력하는 디스플레이 및, 상기 가시광 카메라와 열화상 카메라를 통해 수집된 동일한 사용자 가시영역에 대한 실사 영상과 열화상 영상을 이용하여 사용자 시야영역 촬영영상에 포함된 사람의 체온정보가 추가적으로 표현된 표시영상을 생성하고 이를 디스플레이를 통해 출력하는 제어부를 포함하여 구성되고, 상기 제어부는 열화상 영상에서 이미지 분할 알고리즘을 이용하여 고온을 포함하는 객체와 배경을 분리하고, 이에 대응되는 분할 이미지를 생성하는 영역 분리모듈과, 영역 분리모듈에서 생성된 분할 이미지와 실사 이미지를 이용하여 고온을 포함하는 객체 중 체온 측정 대상을 결정하되, 실사 이미지와 분할 이미지를 중첩하여 실사 이미지에서 분할 이미지의 객체를 설정하고, 실사 이미지의 객체 영역에서 윤곽선을 인식하며, 윤곽선 영역내에 사람에 해당하는 특징점이 존재하는 경우 해당 객체가 체온 측정 대상 객체인 것으로 결정하는 측정대상 결정모듈 및, 열화상 이미지에서 체온 측정 대상 객체 영역내 최고 온도를 해당 대상 객체에 대한 체온으로 설정하고, 실사 이미지 또는 열화상 이미지상에 체온 정보가 해당 대상 객체 영역에 추가적으로 표현된 표시영상을 생성하는 표시영상 생성모듈을 포함하여 구성되며, 상기 장치들은 사용자의 두부에 착용가능한 고글 형태의 착용장치에 배치되되, 착용장치는 상기 디스플레이를 사용자의 눈 영역에 배치시키기 위한 프레임으로 이루어지고, 상기 가시광 카메라와 열화상 카메라는 착용장치가 착용된 상태에서 사용자의 두부 전면측에 위치하도록 배치되는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치가 제공된다.
또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 착용시 사용자의 눈 영역에 디스플레이를 배치시키기 위해 사용자의 두부에 착용가능한 고글 형태로 이루어지고, 사용자의 가시 영역에 대한 RGB 형태의 실사 영상을 획득하는 가시광 카메라와, 사용자의 가시 영역에 대한 열화상 영상을 획득하는 열화상 카메라, 사용자 시야영역에 대한 표시영상을 출력하는 디스플레이 및, 제어장치와 통신하기 위한 제1 통신부를 포함하여 구성되되, 상기 가시광 카메라와 열화상 카메라는 착용시 사용자의 두부 전면측에 위치하도록 배치되는 착용장치와, 상기 착용장치와 통신하기 위한 제2 통신부와, 상기 착용장치로부터 수집된 동일한 사용자 가시영역에 대한 실사 영상과 열화상 영상을 이용하여 사용자 시야영역 촬영영상에 포함된 사람의 체온정보가 추가적으로 형태로 표현되는 표시영상을 생성하고 이를 착용장치로 전송하여 디스플레이를 통해 표시출력하도록 제어하는 제어부를 포함하여 구성되는 처리장치로 이루어지고, 상기 제어부는 열화상 영상에서 이미지 분할 알고리즘을 이용하여 고온을 포함하는 객체와 배경을 분리하고, 이에 대응되는 분할 이미지를 생성하는 영역 분리모듈과, 영역 분리모듈에서 생성된 분할 이미지와 실사 이미지를 이용하여 고온을 포함하는 객체 중 체온 측정 대상을 결정하되, 실사 이미지와 분할 이미지를 중첩하여 실사 이미지에서 분할 이미지의 객체를 설정하고, 실사 이미지의 객체 영역에서 윤곽선을 인식하며, 윤곽선 영역내에 사람에 해당하는 특징점이 존재하는 경우 해당 객체가 체온 측정 대상 객체인 것으로 결정하는 측정대상 결정모듈 및, 열화상 이미지에서 체온 측정 대상 객체 영역내 최고 온도를 해당 대상 객체에 대한 체온으로 설정하고, 실사 이미지 또는 열화상 이미지상에 체온 정보가 해당 대상 객체 영역에 추가적으로 표현된 표시영상을 생성하는 표시영상 생성모듈을 포함하여 구성되는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치가 제공된다.
삭제
또한, 상기 프레임의 외측에는 주변 온도를 측정하기 위한 온도 센서를 추가로 구비하여 구성되고, 상기 표시영상 생성모듈은 온도 센서를 통해 측정된 현재 온도값을 기반으로 열화상 영상에 대한 기준 화상값을 보정한 후 대상 객체에 대한 최고 온도를 추출하되, 열화상 영상에서 촬영 지점과 가장 근접한 위치의 배경 영역에 대한 화상값을 주변 온도값으로 설정하여 해당 열화상 영상에 대한 기준 화상값을 보정하는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치가 제공된다.
또한, 상기 표시영상의 종류를 선택하기 위한 조작부를 추가로 포함하여 구성되고, 상기 표시영상 생성모듈은 상기 조작부의 선택에 따라 실사 이미지상에 체온 정보가 증강현실(AR) 형태로 표현된 표시영상을 생성하거나 또는 열화상 이미지상에 체온 정보가 증강현실(AR) 형태로 표현된 표시영상을 생성하는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치가 제공된다.
또한, 상기 표시영상 출력 여부를 선택하기 위한 조작부를 추가로 포함하여 구성되고, 상기 디스플레이는 투명재질로 구성되어, 상기 제어부는 상기 조작부의 선택에 따라 표시영상을 디스플레이로 출력하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치가 제공된다.
또한, 외부 서버와 통신하기 위한 통신부를 추가로 구비하여 구성되고, 상기 제어부는 상기 표시영상을 상기 통신부를 통해 서버로 실시간 전송하도록 구성되는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치가 제공된다.
본 발명에 의하면, 디스플레이와 열화상 카메라가 장착된 HMD(Head Mount Display) 형태의 체온측정 장치를 통해 고열 및 발열에 대한 다지점, 대면적 동시 측정을 통하여 감염 예상자들을 빠르게 식별하고, HMD 기기의 최대 장점인 손의 자유로움을 통하여 추가적인 동시 작업이 가능할 수 있도록 해 주는 헤드 마운트 디스플레이 타입의 체온 측정장치를 제공할 수 있다.
또한, 촬영된 영상에 포함된 각 사람에 대한 체온상태를 추가적으로 표현하여 사용자에게 제공함으로써, 고열의 예상 환자를 쉽게 인식할 수 있다.
또한, 사람에 대한 체온상태를 추가적으로 표현된 영상을 서버측으로 실시간 전송하여 사용자와 동시적으로 고열의 예상 환자에 대한 모니터링이 가능하다.
도1은 본 발명의 제1 실시예에 따른 헤드 마운트 디스플레이 타입 체온 측정장치의 형상을 예시한 도면.
도2는 도1에 도시된 헤드 마운트 디스플레이 타입 체온 측정장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 영상처리블럭(162)의 내부구성을 기능적으로 분리하여 나타낸 도면.
도4는 도1은 본 발명의 제2 실시예에 따른 헤드 마운트 디스플레이 타입 체온 측정장치의 개략적인 구성을 도시한 도면.
도5는 도1에 도시된 헤드 마운트 디스플레이 타입 체온 측정장치의 동작을 설명하기 위한 도면.
도6은 도5의 ST400 단계에서 생성되는 표시영상을 예시한 도면.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도1은 본 발명의 제1 실시예에 따른 헤드 마운트 디스플레이 타입의 체온 측정장치의 형상을 예시한 도면이고, 도2는 도1에 도시된 헤드 마운트 디스플레이 타입 체온 측정장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도1 및 도2를 참조하면, 본 발명에 따른 헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 사용자의 두부(頭部)에 착용하여 사용하는 것으로, 대략 고글 형상으로 이루어진다.
구조적으로 살펴보면 본 발명에 따른 헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 도1에 도시된 바와 같이, 사용자의 양 눈 전면측에 디스플레이(130)가 배치되도록 두부상에 고정시키는 프레임(10)으로 구성된다. 프레임(10)은 디스플레이(130)에 연결되면서 띠 형상 또는 안경 다리 형상으로 이루어져 사용자의 두부상에 착용할 수 있도록 구성된다. 도1에는 안경 다리 형상의 프레임(10) 구조를 갖는 헤드 마운트 디스플레이 타입의 체온 측정장치가 예시되어 있다.
헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 디스플레이(130)를 통해 사용자의 가시 영역에 위치하는 사람의 체온정보가 표현되는 표시영상을 출력함과 더불어, 체온 정보가 표현된 표시영상을 서버(1)측으로 실시간 전송한다.
이러한 헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 카메라부(110)와 조작부(120), 디스플레이(130), 통신부(140), 전원부(150) 및, 제어부(160)를 포함한다. 그리고, 촬영 장소의 주변 온도를 측정하기 위한 온도 센서(170)를 더 포함할 수 있다.
카메라부(110)는 가시광 카메라(111)와 열화상 카메라(112)로 구성된다. 이때, 카메라부(110)는 사용자의 전면측의 실제 가시 영역 즉, 실사 영상을 촬영할 수 있도록 프레임(10)의 전면부에 배치된다. 즉, 가시광 카메라(111)와 열화상 카메라(112)는 해당 장치가 착용된 상태에서 사용자의 두부 전면측에 위치하도록 배치된다. 그리고, 상기 가시광 카메라(111)와 열화상 카메라(112)는 동일한 사용자의 가시 영역을 촬영하도록 구성된다.
여기서, 가시광 카메라(111)는 가시광 대역으로 피사체를 촬영하는 일반 카메라로서, 사용자 시야 영역에 대한 RGB 형태의 실사 영상을 획득한다.
그리고, 열화상 카메라(112)는 적외선 등을 통해 촬영된 사용자 시야 영역내의 온도 분포를 측정하는 카메라로서, 온도차에 의한 열화상 이미지를 생성한다. 이때, 열화상 이미지에서는 온도 분포차에 의해 피사체의 형상이 획득된다.
조작부(120)는 사용자가 본 발명에 따른 헤드 마운트 디스플레이 타입의 체온 측정장치(100)의 구동을 온/오프 설정하거나 동작 모드 등을 설정하기 위한 것이다. 조작부(120)는 스위치 또는 버튼 형태로 이루어질 수 있다. 예컨대, 조작부(120)는 장치 구동을 위한 전원 공급을 온/오프 설정하는 전원 스위치와 디스플레이(130)를 통해 출력되는 표시영상의 형태를 선택하기 위한 영상선택 스위치, 또는 표시영상의 출력 여부를 선택하기 위한 표시영상 출력스위치를 구비할 수 있다.
디스플레이(130)는 사용자가 직접 자신의 시야 영역을 보거나 또는 사용자 시야영역에 대한 표시영상을 출력하는 것으로, 투명재질로 이루어질 수 있으며, LCD 또는 OLED 등으로 구성될 수 있다. 이때, 디스플레이(130)를 통해 출력되는 표시영상은 사용자 시야영역에 대한 촬영영상에 사람별 즉, 객체별 체온정보가 추가적으로 표현된 형태로 구성되며, 체온정보는 증강현실(AR) 형태로 표현될 수 있다. 그리고, 디스플레이(130)를 통해 출력되는 표시영상은 사용자가 본 발명에 따른 헤드 마운트 디스플레이 타입의 체온 측정장치를 착용한 상태에서 사용자의 눈으로 볼 수 있도록 한다. 이때, 렌즈부(10)는 해상도 1280 × 720 의 Lcos Display 모듈이 적용될 수 있다.
통신부(140)는 외부와 통신을 수행하는 수단으로, 서버(1)측으로 사람의 체온정보가 표현된 형태의 표시영상을 실시간 전송한다.
전원부(150)는 헤드 마운트 디스플레이 타입의 체온 측정장치로 동작 전원(Vcc)을 공급하기 위한 것으로, 장치의 이동성을 보장하기 위해 배터리로 구성될 수 있다.
제어부(160)는 장치의 전체적인 동작을 제어한다. 이때, 제어부(160)는 표시영상 출력스위치의 선택에 따라 표시영상을 디스플레이로 출력할 수 있다. 즉, 표시영상 출력스위치에 의해 표시영상이 출력되지 않는 경우, 본 발명에 따른 장치는 투명 재질의 디스플레이(130)를 통해 사용자 시야 영역을 직접 보게 된다.
이러한 제어부(160)는 장치의 온/오프 동작을 설정하고, 표시영상을 디스플레이(130)를 통해 출력함과 더불어 통신부(140)를 통해 서버(1)측으로 전송하는 운영 관리블럭(161)과, 카메라부(110)를 통해 촬영되는 실사 영상과 열화상 영상을 이용하여 사용자 시야영역 촬영영상에 포함된 사람의 체온정보가 표현된 표시영상을 생성하는 영상 처리블럭(162)을 포함한다.
상기 영상 처리블럭(162)은 도3에 도시된 바와 같이, 영역 분리모듈(162A)와, 측정대상 결정모듈(162B) 및 표시영상 생성모듈(162C)을 포함한다.
영역 분리모듈(162A)는 열화상 영상에서 픽셀기반 이미지 분할 알고리즘을 이용하여 고온을 포함하는 객체와 배경을 분리하고, 이에 대응되는 분할 이미지를 생성한다. 이미지 분할 알고리즘은 임계값을 클래스간 분산(Between Class variance)을 통해 자동으로 산출함으로써, 임계값을 기준으로 이진화 이미지 즉, 분할 이미지를 생성한다. 이미지 분할 알고리즘 임계값은 클래스를 n개로 나눌 경우 n-1 개의 임계값이 추출되며, 본 발명에서는 클래스를 2개로 설정하여 나누어 하나의 이미지 분할 알고리즘 임계값을 산출할 수 있다. 예컨대, 이미지 분할 알고리즘 임계값은 사람의 체온을 기반으로 객체와 배경을 구분하기 위한 값으로 예컨대 35.5℃로 설정될 수 있다. 즉, 영역 분리모듈(162)은 이미지 분할 알고리즘 임계값을 기준으로 이미지 분할 알고리즘 임계값 이상인 영역을 객체, 이미지 분할 알고리즘 임계값 미만 영역을 배경으로 분리한다.
측정대상 결정모듈(162B)은 영역 분리모듈(162B)에서 생성된 분할 이미지와 실사 이미지를 이용하여 고온을 포함하는 객체 중 체온 측정 대상을 결정한다. 객체 결정모듈(162B)은 실사 이미지와 분할 이미지를 중첩하여 실사 이미지에서 분할 이미지의 객체를 설정하고, 실사 이미지의 객체 영역에서 윤곽선을 인식한다. 예컨대, 윤곽선은 피부색을 근거로 인식할 수 있다. 그리고, 측정대상 결정모듈(162B)은 인식된 윤곽선 영역내에 사람에 해당하는 특징점 존재 여부를 판단하여 기 설정된 특징점, 예컨대 두 눈과 코, 입 중 적어도 하나가 존재하는 경우 Otsu 객체가 체온 측정 대상인 것으로 결정한다.
표시영상 생성모듈(163C)은 열화상 이미지에서 체온 측정 대상으로 결정된 Otsu 객체 영역 즉, 대상 객체 영역내에서 최고 온도를 추출하고, 이를 해당 대상 객체 영역에 증강현실(AR) 형태로 표현함으로써, 대상 객체별 체온정보가 표현된 표시영상을 생성한다. 이때, 표시영상 생성모듈(163C)는 기 설정된 기준 온도 초과, 예컨대 최고 온도가 37℃를 초과하는 대상 객체에 대해서만 숫자 형태의 최고 온도정보를 표현할 수 있다.
또한, 표시영상 생성모듈(163C)은 조작부(120)의 표시영상 선택에 따라 실사 이미지상에 각 대상 객체별 최고 온도가 증강현실(AR) 형태로 표현된 표시영상을 생성하거나 또는 열화상 이미지상에 대상 객체의 최고 온도가 증강현실(AR) 형태로 표현된 표시영상을 생성할 수 있다. 이때, 체온정보는 컬러 또는 숫자 형태로 표현될 수 있다.
또한, 상기 열화상 카메라(112)는 열감지 센서의 특성 등에 의한 오차나, 주변 환경의 영향에 의해 실제 온도과 기준 화상값에 차이가 발생할 수 있는 바, 표시영상 생성모듈(163C)은 열화상 이미지에서 각 대상객체별 최고 온도를 추출함에 있어서, 프레임(20)의 외측에 구비된 온도 센서(170)를 통해 감지된 현재 주변 온도값을 기반으로 열화상 영상에 대한 기준 화상값을 보정할 수 있다. 표시영상 생성모듈(163C)은 열화상 영상에서 촬영 지점과 가장 근접한 위치의 배경 영역에 대한 화상값을 주변 온도값으로 설정함으로써, 해당 열화상 영상에 대한 기준 화상값을 실제 온도에 대응되게 보정할 수 있다.
또한, 본 발명에 있어서는 3축 지자계 센서와 3축 가속도계 센서 및 3축 자이로스코프로 이루어지는 9축 센서를 구비하여 표시영상에서의 객체 위치를 보다 정확하게 인식할 수 있다.
한편, 본 발명에 따른 헤드 마운트 디스플레이 타입의 체온 측정장치는 사용자의 두부에 장착하여 사용하는 것으로, 장치의 무게가 무거울수록 착용감이 저하됨은 물론, 일정 시간 이상 사용하는데 무리가 있다.
이에, 본 발명에 따른 헤드 마운트 디스플레이 타입의 체온 측정장치는 도4에 도시된 바와 같이, 사용자의 두부에 착용되는 착용장치(100-1)와, 이 착용장치(100-1)와 통신가능한 처리장치(10-20)로 분리하여 착용장치(100-1)의 무게를 최소화하도록 구성될 수 있다.
상기 착용장치(100-1)는 프레임(10)상에 카메라부(110)와 온도 센서(170)를 구비함과 더불어, 디스플레이(130)를 구비하고, 상기 처리장치(100-2)와 통신하기 위한 제1 통신모듈을 추가로 구비하여 구성된다.
상기 처리장치(30)는 조작부(120)와 서버(1)와 통신하기 위한 통신부(140), 전원부(150), 제어부(160)를 구비하고, 상기 착용장치(100-1)와 통신하기 위한 제2 모듈을 구비하여 구성된다.
이때, 착용장치(100-1)와 처리장치(100-2)는 케이블을 통해 유선 결합되거나 또는 블루투스를 포함한 근거리 무선통신을 수행하도록 구성될 수있다. 그리고, 착용장치(100-1)와 처리장치(100-2)가 무선통신을 수행하는 구성에 있어서는 착용장치(100-1)에도 동작 전원을 공급하기 위한 전원부(150)가 별도 구비된다.
또한, 상기 처리장치(100-2)는 스마트폰 등과 같이 통신 및 영상처리가 가능한 사용자 단말로 이루어질 수 있으며, 이 경우 처리장치(100-2)는 착용장치(100-1)의 동작 제어를 위한 체온 측정 어플리케이션이 설치되어 실행됨으로써, 본 발명에 따른 일련의 동작을 수행한다.
이어, 상기한 구성으로 된 헤드 마운트 디스플레이 타입의 체온 측정장치의 동작을 도5에 도시된 플로우를 참조하여 설명한다.
사용자는 헤드 마운트 디스플레이 타입의 체온 측정장치(100)를 두부에 착용하고, 조작부(120)를 통해 전원을 온 설정하여 헤드 마운트 디스플레이 타입의 체온 측정장치(100)를 동작상태로 설정한다(ST100).
또한, 사용자는 조작부(120)를 통해 디스플레이(130)로 표시 출력될 표시영상의 종류를 설정한다(ST200). 사용자는 실사 영상 또는 열화상 영상 중 하나로 표시영상의 종류를 선택할 수 있다.
상기한 상태에서, 헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 프레임(10)의 전면에 배치된 가시광 카메라(111)와 열화상 카메라(112)를 통해 사용자 가시 영역에 해당하는 실사 영상과 열화상 영상을 획득한다(ST300).
이어, 헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 열화상 영상과 실사 영상을 이용하여 체온을 측정할 대상 객체를 추출하고, 열화상 영상에서 해당 대상 객체 영역의 최고 온도를 해당 대상 객체의 체온으로 설정하며, 설정된 체온정보를 열화상 영상 또는 실사 영상 중 하나에 증강현실(AR) 형태로 표현하여 표시영상을 생성한다(ST400). 이때, 표시영상은 상기 ST200 단계에서 사용자에 의해 선택된 표시영상 종류에 따라 실사 영상에 체온 정보가 증강현실(AR) 형태로 표현된 실사 표시영상으로 생성되거나 열영상 영상에 체온 정보가 증강현실(AR) 형태로 표현된 열영상 표시영상으로 생성된다. 도6에서 (A)는 실사 표시영상을 예시한 것이고, (B)는 열영상 표시영상을 예시한 것으로, 37℃를 초과하는 대상 객체의 체온이 표현된 표시영상이 도시되어 있다. 이때, 사용자가 이동하면서 주변 사람들의 체온을 측정하고자 하는 경우, 실사 표시영상으로 출력하여 주변 상황을 시각화하는 것이 바람직하고, 특정 장소에서 사용되는 경우 열영상 표시영상으로 출력하여 객체의 체온에만 집중하는 것이 바람직할 수 있다.
그리고, 헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 상기 ST400 단계에서 생성된 표시영상을 디스플레이(130)를 통해 출력한다(ST500). 이에 따라, 사용자는 헤드 마운트 디스플레이 타입의 체온 측정장치(100)를 두부에 착용한 상태에서 디스플레이(130)를 통해 표시되는 표시영상을 시각적으로 인식하게 된다.
또한, 헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 표시영상을 서버(1)측으로 실시간 전송한다(ST600). 이때, 헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 이상 체온을 갖는 대상 객체가 존재하는 표시영상만을 서버(1)측으로 전송할 수 있다. 또한, 헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 표시영상에 포함된 대상 객체의 변화를 판단하여 대상 객체가 변화되는 경우 해당 표시영상을 서버(1)측으로 전송할 수 있다. 또한, 헤드 마운트 디스플레이 타입의 체온 측정장치(100)는 이전 표시영상과 비교하여 동일 대상 객체가 존재하면서 적어도 하나의 대상 객체의 체온이 정상에서 이상 체온으로 변경되는 경우 해당 표시영상을 서버(1)측으로 전송할 수 있다.
10 : 프레임,
100 : 헤드 마운트 디스플레이 타입의 체온 측정장치,
110 : 카메라부, 111 : 가시광 카메라,
112 : 열화상 카메라, 120 : 조작부,
130 : 디스플레이, 140 : 통신부,
150 : 전원부, 160 : 제어부,
170 : 온도 센서.

Claims (7)

  1. 사용자의 가시 영역에 대한 RGB 형태의 실사 영상을 획득하는 가시광 카메라와,
    사용자의 가시 영역에 대한 열화상 영상을 획득하는 열화상 카메라,
    사용자 시야영역에 대한 표시영상을 출력하는 디스플레이 및,
    상기 가시광 카메라와 열화상 카메라를 통해 수집된 동일한 사용자 가시영역에 대한 실사 영상과 열화상 영상을 이용하여 사용자 시야영역 촬영영상에 포함된 사람의 체온정보가 추가적으로 표현된 표시영상을 생성하고 이를 디스플레이를 통해 출력하는 제어부를 포함하여 구성되고,
    상기 제어부는 열화상 영상에서 이미지 분할 알고리즘을 이용하여 고온을 포함하는 객체와 배경을 분리하고, 이에 대응되는 분할 이미지를 생성하는 영역 분리모듈과, 영역 분리모듈에서 생성된 분할 이미지와 실사 이미지를 이용하여 고온을 포함하는 객체 중 체온 측정 대상을 결정하되, 실사 이미지와 분할 이미지를 중첩하여 실사 이미지에서 분할 이미지의 객체를 설정하고, 실사 이미지의 객체 영역에서 윤곽선을 인식하며, 윤곽선 영역내에 사람에 해당하는 특징점이 존재하는 경우 해당 객체가 체온 측정 대상 객체인 것으로 결정하는 측정대상 결정모듈 및, 열화상 이미지에서 체온 측정 대상 객체 영역내 최고 온도를 해당 대상 객체에 대한 체온으로 설정하고, 실사 이미지 또는 열화상 이미지상에 체온 정보가 해당 대상 객체 영역에 추가적으로 표현된 표시영상을 생성하는 표시영상 생성모듈을 포함하여 구성되며,
    상기 장치들은 사용자의 두부에 착용가능한 고글 형태의 착용장치에 배치되되, 착용장치는 상기 디스플레이를 사용자의 눈 영역에 배치시키기 위한 프레임으로 이루어지고, 상기 가시광 카메라와 열화상 카메라는 착용장치가 착용된 상태에서 사용자의 두부 전면측에 위치하도록 배치되는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치.
  2. 착용시 사용자의 눈 영역에 디스플레이를 배치시키기 위해 사용자의 두부에 착용가능한 고글 형태로 이루어지고, 사용자의 가시 영역에 대한 RGB 형태의 실사 영상을 획득하는 가시광 카메라와, 사용자의 가시 영역에 대한 열화상 영상을 획득하는 열화상 카메라, 사용자 시야영역에 대한 표시영상을 출력하는 디스플레이 및, 제어장치와 통신하기 위한 제1 통신부를 포함하여 구성되되, 상기 가시광 카메라와 열화상 카메라는 착용시 사용자의 두부 전면측에 위치하도록 배치되는 착용장치와,
    상기 착용장치와 통신하기 위한 제2 통신부와, 상기 착용장치로부터 수집된 동일한 사용자 가시영역에 대한 실사 영상과 열화상 영상을 이용하여 사용자 시야영역 촬영영상에 포함된 사람의 체온정보가 추가적으로 형태로 표현되는 표시영상을 생성하고 이를 착용장치로 전송하여 디스플레이를 통해 표시출력하도록 제어하는 제어부를 포함하여 구성되는 처리장치로 이루어지고,
    상기 제어부는 열화상 영상에서 이미지 분할 알고리즘을 이용하여 고온을 포함하는 객체와 배경을 분리하고, 이에 대응되는 분할 이미지를 생성하는 영역 분리모듈과, 영역 분리모듈에서 생성된 분할 이미지와 실사 이미지를 이용하여 고온을 포함하는 객체 중 체온 측정 대상을 결정하되, 실사 이미지와 분할 이미지를 중첩하여 실사 이미지에서 분할 이미지의 객체를 설정하고, 실사 이미지의 객체 영역에서 윤곽선을 인식하며, 윤곽선 영역내에 사람에 해당하는 특징점이 존재하는 경우 해당 객체가 체온 측정 대상 객체인 것으로 결정하는 측정대상 결정모듈 및, 열화상 이미지에서 체온 측정 대상 객체 영역내 최고 온도를 해당 대상 객체에 대한 체온으로 설정하고, 실사 이미지 또는 열화상 이미지상에 체온 정보가 해당 대상 객체 영역에 추가적으로 표현된 표시영상을 생성하는 표시영상 생성모듈을 포함하여 구성되는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 프레임의 외측에는 주변 온도를 측정하기 위한 온도 센서를 추가로 구비하여 구성되고,
    상기 표시영상 생성모듈은 온도 센서를 통해 측정된 현재 온도값을 기반으로 열화상 영상에 대한 기준 화상값을 보정한 후 대상 객체에 대한 최고 온도를 추출하되, 열화상 영상에서 촬영 지점과 가장 근접한 위치의 배경 영역에 대한 화상값을 주변 온도값으로 설정하여 해당 열화상 영상에 대한 기준 화상값을 보정하는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치.
  5. 제1항 또는 제2항에 있어서,
    상기 표시영상의 종류를 선택하기 위한 조작부를 추가로 포함하여 구성되고,
    상기 표시영상 생성모듈은 상기 조작부의 선택에 따라 실사 이미지상에 체온 정보가 증강현실(AR) 형태로 표현된 표시영상을 생성하거나 또는 열화상 이미지상에 체온 정보가 증강현실(AR) 형태로 표현된 표시영상을 생성하는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치.
  6. 제1항 또는 제2항에 있어서,
    상기 표시영상 출력 여부를 선택하기 위한 조작부를 추가로 포함하여 구성되고,
    상기 디스플레이는 투명재질로 구성되어,
    상기 제어부는 상기 조작부의 선택에 따라 표시영상을 디스플레이로 출력하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치.
  7. 제1항 또는 제2항에 있어서,
    외부 서버와 통신하기 위한 통신부를 추가로 구비하여 구성되고,
    상기 제어부는 상기 표시영상을 상기 통신부를 통해 서버로 실시간 전송하도록 구성되는 것을 특징으로 하는 헤드 마운트 디스플레이 타입의 체온 측정장치.
KR1020200024073A 2020-02-27 2020-02-27 헤드 마운트 디스플레이 타입의 체온 측정장치 KR102144483B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200024073A KR102144483B1 (ko) 2020-02-27 2020-02-27 헤드 마운트 디스플레이 타입의 체온 측정장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200024073A KR102144483B1 (ko) 2020-02-27 2020-02-27 헤드 마운트 디스플레이 타입의 체온 측정장치

Publications (1)

Publication Number Publication Date
KR102144483B1 true KR102144483B1 (ko) 2020-08-13

Family

ID=72043564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200024073A KR102144483B1 (ko) 2020-02-27 2020-02-27 헤드 마운트 디스플레이 타입의 체온 측정장치

Country Status (1)

Country Link
KR (1) KR102144483B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220045433A (ko) 2020-10-05 2022-04-12 한국광기술원 착용이 가능한 체온 측정 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088135A (ko) * 2010-01-28 2011-08-03 강양구 소방 헬멧
KR101729327B1 (ko) * 2015-11-10 2017-04-21 홍미선 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
JP2017519999A (ja) * 2014-04-22 2017-07-20 アルブーゾフ, イワンARBOUZOV, Ivan 頭部搭載型スマートデバイス用熱画像形成アクセサリ
KR101978264B1 (ko) 2019-01-24 2019-08-23 (주)아이피캠프 비접촉식 체온 모니터링 시스템
KR20190110476A (ko) 2018-03-20 2019-09-30 조용호 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088135A (ko) * 2010-01-28 2011-08-03 강양구 소방 헬멧
JP2017519999A (ja) * 2014-04-22 2017-07-20 アルブーゾフ, イワンARBOUZOV, Ivan 頭部搭載型スマートデバイス用熱画像形成アクセサリ
KR101729327B1 (ko) * 2015-11-10 2017-04-21 홍미선 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
KR20190110476A (ko) 2018-03-20 2019-09-30 조용호 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법
KR101978264B1 (ko) 2019-01-24 2019-08-23 (주)아이피캠프 비접촉식 체온 모니터링 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220045433A (ko) 2020-10-05 2022-04-12 한국광기술원 착용이 가능한 체온 측정 장치

Similar Documents

Publication Publication Date Title
US10874284B2 (en) Display control device, display device, surgical endoscopic system and display control system
JP6693507B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
US10206568B2 (en) Head mountable device for measuring eye movement
US10474411B2 (en) System and method for alerting VR headset user to real-world objects
CN105433900A (zh) 用于测量眼球运动的可头戴设备
US11911853B2 (en) Welding information providing apparatus with function of sensing environment
GB2590135A (en) Welding information providing device
KR102144483B1 (ko) 헤드 마운트 디스플레이 타입의 체온 측정장치
KR20210034408A (ko) 용접 정보 제공 장치
WO2022050668A1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
KR102254174B1 (ko) 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치
JP6589855B2 (ja) 頭部装着ディスプレイ、制御装置および制御方法
JP6575593B2 (ja) 暗視装置、暗視方法およびプログラム
KR102494142B1 (ko) 고화질 영상을 제공하는 용접 가이딩 시스템
WO2022050742A1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
JP2020135306A (ja) 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
KR20180116044A (ko) 증강현실용 디바이스와 그 증강현실 출력 방법
US11200713B2 (en) Systems and methods for enhancing vision
WO2020170758A1 (ja) 認識装置、ウェアラブル文字認識デバイス、認識方法および認識プログラム
JP6617766B2 (ja) 医療用観察システム、表示制御システムおよび表示制御装置
CN112581920A (zh) 显示系统、显示控制方法以及记录介质
KR102160207B1 (ko) 고화질 영상을 제공하는 용접 가이딩 시스템
KR102173732B1 (ko) 헤드 마운티드 디스플레이를 이용한 원격 카메라 제어 장치
US20220236798A1 (en) Display method, display device, and program
EP2946720A1 (en) Head mountable device for measuring eye movement

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant