KR102247752B1 - 레이더 및 열화상 카메라를 이용한 게이트 장치 - Google Patents

레이더 및 열화상 카메라를 이용한 게이트 장치 Download PDF

Info

Publication number
KR102247752B1
KR102247752B1 KR1020200142911A KR20200142911A KR102247752B1 KR 102247752 B1 KR102247752 B1 KR 102247752B1 KR 1020200142911 A KR1020200142911 A KR 1020200142911A KR 20200142911 A KR20200142911 A KR 20200142911A KR 102247752 B1 KR102247752 B1 KR 102247752B1
Authority
KR
South Korea
Prior art keywords
information
face
status information
image
data
Prior art date
Application number
KR1020200142911A
Other languages
English (en)
Inventor
박훈웅
Original Assignee
주식회사 피플멀티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피플멀티 filed Critical 주식회사 피플멀티
Priority to KR1020200142911A priority Critical patent/KR102247752B1/ko
Application granted granted Critical
Publication of KR102247752B1 publication Critical patent/KR102247752B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/282—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/288—Coherent receivers
    • G01S7/2883—Coherent receivers using FFT processing
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Pulmonology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 레이더 및 열화상 카메라를 이용한 게이트 장치에 관한 것으로, 건물 또는 공항 시설의 입구 또는 출구에 설치되며, 적어도 하나의 통행자가 통과할 수 있도록 구비된 출입구 게이트모듈과, 출입구 게이트모듈의 입구 또는 출구 측에 설치되며, 레이더를 이용하여 출입구 게이트모듈의 입구 또는 출구 측에 존재하는 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 비접촉식으로 검출하는 통행자 심박/호흡측정모듈과, 출입구 게이트모듈의 입구 또는 출구 측에 설치되며, 열화상 카메라를 통해 상기 출입구 게이트모듈의 입구 또는 출구 주변의 온도 데이터를 획득하여 해당 각 통행자의 측정온도 데이터를 추출하는 통행자 온도측정모듈과, 해당 각 통행자의 심박/호흡 상태 및 피부온도 상태 정보를 시각적으로 표시하는 디스플레이 모듈과, 통행자 심박/호흡측정모듈로부터 측정된 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 제공받아 이를 기반으로 해당 각 통행자의 가슴 변위에 대한 변화를 검출하고, 검출된 해당 각 통행자의 가슴 변위에 따라 해당 각 통행자의 심박수, 과호흡 또는 빈호흡을 분석한 후, 사용자가 분석된 해당 각 통행자의 심박수, 과호흡 또는 빈호흡 상태정보를 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 디스플레이 모듈의 동작을 제어하며, 통행자 온도측정모듈로부터 추출된 해당 각 통행자의 측정온도 데이터를 제공받아 이를 기반으로 기 설정된 온도추출시간동안 추출된 사람 영역의 측정온도 데이터 패턴을 분석하여 해당 각 통행자의 피부온도 상태정보를 획득한 후, 획득된 해당 각 통행자의 피부온도 상태정보를 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 디스플레이 모듈의 동작을 제어하는 게이트 제어모듈을 포함함으로써, 건물 또는 공항 시설 등의 입구 및/또는 출구에 설치된 출입구 게이트에 존재하는 통행자의 심박수, 과호흡, 빈호흡 등의 상태정보와 함께 피부온도 상태정보를 효율적으로 관찰할 수 있는 효과가 있다.

Description

레이더 및 열화상 카메라를 이용한 게이트 장치{GATE APPARATUS USING RADAR AND THERMO-GRAPHIC CAMERA}
본 발명은 레이더 및 열화상 카메라를 이용한 게이트 장치에 관한 것에 관한 것이다.
일반적으로, 전염성 질병을 가진 환자 또는 감염자가 사람들이 많이 모이는 공공장소나 대형 건축물에서 자유롭게 통행을 하게 되면, 해당 질병을 다른 사람에게 전염시킬 수 있고, 특히, 광범위하게 질병을 퍼뜨릴 수 있다. 따라서, 이러한 감염자들은 조기에 대중과 격리 조취를 취하여, 여러 사람에게 전염될 가능성을 차단시켜야 한다.
최근에는 호흡기성 전염병이 새롭게 발생하여, 광범위하게 사람들에게 감염시킬 수 있는 위험 상황들이 자주 발생된다. 예를 들어, 사스(SARS, 중증 급성 호흡기 증후군), 신종플루, 에볼라, 메르스, 코로나19(COVID-19) 등 신종 전염병들이 자주 발생하고 있다.
그러나, 이러한 전염병들은 감기 등 통상의 질병과 유사한 증상을 나타내기 때문에, 감염자 자신도 전염성 질병이 확진되기 전까지는 감염 사실 자체를 알기 어렵다. 따라서, 사람들이 많이 모이는 공공장소 등에서 이러한 감염자들이 통행하는지를 신속하게 확인하여 추가적인 검사나 격리조치를 취할 필요가 있다.
대부분 이러한 전염성 질병들은 열을 동반하게 되어, 심한 열을 가진 사람들은 1차적으로 해당 질병 의심자로 판단할 수 있고, 정밀 검사를 통해 감염 여부를 판단할 수 있다. 즉, 체온을 측정하여 1차적인 발열의심자를 판단할 수 있다.
체온은 신체 내부의 온도를 말한다. 체온은 신체의 부위에 따라 매우 차이가 있지만, 인간의 정상 체온은 겨드랑이 온도로 36.9℃라고 하며, 소아는 성인보다 약간 높고, 노인은 낮은 경향이 있다. 체온의 고온 상태는 저온 상태보다 심각한 상황을 야기한다.
체온은 성인의 경우 약 37℃가 정상체온이나, 약 41℃에서는 경련과 고통을 유발하며, 43.3℃는 생명 유지의 최대 한계점이다. 또한, 체온 27℃이하에서도 생명을 유지할 수 없다.
가장 정확하게 체온을 측정하는 방법은 항문에서 약 6cm 이상 들어간 곳에서 측정한 직장의 온도를 측정하는 것이다. 그러나, 측정 방법이 너무 복잡하기 때문에, 일반적으로 귀속 온도를 측정한다. 그러나, 공항 등 공공장소에서는 불특정 다수의 사람들이 통해하기 때문에, 모든 통행자들을 대상으로 일일이 귀속 온도를 측정하여 체온을 검사하기 위해서는 많은 인력이 소요되고, 통행자들에게 불편함을 초래한다는 문제점이 있다.
한편, 호흡수와 같은 생체신호는 인체의 건강상태, 이상 유/무를 가장 간편하게 진단할 수 있는 요소 중 하나이다. 즉, 병원에서 입원 또는 수술하고 있는 환자뿐만 아니라, 병원 밖에서 생활을 하는 사람들의 호흡 상태를 체크할 필요가 있는 경우가 많다. 예를 들어, 현재 코로나19(COVID-19) 등과 같은 호흡기성 전염병은 발열과 함께 호흡 패턴이 불안정한 상태를 보이고 있어 이를 측정할 필요가 있다.
그러나, 종래에는 병원 내에 마련되어 있는 것과 같은 호흡 측정 장비 없이 사용자의 호흡수 및 호흡량을 정확히 측정하여 데이터를 획득하고, 획득한 데이터를 외부의 측정자에게 정확히 전달하는 데에는 어려움이 있었다.
특히, 단순 센서 등을 몸에 부착하여 그 센서로부터 획득된 1차 신호를 이용하여 호흡수를 측정하는 종래의 방법은 그 정확도에 있어서 병원 장비를 통해 호흡수를 측정하는 방법에 비해 많이 부족한 상태이다.
이러한 문제점을 해결하기 위하여, 국내 등록특허 제10-1654914호(호흡 측정 장치 및 그를 이용한 호흡 측정 방법)에서는, 사용자의 몸에 부착 가능한 패드와, 상기 패드에 설치되고, 상기 사용자의 호흡에 의한 상기 사용자의 몸의 움직임에 따라 발생하는 신호를 측정하는 3개 이상의 센서와, 상기 3개 이상의 센서 중 적어도 2개 이상의 센서에서 측정된 신호를 이용하여 상기 사용자의 호흡수를 측정하는 판단부를 포함하되, 상기 센서는 제1 센서 및 제2 센서를 포함하고, 상기 판단부는 상기 제1 센서에 의해 측정된 제1 신호와 상기 제2 센서에 의해 측정된 제2 신호를 비교하고, 미리 설정된 범위의 시간차 내에 상기 제1 신호와 상기 제2 신호의 피크값이 나타나는 횟수를 카운트하여 상기 호흡수로 카운트함으로써, 정확하게 사용자의 호흡수를 간편하고 정확하게 측정할 수 있는 호흡 측정 장치를 개시하고 있다.
이러한 종래 기술에서는 병원 밖의 일상생활 중의 사용자의 호흡 데이터를 병원 등의 시스템으로 전송하여 원격으로 사용자의 건강상태를 실시간으로 체크할 수 있으며, 사용자에게 산소마스크 등의 장비를 부착하지 않고 사용자의 호흡수를 측정하여, 수술 및 다양한 치료와 병행하면서 환자의 호흡 상태를 실시간으로 모니터링할 수 있는 장점이 있다.
하지만, 종래 기술의 호흡 측정 장치 및 호흡 측정 방법에서는 사용자의 몸에 부착하는 접촉식 장치로서, 사용자가 착용하지 않으면 호흡을 측정할 수 없다는 한계점을 안고 있다.
국내 등록특허 제10-1420200호(2014.07.21. 공고) 국내 등록특허 제10-1654914호(2016.10.10. 공고) 국내 공개특허 제10-2006-0005092호(2006.01.17. 공개)
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 건물 또는 공항 시설 등의 입구 및/또는 출구에 설치된 출입구 게이트에 존재하는 통행자들에 대해서 레이더를 이용하여 비접촉식으로 심박 및/또는 호흡 상태를 측정함과 동시에 열화상 카메라를 이용하여 피부온도 상태를 측정함으로써, 각 통행자의 심박수, 과호흡, 빈호흡 등의 상태정보와 함께 피부온도 상태정보를 효율적으로 관찰할 수 있도록 한 레이더 및 열화상 카메라를 이용한 게이트 장치를 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 일 측면은, 건물 또는 공항 시설의 입구 또는 출구에 설치되며, 적어도 하나의 통행자가 통과할 수 있도록 구비된 출입구 게이트모듈; 상기 출입구 게이트모듈의 입구 또는 출구 측에 설치되며, 레이더를 이용하여 상기 출입구 게이트모듈의 입구 또는 출구 측에 존재하는 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 비접촉식으로 검출하는 통행자 심박/호흡측정모듈; 상기 출입구 게이트모듈의 입구 또는 출구 측에 설치되며, 열화상 카메라를 통해 상기 출입구 게이트모듈의 입구 또는 출구 주변의 온도 데이터를 획득하여 해당 각 통행자의 측정온도 데이터를 추출하는 통행자 온도측정모듈; 해당 각 통행자의 심박/호흡 상태 및 피부온도 상태 정보를 시각적으로 표시하는 디스플레이 모듈; 및 상기 통행자 심박/호흡측정모듈로부터 측정된 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 제공받아 이를 기반으로 해당 각 통행자의 가슴 변위에 대한 변화를 검출하고, 상기 검출된 해당 각 통행자의 가슴 변위에 따라 해당 각 통행자의 심박수, 과호흡 또는 빈호흡을 분석한 후, 사용자가 상기 분석된 해당 각 통행자의 심박수, 과호흡 또는 빈호흡 상태정보를 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어하며, 상기 통행자 온도측정모듈로부터 추출된 해당 각 통행자의 측정온도 데이터를 제공받아 이를 기반으로 기 설정된 온도추출시간동안 추출된 사람 영역의 측정온도 데이터 패턴을 분석하여 해당 각 통행자의 피부온도 상태정보를 획득한 후, 상기 획득된 해당 각 통행자의 피부온도 상태정보를 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어하는 게이트 제어모듈을 포함하는 레이더 및 열화상 카메라를 이용한 게이트 장치를 제공하는 것이다.
여기서, 상기 통행자 심박/호흡측정모듈은, 상기 출입구 게이트모듈의 입구 또는 출구에 존재하는 해당 각 통행자에 대하여 레이더 펄스(Radar Pulse)를 갖는 제1 신호를 송신하는 레이더 송신부; 상기 레이더 송신부로부터 송신된 제1 신호가 해당 각 통행자로부터 반사되고, 상기 제1 신호와 관련된 제2 신호를 수신하는 레이더 수신부; 및 상기 레이더 송신부 및 상기 레이더 수신부로부터 송수신된 제1 및 제2 신호를 기반으로 해당 각 통행자의 호흡 및 심박에 대한 움직임 정보를 포함하는 주파수를 추출하고, 상기 추출된 주파수의 위상 변화에 따라 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 처리하는 신호처리부를 포함하여 이루어짐이 바람직하다.
바람직하게, 상기 신호처리부는, 고속푸리에변환(Fast Fourier Transform, FFT)을 통해 반사 전자파인 제2 신호의 데이터를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역 중 기 설정된 주파수 범위 내에 해당하는 주파수 영역에서 주파수의 피크 값을 검출하며, 상기 검출된 주파수의 피크 값을 이용하여 시간에 따른 주파수의 위상 값을 획득할 수 있다.
바람직하게, 상기 신호처리부는, 상기 레이더 송신부로부터 송신된 제1 신호의 전자파가 반사되어 돌아올 때, 상기 레이더 수신부를 통해 반사되어 돌아오는 복수의 반사 전자파인 제2 신호에 대한 데이터를 수집하고, 상기 수집된 복수의 반사 전자파인 제2 신호 중 동일한 주파수대의 데이터만 획득할 수 있다.
바람직하게, 상기 신호처리부는, 상기 획득된 동일한 주파수대의 데이터를 고속푸리에변환(FFT)을 통해 주파수 영역으로 변환하고, 상기 변환된 주파수 영역 중 호흡수 및 심박수와 관련된 주파수를 추출할 수 있다.
바람직하게, 상기 신호처리부는, 상기 변환된 주파수 영역을 시간 영역으로 변환하여 피크값을 검출하고, 상기 검출된 피크값 간의 거리를 측정하여 해당 각 통행자의 심박에 관한 상관 계수를 산출할 수 있다.
바람직하게, 상기 신호처리부는, 상기 추출된 주파수에 대하여 연속값 사이의 위상차가 ±π보다 크거나 작은 경우, 위상에서 2π을 더하거나 차감하여 위상 언래핑(Phase Unwrapping) 작업을 처리할 수 있다.
바람직하게, 상기 신호처리부는, 상기 위상 언래핑 처리된 위상에 대해 연속 위상값을 빼는 위상 차(Phase Difference) 작업을 처리할 수 있다.
바람직하게, 상기 신호처리부는, 상기 위상 언래핑 및 위상 차 처리된 주파수에 대하여 스팩트럼 추정을 실시하여 해당 각 통행자의 호흡수 및 심박수를 결정할 수 있다.
바람직하게, 상기 신호처리부는, 상기 추출된 호흡수와 관련된 주파수를 이용하여 주파수 피크에 대한 호흡수의 상관 관계식을 생성하고, 상기 추출된 호흡수와 관련된 주파수에서 기 설정된 호흡수 주파수 영역에 포함된 주파수의 데이터에 기초하여 해당 각 통행자의 호흡수를 결정할 수 있다.
바람직하게, 상기 신호처리부는, 상기 추출된 심박수와 관련된 주파수를 이용하여 주파수 피크에 대한 심박수의 상관 관계식을 생성하고, 상기 추출된 심박수와 관련된 주파수에서 기 설정된 심박수 주파수 영역에 포함된 주파수의 데이터에 기초하여 해당 각 통행자의 심박수를 결정할 수 있다.
바람직하게, 상기 통행자 심박/호흡측정모듈은, 상기 레이더 송신부에 구비된 복수의 송신 안테나마다 기 설정된 각도로 위상 변화를 줄 수 있는 빔스티어링(Beam Steering) 기술을 이용하여 복수의 통행자를 추적하는 통행자 추적부가 더 포함될 수 있다.
바람직하게, 상기 신호처리부는, 상기 통행자 추적부로부터 추적된 해당 각 통행자의 호흡 및 심박에 대한 움직임 정보를 포함하는 주파수를 추출하고, 상기 추출된 주파수의 위상 변화에 따라 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 처리할 수 있다.
바람직하게, 상기 게이트 제어모듈은, 상기 통행자 심박/호흡측정모듈로부터 측정된 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 제공받아 이를 기반으로 해당 각 통행자의 가슴 변위에 대한 변화를 검출하는 가슴변위 검출부; 상기 가슴변위 검출부로부터 검출된 해당 각 통행자의 가슴 변위에 대한 변화에 따라 해당 각 통행자의 심박수, 과호흡 또는 빈호흡 상태를 분석하여 해당 각 통행자의 심박/호흡 상태정보를 획득하는 심박/호흡상태 획득부; 상기 통행자 온도측정모듈로부터 추출된 해당 각 통행자의 측정온도 데이터를 제공받아 이를 기반으로 기 설정된 온도추출시간동안 추출된 사람 영역의 측정온도 데이터 패턴을 분석하여 해당 각 통행자의 피부온도 상태정보를 획득하는 피부온도상태 획득부; 및 상기 심박/호흡상태 획득부로부터 획득된 해당 각 통행자의 심박/호흡 상태정보 및 상기 피부온도상태 획득부로부터 획득된 해당 각 통행자의 피부온도 상태정보를 사용자가 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어하는 게이트 제어부를 포함하여 이루어질 수 있다.
바람직하게, 상기 게이트 제어모듈은, 상기 가슴변위 검출부로부터 검출된 해당 각 통행자의 가슴 변위에 대한 변화를 바탕으로 호흡 과정에서 들이쉬는 들숨이나 내쉬는 날숨의 주기와 함께 호흡간 간격을 획득하여 해당 각 통행자에 대한 호흡의 질 상태정보를 분석하는 호흡질 분석부가 더 포함될 수 있다.
바람직하게, 상기 게이트 제어부는, 상기 호흡질 분석부로부터 분석된 해당 각 통행자에 대한 호흡의 질 상태정보를 사용자가 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어할 수 있다.
바람직하게, 상기 게이트 제어모듈은, 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡 또는 빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및 해당 각 통행자의 피부온도 상태정보 중 적어도 하나의 상태정보를 저장하는 저장부가 더 포함될 수 있다.
바람직하게, 상기 게이트 제어부는, 상기 검출된 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡 또는 빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및 해당 각 통행자의 피부온도 상태정보 중 적어도 하나의 상태정보를 제공받아 이를 기반으로 해당 각 통행자별로 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡 또는 빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및 피부온도 상태정보 중 적어도 하나의 상태정보를 데이터베이스(DB)화하여 상기 저장부에 저장되도록 제어할 수 있다.
바람직하게, 상기 게이트 제어부는, 상기 검출된 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡 또는 빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및 해당 각 통행자의 피부온도 상태정보 중 적어도 하나의 상태정보를 제공받아 사용자가 해당 각 통행자별 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡 또는 빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및 피부온도 상태정보 중 적어도 하나의 상태정보를 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어할 수 있다.
바람직하게, 상기 게이트 제어모듈은, 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡 또는 빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및 해당 각 통행자의 피부온도 상태정보 중 적어도 하나의 상태정보를 유선 또는 무선 통신방식으로 전송하는 통신부가 더 포함될 수 있다.
바람직하게, 상기 게이트 제어부는, 상기 검출된 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡 또는 빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및 해당 각 통행자의 피부온도 상태정보 중 적어도 하나의 상태정보를 제공받아 이를 기반으로 해당 각 통행자별 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡 또는 빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및 피부온도 상태정보 중 적어도 하나의 상태정보를 유선 또는 무선 통신방식으로 외부의 단말 또는 서버에 전송되도록 상기 통신부의 동작을 제어할 수 있다.
바람직하게, 상기 외부의 단말 또는 서버는, 미리 설치된 통행자 상태측정관련 어플리케이션을 통해 상기 통신부로부터 전송된 해당 각 통행자별 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡 또는 빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및 피부온도 상태정보 중 적어도 하나의 상태정보를 제공받아 이를 기반으로 사용자의 요구에 따라 선, 원형 및 막대그래프 중 적어도 하나의 그래프를 이용하여 시간별/일별/요일별/주별/월별로 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡 또는 빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및 피부온도 상테정보 중 적어도 하나의 상태정보를 디스플레이 화면에 표시되도록 서비스를 제공할 수 있다.
바람직하게, 상기 출입구 게이트모듈의 입구 또는 출구 측에 설치되며, 실화상 카메라를 통해 상기 출입구 게이트모듈의 입구 또는 출구 주변에 대한 영상 데이터를 획득하는 영상획득모듈; 및 상기 영상획득모듈로부터 획득된 영상 데이터와 상기 통행자 온도측정모듈로부터 추출된 측정온도 데이터를 제공받아 이를 기반으로 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출 및 전송하는 발열감지모듈이 더 포함될 수 있다.
바람직하게, 상기 게이트 제어모듈은, 상기 발열감지모듈로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 제공받아 이를 기반으로 영상 압축데이터를 원래의 영상으로 복원하고, 얼굴감지 위치 및 크기 정보에 따른 복원된 영상에서 얼굴 이미지를 획득하며, 상기 획득된 얼굴 이미지에서 추출된 참조 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 미리 저장된 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 추출하며, 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력되도록 상기 디스플레이 모듈의 동작을 제어할 수 있다.
바람직하게, 상기 발열감지모듈은, 상기 영상획득모듈로부터 획득된 영상 데이터를 압축하여 영상 압축데이터를 출력하는 영상압축부; 상기 영상획득모듈로부터 획득된 영상 데이터와 상기 통행자 온도측정모듈로부터 추출된 측정온도 데이터를 각각 제공받아 인공지능 기계학습 기반의 영상 및 데이터 처리를 통해 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출하는 발열감지부; 및 상기 영상압축부로부터 출력된 영상 압축데이터를 비롯하여 상기 발열감지부로부터 추출된 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 상기 게이트 제어부로 전송하는 데이터 처리부를 포함하여 이루어질 수 있다.
바람직하게, 상기 게이트 제어모듈은, 상기 발열감지모듈로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 수신 받는 데이터 수신부; 상기 데이터 수신부로부터 수신된 영상 압축데이터를 원래의 영상으로 복원하는 실화상 복원부; 상기 데이터 수신부로부터 수신된 얼굴감지 위치 및 크기 정보에 따라 상기 실화상 복원부로부터 복원된 영상에서 얼굴 이미지를 획득하는 얼굴감지 처리부; 얼굴영상 특징별로 얼굴 분류 및 얼굴 ID 정보를 데이터베이스(DB)화하여 저장 및 관리하는 얼굴정보 저장부; 상기 얼굴감지 처리부로부터 획득된 얼굴 이미지를 제공받아 인공지능 기계학습 기반의 영상 및 데이터 처리를 통해 획득된 얼굴 이미지에서 참조 정보를 추출하고, 상기 추출된 참조 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 상기 얼굴정보 저장부를 통해 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 검색 및 추출하는 얼굴인식 처리부; 상기 실화상 복원부로부터 복원된 영상에 상기 얼굴인식 처리부로부터 추출된 얼굴 ID 정보 및 해당 얼굴감지 위치에 대한 온도 정보를 합성하는 영상합성부; 및 상기 영상합성부로부터 합성된 영상 데이터가 사용자에 의해 시각적으로 볼 수 있도록 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어하는 게이트 제어부를 포함하여 이루어질 수 있다.
바람직하게, 상기 게이트 제어모듈은, 상기 게이트 제어부의 제어에 따라 상기 데이터 수신부로부터 수신된 영상 압축데이터, 얼굴감지 위치 및 크기 정보와 함께 해당 얼굴감지 위치에 대한 온도 정보, 상기 얼굴인식 처리부로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및 상기 영상합성부로부터 합성된 영상 정보 중 적어도 하나의 정보를 데이터베이스(DB)화하여 저장 및 관리하는 데이터 저장부가 더 포함될 수 있다.
바람직하게, 상기 게이트 제어모듈은, 상기 게이트 제어부의 제어에 따라 상기 데이터 수신부로부터 수신된 영상 압축데이터, 상기 얼굴인식 처리부로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및 상기 영상합성부로부터 합성된 영상 정보 중 적어도 하나의 정보를 통신망을 통해 외부의 단말 또는 서버로 전송하는 통신부가 더 포함될 수 있다.
바람직하게, 상기 통신부는, 상기 얼굴인식 처리부를 통해 별도의 얼굴정보 저장부에서 상기 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보가 존재하지 않을 경우, 상기 게이트 제어부의 제어에 따라 상기 얼굴인식 처리부로부터 상기 얼굴정보 저장부에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 상기 통신망을 통해 상기 외부의 단말 또는 서버로 전송할 수 있다.
바람직하게, 상기 외부의 단말 또는 서버는, 상기 통신부를 통해 상기 얼굴인식 처리부로부터 상기 얼굴정보 저장부에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 이를 기반으로 별도의 얼굴분류 DB를 통해 상기 얼굴정보 저장부에 존재하지 않는 얼굴 분류에 대한 얼굴 ID 정보를 추출하며, 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력할 수 있다.
바람직하게, 상기 외부의 단말 또는 서버는, 별도의 사용자 입력모듈을 통해 입력된 얼굴 ID 정보 및 온도 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색 및 해당 온도에 대응되는 복원된 영상의 검색 또는 재생이 가능하도록 서비스를 제공할 수 있다.
바람직하게, 상기 게이트 제어부는, 별도의 사용자 입력부를 통해 입력된 얼굴 ID 정보 및 온도 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색 및 해당 온도에 대응되는 복원된 영상의 검색 또는 재생이 가능하도록 제어할 수 있다.
이상에서 설명한 바와 같은 본 발명의 레이더 및 열화상 카메라를 이용한 게이트 장치에 따르면, 건물 또는 공항 시설 등의 입구 및/또는 출구에 설치된 출입구 게이트에 존재하는 통행자들에 대해서 레이더를 이용하여 비접촉식으로 심박 및/또는 호흡 상태를 측정함과 동시에 열화상 카메라를 이용하여 피부온도 상태를 측정함으로써, 각 통행자의 심박수, 과호흡, 빈호흡 등의 상태정보와 함께 피부온도 상태정보를 효율적으로 관찰할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 레이더 및 열화상 카메라를 이용한 게이트 장치를 설명하기 위한 전체적인 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 적용된 출입구 게이트모듈을 설명하기 위한 사시도이다.
도 3은 본 발명의 일 실시예에 적용된 통행자 심박/호흡측정모듈을 설명하기 위한 구체적인 블록 구성도이다.
도 4는 본 발명의 일 실시예에 적용된 게이트 제어모듈을 설명하기 위한 구체적인 블록 구성도이다.
도 5는 본 발명의 일 실시예에 적용된 발열감지모듈을 설명하기 위한 구체적인 블록 구성도이다.
도 6은 본 발명의 일 실시예에 적용된 외부의 단말을 설명하기 위한 구체적인 블록 구성도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
도 1은 본 발명의 일 실시예에 따른 레이더 및 열화상 카메라를 이용한 게이트 장치를 설명하기 위한 전체적인 블록 구성도이고, 도 2는 본 발명의 일 실시예에 적용된 출입구 게이트모듈을 설명하기 위한 사시도이며, 도 3은 본 발명의 일 실시예에 적용된 통행자 심박/호흡측정모듈을 설명하기 위한 구체적인 블록 구성도이며, 도 4는 본 발명의 일 실시예에 적용된 게이트 제어모듈을 설명하기 위한 구체적인 블록 구성도이며, 도 5는 본 발명의 일 실시예에 적용된 발열감지모듈을 설명하기 위한 구체적인 블록 구성도이며, 도 6은 본 발명의 일 실시예에 적용된 외부의 단말을 설명하기 위한 구체적인 블록 구성도이다.
도 1 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 레이더 및 열화상 카메라를 이용한 게이트 장치는, 크게 출입구 게이트모듈(100), 통행자 심박/호흡측정모듈(200), 통행자 온도측정모듈(300), 디스플레이 모듈(400), 게이트 제어모듈(500), 및 전원공급모듈(600) 등을 포함하여 이루어진다. 또한, 본 발명의 일 실시예에 따른 레이더 및 열화상 카메라를 이용한 게이트 장치는 영상획득모듈(700), 발열감지모듈(800), 및/또는 외부의 단말(20) 등을 더 포함할 수 있다. 한편, 도 1 내지 도 6에 도시된 구성요소들이 필수적인 것은 아니어서, 본 발명의 일 실시예에 따른 레이더 및 열화상 카메라를 이용한 게이트 장치는 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다.
이하, 본 발명의 일 실시예에 따른 레이더 및 열화상 카메라를 이용한 게이트 장치의 구성요소들에 대해 구체적으로 살펴보면 다음과 같다.
출입구 게이트모듈(100)은 건물 및/또는 공항 시설 등의 입구 및/또는 출구에 설치되어 있으며, 적어도 하나의 통행자가 통과할 수 있도록 구비되어 있다.
이러한 출입구 게이트모듈(100)은 도 2에 도시된 바와 같이, 사람들이 통행할 수 있도록 일정 높이의 아치 형태로 형성되어 이루어짐이 바람직하지만, 이에 국한하지 않으며, 예컨대, 좌우로 열리는 자동문, 회전문, 또는 배리어(barrier) 등 다양한 종류의 출입구 게이트로 구현될 수 있다. 또한, 출입구 게이트모듈(100)은 특정의 제어신호에 의하여 게이트의 개폐가 결정되어 사람의 출입을 제한할 수 있는 출입 제한 장치를 포함할 수 있다.
통행자 심박/호흡측정모듈(200)은 출입구 게이트모듈(100)의 입구 및/또는 출구 측에 설치되어 있으며, 레이더(Radar)를 이용하여 출입구 게이트모듈(100)의 입구 및/또는 출구 측에 존재하는 해당 각 통행자의 호흡수 및/또는 심박수에 대한 생체정보와 관련된 신호를 비접촉식으로 검출하는 기능을 수행한다.
즉, 통행자 심박/호흡측정모듈(200)은 레이더(Radar) 센서를 이용하여 출입구 게이트모듈(100)을 통과하는 해당 각 통행자의 생체정보와 관련된 신호를 비접촉식으로 검출하는 장치로서, 상기 레이더 센서는 특정 방향으로 전자파를 송신하는 센서이며, 예컨대, 밀리미리파 레이더 센서(mmWave Radar Sensor)를 포함할 수 있다. 상기 밀리미리파 레이더 센서는 30GHz ~ 300GHz 사이의 주파수를 사용하는 센서이다.
상기 밀리미터파 주파수는 특정 방향으로 전자파를 집중시킬 수 있는 지향성을 갖고 있고, 이러한 지향성의 특성을 갖는 주파수로 구성된 전자파는 외부의 다른 동작에 대하여 영향을 받지 않기 때문에 다중 인체의 생체 감지가 가능할 수 있다.
예를 들면, 상기 밀리미리파 레이더 센서에서 출력된 전자파가 사람 및 사물에 의해 반사된 반사 전자파의 데이터(RSS 값)를 비교하면, 사물 및 사람 각각의 유전율에 따라 사물과 사람이 서로 다른 양의 반사 전자파의 양을 반사하는 것을 관찰할 수 있고, 출력 전자파 대비 반사 전자파에 대한 회귀 분석을 통해 전자파를 반사한 대상이 사물인지 또는 사람인지를 구별할 수 있다.
이러한 통행자 심박/호흡측정모듈(200)은 도 3에 도시된 바와 같이, 크게 레이더 송신부(210), 레이더 수신부(220), 신호처리부(230), 및 전원공급부(240) 등을 포함하여 이루어진다. 또한, 본 발명의 일 실시예에 적용된 통행자 심박/호흡측정모듈(200)은 통행자 추적부(250) 등을 더 포함할 수 있다. 한편, 도 3에 도시된 구성요소들이 필수적인 것은 아니어서, 본 발명의 일 실시예에 적용된 통행자 심박/호흡측정모듈(200)은 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다.
이하, 본 발명의 일 실시예에 적용된 통행자 심박/호흡측정모듈(200)의 구성요소들에 대해 구체적으로 살펴보면 다음과 같다.
레이더 송신부(210)는 출입구 게이트모듈(100)의 입구 및/또는 출구에 존재하는 해당 각 통행자에 대하여 레이더 펄스(Radar Pulse)를 갖는 제1 신호를 송신하는 기능을 수행한다.
즉, 레이더 송신부(210)는 출입구 게이트모듈(100)의 입구 및/또는 출구에 존재하는 각 통행자에 대하여 레이더 펄스를 갖는 제1 신호를 송신하는 것으로서, 해당 각 통행자의 감지를 위한 임펄스 신호를 외부에 방사(Radiation)하는 구성요소이며, 도면에 도시되진 않았지만, 통상적으로 임펄스 발생기(Impulse Generator), 송신 안테나(Transmit Antenna), 및 송신 제어부(Controller) 등을 포함할 수 있다.
여기서, 상기 송신 제어부는 임펄스 발생을 위한 데이터를 상기 임펄스 발생기로 제공할 수 있으며, 상기 송신 제어부의 제어에 따라서 상기 임펄스 발생기는 임펄스를 발생시킬 수 있다.
레이더 수신부(220)는 레이더 송신부(210)로부터 송신된 제1 신호가 해당 각 통행자로부터 반사되고, 상기 제1 신호와 관련된 제2 신호를 수신하는 기능을 수행한다.
이러한 레이더 수신부(220)는 도면에 도시되진 않았지만, 통상적으로 수신 안테나(Receive Antenna), 및 수신 제어부(Controller) 등을 포함할 수 있다.
여기서, 상기 수신 안테나는 레이더 송신부(210)에 의해 방사된 펄스의 반사 신호를 수신할 수 있으며, 고지향성을 가지는 초광대역 안테나가 사용될 수 있다.
상기 수신 제어부는 상기 수신 안테나에 의해 수신된 신호를 분석할 수 있다. 상기 수신 안테나를 통해 수신되는 신호는 검출 대상인 해당 각 통행자의 반사 신호뿐만 아니라 주변 사물에 의한 반사 신호도 포함하게 되며, 해당 각 통행자의 정확한 측정을 위해서는 객체 이외의 다른 신호들은 제거되어야 한다.
또한, 상기 수신 제어부에는 통상적인 구성요소들 예컨대, 증폭부, A/D변환부, D/A변환부, 샘플링부, 복조부, 필터부 등을 포함할 수 있으며, 이러한 구성요소들은 통상적인 레이더와 동일하므로, 이에 대한 구체적인 설명은 생략하기로 한다.
신호처리부(230)는 레이더 송신부(210) 및 레이더 수신부(220)로부터 송수신된 제1 및 제2 신호를 기반으로 해당 각 통해자의 호흡 및/또는 심박에 대한 움직임 정보를 포함하는 주파수를 추출하고, 상기 추출된 주파수의 위상 변화에 따라 해당 각 통행자의 호흡수 및/또는 심박수에 대한 생체정보와 관련된 신호를 처리하는 기능을 수행한다.
즉, 신호처리부(230)는 반사 전자파의 데이터로부터 주파수를 추출하고, 추출된 주파수의 위상을 전처리할 수 있다. 여기서, 상기 반사 전자파의 데이터에는 해당 각 통행자의 호흡 및/또는 심박에 대한 움직임 정보를 포함하는 주파수 영역이 포함될 수 있다. 상기 반사 전자파의 데이터로부터 추출된 주파수에는 지배적인 주파수 피크가 발생하게 되는데 해당 주파수 피크의 빈도가 해당 각 통행자의 호흡률 및/또는 심박률과 관련될 수 있다.
또한, 신호처리부(230)는 고속푸리에변환(Fast Fourier Transform, FFT)을 통해 반사 전자파인 제2 신호의 데이터를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역 중 기 설정된 주파수 범위 내에 해당하는 주파수 영역에서 주파수의 피크 값을 검출하며, 상기 검출된 주파수의 피크 값을 이용하여 시간에 따른 주파수의 위상 값을 획득하는 기능을 수행할 수 있다.
또한, 신호처리부(230)는 레이더 송신부(210)로부터 송신된 제1 신호의 전자파가 반사되어 돌아올 때, 레이더 수신부(220)를 통해 반사되어 돌아오는 복수의 반사 전자파(예컨대, 직접 들어온 반사 전자파, N회 반사된 반사 전자파 등)인 제2 신호에 대한 데이터를 수집하고, 상기 수집된 복수의 반사 전자파인 제2 신호 중 동일한 주파수대의 데이터만 획득하는 기능을 수행할 수 있다.
또한, 신호처리부(230)는 상기 획득된 동일한 주파수대의 데이터를 고속푸리에변환(FFT)을 통해 주파수 영역으로 변환하고, 상기 변환된 주파수 영역 중 호흡수 및/또는 심박수와 관련된 주파수를 추출하는 기능을 수행할 수 있다.
또한, 신호처리부(230)는 상기 변환된 주파수 영역을 시간 영역으로 변환하여 피크값을 검출하고, 상기 검출된 피크값 간의 거리를 측정하여 해당 각 통행자의 심박에 관한 상관 계수를 산출하는 기능을 수행할 수 있다.
또한, 신호처리부(230)는 상기 추출된 주파수에 대하여 연속 값 사이의 위상차가 ±π보다 크거나 작은 경우, 위상에서 2π을 더하거나 차감하여 위상 언래핑(Phase Unwrapping) 작업을 처리하는 기능을 수행할 수 있다.
즉, 신호처리부(230)는 상기 추출된 주파수에 대하여 위상 언래핑 작업을 처리할 수 있다. 예를 들면, 신호처리부(230)는 위상값이 [-π, π] 사이에 있으므로 연속값 사이의 위상차가 ±π보다 크거나 작은 경우, 위상에서 2π을 더하거나 뺌으로써 위상 언래핑을 처리할 수 있다.
또한, 신호처리부(230)는 상기 위상 언래핑 처리된 위상에 대해 연속 위상 값을 빼는 위상 차(Phase Difference) 작업을 처리하는 기능을 수행할 수 있다. 이러한 위상 차의 처리를 통해 해당 각 통행자의 심장 박동 데이터에 대한 정확성을 향상시킬 수 있고, 위상 편차를 제거하는데 도움이 될 수 있다.
또한, 신호처리부(230)는 상기 위상 언래핑 및 위상 차 처리된 주파수에 대하여 스팩트럼 추정을 실시하여 해당 각 통행자의 호흡수 및/또는 심박수를 결정하는 기능을 수행할 수 있다.
또한, 신호처리부(230)는 상기 추출된 호흡수와 관련된 주파수를 이용하여 주파수 피크에 대한 호흡수의 상관 관계식을 생성하고, 상기 추출된 호흡수와 관련된 주파수에서 기 설정된 호흡수 주파수 영역(예컨대, 0.1Hz에서 0.5Hz 사이)에 포함된 주파수의 데이터에 기초하여 해당 각 통행자의 호흡수를 결정하는 기능을 수행할 수 있다.
또한, 신호처리부(230)는 상기 추출된 심박수와 관련된 주파수를 이용하여 주파수 피크에 대한 심박수의 상관 관계식을 생성하고, 상기 추출된 심박수와 관련된 주파수에서 기 설정된 심박수 주파수 영역(예컨대, 0.8Hz에서 4.0Hz 사이)에 포함된 주파수의 데이터에 기초하여 해당 각 통행자의 심박수를 결정하는 기능을 수행할 수 있다.
또한, 신호처리부(230)는 통행자 추적부(250)로부터 추적된 해당 각 통행자의 호흡 및/또는 심박에 대한 움직임 정보를 포함하는 주파수를 추출하고, 상기 추출된 주파수의 위상 변화에 따라 해당 각 통행자의 호흡수 및/또는 심박수에 대한 생체정보와 관련된 신호를 처리하는 기능을 수행할 수 있다.
그리고, 전원공급부(240)는 전술한 각 부들 즉, 레이더 송신부(210), 레이더 수신부(220), 신호처리부(230), 및/또는 통행자 추적부(250) 등에 필요한 전원을 공급하는 기능을 수행하는 바, 계속적인 전원 공급을 위해 상용 교류(AC) 전원(예컨대, AC 220V)을 직류(DC) 및/또는 교류(AC) 전원으로 변환되도록 구현함이 바람직하지만, 이에 국한하지 않으며, 통상의 휴대용 배터리(Battery)를 포함하여 구현할 수도 있다.
또한, 전원공급부(240)에는 외부의 전원 충격으로부터 부품을 보호하고 일정한 전압을 출력하는 기능을 수행하는 전원 관리부(미도시)를 포함할 수 있다. 상기 전원 관리부는 ESD(Electro Static Damage) 보호기, 전원 감지기, 정류기 및 전원 차단기 등을 포함하여 이루어질 수 있다.
여기서, 상기 ESD 보호기는 정전기 또는 급격한 전원 충격으로부터 전장 부품을 보호하도록 구성한다. 상기 전원 감지기는 허용 전압 범위 외의 전압이 유입될 경우 상기 전원 차단기에 차단신호를 보내고, 허용 전압 범위 내에서 전압 변화에 따라 승압 또는 강압 신호를 상기 정류기에 전달하도록 구성한다. 상기 정류기는 입력 전압의 변동을 최소하여 일정한 전압이 공급되도록 상기 전원 감지기의 신호에 따라 승압 또는 강압의 정류 동작을 수행하도록 구성한다. 상기 전원 차단기는 상기 전원 감지기로부터 전달되는 차단 신호에 따라 배터리로부터 공급되는 전원을 차단하도록 구성한다.
추가적으로, 통행자 추적부(250)는 레이더 송신부(210)에 구비된 복수의 송신 안테나마다 기 설정된 각도로 위상 변화를 줄 수 있는 빔스티어링(Beam Steering) 기술을 이용하여 복수의 측정 환자를 추적하는 기능을 수행한다.
즉, 상기 빔스티어링 기술을 사용하면 송신 안테나가 예컨대, 2개지만 3명 이상도 측정할 수 있는데, 약 60GHz 파장 해상도인 5mm와 20도 단위로 설정하면 동시에 8명도 측정할 수 있다.
통행자 온도측정모듈(300)은 출입구 게이트모듈(100)의 입구 및/또는 출구 측에 설치되어 있으며, 열화상 카메라(350)를 통해 출입구 게이트모듈(100)의 입구 및/또는 출구 주변의 온도 데이터를 획득하여 해당 각 통행자의 측정온도 데이터를 추출하는 기능을 수행한다.
여기서, 열화상 카메라(350)는 피사체의 실물이 아니라 피사체의 표면으로부터 복사되는 열에너지를 시각적으로 보여주는 것으로서, 열에너지를 전자파의 일종인 적외선 파장의 형태로 검출하여 피사체 표면의 복사열의 강도에 따라서 각각 다른 색상으로 표현해 준다.
한편, 열화상 카메라(350)는 적외선(IR) 카메라 등이 사용될 수 있겠으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 이외에도 특정 주변의 온도에 따른 열화상을 적절하게 생성할 수 있는 다양한 센서가 사용될 수도 있다.
디스플레이 모듈(400)은 해당 각 통행자의 심박/호흡 상태 및/또는 피부온도 상태 정보를 시각적으로 표시하는 기능을 수행한다.
이러한 디스플레이 모듈(400)은 예컨대, 액정 디스플레이(Liquid Crystal Display, LCD), 발광다이오드 디스플레이(Light Emitting Diode, LED), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 플라즈마 디스플레이 패널 (Plasma Display Panel, PDP), 표면 얼터네이트 라이팅(ALiS), 디지털 광원 처리(DLP), 실리콘 액정(LCoS), 표면 전도형 전자방출소자 디스플레이(SED), 전계방출 디스플레이(FED), 레이저 TV(양자 점 레이저, 액정 레이저), 광유전성 액체 디스플레이(FLD), 간섭계 변조기 디스플레이(iMoD), 두꺼운 필름 유전체 전기(TDEL), 양자점 디스플레이(QD-LED), 텔레스코픽 픽셀 디스플레이(TPD), 유기발광 트랜지스터(OLET), 레이저 형광 디스플레이(LPD), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있지만, 이에 한정되는 것은 아니고 해당 각 통행자의 심박/호흡 상태 및/또는 피부온도 상태에 대한 관련정보 데이터를 디스플레이(Display)할 수 있는 것이라면, 어떠한 모듈이라도 포함할 수 있다.
게이트 제어모듈(500)은 통행자 심박/호흡측정모듈(200)로부터 측정된 해당 각 통행자의 호흡수 및/또는 심박수에 대한 생체정보와 관련된 신호를 제공받아 이를 기반으로 해당 각 통행자의 가슴 변위에 대한 변화를 검출하고, 상기 검출된 해당 각 통행자의 가슴 변위에 따라 해당 각 통행자의 과호흡 및/또는 빈호흡을 분석하는 기능을 수행한다.
또한, 게이트 제어모듈(500)은 상기 분석된 해당 각 통행자의 과호흡 및/또는 빈호흡 상태정보를 사용자가 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 디스플레이 모듈(400)의 동작을 제어하는 기능을 수행한다.
또한, 게이트 제어모듈(500)은 통행자 온도측정모듈(300)로부터 추출된 해당 각 통행자의 측정온도 데이터를 제공받아 이를 기반으로 기 설정된 온도추출시간동안 추출된 사람 영역의 측정온도 데이터 패턴을 분석하여 해당 각 통행자의 피부온도 상태정보를 획득하는 기능을 수행한다.
또한, 게이트 제어모듈(500)은 상기 획득된 해당 각 통행자의 피부온도 상태정보를 사용자가 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 디스플레이 모듈(400)의 동작을 제어하는 기능을 수행한다.
또한, 게이트 제어모듈(500)은 발열감지모듈(800)로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 제공받아 이를 기반으로 영상 압축데이터를 원래의 영상으로 복원하고, 얼굴감지 위치 및 크기 정보에 따른 복원된 영상에서 얼굴 이미지를 획득하며, 상기 획득된 얼굴 이미지에서 추출된 참조 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 미리 저장된 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 추출하며, 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력되도록 디스플레이 모듈(400)의 동작을 제어하는 기능을 수행할 수 있다.
이러한 게이트 제어모듈(500)은 도 4에 도시된 바와 같이, 크게 가슴변위 검출부(505), 심박/호흡상태 획득부(510), 피부온도상태 획득부(515), 게이트 제어부(520), 및 전원공급부(525) 등을 포함하여 이루어진다. 또한, 본 발명의 일 실시예에 적용된 게이트 제어모듈(500)은 호흡질 분석부(530), 저장부(535), 통신부(540), 데이터 수신부(545), 실화상 복원부(550), 얼굴감지 처리부(555), 얼굴정보 저장부(560), 얼굴인식 처리부(565), 영상합성부(570), 및/또는 데이터 저장부(575) 등을 더 포함할 수 있다. 한편, 도 4에 도시된 구성요소들이 필수적인 것은 아니어서, 본 발명의 일 실시예에 적용된 게이트 제어모듈(500)은 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다.
이하, 본 발명의 일 실시예에 적용된 게이트 제어모듈(500)의 구성요소들에 대해 구체적으로 살펴보면 다음과 같다.
가슴변위 검출부(505)는 통행자 심박/호흡측정모듈(200)로부터 측정된 해당 각 통행자의 호흡수 및/또는 심박수에 대한 생체정보와 관련된 신호를 제공받아 이를 기반으로 해당 각 통행자의 가슴 변위에 대한 변화를 검출하는 기능을 수행한다.
심박/호흡상태 획득부(510)는 가슴변위 검출부(505)로부터 검출된 해당 각 통행자의 가슴 변위에 대한 변화에 따라 해당 각 통행자의 심박수, 과호흡 및/또는 빈호흡 상태를 분석하여 해당 각 통행자의 심박/호흡 상태정보를 획득하는 기능을 수행한다.
즉, 가슴변위 검출부(505) 및 심박/호흡상태 획득부(510)는 호흡 과정에서 가슴이 들어가고 나오는 약 1~12mm 정도 변화를 정확하게 측정할 수 있도록 반사된 신호에서 위상이 바뀐 부분들을 추출하면 가슴이 들어가고 나온 시점을 알 수 있으며, 숨을 들이마실 때 가슴 변위가 변하지 않은 시간을 측정하고 내쉬면서 가슴 변위의 변화가 없는 시간을 측정함으로써 과호흡 및/또는 빈호흡을 알아낼 수 있다.
피부온도상태 획득부(515)는 통행자 온도측정모듈(300)로부터 추출된 해당 각 통행자의 측정온도 데이터를 제공받아 이를 기반으로 기 설정된 온도추출시간동안 추출된 사람 영역의 측정온도 데이터 패턴을 분석하여 해당 각 통행자의 피부온도 상태정보를 획득하는 기능을 수행한다.
게이트 제어부(520)는 본 발명의 일 실시예에 적용된 게이트 제어모듈(500)의 전반적인 제어를 수행하는 바, 전술한 각 부들 즉, 가슴변위 검출부(505), 심박/호흡상태 획득부(510), 피부온도상태 획득부(515), 전원공급부(525), 호흡질 분석부(530), 저장부(535), 통신부(540), 데이터 수신부(545), 실화상 복원부(550), 얼굴감지 처리부(555), 얼굴정보 저장부(560), 얼굴인식 처리부(565), 영상합성부(570), 및/또는 데이터 저장부(575)의 동작을 제어하는 기능을 수행한다.
즉, 게이트 제어부(520)는 심박/호흡상태 획득부(510)로부터 획득된 해당 각 통행자의 심박/호흡 상태정보 및/또는 피부온도상태 획득부(515)로부터 획득된 해당 각 통행자의 피부온도 상태정보를 사용자가 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 디스플레이 모듈(400)의 동작을 제어하는 기능을 수행할 수 있다.
또한, 게이트 제어부(520)는 호흡질 분석부(530)로부터 분석된 해당 각 통행자에 대한 호흡의 질 상태정보를 사용자가 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 디스플레이 모듈(400)의 동작을 제어하는 기능을 수행할 수 있다.
또한, 게이트 제어부(520)는 가슴변위 검출부(505)로부터 검출된 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡 및/또는 빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및/또는 해당 각 통행자의 피부온도 상태정보 중 적어도 하나의 상태정보를 제공받아 이를 기반으로 해당 각 통행자별로 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡 및/또는 빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및/또는 피부온도 상태정보 중 적어도 하나의 상태정보를 데이터베이스(DB)화하여 저장부(535)에 저장되도록 제어하는 기능을 수행할 수 있다.
또한, 게이트 제어부(520)는 가슴변위 검출부(505)로부터 검출된 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡 및/또는 빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및/또는 해당 각 통행자의 피부온도 상태정보 중 적어도 하나의 상태정보를 제공받아 사용자가 해당 각 통행자별 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡 및/또는 빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및/또는 피부온도 상태정보 중 적어도 하나의 상태정보를 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 디스플레이 모듈(400)의 동작을 제어하는 기능을 수행할 수 있다.
또한, 게이트 제어부(520)는 가슴변위 검출부(505)로부터 검출된 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡 및/또는 빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및/또는 해당 각 통행자의 피부온도 상태정보 중 적어도 하나의 상태정보를 제공받아 이를 기반으로 해당 각 통행자별 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡 및/또는 빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및/또는 피부온도 상태정보 중 적어도 하나의 상태정보를 유선 및/또는 무선 통신방식으로 외부의 단말(20) 및/또는 서버(Server)(미도시)에 전송되도록 통신부(540)의 동작을 제어하는 기능을 수행할 수 있다.
또한, 게이트 제어부(520)는 영상합성부(570)로부터 합성된 영상 데이터가 사용자에 의해 시각적으로 볼 수 있도록 디스플레이 화면에 표시되도록 디스플레이 모듈(400)의 동작을 제어하는 기능을 수행할 수 있다.
또한, 게이트 제어부(520)는 별도의 사용자 입력부(예컨대, 키보드, 마우스, 리모컨 등)(미도시)를 통해 입력된 얼굴 ID 정보 및 온도 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색 및 해당 온도에 대응되는 복원된 영상의 검색 또는 재생이 가능하도록 제어하는 기능을 수행할 수 있다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs(application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 게이트 제어부(520)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 저장부(535)에 저장되고, 게이트 제어부(520)에 의해 실행될 수 있다.
그리고, 전원공급부(525)는 전술한 각 부들 즉, 가슴변위 검출부(505), 심박/호흡상태 획득부(510), 피부온도상태 획득부(515), 게이트 제어부(520), 호흡질 분석부(530), 저장부(535), 통신부(540), 데이터 수신부(545), 실화상 복원부(550), 얼굴감지 처리부(555), 얼굴정보 저장부(560), 얼굴인식 처리부(565), 영상합성부(570), 및/또는 데이터 저장부(575) 등에 필요한 전원을 공급하는 기능을 수행하는 바, 계속적인 전원 공급을 위해 상용 교류(AC) 전원(예컨대, AC 220V)을 직류(DC) 및/또는 교류(AC) 전원으로 변환되도록 구현함이 바람직하지만, 이에 국한하지 않으며, 통상의 휴대용 배터리(Battery)를 포함하여 구현할 수도 있다.
또한, 전원공급부(525)에는 외부의 전원 충격으로부터 부품을 보호하고 일정한 전압을 출력하는 기능을 수행하는 전원 관리부(미도시)를 포함할 수 있다. 상기 전원 관리부는 ESD(Electro Static Damage) 보호기, 전원 감지기, 정류기 및 전원 차단기 등을 포함하여 이루어질 수 있다.
여기서, 상기 ESD 보호기는 정전기 또는 급격한 전원 충격으로부터 전장 부품을 보호하도록 구성한다. 상기 전원 감지기는 허용 전압 범위 외의 전압이 유입될 경우 상기 전원 차단기에 차단신호를 보내고, 허용 전압 범위 내에서 전압 변화에 따라 승압 또는 강압 신호를 상기 정류기에 전달하도록 구성한다. 상기 정류기는 입력 전압의 변동을 최소하여 일정한 전압이 공급되도록 상기 전원 감지기의 신호에 따라 승압 또는 강압의 정류 동작을 수행하도록 구성한다. 상기 전원 차단기는 상기 전원 감지기로부터 전달되는 차단 신호에 따라 배터리로부터 공급되는 전원을 차단하도록 구성한다.
추가적으로, 호흡질 분석부(530)는 가슴변위 검출부(505)로부터 검출된 해당 각 통행자의 가슴 변위에 대한 변화를 바탕으로 호흡 과정에서 들이쉬는 들숨이나 내쉬는 날숨의 주기와 함께 호흡간 간격을 획득하여 해당 각 통행자에 대한 호흡의 질 상태정보를 분석하는 기능을 수행한다.
즉, 호흡질 분석부(530)는 호흡 과정에서 들이쉬는 들숨이나 내쉬는 날숨의 주기를 관찰하고 호흡간 간격을 측정함으로써 호흡의 질이 떨어지는 것을 알 수 있으며, 특히 잠을 자고 있으면서 들이쉬는 들숨이나 내쉬는 날숨의 시간이 길어지는 것을 측정함과 아울러 가슴 변위가 변하지 않는 시간을 측정해서 수면의 질도 분석할 수 있다.
저장부(535)는 게이트 제어부(520)의 제어에 따라 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡 및/또는 빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및/또는 해당 각 통행자의 피부온도 상태정보 중 적어도 하나의 상태정보를 저장하는 기능을 수행한다.
이러한 저장부(535)는 예컨대, 플래시 메모리 타입(Flash Memory type), 하드디스크 타입(Hard Disk type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부(540)는 게이트 제어부(520)의 제어에 따라 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡 및/또는 빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및/또는 해당 각 통행자의 피부온도 상태정보 중 적어도 하나의 상태정보를 유선 및/또는 무선 통신방식으로 전송하는 기능을 수행한다.
또한, 통신부(540)는 게이트 제어부(520)의 제어에 따라 데이터 수신부(545)로부터 수신된 영상 압축데이터, 얼굴인식 처리부(565)로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및/또는 영상합성부(570)로부터 합성된 영상 정보 중 적어도 하나의 정보를 통신망(10)을 통해 외부의 단말(20) 및/또는 서버(Server)로 전송하는 기능을 수행할 수 있다.
또한, 통신부(540)는 얼굴인식 처리부(565)를 통해 별도의 얼굴정보 저장부(560)에서 얼굴인식 처리부(565)로부터 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보가 존재하지 않을 경우, 게이트 제어부(520)의 제어에 따라 얼굴인식 처리부(565)로부터 얼굴정보 저장부(560)에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 통신망(10)을 통해 외부의 단말(20) 및/또는 서버(Server)로 전송하는 기능을 수행할 수 있다.
이러한 통신부(540)는 통신망(10)을 통해 유선 및/또는 무선 통신되도록 구현됨이 바람직하지만, 이에 국한하지 않으며, 상기 무선 통신방식은 예컨대, 블루투스(Bluetooth) 통신, 지그비(ZigBee) 통신, UWB(Ultra Wideband) 통신, RFID(Radio Frequency Identification) 통신, 또는 적외선(IR) 통신 중 어느 하나의 근거리 무선 통신되도록 구현될 수도 있다.
한편, 통신망(10)은 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 와이파이(WiFi), 와이기그(WiGig), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, Wimax) 등을 포함하는 차세대 무선 통신망일 수 있다.
상기 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미하며, 통신부(540)가 외부의 단말(20) 및/또는 서버(Server)에 접속될 수 있게 하는 환경을 제공한다. 한편, 상기 인터넷은 유선 또는 무선 인터넷일 수도 있고, 이외에도 유선 공중망, 무선 이동 통신망, 또는 휴대 인터넷 등과 통합된 코어망 일 수도 있다.
만약, 통신망(10)이 이동 통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 상기 비동기식 이동 통신망의 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 상기 이동 통신망은 예컨대, RNC(Radio Network Controller) 등을 포함할 수 있다. 한편, 상기 WCDMA망을 일 예로 들었지만, 셀룰러(cellular) 기반의 3G망, LTE망, 4G망, 5G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP 망일 수 있다. 이러한 통신망(10)은 통신부(540)와 외부의 단말(20) 및/또는 서버(Server)의 신호 및 데이터를 상호 전달하는 역할을 수행한다.
데이터 수신부(545)는 게이트 제어부(520)의 제어에 따라 발열감지모듈(800)로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 수신 받는 기능을 수행한다.
실화상 복원부(550)는 게이트 제어부(520)의 제어에 따라 데이터 수신부(545)로부터 수신된 영상 압축데이터를 원래의 영상으로 복원하는 기능을 수행한다.
얼굴감지 처리부(555)는 게이트 제어부(520)의 제어에 따라 데이터 수신부(545)로부터 수신된 얼굴감지 위치 및 크기 정보에 따라 실화상 복원부(550)로부터 복원된 영상에서 얼굴 이미지를 획득하는 기능을 수행한다.
얼굴정보 저장부(560)는 게이트 제어부(520)의 제어에 따라 얼굴영상 특징별로 얼굴 분류 및 얼굴 ID 정보를 데이터베이스(DB)화하여 저장 및 관리하는 기능을 수행한다.
얼굴인식 처리부(565)는 게이트 제어부(520)의 제어에 따라 얼굴감지 처리부(555)로부터 획득된 얼굴 이미지를 제공받아 인공지능 기계학습 기반의 영상 및 데이터 처리를 통해 획득된 얼굴 이미지에서 참조 정보(예컨대, 랜드마크 등)를 추출하고, 상기 추출된 참조 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 얼굴정보 저장부(560)를 통해 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 검색 및 추출하는 기능을 수행한다.
여기서, 상기 인공지능(AI) 기계 학습은 예컨대, 신경망(Neural Network), SVM(Support Vector Machine), MLP(Multi Layer Perception), 및/또는 딥러닝(Deep Learning) 중 적어도 하나의 인공지능 학습방법으로 이루어짐이 바람직하다.
영상합성부(570)는 게이트 제어부(520)의 제어에 따라 실화상 복원부(550)로부터 복원된 영상에 얼굴인식 처리부(565)로부터 추출된 얼굴 ID 정보 및 해당 얼굴감지 위치에 대한 온도 정보를 합성하는 기능을 수행한다.
데이터 저장부(575)는 게이트 제어부(520)의 제어에 따라 데이터 수신부(545)로부터 수신된 영상 압축데이터, 얼굴감지 위치 및 크기 정보와 함께 해당 얼굴감지 위치에 대한 온도 정보, 얼굴인식 처리부(565)로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및/또는 영상합성부(570)로부터 합성된 영상 정보 중 적어도 하나의 정보를 데이터베이스(DB)화하여 저장 및 관리하는 기능을 수행한다.
그리고, 전원공급모듈(600)은 전술한 각 모듈들 즉, 출입구 게이트모듈(100), 통행자 심박/호흡측정모듈(200), 통행자 온도측정모듈(300), 디스플레이 모듈(400), 게이트 제어모듈(500), 영상획득모듈(700), 및/또는 발열감지모듈(800) 등에 필요한 전원을 공급하는 기능을 수행하는 바, 계속적인 전원 공급을 위해 상용 교류(AC) 전원(예컨대, AC 220V)을 직류(DC) 및/또는 교류(AC) 전원으로 변환되도록 구현함이 바람직하지만, 이에 국한하지 않으며, 통상의 휴대용 배터리(Battery)를 포함하여 구현할 수도 있다.
또한, 전원공급모듈(600)에는 외부의 전원 충격으로부터 부품을 보호하고 일정한 전압을 출력하는 기능을 수행하는 전원 관리부(미도시)를 포함할 수 있다. 상기 전원 관리부는 ESD(Electro Static Damage) 보호기, 전원 감지기, 정류기 및 전원 차단기 등을 포함하여 이루어질 수 있다.
여기서, 상기 ESD 보호기는 정전기 또는 급격한 전원 충격으로부터 전장 부품을 보호하도록 구성한다. 상기 전원 감지기는 허용 전압 범위 외의 전압이 유입될 경우 상기 전원 차단기에 차단신호를 보내고, 허용 전압 범위 내에서 전압 변화에 따라 승압 또는 강압 신호를 상기 정류기에 전달하도록 구성한다. 상기 정류기는 입력 전압의 변동을 최소하여 일정한 전압이 공급되도록 상기 전원 감지기의 신호에 따라 승압 또는 강압의 정류 동작을 수행하도록 구성한다. 상기 전원 차단기는 상기 전원 감지기로부터 전달되는 차단 신호에 따라 배터리로부터 공급되는 전원을 차단하도록 구성한다.
추가적으로, 영상획득모듈(700)은 출입구 게이트모듈(100)의 입구 및/또는 출구 측에 설치되어 있으며, 실화상 카메라(750)를 통해 출입구 게이트모듈(100)의 입구 및/또는 출구 주변에 대한 영상 데이터를 획득하는 기능을 수행한다.
이러한 영상획득모듈(700)의 실화상 카메라(750)는 어두운 곳에서도 촬영이 가능한 적외선(IR) 카메라 또는 고체촬상소자(Charge Coupled Device, CCD) 카메라 등을 포함하여 이루어짐이 바람직하지만, 이에 국한하지 않으며, 통상의 PC 카메라의 일종으로 현재 가장 일반적으로 사용되고 있는 USB(Universal Serial Bus) 카메라, 연속적인 동영상을 촬영할 수 있는 통상의 비디오 카메라(Video Camera), 특정 장소의 영상을 촬영할 수 있는 카메라 또는 장치(예컨대, IP 카메라, CCTV 카메라 등)라면 어느 것이든 가능하다.
이때, 상기 고체촬상소자(CCD) 카메라는 광학부와 고체촬상소자(CCD)와 이를 구동하는 구동부로 구성되며, 상기 광학부를 통해 상기 고체촬상소자(CCD)에 입력된 비트맵 데이터를 획득한다. 상기 비트맵 데이터는 정지 영상의 이미지 데이터와 동영상 데이터를 모두 포함할 수 있다.
그리고, 상기 USB 카메라는 기본적으로 카메라와, 인터페이스부와, USB 호스트 등으로 구성되어 있으며, 상기 카메라와 인터페이스부의 사이에는 복수개의 앤드포인트(Endpoint)들이 구성되며, 그들 중 하나는 스냅 샷 전용 앤드포인트로 사용되고 다른 하나는 화상 전용 앤드포인트로 사용된다.
상기 USB 카메라는 입력 화상을 디지탈 데이터로 처리하여 상기 인터페이스부로 출력되고, 상기 인터페이스부는 앤드포인트를 통해 입력되는 디지탈 데이터를 USB 표준 사양에 맞게 변환시켜 상기 USB 호스트로 전송하며, 상기 USB 호스트는 전달된 디지탈 데이터를 자신의 모니터에 디스플레이 하거나 화상 통신을 위해 상대방 USB 호스트로 전송하는 기능을 한다.
한편, 도면에 도시되진 않았지만, 영상획득모듈(700)에는 통상적으로 실화상 센서 즉, 이미지 센서(Image Sensor)와, 이미지 신호처리기(Image Signal Processor, ISP)와, 백 엔드 칩(Back_End Chip) 등을 포함한다.
상기 이미지 센서는 렌즈로부터 입사된 빛에 의해 형성되는 촬상 신호를 가공되지 않은 Bayer RGB 포맷 데이터로 출력한다. 상기 이미지 신호처리기(ISP)는 상기 Bayer RGB 포맷 데이터를 RGB 포맷 데이터로 변환하고, 이를 디스플레이 장치의 화면 출력에서 요구되는 YUV 포맷 데이터로 변환하여 출력한다.
상기 백 엔드 칩은 상기 이미지 신호처리기(ISP)로부터 출력된 YUV 포맷 데이터를 처리하여 디스플레이 장치의 화면을 통해 촬영된 이미지를 출력하는 것을 포함하는 카메라 모듈 제어를 담당하는 것으로, 이러한 백 엔드 칩으로는 모바일 스위칭 모뎀(Mobile Switching Modem, MSM) 또는 디지털 신호 처리기(Digital Signal Processor, DSP)가 이용될 수 있다.
즉, 영상획득모듈(700)을 이용하여 촬영을 하면, 렌즈로부터 입사된 빛에 의해 형성되는 촬상 신호에 따라 상기 이미지 센서가 가공되지 않은 Bayer RGB 포맷 데이터를 IIC(Inter Integrated Circuit) 방식의 통신을 이용하여 출력하고, 이를 수신한 이미지 신호처리기(ISP)는 이를 실제의 RGB 포맷 데이터로 변환하고, 이 RGB 포맷 데이터를 디스플레이 화면 출력에서 요구되는 즉, 이미지 처리를 위한 백 엔드 칩에서 요구되는 YUV 포맷 데이터로 변환하여 IIC(Inter Integrated Circuit) 방식의 통신을 이용하여 출력한다. 그러면, 상기 백 엔드 칩은 수신된 YUV 포맷 데이터를 처리하여 디스플레이 장치의 화면을 통해 촬영된 이미지를 출력한다.
발열감지모듈(800)은 영상획득모듈(700)로부터 획득된 영상 데이터와 통행자 온도측정모듈(300)로부터 추출된 측정온도 데이터를 제공받아 이를 기반으로 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출 및 전송하는 기능을 수행한다.
이러한 발열감지모듈(800)은 도 5에 도시된 바와 같이, 영상획득모듈(700)로부터 획득된 영상 데이터를 압축하여 영상 압축데이터를 출력하는 영상압축부(810)와, 영상획득모듈(700)로부터 획득된 영상 데이터와 통행자 온도측정모듈(300)로부터 추출된 측정온도 데이터를 각각 제공받아 인공지능 기계학습 기반의 영상 및 데이터 처리를 통해 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출하는 발열감지부(820)와, 영상압축부(810)로부터 출력된 영상 압축데이터를 비롯하여 발열감지부(820)로부터 추출된 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 게이트 제어부(520)로 전송하는 데이터 처리부(830) 등을 포함하여 이루어짐이 바람직하다.
그리고, 외부의 단말(20) 및/또는 서버(Server)(미도시)는 미리 설치된 통행자 상태측정관련 어플리케이션을 통해 통신부(540)로부터 전송된 해당 각 통행자별 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡 및/또는 빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및/또는 피부온도 상태정보 중 적어도 하나의 상태정보를 제공받아 이를 기반으로 사용자의 요구에 따라 선, 원형 및/또는 막대그래프 중 적어도 하나의 그래프를 이용하여 시간별 및/또는 일별 및/또는 요일별 및/또는 주별 및/또는 월별로 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡 및/또는 빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및/또는 피부온도 상테정보 중 적어도 하나의 상태정보를 디스플레이 화면에 표시되도록 서비스를 제공하는 기능을 수행할 수 있다.
또한, 외부의 단말(20) 및/또는 서버(Server)는 통신부(540)를 통해 얼굴인식 처리부(565)로부터 얼굴정보 저장부(560)에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 이를 기반으로 별도의 얼굴분류 DB(미도시)를 통해 얼굴정보 저장부(560)에 존재하지 않는 얼굴 분류에 대한 얼굴 ID 정보를 추출하며, 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 기능을 수행할 수 있다.
또한, 외부의 단말(20) 및/또는 서버(Server)는 별도의 사용자 입력모듈(미도시)을 통해 입력된 얼굴 ID 정보 및 온도 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색 및 해당 온도에 대응되는 복원된 영상의 검색 또는 재생이 가능하도록 서비스를 제공하는 기능을 수행할 수 있다.
이러한 외부의 단말(20)은 무선 인터넷 또는 휴대 인터넷을 통하여 통신하는 스마트폰(Smart Phone), 스마트 패드(Smart Pad) 또는 스마트 노트(Smart Note) 중 적어도 하나의 이동 단말 장치로 이루어짐이 바람직하며, 이외에도 개인용 PC, 노트북 PC, 팜(Palm) PC, 모바일 게임기(Mobile play-station), 통신 기능이 있는 DMB(Digital Multimedia Broadcasting)폰, 태블릿 PC, 아이패드(iPad) 등 통신망(10) 및/또는 서버(Server)에 접속하기 위한 사용자 인터페이스를 갖는 모든 유무선 가전/통신 장치를 포괄적으로 의미할 수 있다.
이러한 외부의 단말(20)은 도 6에 도시된 바와 같이, 무선 통신모듈(21), A/V(Audio/Video) 입력모듈(22), 사용자 입력모듈(23), 센싱모듈(24), 출력모듈(25), 저장모듈(26), 인터페이스 모듈(27), 단말 제어모듈(28) 및 전원모듈(29) 등을 포함할 수 있다. 한편, 도 6에 도시된 구성요소들이 필수적인 것은 아니어서, 외부의 단말(20)은 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다.
이하, 외부의 단말(20)의 구성요소들에 대해 구체적으로 살펴보면 다음과 같다.
무선 통신모듈(21)은 외부의 단말(20)과 통신부(540) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예컨대, 무선 통신모듈(21)은 방송 수신 모듈(21a), 이동 통신 모듈(21b), 무선 인터넷 모듈(21c), 근거리 통신 모듈(21d) 및 위치 정보 모듈(21e) 등을 포함할 수 있다.
방송 수신 모듈(21a)은 다양한 방송채널(예컨대, 위성채널, 지상파채널 등)을 통하여 외부의 방송관리서버로부터 방송신호(예컨대, TV 방송신호, 라디오 방송신호, 데이터 방송신호 등) 및/또는 방송관련 정보를 수신한다.
이동 통신 모듈(21b)은 이동 통신망 상에서 기지국, 외부의 단말(20), 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는 음성 콜(call) 신호, 화상 통화 콜 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(21c)은 무선 인터넷 접속을 위한 모듈로서, 외부의 단말(20)에 내장되거나 외장될 수 있다. 상기 무선 인터넷 기술로는 예컨대, WLAN(Wi-Fi), Wibro, Wimax, HSDPA, LTE 등이 이용될 수 있다.
근거리 통신 모듈(21d)은 근거리 통신을 위한 모듈로서, 예컨대, 블루투스(Bluetooth) 통신, 지그비(ZigBee) 통신, UWB(Ultra Wideband) 통신, RFID(Radio Frequency Identification) 통신 또는 적외선(IrDA, infrared Data Association) 통신 등이 이용될 수 있다.
위치 정보 모듈(21e)은 외부의 단말(20)의 위치를 확인하거나 얻기 위한 모듈로서, GPS(Global Position System) 등을 이용하여 외부의 단말(20)의 현재 위치 정보를 획득할 수 있다.
한편, 단말 제어모듈(28)의 제어에 따라 전술한 무선 통신모듈(21) 및/또는 유선 통신모듈(미도시)을 통해 저장모듈(26)에 저장된 특정 어플리케이션 프로그램을 이용하여 통신부(290)와 데이터 송수신을 수행할 수 있다.
A/V 입력모듈(22)은 오디오 신호 또는 비디오 신호 입력을 위한 모듈로서, 기본적으로 카메라부(22a)와 마이크부(22b) 등이 포함될 수 있다. 카메라부(22a)는 화상통화모드 또는 촬영모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 마이크부(22b)는 통화모드 또는 녹음모드, 음성인식모드 등에서 마이크로폰에 의해 외부의 음향신호를 입력받아 전기적인 음성데이터로 처리한다.
사용자 입력모듈(23)은 외부의 단말(20)의 동작 제어를 위한 입력 데이터를 발생시키는 모듈로서, 특히 출력모듈(25)의 디스플레이부(25a)를 통해 표시되는 데이터 관리 정보들 중 어느 하나에 대한 선택 신호를 입력하는 기능을 수행하며, 예컨대, 사용자의 터치에 의하여 입력되는 터치 패널(정압/정전) 형식이거나 별도의 입력 장치(예컨대, 키 패드 돔 스위치, 조그 휠, 조그 스위치 등)를 이용하여 입력될 수 있다.
센싱모듈(24)은 외부의 단말(20)의 개폐 상태, 외부의 단말(20)의 위치, 사용자 접촉 유무, 특정 부위에 대한 사용자의 터치 동작, 외부의 단말(20)의 방위, 외부의 단말(20)의 가속/감속 등과 같이 외부의 단말(20)의 현 상태를 감지하여 외부의 단말(20)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 이러한 센싱 신호는 단말 제어모듈(28)에 전달되어, 단말 제어모듈(28)이 특정 기능을 수행하는 기초가 될 수 있다.
출력모듈(25)은 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 모듈로서, 기본적으로 디스플레이부(25a), 음향출력부(25b), 알람부(25c) 및 햅틱부(25d) 등이 포함될 수 있다.
디스플레이부(25a)는 외부의 단말(20)에서 처리되는 정보를 표시 출력하기 위한 것으로서, 예컨대, 외부의 단말(20)이 통화모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphical User Interface)를 표시하고, 화상통화모드 또는 촬영모드인 경우에는 촬영 및/또는 수신된 영상 또는 UI, GUI를 표시한다.
음향출력부(25b)는 예컨대, 콜 신호수신, 통화모드 또는 녹음모드, 음성인식모드, 방송수신모드 등에서 무선 통신모듈(21)로부터 수신되거나 저장모듈(26)에 저장된 오디오 데이터를 출력할 수도 있다.
알람부(25c)는 외부의 단말(20)의 이벤트 발생을 알리기 위한 신호를 출력할 수 있다. 외부의 단말(20)에서 발생되는 이벤트의 예로는 콜 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다.
햅틱부(25d)는 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱부(25d)가 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택부(25d)가 발생하는 진동의 세기와 패턴 등은 제어 가능하다.
저장모듈(26)은 단말 제어모듈(28)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다.
또한, 저장모듈(26)은 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있으며, 통행자 상태측정관련 어플리케이션 프로그램을 저장할 수 있다.
또한, 저장모듈(26)은 통행자 상태측정관련 정보의 형성을 위한 소스 데이터가 저장될 수 있는 바, 통행자 상태측정관련 데이터가 영상 및 소리로 구성된 형태로 이루어질 수 있으며, 통행자 상태측정에 대한 관련데이터 생성의 진행 과정 및 결과도 함께 저장될 수 있다.
이러한 저장모듈(26)은 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), SRAM, 롬(ROM), EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
인터페이스 모듈(27)은 외부의 단말(20)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스 모듈(27)은 외부기기로부터 데이터를 전송 받거나 전원을 공급받아 외부의 단말(20) 내부의 각 구성요소에 전달하거나 외부의 단말(20) 내부의 데이터가 외부기기로 전송되도록 한다.
단말 제어모듈(28)은 통상적으로 외부의 단말(20)의 전반적인 동작을 제어하는 것으로서, 예컨대, 음성통화, 데이터통신, 화상통화, 각종 어플리케이션 실행 등을 위한 관련된 제어 및 처리를 수행한다.
즉, 단말 제어모듈(28)은 저장모듈(26)에 저장된 통행자 상태측정관련 어플리케이션 프로그램이 실행되도록 제어하고, 상기 통행자 상태측정관련 어플리케이션 프로그램의 실행을 통해 통행자 상태측정관련 데이터의 생성을 요청하고 이에 대한 통행자 상태측정관련 데이터를 제공받을 수 있도록 제어하는 기능을 수행한다.
또한, 단말 제어모듈(28)은 상기 통행자 상태측정관련 어플리케이션 프로그램의 실행을 통해 사용자가 원하는 통행자 상태측정관련 데이터의 생성 과정에서 영상, 음성 또는 음향 중 적어도 하나를 포함하는 보조 요소들을 디스플레이부(25a) 및 다른 출력장치(예컨대, 음향출력부(25b), 알람부(25c), 햅틱부(25d) 등) 중 적어도 하나를 통해 출력되도록 제어하는 기능을 수행한다.
또한, 단말 제어모듈(28)은 배터리부(29a)의 충전 전류와 충전 전압을 상시적으로 모니터링하고, 모니터링 값을 저장모듈(26)에 임시 저장할 수 있다. 이때, 저장모듈(26)은 모니터링 된 충전 전류와 충전 전압과 같은 배터리 충전상태정보뿐만 아니라 배터리 사양정보(제품 코드, 정격 등)도 함께 저장함이 바람직하다.
전원모듈(29)은 단말 제어모듈(28)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원모듈(29)은 내장되어 있는 배터리부(29a)의 전원을 각 구성요소들로 공급하여 동작하도록 하며, 충전단자(미도시)를 사용하여 배터리의 충전이 가능하다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs(application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 단말 제어모듈(28)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 저장모듈(26)에 저장되고, 단말 제어모듈(28)에 의해 실행될 수 있다.
만약, 외부의 단말(20)이 스마트폰으로 이루어질 경우, 상기 스마트폰은 일반 핸드폰(일명 피처폰(feature phone))과는 달리 사용자가 원하는 다양한 어플리케이션(Application) 프로그램을 다운로드받아 자유롭게 사용하고 삭제가 가능한 오픈 운영체제를 기반으로 한 폰(Phone)으로서, 일반적으로 사용되는 음성/영상통화, 인터넷 데이터통신 등의 기능뿐만 아니라, 모바일 오피스 기능을 갖춘 모든 모바일 폰 또는 음성통화 기능이 없으나 인터넷 접속 가능한 모든 인터넷폰 또는 테블릿 PC(Tablet PC)를 포함하는 통신기기로 이해함이 바람직하다.
이와 같이 스마트폰은 개방형 운영체제를 사용하므로 폐쇄적인 운영체제를 가진 휴대폰과 달리 사용자가 임의로 다양한 어플리케이션 프로그램을 설치하고 관리할 수 있다.
전술한 본 발명에 따른 레이더 및 열화상 카메라를 이용한 게이트 장치에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
100 : 출입구 게이트모듈,
200 : 통행자 심박/호흡측정모듈,
300 : 통행자 온도측정모듈,
400 : 디스플레이 모듈,
500 : 게이트 제어모듈,
600 : 전원공급모듈,
700 : 영상획득모듈,
800 : 발열감지모듈

Claims (27)

  1. 건물 또는 공항 시설의 입구 또는 출구에 설치되며, 적어도 하나의 통행자가 통과할 수 있도록 구비된 출입구 게이트모듈;
    상기 출입구 게이트모듈의 입구 또는 출구 측에 설치되며, 레이더를 이용하여 상기 출입구 게이트모듈의 입구 또는 출구 측에 존재하는 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 비접촉식으로 검출하는 통행자 심박/호흡측정모듈;
    상기 출입구 게이트모듈의 입구 또는 출구 측에 설치되며, 열화상 카메라를 통해 상기 출입구 게이트모듈의 입구 또는 출구 주변의 온도 데이터를 획득하여 해당 각 통행자의 측정온도 데이터를 추출하는 통행자 온도측정모듈;
    해당 각 통행자의 심박/호흡 상태 및 피부온도 상태 정보를 시각적으로 표시하는 디스플레이 모듈;
    상기 출입구 게이트모듈의 입구 또는 출구 측에 설치되며, 실화상 카메라를 통해 상기 출입구 게이트모듈의 입구 또는 출구 주변에 대한 영상 데이터를 획득하는 영상획득모듈;
    상기 영상획득모듈로부터 획득된 영상 데이터와 상기 통행자 온도측정모듈로부터 추출된 측정온도 데이터를 제공받아 이를 기반으로 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출 및 전송하는 발열감지모듈; 및
    상기 통행자 심박/호흡측정모듈로부터 측정된 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 제공받아 이를 기반으로 해당 각 통행자의 가슴 변위에 대한 변화를 검출하고, 상기 검출된 해당 각 통행자의 가슴 변위에 따라 해당 각 통행자의 심박수, 과호흡 또는 빈호흡을 분석한 후, 사용자가 상기 분석된 해당 각 통행자의 심박수, 과호흡 또는 빈호흡 상태정보를 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어하며, 상기 통행자 온도측정모듈로부터 추출된 해당 각 통행자의 측정온도 데이터를 제공받아 이를 기반으로 기 설정된 온도추출시간동안 추출된 사람 영역의 측정온도 데이터 패턴을 분석하여 해당 각 통행자의 피부온도 상태정보를 획득한 후, 상기 획득된 해당 각 통행자의 피부온도 상태정보를 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어하며, 상기 발열감지모듈로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 제공받아 이를 기반으로 영상 압축데이터를 원래의 영상으로 복원하고, 얼굴감지 위치 및 크기 정보에 따른 복원된 영상에서 얼굴 이미지를 획득하며, 상기 획득된 얼굴 이미지에서 추출된 참조 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 미리 저장된 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 추출하며, 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력되도록 상기 디스플레이 모듈의 동작을 제어하는 게이트 제어모듈을 포함하되,
    상기 통행자 심박/호흡측정모듈은, 상기 출입구 게이트모듈의 입구 또는 출구에 존재하는 해당 각 통행자에 대하여 레이더 펄스(Radar Pulse)를 갖는 제1 신호를 송신하는 레이더 송신부와, 상기 레이더 송신부로부터 송신된 제1 신호가 해당 각 통행자로부터 반사되고, 상기 제1 신호와 관련된 제2 신호를 수신하는 레이더 수신부와, 상기 레이더 송신부에 구비된 복수의 송신 안테나마다 기 설정된 각도로 위상 변화를 줄 수 있는 빔스티어링(Beam Steering) 기술을 이용하여 복수의 통행자를 추적하는 통행자 추적부와, 상기 레이더 송신부 및 상기 레이더 수신부로부터 송수신된 제1 및 제2 신호를 기반으로 해당 각 통행자의 호흡 및 심박에 대한 움직임 정보를 포함하는 주파수를 추출하고, 상기 추출된 주파수의 위상 변화에 따라 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 처리하며, 상기 통행자 추적부로부터 추적된 해당 각 통행자의 호흡 및 심박에 대한 움직임 정보를 포함하는 주파수를 추출하며, 상기 추출된 주파수의 위상 변화에 따라 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 처리하는 신호처리부를 포함하고,
    상기 신호처리부는, 고속푸리에변환(Fast Fourier Transform, FFT)을 통해 반사 전자파인 제2 신호의 데이터를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역 중 기 설정된 주파수 범위 내에 해당하는 주파수 영역에서 주파수의 피크 값을 검출하며, 상기 검출된 주파수의 피크 값을 이용하여 시간에 따른 주파수의 위상 값을 획득하고, 상기 레이더 송신부로부터 송신된 제1 신호의 전자파가 반사되어 돌아올 때, 상기 레이더 수신부를 통해 반사되어 돌아오는 복수의 반사 전자파인 제2 신호에 대한 데이터를 수집하고, 상기 수집된 복수의 반사 전자파인 제2 신호 중 동일한 주파수대의 데이터만 획득하며, 상기 획득된 동일한 주파수대의 데이터를 고속푸리에변환(FFT)을 통해 주파수 영역으로 변환하고, 상기 변환된 주파수 영역 중 호흡수 및 심박수와 관련된 주파수를 추출하며, 상기 변환된 주파수 영역을 시간 영역으로 변환하여 피크값을 검출하고, 상기 검출된 피크값 간의 거리를 측정하여 해당 각 통행자의 심박에 관한 상관 계수를 산출하며, 상기 추출된 주파수에 대하여 연속값 사이의 위상차가 ±π보다 크거나 작은 경우, 위상에서 2π을 더하거나 차감하여 위상 언래핑(Phase Unwrapping) 작업을 처리하며, 상기 위상 언래핑 처리된 위상에 대해 연속 위상값을 빼는 위상 차(Phase Difference) 작업을 처리하며, 상기 위상 언래핑 및 위상 차 처리된 주파수에 대하여 스팩트럼 추정을 실시하여 해당 각 통행자의 호흡수 및 심박수를 결정하며, 상기 추출된 호흡수와 관련된 주파수를 이용하여 주파수 피크에 대한 호흡수의 상관 관계식을 생성하고, 상기 추출된 호흡수와 관련된 주파수에서 기 설정된 호흡수 주파수 영역에 포함된 주파수의 데이터에 기초하여 해당 각 통행자의 호흡수를 결정하며, 상기 추출된 심박수와 관련된 주파수를 이용하여 주파수 피크에 대한 심박수의 상관 관계식을 생성하고, 상기 추출된 심박수와 관련된 주파수에서 기 설정된 심박수 주파수 영역에 포함된 주파수의 데이터에 기초하여 해당 각 통행자의 심박수를 결정하며,
    상기 게이트 제어모듈은, 상기 통행자 심박/호흡측정모듈로부터 측정된 해당 각 통행자의 호흡수 및 심박수에 대한 생체정보와 관련된 신호를 제공받아 이를 기반으로 해당 각 통행자의 가슴 변위에 대한 변화를 검출하는 가슴변위 검출부와, 상기 가슴변위 검출부로부터 검출된 해당 각 통행자의 가슴 변위에 대한 변화에 따라 해당 각 통행자의 심박수, 과호흡 또는 빈호흡 상태를 분석하여 해당 각 통행자의 심박/호흡 상태정보를 획득하는 심박/호흡상태 획득부와, 상기 가슴변위 검출부로부터 검출된 해당 각 통행자의 가슴 변위에 대한 변화를 바탕으로 호흡 과정에서 들이쉬는 들숨이나 내쉬는 날숨의 주기와 함께 호흡간 간격을 획득하여 해당 각 통행자에 대한 호흡의 질 상태정보를 분석하는 호흡질 분석부와, 상기 통행자 온도측정모듈로부터 추출된 해당 각 통행자의 측정온도 데이터를 제공받아 이를 기반으로 기 설정된 온도추출시간동안 추출된 사람 영역의 측정온도 데이터 패턴을 분석하여 해당 각 통행자의 피부온도 상태정보를 획득하는 피부온도상태 획득부와, 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡/빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및 해당 각 통행자의 피부온도 상태정보를 저장하는 저장부와, 상기 발열감지모듈로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 수신 받는 데이터 수신부와, 상기 데이터 수신부로부터 수신된 영상 압축데이터를 원래의 영상으로 복원하는 실화상 복원부와, 상기 데이터 수신부로부터 수신된 얼굴감지 위치 및 크기 정보에 따라 상기 실화상 복원부로부터 복원된 영상에서 얼굴 이미지를 획득하는 얼굴감지 처리부와, 얼굴영상 특징별로 얼굴 분류 및 얼굴 ID 정보를 데이터베이스(DB)화하여 저장 및 관리하는 얼굴정보 저장부와, 상기 얼굴감지 처리부로부터 획득된 얼굴 이미지를 제공받아 인공지능 기계학습 기반의 영상 및 데이터 처리를 통해 획득된 얼굴 이미지에서 참조 정보를 추출하고, 상기 추출된 참조 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 상기 얼굴정보 저장부를 통해 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 검색 및 추출하는 얼굴인식 처리부와, 상기 실화상 복원부로부터 복원된 영상에 상기 얼굴인식 처리부로부터 추출된 얼굴 ID 정보 및 해당 얼굴감지 위치에 대한 온도 정보를 합성하는 영상합성부와, 상기 데이터 수신부로부터 수신된 영상 압축데이터, 얼굴감지 위치 및 크기 정보와 함께 해당 얼굴감지 위치에 대한 온도 정보, 상기 얼굴인식 처리부로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및 상기 영상합성부로부터 합성된 영상 정보를 데이터베이스(DB)화하여 저장 및 관리하는 데이터 저장부와, 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡/빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및 해당 각 통행자의 피부온도 상태정보를 유선 또는 무선 통신방식으로 전송하고, 상기 데이터 수신부로부터 수신된 영상 압축데이터, 상기 얼굴인식 처리부로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및 상기 영상합성부로부터 합성된 영상 정보를 통신망을 통해 외부의 단말 또는 서버로 전송하며, 상기 얼굴인식 처리부를 통해 별도의 얼굴정보 저장부에서 상기 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보가 존재하지 않을 경우, 상기 얼굴인식 처리부로부터 상기 얼굴정보 저장부에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 상기 통신망을 통해 상기 외부의 단말 또는 서버로 전송하는 통신부와, 상기 심박/호흡상태 획득부로부터 획득된 해당 각 통행자의 심박/호흡 상태정보 및 상기 피부온도상태 획득부로부터 획득된 해당 각 통행자의 피부온도 상태정보를 사용자가 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어하고, 상기 영상합성부로부터 합성된 영상 데이터가 사용자에 의해 시각적으로 볼 수 있도록 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어하는 게이트 제어부를 포함하며,
    상기 발열감지모듈은, 상기 영상획득모듈로부터 획득된 영상 데이터를 압축하여 영상 압축데이터를 출력하는 영상압축부와, 상기 영상획득모듈로부터 획득된 영상 데이터와 상기 통행자 온도측정모듈로부터 추출된 측정온도 데이터를 각각 제공받아 인공지능 기계학습 기반의 영상 및 데이터 처리를 통해 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출하는 발열감지부와, 상기 영상압축부로부터 출력된 영상 압축데이터를 비롯하여 상기 발열감지부로부터 추출된 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 상기 게이트 제어부로 전송하는 데이터 처리부를 포함하며,
    상기 게이트 제어부는, 상기 호흡질 분석부로부터 분석된 해당 각 통행자에 대한 호흡의 질 상태정보를 사용자가 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어하고, 상기 검출된 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡/빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및 해당 각 통행자의 피부온도 상태정보를 제공받아 이를 기반으로 해당 각 통행자별로 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡/빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및 피부온도 상태정보를 데이터베이스(DB)화하여 상기 저장부에 저장되도록 제어하며, 상기 검출된 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡/빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및 해당 각 통행자의 피부온도 상태정보를 제공받아 사용자가 해당 각 통행자별 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡/빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및 피부온도 상태정보를 시각적으로 확인할 수 있게 디스플레이 화면에 표시되도록 상기 디스플레이 모듈의 동작을 제어하며, 상기 검출된 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 해당 각 통행자의 심박수, 과호흡/빈호흡 상태정보, 해당 각 통행자에 대한 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 해당 각 통행자에 대한 호흡의 질 상태정보, 및 해당 각 통행자의 피부온도 상태정보를 제공받아 이를 기반으로 해당 각 통행자별 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡/빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및 피부온도 상태정보를 유선 또는 무선 통신방식으로 외부의 단말 또는 서버에 전송되도록 상기 통신부의 동작을 제어하며, 별도의 사용자 입력부를 통해 입력된 얼굴 ID 정보 및 온도 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색 및 해당 온도에 대응되는 복원된 영상의 검색 또는 재생이 가능하도록 제어하며,
    상기 외부의 단말 또는 서버는, 미리 설치된 통행자 상태측정관련 어플리케이션을 통해 상기 통신부로부터 전송된 해당 각 통행자별 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡/빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및 피부온도 상태정보를 제공받아 이를 기반으로 사용자의 요구에 따라 선, 원형 및 막대그래프 중 적어도 하나의 그래프를 이용하여 시간별/일별/요일별/주별/월별로 해당 각 통행자의 가슴 변위에 대한 변화 상태정보, 심박수, 과호흡/빈호흡 상태정보, 들숨/날숨의 주기와 함께 호흡간 간격 상태정보, 호흡의 질 상태정보, 및 피부온도 상태정보를 디스플레이 화면에 표시되도록 서비스를 제공하며, 상기 통신부를 통해 상기 얼굴인식 처리부로부터 상기 얼굴정보 저장부에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 이를 기반으로 별도의 얼굴분류 DB를 통해 상기 얼굴정보 저장부에 존재하지 않는 얼굴 분류에 대한 얼굴 ID 정보를 추출하며, 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하며, 별도의 사용자 입력모듈을 통해 입력된 얼굴 ID 정보 및 온도 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색 및 해당 온도에 대응되는 복원된 영상의 검색 또는 재생이 가능하도록 서비스를 제공하는 것을 특징으로 하는 레이더 및 열화상 카메라를 이용한 게이트 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
KR1020200142911A 2020-10-30 2020-10-30 레이더 및 열화상 카메라를 이용한 게이트 장치 KR102247752B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200142911A KR102247752B1 (ko) 2020-10-30 2020-10-30 레이더 및 열화상 카메라를 이용한 게이트 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200142911A KR102247752B1 (ko) 2020-10-30 2020-10-30 레이더 및 열화상 카메라를 이용한 게이트 장치

Publications (1)

Publication Number Publication Date
KR102247752B1 true KR102247752B1 (ko) 2021-05-07

Family

ID=75916564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200142911A KR102247752B1 (ko) 2020-10-30 2020-10-30 레이더 및 열화상 카메라를 이용한 게이트 장치

Country Status (1)

Country Link
KR (1) KR102247752B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113729655A (zh) * 2021-09-26 2021-12-03 重庆邮电大学 一种分离uwb雷达传感器接收信号的方法
KR20230037429A (ko) * 2021-09-09 2023-03-16 주식회사 신일테크 상황인식이 가능한 다각형 영역 측정 산업용 열화상 카메라
CN117705290A (zh) * 2024-01-30 2024-03-15 北京实创上地科技有限公司 一种基于红外测温仪的测温方法和系统
CN118148479A (zh) * 2024-04-09 2024-06-07 广东振兴消防设备有限公司 一种用于防火卷帘门预警的智能视觉感知系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060005092A (ko) 2004-07-12 2006-01-17 주식회사 씨아이디 수면 무호흡증 무선 감시장치
KR20110008080A (ko) * 2008-04-03 2011-01-25 카이 메디컬, 아이엔씨. 비접촉식 생리학적 모션 센서 및 모션 센서의 사용 방법
KR101420200B1 (ko) 2013-11-21 2014-07-21 (주)토핀스 열화상 카메라를 이용한 체온 감지 시스템
KR20150120685A (ko) * 2014-04-18 2015-10-28 전자부품연구원 생체신호 모니터링 시스템
KR101654914B1 (ko) 2014-08-12 2016-10-10 주식회사 고니메드 호흡 측정 장치 및 그를 이용한 호흡 측정 방법
KR101949799B1 (ko) * 2018-08-10 2019-02-20 주식회사 아이티아이씨앤씨 생체 신호 감지용 밀리미리파 레이더 센서를 활용한 보호 시설 관리 시스템
KR102139341B1 (ko) * 2020-04-14 2020-07-30 주식회사 중원인더스트리 감염병 확산 방지를 위한 출입통제 시스템
KR102148638B1 (ko) * 2020-04-24 2020-08-27 주식회사 웹게이트 외부 환경의 변화에 따른 발열 감지 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060005092A (ko) 2004-07-12 2006-01-17 주식회사 씨아이디 수면 무호흡증 무선 감시장치
KR20110008080A (ko) * 2008-04-03 2011-01-25 카이 메디컬, 아이엔씨. 비접촉식 생리학적 모션 센서 및 모션 센서의 사용 방법
KR101420200B1 (ko) 2013-11-21 2014-07-21 (주)토핀스 열화상 카메라를 이용한 체온 감지 시스템
KR20150120685A (ko) * 2014-04-18 2015-10-28 전자부품연구원 생체신호 모니터링 시스템
KR101654914B1 (ko) 2014-08-12 2016-10-10 주식회사 고니메드 호흡 측정 장치 및 그를 이용한 호흡 측정 방법
KR101949799B1 (ko) * 2018-08-10 2019-02-20 주식회사 아이티아이씨앤씨 생체 신호 감지용 밀리미리파 레이더 센서를 활용한 보호 시설 관리 시스템
KR102139341B1 (ko) * 2020-04-14 2020-07-30 주식회사 중원인더스트리 감염병 확산 방지를 위한 출입통제 시스템
KR102148638B1 (ko) * 2020-04-24 2020-08-27 주식회사 웹게이트 외부 환경의 변화에 따른 발열 감지 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230037429A (ko) * 2021-09-09 2023-03-16 주식회사 신일테크 상황인식이 가능한 다각형 영역 측정 산업용 열화상 카메라
KR102548238B1 (ko) 2021-09-09 2023-06-27 주식회사 신일테크 상황인식이 가능한 다각형 영역 측정 산업용 열화상 카메라
CN113729655A (zh) * 2021-09-26 2021-12-03 重庆邮电大学 一种分离uwb雷达传感器接收信号的方法
CN113729655B (zh) * 2021-09-26 2024-03-08 重庆邮电大学 一种分离uwb雷达传感器接收信号的方法
CN117705290A (zh) * 2024-01-30 2024-03-15 北京实创上地科技有限公司 一种基于红外测温仪的测温方法和系统
CN118148479A (zh) * 2024-04-09 2024-06-07 广东振兴消防设备有限公司 一种用于防火卷帘门预警的智能视觉感知系统

Similar Documents

Publication Publication Date Title
KR102247752B1 (ko) 레이더 및 열화상 카메라를 이용한 게이트 장치
KR102148638B1 (ko) 외부 환경의 변화에 따른 발열 감지 장치
KR102241569B1 (ko) 게이트 장치를 이용한 통행자 모니터링 시스템
KR102128719B1 (ko) 스마트 헬스케어 매트리스를 이용한 건강관리 모니터링 시스템
KR102139047B1 (ko) 스마트 헬스케어 매트리스
Liu et al. Wireless sensing for human activity: A survey
Shah et al. Human activity recognition: Preliminary results for dataset portability using FMCW radar
Hijaz et al. Survey of fall detection and daily activity monitoring techniques
KR102139048B1 (ko) 스마트 헬스케어 장치를 이용한 동물의 건강관리 모니터링 시스템
KR102236461B1 (ko) 생체정보와 환경정보를 이용한 헬스케어 모니터링 시스템
CN106580294A (zh) 基于多模态成像技术的生理信号远程监控系统及应用
KR102330700B1 (ko) 비접촉식 레이더 센서 검증용 호흡 및 심박 모사장치
CN104257373A (zh) 基于云技术的人体健康智能监测装置及其监测方法
CN109239707A (zh) 行为状态检测设备及方法
JP2021513653A (ja) マルチチャネルレーダによる生活施設の監視
Joudeh et al. WiFi channel state information-based recognition of sitting-down and standing-up activities
Shah et al. Intrusion detection through leaky wave cable in conjunction with channel state information
Quwaider Real-time intruder surveillance using low-cost remote wireless sensors
Shukri et al. Device-free localization for human activity monitoring
WO2020071374A1 (ja) 状態監視装置および状態監視方法
Bahache et al. An inclusive survey of contactless wireless sensing: A technology used for remotely monitoring vital signs has the potential to combating covid-19
Arnaoutoglou et al. Acceleration-Based Low-Cost CW Radar System for Real-Time Elderly Fall Detection
KR20200059628A (ko) 스켈레톤 영상 학습 기반의 독거노인 행동 패턴 모니터링 방법
Guo et al. Emergency semantic feature vector extraction from WiFi signals for in-home monitoring of elderly
CN104991467B (zh) 环境探测装置及其目标识别跟踪方法、应急监控系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant