KR20200082689A - 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템 - Google Patents

딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템 Download PDF

Info

Publication number
KR20200082689A
KR20200082689A KR1020180173524A KR20180173524A KR20200082689A KR 20200082689 A KR20200082689 A KR 20200082689A KR 1020180173524 A KR1020180173524 A KR 1020180173524A KR 20180173524 A KR20180173524 A KR 20180173524A KR 20200082689 A KR20200082689 A KR 20200082689A
Authority
KR
South Korea
Prior art keywords
activity
occupant
deep learning
indoor
occupants
Prior art date
Application number
KR1020180173524A
Other languages
English (en)
Other versions
KR102233157B1 (ko
Inventor
문진우
최은지
박보랑
최영재
유용석
한지훈
Original Assignee
중앙대학교 산학협력단
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, 인천대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020180173524A priority Critical patent/KR102233157B1/ko
Publication of KR20200082689A publication Critical patent/KR20200082689A/ko
Application granted granted Critical
Publication of KR102233157B1 publication Critical patent/KR102233157B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템에 관한 것으로서, 그 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법은 카메라 센서에 의해 수집된 실내 이미지에서 재실자를 검출하고 재실자 이미지의 특징을 학습하여 재실자의 관절 좌표값을 산출하는 단계: 그 획득된 인체관절의 위치 좌표를 입력으로 하여 딥러닝(deep learning)을 통해 재실자의 실내활동 포즈를 분류하고 활동량(MET)을 획득하는 단계; 및 소정시간 단위로 분류되는 재실자의 실내활동 포즈들과 획득되는 활동량을 이용하여 실내 열 환경 제어에 필요한 재실자의 활동량을 산출하는 단계를 포함하여 이루어진다.
본 발명에 의하면, 실내의 쾌적 제어를 위한 PMV 제어법 도입 시 요구되는 재실자의 MET를 측정하기 위한 모델로 재실자 활동량 산출 모델을 사용하여 다른 환경변수와 함께 실내를 제어하고 쾌적 범위 만족도를 향상을 기대할 수 있다. 카메라 센서만 사용하고 재실자의 이미지를 분석하여 포즈와 활동량을 측정하기 때문에 재실자가 직접 기기를 조작하거나 부착해야 할 필요가 없어 적용성이 좋다. 또한 재실자의 활동에 따른 부수적 정보를 간접 측정하는 것이 아닌 실제 취하고 있는 행동을 판단하는 방법으로 오차를 감소시킬 수 있다.

Description

딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템{Method and system for calculating occupant activity using occupant pose classification based on deep learning}
본 발명은 실내 열 환경의 쾌적 제어에 관한 것으로서, 특히 실내 열 환경의 쾌적 제어에 필요한 재실자의 활동량을 산출하기 위한 재실자 포즈를 검출하는, 실내 열 환경 제어를 위한 딥러닝 기반 재실자 포즈 검출 및 이를 이용한 재실자 활동량 산출 방법 및 시스템에 관한 것이다.
건물 실내환경을 결정하는 요소는 온도, 습도, 기류 등을 고려하는 열 환경(Thermal Quality)을 비롯하여 실내 공기 오염 정도를 나타내는 실내 공기질(Indoor Air Quality, IAQ), 빛 환경(Light Quality), 음 환경(Acoustic Quality)으로 구성된다. 이 중 실내 열 환경은 실내환경을 결정하는 중요한 요소로서 재실자가 실내 환경으로부터 느끼는 열쾌적(Thermal Comfort)에 대한 만족도를 의미한다. 이러한 재실자의 열쾌적 만족도를 평가하기 위해 재실자의 열쾌적 상태를 통계적으로 처리한 지표를 열쾌적지표(Thermal Comfort Index)라 한다. 열쾌적지표에는 불쾌지수(DI ; Discomfort Index), 유효온도(ET; Effective Temperature), 작용온도(OT ; Operative Temperature), 신유효온도(ET*; New Effective Temperature), 평균온열감(Predictive Mean Vote, PMV) 등이 있다.
이 중 PMV는 1970년 P.O. Fanger에 의해 제안된 열쾌적지표로 다른 평가 지표와 달리 열환경에 영향을 미치는 6가지 온열 요소를 모두 고려하여 열쾌적을 평가한다. 6가지 온열 요소는 사람 주변의 환경적 변수인 온도, 습도, 기류속도 및 평균복사온도(MRT)와 개인적 변수인 활동량(Metabolic Rate, MET)과 착의량(Clothing Insulation, CLO)으로 구성된다. 이러한 통합 열쾌적지표인 PMV는 국제 표준 ISO 77303)으로 채택되어 사용되고 있다. PMV 값은 열적으로 중립인 상태를 0으로 하고 -3(cold) ~ 3(hot)의 7단계의 수치 척도로 재실자의 쾌적감을 정량적으로 제시하고 있으며 ISO에 제시된 국제 쾌적 만족 기준은 -0.5<PMV<0.5의 범위이다.
기존에 실내 열환경을 제어하기 위한 일반적으로 사용하던 방법은 실내공기 온도 및 습도 조절을 통한 제어로 개인적 요소를 고려하지 않는다. 이 때, PMV의 개인적 요소는 0.8~4.0 MET, 0~2 CLO의 적용 범위를 가지므로 온습도만으로 제어할 경우 개인적 요소의 차이가 발생할 가능성이 커서 통합적인 PMV 측면에서 쾌적하지 않을 수 있다. 예를 들어 여름철 사무실 건물에 대해 실내 온도 26도, 습도 40%로 실내 적정 온습도 범위를 만족하더라도 사무실에서 발생할 수 있는 MET 1.4(서서 서류작업), CLO 0.96(셔츠 및 자켓)일 때 PMV는 1.04로 PMV의 쾌적범위(-0.5~0.5)를 벗어난다. 즉, 기존의 온도 및 습도 제어와 같이 개인적 요소를 고려하지 않는다면 PMV 쾌적 기준 범위를 벗어날 수 있다는 한계가 있다.
이에 반해 PMV 기반 제어법은 온도 습도뿐만 아니라 기류속도, MRT, MET, CLO와 같은 열적 요소를 모두 고려하기 때문에 기존의 온습도 기반 제어보다 세밀하고 개인화된 열환경 조성이 가능하며 실내환경의 쾌적 만족도가 높게 측정될 수 있다. 하지만 PMV 제어는 개인적 요소의 정확한 측정이 수반되어야 한다. 실내 온열 쾌적을 위한 연구를 통해 하절기와 동절기 PMV 변화에 가장 큰 영향을 미치는 요소가 재실자의 MET임이 알려져 있다. 이에 따라 실제 PMV를 정확하게 산출하기 위해 개인적 요소 중 영향력이 큰 MET 측정이 필요하다. 재실자의 MET 측정에 있어 기존의 보편적인 적용방법은 재실자의 행동을 일반화한 후 가정하여 고정된 MET 값을 사용하는 것이다. 예를 들어 사무실 건물의 경우 실내에서 발생 가능한 1.2 MET(앉아서 작업)를 고정 값으로 가정할 수 있다. 하지만, 실제 MET는 이러한 고정된 값과 달리 다양한 값을 가질 수 있고 그 결과 실제 재실자 PMV는 고정 MET 값을 사용하여 산출된 PMV와 일치하지 않다는 문제점이 있다.
고정된 MET 값 적용의 한계 해결을 위해 MET를 측정하는 방법이 개발되었다. 기존에는 MET의 측정을 심박동기를 직접적으로 부착하거나 스마트폰을 사용하는 등 기기를 사용하여 재실자의 부가적인 정보를 간접적으로 측정하는 방법을 적용했다.
종래 기술로는 ‘3축 가속도 센서를 이용한 칼로리 소모량 산출 장치 및 그 방법’, ‘워치 타입의 이동 단말기 및 그 제어 방법’, ‘생체 데이터 측정 장치’, ‘생체 정보에 기반하여 장비를 제어하는 기법’, ‘Body motion detector’, ‘일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법’ 등이 있다. 하지만 종래 기술은 활동량 측정을 위해 부수적인 측정기기 및 정보를 사용하며 측정된 데이터를 기반으로 행동의 패턴을 파악하는 것에 국한된다. 즉, 실제 재실자의 행동을 보고 직접 판단하거나 구별하지 못한다.
기존에 활동량을 측정하는 방법은 이동식 단말기를 사용하거나 가속도 센서 등 기기를 사용하는 방법으로 제한된다. 이와 같은 경우 사람의 활동에 따른 부가적인 소음, 가속도 등의 정보를 기반으로 하기 때문에 정보가 정확하지 않거나 측정된 활동량과 실제 활동량 사이의 오차가 발생할 수 있다. 또한, 사람이 측정 단말기를 휴대하는 등의 개입이 요구되기 때문에 실제 환경의 적용성 및 정확도가 낮다.
간접적인 MET 측정은 오차가 발생할 가능성이 높고 정확도 향상에 한계가 있다. 또한 측정된 MET를 사용하는 PMV 역시 오차가 발생하게 된다. 따라서 실내 환경 제어 시 PMV를 직접적으로 적용하지 못하고 실내 쾌적을 평가하는 수단으로만 제한적으로 사용되었다.
그러므로 PMV를 제어의 수단으로 사용하기 위해서 재실자의 정확한 MET를 산출할 필요가 있다. 정확한 MET 산출을 위해서 기존의 가정된 MET 값을 적용하는 방법이 아닌 재실자의 실제 행동인식을 바탕으로 MET를 도출하는 근본적이고 건물 내재적인 방법 개발이 필요하다. 근본적인 MET 측정은 인간이 판단하는 것처럼 재실자의 행동을 인식해서 실내 활동을 구분할 수 있는 방법을 의미한다.
한국공개특허 공개번호 제2018-0130621호 한국등록특허 등록번호 제10-1842488호
본 발명이 해결하고자 하는 과제는 종래 기술의 한계를 해결하기 위해 창출된 것으로서, 실내 환경의 쾌적 제어를 위해 측정이 필요한 재실자의 활동량(Metabolic rate, MET)을 산출하기 위한 모델로 딥러닝 알고리즘을 적용하여 실내에서의 재실자의 포즈를 분류하여 재실자의 활동량을 산출하는, 실내 열 환경 제어를 위한 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템을 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법은, 카메라 센서에 의해 수집된 실내 이미지에서 재실자를 검출하고 재실자 이미지의 특징을 학습하여 재실자의 관절 좌표값을 산출하는 단계: 상기 획득된 인체관절의 위치 좌표를 입력으로 하여 딥러닝(deep learning)을 통해 재실자의 실내활동 포즈를 분류하고 활동량(MET)을 획득하는 단계; 및 소정시간 단위로 분류되는 재실자의 실내활동 포즈들과 획득되는 활동량을 이용하여 실내 열 환경 제어에 필요한 재실자의 활동량을 산출하는 단계를 포함하는 것을 특징으로 한다.
상기 재실자의 관절 좌표 값은 좌우 발목, 좌우 무릎, 좌우 골반, 좌우 손목, 좌우 팔꿈치, 좌우 어깨, 목, 얼굴로 이루어지는 14개의 관절에 대한 좌표 값인 것을 특징으로 한다. 상기 딥러닝은 완전 연결 신경망(fully-connected neural network)이고, 상기 딥러닝 은닉층은 활성화 함수로 ReLU 함수가 사용되며, 드롭아웃(dropout) 파라미터가 적용되고, 비용함수로 교차 엔트로피(Cross-Entropy) 비용함수가 사용되며, 최적화 알고리즘으로 Adam Optimizer가 사용되는 것을 특징으로 한다. 상기 실내 열 환경 제어에 필요한 재실자의 활동량 산출 단계는 일정 기간 동안 상기 딥러닝을 통해 출력되는 재실자의 실내 활동 포즈 및 활동량을 지속적으로 수집하는 단계; 및 상기 일정 기간 동안 상기 지속적으로 수집된 활동량들 중에서 빈도가 가장 높은 것을 대표값으로 설정하거나 수집된 활동량을 평균한 값을 대표값으로 설정하여 실내 열 환경 제어에 이용되게 하는 단계를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템은, 카메라 센서에 의해 수집된 실내 이미지에서 재실자를 검출하고 재실자 이미지의 특징을 학습하여 재실자의 관절 좌표값을 산출하는 관절좌표인식부: 상기 획득된 인체관절의 위치 좌표를 입력으로 하여 딥러닝(deep learning)을 통해 재실자의 실내활동 포즈를 분류하고 활동량(MET)을 획득하는 포즈분류 딥러닝부; 및 소정시간 단위로 분류되는 재실자의 실내활동 포즈들과 획득되는 활동량을 이용하여 실내 열 환경 제어에 필요한 재실자의 활동량을 산출하는 MET 산출부를 포함하는 것을 특징으로 한다.
상기 관절좌표인식부는 재실자의 좌우 발목, 좌우 무릎, 좌우 골반, 좌우 손목, 좌우 팔꿈치, 좌우 어깨, 목, 얼굴로 이루어지는 14개의 관절에 대해 좌표값을 산출하며, 상기 딥러닝부는 입력층, 복수의 은닉층 및 출력층으로 이루어지는 완전 연결 신경망(fully-connected neural network)인 것을 특징으로 한다. 상기 완전 연결 신경망은 활성화 함수로 ReLU 함수가 사용하며, 드롭아웃(dropout) 파라미터가 적용되며, 비용함수로 교차 엔트로피(Cross-Entropy) 비용함수가 사용된다. MET 획득부는 상기 딥러닝을 통해 출력되는 재실자의 실내 활동 포즈 및 활동량 데이터를 일정 기간 동안 지속적으로 입력 받고, 상기 지속적으로 입력 받은 활동량들 중에서 빈도가 가장 높은 것을 대표값으로 설정하거나 수집된 활동량을 평균한 값을 대표값으로 설정하여 실내 열 환경 제어에 이용되게 하는 것을 특징으로 한다.
본 발명에 따른 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템 에 의하면, 실내의 쾌적 제어를 위한 PMV 제어법 도입 시 요구되는 재실자의 MET를 측정하기 위한 모델로 재실자 활동량 산출 모델을 사용하여 다른 환경변수와 함께 실내를 제어하고 쾌적 범위 만족도를 향상을 기대할 수 있다. 카메라 센서만 사용하고 재실자의 이미지를 분석하여 포즈와 활동량을 측정하기 때문에 재실자가 직접 기기를 조작하거나 부착해야 할 필요가 없어 적용성이 좋다. 또한 재실자의 활동에 따른 부수적 정보를 간접 측정하는 것이 아닌 실제 취하고 있는 행동을 판단하는 방법으로 오차를 감소시킬 수 있다.
도 1는 본 발명에 따른 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템의 일실시예를 블록도로 나타낸 것이다.
도 2은 본 발명에 따른 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템의 포즈분류 딥러닝부의 일실시예로 완전연결(Fully Connected) 신경망을 나타낸 것이다.
도 3는 상기 포즈분류 딥러닝부의 일실시예로 완전연결(Fully Connected) 신경망의 은닉층(Hidden Layers)의 일실시예를 나타낸 것이다.
도 4는 본 발명에 따른 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템의 MET 산출부의 일실시예를 나타낸 것이다.
도 5는 본 발명에 따른 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법에 대한 일실시예를 흐름도로 나타낸 것이다.
도 6은 Mask R-CNN의 재실자 감지의 예를 나타낸 것이다.
도 7은 Residual 블록의 구조에 대한 일 예를 나타낸 것이다.
이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1는 본 발명에 따른 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템의 일실시예를 블록도로 나타낸 것으로서, 상기 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템의 일실시예는 실내 이미지 수집부(110), 관절좌표 인식부(120), 포즈분류 딥러닝부(130) 및 MET 산출부(140)를 포함하여 이루어진다.
실내 이미지 수집부(110)는 카메라 센서(미도시)를 이용하여 실내 이미지를 수집하며, 카메라 센서는 IoT기반의 SBC(Single Board Computer) 또는 아두이노 등을 이용할 수 있다.
관절좌표 인식부(120)에서 실내 이미지 수집부(110)을 이용하여 수집된 실내 이미지로부터 재실자를 검출하고, 재실자 이미지의 특징을 학습하여 재실자의 관절 좌표값을 산출하며, 일 예로 재실자의 좌우 발목, 좌우 무릎, 좌우 골반, 좌우 손목, 좌우 팔꿈치, 좌우 어깨, 목, 얼굴로 이루어지는 14개의 관절에 대해 좌표값을 산출할 수 있다. 센서를 통해 수집한 재실자의 이미지 특징을 학습하기 전 Mask R - CNN 함수를 적용하여 재실자의 이미지를 검출할 수 있다.
관절좌표 인식부(120)를 보다 구체적으로 설명하기로 하면, 관절좌표 인식부(120)는 실내활동 데이터의 원본 이미지를 입력받고 이미지 상의 재실자 관절 좌표를 추출한다. 관절좌표 인식부(120)는 학습 시에 각 이미지에 해당하는 정답좌표를 포함하는 지도학습을 수행한다. 이때, 모델에 이미지가 입력되기 전 이미지 상의 사람의 위치를 감지하는 전처리 과정을 먼저 수행할 수 있다. 사람을 감지할 때 사용한 함수는 Mask R-CNN으로 사물 인식 및 추출 함수이다. Mask R-CNN을 사용해 사람의 위치를 찾아 불필요한 정보를 담고 있는 주위 배경을 제거한다. 이 함수는 MET 산출을 위한 학습 시에 적용한 Boxing 과정을 처리해주는 역할로 좌표가 없는 이미지에서도 사람을 찾아 Boxing을 할 수 있다. 도 6은 Mask R-CNN을 통해 재실자를 감지하는 이미지 예시로 재실자만 포함된 새로운 이미지를 내보고 내보낸 이미지는 관절좌표 인식부(120)에 입력된다. 관절좌표 인식부(120)는 는 감지된 이미지를 128×128 크기로 변환하여 일정하게 입력받는다. 이때 모델의 학습 시 오차 측정 방법으로 수학식 1에 의해 Euclidean Distance를 계산한다. Euclidean Distance는 측정해야하는 14개의 좌표에 대하여 정답으로 주어진 재실자의 실제 좌표값과 모델의 학습 결과로 추출된 좌표값 사이의 거리를 계산한다. 거리의 계산은 수학식 1와 같이 두 점 p와 q 사이의 길이를 계산한다.
[수학식 1]
Figure pat00001
이때 i는 공간의 차원 수를 의미하며 관절좌표 인식부(120)는 2차원의 이미지를 다루므로 i = 2 이다. 관절좌표 인식부(120)의 파라미터 및 최적화 알고리즘은 조절하며 성능을 향상시킨다. 또한 관절좌표 인식부(120)는 이미지 데이터 학습을 위해 CNN (Convolutional Neural Network) 구조를 포함하는 ResNet을 활용할 수 있다. ResNet은 Microsoft Research 연구팀이 개발한 모델로 매년 개최되는 이미지 인식 및 관절인식 경진대회인 ImageNet and COCO 201543)의 주요 분야에서 우승한 모델이다. ResNet은 이미지뿐만 아니라 회귀 및 분류 문제를 해결하는데 우수한 성능을 보인다.
ResNet의 핵심이 되는 구조는 도 7의 Residual Block이다. 관절 인식 모델의 Residual Block은 3개의 Convolution Layer와 1개의 Batch Normalization, 1개의 ReLU로 구성된다. 이때 Residual Block은 입력층에 서 마지막 Convolution Layer까지 Short-cut이라는 선으로 연결되어 역전파 학습 시 오차 값이 중간에 소실되는 것을 방지하는 기능을 수행하고 성능을 향상시키는 역할을 한다.
포즈분류 딥러닝부(130)는 관절좌표 인식부(120)을 통해 획득된 인체관절의 위치 좌표를 입력으로 하여 딥러닝(deep learning)을 통해 재실자의 실내활동 포즈를 분류하고, 분류된 포즈에 해당하는 활동량(MET)을 획득한다. 도 2은 본 발명에 따른 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템의 포즈분류 딥러닝부(130)의 일실시예로 완전연결(Fully Connected) 신경망을 나타낸 것이다. 포즈분류 딥러닝부(130)는 이미지의 인체 관절 좌표와 포즈 레이블 정보를 가지는 데이터를 학습하여 관절 좌표가 나타내는 포즈와 MET를 출력한다.
본 발명의 실시예에서는 재실자의 실내 활동을 구분하기 위해 분류(Classification) 모델을 사용하여 재실자의 포즈를 분류한다. 분류모델의 학습은 지도학습으로 각 실내 활동에 레이블 번호를 부여하여 정답을 정해줄 수 있다. 즉 포즈분류 딥러닝부(130)는 인체 관절 14쌍의 (x,y) 좌표인 28개가 입력되고 실내활동 레이블을 결과로 내보낸다. 따라서 포즈분류 딥러닝부(130)는 도 2과 같이 딥러닝의 기본 구조인 입력층(210), 은닉층(220), 출력층(230) 구조를 가지며 입력 노드 28개, 출력 노드 1개로 구성된다. 즉, 본 발명의 일실시예로 포즈분류 딥러닝부(130)는 입력층(210), 은닉층(220) 및 출력층(230)으로 이루어지는 완전 연결 신경망(fully-connected neural network)으로 이루어질 수 있고, 입력층(210)은 관절 좌표 값 14쌍(28개)를 입력값으로 사용된다. 결과적으로 포즈분류 딥러닝부(130)를 통해 출력되는 재실자 포즈 정보로 MET 값 예측이 가능하다. 은닉층의 구조는 최적 모델을 찾기 위해 모델의 학습 시에 은닉층과 은닉 뉴런의 개수를 변경하며 진행하였기 때문에 모델 최적화 진행 후에 결정될 수 있다.
도 3는 포즈분류 딥러닝부(130)의 일실시예로 전 계층이 연결되어 있는 완전연결(Fully Connected) 신경망의 은닉층(Hidden Layers)의 일실시예를 나타낸 것이다. 도 3을 참조하면, 본 발명의 실시예에서는 은닉층(120)이 4개의 층, 은닉뉴런(Hidden Neuron)이 140뉴런 - 112뉴런 - 84뉴런 - 56 뉴런을 가진다.
일반적으로 신경망 모델은 데이터에 따라 유연하게 동작하기 때문에 조절해야하는 파라미터가 많다. 따라서 딥러닝 학습 시에 발생되는 느린 학습 속도, 학습 데이터의 과적합 및 그래디언트 소실 및 폭주(Gradient Vanishing or Exploding) 등의 문제를 해결하기 위한 모델 파라미터를 설정할 필요가 있다. 그 중 그래디언트 소실 및 폭주(Gradient Vanishing or Exploding) 문제는 모델 은닉층이 깊어질수록 발생하는 문제로 역전파 알고리즘에서 사용하는 미분 값이 사라지거나 폭주하는 현상을 말한다. 예를 들어 기존 활성화 함수인 계단함수를 사용할 경우 미분 값은 어떤 값이 들어오더라도 0이 되므로 그래디언트 값이 소실되어 학습이 수렴하지 않게 된다. 이러한 그래디언트 소실 및 폭주 문제 해결을 위한 설정은 설정 파라미터 중 활성화 함수, 가중치 초기화, 배치 정규화를 통하여 보완할 수 있다. 먼저 포즈분류 딥러닝부(130)의 활성화 함수는 ReLU (Rectified Linear Unit) 함수로 설정한다. ReLU는 2장의 음수 값을 받는 경우 0을 내보내고 양수 값을 받을 경우 양수 값 그대로를 내보내기 때문에 미분할 경우 값이 살아있기 때문에 그래디언트 소실 문제를 해결할 수 있다.
배치 정규화 기법은 활성화 함수의 출력값을 다시 정규화 해주는 작업으로 데이터의 분포를 치우치지 않게 하여 그래디언트 소실 및 폭발 문제를 해결할 수 있다. 이에 따라 MET 산출모델에도 배치 정규화를 적용할 수 있다. 그 외에도 딥러닝 모델은 종종 학습데이터에 대해 과적합(Overfitting)이 발생한다. 이 문제는 모델이 학습데이터에 대한 학습에 최적화되어 다른 데이터에 대한 일반성이 낮은 것을 의미한다. 과적합 문제 해결은 계층 간 뉴런의 연결을 무작위로 끊어주는 드롭아웃(Dropout) 파라미터를 설정하여 방지할 수 있다. 본 발명에 따른 실시예의 포즈분류 딥러닝부(130)에서는 각 층에서 30%의 뉴런의 연결을 끊어주며 연결을 하도록 설정한다.
모델의 최적화 알고리즘으로 Adam Optimizer를 사용할 수 있다. 초기의 최적화 알고리즘인 경사하강법은 일정한 간격으로 이동하며 학습하는 학습률(Learning Rate, LR)을 이용하기 때문에 학습 속도가 오래 걸릴 수 있다. 따라서 학습률은 고정값, 일정 스텝마다 학습률 크기를 줄이는 지수 기반등 학습 속도와 최적점을 고려해 적용하게 된다. 이때, Adam Optimizer는 적응형 모멘트 추정이라고도 부르며 경사하강법에 모멘텀(Momentum) 개념을 추가하여 이전에 계산한 그래디언트 값을 고려하는 가속도의 개념을 적용한 방법이다. Adam Optimizer는 최적화하는 동안 자동으로 학습률을 감소시켜 주는 알고리즘이기 때문에 초기 학습률을 지정해주면 스스로 학습률을 변경하며 학습을 수행한다
이상에서, 본 발명에 따른 완전 연결 신경망(130)은 활성화 함수로 ReLU 함수가 사용하며, 드롭아웃(dropout) 파라미터가 적용되며, 비용함수로 교차 엔트로피(Cross-Entropy) 비용함수가 사용되며, 최적화 알고리즘으로 Adam Optimizer가 사용된다.
본 발명의 실시예에서는 10가지의 실내활동 포즈를 구분할 수 있으며 각 포즈의 활동량 값을 함께 산출한다. 10가지의 각 활동량(MET) 값은 표 1과 같다.
실내활동 MET Units
Resting
sleeping 0.7
reclining 0.8
seated.quiet 1.0
standing.relaxed 1.2
office activities
reading.seated 1.0
writing 1.0
typing 1.1
filing.seated 1.2
filing.standing 1.4
walking about 1.7
MET 산출부(140)는 소정시간 단위로 분류되는 재실자의 실내활동 포즈들과 획득되는 활동량을 이용하여 실내 열 환경 제어에 필요한 재실자의 활동량을 산출한다. 도 4는 본 발명에 따른 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템의 MET 산출부의 일실시예를 나타낸 것이다.
도 4를 참조하면, MET 획득부(140)는 상기 딥러닝을 통해 출력되는 재실자의 실내 활동 포즈 및 활동량 데이터를 일정 기간 동안 지속적으로 입력 받는다. 예를 들어 MET 산출시간을 10초로 설정하여 10초 단위로 포즈분류 딥러닝부(130)을 통해 분류되는 포즈와 해당하는 MET 값을 15분 동안 즉 90번 산출할 수 있다.
상기 지속적으로 입력 받은 활동량들 중에서 빈도가 가장 높은 것을 대표값으로 설정하거나 수집된 활동량을 평균한 값을 대표값으로 설정하여 PMV 기반의 실내 열 환경 제어에 이용되게 할 수 있다.
도 5는 본 발명에 따른 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법에 대한 일실시예를 흐름도로 나타낸 것이다. 도 1 내지 도 5를 참조하여 본 발명에 따른 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법에 대한 일실시예를 설명하기로 한다.
먼저, 실내 이미지 수집부(110)를 통해 카메라 센서(미도시)를 이용하여 실내 이미지가 수집된다.(S510단계) 카메라 센서로는 IoT기반의 SBC(Single Board Computer) 또는 아두니노 등이 이용될 수 있다.
실내 이미지가 수집되면, 관절좌표 인식부(120)는 카메라 센서에 의해 수집된 실내 이미지에서 재실자를 검출하고 재실자 이미지의 특징을 학습하여 재실자의 관절 좌표값을 산출한다.(S520단계) 상기 재실자의 관절 좌표 값은 좌우 발목, 좌우 무릎, 좌우 골반, 좌우 손목, 좌우 팔꿈치, 좌우 어깨, 목, 얼굴로 이루어지는 14개의 관절에 대한 좌표 값으로 이루어질 수 있다.
재실자의 관절 좌표값이 산출되면, 포즈분류 딥러닝부(130)를 통해 상기 획득된 인체관절의 위치 좌표를 입력으로 하여 딥러닝(deep learning)을 통해 재실자의 실내활동 포즈를 분류하고 활동량(MET)을 획득한다.(S530단계)
상기 딥러닝은 완전 연결 신경망(fully-connected neural network)이고, 입력층(210), 은닉층(220), 출력층(230)을 포함하여 이루어지고, 은닉층(220)은 활성화 함수로 ReLU 함수가 사용되며, 드롭아웃(dropout) 파라미터가 적용되고, 비용함수로 교차 엔트로피(Cross-Entropy) 비용함수가 사용되며, 최적화 알고리즘으로 Adam Optimizer가 사용된다.
실내활동 포즈가 분류되고 상응하는 활동량이 획득되면 MET 산출부(140)는 소정시간 단위로 분류되는 재실자의 실내활동 포즈들과 획득되는 활동량을 이용하여 실내 열 환경 제어에 필요한 재실자의 활동량을 산출한다.(S540단계) 상기 S540단계는 일정 기간 동안 상기 딥러닝을 통해 출력되는 재실자의 실내 활동 포즈 및 활동량을 지속적으로 수집하는 단계와 상기 일정 기간 동안 상기 지속적으로 수집된 활동량들 중에서 빈도가 가장 높은 것을 대표값으로 설정하거나 수집된 활동량을 평균한 값을 대표값으로 설정하여 실내 열 환경 제어에 이용되게 하는 단계를 포함하여 이루어진다.
본 발명의 실시예는 지능형 모델을 사용하고 카메라 센서를 통해 수집된 재실자의 실내 이미지를 학습하여 실내활동 포즈를 분류하고 활동량을 산출한다. 이는 부가적인 정보 활용이 아닌 직접적인 이미지를 통해 실제 재실자의 활동을 판단하는 방법으로 지능형 판단 및 측정이 가능하다는 차별성을 지닌다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110 : 실내 이미지 수집부 120 : 관절좌표 인식부
130 : 포즈분류 딥러닝부 140 : MET 산출부
210 : 입력층 220 : 은닉층
230 : 출력층

Claims (10)

  1. 카메라 센서에 의해 수집된 실내 이미지에서 재실자를 검출하고 재실자 이미지의 특징을 학습하여 재실자의 관절 좌표값을 산출하는 단계:
    상기 획득된 인체관절의 위치 좌표를 입력으로 하여 딥러닝(deep learning)을 통해 재실자의 실내활동 포즈를 분류하고 활동량(MET)을 획득하는 단계; 및
    소정시간 단위로 분류되는 재실자의 실내활동 포즈들과 획득되는 활동량을 이용하여 실내 열 환경 제어에 필요한 재실자의 활동량을 산출하는 단계를 포함하는 것을 특징으로 하는, 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법.
  2. 제1항에 있어서, 상기 재실자의 관절 좌표 값은
    좌우 발목, 좌우 무릎, 좌우 골반, 좌우 손목, 좌우 팔꿈치, 좌우 어깨, 목, 얼굴로 이루어지는 14개의 관절에 대한 좌표 값인 것을 특징으로 하는, 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법.
  3. 제1항에 있어서, 상기 딥러닝은
    완전 연결 신경망(fully-connected neural network)인 것을 특징으로 하는, 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법.
  4. 제3항에 있어서, 상기 딥러닝 은닉층은
    활성화 함수로 ReLU 함수가 사용되며, 드롭아웃(dropout) 파라미터가 적용되고, 비용함수로 교차 엔트로피(Cross-Entropy) 비용함수가 사용되며, 최적화 알고리즘으로 Adam Optimizer가 사용되는 것을 특징으로 하는, 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법.
  5. 제1항에 있어서, 상기 실내 열 환경 제어에 필요한 재실자의 활동량 산출 단계는
    일정 기간 동안 상기 딥러닝을 통해 출력되는 재실자의 실내 활동 포즈 및 활동량을 지속적으로 수집하는 단계; 및
    상기 일정 기간 동안 상기 지속적으로 수집된 활동량들 중에서 빈도가 가장 높은 것을 대표값으로 설정하거나 수집된 활동량을 평균한 값을 대표값으로 설정하여 실내 열 환경 제어에 이용되게 하는 단계를 포함하는 것을 특징으로 하는, 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법.
  6. 카메라 센서에 의해 수집된 실내 이미지에서 재실자를 검출하고 재실자 이미지의 특징을 학습하여 재실자의 관절 좌표값을 산출하는 관절좌표인식부:
    상기 획득된 인체관절의 위치 좌표를 입력으로 하여 딥러닝(deep learning)을 통해 재실자의 실내활동 포즈를 분류하고 활동량(MET)을 획득하는 포즈분류 딥러닝부; 및
    소정 시간 단위로 분류되는 재실자의 실내활동 포즈들과 획득되는 활동량을 이용하여 실내 열 환경 제어에 필요한 재실자의 활동량을 산출하는 MET 산출부를 포함하는 것을 특징으로 하는, 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템.
  7. 제6항에 있어서, 상기 관절좌표인식부는
    재실자의 좌우 발목, 좌우 무릎, 좌우 골반, 좌우 손목, 좌우 팔꿈치, 좌우 어깨, 목, 얼굴로 이루어지는 14개의 관절에 대해 좌표값을 산출하는 것을 특징으로 하는, 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템.
  8. 제6항에 있어서, 상기 포즈분류 딥러닝부는
    입력층, 복수의 은닉층 및 출력층으로 이루어지는 완전 연결 신경망(fully-connected neural network)인 것을 특징으로 하는, 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템.
  9. 제8항에 있어서, 상기 완전 연결 신경망은
    활성화 함수로 ReLU 함수가 사용하며, 드롭아웃(dropout) 파라미터가 적용되며, 비용함수로 교차 엔트로피(Cross-Entropy) 비용함수가 사용되며, 최적화 알고리즘으로 Adam Optimizer가 사용되는 것을 특징으로 하는, 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템.
  10. 제6항에 있어서, MET 획득부는
    상기 딥러닝을 통해 출력되는 재실자의 실내 활동 포즈 및 활동량 데이터를 일정 기간 동안 지속적으로 입력 받고, 상기 지속적으로 입력 받은 활동량들 중에서 빈도가 가장 높은 것을 대표값으로 설정하거나 수집된 활동량을 평균한 값을 대표값으로 설정하여 실내 열 환경 제어에 이용되게 하는 것을 특징으로 하는, 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 시스템.
KR1020180173524A 2018-12-31 2018-12-31 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템 KR102233157B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180173524A KR102233157B1 (ko) 2018-12-31 2018-12-31 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180173524A KR102233157B1 (ko) 2018-12-31 2018-12-31 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200082689A true KR20200082689A (ko) 2020-07-08
KR102233157B1 KR102233157B1 (ko) 2021-03-26

Family

ID=71600728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180173524A KR102233157B1 (ko) 2018-12-31 2018-12-31 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102233157B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230032101A (ko) * 2021-08-30 2023-03-07 연세대학교 산학협력단 딥러닝 기반 재실자 맞춤형 대사량 예측시스템 및 예측방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06307700A (ja) * 1993-04-27 1994-11-01 Matsushita Electric Ind Co Ltd 人体活動量検出装置及び空気調和機の制御装置
JP2008112211A (ja) * 2006-10-27 2008-05-15 Toshiba Corp 姿勢推定装置及びその方法
KR20160138729A (ko) * 2015-05-26 2016-12-06 이화여자대학교 산학협력단 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
JP2017086184A (ja) * 2015-11-02 2017-05-25 国立大学法人埼玉大学 筋活動可視化システムと筋活動可視化方法
KR101842488B1 (ko) 2017-07-11 2018-03-27 한국비전기술주식회사 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템
KR20180130621A (ko) 2017-05-29 2018-12-10 전자부품연구원 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06307700A (ja) * 1993-04-27 1994-11-01 Matsushita Electric Ind Co Ltd 人体活動量検出装置及び空気調和機の制御装置
JP2008112211A (ja) * 2006-10-27 2008-05-15 Toshiba Corp 姿勢推定装置及びその方法
KR20160138729A (ko) * 2015-05-26 2016-12-06 이화여자대학교 산학협력단 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
JP2017086184A (ja) * 2015-11-02 2017-05-25 国立大学法人埼玉大学 筋活動可視化システムと筋活動可視化方法
KR20180130621A (ko) 2017-05-29 2018-12-10 전자부품연구원 서비스 공간 내 외현적 행동 반응 분석 장치 및 방법
KR101842488B1 (ko) 2017-07-11 2018-03-27 한국비전기술주식회사 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230032101A (ko) * 2021-08-30 2023-03-07 연세대학교 산학협력단 딥러닝 기반 재실자 맞춤형 대사량 예측시스템 및 예측방법

Also Published As

Publication number Publication date
KR102233157B1 (ko) 2021-03-26

Similar Documents

Publication Publication Date Title
Taramasco et al. A novel monitoring system for fall detection in older people
Yang et al. Real-time and contactless measurements of thermal discomfort based on human poses for energy efficient control of buildings
US11531311B2 (en) Droplet range control system and method for controlling range of droplets
Chernbumroong et al. Genetic algorithm-based classifiers fusion for multisensor activity recognition of elderly people
Wang et al. Fall detection based on dual-channel feature integration
CN108662728B (zh) 信息处理方法、信息处理装置以及记录介质
Naser et al. Adaptive thermal sensor array placement for human segmentation and occupancy estimation
Zhuang et al. Design of human activity recognition algorithms based on a single wearable IMU sensor
Li et al. Collaborative fall detection using smart phone and Kinect
Hemmatpour et al. Nonlinear Predictive Threshold Model for Real‐Time Abnormal Gait Detection
JP2018161462A (ja) 情報処理方法、情報処理装置、及びプログラム
Choi et al. Deep-vision-based metabolic rate and clothing insulation estimation for occupant-centric control
CN112101235A (zh) 一种基于老年人行为特征的老年人行为识别检测方法
Fan et al. Real-time machine learning-based recognition of human thermal comfort-related activities using inertial measurement unit data
Pinitkan et al. Abnormal activity detection and notification platform for real-time ad hoc network
CN110991478A (zh) 热舒适感模型建立方法和用户偏好温度的设定方法及系统
KR102233157B1 (ko) 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템
Postawka et al. Lifelogging system based on Averaged Hidden Markov Models: dangerous activities recognition for caregivers support
Bucarelli et al. Deep learning approach for recognizing cold and warm thermal discomfort cues from videos
Yang et al. Macro pose based non-invasive thermal comfort perception for energy efficiency
WO2021241293A1 (ja) 行動体特定システム
Zhao et al. Wear‐free indoor fall detection based on RFID and deep residual networks
Najmurrokhman et al. Development of falling notification system for elderly using mpu6050 sensor and short message service
Choi et al. Impact of thermal control by real-time PMV using estimated occupants personal factors of metabolic rate and clothing insulation
Feng et al. Genetic algorithm based optimization of deep neural network ensemble for personal identification in pedestrians behaviors

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant