KR102593722B1 - 딥러닝 기반 재실자 맞춤형 대사량 예측시스템 및 예측방법 - Google Patents

Abstract

본 발명은 컴퓨터에 의해 수행되는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템으로서, 심박수 측정이 가능한 웨어러블 디바이스(10)로 측정된 재실자의 실시간 심박수를 전송받고, 재실자의 실시간 대사량을 산출하는 대사량 취득부(100); 카메라(20)를 통해 획득된 재실자의 실시간 활동 이미지를 전송받는 이미지 취득부(200); 상기 이미지 취득부(200)의 이미지에 대한 전처리를 하는 데이터 전처리부(300); 상기 대사량 취득부(100)의 실시간 대사량과 전처리된 상기 활동 이미지를 입력값으로 하는 딥러닝 학습을 통해 재실자의 실시간 대사량 산출모델을 생성하는 딥러닝 학습부(400); 및 상기 이미지 취득부(200)에서 실시간으로 취득되는 재실자의 활동 이미지를 상기 실시간 대사량 산출모델에 입력하여, 재실자의 실시간 대사량을 예측하는 딥러닝 예측부(500)를 포함한다.

Description

딥러닝 기반 재실자 맞춤형 대사량 예측시스템 및 예측방법{Deep learning-based In-person Customized Metabolic Rate Prediction System and Prediction Method}

본 발명은 대사량 예측시스템 및 예측방에 관한 것이다. 구체적으로는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템 및 예측방법에 관한 것이다.

대사량은 재실자의 활동에 따른 발열량을 말한다. 대사량은 재실자의 열적 쾌적을 평가하는데 사용되는 요소 중 하나이다.

일반적으로 대사량은 재실자의 예상치 못한 활동 때문에 값을 예측하기 어려워, 건축분야에서는 냉난방기 제어시 대사량을 고정 값으로 가정하고 있다. 따라서, 재실자의 실제 활동에 따른 대사량이 정확하게 반영되지 못하는 문제점이 있었다.

이러한 문제점을 개선하기 위하여, 한국등록특허공보 제10-2233157호는 딥러닝기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법을 제시하였다. 이러한 종래기술에서, 재실자의 실제 활동에 따른 활동량(대사량)을 산출하는 시도인 점에서 차이점이 있었다.

다만, 한국등록특허공보 제10-2233157호의 경우, 분류모델(Classification model)을 사용하여, 재실자의 활동을 구체적으로 분류하여 해당 활동 시 정해진 대사량 값이 산출되는 형식이다. 따라서, 여기서의 딥러닝은 재실자 이미지를 실내활동 포즈 분류에 사용된 것에 불과하고, 재실자의 포즈를 분류한 후, 특정 포즈에는 특정 활동량(대사량)을 고정값으로 적용하고 있었다. 따라서, 재실자의 수시로 바뀌는 실시간 동작 변화를 특정 값으로 고정하는 것은 실제 재실자의 행동 변화에 따른 자연스러운 대사랑 변화를 예측하지 못하는 문제점이 여전히 있다.

(문헌 1) 한국등록특허공보 제10-2233157호 (2021.03.23)

본 발명에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측시스템 및 예측방법은 다음과 같은 해결과제를 가진다.

첫째, 재실자의 실시간 심박수를 이용하여 실시간 대사량을 산출하고자 한다.

둘째, 재실자의 실시간 활동 이미지와, 실시간 대사량을 딥러닝 학습시켜 실시간 활동 이미지에 따른 실시간 대사량을 산출하고자 한다.

셋째, 재실자를 제외한 배경을 삭제하는 데이터 전처리를 통해, 재실자에 대한 활동 이미지에 집중하여 분석하고자 한다.

넷째, 딥러닝학습을 통해 도출된 실시간 활동변화 대사량 산출모델로 심박수 정보없이 실시간 활동 이미지만 입력하여 실시간 대사량을 예측하고자 한다.

본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명은 컴퓨터에 의해 수행되는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템으로서, 심박수 측정이 가능한 웨어러블 디바이스로 측정된 재실자의 실시간 심박수를 전송받고, 재실자의 실시간 대사량을 산출하는 대사량 취득부; 카메라를 통해 획득된 재실자의 실시간 활동 이미지를 전송받는 이미지 취득부; 상기 이미지 취득부의 이미지에 대한 전처리를 하는 데이터 전처리부; 상기 대사량 취득부의 실시간 대사량과 전처리된 상기 활동 이미지를 입력값으로 하는 딥러닝 학습을 통해 재실자의 실시간 대사량 산출모델을 생성하는 딥러닝 학습부; 및 상기 이미지 취득부에서 실시간으로 취득되는 재실자의 활동 이미지를 상기 실시간 대사량 산출모델에 입력하여, 재실자의 실시간 대사량을 예측하는 딥러닝 예측부를 포함하는 것을 특징으로 하는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템이다.

본 발명에 있어서, 상기 웨어러블 디바이스는 시계형 디바이스, 밴드형 디바이스, 안경형 디바이스, 목걸이형 디바이스, 헬멧형 디바이스 및 의복형 디바이스를 포함하며, 상기 카메라는 키넥트 카메라를 포함할 수 있다.

본 발명에 있어서, 상기 대사량 취득부는 전송받은 재실자의 실시간 심박수 정보와, 기 입력된 재실자의 성별, 체중 및 연령 정보를 이용하여 재실자의 실시간 대사량을 산출할 수 있다.

본 발명에 있어서, 상기 데이터 전처리부는 상기 이미지 취득부에서 취득된 활동 이미지에서, 재실자를 제외한 부분을 삭제할 수 있다.

본 발명에 있어서, 상기 카메라는 키넥트 카메라를 사용하며, 키넥트 카메라를 통해 RGB영상과 원근감을 표시하는 깊이(Depth) 영상을 획득하며, 획득한 깊이 영상을 토대로 입력된 영상에서 재실자를 검출하고, RGB 영상에 마스킹하여 재실자를 제외한 부분을 제거할 수 있다.

본 발명에 있어서, 상기 딥러닝 학습부의 실시간 대사량 산출모델은

ReLU를 수학식 1의 활성화 함수로 채택하고, 배치 정규화(Batch Normalization) 및 SGD 최적기를 채택하며, 상기 실시간 대사량 산출모델의 초기 목표함수는 수학식 2를 가질 수 있다.

본 발명에 있어서, 상기 실시간 대사량 산출모델은 아래 수학식 3의 정규화 함수를 추가하여, 수학식 4의 최종 목표함수를 가질 수 있다.

본 발명은 컴퓨터에 의해 수행되는 딥러닝 기반 재실자 맞춤형 대사량 예측방법으로서, 대사량 취득부가 심박수 측정이 가능한 웨어러블 디바이스로 측정된 재실자의 실시간 심박수를 전송받고, 재실자의 실시간 대사량을 산출하는 S100 단계; 이미지 취득부가 카메라를 통해 획득된 재실자의 실시간 활동 이미지를 전송받는 S200 단계; 데이터 전처리부가 상기 이미지 취득부의 이미지에 대한 전처리를 하는 S300 단계; 딥러닝 학습부가 상기 대사량 취득부의 실시간 대사량과 전처리된 활동 이미지를 입력값으로 하는 딥러닝 학습을 통해 재실자의 실시간 대사량 산출모델이 생성되는 S400 단계; 및 딥러닝 예측부가 상기 이미지 취득부에서 실시간으로 취득되는 재실자의 활동 이미지를 상기 실시간 대사량 산출모델에 입력하여, 재실자의 실시간 대사량을 예측하는 S500 단계를 포함할 수 있다.

본 발명에 따른 S100 단계에서, 상기 대사량 취득부는 전송받은 재실자의 실시간 심박수 정보와, 기 입력된 재실자의 성별, 체중 및 연령 정보를 이용하여 재실자의 실시간 대사량을 산출할 수 있다.

본 발명에 따른 S300 단계에서, 상기 데이터 전처리부는 상기 이미지 취득부에서 취득된 활동 이미지에서, 재실자를 제외한 부분을 삭제할 수 있다.

본 발명에 있어서, 상기 카메라는 키넥트 카메라를 사용하며, 키넥트 카메라를 통해 RGB영상과 원근감을 표시하는 깊이(Depth) 영상을 ??득하며, ??득한 깊이 영상을 토대로 입력된 영상에서 재실자를 검출하고, RGB 영상에 마스킹하여 재실자를 제외한 부분을 제거할 수 있다.

본 발명은 하드웨어와 결합되어, 청구항 8에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.

본 발명에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측시스템 및 예측방법은 다음과 같은 효과를 가진다.

첫째, 재실자의 실시간 심박수를 이용하여, 고정된 대사량이 아니라 실시간 대사량을 산출하는 효과가 있다.

둘째, 재실자의 실시간 활동 이미지와, 실시간 대사량을 딥러닝 학습시켜 실시간 활동 이미지에 따른 실시간 대사량을 산출하는 효과가 있다.

셋째, 재실자를 제외한 배경을 삭제하는 데이터 전처리를 통해, 재실자에 대한 활동 이미지에 집중하여 분석하는 효과가 있다.

넷째, 딥러닝학습을 통해 도출된 실시간 활동변화 대사량 산출모델로 심박수 정보없이 실시간 활동 이미지만 입력하여 실시간 대사량을 예측하는 효과가 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측시스템의 일 실시예를 나타낸다.
도 2는 딥러닝 학습과정 및 딥러닝 예측과정의 개요도이다.
도 3은 본 발명에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측방법의 순서도를 나타낸다.
도 4는 본 발명에 따른 데이터 전처리의 일 실시예를 나타낸다.
도 5a 내지 도 5c는 데이터 전처리부에서 재실자를 제외한 배경을 삭제하는 일 실시예로서, 도 5a는 입력영상, 도 5b는 재실자 영상, 도 5c는 배경제거 영상을 나타낸다.
도 6a 내지 도 6h는 재실자의 실제 다양한 활동의 일 실시예를 나타낸다.
도 7은 재실자의 다양한 활동 변화에 따른 실제 대사량값(Ground truth)과 인공지능 예측값(Predicted value)을 나타낸 예시다.
도 8은 도 5의 이미지를 대상으로 배경 제외 전, 후를 비교한 실시예를 나타낸다.
도 9는 인공신경망의 잔여 블록(Residual Block)의 일 실시예를 나타낸다.
도 10은 METNet 모델 구조의 일 실시예를 나타낸다.

이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.

본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.

본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.

본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

본 명세서에서 사용되는 방향에 관한 표현, 예를 들어 전/후/좌/우의 표현, 상/하의 표현, 종방향/횡방향의 표현은 도면에 개시된 방향을 참고하여 해석될 수 있다.

본 발명의 경우, 재실자의 심박수를 활용한 대사량 값을 선정하는 맞춤형 모델로서 실제 재실자의 대사량에 더욱 가까운 값을 제시한다.

재실자는 실내에서 다양한 활동들을 실시하는데, 인공지능 딥러닝 기술을 활용하여 학습을 실시하고, 학습된 내용을 바탕으로 행동별 대사량 값을 예측하며, 최종적으로 실시간 맞춤형 대사량 예측이 가능하다.

본 발명에서는 딥러닝 컴퓨터 비전 기술과 심박수 측정이 가능한 웨어러블디바이스를 활용하여, 재실자 맞춤형 대사량 검출 기술을 제안한다.

본 발명을 활용하면 일반화된 표 형식의 대사량 평균값이 아닌 재실자 맞춤형 대사량 값을 도출 가능하여 보다 나은 열환경 조성에 도움이 될 수 있다.

본 발명에서 활용가능한 키넥트(Kinect) 카메라는 거주자를 제외한 배경을 제외하는 기술을 내제 함으로써, 재실자의 공간(주변환경) 변화에 관여 받지 않고 높은 정밀도를 확보할 수 있다.

도 2는 딥러닝 학습과정 및 딥러닝 예측과정의 개요도이다. 도 3은 본 발명에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측방법의 순서도를 나타낸다.

전체 프로세스는 아래와 같다. 실시간으로 웨어러블 디바이스를 통해 대사량(MET)을 산출하며, 카메라를 통해 해당 이미지를 동시에 촬영한다. 촬영된 이미지와 해당 이미지에 따른 대사량 값을 학습(Deep Learing)한다. 이후, 웨어러블 디바이스 없이도 재실자의 활동에 따라 실시간으로 맞춤형 대사량이 산출될 수 있다.

이하에서는 도면을 참고하여 본 발명을 설명하고자 한다. 참고로, 도면은 본 발명의 특징을 설명하기 위하여, 일부 과장되게 표현될 수도 있다. 이 경우, 본 명세서의 전 취지에 비추어 해석되는 것이 바람직하다.

도 1은 본 발명에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측시스템의 일 실시예를 나타낸다.

도 1에 도시된 바와 같이, 본 발명에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측시스템은 대사량 취득부(100), 이미지 취득부(200), 데이터 전처리부(300), 딥러닝 학습부(400) 및 딥러닝 예측부(500)를 포함한다.

본 발명은 컴퓨터에 의해 수행되는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템으로서, 심박수 측정이 가능한 웨어러블 디바이스(10)로 측정된 재실자의 실시간 심박수를 전송받고, 재실자의 실시간 대사량을 산출하는 대사량 취득부(100); 카메라(20)를 통해 획득된 재실자의 실시간 활동 이미지를 전송받는 이미지 취득부(200); 상기 이미지 취득부(200)의 이미지에 대한 전처리를 하는 데이터 전처리부(300); 상기 대사량 취득부(100)의 실시간 대사량과 전처리된 상기 활동 이미지를 입력값으로 하는 딥러닝 학습을 통해 재실자의 실시간 대사량 산출모델이 생성되는 딥러닝 학습부(400); 및 상기 이미지 취득부(200)에서 실시간으로 취득되는 재실자의 활동 이미지를 상기 실시간 대사량 산출모델에 입력하여, 재실자의 실시간 대사량을 예측하는 딥러닝 예측부(500)를 포함한다.

본 발명에 따른 웨어러블(wearable) 디바이스(10)는 시계형 디바이스, 밴드형 디바이스, 안경형 디바이스, 목걸이형 디바이스, 헬멧형 디바이스 및 의복형 디바이스를 포함한다.

본 발명에 따른 대사량 취득부(100)는 심박수 측정이 가능한 웨어러블 디바이스(10)로 측정된 재실자의 실시간 심박수를 전송받고, 재실자의 실시간 대사량을 산출한다.

본 발명에 따른 대사량 취득부(100)는 전송받은 재실자의 실시간 심박수 정보와, 기 입력된 재실자의 성별, 체중 및 연령 정보를 이용하여 재실자의 실시간 대사량을 산출할 수 있다.

본 발명에 따른 '대사량'은 기초대사량과 활동대사량을 포함하는 총 대사량을 의미한다.

본 발명에서, 심박수를 이용한 대사량 변환은 국제 표준기구 ISO 8996의 대사량 평가 방법 Level 3 기준을 따른다.

대사량 평가식은 다음과 같다.

여기서, 은 대사량 값이다. 는 휴식시 대사량값이고, 단위는 W/이다. 는 심박수이다. 는 휴식시 열적 중립상태의 심박수이다. RM은 심박수의 증가를 나타낸 수이다.

RM 계산 식은 다음과 같다.

여기서, MWC는 최대 일 수용력(working capacity)을 말한다. 이때 성별, 나이, 체중이 계산된다. A는 나이이다. P 는 몸무게이다.

대사량 값이 W/㎡ 단위로 계산되면, ANSI/ASHRAE Standard 55 기준에 따라, 대사량 값은 1 MET는 58.2W/㎡로 비례하여 변환한다.

본 발명에 따른 이미지 취득부(200)는 카메라(20)를 통해 획득된 재실자의 실시간 활동 이미지를 전송받을 수 있다.

본 발명에 따른 카메라(20)는 키넥트(Kinect) 카메라를 포함한다. 키넥트 센서는 저가의 깊이 카메라로써, 실시간으로 깊이 정보뿐만 아니라 RGB 영상과 관절 추적 정보를 제공할 수 있다.

본 발명에 따른 데이터 전처리부(300)는 이미지 취득부(200)의 이미지에 대한 전처리를 할 수 있다.

도 4는 본 발명에 따른 데이터 전처리의 일 실시예를 나타낸다.

데이터 전처리는 이전 활동이 다음 활동의 MET에 미치는 영향을 최소화하기 위한 작업이다. 도 4의 실시예의 경우, 1개의 활동 당 앞의 1분과 뒤쪽 2분 동안의 데이터를 제거하였다.

도 5a 내지 도 5c는 데이터 전처리부에서 재실자를 제외한 배경을 삭제하는 일 실시예로서, 도 5a는 입력영상, 도 5b는 재실자 영상, 도 5c는 배경제거 영상을 나타낸다.

도 8은 도 5의 이미지를 대상으로 배경 제외 전, 후를 비교한 실시예를 나타낸다.

본 발명에 따른 데이터 전처리부(300)는 상기 이미지 취득부(200)에서 취득된 활동 이미지에서, 재실자를 제외한 부분을 삭제할 수 있다.

본 발명은 시각 주의(Visual Attention)를 활용하여 행동 인식 성능의 저하 원인이 되는 영상의 배경 부분 제거 기술을 활용한다. 시각 주의를 활용하여 배경을 제거한 영상을 본 연구에서 개발한 딥 러닝 모델에 사용하여 행동 인식 기술의 성능을 향상시킬 수 있다.

본 발명에서는 재실자의 행동 인식에 불필요한 정보를 담고 있는 배경 부분을 제거하기 위하여, 일 실시예로서 마이크로소프트(Microsoft)의 키넥트 카메라를 활용하였다. 도 5와 같이, 키넥트 카메라를 통해 RGB영상과 원근감을 표시하는 깊이(Depth) 영상을 획득하며, 획득한 깊이 영상을 토대로 입력된 영상에서 재실자를 검출하고, RGB 영상에 마스킹하여 재실자를 제외한 부분을 제거할 수 있다.

참고로, 본 명세서와 도면에서 이미지의 '배경'이라는 용어는 이미지에서 '재실자'를 제외한 부분을 의미한다.

본 발명에 활용된 키넥트 카메라는 재실자를 제외한 배경을 제외하는 기술을 적용함으로써, 재실자의 공간(주변환경) 변화에 관여 받지 않고 높은 정밀도를 확보할 수 있다.

본 발명에 따른 딥러닝 학습부(400)의 학습단계로서, 재실자는 다양한 활동을 실시하며, 카메라는 이 모습을 이미지 데이터로 획득하게 된다. 또한, 웨어러블디바이스를 통하여 얻은 재실자의 실시간 심박수 데이터, 재실자의 성별, 몸무게, 나이를 계산하여 실시간 대사량(MET)을 산출한다. 그 후 이미지와 대사량을 입력값으로 하여, 딥러닝 기술을 활용하여 해당 이미지에 대사량을 학습한다.

본 발명에 따른 딥러닝 예측부(500)의 예측단계의 경우, 웨어러블 디바이스 없이도, 카메라를 통해 얻어지는 실시간 이미지 만으로 재실자 맞춤형 대사량 산출하는 것이 가능하다.

도 2는 딥러닝 학습과정 및 딥러닝 예측과정의 개요도이다.

본 발명의 MET 예측방법은 도 2와 같다. 우선 센싱(Sensing) 단계에서 ㅋ키키넥트 카메라를 이용해 재실자의 다양한 생활 활동들을 관측하고 동시에 웨어러블 디바이스에서 재실자의 정보를 얻는다. AI(인공지능) 에서는 딥러닝(Deep Learning)을 활용하여 행동에 대한 이미지 정보와 대사량 정보를 학습한다. AI의 축적된 데이터 베이스를 기반으로 이후 웨어러블 디바이스의 도움 없이, AI는 비접촉식 센서인 키넥트 카메라만으로 대사량(MET: Metabolic Equivalent Task) 예측을 가능하게 한다.

도 3은 본 발명에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측방법의 순서도를 나타낸다.

구체적인 MET 예측방법은 도 3과 같다. 먼저 키넥트 카메라를 이용하여 재실자의 행동을 센싱하여 초당 5개의 이미지를 얻는다. 동시에 웨어러블 디바이스를 통해 심박수 데이터를 수집한다. 수집된 심박수 데이터와 실험자의 변하지 않는 정보인 성별(Gender), 체중(Weight) 및 연령(Age)을 입력 데이터로 이용하여 국제 대사량 기준 ISO 8996 Level 3 method에 맞게 MET 값을 계산한다. 이렇게 계산된 MET값과 키넥트 카메라를 통해 얻어진 이미지 파일을 인공지능 시스템(AI System)에서 학습(Deep learning)시킨다. 최종적으로, 웨어러블 디바이스의 정보 없이도 비 접촉 센서인 키넥트 카메라만으로 사람의 MET를 예측할 수 있다

본 발명에 따른 딥러닝 학습부(400)는 상기 대사량 취득부(100)의 실시간 대사량과 전처리된 상기 활동 이미지를 입력값으로 하는 딥러닝 학습을 통해 재실자의 실시간 대사량 산출모델을 생성할 수 있다.

도 9는 인공신경망의 잔여 블록(Residual Block)의 일 실시예를 나타낸다. 도 10은 METNet 모델 구조의 일 실시예를 나타낸다.

대사량 산출모델의 안정성을 향상시키기 위해, Rectified Linear Unit(ReLU)를 활성화 함수로 채택하고, 배치 정규화(Batch Normalization) 및 Stochastic Gradient Descent(SGD) 최적기를 채택했다.

ReLU는 비선형성을 갖기 때문에, Gradient Vanishing 및 Gradient Exploding 문제를 완화할 수 있다. 또한, 배치 정규화(Batch Normalization)를 이용함으로써 배치 정규화(Batch Normalization)에서 증명된 바와 같이 인공 신경망 내부의 공분산 이동 문제를 감소시킨다. 마지막으로, SGD 최적기를 채택했다.

이는 모델을 안정적이고 빠르게 학습하는데 매우 효과적이다. 전체 모델의 최초 목표함수는 L1 Loss(수학식 2)ld고, SGD 최적기는 목표함수를 최소한으로 줄이는 최적화 문제를 해결할 수 있다.

여기서, f(x)는 활성화 함수이고, x는 입력값이다.

여기서, L1Loss는 초기 목표함수이고, x는 입력값이고, n은 입력값의 개수(batchsize)이고, y는 레이블이고, 는 n개의 입력값 x 중에서 i번째 입력값이다.

하지만, 대사량 산출모델은 아직 학습에 사용된 데이터와 가장 유사한 예측을 하는 편향성을 가지고 있다. 산출모델은 목표함수에 의해 학습데이터의 중간값을 예측하여 평균 절대 오차를 최소화하는 방향으로 학습되어, 기대와는 다른 결과를 야기할 수 있다. 따라서, 수학식 3의 정규화 함수를 추가한다. 이 함수는 학습과정에서 모델이 비슷한 값으로 동시에 예측하면 불이익을 준다.

즉, 본 발명에 따른 실시간 대사량 산출모델은 아래 수학식 3의 정규화 함수를 추가하여, 아래 수학식 4의 최종 목표함수를 가질 수 있다.

여기서, REG는 정규화함수이고, n은 입력값의 개수(batchsize)이고, 는 n개의 입력값 x 중에서 i번째 입력값이고, 는 n개의 x평균이다.

따라서, 본 발명에 따른 최종 목표 함수는 다음 수학식 4와 같다.

여기서, O는 최종 목표함수이고, L1Loss는 초기 목표함수이고, REG는 정규화함수이다.

본 발명에 따른 METNet의 경우, 모든 CNN 층은 ReLU를 활성화 함수로 가지고 있다. 각 잔존블럭(Residual Block)의 첫번째 CNN 층은 다운 샘플링을 위해 필터의 이동간격을 2 픽셀로 한다. 그리고 배치 정규화(Batch Normalization)를 적용한다. 본 발명에 있어서, 학습 속도는 5e-5, 모멘텀은 0.9, 변수 감소비율이 5e-4인 SGD 최적기를 사용한다.

한편, 본 발명은 대사량 예측방법으로 구현될 수도 있다. 예측방법 발명은 전술한 예측시스템 발명과 실질적인 기술구성은 동일하나, 발명의 카테고리가 상이하다. 이에 중복되는 세부 내용은 예측시스템 발명에서 차용가능하며, 이하에서는 기술구성을 위주로 설명하고자 한다.

본 발명은 컴퓨터에 의해 수행되는 딥러닝 기반 재실자 맞춤형 대사량 예측방법으로서, 대사량 취득부(100)가 심박수 측정이 가능한 웨어러블 디바이스(10)로 측정된 재실자의 실시간 심박수를 전송받고, 재실자의 실시간 대사량을 산출하는 S100 단계; 이미지 취득부(200)가 카메라(20)를 통해 획득된 재실자의 실시간 활동 이미지를 전송받는 S200 단계; 데이터 전처리부(300)가 상기 이미지 취득부(200)의 이미지에 대한 전처리를 하는 S300 단계; 딥러닝 학습부(400)가 상기 대사량 취득부(100)의 실시간 대사량과 전처리된 활동 이미지를 입력값으로 하는 딥러닝 학습을 통해 재실자의 실시간 대사량 산출모델이 생성되는 S400 단계; 및 딥러닝 예측부(500)가 상기 이미지 취득부(200)에서 실시간으로 취득되는 재실자의 활동 이미지를 상기 실시간 대사량 산출모델에 입력하여, 재실자의 실시간 대사량을 예측하는 S500 단계를 포함한다.

S100 단계와 S200 단계는 실시간 정보를 취득하는 것이므로, 동시에 수행되는 것이 바람직하다.

S100 단계에서, 상기 대사량 취득부(100)는 전송받은 재실자의 실시간 심박수 정보와, 기 입력된 재실자의 성별, 체중 및 연령 정보를 이용하여 재실자의 실시간 대사량을 산출할 수 있다.

300 단계에서, 상기 데이터 전처리부(300)는 상기 이미지 취득부(200)에서 취득된 활동 이미지에서, 재실자를 제외한 부분을 삭제할 수 있다.

상기 카메라는 키넥트 카메라를 사용하며, 키넥트 카메라를 통해 RGB영상과 원근감을 표시하는 깊이(Depth) 영상을 ??득하며, ??득한 깊이 영상을 토대로 입력된 영상에서 재실자를 검출하고, RGB 영상에 마스킹하여 재실자를 제외한 부분을 제거할 수 있다.

상기 딥러닝 학습부(400)의 실시간 대사량 산출모델은 ReLU를 수학식 1의 활성화 함수로 채택하고, 배치 정규화(Batch Normalization) 및 SGD 최적기를 채택하며, 상기 실시간 대사량 산출모델의 초기 목표함수는 수학식 2를 가질 수 있다.

상기 실시간 대사량 산출모델은 아래 수학식 3의 정규화 함수를 추가하여, 아래 수학식 4의 최종 목표함수를 가질 수 있다.

한편, 본 발명은 컴퓨터프로그램으로 구현될 수도 있다.

구체적으로, 본 발명은 하드웨어와 결합되어, 본 발명에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 웨어러블 디바이스
20 : 카메라
100 : 대사량 취득부
200 : 이미지 취득부
300 : 데이터 전처리부
400 : 딥러닝 학습부
500 : 딥러닝 예측부

Claims (14)

1. 컴퓨터에 의해 수행되는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템으로서, 심박수 측정이 가능한 웨어러블 디바이스로 측정된 재실자의 실시간 심박수를 전송받고, 재실자의 실시간 대사량을 산출하는 대사량 취득부; 카메라를 통해 획득된 재실자의 실시간 활동 이미지를 전송받는 이미지 취득부; 상기 이미지 취득부의 이미지에 대한 전처리를 하는 데이터 전처리부; 상기 대사량 취득부의 실시간 대사량과 전처리된 상기 활동 이미지를 입력값으로 하는 딥러닝 학습을 통해 재실자의 실시간 대사량 산출모델을 생성하는 딥러닝 학습부; 및 상기 이미지 취득부에서 실시간으로 취득되는 재실자의 활동 이미지를 상기 실시간 대사량 산출모델에 입력하여, 재실자의 실시간 대사량을 예측하는 딥러닝 예측부를 포함하며,
   상기 딥러닝 학습부의 실시간 대사량 산출모델은 ReLU를 수학식 1의 활성화 함수로 채택하고, 배치 정규화(Batch Normalization) 및 SGD 최적기를 채택하며, 상기 실시간 대사량 산출모델의 초기 목표함수는 아래 수학식 2를 가지며,
   상기 실시간 대사량 산출모델은 아래 수학식 3의 정규화 함수를 추가하여, 아래 수학식 4의 최종 목표함수를 가지는 것을 특징으로 하는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템.
   [수학식 1]
   (여기서, f(x)는 활성화 함수이고, x는 입력값이다.)
   
   [수학식 2]
   (여기서, L1Loss는 초기 목표함수이고, x는 입력값이고, n은 입력값의 개수(batchsize)이고, y는 레이블이고, 는 n개의 입력값 x 중에서 i번째 입력값이다.)
   [수학식 3]
   (여기서, REG는 정규화함수이고, n은 입력값의 개수(batchsize)이고, 는 n개의 입력값 x 중에서 i번째 입력값이고, 는 n개의 x평균이다.)
   [수학식 4]
   (여기서, O는 최종 목표함수이고, L1Loss는 초기 목표함수이고, REG는 정규화함수이다.)
2. 청구항 1에 있어서,
   상기 웨어러블 디바이스는 시계형 디바이스, 밴드형 디바이스, 안경형 디바이스, 목걸이형 디바이스, 헬멧형 디바이스 및 의복형 디바이스를 포함하며,
   상기 카메라는 키넥트 카메라를 포함하는 것을 특징으로 하는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템.
3. 청구항 1에 있어서,
   상기 대사량 취득부는 전송받은 재실자의 실시간 심박수 정보와, 기 입력된 재실자의 성별, 체중 및 연령 정보를 이용하여 재실자의 실시간 대사량을 산출하는 것을 특징으로 하는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템.
4. 청구항 1에 있어서, 상기 데이터 전처리부는
   상기 이미지 취득부에서 취득된 활동 이미지에서, 재실자를 제외한 부분을 삭제하는 것을 특징으로 하는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템.
5. 청구항 4에 있어서,
   상기 카메라는 키넥트 카메라를 사용하며,
   키넥트 카메라를 통해 RGB영상과 원근감을 표시하는 깊이(Depth) 영상을 획득하며, 획득한 깊이 영상을 토대로 입력된 영상에서 재실자를 검출하고, RGB 영상에 마스킹하여 재실자를 제외한 부분을 제거하는 것을 특징으로 하는 딥러닝 기반 재실자 맞춤형 대사량 예측시스템.
6. 삭제
7. 삭제
8. 컴퓨터에 의해 수행되는 딥러닝 기반 재실자 맞춤형 대사량 예측방법으로서, 대사량 취득부가 심박수 측정이 가능한 웨어러블 디바이스로 측정된 재실자의 실시간 심박수를 전송받고, 재실자의 실시간 대사량을 산출하는 S100 단계; 이미지 취득부가 카메라를 통해 획득된 재실자의 실시간 활동 이미지를 전송받는 S200 단계; 데이터 전처리부가 상기 이미지 취득부의 이미지에 대한 전처리를 하는 S300 단계; 딥러닝 학습부가 상기 대사량 취득부의 실시간 대사량과 전처리된 활동 이미지를 입력값으로 하는 딥러닝 학습을 통해 재실자의 실시간 대사량 산출모델이 생성되는 S400 단계; 및 딥러닝 예측부가 상기 이미지 취득부에서 실시간으로 취득되는 재실자의 활동 이미지를 상기 실시간 대사량 산출모델에 입력하여, 재실자의 실시간 대사량을 예측하는 S500 단계를 포함하며,
   상기 딥러닝 학습부의 실시간 대사량 산출모델은 ReLU를 수학식 1의 활성화 함수로 채택하고, 배치 정규화(Batch Normalization) 및 SGD 최적기를 채택하며, 상기 실시간 대사량 산출모델의 초기 목표함수는 아래 수학식 2이며,
   상기 실시간 대사량 산출모델은 아래 수학식 3의 정규화 함수를 추가하여, 아래 수학식 4의 최종 목표함수를 가지는 것을 특징으로 하는 딥러닝 기반 재실자 맞춤형 대사량 예측방법.
   [수학식 1]
   (여기서, f(x)는 활성화 함수이고, x는 입력값이다.)
   
   [수학식 2]
   (여기서, L1Loss는 초기 목표함수이고, x는 입력값이고, n은 입력값의 개수(batchsize)이고, y는 레이블이고, 는 n개의 입력값 x 중에서 i번째 입력값이다.)
   [수학식 3]
   (여기서, REG는 정규화함수이고, n은 입력값의 개수(batchsize)이고, 는 n개의 입력값 x 중에서 i번째 입력값이고, 는 n개의 x평균이다.)
   [수학식 4]
   (여기서, O는 최종 목표함수이고, L1Loss는 초기 목표함수이고, REG는 정규화함수이다.)
9. 청구항 8에 있어서,
   S100 단계에서, 상기 대사량 취득부는 전송받은 재실자의 실시간 심박수 정보와, 기 입력된 재실자의 성별, 체중 및 연령 정보를 이용하여 재실자의 실시간 대사량을 산출하는 것을 특징으로 하는 딥러닝 기반 재실자 맞춤형 대사량 예측방법.
10. 청구항 8에 있어서,
    S300 단계에서, 상기 데이터 전처리부는 상기 이미지 취득부에서 취득된 활동 이미지에서, 재실자를 제외한 부분을 삭제하는 것을 특징으로 하는 딥러닝 기반 재실자 맞춤형 대사량 예측방법.
11. 청구항 10에 있어서,
    상기 카메라는 키넥트 카메라를 사용하며,
    키넥트 카메라를 통해 RGB영상과 원근감을 표시하는 깊이(Depth) 영상을 ??득하며, ??득한 깊이 영상을 토대로 입력된 영상에서 재실자를 검출하고, RGB 영상에 마스킹하여 재실자를 제외한 부분을 제거하는 것을 특징으로 하는 딥러닝 기반 재실자 맞춤형 대사량 예측방법.
12. 삭제
13. 삭제
14. 하드웨어와 결합되어, 청구항 8에 따른 딥러닝 기반 재실자 맞춤형 대사량 예측방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.