KR102054821B1 - 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치 및 방법 - Google Patents

Abstract

본 발명은 사용자의 신체에 부착되어 상기 사용자의 감정 상태를 모니터링하는 자가구동형 모니터링 장치에 있어서, 상기 사용자의 신체로부터 열을 전달 받아 전력을 생산하는 전원부, 상기 전력을 공급받아 상기 사용자의 생체 신호를 측정하는 측정부 및 상기 생체 신호를 기반으로 적어도 하나의 생체 상태 특징 값을 추출하고, 적어도 하나의 상기 생체 상태 특징 값 각각을 이용하여 상기 사용자의 감정 상태를 판단하는 계산부를 포함하여 사용자의 생존과 감정 상태의 자가구동형 모니터링을 하는 자가구동형 모니터링 장치 및 방법을 제시한다.

Description

사용자의 생존과 감정 상태의 자가구동형 모니터링 장치 및 방법{A self-powered monitoring method for the survival and emotion of users}

본 발명은 사용자의 생존과 감정 상태를 모니터링하는 장치 및 방법에 관한 것으로서, 특히 개인 병사의 생존과 감정 상태를 모니터링하며 자가 구동이 가능한 모니터링 장치 및 방법에 관한 것이다.

개인 전투 체계는 병사가 최상의 무기체계라는 인식하에 병사의 치명성, 지휘 통제 능력, 생존성, 업무 지속성 및 기동성을 향상시킴으로써 미래 전장 환경에서 적보다 전투상의 우월성을 확보하는 것을 목적으로 하는 무기체계이다. 개인 전투 체계 중 생존 보호 시스템은 전장 환경에서 개인 병사의 생존성을 보장하고 전투력을 극대화하기 위해 환경 위협요소(온도, 바람, 화재 등), 전장 위협요소(탄도, 화염 및 열기, 화생방 등), 적 감시 등으로부터 병사를 통합적으로 방호하는 것으로 통합 헬멧, 방탄복, 피아식별기, 방독면, 보호의, 생체 센서 등으로 구성될 수 있다. 이중에 생체 센서를 통한 생체 신호 모니터링은 전투 중 발생할 수 있는 위협에 대한 무자각적인 대응방안 중의 하나로 병사 생존성 향상의 핵심요소라 할 수 있다.

현재까지 세계 각국에서 개인 전투 체계 개발의 일환으로 생체 신호 모니터링 관련 연구를 살펴보면, 다양한 생체 센서로 병사의 생체 신호를 측정하여 상기 병사의 활력 징후(심박, 호흡, 혈압 등)와 생리상태(수면, 스트레스 등)를 모니터링하는데 그치고 있으며, 병사가 전장에서 임무를 수행함에 있어 상기 병사의 감정 상태가 임무수행의 효율성에 미치는 상관관계를 고려할 때, 상기 생체 센서를 통해 병사의 생리 상태뿐만 아니라 감정 상태도 모니터링할 필요가 있다.

종래에는 사용자의 정서를 인식하기 위해서, 사전에 장시간의 노력을 통해 상기 사용자의 평상시 정서 상태에서 추출된 생리 신호와 특정 정서 상태에서 추출된 복수 개의 생리 신호에 의한 SVM 분류기의 학습 결과를 기반으로 한 데이터베이스의 구축이 필수적이다. 하지만, 다수의 병사에의 적용성과 사용의 즉각성을 고려할 때, 종래기술의 군수분야 적용은 사실상 불가능하다.

또한, 종래에는 사전에 구축된 사용자의 정서 혹은 감정에 대한 데이터베이스 없이 EEG 센서를 포함한 생체 센서를 통해 측정한 뇌파데이터를 이용하여 상기 사용자의 감정 상태를 감지한다. 상기 EEG 센서는 상기 사용자의 두부에 부착되어야 함을 고려할 때, 병사 생존과 감정 상태를 모니터링하는 방법 및 장치의 장착 위치를 상기 두부에 제한하게 되고 이는 상기 병사의 활동성을 제한하게 된다.

또한, 종래기술은 사용자의 정서 혹은 감정을 인식하기 위해 외부의 별도 전원장치를 필요로 한다. 군수분야에 있어 장시간 작전수행성과 휴대 군장 경량화 필요성을 고려할 때, 상기 모든 종래기술은 사용가능 시간과 휴대성 측면에서 개선될 필요가 있다.

또한, 현재까지 알려진 종래기술 중에 사용자의 감정 상태를 인식하면서 상기 사용자의 생존 여부와 생체 센서의 부착성까지 동시에 모니터링하고 이 모든 기능을 자가구동형으로 할 수 있는 기술은 없다.

개인적 편차를 가진 다수의 병사에의 적용이 가능해야 하고 감정 상태를 모니터링 함에 있어 즉각성이 확보되어야 하는 개인전투체계의 특성을 고려할 때, 현재까지 알려진 기술은 한계를 가지고 있으며, 병사의 감정 상태 모니터링은 거친 전장 환경에서 내구성이 확보되어야 하고, 휴대 군장의 경량화와 임무 지속성을 위해 별도의 외부전원이 필요하지 않은 자가구동형 모니터링이어야 한다. 추가적으로 병사의 감정 상태 모니터링에 있어 높은 정확도를 구현하기 위해 적어도 2종 이상의 생체 센서를 적용하는 것이 바람직하다. 따라서, 기존의 한계점을 극복한 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치 및 방법이 시급히 필요한 상황이다.

상기한 문제점을 해결하기 위해 안출된 것으로서, 본 발명은 사용자에 부착된 적어도 두 개의 생체 센서를 통해 사용자의 생존 여부뿐만 아니라 병사의 감정 상태를 실시간으로 모니터링하고, 별도의 외부전원 없이 구동 가능한 자가구동형 모니터링 장치 및 방법을 제공함에 있다.

상술한 목적을 달성하기 위하여, 본 발명은 사용자의 신체에 부착되어 상기 사용자의 감정 상태를 모니터링하는 자가구동형 모니터링 장치에 있어서, 상기 사용자의 신체로부터 열을 전달 받아 전력을 생산하는 전원부, 상기 전력을 공급받아 상기 사용자의 생체 신호를 측정하는 측정부 및 상기 생체 신호를 기반으로 적어도 하나의 생체 상태 특징 값을 추출하고, 적어도 하나의 상기 생체 상태 특징 값 각각을 이용하여 상기 사용자의 감정 상태를 판단하는 계산부를 포함하는 자가구동형 모니터링 장치를 제시한다.

바람직하게는, 상기 측정부는 상기 사용자의 피부를 통해 측정하는 피부 전도도 신호 및 상기 사용자의 심장 박동의 변화를 통해 측정하는 심박수 신호를 포함하는 상기 생체 신호를 측정한다.

바람직하게는, 상기 측정부는 일정 기간 동안 심장의 전기적 활동을 측정한 심전도 신호 및 혈관 층에서 혈액량 변화를 감지하여 측정된 광혈류측정 신호 중 적어도 하나의 신호를 이용하여 상기 심박수 신호를 생성하는 것을 특징으로 한다.

바람직하게는, 상기 피부 전도도 신호 또는 상기 심박수 신호의 취득 여부에 따라 상기 측정부의 부착 여부 또는 상기 사용자의 생존 여부를 확인하는 확인부를 더 포함하고, 상기 확인부는 상기 피부 전도도 신호를 통해 부착 여부를 확인하고, 상기 심박수 신호를 통해 상기 사용자의 생존 여부를 확인하는 것을 특징으로 한다.

바람직하게는, 상기 계산부는 상기 생체 신호를 분석하여 상기 생체 상태 특징 값을 추출하는 추출부, 상기 생체 상태 특징 값의 평균값 및 상기 생체 상태 특징 값의 표준 편차를 나타내는 표준 편차 값을 산출하는 산출부, 상기 산출부 및 현재 사용자의 상기 생체 상태 특징 값을 비교하여 비교 결과 값을 산출하는 비교부 및 상기 비교 결과 값을 통해 사용자의 감정 상태를 판단하는 감정 상태 판단부를 포함한다.

바람직하게는, 상기 추출부는 상기 생체 상태 특징 값 중 상기 심박수 신호를 통해 형성되는 상기 사용자의 심장 박동의 간격을 백분율로 나타내는 pNN 특징 값을 추출하는 pNN 추출부 및 상기 생체 상태 특징 값 중 상기 피부 전도도 신호의 부호가 변하는 비율을 나타내는 제로 크로싱 비율(zero crossing rate, ZCR) 특징 값을 추출하는 ZCR 추출부를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 산출부는 상기 pNN 특징 값의 평균을 나타내는 pNN 평균값 및 ZCR 특징 값의 평균을 나타내는 ZCR 평균값을 산출하고, 상기 pNN 특징 값의 표준 편차를 나타내는 pNN 표준 편차 값 및 ZCR 특징 값의 표준 편차를 나타내는 ZCR 표준 편차 값을 산출하는 것을 특징으로 한다.

바람직하게는, 상기 비교부는 상기 pNN 평균값과 상기 pNN 표준 편차 값이 결합된 pNN 기준 값과 현재 사용자의 pNN 특징 값을 비교하여 제1 비교 결과 값을 산출하고, 상기 ZCR 평균값과 상기 ZCR 표준 편차 값이 결합된 ZCR 기준 값과 현재 사용자의 ZCR 특징 값을 비교하여 제2 비교 결과 값을 산출하는 것을 특징으로 한다.

바람직하게는, 상기 pNN 기준 값은 (i) 상기 사용자의 상기 심박수가 기 설정된 제1 범위 내에 위치하는 제1 조건 및 (ii) 상기 pNN 특징 값이 기 설정된 제2 범위 내에 위치하는 제2 조건을 만족시키는 상황에서 획득된 값이며, 상기 ZCR 기준 값은 상기 제1 조건 및 상기 제2 조건을 만족시키는 상황에서 상기 피부전도도 신호를 통해 산출된 값인 것을 특징으로 한다.

바람직하게는, 상기 감정 상태 판단부는 상기 제1 비교 결과 값 및 상기 제2 비교 결과 값에 근거하여 상기 사용자의 현재 감정 상태를 화남, 놀람, 기쁨, 불행함, 중립, 만족, 슬픔, 피곤함, 즐거움으로 구분하는 것을 특징으로 한다.

바람직하게는, 상기 ZCR 추출부는 상기 피부 전도도 신호를 이산 웨이브릿 변환(DWT, Discrete Wavelet Transform)의 다해상도 분해를 통해 상기 전류 피부 전도도의 저주파 성질을 나타내는 토닉(tonic) 데이터 및 상기 피부 전도도 신호와 상기 tonic 데이터의 차이를 나타내는 페이식(phasic) 데이터를 포함하는 상기 피부 전도도 신호를 통해 상기 ZCR 특징 값을 추출하는 것을 특징으로 한다.

또한, 본 발명은 사용자의 신체에 부착되어 상기 사용자의 감정 상태를 모니터링하는 자가구동형 모니터링 방법에 있어서, 상기 사용자의 신체로부터 열을 전달 받아 전력을 생산하는 단계, 상기 전력을 공급받아 상기 사용자의 생체 신호를 측정하는 단계 및 상기 생체 신호를 기반으로 적어도 하나의 생체 상태 특징 값을 추출하고, 적어도 하나의 상기 생체 상태 특징 값 각각을 이용하여 상기 사용자의 감정 상태를 판단하는 단계를 포함하는 자가구동형 모니터링 방법을 제안한다.

바람직하게는, 상기 피부 전도도 신호 또는 상기 심박수 신호의 취득 여부에 따라 상기 측정부의 부착 여부 또는 상기 사용자의 생존 여부를 확인하는 단계를 더 포함하고, 상기 확인하는 단계는 상기 피부 전도도 신호를 통해 부착성을 확인하고, 상기 심박수 신호를 통해 상기 사용자의 생존 여부를 확인하는 것을 특징으로 한다.

바람직하게는, 상기 사용자의 감정 상태를 판단하는 단계는 상기 생체 신호를 분석하여 상기 사용자의 감정 상태를 판단하기 위한 생체 상태 특징 값을 추출하는 단계, 상기 생체 상태 특징 값의 평균값 및 상기 특징 값의 표준 편차를 나타내는 표준 편차 값을 산출하는 단계, 상기 산출부 및 현재 사용자의 상기 생체 상태 특징 값을 비교하여 비교 결과 값을 산출하는 단계 및 상기 비교 결과 값을 통해 사용자의 감정 상태를 판단하는 단계를 포함한다.

이상에서 설명한 바와 같이 본 발명의 일 실시 예에 따르면, 기존 감정 상태를 판단하는데 있어서 병사에게 얻어진 데이터 이외에 감정 상태와 생체 신호간의 관계에 관한 추가적 데이터베이스를 필요로 하는 것과는 다르게 기존 데이터베이스의 여부와 관련 없이 감정 상태를 판단 할 수 있다.

또한, 추가적으로 감정 상태 판단에 주로 사용되었던 EEG를 사용하지 않음으로써 생체 센서의 측정 위치가 자유롭게 선정 될 수 있다. 이는 각 사용 센서들의 최적 운용위치를 선정하여 최고의 효율을 산출 할 수 있는 센서 집합의 위치를 선정하여 운용 할 수 있다.

또한, 생체 신호의 취득 여부에 따른 부착성 유지 여부 및 생존성 유지 여부를 판단 하는 방법을 제안한다. 생체 센서는 생체 신호를 취득함에 있어서 병사의 신체에 잘 부착 되어 있는 것을 기본으로 한다. 하지만 기존 제품들은 병사가 사용함에 있어 부착이 잘 되어있는지에 대한 여부는 확인은 불가능하였다. 그로 인하여 센서의 활용에 있어 사용자들 사이에서도 성능의 차이가 발생 할 수 있었다. 하지만 부착여부를 확인 함으로써 사용하는 사용자와 무관하게 일정한 성능을 기대 할 수 있으며, 부착 여부와 연계하여 특정 신호가 취득 되지 않을 때 부착의 문제인지 병사의 신체 이상(사망)인지 판단하는 기준이 없었으며 이는 지휘부로 하여금 판단의 어려움을 야기 할 수 있었다. 하지만 취득 된 신호를 활용하여 이와 같은 문제를 해결 할 수 있다.

또한, 자가구동형 모니터링 전원부로 추가적인 배터리를 필요로 하지 않으며 장치 내부 전원장치에서 병사의 체온과 외기온도의 차이를 이용하여 장치 전원을 공급하는 것으로 군 내 작전 수행 시 장시간 작전 수행 측면과 개인 군장의 배터리를 위한 추가적 공간 확보의 불필요, 배터리 교체의 시간의 불필요 등 작전 수행에 있어 많은 이점을 취할 수 있다.

또한, 본 발명의 일 실시 예에 따르면, 본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

도 1a 및 도 1b는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 관계를 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치를 부착한 형상을 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 측정부에 포함되는 생체 센서의 예시를 나타낸 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 계산부를 나타낸 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 전원부를 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법에서 사용자의 상태를 판단하는 단계를 나타낸 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 심박수 신호를 통해 pNN 특징 값을 추출하는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법에서 사용자의 생존 여부 또는 감정 상태를 판단하는 과정을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 사용자의 생존 여부 또는 감정 상태의 심박수를 나타낸 그래프이다.
도 11은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법에서 전류 피부 저항 반응 센서를 통한 ZCR을 추출하는 과정을 나타내는 그래프이다.
도 12는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법에서 이산 웨이브릿 변환의 다해상도 분해를 하는 과정을 나타내는 도면이다.
도 13은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법에서 사용자의 감정 상태를 판단하는 과정을 나타내는 도면이다.
도 14는 본 발명의 일 실시 예에 따른 자가구동형 모니터링 장치를 통해 사용자의 생존과 감정 상태를 나타내기 위한 비교 결과 값을 나타낸 예시도이다.
도 15는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치에서 확인부의 판단하는 과정을 나타내는 흐름도이다.
도 16은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 생체 신호 측정을 위한 최적의 센서 조합을 나타낸 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

도 1a 및 도 1b는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 관계를 나타낸 도면이며, 도 2는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치를 부착한 형상을 개략적으로 도시한 도면이다.

도 1a, 도 1b, 및 도 2를 참조하면, 자가구동형 모니터링 장치(10)는 전원부(100), 측정부(200), 확인부(300) 및 계산부(400)를 포함한다.

자가구동형 모니터링 장치(10)는 군사 분야, 특히 개인 전투 체계 중 생존 보호 시스템의 개발에 적용하여 병사의 생존성 향상 및 작전 수행 능력 극대화가 가능하다. 또한, 민수 분야의 개인용 착용형 헬스 케어 시스템 개발에 적용하여 사용자의 건강, 감정 상태 및 헬스 케어 시스템의 부착성 확인 등에 이용될 수 있다.

자가구동형 모니터링 장치(10)는 병사가 최상의 무기 체계라는 인식하에 병사의 치명성, 지휘 통제 능력, 생존성, 임무 지속성 및 기동성을 향상시킴으로써, 전투상의 우월성을 확보할 수 있으며, 전장에서 임무를 수행함에 있어 병사의 감정 상태가 임무 수행의 효율성에 미치는 상관 관계를 고려하여 병사의 생리 상태뿐만 아니라 감정 상태도 모니터링 할 수 있다.

병사의 감정 상태 모니터링은 거친 전장 환경에서 내구성이 확보되어야 하고, 휴대 군장의 경량화와 임무 지속성을 위해 별도의 외부전원이 필요하지 않은 자가구동형 상태를 형성해야 한다.

전원부(100)는 사용자의 신체로부터 열을 전달 받아 사용자의 상태를 모니터링하기 위한 전력을 생산하며, 전력을 측정부(200)와 계산부(400)로 공급할 수 있다.

측정부(200)는 사용 직전 단기간에 사용자의 생체 신호를 측정할 수 있으며, 사용자의 신체에 부착되어 사용자의 생존 여부 또는 감정 상태를 모니터링 하기 위한 생체 신호를 생성할 수 있다.

본 발명의 일 실시 예에 따르면, 측정부(200)는 심박수(heart rate, HR) 센서(212) 및 전류 피부 저항 반응(galvanic skin response, GSR) 센서(218)를 포함한다.

본 발명의 일 실시 예에 따르면, 심박수(Heart Rate, HR)를 측정하는 센서는 예를 들어, 심전도(electrocardiogram, ECG) 센서(214) 또는 광혈류측정(photoplethysmography, PPG) 센서(216)가 있다.

확인부(300)는 GSR 신호 HR 신호의 취득 여부에 의해 부착성 유지 여부 또는 생존성 유지 여부를 확인할 수 있다. 확인부(300)는 GSR 신호를 통해 측정부(200)의 부착성 유지 여부를 확인할 수 있고, HR 신호를 통해 사용자의 생존성 유지 여부를 확인할 수 있다.

확인부(300)는 측정부(200)를 통해서 GSR 신호가 취득되지 않는다면 부착성이 유지되지 않는 것으로 판단하며, GSR 신호는 취득되나 HR 신호가 취득되지 않는다면 사용자가 사망한 것으로 판단할 수 있다. 확인부(300)는 측정부(200)를 통해서 GSR 신호 및 HR 신호를 둘 다 취득할 경우, 측정부(200)의 부착성이 유지되며 사용자의 생존성이 유지되고 있다고 판단한다.

계산부(400)는 측정부(200)에서 측정한 생체 신호를 분석하여 유의미한 생체 신호 변화를 실시간으로 감지하여 사용자의 감정 상태를 판단 할 수 있다.

계산부(400)는 측정부(200)에서 생성된 생체 신호를 기반으로 적어도 하나의 생체 상태 특징 값을 추출하며, 적어도 하나의 생체 상태 특징 값 각각을 이용하여 사용자의 감정 상태를 판단할 수 있다. 여기에서, 생체 상태 특징 값은 pNN 특징 값 및 제로 크로싱 비율(zero crossing rate, ZCR) 특징 값을 포함할 수 있다.

계산부(400)는 pNN 특징 값의 평균 및 ZCR 특징 값의 평균과 pNN 특징 값의 표준 편차 및 ZCR 특징 값의 표준 편차를 계산하여 사용자의 변화된 수치에 따라 감정 상태를 판단할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 계산부를 나타낸 블록도이다. 도 4를 참조하여 계산부(400)를 설명하면, 계산부(400)는 추출부(410), 산출부(420), 비교부(430) 및 감정 상태 판단부(440)를 포함한다.

추출부(410)는 측정부(200)에서 획득한 생체 신호들을 분석하여 생체 상태 특징 값들을 추출할 수 있다. 생체 상태 특징 값은 병사의 감정 상태를 판단하는데 사용된다.

본 발명의 일 실시 예에 따르면, 생체 상태 특징 값으로 계산되는 측정부(200)에서 획득한 값들의 생체 신호들은 HR 센서(212)에서 획득한 심박수 신호 또는 GSR 센서(218)에서 획득한 피부 전도도 신호일 수 있으며, 생체 상태 특징 값으로 계산되는 생체 신호는 반드시 이에 한정되는 것은 아니다.

본 발명의 일 실시 예에 따르면, 추출부(410)는 pNN 추출부(412) 및 ZCR 추출부(414)를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 추출부(410)는 pNN 추출부(412)에서 제1 과정 및 제2 과정을 거쳐 pNN 특징 값을 산출할 수 있다.

추출부(410)는 측정부(200)의 ECG 센서(214)를 통해 측정한 심전도 신호 또는 PPG 센서(216)를 통해 측정한 광혈류측정 신호를 기반으로 심박수(HR)를 계산할 수 있다.

제1 과정은 측정부(200)에서 측정한 ECG 데이터 또는 PPG 데이터의 R 파장에서 R 파장까지의 주기를 나타내는 RR 주기(RR interval) 또는 PPG 파장에서의 최고점에서 최고점까지의 주기를 나타내는 peak-peak 주기(peak-peak interval)를 사용하여 심박수로 계산하는 과정을 거칠 수 있다. 이때 사용되는 RR interval은 ECG의 구성요소인 QRS 파(QRS complex)에서 R 값에 해당하며, 다음 반복되는 QRS complex에서의 R 값 사이에서의 시간을 나타낼 수 있으며, 이를 이용하여 ECG에서 심박수를 추출할 수 있고, PPG의 경우 QRS complex 대신 peak 값이 존재하며 이를 이용하여 peak와 peak 사이의 시간인 peak-peak interval을 사용하여 심박수를 계산할 수 있다.

본 발명은 RR interval 또는 peak-peak interval의 주기가 길면 심박수가 낮아지고, RR interval 또는 peak-peak interval의 주기가 짧으면 심박수가 높아질 수 있다.

QRS complex는 심전도에서 나타나며, 심실의 활동을 기반으로 특징점이 속하는 구간을 형성할 수 있다. 이는 사용자의 심장 우심실과 좌심실의 탈분극과 큰 심실 근육의 수축에 해당할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 pNN 추출부(412)에서 ECG 신호의 데이터 또는 PPG 신호의 데이터를 통해 산출한 데이터는 감정의 사분면에서 긍정, 부정을 나타내는 Valance의 중립 상태를 규정하는데 사용된다.

pNN 추출부(412)는 사용자의 심장 박동의 변화율에 따라 상기 사용자의 생존 여부, 감정 상태 규정 또는 사용자의 밸런스(valence) 평가 요소로 사용하는 pNN(the proportion of NN divided by total number of NNs) 특징 값을 산출할 수 있다.

제2 과정에서 pNN은 심장 박동의 변화율을 나타내며, 사용자의 생존 여부, 감정 상태 규정 또는 사용자의 밸런스 평가 요소로 사용할 수 있다.

pNN은 ECG 데이터 또는 PPG 데이터에서 사용자의 생존 여부 또는 감정 상태 판단을 위해 추출하며, ECG RR interval이 가장 크거나 PPG peak-peak interval 사이 시간이 기 설정된 거리 이상인 지점을 백분율로 나타낸 것으로, 이때 pNN에 해당하는 구간의 개수를 측정 구간으로 나누어 백분율로 나타낼 수 있다.

본 발명의 일 실시 예에 따르면, pNN은 pNN50으로 형성될 수 있다. pNN50은 특정 시간 내에 연속되는 두개의 ECG RR interval 또는 연속되는 두개의 PPG peak-peak interval의 차이가 50msec 이상인 지점의 개수를 백분율로 나타낸 것이다.

pNN은 심장수의 규칙성에 대한 지표로 사용된다. 본 발명의 일 실시 예에 따르면, 이때 사용되는 생체 상태 특징 값은 감정의 사분면에서 감정 상태의 밸런스를 나타내는 지표이다.

본 발명의 일 실시 예에 따르면, 심박수가 60~100BPM 사이에 위치하고, pNN50이 18±13% 내에 위치하면 사용자가 생존해 있으며, 사용자의 감정 상태가 중립에 있다고 판단할 수 있으며, 사용자의 감정 상태의 중립 판단은 반드시 이에 한정되는 것은 아니다.

추출부(410)는 ZCR 추출부(414)에서 GSR 센서(218)를 통해 형성된 피부 전도도 신호를 처리하여 사용자의 흥분으로 인한 자극의 정도를 나타내고, 상기 피부 전도도 신호의 부호가 바뀌는 비율을 나타내는 제로 크로싱 비율(zero crossing rate, ZCR) 특징 값을 통해 생체 상태 특징 값을 추출할 수 있다.

본 발명의 일 실시 예에 따르면, 산출부(420)는 pNN 기준 값 산출부(422) 및 ZCR 기준 값 산출부(424)를 포함할 수 있다.

pNN 기준 값 산출부(422)는 pNN 특징 값의 평균을 나타내는 pNN 평균값 및 pNN 특징 값의 표준 편차를 나타내는 pNN 표준 편차 값을 산출하며, 이를 통해 pNN 기준 값을 형성할 수 있다.

상기 pNN 기준 값은 (i) 상기 사용자의 상기 심박수가 기 설정된 제1 범위 내에 위치하는 제1 조건 및 (ii) 상기 pNN 특징 값이 기 설정된 제2 범위 내에 위치하는 제2 조건을 만족시키는 상황에서 획득된 값이다.

본 발명의 일 실시 예에 따르면, pNN 기준 값 획득은 제1 범위가 심박수가 60~100BPM 내에 위치할 수 있으며, 상기 제2 범위가 5 ~ 31% 내에 위치할 때 획득될 수 있다. pNN 기준 값 획득의 제1 범위 및 제2 범위는 반드시 이에 한정되는 것은 아니며, 상황에 따라 변화할 수 있다.

ZCR 기준 값 산출부(424)는 ZCR 특징 값의 평균을 나타내는 ZCR 평균값 및 ZCR 특징 값의 표준 편차를 나타내는 ZCR 표준 편차 값을 산출하며, 이를 통해 ZCR 기준 값을 형성할 수 있다.

상기 ZCR 기준 값은 상기 제1 조건 및 상기 제2 조건을 만족시키는 상황에서 상기 피부전도도 신호를 통해 산출된 값일 수 있다.

비교부(430)는 산출부(420)에서 산출한 결과를 현재 사용자의 생체 상태 특징 값과 비교하여 통해 사용자의 감정 상태를 판단할 수 있다.

비교부(440)는 pNN 평균값 및 pNN 표준 편차 값과 현재 사용자의 pNN 특징 값을 비교하여 제1 비교 결과 값을 산출하고, ZCR 평균값 및 ZCR 표준 편차 값과 현재 사용자의 ZCR 특징 값을 비교하여 제2 비교 결과 값을 산출할 수 있다.

제1 비교 결과 값은 pNN 평균값 및 pNN 표준 편차 값으로 형성되는 기준 값과 현재 사용자에 의해 측정된 pNN 특징 값을 비교한 결과를 나타낸다. 비교부(440)는 제1 비교 결과 값을 통해 사용자의 감정 상태가 다수 결정될 수 있다.

제2 비교 결과 값은 ZCR 평균값 및 ZCR 표준 편차 값으로 형성되는 기준 값과 현재 사용자에 의해 측정된 ZCR 특징 값을 비교한 결과를 나타낸다. 비교부(440)는 제2 비교 결과 값을 통해 다수의 사용자 감정 상태가 결정될 수 있다.

감정 상태 판단부(440)는 비교부(430)에서 산출한 제1 비교 결과 값 및 제2 비교 결과 값에 근거하여 중복되는 사용자의 감정 상태를 통해 사용자의 현재 감정 상태를 판단할 수 있다.

본 발명의 일 실시 예에 따르면, 감정 상태 판단부(440)는 상기 추출부(410)에서의 제1 과정 및 제2 과정을 통해 사용자의 생존 여부 또는 감정 상태로 판단할 수 있는 상기 심박수가 60~100BPM 사이 및 pNN50이 18±13% 내에 위치하면 사용자의 생존 여부 또는 사용자의 감정 상태가 중립에 있다고 판단하여 생존 여부 또는 감정 상태의 데이터를 수집할 수 있다. 사용자의 감정 상태의 데이터는 pNN50 및 GSR ZCR(zero crossing rate)를 통해 수집할 수 있다. ZCR 특징 값은 ZCR 추출부(410)에서 GSR 센서(218)를 통해 추출한 GSR 신호를 처리하여 산출할 수 있다.

pNN 특징 값은 추출부(410)에서의 제2 과정을 통해 획득할 수 있으며, 이 때의 ZCR 특징 값은 ZCR 추출부(414)에서 GSR 데이터 처리 과정을 통하여 추출할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 과정을 통해 추출된 데이터들은 생존 여부 또는 감정 상태의 데이터 값으로 측정된 사용자의 생존 여부 또는 감정 상태를 확인하기 위한 심장 박동의 변화율을 나타내는 pNN50 특징 값의 평균인

과 측정된 평소 사용자의 감정 상태를 판단하는 ZCR 특징 값의 평균인

로 저장될 수 있다.

본 발명의 일 실시 예에 따르면, 감정 상태 판단부(440)에서 감정 상태 평가는 상기 측정되어 저장된

및

과 새로 측정 된 데이터를 가지고 이루어질 수 있다. 측정된 pNN50이

±

범위를 벗어날 경우 유의미한 감정 상태의 변화로 판단한다. pNN50의 경우 감정의 사분면 중 밸런스를 판단하는 지표로 사용되며, ZCR의 경우도 측정된 ZCR이

±

를 벗어난 값을 가진다면 감정의 사분면에서 arousal 변화를 판단하는 지표로 사용될 수 있다.

본 발명의 일 실시 예에 따르면, 자가구동형 모니터링 장치(10)는 사용자의 가슴 부근에 위치할 수 있으며, HR 센서(212) 및 GSR 센서(218)를 포함하는 측정부(200)에서 생체 신호를 측정할 수 있다.

본 발명의 일 실시 예에 따르면, 본 발명은 뇌전도(Electroencephalogram, EEG) 센서를 사용하지 않기 때문에 작전의 종류 및 사용자의 작전 환경에 따라 제약 없이 센서의 운용위치로 사용자의 신체 전체 부위가 운용 위치가 될 수 있으며, 측정부(200)는 각 센서들의 최적 운용 위치에 따라 사용자의 신체 부위에 위치한다.

본 발명의 일 실시 예에 따르면, 생체 센서를 최적의 운용 위치에 부착하여 생체 신호를 측정하기 위해서, 심박수를 측정하는 ECG 센서(214)는 가슴과 겨드랑이와 같은 심장 근처에 위치한 신체 중심부가 최적 운용 위치이다. 또한, PPG 센서(216)는 귀와 엄지 손가락과 같은 신체 말단 부위가 최적 운용 위치이다. GSR 센서는 손가락과 발 안쪽과 같은 부위가 최적 운용 위치이다.

본 발명의 일 실시 예에 따르면, 측정부(200)는 최적 운용 위치에 따라 사용자의 신체 부위에 위치하는 것으로 도시하였으나 반드시 이에 한정되는 것은 아니며, 사용자의 편의에 따라 측정부(200)의 위치는 변화할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 측정부에 포함되는 생체 센서의 예시를 나타낸 블록도이다.

심박수(Heart Rate, HR) 센서(212)는 심장의 수축 횟수로 측정한 심장 박동의 속도를 감지하며, 심장 박동의 변화를 통해 생존 상태 또는 감정 상태를 감지하는 심박수를 나타내는 심박수 신호를 생성할 수 있다. HR 센서(212)는 심장이 혈액을 전신에 보낼 때에 고동치는 속도, 즉 매 분당 박동 수를 측정한다.

심전도(Electrocardiogram, ECG) 센서(214)는 피부 위에 놓인 전극을 사용하여 일정 시간 동안 심장의 전기 활동을 기록하며, 심장 문제를 감지하는 심전도 신호를 생성할 수 있다. ECG 센서(214)는 감정 상태를 측정하거나 손상 범위 진단 시 이용되고 QRS 군을 포함한다. QRS 파(QRS complex)는 심실의 탈분극(수축)과정에서 형성된다.

광혈류측정(Photoplethysmography, PPG) 센서(216)는 조직의 미세 혈관 층에서 혈액량 변화를 감지하며, 혈액량 감소 또는 순환 조건을 감지하는 광혈류측정 신호를 생성할 수 있다. PPG 센서(216)는 피부로의 혈액 흐름이 여러 다른 생리적 시스템에 의해 조절될 수 있기에, 호흡, 혈액량 감소 또는 기타 순환기의 생태를 확인할 수 있다.

전류 피부 저항 반응(Galvanic Skin Response, GSR) 센서(218)는 피부를 통해 측정되는 전기적인 활동을 측정하며, 정서적인 상태를 감지하는 피부 전도도 신호를 생성할 수 있다. GSR 센서(218)는 감정적 상태의 강도를 반영하는 땀샘 활동의 변화를 측정할 수 있으며, 감정적인 반응의 변화로 인해 땀샘의 활동이 증가할 수 있다.

본 발명의 일 실시 예에 따르면, 자가구동형 모니터링 장치(10)는 측정부(200)에서 상기 사용자의 생존 여부 및 감정 상태를 측정하는 생체 센서로 HR 센서(212) 및 GSR 센서(218)를 포함할 수 있다. 측정부(200)는 사용자의 감정 상태 모니터링에 있어 높은 정확도를 구현하기 위해 자가구동형 모니터링 장치(10)에 적어도 두 개의 센서를 포함하여 위치할 수 있다.

본 발명에서 측정부(200)는 HR 센서(212) 및 GSR 센서(218)를 포함하는 것으로 도시하고 있으나 반드시 이에 한정되는 것은 아니며, HR 센서(212)는 예를 들어 ECG 센서(214) 또는 PPG 센서(216)가 있으며, 필요에 따라 사용자의 생존 여부 또는 감정 상태를 모니터링 할 수 있는 생체 센서를 더 포함할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 전원부를 나타낸 도면이다.

본 발명의 일 실시 예에 따른 자가구동형 모니터링 장치(10)는 자가구동형 전원부(100)를 가진다. 전원부(100)는 사용자의 체온과 외기온도의 차를 이용한 열전소자 기반 효과를 사용하여 전력을 생산할 수 있다.

전원부(100)는 열전소자를 포함하여 다른 배터리를 사용하는 장치와는 다르게 장시간 운용을 위한 추가적인 배터리가 필요 없으며 이는 장시간 작전 수행에 용이하며 사용자의 휴대 군장의 경량화에 유리한 효과를 형성할 수 있다.

본 발명의 일 실시 예에 따르면, 도 5에 도시된 바와 같이 전원부(100)는 열을 전달하고 전기 흐름은 제한하는 절연층, 상기 절연층에 전기적으로 연결되는 정류 소자들, 상기 정류 소자의 양단에 위치하는 커패시터를 포함할 수 있다. 여기에서 정류 소자는 예를 들어, P형 반도체, N형 반도체 등이 있다. 커패시터는 체온과 외부 온도의 차이에 따라 전하가 대전되며, 이를 통해 대전된 커패시터는 자가구동형 모니터링 장치(10)를 구동하기 위한 전원으로 사용될 수 있다.

본 발명의 일 실시 예에 따르면, 전원부(100)는 예를 들어 열전소자일 수 있다. 도 5를 참조하면, 도 5의 열전소자는 절연층, P형 반도체, N형 반도체 및 커패시터를 포함할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법을 나타낸 흐름도이며, 도 7은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법에서 사용자의 상태를 판단하는 단계를 나타낸 흐름도이다.

자가구동형 모니터링 장치(10)는 사용자의 신체 열을 기반으로 전원부(100)에서 전력을 생산하며(S100), 생산된 상기 전력을 측정부(200)와 계산부(400)로 공급하여 자체적으로 전력을 생산하여 구동된다(S200). 측정부(200)는 사용자의 신체에 부착되어 사용자의 생존 여부 또는 감정 상태를 모니터링 할 수 있으며, 측정부(200)의 다수의 센서를 통해 모니터링 하기 위한 생체 신호를 측정할 수 있다(S300).

자가구동형 모니터링 장치(10)의 확인부(300)는 측정부(200)에서 생성한 피부 전도도 신호 또는 심박수 신호의 취득 여부를 확인할 수 있으며, GSR 신호를 통해 부착성을 확인하고, HR 신호를 통해 상기 사용자의 생존 여부를 확인할 수 있다(S400).

단계 S400은 측정부(200)의 부착이 확인되지 않거나 사용자가 생존하지 않았을 경우, 자가구동형 모니터링 장치(10)의 구동이 중단될 수 있으며, 측정부(200)가 부착되어 있으며, 사용자가 생존되어있을 경우 다음 단계로 넘어갈 수 있다.

자가구동형 모니터링 장치(10)의 감정 상태 판단부(440)는 단계 S200에서 생성한 생체 신호를 통해 생체 상태 특징 값을 추출하여 사용자의 감정 상태를 판단할 수 있다(S500).

단계 S500은 추출부(410)에서 측정부(200)에서 획득한 생체 신호를 분석하여 pNN 특징 값 및 ZCR 특징 값을 추출할 수 있다(S510).

pNN 기준 값 산출부(422)는 pNN 추출부(412)에서 추출한 pNN 특징 값의 평균값 및 표준편차를 나타내는 pNN 표준 편차 값을 산출할 수 있다.

ZCR 기준 값 산출부(424)는 ZCR 추출부(414)에서 ZCR 특징 값 및 표준 편차를 나타내는 ZCR 표준 편차 값을 산출할 수 있으며(S520), 단계 S520에서 산출한 결과를 현재 사용자의 생체 상태 특징 값과 비교를 통해 제1 비교값 및 제2 비교값을 획득할 수 있다(S530).

감정 상태 판단부(440)는 제1 비교값 및 제2 비교값을 통해 조건에 맞는 사용자의 감정 상태를 판단할 수 있다(S600). 본 발명은 사용자의 생리 상태뿐만 아니라 감정 상태도 실시간으로 모니터링 할 수 있다.

도 8은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 심박수 신호를 통해 pNN 특징 값을 추출하는 도면이다.

본 발명의 일 실시 예에 따르면, 도 8은 심박수 신호를 통해 pNN 특징 값을 추출하는 예시이다.

본 발명의 일 실시 예에 따르면, 심박수는 ECG 신호 또는 PPG 신호를 통해 계산할 수 있으며, ECG 신호 또는 PPG 신호 중 적어도 하나의 신호를 이용할 수 있지만 두 개 이상의 신호를 조합하여 pNN 특징 값을 생성할 수 있다.

본 발명의 일 실시 예에 따르면, ECG 센서(214) 또는 PPG 센서(216)로 측정된 신호 값들은 각 RR interval 또는 peak-peak interval 사이의 시간을 통하여 심박수를 계산한다. 심박수는 중립을 평가할 때 arousal 중립을 규정하는 척도로 사용될 수 있으며. 또한, 두개의 이웃한 RR interval 또는 peak-peak interval의 차이가 0.05초 보다 더 멀어지는 값의 개수를 찾아낼 수 있다.

이때, (찾아낸 개수/전체 interval 개수)×100은 pNN의 값이 된다. pNN은 심장 박동의 변화율을 나타내는 요소로 생존 여부, 감정 상태 규정 또는 밸런스 평가의 요소로 사용될 수 있다.

따라서, 심박수 신호의 특징 값은 신호에서 심박수를 추출하여 시간에 따른 심박수를 나타낸 도 8과 같은 그래프로 나타낼 수 있다.

본 발명의 일 실시 예에 따르면, 생체 상태 특징 값의 추출은 상기 심박수 신호의 특징 값을 추출하는 예시와 일치할 수 있으나, 생체 상태 특징 값을 추출하는 방법은 반드시 이에 한정되는 것은 아니다.

도 9는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법에서 사용자의 생존 여부 또는 감정 상태를 판단하는 과정을 나타내는 흐름도이다.

도 9는 추출부(410)에서 추출된 특징 값들로 사용자의 생존 여부 또는 감정 상태를 판단하는 과정을 나타낸다.

본 발명의 일 실시 예에 따르면, 자가구동형 모니터링 장치(10)는 사용자 표준 상태 판단 알고리즘을 미리 설정할 수 있다(S522). 본 발명의 일 실시 예에 따르면, 설정된 표준 상태 판단 알고리즘은 심박수가 60~100BPM 사이 및 pNN50이 18±13% 내에 위치할 수 있다.

알고리즘 설정 후, 감정 상태 판단부(440)는 추출부(410)를 통해 추출한 사용자의 측정 심박수가 상기 사용자 표준 상태 판단 알고리즘에서 설정한 60~100BPM 사이에 위치하는지 판단할 수 있다(S524). 사용자의 측정 심박수가 60~100BPM 사이에 위치하는 경우 다음 단계로 넘어갈 수 있으며, 사용자의 측정 심박수가 60~100BPM 사이에 위치하지 않을 경우, 추출부(410)에서 추출한 데이터를 삭제할 수 있으며(S526), 사용자 표준 상태 판단 알고리즘을 설정하는 S522 단계로 돌아갈 수 있다.

본 발명의 일 실시 예에 따르면, 사용자의 측정 심박수가 60~100BPM 사이에 위치하는 경우, 산출부(420)는 상기 사용자 표준 상태 판단 알고리즘에서 설정한 pNN50이 18±13% 내에 위치하는지 판단할 수 있다(S528). 사용자의 pNN50이 18±13% 내에 위치하는 경우 다음 단계로 넘어갈 수 있으며, 사용자의 pNN50이 18±13% 내에 위치하지 않을 경우, 추출부(410)에서 산출한 데이터를 삭제할 수 있으며(S526), 사용자 표준 상태 판단 알고리즘을 설정하는 단계 S522로 돌아갈 수 있다.

본 발명의 일 실시 예에 따르면, pNN50이 18±13% 내에 위치하는 경우, 사용자의 평소 심장 박동의 변화율 또는 평소 사용자의 감정 상태로 판단하여 그 상태에서 병사의 pNN50의 값을 저장할 수 있으며,

으로 사용할 수 있다. 또한, 상기 상태에서의 GSR 데이터를 추출하여

값으로 사용할 수 있다(S529).

본 발명에서 사용자의 생존 여부 또는 감정 상태를 판단하는 과정은 상기 과정으로 설명하였으나, 반드시 이에 한정되는 것은 아니다.

도 10은 본 발명의 일 실시 예에 따른 사용자의 생존 여부 또는 감정 상태의 심박수를 나타낸 그래프이다.

도 10은 21명의 사용자를 대상으로 하여 측정한 생존 여부 또는 감정 상태의 심박수를 나타낸 그래프이다. 도 10의 그래프에서 빨간색 선은 분포를 나타내고 있다.

도 10의 그래프를 참조하면, 측정부(200)를 통해 획득한 생체 신호는 사용자의 습관, 생활 패턴 등으로 사용자 별로 차이가 많이 나타날 수 있지만 심박수는 60~100BPM 안에 위치할 수 있다.

도 11은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법에서 전류 피부 저항 반응 센서를 통한 ZCR을 추출하는 과정을 나타내는 그래프이다.

본 발명의 일 실시 예에 따르면, 도 11은 ZCR 추출부(414)에서 GSR 신호를 통해서 GSR ZCR을 추출하는 과정을 나타내는 예시이다.

본 발명의 일 실시 예에 따르면, GSR 신호의 데이터는 토닉(Tonic) 성분과 페이식(Phasic) 성분으로 형성되어 있다. Tonic 성분은 땀샘의 일반적인 활성 지표이며, Phasic 성분은 감정의 arousal과 매우 밀접하게 관련되어 있는 성분이다.

tonic 데이터는 GSR 데이터를 이산 웨이브릿 변환(Discrete Wavelet Transform, DWT)의 다해상도 분해(multiresolution decomposition)를 통해 GSR의 저주파 성질을 나타낼 수 있다.

Phasic 데이터는 GSR 데이터와 Tonic 데이터의 차이를 나타내는 데이터이다. 다해상도 분해는 도 12을 통해 자세히 설명한다.

도 12는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법에서 이산 웨이브릿 변환의 다해상도 분해를 하는 과정을 나타내는 도면이다.

도 12는 DWT의 다해상도 분해를 하는 과정의 예시이다.

다해상도 분해는 원 신호에 로우 패스 필터(Low-Pass Filter, LPF)와 하이 패스 필터(High-Pass Filter, HPF를 반복적으로 적용하여 신호를 분석하는 과정이다. LPF는 선택된 컷 오프 주파수보다 낮은 주파수의 신호를 통과시키고 컷 오프 주파수보다 높은 주파수의 신호를 감쇠시키는 필터이다. HPF는 선택된 컷 오프 주파수보다 낮은 주파수의 신호를 통과시키고 컷 오프 주파수보다 높은 주파수의 신호를 감쇠시키는 필터이다.

다해상도 분해는 원 신호 x(t)에 LPF, HPF를 적용하면 각각 A1(t), D1(t) 신호를 얻을 수 있다. 이어서 A1(t)을 LPF, HPF를 다시 적용하면 각각 A2(t), D2(t) 신호를 얻을 수 있다. 이어서, A1(t)을 LPF, HPF를 다시 적용하면 A2(t), D2(t) 신호를 얻는다. 이러한 방식으로 n 레벨에서의 신호로 분할하여 얻어진 An(t)는 Tonic 성분을 의미하며, 32Hz로 샘플링 하는 GSR 센서(218)의 예로 10 레벨의 저주파 신호 A10(t)가 Tonic 성분이다.

본 발명의 일 실시 예에 따르면, 첫 번째 레벨의 필터 주파수 대역폭은 나이퀴스트 주파수(Nyquist frequency)에 의해 결정된다. 나이퀴스트 주파수는 샘플링 주파수의 1/2에 해당하는 값이다. 나이퀴스트 주파수의 1/2 이하는 LPF의 대역폭이고, 1/2 이상은 HPF의 대역폭이다.

본 발명의 일 실시 예에 따르면, 두 번째 레벨에서의 LPF, HPF의 주파수 대역폭은 첫 번째 레벨에서의 LPF의 대역폭의 1/2 이하, 이상의 대역폭으로 나누어 지며, 이는 n번째 필터 대역폭에서도 마찬가지로 적용될 수 있다.

도 13은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 방법에서 사용자의 감정 상태를 판단하는 과정을 나타내는 도면이다.

도 13a는 사용자의 감정 상태를 판단하는 과정을 나타낼 수 있다. 본 발명의 일 실시 예에 따르면, 사용자의 감정 상태의 판단은 기존 사용자의 생존 여부 또는 감정 상태에서 획득한

와

과 현재 사용자를 통해 측정된 ZCR 특징 값과 pNN50 특징 값을 비교하여 판단할 수 있다.

본 발명의 일 실시 예에 따르면, 현재 사용자의 ZCR 특징 값과의 비교를 통해 산출한 제2 비교 결과 값 및 현재 사용자의 pNN 특징 값과의 비교를 통해 산출한 제1 비교 결과 값은 감소, 유지 또는 증가 할 수 있다. 감정 상태의 판단은 제2 비교 결과 값을 통해 감소, 유지 또는 증가되어 3개의 감정이 선택될 수 있으며, 선택된 3개의 감정과 제1 비교 결과 값을 통해 감소, 유지 또는 증가되어 선택된 3개의 감정을 비교하여 사용자의 현 감정 상태를 판단할 수 있다.

본 발명은 ZCR 특징 값을 이용하여 산출한 제2 비교 결과 값을 통해 다수의 감정 상태들 중 한 그룹을 선택할 수 있으며, ZCR 특징 값을 통해 산출한 제2 비교 결과 값이 감소할 경우, 슬픔(Sadness)(1370), 피곤함(Tired)(1380), 즐거움(Pleasure)(1390)의 감정을 형성할 수 있으며, ZCR 특징 값을 통해 산출한 제2 비교 결과 값이 유지할 경우, 불행함(Unhappy)(1340), 감정을 자제하는 중립(Neutral)(1350), 만족(Content)(1360) 감정을 형성할 수 있으며, ZCR 특징 값을 통해 산출한 제2 비교 결과 값이 증가할 경우, 화남(Anger)(1310), 놀람(Surprise)(1320), 기쁨(Joy)(1330)를 형성할 수 있다.

본 발명은 pNN 특징 값을 이용하여 산출한 제1 비교 결과 값을 통해 다수의 감정 상태들 중 한 그룹을 선택할 수 있으며, pNN 특징 값을 통해 산출한 제1 비교 결과 값이 감소할 경우, 화남(1310), 불행함(1340), 슬픔(1370)의 감정을 형성할 수 있으며, pNN 특징 값을 통해 산출한 제1 비교 결과 값이 유지할 경우, 놀람(1320), 감정을 자제하는 중립(1350), 피곤함(1380)의 감정을 형성할 수 있으며, pNN 특징 값을 통해 산출한 제1 비교 결과 값이 증가할 경우, 기쁨(Joy)(1330), 만족(Content)(1360), 즐거움(Pleasure)(1390)을 형성할 수 있다.

상기 ZCR 특징 값을 통해 산출한 제2 비교 결과 값 및 pNN 특징 값을 통해 산출한 제1 비교 결과 값을 비교하여 다수의 감정 상태 중 하나의 감정 상태로 선택 결과가 겹칠 수 있으며, 선택된 감정 상태는 사용자의 현재 감정 상태로 판단될 수 있다.

본 발명의 일 실시 예에 따르면, 사용자의 감정 상태 판단은 ZCR 특징 값을 통해 산출한 제2 비교 결과 값을 통해 다수의 감정 상태를 선택한 후, pNN 특징 값을 통해 산출한 제1 비교 결과 값을 통해 하나의 감정 상태를 선택하는 것으로 도시하고 있으나 반드시 이에 한정되는 것은 아니며, pNN 특징 값을 통해 산출한 제1 비교 결과 값을 통해 다수의 감정 상태를 선택한 후, ZCR 특징 값을 통해 산출한 제2 비교 결과 값을 통해 하나의 감정 상태를 선택할 수도 있으며, 사용자의 감정 상태 판단을 위한 생체 상태 특징 값의 비교 순서는 이에 한정되지 않는다.

본 발명의 일 실시 예에 따르면, pNN 및 ZCR는 1대 1 비율로 형성되어 사용자의 감정 상태를 판단하며, 사용자의 감정 상태를 판단하기 위한 또 다른 예에 있어서, pNN 및 ZCR은 판단 중요도에 따른 우선 순위에 따라 가중치가 부여될 수 있으며, 가중치가 부여된 값들에 의해 사용자의 감정 상태가 판단될 수 있다.

예를 들어, pNN의 가중치는 0.3으로 형성되며, ZCR의 가중치는 0.7로 형성될 수 있으며, 각각의 가중치가 부여된 값들로 산출된 결과를 하기 도 14에 적용하여 우선순위가 고려된 사용자의 감정 상태를 판단할 수 있다.

도 13b는 도 13a를 통해 산출한 감정 상태를 밸런스-각성(Valence-arousal) 그래프로 판단하는 감정을 나타낼 수 있다.

본 발명의 일 실시 예에 따르면, 총 9개의 감정 상태로 형성되어 있으며, 중심의 감정 상태를 기준으로 사방으로 높은 각성(high arousal), 낮은 각성(Low arousal), 긍정적인 정서(Positive valence) 및 부정적인 정서(Negative valence)로 형성되어 있다. 총 감정 상태를 형성하는 감정의 개수는 반드시 이에 한정되는 것은 아니며, 사용자의 판단 기준에 따라 변화할 수 있다.

도 14는 본 발명의 일 실시 예에 따른 자가구동형 모니터링 장치를 통해 사용자의 생존과 감정 상태를 나타내기 위한 비교 결과 값을 나타낸 예시도이다.

본 발명의 일 실시 예에 따른 도 14는 도 13에서 형성하는 사용자의 감정 상태를 판단하는 과정에 이용될 수 있다.

도 14를 참조하면, 자가구동형 모니터링 장치(10)는 사용자의 기 설정된 감정 상태의 평균 값을 나타내는

와

으로부터 ±

만큼 벗어나는 값을 유의미한 감정의 변화로 판단할 수 있다.

본 발명의 일 실시 예에 따르면,

±

및

±

은 기준 값으로 형성될 수 있으며, 현재 사용자에 의해 측정된 ZCR 특징 값 및 pNN 특징 값과 비교하여 사용자의 감정 상태를 판단할 수 있다.

본 발명의 일 실시 예에 따르면, 각 감정에 따른 ZCR 특징 값 및 pNN 특징 값과 기 설정된 감정 상태의 기준 값의 비교는 반드시 도 14에 한정되는 것은 아니다.

도 15는 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치에서 확인부의 판단하는 과정을 나타내는 흐름도이다.

도 15는 측정부(200)와 사용자 간 부착성 유지 여부 또한 생존성 유지 여부 판단 방법을 나타낸다.

자가구동형 모니터링 장치(10)는 동작 알고리즘을 미리 설정할 수 있다(S410). 본 발명의 일 실시 예에 따르면, 설정된 동작 알고리즘은 GPS 신호 검출 및 HR 신호 검출을 판단할 수 있다.

동작 알고리즘 설정 후, 확인부(300)는 측정부(200)에서 측정한 GSR 신호가 검출됐는지 판단할 수 있다(S420). GSR 신호가 검출되었을 경우 다음 단계로 넘어갈 수 있으며, GSR 신호가 검출되지 않았을 경우, 확인부(300)에서 측정부(200)의 부착에 대해 부착 불량으로 판단할 수 있으며(S422), 부착되지 않았을 경우, 확인부(300)의 과정이 중단될 수 있다. 본 발명은 측정부(200)에서 GSR 신호가 측정되지 않으면 사용자간 부착성이 유지되지 않음을 판단한다.

GSR 신호가 검출된 후, 확인부(300)는 측정부(200)에서 측정한 HR 신호가 검출됐는지 판단할 수 있다.(S430). HR 신호가 검출되었을 경우 다음 단계로 넘어갈 수 있으며, HR 신호가 검출될 경우, 다음 단계로 넘어갈 수 있으며, HR 신호가 검출되지 않을 경우, 확인부(300)에서 측정부(200)를 부착한 사용자가 사망한 것으로 확인될 수 있으며(S432), 사용자가 사망한 것으로 판단되면, 확인부(300)의 과정이 중단될 수 있으며, 자가구동형 모니터링 장치(10)의 동작이 중단될 수 있다. 본 발명에서 GSR 신호는 취득되는 반면에 HR 신호는 취득되지 않는다면, 사용자는 사망한 것으로 판단할 수 있다.

확인부(300)는 GSR 신호 및 HR 신호의 검출을 통해 측정부(200)의 부착과 사용자의 생존여부를 판단할 수 있으며, 사용자의 생존여부가 판단되면, 사용자의 감정 상태를 평가할 수 있다(S434).

도 16은 본 발명의 일 실시 예에 따른 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치의 생체 신호 측정을 위한 최적의 센서 조합을 나타낸 예시도이다.

본 발명의 일 실시 예에 따르면, 사용자의 신체에 부착되어 생체 신호를 측정하기 위한 생체 센서는 생체 신호의 측정 성능을 향상시키기 위해 센서를 어레이(array)할 수 있다.

HR 측정은 측정부(200)의 방식에 따라 사용자에게 부착하는 최적의 부착 위치가 달라질 수 있다. GSR 센서(218)의 경우에는 부착위치의 영향력이 제한적일 수 있으며, 본 발명의 또 다른 일 실시 예에 따르면, GSR 센서(218)는 사용자의 손가락 및 발 안쪽과 같은 부위에 부착되어 최적 운용 위치에서 운용될 수 있다.

자가구동형 모니터링 장치(10)의 측정부(200)는 반드시 머리에서만 측정이 가능한 EEG를 사용하지 않으므로 두 개 이상으로 이루어진 생체 센서 어레이를 설계 함에 있어 제약 없이 구현이 가능할 수 있다.

본 발명의 일 실시 예에 따르면, PPG 센서(216)는 도 16a와 같이 사용자의 손가락이나 귀와 같은 신체 말단부가 최적 운용 위치로 확인될 수 있다.

본 발명의 일 실시 예에 따르면, ECG 센서(214)는 도 16b와 같이 사용자의 가슴과 겨드랑이와 같은 신체 중심부가 최적 운용 위치로 확인될 수 있다.

본 발명의 일 실시 예에 따르면, 측정부(200)의 센서의 최적 운용 위치는 도 16에 도시한 것으로 나타내지만 반드시 이에 한정되는 것은 아니다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

10: 자가구동형 모니터링 장치
100: 전원부 200: 측정부
300: 확인부 400: 계산부

Claims (14)

1. 사용자의 신체에 부착되어 상기 사용자의 감정 상태를 모니터링하는 자가구동형 모니터링 장치에 있어서,
   상기 사용자의 신체로부터 열을 전달 받아 전력을 생산하는 전원부;
   상기 전력을 공급받아 상기 사용자의 생체 신호를 측정하는 측정부; 및
   상기 생체 신호를 기반으로 적어도 하나의 생체 상태 특징 값을 추출하고, 적어도 하나의 상기 생체 상태 특징 값 각각을 이용하여 상기 사용자의 감정 상태를 판단하는 계산부;를 포함하고,
   상기 계산부는 상기 생체 신호를 분석하여 상기 생체 상태 특징 값을 추출하는 추출부를 포함하며,
   상기 추출부는,
   상기 생체 상태 특징 값 중 심박수 신호를 통해 형성되는 상기 사용자의 심장 박동의 간격을 백분율로 나타내는 pNN 특징 값을 추출하는 pNN 추출부; 및
   상기 생체 상태 특징 값 중 피부 전도도 신호의 부호가 변하는 비율을 나타내는 제로 크로싱 비율(zero crossing rate, ZCR) 특징 값을 추출하는 ZCR 추출부;를 포함하는 것을 특징으로 하는 자가구동형 모니터링 장치.
2. 제1항에 있어서,
   상기 측정부는,
   상기 사용자의 피부를 통해 측정하는 상기 피부 전도도 신호 및 상기 사용자의 심장 박동의 변화를 통해 측정하는 상기 심박수 신호를 포함하는 상기 생체 신호를 측정하는 자가구동형 모니터링 장치.
3. 제1항에 있어서,
   상기 측정부는,
   일정 기간 동안 심장의 전기적 활동을 측정하는 심전도 신호 및 혈관 층에서 혈액량 변화를 감지하여 측정하는 광혈류측정 신호 중 적어도 하나의 신호를 이용하여 상기 심박수 신호를 생성하는 것을 특징으로 하는 자가구동형 모니터링 장치.
4. 제1항에 있어서,
   상기 피부 전도도 신호 또는 상기 심박수 신호의 취득 여부에 따라 상기 측정부의 부착 여부 또는 상기 사용자의 생존 여부를 확인하는 확인부를 더 포함하고,
   상기 확인부는 상기 피부 전도도 신호를 통해 부착 여부를 확인하고, 상기 심박수 신호를 통해 상기 사용자의 생존 여부를 확인하는 것을 특징으로 하는 자가구동형 모니터링 장치.
5. 제1항에 있어서,
   상기 계산부는,
   상기 생체 상태 특징 값의 평균값 및 상기 생체 상태 특징 값의 표준 편차를 나타내는 표준 편차 값을 산출하는 산출부;
   상기 산출부에서 산출한 값 및 현재 상기 사용자의 상기 생체 상태 특징 값을 비교하여 비교 결과 값을 산출하는 비교부; 및
   상기 비교 결과 값을 통해 상기 사용자의 감정 상태를 판단하는 감정 상태 판단부;를 더 포함하는 자가구동형 모니터링 장치.
6. 삭제
7. 제5항에 있어서,
   상기 산출부는 상기 pNN 특징 값의 평균을 나타내는 pNN 평균값 및 ZCR 특징 값의 평균을 나타내는 ZCR 평균값을 산출하고,
   상기 pNN 특징 값의 표준 편차를 나타내는 pNN 표준 편차 값 및 ZCR 특징 값의 표준 편차를 나타내는 ZCR 표준 편차 값을 산출하는 것을 특징으로 하는 자가구동형 모니터링 장치.
8. 제7항에 있어서,
   상기 비교부는,
   상기 pNN 평균값과 상기 pNN 표준 편차 값이 결합된 pNN 기준 값과 현재 상기 사용자의 pNN 특징 값을 비교하여 제1 비교 결과 값을 산출하고,
   상기 ZCR 평균값과 상기 ZCR 표준 편차 값이 결합된 ZCR 기준 값과 현재 상기 사용자의 ZCR 특징 값을 비교하여 제2 비교 결과 값을 산출하는 것을 특징으로 하는 자가구동형 모니터링 장치.
9. 제8항에 있어서,
   상기 pNN 기준 값은 (i) 상기 사용자의 상기 심박수가 기 설정된 제1 범위 내에 위치하는 제1 조건 및 (ii) 상기 pNN 특징 값이 기 설정된 제2 범위 내에 위치하는 제2 조건을 만족시키는 상황에서 획득된 값이며,
   상기 ZCR 기준 값은 상기 제1 조건 및 상기 제2 조건을 만족시키는 상황에서 상기 피부 전도도 신호를 통해 산출된 값인 것을 특징으로 하는 자가구동형 모니터링 장치.
10. 제8항에 있어서,
    상기 감정 상태 판단부는,
    상기 제1 비교 결과 값 및 상기 제2 비교 결과 값에 근거하여 상기 사용자의 현재 감정 상태를 화남, 놀람, 기쁨, 불행함, 중립, 만족, 슬픔, 피곤함, 즐거움으로 구분하는 것을 특징으로 하는 자가구동형 모니터링 장치.
11. 제1항에 있어서,
    상기 ZCR 추출부는,
    상기 피부 전도도 신호를 이산 웨이브릿 변환(DWT, Discrete Wavelet Transform)의 다해상도 분해를 통해 상기 피부 전도도의 저주파 성질을 나타내는 토닉(tonic) 데이터; 및
    상기 피부 전도도 신호와 상기 tonic 데이터의 차이를 나타내는 페이식(phasic) 데이터;를 포함하는 상기 피부 전도도 신호를 통해 상기 ZCR 특징 값을 추출하는 것을 특징으로 하는 자가구동형 모니터링 장치.
12. 자가구동형 모니터링 장치에 의한 사용자의 신체에 부착되어 상기 사용자의 감정 상태를 모니터링하는 자가구동형 모니터링 방법에 있어서,
    상기 사용자의 신체로부터 열을 전달 받아 전원부에서 전력을 생산하는 단계;
    상기 전력을 공급받아 측정부를 통해 상기 사용자의 생체 신호를 측정하는 단계; 및
    계산부에서 상기 생체 신호를 기반으로 적어도 하나의 생체 상태 특징 값을 추출하고, 적어도 하나의 상기 생체 상태 특징 값 각각을 이용하여 상기 사용자의 감정 상태를 판단하는 단계;를 포함하고,
    상기 사용자의 감정 상태를 판단하는 단계는 상기 생체 신호를 분석하여 상기 사용자의 감정 상태를 판단하기 위한 생체 상태 특징 값을 추출하는 단계를 포함하며,
    상기 생체 상태 특징 값을 추출하는 단계는,
    상기 생체 상태 특징 값 중 심박수 신호를 통해 형성되는 상기 사용자의 심장 박동의 간격을 백분율로 나타내는 pNN 특징 값을 추출하는 단계; 및
    상기 생체 상태 특징 값 중 피부 전도도 신호의 부호가 변하는 비율을 나타내는 제로 크로싱 비율(zero crossing rate, ZCR) 특징 값을 추출하는 단계를 포함하는 자가구동형 모니터링 방법.
13. 제12항에 있어서,
    상기 측정부에서 측정된 상기 피부 전도도 신호 또는 상기 심박수 신호의 취득 여부에 따라 상기 측정부의 부착 여부 또는 상기 사용자의 생존 여부를 확인하는 단계를 더 포함하고,
    상기 확인하는 단계는 상기 피부 전도도 신호를 통해 부착성을 확인하고, 상기 심박수 신호를 통해 상기 사용자의 생존 여부를 확인하는 것을 특징으로 하는 자가구동형 모니터링 방법.
14. 제12항에 있어서,
    상기 사용자의 감정 상태를 판단하는 단계는,
    상기 생체 상태 특징 값의 평균값 및 상기 생체 상태 특징 값의 표준 편차를 나타내는 표준 편차 값을 산출하는 단계;
    상기 산출하는 단계에서 산출한 값 및 현재 사용자의 상기 생체 상태 특징 값을 비교하여 비교 결과 값을 산출하는 단계; 및
    상기 비교 결과 값을 통해 사용자의 감정 상태를 판단하는 단계;를 더 포함하는 자가구동형 모니터링 방법.

Images