KR20190006670A

KR20190006670A - 동영상 기반 발작 추적감시 방법 및 장치

Info

Publication number: KR20190006670A
Application number: KR1020170087652A
Authority: KR
Inventors: 조백환; 서대원; 손영민; 박은경; 이규성
Original assignee: 사회복지법인 삼성생명공익재단
Priority date: 2017-07-11
Filing date: 2017-07-11
Publication date: 2019-01-21
Also published as: KR102164475B1; WO2019013456A1

Abstract

동영상 기반 발작 추적감시 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법 및 장치는 환자의 발작 유무를 모니터링하고 동영상을 획득하고, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 뇌발작 환자의 이상 행동들을 분석하여 분석된 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정하고 분석할 수 있다.

Description

동영상 기반 발작 추적감시 방법 및 장치{SEIZURE MONITORING METHOD AND APPARATUS USING VIDEO}

본 발명은 동영상 기반 발작 추적감시 방법 및 장치에 관한 것으로서, 더욱 상세하게는 환자의 발작 유무를 모니터링하고 동영상을 획득하고, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 뇌발작 환자의 이상 행동들을 분석하여 분석된 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정하고 분석하는 동영상 기반 발작 추적감시 방법 및 장치에 관한 것이다.

한국에서는 해마다 13만명이 넘는 환자들이 뇌전증 발작으로 인하여 고통받고 있으며, 발작 중에 환자는 도움을 청하거나 말하거나 행동할 수 없기 때문에, 환자의 뇌전증 발작을 즉시 감지하고, 환자에게 즉각적으로 도움을 주는 시스템을 구축하는 것이 매우 중요하다.

뇌전증 발작을 확진하는 가장 기본적인 방법은 발작 당시에 뇌파의 변화를 확인하는 방법으로, 이를 위해서는 특수한 입원검사실(비디오-뇌파 추적검사실: video-EEG monitoring)에서 발작을 기다리며 추적, 감시해야 하고, 환자의 발작을 비디오로 추적관찰하며, 환자가 호소하는 발작 증세나 관찰되는 징후를 찾아서 일일이 확인해야 하는 어려움이 존재한다. 즉, 뇌파(electroencephalography, EEG)를 측정하기 위해서는 두피에 전극을 여러 개 이상 부착하고 잘 부착되어 있는지 지속적으로 확인해 가면서 뇌파를 측정해야 하고, 또한 뇌파로 기록된 파형을 분석 및 해석해야 하는 어려움이 존재하게 된다.

또한, 뇌파를 기록하는데 있어서, 뇌전증 발작이 드물게 일어나거나 수면발작 또는 기상 발작, 월경악화 발작, 섭식발작 등 예측하기 어려운 상황에서 발작이 발생하기 때문에, 다양한 일상생활에서 일어나는 발작을 기록하고 확인하기 어렵다는 점이다. 또한, 뇌전증 환자가 뇌파 측정장비를 부착하고 생활하기 어려우며, 고가의 뇌파 측정장비 역시 대중화되기 어려워 일반 입원병실은 물론, 이동용, 가정용으로 활용되기 어렵고, 환자가 인지 못하는 상황에서는 발작을 확인하여 진단과 치료에 이용하는 것은 물론, 발작 환자의 사고와 손상을 예방하는 데 이용하기 힘들다는 문제점이 있다.

종래 기술로는 다음과 같이 침대 매트리스 방식, 손목시계 방식, 비디오 방식 등을 이용하여 뇌전증 발작을 감지하는 방법을 이용하고 있다.

예를 들어, 침대 매트리스 방식은 매트리스 아래에 진동 감지 센서를 두어 동작을 감지하는 방법으로 센서에 감지되지 않는 수 많은 발작들을 검출하기는 어려우며, 실제로 발작과 같은 다양한 움직임을 감지하기 어렵고, 침대 위에서만 적용할 수 있다는 문제점이 존재한다.

또한, 손목시계 방식은 가속도계 등의 센서가 부착된 시계형 기기가 반복적인 움직임 등을 검출해 가족이나 의료진에게 GPS 위치를 전송해 주는 방식이지만, 다양한 부위에서 일어나는 다양한 형태의 발작 증세(예, 얼굴 마비 등)를 검출하기 어렵다는 문제점이 존재한다.

또한, 비디오 방식은 병원에 입원하여 시행하는 방식으로 뇌전증 추적 감시 검사실(epilepsy monitoring unit)에 입원된 환자들을 모니터링 하도록 중앙집중형 CCTV 컨트롤 센터와 같은 시스템이 임상에서 구축되기는 하나, 전문기사가 발작이 일어나는 상황을 24시간 상주하며 확인하고, 기록된 발작 비디오를 전담하는 뇌전증 전문의(신경과 또는 소아청소년과 전문의)가 재검토해야 하는 단점이 있다. 휴대폰과 적외선 카메라를 이용한 간단한 앱(App) 수준의 비디오형 모니터링 시스템이 있으나, 환자 움직임의 강도, 소리 등에 반응하도록 하는 장치로 다양한 형태의 증상과 징후를 보이는 발작의 모든 형태를 검출하기 어렵다는 문제점이 존재한다.

따라서, 병원 및 가정은 물론 공공장소 등의 어떤 환경에서든 비디오가 녹화될 수 있는 모든 상황에서 뇌전증 환자의 다양한 발작 증상과 징후에 반응하고, 환자 개인별 특성에 적응 가능한, 인공지능 기술을 도입한 지능형 동영상 기반 발작 추적감시 방법 및 장치의 개발이 요구되고 있다.

한국공개특허 제10-2015-0084282호 "이동통신 단말기를 이용한 뇌전증환자 모니터링 장치 및 방법" (2015.07.22. 공개)

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로, 환자의 발작 유무를 모니터링하고 동영상을 획득하고, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 뇌발작 환자의 이상 행동들을 분석하여 분석된 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정하고 분석하는 동영상 기반 발작 추적감시 방법 및 장치를 제공하는데 그 목적이 있다.

본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치는, 환자의 발작 유무를 모니터링하고 동영상을 획득하기 위한 카메라부, 획득된 동영상을 저장하기 위한 저장부, 환자의 발작 관련 뇌영역 분석 결과를 표시하기 위한 디스플레이부, 발작 관련 뇌영역 분석 결과를 환자의 관련 당사자에게 알람으로 제공하기 위한 통신부 및 카메라부, 저장부, 디스플레이부 및 통신부의 동작을 제어하고, 동영상을 기반으로 한 환자의 발작 추적을 위해서 획득된 동영상을 분석하기 위한 제어부를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 제어부는, 카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하며, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석하고, 분석된 이상 행동들을 소정의 시간 간격으로 저장부에 저장하고, 분석된 이상 행동들에 대응하여 환자의 발작 관련 뇌영역을 추정하고 분석하며, 디스플레이부로 하여금 발작 관련 뇌영역의 분석된 결과를 표시하게 하거나 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.

또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 이상 행동들의 분석은, 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.

또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 제어부는, 분석된 이상 행동들에 대응하여 환자의 뇌손상 및 사고가능성을 추정하고, 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부로 하여금 표시하거나 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.

또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 기계학습 알고리즘은, 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용될 수 있다.

또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방식으로 추출된 특징점들을 포함하고, 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함할 수 있다.

본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법은, 카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하는 단계, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하는 단계, 검출된 주변 상황을 고려하여 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석하는 단계, 분석된 이상 행동들을 소정의 시간 간격으로 저장하는 단계, 분석된 이상 행동들에 대응하여, 환자의 발작 관련 뇌영역을 추정하고 분석하는 단계 및 발작 관련 뇌영역의 분석된 결과를 디스플레이부에 표시하거나 환자의 관련 당사자에게 알람으로 제공하는 단계를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 이상 행동들의 분석은, 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.

또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법은, 분석된 이상 행동들에 대응하여 환자 뇌손상 및 사고가능성을 추정하는 단계 및 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부에 표시하거나 환자의 관련 당사자에게 알람으로 제공하는 단계를 더 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 기계학습 알고리즘은, 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용될 수 있다.

또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방법으로 추출된 특징점들을 포함하고, 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함할 수 있다.

한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법 및 장치에 따르면, 환자의 발작 행동과 같은 돌발적인 움직임을 동영상으로 모니터링하고 관련 당사자들에게 추정된 환자의 뇌손상 및 사고가능성의 알람을 제공함으로써, 발작 환자에게 발생할 수 있는 치명적인 사고 및 신체 손상을 미리 예방할 수 있다.

본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법 및 장치에 따르면, 동영상 분석을 통한 인공지능 알고리즘의 적용으로 뇌파의 측정 없이 뇌전증 환자, 발작 환자를 모니터링하고 분석하여, 자동으로 환자의 발작 행동 또는 이상 행동에 대응되는 환자의 발작 관련 뇌영역을 추정, 분석할 수 있다.

이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시 예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치(100)의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법을 나타낸 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치(100)의 구성을 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치(100)는 환자를 모니터링 하고 동영상을 획득하기 위한 카메라부(10), 동영상을 저장하기 위한 저장부(20), 발작 관련 뇌영역 결과를 표시하기 위한 디스플레이부(30), 발작 관련 뇌 영역 결과를 관련 당사자에게 제공하기 위한 통신부(40) 및 카메라부(10), 저장부(20), 디스플레이부(30) 및 통신부(40)를 제어하기 위한 제어부(50)를 포함할 수 있다.

본 발명의 일 실시예에 따른 카메라부(10)는 환자의 발작을 모니터링하고 동영상을 획득할 수 있다.

예를 들어, 카메라부(10)는 환자를 모니터링하고, 환자의 주변 상황 및 환자의 발작 상태를 동영상으로 촬영하기 위한 장치로서, CIS(CMOS Image Sensor) 카메라, 적외선 카메라 등의 영상 측정장비를 포함할 수 있다.

즉, 카메라부(10)는 환자의 얼굴 및 신체 각 부위의 행동들을 동영상으로 촬영하고, 환자뿐만 아니라 주변 상황, 예컨대, 환자와 대화하는 제3자 또는 환자를 둘러싸고 있는 공간 환경, 시간 등의 주변 환경도 같이 모니터링하면서 동영상을 획득할 수 있다.

본 발명의 일 실시예에 따른 저장부(20)는 카메라부(10)에 의해 획득된 동영상을 저장할 수 있다.

예를 들어, 저장부(20)는 환자의 발작 상태 또는 이상 상태를 나타내는 동영상을 저장하기 위한 장치로서, 제어부(50)가 모니터링 된 환자의 행동들에 기계학습 알고리즘을 적용하여 정상 행동들과 이상 행동들(또는 발작 상태)을 구분하여 분석하고, 분석된 환자의 이상행동들을 저장부(20)에 저장할 수 있다.

여기에서, 이상 행동이라는 용어는 정상 행동과 대비되는 용어로서, 간질 환자 또는 뇌병변 환자의 발작 행동(발작 상태)을 포함하고, 환자의 비정상인 행동 모두를 포함하는 용어로 정의될 수 있다.

예를 들어, 이상 행동은 환자의 이상 움직임, 예컨대 안구 편위, 고개 회전, 경직성 뒤틀림 등을 포함하고, 근긴장 이상성 움직임, 예컨대 경련성 움직임, 눈 깜박임, 특이한 얼굴 표정, 입맛 다심, 만지작 거림, 반복적인 손 동작, 발 동작, 과격하고 격렬한 동작 등을 포함할 수 있다.

또한, 저장부(20)는 제어부(50)를 통해서 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 저장할 수 있다.

예를 들어, 환자의 행동들이 제어부(50)에 의해서 안구 편위, 고개 회전 등의 이상 행동인 것으로 분석되면, 저장부(20)는 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 이상 행동 종류, 발생 장소, 발생 시간 등으로 이상 행동 내역을 종합하여 저장할 수 있다.

또한, 저장부(20)는 환자의 이상 행동들이 뇌 병변 영역 추정에 사용되도록, 이상 행동에 대하여 전체적으로 기술(description)하거나, 이상 행동을 구성하는 행동 단위로 기술하는 방식으로 소정의 시간 간격 또는 발생 시간에 따라서 저장할 수 있다.

본 발명의 일 실시예에 따른 디스플레이부(30)는 환자의 발작 관련 뇌영역 분석 결과를 표시할 수 있다.

예를 들어, 디스플레이부(30)는 기계학습 알고리즘을 적용하여 환자의 분석된 이상 행동들 및 환자의 이상 행동들에 대응된 환자의 발작 관련 뇌영역의 분석 결과를 표시할 수 있다.

즉, 디스플레이부(30)는 제어부(50)의 분석결과가 환자 또는 관련 당사자들에게 제공될 수 있도록 표시되는 디스플레이 장치로서, 환자의 이상 행동들에 대응되어 분석된 환자의 발작 관련 뇌영역의 분석 결과뿐만 아니라, 환자의 이상 행동 종류 및 이상 행동 발생 시간, 발생 장소 등의 이상 행동 종합 내역을 디스플레이부(30)에 표시할 수 있다.

여기에서, 관련 당사자라는 용어는 간병인, 의료 전문가, 절친한 친구 또는 환자의 친척과 같이 발작의 발생에 대해 알게 될 수 있는 모든 개체 또는 개인을 포함할 수 있다.

본 발명의 일 실시예에 따른 통신부(40)는 환자의 발작 관련 뇌영역의 분석 결과를 환자의 관련 당사자에게 알람으로 제공할 수 있다.

예를 들어, 통신부(40)는 환자의 발작 관련 뇌영역의 분석 결과를 환자의 관련 당사자에게 알람으로 제공하기 위해서, 근거리 통신 모듈 또는 이동 통신 모듈, LoRa(Long Range, 대규모 저전력 장거리 무선통신) 통신 모듈 등을 포함할 수 있다.

예를 들어, 근거리 통신 모듈(short-range wireless communication unit)은 블루투스(Bluetooth) 통신 모듈, BLE(Bluetooth Low Energy) 통신 모듈, 근거리 무선 통신 모듈(Near Field Communication unit), 와이파이(Wi-Fi) 통신 모듈, 지그비(Zigbee) 통신 모듈, 적외선(IrDA, infrared Data Association) 통신 모듈, WFD(Wi-Fi Direct) 통신 모듈, UWB(ultra wideband) 통신 모듈, Ant+ 통신 모듈 등일 수 있으나, 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 따른 제어부(50)는 동영상 기반 발작 추적감시 장치(100)에 포함된 장치들, 예컨대, 카메라부(10), 저장부(20), 디스플레이부(30) 및 통신부(40)를 제어할 수 있다.

예를 들어, 제어부(50)는 카메라부(10)를 이용하여 발작 환자를 모니터링하여 동영상을 획득할 수 있고, 저장부(20)에 획득된 동영상을 저장할 수 있다. 또한, 제어부(50)는 디스플레이부(30)로 하여금 환자의 이상 행동들 및/또는 이상 행동들에 대응되는 환자의 발작 관련 뇌영역의 분석 결과를 표시하게 할 수 있고, 통신부(40)로 하여금 환자의 발작 관련 뇌영역의 분석 결과를 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.

또한, 본 발명의 일 실시예에 따른 제어부(50)는 획득된 동영상을 분석하여 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다.

예를 들어, 제어부(50)는 카메라부(10)를 통하여 획득된 동영상을 분석하여, 동영상 내에서 환자의 동작, 상태만을 검출하는 것이 아니라, 환자의 동작, 상태 및 환자를 제외한 주변 상황, 예컨대, 환자의 주변 환경(예컨대, 환자의 거주 장소, 시간) 및/또는 환자 주위의 사람(예컨대, 대화, 운동, 상호 작용)과의 맥락(context)을 파악하여 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다. 환언하면, 제어부(50)는 환자가 홀로 방 안에 있는 상황인지 또는 환자가 다른 사람과 대화하거나 상호 작용하는 관계인지 판단하기 위해서, 획득된 동영상을 분석하여 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다.

예를 들어, 제어부(50)가 환자의 행동 중에서 입술을 움직여서 어떤 대화를 하는 듯한 행동을 동영상 내에서 분석하면, 주변 상황과의 맥락을 고려하여, 대화 상대가 있는 경우에는 정상 행동으로 분석하고, 대화 상대가 없는 경우에는 이상 행동으로 분석할 수 있으므로, 획득된 동영상을 분석하는 과정에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하는 과정이 필요하게 된다.

본 발명의 일 실시예에 따른 제어부(50)는 검출된 주변 상황을 고려하여 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석할 수 있다.

즉, 제어부(50)는 동영상 내의 주변 상황을 고려하여 환자의 행동들을 분석하여 환자의 행동들을 정상 행동들과 이상 행동들로 구분할 수 있다. 예를 들어, 환자가 주변 사람들과는 전혀 상호 작용을 하지 않는 행동, 주변 사람이 존재하지 않는데도 주변 사람과 대화하는 듯한 행동, 음식이 주변에 없는데도 입을 쩝쩝거리는 행동 등은 이상 행동들로 구분할 수 있다. 제어부(50)는 동영상 내의 주변 상황들, 예컨대 장소, 시간, 제3자의 존재 등 맥락을 고려하여, 환자의 행동들을 정상 행동들과 이상 행동들로 구분할 수 있다.

주변 상황 등 맥락을 고려하여 일상적인 행동 중에 동작이 없어지는 경우로, 예를 들어, TV를 보는 데 일정하게 눈을 깜박이다 움직이지 않고 멍하니 있는 경우(absence, dialeptic, dyscognitive), 전화를 하거나 대화를 하다가 갑자기 말을 안하고 멈추는 경우(behavioral arrest), 밥을 먹는 데 음식을 씹지 않고 가만히 있는 경우(behavioral arrest), 핸드폰으로 검색하다가 갑자기 동작을 멈추고 한쪽을 멍하니 보고 있는 경우(motionless staring) 등을 환자가 이상 행동하는 경우로 판단할 수 있다.

또한, 주변 상황 등 맥락을 고려하여 비정상적인 행동이 나타나는 경우로, 예를 들어, 가만히 누워 있거나 앉아 있다가 갑자기 표정이나 안색이 멍한 듯 바뀌는 경우, 가만히 누워 있거나 앉아 있다가 또는 자다가 갑자기 얼굴을 찡그리거나 무서운 표정을 짓는 경우, 가만히 누워 있거나 앉아 있다가 주위를 두리번거리거나 이상하게 고개를 돌려 한쪽을 멍하니 쳐다보는 경우, 가만히 있거나 대화 중, 또는 수면 중에 갑자기 눈을 깜박이거나, 입맛을 다시거나, 쩝쩝 씹거나, 반복해서 삼키는 모습을 보이는 경우, 가만히 있거나 대화 중, 또는 수면 중에 상지에서 잡을 것도 없는데 무엇을 반복해서 만지는 동작을 취하거나, 만지작 거리거나, 문지르거나, 꽉 잡거나, 손을 이상하게 털거나, 엄지와 검지등의 이상한 손가락 모양을 만들고 찌르는 행동을 보이는 경우, 가만히 있거나 대화 중, 또는 수면 중에 갑자기 일어나려 하거나, 몸통을 돌리거나, 팔을 휘젖거나, 다리를 차거나, 자전거 타는 듯한 발 굴림을 보이는 경우, 가만히 있거나 대화 중, 또는 수면 중에 갑자기 이상을 느낌을 받는 지 버튼을 누르거나 버튼을 누르는 동작을 보이는 경우 등을 환자가 이상 행동하는 경우로 판단할 수 있다.

또한, 주변 상황 등 맥락을 고려하여 비정상적인 운동이 나타나는 경우로, 예를 들어, 가만히 있거나 일상적인 동작 중에 갑자기 고개가 과도하게 돌아가는 경우(version), 가만히 있거나 일상적인 동작 중에 갑자기 한쪽 얼굴이 찡그려지거나, 볼이 튀는 경우(clonic), 입이 돌아가는 경우(tonic), 가만히 있거나 일상적인 동작 중에 갑자기 팔이 이상한 자세로 올라가는 강직이 보이는 경우(tonic), 가만히 있거나 일상적인 동작 중에 갑자기 팔을 쭉 펴면서 강직(tonic)이 보이거나 떠는 경련을 보이는 경우, 가만히 있거나 일상적인 동작 중에 갑자기 손을 이상한 모양으로 만들면서(dystonic) 떠는 경련을 보이는 경우, 가만히 있거나 일상적인 동작 중에 갑자기 어깨, 팔을 움찔거리는 경우(myoclonic), 가만히 있거나 일상적인 동작 중에 갑자기 양팔에 힘을 주면서 대칭적 또는 비대칭적으로 띄면서 강직을 보이거나, 떠는 경련을 보이는 경우(bilateral tonic), 가만히 있거나 일상적인 동작 중에 갑자기 이상한 소리를 지르는 경우, 가만히 있거나 일상적인 동작 중에 한쪽으로 쓰러지는 모습을 보이는 경우, 가만히 앉아있거나 서 있던 중 갑자기 앞이나 뒤로 쓰러지는 모습을 보이는 경우, 가만히 있거나 일상적인 동작 중에 한쪽 어깨에 힘을 주고 외측으로 들어올리거나(tonic posturing) 안쪽 또는 밖으로 돌리는 경우(dystonic posturing) 등을 환자가 이상 행동하는 경우로 판단할 수 있다.

즉, 제어부(50)는 획득된 동영상에서 주변 상황들을 고려하여 환자의 이상 행동들을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석할 수 있다.

또한, 본 발명의 일 실시예에 따른 제어부(50)는 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.

예를 들어, 제어부(50)는 이상 행동들을 분석하기 위해서, 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 기계학습 알고리즘을 적용할 수 있다.

여기에서, 특징점은 시간에 따른 움직임 궤적에서 추출되는 사람의 신체 각 부위 별로 고유한 부분(위치) 또는 고유한 포인트(점)를 특징점으로 지정할 수 있으며, 움직임의 성질에 따라서, 동영상 내에서 안정적으로 추적될 수 있는 신체 각 부위의 고유한 부분을 특징점으로 지정할 수 있다.

또한, 연속된 특징점들은 움직임 궤적을 표현하므로, 시간, 속도, 가속도의 함수로 표현될 수 있으며, 변화의 진폭, 진동수, 움직임 궤적 면적 등의 정보로 계산될 수 있다.

예컨대, 제어부(50)는 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하기 위해서, 특징점들을 HOG(Histogram of Oriented Gradients) 방법으로 추출하거나 SIFT(Scale Invariant Feature Transform) 방법으로 특징점들을 추출할 수 있다.

또한, 제어부(50)는 특징점들의 분석을 위해서 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 기계학습 알고리즘으로 적용할 수 있다.

즉, 제어부(50)는 신체 각 부위 별로 시간에 따른 궤적을 획득하고, 획득된 궤적에서 연속된 특징점들을 추출하고, 기계학습 알고리즘을 적용하여 주변 상황을 고려하여 이상 행동인지 분석할 수 있으며, 이상 행동이 전체(발작 전체)로 발생하였는지 또는 개별(발작 개별)로 발생하였는지 분석할 수 있다.

또한, 본 발명의 일 실시예에 따른 제어부(50)는 저장부(20)를 이용하여, 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 이상 행동 내역을 종합하여 저장할 수 있다.

즉, 동영상 기반 발작 추적감시 장치(100)는 일정 시간 동안 환자의 상태를 확인하고 저장할 필요가 있다. 예를 들어, 동영상 기반 발작 추적감시 장치(100)는 관련 당사자들에게 환자의 이상 행동들의 횟수, 종류, 발생 시기, 발생 장소 등을 표시, 제공하거나 알람을 제공할 필요가 있으므로, 제어부(50)는 저장부(20)를 이용하여, 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 저장할 수 있다.

또한, 제어부(50)에 의하여 분석되고 저장되는 이상 행동들은 뇌 병변 영역 추정에 사용되기 위해서, 이상 행동에 대하여 전체적으로 기술(description)되어 저장되거나, 이상 행동을 구성하는 행동 단위로 기술되어 저장 될 수 있다.

즉, 제어부(50)는 분석된 신체 각 부위 별로 기계 학습 알고리즘을 적용하여 이상 행동을 발작 전체 또는 발작 개별로 구분하여 분석하고, 발작 전체로 분석된 이상 행동은 이상 행동을 전체적으로 기술(description)하여 저장부(20)에 저장하고, 발작 개별로 분석된 이상 행동은 이상 행동을 구성하는 행동 단위로 기술하여 저장부(20)에 저장할 수 있다.

예를 들어, 제어부(50)가 동영상에서 측정된 이상 행동을 발작 전체인 경우로 분석하면, 제어부(50)는 이상 행동(발작)에 대하여 전체적으로 기술(description)하여 저장부(20)에 저장할 수 있다. 예컨대, 갑자기 (어지러워 버튼을 누르고) 동작을 멈추고 있다가, 고개가 왼쪽으로 돌아가면서 전신에 힘을 주면서 전신 발작을 보이는 경우, 갑자기 (오른손이 저리다가) 오른손을 주먹 쥐면서 떨다가 점차 동 측의 어깨 쪽으로 떨림이 진행하다가 얼굴까지 떨면서, 오른쪽 안면이 찌그러지고 고개가 돌아가면서 소리를 내면서 전신발작을 보이는 경우, 갑자기 (명치 부위가 메슥거리면서 위로 타고 올라오는 느낌이 있다) 멍해지면서 동작을 멈추고 한쪽을 쳐다보다가 입을 쩝쩝거리고, 왼손으로 무엇을 만지는 듯한 동작으로 보이 듯이 만지작 거리고, 오른팔을 옆으로 하면 꼬면서 질문에 반응을 보이지 못하다가 고개를 한쪽으로 돌리면서 전신 경련으로 진행하는 경우, 갑자기 자다가 놀란 듯 깨면서 무서운 표정으로 발버둥 치다가 바로 정신이 돌아와 아무일 없다는 듯 원래 깬 모습을 보이는 경우, 갑자기 멍해지다가 입맛을 다시면서 이상한 말을 하면서 어느 정도 적절한 반응을 유지하다 정신이 돌아오는 경우 등을 이상 행동(발작)에 대하여 전체적으로 기술(description)하여 저장하는 경우로 포함할 수 있다.

예를 들어, 제어부(50)가 동영상에서 측정된 이상 행동을 발작 개별인 경우로 분석하면, 제어부(50)는 이상 행동(발작)에 대하여 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장부(20)에 저장할 수 있다.

예컨대, 머리, 목 부분을 행동 단위로 기술하는 경우로서, 멍하게 보이는 경우, 반응을 보이거나 반응이 없어지는 경우, 눈을 깜박이는 경우, 얼굴이 튀는 경우, 고개가 돌아가는 경우, 눈이 돌아가는 경우, 무서운 표정을 짓는 경우, 웃는 경우, 우는 경우, 휘파람을 부는 경우, 입맛을 다시는 경우, 씹는 경우, 삼키는 경우, 기침을 하는 경우, 말을 못하는 경우, 말을 하는 경우, 말을 하지만 착어증을 보이는 경우, 알아들을 수 없는 소리를 내는 경우, 소리를 지르는 경우, 좌우로 고개를 돌리는 경우 등을 이상 행동(발작)에 대하여 머리, 목 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다.

예컨대, 상지 부분을 행동 단위로 기술하는 경우로서, 팔을 펴는 경우, 팔을 떠는 경우, 팔을 꼬는 경우, 손을 꼬거나 돌리는 경우, 어깨를 들어 올리는 경우, 팔을 떠는 경우, 팔을 움찔거리는 경우, 손을 만지작거리는 경우, 손을 반복해서 문지르는 경우, 손동작을 보이는 경우, 주으려는 동작을 보이는 경우, 손을 꽉잡는 경우, 주먹을 쥐는 경우, 한쪽 손을 안 움직이는 경우, 눈을 비비는 경우, 안면을 문지르는 경우, 손으로 입을 가르는 경우 등을 이상 행동(발작)에 대하여 상지 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다.

예컨대, 하지 부분을 행동 단위로 기술하는 경우로서, 다리를 쭉 펴는 경우, 다리를 들어올리는 경우, 다리를 떠는 경우, 다리를 움찔거리는 경우, 자전거 타듯이 다리를 돌리는 경우, 다리를 차는 경우 등을 이상 행동(발작)에 대하여 하지 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다.

예컨대, 몸통과 어깨 부분을 행동 단위로 기술하는 경우는, 몸통을 돌리는 경우, 앉으려 하는 경우, 발버둥 치는 경우, 팔을 휘 젓는 경우 등을 이상 행동(발작)에 대하여 몸통과 어깨 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다.

또한, 이상 행동을 구성하는 행동 단위로 저장할 때, 기타 부분으로 저장하는 경우는, 닭살이 돋는 경우, 토하는 경우, 구역을 보이는 경우, 침을 흘리는 경우, 가래를 뱉는 경우, 침을 흘리는 경우, 거품을 보이는 경우, 소변을 실수하는 경우, 좌우로 고개를 돌리는 경우 등을 기타 부분으로 하여 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 제어부(50)는 분석된 이상 행동들에 대응하여 환자의 발작 관련 뇌영역을 추정하고 분석할 수 있다.

즉, 제어부(50)는 획득된 동영상에서 환자의 이상 행동들을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석할 수 있고, 분석된 발작 전체 또는 발작 개별에 대하여 병변 뇌 영역 추정을 위한 인공지능 알고리즘에 입력하여, 환자의 발작 관련 뇌영역 부분을 추정하고, 분석할 수 있다.

예를 들어, 환자가 동작을 멈추고 있다가 고개가 왼쪽으로 돌아가는 이상 행동을 하는 경우에는, 발작이 전체로 나타나는 경우로, 제어부(50)는 환자의 이상 행동을 발작 전체로 기술하여 저장부(20)에 저장하고, 상기 발작 전체 이상 행동에 대응하여, 좌측 전두엽 배외측 안구 운동 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다.

또한, 발작이 전체로 나타나는 경우로, 환자가 갑자기 자다가 놀란 듯 깨면서 무서운 표정으로 발버둥 치다가 바로 정신이 돌아와 아무 일 없다는 듯 원래 깬 모습의 이상 행동을 하는 경우에, 제어부(50)는 환자의 이상 행동을 발작 전체로 기술하여 저장부(20)에 저장하고, 상기 발작 전체 이상 행동에 대응하여, 전두엽 내측 부위 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다.

또한, 발작이 개별 단위로 나타나는 경우로, 환자의 고개가 돌아가거나 눈이 돌아가는 경우에는, 제어부(50)는 환자의 이상 행동을 발작 개별로 머리와 목 부분에 대한 발작으로 기술하여 저장부(20)에 저장하고, 상기 발작 개별 이상 행동에 대응하여, 고개나 눈이 돌아가는 방향의 반대측 뇌 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다.

또한, 발작이 개별 단위로 나타나는 경우로, 환자가 말을 하지만 착어증을 보이는 경우에는, 제어부(50)는 환자의 이상 행동을 발작 개별로 머리와 목 부분에 대한 발작으로 기술하고 저장하며, 상기 발작 개별 이상 행동에 대응하여, 좌반구(우성반구) 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다.

즉, 제어부(50)는 환자의 행동들을 특징점들을 이용한 기계학습 알고리즘으로 분석하여, 환자의 행동들로부터 이상 행동들을 구분하여 분석하고, 분석된 이상 행동들(예컨대, 발작 전체, 발작 개별)에 대응한 환자의 발작 관련 뇌영역 부분을 기계학습 알고리즘 또는 딥 러닝 기술로 미리 입력시켜 학습시킴으로써, 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정할 수 있게 된다.

즉, 제어부(50)는 환자의 행동들을 각 신체부위 별 이상 행동으로 분석하고, 분석된 이상 행동을 기반으로 발작 관련 뇌영역 추정을 위한 기계학습 알고리즘을 적용하여 뇌에서 뇌전증이 촉발되는 시작영역 및 전파영역을 추정할 수 있다.

또한, 본 발명의 일 실시예에 따른 제어부(50)는 디스플레이부(30)로 하여금 환자의 발작 관련 뇌영역 분석 결과를 표시하게 하거나, 통신부(40)로 하여금 환자의 발작 관련 뇌영역 분석 결과를 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.

도 2는 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법을 나타낸 순서도이다.

도 2를 참조하면, 단계 S10에서, 제어부(50)는 카메라부(10)를 이용하여 환자를 모니터링하고 동영상을 획득할 수 있다.

예를 들어, 제어부(50)는 카메라부(10)를 제어하여, 환자의 얼굴 및 신체 각 부위의 행동들을 동영상으로 촬영하고, 환자뿐만 아니라 주변 상황, 예컨대, 환자와 대화하는 제3자 또는 환자를 둘러싸고 있는 공간 환경, 시간 등의 주변 상황도 같이 모니터링하면서 동영상을 획득할 수 있다.

단계 S20에서, 제어부(50)는 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다.

예를 들어, 제어부(50)는 획득된 동영상을 분석하여, 동영상 내에서 환자의 동작, 상태만을 검출하는 것이 아니라, 환자를 제외한 주변 상황, 예컨대, 환자의 주변 환경(예컨대, 환자의 거주 장소, 시간) 및/또는 환자 주위의 사람(예컨대, 대화, 운동, 상호 작용)과의 맥락(context)을 파악하여 환자 및 환자를 제어한 주변 상황을 구분하여 검출할 수 있다.

단계 S30에서, 제어부(50)는 검출된 주변 상황을 고려하여 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석할 수 있다.

예를 들어, 제어부(50)는 동영상 내의 주변 상황들, 예컨대 장소, 시간, 제3자의 존재 등 맥락을 고려하여, 환자의 행동들을 정상 행동들과 이상 행동들로 구분하고, 이상 행동들을 발작이 전체로 나타나는지 또는 발작이 개별 이상행동으로 나타나는지 분석할 수 있다.

즉, 제어부(50)는 획득된 동영상에서 주변 상황들을 고려하여 기계학습 알고리즘을 적용하여 환자의 이상 행동들을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석할 수 있다.

예를 들어, 제어부(50)는 이상 행동들을 발작 전체 또는 발작 개별로 분석하기 위해서, 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 기계학습 알고리즘을 적용할 수 있다.

즉, 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하기 위해서, 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출되거나 SIFT(Scale Invariant Feature Transform) 방법으로 추출될 수 있다.

또한, 추출된 특징점들의 분석을 위해서, 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 기계학습 알고리즘으로 적용할 수 있다.

단계 S40에서, 제어부(50)는 분석된 이상 행동들을 소정의 시간 간격으로 저장부(20)에 저장할 수 있다.

즉, 관련 당사자들에게 환자 상태 보고, 알람 제공 등을 하기 위해서, 환자의 상태를 발생 시간 또는 소정 시간 간격으로 저장할 필요가 있으므로, 제어부(50)는 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 이상 행동 종류, 발생 장소, 발생 시간 등으로 이상 행동 내역을 종합하여 저장부(20)에 저장할 수 있다.

단계 S50에서, 제어부(50)는 분석된 이상 행동들에 대응하여, 환자의 발작 관련 뇌영역을 추정하고 분석할 수 있다.

즉, 제어부(50)는 이상 행동을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석하고, 분석된 이상 행동들에 대하여 기계학습 알고리즘을 적용하여 발작 관련 뇌영역 부분을 추정하고, 분석할 수 있다.

예를 들어, 환자가 동작을 멈추고 있다가 고개가 왼쪽으로 돌아가는 이상 행동을 하는 경우에, 제어부(50)는 환자의 움직임의 궤적을 연속된 특징점으로 추출하고, 기계학습 알고리즘을 적용하여, 발작이 전체로 발생한 경우로 분석하고, 분석된 상기 발작 전체 이상 행동에 발작 관련 뇌영역 추정을 위한 기계학습 알고리즘을 적용하여, 좌측 전두엽 배외측 안구 운동 영역을 발작 관련 뇌영역으로 부분으로 추정하고, 분석할 수 있다.

단계 S60에서, 제어부(50)는 발작 관련 뇌영역의 분석된 결과를 디스플레이부(30)에 표시하거나 환자의 관련 당사자에게 알람으로 제공할 수 있다.

즉, 제어부(50)는 환자의 관련 당사자에게 환자 상태 보고 및 알람 제공을 하기 위해서, 발작 관련 뇌영역의 분석된 결과를 디스플레이부(30)로 하여금 표시하게 하거나 통신부(40)로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.

또한, 동영상 기반 발작 추적감시 방법에서, 제어부(50)는 분석된 이상 행동들에 대응하여 환자의 뇌손상 및 사고가능성을 추정하고, 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부(30)로 하여금 표시하게 하거나 상기 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.

즉, 제어부(50)는 환자의 낙상 사고 및 치명적인 사고 방지 차원에서, 발작 전체 또는 발작 개별로 분석된 이상 행동들에 대하여 인공지능 알고리즘을 적용하여 환자의 뇌손상 및 사고가능성을 추정할 수 있고, 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부(30)로 하여금 표시하게 하거나 통신부(40)로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.

본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 관련하여서는 전술한 동영상 기반 발작 추적감시 장치(100)에 대한 내용이 적용될 수 있다. 따라서, 동영상 기반 발작 추적감시 방법과 관련하여, 전술한 동영상 기반 발작 추적감시 장치(100)에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 카메라부
20: 저장부
30: 디스플레이부
40: 통신부
50: 제어부
100: 동영상 기반 발작 추적감시 장치

Claims

동영상 기반 발작 추적감시 장치에 있어서,
환자의 발작 유무를 모니터링하고 동영상을 획득하기 위한 카메라부;
상기 획득된 동영상을 저장하기 위한 저장부;
상기 환자의 발작 관련 뇌영역 분석 결과를 표시하기 위한 디스플레이부;
상기 발작 관련 뇌영역 분석 결과를 상기 환자의 관련 당사자에게 알람으로 제공하기 위한 통신부; 및
상기 카메라부, 상기 저장부, 상기 디스플레이부 및 상기 통신부의 동작을 제어하고, 상기 동영상을 기반으로 한 상기 환자의 발작 추적을 위해서 상기 획득된 동영상을 분석하기 위한 제어부를 포함하는 동영상 기반 발작 추적감시 장치.
제 1 항에 있어서,
상기 제어부는,
상기 카메라부를 이용하여 상기 환자를 모니터링하고 동영상을 획득하며, 상기 획득된 동영상을 분석하여, 상기 동영상 내에서 상기 환자 및 상기 환자를 제외한 주변 상황을 구분하여 검출하고, 상기 검출된 주변 상황을 고려하여 상기 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 상기 이상 행동들을 분석하고, 상기 분석된 이상 행동들을 소정의 시간 간격으로 상기 저장부에 저장하고, 상기 분석된 이상 행동들에 대응하여 상기 환자의 발작 관련 뇌영역을 추정하고 분석하며, 상기 디스플레이부로 하여금 상기 발작 관련 뇌영역의 분석된 결과를 표시하게 하거나 상기 통신부로 하여금 상기 환자의 관련 당사자에게 알람으로 제공하게 하는 동영상 기반 발작 추적감시 장치.
제 2 항에 있어서
상기 이상 행동들의 분석은,
상기 검출된 주변 상황을 고려하여 상기 환자의 신체 각 부위의 행동들을 검출하고, 상기 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 상기 이상 행동들을 분석하는 동영상 기반 발작 추적감시 장치.
제 3 항에 있어서,
상기 제어부는,
상기 분석된 이상 행동들에 대응하여 상기 환자의 뇌손상 및 사고가능성을 추정하고, 상기 추정된 상기 환자의 뇌손상 및 사고가능성을 상기 디스플레이부로 하여금 표시하거나 상기 통신부로 하여금 상기 환자의 관련 당사자에게 알람으로 제공하게 하는 동영상 기반 발작 추적감시 장치.
제 3 항에 있어서,
상기 기계학습 알고리즘은,
상기 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 상기 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 상기 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용되는 동영상 기반 발작 추적감시 장치.
제 5 항에 있어서,
상기 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방식으로 추출된 특징점들을 포함하고,
상기 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함하는 동영상 기반 발작 추적감시 장치.
동영상 기반 발작 추적감시 방법에 있어서,
카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하는 단계;
상기 획득된 동영상을 분석하여, 상기 동영상 내에서 상기 환자 및 상기 환자를 제외한 주변 상황을 구분하여 검출하는 단계;
상기 검출된 주변 상황을 고려하여 상기 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 상기 이상 행동들을 분석하는 단계;
상기 분석된 이상 행동들을 소정의 시간 간격으로 저장하는 단계;
상기 분석된 이상 행동들에 대응하여, 상기 환자의 발작 관련 뇌영역을 추정하고 분석하는 단계; 및
상기 발작 관련 뇌영역의 분석된 결과를 디스플레이부에 표시하거나 상기 환자의 관련 당사자에게 알람으로 제공하는 단계를 포함하는 동영상 기반 발작 추적감시 방법.
제 7 항에 있어서,
상기 이상 행동들의 분석은,
상기 검출된 주변 상황을 고려하여 상기 환자의 신체 각 부위의 행동들을 검출하고, 상기 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 상기 이상 행동들을 분석하는 동영상 기반 발작 추적감시 방법.
제 8 항에 있어서,
상기 분석된 이상 행동들에 대응하여 상기 환자 뇌손상 및 사고가능성을 추정하는 단계; 및
상기 추정된 상기 환자의 뇌손상 및 사고가능성을 상기 디스플레이부에 표시하거나 상기 환자의 관련 당사자에게 알람으로 제공하는 단계를 더 포함하는 동영상 기반 발작 추적감시 방법.
제 8 항에 있어서,
상기 기계학습 알고리즘은,
상기 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 상기 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 상기 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용되는 동영상 기반 발작 추적감시 방법.
제 10 항에 있어서,
상기 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방법으로 추출된 특징점들을 포함하고,
상기 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함하는 동영상 기반 발작 추적감시 방법.
제 7 항 내지 제 11 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.