KR102548041B1

KR102548041B1 - 의식장애 환자와 인터랙션 제공 방법, 장치, 프로그램

Info

Publication number: KR102548041B1
Application number: KR1020200169551A
Authority: KR
Inventors: 이기원
Original assignee: (주)와이브레인
Priority date: 2020-12-07
Filing date: 2020-12-07
Publication date: 2023-06-27
Also published as: KR20220080440A

Abstract

본 발명은 의식장애 환자와 인터랙션 제공 방법에 관한 것으로, 사용자로부터 입력받은 메시지를 자극으로 변환하여 환자에게 제공하고, 환자의 반응에 따라서 환자의 상태정보를 생성함으로써 환자의 현재상태를 확인하고, 향후 상태를 예측할 수 있는 효과가 있다.

Description

의식장애 환자와 인터랙션 제공 방법, 장치, 프로그램 {Method, device and program for providing interaction with Conscious Disabilities patients}

본 발명은 의식장애 환자와 인터랙션을 제공하는 방법에 관한 것이다.

식물인간과 같은 의식장애 환자는 본인 스스로 의사표현, 신체활동을 하지 못하지만 실제로는 뇌가 활동하고 있는 상태이며, 드물게는 식물인간 상태에서도 상태가 회복되는 경우가 있다.

하지만, 현재로서는 의식장애 환자의 상태를 정확하게 파악하고 의식장애 환자와 커뮤니케이션하는 방법이 없기 때문에 환자의 보호자로서는 환자와 소통할 방법이 없이 간호만 하고 있는 상황이다.

의식장애 환자에게 특정 자극을 제공하고 이에 대한 환자의 반응을 통해 환자의 상태를 확인할 수 있다면, 환자의 향후상태를 확인할 수 있고 보호자와 인터랙션하는 방법을 제공할 수 있지만, 현재로서는 이러한 기술이 공개되어 있지 않은 실정이다.

대한민국 공개특허공보 제10-2013-0104978호 (2013.09.25)

상술한 바와 같은 문제점을 해결하기 위한 본 발명은 사용자로부터 입력받은 메시지를 자극으로 변환하여 환자에게 제공하고, 환자의 반응에 따라서 환자의 상태정보를 생성하는 의식장애 환자와 인터랙션 제공 방법을 제공할 수 있다.

또한, 본 발명은 사용자로부터 입력받은 메시지와 환자의 반응데이터를 기반으로 대상환자의 응답정보를 생성하는 의식장애 환자의 인터랙션 제공 방법을 제공할 수 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 의식장애 환자와 인터랙션 제공 방법은, 사용자로부터 대상환자에게 제공하고자 하는 메시지를 입력받는 단계; 극 변환모듈이 상기 입력받은 메시지에 해당하는 자극을 선택하는 단계; 자극장치가 상기 대상환자에게 상기 자극을 제공하는 단계; 측정장치가 상기 자극에 대한 상기 대상환자의 반응데이터를 획득하는 단계; 및 상태정보 생성모듈이 상기 반응데이터를 기반으로 상기 대상환자의 상태정보를 생성하는 단계를 포함한다.

상술한 과제를 해결하기 위한 본 밞명의 일 실시예에 따른 의식장애 환자와 인터랙션 제공 장치는, 사용자로부터 입력받은 대상환자에게 제공하고자 하는 메시지에 해당하는 자극을 선택하는 자극 변환모듈; 상기 대상환자에게 상기 자극을 제공하는 자극장치; 상기 자극에 대한 상기 대상환자의 반응데이터를 획득하는 측정장치; 및 상기 반응데이터를 기반으로 상기 대상환자의 상태정보를 생성하는 상태정보 생성모듈을 포함한다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같은 본 발명에 따르면, 사용자로부터 입력받은 메시지를 자극으로 변환하여 환자에게 제공하고, 환자의 반응에 따라서 환자의 상태정보를 생성함으로써 환자의 현재상태를 확인하고, 향후 상태를 예측할 수 있는 효과가 있다.

또한, 본 발명은 사용자로부터 입력받은 메시지와 환자의 반응데이터를 기반으로 대상환자의 응답정보를 생성하여, 환자와 보호자가 커뮤니케이션할 수 있도록 하는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 의식장애 환자와 인터랙션 제공 방법의 흐름도이다.
도 2는 대상환자로부터 반응데이터 획득 여부에 따른 흐름을 예시한 도면이다.
도 3은 대상환자의 반응데이터를 이용하여 응답정보를 생성하는 것을 예시한 도면이다.
도 4는 본 발명의 실시예에 다른 의식장애 환자와 인터랙션 제공 장치의 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.

의식장애 환자: 대표적으로 혼수상태(Coma 식물인간((vegetative state, VS)을 의미하며, 환자 본인 스스로 의사표현, 신체활동을 제대로 하지 못하는 상태의 환자를 의미한다.

도 1은 본 발명의 실시예에 따른 의식장애 환자와 인터랙션 제공 방법의 흐름도이고, 도 2는 대상환자로부터 반응데이터 획득 여부에 따른 흐름을 예시한 도면이며, 도 3은 대상환자의 반응데이터를 이용하여 응답정보를 생성하는 것을 예시한 도면이다.

도 1과 도 2 및 도 3을 함께 참조하여, 본 발명의 실시예에 따른 의식장애 환자와 인터랙션 제공 방법에 대해서 설명하도록 한다.

본 발명은 컴퓨터에 의해 수행되며, 보다 상세하게는 의식장애 환자와 인터랙션 제공 장치(100)에 의해 수행될 수 있다. 따라서, 이하 컴퓨터는 인터랙션 제공 장치(100)를 의미할 수 있다.

먼저, 컴퓨터가 사용자로부터 대상환자에게 제공하고자 하는 메시지를 입력받는다. (S510단계)

이때, 사용자로부터 메시지를 입력받는 방법은 컴퓨터를 통해 직접 입력받을 수도 있고, 사용자 단말(400)을 통해 입력받을 수도 있다.

따라서, 컴퓨터는 통신부(110)를 포함하고 있으며, 사용자는 휴대용 단말을 이용하여 원격으로 대상환자와 인터랙션을 진행할 수 있다.

본 발명의 실시예에서 사용자는 대상환자의 보호자를 의미할 수 있지만 이에 국한되는 것은 아니며 대상환자의 의료진 등 다양한 사람이 사용자가 될 수 있다.

사용자로부터 입력받는 메시지는 "아빠, 안녕하세요."와 같이 대상환자에게 전달할 언어 메시지를 직접 입력받을 수도 있지만, 자극장치(130)가 보유하고 있는 기능에 따라서 다양한 메시지를 입력받을 수 있다.

예를 들어, 메시지는 "대상환자의 가족사진을 보여준다." "대상환자에게 A라는 음악을 들려준다." "대상환자에게 B향기를 제공한다." 등과 같이 다양한 메시지를 입력받을 수 있다.

또한, 메시지를 입력받는 것은 사용자로부터 직접 음성, 사진, 영상을 입력받는 방법으로 실시될 수도 있다.

예를 들어, 사용자 단말(400)로부터 "아빠, 안녕하세요."라는 음성 메시지를 입력받은 경우, 자극장치(130)를 통해 해당 음성 메시지를 그대로 대상환자에게 음성으로 출력하여 자극으로 제공할 수도 있다.

실시예에 따라서 컴퓨터는 사용자 단말(400)에 설치된 애플리케이션으로 대상환자에게 제공할 메시지를 선택하게 할 수도 있다.

S510단계 다음으로, 자극 변환모듈(120)이 사용자로부터 입력받은 메시지에 해당하는 자극을 선택한다. (S520단계)

이때, 자극은 경두개 전류 자극(tCS), 시각적 자극, 청각적 자극, 촉각적 자극 중 적어도 하나를 포함하는 것으로, 사용자로부터 입력받은 메시지와 인터랙션 제공 장치(100), 시스템에 포함된 자극장치(130)로 구현 가능한 자극을 고려하여 선택될 수 있다.

본 발명의 실시예에서 자극장치(130)는 시각적 자극을 제공할 수 있는 디스플레이 장치, 청각적 자극을 제공할 수 있는 음성 출력 장치, 환자의 머리에 착용되어 경두개 전류 자극을 제공할 수 있는 자극장치(130), 후각적 자극을 제공할 수 있는 장치 등이 포함될 수 있다.

또한, 자극장치(130)는 환자의 신체 부위에 부착/착용된 복수 개 센서를 포함하여 환자에게 촉각적 자극을 제공할 수도 있다.

따라서, 자극 변환모듈(120)은 사용자로부터 입력받은 메시지를 자극장치(130)를 통해 구현 가능한 자극으로 선택 또는 변환할 수 있다.

자극 변환모듈(120)은 사용자로부터 입력받은 메시지에 해당하는 자극을 선택하되, 대상환자의 환자정보를 함께 고려하여 자극을 선택할 수 있다.

이때, 환자정보는 대상환자의 나이, 성별, 질병코드, 수면패턴 데이터, 대상환자가 주로 사용하는 손(Hand)에 대한 정보 중 적어도 하나를 포함하는 것이다.

대상환자가 주로 사용하는 손에 대한 정보는 대상환자의 왼손잡이, 오른손잡이, 양손잡이 여부를 의미한다.

따라서, 자극 변환모듈(120)은 동일한 메시지일지라도 대상환자에 따라서 자극을 다르게 선택할 수 있다.

자극 선택 단계(S520단계)는 보다 상세하게는, 자극 변환모듈(120)이 사용자로부터 입력받은 메시지와 대상환자의 환자정보를 고려하여, 대상환자에게 제공할 자극의 종류, 자극의 강도, 자극의 주파수 변화, 자극의 반복 횟수, 자극장치(130)의 자극 활성화 센서 선택 중 적어도 하나를 선택하는 것이다.

이때, 자극 변환모듈(120)이 자극장치(130)의 자극 활성화 센서 선택하는 것은 자극장치(130)가 자극을 제공할 수 있는 복수 개의 센서를 구비하고 있는 경우, 메시지와 대상환자에 따라서 자극을 활성화할 센서를 서로 다르게 동작시키기 때문에, 자극 변환모듈(120)이 어떠한 센서를 통해 대상환자에게 자극을 제공할 것인지 선택하는 것을 의미한다.

그리고, 자극 변환모듈(120)은 사용자로부터 입력받은 메시지와 대상환자의 환자정보에 따라서 자극 종류를 선택하되, 메시지와 환자정보에 따라서 둘 이상의 종류를 선택하여 복합적 자극을 선택하는 것이 가능하다.

따라서, 자극장치(130)는 대상환자에게 한 종류의 자극을 제공할 수도 있고, 두 종류 이상의 자극을 동시에 혹은 연속적으로 제공할 수 있게 된다.

S520단계 다음으로, 자극장치(130)가 대상환자에게 자극을 제공한다. (S530단계)

S530단계 다음으로, 측정장치(170)가 자극에 대한 대상환자의 반응데이터를 획득한다. (S540단계)

보다 상세하게는, 인터랙션 제공 장치(100)가 자극 변환모듈(120)이 선택, 변환한 자극을 자극장치(130)를 통해 대상환자에게 제공하는 것을 의미한다.

상술한 바와 같이 자극장치(130)는 다양한 자극장치(130)가 적용될 수 있으며, 인터랙션 제공 장치(100)와 하나의 장치로 구성될 수도 있고, 유선 또는 무선의 방식으로 연결되어 인터랙션 제공 장치(100)의 제어신호에 따라 작동될 수 있다.

그리고, 측정장치(170)가 자극장치(130)를 통해 제공된 자극에 대한 대상환자의 반응데이터를 획득한다.

이때, 반응데이터는 대상환자의 EEG 데이터, 심박수 데이터, 체온 데이터, 신체 반응 데이터, 음성 데이터 등을 포함한다.

그리고, 측정장치(170)는 상술한 반응데이터를 획득할 수 있는 장치를 의미하며, 보다 상세하게는, 환자의 뇌파를 측정할 수 있는 뇌파측정 장치, 촬영장치와 같이 환자의 움직임, 신체 반응을 측정할 수 있는 장치, 체온 측정 장치, 심박수 측정 장치, 마이크와 같이 환자의 음성을 측정할 수 있는 장치 등 환자의 반응을 수집, 획득할 수 있는 장치라면 무엇이든 적용이 가능하다.

도 2를 참조하면, S530단계, S540단계는 하기 단계들을 더 포함할 수 있다.

대상환자에게 자극을 제공한 후에 반응데이터 획득 여부에 따라서 두 종류의 프로세스가 진행될 수 있다.

첫째로, S530단계에서 자극장치(130)가 대상환자에게 자극을 제공한 후 측정장치(170)로부터 반응데이터 획득 여부를 확인하고, 반응데이터가 획득되지 않을 경우 자극 변환모듈(120)은 자극의 주파수를 변화시키거나 반복 횟수를 증가시켜 대상환자에게 자극을 다시 제공한다. (S535단계)

이때, 자극 변환모듈(120)은 자극의 주파수 변화 또는 반복 횟수 변화에 따른 대상환자의 반응데이터 획득 여부에 대한 빅데이터를 구축하고 학습하여 다음 자극 선택에 적용하는 것을 특징으로 한다.

예를 들어, 대상환자에게 A자극을 3의 강도로 제공하였을 때 반응이 없는 경우 4의 강도로 다시 제공하고, 4의 강도로 제공하였을 때 반응데이터가 획득되었다면, 다음번에 동일하게 A자극을 제공할 때에는 4의 강도를 선택하도록 하는 것을 의미한다.

하지만, 이것은 단순 예시로서, 다음번 자극을 무조건적으로 4의 강도로 선택하는 것을 의미하는 것은 아니다.

경우에 따라서, 자극 변환모듈(120)은 대상환자에게 종전에 4의 강도를 제공하였더라도 3의 강도로 자극을 제공하여 대상환자의 호전상태를 확인하는 것을 시도할 수도 있다.

둘째로, 측정장치(170)가 자극에 대한 대상환자의 반응데이터를 획득하는데 성공하였다면, 반응데이터 획득 단계(S540단계) 다음으로, 검출부가 대상환자로부터 획득된 반응데이터가 자극에 대한 반응이 맞는지 여부를 검출한다. (S543단계)

대상환자로부터 획득한 반응데이터가 자극에 대한 반응으로 나타난 것이 아닌데 이를 통해 대상환자의 상태정보를 생성할 경우, 대상환자의 상태를 잘못 확인할 수 있으므로, 위와 같은 필터링 단계를 수행하여 정확한 상태정보를 획득하도록 하는 것을 의미한다.

일 실시예로, S543단계는 필터링 모듈(180)이 대상환자로부터 획득된 반응데이터를 검출하여 반응데이터 중에서 자극에 대한 반응이 아닌 데이터를 필터링하는 단계가 더 포함될 수 있다.

예를 들어, 자극장치(130)가 대상환자에게 시각적 자극을 제공하였고, 필터링 모듈(180)이 대상환자로부터 수집된 EEG 반응데이터(뇌파 신호)에서 SSVEP(Steady State Visually Evoked Potentials; 안정 상태 시각 유발 전위) 신호가 검출되는 경우 반응데이터가 자극에 대한 반응이 맞는 것으로 판단하게 된다.

이와 다르게, 자극장치(130)가 대상환자에게 청각적 자극을 제공하였고, 필터링 모듈(180)이 대상환자로부터 수집된 EEG 반응데이터에서 SSVEP 신호를 검출하지 못할 경우 해당 반응데이터가 자극에 대한 반응이 아닌 것으로 판단하게 된다.

이와 같이, 필터링 모듈(180)은 반응데이터(대표적으로, EEG 데이터)를 분석하여 해당 반응데이터가 어떠한 감각에 해당하는 반응인지 확인할 수 있다.

이와 같은 단계를 수행함으로써, 자극에 대한 반응이 아닌 데이터를 삭제함으로써 대상환자의 상태정보를 정확하게 생성할 수 있는 효과가 있다.

S543단계 다음으로, 자극장치(130)를 통해 제공된 자극이 둘 이상의 자극 종류를 포함하는 경우, 필터링 모듈(180)이 반응데이터를 검출하여 자극 종류별로 반응데이터를 필터링한다. (S547단계)

예를 들어, 자극장치(130)를 통해 시각적 자극, 청각적 자극 두 종류의 자극이 동시에 제공되었고 반응데이터가 수집되었을 때 어떠한 반응이 시각적 자극에 대한 반응이고, 청각적 자극에 대한 반응인지 필터링하여 구별해주는 것을 의미한다.

S540단계 다음으로, 상태정보 생성모듈(140)이 대상환자로부터 획득한 반응데이터를 기반으로 대상환자의 상태정보를 생성한다. (S550단계)

이때, 상태정보는 대상환자의 투병 상태, 현재 상태, 컨디션, 자극에 대한 반응도, 기분 상태 등에 대한 정보를 포함할 수 있으며, 상태정보 생성모듈(140)은 질병종류, 환자정보, 자극, 반응데이터에 따라서 상태정보를 생성하는 방법이 학습되어 구축되어 있다.

일 실시예로, 상태정보 생성모듈(140)은 반응데이터를 분석하여 대상환자의 상태정보를 화면의 UI로 표출해줄 수도 있다.

예를 들어, 상태정보 생성모듈(140)은 반응데이터가 신체반응에 해당하는 경우 대상환자의 신체 어느 부위에 반응이 있었는지 상태정보를 생성하여 제공할 수 있다. 이는, 반응데이터가 심박수 데이터, 체온 데이터, 음성 데이터일 경우에도 동일하게 적용될 수 있다.

또한, 상태정보 생성모듈(140)은 반응데이터가 EEG 데이터일 경우, EEG 데이터가 수집된 센서 위치와 EEG 데이터를 분석하여 그에 해당하는 상태정보를 생성할 수 있다.

도 3을 참조하면, 일 실시예로 하기 단계들이 더 포함될 수 있다.

응답정보 생성모듈(150)이 메시지, 반응데이터 및 상태정보 중 적어도 하나를 기반으로 대상환자의 응답정보를 생성한다. (S560단계)

S550단계가 상태정보 생성모듈(140)이 메시지와 반응데이터를 기반으로 대상환자의 상태를 의미하는 상태정보를 생성하는 단계였다면, S560단계는 응답정보 생성모듈(150)이 메시지, 반응데이터 및 상태정보 중 적어도 하나를 기반으로 대상환자가 자극에 대하여 어떻게 응답했는지를 의미하는 응답정보를 생성하는 것을 의미한다.

보다 상세하게는, 직접적으로 말을 하거나 의사표현을 할 수 없는 대상환자에게 사용자의 메시지에 해당하는 자극을 제공하고, 메시지, 반응데이터, 상태정보를 분석하여 대상환자가 메시지에 대하여 어떻게 응답하였다고 유추하여 제공하는 것을 의미한다.

따라서, 사용자는 대상환자의 상태를 확인함은 물론 소통을 하고 있는 것과 같은 체험을 할 수 있게 된다.

이때, 응답정보는 대표적으로 언어적인 메시지로 생성될 수 있지만 이에 한정되는 것은 아니고, 음성, 이미지 등의 방식으로 구현될 수도 있다.

예를 들어, 사용자가 "아빠, 안녕 듣고 있어?"라는 메시지를 입력하면, 자극 변환모듈(120)이 메시지에 해당하는 자극을 선택하여 자극장치(130)를 통해 대상환자에게 자극을 제공하고, 측정장치(170)가 대상환자의 반응데이터를 획득하게 된다. 그리고, 응답정보 생성모듈(150)이 메세지와 반응데이터를 분석한 결과, "응 아빠 듣고 있어."라는 응답정보를 생성하여 사용자에게 제공하게 된다.

이때, 인터랙션 제공 장치(100)는 사용자로부터 대상환자의 음성이 포함되어 있는 음성 파일, 영상 파일이 입력되면, 이를 인공지능 학습모듈에 입력하여 대상환자의 음성을 학습하고, 대상환자에 대한 성대모사모델을 생성하여 데이터베이스(160)에 저장한다.

그리고, 인터랙션 제공 장치(100)의 프로세서(105)는 S560 단계에서 응답정보가 생성되면, 생성된 응답정보를 데이터베이스(160)에 저장된 성대모사모델에 입력하여 대상환자의 음성으로 응답정보가 출력되도록 제어한다.

이로 인해서, 본 발명의 실시예에 따른 인터랙션 제공 장치(100)는 사용자가 대상환자와 소통하는 것과 같은 체험을 제공하는 것은 물론, 대상환자의 음성을 그대로 모사함으로써 좀 더 현실감 있는 체험을 제공하는 현저한 효과를 제공하게 된다.

그리고, S560단계 다음으로, 자극 변환모듈(120)이 응답정보 생성모듈(150)이 생성한 응답정보를 기반으로 대상환자에게 제공할 하나 이상의 다음 메시지를 도출하여 사용자에게 추천할 수 있다. (S570단계)

S570단계의 구성없이 사용자가 원하는 의사소통을 하도록 자유롭게 다음 메시지를 입력하게 할 수도 있지만, 자극 변환모듈(120)이 응답정보 생성모듈(150)이 생성한 응답정보를 분석하여 대상환자에게 전달할 다음 메시지를 추천해주어 대상환자의 치료 또는 커뮤니케이션에 도움이 되도록 해주는 것을 의미한다.

그리고, 사용자로부터 추천 메시지 중 하나를 선택받으면, 자극 변환모듈(120)이 선택받은 추천 메시지에 해당하는 자극을 선택하여 이를 자극장치(130)를 통해 대상환자에게 제공하는 과정으로 돌아가게 된다.

일 실시예로, 대상환자로부터 획득된 반응데이터를 통해 대상환자의 향후 상태정보를 생성하는 단계들이 더 포함될 수 있다.

보다 상세하게는, 대상환자에게 제공된 자극에 대한 정보와 그에 대한 반응데이터를 데이터베이스(160)에 로그데이터로 저장하는 단계, 상태정보 생성모듈(140)이 대상환자의 환자정보와 로그데이터를 기반으로 대상환자의 향후 상태정보를 생성하는 단계를 포함한다.

이때, 향후 상태정보는 대상환자의 반응도 향상 여부, 대상환자의 질환 개선 가능성 등을 포함하는 것이다.

보다 상세하게는, 대상환자에게 제공된 자극에 대한 정보와 그에 대한 반응데이터를 데이터베이스(160)에 로그데이터로 저장하여 빅데이터를 구축하고, 이러한 빅데이터를 통해 대상환자로부터 획득된 반응데이터를 분석하여 대상환자의 향후 상태정보를 생성하는 것을 의미한다.

예를 들어, 기존에 비해 반응데이터가 좋아지는 추세인 경우 대상환자의 반응도가 얼마만큼 향상될 여지가 있는지, 질환이 개선될 가능성이 보이는지와 같은 향후 상태정보를 생성하여 사용자에게 제공하는 것을 의미한다.

일 실시예로, 상태정보 생성모듈(140)은 대상환자의 로그데이터를 동일 질병코드를 가진 환자들의 로그데이터와 비교하여 대상환자의 향후 상태정보를 생성할 수 있다.

또한, 상태정보 생성모듈(140)은 대상환자에게 제공된 동일 자극에 대한 서로 다른 반응데이터를 분석하여 대상환자의 향후 상태정보를 생성할 수 있다.

이상으로 설명한 본 발명의 실시예에 따른 의식장애 환자와 인터랙션 제공 방법은 의식장애 환자의 치료용, 상태 확인용으로 활용될 수 있음은 물론, 의식장애 환자의 보호자, 가족이 환자와 인터랙션, 커뮤니케이션할 수 있도록 하여 병 간호를 보조할 수 있는 효과를 발휘하게 된다.

도 4는 본 발명의 실시예에 다른 의식장애 환자와 인터랙션 제공 시스템(10)의 블록도이다.

도 4를 참조하면, 본 발명의 실시예에 따른 의식장애 환자와 인터랙션 제공 장치(100)는 프로세서(105), 통신부(110), 자극 변환모듈(120), 상태정보 생성모듈(140), 응답정보 생성모듈(150), 데이터베이스(160), 필터링 모듈(180), 자극장치(130), 측정장치(170)를 포함한다.

본 발명의 실시예에서 프로세서(105)는 통신부(110), 자극 변환모듈(120), 상태정보 생성모듈(140), 응답정보 생성모듈(150), 데이터베이스(160), 필터링 모듈(180), 자극장치(130), 측정장치(170) 등과 같이, 인터랙션 제공 장치(100) 내 모든 구성들의 제어를 수행할 수 있다.

다만, 몇몇 실시예에서 서버는 도 4에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

통신부(110)는 인터랙션 제공 장치(100)와 사용자 단말(400), 의료진 단말과 통신을 수행하여 사용자로부터 입력받은 메시지를 수신하게 된다.

자극 변환모듈(120)은 사용자로부터 입력받은 메시지에 해당하는 자극을 선택한다.

자극장치(130)는 자극 변환모듈(120)이 선택한 자극을 대상환자(500)에게 제공한다.

측정장치(170)는 자극에 대한 대상환자(500)의 반응데이터를 획득한다.

상태정보 생성모듈(140)은 반응데이터를 기반으로 대상환자(500)의 상태정보를 생성한다.

데이터베이스(160)는 대상환자(500)에게 제공된 자극에 대한 정보와 그에 대한 반응데이터를 저장하여 빅데이터를 구축하는 역할을 담당한다.

필터링 모듈(180)은 자극장치(130)를 통해 제공되는 자극이 둘 이상의 자극 종류를 포함하는 경우 반응데이터를 검출하여 자극 종류별로 반응데이터를 필터링한다.

이상으로 설명한 본 발명의 실시예에 따른 의식장애 환자와 인터랙션 제공 장치(100)는 도 1 내지 도 3을 통해 설명한 의식장애 환자와 인터랙션 제공 방법과 발명의 카테고리만 다를 뿐, 동일한 내용이므로 중복되는 설명, 예시는 생략하도록 한다.

이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 인터랙션 제공 시스템
100: 인터랙션 제공 장치
110: 통신부
120: 자극 변환모듈
130: 자극장치
140: 상태정보 생성모듈
150: 응답정보 생성모듈
160: 데이터베이스
170: 측정장치
180: 필터링 모듈
400: 사용자 단말
500: 대상환자

Claims

컴퓨터에 의해 수행되는 방법으로,
사용자로부터 대상환자에게 제공하고자 하는 메시지를 입력받는 단계;
자극 변환모듈이 상기 입력받은 메시지에 해당하는 자극을 선택하는 단계;
자극장치가 상기 대상환자에게 상기 자극을 제공하는 단계;
측정장치가 상기 자극에 대한 상기 대상환자의 반응데이터를 획득하는 단계;
상기 대상환자로부터 획득된 반응데이터가 상기 자극에 대한 반응이 맞는지 여부를 검출하는 단계; 및
상태정보 생성모듈이 상기 반응데이터를 기반으로 상기 대상환자의 상태정보를 생성하는 단계를 포함하며,
상기 검출 단계는, 상기 대상환자로부터 획득된 반응데이터를 검출하여 상기 자극에 대한 반응이 아닌 반응데이터를 필터링하는 단계를 포함하고,
상기 대상환자의 음성이 포함되어 있는 음성 파일 또는 영상 파일이 수신되면, 상기 수신된 음성 파일 또는 영상 파일을 인공지능 모델에 입력하여 상기 대상환자의 음성을 학습하고 상기 대상환자에 대한 성대모사 모델을 생성하는 단계를 포함하며,
상기 생성된 응답정보를 상기 성대모사 모델에 입력하여 상기 대상환자의 음성으로 상기 응답정보가 출력되도록 하는 단계를 포함하고,
상기 검출 단계는,
상기 자극 중 시각적 자극을 제공받은 대상환자로부터 수집된 EEG 반응데이터 내의 SSVEP(Steady State Visually Evoked Potentials, 안정 상태 시각 유발 전위) 신호가 검출되는 경우, 상기 반응데이터가 상기 자극에 대한 반응이 맞는 것으로 판단하고,
상기 SSVEP 신호가 검출되지 않을 경우, 상기 반응데이터가 상기 자극에 대한 반응이 아닌 것으로 판단하는 것을 특징으로 하는, 의식장애 환자와 인터랙션 제공 방법.
제1항에 있어서,
상기 반응데이터는,
상기 대상환자의 EEG 데이터, 심박수 데이터, 체온 데이터, 신체 반응 데이터, 음성 데이터 중 적어도 하나를 포함하는 것인, 의식장애 환자와 인터랙션 제공 방법.
제1항에 있어서,
상기 반응데이터 획득 단계 다음에,
상기 대상환자로부터 상기 자극에 대한 반응데이터가 획득되지 않는 경우, 상기 자극의 주파수를 변화시키거나 반복 횟수를 증가시켜 상기 대상환자에게 상기 자극을 다시 제공하는 단계를 더 포함하는, 의식장애 환자와 인터랙션 제공 방법.
제3항에 있어서,
상기 자극 변환모듈은,
상기 자극의 주파수 변화 또는 반복 횟수 변화에 따른 상기 대상환자의 반응데이터를 획득 여부에 대한 빅데이터를 구축하고 학습하여 다음 자극 선택에 적용하는 것을 특징으로 하는, 의식장애 환자와 인터랙션 제공 방법.
제1항에 있어서,
상기 상태정보 생성 단계는,
응답정보 생성모듈이 상기 메시지, 상기 반응데이터 및 상기 상태정보 중 적어도 하나를 기반으로 상기 대상환자의 응답정보를 생성하는 단계를 더 포함하는, 의식장애 환자와 인터랙션 제공 방법.
제5항에 있어서,
상기 자극 변환모듈이 상기 응답정보를 기반으로 상기 대상환자에게 제공할 하나 이상의 다음 메시지를 도출하여 상기 사용자에게 추천하는 단계를 더 포함하는, 의식장애 환자와 인터랙션 제공 방법.
삭제
제1항에 있어서,
상기 자극 선택 단계는,
자극 변환모듈이 상기 입력받은 메시지와 상기 대상환자의 환자정보를 고려하여, 자극의 종류, 자극의 강도, 자극의 주파수 변화, 자극의 반복 횟수, 자극장치의 자극 활성화 센서 선택, 중 적어도 하나를 선택하는 것이고,
상기 환자정보는,
상기 대상환자의 나이, 성별, 질병코드, 수면패턴 데이터, 상기 대상환자가 주로 사용하는 손(Hand)에 대한 정보 중 적어도 하나를 포함하는 것인, 의식장애 환자와 인터랙션 제공 방법.
제8항에 있어서,
상기 자극 변환모듈은,
상기 입력받은 메시지와 상기 대상환자의 환자정보에 따라서 상기 자극 종류를 선택하되, 둘 이상의 종류를 선택하여 복합적 자극을 선택하는 것이 가능한, 의식장애 환자와 인터랙션 제공 방법.
제1항에 있어서,
상기 자극은,
경두개 전류 자극(tCS), 시각적 자극, 청각적 자극, 및 촉각적 자극 중 적어도 하나를 포함하는 것인, 의식장애 환자와 인터랙션 제공 방법.
제10항에 있어서,
상기 상태정보 생성 단계는,
상기 자극이 둘 이상의 자극 종류를 포함하는 경우, 필터링 모듈이 상기 반응데이터를 검출하여 자극 종류별로 반응데이터를 필터링하는 단계를 포함하는, 의식장애 환자와 인터랙션 제공 방법.
제1항에 있어서,
상기 대상환자에게 제공된 자극에 대한 정보와 그에 대한 반응데이터를 데이터베이스에 로그데이터로 저장하는 단계;
상기 상태정보 생성모듈이 상기 대상환자의 환자정보와 상기 로그데이터를 기반으로 상기 대상환자의 향후 상태정보를 생성하는 단계를 더 포함하며,
상기 향후 상태정보는,
상기 대상환자의 반응도 향상 여부, 상기 대상환자의 질환 개선 가능성 중 적어도 하나를 포함하는 것인, 의식장애 환자와 인터랙션 제공 방법.
제12항에 있어서,
상기 상태정보 생성모듈은,
상기 대상환자의 로그데이터를 동일 질병코드를 가진 환자들의 로그데이터와 비교하여 상기 대상환자의 향후 상태정보를 생성하며,
상기 대상환자에게 제공된 동일 자극에 대한 서로 다른 반응데이터를 분석하여 상기 대상환자의 향후 상태정보를 생성하는 것을 특징으로 하는, 의식장애 환자와 인터랙션 제공 방법.
사용자로부터 입력받은 대상환자에게 제공하고자 하는 메시지에 해당하는 자극을 선택하는 자극 변환모듈;
상기 대상환자에게 상기 자극을 제공하는 자극장치;
상기 자극에 대한 상기 대상환자의 반응데이터를 획득하는 측정장치;
상기 대상환자로부터 획득된 반응데이터가 상기 자극에 대한 반응이 맞는지 여부를 검출하는 검출부;
상기 반응데이터를 기반으로 상기 대상환자의 상태정보를 생성하는 상태정보 생성모듈; 및
상기 대상환자로부터 획득된 반응데이터를 검출하여 상기 자극에 대한 반응이 아닌 반응데이터를 필터링하는 필터링 모듈을 포함하고,
상기 대상환자의 음성이 포함되어 있는 음성 파일 또는 영상 파일이 수신되면, 상기 수신된 음성 파일 또는 영상 파일을 인공지능 모델에 입력하여 상기 대상환자의 음성을 학습하고 상기 대상환자에 대한 성대모사 모델을 생성하고, 상기 생성된 응답정보를 상기 성대모사 모델에 입력하여 상기 대상환자의 음성으로 상기 응답정보가 출력되도록 하는 프로세서를 포함하며,
상기 검출부는,
상기 자극 중 시각적 자극을 제공받은 대상환자로부터 수집된 EEG 반응데이터 내의 SSVEP(Steady State Visually Evoked Potentials, 안정 상태 시각 유발 전위) 신호가 검출되는 경우, 상기 반응데이터가 상기 자극에 대한 반응이 맞는 것으로 판단하고,
상기 SSVEP 신호가 검출되지 않을 경우, 상기 반응데이터가 상기 자극에 대한 반응이 아닌 것으로 판단하는 것을 특징으로 하는, 의식장애 환자와 커뮤니케이션 제공 장치.
하드웨어인 컴퓨터와 결합되어, 제1항 내지 제6항, 제8항 내지 제13항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 의식장애 환자와 커뮤니케이션 제공 프로그램.