KR20110070981A - 알츠하이머 인지 인에이블러 - Google Patents

알츠하이머 인지 인에이블러 Download PDF

Info

Publication number
KR20110070981A
KR20110070981A KR1020117008452A KR20117008452A KR20110070981A KR 20110070981 A KR20110070981 A KR 20110070981A KR 1020117008452 A KR1020117008452 A KR 1020117008452A KR 20117008452 A KR20117008452 A KR 20117008452A KR 20110070981 A KR20110070981 A KR 20110070981A
Authority
KR
South Korea
Prior art keywords
waveform signal
eeg
data
user
eeg waveform
Prior art date
Application number
KR1020117008452A
Other languages
English (en)
Other versions
KR101520524B1 (ko
Inventor
마틴 로트블라트
Original Assignee
유니터 뉴로사이언시스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니터 뉴로사이언시스, 인크. filed Critical 유니터 뉴로사이언시스, 인크.
Publication of KR20110070981A publication Critical patent/KR20110070981A/ko
Application granted granted Critical
Publication of KR101520524B1 publication Critical patent/KR101520524B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt

Abstract

사용자가 정신 쇠약화 상태에 있을 때, 사용자가 상호작용을 할 수 있게 하는 컴퓨팅 장치는 뇌전도 (EEG) 파형 신호를 저장하도록 구성된 메모리를 포함한다. EEG 파형 신호는 연관 인식 데이터에 의해 발생한다. 반응 데이터는 연관 인식 데이터에 기초하여 발생하여 메모리에 저장된다. 입력 컴포넌트는 사용자로부터 EEG 파형 신호를 수신하도록 구성된다. 프로세서는 수신된 EEG 파형 신호와 저장된 EEG 파형 신호를 비교하여 수신된 EEG 파형 신호가 저장된 EEG 파형 신호와 매치되는지 여부를 결정하도록 구성된다. 출력 컴포넌트는 프로세서로부터의 결정에 기초하여 연관 인식 데이터에 의해 발생된 반응 데이터를 자동으로 출력하도록 구성된다.

Description

알츠하이머 인지 인에이블러{ALZHEIMER’S COGNITIVE ENABLER}
관련 특허 출원에 관한 상호 참조
본 출원은 2008년 9월 19일 출원된 미국 정규 특허 출원 번호 제12/233,817호 (상기 문헌의 전문이 본원에 참고로 인용된다)의 우선권과 이점을 주장한다.
1. 발명의 분야
본 발명의 실시양태는 쇠약화 질환을 앓는 개인 뿐만 아니라, 상기 환자의 능력 감퇴로 인해 영향을 받는, 관심의 대상이 되는 구성원들의 삶의 질을 개선시키기 위한 장치, 시스템 및 방법에 관한 것이다.
2. 관련 기술의 설명
인간의 지능에 영향을 미치는 쇠약화 질환은 특히 상기 질환을 앓는 개인 뿐만 아니라, 상기 개인을 돌봐야 하는 가족 구성원, 친구 및 돌보는 사람, 둘 모두에게 있어 참기 어려운 질환이다. 정신 쇠약화 질환의 한 형태는 치매이다. 치매는 일상 활동을 수행할 수 있는 사람의 능력에 심각한 영향을 미치는 뇌 장애이다. 노인들에게 있어서 가장 보편적인 형태의 치매는 알츠하이머병으로, 이는 초기에는 사고, 기억, 및 언어를 조절하는 뇌의 일부분을 포함한다. 상기 질환의 조기 단계에서, 비록 초기에는 연령-관련 기억-상실 또는 스트레스로서 오진을 받게 되는 경우도 자주 일어나지만, 최근 알게 된 사실을 기억하는 데 있어 어려움을 느끼는 것으로 보여지는 기억 상실이 가장 보편적인 증상이다. 후기 증상으로는 착란, 분노, 기분 변화, 언어 붕괴, 장기 기억 상실, 및 환자 그 또는 그녀의 감각이 저하됨에 따른 환자의 일반적인 위축을 포함한다. 각각의 개인은 독특한 방식으로 알츠하이머병의 증상들을 경험한다. 본 질환은 5년 내지 20년 사이로 지속된다.
현재, 알츠하이머병에 대한 치유법은 없다. 또한, 알츠하이머병 환자가 본 질환의 다양한 단계에서 가족 및 친구들과 효과적으로 상호작용할 수 있는 효과적인 방법 역시 없다.
그러므로, 알츠하이머병 환자가 본 질환의 다양한 단계에서 가족, 친구, 돌보는 사람 등과 효과적으로 상호작용할 수 있도록 하는 장치, 시스템 및 방법이 요구되고 있다.
개시내용의 요약
따라서, 알츠하이머병 환자가 본 질환의 다양한 단계에서 가족, 친구, 돌보는 사람 등과 효과적으로 상호작용할 수 있도록 하는 알츠하이머 인지 인에이블러를 개시한다.
본 발명의 한 실시양태에 따라, 사용자가 정신 쇠약화 상태에 있을 때, 사용자가 상호작용을 할 수 있게 하는 컴퓨팅 장치는 뇌전도 (EEG) 파형 신호를 저장하도록 구성된 메모리를 포함한다. EEG 파형 신호는 연관 인식 데이터에 의해 발생한다. 반응 데이터는 연관 인식 데이터에 기초하여 발생하여 메모리에 저장된다. 입력 컴포넌트는 사용자로부터 EEG 파형 신호를 수신하도록 구성된다. 프로세서는 수신된 EEG 파형 신호와 저장된 EEG 파형 신호를 비교하여 수신된 EEG 파형 신호가 저장된 EEG 파형 신호와 매치되는지 여부를 결정하도록 구성된다. 출력 컴포넌트는 프로세서로부터의 결정에 기초하여 연관 인식 데이터에 의해 발생된 반응 데이터를 자동으로 출력하도록 구성된다.
본 발명의 또 다른 실시양태에 따라, 사용자가 정신 쇠약화 상태에 있을 때, 사용자가 상호작용을 할 수 있게 하는 컴퓨팅 시스템은 컴퓨팅 장치 및 서버 컴퓨터를 포함한다. 컴퓨팅 장치는 메모리, 입력 컴포넌트, 프로세서 및 출력 컴포넌트를 포함한다. 메모리는 EEG 파형 신호를 저장하도록 구성된다. EEG 파형 신호는 연관 인식 데이터에 의해 발생한다. 반응 데이터는 연관 인식 데이터에 기초하여 발생하여 메모리에 저장된다. 입력 컴포넌트는 사용자로부터의 EEG 파형 신호를 수신하도록 구성된다. 프로세서는 수신된 EEG 파형 신호와 저장된 EEG 파형 신호를 비교하여 수신된 EEG 파형 신호가 저장된 EEG 파형 신호와 매치되는지 여부를 결정하도록 구성되고, 출력 컴포넌트는 프로세서로부터의 결정에 기초하여 연관 인식 데이터에 의해 발생된 반응 데이터를 자동으로 출력하도록 구성된다. 서버 컴퓨터는 컴퓨팅 장치의 메모리에 저장된 EEG 파형 신호, 연관 인식 데이터 및 반응 데이터를 업데이트하도록 구성된다.
본 발명의 추가의 실시양태에 따라, 사용자가 정신 쇠약화 상태에 있을 때, 사용자가 상호작용을 할 수 있게 하는 방법은 연관 인식 데이터에 의해 발생한 뇌전도 (EEG) 파형 신호를 저장하는 단계를 포함한다. 또한, 본 방법은 연관 인식 데이터에 기초하여 발생한 반응 데이터를 저장하는 단계 및 사용자로부터 EEG 파형 신호를 수신하는 단계를 포함한다. 본 방법은 추가로 수신된 EEG 파형 신호를 저장된 EEG 파형 신호와 비교하는 단계, 및 수신된 EEG 파형 신호가 저장된 EEG 파형 신호와 매치되는지 여부를 결정하는 단계를 포함한다. 본 방법은 추가로 결정 단계에 기초하여 연관 인식 데이터에 의해 발생한 반응 데이터를 자동으로 출력하는 단계를 포함한다.
본 발명에 관한 상기 및 기타 다른 특징, 측면 및 이점은 하기의 상세한 설명, 첨부된 특허청구범위 및 첨부된 도면과 관련해서 더욱 더 잘 이해될 수 있을 것이다.
도 1은 본 발명의 알츠하이머 인지 인에이블러 (ACE) 장치의 실시양태를 사용하는 사용자를 도시한 것이고;
도 2는 본 발명의 ACE 장치, 시스템 및 방법이 작동할 수 있는 작동 환경을 도시한 것이며;
도 3은 본 발명의 한 실시양태에 따른 ACE 장치 내에서 실행되는 단계를 도시한 흐름도이다.
달리 명시되지 않는 한, "단수형"("a" 또는 "an")라는 것은 "하나 이상"을 의미한다.
게임 산업을 위해 최근 이루어진 비-침습 뇌전도 (EEG) 파형 모니터링의 진보를 통해 상당수의 EEG 파형 신호가 관념 콘텐츠와 연관지어졌다. 또한, 최근 이루어진 영상 및 음성 인식 기술의 진보를 통해 이들 기술은 개인용 컴퓨터를 이용하여 쉽게 사용될 수 있었다. 그러나, 상기와 같은 기술은 특정 산업에서 그를 실시하여야 한다는 제한이 있었고, 알츠하이머병을 앓는 개인을 돕는 것에 대해서는 함께 연관시키지 못했다. 일반적으로, 알츠하이머병 환자는 정신적으로는 그들 본인이 또렷이 말하거나 표현할 수 있는 것 이상의 수행능을 갖고 있다. 본 발명의 실시양태에 따라, 알츠하이머 인지 인에이블러 (ACE)를 통해 알츠하이머병 환자는 그 또는 그녀의 영향을 덜 받은 인지 파형을 이용함으로써, 뇌에서 베타 아밀로이드판에 의해 차단되되 ACE 상에서는 이용가능한 것인 인식 및 대화 기능을 일으킬 수 있다. 다시 말해, ACE는 통상의 휠체어가 제공하는 육체적인 도움과 비교하였을 때, 정신적 도움을 제공하는 "인지 휠체어"로서 동일시되거나 개념화될 수 있다.
예를 들면, 도 1에서와 같이, 사용자 (110) (즉, 알츠하이머 환자)이 소지하는 ACE 장치 (100)을 생각해 보자. 도 1에 예시된 상기와 같은 일례의 실시양태에서, ACE 장치 (100)은 입력 장치, 예로서, EEG 장치 (150), 비디오 카메라 (121), 마이크로폰 (124), 및 입력 장치 (122) (예로서, 키보드, 손 글씨 인식 장치 등)와 같은 입력 장치에 접근한다. ACE 장치 (100)은 또한 영상 표시 장치 (132) 및 스피커 출력 장치 (134)에 접근한다. 본 발명의 일부 실시양태에서, 입력 및 출력 장치는 ACE 장치 (100)과 함께 단일 장치로 통합될 수 있는 반면, 대체 실시양태에서, ACE 장치 (100)은 (예로서, 사용자가 소지하거나, 또는 그러한 환경 근처에 위치하는) 접근가능한 각종의 장치들 중 어느 하나로부터의 입력을 받아들일 수 있는 능력, 및 (예로서, 육체적 연결이나, 또는 무선 연결을 통해) 그러한 장치로 출력을 제공할 수 있는 능력을 가진 분리형 장치일 수 있다. 하기에서 더욱 상세하게 논의되는 바와 같이, ACE 장치 (100)은 추가로 그의 메모리 (165)에 저장된 정보를 프로세싱하기 위한 프로세서 (160)을 포함한다.
본 발명은 하기의 특정 실시양태 및 일례에 의해 추가로 설명되지만, 그로 제한하고자 하는 것은 아니다. 각종의 상황을 위해 사용자 (110)은 추후에 사용자 (110)과 사람 (170)과의 상호작용을 보조하는 데 사용될 수 있는 정보를 저장하기를 희망할 수 있는데, 도 1에서 설명된 일례에서는 이러한 각종의 상황을 설명한다. 본 발명의 한 실시양태에 따라, ACE 장치 (100)은 사용자가 최초로 인지 저하 징후를 보였을 때 사용자 (110)에게 처방된다. 이와 같이 여전히 상대적으로는 건강한 단계 동안, 알츠하이머 환자, 가족 구성원(들) 및/또는 돌보는 사람은 환자의 눈에 띠는 영상, 음성 데이터, 기억 등, 및 연관 EEG 파형을 ACE 장치 (100)에 로딩하게 될 것이다. 그러나, 인공 지능 기술을 통해서 모든 데이터 비트가 관련된 EEG 파형을 갖는다는 것이 중요한 것은 아니다. 예를 들면, 환자의 아들 영상과 관련된 EEG 파형이 존재할 수 있다. 그러나, 환자와 함께 상기 아들 영상과 관련이 있는 EEG 파형이 존재할 필요는 없다. ACE 장치 (100)을 가동시키는 인공 지능 프로그램은 인덱스 영상이 EEG로 유발된 후에 관련된 영상을 함께 모으는 상관적인 데이터베이스 기술을 이용한다. 더욱 일반적으로, ACE 장치 (100)은 사람의 온당한 인식과 연관된 EEG 파형에 관한 저장된 데이터와 진보형 인공 지능 기반의 채팅 로봇 소프트웨어에 기초하여 사람과 정상적인 대화를 수행할 수 있도록 구성된다. 일반적으로, 임의의 EEG 파형은 ACE 장치 (100)이 고장난 경우에도 몇몇 대화능을 촉발할 것이며, 그러한 대화능은 저장된 연관성이 허용하는 것만큼 EEG 파형을 일으키는 자극과 매우 유사할 것이다. EEG 장치 (150)을 착용하고 있는 동안, 알츠하이머 환자는 다른 사람들과 상호작용을 할 때인 주어진 상황하에서 ACE 장치 (100)이 그 또는 그녀가 하는 것처럼 반응을 하도록 훈련시킬 수 있다. 이후, 하기에서 더욱 더 상세히 논의되는 바와 같이, 일단 상기 질환이 진행되고 나면, ACE 장치 (100)은 미리 저장되었고 계속하여 업데이트되는 영상 및 소리 인식 루틴, 대화식 소프트웨어 및 환자에 특이적인 설정 환경을 사용함으로써 알츠하이머 환자를 대신하여 다른 사람들과 상호작용하는 데 사용될 수 있다.
예를 들면, 최초로 사람 (170)을 만났을 때, 사용자 (110)은 추후에 기억할 수 있도록 하기 위해 그 사람에 대한 각종 정보를 저장하고자 할 수 있다. 특히, 사용자 (110)은 그러한 만남의 비디오 및 오디오 녹음 내용을 포착하기 위해 비디오 카메라 (121) 및 마이크로폰 (124)을 사용할 수 있다. 사용자 (110)은 또한 그러한 만남이 이루어졌던 장소에 대한 비디오 영상과 같이, 만남에 대해 추후에 기억하는 데 도움이 될 수 있는 환경에 대한 기타 다른 현 정보도 포착하기 위해 비디오 카메라 (121)을 사용할 수 있다. 또한, 사용자 (110)은 예로서, 사람의 이름, 주소, e-메일 주소, 전화 번호 등과 같이, 사람 (170)에 대하여 구술된 정보를 녹음하기 위해 마이크로폰 (124)을 사용할 수 있다. 이어서, ACE 장치 (100)은 오디오 녹음 내용으로서 상기의 구술된 정보를 저장할 수 있거나, 그를 대신하여 상기 정보를 문자 그대로 나타낸 버전으로 작성하기 위해 구술 내용에 대한 음성 인식을 실시할 수 있다. 별법으로, 사용자 (110)은 텍스트 입력 장치 (121)을 통해 텍스트로서 직접 ACE 장치 (100)에 상기 사람에 관한 정보 중 일부, 또는 전부를 제공할 수 있다. 다른 실시양태에서, 사용자 (110)은 사람이 소지하고 있을 수 있는 휴대용 장치 (나타내지 않음) (예로서, 또 다른 ACE 장치)로부터 전송된 정보와 같은, 임의의 기타 다른 이용가능한 입력 수준을 통해 ACE 장치 (100)에 정보를 제공할 수 있다. 사람 (170)과의 만남에 대한 각종 정보를 받아서 프로세싱한 후, ACE 장치 (100)은 EEG 장치 (150)으로부터 수신 EEG 파형 신호와 각종 정보를 연관시키게 된다.
본 발명의 한 실시양태에 따라, ACE 장치 (100)은 사람 (170)을 다시 만났지만, 그를 인식하지 못한 알츠하이머 환자가, 알츠하이머 환자가 사람 (170)을 다시 만났어도 그를 인식하지 못했을 때 발생된 EEG 파형에 기초하여 자동으로 그 사람에게 적절한 인사를 할 수 있도록 구성된다.
ACE 장치 (100)은 사용자 (110)이 착용할 수 있는, 범용의 본체 탑재형 착용식 컴퓨터 형태일 수 있다. 예로서, 사용자의 몸체 또는 옷에 가죽끈으로 묶어 두거나, 부착되어진 형태, 또는 권총 가죽 케이스와 같은 것에 탑재된 형태와 같은, 다수의 착용식 컴퓨터는 사용자와 함께 이동을 하게 된다. 착용식 컴퓨터는 마이크로폰 (124), 문자 인식능이 있는 손에 들고 다니는 소형 평면 패널 디스플레이, 및 기타 다른 각종 사용자 입력 장치 (222)를 비롯한, 다양한 사용자 착용식 사용자 입력 장치를 갖는다. 유사하게, 컴퓨터는 손에 들고 다니는 소형 평면 패널 디스플레이, 이어피스 스피커, 안경이 장착된 디스플레이 등을 비롯한, 다양한 사용자 착용형 출력 장치를 갖는다. 각종의 사용자 착용형 사용자 입력 장치 이외에도, 컴퓨터는 또한 각종의 사용자 센서 입력 장치, 및 환경 센서 입력 장치, 예로서, 비디오 카메라 (121)로부터 정보를 받을 수 있다. ACE 장치 (100)은 각종 입력 정보를 받아서 프로세싱할 수 있고, 각종 출력 장치 상에 사용자 (110)에게 정보를 제시할 수 있다. 따라서, 사용자 (110)이 각종의 여러 환경을 돌아다님에 따라, ACE 장치 (100)은 저장될 수 있는 각종의 입력 정보를 입력 장치로부터 받게 된다.
범용의 본체 탑재형 착용식 컴퓨터는 ACE 장치 (100)이 촉각적 입력 뿐만 아니라, 오디오 및 비디오 입력에 대해 반응할 수 있도록 하는 터치 스크린 기능 (이는 예를 들면, 대략 인간의 머리 크기 정도일 수 있지만, 어느 크기이든 상관없다)을 포함할 수 있다. 예를 들면, 알츠하이머 환자가 상기 질환의 후기 단계에 있는 경우, 터치 스크린 상에 어디에나 있는 실물 그대로의 환자의 동영상은 키스를 받을 수 있으며, ACE 장치 (100)의 프로그래밍 기능은 그러한 입력을 인식하고, 예를 들면, "손자야, 입맞춤 고맙구나"하고 반응하는 것과 같이, 알츠하이머 환자의 음성으로 반응하게 될 것이다.
다양한 용도를 위해 전문화된 버전의 본체 탑재형 컴퓨터가 제작될 수 있다는 것을 당업자는 이해할 것이다. 당업자는 또한 각종의 상기와 같은 생리학적 병태를 모니터링할 수 있고, 기타 다른 전문화된 버전의 장치가 유사하게 실행될 수 있다는 것도 이해할 수 있을 것이다.
시스템 환경
도 2를 참고하면, 본 발명의 ACE 시스템 및 방법은 주로 컴퓨터 네트워크 환경에서 운용된다. 이러한 실시양태에서, ACE 시스템 (20)은, 서버 컴퓨터 (12) 및 시스템 데이터베이스 (14)를 포함하는 프로그램 시스템 운영 사이트 (10) 및 서버 컴퓨터 (12)와 의사소통하는 다수의 워크스테이션 (18)을 포함한다. 워크스테이션 (18)은 환자/돌보는 사람 (18a), 가족 구성원 (18b) 또는 친구 (18c) 또는 임의의 기타 다른 시스템 참가자 (18d)가 사용할 수 있다. 본 발명의 실시양태에 따라, 워크스테이션 (18)은 ACE 장치 (100)과 같은 외부 서버로의 Wi-Fi 접속 가능성을 갖는 스마트폰, 및 무선 인터넷 접속 가능성을 갖는 독립형 개인용 컴퓨터 (PC) 기반 시스템일 수 있다. 외부 서버는 소프트웨어를 업그레이드시킬 수 있으며, 특정 데이터베이스 기능을 위한 저장소로서의 역할을 할 수 있고, 진단 기능을 제공할 수 있다. 예를 들면, ACE 장치 (100) 및 ACE 시스템 (20)의 무선-연결된 기능은 ACE 장치 (100)이 고장, 도난, 파손 또는 분실되었을 때에도 확실하게 데이터를 잃지 않도록 하는 데 도움을 준다. 사용자가 설정한 기간에 ACE 장치 (100)으로부터의 모든 데이터가 자동으로 서버 컴퓨터 (12)로 업로드되며, 이후, 안전하게 저장될 수 있도록 시스템 데이터베이스 (14)로 업로드된다. 이와 같이 저장된 데이터는 교체 ACE 장치 내로 쉽게 다운로드받을 수 있다. 전형적으로 개인용 컴퓨터에는 비디오 모니터, 소리 및 비디오 카드가 필요할 것이다. 별법으로, 워크스테이션 (18)은 개인휴대 정보 단말기 (PDA) 및 휴대 전화기과 같은 장치를 비롯한, 컴퓨터 네트워크와 상호작용할 수 있는 임의의 장치일 수 있다.
추가의 시스템 필요품으로는 PC 호환성 비디오 카메라, PC 호환성 지향성 마이크로폰, 스피커, 및 블루 투스(Blue Tooth) 시판용 EEG 헤드셋을 포함한다. 돌보는 사람/시설 환경에서는, 상기 이외에도, 태블릿 PC, 및 음성 기동 마이크로폰이 필요할 수 있다. 본 발명의 실시양태는 또한 일부 경우에는 현장 훈련 및 환자 지원 설비 (24)를 필요로 할 수 있거나, ACE 시스템 (20)이 입력시에 환자를 보조할 수 있거나, 보충 시스템 입력 장치 이용시에 환자를 훈련시키는 추가의 사용자를 받아들일 때와 같은 상기 두 경우에서와 같이, 환자는 본 발명을 사용할 때 도움을 필요로 할 수 있다. 알츠하이머병 인식 프로그램 (16)은 ACE 시스템 (20)의 서버 컴퓨터 (12) 상에 상주하는 프로그램이다. 또한, ACE 장치 (100) 및 ACE 시스템 (20)의 무선 연결된 기능과 함께, ACE 장치 (100)의 응답 능력은 서버 컴퓨터 (12)로부터 다운로드받은 새 소프트웨어를 통해 계속하여 개선될 것이다. 서버 컴퓨터 (12)에서 소프트웨어는 알츠하이머 환자가 나누는 대화에 대한 건강 패턴에 보다 잘 매치될 수 있도록 ACE 장치 (100)의 프로그램을 튜닝하기 위해 매일 업로드된 상호작용의 ACE 패턴을 분석할 것이다. 본 발명의 한 실시양태에 따라, 서버 (12)는 정상적인 대화 패턴을 복제함에 있어서 보다 더 고도로 발달한 최신 버전의 대화식 소프트웨어를 상기 서버 안에 인스톨하고 있다. 상기와 같은 소프트웨어는 오류를 확인하고, 대화 파라미터를 조정할 수 있도록 환자와 가족 간에 나눈 대화를 저장한 것을 리뷰할 수 있도록 구성된다. 이는 사람의 음성이 튠에서 벗어났는지에 대하여 분석한 후 이를 보정한다는 점에서 "오토-튠" 소프트웨어가 디지털 뮤직과 조화를 이루며 작업을 수행하는 방법과 유사하다고 볼 수 있다.
시스템 훈련 및 데이터 기초 소자
본 발명의 하나의 바람직한 실시양태에 따라, ACE 장치 (100) 및 ACE 시스템 (20)은 환자의 음성을 녹음하거나, 매분마다 연속하여 시간을 달리하면서 환자의 안면 표정 (말할 때 표정, 웃는 표정, 및 기쁜 표정, 슬픈 표정)에 대한 디지털 비디오를 수득하는 것과 같은 각각의 사례에서 환자 상호작용을 통해 훈련이 이루어지고, 이를 통해 비짐(viseme) 데이터베이스를 수득하게 된다. 본 명세서 전역에서 사용되는 바와 같이, 비짐이란 시각적 도메인에서의 구어(speech)의 단위로서 정의된다; 안면이 단어와 표정을 나타내는 방법. ACE 장치 (100) 및 ACE 시스템 (20)은 환자가 비디오테이프에 녹화된 내용으로부터 환자의 비짐의 어휘 목록(lexicon)을 만들어 낸다. 환자가 참여할 수 없는 경우, 어휘 목록은 합성적으로 만들어진다. 합성 프로세스에서는 예를 들면, 환자의 안면을 고해상도로 사진촬영하고, 디지털 기술을 사용하여 도너 비짐을 사진촬영된 환자의 안면 위에 오버레이시키면, 그 결과물은 라이브 애니메이션에 가깝다.
본 발명의 한 실시양태에 따라, 비디오테이프에 녹화하는 것은 훈련받은 스탭, 돌보는 사람 등이 수행할 수 있다. 환자 역시, 환자 본인이 상호작용하기를 희망하는 가족 구성원 및 친구 (가족/친구)의 데이터베이스를 작성할 수 있거나, 작성하는 데 도움을 받을 수 있다. 데이터베이스는 또한 돌보는 사람 및 건강 관리 제공자에 대한 연락처를 포함할 수 있다. 본 발명의 작동에 따라, 이들 개인들의 음성 샘플은 Wi-Fi가 가능한 휴대 전화기 상호작용 뿐만 아니라, 훈련 중인 스탭이 녹음 수행하여 얻은 미리 준비된 음성 녹음 내용으로부터 수집될 수 있다. 이후, 환자는 시스템이 그들에 대하여 반응할 때를 위한 사전 설정을 확립하는 것 뿐만 아니라, 그들의 전화 (휴대 전화 및 지상통신선 전화) 및 PC 시스템에 대한 반응의 데이터베이스를 작성할 수 있거나, 작성하는 데 도움을 받을 수 있거나, 또는 훈련 중인 스탭이 작성한 데이터베이스를 가질 수 있다.
본 발명의 예시적인 실시양태에 따라, 환자의 기준 음성 샘플은 알츠하이머 분석을 위해 사용될 수 있다. 환자는 EEG 장치 (150)의 훈련과 사용에 관해 스탭원으로부터 설명을 들을 수 있다. 앞서 언급된 바와 같이, EEG 장치 (150)은 스크린 상의 드로잉 및 포인팅/선택 에이전트로서의 작용을 하고, 스크린 기반의 물체를 드래깅하고 드롭핑할 수 있는 능력을 가진 상태하에서, PC 마우스를 대신하여 EEG 신호를 송달하면서 ACE 장치 (100) 및 ACE 시스템 (20)을 위한 보조 데이터 입력 도구 및 데이터 수집 장치로서의 역할을 한다. 본 발명의 대체 실시양태에 따라, EEG 신호가 식별이 불가능하거나, 인식되지 못할 경우, 소프트웨어는 마치 적절한 EEG 신호가 발생된 것처럼 작동하는 디폴트값을 갖도록 구성된다. 예를 들면, "딸"에 대한 특정의 EEG 신호가 있지만, 그 신호가 인식되지 못한 경우, "딸"은 딸 본인이 환자를 방문하였음을 명시할 수 있고, 이어서, ACE 장치 (100)은 마치 "딸"에 대한 EEG 신호가 발생된 것처럼 대화를 진행할 것이다. 환자의 건강이 저하됨에 따라 EEG 장치 (150)에 친숙해 지고 그에 정통하게 되면, 이는 또한 환자가 장치 및 시스템에 접근하는 데에도 도움이 될 것이다. 환자가 사용하였을 때로부터 수득한 기준 EEG 샘플을 서버 (12)에 업로드할 수 있고, 이후, 데이터를 분석할 수 있다. 환자는 보조 데이터 입력 도구로서 음성 인식 소프트웨어를 사용할 수 있도록 훈련을 받을 수 있다. 이를 통해 환자는 그 또는 그녀의 자전적(autographical) 기억을 보다 쉽게 입력할 수 있게 될 것이며, EEG 장치 (150)과 함께 보다 전반적으로 PC를 이용할 수 있게 될 것이다. 사용하였을 때로부터 수득한 음성 샘플은 진단 분석을 위해서 뿐만 아니라, 음성 합성을 위해서도 사용될 수 있다.
프로파일
본 발명의 하나의 바람직한 실시에 따라, 환자 및 환자의 가족/친구와의 전화 통화 및/또는 인터뷰를 통해 수집한 데이터를 사용하면 ACE 장치 (100) 및 ACE 시스템 (20)용으로 전개시키고자 하는 확언적인 대화를 작성하는 데 도움이 될 수 있다. 환자의 능력이 충분히 무력화되어 인터뷰 프로세스에 참여할 수 없는 경우, 본 발명의 바람직한 실시에서, 스탭인 심리학자는 가족/친구와 인터뷰를 실시할 수 있고, 그 개인에 관한 자료를 재검토할 수 있으며, ACE 장치 (100)에 저장되거나, 또는 원격으로 ACE 시스템 (20) 상에 저장되는 자전적 데이터베이스 및 대화식 데이터베이스 작성을 위한 기본 토대로서의 역할을 하는 환자 자전적 목록을 작성할 수 있을 것이다.
ACE 장치 (100) 및 ACE 시스템 (20)의 작동에 따라, 사용자 (110)이 대화를 개시한 사람을 인식할 수 없을 경우, EEC 장치 (150)으로부터 발생된 EEG 파형 신호를 사용하여 정확한 반응을 검색한다. ACE 장치 (100) 및 ACE 시스템 (20)의 대체 작동에 따라, 음성 및 안면 인식 소프트웨어를 사용하여 대화 개시자를 확인하고 나면, ACE 장치 (100) 및 ACE 시스템 (20)은 대화 개시자에 대한 인식에 기초하여 설정된 올바른 반응을 공급하게 된다. 본 발명의 바람직한 실시에서, 상기 개인과 환자 사이의 과거 정신역동에 기초하여 반응이 프로파일로 작성된다. ACE 장치 (100) 및 ACE 시스템은 환자 아바타와 상호작용할 때 환자의 친구/가족이 경험하게 되는 불신이라는 불안감에 많은 노력을 기울이는 치료학적인 투자를 최대화시키는 데 사용되는 심리학적 프레임워크인 프로파일링 방법을 포함한다. 본 발명에 따라, 환자 아바타는 환자의 안면, 안면 표정 및 음성을 가진, 환자의 오디오 구성체로서 정의된다. 환자가 시스템의 조기 참여자이고, 시스템 훈련에도 참가하였다면, 이 경우, 환자 아바타는 모니터 상에서 환자 본인의 음성으로 말을 하는 모습을 보일 것이며, 상당 부분은 환자 본인의 안면 표정도 함께 나타낼 것이다. 환자가 참여할 수 없었다면, 음성은 성별에 맞게 적절히 조정되고, 그 톤도 균형을 이루게 조정될 것이다. 본 발명의 예시적인 실시양태에 따라, 안면 표정은 인간적인 온화한 표정이 될 것이며, 그 안면은 환자 본인의 안면이 될 것이다.
본 발명의 대체 실시양태에 따라, ACE 장치 (100) 및 ACE 시스템 (20)은 디지털 기술을 사용하여 알츠하이머 환자로부터 샘플링된 실제 감정에 기초한 감정 소프트웨어 엔진을 포함할 수 있다. 본 발명의 실시에 따라, ACE 장치 (100) 및 ACE 시스템 (20)은 EEG 파형 신호 및/또는 대화식 소프트웨어 엔진에서 프로그램의 분석을 통해 생성된 의미론적인 신호에 의해 발생된, 알츠하이머 환자의 실제 감정을 묘사하도록 구성된다.
본 발명의 한 실시양태에 따라, 대화식 데이터베이스는 독특한 화자에 대한 반응으로 시스템 데이터베이스 (14)에 또는 ACE 장치 (100)의 메모리에 저장된 정보로부터 분절형의 적절한 대화가 이루어지도록 한 후, 추가로 프로세싱된다. 일례의 대화 내용을 하기에서 제공한다:
사라: 나나 할머니, 안녕하세요? 좀 어떠세요?
나나: 그냥 그래, 오늘은 더 그러네. 너의 애완 동물 조-조는 잘 지내니?
손녀인 사라는 연관 EEG 파형, 음성 인식 소프트웨어 또는 안면 인식 소프트웨어에 의해서 ACE 장치 (100) 또는 ACE 시스템 (20)에 의해 인식되고, 이어서, 대화 생성으로 사라를 찾게 되고, 그녀에 대해 그녀의 할머니에게 애완 동물의 이름을 인식시키면, 그녀는 이름이 조-조인 애완 동물을 갖고 있음을 알게 된다.
시스템 입력
ACE 장치 (100) 및 ACE 시스템 (20)의 일부로서, 본 발명의 실시양태에 따른 입력은 훈련 중인 스탭이 수행하는 원고에 의한 대화에서 환자를 비디오테이프에 녹화하는 것을 포함한다. 본 발명의 하나의 바람직한 실시에 따라, 이는 예를 들면, 전체 총 60분으로 15분씩 진행되는 여러 기간에 걸쳐 수행될 수 있다. 상기 기간은 여러 가지의 감정 반응 및 안면 패턴으로 환자를 포착하도록 디자인된다. 비디오테이프 녹화를 실행하는 트레이너/기술자는 원고에 따라 진행하는 것 이외에도, 환자의 다양한 안면 표정을 포착하기 위해 원하는 여러 가지의 감정 반응을 불러 일으키는 방법에 대해서도 훈련을 받을 수 있다. 이어서, 상기 논의된 바와 같이, 생성된 비디오를 환자 아바타를 위한 데이터베이스로 프로세싱한다. 예를 들면, 훈련 중인 스탭은 환자의 지정된 가족/친구의 고품질 사진을 찍어 안면 인식 컴포넌트를 위해 ACE 장치 (100) 및 ACE 시스템 (20)으로 입력할 수 있다. 훈련 중인 스탭은 또한 음성 인식 컴포넌트로 입력하기 위해 가족/친구 음성 녹음 내용을 샘플링할 수 있다. 환자의 능력이 감퇴된 상태에 있고, 인터뷰 프로세스의 고됨을 견디지 못할 경우, 트레이너는 고해상도로 환자 얼굴 영상을 담을 수 있다. 이어서, 상기 영상으로부터 비짐을 합성적으로 구성할 수 있다. 본 프로세스는 환자의 안면을 "디지털 도너" 상에 오버레이시키는 절차로서, 예로서, 트레이너 메리의 비짐을 맵핑하고, 역동적인 주형은 남겨둔 채로 메리의 특징적인 안면 이목구비는 제거한 후, 환자의 안면 이목구비를 상기 주형에 맵핑하는 절차를 수반한다. 이는 현장에서 훈련 중인 스탭이 수행하여 완성시킬 수 있는 일회적인 프로세스이다.
시스템 출력
하기는 ACE 장치 (100) 및 ACE 시스템 (20)의 일부로서의 본 발명의 실시양태에 따른 출력부로서, 환자의 요청시에 또는 미리 결정된 설정 환경하에서 환자로부터 수집된 진단적 데이터에 대한 반응으로 환자의 전화 시스템 (지상통신선 전화 뿐만 아니라 휴대 전화) 및 PC/PDA/스마트폰을 통해 제시되는 텍스트, 시청각, 또는 오디오 반응은 출력될 수 있다. 비디오를 프로세싱하여 환자의 비짐과 동조시킴으로써 환자 아바타를 생성할 수 있다. 본 발명의 하나의 바람직한 실시에 따라, 프로세싱은 현장에서 훈련 중인 스탭이 수행할 수 있다. 이어서, 개시자에 의해 촉구될 때 ACE 장치 (100) 및 ACE 시스템 (20)은 시스템 데이터베이스 (14)에, 또는 ACE 장치 (100) 중 개시자를 위한 메모리에 로컬로 대화식 데이터베이스 로드를 개시하도록 지시할 수 있으며, 개시자의 음성 언어에 대한 반응으로 환자 아바타와 음성 합성 엔진을 통합시키는 준비를 할 수 있다.
시스템 진단
본 발명의 하나의 바람직한 실시양태에 따라, 음성 인식 기술과 알츠하이머병의 징후를 위해 개발된, 현 확립 진단용 벤치마크를 사용함으로써 알츠하이머의 조기 발병에 관하여 PC의 음성 컨트롤과 휴대 전화 대화로부터 입수한 음성 데이터를 분석할 수 있다. 상기 데이터 세트는 본 시스템을 환자가 처음 사용할 때 수집된 기준 음성 데이터와 비교될 수 있다. 알츠하이머병의 예후 또는 징후를 통해 현 확립 진단용 벤치마크를 사용함으로써 환자로부터 수집된 EEG 파형 데이터를 분석할 수 있다. 이러한 2가지 프로세스를 거치게 되면 통계학적으로 볼 때, 지정 시점에서의 환자의 무능력 정도를 이해할 수 있으며, 전화 통화 또는 PC 의사소통에 대해 반응을 한다는 견지에서, 또는 돌보는 사람, 건강 제공자 또는 가족 구성원을 요청할 때, 환자의 선택을 자아낼 수 있는지 여부를 이해할 수 있는 것에는 합리적인 정도의 가능성이 존재하게 된다.
시스템 및 프로그램 모델
본 발명의 추가의 바람직한 실시양태에 따라, ACE 시스템 (20)은 알츠하이머병의 발병 이전 단계를 거쳐 상기 질환의 후기 단계에 있는 것으로 진단을 받은 환자를 보조하도록 디자인된 시스템 플랫폼이다. 발병 이전 단계에서, 바람직한 모델은 시스템 훈련을 위해 환자 진단과 환자 메모리 저장, 이 두가지 모두를 입력하면서, 환자가 ACE 장치 (100) 및 ACE 시스템 (20)과 직접적으로 상호작용할 수 있도록 이를 구현화시킨다. 환자가 박약해지거나, 또는 의사소통에 기초한 구체적인 과제를 완성하거나 처리할 수 없다고 느낄 때, 본 장치 및 시스템은 환자에게 반응을 보인다. 환자가 자립할 능력이 모자라게 되거나, 돌보는 사람을 필요로 하고 대화를 할 수 있는 능력이 감퇴된 단계에 도달하게 되면, ACE 장치 (100) 및 ACE 시스템 (20)은, 장치 및 시스템을 개시하게 되고 조정된 개인과의 대화를 시작하게 되는 데이터베이스 (14) 또는 로컬 메모리에서 조정이 이루어진 가족/친구 구성원으로부터의 음성 프롬프트 및/또는 안면을 인식할 수 있도록 구성된다.
알츠하이머병의 발병 이전 단계에서, 환자는 다수의 차원을 통해 장치 및 시스템과 상호작용한다. 전화 통화는 가족/친구 데이터베이스-즉, 데이터베이스 내에 포함된 개인들에 관한 프로파일 데이터, 상호작용의 음성 샘플, 주파수 및 음의 길이를 제공한다; 휴대 전화기 데이터는 Wi-Fi를 통해 서버 (12)에 전송되어 저장되고 분석된다. PC 기반 활동은 추가 장치, 즉, 환자의 구두식 명령 (음성 인식)에 의해서 및 EEG 파형 기반 명령을 통해 점차로 조절될 수 있다. 장치 및 시스템으로부터 수집한 데이터는 서버 (12)에 전송되어 진단적으로 분석될 수 있고, 환자 아바타로 사용될 수 있다. 환자가 피로를 느끼거나, EEG 파형에 기반한 진단을 통해 환자 또는 환자의 돌보는 사람에게 환자가 결손에 진입하게 되었음을 공지하였다면, 환자가 이용할 수 있는 임의의 또는 모든 의사소통 채널에 개입할 수 있도록 디폴트 또는 환자의 선택에 의해 장치 및 시스템이 이용될 수 있다. 감각 결손이 미리 결정된 역치 수준에 도달하게 되면, 장치 및 시스템은 돌보는 사람, 건강 관리 제공자, 및 가족 구성원, 원하는 경우, 친구들에게 경고하도록 구성된다.
알츠하이머병의 중간 단계에서, 환자는 대화를 나눌 수 있는 능력을 일부 갖고 있거나, 쉽게 피로를 느낄 수 있다. 본 발명의 바람직한 실시에 따라, 환자는 ACE 장치 및 ACE 시스템을 착용할 수 있고, EEG 장치 (150)을 통해 상호작용할 수 있으며, 태블릿 PC를 통해 대화식 데이터베이스로부터 대화식 소자를 또는 그 또는 그녀의 자전적 데이터베이스로부터 소자를 선택하면서, 가족/친구와의 대화를 안내할 수 있다. 본 발명의 이러한 실시에 있어서, 환자는 또한 환자 아바타의 작동을 온/오프시킬 수 있다. 환자가 그러한 결정을 할 수 있는 상태에 있는지 여부는 확립된 사전 설정으로 결정될 수 있을 것이다.
환자가 저하 상태에 있음으로써 자립형 대화가 환자에게는 부담이 되거나, 정신적으로 비실제성인 상태에 있을 때, ACE 장치 및 시스템은 환자와 가족 구성원 사이, 또는 환자와 환자의 친구 사이에 개입이 이루어지도록 구성된다. 환자는 ACE 장치 또는 ACE 시스템의 비디오 모니터와 나란히 병렬로 위치한다. 본 발명의 하나의 바람직한 실시에서, 한번에 하나의 스피커가 환자를 차지하는데, 각 스피커에는 음성 기동화 마이크로폰이 장착되어 있다. 환자에게 말할 때, 장치 및 시스템은 그 안에서 제공되는 소프트웨어를 사용함으로써 음성 및 안면 인식을 통해 기동화된다; 환자 아바타는 인식하였음을 나타내고, 개시자와의 대화를 시작하다. 환자 아바타는 예를 들면, 20초 이하로 지속되는 짧은 답변, 및 총 대화 시간이 가족 참가자 1명당 5분 이하인 것과 같이, 대략적으로 노년의 가족 구성원이라고 예상했을 때 이루어질 수 있는 대화가 진행되도록 구성된다.
본 발명의 실시양태에 따라, 예를 들면, (i) 원래의 데이터베이스가 충분히 확고하고, (ii) 대화 콘텐츠가 중복되지 않는다면, 같은 무리와의 대화에서는 보통 다음 대화를 나누는 동안 같은 콘텐츠가 반복되지 않을 것이다. 예를 들면, 2차 사례에서도 조차, 환자 아바타의 콘텐츠의 콘텐츠가 동일할 것이라고 확신할 수는 없다. 대화 콘텐츠를 예로서, 서버 (12)와 같은 서버에 업로드시켜 진단적으로 분석할 수 있다. 당일 동안 참조되는 자전적 데이터베이스 이벤트를 이용함으로써 가족/친구는 환자 아바타에 의해 참조되는 구체적인 이벤트를 이용할 수 있다.
원격 측정법
본 발명의 실시양태에 따라, ACE 장치 및 시스템은 또한 EEG 파형 신호 출력 뿐만 아니라, 표준 출력 세트 (예로서, 심박동, 맥박수, 혈압 등)를 통해 환자의 통증과 기분 수준을 모니터링하도록 구성된다. 수집된 데이터는 모두 환자의 건강 관리 제공자 및 과거 승인을 받은 기명자가 이용할 수 있으며, 이는 Wi-Fi (PC/스마트폰/PDA) 또는 원격 서버를 통해 실시간으로 이용가능하다.
도 3은 본 발명의 한 실시양태에 따른 ACE 장치 내에서 실행되는 단계를 도시한 흐름도이다. 본 프로세스는 시작 상태 (S400)로부터 출발하여, EEG 파형 신호가 메모리에 저장되는 프로세스 단계 (S401)로 진행된다. EEG 파형 신호는 연관 인식 데이터에 의해 발생한다. 프로세스 단계 (S402)에서, 연관 인식 데이터에 기초하여 발생한 반응 데이터는 또한 메모리에 저장된다. 정보 저장 후, 프로세스 단계 (S403)에서는 사용자로부터 EEG 파형 신호를 수신하게 된다. EEG 파형 신호를 수신한 후, 프로세스는 수신된 EEG 파형 신호와 저장된 EEG 파형 신호를 비교하는 프로세스 단계 (S404)로 진행된다. 비교 단계 후, 프로세스는 수신된 EEG 파형 신호가 저장된 EEG 파형 신호와 매치되는지 여부를 결정하는 결정 단계 (S405)로 진행된다. 수신 EEG 파형 신호가 저장된 EEG 파형 신호 중 하나와 매치된다면, 프로세스는 연관 인식 데이터에 의해 발생된 반응 데이터가 자동으로 출력되는 프로세스 단계 (S406)로 진행되고, 그렇지 않을 경우, 프로세스는 프로세스 단계 (S403)으로 되돌아간다.
알츠하이머병은 알츠하이머병 환자 뿐만 아니라, 그의 또는 그녀의 가족들에게 큰 슬픔을 가져다주고, 그들의 삶의 질을 감소시키는 질병으로서, 인지가 느리게 점차적으로 저하되는 것을 특징으로 한다. ACE 장치, 시스템 및 방법은 감소된 삶의 질을 현저히 향상시킬 수 있다.
예시적인 실시양태에 관한 설명을 기초로 하여, 당업자에게는 기타 다른 실시양태가 쉽게 자명해질 수 있을 것이다. 따라서, 이러한 예시적인 실시양태는 하기 특허청구범위에 따라 정의되는 범주를 제한하는 것으로서 간주되어져야 한다.

Claims (22)

  1. 연관 인식 데이터에 의해 발생된 뇌전도 (EEG) 파형 신호를 저장하도록 구성된 메모리 (여기서, 반응 데이터는 연관 인식 데이터에 기초하여 발생하여 메모리에 저장된다);
    사용자로부터 EEG 파형 신호를 수신하도록 구성된 입력 컴포넌트;
    수신된 EEG 파형 신호와 저장된 EEG 파형 신호를 비교하여 수신된 EEG 파형 신호가 저장된 EEG 파형 신호와 매치되는지 여부를 결정하도록 구성된 프로세서; 및
    프로세서로부터의 결정에 기초하여 연관 인식 데이터에 의해 발생된 반응 데이터를 자동으로 출력하도록 구성된 출력 컴포넌트
    를 포함하는, 사용자가 정신 쇠약화 상태에 있을 때, 사용자가 상호작용을 할 수 있게 하는 컴퓨팅 장치.
  2. 제1항에 있어서, 연관 인식 데이터가 영상 데이터를 포함하는 것인 컴퓨팅 장치.
  3. 제1항에 있어서, 연관 인식 데이터가 음성 데이터를 포함하는 것인 컴퓨팅 장치.
  4. 제1항에 있어서, 반응 데이터가 음성 데이터를 포함하는 것인 컴퓨팅 장치.
  5. 연관 인식 데이터에 의해 발생된 뇌전도 (EEG) 파형 신호를 저장하도록 구성된 메모리 (여기서, 반응 데이터는 연관 인식 데이터에 기초하여 발생하여 메모리에 저장된다);
    사용자로부터 EEG 파형 신호를 수신하도록 구성된 입력 컴포넌트;
    수신된 EEG 파형 신호와 저장된 EEG 파형 신호를 비교하여 수신된 EEG 파형 신호가 저장된 EEG 파형 신호와 매치되는지 여부를 결정하도록 구성된 프로세서; 및
    프로세서로부터의 결정에 기초하여 연관 인식 데이터에 의해 발생된 반응 데이터를 자동으로 출력하도록 구성된 출력 컴포넌트
    를 포함하는 컴퓨팅 장치; 및
    컴퓨팅 장치의 메모리에 저장된 EEG 파형 신호, 연관 인식 데이터 및 반응 데이터를 업데이트하도록 구성된 서버 컴퓨터
    를 포함하는, 사용자가 정신 쇠약화 상태에 있을 때, 사용자가 상호작용을 할 수 있게 하는 컴퓨팅 시스템.
  6. 제5항에 있어서, 시스템 데이터베이스를 추가로 포함하는 컴퓨팅 시스템.
  7. 제5항에 있어서, 컴퓨팅 장치가 착용식 컴퓨터인 컴퓨팅 시스템.
  8. 제5항에 있어서, 업데이트하는 것이 무선 전송을 통해 수행되는 것인 컴퓨팅 시스템.
  9. 제5항에 있어서, 컴퓨팅 장치가 휴대 전화기를 포함하는 것인 컴퓨팅 시스템.
  10. 제5항에 있어서, 컴퓨팅 장치가 개인용 컴퓨터를 포함하는 것인 컴퓨팅 시스템.
  11. 제5항에 있어서, 연관 인식 데이터가 영상 데이터를 포함하는 것인 컴퓨팅 시스템.
  12. 제5항에 있어서, 연관 인식 데이터가 음성 데이터를 포함하는 것인 컴퓨팅 시스템.
  13. 제5항에 있어서, 반응 데이터가 음성 데이터를 포함하는 것인 컴퓨팅 시스템.
  14. 제6항에 있어서, 시스템 데이터베이스가 비짐(viseme) 데이터베이스를 포함하는 것인 컴퓨팅 시스템.
  15. 제6항에 있어서, 시스템 데이터베이스가 대화식 데이터베이스를 포함하는 것인 컴퓨팅 시스템.
  16. 제6항에 있어서, 시스템 데이터베이스가 자전적(autographical) 데이터베이스를 포함하는 것인 컴퓨팅 시스템.
  17. 연관 인식 데이터에 의해 발생한 뇌전도 (EEG) 파형 신호를 저장하고,
    연관 인식 데이터에 기초하여 발생한 반응 데이터를 저장하는 단계;
    사용자로부터 EEG 파형 신호를 수신하는 단계;
    수신된 EEG 파형 신호를 저장된 EEG 파형 신호와 비교하는 단계;
    수신된 EEG 파형 신호가 저장된 EEG 파형 신호와 매치되는지 여부를 결정하는 단계; 및
    결정 단계에 기초하여 연관 인식 데이터에 의해 발생한 반응 데이터를 자동으로 출력하는 단계
    를 포함하는, 사용자가 정신 쇠약화 상태에 있을 때, 사용자가 상호작용을 할 수 있게 하는 방법.
  18. 제17항에 있어서, 저장된 EEG 파형 신호, 연관 인식 데이터 및 반응 데이터를 업데이트하는 것을 추가로 포함하는 방법.
  19. 제18항에 있어서, 업데이트하는 것이 무선 전송을 통해 수행되는 것인 방법.
  20. 제17항에 있어서, 반응 데이터를 위한 대화식 데이터베이스를 작성하는 것을 추가로 포함하는 방법.
  21. 제17항에 있어서, 자전적 데이터베이스를 작성하는 것을 추가로 포함하는 것인 방법.
  22. 제17항에 있어서, 사용자가 알츠하이머병을 앓는 것인 방법.
KR1020117008452A 2008-09-19 2009-09-14 알츠하이머 인지 인에이블러 KR101520524B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/233,817 US20100076334A1 (en) 2008-09-19 2008-09-19 Alzheimer's cognitive enabler
US12/233,817 2008-09-19
PCT/US2009/056837 WO2010033461A2 (en) 2008-09-19 2009-09-14 Alzheimer's cognitive enabler

Publications (2)

Publication Number Publication Date
KR20110070981A true KR20110070981A (ko) 2011-06-27
KR101520524B1 KR101520524B1 (ko) 2015-05-14

Family

ID=42038374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117008452A KR101520524B1 (ko) 2008-09-19 2009-09-14 알츠하이머 인지 인에이블러

Country Status (9)

Country Link
US (5) US20100076334A1 (ko)
EP (1) EP2344031B1 (ko)
JP (1) JP5643207B2 (ko)
KR (1) KR101520524B1 (ko)
CN (1) CN102149319B (ko)
CA (1) CA2737183C (ko)
ES (1) ES2528029T3 (ko)
TW (1) TWI520714B (ko)
WO (1) WO2010033461A2 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319640B2 (en) * 2009-12-29 2016-04-19 Kodak Alaris Inc. Camera and display system interactivity
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
RU2613580C2 (ru) * 2011-06-01 2017-03-17 Конинклейке Филипс Н.В. Способ и система для оказания помощи пациенту
TWI559904B (en) * 2014-05-22 2016-12-01 Nat Univ Chin Yi Technology Brainwave control integrated system for wheelchair and message sending
EP3192058A4 (en) * 2014-09-08 2018-05-02 Simx LLC Augmented reality simulator for professional and educational training
US11170451B2 (en) * 2015-10-02 2021-11-09 Not So Forgetful, LLC Apparatus and method for providing gift recommendations and social engagement reminders, storing personal information, and facilitating gift and social engagement recommendations for calendar-based social engagements through an interconnected social network
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US20190216383A1 (en) * 2016-06-29 2019-07-18 Robert Polkowski Cognitive support system for a sufferer of cognitive dysfunction and method for operating the same
CN107137079B (zh) * 2017-06-28 2020-12-08 京东方科技集团股份有限公司 基于脑信号控制设备的方法、其控制设备及人机交互系统
TWI684160B (zh) * 2017-07-31 2020-02-01 陳兆煒 分析提示系統及方法
EP3684463A4 (en) 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
WO2019133997A1 (en) 2017-12-31 2019-07-04 Neuroenhancement Lab, LLC System and method for neuroenhancement to enhance emotional response
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
CN113382683A (zh) 2018-09-14 2021-09-10 纽罗因恒思蒙特实验有限责任公司 改善睡眠的系统和方法
JP7135886B2 (ja) * 2019-01-24 2022-09-13 トヨタ自動車株式会社 促し発話装置、促し発話方法及びプログラム
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN111358428A (zh) * 2020-01-20 2020-07-03 书丸子(北京)科技有限公司 一种观察能力测试评定方法和装置
CN111467641B (zh) * 2020-05-27 2022-02-22 浙江莱恩海思医疗科技有限公司 一种声光复合疗法实施装置
CN111569270B (zh) * 2020-05-27 2022-03-15 浙江莱恩海思医疗科技有限公司 一种复合光照疗法实施装置
US11567574B2 (en) 2020-09-22 2023-01-31 Optum Technology, Inc. Guided interaction with a query assistant software using brainwave data
US11955028B1 (en) 2022-02-28 2024-04-09 United Services Automobile Association (Usaa) Presenting transformed environmental information

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377258A (en) * 1993-08-30 1994-12-27 National Medical Research Council Method and apparatus for an automated and interactive behavioral guidance system
JP2593625B2 (ja) 1994-01-12 1997-03-26 株式会社脳機能研究所 生体情報自動識別装置
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6622036B1 (en) * 2000-02-09 2003-09-16 Cns Response Method for classifying and treating physiologic brain imbalances using quantitative EEG
US6309361B1 (en) * 1998-05-04 2001-10-30 Kirtley E. Thornton Method for improving memory by identifying and using QEEG parameters correlated to specific cognitive functioning
JP4638040B2 (ja) * 1998-10-30 2011-02-23 ウォルター リード アーミー インスティテュート オブ リサーチ 人の認知能力を予測する方法及び装置
US6527715B2 (en) * 1998-10-30 2003-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for predicting human cognitive performance using data from an actigraph
US6011991A (en) * 1998-12-07 2000-01-04 Technology Patents, Llc Communication system and method including brain wave analysis and/or use of brain activity
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US7080322B2 (en) * 1998-12-18 2006-07-18 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US6842877B2 (en) * 1998-12-18 2005-01-11 Tangis Corporation Contextual responses based on automated learning techniques
US6466232B1 (en) * 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
US6463321B2 (en) * 1999-08-10 2002-10-08 Thuris Corporation Method and computer program product for assessing neurological conditions and treatments using evoked response potentials
US6494719B1 (en) * 1999-10-20 2002-12-17 Brent E. Logan Method and system for reproducing a progressive or regressive pattern of sonic variations
US6434419B1 (en) * 2000-06-26 2002-08-13 Sam Technology, Inc. Neurocognitive ability EEG measurement method and system
AU2002240192A1 (en) * 2001-01-30 2002-08-12 R. Christopher Decharms Methods for physiological monitoring, training, exercise and regulation
WO2002100241A2 (en) * 2001-06-07 2002-12-19 Lawrence Farwell Method and apparatus for brain fingerprinting, measurement, assessment and analysis of brain function
US7136695B2 (en) 2001-10-12 2006-11-14 Pless Benjamin D Patient-specific template development for neurological event detection
US6878111B2 (en) * 2002-07-09 2005-04-12 Cardiac Pacemakers, Inc. System for measuring subjective well being
JP4285012B2 (ja) * 2003-01-31 2009-06-24 株式会社日立製作所 学習状況判断プログラム及びユーザ状況判断システム
US20040210159A1 (en) * 2003-04-15 2004-10-21 Osman Kibar Determining a psychological state of a subject
JP4269827B2 (ja) 2003-07-02 2009-05-27 財団法人くまもとテクノ産業財団 画像刺激−脳波意思伝達方法
DE112004002948T5 (de) * 2003-08-21 2007-08-02 SSPT Pty Ltd., Blackburn Eignungstest
US8190248B2 (en) 2003-10-16 2012-05-29 Louisiana Tech University Foundation, Inc. Medical devices for the detection, prevention and/or treatment of neurological disorders, and methods related thereto
US20050163302A1 (en) * 2004-01-22 2005-07-28 Mock Von A. Customer service system and method using physiological data
US20050228785A1 (en) * 2004-04-02 2005-10-13 Eastman Kodak Company Method of diagnosing and managing memory impairment using images
US20060093997A1 (en) * 2004-06-12 2006-05-04 Neurotone, Inc. Aural rehabilitation system and a method of using the same
EP2260760B1 (en) * 2004-06-18 2014-08-27 Neuronetrix Solutions, LLC Evoked response testing method for neurological disorders
US20060009978A1 (en) * 2004-07-02 2006-01-12 The Regents Of The University Of Colorado Methods and systems for synthesis of accurate visible speech via transformation of motion capture data
US20060008785A1 (en) * 2004-07-09 2006-01-12 William Clark Method of and system for interacting with cognitively impaired individuals
US20070106127A1 (en) * 2005-10-11 2007-05-10 Alman Brian M Automated patient monitoring and counseling system
WO2007149985A2 (en) * 2006-06-21 2007-12-27 Lexicor Medical Technology, Llc Assessing dementia and dementia-type disorders
JP2008059385A (ja) 2006-08-31 2008-03-13 Toshiba Corp 情報処理装置、情報処理方法、プログラム、及び情報処理装置の制御方法
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
WO2008059878A1 (fr) 2006-11-15 2008-05-22 Panasonic Corporation Dispositif d'ajustement pour un procédé d'identification d'ondes cérébrales, procédé d'ajustement et programme informatique
US8287281B2 (en) * 2006-12-06 2012-10-16 Microsoft Corporation Memory training via visual journal
CA2673644C (en) * 2006-12-27 2016-02-09 Case Western Reserve University Situated simulation for training, education, and therapy
US7761414B2 (en) * 2007-01-07 2010-07-20 Apple Inc. Asynchronous data synchronization amongst devices
US20080208015A1 (en) * 2007-02-09 2008-08-28 Morris Margaret E System, apparatus and method for real-time health feedback on a mobile device based on physiological, contextual and self-monitored indicators of mental and physical health states
US20090119154A1 (en) * 2007-11-07 2009-05-07 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Determining a demographic characteristic based on computational user-health testing of a user interaction with advertiser-specified content
WO2009090671A2 (en) * 2007-12-27 2009-07-23 Setu Parikh System and method to stimulate human genius
US9149599B2 (en) * 2008-04-09 2015-10-06 Lotus Magnus, Llc Brain stimulation systems and methods
US8666501B2 (en) * 2008-07-02 2014-03-04 Microtransponder, Inc. Methods, systems, and devices for treating tinnitus with VNS pairing
US20100009324A1 (en) * 2008-07-14 2010-01-14 E. Keith Owens Method and device for post clinical treatment of dependency relapses
MY168264A (en) * 2008-07-15 2018-10-16 Dtt holdings pty ltd Method for preparing a patent for a medical treatment
US8441356B1 (en) * 2009-02-16 2013-05-14 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
US9943698B2 (en) * 2014-04-22 2018-04-17 Lockheed Martin Corporation Cognitive enhancement using feedback

Also Published As

Publication number Publication date
US20100076334A1 (en) 2010-03-25
CN102149319B (zh) 2013-07-17
US20200364458A1 (en) 2020-11-19
US20140180159A1 (en) 2014-06-26
CA2737183C (en) 2022-05-17
TWI520714B (zh) 2016-02-11
JP5643207B2 (ja) 2014-12-17
WO2010033461A3 (en) 2010-06-10
EP2344031A2 (en) 2011-07-20
US10521666B2 (en) 2019-12-31
KR101520524B1 (ko) 2015-05-14
CN102149319A (zh) 2011-08-10
US11301680B2 (en) 2022-04-12
JP2012502741A (ja) 2012-02-02
ES2528029T3 (es) 2015-02-03
CA2737183A1 (en) 2010-03-25
WO2010033461A2 (en) 2010-03-25
EP2344031A4 (en) 2012-11-21
US20220198798A1 (en) 2022-06-23
EP2344031B1 (en) 2014-10-22
TW201016191A (en) 2010-05-01
US20150262016A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
US11301680B2 (en) Computing device for enhancing communications
US20220293007A1 (en) Computing technologies for diagnosis and therapy of language-related disorders
US20220181004A1 (en) Customizable therapy system and process
US20130158707A1 (en) Methods of robot behavior generation and robots utilizing the same
WO2019183062A1 (en) Interactive dementia assistive devices and systems with artificial intelligence, and related methods
US20190013092A1 (en) System and method for facilitating determination of a course of action for an individual
JP7390268B2 (ja) 認知機能予測装置、認知機能予測方法、プログラム及びシステム
CN115153584A (zh) 用于认知症检查的信息的呈现方法
Johnson Speech, voice, and communication
JP7010544B2 (ja) 対話支援装置、対話支援方法、およびプログラム
US20210264937A1 (en) Habilitation and/or rehabilitation methods and systems
KR102468833B1 (ko) 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법
WO2023075746A1 (en) Detecting emotional state of a user
Das et al. An automated speech-language therapy tool with interactive virtual agent and peer-to-peer feedback
JP7123028B2 (ja) 情報処理システム、情報処理方法、及びプログラム
US20240008766A1 (en) System, method and computer program product for processing a mobile phone user's condition
KR20230118736A (ko) 자폐 스펙트럼 장애 치료를 위한 인공지능 기반 맞춤형 콘텐츠 생성 방법
JP2023530259A (ja) 被験者の睡眠を誘発するためのシステム及び方法
CN112489797A (zh) 一种陪护方法、装置及终端设备

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 5