KR20220065746A - 치매 환자의 기록 데이터 가공 서비스를 지원하는 시스템 - Google Patents

Abstract

상기와 같은 목적을 달성하기 위하여, 본 발명의 실시 예에 따른 치매 환자 케어 및 기록 지원 시스템은 제 1사용자 기기, 제 2사용자 기기 및 서버를 포함하여 구성되며, 상기 제 1사용자 기기는 녹음 및 녹화 중 적어도 하나의 방법을 통해 제 1사용자에 대한 기록 데이터를 생성하여 상기 서버에 전달하고, 상기 서버는 상기 제 1사용자 기기로부터 수신된 기록 데이터로부터 추출된 스케줄 정보를 상기 제 1사용자 기기에 등록하는 동작 및 상기 기록 데이터로부터 추출된 전달용 정보를 가공하여 결과물로 캐릭터 및 출판물을 생성하고, 상기 결과물을 상기 제 1사용자 기기와 연계된 제 2사용자 기기로 제공하며, 상기 제 2사용자 기기는 상기 서버로부터 제공받은 결과물을 출력할 수 있다.

Description

치매 환자의 기록 데이터 가공 서비스를 지원하는 시스템{Supporting system for service about processing record data of dementia patient}

본 발명은 치매환자의 케어와 치매환자의 모습에 대한 기록을 지원하는 시스템에 관한 것이다.

고령화 사회로 접어들면서 고령화에 따른 사회적 비용의 저감을 위한 고령자의 치료, 예방, 관리, 재활 등의 행위와 관련된 기술 연구가 다수 진행되고 있다.

특히 그 중에서도 치매는 고령화 사회의 핵심 질환 중 하나로서, 치매 환자의 수가 급증하고 있어 치매 환자에 대한 진단, 모니터링 및 예방에 관한 관심이 꾸준히 증가하고 있다. 그러나 현재까지 치매 환자의 보호나 치료 등과 관련하여 개발된 기술은 대부분 치매 환자의 상태를 모니터링하거나 치매 환자의 동선을 모니터링 하는 등의 모니터링 기술 및 상기 모니터링 결과를 유무선 통신을 통해 보호자나 의료인에게 알리는 정도의 저차원적인 기술에 불과하였으며, 치매 환자가 본인 스스로 자신의 스케줄을 소화할 수 있도록 지원하는 케어 동작이나, 치매 환자가 사후 또는 치매 증상의 악화 이전 타인에게 전달하고자 하는 내용을 기록하여 정리해주기 위한 기술에 관하여는 아직 개발되지 못한 실정이다.

본 발명은 치매 환자가 본인 스스로 자신의 스케줄을 소화할 수 있도록 지원하는 케어 서비스를 제공하고, 치매 환자가 사후 또는 치매 증상의 악화 이전 타인에게 전달하고자 하는 내용을 기록하여 정리하도록 지원하기 위한 목적이 있다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 실시 예에 따른 치매 환자 케어 및 기록 지원 시스템은 제 1사용자 기기, 제 2사용자 기기 및 서버를 포함하여 구성되며, 상기 제 1사용자 기기는 녹음 및 녹화 중 적어도 하나의 방법을 통해 제 1사용자에 대한 기록 데이터를 생성하여 상기 서버에 전달하고, 상기 서버는 상기 제 1사용자 기기로부터 수신된 기록 데이터로부터 추출된 스케줄 정보를 상기 제 1사용자 기기에 등록하는 동작 및 상기 기록 데이터로부터 추출된 전달용 정보를 가공하여 결과물로 캐릭터 및 출판물을 생성하고, 상기 결과물을 상기 제 1사용자 기기와 연계된 제 2사용자 기기로 제공하며, 상기 제 2사용자 기기는 상기 서버로부터 제공받은 결과물을 출력할 수 있다.

본 발명은 본 발명은 치매 환자가 본인 스스로 자신의 스케줄을 소화할 수 있도록 지원하는 케어 서비스를 제공하고, 치매 환자가 사후 또는 치매 증상의 악화 이전 타인에게 전달하고자 하는 내용을 기록하여 정리하도록 지원할 수 있다.

또한 본 발명은 환자가 기록한 기록 데이터를 기반으로 치매환자의 모습과 유사한 캐릭터를 생성하고, 생성된 캐릭터를 통해 치매환자의 기록 데이터를 타인에게 제공함으로써, 치매환자의 사후 또는 치매 증상의 악화 이후에도 치매 환자가 직접 이야기하는 것 같은 효과를 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 치매 환자 케어 및 기록 지원 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 서버의 구성을 도시한 도면이다.
도 3은 기록 정보 가공부의 구성을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 기록 데이터의 가공 과정에 대하여 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 스케줄 알람 동작의 예시를 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 캐릭터 생성 동작의 예시를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 치매 환자 케어 및 기록 지원 시스템의 구성을 도시한 도면이다.

도 1에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 치매 환자 케어 및 기록 지원 시스템의 구성은 서버 100와 제 1사용자 기기 200및 제 2사용자 기기 210를 포함하여 구성될 수 있다. 본 명세서에서 본 발명을 설명함에 있어, 제 1사용자 기기 200는 치매 환자 또는 치매 의심질환자용 기기를 지칭하기로 하고, 상기 제 2사용자 기기210는 치매 환자의 보호자용 기기를 지칭하기로 한다.

상기 서버 100는 제 1 사용자 기기 200 및 제 2사용자 기기 210로부터 사용자(예, 치매환자 및 보호자)의 선택 자료 및 기록 자료를 수신하고 이로부터 치매환자 케어와 관련된 정보를 획득하기 위해 수신된 자료를 가공하고 AI학습을 수행할 수 있다. 상기 서버 100는 이후 제 1사용자(치매환자)의 발화 내용을 기록한 기록 데이터를 가공한 결과물을 산출하고 이를 제 2사용자 기기 210에 제공할 수 있다. 이 때 결과물은 제 1사용자의 특징을 반영한 캐릭터를 생성하고, 생성된 캐릭터를 통해 제 1사용자가 편지, 유언, 노하우 전수 등의 목적으로 기록한 발언 내용을 플레이할 수 있다. 이로써 본 발명은 제 2사용자가 제 1사용자(치매환자)의 생전 기록을 실감나게 확인할 수 있도록 지원할 수 있다.

또한 다양한 실시 예에 따라 상기 서버 100는 제 1사용자(치매환자)가 자발적으로 해야 할 일을 빠짐없이 수행하도록 지원하기 위해, 스케줄 정보를 수월하게 등록하고 제 1사용자 기기 200로 알람을 제공하도록 지원할 수 있다. 이를 위해 상기 서버 100는 제 1사용자 또는 제 1사용자와 연계된 제 2사용자(제 1사용자의 보호자 계정)에 의해 기록된 음성 데이터를 분석하고, 이로부터 제 1사용자 기기 200에 등록할 스케줄 정보를 추출하여 스케줄 등록을 수행할 수 있다.

도 2는 본 발명의 실시 예에 따른 서버의 구성을 도시한 도면이다.

도 2에서 도시되는 바와 같이, 통신부 110, 저장부 120 및 제어부 130를 포함하여 구성될 수 있다. 그리고 상기 제어부 130는 기록 정보 획득부 131, 기록 학습부 132, 스케줄 관리 지원부 133, 캐릭터 생성부 134, 기록 정보 가공부 135및 증상 테스트부 136을 포함하여 구성될 수 있다.

먼저, 상기 통신부 110는 사용자 기기와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망 일 수 있다. 또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.

본 발명의 실시 예에 따른 상기 통신부 110는 제 1사용자 기기 및 제 2사용자 기기와 기록 데이터 및 상기 기록 데이터의 가공 결과물에 대한 데이터 송수신을 수행할 수 있다.

상기 저장부 120는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.

외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), XD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.

본 발명의 실시 예에 따른 상기 저장부 120는 상기 기록 데이터를 가공하여 결과물을 생성하는 것과 관련된 프로그램을 저장할 수 있으며, 제 1사용자와 제 2사용자 간의 연계에 관한 정보를 저장할 수 있다.

본 발명의 제어부 130는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 한편, 제어부는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 제어부에 의해 구동될 수 있다. 메모리는 상기 사용자 단말 및 서버 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 상기 제어부와 데이터를 주고 받을 수 있다.

본 발명의 실시 예에 따른 상기 제어부 130는 기록 정보 획득부 131, 기록 학습부 132, 스케줄 관리 지원부 133, 캐릭터 생성부 134, 기록정보 가공부 135 및 증상 테스트부 136을 포함하여 구성될 수 있다.

상기 기록 정보 획득부 131는 제 1사용자 기기 200 또는 제 2사용자 기기 210에서 사용자 관련 자료가 기록되도록 제어하며, 기록된 자료(예, 녹화 기록, 녹음 기록)를 서버100 측으로 획득하기 위한 일련의 동작을 수행할 수 있다.

일 실시 예에 따라 상기 기록 정보 획득부 131는 사용자(예, 치매 환자 또는 보호자)가 입력한 기록 데이터를 정기적으로 서버 100측으로 업로드하도록 사용자 기기 200, 210 측에 요청할 수 있다. 이에 대응하여 상기 사용자 기기들 200, 210은 기 생성되어 저장된 사용자의 기록 데이터를 서버 100측으로 전송할 수 있다.

또한 상기 기록 정보 획득부 131는 사용자에 의해 지정된 별도의 트리거 이벤트에 기반하여 기록 데이터 생성 조건을 설정할 수 있다. 예컨대, 상기 기록 정보 획득부 131는 사용자로부터 특정 단어를 발음하는 음성과 기 등록된 이미지인 사용자 얼굴 이미지가 카메라를 통해 감지되는 경우, 녹음 또는 녹화 등의 기록 동작을 개시하도록 하는 기록 데이터 생성 조건을 설정할 수 있다. 본 발명의 실시 예에 따른 치매 환자 케어용 어플리케이션이 설치된 사용자 기기 200, 210는 상기 기록 정보 획득부 131가 기록 데이터 생성 조건으로 설정한 트리거 이벤트가 감지됨에 따라 사용자의 음성 내지 사용자의 모습을 녹음 또는 녹화 동작을 개시할 수 있다.

상기 기록 학습부 132는 기록 데이터를 사용자 기기들 200, 210로부터 수신한 후, 획득된 기록 데이터를 기반으로 AI 학습을 수행할 수 있다. 이 때 상기 기록 학습부 132가 수행하는 AI학습은 치매 환자로부터 입력된 음성 또는 영상 자료로부터 치매환자의 발언 내용을 텍스트화하고, 자주 사용되는 표현을 추출하여 학습할 수 있다.

일 실시 예에 따라, 상기 기록 학습부 132는 사용자(치매 환자)가 녹화하거나 녹음한 데이터를 기반으로 발화자(치매 환자)의 표정, 제스처, 추임새 등의 개인별 특징을 추출할 수 있으며, 추출된 개인별 특징 중 발화자(치매 환자)의 기 설정된 기준치 이상의 빈도로 수행되는 항목에 대하여 습관적 행동 정보로 지정할 수 있다. 상기 기록 학습부 132에서 추출되는 발화자의 습관적 행동 정보는 추후 발화자에 대응하는 캐릭터를 생성할 시 활용될 수 있다.

또한 상기 기록 학습부 132는 제 2사용자 기기 210를 통해 수집되는 치매 환자의 보호자의 기록 데이터(녹음 데이터 또는 녹화 데이터)를 기반으로 캐릭터 생성에 요구되는 습관적 행동 정보를 획득할 수 있다.

구체적으로 상기 기록 학습부 132는 AI 학습을 통해 기록 데이터로부터 사용자의 제스처, 추임새, 말투, 표정과 같은 습관적 행동 정보를 비슷한 유형별로 분류하고, 기준치 이상의 빈도(재생 시간 당 수행 횟수)를 보이는 항목을 추출할 수 있다. 이 때 상기 기록 학습부 132는 각 항목에 대하여 보다 세분화하여 기록 데이터로부터 발화자의 습관적 행동 정보를 추출할 수 있다.

상기 스케줄 관리 지원부 133는 사용자 기기 200, 210로부터 획득된 기록 데이터로부터 치매 환자의 스케줄과 관련된 정보를 추출하는 동작을 수행할 수 있다. 이 때 상기 스케줄 관리 지원부 133는 추출된 스케줄 정보를 사용자 기기 200, 210 측에 전송하여, 스케줄 정보를 등록하도록 요청할 수 있다.

일 실시 예에 따라, 상기 스케줄 관리 지원부 133는 사용자 스케줄과 관련된 발언 내용을 추출할 수 있다. 이 때 예를 들어 상기 스케줄 관리 지원부 133는 기록 데이터로부터 사용자 스케줄과 관련된 발언 내용을 추출하기 위해, 상기 기록 데이터 내용에서 스케줄과 관련된 특정 단어(예, 약, 식사, 약속, 알림 등)의 포함 여부를 확인할 수 있다. 만약, 상기 기록 데이터 내용에서 기 저장된 스케줄 관련 단어를 포함하는 발화 내용이 확인된 경우, 상기 스케줄 관리 지원부 133는 해당 발화 내용을 추출하고 이를 스케줄 관련 발화로 분류할 수 있다.

다양한 실시 예에 따라 상기 스케줄 관리 지원부 133는 추가의 스케줄 관련 단어를 저장하기 위한 동작을 수행할 수 있다. 이후 상기 스케줄 관리 지원부 133는 사용자의 발언 내용 중 추가 저장된 스케줄 관련 단어가 포함되는 발화의 발생 여부를 판단할 수 있다.

상기 스케줄 관리 지원부 133는 기록 데이터로부터 추출된 사용자(예, 치매 환자)의 발화 내용을 추출하고, 이와 대응하는 스케줄 정보를 사용자 기기 200, 210에 등록하기 위한 동작을 수행할 수 있다. 상기 스케줄 관리 지원부 133는 일 예로 치매 환자(제 1사용자 기기 200의 사용자)의 발화 내용이 '오후 3시에 약 먹기'임을 기록 데이터로부터 검출한 경우, 이에 대응하여 제 1사용자 기기 200측에 '오후 3시'에 알람이 울리도록 설정할 수 있고, 상기 알람은 '약 먹기'라는 내용을 화면에 표시하는 동작 및 해당 내용을 음성으로 출력하는 동작 중 적어도 하나를 동반하는 동작일 수 있다.

상기 스케줄 관리 지원부 133는 제 1사용자(치매 환자)와 제 2사용자(치매 환자의 보호자)의 계정을 연동하여, 제 2사용자인 보호자가 제 2사용자 기기 210를 통해 스케줄 정보를 입력하여 제 1사용자 기기 200에 스케줄 정보가 등록되도록 지원할 수 있다. 예를 들어, 상기 스케줄 관리 지원부 133는 보호자 계정으로 기 지정된 치매 환자 케어용 어플리케이션에 접속하여 일정 정보를 입력하면, 입력된 일정 정보를 제 1사용자 기기 200(치매 환자의 기기) 내 스케줄 정보로 등록하도록 지원할 수 있다. 이에 따라 보호자가 치매환자와 원거리에 있더라도 치매환자에게 알리고자 하는 스케줄 정보를 치매 환자가 사용하는 제 1사용자 기기 200측에 등록할 수 있다. 이 때 제 1사용자 기기 200에서 수행되는 특정 스케줄에 대한 알람 동작은 해당 시간에 이행해야 할 스케줄 정보를 치매환자에게 안내함과 동시에, 치매 환자(제 1사용자)가 해당 스케줄의 이행 여부에 대하여 입력할 수 있도록 하는 이행 여부 확인용 화면이 함께 제공되는 동작일 수 있다.

상기 스케줄 관리 지원부 133는 제 1사용자의 스케줄 이행 상황이 제 2사용자에게 보고될 수 있도록, 스케줄 이행 현황 정보를 제 2사용자 기기 210에 전달할 수 있다. 상기 스케줄 관리 지원부 133는 제 1사용자 기기 200에서 스케줄 알람 동작 시 제시되는 이행 여부 확인용 화면을 통해 제 1사용자로부터 이행 확인 신호가 수신되었는지 여부를 판단할 수 있다. 이행 확인 신호가 수신되면, 상기 스케줄 관리 지원부 133는 제 2사용자 기기 210 측에 제 1사용자인 치매 환자가 스케줄을 이행했음을 알리는 신호(예, 푸쉬 알림)을 제공할 수 있다.

한편, 제 1사용자가 치매 환자임을 고려해볼 때, 제 1사용자가 수행하는 스케줄 이행 확인(예, 스케줄 이행 버튼 입력)은 치매 증상이 발현된 상태에서 이루어진 것일 수 있다. 이러한 경우, 제 1사용자는 실질적으로 스케줄(예, 복약)을 이행하지 않더라도 스케줄을 이행한 것으로 잘못 체크할 우려가 있다. 이러한 문제를 방지하기 위해, 상기 스케줄 관리 지원부 133는 제 1사용자가 간단한 테스트에 통과하는 경우에 한하여 스케줄 이행 여부 확인 동작을 수행할 수 있도록 할 수 있다. 구체적으로 상기 스케줄 관리 지원부 133는 제 1사용자 기기 200에 제공되는 이행 여부 확인용 화면 제공 시 테스트 화면을 함께 제공하도록 제어할 수 있다. 그리고 상기 테스트 화면은 예컨대, 계산 능력 테스트, 어휘 능력 테스트 등을 포함할 수 있다.

상기 캐릭터 생성부 134는 제 1사용자 기기 200 또는 제 2사용자 기기 210에서 생성된 기록 데이터 내용 및 기록 학습부에 의해 지정된 습관적 행동 정보에 기반하여 사용자(제 1사용자 또는 제 2사용자)에 대응하는 캐릭터를 생성하고, 생성된 캐릭터를 통해 기록 데이터에 저장된 발화자(사용자)의 발화 내용을 전달할 수 있다.

일반적으로 치매 환자는 노인이며, 노인의 자녀가 그 보호자를 맡게 된다. 이러한 점을 고려해볼 때, 제 1사용자 기기 200를 통해 상기 제 1사용자가 기록하는 내용은 추후 자녀에게 남기는 유언의 성격을 가질 수 있다. 그리고 그 외에도 제 1사용자가 녹음 또는 녹화 등의 방식으로 수행하는 기록은 일기 작성, 자서전 작성을 목적으로 수행될 수도 있다. 이에 따라 상기 캐릭터 생성부 134는 발화자에 대응하는 캐릭터를 생성한 후, 발화자가 기록한 일기 내용 또는 자서전 내용을 생성된 캐릭터가 읽는 동작을 생성할 수 있다.

캐릭터가 발화 내용을 전달하는 모습을 구현하기 위해, 상기 캐릭터 생성부 134는 발화자에 의해 기록된 녹음 음성이 재생되는 동안 상기 캐릭터의 입모양이 움직이도록 그래픽을 제어할 수 있다. 또한 상기 캐릭터 생성부 134는 영상 정보를 포함하는 기록 데이터로부터 발화자의 표정 및 제스처를 캐치하고, 캐치된 발화자의 표정 및 제스처를 캐릭터에 적용하기 위한 그래픽 제어를 수행할 수 있다.

또한 다양한 실시 예에 따라 제 1사용자는 자신의 보호자인 제 2사용자를 비롯하여 기타 유가족에게 전달하고자 하는 메시지를 제 1사용자 기기 200를 이용하여 기록하고자 할 수 있다. 제 2사용자 또는 기타 유가족에게 전달할 메시지는 예컨대 유언, 노하우 전수 등을 목적으로 한 내용일 수 있다. 이와 같은 경우, 상기 캐릭터 생성부 134는 발화자의 발화 내용 분석을 기반으로 한 발화 목적 판단 동작과, 발화 음성 데이터에서 감지된 비언어적 특징(예, 웃음소리, 울음소리, 발언 속도 등)을 기반으로 한 발화자 기분 판단 동작을 수행하고, 발화 목적과 발화자의 기분에 대응하여, 캐릭터의 종류(예, 동물, 사람 등의 항목으로 구성될 수 있음), 캐릭터의 복장, 캐릭터의 표정 및 제스처를 캐릭터에 적용할 수 있다.

상기 기록 정보 가공부 135는 사용자가 기록한 데이터를 추후 출력하고 타인에게 전달하기 위해 가공할 수 있다. 상기 기록 정보 가공부 135는 전달용 정보 추출부 135a, 카테고리 분류부 135b를 포함하여 구성될 수 있다. 상기 기록 정보 가공부 135에 관한 자세한 내용은 도 3을 참조하여 기술하기로 한다.

증상 테스트부 136는 제 1사용자의 치매 예방 내지 치매 증상의 악화 추이의 판단을 위해 기 설정된 주기에 따라 테스트할 수 있다. 그 외에도 상기 증상 테스트부 136는 제 1사용자의 치매 예방을 위한 다양한 훈련 동작을 제시할 수 있다.

구체적으로, 상기 증상 테스트부 136는 기 저장된 알고리즘에 따라 계산 문제, 도형 퍼즐 문제, 순발력 문제 등과 같은 치매 환자 여부를 판단할 수 있는 증상 테스트용 문제를 난이도에 따라 생성할 수 있다. 이 때 상기 증상 테스트부 136는 생성되는 증상 테스트용 문제의 초기 난이도를 제 1사용자의 연령 정보에 대응하여 설정할 수 있다. 예컨대, 상기 증상 테스트부 136 는 제 1사용자의 연령이 높을수록 제 1 사용자 기기 200에 제공하는 증상 테스트용 문제의 초기 난이도를 하향 조정할 수 있다.

상기 증상 테스트부 136는 일 실시 예에 따라 증상 테스트용 문제가 제 1사용자 기기 200에서 단독 동작으로 사용자 요청에 따라 실행되도록 제어할 수 있다. 그러나 이에 제한되지 않고 다양한 실시 예에 따라 상기 증상 테스트부 136는 증상 테스트용 문제가 제 1사용자 기기 200의 특정 동작과 함께 실행되도록 제어할 수 있다. 예컨대, 상기 증상 테스트부 136는 스케줄 알람을 등록하는 동작 단계 또는 사용자가 기록 데이터를 생성 요청하는 동작 단계에서 증상 테스트용 문제를 함께 실행하도록 제어할 수 있다. 나아가 상기 증상 테스트부 136는 제 1사용자가 자발적인 증상 테스트 동작을 수행한 시점이 기준 기간을 초과한 것으로 판단되는 경우, 특정 동작(예, 기록 데이터 생성 시)과 함께 증상 테스트용 문제 실행을 수행하도록 제어할 수 있다.

상기 증상 테스트부 136는 다양한 실시 예에 따라, 제 1사용자의 증상 테스트 결과, 제 1사용자에게서 치매가 의심된다고 판단되거나 또는 치매 증상의 악화가 판단된 경우에, 테스트 결과 정보를 기 연동된 보호자인 제 2사용자 측 기기 210로 제공하여 알릴 수 있다.

상기 증상 테스트부 136는 또한 다양한 실시 예에 따라, 제 1사용자의 치매 예방을 위한 훈련용 콘텐츠를 제공할 수 있다. 예컨대, 치매 예방을 위한 훈련용 콘텐츠는 초급용 코딩 문제, 게임 등을 이용하여 수행될 수 있으며, 상기 증상 테스트부 136는 일 단계 훈련을 완료함에 따라 보상(예, 훈련 이행률에 따라 이용할 수 있는 훈련용 콘텐츠의 종류 다양화 등)을 제공하여 제 1사용자가 주기적으로 훈련 과정을 이행할 수 있도록 유도할 수 있다. 나아가 상기 증상 테스트부 136는 제 1사용자의 훈련 이행 횟수가 제 1사용자 또는 제 1사용자와 연계된 제 2사용자가 기 설정해 둔 목표치를 달성한 경우, 목표 달성 여부에 관한 정보를 제 2사용자 기기 210로 전달할 수 있다.

도 3은 기록 정보 가공부의 구성을 도시한 도면이다.

도 3에서 도시되는 바와 같이, 상기 기록정보 가공부 135는 전달용 정보 추출부 135a 및 카테고리 분류부 135b를 포함하여 구성될 수 있다.

상기 기록정보 가공부 135는 전달용 정보 추출부 135a에 의해 제 1사용자 또는 제 2사용자에 의해 생성되는 녹음파일 또는 녹화파일과 같은 기록 데이터를 STT 과정에 의해 텍스트 정보로 변환하는 동작을 수행할 수 있다.

다양한 실시 예에 따라, 사용자 기기 200, 210로부터 수신되는 기록 데이터는 사용자 기기 200, 210에서 기록 목적(예, 스케줄 설정, 자서전 기록, 일기 기록, 편지 작성 등)이 미리 선택된 후 녹음(또는 녹화) 동작이 수행될 수도 있고, 기 설정된 특정 트리거 이벤트(예, 카메라 얼굴 인식 및 음성 감지)에 대응하여 기록 동작이 개시될 수도 있다. 만약, 사용자가 직접 기록 목적을 미리 선택함에 따라 기록 동작이 개시되는 경우, 상기 기록 정보 가공부 135는 기록 목적을 기 분류한 상태에서 전달용 정보 추출부 135a에 의해 전달용 정보를 추출할 수 있다.

만약, 기 설정된 특정 트리거 이벤트에 의해 기록 동작이 개시되는 경우, 상기 기록 정보 가공부 135는 전달용 정보 추출부 135a에 의해 기록 데이터에서 전달용 정보를 추출하고, 추출된 전달용 정보를 카테고리 분류부 135b를 통해 기록 목적별로 분류할 수 있다.

구체적으로, 상기 전달용 정보 추출부 135a는 기록 데이터 중 제 1사용자(치매 환자)의 사후 유가족 또는 제 2사용자(치매환자의 보호자) 측에 전달하고자 하는 내용을 판단하여 추출할 수 있다. 이 때 상기 전달용 정보 추출부 135a는 제 1사용자 기기 200로부터 수신된 기록 데이터로부터 제 1사용자가 자신의 스케줄 기록 또는 자신의 치매 예방을 위해 기록한 데이터와 전달용(유가족 또는 제 2사용자 측으로 전달하기 위한 용도) 데이터를 구분하기 위해, 기록 데이터 내용을 분석할 수 있다. 상기 전달용 정보 추출부 135a는 청자가 특정된 내용 또는 대화체 어투의 내용에 대하여 전달용 데이터로 판단하고 이를 추출할 수 있다. 이후 상기 전달용 정보 추출부 135a는 추출된 전달용 데이터(음성, 녹화파일)에 대하여 STT 동작에 기반하여 텍스트 정보로 변환할 수 있다.

상기 카테고리 분류부 135b는 상기 전달용 정보 추출부 135a에 의해 기록 데이터로부터 추출되고 텍스트로 변환된 전달용 데이터를 카테고리별로 분류하는 동작을 수행할 수 있다. 예컨대, 상기 카테고리 분류부 135b는 텍스트로 변환된 전달용 데이터의 내용을 분석하고, 내용 및 문장 형태에 따라 일기, 자서전, 편지 등의 카테고리로 분류할 수 있다.

또한 다양한 실시 예에 따라 상기 카테고리 분류부 135b는 주제별로 전달용 데이터의 내용을 분류할 수 있다. 예를 들어 상기 카테고리 분류부 135b는 기록 데이터가 생성된 시점(날짜 및 시간)과 감지된 단어의 종류 및 빈도 등에 기반하여 추출된 전달용 데이터에 대한 주제를 지정할 수 있다. 보다 구체적으로, 상기 카테고리 분류부 135b는 특정 테마 단어가 기준치 이상의 빈도로 사용되는 발화 기간 동안의 발화 내용을 별도로 추출할 수 있으며, 추출된 발화 내용에 대하여 별도의 주제를 지정할 수 있다. 그리고 추출된 발화 내용에 대하여 지정되는 주제명은 상기 특정 테마 단어가 포함될 수 있다. 예컨대 기준치 이상의 빈도로 '김치'에 대한 언급이 이루어진 발화 내용에 대하여 전달용 데이터로 추출한 경우, 추출된 내용의 주제는 '김치'가 될 수 있다.

즉 상기 카테고리 분류부 135b는 전달용 정보의 기록 목적별 분류를 수행한 후, 전달용 정보의 주제별 분류를 수행할 수 있다.

나아가, 상기 기록 정보 가공부 135는 카테고리 분류부 135b에 의해 전달용 정보를 기록 목적별 및 주제별로 분류한 뒤 이에 대한 결과물 생성 동작을 수행할 수 있다. 상기 결과물 생성 동작은 예컨대, 분류 과정을 마친 전달용 정보에 대하여 교정 및 편집을 수행하여 출판물의 형태로 완성하는 과정을 의미할 수 있다. 이 때 상기 교정 및 편집을 위해, 상기 기록 정보 가공부 135는 제 2 사용자 기기 210에 분류 과정을 마친 전달용 정보를 전달하여, 교정 및 편집을 제 2사용자에게 요청할 수 있다. 또는 상기 기록 정보 가공부 135는 기 저장된 편집 프로그램을 기반으로 분류 과정을 마친 전달용 정보에 대한 편집 및 교정과정을 수행할 수 있다.

그리고 상기 기록 정보 가공부 135는 제 2사용자 기기 210측에 출판물의 형태로 제작된 결과물을 전송하고 이에 대한 최종적으로 승인 받을 수 있다. 이와 같은 과정을 거쳐 최종적으로 생성되는 출판물로는 자서전, 일기, 편지 등이 포함될 수 있다.

도 4는 본 발명의 실시 예에 따른 기록 데이터의 가공 과정에 대하여 도시한 도면이다.

도 4에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 치매 환자 케어 및 기록 지원 시스템은 발화자의 발화 내용을 기록하고, 이를 가공하여 다양한 유형의 결과물을 생성할 수 있다.

먼저 도 4의 410에서 도시되는 바와 같이, 일 사용자 기기 200, 210는 치매 환자 케어용 어플리케이션이 설치되어 있을 수 있으며, 어플리케이션이 구동중인 상황 하에서, 사용자에 의해 입력되는 발화 내용을 기록할 수 있다. 예를 들어 발화자가 제 1사용자(예, 치매환자)인 경우, 제 1사용자 기기 200는 치매 환자로부터 보호자 또는 치매환자의 지인들에게 유언, 편지 등의 메시지를 남기기 위해 발언을 시작하면, 이를 감지하고 상기 제 1사용자 기기 200는 기록 동작을 수행할 수 있다. 이 때 치매 환자 케어용 어플리케이션은 기 설정된 특정 트리거 이벤트가 감지됨에 따라 사용자의 발화 내용에 대한 기록 동작을 개시할 수 있다.

이렇게 사용자의 발화 내용이 기록되면, 사용자 기기 200, 210에 기록된 기록 데이터는 서버 100로 전송될 수 있다. 그리고 상기, 서버 100는 420에서 도시되는 바와 같이, 획득된 기록 데이터를 가공하는 동작을 수행할 수 있다. 이 때 획득된 기록 데이터를 가공하는 동작은 스케줄 관리 지원부 133에 의해 기록 데이터로부터 스케줄 관련 데이터를 추출하는 동작, 기록 정보 가공부 135에 의해 전달용 정보를 추출하고 텍스트로 변환하는 동작 등의 동작을 포함할 수 있다.

이와 같은 데이터 가공 과정을 거쳐, 상기 서버 100는 430에서 도시되는 바와 같이 기록 데이터로부터 결과물을 생성할 수 있다. 다양한 실시 예에 따라 상기 서버 100는 기록 데이터로부터 스케줄 정보를 추출하여 사용자 기기 200, 210에 등록하는 동작(스케줄러) 431을 수행할 수 있다. 그리고 상기 서버 100는 일기, 자서전 등과 같은 텍스트 자료 432를 가공 결과물로써 생성할 수 있다. 또한 상기 서버 100는 획득 자료의 가공을 수행하여, 기록 데이터의 내용을 기반으로 캐릭터를 생성하고, 생성된 캐릭터를 통해 기록 데이터 내용을 출력하는 캐릭터화 433동작을 수행할 수 있다.

도 5는 본 발명의 실시 예에 따른 스케줄 알람 동작의 예시를 도시한 도면이다.

본 발명의 실시 예에 따른 상기 서버 100는 사용자 기기 200, 210로부터 수신되는 기록 데이터를 기반으로 스케줄 정보로 판단되는 음성 데이터를 추출하고, 이를 기반으로 사용자 기기 200, 210에 스케줄 정보 및 알람을 등록할 수 있다. 다양한 실시 예에 따라 상기 서버 100는 제 2사용자 기기 210로부터 등록 요청된 스케줄 정보를 제 1사용자 기기 200의 스케줄 어플리케이션에 등록할 수도 있다. 그 외에도 일반적인 방식과 같이, 사용자 기기 200, 210는 사용자로부터 직접 스케줄 정보를 입력 받고, 그에 대응하여 스케줄러에 이를 등록하는 동작을 수행할 수 있다. 이 때 스케줄 정보 등록을 담당하는 스케줄러 프로그램은 사용자 기기 200, 210 내 자체 내장된 프로그램일 수 있으며, 치매 환자 케어용 어플리케이션은 상기 스케줄러 프로그램에 대한 접근을 허용받고 스케줄 정보를 등록할 수 있다. 또는 사용자 기기 200, 210에 설치된 상기 치매 환자 케어용 어플리케이션은 직접 스케줄러 기능을 포함하고 있을 수 있으며, 그에 따라 사용자로부터 입력받거나, 사용자의 음성으로부터 추출된 스케줄 정보를 어플리케이션 내 스케줄러에 등록할 수 있다.

다양한 방법을 통해 기 등록된 스케줄 정보는 해당 시점이 도래함에 따라 알람을 제공할 수 있다. 이때 알람은 사운드 외에도, 해당 시각에 이행해야 하는 스케줄의 정보가 어떤 것인지를 510에서와 같이 텍스트, 이미지 등으로 표시할 수 있다.

그리고 다양한 실시 예에 따라 상기 서버 100는 사용자의 스케줄에 대한 알람을 제공할 시, 520과 같이 추가 동작을 함께 실행할 수 있다. 본 발명은 520에서 도시되는 바와 같이, 제 1사용자의 치매 증상을 테스트하기 위한 증상 테스트용 문제가 알람 화면에 함께 제시될 수 있다. 이 때 증상 테스트용 문제는 보기 버튼521이 제공되어 치매 환자가 아닌 경우 간단하게 해결할 수 있는 수준으로 제공될 수 있다.

도 6은 본 발명의 실시 예에 따른 캐릭터 생성 동작의 예시를 도시한 도면이다.

본 발명의 실시 예에 따른 치매 환자 케어 및 기록 지원 시스템은 도 6에서 도시되는 바와 같이, 사용자에 대응하는 캐릭터를 생성할 수 있다. 본 발명의 서버 100는 사용자의 기록 데이터를 토대로 사용자의 특징을 반영한 캐릭터를 생성하고, 캐릭터를 통해 사용자의 기록 데이터를 재생하는 동작을 수행할 수 있다.

이 때 상기 서버 100는 제 2사용자(보호자)의 기록 데이터를 기반으로 제 2사용자의 생김새, 표정, 말투, 제스처 등을 포함하는 특징에 대응하는 캐릭터를 생성하고 이를 제 1사용자 기기 200에 제공할 수 있다. 반대로, 서버 100는 제 1사용자(치매 환자)의 기록 데이터를 기반으로 제 1사용자의 생김새, 표정, 말투, 제스처 등의 특징에 대응하는 캐릭터를 생성하고 이를 제 2사용자 기기 210에 제공할 수 있다. 이로써, 상기 서버 100는 제 1사용자(치매 환자)의 생김새 및 제스처 특징에 대응하는 캐릭터를 통해 플레이되는 제 1사용자의 기록 데이터를 제 2사용자(치매환자의 보호자)측에 제공할 수 있다. 이는 제 1사용자(치매 환자)의 사후에 제 2사용자로 하여금 생전 특징과 유사한 캐릭터를 통해 제 1사용자(예, 치매환자인 부모님)를 추억할 수 있도록 돕는 역할을 할 수 있다.

다양한 실시 예에 따라 상기 서버 100는 캐릭터를 사람, 동물, 애니메이션 캐릭터 등 다양한 종류들 중에서 선택할 수 있고, 사용자의 생김새, 표정, 제스처 등의 영상 정보를 기반으로 획득된 특징을 반영하여 캐릭터의 생김새 및 동작 그래픽을 610과 같이 구성할 수 있다.

상기 서버 100는 또한 사용자의 기록 데이터를 기반으로 취득한 사용자의 특징을 반영하여 캐릭터를 생성한 후, 상기 기록 데이터에서 취득된 전달용 데이터를 상기 생성된 캐릭터를 통해 출력되도록 구현할 수 있다.

다양한 실시 예에 따라, 본 발명의 상기 서버 100(예, 캐릭터 생성부 134)는 캐릭터를 통해 제 2사용자의 녹음 메시지가 제 1사용자에게 전달되도록 지원할 수 있다. 이를 통해 제 1사용자는 자신의 보호자인 제 2사용자(예, 자녀, 배우자 등 보호자 계정으로 설정될 수 있음)의 특성을 반영한 캐릭터(이하, 제 2사용자 반영 캐릭터)를 통해 알람정보를 제공받을 수 있게 되므로, 친근감을 느낄 수 있게 된다.

보다 구체적으로 예를 들면, 상기 서버 100는 제 2사용자의 외모의 특성을 반영하여 제 2사용자 반영 캐릭터를 생성할 수 있으며, 생성된 캐릭터를 제 1사용자에게 제공할 수 있다. 그리고 이 때 상기 서버 100는 생성된 제 2사용자 반영 캐릭터와 제 1사용자가 의사소통을 할 수 있도록 지원할 수 있으며, 상기 생성된 제 2사용자 반영 캐릭터는 기 등록된 목소리 파일(예, 임의 성우 목소리, AI 목소리, 유명인 목소리 등)에 기반하여 음성을 출력할 수도 있고, 제 2사용자의 목소리로 알림 내용을 출력할 수도 있다.

또한, 상기 서버 100는 제 2사용자와 제 1사용자 간 관계 정보(또는 호칭 정보)를 함께 등록 받고, 상기 관계 정보(또는 호칭 정보)를 이용하여 알람 정보 제공 동작을 수행할 수 있다. 일 실시 예에 따라, 상기 제 2사용자 반영 캐릭터가 알람 정보를 제공할 시점이 되면, 상기 서버 100는 알람 정보를 출력하기 전, 상기 관계 정보(또는 호칭 정보)를 이용하여 제 1사용자를 부르는 동작을 수행할 수 있다. 그리고 상기 서버 100는 상기 제 2사용자 반영 캐릭터가 제 1사용자를 관계 정보에 기반하여 부르도록 한 후, 이어서 알람 내용을 전달할 수 있다. 예컨대, 상기 제 2사용자 반영 캐릭터는 제 1사용자 기기에서 제 1사용자에게 특정 알람을 제공할 시간이 도래하면, “엄마, 약 드실 시간이에요”와 같은 음성 메시지를 제 2사용자 목소리로 출력할 수 있다.

이와 같이 제 2사용자의 특징을 반영한 캐릭터로 제 1사용자에게 알람 정보를 제공하는 특징은 제 2사용자가 제 1사용자와 원거리에 있더라도, 제 1사용자로 하여금 제 2사용자가 제 1사용자를 직접 신경 써주는 듯한 느낌을 받도록 하는 효과를 기대할 수 있다. 이에 따라 본 발명은 치매 초기 환자 또는 치매 위험군인 제 1사용자가 알람 정보를 놓치지 않게 하며, 친근한 어조와 캐릭터로 알람 정보를 제공받을 수 있도록 도울 수 있다.

다양한 실시 예에 따라, 캐릭터를 활용해 알람을 제공하는 동작은 알람의 종류와 시점별로 다르게 설정될 수 있다. 이 때 알람의 종류는 복약 관련 알람, 식사 관련 알람, 외부 일정 알람, 집안일 알람 등의 항목을 포함하여 구성될 수 있으며, 각 종류에 따라 다르게 설정되는 캐릭터의 구성 요소로는 예컨대, 캐릭터의 목소리, 캐릭터의 이미지(얼굴, 옷, 표정 등), 캐릭터의 제스처 등이 포함될 수 있다.

또한 다양한 실시 예에 따라 상기 서버 100(캐릭터 생성부 134)는 알람 정보 외에도, 다양한 종류의 음성 메시지를 제 1사용자에게 전달하도록 지원할 수 있다. 예를 들어, 상기 서버 100는 제 2사용자로부터 음성 메시지 녹음 데이터를 수신할 수 있으며, 상기 수신된 음성 메시지 녹음 데이터를 제 2사용자에게 할당된 캐릭터를 통해 출력하는 동작을 제 1사용자 기기에서 수행하도록 제어할 수 있다. 이에 따라 제 1사용자 기기는 제 1사용자에게 제 2사용자를 닮은 캐릭터가 자신에게 이야기하는 듯한 모습을 제공할 수 있게 된다.

나아가, 상기 서버 100는 제 1사용자와 제 2사용자 간 캐릭터를 활용한 대화를 지원할 수 있다. 상기 서버 100는 제 1사용자와 제 2사용자 간 캐릭터 대화 동작이 수행될 시, 마찬가지로 기 생성된 각 사용자의 캐릭터에 해당 사용자의 음성을 덧입혀, 캐릭터가 사용자 목소리로 발언하는 것과 같은 동작을 수행하도록 할 수 있다.

이에 따라 상기 서버 100는 제 1사용자와 제 2사용자의 캐릭터 대화 동작이 수행되는 동안, 제 1사용자 기기로부터 획득되는 실시간 음성 내용을 출력할 시, 제 1사용자용 캐릭터의 입모양이 움직이는 동작이 제 2사용자 기기 측에 보이도록 제어하고, 마찬가지로 제 2사용자 기기로부터 획득되는 실시간 음성 내용을 제 1사용자 기기 측에서 출력하는 동안 제 2사용자용 캐릭터의 입모양이 움직이는 동작이 제 1사용자 기기 측에 보이도록 제어할 수 있다.

이로써, 각 사용자(예, 제 1사용자)는 타 사용자와(예, 제 2사용자)의 캐릭터와 대화하는 듯한 기분을 느낄 수 있게 된다.

다양한 실시 예에 따라 상기 서버 100는 생성된 제 2사용자 반영 캐릭터를 제 3자인 타인에게 공유할 수 있도록 지원할 수 있다. 상기 서버 100는 각 사용자 기기들로부터 사용자 특성 정보를 수집하고 이를 기반으로 생성한 캐릭터들 중 특정 조건을 만족하는 캐릭터를 공유 대상으로 선정하고, 이에 대한 공유 여부를 해당 사용자에게(또는 제 1사용자의 캐릭터의 경우, 해당 사용자의 보호자인 제 2사용자에게) 물을 수 있다. 이 때 생성된 캐릭터가 공유될 지 여부를 묻는 동작을 수행하는 조건으로는 예를 들어, 생성된 캐릭터를 이용한 동작 플레이 횟수가 기준치를 초과하는 경우 등이 해당될 수 있다.

또한 다양한 실시 예에 따라 상기 서버 100는 사용자 설정에 의해 생성된 캐릭터는 타 사용자에게 공유될 수 있다.

또는 특정 조건(캐릭터 플레이 횟수 기준치 초과 등)이 만족되는 경우 자동으로 해당 캐릭터의 이미지 내지 동작 정보가 타 사용자에게 공유될 수 있다.

상기 서버 100는 게시판 등에 공유된 캐릭터 이미지 내지는 캐릭터가 갖고 있는 동작 특징 정보를 열람할 수 있도록 지원할 수 있다. 그리고 이를 열람한 타 사용자는 공유된 캐릭터들 중 일 캐릭터를 선택하여 다운로드할 수 있다. 그리고 공유된 캐릭터 중 선택하여 다운로드한 일 캐릭터로 자신의 캐릭터를 변경할 수 있다.

또는 제 1사용자가 공유된 타인의 캐릭터를 다운로드하여 자신의 보호자인 제 2사용자의 캐릭터 설정을 변경하거나, 제 2사용자가 공유된 타인의 캐릭터를 다운로드하여 자신이 보호하는 제 1사용자의 캐릭터 설정을 변경할 수 있다.

다양한 실시 예에 따라 상기 서버 100는 제 1사용자가 음성 녹음 등의 방식을 통해 기록한 기록 데이터(또는 기록 과정 이후 교정 및 교열 과정을 완료한 출판)을 해당 사용자 동의 하에 공유하도록 지원할 수 있다.

먼저, 상기 서버 100는 제 1사용자가 기 생성된 기록 데이터(또는 출판물) 정보에 대하여 사용자 또는 상기 제 1사용자와 연계된 제 2사용자(제 1사용자의 보호자)의 '공유 허용' 설정에 따라 타 사용자들에 의해 열람될 수 있도록 공유 게시판 등에 게시할 수 있다.

또한 상기 서버 100는 기 생성된 기록 데이터의 완성 여부를 평가하기 위한 동작(예, 음성 녹음 파일이 텍스트로 변환되었는지 여부를 판단하는 동작 등)을 수행할 수 있으며, 완성된 상태로 판단된 기록물에 대하여 텍스트 내용 분석을 토대로 공유 적합성을 판단하고, 공유 적합성이 기준치 이상인 것으로 판단되는 경우, 기록 데이터를 작성한 제 1사용자 또는 제 1사용자의 보호자인 제 2사용자에게 공유 여부를 물을 수 있다.

이 때 상기 서버 100는 기록 데이터의 공유 적합성을 판단하기 위해, 기록물의 청자가 다수인 것을 유추하게 하는 표현(예, 여러분 등)이 포함 정도를 확인하는 동작을 수행할 수 있다.

요컨대, 본 발명의 실시 예에 따른 치매 환자 케어 및 기록 지원 시스템은 제 1사용자 기기, 제 2사용자 기기 및 서버를 포함하여 구성되며, 상기 제 1사용자 기기는 녹음 및 녹화 중 적어도 하나의 방법을 통해 제 1사용자에 대한 기록 데이터를 생성하여 상기 서버에 전달하고, 상기 서버는 상기 제 1사용자 기기로부터 수신된 기록 데이터로부터 추출된 스케줄 정보를 상기 제 1사용자 기기에 등록하는 동작 및 상기 기록 데이터로부터 추출된 전달용 정보를 가공하여 결과물로 캐릭터 및 출판물을 생성하고, 상기 결과물을 상기 제 1사용자 기기와 연계된 제 2사용자 기기로 제공하며, 상기 제 2사용자 기기는 상기 서버로부터 제공받은 결과물을 출력할 수 있다.

이 때 상기 서버는 제 1사용자 기기 및 제 2사용자 기기와 기록 데이터 및 상기 기록 데이터의 가공 결과물에 대한 데이터 송수신을 수행하는 통신부, 상기 기록 데이터를 가공하여 결과물을 생성하는 것과 관련된 프로그램을 저장하는 저장부 및 제 1사용자 기기 및 제 2사용자 기기 중 적어도 하나로부터 수신된 기록 데이터를 가공하여 결과물을 생성하되, 상기 기록 데이터를 기반으로 제 1사용자의 스케줄 정보를 추출하고 스케줄을 등록하고, 상기 기록 데이터를 기반으로 기록 데이터의 발화자의 특징에 대응하는 캐릭터를 생성하며, 상기 캐릭터를 통해 상기 기록 데이터로부터 추출된 전달용 정보를 플레이하도록 제어하는 제어부를 포함할 수 있다.

그리고 상기 제어부는 제 1사용자 기기 또는 제 2사용자 기기에서 사용자 관련 자료가 기록되도록 제어하며, 기록된 자료를 획득하기 위한 일련의 동작을 수행하되, 사용자에 의해 지정된 별도의 트리거 이벤트가 감지됨에 따라 기록 데이터 생성 동작을 개시하도록 설정하는 기록 정보 획득부를 포함할 수 있다.

그리고 상기 제어부는 상기 기록 데이터를 기반으로 발화자의 표정, 제스처 및 추임새를 포함하는 개인별 특징을 추출하고, 추출된 개인별 특징 중 기준치 이상의 빈도로 수행되는 항목에 대하여 발화자의 습관적 행동 정보로 지정하는 것으로 기록 학습부를 포함할 수 있다.

상기 제어부는 상기 기록 데이터로부터 스케줄과 관련된 특정 단어를 포함하는 발화 내용을 스케줄 정보로 추출하고, 추출된 스케줄 정보를 해당 사용자의 스케줄로 등록하고 알람을 설정하고 제 1사용자 기기에서 스케줄 알람 동작될 시, 해당 스케줄을 이행하였는지 여부에 대하여 입력할 수 있도록 하는 이행 여부 확인용 화면을 함께 제공하며, 제 1사용자로부터 이행 확인 신호가 수신되면 상기 제 1사용자 기기와 연계된 제 2사용자 기기로 이행 확인 신호를 전달하는 스케줄 관리 지원부를 포함할 수 있다.

또한 상기 제어부는 상기 기록 데이터의 내용 및 상기 기록 학습부에 의해 지정된 습관적 행동 정보에 기반하여 사용자에 대응하는 캐릭터를 생성하고, 생성된 캐릭터를 통해 기록 데이터에 저장된 발화 내용이 전달되는 모습이 구현되도록, 상기 기록 데이터의 녹음 내용이 재생되는 동안 캐릭터의 입모양이 움직이도록 그래픽을 제어하는 캐릭터 생성부를 포함할 수 있다.

또한 상기 제어부는 사용자가 기록한 데이터를 출력 및 전달을 위해 가공하고 결과물을 생성하는 기록 정보 가공부를 포함할 수 있고, 상기 기록 정보 가공부는 상기 기록 데이터로부터 타인에게의 전달을 목적으로 하는 것으로 판단되는 전달용 정보를 추출하여 텍스트로 변환하는 전달용 정보 추출부 및 상기 전달용 정보를 기록 목적별 및 주제별로 분류하되, 특정 테마 단어가 기준치 이상의 빈도로 사용되는 발화 내용에 대하여, 상기 특정 테마 단어를 주제로 지정하는 카테고리 분류부를 포함할 수 있다.

또한 상기 제어부는 제 1사용자의 치매 예방 내지 치매 증상의 악화 추이에 대한 판단을 위해 증상 테스트용 문제를 생성하여 기 설정된 주기에 따라 제 1사용자 기기에서 테스트 동작이 실행되도록 제어하되, 제 1사용자를 테스트한 결과, 제 1사용자에게서 치매가 의심된다고 판단되거나 치매 증상이 악화된 것으로 판단된 경우에 테스트 결과 정보를 기 연동된 보호자인 제 2사용자 기기로 제공하여 알리는 증상 테스트부를 포함할 수 있다.

상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.

100 : 서버
200 : 제 1사용자 기기
210 : 제 2사용자 기기
110 : 통신부
120 : 저장부
130 : 제어부
131 : 기록정보 획득부
132 : 기록 학습부
133 : 스케줄 관리 지원부
134 : 캐릭터 생성부
135 : 기록 정보 가공부
135a : 전달용 정보 추출부
135b : 카테고리 분류부
136 : 증상 테스트부

Claims (1)

1. 제 1사용자 기기, 제 2사용자 기기 및 서버를 포함하여 구성되는 치매 환자 케어 및 기록 지원 시스템에 있어서,
   상기 제 1사용자 기기는
   녹음 및 녹화 중 적어도 하나의 방법을 통해 제 1사용자에 대한 기록 데이터를 생성하여 상기 서버에 전달하고,
   상기 서버는
   상기 제 1사용자 기기로부터 수신된 기록 데이터로부터 추출된 스케줄 정보를 상기 제 1사용자 기기에 등록하고,
   상기 기록 데이터로부터 추출된 전달용 정보를 가공하여 결과물로 캐릭터 및 출판물을 생성하고,
   상기 결과물을 상기 제 1사용자 기기와 연계된 제 2사용자 기기로 제공하며,
   상기 제 2사용자 기기는
   상기 서버로부터 제공받은 결과물을 출력하고,
   상기 서버는
   제 1사용자 기기 및 제 2사용자 기기와 기록 데이터 및 상기 기록 데이터의 가공 결과물에 대한 데이터 송수신을 수행하는 통신부;
   상기 기록 데이터를 가공하여 결과물을 생성하는 것과 관련된 프로그램을 저장하는 저장부; 및
   제 1사용자 기기 및 제 2사용자 기기 중 적어도 하나로부터 수신된 기록 데이터를 가공하여 결과물을 생성하되, 상기 기록 데이터를 기반으로 제 1사용자의 스케줄 정보를 추출하고 스케줄을 등록하고, 상기 기록 데이터를 기반으로 기록 데이터의 발화자의 특징에 대응하는 캐릭터를 생성하며, 상기 캐릭터를 통해 상기 기록 데이터로부터 추출된 전달용 정보를 플레이하도록 제어하는 제어부;를 포함하고,
   상기 제어부는
   상기 기록 데이터를 기반으로 발화자의 표정, 제스처 및 추임새를 포함하는 개인별 특징을 추출하고, 추출된 개인별 특징 중 기준치 이상의 빈도로 수행되는 항목에 대하여 발화자의 습관적 행동 정보로 지정하는 기록 학습부;
   상기 기록 데이터의 내용 및 상기 기록 학습부에 의해 지정된 습관적 행동 정보에 기반하여 사용자에 대응하는 캐릭터를 생성하고, 생성된 캐릭터를 통해 기록 데이터에 저장된 발화 내용이 전달되는 모습이 구현되도록, 상기 기록 데이터의 녹음 내용이 재생되는 동안 캐릭터의 입모양이 움직이도록 그래픽을 제어하는 캐릭터 생성부;
   상기 기록 데이터로부터 스케줄과 관련된 특정 단어를 포함하는 발화 내용을 스케줄 정보로 추출하고, 추출된 스케줄 정보를 해당 사용자의 스케줄로 등록하고 알람을 설정하고, 제 1사용자 기기에서 스케줄 알람이 동작될 시, 해당 스케줄을 이행하였는지 여부에 대하여 입력할 수 있도록 하는 이행 여부 확인용 화면을 함께 제공하며, 제 1사용자로부터 이행 확인 신호가 수신되면 상기 제 1사용자 기기와 연계된 제 2사용자 기기로 이행 확인 신호를 전달하는 스케줄 관리 지원부; 및
   사용자가 기록한 데이터를 출력 및 전달을 위해 가공하고 결과물을 생성하는 기록 정보 가공부;를 포함하고,
   상기 기록 정보 가공부는
   상기 기록 데이터로부터 타인에게의 전달을 목적으로 하는 것으로 판단되는 전달용 정보를 추출하여 텍스트로 변환하는 전달용 정보 추출부; 및
   상기 전달용 정보를 기록 목적별 및 주제별로 분류하되, 특정 테마 단어가 기준치 이상의 빈도로 사용되는 발화 내용에 대하여, 상기 특정 테마 단어를 주제로 지정하는 카테고리 분류부;를 포함하고,
   상기 스케줄 관리 지원부는
   제 1사용자 기기에 제공되는 이행 여부 확인용 화면 제공 시 테스트 화면을 함께 제공하도록 제어하는 것을 특징으로 하는 치매 환자 케어 및 기록 지원 시스템.

Images