KR102273149B1 - 인공지능기반 개인맞춤형 인지 중재 방법 - Google Patents

인공지능기반 개인맞춤형 인지 중재 방법 Download PDF

Info

Publication number
KR102273149B1
KR102273149B1 KR1020190063030A KR20190063030A KR102273149B1 KR 102273149 B1 KR102273149 B1 KR 102273149B1 KR 1020190063030 A KR1020190063030 A KR 1020190063030A KR 20190063030 A KR20190063030 A KR 20190063030A KR 102273149 B1 KR102273149 B1 KR 102273149B1
Authority
KR
South Korea
Prior art keywords
cognitive
information
image
photo information
captioned
Prior art date
Application number
KR1020190063030A
Other languages
English (en)
Other versions
KR20200137161A (ko
Inventor
차경환
Original Assignee
주식회사 허그케어앤테라퓨틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 허그케어앤테라퓨틱스 filed Critical 주식회사 허그케어앤테라퓨틱스
Priority to KR1020190063030A priority Critical patent/KR102273149B1/ko
Publication of KR20200137161A publication Critical patent/KR20200137161A/ko
Application granted granted Critical
Publication of KR102273149B1 publication Critical patent/KR102273149B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명의 목적은, 사용자로부터 제공된 이미지로부터 상기 이미지와 관련된 일반정보 및 개인정보를 추출하며, 추출된 사진정보를 이용하여 치매환자를 치료하기 위한 다양한 인지중재도구들을 제공할 수 있는, 인공지능기반 개인맞춤형 인지 중재 시스템 및 그 방법을 제공하는 것이다.

Description

인공지능기반 개인맞춤형 인지 중재 방법{METHOD FOR CONITIVE THERAPY BASED ON ARTIFICAL INTELLIGENCE}
본 발명은 인공지능기반 개인맞춤형 인지 중재 시스템 및 그 방법에 관한 것이다.
노인인구가 증가되면서, 치매환자의 수도 증가하고 있다.
치매환자를 치료하거나 치매증상의 억제를 위해, 다양한 종류의 인지 중재 방법이 이용되고 있다.
인지 중재 방법 중에서는, 가장 오랫동안 남아 있는 가족에 대한 기억을 근거로 가족과 함께한 장소 및 시간 등을 기억해 유추해 내는 회상치료법(reminiscence therapy)이 가장 효과적이다.
이를 위해서는, 다양한 종류의 사진들이 제공되어야 하며, 특히, 치매환자와 관련된 가족들이 포함된 사진이 제공되는 것이 바람직하다. 그러나, 단순히 치매환자와 관련된 사진만이 제공되어서는 제3자가 치매환자를 치료하기 힘들며, 따라서, 사진속의 인물이 치매환자와 어떤 관계가 있는지에 대한 정보도 함께 제공되어야 한다.
그러나, 복잡한 사회생활을 하고 있는 치매환자의 가족들에게, 모든 사진마다 치매환자와 자신의 관계에 대한 정보를 제공해 달라고 요청하는 것은 현실적으로 어려운 문제이다.
1. 공개번호 10-2016-0001164: 치매 예방을 위한 데이터 처리 장치 및 이를 이용한 데이터 처리 방법
상술한 문제점을 해결하기 위해 제안된 본 발명의 목적은, 사용자로부터 제공된 이미지로부터 상기 이미지와 관련된 일반정보 및 개인정보를 추출하며, 추출된 사진정보를 이용하여 치매환자를 치료하기 위한 다양한 인지중재도구 들을 제공할 수 있는, 인공지능기반 개인맞춤형 인지 중재 시스템 및 그 방법을 제공하는 것이다.
상술한 기술적 과제를 달성하기 위한 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 방법은, 사용자가 이미지를 촬영하고, 상기 이미지에 개인정보 및 일반정보 중 적어도 어느 하나를 추가하여 사진정보를 생성하고, 상기 사진정보를 인지 중재 서버로 전송하는 단계; 상기 인지 중재 서버가, 사용자 단말기들로부터 수신된 상기 사진정보들 중에서, 개인정보 없이 이미지와 일반정보만을 포함하는 사진정보들을 인공지능을 이용하여 심층학습하는 단계; 상기 인지 중재 서버가 상기 사용자 단말기들로부터 이미지만이 포함된 사진정보들을 수신하는 단계; 상기 인지 중재 서버가 상기 심층학습 단계를 반복하여 습득한 학습 능력을 바탕으로, 이미지만이 포함된 사진정보들을 분석하여, 이미지들 각각에 대응되는 일반정보들을 추출한 후, 대응되는 이미지와 일반정보를 결합하여 캡셔닝된 사진정보를 생성하는 단계; 상기 인지 중재 서버가 상기 캡셔닝된 사진정보를 상기 캡셔닝된 사진정보에 포함된 이미지를 생성한 사용자에게, 전자메일 또는 SNS를 통해 전송하여 내용을 검증받는 단계; 및 상기 캡셔닝된 사진정보에 대한 정상 여부가 사용자로부터 검증되면, 상기 인지 중재 서버가 상기 캡셔닝된 사진정보를 이용해 인지중재도구를 생성하여 상기 치매환자 단말기로 전송하는 단계를 포함하고, 상기 일반정보에는, 상기 이미지가 촬영된 날짜에 대한 정보, 상기 이미지가 촬영된 위치에 대한 정보, 상기 이미지에 대한 설명 중 적어도 하나가 포함되며, 상기 개인정보에는, 상기 이미지에 포함된 인물에 대한 정보, 상기 인물과 치매환자와의 관계에 대한 정보, 상기 인물의 나이 및 성명 중 적어도 하나가 포함된다.
본 발명에 의하면, 치매환자에 대한 치료가 보다 더 간편하고 효과적으로 이루어질 수 있다.
도 1은 본 발명의 개념도.
도 2는 본 발명에 적용되는 NIC 모델 아키텍처를 나타낸 예시도.
도 3은 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 시스템의 구성을 나타낸 예시도.
도 4는 도 3에 도시된 인지 중재 서버 서버의 구성을 나타낸 예시도.
도 5는 본 발명에 따른 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 방법의 일실시예 흐름도.
도 6은 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 방법이 적용되는 치매환자 단말기를 나타낸 예시도.
도 7은 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 방법에 의해 치매환자 단말기로 제공되는 직소퍼즐을 나타낸 예시도.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 발명의 개념도이며, 도 2는 본 발명에 적용되는 NIC 모델 아키텍처를 나타낸 예시도이다.
치매환자에게 자신의 옛날 사진이나 스마트 폰에 저장된 가족사진을 보여주면, 치매환자는 과거의 기억을 회상하면서 시간 가는 줄 모르게 이야기를 나눌 때가 많다. 특히, 사진의 내용을 물어보면, 치매환자는 이미 시간과 장소는 잃어버린 경우가 많지만, 가족사진을 보면서 작은 에피소드까지 기억하며 그 일화를 물어보면 술술 이야기보따리를 풀어 놓는 경우가 많다.
지남력(Orientation)은 현재 자신이 놓여 있는 상황을 올바르게 인식하는 능력으로 치매가 진행될수록 지남력은 점점 저하된다. 지남력 저하는 보통 시간지남력과 공간지남력이 먼저 저하되고 사람지남력은 나중에 저하된다. 사람지남력도 최근 만난 사람부터 사라지고, 마지막으로 가족에 대한 기억이 사라진다.
인지 중재 방법 중에서는, 가장 오랫동안 남아 있는 가족에 대한 기억을 근거로 가족과 함께한 장소 및 시간 등을 기억해 유추해 내는 회상치료법(reminiscence therapy)이 가장 효과적이다. 그러나, 기존 기술로는 회상치료법의 구현이 어려운 상황이다. 따라서, 본 발명의 발명자는 이러한 치료법에 딥러닝기술을 접목하여 치매환자 모르게 무의적으로 은밀한 훈련을 통해 치매환자를 치료할 수 있는 인공지능기반 개인맞춤형 인지 중재 시스템(이하, 간단히 인지 중재 시스템이라 함)을 개발하였다.
치매환자가 가장 오랫동안 소중하게 여기는 것이 가족이다. 따라서, 본 발명자는 가족사진이나 가족 에피소드를 기반으로 개인화한 인지중재도구(문제 형태 및 게임 형태를 포함함)을 제공하고, 이를 인공지능 알고리즘 NIC(Neural Image Caption)을 이용해 학습시켜, 치매환자 모르게 무의식적인 인지자극, 인지훈련, 인지재활을 돕는 추억회상 인지 중재 시스템을 개발하였다. 본 발명은 치매환자에게는 인지 중재의 동기부여(Motivation)가 되어 중재효과가 극대화될 수 있고, 인지 중재자(가족, 전문치료사)는 본 발명을 이용하여 인지 중재를 쉽고 편리하게 수행할 수 있으며, 본 발명은 인지 중재자의 전문성을 높이면서 인지 중재 중에 발생하는 마찰을 최소화할 수 있다.
치매의 예방 및 치료를 위하여 다양한 약물 치료방법에 대한 연구가 진행되었지만 검증된 것은 거의 없어 약물치료와 비약물치료를 동시에 수행하는 것이 일반적이다. 약물 치료가 의사에 의한 수동적인 치료법이라면 비약물 치료는 의사와 함께 가족이나 전문치료사가 개입하는 적극적 치료법이며, 대표적인 것이 인지 중재이다.
인지 중재에는, 주/야간 요양보호센터나 요양/재활병원 등 시설 입소자에게 집단적으로 이루어지는 인지자극(cognitive stimulation), 특정 인지기능(기억력, 집중력, 언어기능, 실행기능 등)의 유지와 개선을 목표로 치료사나 가족에 의해 개인 또는 집단적으로 수행될 수 있는 인지훈련(cognitive training), 인지기능의 유지와 개선보다는 치매환자가 일상생활 수행 시 비교적 보존이 되어 있는 기능을 호전시켜 부족한 부분을 보상할 수 있도록 하는 방법인 인지재활(cognitive rehabilitation)이 있다.
기존의, 책이나 활동지(活動紙)로 보급된 아날로그 인지재활프로그램은 치매환자에게 개별화된 지남력에 대한 질문이 불가능하다. 따라서, 중재자가 일반적 숫자나 그림, 글자, 시간, 장소에 대한 질문을 하면 치매환자는 흥미를 느끼지 못할 뿐만 아니라 본인을 치매환자나 아이 취급하는 등 무시하는 행동을 한다고 격앙반응을 보인다.
디지털 형식의 인지 증진 게임이나 소프트웨어도 기존 책자 형식의 지남력 프로그램을 PC나 모바일로 바꾼 것으로 아날로그 형식인 활동지보다는 다양한 훈련을 할 수 있지만, 노인 개개인에게 맞춘 프로그램이 아니므로 치매환자의 관심도가 매우 낮다.
현재, 인지 중재자들은 인지재활관련 책에서 몇 페이지를 복사한 활동지를 만들어 치매노인에게 나름 정성껏 인지 중재를 시도하지만 치매노인은 본인을 무시한다고 험한 욕을 하거나 폭력을 행사하여 인지 중재자의 육체적, 심리적 고통이 매우 심한 상태이다.
치매환자가 인지 중재자에게 욕을 하거나 격앙반응을 보이는 것은 치매환자가 스스로 자제할 수 있는 것이 아니므로 치매환자의 시각에서, 치매환자가 흥미를 느낄 수 있는 콘텐츠로 개발된 맞춤형 인지 중재시스템이 필요한 실정이다.
일화 기억(Episodic Memory)은 명시적 기억(declarative memory)의 한 종류로서, 자전적 사건들(시간, 장소, 감정, 지식)에 관한 기억으로 어느 특정 시간과 장소에서 일어났던 과거의 개인적인 경험의 모음이다. 기억력 장애는 일반적으로 어의기억(Semantic memory)이나 방법기억(Procedural Memory)보다 일화기억의 장애로 ‘새로운 정보를 획득하여 기억을 저장하는 과정의 장애’에서 발생하므로 일화기억 회복이 중요하다.
추억회상 치료법(reminiscence therapy)은 치매환자와 가족들이 경험한 지난날의 일화나 경험에 대해 사진이나 음악 등의 도구를 통해 기억을 자극하고 이야기를 이끌어 내어 환자의 자존감을 지키며 가족 간의 화합을 도모하는 방법이다.
본 발명자는 이를 구현하기 위하여 디지털 가족사진에 딥러닝 기반 이미지 캡션기술인 NIC를 활용하여 가족들이 일일이 사진(이미지)에 태깅하지 않아도 자동으로 캡셔닝할 수 있다.
종래의 전산화인지재활프로그램 중 하나인 CoCoTA(Computerized Cognitive Training Apparatus)는 정신운동속도, 주의력, 언어능력, 계산능력, 시공간능력, 기억력, 집행기능 등 7가지 인지영역별 훈련도구로 꾸준히 인지훈련 후 인지영역별 인지능력 유지 및 향상이 검증된 제품이나, 노인에게 개인화된 프로그램이 아니므로 동기부여가 어렵다.
학습이나 훈련에 사용되는 기능성 게임은, 게임에 학습이나 훈련이 숨어있는 은밀한 한습이나 훈련이 되어야 하지만, 기존의 제품들은 그렇지 못하였다.
본 발명에서는, 주어진 이미지로부터 이미지의 내용을 묘사하는 문장을 생성하는 기술인 이미지 캡션(Image Caption)에 인공지능(Artificial Intelligence; AI)의 핵심 분야인 심층학습(Deep Learning)을 적용하여, 사전에 캡셔닝하지 않은 새로운 사진(이미지)도 자동으로 캡셔닝하는 기술을 Neural Image Caption(이하, NIC라고 함)이라고 한다.
즉, NIC는 이미지정보를 합성곱신경망(Convolutional Neural Network; CNN, 이하 CNN이라고 함)으로 인코딩하고, 순환신경망(Recurrent Neural Network; RNN, 이하 RNN이라고 함)으로 캡션을 생성하는 방법을 이용하여, 기존 이미지 캡션 연구의 한계인 새로운 캡션을 생성할 수 없었던 문제점을 해결할 수 있다. 즉, NIC는 합성곱신경망(Convolutional Neural Network; CNN, 이하 CNN이라고 함)과 순환신경망(Recurrent Neural Network; RNN, 이하 RNN이라고 함)을 이용한다.
NIC는 최근 제안되어 발전하고 있는 딥러닝의 한 분야이다.
본 발명자가 7년 이상 치매환자와 함께 생활하면서, 신경과 및 정신건강과 의사, 간호사, 요양보호사, 요양보호센터 관계자는 물론, 치매환자 가족 등 치매와 관련된 다양한 사람들과 인터뷰해본 결과, 치매환자와 생활하면서 가장 힘든 것은 소/대변, 목욕, 식사 등을 도와드리는 육체적 고통이 아니라 격앙행동에서 오는 정신적 고통이고, 인지재활도 동기부여가 어려워 꾸준한 인지 중재가 힘들다는 것이다.
본 발명자는 사용자나 가족의 데이터를 기반으로 개인맞춤형으로 정신운동속도, 주의력, 언어능력, 계산능력, 시공간능력, 기억력, 집행기능에 대한 인지중재도구(게임 형태도 포함함)를 개발하였다.
또한, 본 발명자는 가족 사진이나 주거지, 고향 등에 캡셔닝을 지원하는 애플리케이션을 개발하였다.
본 발명자는 NIC Encoding 알고리즘을 이용하였다. 즉, 본 발명자는 Faster R-CNN(Region Convolutional Neural Network)의 여러 지역성을 고려하는 방식과 You Only Look Once(YOLO)의 이미지 전체를 빠른 속도로 한꺼번에 바라보는 방식을 결합한 Detection Network를 구성하는 알고리즘을 이용하였다.
NIC의 Decoding 알고리즘은 사진 데이터로부터 다양한 개수의 Object 정보들이 들어왔을 때 유동적으로 Sequence 길이를 조절하여 처리할 수 있는 Dynamic GRU 알고리즘에 기반한 Caption Generator를 구현할 수 있다.
치매는 많은 역학조사에서 심혈관계 위험 인자인 고혈압, 고지혈증, 비만, 당뇨병, 대사증후군과 치매 발생률에 대해서 강한 연관성이 있다고 보고되었다. 이에 건강보험심사평가원 등에서 심혈관계 위험인자와 사용자의 연령, 성별 등과 상관관계 및 요인 분석하여 치매의 발생가능성을 추정하여 예방적 활동으로 운동(주간 150분 유산소 운동 추천)이나 인지 중재 프로그램을 활용할 수 있도록 하였다.
본 발명은 노인이나 치매환자와 가족이 서로 정서적 유대감을 높이기 위하여 가족사진을 기반으로 한 직소퍼즐게임, 가족 간 관계 및 이름 맞추기 게임, 실제 온라인 지도기반 집 찾기 게임, 일정한 위치(고향) 찾아가기, 우리 동네 슈퍼에서 물건 사기 등 정신운동속도, 주의력, 언어능력, 계산능력, 시공간능력, 기억력, 집행기능에 대한 훈련도구를 제공할 수 있다.
각각의 게임은 난이도가 낮음, 중간, 높음 등과 같이 10단계 이상으로 나뉘어질 수 있다.
본 발명은 일반적 인지재활게임도 함께 구성하여 게임의 단조로움을 피할 수 있다.
본 발명에 의하면, 아이들이 할머니 또는 할아버지의 치매예방 및 인지 중재를 위한 마니또 미션수행을 지원할 수 있다. 즉, 자식은 물론 손자 손녀들이 할머니, 할아버지의 치매예방 및 인지 중재를 지원하기 위하여 마니또 친구가 되어 자신의 사진을 찍고 할머니 할아버지를 중심으로 가족관계와 이름, 장소 및 스토리를 기록할 수 있다.
본 발명은 open CV2를 활용하여 얼굴을 탐지하고 태깅할 수 있다.
본 발명은 인지 중재의 이론적 배경인 신경가소성(또는 뇌가소성(Neuroplasticity))과 인지 중재 방법 중 회복기법을 바탕으로 치매환자에게 가장 많이 남아있는 가족에 대한 기억을 바탕으로 장소 및 시간을 더듬어 신경가소성을 활성화할 수 있다.
경도인지장애나 경도치매환자에게는 가족관계와 이름에 대한 질문이 불쾌감을 줄 수 있으므로, 본 발명은 시공간 구성 중심으로 인지재활훈련을 할 수 있도록 한다.
본 발명은 중등 이상 치매환자의 경우 남아있는 기억을 단서(Cues)로 사라진 기억을 되찾을 수 있도록 할 수 있다(콘텐츠 기반 추천 시스템).
본 발명은 사용자들이 자신의 가족뿐만 아니라 지역사회의 노인들의 치매예방 및 인지 중재를 위한 이미지와 한국어 캡셔닝 학습에 활용할 수 있도록 데이터 기부를 지원 받을 수 있다.
전통적으로 컴퓨터 비전(Computer Vision)분야에서 영상(Image)데이터를 처리하거나 분석할 때, 합성곱 (Convolution)을 기본 연산으로 커널(Kernel)이라고 불리는 영상필터가 사용된다.
CNN(Convolutional Neural Networks)은 영상처리를 위해 고안된 특수한 연결 구조를 가진 다층신경망으로, 하나 또는 여러개의 convolution layer와 pooling layer, fully connected layer로 구성된 신경망으로 특히 이미지 데이터를 처리하는 것에 특화되어 있다.
CNN은 합성곱에 신경망을 병합하여 신경망이 영상을 잘 습득할 수 있도록 최적화시킨 알고리즘으로 합성곱(Convolution)과 서브샘플링을 반복하여 데이터량을 줄이고 왜곡시킨 후 모델의 특징을 추출하고, 이미지 분류를 훈련할 수 있다.
NIC는 CNN를 활용하여 인코더를 개발하고 이미지 분류모델을 학습할 수 있다. NIC는 CNN를 인코더로 RNN를 디코더로 하여 이미지에 자동으로 캡션을 생성할 수 있다.
본 발명은 최근 개발된 Faster Region Convolutional Neural Network(Faster R-CNN)를 이용한다. Faster Region Convolutional Neural Network (Faster R-CNN)는 기존의 Fast R-CNN의 이미지 학습 과정에서 이미지를 자르거나 사이즈를 조절하는 전처리작업이 불필요하기 때문에 학습 이미지의 손상이 없으며 CNN 모델과 독립적으로 구성되어 있던 Region Proposal 알고리즘을 하나의 CNN 레이어로 구현함으로써, 객체 검출의 처리 속도를 향상시킬 수 있다.
Faster R-CNN은 첫 번째 모듈에서 입력 이미지의 중요한 정보가 압축된 Feature를 계산하고, 두 번째 모듈 Region Proposal Network(RPN)으로 입력 이미지에서 object가 있을만한 영역(region)을 제안하며 마지막 모듈 object를 판별할 수 있다.
본 발명은 가족들이 찍은 사진의 얼굴 탐지하여 태깅 및 에피소드를 기록하여 가족 에피소드 기반 이미지 캡션을 수행할 수 있다.
본 발명은 이미지캡션에 딥러닝을 접목한 NIC를 개발하여 가족 사진에서 사진의 인물 이외의 장소나 물건에 대한 이름을 이용한 인지 중재 시스템을 구현할 수 있다.
본 발명은 NIC를 이용한 치매환자의 가족을 포함한 개인화된 인지 중재 시스템을 제공할 수 있다.
본 발명은 인지자극, 인지훈련, 인지재활에 관심 있는 사용자들을 위한 하이퍼 캐주얼 게임을 제공할 수 있다.
본 발명은 스마트폰, 테블릿PC 및 개인용 컴퓨터(PC) 등을 통해 제공될 수 있다.
본 발명은 요양병원, 재활병원, 요양시설이나 주야간 보호서비스 시설 등 민간시설은 물론 보건소나 치매검진센터를 지원할 수 있다.
본 발명은 재가노인 복지시설에 제공되어, 재가노인 복지시설의 요양보호사 선생님들이 인지 중재과정에서 겪는 고통을 줄여줄 수 있다.
도 3은 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 시스템의 구성을 나타낸 예시도이며, 도 4는 도 3에 도시된 인지 중재 서버 서버의 구성을 나타낸 예시도이다.
본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 시스템(이하, 간단히 인지 중재 시스템이라 함)은 딥러닝기술을 접목하여 치매환자가 모르게 무의적으로 은밀한 훈련을 제공함으로써, 치매환자를 치료할 수 있다.
본 발명에 따른 인지 중재 시스템은, 도 3에 도시된 바와 같이, 인지 중재 서버(20), 본 발명에 따른 인지 중재 시스템에 각종 이미지들을 제공하고자 하는 사용자가 이용하는 사용자 단말기(30) 및 치매환자에 의해 이용되는 치매환자 단말기(10)를 포함한다.
상기 사용자 단말기(30)는, 다양한 형태의 이미지(사진) 또는 동영상을 촬영할 수 있으며, 상기 인지 중재 서버(20)와 통신을 수행할 수 있는, 다양한 장치, 예를 들어, 스마트폰, 테블릿 PC, 개인용 컴퓨터(PC)들 중 어느 하나가 될 수 있다.
상기 치매환자 단말기(10) 역시, 상기 인지 중재 서버(20)와 통신을 수행할 수 있는, 다양한 장치, 예를 들어, 스마트폰, 테블릿 PC, 개인용 컴퓨터(PC)들 중 어느 하나가 될 수 있다.
상기 인지 중재 서버(20)는 현재 네트워크 통신을 위해 이용되는 다양한 서버들 중 어느 하나가 될 수 있다.
상기 인재 중재 서버(20)는, 도 4에 도시된 바와 같이, 네트워크를 통해, 상기 사용자 단말기(30) 및 상기 치매환자 단말기(10)와 통신을 수행하기 위한 통신부(21), 상기 인지 중재 서버(20)의 관리자로부터 각종 정보를 입력받기 위한 입력부(23), 상기 관리자에게 각종 정보를 출력하기 위한 출력부(24), 각종 정보를 저장하기 위한 저장부(25) 및 상기 통신부와 상기 입력부와 상기 출력부와 상기 저장부의 기능을 제어하기 위한 제어부(22)를 포함한다.
특히, 상기 제어부(22)는 인공지능 및 딥러닝 기능 등을 이용하여, 상기 사용자 단말기(30)로부터 전송되어온 이미지에, 다양한 종류의 개인정보(가족관계, 이름 등) 및 일반정보(장소의 위치, 건물의 이름 등)를 매칭시킬 수 있다.
이하에서 설명되는 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 방법은, 실질적으로는 상기 제어부(22)에 의해 실행될 수 있다.
도 5는 본 발명에 따른 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 방법의 일실시예 흐름도이고, 도 6은 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 방법이 적용되는 치매환자 단말기를 나타낸 예시도이며, 도 7은 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 방법에 의해 치매환자 단말기로 제공되는 직소퍼즐을 나타낸 예시도이다.
본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 방법은 스마트폰, 테블릿 PC, 개인용 컴퓨터(PC)들과 같은 다양한 종류의 치매환자 단말기(10)를 통해 제공될 수 있다. 이하에서는, 설명의 편의를 위해, 상기 치매환자 단말기(10)가 스마트폰인 경우를 일예로 하여 본 발명이 설명된다.
< 1. 서비스앱 설치 단계(502) >
치매환자, 또는 치매환자의 보호자, 또는 치매환자를 치료하고자 하는 치료사 등(이하, 간단히 보호자라 함)은 치매환자가 이용할 상기 치매환자 단말기(10), 예를 들어, 현재 일반적으로 이용되고 있는 스마트폰에, 본 발명에 따른 인공지능기반 개인맞춤형 인지 중재 방법을 이용할 수 있는 앱(이하, 간단히 서비스앱이라 함)(11)을 설치한다.
사용자 역시, 자신이 이용하는 사용자 단말기(30)에 상기 서비스앱을 설치할 수 있다.
< 2. 회원 가입 단계(504) >
상기 사용자 단말기(30)에 상기 서비스앱(11)을 설치한 사용자 또는 상기 치매환자 단말기(10)에 상기 서비스앱(11)을 설치한 보호자는 상기 사용자 단말기(30) 또는 상기 치매환자 단말기(10)에서 상기 서비스앱(11)을 실행시킨 후, 상기 서비스앱을 통해 상기 인지 중재 서버(20)에 회원으로 가입한 후, 자신의 로그인 정보, 예를 들어, 로그인 아이디 및 로그인 비밀번호를 입력하여, 상기 인지 중재 서버(20)에 로그인한다.
< 3. 신상정보 입력 단계(506) >
회원 가입 시 사용자는 상기 인지 중재 서버(20)로 자신의 신상정보를 전송할 수 있다.
상기 신상장버에는, 사용자의 나이, 직업, 치매환자와의 관계, 성별 등에 대한 정보가 포함될 수 있다. 그러나, 상기 사용자는 치매환자와 전혀 관련 없는 일반인일 수도 있다.
상기 사용자는 상기 서비스앱을 통해, 치매환자의 치료에 이용될 다양한 종류의 사진정보를 상기 인지 중재 서버(20)로 전송할 수 있다.
상기 사진정보에는, 이미지(사진), 일반정보 및 개인정보 중 적어도 하나가 포함될 수 있다.
상기 이미지는 눈으로 보여지는 형태 자체를 말하는 것이며, 인물, 자연 및 사물들 중 적어도 어느 하나가 포함될 수 있다. 즉, 상기 이미지는 디지털화된 사진을 의미한다.
상기 일반정보에는, 이미지가 촬영된 날짜에 대한 정보, 이미지가 촬영된 위치에 대한 정보, 이미지에 대한 설명 등이 포함될 수 있다.
상기 개인정보에는, 상기 이미지에 포함된 인물에 대한 정보, 상기 인물과 치매환자와의 관계에 대한 정보, 상기 인물의 나이 및 성명 등에 대한 정보가 포함될 수 있다.
상기 보호자는 회원 가입 시 상기 인지 중재 서버(20)로 치매환자의 신상정보를 전송할 수 있다.
상기 신상정보에는, 치매환자의 나이, 성별, 가족사항 등에 대한 정보가 포함될 수 있다.
< 4. 인지 중재 수행 단계(508)>
(1) 인공지능을 이용하지 않고 개인정보 및 일반정보만을 이용한 인지 중재
본 발명에 적용되는 인지 중재 수행 단계의 가장 기본적인 방법은 인공지능을 이용하지 않고, 사용자로부터 전송되어온 사진정보만을 이용하여 인지 중재를 수행하는 방법이다.
첫째, 사용자, 예를 들어, 치매환자의 가족 구성원이나 또는 치매환자와 전혀 관련이 없는 일반인은, 스마트폰 등으로 사진을 찍거나, 앨범에 저장된 사진을 촬영 또는 스캐닝하여, 이미지를 생성한다. 여기서, 이미지는 상기 사용자 단말기(30)를 통해 상기 인지 중재 서버(20)로 전송될 수 있는 디지털 정보를 의미하며, 인물, 사물 또는 자연배경 등이 될 수 있다.
이 경우, 사용자는 치매환자와 관련된 인물을 촬영하여 이미지를 생성할 수도 있으며, 또는, 일반적인 자연환경이나 다양한 종류의 사물 등을 촬영하여 이미지를 생성할 수도 있다.
상기 이미지가 치매환자(예를 들어, 할머니 또는 할아버지)의 가족(예를 들어, 아들, 딸, 손자, 손녀 등)에 대한 인물사진인 경우, 사용자는 상기 이미지에 포함된 인물에 대한 개인정보 및 이미지가 촬영된 날짜에 대한 정보 등이 포함된 일반정보를 생성하여, 상기 사용자 단말기(30)를 통해 상기 이미지, 상기 개인정보 및 상기 일반정보 중 적어도 하나가 포함된 사진정보를 상기 인지 중재 서버(20)로 전송할 수 있다.
예를 들어, 상기 이미지가 치매환자와 손녀가 팔달산 공원의 벤치에 앉아 있는 장면을 촬영된 사진인 경우, 사용자는 아래의 [표 1]과 같은 개인정보 및 일반정보를 생성하여 상기 인지 중재 서버(20)로 전송할 수 있다.
[개인정보]
인물 할머니, 손녀
치매환자와의관계 본인, 손녀
성명 본인(김00), 손녀(조00))
[일반정보]
시간과 장소 2019년 5월 8일, 수원 팔달산 공원에서
(날짜와 장소는 사용자 단말기에서 자동으로 기록될 수도 있음)
사진에 대한 설명 할머니랑 손녀가 벤치에 앉아있다
또한, 상기 이미지가 수원의 장안문과 같은 단순한 풍경이나 사물을 촬영한 사진인 경우, 사용자는 아래의 [표 2]와 같은 개인정보 및 일반정보를 생성하여 상기 인지 중재 서버(20)로 전송할 수 있다.
[개인정보]
인물간의 관계 인물없음
[일반정보]
시간과 장소 2019년 5월 8일, 수원 장안문
(날짜와 장소는 사용자 단말기에서 자동으로 기록될 수도 있음)
사진에 대한 설명 장안문 앞에 차와 사람이 작게 보인다
둘째, 상기한 바와 같이, 사용자는 이미지, 개인정보 및 일반정보 중 적어도 하나가 포함된 사진정보를 상기 인지 중재 서버(20)로 전송한다.
셋째, 상기 이미지, 상기 개인정보 및 상기 일반정보 중 적어도 어느 하나가 포함된 상기 사진정보를 수신한 상기 인지 중재 서버(20)는 상기 사진정보를 바탕으로 자동으로 인지 중재를 위한 인지중재도구를 생성할 수 있다.
인지중재도구는 문제 형태의 주관식이나 객관식 문항으로 생성될 수 있고, 사진을 이용한 퍼즐 게임 형태로 생성될 수도 있으며, 사진을 이용한 그림그리기 게임(컬러링 북) 등으로 생성될 수도 있다.
넷째, 상기 인지 중재 서버(20)는 생성된 인지중재도구를 상기 치매환자 단말기(20)로 전송한다.
다섯째, 상기 인지중재도구를 수신한 상기 치매환자 단말기(10)는 상기 인지중재도구를 상기 치매환자 단말기(10)의 디스플레이를 통해 출력한다.
상기 인지중재도구는 다음과 같은 유형을 포함한 다양한 형태로 생성될 수 있다.
[인지중재도구 유형 A] 인물에 대한 인지중재도구
(1) 사진 속 인물은 누구, 누구 입니까? 답변 (주관식)
(2) 사진 속에 없는 사람은 누구입니까? (할머니, 손녀, 손자)
(3) 사진 속 배경은 어디입니까? (공원, 학교)
(4) 사진 속 계절은 언제입니까? (눈 오는 겨울, 낙엽 지는 가을, 비오는 여름, 새싹 돋는 봄)
[인지중재도구 유형 B] 풍경이나 대상에 대한 인지중재도구
(1) 사진 속 건물은 무엇입니까? 답변 (주관식)
(2) 사진 속 건물의 용도는 무엇일까요? (성, 집, 아파트, 학교)
(3) 사진 속 위치는 어디일까요 (팔달산, 장안문, **대학교, 우리집 옆)
[인지중재도구 유형 C] 그림 맞추기 게임(직소퍼즐)
상기 인지 중재 서버(20)는 수신된 이미지를, 도 7에 도시도니 바와 같은 모바일 직소퍼즐로 편집하여 상기 치매환자 단말기(10)로 전송할 수 있으며, 치매환자는 상기 직소퍼즐을 맞추는 활동을 할 수 있다.
[인지중재도구 유형 D] 그림 그리기 게임(컬러링 북)
상기 인지 중재 서버(20)는 이미지의 윤관석만 나오게 하여 색칠공부의 도안을 만들어 상기 치매환자 단말기(10)로 전송할 수 있으며, 치매환자는 상기 이미지에 색칠을 할 수 있다. 즉, 상기 이미지는 인지 중재도구로 활용될 수 있다.
또한, 상기 인지 중재 서버(20)는 상기 사진정보를 활용하여 기타 다양한 인지 중재 도구를 생성하여 상기 인지 중재 도구를 상기 치매환자 단말기(10)로 전송할 수 있다.
여섯째, 이 경우, 상기 인지 중재 서버(20)는 상기 치매환자 단말기(10)로부터 피드백을 받아 활용할 수 있다.
예를 들어, 상기 인지 중재 서버(20)는 치매환자가 인지중재도구를 푸는 것을 분석하여 인지의 상태를 파악 후 인지중재도구 난이도를 조정할 수 있다.
즉, 상기 인지 중재 서버(20)는 치매환자가 해결하지 못하는 인지중재도구(어려운 문제)의 영역을 파악한 후, 잘 푸는 인지중재도구(쉬운 문제)와 잘 못 푸는 인지중재도구를, 인공지능을 이용해 혼합하여 인지중재도구를 생성할 수 있다.
이 경우, 어렵고 쉬움의 판단은 치매환자의 인지영역의 상태에 따라 달라질 수 있다. 예를 들어, 인지능력이 높으면 상기 인지 중재 서버(20)는 어려운 인지중재도구를 더 많이 출제하고, 인지능력이 떨어지면 쉬운 인지중재도구를 더 많이 생성할 수도 있다.
즉, 상기 인지중재도구는, 가족사진이나 가족 에피소트를 기반으로 개인화된 문제가 될 수 있으며, 주관식이나 객관식 문항으로 생성되거나, 사진을 이용한 퍼즐게임형태로 생성되거나, 사진을 이용한 그림그리기 게임으로 생성될 수 있다.
이 경우, 상기 인지 중재 서버는, 치매환자가 상기 인지중재도구를 푸는 것을 분석하여 상기 인지중재도구의 난이도를 조정할 수 있다.
(2) 개인정보가 없는 사진정보에 인공지능을 적용시킨 인지 중재
개인정보가 없는 사진정보에 인공지능을 적용시킨 인지 중재 방법은, 상기에서 설명된 [인공지능을 이용하지 않고 개인정보 및 일반정보만을 이용한 인지 중재 방법]에서 사용된 과정들을 기본적으로 포함한다. 즉, 다음과 같은 과정들은 기본적으로 수행된다.
첫째, 사용자가 이미지를 촬영하고, 상기 이미지에 개인정보 및 일반정보 중 적어도 어느 하나를 추가한다.
둘째, 사용자는 사진정보를 상기 인지 중재 서버(20)로 전송한다.
셋째, 상기 인지 중재 서버(20)는 상기 사진정보를 이용하여 인지중재도구를 자동으로 생성한다.
넷째, 상기 인지 중재 서버(20)는 생성된 인지중재도구를 치매환자 단말기(10)로 전송한다.
다섯째, 상기 치매환자 단말기(10)는 전송된 인지중재도구를 디스플레이를 통해 출력한다. 치매환자는 상기 치매환자 단말기(10)를 통해 출력되는 인지중재도구를 푼다.
여섯째, 상기 인지 중재 서버(20)는 치매환자의 인지중재도구 풀이 능력에 따라, 인지중재도구의 난이도를 조정할 수 있다.
개인정보가 없는 사진정보에 인공지능을 적용시킨 인지 중재 방법에서는 다음과 같은 과정들이 더 추가될 수 있다.
일곱째, 상기 인지 중재 서버(20)는, 상기 사용자 단말기(30)들로부터 수신된 사진정보들 중에서, 개인정보가 없는 사진정보들을 인공지능을 이용하여 심층학습한다.
즉, 상기 인지 중재 서버(20)는 상기 사진정보들에 포함된 이미지들과 일반정보들을 분석하여, 이미지에 매칭되는 일반정보를 분석한다. 이러한 과정을 통해, 상기 인지 중재 서버(20)는 일반정보가 없는 이미지에서도 일반정보를 추출해 낼 수 있는 능력을 보유하게 된다.
예를 들어, 다양한 건물 이미지들 및 이에 매칭되는 일반정보(예를 들어, 건물의 이름에 대한 정보)를 지속적으로 학습한 상기 인지 중재 서버(20)는 단순히 이미지만 포함된 사진정보에서도 상기 이미지와 매칭되는 일반정보(건물의 이름에 대한 정보)를 추출할 수 있다.
또한, 다양한 자연환경들 및 이에 매칭되는 일반정보(예를 들어, 자연환경이 위치하는 지역명)를 지속적으로 학습한 상기 인지 중재 서버(20)는 단순히 이미지만 포함된 사진정보에서도 상기 이미지와 매칭되는 일반정보(자연환경이 위치하는 지역명)를 추출할 수 있다.
여덟째, 상기 인지 중재 서버(20)는 사용자 단말기(30)들로부터 이미지만이 포함된 사진정보들을 수신한다.
즉, 사용자는 사진을 촬영하여 이미지를 생성한 후, 추가적인 캡셔닝 과정을 거치지 않고 상기 이미지만을 상기 인지 중재 서버(20)로 전송한다.
아홉째, 상기 인지 중재 서버(20)는 상기 일곱째 과정을 반복하여 습득한 학습 능력을 바탕으로, 이미지만이 포함된 사진정보들을 분석하여, 이미지들 각각에 대응되는 일반정보들을 추출한 후, 대응되는 이미지와 일반정보를 결합하여 사진정보를 새롭게 생성한다. 즉, 상기 인지 중재 서버(20)는 인공지능을 이용한 캡셔닝 과정을 통해 이미지와 일반정보가 결합된 사진정보(이하, 간단히 캡셔닝된 사진정보라 함)를 생성한다.
열째, 상기 인지 중재 서버(20)는 캡셔닝된 사진정보를 상기 캡셔닝된 사진정보에 포함된 이미지를 생성한 사용자에게, 전자메일 또는 SNS 등을 통해 전송하여 내용을 검증받는다.
즉, 상기 캡셔닝된 사진정보를 수신한 사용자는 캡셔닝된 사진정보에 포함된 이미지와 일반정보가 정확하게 매칭되었는지의 여부에 대한 정보를 상기 인지 중재 서버(20)로 전송한다.
열한째, 이 경우, 상기 인지 중재 서버(20)는 캡셔닝된 사진정보를, 상기 캡셔닝된 사진정보에 포함된 이미지를 생성한 사용자 이외의 사용자들에게도 전송하여, 그 결과를 수신할 수도 있다.
열두째, 상기 캡셔닝된 사진정보에 대해 사용자들로부터 검증받은 결과가, 일정 수준이상이면, 상기 인지 중재 서버(20)는 캡셔닝된 사진정보를 이용해 인지중재도구를 생성하여 상기 치매환자 단말기(10)로 전송할 수 있다.
즉, 상기에서 설명된 [인공지능을 이용하지 않고 개인정보 및 일반정보만을 이용한 인지 중재 방법] 중 세 번째 내지 여섯 번째 과정들이, 상기 캡셔닝된 사진정보를 이용하여 수행될 수 있다.
이 경우, 인지중재도구 유형은, B,C,D가 될 수 있다.
(3) 개인정보가 포함된 사진정보에 인공지능을 적용시킨 인지 중재
개인정보가 포함된 사진정보에 인공지능을 적용시킨 인지 중재 방법은, 상기에서 설명된 [인공지능을 이용하지 않고 개인정보 및 일반정보만을 이용한 인지 중재 방법]에서 사용된 과정들을 기본적으로 포함한다. 즉, 다음과 같은 과정들은 기본적으로 수행된다.
첫째, 사용자가 이미지를 촬영하고, 상기 이미지에 개인정보 및 일반정보 중 적어도 어느 하나를 추가한다.
둘째, 사용자는 상기 사진정보를 상기 인지 중재 서버(20)로 전송한다.
셋째, 상기 인지 중재 서버(20)는 상기 사진정보를 이용하여 인지중재도구를 자동으로 생성한다.
넷째, 상기 인지 중재 서버(20)는 생성된 인지중재도구를 치매환자 단말기(10)로 전송한다.
다섯째, 상기 치매환자 단말기(10)는 전송된 인지중재도구를 디스플레이를 통해 출력한다. 치매환자는 상기 치매환자 단말기(10)를 통해 출력되는 인지중재도구를 푼다.
여섯째, 상기 인지 중재 서버(20)는 치매환자의 인지중재도구 풀이 능력에 따라, 인지중재도구의 난이도를 조정할 수 있다.
개인정보가 포함된 사진정보에 인공지능을 적용시킨 인지 중재 방법에서는 다음과 같은 과정들이 더 추가될 수 있다.
일곱째, 상기 인지 중재 서버(20)는, 상기 사용자 단말기(30)들로부터 수신된 사진정보들 중에서, 개인정보가 포함된 사진정보들을 인공지능을 이용하여 심층학습한다. 이 경우, 상기 사진정보에 상기에서 설명된 일반정보가 더 포함되어 있다면, 이하에서 설명될 [개인정보가 포함된 사진정보에 인공지능을 적용시킨 인지 중재 방법]과 함께, 상기에서 설명된 [개인정보가 없는 사진정보에 인공지능을 적용시킨 인지 중재 방법]이 동시에 더 수행될 수도 있다. 이하에서는 설명의 편의상 상기 개인정보가 포함된 경우에 대해서만 설명된다.
즉, 상기 인지 중재 서버(20)는 상기 사진정보들에 포함된 이미지들과 개인정보들을 분석하여, 이미지에 매칭되는 개인정보를 분석한다. 이러한 과정을 통해, 상기 인지 중재 서버(20)는 개인정보가 없는 이미지에서도 개인정보를 추출해 낼 수 있는 능력을 보유하게 된다.
예를 들어, 치매환자와 그 가족들이 함께 촬영된 다양한 이미지들 및 이에 매칭되는 개인정보(예를 들어, 치매환자의 아들, 딸, 손자, 손녀, 며느리에 대한 정보)를 지속적으로 학습한 상기 인지 중재 서버(20)는 단순히 이미지만 포함된 사진정보에서도 상기 이미지와 매칭되는 개인정보(치매환자의 아들, 딸, 손자, 손녀, 며느리에 대한 정보)를 추출할 수 있다.
여덟째, 상기 인지 중재 서버(20)는 사용자 단말기(30)들로부터 이미지만이 포함된 사진정보들을 수신한다.
즉, 사용자는 사진을 촬영하여 이미지를 생성한 후, 추가적인 캡셔닝 과정을 거치지 않고 상기 이미지만을 상기 인지 중재 서버(20)로 전송한다.
이 경우의 사용자는, 치매환자의 가족이될 수 있다. 즉, 치매환자의 치료를 돕고자 하는 가족들은, 자신의 사용자 단말기(30)를 이용하여, 치매환자와 관련된 각종 가족 사진들을 상기 인지 중재 서버(20)로 전송할 수 있다.
아홉째, 상기 인지 중재 서버(20)는 상기 일곱째 과정을 반복하여 습득한 학습 능력을 바탕으로, 이미지만이 포함된 사진정보들을 분석하여, 이미지들 각각에 대응되는 개인정보들을 추출한 후, 대응되는 이미지와 개인정보를 결합하여 사진정보를 새롭게 생성한다. 즉, 상기 인지 중재 서버(20)는 인공지능을 이용한 캡셔닝 과정을 통해 이미지와 개인정보가 결합된 사진정보(이하, 간단히 캡셔닝된 사진정보라 함)를 생성한다.
열째, 상기 인지 중재 서버(20)는 캡셔닝된 사진정보를 상기 캡셔닝된 사진정보에 포함된 이미지를 생성한 사용자에게, 전자메일 또는 SNS 등을 통해 전송하여 내용을 검증받는다.
즉, 상기 캡셔닝된 사진정보를 수신한 사용자는 캡셔닝된 사진정보에 포함된 이미지와 개인정보가 정확하게 매칭되었는지의 여부에 대한 정보를 상기 인지 중재 서버(20)로 전송한다.
열한째, 상기 캡셔닝된 사진정보에 대해 사용자들로부터 검증받은 결과가, 일정 수준이상이면, 상기 인지 중재 서버(20)는 캡셔닝된 사진정보를 이용해 인지중재도구를 생성하여 상기 치매환자 단말기(10)로 전송할 수 있다.
즉, 상기에서 설명된 [인공지능을 이용하지 않고 개인정보 및 일반정보만을 이용한 인지 중재 방법] 중 세 번째 내지 여섯 번째 과정들이, 상기 캡셔닝된 사진정보를 이용하여 수행될 수 있다.
이 경우, 인지중재도구 유형은, A, B,C,D가 될 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.　 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 치매환자 단말기 20: 인지 중재 서버
30: 사용자 단말기

Claims (5)

  1. 사용자가 이미지를 촬영하고, 상기 이미지에 개인정보 및 일반정보 중 적어도 어느 하나를 추가하여 사진정보를 생성하고, 상기 사진정보를 인지 중재 서버로 전송하는 단계;
    상기 인지 중재 서버가, 사용자 단말기들로부터 수신된 상기 사진정보들 중에서, 개인정보 없이 이미지와 일반정보만을 포함하는 사진정보들을 인공지능을 이용하여 심층학습하는 단계;
    상기 인지 중재 서버가 상기 사용자 단말기들로부터 이미지만이 포함된 사진정보들을 수신하는 단계;
    상기 인지 중재 서버가 상기 심층학습 단계를 반복하여 습득한 학습 능력을 바탕으로, 이미지만이 포함된 사진정보들을 분석하여, 이미지들 각각에 대응되는 일반정보들을 추출한 후, 대응되는 이미지와 일반정보를 결합하여 캡셔닝된 사진정보를 생성하는 단계;
    상기 인지 중재 서버가 상기 캡셔닝된 사진정보를 상기 캡셔닝된 사진정보에 포함된 이미지를 생성한 사용자에게, 전자메일 또는 SNS를 통해 전송하여 내용을 검증받는 단계; 및
    상기 캡셔닝된 사진정보에 대한 정상 여부가 사용자로부터 검증되면, 상기 인지 중재 서버가 상기 캡셔닝된 사진정보를 이용해 인지중재도구를 생성하여 상기 치매환자 단말기로 전송하는 단계를 포함하고,
    상기 일반정보에는, 상기 이미지가 촬영된 날짜에 대한 정보, 상기 이미지가 촬영된 위치에 대한 정보, 상기 이미지에 대한 설명 중 적어도 하나가 포함되며,
    상기 개인정보에는, 상기 이미지에 포함된 인물에 대한 정보, 상기 인물과 치매환자와의 관계에 대한 정보, 상기 인물의 나이 및 성명 중 적어도 하나가 포함되는 인공지능기반 개인맞춤형 인지 중재 방법.
  2. 제 1 항에 있어서,
    상기 인지 중재 서버가, 상기 사용자 단말기들로부터 수신된 상기 사진정보들 중에서, 이미지와 개인정보가 포함된 사진정보들을 인공지능을 이용하여 심층학습하는 단계;
    상기 인지 중재 서버가 상기 사용자 단말기들로부터 이미지만이 포함된 사진정보들을 수신하는 단계;
    상기 인지 중재 서버가, 상기 이미지와 상기 개인정보가 포함된 상기 사진정보들을 인공지능을 이용하여 심층학습하는 단계를 반복하여 습득한 학습 능력을 바탕으로, 이미지만이 포함된 사진정보들을 분석하여, 이미지들 각각에 대응되는 개인정보들을 추출한 후, 대응되는 이미지와 개인정보를 결합하여 캡셔닝된 사진정보를 생성하는 단계;
    상기 인지 중재 서버가 캡셔닝된 사진정보를 상기 캡셔닝된 사진정보에 포함된 이미지를 생성한 사용자에게, 전자메일 또는 SNS 등을 통해 전송하여 내용을 검증받는 단계; 및
    상기 캡셔닝된 사진정보에 대한 정상 여부가 사용자로부터 검증되면, 상기 인지 중재 서버가 상기 캡셔닝된 사진정보를 이용해 인지중재도구를 생성하여 상기 치매환자 단말기로 전송하는 단계를 포함하며,
    상기 이미지와 상기 개인정보를 결합하여 캡셔닝된 사진정보를 생성하는 단계에서 이용되는 상기 이미지에는, 상기 치매환자와 관련된 인물이 포함되어 있는 인공지능기반 개인맞춤형 인지 중재 방법.
  3. 제 1 항에 있어서,
    상기 인지 중재 서버는 사전에 캡셔닝되지 않은 새로운 이미지를 자동으로 캡셔닝하는 기술인 Neural Image Caption(NIC)을 이용하여 상기 캡셔닝된 사진정보를 생성하며, 상기 NIC는 합성곱신경망(Convolutional Neural Network; CNN)과 순환신경망(Recurrent Neural Network; RNN)을 이용하는 인공지능기반 개인맞춤형 인지 중재 방법.
  4. 제 1 항에 있어서,
    상기 인지 중재 서버는 Faster Region Convolutional Neural Network(Faster R-CNN)를 이용하여 상기 캡셔닝된 사진정보를 생성하는 인공지능기반 개인맞춤형 인지 중재 방법.
  5. 제 1 항에 있어서,
    상기 인지중재도구는, 주관식이나 객관식 문항으로 생성되거나, 사진을 이용한 퍼즐게임형태로 생성되거나, 사진을 이용한 그림그리기 게임으로 생성되며,
    상기 인지 중재 서버는, 치매환자가 상기 인지중재도구를 푸는 것을 분석하여 상기 인지중재도구의 난이도를 조정하는 인공지능기반 개인맞춤형 인지 중재 방법.


KR1020190063030A 2019-05-29 2019-05-29 인공지능기반 개인맞춤형 인지 중재 방법 KR102273149B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190063030A KR102273149B1 (ko) 2019-05-29 2019-05-29 인공지능기반 개인맞춤형 인지 중재 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190063030A KR102273149B1 (ko) 2019-05-29 2019-05-29 인공지능기반 개인맞춤형 인지 중재 방법

Publications (2)

Publication Number Publication Date
KR20200137161A KR20200137161A (ko) 2020-12-09
KR102273149B1 true KR102273149B1 (ko) 2021-07-07

Family

ID=73787126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190063030A KR102273149B1 (ko) 2019-05-29 2019-05-29 인공지능기반 개인맞춤형 인지 중재 방법

Country Status (1)

Country Link
KR (1) KR102273149B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602026B1 (ko) * 2023-01-26 2023-11-16 (주)인테그로메디랩 이미지를 이용한 뇌기능 평가 방법, 장치 및 프로그램
CN116580832A (zh) * 2023-05-05 2023-08-11 暨南大学 基于视频数据的老年痴呆症辅助诊断系统及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054107B1 (ko) 2011-03-25 2011-08-03 한국인터넷진흥원 이미지 특성정보를 이용한 개인정보 노출 검색 시스템
KR101855597B1 (ko) 2015-10-29 2018-05-08 바이두 유에스에이 엘엘씨 계층적 회귀 신경망을 이용하여 비디오 문절을 캡셔닝하기 위한 시스템 및 방법
JP2018142074A (ja) 2017-02-27 2018-09-13 三菱重工業株式会社 特徴量算出装置、画像類似度判定装置、画像検索装置、特徴量算出方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160001164A (ko) 2014-06-26 2016-01-06 한국과학기술원 치매 예방을 위한 데이터 처리 장치 및 이를 이용한 데이터 처리 방법
KR101803471B1 (ko) * 2016-02-15 2017-12-01 성균관대학교 산학협력단 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054107B1 (ko) 2011-03-25 2011-08-03 한국인터넷진흥원 이미지 특성정보를 이용한 개인정보 노출 검색 시스템
KR101855597B1 (ko) 2015-10-29 2018-05-08 바이두 유에스에이 엘엘씨 계층적 회귀 신경망을 이용하여 비디오 문절을 캡셔닝하기 위한 시스템 및 방법
JP2018142074A (ja) 2017-02-27 2018-09-13 三菱重工業株式会社 特徴量算出装置、画像類似度判定装置、画像検索装置、特徴量算出方法及びプログラム

Also Published As

Publication number Publication date
KR20200137161A (ko) 2020-12-09

Similar Documents

Publication Publication Date Title
Werner et al. Children of parents with alcohol problems performing normality: A qualitative interview study about unmet needs for professional support
Wells et al. Delivering prolonged exposure therapy via videoconferencing during the COVID‐19 pandemic: An overview of the research and special considerations for providers
Bull Technology-based health promotion
US20130090949A1 (en) Therapy management, communication and interaction system
Liu et al. The effects of viewing an uplifting 360-degree video on emotional well-being among elderly adults and college students under immersive virtual reality and smartphone conditions
Doran Experiencing wellness within illness: exploring a mindfulness-based approach to chronic back pain
Salomon et al. That selfie becomes you: Examining taking and posting selfies as forms of self-objectification
Pentland et al. A video-based screening system for automated risk assessment using nuanced facial features
Foss Constructing hearing loss or “Deaf gain?” voice, agency, and identity in television's representations of d/Deafness
Frable et al. Seeing masculine men, sexy women, and gender differences: Exposure to pornography and cognitive constructions of gender
KR102273149B1 (ko) 인공지능기반 개인맞춤형 인지 중재 방법
Worrall The seven habits of highly effective aphasia therapists: The perspective of people living with aphasia
Lawson et al. Changing attitudes and perceptions of Hispanic men ages 18 to 25 about rape and rape prevention
Ellis et al. A researcher and survivor of the holocaust connect and make meaning during the COVID-19 pandemic
Parker et al. Reduced care burden and improved quality of life in African American family caregivers: Positive impact of personalized assistive technology
Knutson et al. Varieties of silence: Understanding different forms and functions of silence in a psychotherapeutic setting
Medina An alternate HIV preventive strategy: sex scripts in media for women of color
Davis et al. Context-aware communication for severely disabled users
Jani Ethno-theatre: Exploring a narrative intervention for trafficking survivors
Lee et al. What is life after psychosis like? Stories of three individuals diagnosed with schizophrenia
Gold et al. Grief, poetry, and the sweet unexpected
Khan et al. An exploratory study of the role of eHealth in Healthy Ageing
Potash Situating activist art in art therapy
Hill Mediating Encamped Identities and Belongings: An Ethnography of Everyday Karen Life in Mae La Refugee Camp
Freeman et al. Walking through and being with nature: Meaning-making and the impact of being in UK wild places

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant