KR102664696B1 - 노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법 및 이를 이용한 돌봄 훈련 보조 로봇 시스템 - Google Patents

노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법 및 이를 이용한 돌봄 훈련 보조 로봇 시스템 Download PDF

Info

Publication number
KR102664696B1
KR102664696B1 KR1020220050225A KR20220050225A KR102664696B1 KR 102664696 B1 KR102664696 B1 KR 102664696B1 KR 1020220050225 A KR1020220050225 A KR 1020220050225A KR 20220050225 A KR20220050225 A KR 20220050225A KR 102664696 B1 KR102664696 B1 KR 102664696B1
Authority
KR
South Korea
Prior art keywords
pain
robot
care
parameters
calculated
Prior art date
Application number
KR1020220050225A
Other languages
English (en)
Other versions
KR20230150619A (ko
Inventor
이미란
Original Assignee
대구대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대구대학교 산학협력단 filed Critical 대구대학교 산학협력단
Priority to KR1020220050225A priority Critical patent/KR102664696B1/ko
Publication of KR20230150619A publication Critical patent/KR20230150619A/ko
Application granted granted Critical
Publication of KR102664696B1 publication Critical patent/KR102664696B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015—Face robots, animated artificial faces for imitating human expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Manipulator (AREA)

Abstract

노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법은 적어도 하나 이상의 관절을 구비하여 훈련자에 의한 수동적 가동 범위 운동(Passive Range of Motion, ROM)이 가능하도록 구성되는 로봇의 움직임에 대응하는 각도, 토크, 각속도 및 압력을 토대로 통증 수준을 산출하는 단계와, 산출된 상기 통증 수준에 해당하는 통증 표현 수준을 추출하는 단계와, 추출된 통증 표현 수준에 해당하는 3D 표정을 빔 프로젝터를 통해 3차원 얼굴 마스크에 투영하는 단계를 포함한다.

Description

노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법 및 이를 이용한 돌봄 훈련 보조 로봇 시스템{Pain expression method of caring training assistant robot to improve elderly caring ability and caring training assistant robot system using the same}
본 발명은 돌봄 훈련 보조 로봇 시스템에 관한 것으로서, 더 상세하게는 노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법 및 이를 이용한 돌봄 훈련 보조 로봇 시스템에 관한 것이다.
노인 인구가 증가함에 따라 노인의 삶의 질에 대한 간병인의 역할의 중요성이 증가하고 있다.
간호 및 간호 교육 측면에서 효과적인 피드백을 달성하기 위해서는 시각 기반 피드백을 통해 실제 사람처럼 감정을 표현하거나 고통을 느낄 수 있는 로봇을 설계하는 것이 중요하다.
한편, 간병인이 되고자 하는 학생은 의료기관에서 일정기간 필요한 교육을 받아 간병능력을 향상시킬 수 있다. 이들은 비디오 시청, 책 읽기, 의료용 마네킹 사용(Aung et al., 2012), 노인 환자 돌보기를 시뮬레이션하기 위해 서로 역할극과 같은 전통적인 방법을 사용하여 경험을 축적할 수 있다.
실제 임상 훈련은 간병인의 기술을 향상시키는 데 도움이 되는 가장 효과적인 기술이다. 그러나 미숙한 간병인이 작업을 수행할 경우 근육이나 관절이 약해진 노인에게 부상의 위험과 가능성이 있다. 또한, 돌봄 교육을 위해 고령자를 반복 모집하기 어렵고, 반복되는 시험으로 인해 고령자 참가자는 피로감이나 지루함을 느낄 수 있다.
따라서 노인의 행동이나 증상을 모방하고 간병인이 노인 돌봄 기술을 실습할 수 있는 효과적인 돌봄 훈련 로봇의 개발이 필요하다.
이러한 시뮬레이터 로봇은 고령자를 돌보는 방법에 대한 돌봄 훈련과 치료사가 환자의 재활 방법을 배우도록 돕는 데 사용할 수 있다(Wang et al., 2012).
대학이나 기관에서 시뮬레이터 로봇은 학생들에게 근육 및 관절과 관련된 임상 증상 및 질병을 평가하는 방법을 가르치는 데 중요한 역할을 한다(Diener and Hobbs, 2012; Mahoney et al., 2013).
- 시뮬레이션 로봇
시뮬레이션된 로봇은 능동 및 수동 관절로 구성되고, 질병과 대상의 목적에 따라 모터의 활용에 차이가 있을 수 있다. 능동 관절은 로봇이 스스로 관절을 움직이거나 사용자의 행동에 반응하는 데 사용되고, 이에 반해 수동 관절은 사용자가 로봇의 관절을 수동적으로 움직일 수 있도록 한다.
시뮬레이션 로봇은 실제 인간의 행동과 활동을 모방하며, 간병인과의 상호 작용에서 간병 또는 간호 기술을 향상시키는 데 사용할 수 있다.
마츠모토 등. (Matsumoto et al., 2018)은 간호 평가를 위한 노인 전신 로봇 시뮬레이터의 개발을 설명하였으며, 이전의 여러 연구에서는 노인 시뮬레이터 로봇 자체를 포함하지 않았지만 관련 시뮬레이터 로봇이 도입되었다. Fujisawa et al. (Fujisawa et al., 2007)는 실제 훈련 경험을 위한 인간 상지 시뮬레이터를 제안했다. 이 시뮬레이터는 팔꿈치 관절의 강성을 재현하여 수련자가 물리 치료 스트레칭 기술을 향상시킬 수 있다.
기존의 연구는 환자 시뮬레이터 로봇에 더 많은 관심을 기울이고 있음을 보여주지만 돌봄 훈련을 위한 시뮬레이터의 가용성은 여전히 충분하지 않다. 종래에 많은 모의 로봇이 개발되었지만, 모의 로봇이 인간과 직접 상호 작용할 수 있는 인간-로봇 상호 작용 시스템의 개발은 여전히 부족하다.
돌봄 교육을 위한 인간 시뮬레이션 로봇 상호 작용은 텍스트, 알람, 음성 및 시각적 기반 방법을 기반으로 개발할 수 있다. 그러나 간호 또는 간호 교육용 모의 로봇을 활용한 돌봄 능력 평가는 여전히 통계 분석을 통한 사후 평가에 의존하고 있으며, 보다 훈련자의 돌봄 능력을 정량적으로 평가하고, 사용자와 로봇 간의 상호 작용을 위해서는 보다 발전된 피드백 방법이 필요하다.
KR 10-2013-0053820 A
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 시각 기반 피드백을 제공함으로써 간병인의 기술을 향상시킬 수 있는 노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법 및 이를 이용한 돌봄 훈련 보조 로봇 시스템을 제공한다.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 적어도 하나 이상의 관절을 구비하여 훈련자에 의한 수동적 가동 범위 운동(Passive Range of Motion, ROM)이 가능하도록 구성되는 로봇의 움직임에 대응하는 각도, 토크, 각속도 및 압력을 토대로 통증 수준을 산출하는 단계와, 산출된 상기 통증 수준에 해당하는 통증 표현 수준을 추출하는 단계와, 추출된 통증 표현 수준에 해당하는 3D 표정을 빔 프로젝터를 통해 3차원 얼굴 마스크에 투영하는 단계를 포함하는 돌봄 훈련 보조 로봇의 통증 표현 방법이 제공된다.
또한, 본 발명의 다른 실시예에 따르면, 적어도 하나 이상의 관절을 구비하여 훈련자에 의한 수동적 가동 범위 운동(Passive Range of Motion, ROM)이 가능하도록 구성되는 로봇과, 로봇의 움직임에 대응하는 각도, 토크, 각속도 및 압력을 토대로 통증 수준을 산출하고, 산출된 상기 통증 수준에 해당하는 통증 표현 수준을 추출하는 컴퓨터와 추출된 통증 표현 수준에 해당하는 3D 표정을 3차원 얼굴 마스크에 투영하는 빔 프로젝터를 포함하는 돌봄 훈련 보조 로봇 시스템이 제공된다.
본 발명에서는 노인 요양 종사자의 기술 향상을 위해 노인을 모사하는 3D 안면 통증 표정을 갖춘 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템을 제안하였다.
첫째, 정확하고 효율적인 노인 요양 훈련 시스템을 개발하기 위해 피드백을 주는 로봇의 통증 정도를 계산할 수 있는 퍼지 논리 기반 돌봄 훈련 평가 방법을 소개한다.
노인 간병인과 훈련생은 제안된 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)을 사용하여 가동 범위 운동을 수행했다. 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)에서 정량적 데이터를 얻었고, 퍼지 논리 방법을 사용하여 4가지 주요 매개변수를 결합하여 통증 수준을 계산했다.
둘째, UNBC-McMaster Pain Shoulder Archive 데이터베이스를 기반으로 통증을 표현할 수 있는 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)용 3D 얼굴 아바타를 개발한 후 통증 정도에 따라 4개의 통증그룹을 생성하였다.
즉, 실제 사람과 돌봄 훈련의 조건을 모방하기 위해 전문가의 의견을 바탕으로 통증 피드백을 제공하는 시스템을 설계했다. 돌봄 능력 트레이닝 시 프로젝터와 3D 안면 마스크를 이용하여 통증 피드백을 실시간으로 표현하였다. 결과적으로 통증표현이 있는 돌봄 훈련 로봇을 노인 요양 훈련에 활용할 수 있음을 확인하였고, 이를 통해 제안된 접근 방식을 활용하여 간병 및 간호 기술을 향상시키는 데 사용할 수 있다.
도 1은 제안된 시각적 기반 피드백이 있는 돌봄 교육 시스템을 나타낸 도면
도 2는 돌봄 훈련 보조 로봇(CaTARo)을 나타낸 도면
도 3은 통증 수준에 대한 퍼지 논리 방법을 나타낸 도면
도 4는 본 발명에서 제안하는 방법의 프레임워크를 나타낸 도면
도 5 UNBC-McMaster 통증 어깨 아카이브에서 주제 #TV095의 Prkachin 및 솔로몬 통증 강도(PSPI)를 사용하여 3D 얼굴 아바타를 생성하는 절차를 나타낸 도면
도 6은 실험 설계 및 작업 절차를 나타낸 도면
도 7은 실험 환경을 나타낸 도면
도 8은 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 관절에서 출력된 정량적 데이터의 예를 나타낸 도면.
도 9는 그래프 기반 방법의 결과를 나타낸 도면
도 10은 시각적 기반 피드백이 있는 CaTARo의 결과를 나타낸 도면
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
- 시각적 기반 피드백
돌봄 교육에서 로봇이 학습자에게 제공할 수 있는 강력한 피드백 방법은 시각 정보와 소리를 기반으로 할 수 있다. 시각 기반 피드백은 간병인의 실습 측면에서 가장 효과적인 방법이다.
간병인은 환자가 통증을 느끼는지 여부를 주기적으로 조사해야 한다. 특히 고령자는 간병인과의 의사소통에 부담을 겪을 수 있기 때문에 환자의 고통스러운 표정을 관찰하는 것이 매우 중요하다.
로봇의 표정은 다양한 방식으로 전달될 수 있지만, 특히 프로젝터를 사용하는 방법은 비용이 저렴하고 사용이 간편하다는 가장 큰 장점이 있다. 또한, 프로젝터를 이용하여 얻을 수 있는 시각적 피드백을 통해 다양한 표정을 사실적으로 표현할 수 있다.
프로젝터가 장착된 로봇 헤드는 소프트웨어 디스플레이 알고리즘과 관련된 문제를 쉽고 반복적으로 개선하고 수정할 수 있다.
도 1은 제안된 시각적 기반 피드백이 있는 돌봄 교육 시스템을 나타낸 도면이다.
본 발명에서는 영사기(프로젝터)를 이용하여 시각 기반 피드백을 제공함으로써 간병인의 기술을 향상시키기 위한 노인 요양 교육용 3차원 안면 통증 표정 기반 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)을 제안한다.
- 수동 동작 범위(Passive Range of Motion)
수동적 가동 범위 운동(Passive Range of Motion, ROM)은 관절의 움직임을 개선하기 위해 사용되는 신체 운동을 말한다. 이 수동적 가동 범위 운동(Passive Range of Motion, ROM)은 운동을 할 때 근골격계의 움직임이 특징이다. 고령자는 근육과 관절의 뻣뻣함, 수축, 약화 등의 증상으로 일상생활에서 근육과 관절의 제한된 움직임을 경험할 수 있다. 따라서 간병인이나 치료사는 주기적으로 노인에게 수동적 가동 범위 운동(Passive Range of Motion, ROM)을 하도록 요청해야 한다.
그러나 학생이나 초보자가 실제 사람과 함께 수동적 가동 범위 운동(Passive Range of Motion, ROM)을 수행하는데 돌봄 경험과 기술을 습득하는 것은 어려울 수 있다.
따라서 훈련생이 수동적 가동 범위 운동(Passive Range of Motion, ROM)을 효과적으로 연습하고 돌봄 훈련 기술에 대한 시각적 피드백을 받을 수 있는 돌봄 훈련 보조 로봇을 제안한다.
노인들은 일상생활에서 관절의 움직임에 통증을 자주 경험한다. 따라서 간병인은 노인 환자가 스트레칭과 운동을 할 수 있도록 주기적으로 도와야 한다.
본 발명에서는 돌봄 기술 향상을 위해 3D 안면 통증 표정을 갖는 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)을 제안한다. 이 시스템은 훈련을 위해 노인의 감소된 신체 움직임을 시뮬레이션 하는 동시에 훈련생 수행에 대한 피드백을 제공할 수 있다.
이 시스템을 평가하기 위해 노인 요양 전문가와 훈련생이 제안한 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템을 사용하여 수동적 가동 범위(ROM) 운동을 수행한다. 양질의 노인 간호 교육 경험이 중요하기 때문에 제안된 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템에 대해 다음 요구 사항을 설정했다.
1) 노인의 관절을 모방하고 사실적인 관절 움직임을 수행해야 한다.
2) 노인 특유의 문제성 관절 운동의 의학적 증상을 재현해야 한다.
3) 간병인에게 돌봄 훈련에 대한 적절한 정량적 평가 피드백을 제공해야 한다.
4) 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)을 사용하여 훈련생의 수행 데이터와 전문가의 데이터를 비교하여 훈련자에게 정확한 피드백을 제공해야 한다.
또한, 본 발명에서는 시뮬레이션된 로봇과 사용자 간의 원만한 상호 작용을 보장하기 위해 시각적 기반 피드백 방법을 제안하며, 본 발명의 기여는 다음과 같다.
- 책, 비디오, 의료용 마네킹 등 기존 방식보다 더 많은 기능을 갖춘 모의 로봇을 개발하여 학생들의 돌봄이나 간호 능력을 효과적으로 향상시킬 수 있는 시스템을 제안한다.
- 제안된 시각 기반 피드백 방법은 사용자와 시뮬레이션 로봇 간의 상호 작용 기술을 향상시킬 수 있다.
- 학생들은 시뮬레이션된 로봇이 실시간 환경에서 느낄 수 있는 고통이나 스트레스 상태에 대한 피드백을 받을 수 있다.
- 제안된 시각 기반 피드백 방법을 기반으로 학생들은 실시간 환경에서 시뮬레이션된 로봇이 경험하는 고통에 즉시 대응할 수 있다.
돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 3D 얼굴 아바타를 생성하기 위해 얼굴 이미지로부터 통증 정도를 측정하는 방법을 이용하였다. 즉, 어깨 수동적 가동 범위(ROM) 운동을 하는 동안 운동자의 얼굴 영상을 획득하였고, 도출된 통증 정도 측정 방법에 의해 영상으로부터 통증 정도를 획득하는데, 얼굴 이미지에서 통증 수준과 관련하여 4개의 통증 그룹을 결정한다. 각 통증그룹의 범위와 일치하는 얼굴 이미지를 추출하여 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 3D 아바타의 대표 이미지로 사용한다.
- 케어 훈련 보조 로봇
패시브롬 운동(수동적 가동 범위 운동)은 관절의 운동개선을 위해 사용되는 운동으로 노인들은 근육의 경직, 수축, 약화로 일상생활에서 관절운동이 제한적일 수 있어 노인돌봄에서 가장 중요한 과제 중 하나다.
돌봄 훈련 로봇을 고려하여 예비 연구에서 간병인이나 학생의 돌봄 능력을 효과적으로 향상시키는 방법으로 개발된 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 사용을 제안한다.
도 2는 돌봄 훈련 보조 로봇(CaTARo)을 나타낸 도면이다. - (A) 상지의 프로토타입, (B) 상지의 3D 모델링, (C) 팔꿈치 부분의 하드웨어 구성을 나타냄 -
도 2에서 보는 바와 같이 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 상지는 6자유도(DOF)를 기준으로 견갑상완골, 흉쇄골, 팔꿈치 관절로 구성된다. 본 발명에서는 제안하는 시스템의 타당성을 평가하기 위해 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 관절을 사용하였다.
- 하드웨어 구성 요소 및 구성
돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)이 노인의 관절 각도와 토크를 재현하는 방식과 하드웨어 설계를 간단히 설명하면 다음과 같다.
간단히 말해서 일본의 Human Body Properties Database(NITE, 2019 액세스 2019-05-06) 통계에 따르면 노인의 평균 팔뚝 길이와 팔뚝 길이는 각각 289mm와 225mm, 평균 상완과 팔뚝의 둘레는 각각 280mm와 242mm 이다.
실제 인간에 대한 이러한 통계 데이터를 기반으로 우리는 상완 길이 280mm, 팔뚝 길이 220mm, 상완 둘레는 285mm, 팔뚝 둘레는 240mm 으로 설계한다.
도 2B와 같이 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 관절은 서보 모터, 각도 센서, 힘(토크) 센서 및 4개의 압력 센서의 4가지 주요 구성 요소로 구성되고, 로봇에 인공 피부를 덧대어 연습생의 진정성을 높인다.
도 2C는 하드웨어 구성을 보여준다. 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)에 내장된 팔꿈치 액추에이터 각도와 4개의 압력 센서는 맞춤형 하드웨어 보드를 통해 얻은 다음 컴퓨터로 전송되고, 힘 센서의 토크 데이터도 컴퓨터로 전송된다. 모든 센서의 샘플링 속도는 100Hz로 설정된다.
- 케어 교육 모니터링 프로그램
돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)에서 각도, 토크 및 압력 값을 획득하기 위해 Python을 사용하여 맞춤형 케어 교육 모니터링 프로그램을 개발했다. 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 관절은 직렬 통신을 통해 컴퓨터에 연결되고 데이터는 컴퓨터에 동시에 입력된다. 그래프에 표시된 가이드라인은 노인요양보호 전문가로부터 사전에 취득한 것으로, 학생은 전문가의 가이드라인에 따라 실시간으로 돌봄 훈련을 실시한다.
- 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)를 이용한 3D 안면 통증 표현
고통을 표현하기 위해 영상에서 고통의 정도에 따라 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 3D 아바타 안면 고통 표정을 생성한다.
돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 3D 아바타 생성에 사용된 방법은 1) 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)을 사용한 통증 정도 측정, 2) 얼굴 이미지에서 통증 표현 수준 추출, 3) 3D 표정 및 투영의 3단계로 나뉜다.
먼저, 돌봄 교육에서 훈련생이 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)에게 준 고통(통증) 정도를 측정한다.
다음으로 통증 표정이 있는 얼굴 영상에서 통증 표현이 포함된 영상을 추출한다.
통증 표현 이미지는 4단계의 통증 그룹(PG)으로 구분되어 각 그룹을 대표하는 이미지를 선택하고, 이를 기반으로 아바타를 생성할 수 있다.
마지막으로 제작된 4개 그룹의 아바타는 프로젝터를 통해 3D 안면 마스크에 투영된다.
- 퍼지 논리에 기반한 고통 수준
통증 정도는 돌봄 교육 중 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 관절에 부담을 주지 않고 돌봄 기술을 훈련하는 학생의 능력을 평가하는 데 사용할 수 있는 정량적 값이다.
우리는 퍼지 논리를 사용하여 통증 수준을 측정하고 두 가지 가설을 통합하여 퍼지 논리 모델을 생성했다.
- 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 관절이 90도 미만 또는 120도 이상인 경우 저항 토크가 증가한다.
돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 관절 가동범위는 전문가의 의견을 바탕으로 노인의 관절을 모방하여 설계되었다.
돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 관절 각도가 90 ~ 120도 범위를 벗어나면 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)는 "통증"을 느끼는 것으로 가정한다.
- 멤버십 함수 생성을 위한 참조 데이터는 의료 및 노인 간호 분야에서 수년(2 ~ 10년) 경험이 있는 전문가를 포함하는 5건의 실험 데이터를 기반으로 한다. 참고적으로, 참조 데이터에는 노인 데이터 또는 관절 또는 신경계 질환이 있는 노인 데이터가 더 포함될 수도 있다.
<수식 1>
퍼지 집합 이론은 실제 상황에서 복잡하거나 불확실한 모호한 문제를 고려하는 적절한 방법으로 자주 사용된다.
퍼지 시스템은 입력 변수와 출력 변수 간의 관계를 결정하고 입력 변수 간의 관계 해석을 설명할 수 있다는 장점이 있다.
퍼지 논리 방식의 출력 값은 수식 1을 사용하여 얻을 수 있다. 여기서 x, k, M, P는 각각 입력변수(x), 벡터 x의 k번째 요소(k), 멤버십함수의 개수(M), 특징(P)을 나타낸다.
또한
Figure 112022043652615-pat00002
는 멤버십 함수이고 θl은 가중치이다.
각도, 각속도, 토크, 압력값(압력)의 신호크기 영역의 평균 등의 입력변수를 추출하여 퍼지논리모델링을 생성하였다.
입력변수는 "낮은 정도", "중간 정도", "높은 정도"의 세 그룹으로 구분되었다. 입력 변수 압력과 출력 변수 "통증 정도"는 "낮음", "중간", "높음"으로 구성된다.
도 3은 통증 수준에 대한 퍼지 논리 방법을 나타낸 도면이다. - (A) 퍼지 멤버십 함수 (B) 4개의 입력 변수(각도, 토크, 각속도 및 SMAP) 및 출력 변수(통증 수준)에 대한 퍼지멤버십 함수, 입력 변수의 표면 보기, 81개의 퍼지 규칙 및 결과. SMAP은 압력 값의 신호 크기 영역을 의미함 -
도 3A와 같이 두 개의 사다리꼴 멤버십 함수(경계 변수)와 하나의 삼각형 멤버십 함수(중간 변수)를 사용했다.
수식 2 - 4 를 사용하여 세 가지 유형의 멤버십 함수를 계산할 수 있다.
<수식 2>
<수식 3>
<수식 4>
여기서 x는 입력 변수이다. Tμ(x), TLμ(x) 및 TRμ(x)는 각각 삼각형, 왼쪽 사다리꼴 및 오른쪽 사다리꼴 멤버쉽 함수를 나타낸다. 매개변수 a 내지 g 는 멤버십 함수의 값을 결정하는 입력 변수의 상수를 참조한다.
본 발명에서는 각도 및 토크 입력 매개변수에 대해 왼쪽과 오른쪽의 사다리꼴 멤버십 함수를 사용했다.
이렇게 구현한 이유는 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)이 노인의 관절 움직임을 재현하기 위해 가동 범위가 제한적이기 때문이다.
돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)이 통증을 느끼는 범위는 <표 2>의 케어 훈련 평가 요인(factors)에 따라 정의된다.
<표 2>
사다리꼴 멤버십 함수는 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)이 관절 운동 범위를 벗어날 때 최대 통증을 받는다는 사실을 반영한다.
따라서 사다리꼴 멤버십함수를 적용하여 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)이 통증을 느끼는 범위에서 멤버십함수의 가중치를 "1"로 설정하였다.
표 2를 참조하면, a, b, d, f, g와 같은 매개변수는 수식 5 내지 7을 사용하여 계산되었다.
<수식 5 - 7>
매개변수 a와 e는 요인(factors)의 평균과 최소값의 차이로 얻을 수 있고 매개변수 c와 h는 요인(factors)의 평균과 최대값의 차이의 합으로 계산할 수 있다. 매개변수 b는 매개변수 a와 c의 평균값에 의해 결정된다. 매개변수 d와 i는 각각 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 조인트(관절)가 허용하는 최소 및 최대 각도 값을 나타낸다.
삼각형 멤버십 함수 Tμ(x)에서 변수 f는 요인(factors)의 최소값 평균으로부터의 편차의 합으로 얻어지는 반면, g로 표시된 매개변수는 요인(factors)의 최대값 평균으로부터의 편차의 차이로 계산될 수 있다.
여기서 param_k와 param_m은 각각 매개 변수의 k번째 입력 값과 입력 매개 변수 값의 평균을 나타낸다.
다음 단계는 입력 변수 간의 관계를 정의하는 퍼지 규칙을 생성하는 것이다.
퍼지 규칙은 전문가의 의견을 사용하여 구성되었으며 수식 8을 사용하여 설명할 수 있다.
<수식 8>
여기서 F1 k k번째 규칙과 관련된 p번째 퍼지 집합이다.
"IF xk is F1 k and .... and Xp is Fk p" 규칙은 k번째 규칙의 선행 항목에 해당하고 "THEN Y is Yk"는 k번째 규칙의 결과이다.
마지막으로 도 3B(오른쪽 아래)와 같이 총 81개의 퍼지 규칙이 생성된다.
입력변수의 개수는 4개(각도, 토크, 각속도, 압력)이고 멤버십 함수는 3가지 선행변수(낮음, 중간, 높음)로 구성된다.
그런 다음 퍼지 규칙의 수는 mn으로 계산할 수 있다(m 및 n은 각각 입력 및 선행 변수의 수를 나타냄). 따라서 출력(통증 수준)에 대한 세 가지 선행 변수 중 하나와 각각 연결된 81개의 규칙(3 ×3 × 3 × 3)이 있다.
본 발명에서는 퍼지 인터페이스 시스템(Fuzzy Inference System, FIS)을 설계하기 위해 Mamdani 방법을 사용하여 추론 엔진을 결정한다.
퍼지 인터페이스 시스템(Fuzzy Inference System, FIS)의 경우 입력을 출력으로 매핑하는 방법에는 Mamdani FIS와 Sugeno FIS의 두 가지 주요 유형이 있다.
Mamdani 기반의 퍼지 인터페이스 시스템(Fuzzy Inference System, FIS)는 직관적이고, 인간의 입력에 적합하고, 퍼지 규칙을 보다 쉽게 해석할 수 있으며, 의료 진단, 산업 제조, 병원 및 은행과 같은 다양한 분야에 적용할 수 있다는 장점이 있다.
다음으로, 추론 엔진의 출력을 선명한 값으로 계산하는 역퍼지화가 수행된다. 역퍼지화(defuzzifier)는 퍼지 인터페이스 시스템(Fuzzy Inference System, FIS)의 중요한 구성 요소이다.
중심 역퍼지화 방법은 강력한 성능을 가지므로 본 발명에서는 최종 확산층으로 사용하였다.
마지막으로, 입력 변수에 의해 얻은 통증 수준 출력의 범위는 0에서 10까지입니다.
- 고통 표현이 있는 얼굴 이미지 추출
도 4는 본 발명에서 제안하는 방법의 프레임워크를 나타낸 도면이다. - (A) 프레임워크 및 (B) 아바타 이미지 생성 방법 -
도 4A는 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 3D 표정 시스템의 틀을 보여준다.
통증 표현의 원본 얼굴 이미지는 FACS(Facial Action Coding System)를 사용하여 추출할 수 있다. 통증 표현과 관련된 작용 단위(AUs) 중 눈썹 하강(AU4), 뺨 올림(AU6), 눈꺼풀 조임(AU7), 코 주름(AU9), 윗입술 올림(AU10), 눈 클로즈(AU43) 등 6가지 유형의 AU를 사용하여 수동 ROM 운동 시 통증 정도를 계산할 수 있다.
PSPI(Prkachin and Solomon Pain Intensity Scale)라고 불리는 통증 수준은 수식 9를 사용하여 확인할 수 있다.
<수식 9>
PSPI = AU4 + (AU6 or AU7) + (AU9 or AU10) + AU43
여기서 (AU6 또는 AU7) 및 (AU9 또는 AU10)은 더 높은 강도가 선택되었음을 나타낸다.
돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템에 대한 통증 표현이 있는 3D 얼굴 아바타를 생성하기 위해 공개 데이터베이스 UNBC-McMaster Pain Shoulder Archive를 사용했다.
이 데이터베이스는 어깨 통증으로 고통받는 129명의 참가자(각기 다른 수동적 운동 범위 테스트를 수행함)의 얼굴 표정으로 구성되어 있으며 통증 수준(PSPI) 값을 추출했다.
도 4B는 UNBC-McMaster 통증 어깨 아카이브를 사용하여 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 3D 얼굴 표정을 생성하는 절차를 보여준다.
먼저 OpenFace 2.0 툴킷을 이용하여 통증 수준(PSPI) 값을 구하는 데 필요한 각 AU 값을 추출하였다.
표 3은 UNBC-McMaster 데이터베이스의 107번 피험자로부터 얻은 4가지 원본 영상의 최종 PSPI 값과 AU 값을 나타낸 것이다.
본 발명에서는 통증 수준(PSPI)의 범위를 4개의 그룹으로 구분하였다.
통증그룹 1(PG1)은 0 ~ 1.99 PSPI,
통증그룹 2(PG2)는 2 ~ 3.99 PSPI,
통증그룹 3(PG3)은 4 ~ 6.99 PSPI,
통증그룹 3(PG3)는 7 ~ 9.99 PSPI 범위를 각각 갖는다.
도 5는 UNBC-McMaster 통증 어깨 아카이브에서 주제 #TV095의 Prkachin 및 솔로몬 통증 강도(PSPI)를 사용하여 3D 얼굴 아바타를 생성하는 절차를 나타낸 도면이다.
도 5A-D에 표시된 원본 이미지는 UNBC-McMaster 데이터베이스에서 주제 #TV095의 3D 얼굴 아바타를 생성하는 절차의 예를 보여준다.
- 3D 표정 및 투영
4개의 통증그룹(PG)으로 분할된 원본 이미지는 Avatar SDK(Itseez3D, Inc., CA, United States)를 사용하여 3D 아바타로 생성된다.
도 4B와 같이 3D 아바타는 웹 기반 SDK를 사용하여 원본 이미지(.png)에서 아바타 개체(.obj)로 변환됩니다. Avatar SDK(Itseez3D, Inc., CA, United States)가 변환 SDK 역할을 하며 원본 이미지에서 오브젝트 파일을 가져온다.
3D 아바타(.png) 이미지는 오브젝트 파일 다운로드 시 변환이 가능하다.
생성된 3D 아바타를 불러온 후 Unity 프로그램에서 오브젝트 파일(.obj)을 처리하여 도 5E의 하단과 같이 최종적으로 4개의 통증그룹(PG) 각각에 대한 고통 표정이 있는 얼굴 아바타를 생성하였다.
마지막으로 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)과 3D 얼굴 아바타가 Unity 프로그램에 연결되고 아바타가 프로젝터를 통해 3D 얼굴 마스크에 투영된다.(도 4A).
돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 센서 값으로 계산된 통증 정도를 계산하여 해당 PG 그룹을 결정하고 통증 수준에 맞는 최종 PG 아바타를 투영한다.
- 실험 환경
노인 돌봄 훈련에서 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 사용의 효과는 다음 세 가지 평가 목표를 기반으로 분석되었다.
- 돌봄 훈련 모니터링 기반 피드백 환경에서 전문가와 학생 간의 돌봄 기술에 유의미한 차이가 있는가?
- 통증 정도 측정 결과 전문가 집단과 학생 집단 간에 유의미한 차이가 있는가?
- 시각적 기반 피드백을 제공하는 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)이 돌봄 교육에서 도전적인 실행 가능성을 제공하는가?
실험은 9명(노인요양전문가 5명, 학생 4명)을 대상으로 진행되었다. 노인 요양 전문가(여성 4명, 남성 1명)는 일본에서 2년 이상 재활 및 의료 분야에서 일한 간병인이었다.
나머지 4명의 피험자(남 2명, 여 2명)는 노인 간호 교육을 받은 적이 없고 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)을 사용한 적이 없는 리츠메이칸 대학의 학생이다.
도 6은 실험 설계 및 작업 절차를 나타낸 도면이다. - (A) 실험 절차 및 (B) 관리 작업 절차 -
실험은 1) 전문가 집단(EG), 2) 학생 1군(SAG), 3) 학생 2군(SBG)의 3개 집단으로 진행되었다.
EG는 5명의 전문가로 구성되었으며 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템의 타당성을 평가하는 데 사용되었다.
시각 기반 피드백으로 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 타당성을 찾기 위해 EG 및 SAG 참가자에게만 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 통증 수준 계산 결과를 평가하기 위한 정량적 데이터를 제공했다.
이 두 그룹 간의 평가에서 세 가지 목표 중 두 가지를 달성한다.
마지막으로 시각 기반 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템의 타당성을 평가하기 위해 SBG 참가자는 시각 기반 방법과 함께 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)를 사용하여 후술할 작업 절차에 따라 사전 및 사후 평가를 수행했다(도 6 A 참조).
- 작업 절차
본 발명의 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템을 평가하기 위해 ROM(range of motion) 운동을 수행하였다.
ROM 운동은 관절의 움직임을 개선하기 위한 신체 운동을 포함하는 일종의 관리 및 재활 활동이다. 고령자는 근육, 관절, 강직, 인대의 약화와 같은 다양한 근골격계 질환으로 인해 일상 활동에서 관절 운동에 제한을 받을 수 있다. 따라서 간병인과 치료사는 정기적으로 노인에게 ROM 운동을 수행하도록 요청해야 한다.
본 발명에서는 참가자들에게 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 관절을 사용하여 팔꿈치 굴곡 및 익스텐션(extension)을 기반으로 하는 ROM 운동을 수행하도록 요청 받았다.
실험 과정은 다음과 같다. 먼저 전문가가 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 관절 부분을 이용하여 ROM 운동을 하고, 케어 트레이닝을 시작하기 전에 전문가가 학생들에게 ROM 운동을 설명한 후, 학생들은 전문가의 동영상을 시청한다.
사전 평가에서는 학생들이 로봇을 이용하여 ROM 운동을 수행하고 정량적 데이터를 획득하고, 실습 시스템에서 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)을 사용하여 30분간 ROM 운동을 연습한다.
사후 평가를 위해 학생들은 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)를 사용한 연습의 효율성을 조사하기 위해 ROM 연습을 수행한다.
도 6B와 같이 총 10개의 작업이 수행되었으며 각 작업은 개인당 10번의 시도를 수행했다.
각 개인은 실험에 약 1시간이 소요되었다. 시작점과 중지점에서의 케어 동작은 사용자 동작에서 발생하는 노이즈 신호를 포함할 수 있으므로 총 5회 시도의 데이터만 평가에 사용했다.
도 7은 실험 환경을 나타낸 도면이다.
(A) 모니터링 프로그램: 왼쪽 그림의 주황색 그래프는 사전에 전문가의 정량적 데이터를 나타낸다. 학생들은 전문가의 지도에 따라 교육을 받을 수 있으며 오른쪽 화면에 나타나는 원 그래프를 통해 노인을 느끼는 고통을 경험할 수 있다. 오른쪽 화면의 압력 값은 압력이 감지되었을 때 작은 원에서 큰 원으로의 압력의 크기를 나타낸다.
(B) 3D 표정 없이 CaTARo를 사용한 실험,
(C) 3D 표정이 있는 CaTARo를 사용한 실험,
(D) 3D 안면 마스크가 있는 빔 프로젝터를 사용한 샘플 아바타 출력을 나타낸 도면이다.
도 7은 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템을 이용한 케어 훈련의 실험 환경을 보여준다.
결과 간의 관계를 분석하기 위해 "the Mann.Whitney Utest, two-sample t-test, and analysis of variance (ANOVA)"방법을 사용했다. 통계 분석은 MATLAB 2019를 사용하여 수행되었다. 유의수준(The significance level) α(=0.05)을 일반적으로 설정하였다. 단일 별표는 p < 0.05에서 통계적 유의성을 나타내고 이중 별표는 p < 0.001에서 통계적 유의성을 나타낸다.
- 결과 및 논의
- 그래프 기반 피드백 방법을 사용한 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)
제안된 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템으로 3D 얼굴 표정을 테스트하기 위해 두 명의 피험자가 이 실험(SBG)에 참여하도록 선택되었다.
도 8은 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 관절에서 출력된 정량적 데이터의 예를 나타낸 도면이다. - (A) 팔꿈치 운동학, (B) 팔꿈치 관절 각도, (C) 토크, (D) 압력 데이터, (E) 퍼지 논리에 의해 추출된 통증 수준, ( F) CaTARo를 사용한 3D 안면 통증 표현 테스트 -
도 8은 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 관절의 출력에서 얻은 정량적 데이터(즉, 팔꿈치 관절 각도, 토크 및 압력 데이터)와 퍼지 논리 방법을 사용하여 결정된 통증 수준의 예를 보여준다.
도 8은 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 운동학을 보여줍니다. 로봇의 팔꿈치가 연장 및 굴곡을 통해 이동할 때 로봇의 토크 및 압력 데이터가 동시에 출력된다.
도 8C,B에서 로봇의 팔꿈치 관절 각도가 감소하면 실험 대상이 로봇의 팔꿈치를 연장했기 때문에 토크가 증가하는 것을 알 수 있다.
도 8D는 신축 및 굴곡 이동 사이에 값이 번갈아 나타나는 압력 데이터 결과를 보여준다. 참가자마다 로봇의 손목에 서로 다른 힘을 가하고 다른 고정 위치를 사용했을 수 있기 때문에 이러한 압력 센서 값은 참가자마다 다르다.
도 8E는 퍼지 논리를 통해 결정된 통증 수준을 보여준다. 통증 그룹은 통증 수준에 따라 분류되었다.
도 8E에서 검은색 점(PG1), 파란색 점(PG2), 녹색 점(PG3), 빨간색 점(PG4)은 각각 0에서 1.99, 2에서 3.99, 4에서 6.99, 7에서 9.99까지의 통증 수준을 나타낸다.
분류된 PG 그룹의 결과는 도 8F와 같이 실시간으로 3D 안면 마스크에 투영된다.
도 9는 그래프 기반 방법의 결과를 나타낸 도면이다. - (A-G)는 전문가가 ROM 운동을 수행할 때 얻은 로봇의 각도와 토크 사이의 행렬을 표시하고, (A-E)에서 각각 전문가 #1 ~ #5를 나타낸다. 파란색 막대와 빨간색 플롯은 각각 외부 각도와 토크 사이의 히스토그램과 플롯을 나타낸다. (H)는 각도, 토크, 각속도, 압력 매개변수 및 통증 수준과 같은 매개변수의 통계적 분석 비교 결과(예: 전문가 그룹, SAG: 케어 교육 모니터링과 함께 CaTARo를 사용할 때의 학생 그룹) -
도 9A ~ 그림 9E는 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 외부 각도 및 토크를 기반으로 한 산점도 행렬을 나타낸다.
이러한 그림은 노인 관리 전문가(EG)가 로봇을 사용하여 지정된 ROM 연습을 수행할 때 얻었다.
전문가들이 훈련 시스템을 사용하여 얻은 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 팔꿈치 각도의 히스토그램(도 9의 파란색 막대)은 ROM 연습(연장)이 시작될 때 각도가 감소하다가 끝날 때 증가하는 경향을 보여준다.
또한 ROM 연습을 5회 반복할 때 각 전문가 참가자의 유사한 패턴이 눈에 띈다.
이는 ROM을 연습하는 동안 전문가들이 일정한 각도와 속도로 동작을 반복하는 경향이 더 높았음을 나타낸다.
대조적으로, 도 9F,G에서 볼 수 있듯이, ROM 연습의 5회 반복 동안 학생(SAG)의 결과는 균일하지 않은 각도와 일정하지 않은 지속시간을 보여주었다.
전문가들이 얻은 결과를 분석한 분산 분석 결과, 각도(F=11.878, p=0.165), 각속도(F =0.045, p=0.996) 및 압력(F=1.325, p=0.257)의 모수는 전문가들 간에 유의미한 차이(F=145.09,p<0.001)를 보이지 않았다.
도 9H는 사전 및 사후 테스트에서 전문가(EG)와 학생(SAG)이 수행한 관리 훈련 모니터링과 함께 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)를 사용한 관리 훈련에서 각도, 토크, 압력 및 퍼지 논리 기반 통증 수준에 대한 통계 분석 결과를 보여준다.
전문가와 학생군 간 통계 분석은 만-휘트니 U 시험 방법을 사용하여 수행되었고, 학생군 간 사전 및 사후 평가의 통계 분석은 t-시험 방법을 기반으로 수행되었다.
특히 각도는 이들 그룹 중 가장 큰 차이를 보였다.
관리 훈련 전 사전 테스트에서 SAG 각도(M=109.23, SD=7.93)는 EG(M=100.97, SD=6.55)와 큰 차이를 보였으며, 상당한 차이(p < 0.01, Mann-Whitney U 테스트)가 있었다.
30분 동안 관리 훈련 후 SAG(사후 테스트)의 각도 값(M=97.93, SD=5.71)은 EG와 유사한 범위로 감소했고 통계적으로 유의미한 차이(p < 0.01, Mann-Whitney U 테스트)가 있었다.
토크의 경우 SAG(M=13.02, SD=17.87)의 시험후 결과는 EG(M=5.44, SD=13.31)에 비해 상대적으로 높았으나, 사전시험(M=4.61, SD=24.08)에서는 표준편차가 비교적 넓은 것으로 확인되었다.
토크의 경우 통계적으로 유의한 차이가 있었다(p < 0.01, Mann-Whitney U 테스트).
압력변수 측면에서 EG (M=0, SD=0)는 실질적으로 0의 값을 보였으며 SAG의 압력값은 사전시험(M=314.47, SD=257.37)과 사후시험(M=260.07, SD=130.12) 모두에서 유의미한 차이(t=8.045, p < 0.01)를 보였다.
정량적 데이터(각도, 토크, 각속도, 압력)를 바탕으로 최종 계산된 통증 수치 결과에서 알 수 있듯이 SAG의 사전 테스트(M=6.21, SD=2.47)에서 통증 수준은 EG(M=2.76, SD=1.47)에 비해 증가하였으며 통계적으로 유의한 차이(p < 0.01, Mann-Whitney 테스트)가 있었다.
30분 간 돌봄 교육(M=4.57, SD=2.92) 후 평가에서 통증 수치가 다시 감소하였다.
따라서 각속도의 매개 변수를 제외하고 3개 그룹에서 통계분석을 수행하였고, 모든 결과에서 유의미한 차이가 나타났다.
다만 SAG에 대한 케어 트레이닝 결과는 사전 테스트보다 사후 테스트에서 EG와 비교적 유사한 운동범위가 나타나 SAG 참가자들의 훈련능력이 상대적으로 향상된 것으로 확인됐다.
- Visual-Based Feedback 방법을 사용한 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 파일럿 테스트
마지막으로 2명의 학생(SBG)을 이용하여 3D 표정을 가진 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 테스트 결과를 분석하였다.
도 10은 시각적 기반 피드백이 있는 CaTARo의 결과를 나타낸 도면이다. - (A, B)는 (A)사전 테스트 및 (B) 사후 테스트에서 SBG(학생 #3)의 정량적 데이터(각도, 토크 및 압력) 산점도의 예
(C)는 각도, 토크, 각속도, 압력 및 통증 정도에 대한 매개변수의 통계적 분석 비교 결과
(D)는 SAG(그래프 기반)와 SBG(시각 기반) 간의 비교 결과 -
도 10A,B는 한 주제(SBGstudent #3)의 사전 테스트 및 사후 테스트에 대한 각도(x축), 토크(y축) 및 압력(z축) 데이터의 3D 산점도의 예를 보여준다.
사전 테스트(도 10A)에서 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 각도와 토크 패턴은 ROM 운동 동안 일정하지 않았다.
특히, 압력(z축) 값은 1,000과 1,500 부근에서 발견되었다.
반대로 사후 테스트(도 10B)에서 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 각도 및 토크 패턴은 일정했으며 압력을 나타내는 z축 값은 0으로 나타난다.
도 10C는 SBG의 사전 및 사후 테스트에서 각도, 토크, 각속도, 압력 및 통증 정도와 같은 매개변수를 통계적으로 분석한 비교 결과를 보여준다.
각속도를 제외한 모든 변수의 값이 감소함을 알 수 있으며, 사전 평가보다는 사후 평가에서 통증 정도가 약 2.37 감소함을 확인하였다.
이러한 사후검사에서 매개변수 값의 감소는 30분의 돌봄 훈련 후 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)의 움직임 범위를 관찰하면서 학생들이 돌봄 교육을 수행한 긍정적인 측면으로 유추할 수 있다.
특히, SBG 사후평가에서 압력변수(M 16.63, SD 46.24)는 사전평가에서보다 약 429.81 감소하여 상대적으로 낮은 값을 나타내어 결과의 실효성을 나타냈다.
마지막으로 그림 10D는 SAG(그래프 기반)와 SBG(시각 기반) 간의 통증 수준 결과를 비교한 것이다.
SAG(M=4.57, SD=2.92)와 SBG(M=2.92, SD=2.31)의 사후평가(t=6.043, p=0.052)에서는 유의한 차이가 없었다.
사전 검사와 비교하여 SAG(t=21.073, p < 0.001) 및 SBG(t=32.961, p < 0.001)의 통증 수준은 사후 검사에서 각각 1.63 및 2.32 감소했다.
따라서 3D 안면 표정 시스템을 갖춘 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)을 통해 학생들이 돌봄 훈련에 대한 피드백을 실시간으로 받고 돌봄 기술 향상에 도움이 될 수 있음을 유추할 수 있다.
마지막으로 노인요양전문가 5명과 학생 2명을 대상으로 제안된 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템에 대한 설문조사를 수행하였다. 전문가를 대상으로 한 설문조사는 다음 4가지 질문으로 구성되었다.
- Q1: 실시간 모니터링 프로그램이 포함된 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템은 사용자에게 친숙한 인터페이스를 제공합니까?
- Q2: 로봇의 움직임이 실제 사람의 움직임과 비슷하다고 생각하십니까?
- Q3: 새로운 간병인 교육을 위한 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템에 얼마나 만족하십니까?
- Q4: 앞으로 ROM 운동을 고려한 노인 요양 훈련에 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템을 사용할 의향이 있습니까?
<표 4>
표 4는 5명의 전문가가 설문조사한 결과이다.
5점 만점 중 Q1, Q2, Q3, Q4의 평균점수는 각각 3.4(±0.55), 2.6(±0.89), 3.6(±0.55), 4.4(±0.55)였다. 괄호는 표준편차).
전문가들은 로봇의 인지된 느낌이 인간 팔꿈치의 움직임과 약간 다르다고 지적했지만 이러한 결과는 호의적이다.
따라서 제안된 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템은 친숙한 인터페이스와 노인 요양 교육에 사용할 수 있기 때문에 향후 교육생에게 도움이 된다.
학생들을 대상으로 한 설문조사는 다음 세 가지 질문으로 구성되었다.
- Q5: 3D 아바타 기반의 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템은 사용자에게 친숙한 인터페이스를 제공합니까?
- Q6: 3D 아바타가 있는 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템과 기존 방식의 차이점이 있었나요?
- Q7: 학생 또는 초보자 교육을 위한 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 시스템에 얼마나 만족하십니까?
<표 5>
표 5는 두 학생의 설문 결과를 보여준다. - 두 학생의 설문 결과 각 항목의 최대 점수는 5점입니다. 괄호 안의 숫자는 표준편차이다.-
Q5, Q6, Q7의 평균 점수는 최대 5점 중 각각 4.3(±0.4), 4, 4.3(±0.4)이었다. 이러한 결과는 비교적 호의적이지만, 설문에 참여한 사람이 2명이었기 때문에 결론을 일반화하기는 여전히 어렵다. 그러나 학생들은 3D 아바타가 있는 로봇의 체감 느낌이 3D 아바타가 없는 기존 시스템과 약간 다르다고 지적했다.
본 발명에서는 정확하고 효율적인 노인 돌봄 교육에 사용할 수 있도록 3D 안면 통증 표현 시스템을 갖춘 돌봄 보조 로봇을 제안했다. 먼저 노인의 돌봄과 치료를 위한 훈련의 효과를 높일 수 있는 상지 로봇 시뮬레이터를 개발하고 퍼지 논리에 기반한 통증 수준을 얻을 수 있는 방법을 제안했다.
또한 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo) 사용 시 학생들에게 보다 효율적으로 피드백을 제공할 수 있는 3D 안면 통증 표현 아바타를 개발했다.
실험은 돌봄 훈련 보조 로봇(a care training assistant robot, CaTARo)을 사용하여 다양한 동작 운동을 수행한 5명의 노인 케어 전문가와 4명의 학생을 대상으로 수행되었다.
우리는 로봇으로부터 팔꿈치 관절 각도, 토크 및 압력 값을 포함한 이러한 테스트로부터 정량적 데이터를 얻었다. 우리는 전문가와 훈련생 사이의 정량적 데이터 결과가 특히 훈련 전에 다르다는 것을 발견했다. 마지막으로 노인요양전문가 및 학생들과 함께 제안된 시스템의 효과와 실현 가능성에 대한 설문조사를 실시하여 긍정적인 피드백을 받았다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (6)

  1. 적어도 하나 이상의 관절을 구비하여 훈련자에 의한 수동적 가동 범위 운동(Passive Range of Motion, ROM)이 가능하도록 구성되는 로봇의 움직임에 대응하는 각도, 토크, 각속도 및 압력을 토대로 통증 수준을 산출하는 단계;
    산출된 상기 통증 수준에 해당하는 통증 표현 수준을 추출하는 단계; 및
    추출된 통증 표현 수준에 해당하는 3D 표정을 빔 프로젝터를 통해 3차원 얼굴 마스크에 투영하는 단계;
    를 포함하는 돌봄 훈련 보조 로봇의 통증 표현 방법.
  2. 제1항에 있어서,
    상기 통증 수준을 산출하는 단계는,
    상기 로봇의 움직임에 대응하는 각도, 토크, 각속도 및 압력을 입력변수로 하고, 상기 통증 수준을 출력변수로 하는 수식 1의 퍼지 논리 방식을 이용하여 산출하는 것을 특징으로 하는 돌봄 훈련 보조 로봇의 통증 표현 방법.
    <수식 1>

    여기서 x, k, M, P는 각각 입력변수(x), 벡터 x의 k번째 요소(k), 멤버십함수의 개수(M), 특징(P)이고,
    Figure 112022043652615-pat00012
    는 멤버십 함수이고 θl은 가중치임
  3. 제2항에 있어서,
    상기 퍼지 논리 방식은,
    두 개의 사다리꼴 멤버십 함수(경계 변수)와 하나의 삼각형 멤버십 함수(중간 변수)를 사용하되, 수식 2 - 4 를 사용하여 세 가지 유형의 멤버십 함수를 계산하고,
    <수식 2>


    <수식 3>

    <수식 4>


    여기서 x는 입력 변수이고, Tμ(x), TLμ(x) 및 TRμ(x)는 각각 삼각형, 왼쪽 사다리꼴 및 오른쪽 사다리꼴 멤버쉽 함수이고. 매개변수 a 내지 g 는 멤버십 함수의 값을 결정하는 입력 변수의 상수를 참조함.
    a, b, d, f, g와 같은 매개변수는 수식 5 내지 7을 사용하여 계산되고,
    <수식 5 - 7>

    매개변수 a와 e는 요인(factors) - 통증을 느끼는 범위 - 의 평균과 최소값의 차이로 계산하고, 매개변수 c와 h는 요인(factors)의 평균과 최대값의 차이의 합으로 계산하고, 매개변수 b는 매개변수 a와 c의 평균값에 의해 결정되고, 매개변수 d와 i는 각각 로봇의 관절이 허용하는 최소 및 최대 각도 값을 나타내고,
    삼각형 멤버십 함수 Tμ(x)에서 변수 f는 요인(factors)의 최소값 평균으로부터의 편차의 합으로 얻어지고, g로 표시된 매개변수는 요인(factors)의 최대값 평균으로부터의 편차의 차이로 계산되고, param_k와 param_m은 각각 매개 변수의 k번째 입력 값과 입력 매개 변수 값의 평균을 나타내는 것을 특징으로 하는 돌봄 훈련 보조 로봇의 통증 표현 방법.
  4. 적어도 하나 이상의 관절을 구비하여 훈련자에 의한 수동적 가동 범위 운동(Passive Range of Motion, ROM)이 가능하도록 구성되는 로봇;
    상기 로봇의 움직임에 대응하는 각도, 토크, 각속도 및 압력을 토대로 통증 수준을 산출하고, 산출된 상기 통증 수준에 해당하는 통증 표현 수준을 추출하는 컴퓨터; 및
    추출된 통증 표현 수준에 해당하는 3D 표정을 3차원 얼굴 마스크에 투영하는 빔 프로젝터;
    를 포함하는 돌봄 훈련 보조 로봇 시스템.
  5. 제4항에 있어서,
    상기 컴퓨터는,
    상기 로봇의 움직임에 대응하는 각도, 토크, 각속도 및 압력을 입력변수로 하고, 상기 통증 수준을 출력변수로 하는 수식 1의 퍼지 논리 방식을 이용하여 산출하는 것을 특징으로 하는 돌봄 훈련 보조 로봇 시스템.
    <수식 1>

    여기서 x, k, M, P는 각각 입력변수(x), 벡터 x의 k번째 요소(k), 멤버십함수의 개수(M), 특징(P)이고,
    Figure 112022043652615-pat00018
    는 멤버십 함수이고 θl은 가중치임
  6. 제5항에 있어서,
    상기 퍼지 논리 방식은,
    두 개의 사다리꼴 멤버십 함수(경계 변수)와 하나의 삼각형 멤버십 함수(중간 변수)를 사용하되, 수식 2 - 4 를 사용하여 세 가지 유형의 멤버십 함수를 계산하고,
    <수식 2>


    <수식 3>

    <수식 4>


    여기서 x는 입력 변수이고, Tμ(x), TLμ(x) 및 TRμ(x)는 각각 삼각형, 왼쪽 사다리꼴 및 오른쪽 사다리꼴 멤버쉽 함수이고. 매개변수 a 내지 g 는 멤버십 함수의 값을 결정하는 입력 변수의 상수를 참조함.
    a, b, d, f, g와 같은 매개변수는 수식 5 내지 7을 사용하여 계산되고,
    <수식 5 - 7>

    매개변수 a와 e는 요인(factors) - 통증을 느끼는 범위 - 의 평균과 최소값의 차이로 계산하고, 매개변수 c와 h는 요인(factors)의 평균과 최대값의 차이의 합으로 계산하고, 매개변수 b는 매개변수 a와 c의 평균값에 의해 결정되고, 매개변수 d와 i는 각각 로봇의 관절이 허용하는 최소 및 최대 각도 값을 나타내고,
    삼각형 멤버십 함수 Tμ(x)에서 변수 f는 요인(factors)의 최소값 평균으로부터의 편차의 합으로 얻어지고, g로 표시된 매개변수는 요인(factors)의 최대값 평균으로부터의 편차의 차이로 계산되고, param_k와 param_m은 각각 매개 변수의 k번째 입력 값과 입력 매개 변수 값의 평균을 나타내는 것을 특징으로 하는 돌봄 훈련 보조 로봇 시스템.
KR1020220050225A 2022-04-22 2022-04-22 노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법 및 이를 이용한 돌봄 훈련 보조 로봇 시스템 KR102664696B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220050225A KR102664696B1 (ko) 2022-04-22 2022-04-22 노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법 및 이를 이용한 돌봄 훈련 보조 로봇 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220050225A KR102664696B1 (ko) 2022-04-22 2022-04-22 노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법 및 이를 이용한 돌봄 훈련 보조 로봇 시스템

Publications (2)

Publication Number Publication Date
KR20230150619A KR20230150619A (ko) 2023-10-31
KR102664696B1 true KR102664696B1 (ko) 2024-05-14

Family

ID=88543486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220050225A KR102664696B1 (ko) 2022-04-22 2022-04-22 노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법 및 이를 이용한 돌봄 훈련 보조 로봇 시스템

Country Status (1)

Country Link
KR (1) KR102664696B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160231645A1 (en) 2015-02-11 2016-08-11 Colorado Seminary, Which Owns And Operates The University Of Denver Rear-projected life-like robotic head
KR102045260B1 (ko) 2018-01-17 2019-12-02 대구보건대학교산학협력단 증강현실과 가상현실을 이용한 훈련용 응급처치 시뮬레이션 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101131567B1 (ko) * 2009-12-11 2012-04-04 숭실대학교산학협력단 견인자의 의도를 예측하여 이동하는 이동 로봇 및 상기 이동 로봇을 이동시키는 방법
KR20130053820A (ko) 2011-11-16 2013-05-24 재단법인대구경북과학기술원 아동의 집중력 분석이 가능한 무선네트워크 기반의 아동 교육용 로봇 시스템
KR20200046958A (ko) * 2018-10-26 2020-05-07 차은석 지능정보기술과 가상현실을 이용한 간호사 교육 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160231645A1 (en) 2015-02-11 2016-08-11 Colorado Seminary, Which Owns And Operates The University Of Denver Rear-projected life-like robotic head
KR102045260B1 (ko) 2018-01-17 2019-12-02 대구보건대학교산학협력단 증강현실과 가상현실을 이용한 훈련용 응급처치 시뮬레이션 방법

Also Published As

Publication number Publication date
KR20230150619A (ko) 2023-10-31

Similar Documents

Publication Publication Date Title
Tai et al. Virtual reality for car-detailing skill development: Learning outcomes of procedural accuracy and performance quality predicted by VR self-efficacy, VR using anxiety, VR learning interest and flow experience
Pioggia et al. Human-robot interaction in autism: FACE, an android-based social therapy
Chung Robotic intervention program for enhancement of social engagement among children with autism spectrum disorder
Pulido et al. A socially assistive robotic platform for upper-limb rehabilitation: a longitudinal study with pediatric patients
Shao et al. You are doing great! only one rep left: an affect-aware social robot for exercising
Dhawan et al. Prosthetic rehabilitation training in virtual reality
Quandt Teaching ASL signs using signing avatars and immersive learning in virtual reality
Takacs Special education and rehabilitation: teaching and healing with interactive graphics
García-Vergara et al. Engaging children in play therapy: The coupling of virtual reality games with social robotics
Peña et al. Circus in Motion: a multimodal exergame supporting vestibular therapy for children with autism
Hiramatsu et al. Development of dementia care training system based on augmented reality and whole body wearable tactile sensor
Lin et al. Development and validation of robot patient equipped with an inertial measurement unit and angular position sensors to evaluate transfer skills of nurses
Santos Beyond cognitive and affective issues: Designing smart learning environments for psychomotor personalized learning
Kolivand et al. Review on augmented reality technology
Gaggioli Advanced technologies in rehabilitation: empowering cognitive, physical, social and communicative skills through virtual reality, robots, wearable systems and brain-computer interfaces
Camarillo-Abad et al. An environment for motor skill transfer based on wearable haptic communication
Lee et al. 3d facial pain expression for a care training assistant robot in an elderly care education environment
KR102664696B1 (ko) 노인 돌봄 능력 증진을 위한 돌봄 훈련 보조 로봇의 통증 표현 방법 및 이를 이용한 돌봄 훈련 보조 로봇 시스템
Alves et al. A socially assistive robot to facilitate and assess exercise goals
Robles-Bykbaev et al. An educational support tool based on robotic assistants, mobile apps, and expert systems for children with Down syndrome
Zedda et al. A Cooking Game for Cognitive Training of Older Adults Interacting with a Humanoid Robot.
Pystina et al. Serious game design principles for motor evaluation of patients with neurological diseases
Lee et al. Care Training Assistant Robot and Visual-based Feedback for Elderly Care Education Environment
Mancosu et al. Learning capacity in simulated virtual neurological procedures
Hincapié et al. Using RGBD cameras for classifying learning and teacher interaction through postural attitude

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant