WO2020122485A2 - 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법 - Google Patents
의료 보조서비스를 제공하는 로봇 시스템 및 그 방법 Download PDFInfo
- Publication number
- WO2020122485A2 WO2020122485A2 PCT/KR2019/016787 KR2019016787W WO2020122485A2 WO 2020122485 A2 WO2020122485 A2 WO 2020122485A2 KR 2019016787 W KR2019016787 W KR 2019016787W WO 2020122485 A2 WO2020122485 A2 WO 2020122485A2
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- subject
- robot
- conversation
- steps
- question
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 208000002193 Pain Diseases 0.000 claims abstract description 47
- 230000033001 locomotion Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 238000011084 recovery Methods 0.000 claims abstract description 10
- 239000000428 dust Substances 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 208000024891 symptom Diseases 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 206010013935 Dysmenorrhoea Diseases 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 208000001640 Fibromyalgia Diseases 0.000 claims description 2
- 238000001356 surgical procedure Methods 0.000 abstract description 7
- 230000036541 health Effects 0.000 abstract description 4
- 230000001939 inductive effect Effects 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000001802 infusion Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005021 gait Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 230000035882 stress Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 241000512668 Eunectes Species 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 241000315040 Omura Species 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 241000543375 Sideroxylon Species 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 208000035824 paresthesia Diseases 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000008566 social perception Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Abstract
본 발명은 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 수술 후 회복 및 재활환자를 지원하기 위해 병원 내 의료 및 시설장비와 연계되어 환자의 건강정보를 모니터링하고 및 사용자의 의도를 능동적으로 파악하면서 회복 트레이닝을 제공하는 로봇 시스템과 상기 로봇 시스템을 실행하는 방법에 관한 것이다. 본 발명에 따른 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법은 대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 일상적인 대화를 수행하는 대화생성부(100); 상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보를 추출하는 센서제어부(200); 상기 대상자의 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 전방향 휠을 이용하여 주행하는 로봇주행부(300); 마이크 에러이, RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자 및 발화자의 위치를 추적하고, 상기 대상자와의 일정거리를 유지하면서 수액걸이로 보조하면서 목적지로 이동을 유도하는 객체추적부(400); 상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능한 로봇자세제어부(500); 및 상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려주는 훈련콘텐츠생성부(600);로 구성되는 것을 특징으로 한다.
Description
본 발명은 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 수술 후 회복환자를 지원하기 위해 IoT기기를 기반으로 병원 내 의료 및 시설장비와 연계되어 환자의 건강정보를 모니터링하고 및 회복과 재활 트레이닝을 제공하는 로봇 시스템과 상기 로봇 시스템을 실행하는 방법에 관한 것이다.
인구고령화, 1인 가구의 증가, 개인주의 심화 등 사회적 인식 변화에 따른 의료서비스에 대한 질적 향상이 요구되고 있지만, 의료종사 근무자의 수는 증가하는 환자 수 대비 부족하여 업무 스트레스 증가 및 효율 저하 현상에 직면하고 있는 실정이다. 본 발명은 융합기술의 발전에 따라 인간에 대한 공감과 돌봄의 역할이 더욱 강조되는 미래사회에 비정형화된 의료정보를 통합하고 동반자 역할수행이 가능한 소셜로봇을 이용하여 다양한 사회문제를 해결하는 디지털 헬스케어의 수요 관리에 적극 대응할 수 있는 기술을 개발하고자 한다.
최근, 지능 로봇은 산업분야를 벗어나 국방, 문화, 교육, 의료 등의 다양한 서비스 분야로 적용 범위를 넓히고 있다. 구체적으로, 서비스 로봇이 병원 내 특정 위치로 의약품을 운송하거나, 특정 질환을 가진 대상자와 대화를 수행하는 역할까지 담당하고 있다. 무엇보다도, 로봇의 지능을 표현하는 기술 중 하나는 로봇이 자체적으로 상호작용 대상자를 인지하고 지속적으로 추적하는 것이다.
의료 현장에는 의료진의 업무 효율 증대와 환자를 위한 양질의 서비스 제공을 위해서 다양한 의료서비스 분야에 로봇의 활용이 시도되고 있다. 의료 서비스에 적용되는 로봇의 경우, 수술, 재활 등 전문적인 서비스에 활용되는 로봇과 함께 최근에는 환자의 스트레스 케어를 위한 개인 서비스로봇이 개발되고 있다. 개인 서비스로봇은 가정에서 주로 활용이 가능하지만, 의료기관과 같은 공공기관에서 개별 환자 맞춤형으로 헬스 케어 서비스 적용이 가능하다.
본 발명에서는 병원 공간 내 의료 및 시설장비에 대해 IoT 기반의 다중 인식자원과의 연계기술과 개인 맞춤형 상호작용 수행이 가능한 로봇 보조기술의 융합을 통하여 특정 대상자(노인, 재활 및 수술이후 환자)의 건강정보 모니터링과 사용자의 의도를 능동적으로 파악하면서 회복 트레이닝을 복합적으로 병행하는 시스템을 제공하고자 한다.
본 발명은 상기의 문제점을 해결하기 위해서 안출된 것으로서, 본 발명은 음성정보를 대화문장으로 인식하여 구문을 분석할 수 있는 구성을 통해 대상자와 일상적인 대화를 진행할 수 있는 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다.
*또한, 본 발명은 대상자가 착용하고 있는 디바이스에 포함된 센서를 통해 대상자 및 대상자 환경 정보를 추출하여 개별 환자 케어가 용이한 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 착용형 생체신호 및 핸드제스처를 동시에 인식하고 인식된 정보로부터 대상자의 의료정보를 축적함과 동시에, IoT기기 및 주행명령을 제공할 수 있는 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 카메라, 비콘(Beacon) 등 IoT기기를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇 자세제어 기술을 제공하는 데 그 목적이 있다.
또한, 본 발명은 대상자의 위치정보를 파악하고 일정거리를 유지하면서 수액걸이로 보조하고 상기 대상자의 회복 또는 재활훈련을 유도할 수 있는 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다.
발명이 해결하고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법은,
대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 일상적인 대화를 수행하는 대화생성부(100);
상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보를 추출하는 센서제어부(200);
상기 대상자의 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 전방향 휠을 이용하여 주행하는 로봇주행부(300);
마이크 에러이, RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자 및 발화자의 위치를 추적하고, 상기 대상자와의 일정거리를 유지하면서 수액걸이로 보조하면서 목적지로 이동을 유도하는 객체추적부(400);
상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능한 로봇자세제어부(500); 및
상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려주는 훈련콘텐츠생성부(600);로 구성되는 것을 특징으로 한다.
상기 대화생성부(100)는 상기 대상자의 음성을 인식하는 제1-1단계;
상기 음성을 대화문장으로 인식하는 제1-2단계;
상기 인식된 대화문장을 분석하여 통증과 관련된 단어일 경우 슬롯을 생성하는 제1-3단계;
상기 슬롯의 생성 여부를 판단하는 제1-4단계;
상기 제1-4단계에서 상기 슬롯이 생성된 경우, 기설정된 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계;
상기 제1-4단계에서 상기 슬롯이 생성되지 않은 경우, 기설정된 사용자사전(110)을 이용하여 질문과 답변의 유사도를 측정한 뒤, 상기 유사도가 가장 높은 유사질문을 검색하는 제1-5-2단계;
상기 제1-5-1단계에서 상기 다음 대화 방향이 결정된 경우, 질문을 생성하는 제1-6-1단계;
상기 제1-5-2단계에서 상기 유사도가 가장 높은 유사질문을 검색된 경우, 상기 유사질문을 생성하는 제1-6-2단계;
상기 제1-6-1단계와 제1-6-2단계에서 질문 및 유사질문이 생성된 경우, 문자를 음성으로 변환하는 제1-7단계;를 통해 수행된다.
*상기 대화생성부(100)에서 상기 사용자사전(110)은,
통증의 부위를 확인하는 부위를 질문하는 부위질문;
증상을 확인하는 증상질문;
통증이 심해지는 상황을 확인하는 상황질문;
통증의 강도가 얼마나 심한지 확인하는 강도질문;
통증의 빈도를 확인하는 빈도질문;
아픈 기간을 확인하는 기간질문;
추가적으로 상기 대상자가 통증에 대해 자유롭게 기술하도록 확인하는 후속질문;의 순서로 질문을 제공하되,
상기 상황질문에서 응답이 항시성을 나타내는 단어가 포함되어 있는 경우 상기 기간질문으로 전이하는 것을 특징으로 한다.
또한, 상기 로봇주행부(300)는 상기 대상자가 핸드 제스처를 실행하는 제3-1단계;
로봇이 상기 대상자의 핸드 제스처를 인식하는 제3-2단계;
상기 핸드 제스처를 판단하는 제3-3단계;
상기 핸드 제스처가 간접명령인 경우, 간접제어에 의해 이동 목표를 설정하는 제3-4-1단계;
상기 핸드 제스처가 직접명령인 경우, 직접제어에 의해 이동 방향을 설정하는 제3-4-2단계;
상기 제3-4-1단계 및 제3-4-2단계의 설정을 통해 상기 로봇이 이동하는 제3-5단계;를 통해 수행되는 것을 특징으로 한다.
상기 객체추적부(400)는 카메라의 상기 RGB-D 센서를 통해 상기 대상자의 얼굴을 검출하는 제4-1단계;
상기 검출된 얼굴을 판단하는 제4-2단계;
상기 검출된 얼굴의 좌표를 확인하는 제4-3단계;
상기 검출된 얼굴의 좌표를 기준으로 상기 Pant-tilt 모듈과 상기 카메라의 좌표를 변환하는 제4-4단계;
Pan 각도를 추정하는 제4-5-1단계;
Tilt 각도를 추정하는 제4-5-2단계;
상기 제4-5-1단계 및 제4-5-2단계에서 추정된 Pan각도와 Tilt각도를 이용하여 Pan-Tilt모듈의 응시 정밀도를 측정하는 제4-6단계;를 통해 수행되는 것을 특징으로 한다.
상기 과제의 해결 수단에 의해, 본 발명은 음성정보를 대화문장으로 인식하여 구문을 분석할 수 있는 구성을 통해 대상자와 일상적인 대화와 더불어 문진 대화를 진행할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다.
또한, 본 발명은 대상자와 사회적 상호작용을 수행할 수 있도록 심리 의도 파악이 가능한 의료 보조서비스 로봇 시스템을 제공할 수 있다.
또한, 본 발명은 대상자가 착용하고 있는 디바이스에 포함된 센서를 통해 대상자 및 대상자 환경 정보를 추출하여 개별 환자 케어가 용이한 의료 보조서비스 로봇시스템을 제공할 수 있다.
또한, 본 발명은 핸드제스처를 인식하고 인식된 정보로부터 주행명령을 제공할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다.
또한, 본 발명은 카메라, 비콘(Beacon) 등 IoT기기를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇 자세제어 기술을 제공할 수 있다.
또한, 본 발명은 대상자의 위치정보를 파악하고 일정거리를 유지하면서 수액걸이로 보조하며 상기 대상자의 재활훈련을 유도할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다.
도 1은 본 발명인 의료 보조서비스를 제공하는 로봇시스템을 나타내는 구성도이다.
도 2는 본 발명인 의료 보조서비스를 제공하는 로봇 시스템의 인지제어 방법을 나타낸 구조도이다.
도 3은 대화생성부(100) 실행을 위한 단계별 흐름도이다.
도 4는 사용자사전(110)의 통증어휘사전(intent) 구성에서 통증 어휘에 따른 통증 종류와 강도 간의 관계 도표이다.
도 5은 대화생성부(100)에서 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계(S151)의 실행을 위한 단계별 흐름도이다.
도 6는 대화생성부(100)에서 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계(S151)의 실행을 구체적으로 나타낸 흐름도이다.
도 7은 센서제어부(200)의 구성을 나타낸 구성도이다.
도 8은 로봇주행부(300) 실행을 위한 단계별 흐름도이다.
도 9는 로봇주행부(300)에서 기설정된 직접명령 및 간접명령 핸드 제스처이다.
도 10는 객체추적부(400) 실행을 위한 단계별 흐름도이다.
도 11은 객체추적부(400)에서 RGB-D 센서와 Pan-Tilt 모듈을 이용한 3차원 객체추적 실행의 일실시예를 나타낸 사진이다.
도 12는 객체추적부(400)에서 제4-5-1단계(S451) 및 제4-5-2단계(S452)단계의 Pan 각도 추정 및 Tilt 각도를 추정하는 방식을 나타낸 기하학구성을 나타낸 사진이다.
도 13는 객체추적부(400)에서 거리와 각도별 Pan-Tilt 이미지를 나타낸 일실시예이다.
도 14은 일실시예로 본 발명에 의해 제조되는 의료 보조서비스를 제공하는 로봇의 구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시 예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명하기로 한다.
본 발명에 따른 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법은 도 1에 간략이 구성도로 나타내었다. 본 발명의 구성은 대화생성부(100), 센서제어부(200), 로봇주행부(300), 객체추적부(400), 로봇자세제어부(500), 훈련콘텐츠생성부(600) 및 상기 각 구성을 통합 제어하는 통합시스템(1)으로 구성된다.
먼저, 대화생성부(100)는 대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 일상적인 대화를 수행한다.
상기 대화생성부(100)는 도 3에 나타난 바와 같이, 단계적인 순서에 의해 실행된다.
먼저, 제1-1단계(S110)는 상기 대상자의 음성을 인식한다. 상기 대화생성부(100)는 임베디드 보드를 활용한 대화 테스트 환경을 구축한다. 개발환경으로는 OS는 Ubuntu 16.04LTS. 개발언어는 Python 35.6, 가상환경 Anaconda 4.5.11, 테스트용 API Google Sppech Abril TTS로 마련될 수 있다.
다음으로, 제1-2단계(S120)는 상기 음성을 대화문장으로 인식한다. 상기 음성을 대화문장으로 인식하는 것은, 자연어 처리(Natural Language Processing, NLP) 단계로, 형태소분석, 정보 추출 및 정보요약 등을 통해 인식된다.
다음으로, 제1-3단계(S130)는 상기 인식된 대화문장을 분석한다. 상기 대화문장 분석은 사용자사전(110)을 통해 분석한다. 상기 사용자사전(110)은 통증어휘 분류체계 연구자료 수집 및 분류체계기반 대화매너를 위한 통증 어휘사전(Intent)으로 구성된다. 일실시예로, 통증 어휘에 따른 통증 종류와 강도 간의 관계 도표(황주성, 전지훈, 이영규, 이충민, 박민지, 김현희, “통증 어휘에 따른 통증 종류와 강도 간의 관련성”, 22권, 1호 대한물리치료사학회지, 2015.)를 이용한다.
또한, 상기 사용자사전(110)은 통증질문에 대한 응답처리 체계 구축을 위해서 섬유근육통 진단 설문지(Fibromyalgia impace questionnaire)의 문항을 이용하여 216개 대화쌍을 수집하고 통증어휘 수집용 챗봇 개발 및 통증 어휘를 수집한다. [표 1]에 나타난 바와 같이, 상기 수집한 통증 어휘의 Word2Vec기반 단어를 임베딩 작업 수행하여 분석 한뒤, t-SNE에 의해 상기 수행된 임베딩 작업을 시각화한다.
| Intent(53) : 당김의 활용용언 예시 | #뜨거움 | #타는듯함 |
| #갈림 | #뜨끔함 | #화끈거림 |
| #결림 | #무게감 | #긁히는듯함 |
| #꿈뜸 | #발열감 | #깎이는듯함 |
| #당김 | #뻐근함 | #깨지는듯함 |
| #더딤 | #오싹함 | #빠지는듯함 |
| #둔함 | #우리함 | #삐거덕거림 |
| #무딤 | #찌릿함 | #지지는듯함 |
| #뭉침 | #팽팽함 | #쭈글쭈글함 |
| #뻗침 | #꿈틀거림 | #찌리는듯함 |
| #뻣뻣 | #닭살돋음 | #갈라지는듯함 |
| #소름 | #쏘는듯함 | #건드리는듯함 |
| #쑤심 | #오그라듬 | #꼬집히는듯함 |
| #아픔 | #오므라듬 | #비틀거리는듯함 |
| #저림 | #욱신거림 | #작아지는듯함 |
| #조임 | #일그러짐 | #줄어드는듯함 |
| #둔감함 | #쪼그라듬 | #쪼개지는듯함 |
| #따가움 | #찌그러짐 | #찢어지는듯함 |
| Userexamples(32) | 당기구요 | |
| 당김 | 당기는게 | |
| 땅겨 | 당기는데 | |
| 땡겨 | 당깁니다 | |
| 당겨서 | 땅겨서요 | |
| 당겨요 | 땅기는데 | |
| 당기다 | 땅깁니다 | |
| 땅겨요 | 땡기네요 | |
| 땅기고 | 땡기는데 | |
| 땅기다 | 땡깁니다 | |
| 땡겨요 | 당겨옵니다 | |
| 땡기고 | 땅겨가지고 | |
| 땡기다 | 땅기는군요 | |
| 당김이 심해요 | 땅깁니다만 | |
| 땅기고 그래요 | 땡겨가지고 | |
| 땅겼다 말았다해요 | 땡기신대요 | |
| 당겨와요 | ||
부위, 강도, 빈도, 아픈 상황이나 기간과 관련한 단어를 발견한 경우 상기 대화생성부(100)가 상기 관련 단어를 하나의 구멍(slot)으로 인식한 것으로, 상기 대화생성부(100)에서 상기 슬롯을 생성한 경우 상기 대상자와 대화할 수 있도록 대화 방향을 결정하여 상기 슬롯을 채운다. 상기 슬롯의 생성 여부는 질의 응답에 통증과 관련된 문구를 포함하는지 여부에 따라 판단된다.
다음으로, 제1-5-1단계(S151)는 상기 제1-4단계(S140)에서 상기 슬롯이 생성된 경우, 기설정된 상기 사용자사전(110)을 이용하여 다음 대화 방향을 결정한다. 상기 슬롯이 생성된 경우 상기 슬롯을 채우고 다음 대화 방향을 결정한다.
상기 제1-5-1단계(S151)는 도 5에 나타난 바와 같이, 상기 대화생성부(100)에서 상기 사용자사전(110)에서 부위질문, 증상질문, 상황질문, 강도질문, 빈도질문, 기간질문 및 후속질문의 순서로 질문을 제공한다.
보다 구체적으로, 상기 부위질문은 상기 통증의 부위를 확인하는 부위를 질문한다. 일실시예로, “허리, 목, 어깨 중에 아픈데 있으세요?”로 질문할 수 있다. 상기 증상질문은 상기 통증 부위의 증상을 확인한다. 일실시예로, “증상이 어떠세요?”로 질문할 수 있다. 상기 상황질문은 상기 통증이 심해지는 상황을 확인한다. 일실시예로, “어떻게 하면 통증이 심하나요?”로 질문할 수 있다. 상기 강도질문은 상기 통증의 강도가 얼마나 심한지 확인한다. 일실시예로, “통증은 얼마나 심하나요?”로 질문할 수 있다. 상기 빈도질문은 상기 통증의 빈도를 확인한다. 일실시예로, “통증은 얼마나 자주 있어요?”로 질문할 수 있다. 상기 기간질문은 아픈 기간을 확인한다. 일실시예로, “아픈 기간이 얼마나 됐어요?”로 질문할 수 있다. 상기 후속질문은 추가적으로 상기 대상자가 통증에 대해 자유롭게 기술하도록 확인한다. 일실시예로, “더 자세히 말해 주시겠어요?”로 질문할 수 있다.
또한, 상기 상황질문에서 응답이 항시성을 나타내는 단어가 포함되어 있는 경우 상기 기간질문으로 전이한다. 상기 상황질문에서 상황에 대한 질문에 대한 응답이 항시성을 나타내는 단어가 포함되어 있는 경우, 항상 통증이 강하다는 가정과 주기성이 없다는 가정에 의해 곧바로 통증이 시작된 시점을 묻는 질문으로 전이한다.
상기 사용자사전(110)을 이용하여 다음 대화 방향의 결정은 도 6에 나타난 바와 같이, 상기 부위질문, 증상질문, 상황질문, 강도질문, 빈도질문, 기간질문 및 후속질문의 순서대로 진행될 때, 각 어휘가 포함되는 경우 다음 단계 질문으로 넘어가나, 상기 어휘가 포함되지 않은 경우 다시 질문한다.
또한, 상기 대화생성부(100)에서 상기 사용자사전(110)은 [표 2]에 나타난 바와 같이, 제한적 개방형 질문과 폐쇄형 질문으로 구성할 수 있다.
| 질문(의료진 실제 질문) | 의료대화분석연구에 따른 문항유형 분류 | 정보 |
| 아픈데 있으세요 | 제한적 개방형 | 부위질문 |
| 수술 부위 어떠세요? | 제한적 개방형 | 증상질문 |
| 수술 전에 아프던 곳은 어떠세요? | 제한적 개방형 | 강도질문 |
| 언제부터 아팠어요? | 폐쇄형 | 기간질문 |
| 얼마동안 아파요? | 폐쇄형 | 빈도질문 |
| 언제가 많이 아파요? | 폐쇄형 | 후속질문 |
| 어떻게 하면 아파요? | 폐쇄형 | 상황질문 |
상기 제한적 개방형 질문은 “아픈데 있으세요?”, “수술 부위 어떠세요?”, “수술 전에 아프던 곳은 어떠세요?”를 포함하고, 상기 폐쇄형 질문은 “언제부터 아팠어요?”, “얼마 동안 아파요?”, “얼마나 아파요?”, “언제가 많이 아파요?”, “어떻게 하면 아파요?”를 포함하여 설정되는 것이 바람직하다.
또한, 제1-5-2단계(S152)는 상기 제1-4단계(S140)에서 상기 슬롯이 생성되지 않은 경우, 기설정된 사용자사전(110)을 이용하여 질문과 답변의 유사도를 측정한 뒤, 상기 유사도가 가장 높은 유사질문을 검색한다. 도 5에 나타난 바와 같이, 상기 제1-4단계(S140)에서 상기 대상자의 답변의 유사도의 판단은 상기 사용자사전(110)에 포함된 단어와 비교하여 어휘가 포함 여부를 판단하여 다음 단계의 질문으로 진행여부를 판단한다.
다음으로, 제1-6-1단계(S161)는 상기 제1-5-1단계(S151)에서 상기 다음 대화 방향이 결정된 경우, 질문을 생성한다. 또한, 제1-6-2단계(S162)는 상기 제1-5-2단계에서 상기 유사도가 가장 높은 유사질문을 검색된 경우, 상기 유사질문을 생성한다.
상기 제1-6-1단계(S161) 및 제1-6-2단계(S162)는 도 5 및 도 6의 의해 진행되는 것이 바람직하다.
다음으로, 제1-7단계(S170)는 상기 제1-6-1단계(S161)와 제1-6-2단계(S162)에서 질문 및 유사질문이 생성된 경우, 문자를 음성으로 변환한다.
다음으로, 상기 센서제어부(200)는 상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보를 추출한다.
보다 구체적으로, 상기 센서제어부(200)는 도 7에 나타난 바와 같이, 사물인터넷이 포함된 기기인 사물인터넷부(210), 로봇이 실행하고 상기 통합시스템(1)과 상기 사물인터넷부(210)가 데이터를 송수신하도록 마련된 로봇실행부(230)로 구성된다.
상기 사물인터넷부(210)는 미세먼지를 측정하는 미세먼지측정센서(212), 생체신호를 인식하고 핸드 제스처로 명령어 전달하는 체감형인터페이스(213), 상기 미세먼지측정센서(212)와 체감형인터페이스(213)에서 측정된 센서측정값을 Lora통신 및 BEL통신을 통해 수신 받는 Iot게이트웨이(214), 상기 Iot게이트웨이(214)로부터 센서데이터를 수신 받아 분석하는 MQTT제어부(215) 및 상기 MQTT제어부(215)로부터 On/Off 명령어를 수신 받아 실행하는 공기청정기실행부(211)로 구성된다.
상기 로봇실행부(230)는 상기 MQTT제어부(215)로부터 데이터를 전달받아 스피커 또는 이미지로 출력하여 로봇을 실행한다. 보다 구체적으로, 상기 MQTT제어부(215)로부터 데이터를 전달받고 상기 MQTT제어부(215)에 공기청정기 실행을 위한 명령어를 전달하는 MQTT연결부(221), 상기 MQTT연결부(221)로부터 데이터를 전달받아 상기 통합시스템(1)으로 데이터를 전달하되, 상기 공기청정기 구동을 계획하는 데이터를 요청하는 데이터분석부(222), 상기 통합시스템(1)으로부터 상기 공기청정기 구체적인 구동을 요청하고 상기 공기청정기의 명령어를 명령하는 작업관리부(223), 상기 작업관리부(223)로부터 전달받은 상기 구체적인 구동 요청 데이터를 스피커부(231)와 이미지부(232)로 전달하는 실행부(230), 상기 실행부(230)로부터 구동 요청 데이터를 상기 스피커부(231)에서 음성을 실행하고 상기 이미지부(232)는 이미지화하여 상기 대상자에게 보여주며 선택적으로 선별하여 수행한다. 또한, 상기 스피커부(231)와 이미지부(232)에서 수행한 데이터를 저장하는 데이터저장부로 구성된다.
상기 센서제어부(200)는 앞서 기술된 바와 같이, 상기 대상자의 주위 환경에서 먼지오염도가 높아지면 상기 사물인터넷부(210)가 마련된 공기청정기를 구동하는 기능 이외에도 상기 통합시스템(1)과 연동하여 상기 대상자가 미세먼지가 없거나 공기가 청정한 곳으로 이동해야 하는 경우 상기 로봇주행부(300)를 통해 전방향 휠을 이용하여 상기 로봇의 이동을 통해 상기 대상자를 이동시키도록 연동된다.
상기 체감형인터페이스(213)는 심전도, 근전도, 피부전도도 등의 생체신호를 측정하고 핸드 제스처로 명령어 전달한다. 상기 체감형인터페이스(213)는 로봇 혹은 IoT기기가 제공하는 외부자극을 통한 사용자의 헬스케어 정보를 취득하고, IoT 게이트웨어를 통하여 IoT기기를 제어하거나 로봇을 호출하고 대화를 수행할 수 있다. 일실시예로, 상기 체감형인터페이스(213)와 미세먼지측정센서(212)에 의해 데이터를 전달 받아 상기 스피커부(231)에서는 “많이 건조하신 모양이네요”, “현재 미세먼지 값은 000입니다”, “공기청정기를 켭니다” 등과 같은 음성을 수행하고, 상기 이미지부(232)는 상기 공기청정기의 on/off 화면이나 온도, 습도, 미세먼지 등의 값을 표시한다.
다음으로, 상기 로봇주행부(300)는 상기 대상자의 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 주행한다. 보다 구체적으로, 상기 로봇주행부(300)는 도 8의 나타난 단계에 의해 실행될 수 있다.
먼저, 제3-1단계(S310)는 상기 로봇주행부(300)는 상기 대상자가 핸드 제스처를 실행한다. 상기 핸드 제스처는 도 9에 나타난 바와 같이 실행될 수 있다.
다음으로, 제3-2단계(S320)는 로봇이 상기 대상자의 핸드 제스처를 인식한다. 상기 대상자가 실행한 핸드 제스처를 인식하기 위해 상기 대상자는 암밴드를 착용하고 상기 로봇은 상기 대상자의 암밴드를 통해 인식한다.
다음으로, 제3-3단계(S330)는 상기 핸드 제스처를 판단한다. 상기 핸드 제스처는 기설정된 제스처를 실행하여 판단된다. 일실시예로, 상기 기설정된 제스처는 도 9에 나타난 바와 같이 정의될 수 있다. 기설정된 제스처는 일실시예로 다섯가지로 지정할 수 있으며, 간접명령 및 직접명령을 전환할 수 있는 구성을 포함하는 것이 바람직하다. 상기 기설정된 제스처는 다양한게 설명될 수 있다.
다음으로, 제3-4-1단계(S341)는 상기 핸드 제스처가 간접명령인 경우, 상기 간접제어에 의해 이동 목표를 설정한다. 상기 제3-4-1단계(S341)의 간접명령은 GVD(General Voronoi Diagram)의 수행을 통하여 기구성된 제2지도서버에 상기 로봇 이동경로 상에서 발생하는 주요 분기점인 노드와 상기 노드간 연결선인 엣지 정보를 생성한 후 상기 로봇이 위치한 지점에서 가장 가까운 노드를 탐색한 후 이웃하는 엣지들을 후보로 하여, 상기 대상자가 제스처를 수행하면 이동 방향을 설정된다. 상기 제2지도서버 작성에 필요한 시뮬레이션 환경을 확인하고, 상기 노드와 엣지를 설정한다. 이후, 상기 주어진 노드와 엣지를 통해 상기 대상자의 간접명령에 의해 이동 목표를 설정한 뒤 이동 방향을 알려준다.
다음으로, 제3-4-2단계(S342)는 상기 핸드 제스처가 직접명령인 경우, 직접제어에 의해 이동 방향을 설정한다. 상기 제3-4-2단계(S342)의 직접명령은 전진, 후진, 좌회전, 우회전 및 상기 간접명령 전환으로 구성된다.
다음으로, 제3-5단계(S350)는 상기 제3-4-1단계(S341) 및 제3-4-2단계(S342)의 설정을 통해 상기 로봇이 이동한다. 도 7에 나타난 바와 같이, 사용자는 제1지도서버(310)에서 제공하는 맵정보를 통하여 로봇이 이동 가능한 영역을 표시하게 되고, 제2지도서버(320)에서는 로봇이 유의미하게 이동할 후보위치 정보를 인터페이스 비쥬얼라이저를 통하여 시각화하게 된다. 여기서, 유의미한 이동 후보 위치란 방, 거실, 주방, 냉장고 앞, TV 근처 등의 시맨틱(의미론적)정보를 나타낸다.
도 2에 나타난 바와 같이, 카메라, 비콘(Beacon) 등 IoT기기는 상기 Iot게이트웨이(214)를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇의 자세제어 기술을 나타낸다.
다음으로, 상기 객체추적부(400)는 RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자의 위치를 추적하고, 수액걸이로 보조하며 상기 대상자와의 일정거리를 유지하면서 목적지로 이동을 유도한다. 보다 구체적으로, 상기 객체추적부(400)는 도 10에 나타난 단계별 흐름도에 의해 실행될 수 있다.
제4-1단계(S410)는 카메라의 상기 RGB-D 센서를 통해 상기 대상자의 얼굴을 검출한다.
제4-2단계(S420)는 상기 검출된 얼굴을 판단한다. 상기 제4-2단계(S420)에서 화면 내 얼굴이 검출되는 경우, 아래 제4-3단계(S430)으로 진행하고, 화면 내 얼굴이 검출되지 않는 경우 다시 처음으로 돌아가서 얼굴을 검출한다. 상기 대상자의 얼굴은 Haar-like feature에 기반한 알고리즘으로 구성된 Haar-cascade로 검출한다.
제4-3단계(S430)는 상기 검출된 얼굴의 좌표를 확인한다. 상기 Haar-cascade로 검출된 얼굴을 Depth 이미지로부터 검출된 얼굴의 3차원 위치 정보를 추정한다.
제4-4단계(S440)는 상기 검출된 얼굴의 좌표를 기준으로 상기 Pant-Tilt 모듈과 상기 카메라의 좌표를 변환한다. 상기 RGB-D 센서와 상기 Pant-Tilt 모듈 간의 기하학적 구성을 이용하여 상기 대상자 얼굴의 좌표를 기준으로 상기 Pant-Tilt 모듈과 상기 카메라의 좌표를 변환한다.
제4-5-1단계(S451)는 Pan 각도를 추정한다. 상기 Pan 각도는 3차원 공간상에서 로봇의 현재 포즈와 추적 대상자의 얼굴이 위치하는 수평위치 오차 각도를 지칭하며, 로봇의 Pan-Tilt모듈에서 상기 Pan 각도만큼 수평이동하면 로봇이 사용자를 바라보는 효과를 볼 수 있다.
제4-5-2단계(S452)는 Tilt 각도를 추정한다. 여기서 Tilt 각도는 3차원 공간상에서 로봇의 현재 포즈와 추적 대상자의 얼굴이 위치하는 수직위치 오차 각도를 지칭하며, 로봇의 Pan-Tilt 모듈에서 상기 Tilt 각도만큼 수직이동하면 로봇이 사용자의 얼굴을 바라보는 효과를 볼 수 있다. 사용자가 Tilt의 일정 각도 이상을 벗어나거나 로봇이 사용자와의 눈높이 상호작용을 수행하기 위해서 도 2의 Lift tracker가 로봇의 헤드부분의 높이를 조절하게 된다.
상기 객체추적부(400)는, 도 12에 나타난 바와 같이, 상기 Pan-Tilt의 좌표를 
라 하고 상기 검출된 얼굴의 좌표를 
라 할 때, 상기 제4-5-1단계(S451)에서 Pan 각도는 
에 의해 추정하고, 상기 제4-5-2단계(S452)에서 Tilt 각도는 
에 의해 추정된다. 도 13에 나타난 바와 같이, Pan-Tilt 모듈에 장착된 카메라를 이용하여 거리, 각도별 응시 제어 결과를 나타내었다.
제4-6단계(S460)는 상기 제4-5-1단계(S451) 및 제4-5-2단계(S452)에서 추정된 Pan각도와 Tilt각도를 이용하여 Pan-Tilt모듈의 응시 정밀도를 측정한다.
상기 Pan-Tilt모듈의 응시 정밀도는 모듈에 장착된 카메라의 이미지 중심으로부터 일정 화소영역 이내에 사용자의 얼굴 중심점이 위치하는지를 통하여 결정된다.
다음으로, 상기 로봇자세제어부(500)는 상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능하다. 상기 로봇자세제어부(500)는 상기 객체추적부(400)와 마찬가지로 RGB-D 센서와 Pan-tilt 모듈을 통해 상기 대상자의 눈높이를 확인하여 상기 로봇의 눈에 해당하는 부분을 상기 대상자의 눈높이와 유사하게 위치시키고 상기 대상자의 눈과 마주볼 수 있도록 포즈를 실시한다.
다음으로, 상기 훈련콘텐츠생성부(600)는 상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려준다. 상기 훈련콘텐츠생성부(600)는 병원 또는 재활 훈련센터 등에서 제공하는 상기 대상자의 진료 기록 데이터와 의료진의 데이터를 송수신받아 콘텐츠를 생성할 수 있다.
상기 훈련콘텐츠생성부(600)는 보행분석, 수술 후 신체반응확인, 정신질환관리서비스, 모션측정태그, 의료진코멘트 제공 및 수액측정센서로 구성될 수 있다.
상기 보행분석은 상기 대화생성부(100)에서 분석된 데이터와 상기 로봇주행부(300) 및 객체추적부(400)에 의해 수행될 수 있다. 상기 대화생성부(100)에서 분석된 상기 대상자의 통증 정도를 확인한 후, 상기 로봇주행부(300) 및 객체추적부(400)를 통해 상기 대상자의 재활 훈련 코스 및 위치를 안내한다. 또한, 상기 센서제어부(200)를 이용하여 유도 발자국의 걸음일치성, 보폭수 및 걸음속도의 보행분석을 통해 상기 대상자의 현재 상태를 피드백 제어하여 재활 콘텐츠를 업데이트 한다.
상기 수술 후 신체반응 확인은 상기 센서제어부(200) 및 객체추적부(400)의 데이터에 의해 수행될 수 있다. 상기 센서제어부(200)의 체감형인터페이스(213)와 상기 객체추적부(400)에 의해 수술 직후 다리, 팔 움직임 등의 반응을 확인하고 결과를 간호기록지에 입력한다.
상기 정신질환관리서비스는 상기 대화생성부(100)에 의해 환자와의 대화를 진행하고, 우울증, 치매 등의 판별하여 의료진에게 전달한다.
상기 모션측정태그는 상기 센서제어부(200)의 체감형인터페이스(213)에 의해 행동을 분석하여 위험 상황시 상기 스피커부(231)를 이용하여 긴급 알림을 실시하고 상기 객체추적부(400)에 의해 상기 대상자의 위치를 전송한다.
상기 의료진코멘트 제공은 상기 대화생성부(100)를 이용하여 진료/수술 등의 안내 및 안내 사항에 대한 의료진의 코멘트를 상기 대상자에게 전달한다.
상기 수액측정 센서는 상기 센서제어부(200)에 의해 수액이 기설정된 잔량 이하인 경우 의료진에게 상기 스피커부(231)을 통해 교체 알람을 전달한다.
도 14에 나타난 바와 같이, 일실시예로서 본 발명에 의해 제조되는 의료 보조서비스를 제공하는 로봇은 헤드부, 상체부, 하체부로 구성될 수 있다.
상기 헤드부는 상단에 상기 대상자의 수액을 걸어둘 수 있는 수액걸이, 상기 Pan-Tilt모듈이 마련된 카메라 및 얼굴모양 및 정보제공이 가능한 모니터, 상기 Pan-Tilt모듈은 상기 대상자를 지속적으로 추적하기 위해 수평(pan) 수직(tilt) 방향으로 회전할 수 있도록 마련된 것으로, 상기 헤드부를 대화 대상자로 지향할 수 있는 Pan-Tilt 트래커(tracker)가 마련될 수 있다.
상기 상체부는 상기 로보자세제어부(500)에 의해 상기 대상자와 눈높이를 맞출 수 있도록 상하좌우 이동되는 리프트 트래커(tracker)가 마련될 수 있다. 상기 상체부는 상기 하체부와 이동과 관계없이 상기 대상자와의 면대면 상호작용을 독자적으로 수행하기 위한 회전 및 리프팅 기능을 포함하고 있으며, 상기 상체부와 상기 Pan-Tilt모듈간의 수평각도의 오차를 보완한다.
상기 하체부는 상기 로봇을 전후좌우 이동 및 회전하는 전방향 휠이 마련될 수 있다. 상기 전방향 휠을 이용하여 앞뒤 뿐만 아니라 좌우 이동 및 회전이 가능하며 장애물을 손쉽게 피하면서 상기 대상자와의 일정 거리를 유지할 수 있다.
상기 과제의 해결 수단에 의해, 본 발명은 음성정보를 대화문장으로 인식하여 구문을 분석할 수 있는 구성을 통해 대상자와 일상적인 대화와 더불어 문진 대화를 진행할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다.
또한, 본 발명은 대상자와 사회적 상호작용을 수행할 수 있도록 심리 의도 파악이 가능한 의료 보조서비스 로봇 시스템을 제공할 수 있다.
또한, 본 발명은 대상자가 착용하고 있는 디바이스에 포함된 센서를 통해 대상자 및 대상자 환경 정보를 추출하여 개별 환자 케어가 용이한 의료 보조서비스 로봇시스템을 제공할 수 있다.
또한, 본 발명은 핸드제스처를 인식하고 인식된 정보로부터 주행명령을 제공할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다.
또한, 본 발명은 카메라, 비콘(Beacon) 등 IoT기기를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇 자세제어 기술을 제공할 수 있다.
또한, 본 발명은 대상자의 위치정보를 파악하고 일정거리를 유지하면서 수액걸이로 보조하며 상기 대상자의 재활훈련을 유도할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
[부호의 설명]
1. 통합시스템
100. 대화생성부
110. 사용자사전
200. 센서제어부
210. 사물인터넷부
211. 공기청정기실행부
212. 미세먼지측정센서
214. Iot게이트웨이
215. MQTT제어부
221. MQTT연결부
222. 데이터분석부
223. 작업관리부
230. 실행부
231. 스피커부
232. 이미지부
233. 데이터저장부
300. 로봇주행부
310. 제1지도서버
320. 제2지도서버
400. 객체추적부
500. 로봇자세제어부
600. 훈련콘텐츠생성부
S110. 대화생성부(100)에서 음성인식하는 제1-1단계
S120. 대화생성부(100)에서 자연어를 처리하는 제1-2단계
S130. 대화생성부(100)에서 문장을 분석하는 제1-3단계
S140. 대화생성부(100)에서 슬롯 생성여부를 판단하는 제1-4단계
S151. 대화생성부(100)에서 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계
S152. 대화생성부(100)에서 사용자사전(110)을 이용하여 Q&A 유사도를 측정하는 제1-5-2단계
S161. 대화생성부(100)에서 제1-5-1단계 실시후 응답을 생성하는 제1-6-1단계
S162. 대화생성부(100)에서 제1-5-2단계 실시후 유사질문을 생성하는 제1-6-2단계
S170. 대화생성부(100)에서 제1-6-1단계 및 제1-6-2단계를 실시후 문자음성을 자동변환하는 제1-7단계
S310. 로봇주행부(300)에서 제스처를 실행하는 제3-1단계
S320. 로봇주행부(300)에서 제스처를 인식하는 제3-2단계
S330. 로봇주행부(300)에서 제스처를 판단하는 제3-3단계
S341. 로봇주행부(300)에서 간접명령을 실행하는 제3-4-1단계
S342. 로봇주행부(300)에서 직접명령을 실행하는 제3-4-2단계
S350. 로봇주행부(300)에서 로봇의 이동을 실행하는 제3-5단계
S410. 객체추적부(400)에서 RGB-D센서를 이용하여 얼굴을 검출하는 제4-1단계
S420. 객체추적부(400)에서 화면 내 얼굴 검출을 판단하는 제4-2단계
S430. 객체추적부(400)에서 검출된 얼굴의 좌표를 확인하는 제4-3단계
S440. 객체추적부(400)에서 Pan-Tilt모듈과 객체 간 좌표로 변환하는 제4-4단계
S451. 객체추적부(400)에서 Pan 각도를 추정하는 제4-5-1단계
S452. 객체추적부(400)에서 Tilt 각도를 추정하는 제4-5-2단계
S460. 객체추적부(400)에서 Pan-Tilt모듈의 응시 정밀도를 측정하는 제4-6단계
Claims (10)
- 대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 일상적인 대화를 수행하는 대화생성부(100);상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보 추출 및 제어하는 센서제어부(200);상기 대상자의 호출 및 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 주행하는 로봇주행부(300);RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자의 위치를 추적하고, 상기 대상자와의 일정거리를 유지하면서 목적지로 이동을 유도하는 객체추적부(400);상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능한 로봇자세제어부(500); 및상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려주는 훈련콘텐츠생성부(600);로 구성되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
- 제 1항에 있어서,상기 대화생성부(100)는,상기 대상자의 음성을 인식하는 제1-1단계;상기 음성을 대화문장으로 인식하는 제1-2단계;상기 인식된 대화문장을 분석하여 통증과 관련된 단어일 경우 슬롯을 생성하는 제1-3단계;상기 슬롯의 생성 여부를 판단하는 제1-4단계;상기 제1-4단계에서 상기 슬롯이 생성된 경우, 기설정된 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계;상기 제1-4단계에서 상기 슬롯이 생성되지 않은 경우, 기설정된 사용자사전(110)을 이용하여 질문과 답변의 유사도를 측정한 뒤, 상기 유사도가 가장 높은 유사질문을 검색하는 제1-5-2단계;상기 제1-5-1단계에서 상기 다음 대화 방향이 결정된 경우, 질문을 생성하는 제1-6-1단계;상기 제1-5-2단계에서 상기 유사도가 가장 높은 유사질문을 검색된 경우, 상기 유사질문을 생성하는 제1-6-2단계;상기 제1-6-1단계와 제1-6-2단계에서 질문 및 유사질문이 생성된 경우, 문자를 음성으로 변환하는 제1-7단계;를 통해 수행되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
- 제 2항에 있어서,상기 대화생성부(100)에서 상기 사용자사전(110)은,섬유근육통진단설문지(Fibromyalgia Impact Questionnaire)을 바탕으로 설정되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
- 제 1항에 있어서,상기 대화생성부(100)에서 상기 사용자사전(110)은,통증의 부위를 확인하는 부위를 질문하는 부위질문;증상을 확인하는 증상질문;통증이 심해지는 상황을 확인하는 상황질문;통증의 강도가 얼마나 심한지 확인하는 강도질문;통증의 빈도를 확인하는 빈도질문;아픈 기간을 확인하는 기간질문;추가적으로 상기 대상자가 통증에 대해 자유롭게 기술하도록 확인하는 후속질문;의 순서로 질문을 제공하되,상기 상황질문에서 응답이 항시성을 나타내는 단어가 포함되어 있는 경우 상기 기간질문으로 전이하는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
- 제 1항에 있어서,상기 센서제어부(200)는,미세먼지를 측정하는 미세먼지측정센서(212);상기 대상자의 생체신호를 측정하거나 핸드 제스처로 인식된 명령어를 인식하는 체감형인터페이스(213);상기 미세먼지측정센서(212) 및 체감형인터페이스(213)에서 측정되거나 인식된 데이터를 통신을 통해 수신받는 Iot게이트웨이(214);상기 Iot게이트웨이(214)로부터 센서데이터를 수신받아 분석하는 MQTT제어부(215);상기 MQTT제어부(215)로부터 On/Off 명령어를 수신받아 실행하는 공기청정기실행부(211);상기 MQTT제어부(215)로부터 데이터를 전달받아 스피커 또는 이미지로 출력하여 로봇을 실행하는 로봇실행부(230);로 구성되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
- 제 1항에 있어서,상기 로봇주행부(300)는,상기 대상자가 핸드 제스처를 실행하는 제3-1단계;로봇이 상기 대상자의 핸드 제스처를 인식하는 제3-2단계;상기 핸드 제스처를 판단하는 제3-3단계;상기 핸드 제스처가 간접명령인 경우, 간접제어에 의해 이동 목표를 설정하는 제3-4-1단계;상기 핸드 제스처가 직접명령인 경우, 직접제어에 의해 이동 방향을 설정하는 제3-4-2단계;상기 제3-4-1단계 및 제3-4-2단계의 설정을 통해 상기 로봇이 이동하는 제3-5단계;를 통해 수행되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
- 제 6항에 있어서,상기 제3-4-2단계의 직접명령은,전진, 후진, 좌회전, 우회전 및 상기 간접명령 전환으로 구성되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
- 제 6항에 있어서,상기 제3-4-1단계의 간접명령은,GVD(General Voronoi Diagram)의 수행을 통하여 기구성된 제2지도서버에 상기 로봇 이동경로 상에서 발생하는 주요 이동 후보위치의 분기점인 노드와 상기 노드간 연결선인 엣지 정보를 생성한 후,상기 로봇이 위치한 지점에서 가장 가까운 노드를 탐색한 후 이웃하는 엣지들을 후보로 하여 상기 대상자가 제스처를 수행하면 이동 방향을 설정하는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
- 제 1항에 있어서,상기 객체추적부(400)는,카메라의 상기 RGB-D 센서를 통해 상기 대상자의 얼굴을 검출하는 제4-1단계;상기 검출된 얼굴을 판단하는 제4-2단계;상기 검출된 얼굴의 좌표를 확인하는 제4-3단계;상기 검출된 얼굴의 좌표를 기준으로 상기 Pant-tilt 모듈과 상기 카메라의 좌표를 변환하는 제4-4단계;Pan 각도를 추정하는 제4-5-1단계;Tilt 각도를 추정하는 제4-5-2단계;상기 제4-5-1단계 및 제4-5-2단계에서 추정된 Pan각도와 Tilt각도를 이용하여 Pan-Tilt모듈의 응시 정밀도를 측정하는 제4-6단계;를 통해 수행되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
- 제 9항에 있어서,상기 객체추적부(400)는,상기 Pan-Tilt의 좌표를라 하고
상기 검출된 얼굴의 좌표를라 할 때,
상기 제4-5-1단계에서 Pan 각도는에 의해 추정하고,
상기 제4-5-2단계에서 Tilt 각도는에 의해 추정하는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2018-0161669 | 2018-12-14 | ||
| KR1020180161669A KR102261797B1 (ko) | 2018-12-14 | 2018-12-14 | 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| WO2020122485A2 true WO2020122485A2 (ko) | 2020-06-18 |
| WO2020122485A3 WO2020122485A3 (ko) | 2021-02-25 |
Family
ID=71077424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2019/016787 WO2020122485A2 (ko) | 2018-12-14 | 2019-11-29 | 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102261797B1 (ko) |
| WO (1) | WO2020122485A2 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT202100013871A1 (it) | 2021-05-27 | 2021-08-27 | Innova S R L | Sistema d'ausilio motorio |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102230493B1 (ko) | 2020-08-20 | 2021-03-23 | 주식회사 씨디에스 | O2o 기반의 노노케어 시스템 및 그 운영방법 |
| KR102256156B1 (ko) * | 2020-10-29 | 2021-05-25 | 의료법인 명지의료재단 | 소독 스테이션을 구비하는 원격 진단 시스템 |
| KR102522172B1 (ko) * | 2021-01-22 | 2023-04-14 | 가톨릭대학교 산학협력단 | 사전 문진용 음성 분석을 통한 주관적 통증의 임상 연계성 분석 시스템 |
| KR102552174B1 (ko) * | 2021-03-04 | 2023-07-06 | 신라대학교 산학협력단 | 의료서비스로봇의 인간과 면대면 상호작용 수행 방법 및 이를 이용한 원격 모니터링이 가능한 의료서비스 로봇 시스템 |
| KR102597000B1 (ko) * | 2021-04-26 | 2023-10-31 | 한국로봇융합연구원 | 수술 환자 문진 장치 및 이를 통한 환자 상태 정보 수집 방법 |
| KR102461691B1 (ko) | 2021-12-28 | 2022-11-01 | 주식회사 휠라인 | 돌봄 로봇 |
| KR20240029717A (ko) | 2022-08-26 | 2024-03-06 | (주)공생 | 이승보조기와 로봇을 이용한 병원내 환자 이동 시스템 |
| KR102614706B1 (ko) | 2022-12-07 | 2023-12-14 | 의료법인 건강한의료재단 | 요양병원 간호 로봇 서비스 시스템 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020015621A (ko) | 2000-08-22 | 2002-02-28 | 홍영표 | 의료서비스보조용 통신시스템과 그러한 시스템에 이용되는컴퓨터시스템 및 그러한 시스템을 이용한 데이터전송방법 |
| JP2006285425A (ja) * | 2005-03-31 | 2006-10-19 | Mitsubishi Heavy Ind Ltd | ロボットを用いたヘルスケアサービスシステム |
| KR101330046B1 (ko) * | 2011-09-19 | 2013-11-18 | 한국산업기술대학교산학협력단 | 고령자의 일상생활지원을 위한 보행보조로봇을 이용한 고령자의 기억 보조 시스템, 및 보행보조로봇을 이용한 고령자의 기억 보조 방법 |
| US9694496B2 (en) * | 2015-02-26 | 2017-07-04 | Toyota Jidosha Kabushiki Kaisha | Providing personalized patient care based on electronic health record associated with a user |
| KR101971582B1 (ko) * | 2016-11-16 | 2019-08-13 | 한국과학기술원 | 사용자 대화 의도 추출 기능 구비 채트봇을 활용한 헬스케어 지침 제공 방법 및 이를 위한 장치 |
-
2018
- 2018-12-14 KR KR1020180161669A patent/KR102261797B1/ko active IP Right Grant
-
2019
- 2019-11-29 WO PCT/KR2019/016787 patent/WO2020122485A2/ko active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT202100013871A1 (it) | 2021-05-27 | 2021-08-27 | Innova S R L | Sistema d'ausilio motorio |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200081520A (ko) | 2020-07-08 |
| KR102261797B1 (ko) | 2021-06-07 |
| WO2020122485A3 (ko) | 2021-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020122485A2 (ko) | 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법 | |
| Yang et al. | Mind control of a robotic arm with visual fusion technology | |
| WO2019214445A1 (zh) | 提高注意力的教学方法、装置及计算机可读存储介质 | |
| WO2019201215A1 (zh) | 课堂评测方法、装置及计算机可读存储介质 | |
| WO2015115681A1 (ko) | 표정 동작사전을 이용한 표정인식 방법 및 장치 | |
| WO2019132614A1 (ko) | 수술영상 분할방법 및 장치 | |
| WO2020059939A1 (ko) | 인공지능 장치 | |
| WO2018174507A1 (ko) | 가상현실을 이용한 신경질환 진단 장치 및 방법 | |
| WO2021033827A1 (ko) | 딥러닝 모듈을 이용한 발달장애 개선 시스템 및 방법 | |
| WO2020233055A1 (zh) | 基于活体检测的产品推广方法、装置、设备及存储介质 | |
| Shinde et al. | A review: eye tracking interface with embedded system & IOT | |
| Boissy et al. | Usability testing of a mobile robotic system for in-home telerehabilitation | |
| Pandey et al. | Assistance for paralyzed patient using eye motion detection | |
| Karpov et al. | Architecture of a wheelchair control system for disabled people: towards multifunctional robotic solution with neurobiological interfaces | |
| WO2017090815A1 (ko) | 관절 가동 범위를 측정하는 장치 및 방법 | |
| WO2020060311A1 (en) | Electronic device and method for providing or obtaining data for training thereof | |
| EP3785258A1 (en) | Electronic device and method for providing or obtaining data for training thereof | |
| Zlatintsi et al. | Social human-robot interaction for the elderly: two real-life use cases | |
| Fotinea et al. | The MOBOT human-robot communication model | |
| Gross et al. | Action verb corpus | |
| WO2023140585A1 (ko) | 인공지능을 이용한 치열 진단 시스템 및 그 방법 | |
| CN208823336U (zh) | 一种下肢康复治疗机器人的人机交互系统 | |
| Paulo et al. | An innovative robotic walker for mobility assistance and lower limbs rehabilitation | |
| Miyake et al. | Skeleton recognition-based motion generation and user emotion evaluation with in-home rehabilitation assistive humanoid robot | |
| WO2016099049A1 (ko) | 웨어러블 장치 및 이를 이용한 정보 입력 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19895929 Country of ref document: EP Kind code of ref document: A2 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19895929 Country of ref document: EP Kind code of ref document: A2 |