KR20220109694A - 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법 - Google Patents

반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220109694A
KR20220109694A KR1020210013011A KR20210013011A KR20220109694A KR 20220109694 A KR20220109694 A KR 20220109694A KR 1020210013011 A KR1020210013011 A KR 1020210013011A KR 20210013011 A KR20210013011 A KR 20210013011A KR 20220109694 A KR20220109694 A KR 20220109694A
Authority
KR
South Korea
Prior art keywords
companion robot
living alone
elderly living
server
companion
Prior art date
Application number
KR1020210013011A
Other languages
English (en)
Inventor
안성우
이경용
Original Assignee
경남정보대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경남정보대학교 산학협력단 filed Critical 경남정보대학교 산학협력단
Priority to KR1020210013011A priority Critical patent/KR20220109694A/ko
Publication of KR20220109694A publication Critical patent/KR20220109694A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

본 발명은 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법에 관한 것으로, 보다 구체적으로는, 정해진 패턴의 대화만 하는 것이 아닌 육성 시나리오 기반 반려 로봇을 제공하며, AI 반려로봇은 육성형 AI로써 어린 존재부터 점차 성장해 나가며 사용자의 행동, 의사소통 데이터를 수집하여 개인에 맞게 성장하는 시스템을 제공할 뿐만 아니라, 집안에 사용자에 해당하는 독거 노인 등을 지속적으로 모니터링 하여 비상 상황 발생시 응급 대응으로 홀로 지내는 사람들에게 필수 헬퍼케어 플랫폼으로 활용하도록 하기 위한 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템에 관한 것이다.

Description

반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법{Service system for the elderly living alone using companion robots, and method thereof}
본 발명은 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법에 관한 것으로, 보다 구체적으로는, 정해진 패턴의 대화만 하는 것이 아닌 육성 시나리오 기반 반려 로봇을 제공하며, AI 반려로봇은 육성형 AI로써 어린 존재부터 점차 성장해 나가며 사용자의 행동, 의사소통 데이터를 수집하여 개인에 맞게 성장하는 시스템을 제공할 뿐만 아니라, 집안에 사용자에 해당하는 독거 노인 등을 지속적으로 모니터링 하여 비상 상황 발생시 응급 대응으로 홀로 지내는 사람들에게 필수 헬퍼케어 플랫폼으로 활용하도록 하기 위한 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법에 관한 것이다.
노화가 진행되면서 노인들은 신체적 및 정신적 건강 문제가 발생한다.
먼저, 신체적 건강 문제로 노화가 진행되면서 신체적 기능 저하로, 신체 기능 저하로 인한 낙상과 같은 안전 사고를 경험하거나, 기억력 감퇴로 인한 올바른 약복용이 불가하여 복양 시 도움이 필요로 하며, 언젠가는 받아 들여야 할 힘든 노년, 노인의 약 71%가)가 건강에 문제를 느끼고 있고, 독거 노인 중 89.8%가 약을 복용하고 있다.
한편, 정신적 건강 문제로 공허함과 소외감을 느끼며 정신적 건강 문제가 함께 대두되며, 심리적 외로움을 경험하며, 우울증으로 이어지거나, 잘못된 약 복용과 우울증은 치매 발병률을 높일 수 있다.
이에 따라 해당 기술분야에 있어서는 어떻게 하면, 사회적으로 사각지대에 놓여있는 홀몸 어르신의 일상에 안전과 활기를 되찾아줄 수 있도록 하기 위한 기술개발이 요구되고 있다.
국내 등록특허공보 제10-1668472호(2016년 10월 21일 공고) 스마트 리마인더 시스템, 이를 이용한 학습 리마인드 방법
본 발명은 상기의 문제점을 해결하기 위한 것으로, 정해진 패턴의 대화만 하는 것이 아닌 육성 시나리오 기반 반려 로봇을 제공하며, AI 반려로봇은 육성형 AI로써 어린 존재부터 점차 성장해 나가며 사용자의 행동, 의사소통 데이터를 수집하여 개인에 맞게 성장하는 시스템을 제공하도록 하기 위한 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 집안에 사용자에 해당하는 독거 노인 등을 지속적으로 모니터링 하여 비상 상황 발생시 응급 대응으로 홀로 지내는 사람들에게 필수 헬퍼케어 플랫폼으로 활용하도록 하기 위한 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템은, 센서를 부착하고 사용자인 독거 노인과의 교감을 담당하는 반려 로봇(100); 및 반려 로봇(100)으로부터 센싱 정보를 수신하는 클라우드 서버(310)를 구비한 서버(300); 을 포함하며, 반려 로봇(100)와 서버(300)가 네트워크(200)를 통해 연결되어 외부의 정보를 수신하고 센싱 정보를 보호자 보호자 단말(400) 상에 설치된 스마트폰 앱, 관제 대시보드에 전달함으로써, 독거 노인의 상황을 실시간으로 모니터링할 수 있는 정보를 제공할 수 있다.
이때, 반려 로봇(100)은, 압력센서, 온습도 센서 및 PIR(Passive Infrared Sensor) 센서로 이루어짐으로써, 사용자 현재 상태를 측정하여 네트워크(200)를 통해 서버(300)의 DB(300a)에 저장함으로써, 생활환경 및 패턴 관리를 가능하도록 하는 감각인식 모듈(120); 카메라와 서보모터로 이루어짐으로써, 영상인식 및 낙상 판별을 하며, PIR 센서와 함께 활동량 측정하는 영상인식 모듈(140); 스피커와 마이크로 이루어짐으로써, 음성인식 및 커뮤니케이션 기능을 수행하는 음성인식 모듈(110); 및 음성인식 모듈(110), 감각인식 모듈(120), 영상인식 모듈(140)을 제어하는 메인모듈(130); 을 포함하는 것을 특징으로 할 수 있다.
또한, 반려 로봇(100)은, 카메라의 시야각이 0 내지 180도 회전해서 모니터링 할 수 있도록 요구사항에 맞게 머리와 몸통을 분리 제작하고, 눈은 카메라가 형성되며, 귀는 마이크가 외부로 노출되도록 제작되는 것을 특징으로 할 수 있다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 제공 방법은, 서버(300)가 센서를 부착하고 사용자인 독거 노인과의 교감을 담당하는 반려 로봇(100)으로부터 센싱 정보를 수신하는 제 1 단계; 및 서버(300)가 반려 로봇(100)으로부터 수신된 센싱 정보를 보호자 보호자 단말(400) 상에 설치된 스마트폰 앱, 관제 대시보드에 전달함으로써, 독거 노인의 상황을 실시간으로 모니터링할 수 있는 정보를 제공하는 제 2 단계; 를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템은, 정해진 패턴의 대화만 하는 것이 아닌 육성 시나리오 기반 반려 로봇을 제공하며, AI 반려로봇은 육성형 AI로써 어린 존재부터 점차 성장해 나가며 사용자의 행동, 의사소통 데이터를 수집하여 개인에 맞게 성장하는 시스템을 제공하도록 하기 위한 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템을 제공할 수 있는 효과가 있다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템은, 집안에 사용자에 해당하는 독거 노인 등을 지속적으로 모니터링 하여 비상 상황 발생시 응급 대응으로 홀로 지내는 사람들에게 필수 헬퍼케어 플랫폼으로 활용하도록 할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1)에 사용되는 반려 로봇(100)을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1)을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 반려 로봇 초기 설정 시퀀스 다이어그램을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 응급 상황 처리 시퀀스 다이어그램을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 반려 로봇(100)의 소프트웨어 구성을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상의 반려 로봇(100)에 의한 영상 인식 기술 적용을 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 메인모듈(130)에 의한 독거 노인의 Head Point 추출 과정에 대해서 살펴본다.
도 9은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 낙상 알고리즘 고도화 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서의 서버(300)가 제공하는 이용자인 독거 노인의 음성을 텍스트로 변환해주는 API의 흐름도이다.
도 11은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 반려 로봇(100)에 의한 말벗 기능 구현을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 제공하는 사용자 관리 대시보드 기능을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 응급상황 알림 및 사용자 관리 대시보드의 기능을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 실시간 활동량 모니터링을 설명하기 위한 도면이다.
도 15는 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 반려 로봇(100)의 초기설정 과정을 나타내는 도면이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1)에 사용되는 반려 로봇(100)을 나타내는 도면이다. 도 1을 참조하면, 반려 로봇(100)은 복수의 모듈로, 음성인식 모듈(110), 감각인식 모듈(120), 메인모듈(130), 영상인식 모듈(140)을 포함할 수 있다.
감각인식 모듈(120)은 압력센서, 온습도 센서 및 PIR(Passive Infrared Sensor) 센서로 이루어짐으로써, 사용자 현재 상태를 측정하여 네트워크(200)를 통해 서버(300)의 DB에 저장함으로써, 생활환경 및 패턴 관리를 가능하도록 하며, 영상인식 모듈(140)은 카메라와 서보모터로 이루어짐으로써, 영상인식 및 낙상 판별을 하며, PIR 센서와 함께 활동량 측정하며, 음성인식 모듈(110)은 스피커와 마이크로 이루어짐으로써, 음성인식 및 커뮤니케이션 기능을 수행할 수 있다.
한편, 반려 로봇(100)은 카메라의 시야각이 0 내지 180도 회전해서 모니터링 할 수 있도록 요구사항에 맞게 머리와 몸통을 분리 제작하고, 눈은 카메라가 형성되며, 귀는 마이크가 외부로 노출되도록 제작된다.
도 2는 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1)을 나타내는 도면이다. 도 2를 참조하면, 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1)은 반려 로봇(100), 네트워크(200), 서버(300), 보호자 단말(400)을 포함할 수 있다. 한편, 서버(300)는 클라우스 서버(310)와 웹 서버(320)로 구분될 수 있다.
네트워크(200)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 네트워크(200)가 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 네트워크(200)는 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 그 밖의 5G 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 네트워크(200)는 반려 로봇(100), 네트워크(200), 서버(300), 보호자 단말(400), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.
도 3은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 반려 로봇 초기 설정 시퀀스 다이어그램을 나타내는 도면이다. 도 3을 참조하면, 반려 로봇(100)은 도 1과 같은 각종 센서를 부착하고 사용자인 독거 노인과의 교감을 담당한다. 또한, 반려 로봇(100)은 클라우드 서버(310)를 구비한 서버(300)와 네트워크(200)를 통해 연결되어 외부의 정보를 수신하고 센싱 정보를 보호자 보호자 단말(400) 상에 설치된 스마트폰 앱, 관제 대시보드에 전달함으로써 독거 노인의 상황을 실시간으로 모니터링할 수 있는 정보를 제공할 수 있다.
보다 구체적으로, 보호자 또는 사회복지사가 보호자 앱을 통해 보호자와 사용자의 정보를 입력하면 서버 DB(300a)에 정보가 저장되고 이후, 반려 로봇(백구)(100)과의 통신 채널이 활성화된다. 반려 로봇(100)이 응급상황을 감지했을 경우 처리과정을 시퀀스 다이어그램으로 표현하고 있다.
다음으로 도 4는 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 응급 상황 처리 시퀀스 다이어그램을 나타내는 도면이다. 도 4를 참조하면, 반려 로봇(100)은 초기 설정 완료 후 독거 노인 돌봄을 위한 기능을 수행하며, 사용자의 낙상, 화재 등 응급상황을 감지했을 경우 NLP 통신을 통해 사용자의 상태를 자동으로 확인하는 모드로 들어간다. 만약 사용자의 응답이 없는 경우 관제센터와 보호자 앱으로 응급상황 알림을 전송한다.
한편, 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1)의 제공 기능 및 적용 기술에 대해서 살펴본다.
먼저, 영상인식 서비스에 있어서, 반려 로봇(100)은 등록된 사용자를 카메라로 인식을 하고, 낙상 감지를 통하여 응급상황 시 관제 센터 및 보호자 알림 기능이 활성화하며, 누운 상태 및 시간을 기반으로 기상/취침시간을 측정하고 관제 센터에 해당하는 서버(300)로의 전달을 수행할 수 있다.
또한, 음성인식 서비스에 있어서, 반려 로봇(100)은 NLP(자연어 처리, 自然語處理, Natural Language Processing) 처리를 통해 능동적 말벗 기능을 제공하며, 독거 노인에게 필요한 챗봇 시나리오를 선정하여 서버(300)와의 빅데이터 송수신을 기반으로 제공함으로써 외로움을 완화시키고 친근한 대화를 유도할 수 있다.
또한, 위험감지 서비스에 있어서, 반려 로봇(100)은 온/습도 센서를 통해 집 상태를 지속적으로 모니터링하며 화재 발생 등 응급상황을 관제센터와 보호자앱으로 자동 전송한다.
또한, 보호자 앱 서비스에 있어서, 보호자 단말(400)은 반려 로봇 초기 설정 및 사용자 정보 입력을 담당하며, 로봇으로부터 전달되는 정보를 모니터링할 수 있다.
또한, 관제서비스에 있어서, 서버(300)는 수집된 정보를 시각화하기 위해 대시보드 기반 웹 모니터링 기능을 제공한다.
하기의 표 1은 각 서비스를 간략하게 설명한 도표이다.
구분 상세내용
영상인식 *OpenCV, YOLO, TensorFlow lite 라이브러리를 이용한 낙상인식. 신뢰도가 0.8 이상일 때 사람으로 인식하여 사람을 박스로 바운딩. 사람 박스의 XY축 비율의 변화 속도를 통해 눕는것과 낙상을 구분
* OpenCV와 YOLO 라이브러리를 이용한 기상/취침시간 인식
음성인식 * TTS/STT API를 이용한 말벗 서비스
* DialogFlow를 이용하여 챗봇 기반 커뮤니
케이션
위험감지 * 온/습도센서 및 PIR 센서를 이용하여 집
상태 모니터링
보호자앱 * Flutter 프레임워크 기반 웹 UI/UX 제공
관제서비스 * Flask 웹 서버 구축 및 데이터 시각화 대
시보드 제공
반려동물외형 * 3D 프린팅을 통한 반려견 모양의 외형 제작
* 탈부착 가능한 인조털 제공
한편, 하기의 표 2는 반려 로봇(100)의 소프트웨어 및 하드웨어 구성을 나타내는 실시예이다.
구분 상세내용
S/W개발환경 OS Ubuntu, 라즈비안
개발환경 AWS, Flask, Flutter
개발도구(IED) Visual Studio Code, Android Studio
개발언어 Python, Dart, MySQL, JavaScript
H/W구성장비 디바이스 라즈베리파이4
센서 카메라, 온/습도 센서, 스피커, 마이크, PIR 센서
통신 SSH, TCP/IP
개발언어 Python
도 5는 본 발명의 실시예에 따른 반려 로봇(100)의 소프트웨어 구성을 설명하기 위한 도면이다.
반려 로봇(100)의 메인모듈(130)은 사용자의 명령이 STT API(마이크)를 통해서 들어가면 명령을 처리한 후 TTS(스피커)를 통해서 사용자에게 결과를 알려준다.
또한, 반려 로봇(100)의 메인모듈(130)은 사용자가 명령을 하지 않아도 컴퓨터비전이나 센서를 통해 자체적으로 처리하는 기능도 있다. 예를 들어 반려 로봇(100)의 메인모듈(130)은 사용자가 낙상사고를 당한다면 영상인식으로 낙상사고 장면을 인지하고 TTS(스피커)로 사용자의 상태를 확인한다. 사용자가 답이 없다면 관제 대시보드에 해당하는 서버(300)와 보호자의 보호자 단말(400)에게 응급상황 알림을 보내게 된다.
다음으로, 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상의 반려 로봇(100)에 의한 영상 인식 기술 적용에 대해서 살펴보면, 사람 인식을 위한 라이브러리 비교로 도 6a와 같은 HaarCascdes 라이브러리 또는 도 6b와 같은 YOLO 라이브러리를 사용할 수 있다. HaarCascdes 라이브러리는 장점으로 호출이 빠르고 데이터처리량이 적으며, 단점으로 옆모습, 누운 모습 등 다양한 사람 모습 인식 불가능하며, YOLO 라이브러리는 장점으로 신체 일부 및 옆모습, 누운 모습 등 다양한 사람의 모습 판별 가능하나, 단점으로 호출이 오래 걸리고 데이터처리량이 상대적으로 많은 것이다.
본 발명에서는 메인모듈(130)로 사용되는 라즈베리파이4 하드웨어의 제약 조건에 따른 영상 인식 속도 문제를 해결 하기 위해 젯슨 나노도 고려가 가능하나 IoT 장치의 원할한 제어를 위해서 라즈베리파이4를 유지 하는 선에서 추가로 TensorFlow Lite를 이용한 영상 인식을 적용 후 감지 시간을 0.2초로 줄이고, HaarCascades와 Yolo의 두 단점을 보완한 TensorFlow Lite를 최종적으로 사용한다.
다음으로, 도 7 및 도 8을 참조하여 메인모듈(130)에 의한 독거 노인의 Head Point 추출 과정에 대해서 살펴본다. 먼저, 도 7을 참조하면 메인모듈(130)은 낙상을 인지 하기 위해서 Head Point 이동을 계산하기 위해 Head Point를 추출한다. 변환 상태 시, x_min과 x_max 중 변화폭이 큰 쪽을 Head Point로 추출한다.
이에 따른 Head Point 추출 식은 1) 서 있는 상태에서 추출된 (x_min + x_max) / 2 = x_center를 임시 Head Point(x_center, y_min)로 설정하고, 2) ‘누운 상태’에서 x_min과 x_max 중 변화폭이 큰 쪽을 Head Point(x, y_center)로 설정한다.
다음으로, 도 8을 참조하면, 메인모듈(130)은 자세 변화 속도 연산을 수행하는데, 낙상을 감지는 Head Point가 누운 상태로 변환 때의 시간을 낙상 속도로 계산하며, 사용자의 키를 기반으로 실제 거리 및 속도를 계산하고, 기설정한 임계치와 비교한다.
이러한 낙상 속도 계산 공식은, 1) 상태 변화 시간 = 누운 상태의 시간 - 서 있는 상태의 시간, 2) Head Point 변화 거리 : 영상 속 사용자의 Y축 길이 = 실제 거리 : 사용자의 실제 키, 3) 속도(m/s) = 실제 거리 / 상태 변화 시간로 수행될 수 있다.
한편, 도 9와 같이 낙상 알고리즘 고도화 후 100번씩 약 1,300번의 실험 경로가 최적의 속도 임계치를 설정하며, 속도 임계치 2.0m/s로 설정하여 정확도 93% 향상시켰다.
도 10은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서의 서버(300)가 제공하는 이용자인 독거 노인의 음성을 텍스트로 변환해주는 API의 흐름도로, 음성 인식에 따라 Wake up word를 감지하여 녹음 이후에 음성을 텍스트로의 변환을 수행할 수 있다.
도 11은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 반려 로봇(100)에 의한 말벗 기능 구현을 설명하기 위한 도면이다. 도 11을 참조하면, 텍스트를 음성으로 읽어 주는 TTS 기능은 인공지능 스피커 API에서 제공하는 남자 아이 목소리 등으로 설정할 수 있으며,말벗 기능으로 다양한 카테고리의 시나리오를 추가하여 사용자가 반려 로봇(100)과 풍성한 커뮤니케이션을 가능하도록 할 수 있다.
도 12는 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 제공하는 사용자 관리 대시보드 기능을 설명하기 위한 도면이다. 도 12를 참조하면, 반려 로봇(100)은 사용자인 독거 노인들을 관제센터에서 한 번에 관리할 수 있도록 웹 기반의 대시보드를 제공한다.
즉, 사용자 지도로 전체 사용자의 위치를 간편하게 확인할 수 있고 InfoWindow를 통해서 사용자의 기본정보를 볼 수 있다. 또한, 시간대 별 노인 평균 활동량으로, 사용자들의 활동량을 시간대 별로 분석하여, 데이터를 기반으로 활동량을 예측할 수 있도록 한다. 또한, 실시간 데이터 시각화를 통해 현재까지의 실시간 데이터를 전 데이터와 비교해 시각화하여 사용자의 이상 패턴을 쉽게 발견할 수 있도록 한다.
도 13은 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 응급상황 알림 및 사용자 관리 대시보드의 기능을 설명하기 위한 도면이다. 도 13을 참조하면, 응급상황 알림으로 사용자의 이상 상태나, 응급 상황이 발생하면 실시간 알림을 보호자 단말(400)이 수신하거나 서버(300)가 수신하며, 사용자 관리 대시보드로, 매일 일정 시각에, 안부 지표를 통해 어르신의 상태를 파악하여 사회복지사의 인력 부족 및 돌봄 공백을 최소화할 수 있다.
도 14는 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 실시간 활동량 모니터링을 설명하기 위한 도면이다. 도 14를 참조하면, 센터 포인트를 기준으로 좌표량의 변화가 15일 경우를 활동이라고 판단하고, 활동량이 임계치 이하로 떨어질 경우 사용자의 안부를 묻도록 반려 로봇(100)을 서버(300)가 제어하거나 반려 로봇(100)이 자동으로 수행할 수 있다.
도 15는 본 발명의 실시예에 따른 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템(1) 상에서 반려 로봇(100)의 초기설정 과정을 나타내는 도면이다. 도 15를 참조하면, 보호자 단말(400)의 보호자 용 앱의 초기설정 기능을 통해 손쉽게 반려로봇을 설치할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
1 : 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템
100 : 반려 로봇
110 : 음성인식 모듈
120 : 감각인식 모듈
130 : 메인모듈
140 : 영상인식 모듈
200 : 네트워크
300 : 서버
400 : 보호자 단말

Claims (4)

  1. 센서를 부착하고 사용자인 독거 노인과의 교감을 담당하는 반려 로봇(100); 및 반려 로봇(100)으로부터 센싱 정보를 수신하는 클라우드 서버(310)를 구비한 서버(300); 을 포함하며, 반려 로봇(100)와 서버(300)가 네트워크(200)를 통해 연결되어 외부의 정보를 수신하고 센싱 정보를 보호자 보호자 단말(400) 상에 설치된 스마트폰 앱, 관제 대시보드에 전달함으로써, 독거 노인의 상황을 실시간으로 모니터링할 수 있는 정보를 제공하는 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템.
  2. 청구항 1에 있어서, 반려 로봇(100)은,
    압력센서, 온습도 센서 및 PIR(Passive Infrared Sensor) 센서로 이루어짐으로써, 사용자 현재 상태를 측정하여 네트워크(200)를 통해 서버(300)의 DB(300a)에 저장함으로써, 생활환경 및 패턴 관리를 가능하도록 하는 감각인식 모듈(120);
    카메라와 서보모터로 이루어짐으로써, 영상인식 및 낙상 판별을 하며, PIR 센서와 함께 활동량 측정하는 영상인식 모듈(140);
    스피커와 마이크로 이루어짐으로써, 음성인식 및 커뮤니케이션 기능을 수행하는 음성인식 모듈(110); 및
    음성인식 모듈(110), 감각인식 모듈(120), 영상인식 모듈(140)을 제어하는 메인모듈(130); 을 포함하는 것을 특징으로 하는 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템.
  3. 청구항 1에 있어서, 반려 로봇(100)은,
    카메라의 시야각이 0 내지 180도 회전해서 모니터링 할 수 있도록 요구사항에 맞게 머리와 몸통을 분리 제작하고, 눈은 카메라가 형성되며, 귀는 마이크가 외부로 노출되도록 제작되는 것을 특징으로 하는 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템.
  4. 서버(300)가 센서를 부착하고 사용자인 독거 노인과의 교감을 담당하는 반려 로봇(100)으로부터 센싱 정보를 수신하는 제 1 단계; 및
    서버(300)가 반려 로봇(100)으로부터 수신된 센싱 정보를 보호자 보호자 단말(400) 상에 설치된 스마트폰 앱, 관제 대시보드에 전달함으로써, 독거 노인의 상황을 실시간으로 모니터링할 수 있는 정보를 제공하는 제 2 단계; 를 포함하는 것을 특징으로 하는 반려 로봇을 이용한 독거 노인 돌봄 서비스 제공 방법.
KR1020210013011A 2021-01-29 2021-01-29 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법 KR20220109694A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210013011A KR20220109694A (ko) 2021-01-29 2021-01-29 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210013011A KR20220109694A (ko) 2021-01-29 2021-01-29 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220109694A true KR20220109694A (ko) 2022-08-05

Family

ID=82826659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210013011A KR20220109694A (ko) 2021-01-29 2021-01-29 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220109694A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312927A (zh) * 2023-02-20 2023-06-23 京大(北京)技术有限公司 一种基于养老服务机器人的健康管理方法
CN116394278A (zh) * 2023-06-09 2023-07-07 北京华卫迪特健康科技有限公司 一种智能居家养老室内监测系统
CN117457137A (zh) * 2023-12-22 2024-01-26 江西拓世智能科技股份有限公司 针对患病老人的ai陪伴数字人的管理方法及管理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101668472B1 (ko) 2015-02-03 2016-10-21 동서대학교 산학협력단 스마트 리마인더 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101668472B1 (ko) 2015-02-03 2016-10-21 동서대학교 산학협력단 스마트 리마인더 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312927A (zh) * 2023-02-20 2023-06-23 京大(北京)技术有限公司 一种基于养老服务机器人的健康管理方法
CN116394278A (zh) * 2023-06-09 2023-07-07 北京华卫迪特健康科技有限公司 一种智能居家养老室内监测系统
CN117457137A (zh) * 2023-12-22 2024-01-26 江西拓世智能科技股份有限公司 针对患病老人的ai陪伴数字人的管理方法及管理装置

Similar Documents

Publication Publication Date Title
KR20220109694A (ko) 반려 로봇을 이용한 독거 노인 돌봄 서비스 시스템 및 그 방법
US10102730B2 (en) Monitoring apparatus for monitoring a targets exposure to danger
KR102013235B1 (ko) 독거노인 모니터링 시스템
CN107705494A (zh) 一种火灾报警消防系统
CN107886677A (zh) 一种基于Kinect的老年人步态家庭监控系统
US11875571B2 (en) Smart hearing assistance in monitored property
CN203998490U (zh) 一种升降机人数检测装置
CN106295158A (zh) 一种婴幼儿自动辅助管理系统、管理方法和设备
CN113706824B (zh) 一种基于物联网监控的老人居家看护系统
CN107610260B (zh) 一种基于机器视觉的智能考勤系统及考勤方法
CN106327796A (zh) 一种儿童安全监护装置及方法
KR20200059628A (ko) 스켈레톤 영상 학습 기반의 독거노인 행동 패턴 모니터링 방법
CN206946649U (zh) 一种巡逻消防车火灾预警系统
KR20190058618A (ko) 경보 시스템
CN209265659U (zh) 一种远程老人生活监控器
CN113327394B (zh) 一种用于船舶的消防监控的数字孪生系统
US20230230465A1 (en) Computer vision system and methods for anomalous event detection
CN105844827A (zh) 入侵报警系统
KR102553745B1 (ko) 음성멘트를 이용한 긴급알림 서비스 제공 시스템
CN208044381U (zh) 一种分布式室内环境监控系统
CN113705357A (zh) 基于摄像机识别电动车的方法及系统、设备及存储介质
CN109803013B (zh) 一种基于人工智能的弱交互系统及其控制方法
CN114534146A (zh) 基于移动式电力消防灭火机器人火焰自动寻地的控制方法与系统
CN205005134U (zh) 一种铁路长大隧道应急通信系统
CN207652588U (zh) 一种便携式无线视频智能监控系统

Legal Events

Date Code Title Description
E601 Decision to refuse application