KR102331335B1 - 취약자 돌봄 로봇 및 그 제어 방법 - Google Patents

취약자 돌봄 로봇 및 그 제어 방법 Download PDF

Info

Publication number
KR102331335B1
KR102331335B1 KR1020210091876A KR20210091876A KR102331335B1 KR 102331335 B1 KR102331335 B1 KR 102331335B1 KR 1020210091876 A KR1020210091876 A KR 1020210091876A KR 20210091876 A KR20210091876 A KR 20210091876A KR 102331335 B1 KR102331335 B1 KR 102331335B1
Authority
KR
South Korea
Prior art keywords
user
data
unit
sensor
preset
Prior art date
Application number
KR1020210091876A
Other languages
English (en)
Inventor
박진오
박준서
허승찬
허성찬
Original Assignee
주식회사 로퓨라
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로퓨라 filed Critical 주식회사 로퓨라
Priority to KR1020210091876A priority Critical patent/KR102331335B1/ko
Application granted granted Critical
Publication of KR102331335B1 publication Critical patent/KR102331335B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Abstract

본 발명은 취약자 돌봄 로봇에 관한 것으로서, 사용자의 외형 데이터, 호흡 데이터, 움직임 데이터, 온도 데이터 및 지문 데이터 중 적어도 하나의 사용자 데이터를 수집하는 유저데이터 수집부, 호흡 감지 센서, 모션감지 센서, 적외선 온도측정 센서, 사운드 센서 및 레이더 센서 중 적어도 하나를 이용하여 상기 사용자를 건강상태를 감지하는 유저감지부, 상기 유저감지부에서 수신한 데이터를 기초하여 기설정된 조건을 만족하는 경우 카메라를 이용하여 영상을 촬영하고, 상기 촬영된 영상을 데이터송수신부로 전송하는 영상촬영부, 상기 유저데이터 수집부 또는 상기 유저감지부에서 데이터를 수신받고, 상기 영상촬영부에서 촬영된 영상데이터를 비상연락망에 전송하는 데이터송수신부, 기저장된 질의, 답변 리스트에 기초하여 상기 사용자와 대화하고, 상기 사용자의 질의 또는 답변 내용 중 기저장된 키워드 그룹 내의 키워드가 존재하는 경우, 상기 사용자를 레벨시스템에 따라 레벨링하는 AI커뮤니케이션부, 기설정된 조건이 만족되는 경우, 상기 조건에 부합하는 움직임을 수행하도록제어하는 액션제어부, 상기 사용자의 스마트기기로부터 추출한 일정데이터, 복용중인 약물의 복용시기 데이터 및 상기 데이터송수신부에서 추출된 데이터 중 적어도 하나를 표시하는 표시부 및 상기 사용자의 질의, 답변 및 행동 중 적어도 하나를 분석하여, 상기 사용자의 감정유형을 도출하고, 상기 도출된 감정유형에 대응하여 표시부의 출력모드를 제어하는 화면상태 표시부를 포함하는 것을 특징으로 한다.

Description

취약자 돌봄 로봇 및 그 제어 방법{VULNERABLE PERSON CARE ROBOT AND ITS CONTROL METHOD}
본 발명은 취약자(어린이, 노약자, 장애인 등 사회적으로 보호가 필요한 사람을 의미함)를 돌보는 기능을 하는 로봇에 관한 것으로서, 보다 상세하게는 센서를 통해 사용자의 다양한 상태를 인식하여 대화 및 동작하는 취약자 돌봄 로봇에 관한 것이다.
최근, 카메라와 다양한 센서를 통한 통신기능이 마련된 돌봄 장치를 통해 고령자 또는 유아동의 상태를 관리 및 관찰하는 장치가 큰 관심을 모으고 있다.
돌봄 로봇은 기존의 가정용 CCTV와 다르게 사용자의 위치에 기반한 이동을 통해 카메라의 시점변경이 자유롭고 사용자의 다양한 신호를 수신하여 데이터화할 수 있는 장점을 가진다.
그러나, 기계 장치의 특성상 사람에게 애완동물과도 같은 친근감 형성에 어려움이 있고, 장애물이 많은 장소에서 인지를 못하여 정지하거나 뒤집히는 경우가 다수 있었다.
따라서, 기존의 돌봄 로봇의 기능성은 유지하되, 사용자에게 친근감을 표시할 수 있는 기능과 외형을 구비하여 사용자를 관찰하며 추적하는데 있어서 장애물을 피하거나 우회하고 사용자의 다양한 신호를 센싱하여 인공지능을 기반으로 대화할 수 있는 로봇에 대한 연구가 요구된다.
한국등록특허 제10-1196973호
본 발명은 호흡감지 센서, 모션감지 센서, 적외선 온도 측정 센서, 사운드 센서, 레이더 센서를 이용하여 사용자 정보를 추출함으로써, 사용자 상태를 파악하고 문제가 생길 경우 구조 기관에 긴급 신호를 전송하는 장치를 제공함에 그 목적이 있다.
또한, AI를 기반으로 사용자와 대화하여 핵심키워드를 추출함으로써, 사용자의 현재 관심사와 심리상태를 분석하고 사용자에게 확장된 정보 전달 또는 사용자의 심리에 따른 심리치료적 대화기능을 제공함에 그 목적이 있다.
또한, 사용자 및 사용대상자의 보호자가 소유한 스마트 기기와 연동함으로써, 사용자의 실시간 상태 확인과 위급 상황 시 알람을 통해 사용대상자의 보호자가 소유한 스마트기기 및 구조 기관에 긴급신호를 전송하는 기능을 제공함에 그 목적이 있다.
본 발명의 일 실시례에 따른 취약자 돌봄 로봇은, 사용자의 외형 데이터, 호흡 데이터, 움직임 데이터, 온도 데이터 및 지문 데이터 중 적어도 하나의 사용자 데이터를 수집하는 유저데이터 수집부, 호흡 감지 센서, 모션감지 센서, 적외선 온도측정 센서, 사운드 센서 및 레이더 센서 중 적어도 하나를 이용하여 상기 사용자를 건강상태를 감지하는 유저감지부, 상기 유저감지부에서 수신한 데이터를 기초하여 기설정된 조건을 만족하는 경우 카메라를 이용하여 영상을 촬영하고, 상기 촬영된 영상을 데이터송수신부로 전송하는 영상촬영부, 상기 유저데이터 수집부 또는 상기 유저감지부에서 데이터를 수신받고, 상기 영상촬영부에서 촬영된 영상데이터를 비상연락망에 전송하는 데이터송수신부, 기저장된 질의, 답변 리스트에 기초하여 상기 사용자와 대화하고, 상기 사용자의 질의 또는 답변 내용 중 기저장된 키워드 그룹 내의 키워드가 존재하는 경우, 상기 사용자를 레벨시스템에 따라 레벨링하는 AI커뮤니케이션부, 기설정된 조건이 만족되는 경우, 상기 조건에 부합하는 움직임을 수행하도록 제어하는 액션제어부, 상기 사용자의 스마트기기로부터 추출한 일정데이터, 복용중인 약물의 복용시기 데이터 및 상기 데이터송수신부에서 추출된 데이터 중 적어도 하나를 표시하는 표시부 및 상기 사용자의 질의, 답변 및 행동 중 적어도 하나를 분석하여, 상기 사용자의 감정유형을 도출하고, 상기 도출된 감정유형에 대응하여 표시부의 출력모드를 제어하는 화면상태 표시부를 포함할 수 있다.
또한, 상기 영상촬영부는, 상기 기설정된 조건은 낙상상황조건, 급성발병조건, 우울발생조건 및 침입발생조건 중 적어도 하나에 해당하는 경우 상기 사용자를 촬영하고, 상기 사용자의 기설정된 조건에 따라 제안된 움직임 명령에 대응하여 상기 사용자가 상기 움직임 명령에 반응하지 못하는 경우, 기설정된 추가시점에 따라 상기 사용자를 촬영하며, 상기 촬영된 영상을 상기 데이터송수신부에 송신할 수 있다.
또한, 상기 데이터수신부는, 기설정된 시간 동안 상기 모션감지 센서로부터 수신한 움직임 데이터를 통해 상기 사용자의 움직임을 분석하여, 상기 사용자의 움직임이 기설정된 움직임 수준 이하이거나, 상기 호흡감지센서로부터 수신한 호흡 데이터를 통해 상기 사용자의 호흡상태를 분석하여 상기 사용자의 호흡 변화량이 기설정된 호흡 수준 이하인 경우, 상기 비상연락망에 알람을 전송하고, 기설정된 시간동안 상기 사운드 센서로부터 수신한 사운드 데이터를 통해 상기 사용자의 음량 속성을 분석하고, 상기 음량 속성이 기저장된 유형에 대응하는 경우 상기 비상연락망으로 알람을 전송하며, 상기 비상연락망에 송신한 알람에 대하여 상기 비상연락망으로부터 반응이 없을 경우 기설정된 구조기관에 상기 알람을 송신할 수 있다.
또한, 상기 AI커뮤니케이션부는, 상기 사용자가 발화한 음성언어를 표준어 지수로 계산하는 표준어 매칭부, 상기 사용자의 음성을 높낮이와 주파수로 분석하여 음성 유형을 도출한 후, 상기 음성 유형과 가장 유사한 유형의 음성 유형으로 분류하는 음성유형 분류부 및 상기 사용자가 발성한 음성언어에 포함된 명사를 추출하며, 상기 사용자가 발화한 명사로부터 상기 사용자의 성격유형을 판단하는 성격유형 분류부를 포함할 수 있다.
또한, 상기 AI커뮤니케이션부는, 상기 사용자의 스마트 기기로부터 자이로센서 변화량 데이터를 추출하고, 상기 자이로센서 데이터 변화량이 기설정된 범위를 벗어난 경우, 상기 사용자에게 기설정된 동작을 요청하여 현재 상태를 확인하는 낙상 감지부를 더 포함하고, 상기 낙상 감지부는, 상기 사용자로부터 동작이 입력되지 않는 경우, 상기 사용자에게 낙상이 발생한 것으로 판단하고, 상기 사용자로부터 기설정된 횟수동안 입력받은 동작 중 적어도 하나가 상기 요청한 동작과 대응하지 않는 경우, 인지의 손상이 발생한 것으로 판단할 수 있다.
본 발명에 따르면, 호흡감지 센서, 모션감지 센서, 적외선 온도 측정 센서, 사운드 센서, 레이더 센서를 이용하여 사용자 정보를 추출함으로써, 사용자 상태를 파악하고 문제가 생길 경우 구조 기관에 긴급 신호를 전송하는 장치를 제공할 수 있다.
또한, 본 발명에 따르면, AI를 기반으로 사용자와 대화하여 핵심키워드를 추출함으로써, 사용자의 현재 관심사와 심리상태를 분석하고 사용자에게 확장된 정보 전달 또는 사용자의 심리에 따른 심리치료적 대화기능을 제공할 수 있다.
또한, 본 발명에 따르면, 사용자 및 사용대상자의 보호자가 소유한 스마트 기기와 연동함으로써, 사용자의 실시간 상태 확인과 위급 상황 시 알람을 통해 사용대상자의 보호자가 소유한 스마트기기 및 구조 기관에 긴급신호를 전송하는 기능을 제공할 수 있다.
도 1은 본 발명의 일실시례에 따른 취약자 돌봄 로봇의 블록도이다.
도 2는 본 발명의 일실시례에 따른 취약자 돌봄 로봇의 중간블록도이다.
도 3는 본 발명의 일실시례에 따른 취약자 돌봄 로봇의 사시도이다.
도 4은 본 발명의 일실시례에 따른 취약자 돌봄 로봇의 신호 전달 구성을 나타낸 도면이다.
이상과 같은 본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시례 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다.
본 발명의 권리범위는 이하에서 설명하는 실시례에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 당해 기술분야의 통상적인 지식을 가진자에 의하여 다양하게 변형 실시될 수 있다.
이하, 본 발명인 취약자 돌봄 로봇은 첨부된 도 1 내지 도 4을 참고로 상세하게 설명한다.
우선, 도 1은 본 발명의 일실시례에 따른 취약자 돌봄 로봇의 블록도이고, 도 2는 본 발명의 일실시례에 따른 취약자 돌봄 로봇의 중간블록도이며, 도 3는 본 발명의 일실시례에 따른 취약자 돌봄 로봇의 사시도이고, 도 4은 본 발명의 일실시례에 따른 취약자 돌봄 로봇의 신호 전달 구성을 나타낸 도면이다.
여기서, 도 1을 참고하면, 본 발명의 일실시례에 따른 취약자 돌봄 로봇은 유저데이터 수집부(110), 유저감지부(120), 영상촬영부(130), 데이터송수신부(140), AI커뮤니케이션부(150), 표시부(160) 및 화면상태 표시부(170)를 포함할 수 있다.
상기 유저데이터 수집부(110)는 사용자의 외형 데이터, 호흡 데이터, 움직임 데이터, 온도 데이터 및 지문 데이터 중 적어도 하나의 사용자 데이터를 수집할 수 있다.
이때, 상기 사용자의 외형데이터는 카메라를 통해 상기 사용자의 신체적 특징인 키, 다리길이, 팔 길이 등을 수집하여 제3의 인물과 상기 사용자를 구분하는 사용자 판단부를 더 포함할 수 있다.
또한, 상기 움직임 데이터는 최소 일주일 이상 관찰한 상기 사용자의 움직임을 데이터화하여 상기 사용자의 움직임의 패턴이나 행동 루틴을 파악하고 특정 행동을 데이터로 수집할 수 있다.
한편, 상기 사용자의 지문데이터는 본 발명인 취약자 돌봄 로봇의 최초작동 시, 지문센서를 통해 등록할 수 있고, 사용중에도 상기 사용자의 지문데이터를 변경하거나 수정할 수 있다.
상기 유저감지부(120)는 로봇에 내장된 호흡 감지 센서, 모션감지 센서, 적외선 온도측정 센서, 사운드 센서 및 레이더 센서 중 적어도 하나를 이용하여 상기 사용자를 감지할 수 있다.
이때, 상기 유저감지부(120)에 내장되는 센서는 상기 사용자의 기저질환과 질환과 관련된 환경적 특이사항을 센싱할 수 있는 대기질 측정 센서, 습도 센서 등을 추가하여 상기 사용자를 감지할 수 있다.
한편, 사용자에게 접근 시, 상기 레이더 센서를 이용하여 간격을 조절하고, 장애물을 피하거나 넘어서 이동할 수 있다.
상기 영상촬영부(130)는 상기 유저감지부(120)에서 수신한 데이터를 기초하여 기설정된 조건을 만족하는 경우 카메라를 이용하여 영상을 촬영하고, 상기 촬영된 영상을 상기 데이터송수신부(140)로 전송할 수 있다.
이때, 상기 기설정된 조건은 낙상상황조건, 급성발병조건, 우울발생조건 및 침입발생조건 중 적어도 하나에 해당된다고 판단되는 경우 상기 사용자를 촬영할 수 있다.
상기 낙상상황조건은 상기 모션감지 센서에서 측정된 상기 사용자의 움직임 데이터의 평균을 기준으로 0.5초 내에 움직임이 1.5배이상인 경우 낙상상황조건으로 판단할 수 있다.
상기 급성발병조건은, 기저질환 중 급성발병에 대처가 필요한 증상들 중 상기 사용자가 해당되는 질환을 미리 분류된 질환목록에서 선택하여 저장할 수 있다.
여기서 저장된 질환의 급성발병현상의 발병 주기, 자세, 소리 등을 특징으로 급성발병을 판단하되, 상기 선택된 질환의 주기를 제1 순위로 설정하여 최소 10분에서 최대 6시간 마다 촬영한 영상을 상기 데이터송수신부(140)로 전송할 수 있다.
상기 우울발생조건은, 우울 증상으로 예측되는 질의, 답변, 행동 유형이 기설정된 기간 이상 감지되는 경우 영상을 촬영하여 상기 데이터송수신부(140)로 전송할 수 있다.
이때, 상기 사용자의 상기 우울 증상 유형이 1시간 이상 감지되는 경우, 영상 촬영을 시작하는 모드를 초기값으로 설정할 수 있다.
또한, 상기 사용자가 정신심리와 관련된 질환을 보유한 경우 상기 기절정된 기간을 자유롭게 변경하여 상기 변경된 조건에 따라 촬영된 영상을 상기 데이터송수신부(140)로 전송할 수 있다.
침입발생조건은, 상기 사운드 센서에서 측정된 상기 사용자의 사운드 데이터의 30분 평균 값을 기록하여, 상기 기록된 평균 값의 20%를 넘는 소음이 측정되었을 경우, 침입발생조건으로 판단하여 영상을 촬영하고 상기 데이터송수신부(140)로 전송할 수 있다.
또한, 상기 영상촬영부(130)는 상기 사용자의 얼굴을 촬영하고, 간격과 시점이동을 통해 상기 사용자를 파노라마식으로 촬영하여 하기 데이터송수신부(140)에 전송할 수 있다.
상기 데이터송수신부(140)는 상기 유저데이터 수집부(110) 또는 상기 유저감지부(120)에서 데이터를 수신받고, 상기 영상촬영부(130)에서 촬영된 영상데이터를 비상연락망에 전송할 수 있다.
여기서 상기 비상연락망은 기설정된 스마트기기 또는 기저장된 지인, 가족, 보호자를 대상으로 지정할 수 있다.
한편, 상기 데이터수신부는, 기설정된 시간 동안 상기 모션감지 센서로부터 수신한 움직임 데이터를 통해 상기 사용자의 움직임을 분석할 수 있다.
이때, 상기 사용자의 움직임이 기설정된 움직임 수준 이하이거나, 상기 호흡감지센서로부터 수신한 호흡 데이터를 통해 상기 사용자의 호흡상태를 분석하여 상기 사용자의 호흡 변화량이 기설정된 호흡 수준 이하인 경우, 상기 비상연락망에 알람을 전송할 수 있다.
여기서, 상기 사용자의 움직임 수준은 직전 30분간 움직임의 평균치를 기준으로 상기 평균치의 50%미만으로 감소했을 때를 사용자 움직임 수준 이하라고 판단할 수 있다.
또한, 상기 호흡 데이터는 상기 호흡 감지 센서에서 측정된 상기 사용자의 호흡 데이터의 평균치를 기준으로 상기 사용자의 현재 호흡 수준의 평균치가 상기 평균치의 15%이하로 내려간 경우를 호흡 수준 이하로 판단할 수 있다.
한편, 상기 사용자 움직임 수준 이하 또는 상기 사용자 호흡 수준 이하라고 판단된 경우, 경보음을 동반하여 상기 AI커뮤니케이션부(150)에 상기 사용자 상태 확인 신호를 전송할 수 있다.
또한, 기설정된 시간동안 상기 사운드 센서로부터 수신한 사운드 데이터를 통해 상기 사용자의 음량 속성을 분석하고, 상기 음량 속성이 기저장된 유형에 대응하는 경우 상기 비상연락망으로 알람을 전송할 수 있다.
이때, 상기 사용자의 평소 음성 높낮이 및 크기의 평균값 또는 상하한을 산출하고, 산출된 평균값을 벗어나는 정도에 따라 기저장된 유형 중 어느 유형에 대응되는지 결정할 수 있다.
여기서, 100~250Hz까지를 초기 범위로 설정하고, 상기 사용자로부터 수집된 목소리 주파수의 평균치를 산출하여 기본값으로 재설정할 수 있다. 상기 재설정된 상기 사용자의 목소리 주파수 평균치를 기준값으로 하여, 상기 기준값의 1.5배 이상의 주파수가 측정된 경우 비명으로 판단할 수 있다.
상기 비명으로 판단한 경우, 상기 AI커뮤니케이션부(150)를 통해 상기 사용자의 상태 확인 여부를 부가적으로 확인할 수 있다.
그러나, 상기 비명으로 판단한 음성 데이터가 1초이상 2회이상 발생한 경우 상기 비상연락망에 등록된 기기로 알림을 전송할 수 있다.
상기 사용자의 음성 크기는 일반적인 대화상황을 기준으로 측정되는 크기인 40~60dB 사이의 임의의 기본값이 설정되되, 상기 사용자의 발성이나 목소리 크기의 음성 데이터가 수신되는 경우, 상기 음성데이터의 시간대별 평균을 측정하여 산출된 평균치를 상기 사용자의 목소리 크기 기준치로 설정할 수 있다.
한편, 상기 사용자의 목소리 크기는 상기 평균치에 관계없이 100dB이상의 사운드 데이터가 측정된 경우 상기 비상연락망에 알람을 전송할 수 있다.
위와 같은 상기 사용자의 음성 평균값과 설정된 음성 크기에 기반한 기준치에 따라 상기 비상연락망에 송신한 알람이 상기 비상연락망으로부터 반응이 없을 경우 기설정된 구조기관에 상기 알람을 송신할 수 있다.
이때, 상기 기설정된 구조기관은 경찰서, 소방서 등의 인명 구조 및 사고 신고 기관을 포함할 수 있다.
상기 AI커뮤니케이션부(150)는 기저장된 질의, 답변 리스트에 기초하여 상기 사용자와 대화하고, 상기 사용자의 질의 또는 답변 내용 중 기저장된 키워드 그룹 내의 키워드가 존재하는 경우, 상기 사용자를 레벨시스템에 따라 레벨링할 수 있다.
즉, 상기 AI커뮤니케이션부(150)는 표준어 매칭부(151), 음성유형 분류부(152) 및 성격유형 분류부(153)를 포함할 수 있다.
상기 표준어 매칭부(151)는 상기 사용자가 발화한 음성언어를 표준어 지수로 계산할 수 있다.
일례로, 상기 사용자가 '내다 빗자루좀 가져온나'라고 발화한 경우 '내다'와 '온나'가 표준어로 인식되지 않아 표준어 지수가 약 60%로 산출될 수 있고, 이에 따라 표준어 레벨은 3레벨로 측정될 수 있다.
여기서, 상기 표준어 레벨은 1에서부터 5까지 구성될 수 있으며, 상기 표준어 레벨이 가장 높은 5레벨의 경우 상기 표준어 지수가 90%이상 산출되는 경우 5레벨로 측정될 수 있다.
즉, 상기 표준어 지수가 20%간격으로 5단계의 레벨로 나뉘어질 수 있다.
상기 음성유형 분류부(152)는 상기 사용자의 음성을 높낮이와 주파수로 분석하여 음성 유형을 도출한 후, 상기 음성 유형과 가장 유사한 유형의 음성 유형으로 분류할 수 있다.
여기서, 상기 음성 유형은 슬픈 상황, 긴급한 상황, 화난 상황으로 분류하고, 상기 슬픈 상황은 상기 사운드 센서를 통해 추출된 상기 사용자의 음성이 최소 0.5초에서 최대 5초까지 불규칙적으로 끊기는 현상과 의미가 없는 'ㅏ', 'ㅓ', 'ㅡ' 등의 단모음이 0.5~2초간 다수 회 발화되는 경우에 상기 슬픈 상황 유형으로 판단할 수 있다.
상기 긴급한 상황은, 상기 사운드 센서로부터 추출된 상기 사용자 음성의 평균 주파수 또는 음성 크기가 20%이상 증가되고, '도와', '여기', '제발'과 같은 도움을 요청하는 단어가 상기 AI커뮤니케이션부(150)에 추출되는 경우에 긴급한 상황으로 판단할 수 있다.
상기 화난 상황은, 상기 사운드 센서로부터 추출된 상기 사용자의 평균 음성 크기가 20%이상 증가되어 감지되고, 상기 호흡 데이터를 통한 상기 사용자의 호흡이 기존에 측정된 수치에 비해 50% 이상 증가되어 감지되는 경우일 때 화난 상황으로 판단할 수 있다.
상기 성격유형 분류부(153)는 상기 사용자가 발성한 음성언어에 포함된 명사를 추출하며, 상기 사용자가 발화한 명사로부터 상기 사용자의 성격유형을 판단할 수 있다.
여기서, 상기 사용자가 발화한 단어 중 상기 성격유형 분류부(153)에 저장되어 분류된 명사와 일치 여부를 확인하여 상기 사용자의 성격 유형을 판단할 수 있다.
일례로, 상기 사용자가 '고독하다', '후회가 된다'라고 발화했을 때, '고독', '후회'라는 명사를 추출하여, 현재 상기 사용자가 인간관계를 그리워하는 '사교적인 성격'으로 분류할 수 있다.
한편, 상기 AI커뮤니케이션부(150)는 상기 사용자의 스마트 기기로부터 자이로센서 변화량 데이터를 추출하는 낙상 감지부를 포함할 수 있다.
상기 낙상 감지부는 상기 자이로센서 데이터 변화량이 기설정된 범위를 벗어난 경우, 상기 사용자에게 기설정된 동작을 요청하여 현재 상태를 확인할 수 있다.
이때, 상기 사용자로부터 동작이 입력되지 않는 경우, 상기 사용자에게 낙상이 발생한 것으로 판단할 수 있다.
여기서, 상기 낙상으로 판단한 상기 사용자로부터 기설정된 횟수동안 입력받은 동작 중 적어도 하나가 상기 요청한 동작과 대응하지 않는 경우, 인지의 손상이 발생한 것으로 판단할 수 있다.
일례로, 상기 사용자의 스마트 기기로부터 1초내의 급격한 자이로센서 변화량이 수신된 경우, 상기 사용자에게 '일어서서 왼손을 들어주세요', '양팔을 수평으로 벌려주세요'와 같은 간단한 동작을 요청할 수 있다.
여기서, 상기 사용자가 상기 요청한 동작을 1분안에 동작하지 못한 경우 낙상으로 인한 인지손상과 같은 심각한 후유 증상이 발생한 것으로 판단하여 상기 비상연락망과 상기 구조기관에 알람을 전송할 수 있다.
상기 액션제어부(160)는, 기설정된 조건이 만족되는 경우, 상기 조건에 부합하는 움직임을 수행하도록 제어할 수 있다.
이때, 상기 기설정된 조건은 움직임의 빠르기 설정과 탈부착할 수 있는 귀 또는 꼬리와 같은 부품을 통해 관련된 동물의 효과음 또는 움직임을 나타낼 수 있다.
상기 표시부(170)는, 상기 사용자의 스마트기기로부터 추출한 일정데이터, 복용중인 약물의 복용시기 데이터 및 상기 데이터송수신부(140)에서 추출된 데이터 중 적어도 하나를 표시할 수 있다.
이때, 상기 일정데이터 및 상기 복용시기의 경우 설정된 시간에 대하여 10분전과 설정된 시간에 알람음과 동시에 상기 표시부에 내용을 표시하여 상기 사용자에게 알림을 전달할 수 있다.
상기 화면상태 표시부(180)는, 상기 사용자의 질의, 답변 및 행동 중 적어도 하나를 분석하여, 상기 사용자의 감정유형을 도출하고, 상기 도출된 감정유형에 대응하여 표시부의 출력모드를 제어할 수 있다.
일례로, 상기 사용자가 상기 음성유형 분류부(152)에서 '화난 상황'으로 판단했을 때, 상기 화면상태 표시부에서 상기 사용자의 유형과 유사한 화난 눈매의 화면을 출력하여 '거울 효과'를 통해 상기 사용자의 감정을 진정시킬 수 있다.
상기와 같은 과정을 통해, 상기 취약자 돌봄 로봇은 내부에 마련된 다양한 센서, AI, 구동부, 카메라, 통신을 이용하여 사용자의 건강상태를 확인하고, 상기 사용자가 이상이 있을 경우 비상연락망을 통한 알람과 동시에 구조기관에 빠르게 연계하여 치명적인 사고를 방지함과 동시에 AI 대화 기능과 반려동물을 연상시키는 외형과 동작을 통해 친근감을 형성하여 심리적인 부분에서도 상기 사용자의 케어가 가능할 수 있다.
본 발명의 일실시례에 따르면, 호흡감지 센서, 모션감지 센서, 적외선 온도 측정 센서, 사운드 센서, 레이더 센서를 이용하여 사용자 정보를 추출함으로써, 사용자 상태를 파악하고 문제가 생길 경우 구조 기관에 긴급 신호를 전송하는 장치를 제공할 수 있다.
또한, AI를 기반으로 사용자와 대화하여 핵심키워드를 추출함으로써, 사용자의 현재 관심사와 심리상태를 분석하고 사용자에게 확장된 정보 전달 또는 사용자의 심리에 따른 심리치료적 대화기능을 제공할 수 있다.
또한, 사용자 및 사용대상자의 보호자가 소유한 스마트 기기와 연동함으로써, 사용자의 실시간 상태 확인과 위급 상황 시 알람을 통해 사용대상자의 보호자가 소유한 스마트기기 및 구조 기관에 긴급신호를 전송하는 기능을 제공할 수 있다.
이상과 같이 본 발명의 일실시례는 비록 한정된 실시례와 도면에 의해 설명되었으나, 본 발명의 일실시례는 상기 설명된 실시례에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서 본 발명의 일실시례는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 취약자 돌봄 로봇 블록도
110 : 유저데이터 수집부
120 : 유저감지부
130 : 영상촬영부
140 : 데이터송수신부
150 : AI커뮤니케이션부
151 : 표준어 매칭부
152 : 음성유형 분류부
153 : 성격유형 분류부
160 : 액션제어부
170 : 표시부
180 : 화면상태 표시부
300 : 취약자 돌봄 로봇
410 : 취약자
430 : 구조 기관
440 : 스마트기기

Claims (5)

  1. 사용자의 외형 데이터, 호흡 데이터, 움직임 데이터, 온도 데이터 및 지문 데이터 중 적어도 하나의 사용자 데이터를 수집하는 유저데이터 수집부;
    호흡 감지 센서, 모션감지 센서, 적외선 온도측정 센서, 사운드 센서 및 레이더 센서 중 적어도 하나를 이용하여 상기 사용자를 건강상태를 감지하는 유저감지부;
    상기 유저감지부에서 수신한 데이터를 기초하여 기설정된 조건을 만족하는 경우 카메라를 이용하여 영상을 촬영하고, 상기 촬영된 영상을 데이터송수신부로 전송하는 영상촬영부;
    상기 유저데이터 수집부 또는 상기 유저감지부에서 데이터를 수신받고, 상기 영상촬영부에서 촬영된 영상데이터를 비상연락망에 전송하는 데이터송수신부;
    기저장된 질의, 답변 리스트에 기초하여 상기 사용자와 대화하고, 상기 사용자의 질의 또는 답변 내용 중 기저장된 키워드 그룹 내의 키워드가 존재하는 경우, 상기 사용자를 레벨시스템에 따라 레벨링하는 AI커뮤니케이션부;
    기설정된 조건이 만족되는 경우, 상기 조건에 부합하는 움직임을 수행하도록제어하는 액션제어부;
    상기 사용자의 스마트기기로부터 추출한 일정데이터, 복용중인 약물의 복용시기 데이터 및 상기 데이터송수신부에서 추출된 데이터 중 적어도 하나를 표시하는 표시부; 및
    상기 사용자의 질의, 답변 및 행동 중 적어도 하나를 분석하여, 상기 사용자의 감정유형을 도출하고, 상기 도출된 감정유형에 대응하여 표시부의 출력모드를 제어하는 화면상태 표시부;를 포함하고,
    상기 영상촬영부는,
    상기 기설정된 조건은 낙상상황조건, 급성발병조건, 우울발생조건 및 침입발생조건 중 적어도 하나에 해당하는 경우 상기 사용자를 촬영하고,
    상기 사용자의 기설정된 조건에 따라 제안된 움직임 명령에 대응하여 상기 사용자가 상기 움직임 명령에 반응하지 못하는 경우, 기설정된 추가시점에 따라 상기 사용자를 촬영하며,
    상기 촬영된 영상을 상기 데이터송수신부에 송신하고,
    상기 데이터송수신부는,
    기설정된 시간 동안 상기 모션감지 센서로부터 수신한 움직임 데이터를 통해 상기 사용자의 움직임을 분석하여, 상기 사용자의 움직임이 기설정된 움직임 수준 이하이거나,
    상기 호흡감지센서로부터 수신한 호흡 데이터를 통해 상기 사용자의 호흡상태를 분석하여 상기 사용자의 호흡 변화량이 기설정된 호흡 수준 이하인 경우, 상기 비상연락망에 알람을 전송하고,
    기설정된 시간동안 상기 사운드 센서로부터 수신한 사운드 데이터를 통해 상기 사용자의 음량 속성을 분석하고, 상기 음량 속성이 기저장된 유형에 대응하는 경우 상기 비상연락망으로 알람을 전송하며,
    상기 비상연락망에 송신한 알람에 대하여 상기 비상연락망으로부터 반응이 없을 경우 기설정된 구조기관에 상기 알람을 송신하는 것을 특징으로 하는 취약자 돌봄 로봇.

  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 AI커뮤니케이션부는,
    상기 사용자가 발화한 음성언어를 표준어 지수로 계산하는 표준어 매칭부;
    상기 사용자의 음성을 높낮이와 주파수로 분석하여 음성 유형을 도출한 후, 상기 음성 유형과 가장 유사한 유형의 음성 유형으로 분류하는 음성유형 분류부; 및
    상기 사용자가 발성한 음성언어에 포함된 명사를 추출하며, 상기 사용자가 발화한 명사로부터 상기 사용자의 성격유형을 판단하는 성격유형 분류부;
    를 포함하는 것을 특징으로 하는 취약자 돌봄 로봇.
  5. 제4항에 있어서,
    상기 AI커뮤니케이션부는,
    상기 사용자의 스마트 기기로부터 자이로센서 변화량 데이터를 추출하고, 상기 자이로센서 변화량 데이터가 기설정된 범위를 벗어난 경우, 상기 사용자에게 기설정된 동작을 요청하여 현재 상태를 확인하는 낙상 감지부;를 더 포함하고,
    상기 낙상 감지부는,
    상기 사용자로부터 동작이 입력되지 않는 경우, 상기 사용자에게 낙상이 발생한 것으로 판단하고,
    상기 사용자로부터 기설정된 횟수동안 입력받은 동작 중 적어도 하나가 상기 요청한 동작과 대응하지 않는 경우, 인지의 손상이 발생한 것으로 판단하는 것을 특징으로 하는 취약자 돌봄 로봇.
KR1020210091876A 2021-07-13 2021-07-13 취약자 돌봄 로봇 및 그 제어 방법 KR102331335B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210091876A KR102331335B1 (ko) 2021-07-13 2021-07-13 취약자 돌봄 로봇 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210091876A KR102331335B1 (ko) 2021-07-13 2021-07-13 취약자 돌봄 로봇 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR102331335B1 true KR102331335B1 (ko) 2021-12-01

Family

ID=78900015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210091876A KR102331335B1 (ko) 2021-07-13 2021-07-13 취약자 돌봄 로봇 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102331335B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196973B1 (ko) 2008-12-24 2012-11-02 주식회사 케이티 로봇을 이용한 영유아 돌보기 방법
KR20150098288A (ko) * 2014-02-19 2015-08-28 이동원 물리적충격 및 심리적충격에 대응한 긴급상황감지방법과 이를 이용한 긴급상황감지장치
KR20200052175A (ko) * 2018-11-06 2020-05-14 전자부품연구원 사용자의 건강을 관리하기 위한 장치 및 이를 위한 방법
KR102118585B1 (ko) * 2019-12-13 2020-06-03 가천대학교 산학협력단 시니어 케어를 위한 스마트미러 챗봇 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196973B1 (ko) 2008-12-24 2012-11-02 주식회사 케이티 로봇을 이용한 영유아 돌보기 방법
KR20150098288A (ko) * 2014-02-19 2015-08-28 이동원 물리적충격 및 심리적충격에 대응한 긴급상황감지방법과 이를 이용한 긴급상황감지장치
KR20200052175A (ko) * 2018-11-06 2020-05-14 전자부품연구원 사용자의 건강을 관리하기 위한 장치 및 이를 위한 방법
KR102118585B1 (ko) * 2019-12-13 2020-06-03 가천대학교 산학협력단 시니어 케어를 위한 스마트미러 챗봇 시스템 및 방법

Similar Documents

Publication Publication Date Title
US11037300B2 (en) Monitoring system
US6611206B2 (en) Automatic system for monitoring independent person requiring occasional assistance
US6968294B2 (en) Automatic system for monitoring person requiring care and his/her caretaker
CN110139598B (zh) 监控和跟踪系统、方法、物品和设备
KR102408257B1 (ko) 조기에 위험을 경고하는 방법 및 장치
US10096234B1 (en) Smart band for autonumously recognizing crisis situation and automatically requesting rescue on the basis of sound and motion patterns
US20190315003A1 (en) Information processing device and storage medium
Rastogi et al. A systematic review on machine learning for fall detection system
WO2010055205A1 (en) Method, system and computer program for monitoring a person
US11373513B2 (en) System and method of managing personal security
KR20200104759A (ko) 위험 상황을 판단하고, 사용자의 안전을 관리하는 시스템
KR20200104758A (ko) 위험 상황을 판단하고, 사용자의 안전을 관리하는 방법 및 장치
KR101654708B1 (ko) 웨어러블 센서 기반 사용자 안전 시스템 및 방법
JP2020522828A (ja) コンピュータービジョンベースの監視システムおよび方法
US11011048B2 (en) System and method for generating a status output based on sound emitted by an animal
KR102268456B1 (ko) 실시간 모니터링 및 돌봄 시스템
JP2006172410A (ja) ロボットを用いたケア情報基地
KR102331335B1 (ko) 취약자 돌봄 로봇 및 그 제어 방법
Sukreep et al. Recognizing Falls, Daily Activities, and Health Monitoring by Smart Devices.
KR102433246B1 (ko) 음성에 기초한 어린이의 감정 컨디션 검출 시스템
KR102603658B1 (ko) 케어시스템
KR102405957B1 (ko) 음파 및 전파를 이용한 생활안전 모니터링 시스템
KR20230134648A (ko) 시니어 돌봄시스템
CN117321647A (zh) 用于识别确定的人的活动的监测系统和方法
JP2024518439A (ja) 判定された人物の活動を認識するための監視システム及び方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant