KR102092083B1 - A caregiver toy storing only valid data of user's pattern and a method therefor - Google Patents
A caregiver toy storing only valid data of user's pattern and a method therefor Download PDFInfo
- Publication number
- KR102092083B1 KR102092083B1 KR1020190042667A KR20190042667A KR102092083B1 KR 102092083 B1 KR102092083 B1 KR 102092083B1 KR 1020190042667 A KR1020190042667 A KR 1020190042667A KR 20190042667 A KR20190042667 A KR 20190042667A KR 102092083 B1 KR102092083 B1 KR 102092083B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- interaction
- monitoring
- data
- real
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 10
- 230000003993 interaction Effects 0.000 claims abstract description 62
- 238000012544 monitoring process Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000013500 data storage Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Computer Security & Cryptography (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Artificial Intelligence (AREA)
- Child & Adolescent Psychology (AREA)
- Operations Research (AREA)
- Toys (AREA)
Abstract
Description
본 발명은 돌보미 토이에 관한 것으로, 보다 상세하게는 사용자의 패턴 중 유효 데이터만을 저장하는 돌보미 토이 및 이를 위한 방법에 관한 것이다.The present invention relates to a caregiver toy, and more particularly, to a caregiver toy and a method therefor for storing only valid data among user patterns.
과학의 발전 및 경제 성장으로 인하여, 사람들의 평균 수명은 점차적으로 증가되고 있다. Due to scientific development and economic growth, people's life expectancy is gradually increasing.
그러나, 높아진 평균수명과 함께 사회 구조의 노령화로 인해 고령 인구의 비율이 증가하고 있으며, 그 중에서도 독거노인의 비중이 급격히 증가하고 있는 추세로서, 가족들과 함께 살아가지 못하고 홀로 거주하고 있는 독거노인은 새로운 사회적 이슈로 부각되고 있다.However, with the increased average life expectancy, the proportion of the elderly population is increasing due to the aging of the social structure, and among them, the proportion of the elderly living alone is rapidly increasing, and the elderly living alone cannot live with their families. It is emerging as a new social issue.
따라서, 국가적사회적으로 독거노인에 대한 지속적 관리의 필요성이 증가하고 있으며, 특히, 혼자 살고 있는 독거노인들은 갑작스럽게 건강에 이상이 생기는 위급 상황이 발생하는 경우를 대비하여 독거노인 가정에 움직임 감지센서, 감시 카메라, 무선 응급버튼 등을 설치하고 그 정보를 통합 관리센터에서 실시간 조회 및 관리할 수 있는 시스템 등이 개발되고 있다.Therefore, the need for continuous management of the elderly living alone is increasing nationally and socially. In particular, the elderly living alone are motion detection sensors in the home of the elderly living alone in case of an emergency that causes health problems. Systems have been developed that install surveillance cameras, wireless emergency buttons, etc. and can view and manage the information in an integrated management center in real time.
상술한 바와 같은 논의를 바탕으로 이하에서는 사용자의 패턴 중 유효 데이터만을 저장하는 돌보미 토이 및 이를 위한 방법을 제공하고자 한다.Based on the discussion as described above, the following is to provide a caregiver toy that stores only valid data among user patterns and a method for the same.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the above technical problems, and other technical problems that are not mentioned will be clearly understood by those having ordinary knowledge in the technical field to which the present invention belongs from the following description.
상술한 문제점을 해결하기 위한 본 발명의 일 양상인 사용자의 패턴 중 유효 데이터만을 저장하는 돌보미 토이에 있어서, 상기 사용자의 패턴에 따라 구성된 빅데이터에 기반한 사용자 특정(user-specific) 메시지를 사용자에게 전달하는 메시지 전달부; 상기 메시지에 대응하는 사용자의 인터렉션(interaction)의 시작을 상기 사용자의 음성 혹은 영상을 이용하여 감지하는 사용자 감지부; 상기 사용자의 인터렉션의 시작이 감지되는 경우, 상기 사용자에게 착용된 웨어러블 디바이스(wearable device)로부터 실시간 상태 정보를 모니터링하는 실시간 상태 정보 모니터링부; 상기 메시지에 대응하는 상기 사용자의 인터렉션이 완료되었는지 여부를 체크하고, 상기 사용자의 인터렉션이 성공적으로 완료된 경우, 상기 웨어러블 디바이스로부터의 실시간 상태 정보 모니터링을 종료하고 상기 모니터링의 진행 시간 및 상기 실시간 상태 정보를 보고 데이터로 저장하며, 상기 사용자의 인터렉션이 소정의 시간을 초과하는 경우, 상기 사용자의 인터렉션이 실패되었다고 판단하며, 상기 웨어러블 디바이스로부터의 실시간 상태 정보 모니터링의 종료 및 상기 모니터링의 실패 정보를 상기 보고 데이터로 저장하고, 상기 실시간 상태 정보를 드롭(drop)하는, 유효 데이터 저장부; 및 상기 사용자의 인터렉션의 성공 여부 및 상기 사용자의 인터렉션의 성공 여부에 따른 상기 보고 데이터를 서버로 송신하는 상태 정보 보고부를 포함하는 것을 특징으로 한다.In one aspect of the present invention for solving the above-described problem, in a care-taking toy that stores only valid data among patterns of a user, a user-specific message based on big data constructed according to the pattern of the user is delivered to the user A message transmission unit; A user detection unit that detects the start of a user's interaction corresponding to the message using the user's voice or video; A real-time status information monitoring unit that monitors real-time status information from a wearable device worn by the user when the start of the user's interaction is detected; It is checked whether the user's interaction corresponding to the message is completed, and when the user's interaction is successfully completed, monitoring of real-time status information from the wearable device is terminated, and the monitoring time and the real-time status information are checked. Save as report data, when the user's interaction exceeds a predetermined time, it is determined that the user's interaction has failed, the end of real-time status information monitoring from the wearable device and the failure information of the monitoring is reported data Save as, and drop the real-time status information, valid data storage unit; And a status information reporting unit that transmits the reporting data according to whether the user's interaction is successful and whether the user's interaction is successful.
나아가, 상기 사용자 특정 메시지는, 상기 사용자의 패턴에 따라 구성된 빅데이터 기반의 텍스트(text)를, 미리 저장된 특정인의 음성 정보에 합성하여 생성된 것을 특징으로 할 수 있다.Furthermore, the user-specific message may be generated by synthesizing big data-based text configured according to the user's pattern into voice information of a specific person previously stored.
나아가, 상기 사용자 감지부는, 고령자의 음성 특징을 이용하여 전이 학습(transfer learning)된 DNN(Deep Neural Networks) 기반의 음성 인식을 수행하는 음성 인식부; 및 적어도 둘 이상의 광 신호에 근거하여 깊이 정보를 포함하는 사용자에 대한 영상 데이터를 인식하는 영상 인식부를 포함하는 것을 특징으로 할 수 있다.Furthermore, the user detection unit may include a voice recognition unit for performing voice recognition based on deep neural networks (DNN) that has been transferred to learning using voice characteristics of the elderly; And an image recognition unit recognizing image data for a user including depth information based on at least two or more optical signals.
나아가, 상기 유효 데이터 저장부는, 상기 메시지의 요구 사항에 대하여, 상기 사용자 감지부를 통하여 감지된 상기 사용자의 인터렉션이 매칭되는 경우, 상기 사용자의 인터렉션이 완료되었다고 판단하며, 상기 모니터링의 시작 시간 및 상기 모니터링의 종료 시간에 기반하여 상기 모니터링의 진행 시간을 산출하며, 상기 모니터링의 진행 시간 상의 상기 실시간 상태 정보를 유효 데이터로 상기 보고 데이터에 저장하고, 상기 모니터링의 종료 시간이 상기 모니터링의 시작 시간으로부터 소정의 시간을 초과하는 경우, 상기 사용자의 인터렉션과 관련하여 수신된 상기 실시간 상태 정보를 드롭(drop)하고, 상기 모니터링의 실패 정보를 보고 데이터로 저장한 후, 상기 실시간 모니터링 정보부로 중단을 지시하는 것을 특징으로 할 수 있다.Furthermore, the valid data storage unit determines that the interaction of the user is completed when the user's interaction detected through the user detection unit matches the requirements of the message, and the monitoring start time and the monitoring Calculates the progress time of the monitoring based on the end time of, and stores the real-time status information on the progress time of the monitoring as valid data in the report data, and the end time of the monitoring is predetermined from the start time of the monitoring. When the time is exceeded, the real-time status information received in connection with the user's interaction is dropped, and after reporting the failure information of the monitoring as data, an interruption is indicated to the real-time monitoring information unit. Can be done with
나아가, 상기 사용자 특정 메시지는, 상기 보고 데이터에 기반하여, 상기 사용자에 대한 패턴 정보를 포함하는 제 1 계층 데이터 및 상기 서버를 통하여 수집된 적어도 하나의 돌보미 토이를 통하여 획득된 다수의 사용자들로 구성된 사용자 그룹에 대한 그룹 속성 정보 및 상기 사용자 그룹에 대응하는 외부 속성 정보에 기반하여 구성되는 것을 특징으로 할 수 있다.Furthermore, the user specific message is composed of a plurality of users obtained through first layer data including pattern information for the user and at least one caregiver toy collected through the server, based on the report data It may be characterized in that it is configured based on the group attribute information for the user group and external attribute information corresponding to the user group.
상술한 문제점을 해결하기 위한 본 발명의 다른 양상인 사용자의 패턴 중 유효 데이터만을 저장하는 방법에 있어서, 사용자의 패턴에 따라 구성된 빅데이터에 기반한 사용자 특정(user-specific) 메시지를 사용자에게 전달하는 단계; 상기 메시지에 대응하는 사용자의 인터렉션(interaction)의 시작을 상기 사용자의 음성 혹은 영상을 이용하여 감지하는 단계; 상기 사용자의 인터렉션의 시작이 감지되는 경우, 상기 사용자에게 착용된 웨어러블 디바이스(wearable device)로부터 실시간 상태 정보를 모니터링하는 단계; 상기 메시지에 대응하는 사용자의 인터렉션이 완료되었는지 여부를 체크하는 단계; 상기 사용자의 인터렉션이 성공적으로 완료된 경우, 상기 웨어러블 디바이스로부터의 실시간 상태 정보 모니터링을 종료하고, 상기 모니터링의 진행 시간 및 상기 실시간 상태 정보를 보고 데이터로 저장하는 단계; 상기 사용자의 인터렉션이 소정의 시간을 초과하는 경우, 상기 사용자의 인터렉션이 실패되었다고 판단하며, 상기 웨어러블 디바이스로부터의 실시간 상태 정보 모니터링의 종료 및 상기 모니터링의 실패 정보를 상기 보고 데이터로 저장하고, 상기 실시간 상태 정보를 폐기하는 단계; 및 상기 사용자의 인터렉션의 성공 여부 및 상기 사용자의 인터렉션의 성공 여부에 따른 상기 보고 데이터를 서버로 송신하는 단계를 포함하는 것을 특징으로 할 수 있다.In another aspect of the present invention for solving the above-mentioned problems, in a method of storing only valid data among patterns of a user, transmitting a user-specific message based on big data configured according to a user pattern to a user ; Detecting the start of the user's interaction corresponding to the message using the user's voice or video; Monitoring real-time status information from a wearable device worn by the user when the start of the user's interaction is detected; Checking whether a user's interaction corresponding to the message is completed; When the user's interaction is successfully completed, terminating monitoring of real-time status information from the wearable device, and storing the progress time of the monitoring and the real-time status information as report data; When the user's interaction exceeds a predetermined time, it is determined that the user's interaction has failed, the end of real-time status information monitoring from the wearable device and the failure information of the monitoring are stored as the reporting data, Discarding status information; And transmitting the reporting data according to whether the user's interaction is successful and whether the user's interaction is successful.
본 발명의 실시예에 따르면, 사용자의 패턴 중 유효 데이터만을 저장하는 돌보미 토이 및 이를 위한 방법을 효율적으로 운영할 수 있다.According to an embodiment of the present invention, it is possible to efficiently operate a caregiver toy and a method therefor that store only valid data among user patterns.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtained in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those skilled in the art from the following description. will be.
도 1은 본 발명에 따른 인공지능을 적용한 독거노인 지원 시스템을 설명하기 위한 참고도이다
도 2는 본 발명에 사용자 관리 서버의 독거노인 지원 방법을 설명하기 위한 참고도이다.
도 3은 본 발명에 따른 돌보미 토이의 구성을 설명하기 위한 참고도이다.1 is a reference diagram for explaining an elderly living alone support system to which artificial intelligence according to the present invention is applied.
2 is a reference diagram for explaining a method of supporting a senior citizen living alone in a user management server according to the present invention.
3 is a reference diagram for explaining the configuration of a caregiver toy according to the present invention.
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술내용에 대해서는 설명을 생략한다. The present invention is not limited to the description of the embodiments described below, and it is obvious that various modifications can be made without departing from the technical gist of the present invention. In describing the embodiments, descriptions of technical contents that are widely known in the technical field to which the present invention pertains and which are not directly related to the technical subject matter of the present invention will be omitted.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다.Meanwhile, in the accompanying drawings, the same components are represented by the same reference numerals.
그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다. In the accompanying drawings, some components may be exaggerated, omitted, or schematically illustrated. This is to clearly describe the gist of the present invention by omitting unnecessary descriptions not related to the gist of the present invention.
도 1은 본 발명에 따른 독거노인 지원 시스템을 설명하기 위한 참고도이다. 1 is a reference diagram for explaining the elderly living alone support system according to the present invention.
본 발명에 따른 독거노인 지원 시스템은 적어도 하나의 돌보미 토이(101), 사용자 관리 서버(103) 및 참조 정보 서버(105)로 구성된다.The elderly living alone support system according to the present invention is composed of at least one
돌보미 토이(101)는 저장된 설정(configuration)에 따라 돌보미 토이를 사용하거나, 매칭된 사용자의 상태 정보를 획득하고, 획득한 사용자의 상태 정보 혹은 사용자의 행동에 따라 피드백을 사용자에게 전달한다. The caregiver toy 101 uses the caregiver toy according to the stored configuration, obtains the matched user's state information, and delivers feedback to the user according to the acquired user's state information or the user's action.
돌보이 토이(101)는, 사용자가 최초로 이용하는 경우에는 사용자에 대하여 특화된 설정을 가지고 있지 않기 때문에, 일반적인 고령자를 위한 설정에 기반하여 동작을 수행할 수 있다. 그러나, 돌보미 토이를 사용하는 사용자의 상태정보를 획득하고, 시간의 경과에 따라 사용자에게 특정적인 데이터가 누적되는 경우에는 보다 개인화된 설정을 통하여 사용자와 감성적인 교감을 수행하는 효과를 도모할 수 있다.When the user first uses the
여기서, 사용자의 상태 정보란, 돌보미 토이에 부착된 영상 인식 모듈(예, 카메라), 음성 인식 모듈(예, 스피커), 센서(예, 모션 감지 센서, 압력 감지 센서, 온도 감지 센서 등)를 통하여 측정된 사용자의 영상, 음성, 제스처 패턴, 체온, 심박수, 혈압, 악력 등을 포함할 수 있다. 예를 들어, 고령자의 표정 영상의 경우, 일반적으로 저연령자보다 적은 감정 표현 데이터를 가지고 있으며, 영상 인식 모듈에서 촬영된 고령자의 표정 영상에 대하여 “기쁨”, “슬픔”, “놀람”, “화남”, “공포”, “혐오”, “중립”등과 갈은 레이블(label)을 추가하여 표정 영상과 함께 저장하고 분석함으로써, 감정 인식률을 향상시킬 수 있다. 또는, 고령자의 제스처 패턴을 인식하는 경우, 고령자의 관절 위치를 측정·인식하고, 이에 대한 필터링을 통하여 고령자의 신체 상태를 판단하는데 이용될 수 있다. Here, the user's status information is through an image recognition module (eg, camera), voice recognition module (eg, speaker), sensor (eg, motion detection sensor, pressure sensor, temperature sensor, etc.) attached to the caregiver toy. The measured user's image, voice, gesture pattern, body temperature, heart rate, blood pressure, and grip may be included. For example, in the case of a facial expression image of an elderly person, the expression data of the elderly person generally has less emotional expression data than that of a low-age person, and “joy”, “sadness”, “surprise”, “ Anger ”,“ horror ”,“ hate ”,“ neutral ”, etc., and added labels can be stored and analyzed along with facial expression images to improve the emotion recognition rate. Alternatively, when recognizing the gesture pattern of the elderly, it may be used to measure and recognize the joint position of the elderly, and to determine the physical condition of the elderly through filtering on it.
돌보미 토이를 통하여 획득되는 상태 정보는, 사용자의 인터렉션(interaction)에 따른 대응 결과를 포함할 수 도 있다. 예를 들어, 사용자가 미리 정의된 인지 명령어에 따른 인터렉션(interaction)을 수행하는지 여부를 모션 감지 센서를 이용하여 측정하거나, 음성 메시지를 사용자에게 알려주고 사용자가 재현할 수 있는지 여부를 측정한 결과를 포함하여 고령자의 인지 기능등을 측정·향상시킬 수 있다.The status information obtained through the caregiver toy may include a response result according to the user's interaction. For example, it includes a result of measuring whether a user performs an interaction according to a predefined cognitive command using a motion detection sensor, or notifying a user of a voice message and measuring whether the user can reproduce it. It can measure and improve the cognitive function of the elderly.
이와 같이, 돌보미 토이는 사용자와 밀착한 상태에서 사용자의 생체정보 및 정서상태에 관한 정보를 수집하는 기능을 수행할 수 있다. 따라서, 돌보미 토이는 사용자의 상황 및 감정을 인지하고 교감하는 기능을 수행하는 것이므로, 사용자가 친숙함을 느낄 수 있는 봉제완구 형상을 가질 수 도 있다. 사용자와의 커뮤니케이션을 담당하는 돌보미 토이를 봉제완구 형태로 제작하게 되면, 감시형 모니터링 시스템이나 웨어러블 디바이스에 비해 사용자의 거부감을 완화시킬 수 있으며, 사용자로 하여금 항상 곁에 두고 싶은 마음을 불러일으킬 수 있다. 은둔형 독거노인의 경우 마음의 문을 닫고 사회와 접촉을 꺼리고 있으므로, 기존 기능적인 접근이 아닌 감성적 접근이 필요하기 때문이다.As such, the caregiver toy may perform a function of collecting information about the user's biometric information and emotional state in a state in close contact with the user. Therefore, the caregiver toy performs a function of recognizing and sympathizing with the user's situation and emotion, and thus may have a plush toy shape that allows the user to feel familiar. When a caregiver toy in charge of communication with the user is produced in the form of a plush toy, it can alleviate the user's reluctance compared to a surveillance type monitoring system or a wearable device, and it can arouse the user's desire to always be there. This is because in the case of the secluded elderly living alone, since the door of the mind is closed and reluctant to contact with society, an emotional approach is needed rather than the existing functional approach.
따라서, 돌보미 토이를 통하여 다양하게 측정된 상태 정보는 WIFI, Bluetooth등을 통하여 직접적으로 혹은 사용자 디바이스(예, 스마트폰, 107)을 통하여 사용자 관리 서버로 보고하고, 사용자 관리 서버에서 분석된 피드백을 수신하여 이를 사용자에게 제공할 수 있다. 이러한 피드백은, 사용자에게 음성으로 출력하거나, 움직임을 나타냄으로서 표현될 수 있다. Therefore, the status information variously measured through the caregiver toy is reported directly to the user management server through WIFI, Bluetooth, or through a user device (eg, a smartphone, 107), and receives the analyzed feedback from the user management server. This can be provided to the user. Such feedback may be expressed by outputting to the user by voice or indicating movement.
사용자 관리 서버(103)는, 돌보미 토이 및 참조 정보 서버로부터 수신한 정보를 계층적으로 분석하여, 돌보미 토이에게 피드백을 제공하거나, 돌보미 토이를 재설정할 수 있다. 본 발명에서는 돌보미 토이를 사용하는 개인 사용자, 돌보미 토이를 사용하는 전체 사용자, 돌보미 토이와 무관한 일반인들의 통계 데이터를 계층적으로 이용하고, 가중치에 따른 우선 순위를 적용하는 방안을 이하에서 구체적으로 제안한다.The
사용자 관리 서버는, 돌보미 토이로부터 수신된 상태 정보에 기반하여 특정 사용자에 대한 패턴 정보를 포함하는 제 1 계층 데이터를 생성한다. 본 발명에서 패턴 정보란, 상태 정보에 기반하여 생성된 특정 사용자의 수면 패턴, 행동 패턴, 생체 리듬, 표정 패턴, 음성 패턴 등을 포함한다. 이러한 제 1 계층 데이터는 일정한 시간 간격에 따라 생성될 수 있는데, 일반적인 생활은 24시간을 기준으로 반복되는 바, 최대 24시간을 넘지 않게 생성되는 것이 바람직하다. The user management server generates first layer data including pattern information for a specific user based on the status information received from the caregiver toy. In the present invention, the pattern information includes sleep patterns, behavior patterns, biorhythms, facial expression patterns, voice patterns, etc. of a specific user generated based on status information. The first layer data may be generated at regular time intervals, and since normal life is repeated based on 24 hours, it is desirable that the first layer data is generated not to exceed 24 hours.
이에 따라, 사용자 관리 서버는 특정 시간 간격(예를 들어, 1 일)으로 생성된 사용자의 패턴 정보를 비교함으로써, 사용자의 이상 행동이나, 신체상태, 정서상태 등을 판단하기 위하여 상태 정보 및 패턴 정보가 연관화된 특정 사용자 개인 데이터로 정의될 수 있는 제 1 계층 데이터를 생성한다. 예를 들어, 사용자 관리 서버는 일정한 시간 간격에 따라 생성된 제 1 계층 데이터를 소정의 주/월/년 단위로 비교함으로써, 특정 사용자 개인의 데이터/패턴을 비교할 수 있다.Accordingly, the user management server compares the user's pattern information generated at a specific time interval (for example, 1 day) to determine the user's abnormal behavior, body state, and emotional state, and thus state information and pattern information. Creates first layer data that can be defined as associated specific user personal data. For example, the user management server may compare data / patterns of a specific user by comparing the first layer data generated at regular time intervals in units of predetermined weeks / months / years.
사용자 관리 서버는, 다수의 사용자들에 대한 상태 정보들에 기반하여 생성된 제 1 계층 데이터를, 사용자들의 성별, 나이, 주거지역, 건강정보 등에 기반하여 클러스터링함으로써, 사용자 그룹에 대한 속성 정보를 포함하는 제 2 계층 데이터를 생성한다. The user management server includes attribute information for the user group by clustering the first layer data generated based on status information for a plurality of users based on the gender, age, residential area, health information, etc. of the users. Generates second layer data.
제 2 계층 데이터는 다수의 사용자들에 대한 빅데이터를 확보하고, 이를 분석하여 사용자가 속한 그룹의 데이터를 산출하게 된다. 따라서, 사용자 관리 서버는 제 1 계층 데이터와 제 2 계층 데이터를 비교함으로써, 특정 사용자가 피어(peer) 그룹과 비교할 때, 보다 개인화된 특성이나 특징을 추출할 수 있으며, 이를 집중적으로 케어하거나, 사용자의 가족들에게 피드백해줄 수 있다. 예를 들어, 동일 지역에 속하는 사용자 그룹상에서 다른 사용자와의 비교를 통하여 소정의 기간동안 행동 패턴이 어떻게 다른지를 비교할 수 있다.The second layer data secures big data for a large number of users, and analyzes it to calculate data of a group to which the user belongs. Accordingly, the user management server can extract more personalized characteristics or characteristics when a specific user compares with a peer group by comparing the first layer data and the second layer data, and intensively care for the user or You can give feedback to your family. For example, it is possible to compare how behavior patterns are different for a predetermined period of time through comparison with other users on a group of users belonging to the same region.
나아가, 이러한 제 2 계층 데이터는 제 1 계층 데이터를 생성하는 시간 간격보다는 크게 설정되어야 하는 바, 이는 사용자 관리 서버의 지나친 연산을 방지하며, 제 1 계층 데이터가 개인화된 데이터인데 반하여 제 2 계층 데이터는 사용자 그룹의 평균적인 데이터를 산출하는 것이므로 적은 표본보다는 다수의 표본에 대한 데이터를 산출하는 것이 보다 유효하기 때문이다.Furthermore, the second layer data should be set larger than the time interval for generating the first layer data, which prevents excessive operation of the user management server, whereas the first layer data is personalized data, whereas the second layer data is This is because it is more effective to calculate data for a large number of samples than a small number of samples because it is to calculate the average data of a user group.
사용자 관리 서버는, 그룹 속성 정보에 대응하는 외부 속성 정보를, 상기 참조 정보 서버로부터 수신하여 제 3 계층 데이터를 생성한다. 그룹 속성 정보는 상술한 바와 같이, 사용자의 나이, 성별 등을 의미하며, 이에 대응하는 외부 속성 정보는 보험사 등에서 보험 가입자의 손해 산정률(예를 들어, 노인들의 보험료책정을 위하여 산출된 병원비 지급데이터, 병명 데이터 등)과 연관된 데이터, 혹은 고령자와 관련된 의료 데이터 등을 의미한다. The user management server receives external attribute information corresponding to the group attribute information from the reference information server and generates third layer data. Group attribute information, as described above, means the user's age, gender, etc., and external attribute information corresponding thereto is calculated by the insurance company, such as the insurance company's loss calculation rate (for example, hospital cost payment data calculated for the elderly's insurance premium pricing) , Name data, etc.) or medical data related to the elderly.
즉, 돌보미 토이의 사용자가 아닌 해당 나이, 해당 성별의 외부 인구를 그룹핑하고, 그룹핑된 외부의 통계 데이터를 포함하도록 제 3 계층 데이터를 생성함으로써, 사용자 관리 서버가 돌보미 토이의 사용자 혹은 사용자 그룹에 대한 지원을 효율적으로 운영하게 할 수 있다. 예를 들어, 전체 노인중에 동일 성별, 연령대가 유사한 그룹들과의 비교를 통하여 특정 사용자의 행동 패턴이 어떻게 다른지를 비교할 수 있다.That is, by creating a third layer data to group the external population of the corresponding age and gender, not the user of the caregiver toy, and to include the grouped external statistical data, the user management server is configured for the caregiver toy user or user group. You can make your support run efficiently. For example, it is possible to compare how a specific user's behavioral pattern is different through comparison with groups having similar gender and age among all the elderly.
또한, 이러한 제 3 계층 데이터는 제 1 계층 데이터 혹은 제 2 계층 데이터보다는 크게 설정된 간격을 통하여 생성되는 것이 표본 데이터의 유효성등을 위하여 바람직하다.In addition, it is preferable for the validity of the sample data that the third layer data is generated through a set interval larger than the first layer data or the second layer data.
예를 들어, 사용자 관리 서버는, 치매, 인지 장애, 우을증 등을 가지는 고령자들의 의료 데이터를 통하여, 이에 대응되는 상태 카테고리를 설정할 수 있고, 이에 대한 피드백을 돌보미 토이에게 전달할 수 도 있다(예를 들어, 1 일에 1 번).For example, the user management server may set a corresponding health category through medical data of elderly people with dementia, cognitive impairment, depression, etc., and may provide feedback to the caregiver toy (eg, , 1 time per day).
이에 따라, 사용자 관리 서버는 생성된 제 1 계층 데이터, 제 2 계층 데이터 및 제 3 계층 데이터 중 적어도 하나에 기반하여 피드백을 생성할 수 있으며, 생성된 피드백을 돌보미 토이에게 제공할 수 있다. 본 발명에서는 각각의 계층 데이터에 대하여 생성 횟수 혹은 누적 데이터의 양에 따라 가중치를 부여하거나, 데이터의 우선 순위를 다르게 생성함으로써, 피드백을 생성할 수 있다. 예를 들어, 돌보미 토이가 사용자가 처음 사용하는 경우에는, 상술한 제 1 계층 데이터 및 상술한 제 2 계층 데이터는 생성되지 않은 상태이며, 제 3 계층 데이터만이 존재할 수 있다. 따라서, 인구 통계적 데이터에 기반하여 사용자에게 피드백을 제공할 수 있는데 불과하나, 사용자가 돌보미 토이를 통하여 상태 정보를 사용자 관리 서버에 계속적으로 전달하는 경우, 제 1 계층 데이터 및 제 2 계층 데이터의 생성 횟수가 증가하게 된다. 따라서, 시간의 경과에 따라 제 1 계층 데이터 혹은 제 2 계층 데이터에 기반하여 사용자에게 개인화된 피드백을 제공할 수 있다. 보다 구체적인 예를 들어 설명하면, 각각의 계층 데이터에 대하여 단순 가중치를 통하여 우선순위나 중요도를 높일 수 도 있으나, 시간당 생성회수가 높을수록 낮은 가중치를 부여하는 경우도 생성할 수 있다. 즉, 제 1 계층 데이터는 1 일에 1 번 생성되는 경우에는 1 의 가중치를 부여하나, 제 2 계층 데이터는 1 달에 1번 생성되는 경우 10의 가중치를 부여하고, 제 3 계층 데이터는 100을 부여함으로써, 사용자 개인의 특성과 사용자 그룹 전체의 특성 혹은 해당 속성(예, 연령)을 가진 전체 인구가 가진 특성을 모두 고려하여 돌보미 토이의 피드백을 생성할 수 있다. 따라서, 개별화된 사용자의 데이터, 사용자 그룹의 데이터 및 통계적 데이터를 계층적으로 분류하고, 이에 대한 피드백을 전체적인 클러스터링을 이용하여 수행할 수 있다.Accordingly, the user management server may generate feedback based on at least one of the generated first layer data, second layer data, and third layer data, and provide the generated feedback to a caregiver toy. In the present invention, feedback may be generated by assigning a weight to each hierarchical data according to the number of generations or the amount of accumulated data, or by generating different priorities of data. For example, when the caregiver toy is used for the first time by the user, the first layer data and the second layer data described above are not generated, and only the third layer data may exist. Therefore, it is possible to provide feedback to the user based on demographic data, but when the user continuously delivers status information to the user management server through the care-giving toy, the number of times of generating the first layer data and the second layer data Will increase. Accordingly, personalized feedback may be provided to the user based on the first layer data or the second layer data over time. For a more specific example, priority or importance may be increased through simple weighting for each hierarchical data, but a lower weight may be generated as the number of generations per hour is higher. That is, when the first layer data is generated once a day, a weight of 1 is assigned, but when the second layer data is generated once a month, a weight of 10 is assigned, and the third layer data is 100. By granting it, it is possible to generate feedback for a caregiver toy by considering both the characteristics of the individual user, the characteristics of the entire user group, or the characteristics of the entire population having an attribute (eg, age). Accordingly, individualized user data, user group data, and statistical data can be hierarchically classified and feedback can be performed using the entire clustering.
따라서, 사용자 관리 서버는, 사용자 및 사용자 그룹, 통계적 데이터를 이용하여 우선 순위가 높은 순위로 미리 정해진 개수의 동작·활동만을 피드백 정보에 포함하여 진행함으로써 고령자들이 거부감을 느끼지 않을 정도의 인터렉션 활동만을 제공할 수 있으며, 사용자 및 사용자 그룹, 통계적 데이터가 상호 충돌하거나 존재하지 않는 경우, 사용자에게 적합한 지원 정보를 생성할 수 있다.Therefore, the user management server provides only the interaction activity to the extent that the elderly do not feel rejected by including, in the feedback information, only a predetermined number of actions and activities in a high priority order using the user and user group and statistical data. When the user and the user group and the statistical data collide with each other or do not exist, support information suitable for the user may be generated.
또한, 돌보미 토이를 사용하는 사용자의 표정 영상, 음성, 행동 데이터를 계량화하여 사용자의 선호도를 추가적인 변수로 지정하여 가중치를 산정할 수 도 있다.In addition, by weighing the facial expression image, voice, and behavior data of the user using the caregiver toy, the user's preference can be designated as an additional variable to calculate the weight.
참조 정보 서버(105)는, 미리 설정된 기준에 따라 저장된 외부 속성 정보를 사용자 관리 서버로 송신하도록 구성될 수 있다. 여기서 미리 설정된 기준이란, 의료 데이터, 상태 카테고리 등 관리자에 의하여 미리 분류된 기준으로 정의될 수 있다.The
도 2는 본 발명에 따른 독거노인 지원 방법을 설명하기 위한 참고도이다. 도 1과 관련되어 중복되는 내용은 상술한 내용으로 대체한다.2 is a reference diagram for explaining a method for supporting the elderly living alone according to the present invention. 1, the overlapping contents are replaced with the above-described contents.
사용자 관리 서버는, 먼저 돌보미 토이로부터 특정 사용자의 상태 정보를 수신한다(S201). The user management server first receives status information of a specific user from a caregiver toy (S201).
사용자 관리 서버는 수시된 상태 정보에 기반하여, 특정 사용자에 대한 패턴 정보를 포함하는 제 1 계층 데이터를 생성한다. 즉, 사용자 개인에 대한 정보를 구체적으로 포함하는 제 1 계층 데이터를 생성한다(S203).The user management server generates first layer data including pattern information for a specific user based on the received status information. That is, first layer data including information about the user individually is generated (S203).
사용자 관리 서버는 적어도 하나의 돌보미 토이를 통하여 획득된 다수의 사용자들에 대한 상태 정보들에 기반하여 사용자 그룹을 생성하고, 생성된 사용자 그룹에 대한 그룹 속성 정보를 포함하는 제 2 계층 데이터를 생성한다. 이는 돌보미 토이를 사용하는 사용자들에 대한 그룹핑을 수행함으로써, 속성이 유사한 사용자들에 대한 사용자가 속한 그룹에 대하여 빅데이터를 구성함으로써, 사용자 그룹에 대한 특징이 추출될 수 있다(S205).The user management server generates a user group based on status information for a plurality of users acquired through at least one caregiving toy, and generates second layer data including group attribute information for the generated user group. . This is performed by grouping users using a caregiver toy, and by configuring big data for a group to which a user belongs to users with similar attributes, features for the user group can be extracted (S205).
사용자 관리 서버는 그룹 속성 정보에 대응하는 외부 속성 정보를, 참조 정보 서버로부터 수신하여 제 3 계층 데이터를 생성한다. 외부 속성 정보의 경우 개별 사용자 혹은 사용자 그룹에 대하여 지나치게 특정화된 동작만이 수행되는 것을 방지하거나, 통계적 정보보다 특정적으로 살펴보아야 할 부분들에 대하여 사용자 관리 서버가 확인할 수 있다(S207).The user management server receives external attribute information corresponding to the group attribute information from the reference information server and generates third layer data. In the case of external attribute information, it is possible to prevent an operation that is excessively specified for an individual user or a group of users from being performed, or the user management server may check portions to be looked at more specifically than statistical information (S207).
따라서, 사용자 관리 서버는 제 1 계층 데이터, 제 2 계층 데이터 및 제 3 계층 데이터 중 적어도 하나에 기반하여 생성된 피드백을 상기 돌보미 토이를 통하여 상기 특정 사용자에게 제공할 수 있다(S209).Accordingly, the user management server may provide feedback generated based on at least one of the first layer data, the second layer data, and the third layer data to the specific user through the caring toy (S209).
도 3은 본 발명에 따른 돌보미 토이의 구성을 설명하기 위한 참고도이다. 3 is a reference diagram for explaining the configuration of a caregiver toy according to the present invention.
돌보미 토이(300)를 통하여 수집되는 사용자의 패턴 정보는 사용자의 일상 생활에서 수집되는 경우에는 데이터의 양이 방대해지고, 지나치게 많은 동작과 가정으로 인하여 사용자의 상태 정보나 인식능력, 감정 등을 판단하기에는 유효하지 않은 데이터가 존재한다는 문제점이 있었다. 따라서, 본 발명에서는 사용자의 패턴 중 인터렉션(interaction)을 수행하는 동안의 데이터를 유효 데이터로 저장하여 서버로 보고함으로써, 빅데이터를 구성시 노이즈(noise) 데이터가 지나치게 많이 고려되는 것을 방지하기 위함이다.When the user's pattern information collected through the
본 발명에 따른 돌보미 토이(300)는, 메시지 전달부(301), 사용자 감지부(303), 실시간 상태 정보 모니터링부(305), 유효 데이터 저장부(307), 상태 정보 보고부(309)를 포함할 수 있다.The
메시지 전달부(301)는, 사용자의 패턴에 따라 구성된 빅데이터에 기반한 사용자 특정(user-specific) 메시지를 사용자에게 전달한다. The
사용자의 패턴에 따라 구성된 빅데이터 기반의 메시지는 서버를 통하여 수신할 수 있으며, 이는 도 1 및 도 2와 관련하여 상술한 돌보미 토이의 보고 데이터에 기반하여, 사용자에 대한 패턴 정보를 포함하는 제 1 계층 데이터 및 서버를 통하여 수집된 적어도 하나의 돌보미 토이를 통하여 획득된 다수의 사용자들로 구성된 사용자 그룹에 대한 그룹 속성 정보 및 사용자 그룹에 대응하는 외부 속성 정보에 기반하여 구성될 수 있으며, 이에 대한 자세한 설명은 상술한 내용으로 대체한다.The big data-based message configured according to the user's pattern may be received through the server, which is based on the reporting data of the care-giver toy described above with reference to FIGS. 1 and 2, and includes the first information including the pattern information for the user. It may be configured based on group attribute information for a user group composed of a plurality of users obtained through at least one care-gathering toy collected through hierarchical data and a server, and external attribute information corresponding to the user group. The description is replaced by the above.
따라서, 본 발명에서의 메시지 전달부는 서버로부터 수신한 빅데이터 기반의 텍스트(text) 등의 메시지를, 미리 저장된 특정인의 음성 정보에 합성하여 특정인의 음성 정보를 가지는 메시지로 RNN(Recurrent Neural Network) 기반의 머신 러닝을 수행함으로써 변환시켜 전달할 수 있다.Therefore, the message delivery unit in the present invention is a message having a voice information of a specific person by synthesizing a message, such as text, based on a big data received from a server, into a voice information of a specific person previously stored, and is a message having voice information of a specific person based on RNN (Recurrent Neural Network) It can be converted and delivered by performing machine learning.
사용자 감지부(303)는, 메시지에 대응하는 사용자(320)의 인터렉션(interaction)의 시작을 사용자의 음성 혹은 영상을 이용하여 감지할 수 있다. 사용자 감지부는 음성 인식부(예, 마이크 등) 혹은 영상 인식부(예, 카메라 등)을 포함할 수 있다. The
음성 인식부는, 고령자의 음성 특징을 이용하여 전이 학습(transfer learning)된 DNN(Deep Neural Networks) 기반의 음성 인식을 수행할 수 있는데, 전이 학습이란 일반인의 음성 모델을 기반으로 고령자의 음성 모델을 추가적으로 학습시키는 머신 러닝 기법이다. 고령자의 음성 신호는 일반인에 비하여 미약한 음성 신호로 구성되는 경우가 많으며, 그 정확도(correct performance)가 일반인에 비하여 상대적으로 낮기 때문에, 전이 학습을 수행함으로써, 고령자의 음성 인식률을 상승시킬 수 있다.The speech recognition unit may perform speech recognition based on deep neural networks (DNN), which is transfer-learned using the speech characteristics of the elderly, and transfer learning is additionally based on the speech model of the general public. It is a learning machine learning technique. The voice signal of the elderly is often composed of a weak voice signal compared to the general person, and since the accuracy (correct performance) is relatively low compared to the general person, by performing transfer learning, the voice recognition rate of the elderly person can be increased.
영상 인식부는 적어도 둘 이상의 광 신호에 근거하여 깊이 정보를 포함하는 사용자에 대한 영상 데이터를 인식할 수 있으며, 특정 파장의 입사광이 사용자에게 투사되면, 사용자로부터 반사된 동 파장의 반사광을 이용하여 서로 다른 위상을 갖는 변조 신호로 변조할 수 있다. 따라서, 적어도 둘 이상의 광 신호의 위상 차이에 근거하여 깊이 정보를 산출할 수 있으며, 이에 따라 깊이 정보를 이용하여 사용자를 보다 선명하게 인식할 수 있다.The image recognition unit may recognize image data of a user including depth information based on at least two or more optical signals, and when incident light of a specific wavelength is projected to the user, the reflected light of the same wavelength reflected from the user may be different. It can be modulated with a modulated signal having a phase. Accordingly, depth information may be calculated based on a phase difference of at least two or more optical signals, and accordingly, the depth information may be used to recognize the user more clearly.
실시간 상태 정보 모니터링부(305)는, 사용자의 인터렉션의 시작이 감지되는 경우, 사용자에게 착용된 웨어러블 디바이스(wearable device, 340)로부터 실시간 상태 정보를 모니터링한다. 웨어러블 디바이스는 사용자가 측정하는 경우에 실시간 상태 정보를 지속적으로 체크할 수 있으며, 사용자의 심박, 체온, 웨어러블 디바이스가 착용된 팔의 움직임, 사용자의 위치 변경 등을 실시간으로 체크할 수 있다. The real-time status
다만, 이러한 실시간 상태 정보를 모두 저장하는 경우에는 지나치게 노이즈가 많은 데이터를 빅데이터화시키게 되는 문제점을 가지게 되므로, 사용자 특정 메시지가 사용자에게 전달 한 이후에 사용자의 인터렉션이 수행되는 동안의 상태 정보만을 유효 데이터로 저장하는 것이 바람직하다.However, when all of the real-time status information is stored, there is a problem in that the data that is too noisy becomes big data, and only the status information during user interaction is performed after the user-specific message is delivered to the user. It is desirable to save.
따라서, 본 발명의 유효 데이터 저장부(307)는, 메시지에 포함된 요구 사항에 대하여 사용자가 특정한 행위를 수행하고, 사용자 감지부를 통하여 감지된 사용자의 인터렉션이 매칭되는 경우(예를 들어 메시지에 담긴 내용을 따라 암송, 메시지에 담긴 동작을 수행), 사용자의 인터렉션이 완료되었다고 판단하여, 유효 데이터를 저장하는 동작을 수행할 수 있다. Accordingly, the effective
즉, 사용자의 인터렉션이 성공적으로 완료된 경우, 웨어러블 디바이스로부터의 실시간 상태 정보 모니터링을 종료하고, 모니터링의 시작 시간 및 모니터링의 종료 시간에 기반하여 산출된 모니터링의 진행 시간을 및 해당 시간동안에 웨어러블 디바이스로부터 수신된 실시간 상태 정보를 유효 데이터로 판단하여 보고 데이터로 저장할 수 있다.That is, when the user's interaction is successfully completed, monitoring of real-time status information from the wearable device is terminated, and the progress time of the monitoring calculated based on the start time of the monitoring and the end time of the monitoring is received from the wearable device during the time. Real-time status information can be determined as valid data and stored as reporting data.
그러나, 사용자의 인터렉션에 따른 실시간 정보 모니터링이 종료되지 않고 모니터링의 시작 시간으로부터 소정의 시간을 초과하는 경우에는, 사용자의 상태에 이상이 발생하였거나, 사용자의 불성실한 인터렉션이 발생되었다고 볼 수 있다. 따라서, 이러한 정보를 빅데이터화하는 경우에는 사용자의 상태 정보에 대한 부적절한 결과가 산출될 수 있으므로, 모니터링의 시작 시간부터 수신되었던 실시간 상태 정보를 드롭(drop) 혹은 제거하는 것이 바람직하다. 이렇게 사용자의 인터렉션에 대하여 실패한 경우에는 모니터링의 실패 정보를 보고 데이터에 포함시킴으로써, 사용자가 해당 인터렉션에 대하여 반응하지 않는 사실만을 빅데이터에 포함할 수 있다. 또한, 웨어러블 디바이스로부터 불필요한 실시간 상태 정보를 수신하는 것이 부적절하므로, 실시간 모니터링 정보부로 동작의 중단을 지시할 수 도 있다.However, when real-time information monitoring according to the user's interaction does not end and exceeds a predetermined time from the start time of monitoring, it may be considered that an abnormality has occurred in the user's state or that the user's unfaithful interaction has occurred. Therefore, in the case of making such information into big data, it is preferable to drop or remove real-time status information that has been received from the start time of monitoring since inappropriate results for the user's status information may be calculated. When the user's interaction fails, the failure information of the monitoring is included in the reporting data, so that only the fact that the user does not react to the interaction can be included in the big data. In addition, since it is inappropriate to receive unnecessary real-time status information from the wearable device, it is possible to instruct the real-time monitoring information unit to stop the operation.
상태 정보 보고부(309)는, 사용자의 인터렉션의 성공 여부 및 사용자의 인터렉션의 성공 여부에 따라 다른 파라미터가 저장된 보고 데이터를 서버(360)로 송신함으로써, 서버측에서 빅데이터를 이용하여 사용자의 패턴을 판단하도록 할 수 있다.The status
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. The embodiments of the present invention disclosed in the present specification and drawings are merely to provide a specific example to easily explain the technical content of the present invention and to understand the present invention, and are not intended to limit the scope of the present invention. It is apparent to those skilled in the art to which the present invention pertains that other modified examples based on the technical idea of the present invention can be implemented in addition to the embodiments disclosed herein.
상술한 바와 같은 사용자의 패턴 중 유효 데이터만을 저장하는 돌보미 토이 및 이를 위한 방법은 다양한 서비스 분야에 적용하는 것이 가능하다.As described above, a caregiver toy that stores only valid data among user patterns and a method for the same can be applied to various service fields.
Claims (6)
상기 사용자의 패턴에 따라 구성된 빅데이터에 기반한 사용자 특정(user-specific) 메시지를 사용자에게 전달하는 메시지 전달부;
상기 메시지에 대응하는 사용자의 인터렉션(interaction)의 시작을 상기 사용자의 음성 혹은 영상을 이용하여 감지하는 사용자 감지부;
상기 사용자의 인터렉션의 시작이 감지되는 경우, 상기 사용자에게 착용된 웨어러블 디바이스(wearable device)로부터 실시간 상태 정보를 모니터링하는 실시간 상태 정보 모니터링부;
상기 메시지에 대응하는 상기 사용자의 인터렉션이 완료되었는지 여부를 체크하고,
상기 사용자의 인터렉션이 성공적으로 완료된 경우, 상기 웨어러블 디바이스로부터의 실시간 상태 정보 모니터링을 종료하고 상기 모니터링의 진행 시간 및 상기 실시간 상태 정보를 보고 데이터로 저장하며,
상기 사용자의 인터렉션이 소정의 시간을 초과하는 경우, 상기 사용자의 인터렉션이 실패되었다고 판단하며, 상기 웨어러블 디바이스로부터의 실시간 상태 정보 모니터링의 종료 및 상기 모니터링의 실패 정보를 상기 보고 데이터로 저장하고, 상기 실시간 상태 정보를 드롭(drop)하는, 유효 데이터 저장부; 및
상기 사용자의 인터렉션의 성공 여부 및 상기 사용자의 인터렉션의 성공 여부에 따른 상기 보고 데이터를 서버로 송신하는 상태 정보 보고부를 포함하며,
상기 사용자 특정 메시지는,
상기 보고 데이터에 기반하여, 상기 사용자에 대한 패턴 정보, 상기 서버를 통하여 수집된 적어도 하나의 돌보미 토이를 통하여 획득된 다수의 사용자들로 구성된 사용자 그룹에 대한 그룹 속성 정보 및 상기 사용자 그룹에 대응하는 외부 속성 정보 들에 대하여 시간당 생성회수가 높을수록 낮은 가중치를 부여하여 클러스터링함으로써 구성되는 것을 특징으로 하는,
돌보미 토이.In a caregiver toy that stores only valid data among user patterns,
A message delivery unit that delivers a user-specific message based on big data configured according to the user's pattern to the user;
A user detection unit that detects the start of a user's interaction corresponding to the message using the user's voice or video;
A real-time status information monitoring unit that monitors real-time status information from a wearable device worn by the user when the start of the user's interaction is detected;
Check whether the user's interaction corresponding to the message is completed,
When the user's interaction is successfully completed, monitoring of real-time status information from the wearable device is terminated, and the progress time of the monitoring and the real-time status information are stored as report data,
When the user's interaction exceeds a predetermined time, it is determined that the user's interaction has failed, the end of real-time status information monitoring from the wearable device and the failure information of the monitoring are stored as the reporting data, A valid data storage unit for dropping status information; And
And a status information reporting unit that transmits the report data to the server according to whether the user's interaction is successful and whether the user's interaction is successful,
The user specific message,
Based on the report data, pattern information for the user, group attribute information for a user group consisting of a plurality of users obtained through at least one caring toy collected through the server, and an external corresponding to the user group Characterized in that the higher the number of generations per hour for attribute information, the lower the weight is configured by clustering,
Caring toy.
상기 사용자 특정 메시지는,
상기 사용자의 패턴에 따라 구성된 빅데이터 기반의 텍스트(text)를, 미리 저장된 특정인의 음성 정보에 합성하여 생성된 것을 특징으로 하는,
돌보미 토이.According to claim 1,
The user specific message,
Characterized in that generated by synthesizing big data-based text configured according to the user's pattern to pre-stored voice information of a specific person,
Caring toy.
상기 사용자 감지부는,
고령자의 음성 특징을 이용하여 전이 학습(transfer learning)된 DNN(Deep Neural Networks) 기반의 음성 인식을 수행하는 음성 인식부; 및
적어도 둘 이상의 광 신호에 근거하여 깊이 정보를 포함하는 사용자에 대한 영상 데이터를 인식하는 영상 인식부를 포함하는,
돌보미 토이.According to claim 1,
The user detection unit,
A voice recognition unit that performs voice recognition based on deep neural networks (DNN) that has been transferred learning by using voice characteristics of the elderly; And
And an image recognition unit recognizing image data for a user including depth information based on at least two or more optical signals,
Caring toy.
상기 유효 데이터 저장부는,
상기 메시지의 요구 사항에 대하여, 상기 사용자 감지부를 통하여 감지된 상기 사용자의 인터렉션이 매칭되는 경우, 상기 사용자의 인터렉션이 완료되었다고 판단하며,
상기 모니터링의 시작 시간 및 상기 모니터링의 종료 시간에 기반하여 상기 모니터링의 진행 시간을 산출하며, 상기 모니터링의 진행 시간 상의 상기 실시간 상태 정보를 유효 데이터로 상기 보고 데이터에 저장하고,
상기 모니터링의 종료 시간이 상기 모니터링의 시작 시간으로부터 소정의 시간을 초과하는 경우, 상기 사용자의 인터렉션과 관련하여 수신된 상기 실시간 상태 정보를 드롭(drop)하고, 상기 모니터링의 실패 정보를 보고 데이터로 저장한 후, 상기 실시간 모니터링 정보부로 중단을 지시하는 것을 특징으로 하는,
돌보미 토이.According to claim 1,
The effective data storage unit,
Regarding the requirement of the message, when the user's interaction detected through the user detection unit is matched, it is determined that the user's interaction is completed,
Calculate the progress time of the monitoring based on the start time of the monitoring and the end time of the monitoring, and store the real-time status information on the progress time of the monitoring as valid data in the report data,
When the end time of the monitoring exceeds a predetermined time from the start time of the monitoring, the real-time status information received in relation to the user's interaction is dropped, and the failure information of the monitoring is stored as report data. After that, characterized in that to instruct to stop the real-time monitoring information,
Caring toy.
상기 메시지에 대응하는 사용자의 인터렉션(interaction)의 시작을 상기 사용자의 음성 혹은 영상을 이용하여 감지하는 단계;
상기 사용자의 인터렉션의 시작이 감지되는 경우, 상기 사용자에게 착용된 웨어러블 디바이스(wearable device)로부터 실시간 상태 정보를 모니터링하는 단계;
상기 메시지에 대응하는 사용자의 인터렉션이 완료되었는지 여부를 체크하는 단계;
상기 사용자의 인터렉션이 성공적으로 완료된 경우, 상기 웨어러블 디바이스로부터의 실시간 상태 정보 모니터링을 종료하고, 상기 모니터링의 진행 시간 및 상기 실시간 상태 정보를 보고 데이터로 저장하는 단계;
상기 사용자의 인터렉션이 소정의 시간을 초과하는 경우, 상기 사용자의 인터렉션이 실패되었다고 판단하며, 상기 웨어러블 디바이스로부터의 실시간 상태 정보 모니터링의 종료 및 상기 모니터링의 실패 정보를 상기 보고 데이터로 저장하고, 상기 실시간 상태 정보를 폐기하는 단계; 및
상기 사용자의 인터렉션의 성공 여부 및 상기 사용자의 인터렉션의 성공 여부에 따른 상기 보고 데이터를 서버로 송신하는 단계를 포함하며,
상기 사용자 특정 메시지는,
상기 보고 데이터에 기반하여, 상기 사용자에 대한 패턴 정보, 상기 서버를 통하여 수집된 적어도 하나의 돌보미 토이를 통하여 획득된 다수의 사용자들로 구성된 사용자 그룹에 대한 그룹 속성 정보 및 상기 사용자 그룹에 대응하는 외부 속성 정보 들에 대하여 시간당 생성회수가 높을수록 낮은 가중치를 부여하여 클러스터링함으로써 구성되는 것을 특징으로 하는,
돌보미 토이를 이용한 데이터 저장 방법.Delivering a user-specific message based on the big data configured according to the user's pattern to the user;
Detecting the start of the user's interaction corresponding to the message using the user's voice or video;
Monitoring real-time status information from a wearable device worn by the user when the start of the user's interaction is detected;
Checking whether a user's interaction corresponding to the message is completed;
When the user's interaction is successfully completed, terminating monitoring of real-time status information from the wearable device, and storing the progress time of the monitoring and the real-time status information as report data;
When the user's interaction exceeds a predetermined time, it is determined that the user's interaction has failed, the end of real-time status information monitoring from the wearable device and the failure information of the monitoring are stored as the reporting data, Discarding status information; And
And transmitting the reporting data according to whether the user's interaction is successful and whether or not the user's interaction is successful, to a server,
The user specific message,
Based on the report data, pattern information for the user, group attribute information for a user group consisting of a plurality of users obtained through at least one caring toy collected through the server, and an external corresponding to the user group Characterized in that the higher the number of generations per hour for attribute information, the lower the weight is configured by clustering,
How to save data using caring toy.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190042667A KR102092083B1 (en) | 2019-04-11 | 2019-04-11 | A caregiver toy storing only valid data of user's pattern and a method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190042667A KR102092083B1 (en) | 2019-04-11 | 2019-04-11 | A caregiver toy storing only valid data of user's pattern and a method therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102092083B1 true KR102092083B1 (en) | 2020-03-23 |
Family
ID=69998382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190042667A KR102092083B1 (en) | 2019-04-11 | 2019-04-11 | A caregiver toy storing only valid data of user's pattern and a method therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102092083B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140134109A (en) | 2013-05-13 | 2014-11-21 | 엘에스산전 주식회사 | Solitary senior people care system |
| KR20150009770A (en) * | 2013-07-17 | 2015-01-27 | 한국전자통신연구원 | Real-time multichannel neural signal processing device and method |
| KR20160065341A (en) | 2014-11-28 | 2016-06-09 | (주)스튜디오 크로스컬쳐 | System for supporting old man living alone with care toy and mobile device |
| KR20180078555A (en) * | 2016-12-30 | 2018-07-10 | 대구보건대학교산학협력단 | The aged care system using silver smart device |
| JP2018169746A (en) * | 2017-03-29 | 2018-11-01 | 本田技研工業株式会社 | Object recognition device and object recognition method |
-
2019
- 2019-04-11 KR KR1020190042667A patent/KR102092083B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140134109A (en) | 2013-05-13 | 2014-11-21 | 엘에스산전 주식회사 | Solitary senior people care system |
| KR20150009770A (en) * | 2013-07-17 | 2015-01-27 | 한국전자통신연구원 | Real-time multichannel neural signal processing device and method |
| KR20160065341A (en) | 2014-11-28 | 2016-06-09 | (주)스튜디오 크로스컬쳐 | System for supporting old man living alone with care toy and mobile device |
| KR20180078555A (en) * | 2016-12-30 | 2018-07-10 | 대구보건대학교산학협력단 | The aged care system using silver smart device |
| JP2018169746A (en) * | 2017-03-29 | 2018-11-01 | 本田技研工業株式会社 | Object recognition device and object recognition method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Emergency situation monitoring service using context motion tracking of chronic disease patients | |
| Rashidi et al. | A survey on ambient-assisted living tools for older adults | |
| Mardini et al. | A survey of healthcare monitoring systems for chronically ill patients and elderly | |
| WO2017210661A1 (en) | Virtual health assistant for promotion of well-being and independent living | |
| WO2020006271A1 (en) | Wearable system for brain health monitoring and seizure detection and prediction | |
| US11116413B2 (en) | Systems, devices, and/or methods for managing health | |
| US20210383926A1 (en) | Mental health assessment system and method | |
| Sanchez et al. | Hidden markov models for activity recognition in ambient intelligence environments | |
| Homdee et al. | Agitation monitoring and prevention system for dementia caregiver empowerment | |
| Sankar et al. | Internet of things based ambient assisted living for elderly people health monitoring | |
| Abdelmoneem et al. | A survey on multi-sensor fusion techniques in IoT for healthcare | |
| Casals et al. | Ambient Intelligence by ATML Rules in BackHome | |
| WO2018152365A1 (en) | Activity monitoring system | |
| KR102092083B1 (en) | A caregiver toy storing only valid data of user's pattern and a method therefor | |
| KR102304877B1 (en) | Sleep assessment for evaluation and prediction of sleep based on deep learning | |
| KR102350643B1 (en) | Sleep assessment system using activity and sleeping data | |
| US11783948B2 (en) | Cognitive evaluation determined from social interactions | |
| KR102167901B1 (en) | A support system for elderly living alone by using aritificial intelligence and supporting method thereof | |
| Theilig et al. | Employing environmental data and machine learning to improve mobile health receptivity | |
| US20220230753A1 (en) | Techniques for executing transient care plans via an input/output device | |
| US20220108775A1 (en) | Techniques for updating a health-related record of a user of an input/output device | |
| WO2018179292A1 (en) | Information processing device, method, and program | |
| Sukreep et al. | Recognizing Falls, Daily Activities, and Health Monitoring by Smart Devices. | |
| Aburukba et al. | Remote monitoring framework for elderly care home centers in UAE | |
| Lobo et al. | Context-aware and user adaptive smart home ecosystems using wearable and semantic technologies during and post COVID-19 pandemic |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |