JP6868049B2

JP6868049B2 - Information processing equipment, watching system, watching method, and watching program

Info

Publication number: JP6868049B2
Application number: JP2019027454A
Authority: JP
Inventors: 千穂阿部; 好山口
Original assignee: NEC Personal Computers Ltd
Current assignee: NEC Personal Computers Ltd
Priority date: 2019-02-19
Filing date: 2019-02-19
Publication date: 2021-05-12
Anticipated expiration: 2039-02-19
Also published as: JP2020135368A

Description

本発明は、情報処理装置、見守りシステム、見守り方法、及び見守りプログラムに関するものである。 The present invention relates to an information processing device, a watching system, a watching method, and a watching program.

従来、照明装置、電気ポット、炊飯器等の電気機器の使用頻度に基づいて一人暮らしの高齢者（見守対象者）の安否を確認し、離れた場所にいる家族等の見守者に対して報告する安否確認システムが知られている（例えば、特許文献１等）。
また、安否確認の他の手法として、監視カメラを室内に取り付け、監視カメラで撮影された動画を離れた場所にいる見守者に対して送信するシステムも提案されている。 Conventionally, the safety of elderly people living alone (persons to be watched over) is confirmed based on the frequency of use of electric devices such as lighting devices, electric kettles, and rice cookers, and reports are made to watchers such as family members who are far away. A safety confirmation system is known (for example, Patent Document 1 and the like).
In addition, as another method for confirming safety, a system has been proposed in which a surveillance camera is installed indoors and a video taken by the surveillance camera is transmitted to a watcher at a remote location.

特開２０１６−２１８９６９号公報Japanese Unexamined Patent Publication No. 2016-218969

監視カメラを用いた安否確認では、高齢者等の見守対象者を撮影した動画をそのまま見守者に送信するため、見守対象者に監視されているという抵抗感が生まれる可能性がある。
また、電気ポット、炊飯器等における機器操作の検知に基づく安否確認では、使用者を特定することができないため、見守対象者本人の健康状態を把握することが難しかった。 In the safety confirmation using a surveillance camera, the video of the elderly person to be watched is transmitted to the watcher as it is, so that there is a possibility that the person being watched may feel resistance.
In addition, it is difficult to grasp the health condition of the person to be watched because the user cannot be identified by the safety confirmation based on the detection of the operation of the equipment in the electric kettle, the rice cooker, or the like.

本発明は、このような事情に鑑みてなされたものであって、見守対象者のプライバシーを守りながら、見守対象者の状態を見守者に通知することのできる情報処理装置、見守りシステム、見守り方法、及び見守りプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and is an information processing device, a watching system, and a watching method capable of notifying the watching person of the state of the watching target person while protecting the privacy of the watching target person. , And to provide a watching program.

本発明の第１態様は、音声情報を取得する音声取得部、音声出力部、及び画像情報を取得する撮像部を備える対話型ロボットとの間で情報の送受信を行うための第１通信部と、前記第１通信部を介して受信した前記対話型ロボットによって取得された音声情報及び画像情報の少なくともいずれか一つを含む行動情報を用いて、人物の行動要約情報を生成する行動要約情報生成部と、前記人物の過去の行動要約情報に基づいて、前記行動要約情報生成部によって生成された前記行動要約情報から話題情報を抽出する抽出部と、抽出された前記話題情報に基づいて通知情報を生成する情報生成部と、前記通知情報を予め登録されている送信先に送信する第２通信部とを具備し、前記第１通信部は、前記第２通信部から前記通知情報を送信する場合に、前記通知情報の送信可否を前記対話型ロボットを介して問い合わせるための問い合わせ情報を前記対話型ロボットに送信し、前記第２通信部は、前記第１通信部が前記対話型ロボットから前記通知情報の送信許可情報を受信した場合に、前記通知情報を送信する情報処理装置である。 A first aspect of the present invention is a first communication unit for transmitting and receiving information to and from an interactive robot including a voice acquisition unit for acquiring voice information, a voice output unit, and an imaging unit for acquiring image information. , Action summary information generation that generates action summary information of a person using action information including at least one of voice information and image information acquired by the interactive robot received via the first communication unit. A unit, an extraction unit that extracts topic information from the action summary information generated by the action summary information generation unit based on the past action summary information of the person, and a notification information based on the extracted topic information. A second communication unit that transmits the notification information to a destination registered in advance is provided, and the first communication unit transmits the notification information from the second communication unit. In this case, the inquiry information for inquiring whether or not the notification information can be transmitted is transmitted to the interactive robot via the interactive robot, and in the second communication unit, the first communication unit receives the inquiry information from the interactive robot. This is an information processing device that transmits the notification information when the transmission permission information of the notification information is received.

本発明の第２態様は、上記情報処理装置と、前記情報処理装置との間で情報の授受が可能な見守側情報処理装置とを備え、前記見守側情報処理装置は、前記情報処理装置の前記第２通信部から送信された通知情報を受信するための第３通信部と、前記第３通信部によって受信された通知情報を見守側対話型ロボットに送信するための第４通信部とを備える見守りシステムである。 A second aspect of the present invention includes the information processing device and a watching side information processing device capable of exchanging information between the information processing device, and the watching side information processing device is the information processing device of the information processing device. A third communication unit for receiving the notification information transmitted from the second communication unit and a fourth communication unit for transmitting the notification information received by the third communication unit to the watching-side interactive robot. It is a watching system to prepare.

本発明の第３態様は、音声情報を取得する音声取得部と、音声を出力する音声出力部と、画像情報を取得する撮像部と、前記音声情報及び前記画像情報の少なくともいずれか一つを含む行動情報を用いて、人物の行動要約情報を生成する行動要約情報生成部と、前記人物の過去の行動要約情報に基づいて、前記行動要約情報生成部によって生成された前記行動要約情報から話題情報を抽出する抽出部と、抽出された前記話題情報に基づいて通知情報を生成する情報生成部と、前記通知情報を予め登録されている送信先に送信する第２通信部とを具備し、前記情報生成部は、前記第２通信部から前記通知情報を送信する場合に、前記通知情報の送信可否を問い合わせるための情報を生成し、前記第２通信部は、前記人物から前記通知情報の送信許可があった場合に、前記通知情報を送信する対話型ロボットである。 A third aspect of the present invention is to use at least one of the audio information and the image information, the audio acquisition unit that acquires the audio information, the audio output unit that outputs the audio, the imaging unit that acquires the image information, and the audio information. A topic from the behavior summary information generation unit that generates the behavior summary information of the person using the including behavior information, and the behavior summary information generated by the behavior summary information generation unit based on the past behavior summary information of the person. It includes an extraction unit that extracts information, an information generation unit that generates notification information based on the extracted topic information, and a second communication unit that transmits the notification information to a pre-registered destination . When the notification information is transmitted from the second communication unit, the information generation unit generates information for inquiring whether or not the notification information can be transmitted, and the second communication unit receives the notification information from the person. It is an interactive robot that transmits the notification information when transmission permission is given.

本発明の第４態様は、音声情報を取得する音声取得部、音声出力部、及び画像情報を取得する撮像部を備える対話型ロボットによって取得された音声情報及び画像情報の少なくともいずれか一つを含む行動情報を用いて、人物の行動要約情報を生成する工程と、前記人物の過去の行動要約情報に基づいて、最新の前記行動要約情報から話題情報を抽出する工程と、抽出された前記話題情報に基づいて通知情報を生成する工程と、前記通知情報を送信する場合に、前記通知情報の送信可否を前記対話型ロボットを介して問い合わせるための問い合わせ情報を前記対話型ロボットに送信する工程と、前記対話型ロボットから前記通知情報の送信許可情報を受信した場合に、前記通知情報を予め登録されている送信先に送信する工程とをコンピュータが実行する見守り方法である。 A fourth aspect of the present invention is to obtain at least one of voice information and image information acquired by an interactive robot including a voice acquisition unit for acquiring voice information, a voice output unit, and an imaging unit for acquiring image information. A step of generating a person's behavior summary information using the included behavior information, a step of extracting topic information from the latest behavior summary information based on the person's past behavior summary information, and a step of extracting the extracted topic. A step of generating notification information based on the information, and a step of transmitting inquiry information to the interactive robot for inquiring whether or not the notification information can be transmitted via the interactive robot when the notification information is transmitted. This is a monitoring method in which a computer executes a step of transmitting the notification information to a destination registered in advance when the transmission permission information of the notification information is received from the interactive robot.

本発明の第５態様は、音声情報を取得する音声取得部、音声出力部、及び画像情報を取得する撮像部を備える対話型ロボットによって取得された音声情報及び画像情報の少なくともいずれか一つを含む行動情報を用いて、人物の行動要約情報を生成する処理と、前記人物の過去の行動要約情報に基づいて、最新の前記行動要約情報から話題情報を抽出する処理と、抽出された前記話題情報に基づいて通知情報を生成する処理と、前記通知情報を送信する場合に、前記通知情報の送信可否を前記対話型ロボットを介して問い合わせるための問い合わせ情報を前記対話型ロボットに送信する処理と、前記対話型ロボットから前記通知情報の送信許可情報を受信した場合に、前記通知情報を予め登録されている送信先に送信する処理とをコンピュータに実行させるための見守りプログラムである。
A fifth aspect of the present invention is to obtain at least one of voice information and image information acquired by an interactive robot including a voice acquisition unit for acquiring voice information, a voice output unit, and an imaging unit for acquiring image information. A process of generating a person's action summary information using the included action information, a process of extracting topic information from the latest action summary information based on the person's past action summary information, and a process of extracting the extracted topic. A process of generating notification information based on the information, and a process of transmitting inquiry information to the interactive robot for inquiring whether or not the notification information can be transmitted via the interactive robot when the notification information is transmitted. This is a monitoring program for causing a computer to execute a process of transmitting the notification information to a destination registered in advance when the transmission permission information of the notification information is received from the interactive robot.

本開示によれば、見守対象者のプライバシーを守りながら、見守対象者の状態を見守者に通知することができるという効果を奏する。 According to the present disclosure, it is possible to notify the watcher of the state of the watcher while protecting the privacy of the watcher.

本発明の一実施形態に係る見守りシステムの全体構成を示した図である。It is a figure which showed the whole structure of the monitoring system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る対話型ロボットの外観図である。It is an external view of the interactive robot which concerns on one Embodiment of this invention. 本発明の一実施形態に係る情報処理装置のハードウェア構成の概略図である。It is the schematic of the hardware configuration of the information processing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る見守対象者側の情報処理装置の概略機能構成を示した機能ブロック図である。It is a functional block diagram which showed the schematic functional configuration of the information processing apparatus on the side of a watched person which concerns on one Embodiment of this invention. 本発明の一実施形態に係る見守者側の情報処理装置の概略機能構成を示した機能ブロック図である。It is a functional block diagram which showed the schematic functional configuration of the information processing apparatus on the observer side which concerns on one Embodiment of this invention. 本発明の一実施形態に係る対話型ロボットと見守対象者との対話例を示した図である。It is a figure which showed the example of the dialogue between the interactive robot which concerns on one Embodiment of this invention, and a person to watch over. 本発明の一実施形態に係る対話型ロボット間の対話例を主に示した図である。It is a figure which mainly showed the example of the dialogue between the interactive robots which concerns on one Embodiment of this invention.

以下に、本発明の一実施形態に係る情報処理装置、見守りシステム、見守り方法、及び見守りプログラムについて、図面を参照して説明する。 Hereinafter, the information processing device, the watching system, the watching method, and the watching program according to the embodiment of the present invention will be described with reference to the drawings.

図１は、本発明の一実施形態に係る見守りシステムの全体構成を示した図である。図１に示すように、見守りシステムは、見守対象者側の情報処理装置２０と、見守者側の情報処理装置４０とを主な構成として備えている。また、見守りシステムは、見守対象者側の対話型ロボット１０と、見守者側の対話型ロボット３０とを更に備えていてもよい。 FIG. 1 is a diagram showing an overall configuration of a monitoring system according to an embodiment of the present invention. As shown in FIG. 1, the watching system includes an information processing device 20 on the watching target side and an information processing device 40 on the watching side as a main configuration. Further, the watching system may further include an interactive robot 10 on the watching target side and an interactive robot 30 on the watching side.

対話型ロボット１０は、例えば、高齢者等の見守対象者Ａと対話を行うロボットであり、対話において取得した情報等を情報処理装置２０に送信するとともに、自身が備える発話システムが生成した発話情報や情報処理装置２０から取得した発話情報を発話することで、見守対象者Ａとの対話を成立させる。 The interactive robot 10 is, for example, a robot that interacts with a person A to be watched over, such as an elderly person, and transmits information acquired in the dialogue to the information processing device 20, as well as speech information generated by the speech system provided by the interactive robot 10. By speaking the speech information acquired from the information processing device 20 and the information processing device 20, a dialogue with the watch target person A is established.

情報処理装置２０は、対話型ロボット１０から取得した情報を解析して、対話型ロボット１０から発話させる発話情報を生成したり、見守者Ｂに通知する通知情報を生成し、見守者側の情報処理装置４０に送信する。
更に、情報処理装置２０は、後述する見守者側の情報処理装置４０から受信した情報または該情報に基づいて生成された発話情報を対話型ロボット１０に出力することにより、対話型ロボット１０を通じて見守者Ｂからの情報を見守対象者Ａへ通知する。 The information processing device 20 analyzes the information acquired from the interactive robot 10 to generate speech information to be spoken from the interactive robot 10, or generates notification information to be notified to the watcher B, and information on the watcher side. It is transmitted to the processing device 40.
Further, the information processing device 20 watches over the interactive robot 10 by outputting the information received from the information processing device 40 on the watcher side, which will be described later, or the utterance information generated based on the information to the interactive robot 10. Notify the monitoring target person A of the information from the person B.

対話型ロボット３０は、見守対象者Ａの家族等の見守者Ｂと対話を行うロボットであり、対話において取得した情報等を情報処理装置４０に送信するとともに、自身が備える発話システムが生成した発話情報や情報処理装置４０から取得した発話情報を発話することで、見守者Ｂとの対話を成立させる。 The interactive robot 30 is a robot that interacts with the watcher B such as the family of the watcher A, transmits the information acquired in the dialogue to the information processing device 40, and speaks generated by the speech system provided by the interactive robot 30. By speaking the information and the spoken information acquired from the information processing device 40, a dialogue with the watcher B is established.

情報処理装置４０は、対話型ロボット３０から取得した情報を解析して、対話型ロボット３０から発話させる発話情報を生成したり、見守対象者Ａに通知する情報を生成して、情報処理装置２０に送信する。
更に、情報処理装置４０は、後述する見守対象者側の情報処理装置２０から受信した情報または該情報に基づいて生成された発話情報を対話型ロボット３０に出力することにより、対話型ロボット３０を通じて見守対象者Ａからの情報を見守者Ｂへ通知する。 The information processing device 40 analyzes the information acquired from the interactive robot 30 to generate speech information to be spoken from the interactive robot 30, or generates information to be notified to the watch target person A, and the information processing device 20 Send to.
Further, the information processing device 40 outputs the information received from the information processing device 20 on the watching target side, which will be described later, or the utterance information generated based on the information to the interactive robot 30, thereby passing through the interactive robot 30. Notify the watcher B of the information from the watcher A.

このように、見守りシステムは、見守対象者Ａと見守者Ｂとが直接的に会話を行うのではなく、その間に対話型ロボット１０や対話型ロボット３０を介在させることにより、見守対象者Ａ及び見守者Ｂとの間の対話をより気軽なものにし、両者間の意思疎通をよりスムーズに行わせることを期待するものである。 In this way, in the watching system, the watching target person A and the watching person B do not have a direct conversation, but the interactive robot 10 and the interactive robot 30 are interposed between the watching target person A and the watching person B. It is hoped that the dialogue with the watcher B will be easier and the communication between the two will be smoother.

図２は、本発明の一実施形態に係る対話型ロボット１０の外観図である。なお、対話型ロボット３０も対話型ロボット１０と同様の構成を備えている。
本実施形態に係る対話型ロボット１０は、携帯可能なロボットとされ、例えば、頭部２、胴体３、右上腕部４ａ、左上腕部４ｂ、右手部５ａ、左手部５ｂ、右脚部６ａ、左脚部６ｂ、右足部７ａ、及び左足部７ｂを備えている。これらの各構成要素の接続部には図示しないモータが設けられており、モータを駆動させることで頭部２、胴体３、右上腕部４ａ、左上腕部４ｂ、右手部５ａ、左手部５ｂ、右脚部６ａ、左脚部６ｂ、右足部７ａ、及び左足部７ｂを動かすことができる。頭部２には、例えば、カメラ（撮像部）１１、マイクロフォン（音声取得部）１２、及びスピーカ（音声出力部）１３が設けられている。また、胴体３にはタッチパネル１４が設けられている。また、胴体３には、対話型ロボットの各部の制御を司る制御装置（図示略）及び情報処理装置２０等との通信を実現させるための通信部（図示略）等が内蔵されている。 FIG. 2 is an external view of the interactive robot 10 according to the embodiment of the present invention. The interactive robot 30 also has the same configuration as the interactive robot 10.
The interactive robot 10 according to the present embodiment is a portable robot, for example, a head 2, a body 3, an upper right arm 4a, an upper left arm 4b, a right hand 5a, a left hand 5b, and a right leg 6a. It includes a left leg portion 6b, a right foot portion 7a, and a left foot portion 7b. A motor (not shown) is provided at the connection portion of each of these components, and by driving the motor, the head 2, the torso 3, the upper right arm 4a, the upper left arm 4b, the right hand 5a, the left hand 5b, The right leg 6a, the left leg 6b, the right foot 7a, and the left foot 7b can be moved. The head 2 is provided with, for example, a camera (imaging unit) 11, a microphone (audio acquisition unit) 12, and a speaker (audio output unit) 13. Further, the body 3 is provided with a touch panel 14. Further, the body 3 has a built-in control device (not shown) that controls each part of the interactive robot, a communication unit (not shown) for realizing communication with the information processing device 20 and the like.

制御装置は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びコンピュータ読み取り可能な記憶媒体等から構成されている。そして、各種機能を実現するための一連の処理は、一例として、プログラムの形式で記憶媒体等に記憶されており、このプログラムをＣＰＵがＲＡＭ等に読み出して、情報の加工・演算処理を実行することにより、後述する各種機能が実現される。なお、プログラムは、ＲＯＭやその他の記憶媒体に予めインストールしておく形態や、コンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等である。 The control device includes, for example, a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), a computer-readable storage medium, and the like. Then, as an example, a series of processes for realizing various functions are stored in a storage medium or the like in the form of a program, and the CPU reads this program into a RAM or the like to execute information processing / arithmetic processing. As a result, various functions described later are realized. The program is installed in a ROM or other storage medium in advance, is provided in a state of being stored in a computer-readable storage medium, or is distributed via a wired or wireless communication means. Etc. may be applied. Computer-readable storage media include magnetic disks, magneto-optical disks, CD-ROMs, DVD-ROMs, semiconductor memories, and the like.

制御装置は、例えば、対話システムを搭載している。対話システムは、例えば、ニューラルネットワークやディープラーニング等の機械学習技術を用いた人工知能（ＡＩ）を有している。対話システムは、例えば、見守対象者Ａの発話内容を解析し、解析結果に応じた発話データ（リスポンスデータ）を生成する。そして、この発話データをスピーカ１３から音声として出力させることで、見守対象者Ａとの対話を実現させる。 The control device is equipped with, for example, an interactive system. The dialogue system has artificial intelligence (AI) using machine learning techniques such as neural networks and deep learning, for example. The dialogue system analyzes, for example, the utterance content of the watched person A and generates utterance data (response data) according to the analysis result. Then, by outputting this utterance data as voice from the speaker 13, a dialogue with the watch target person A is realized.

なお、図２に示した対話型ロボット１０の形状や構成は一例であり、この例に限定されない。例えば、タッチパネル１４は対話型ロボット１０の背面に設けられていてもよい。また、対話型ロボット１０として、公知の対話型ロボットを採用することも可能であり、一例として、シャープ株式会社から提供されている「ロボホン」（登録商標）が挙げられる。 The shape and configuration of the interactive robot 10 shown in FIG. 2 is an example, and is not limited to this example. For example, the touch panel 14 may be provided on the back surface of the interactive robot 10. Further, as the interactive robot 10, it is possible to adopt a known interactive robot, and as an example, "Robophone" (registered trademark) provided by Sharp Corporation can be mentioned.

図３は、本発明の一実施形態に係る情報処理装置２０のハードウェア構成の概略図である。なお、情報処理装置４０も同様の構成を備えている。
情報処理装置２０は、例えば、スマートフォン等の携帯電話機、ノートＰＣ、タブレット端末、デスクトップ型ＰＣ端末等である。図３に示すように、情報処理装置２０は、例えば、ＣＰＵ２１、ＣＰＵ２１が実行するプログラム及びこのプログラムにより参照されるデータ等を記憶するための補助記憶装置２２、各プログラム実行時のワーク領域として機能する主記憶装置２３を備えている。補助記憶装置２２として、例えば、ＨＤＤ（Hard Disk Drive）などの磁気ディスク、光磁気ディスク、ＳＳＤ（Solid State Drive）等の半導体メモリ等が一例として挙げられる。
更に、情報処理装置２０は、対話型ロボット１０と通信を行うための第１通信部２４、及びインターネット等のネットワーク５０（図１参照）に接続するための第２通信部２５主な構成として備えている。これら各部は、例えば、バスを介して接続されている。
また、情報処理装置２０は、キーボードやマウス等の入力部や液晶表示装置等の表示部を備えていてもよい。 FIG. 3 is a schematic diagram of the hardware configuration of the information processing apparatus 20 according to the embodiment of the present invention. The information processing device 40 also has a similar configuration.
The information processing device 20 is, for example, a mobile phone such as a smartphone, a notebook PC, a tablet terminal, a desktop PC terminal, or the like. As shown in FIG. 3, the information processing device 20 functions as, for example, a CPU 21, an auxiliary storage device 22 for storing a program executed by the CPU 21 and data referred to by the program, and a work area at the time of executing each program. The main storage device 23 is provided. Examples of the auxiliary storage device 22 include magnetic disks such as HDDs (Hard Disk Drives), magneto-optical disks, and semiconductor memories such as SSDs (Solid State Drives).
Further, the information processing device 20 is provided as a main configuration of a first communication unit 24 for communicating with the interactive robot 10 and a second communication unit 25 for connecting to a network 50 (see FIG. 1) such as the Internet. ing. Each of these parts is connected via, for example, a bus.
Further, the information processing device 20 may include an input unit such as a keyboard and a mouse, and a display unit such as a liquid crystal display device.

後述する各種機能を実現するための一連の処理は、一例として、プログラム（例えば、見守りプログラム）の形式で補助記憶装置２２に記憶されており、このプログラムをＣＰＵ２１が主記憶装置２３に読み出して、情報の加工・演算処理を実行することにより、後述する各種機能が実現される。なお、プログラムは、補助記憶装置２２に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等である。 As an example, a series of processes for realizing various functions described later are stored in the auxiliary storage device 22 in the form of a program (for example, a watching program), and the CPU 21 reads this program into the main storage device 23. By executing information processing and arithmetic processing, various functions described later are realized. The program is installed in the auxiliary storage device 22 in advance, is provided in a state of being stored in another computer-readable storage medium, or is distributed via a wired or wireless communication means. Etc. may be applied. Computer-readable storage media include magnetic disks, magneto-optical disks, CD-ROMs, DVD-ROMs, semiconductor memories, and the like.

図４は、本実施形態に係る情報処理装置２０の機能構成の一例を示した機能ブロック図である。図４に示すように、情報処理装置２０は、例えば、第１通信部２４、第２通信部２５、行動要約情報生成部２６、データベース２７、抽出部２８、及び情報生成部２９等を備えている。 FIG. 4 is a functional block diagram showing an example of the functional configuration of the information processing apparatus 20 according to the present embodiment. As shown in FIG. 4, the information processing apparatus 20 includes, for example, a first communication unit 24, a second communication unit 25, an action summary information generation unit 26, a database 27, an extraction unit 28, an information generation unit 29, and the like. There is.

第１通信部２４は、無線または有線を介して対話型ロボット１０と接続し、対話型ロボット１０との間での情報の授受を実現させる。例えば、第１通信部２４は、対話型ロボット１０のマイクロフォン１２を介して取得された音声情報及びカメラ１１によって取得された画像情報の少なくともいずれか一つを含む行動情報を対話型ロボット１０から受信する。本実施形態において、行動情報は、音声情報及び画像情報の両方を含むものとするが、この例に限定されず、これらのいずれか一方を含んでいれば足りる。 The first communication unit 24 connects to the interactive robot 10 via wireless or wired, and realizes the exchange of information with and from the interactive robot 10. For example, the first communication unit 24 receives behavior information from the interactive robot 10 including at least one of voice information acquired through the microphone 12 of the interactive robot 10 and image information acquired by the camera 11. To do. In the present embodiment, the behavioral information includes both audio information and image information, but the present invention is not limited to this example, and it is sufficient to include either one of them.

第２通信部２５は、インターネット等のネットワーク５０を介して予め登録されている見守者側の情報処理装置４０と接続し、情報処理装置４０との間での情報の授受を実現させる。また、第２通信部２５を介してネットワーク上における種々の情報を取得することも可能である。 The second communication unit 25 connects to the information processing device 40 on the watcher side registered in advance via a network 50 such as the Internet, and realizes the exchange of information with the information processing device 40. It is also possible to acquire various information on the network via the second communication unit 25.

行動要約情報生成部２６は、第１通信部２４によって受信された行動情報を用いて、見守対象者Ａの行動要約情報を生成する。
行動要約情報生成部２６は、例えば、対話型ロボット１０が見守対象者Ａとの対話によって得た音声情報から会話内容を解析し、会話内容から見守対象者Ａの行動要約情報を生成する。より具体的には、行動要約情報生成部２６は、会話内容から見守対象者Ａが所定の行動に要した時間を取得し、所定の行動に要した時間を含む行動要約情報を生成する。また、行動要約情報生成部２６は、会話内容から見守対象者Ａが所定の行動を行った時刻を取得し、所定の行動を行った時刻を含む行動要約情報を生成する。 The action summary information generation unit 26 generates the action summary information of the watch target person A by using the action information received by the first communication unit 24.
The action summary information generation unit 26, for example, analyzes the conversation content from the voice information obtained by the interactive robot 10 through the dialogue with the watch target person A, and generates the action summary information of the watch target person A from the conversation content. More specifically, the action summary information generation unit 26 acquires the time required for the watching target person A to perform a predetermined action from the conversation content, and generates the action summary information including the time required for the predetermined action. In addition, the action summary information generation unit 26 acquires the time when the watch target person A performs a predetermined action from the conversation content, and generates the action summary information including the time when the predetermined action is performed.

所定の行動に要した時間の一例として、例えば、外出時間、食事に要した時間等が挙げられる。
所定の行動を行った時刻の一例として、起床時刻、就寝時刻等が挙げられる。 Examples of the time required for a predetermined action include the time required for going out, the time required for eating, and the like.
As an example of the time when a predetermined action is performed, the time of waking up, the time of going to bed, and the like can be mentioned.

また、行動要約情報生成部２６は、対話型ロボット１０が見守対象者Ａとの対話によって得た音声情報から得られる声の大きさ、トーン、及び速度の少なくともいずれか一つ、及び／又は、対話型ロボット１０が取得した見守対象者Ａの画像情報から得られる眉の動き、口角、及び顔色の少なくともいずれか一つを用いて人物の元気度レベルを判定し、元気度レベルを含む行動要約情報を生成する。
この元気度レベルの判定は、例えば、ニューラルネットワークやディープラーニング等の公知の機械学習技術を用いて実現することが可能であり、公知の技術を適宜採用すればよい。 In addition, the action summary information generation unit 26 has at least one of the loudness, tone, and speed of the voice obtained from the voice information obtained by the interactive robot 10 in the dialogue with the watch target person A, and / or. The energy level of the person is determined using at least one of the eyebrow movement, the corner of the mouth, and the complexion obtained from the image information of the watch target person A acquired by the interactive robot 10, and the action summary including the energy level is included. Generate information.
The determination of the energy level can be realized by using a known machine learning technique such as a neural network or deep learning, and the known technique may be appropriately adopted.

行動要約情報生成部２６によって生成された行動要約情報はデータベース２７に蓄積されるとともに、抽出部２８に出力される。データベース２７への格納時において、行動要約情報には作成日情報が付加されてもよい。 The action summary information generated by the action summary information generation unit 26 is accumulated in the database 27 and output to the extraction unit 28. At the time of storage in the database 27, creation date information may be added to the action summary information.

抽出部２８は、例えば、データベース２７に格納されている見守対象者Ａの過去の行動要約情報に基づいて、行動要約情報生成部２６によって生成された行動要約情報から話題情報を抽出する。
抽出部２８は、例えば、見守対象者Ａの過去の行動要約情報に基づく所定の行動に要した時間と、行動要約情報生成部２６によって生成された最新の行動要約情報に含まれる所定の行動に要した時間とを比較し、所定の閾値以上（例えば、１時間以上）の時間差が生じていた場合に、所定の行動を話題情報として抽出する。
例えば、過去の行動要約情報における外出時間を統計的に処理した結果、通常時における外出時間が１時間程度であるのにかかわらず、最新の行動要約情報では外出時間が３時間とされていた場合には、通常に比べて２時間以上の時間差があるため、所定の閾値以上（例えば、１時間以上）の時間差があると判定して、外出時間を話題情報として抽出する。 The extraction unit 28 extracts topic information from the action summary information generated by the action summary information generation unit 26, for example, based on the past action summary information of the watch target person A stored in the database 27.
The extraction unit 28 determines, for example, the time required for a predetermined action based on the past action summary information of the watch target person A and the predetermined action included in the latest action summary information generated by the action summary information generation unit 26. The required time is compared, and when a time difference of a predetermined threshold or more (for example, 1 hour or more) occurs, a predetermined action is extracted as topic information.
For example, as a result of statistically processing the outing time in the past behavior summary information, the outing time is set to 3 hours in the latest behavior summary information even though the outing time in the normal time is about 1 hour. Has a time difference of 2 hours or more as compared with the usual case, so it is determined that there is a time difference of a predetermined threshold value or more (for example, 1 hour or more), and the outing time is extracted as topic information.

また、例えば、抽出部２８は、見守対象者Ａの過去の行動要約情報に基づく所定の行動を行った時刻と、行動要約情報生成部２６によって生成された最新の行動要約情報に含まれる所定の行動を行った時刻とを比較し、所定の閾値以上（例えば、１時間以上）の時間差が生じていた場合に、所定の行動を話題情報として抽出する。 Further, for example, the extraction unit 28 includes the time when the monitoring target person A performs a predetermined action based on the past action summary information and the latest action summary information generated by the action summary information generation unit 26. The time when the action is performed is compared, and when a time difference of a predetermined threshold or more (for example, 1 hour or more) occurs, the predetermined action is extracted as topic information.

例えば、過去の行動要約情報における起床時間を統計的に処理した結果、通常時における起床時間が午前６時であるのに対し、最新の行動要約情報では起床時間が午前８時３０分とされていた場合には、通常に比べて２時間３０分以上の時間差があるため、所定の閾値以上（例えば、１時間以上）の時間差があると判定して、起床時間を話題情報として抽出する。 For example, as a result of statistically processing the wake-up time in the past behavior summary information, the wake-up time is 6:00 am in the normal time, whereas the wake-up time is 8:30 am in the latest behavior summary information. In this case, since there is a time difference of 2 hours and 30 minutes or more as compared with the usual case, it is determined that there is a time difference of a predetermined threshold value or more (for example, 1 hour or more), and the wake-up time is extracted as topic information.

また、抽出部２８は、行動要約情報生成部２６によって生成された最新の行動要約情報に含まれる元気度レベルが予め設定されている所定の元気度レベルよりも低かった場合に、元気度レベルを話題情報として抽出する。 Further, the extraction unit 28 sets the energy level when the energy level included in the latest action summary information generated by the action summary information generation unit 26 is lower than a predetermined energy level set in advance. Extract as topic information.

情報生成部２９は、抽出部２８によって抽出された話題情報に基づいて見守者Ｂに通知する通知情報を生成する。具体的には、抽出された話題情報に基づいて自然な会話となるようなシナリオを生成し、通知情報として第２通信部２５に出力する。このような通知情報の作成については、例えば、予め登録されている複数のフォーマットのいずれかに対して話題情報を当てはめることにより作成されてもよいし、あるいは、ニューラルネットワークやディープラーニングなどの公知の機械学習技術を採用することにより、より自然な対話を成立させるためのシナリオを作成してもよい。例えば、見守対象者Ａの散歩時間が通常よりも２時間長かった場合には、「おばあちゃん、今日はいつもよりも散歩時間が２時間長かったよ」といった通知情報が作成される。 The information generation unit 29 generates notification information to be notified to the watcher B based on the topic information extracted by the extraction unit 28. Specifically, a scenario that leads to a natural conversation is generated based on the extracted topic information, and is output to the second communication unit 25 as notification information. Such notification information may be created, for example, by applying topical information to any of a plurality of pre-registered formats, or known such as a neural network or deep learning. By adopting machine learning technology, a scenario for establishing a more natural dialogue may be created. For example, if the walking time of the person A to be watched is 2 hours longer than usual, notification information such as "Grandma, the walking time was 2 hours longer than usual today" is created.

また、上記通知情報を生成する際に、話題情報に関する追加情報を見守対象者Ａとの対話によって更に得ることとしてもよい。
例えば、話題情報として、「散歩時間が２時間長かった」といった話題情報が抽出されていた場合、「おばあちゃん、いつもよりお散歩の時間が２時間も長かったね。どうしたの？」等の見守対象者Ａへの発話情報を生成し、散歩時間がいつもよりも長かったことに関する理由等を対話型ロボット１０を介して問い合わせることとしてもよい。見守対象者Ａと対話型ロボット１０との間で話題情報に関する対話が進められることにより、抽出部２８によって抽出された話題情報に関する追加の情報を得ることができ、より詳細な情報を見守者Ｂに通知することが可能となる。 Further, when the notification information is generated, additional information regarding the topic information may be further obtained through a dialogue with the monitoring target person A.
For example, if topical information such as "Walking time was 2 hours longer" was extracted as topical information, "Grandma, the walking time was 2 hours longer than usual. What happened?" The speech information to the person A may be generated, and the reason for the longer walking time than usual may be inquired via the interactive robot 10. By advancing the dialogue on the topic information between the watch target person A and the interactive robot 10, it is possible to obtain additional information on the topic information extracted by the extraction unit 28, and the watcher B can obtain more detailed information. Can be notified to.

例えば、追加情報として、見守対象者Ａが転んでしまったという情報を得た場合には、情報生成部２９は、「いつもよりも散歩時間が長かったこと」、「転んでしまったこと」を通知する通知情報を生成する。
なお、話題情報に関する追加情報の問い合わせシナリオや、通知情報の生成については、例えば、ニューラルネットワークやディープラーニングなどの公知の機械学習技術を採用すればよい。 For example, when the information that the watch target person A has fallen is obtained as additional information, the information generation unit 29 states that "the walking time was longer than usual" and "the fall". Generate notification information to be notified.
For the inquiry scenario of additional information regarding topic information and the generation of notification information, for example, a known machine learning technique such as a neural network or deep learning may be adopted.

情報生成部２９は、通知情報を生成すると、この通知情報を見守者側の情報処理装置４０に送信するために、第２通信部２５に出力する。
なお、第２通信部２５から通知情報を送信する場合には、見守対象者Ａに対して通知情報を見守者Ｂに通知してもよいか否かを問合わせることとし、見守対象者Ａから送信の許可を得た場合に、第２通信部２５から通知情報を送信することとしてもよい。この場合、情報生成部２９は、送信可否を問い合わせるための発話情報を生成し、生成した発話情報を第１通信部２４を介して対話型ロボット１０に送信する。これにより、例えば、「いつもよりも２時間長いお散歩だったことと、転んで足が痛いことをＢさんに伝えてもいいかな？」といった問い合わせが対話型ロボット１０から発話される。
この問いかけに対して、見守対象者Ａから通知情報の通知を許可する応答（例えば、「いいわよ」、「お願い」、「それでいいわ」等）が入力された場合に、第２通信部２５が通知情報を情報処理装置４０に送信することとしてもよい。 When the information generation unit 29 generates the notification information, the information generation unit 29 outputs the notification information to the second communication unit 25 in order to transmit the notification information to the information processing device 40 on the watcher side.
When the notification information is transmitted from the second communication unit 25, the monitoring target person A is inquired as to whether or not the notification information may be notified to the watching person B, and the watching target person A asks. When the transmission permission is obtained, the notification information may be transmitted from the second communication unit 25. In this case, the information generation unit 29 generates utterance information for inquiring whether or not transmission is possible, and transmits the generated utterance information to the interactive robot 10 via the first communication unit 24. As a result, for example, the interactive robot 10 utters an inquiry such as "Is it okay to tell Mr. B that the walk was two hours longer than usual and that he fell and his leg hurts?"
In response to this question, when a response (for example, "I'm okay", "Request", "That's okay", etc.) that allows notification of notification information is input from the watch target person A, the second communication unit The 25 may transmit the notification information to the information processing device 40.

次に、見守者側の情報処理装置４０について説明する。
図５は、情報処理装置４０の機能構成の概略を示した概略機能ブロック図である。図５に示すように、情報処理装置４０は、例えば、第３通信部４１、第４通信部４２、及び情報生成部４３を備えている。
第３通信部４１は、インターネット等のネットワーク５０を介して見守対象者Ａの情報処理装置２０と接続し、情報処理装置２０との間での情報の授受を実現させる。また、第３通信部４１を介してネットワーク上における種々の情報を取得してもよい。 Next, the information processing device 40 on the watcher side will be described.
FIG. 5 is a schematic functional block diagram showing an outline of the functional configuration of the information processing apparatus 40. As shown in FIG. 5, the information processing device 40 includes, for example, a third communication unit 41, a fourth communication unit 42, and an information generation unit 43.
The third communication unit 41 connects to the information processing device 20 of the watch target person A via a network 50 such as the Internet, and realizes the exchange of information with and from the information processing device 20. Further, various information on the network may be acquired via the third communication unit 41.

第４通信部４２は、無線または有線を介して対話型ロボット３０と接続し、対話型ロボット３０との間での情報の授受を実現させる。 The fourth communication unit 42 connects to the interactive robot 30 via wireless or wired, and realizes the exchange of information with and from the interactive robot 30.

情報生成部４３は、第３通信部４１から受信した情報処理装置２０からの通知情報に基づいて発話情報を生成し、第４通信部４２に出力する。また、情報生成部４３は、第４通信部４２から受信した会話情報に基づいて情報処理装置２０に通知する通知情報を生成し、通知情報を第３通信部４１に出力する。 The information generation unit 43 generates utterance information based on the notification information from the information processing device 20 received from the third communication unit 41, and outputs the utterance information to the fourth communication unit 42. Further, the information generation unit 43 generates notification information to be notified to the information processing apparatus 20 based on the conversation information received from the fourth communication unit 42, and outputs the notification information to the third communication unit 41.

次に、上述した見守りシステムの動作について図を参照して説明する。ここでは、一例として、見守対象者Ａが散歩に出かける場合を例示して説明する。また、図６は見守対象者Ａと対話型ロボット１０との間で行われる対話の一例を示した図である。 Next, the operation of the above-mentioned monitoring system will be described with reference to the drawings. Here, as an example, a case where the watch target person A goes out for a walk will be described as an example. Further, FIG. 6 is a diagram showing an example of a dialogue performed between the watch target person A and the interactive robot 10.

例えば、見守対象者Ａが散歩に出かける際に、「お散歩してくるね。」と対話型ロボット１０に向けて話しかけると、これに対して対話型ロボット１０は「わかった。気を付けてね。」などの応答を行う。また、「お散歩してくるね。」との会話内容は、対話型ロボット１０から情報処理装置２０に送信され、見守対象者Ａの散歩の行動が記録される。 For example, when the watch target person A goes out for a walk, he talks to the interactive robot 10 "I'm going for a walk." In response, the interactive robot 10 says "OK. Be careful." ”, Etc. In addition, the content of the conversation with "I'm going for a walk" is transmitted from the interactive robot 10 to the information processing device 20, and the walking behavior of the watch target person A is recorded.

見守対象者Ａが散歩から帰り、例えば、「ただいま」といった声掛けを対話型ロボット１０に行うと、その会話情報が行動情報として対話型ロボット１０から情報処理装置２０へ送信される。更に、このときの見守対象者Ａの顔画像が対話型ロボット１０のカメラ１１によって取得されとともに、マイクロフォン１２によって取得された「ただいま」等の音声情報が行動情報として情報処理装置２０に送信される。これら行動情報は、情報処理装置２０の第１通信部２４によって受信され、行動要約情報生成部２６に出力される。 When the watch target person A returns from the walk and makes a voice such as "I'm home" to the interactive robot 10, the conversation information is transmitted from the interactive robot 10 to the information processing device 20 as action information. Further, the face image of the person A to be watched at this time is acquired by the camera 11 of the interactive robot 10, and the voice information such as "I'm home" acquired by the microphone 12 is transmitted to the information processing device 20 as action information. .. These action information is received by the first communication unit 24 of the information processing device 20 and output to the action summary information generation unit 26.

行動要約情報生成部２６は、受信した行動情報に基づいて散歩時間を算出するとともに、見守対象者Ａの顔画像及び音声情報に基づいて元気度レベルを判定する。そして、これらの情報に基づいて行動要約情報を作成する。この結果、例えば、「散歩時間：３時間、元気度レベル：元気」といった行動要約情報が生成される。生成された行動要約情報は作成時間が付加されてデータベース２７に格納されるとともに、抽出部２８に出力される。 The action summary information generation unit 26 calculates the walking time based on the received action information, and determines the energy level based on the face image and voice information of the watch target person A. Then, the action summary information is created based on this information. As a result, for example, action summary information such as "walking time: 3 hours, energy level: energy" is generated. The generated action summary information is stored in the database 27 with the creation time added, and is output to the extraction unit 28.

抽出部２８は、行動要約情報生成部２６によって作成された最新の行動要約情報と、データベース２７に格納されている過去の行動要約情報とを比較することにより、見守者Ｂに通知すべき情報を最新の行動要約情報から抽出する。この結果、過去の行動要約情報から統計的に得られる散歩時間が１時間であり、最新の行動要約情報から得られる散歩時間が３時間であった場合には、その時間差である２時間が予め設定されている閾値（１時間）を超えているかを判定する。この結果、閾値を超えているため、「散歩時間」といった話題情報が抽出される。 The extraction unit 28 compares the latest action summary information created by the action summary information generation unit 26 with the past action summary information stored in the database 27 to notify the watcher B of the information to be notified. Extract from the latest action summary information. As a result, if the walk time statistically obtained from the past action summary information is 1 hour and the walk time obtained from the latest action summary information is 3 hours, the time difference of 2 hours is predetermined. It is determined whether or not the set threshold value (1 hour) is exceeded. As a result, since the threshold value is exceeded, topical information such as "walking time" is extracted.

情報生成部２９は、抽出部２８から入力された話題情報、行動要約情報、及び第１通信部２４によって受信された会話情報に基づいて、話題情報に関する追加の情報を得るための発話情報を生成する。この結果、例えば、「おばあちゃん、いつもよりお散歩の時間が２時間も長かったね。」といった発話情報が生成される。この発話情報は、第１通信部２４を介して対話型ロボット１０に送信され、対話型ロボット１０のスピーカ１３から発話される。
この問いかけに対し、見守対象者Ａと対話型ロボット１０との間で対話が進められる。この結果、図６に示すように、「そうなの。ちょっと遠回りしちゃって。」、「そうなんだ、遅いから心配したよ。」、「それに、公園の階段で転んじゃって、足が痛いわ。」といった対話が行われる。 The information generation unit 29 generates utterance information for obtaining additional information about the topic information based on the topic information input from the extraction unit 28, the action summary information, and the conversation information received by the first communication unit 24. To do. As a result, for example, utterance information such as "Grandma, the walking time was two hours longer than usual" is generated. This utterance information is transmitted to the interactive robot 10 via the first communication unit 24, and is uttered from the speaker 13 of the interactive robot 10.
In response to this question, a dialogue is promoted between the watch target person A and the interactive robot 10. As a result, as shown in Fig. 6, "That's right. I took a detour a little.", "Yeah, I was worried because it was late.", "And I fell on the stairs in the park and my legs hurt. A dialogue such as "is held.

これら対話内容は、対話型ロボット１０から情報処理装置２０に送信され、情報処理装置２０の第１通信部２４から情報生成部２９に出力される。
情報生成部２９は、抽出部２８から入力された話題情報と、第１通信部２４から取得した話題情報に関する追加の会話内容に基づいて、見守者Ｂに通知する通知情報を生成する。例えば、追加の会話内容から、「転んでしまって足が痛いこと」を抽出し、「散歩時間が２時間長かったこと」、「転んでしまって足が痛いこと」を含む通知情報を生成する。 These dialogue contents are transmitted from the interactive robot 10 to the information processing device 20, and output from the first communication unit 24 of the information processing device 20 to the information generation unit 29.
The information generation unit 29 generates notification information to be notified to the watcher B based on the topic information input from the extraction unit 28 and the additional conversation content regarding the topic information acquired from the first communication unit 24. For example, from the additional conversation content, "I fell down and my leg hurts" is extracted, and notification information including "I fell for 2 hours longer" and "I fell down and my leg hurts" is generated. ..

続いて、情報生成部２９は、この通知情報を見守者Ｂに通知してもよいか否かを対話型ロボット１０を介して問い合わせる。この結果、対話型ロボット１０から、例えば、「転んで足が痛いの？いつもより２時間長いお散歩だったことと、転んで足が痛いことをＢさんに連絡する？」といった問いかけが行われる。これに対し、見守対象者Ａから、例えば、「そうね。伝えてもらえるかしら。」といった、通知を肯定する応答が入力されると、情報生成部２９は通知情報を第２通信部２５を介して情報処理装置４０に送信する。 Subsequently, the information generation unit 29 inquires via the interactive robot 10 whether or not the notification information may be notified to the watcher B. As a result, the interactive robot 10 asks, for example, "Did you fall and have a pain in your leg? Do you inform Mr. B that you had a walk that was two hours longer than usual and that you fell and have a pain in your leg?" .. On the other hand, when a response affirming the notification is input from the watch target person A, for example, "Yes, can you tell me?", The information generation unit 29 transmits the notification information via the second communication unit 25. It is transmitted to the information processing device 40.

情報処理装置４０の第３通信部４１は、通知情報を受信すると、通知情報を情報生成部４３に出力する。情報生成部４３は、例えば、通知情報に基づいて見守者Ｂに対して発話する発話情報を生成する。この結果、例えば、「今日はおばあちゃんのお散歩は２時間長かったって。それに、転んで足が痛いみたいよ。」といった発話情報が生成される。この発話情報は、情報生成部４３から第４通信部４２に出力され、第４通信部４２を介して対話型ロボット３０に送信される。対話型ロボット３０では、発話情報に基づく音声がスピーカから出力されることにより、見守対象者Ａの様子が見守者Ｂに通知される。 When the third communication unit 41 of the information processing device 40 receives the notification information, the third communication unit 41 outputs the notification information to the information generation unit 43. The information generation unit 43 generates, for example, utterance information to be spoken to the watcher B based on the notification information. As a result, for example, utterance information such as "Grandma's walk was two hours long today. And she seems to fall and hurt her leg." Is generated. This utterance information is output from the information generation unit 43 to the fourth communication unit 42, and is transmitted to the interactive robot 30 via the fourth communication unit 42. In the interactive robot 30, the state of the watch target person A is notified to the watcher B by outputting the voice based on the utterance information from the speaker.

以上、説明してきたように、本実施形態に係る情報処理装置、見守りシステム、見守り方法、及び見守りプログラムによれば、見守対象者Ａが発した音声や見守対象者Ａの動画がそのままの状態で見守者側に通知されるのではなく、見守対象者Ａの行動情報から作成された通知情報が見守者側に通知されるので、見守対象者のプライバシーを守りながら健康状態等の状態を見守者側に通知することが可能となる。 As described above, according to the information processing device, the watching system, the watching method, and the watching program according to the present embodiment, the voice emitted by the watching target person A and the moving image of the watching target person A remain as they are. Instead of notifying the watcher, the notification information created from the behavior information of the watcher A is notified to the watcher, so the watcher is in good health while protecting the privacy of the watcher. It is possible to notify the side.

また、見守対象者Ａと見守者Ｂとのやり取りが直接なされるのではなく、互いに対話型ロボット１０、３０を介しての対話となるため、直接的に会話を行うよりも互いに打ち解けやすく、意思疎通をよりスムーズに行わせることが期待できる。 In addition, since the person A to be watched and the person B to be watched do not directly communicate with each other, but talk to each other through the interactive robots 10 and 30, it is easier to communicate with each other than to have a direct conversation, and the intention is It can be expected that communication will be performed more smoothly.

なお、上述した実施形態では、見守対象者Ａの行動情報から通知すべき情報が抽出された場合をトリガとして、見守対象者Ａの通知情報を見守者Ｂの情報処理装置４０へ送信する場合を例示して説明したが、情報処理装置２０、４０間の情報のやり取りは、この例に限られない。
例えば、見守者Ｂが見守対象者Ａの状況を知りたいと思い、「おばあちゃんどうしているかしら？」といった問いかけを対話型ロボット３０にした場合や、見守者Ｂが対話型ロボット３０に接近した場合、あるいは、見守者Ｂが情報処理装置４０を操作した場合等に、情報処理装置４０から情報処理装置２０に対して見守対象者Ａの状態確認を行う情報を送信し、これをトリガとして、上記のような通知情報の生成等が行われることとしてもよい。また、情報処理装置２０、４０間の情報のやり取りが所定の期間以上行われていなかった場合をトリガとして、情報処理装置２０から通知情報が情報処理装置４０に送信されるような構成としてもよい。 In the above-described embodiment, the case where the notification information of the watching target person A is transmitted to the information processing device 40 of the watching person B is triggered by the case where the information to be notified is extracted from the behavior information of the watching target person A. As described by way of example, the exchange of information between the information processing devices 20 and 40 is not limited to this example.
For example, when the watcher B wants to know the situation of the watcher A and asks the question "What is your grandma doing?" To the interactive robot 30, or when the watcher B approaches the interactive robot 30. Alternatively, when the watcher B operates the information processing device 40 or the like, the information processing device 40 transmits information for confirming the status of the watcher A to the information processing device 20, and using this as a trigger, the above-mentioned Such notification information may be generated. Further, the information processing device 20 may transmit the notification information to the information processing device 40 by using the case where the information exchange between the information processing devices 20 and 40 has not been performed for a predetermined period or more as a trigger. ..

なお、対話型ロボット１０と対話型ロボット３０とがあたかも互いに会話をしているような発話情報を情報処理装置２０、４０のそれぞれの情報生成部２９、４３が生成し、各対話型ロボット１０、３０から発話させることにより、見守対象者Ａの状況を見守者Ｂに通知するような構成としてもよい。 The information generation units 29 and 43 of the information processing devices 20 and 40 generate speech information as if the interactive robot 10 and the interactive robot 30 are talking to each other. It may be configured to notify the watching person B of the situation of the watching person A by making a speech from 30.

この場合の対話例を図７に示す。図７に示した対話例では、見守者Ｂによる「今日のおばあちゃんの様子はどう？」との問いかけをトリガとして、対話型ロボット３０から情報処理装置４０を介して見守対象者側の情報処理装置２０に接続を行う。その後、各情報処理装置２０、４０の情報生成部２９、４３が互いに発話情報を生成することで、「（対話型ロボット３０）もしもし、おばあちゃん元気？」、「（対話型ロボット１０）おばあちゃん、今日のお散歩はいつもより２時間長かったよ。」、「（対話型ロボット３０）今日のおばあちゃんのお散歩は２時間長かったって」、「（対話型ロボット１０）公園の階段で転んで足が痛いと言ってたよ。」、「（対話型ロボット３０）えっ、おばあちゃん、転んで足が痛いの？」といった対話が行われる。 An example of dialogue in this case is shown in FIG. In the dialogue example shown in FIG. 7, the information processing device on the side of the person to be watched from the interactive robot 30 via the information processing device 40 is triggered by the question "How is your grandmother today?" Make a connection to 20. After that, the information generation units 29 and 43 of the information processing devices 20 and 40 generate speech information from each other, so that "(interactive robot 30) Hello Grandma?", "(Interactive robot 10) Grandma, today. The walk was two hours longer than usual. "," (Interactive robot 30) Today's grandma's walk was two hours longer. "," (Interactive robot 10) I fell down on the stairs in the park and my legs hurt. "I told you.", "(Interactive robot 30) Eh, grandma, did you fall and hurt your leg?"

このような構成によれば、上述のような対話型ロボット同士の会話において、見守対象者Ａの健康等に関する気になるフレーズがあった場合には、見守者Ｂに見守対象者の安否を確認しようという気持ちを生じさせることができる。 According to such a configuration, in the conversation between the interactive robots as described above, if there is a phrase of concern regarding the health of the watcher A, the watcher B confirms the safety of the watcher. It can give rise to a desire to try.

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above embodiments without departing from the gist of the invention, and the modified or improved forms are also included in the technical scope of the present invention.

１０、３０：対話型ロボット
１１：カメラ
１２：マイクロフォン
１３：スピーカ
１４：タッチパネル
２０、４０：情報処理装置
２１：ＣＰＵ
２２：補助記憶装置
２３：主記憶装置
２４：第１通信部
２５：第２通信部
２６：行動要約情報生成部
２７：データベース
２８：抽出部
２９、４３：情報生成部
４１：第３通信部
４２：第４通信部
５０：ネットワーク
Ａ：見守対象者
Ｂ：見守者 10, 30: Interactive robot 11: Camera 12: Microphone 13: Speaker 14: Touch panel 20, 40: Information processing device 21: CPU
22: Auxiliary storage device 23: Main storage device 24: First communication unit 25: Second communication unit 26: Action summary information generation unit 27: Database 28: Extraction unit 29, 43: Information generation unit 41: Third communication unit 42 : Fourth communication unit 50: Network A: Watcher B: Watcher

Claims

A first communication unit for transmitting and receiving information between an interactive robot having an audio acquisition unit for acquiring audio information, an audio output unit, and an imaging unit for acquiring image information.
A behavior summary information generation unit that generates behavior summary information of a person using behavior information including at least one of voice information and image information acquired by the interactive robot received via the first communication unit. When,
An extraction unit that extracts topical information from the behavior summary information generated by the behavior summary information generation unit based on the past behavior summary information of the person, and an extraction unit.
An information generation unit that generates notification information based on the extracted topic information,
It is provided with a second communication unit that transmits the notification information to a pre-registered destination.
When the notification information is transmitted from the second communication unit, the first communication unit transmits inquiry information to the interactive robot for inquiring whether or not the notification information can be transmitted via the interactive robot.
The second communication unit is an information processing device that transmits the notification information when the first communication unit receives transmission permission information of the notification information from the interactive robot.

The information according to claim 1, wherein the action summary information generation unit analyzes the conversation content from the voice information obtained by the interactive robot in the dialogue with the person, and generates the action summary information of the person from the conversation content. Processing equipment.

The information according to claim 2 , wherein the action summary information generation unit acquires the time required for the person to perform a predetermined action from the conversation content, and generates the action summary information including the time required for the predetermined action. Processing equipment.

The extraction unit includes the time required for a predetermined action based on the past action summary information of the person and the time required for the predetermined action included in the action summary information generated by the action summary information generation unit. The information processing apparatus according to claim 3 , wherein when a time difference of equal to or greater than a predetermined threshold value occurs, the predetermined action is extracted as topic information.

The information according to claim 2 , wherein the action summary information generation unit acquires the time when the person performs a predetermined action from the conversation content, and generates the action summary information including the time when the person performs the predetermined action. Processing equipment.

The extraction unit performs the predetermined action based on the past action summary information of the person and the time when the predetermined action included in the action summary information generated by the action summary information generation unit is performed. The information processing apparatus according to claim 5 , wherein when a time difference of equal to or greater than a predetermined threshold occurs, the predetermined action is extracted as topic information.

The action summary information generation unit includes at least one of the loudness, tone, and speed of the voice obtained from the voice information obtained by the interactive robot interacting with the person, and / or the interactive robot. Determines the energy level of the person using at least one of the movement of the eyebrows, the corner of the mouth, and the complexion obtained from the image information of the person acquired by the person, and generates behavior summary information including the energy level. The information processing apparatus according to any one of claims 1 to 6.

The information processing device according to claim 7 , wherein the extraction unit extracts the energy level of the person as topic information when the energy level of the person included in the action summary information is lower than a predetermined level. ..

The information processing apparatus according to any one of claims 1 to 8.
It is equipped with a monitoring side information processing device capable of exchanging information with the information processing device.
The watching side information processing device
A third communication unit for receiving notification information transmitted from the second communication unit of the information processing device, and a third communication unit.
A monitoring system including a fourth communication unit for transmitting notification information received by the third communication unit to the interactive robot on the monitoring side.

A voice acquisition unit that acquires voice information,
An audio output unit that outputs audio and
An imaging unit that acquires image information and
A behavior summary information generation unit that generates behavior summary information of a person using behavior information including at least one of the voice information and the image information.
An extraction unit that extracts topical information from the behavior summary information generated by the behavior summary information generation unit based on the past behavior summary information of the person, and an extraction unit.
An information generation unit that generates notification information based on the extracted topic information,
It is provided with a second communication unit that transmits the notification information to a pre-registered destination.
When the notification information is transmitted from the second communication unit, the information generation unit generates information for inquiring whether or not the notification information can be transmitted.
The second communication unit is an interactive robot that transmits the notification information when the person has permission to transmit the notification information.

A person using behavioral information including at least one of voice information and image information acquired by an interactive robot having a voice acquisition unit for acquiring voice information, a voice output unit, and an imaging unit for acquiring image information. The process of generating the behavior summary information of
A process of extracting topical information from the latest behavior summary information based on the person's past behavior summary information, and
A process of generating notification information based on the extracted topic information, and
When transmitting the notification information, a step of transmitting inquiry information to the interactive robot for inquiring whether or not the notification information can be transmitted via the interactive robot, and a step of transmitting the inquiry information to the interactive robot.
A monitoring method in which a computer executes a step of transmitting the notification information to a pre-registered destination when the transmission permission information of the notification information is received from the interactive robot.

A person using behavioral information including at least one of voice information and image information acquired by an interactive robot having a voice acquisition unit for acquiring voice information, a voice output unit, and an imaging unit for acquiring image information. And the process of generating the behavior summary information of
A process of extracting topical information from the latest behavior summary information based on the person's past behavior summary information, and
Processing to generate notification information based on the extracted topic information,
When transmitting the notification information, a process of transmitting inquiry information to the interactive robot for inquiring whether or not the notification information can be transmitted via the interactive robot, and a process of transmitting the inquiry information to the interactive robot.
A monitoring program for causing a computer to execute a process of transmitting the notification information to a destination registered in advance when the transmission permission information of the notification information is received from the interactive robot.