JP6990472B1 - A system for communicating with people and a program for that purpose - Google Patents

A system for communicating with people and a program for that purpose Download PDF

Info

Publication number
JP6990472B1
JP6990472B1 JP2021048774A JP2021048774A JP6990472B1 JP 6990472 B1 JP6990472 B1 JP 6990472B1 JP 2021048774 A JP2021048774 A JP 2021048774A JP 2021048774 A JP2021048774 A JP 2021048774A JP 6990472 B1 JP6990472 B1 JP 6990472B1
Authority
JP
Japan
Prior art keywords
user
information
emotion
personality
issued
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021048774A
Other languages
Japanese (ja)
Other versions
JP2022147506A (en
Inventor
佐知夫 前田
知世 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UNIROBOT CORPORATION
Original Assignee
UNIROBOT CORPORATION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UNIROBOT CORPORATION filed Critical UNIROBOT CORPORATION
Priority to JP2021048774A priority Critical patent/JP6990472B1/en
Application granted granted Critical
Publication of JP6990472B1 publication Critical patent/JP6990472B1/en
Publication of JP2022147506A publication Critical patent/JP2022147506A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザとのコミュニケーションに伴い、ユーザとの関係性を向上できる仕組みを提供する。【解決手段】ロボット11が備えるコミュニケーション装置111は、ユーザが発出した言語情報と、ユーザの感情と、ユーザの性格と、ロボット11の感情とに基づき、ユーザに対しロボット11が発出する情報を決定するシステム発出情報決定手段1108を備える。システム発出情報決定手段1108が情報の決定に用いるロボット11の感情は、サーバ装置12が記憶しているシステム性格データが示すロボット11の性格に基づき決定される。そして、システム性格更新指示手段1110は、ユーザに対しロボット11が発出した情報と、ユーザが発出した言語情報と、ユーザの感情とに基づき、サーバ装置12に対し記憶しているシステム性格データの更新を指示する。【選択図】図3PROBLEM TO BE SOLVED: To provide a mechanism capable of improving a relationship with a user in accordance with communication with the user. A communication device 111 included in a robot 11 determines information issued by the robot 11 to the user based on the language information issued by the user, the emotions of the user, the personality of the user, and the emotions of the robot 11. A system issuing information determining means 1108 is provided. The emotion of the robot 11 used by the system issuing information determining means 1108 for determining the information is determined based on the personality of the robot 11 indicated by the system personality data stored in the server device 12. Then, the system personality update instruction means 1110 updates the system personality data stored in the server device 12 based on the information issued by the robot 11 to the user, the language information issued by the user, and the emotions of the user. To instruct. [Selection diagram] Fig. 3

Description

本発明は、人とコミュニケーションを行うシステムに関する。 The present invention relates to a system for communicating with a person.

人工知能の発達に伴い、人とコミュニケーションを行うシステムの実用化が進んでいる。例えば、特許文献1には、複数の擬似性格から学習者により選択された擬似性格に基づき疑似感情を決定し、学習者から取得した生体情報と、学習者の学習状況と、決定した擬似感情とに基づいて、学習者に対し実施する学習支援の内容とその表現を決定し、学習者に対し、決定した表現で決定した内容の学習支援を行う学習支援装置が提案されている。 With the development of artificial intelligence, the practical use of systems for communicating with people is progressing. For example, in Patent Document 1, pseudo-emotions are determined based on pseudo-characteristics selected by the learner from a plurality of pseudo-characteristics, biometric information acquired from the learner, the learning situation of the learner, and the determined pseudo-emotions. Based on the above, a learning support device has been proposed in which the content and expression of the learning support to be provided to the learner are determined, and the learner is provided with the learning support of the content determined by the determined expression.

特開2017-173546号公報Japanese Unexamined Patent Publication No. 2017-173546

特許文献1に記載の学習支援装置は、学習者により選択された擬似性格に応じて、学習者が発する生体情報及び学習者の学習状況が同じであっても、異なる表現で異なる内容の学習支援を学習者に対し行う。 The learning support device described in Patent Document 1 supports learning with different expressions and different contents even if the biometric information emitted by the learner and the learning situation of the learner are the same according to the pseudo-personality selected by the learner. To the learner.

しかしながら、学習者が学習支援装置の擬似性格を変更しない限り、学習者が発する生体情報及び学習者の学習状況が同じであれば、同じ(又は類似の)表現で同じ(又は類似の)内容の学習支援を行う。 However, unless the learner changes the pseudo-character of the learning support device, if the biometric information emitted by the learner and the learning situation of the learner are the same, the same (or similar) expression and the same (or similar) content are used. Provide learning support.

学習支援者が人であれば、学習者とのコミュニケーションを繰り返す中で、自分と学習者との関係性が改善するように、意識的又は無意識的に性格を変化させてゆく。特許文献1に記載の学習支援装置は、人である学習支援者のような学習者に対する適応性を持たない。 If the learning supporter is a person, he / she consciously or unconsciously changes his / her personality so that the relationship between himself / herself and the learner improves while repeating communication with the learner. The learning support device described in Patent Document 1 has no adaptability to a learner such as a human learning supporter.

本発明は、ユーザとのコミュニケーションに伴い、ユーザとの関係性を向上できる仕組みを提供する。 The present invention provides a mechanism capable of improving a relationship with a user as the user communicates with the user.

上記目的を達成するために、本発明は、ユーザとの間でコミュニケーションを行うシステムであって、記憶装置との間でデータの受け渡しを行うデータ入出力手段と、測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得するユーザ発出情報取得手段と、前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザの感情を推定するユーザ感情推定手段と、前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記システムの感情を決定するシステム感情決定手段と、前記ユーザ感情推定手段が推定した前記ユーザの感情と、前記システム感情決定手段が決定した前記システムの感情とに基づき、前記システムが発出する情報を決定するシステム発出情報決定手段と、前記ユーザに対し情報を発出する情報発出装置に、前記システム発出情報決定手段が決定した情報の発出を指示するシステム情報発出指示手段と、前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示するシステム性格更新指示手段とを備えるシステムを提供する。 In order to achieve the above object, the present invention is a system for communicating with a user, and the user issues the system from a data input / output means for exchanging data with a storage device and a measuring device. A user-issued information acquisition means for acquiring user-issued data indicating the result of measuring the collected information, a user-issued information estimating means for estimating the user's emotions based on the user-issued data acquired by the user-issued information acquisition means, and the above-mentioned A system emotion determining means for determining the emotions of the system based on the characteristics of the system indicated by the system personality data stored in the storage device and the emotions of the user estimated by the user emotion estimating means, and the user emotions. Based on the emotions of the user estimated by the estimation means and the emotions of the system determined by the system emotion determining means, the system issuing information determining means for determining the information emitted by the system and the information being emitted to the user. The system information issuing instruction means for instructing the information issuing device to issue the information determined by the system issuing information determining means, the information instructing the information issuing device to issue the system information issuing instruction means, and the user's feelings. Provided is a system provided with a system personality update instruction means for instructing the storage device to update the system personality data based on the emotion of the user estimated by the estimation means.

本発明のシステムは、ユーザとのコミュニケーションの内容に応じて、自らのシステムの性格を更新する。従って、本発明のシステムは、ユーザとのコミュニケーションに伴い、ユーザとの関係性を向上できる。 The system of the present invention updates the character of its own system according to the content of communication with the user. Therefore, the system of the present invention can improve the relationship with the user as the communication with the user occurs.

一実施形態に係るコミュニケーションシステムの全体構成を示した図。The figure which showed the whole structure of the communication system which concerns on one Embodiment. 一実施形態に係るロボットのハードウェア構成を示した図。The figure which showed the hardware configuration of the robot which concerns on one Embodiment. 一実施形態に係るロボットの機能構成を示した図。The figure which showed the functional structure of the robot which concerns on one Embodiment.

[実施形態]
以下に、本発明の一実施形態に係るコミュニケーションシステム1を説明する。図1は、コミュニケーションシステム1の全体構成を示した図である。コミュニケーションシステム1は、ユーザXとコミュニケーションを行うロボット11と、インターネット等の通信ネットワークを介してロボット11との間で各種データの送受信(受け渡し)を行うサーバ装置12を備える。
[Embodiment]
The communication system 1 according to the embodiment of the present invention will be described below. FIG. 1 is a diagram showing the overall configuration of the communication system 1. The communication system 1 includes a robot 11 that communicates with the user X and a server device 12 that transmits / receives (passes) various data between the robot 11 and the robot 11 via a communication network such as the Internet.

図2は、ロボット11のハードウェア構成を示した図である。ロボット11は、コンピュータ101と、コンピュータ101に接続された撮影装置102、拾音装置103、表示装置104、発音装置105、駆動装置106、胴部107、頭部108、右腕部109、左腕部110を備える。 FIG. 2 is a diagram showing a hardware configuration of the robot 11. The robot 11 includes a computer 101, a photographing device 102 connected to the computer 101, a sound picking device 103, a display device 104, a sounding device 105, a drive device 106, a body portion 107, a head 108, a right arm portion 109, and a left arm portion 110. To prepare for.

コンピュータ101は、プログラムに従い各種データ処理を行うプロセッサ1011、プログラムを含む各種データを記憶するメモリ1012、通信ネットワークを介さずに外部の装置との間でデータの受け渡しを行う入出力インタフェース1013、通信ネットワークを介して外部の装置との間でデータの受け渡し(送受信)を行う通信インタフェース1014を備える。 The computer 101 includes a processor 1011 that processes various data according to a program, a memory 1012 that stores various data including the program, an input / output interface 1013 that exchanges data with an external device without going through a communication network, and a communication network. A communication interface 1014 for exchanging (transmitting and receiving) data with and from an external device is provided.

撮影装置102、拾音装置103、表示装置104、発音装置105、駆動装置106は、コンピュータ101の入出力インタフェース1013に接続されている。また、サーバ装置12は、コンピュータ101の通信インタフェース1014に通信ネットワークを介して接続されている。 The photographing device 102, the sound picking device 103, the display device 104, the sounding device 105, and the driving device 106 are connected to the input / output interface 1013 of the computer 101. Further, the server device 12 is connected to the communication interface 1014 of the computer 101 via a communication network.

撮影装置102は、例えば光学カメラであり、周囲を撮影した画像を表す画像データを継続的に生成する。拾音装置103はマイクであり、周囲の音を拾いその音の波形を表す音データを継続的に生成する。 The photographing device 102 is, for example, an optical camera, and continuously generates image data representing an image obtained by photographing the surroundings. The sound picking device 103 is a microphone, picks up ambient sound, and continuously generates sound data representing the waveform of the sound.

表示装置104は、例えば液晶ディスプレイであり、ユーザXに対し文字、図などを表す画像を表示する。発音装置105はスピーカであり、ユーザXに対し音(音声を含む)を発する。駆動装置106は、モータ等を備え、胴部107に対する頭部108、右腕部109、左腕部110の各々の姿勢(相対位置)を変更する。 The display device 104 is, for example, a liquid crystal display, and displays an image representing characters, figures, etc. to the user X. The sounding device 105 is a speaker, and emits a sound (including voice) to the user X. The drive device 106 includes a motor and the like, and changes the postures (relative positions) of the head 108, the right arm 109, and the left arm 110 with respect to the body 107.

本実施形態において、サーバ装置12は、各種データを記憶する記憶装置の役割を果たすサーバ装置である。サーバ装置12が記憶しているデータには、少なくとも以下が含まれる。
(1)ユーザXの性格を示すユーザ性格データ
(2)ユーザXの属性(ユーザ属性)を示すユーザ属性データ
(3)ロボット11(コミュニケーションシステム1)の性格を示すシステム性格データ
(4)ユーザXとロボット11(コミュニケーションシステム1)との間で行われたコミュニケーションの内容を示すコミュニケーションログデータ
In the present embodiment, the server device 12 is a server device that plays the role of a storage device that stores various data. The data stored in the server device 12 includes at least the following.
(1) User character data indicating the character of user X (2) User attribute data indicating the attribute (user attribute) of user X (3) System character data indicating the character of the robot 11 (communication system 1) (4) User X Communication log data showing the content of communication between the robot 11 and the robot 11 (communication system 1)

本実施形態の説明においては、感情、性格、ユーザ属性、という言葉が用いられる。本実施形態において、感情とは、性格と、コミュニケーションの相手から発出される情報とに基づき決定される、ユーザX又はロボット11の状態であり、感情値と呼ばれるパラメータ群により表現される。コミュニケーションシステム1においては、例として、心理学者であるプルチックが考案した「感情の輪」の考え方に従った感情値が用いられる。「感情の輪」における感情値とは、喜び、悲しみ、信頼、嫌悪、心配、怒り、驚き、予測、という8つの感情種別のバランスを示すパラメータ群である。ただし、コミュニケーションシステム1において、「感情の輪」以外の考え方に従う感情値が採用されてもよい。 In the description of this embodiment, the terms emotion, personality, and user attribute are used. In the present embodiment, the emotion is a state of the user X or the robot 11 determined based on the personality and the information emitted from the communication partner, and is expressed by a parameter group called an emotion value. In the communication system 1, as an example, an emotional value according to the idea of the "ring of emotions" devised by the psychologist Plutik is used. The emotion value in the "ring of emotions" is a group of parameters showing the balance of eight emotion types: joy, sadness, trust, disgust, anxiety, anger, surprise, and prediction. However, in the communication system 1, an emotional value that follows an idea other than the "ring of emotions" may be adopted.

本実施形態において、性格とは、コミュニケーションの相手から発出される情報に応じて生じる感情値を左右する性質を意味し、性格値と呼ばれるパラメータ群により表現される。コミュニケーションシステム1においては、エゴグラムの考え方に従った性格値が用いられる。エゴグラムにおける性格値とは、支配性、寛容性、論理性、奔放性、順応性、という5つの性格種別のバランスを示すパラメータ群である。ただし、コミュニケーションシステム1において、エゴグラム以外の考え方に従う性格値が採用されてもよい。 In the present embodiment, the personality means a property that influences an emotional value generated in response to information emitted from a communication partner, and is expressed by a parameter group called a personality value. In the communication system 1, a personality value according to the idea of egogram is used. The personality value in the egogram is a parameter group showing the balance of five personality types such as dominance, tolerance, logic, freewheelingness, and adaptability. However, in the communication system 1, a personality value that follows an idea other than egogram may be adopted.

感情は、コミュニケーションの相手から発出される情報を受け取る毎に大きく変化し得る。一方、性格は、感情のように動的に変化せず、コミュニケーションの相手から発出される情報を受け取る毎には実質的に変化しない。ただし、性格は、多数のコミュニケーションが繰り返される中で徐々に変化し得る。 Emotions can change significantly each time they receive information from the person they communicate with. On the other hand, personality does not change dynamically like emotions, and does not change substantially every time information is received from a communication partner. However, personality can change gradually over the course of numerous communications.

本実施形態において、ユーザ属性とは、ユーザの客観視できる属性を意味する。ユーザ属性の例としては、ユーザXの氏名、ユーザXのあだ名、ユーザXの年齢、ユーザXの性別、ユーザXの趣味、ユーザXの食の嗜好、ユーザXが過去に行った活動、ユーザXが属している集団、等が挙げられるが、これらに限られない。ユーザ属性には、ユーザXの性別のように、通常は変化しないものもあれば、ユーザXが過去に行った活動のように、頻繁に変化するものもある。また、ユーザ属性の種別の数は一定ではない。 In the present embodiment, the user attribute means an attribute that can be viewed objectively by the user. Examples of user attributes include user X's name, user X's nickname, user X's age, user X's gender, user X's hobbies, user X's food preferences, user X's past activities, and user X. Examples include, but are not limited to, the group to which the group belongs. Some user attributes do not normally change, such as the gender of user X, while others change frequently, such as activities that user X has performed in the past. Also, the number of user attribute types is not constant.

コミュニケーションシステム1において、ユーザ属性はユーザXが発出した情報から抽出される。そして、ユーザ属性は、ロボット11がユーザXに対し発出する情報の一部として用いられる。その結果、ロボット11がユーザXに対し発出する情報が、ユーザXにカスタマイズされた適正なものとなる。 In the communication system 1, the user attribute is extracted from the information issued by the user X. Then, the user attribute is used as a part of the information issued by the robot 11 to the user X. As a result, the information issued by the robot 11 to the user X becomes appropriate and customized for the user X.

サーバ装置12が記憶するコミュニケーションログデータは、以下のフィールドを含むレコードの集まりである。
(1)時刻
(2)情報発出者
(3)言語情報
(4)非言語情報
(5)感情値
The communication log data stored in the server device 12 is a collection of records including the following fields.
(1) Time (2) Information issuer (3) Language information (4) Non-verbal information (5) Emotion value

フィールド「時刻」は、ユーザX又はロボット11が情報の発出を行った時刻を示すデータを格納する。フィールド「情報発出者」は、情報の発出を行った主体、すなわち、ユーザX及びロボット11のいずれかを示すデータを格納する。 The field "time" stores data indicating the time when the user X or the robot 11 issues information. The field "information issuer" stores data indicating either the subject who issued the information, that is, the user X or the robot 11.

フィールド「言語情報」は、情報発出者が発出した情報に含まれる言語情報を示すデータを格納する。言語情報は言語で表現される情報である。なお、言語情報は、音声、ジェスチャー(手話等)、画面や紙面などの媒体の上に記される文字列等のいずれの方法により発出されてもよい。 The field "language information" stores data indicating the language information included in the information issued by the information issuer. Linguistic information is information expressed in language. The language information may be emitted by any method such as voice, gesture (sign language, etc.), character string written on a medium such as a screen or paper.

フィールド「非言語情報」は、情報発出者が発出した情報に含まれる言語情報以外の情報を示すデータを格納する。非言語情報には、例えば、声の抑揚、瞬きの増減、首をかしげる動作、視線を外す動作などが含まれる。これらの非言語情報は、情報発出者の感情を言語以外の方法でコミュニケーションの相手に伝える。 The field "non-verbal information" stores data indicating information other than the linguistic information included in the information issued by the information issuer. Non-verbal information includes, for example, inflection of voice, increase / decrease of blinking, movement of bending the neck, movement of looking away, and the like. These non-verbal information convey the emotions of the information originator to the communication partner in a non-verbal way.

フィールド「感情値」には、情報発出者が発出した情報に応じた感情値を示すデータが格納される。情報発出者がユーザXである場合、フィールド「感情値」に格納される感情値は、ユーザXが発出した情報に基づきロボット11が推定した感情値を示すデータがフィールド「感情値」に格納される。一方、情報発出者がロボット11である場合、ロボット11がユーザXから受けた情報とロボット11の性格とに基づき決定した感情値がフィールド「感情値」に格納される。 In the field "emotion value", data indicating an emotion value corresponding to the information issued by the information issuer is stored. When the information issuer is the user X, the emotion value stored in the field "emotion value" is stored in the field "emotion value" as data indicating the emotion value estimated by the robot 11 based on the information issued by the user X. To. On the other hand, when the information issuer is the robot 11, the emotion value determined by the robot 11 based on the information received from the user X and the character of the robot 11 is stored in the field "emotion value".

図3は、ロボット11の機能構成を示した図である。ロボット11は、コンピュータ101が本実施形態に係るプログラムに従うデータ処理を行うことにより実現されるコミュニケーション装置111と、ユーザXから発出された情報を測定し、その測定結果を示すユーザ発出データをコミュニケーション装置111に引き渡す測定装置112と、コミュニケーション装置111から受け取る指示に従い、ユーザXに対し情報の発出を行う情報発出装置113を備える。 FIG. 3 is a diagram showing a functional configuration of the robot 11. The robot 11 measures the communication device 111 realized by the computer 101 performing data processing according to the program according to the present embodiment, and the information issued by the user X, and the user-issued data indicating the measurement result is used as the communication device. The measuring device 112 to be handed over to the 111 is provided, and the information issuing device 113 to output information to the user X according to an instruction received from the communication device 111.

測定装置112は、コンピュータ101の制御下で動作する撮影装置102及び拾音装置103により実現される。また、情報発出装置113は、コンピュータ101の制御下で動作する表示装置104、発音装置105、駆動装置106により実現される。 The measuring device 112 is realized by the photographing device 102 and the sound picking device 103 that operate under the control of the computer 101. Further, the information issuing device 113 is realized by a display device 104, a sounding device 105, and a driving device 106 that operate under the control of the computer 101.

コミュニケーション装置111は、図3に示す各種の機能構成部を備える。以下にそれらの機能構成部の役割を説明する。 The communication device 111 includes various functional components shown in FIG. The roles of these functional components will be described below.

データ入出力手段1101は、記憶装置の役割を果たすサーバ装置12との間で各種データの受け渡しを行う。ユーザ発出情報取得手段1102は、測定装置112からユーザ発出データを取得する。ユーザ発出データには、撮影装置102が撮影した画像を表す画像データと、拾音装置103が拾音した音を表す音データが含まれる。 The data input / output means 1101 transfers various data to and from the server device 12 that plays the role of a storage device. The user-issued information acquisition means 1102 acquires user-issued data from the measuring device 112. The user-generated data includes image data representing an image captured by the photographing device 102 and sound data representing the sound picked up by the sound picking device 103.

ユーザ言語情報特定手段1103は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、ユーザXが発出した言語情報を特定する。ユーザ言語情報特定手段1103が言語情報を特定する方法は、例えば、既知の音声認識技術、画像認識技術、文字認識技術等を用いた方法が挙げられるが、これらに限られない。 The user language information specifying means 1103 specifies the language information issued by the user X based on the user-issued data acquired by the user-issued information acquiring means 1102. Examples of the method for the user language information specifying means 1103 to specify the language information include, but are not limited to, a method using known voice recognition technology, image recognition technology, character recognition technology, and the like.

ユーザ非言語情報特定手段1104は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、ユーザXが発出した非言語情報を特定する。ユーザ非言語情報特定手段1104は、例えば、ユーザ発出データに含まれる音データが表すユーザXの音声の抑揚、ユーザ発出データに含まれる画像データが表すユーザXの動作に含まれる各種仕草、等を非言語情報として抽出する。 The user non-verbal information specifying means 1104 identifies the non-verbal information issued by the user X based on the user-issued data acquired by the user-issued information acquiring means 1102. The user non-linguistic information specifying means 1104 may, for example, perform inflection of the voice of the user X represented by the sound data included in the user-issued data, various gestures included in the operation of the user X represented by the image data included in the user-issued data, and the like. Extract as non-linguistic information.

ユーザ感情推定手段1105は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、ユーザXの感情を推定する。 The user emotion estimation means 1105 estimates the emotion of the user X based on the user-issued data acquired by the user-issued information acquisition means 1102.

より具体的には、ユーザ感情推定手段1105は、以下の情報に基づき感情値を特定することにより、ユーザXの感情を推定する。 More specifically, the user emotion estimation means 1105 estimates the emotion of the user X by specifying the emotion value based on the following information.

(1)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(2)ユーザ非言語情報特定手段1104が特定した、ユーザXが発出した非言語情報
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(1) Language information specified by the user language information specifying means 1103 and issued by the user X (2) Non-language information specified by the user non-language information specifying means 1104 and issued by the user X (3) Stored by the server device 12 User personality The personality of user X indicated by the data

なお、上記(3)の情報は必ずしもユーザXの感情の推定に用いられなくてもよいが、上記(3)の情報を用いることで、ユーザ感情推定手段1105はユーザXの感情をより高い精度で推定できる。 The information in (3) above does not necessarily have to be used for estimating the emotion of user X, but by using the information in (3) above, the user emotion estimation means 1105 has higher accuracy in estimating the emotion of user X. Can be estimated with.

ユーザ感情推定手段1105は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記(1)~(3)の情報に応じた感情値を特定する。 The user emotion estimation means 1105 has, for example, one or both of the rule-based type and the machine learning type artificial intelligence, and the artificial intelligence specifies the emotion value according to the information of the above (1) to (3). ..

なお、上記(1)及び(2)の情報は、直近の情報に限られず、サーバ装置12が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。 The information in (1) and (2) above is not limited to the latest information, and may include past information indicated by the communication log data stored in the server device 12.

システム感情決定手段1106は、サーバ装置12が記憶しているシステム性格データが示すロボット11(より正しくは、コミュニケーションシステム1。以下、同様。)の性格と、ユーザ感情推定手段1105が推定したユーザXの感情とに基づき、ロボット11の感情を決定する。 The system emotion determining means 1106 has the personality of the robot 11 (more correctly, the communication system 1; the same applies hereinafter) indicated by the system personality data stored in the server device 12, and the user X estimated by the user emotion estimating means 1105. The emotion of the robot 11 is determined based on the emotion of the robot 11.

より具体的には、システム感情決定手段1106は、以下の情報に基づき感情値を特定することにより、ロボット11の感情を決定する。 More specifically, the system emotion determination means 1106 determines the emotion of the robot 11 by specifying the emotion value based on the following information.

(1)サーバ装置12が記憶しているシステム性格データが示すロボット11の性格
(2)ユーザ感情推定手段1105が推定したユーザXの感情
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(4)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(1) The character of the robot 11 indicated by the system personality data stored in the server device 12 (2) The emotion of the user X estimated by the user emotion estimation means 1105 (3) The user personality data stored in the server device 12 Character of user X to be shown (4) Language information issued by user X specified by the user language information specifying means 1103.

なお、上記(3)及び(4)の情報は必ずしもロボット11の感情の決定に用いられなくてもよいが、上記(3)又は(4)の情報を用いることで、システム感情決定手段1106はユーザXとコミュニケーションする人の感情により近い感情を、ロボット11の感情として決定できる。 The information in (3) and (4) above may not necessarily be used to determine the emotion of the robot 11, but by using the information in (3) or (4) above, the system emotion determination means 1106 can be used. The emotion closer to the emotion of the person communicating with the user X can be determined as the emotion of the robot 11.

システム感情決定手段1106は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記(1)~(4)の情報に応じた感情値を特定する。 The system emotion determining means 1106 has, for example, one or both of the rule-based type and the machine learning type artificial intelligence, and the artificial intelligence specifies the emotion value according to the information of the above (1) to (4). ..

なお、上記(2)及び(4)の情報は、直近の情報に限られず、サーバ装置12が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。 The information in (2) and (4) above is not limited to the latest information, and may include past information indicated by the communication log data stored in the server device 12.

ユーザ属性更新指示手段1107は、ユーザ発出情報取得手段1102が取得したユーザ発出データに基づき、サーバ装置12に対し記憶しているユーザ属性データの更新を指示する。 The user attribute update instruction means 1107 instructs the server device 12 to update the user attribute data stored based on the user issue data acquired by the user issue information acquisition means 1102.

具体的には、ユーザ属性更新指示手段1107は、ユーザ言語情報特定手段1103が特定したユーザXが発出した言語情報を解析し、ユーザXの属性(例えば、「昨日、アニメ映画を観た」など)を抽出し、抽出した属性を示すデータをユーザ属性データとして生成し、生成したユーザ属性データを、データ入出力手段1101を介してサーバ装置12に送信する。 Specifically, the user attribute update instruction means 1107 analyzes the language information issued by the user X specified by the user language information specifying means 1103, and the attribute of the user X (for example, "I watched an animated movie yesterday" or the like. ) Is extracted, data indicating the extracted attributes is generated as user attribute data, and the generated user attribute data is transmitted to the server device 12 via the data input / output means 1101.

また、ユーザ属性更新指示手段1107は、ユーザ非言語情報特定手段1104が特定したユーザXが発出した非言語情報(例えば、ユーザXがカレーライスを食べながら満足した表情をしている)を解析し、ユーザXの属性(例えば、「カレーが好き」)を抽出し、抽出した属性を示すデータをユーザ属性データとして生成し、生成したユーザ属性データを、データ入出力手段1101を介してサーバ装置12に送信する。 Further, the user attribute update instruction means 1107 analyzes the non-verbal information issued by the user X specified by the user non-verbal information specifying means 1104 (for example, the user X has a satisfied expression while eating curry rice). , The attribute of user X (for example, "I like curry") is extracted, data indicating the extracted attribute is generated as user attribute data, and the generated user attribute data is generated by the server device 12 via the data input / output means 1101. Send to.

ユーザ属性更新指示手段1107は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ユーザXが発出した言語情報又は非言語情報からユーザXの属性を抽出する。 The user attribute update instruction means 1107 has, for example, one or both of the rule-based type and the machine learning type artificial intelligence, and the artificial intelligence can be used to obtain the attribute of the user X from the linguistic information or the non-linguistic information issued by the user X. Extract.

サーバ装置12は、ロボット11から受信したユーザ属性データを、記憶しているユーザ属性データに追加(同じ種別の属性に関するユーザ属性データが記憶されていない場合)、または、ロボット11から受信したユーザ属性データで、記憶しているユーザ属性データの一部を上書き(同じ種別の属性に関するユーザ属性データが記憶されている場合)する。 The server device 12 adds the user attribute data received from the robot 11 to the stored user attribute data (when the user attribute data related to the same type of attribute is not stored), or the user attribute received from the robot 11. Overwrite a part of the stored user attribute data with the data (when the user attribute data related to the same type of attribute is stored).

システム発出情報決定手段1108は、ユーザ感情推定手段1105が推定したユーザXの感情と、システム感情決定手段1106が決定したロボット11の感情とに基づき、ロボット11が発出する情報を決定する。 The system emission information determination means 1108 determines the information emitted by the robot 11 based on the emotion of the user X estimated by the user emotion estimation means 1105 and the emotion of the robot 11 determined by the system emotion determination means 1106.

より具体的には、システム発出情報決定手段1108は、以下の情報に基づきロボット11が発出する情報を決定する。システム発出情報決定手段1108が決定する情報には、言語情報と非言語情報が含まれる。 More specifically, the system emission information determining means 1108 determines the information emitted by the robot 11 based on the following information. The information determined by the system issuing information determining means 1108 includes linguistic information and non-linguistic information.

(1)ユーザ感情推定手段1105が推定したユーザXの感情
(2)システム感情決定手段が決定したロボット11の感情
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(4)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(5)サーバ装置12が記憶しているシステム性格データが示すロボット11の性格
(6)サーバ装置12が記憶しているユーザ属性データが示すユーザXの属性
(1) Emotion of user X estimated by the user emotion estimation means 1105 (2) Emotion of the robot 11 determined by the system emotion determination means (3) Personality of user X indicated by the user personality data stored in the server device 12 (3) 4) Language information issued by user X specified by the user language information specifying means 1103 (5) Personality of the robot 11 indicated by the system personality data stored in the server device 12 (6) Stored by the server device 12. User attribute The attribute of user X indicated by the data

なお、上記(3)~(6)の情報は必ずしもロボット11が発出する情報の決定に用いられなくてもよいが、上記(3)~(6)の情報を用いることで、システム発出情報決定手段1108はユーザXをコミュニケーションする人が発出する情報により近い情報を、ロボット11が発出する情報として決定できる。 The information in (3) to (6) above does not necessarily have to be used in determining the information issued by the robot 11, but the information in (3) to (6) above can be used to determine the information issued by the system. The means 1108 can determine information closer to the information emitted by the person communicating with the user X as the information emitted by the robot 11.

システム発出情報決定手段1108は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記(1)~(6)の情報に応じた感情値を特定する。 The system-issued information determining means 1108 has, for example, one or both of the rule-based type and the machine learning type artificial intelligence, and the artificial intelligence specifies the emotional value according to the information of the above (1) to (6). do.

なお、上記(1)、(2)及び(4)の情報は、直近の情報に限られず、サーバ装置12が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。 The information in (1), (2) and (4) is not limited to the latest information, but may include past information indicated by the communication log data stored in the server device 12.

システム情報発出指示手段1109は、情報発出装置113に、システム発出情報決定手段1108が決定した情報の発出を指示する。 The system information issuing instruction means 1109 instructs the information issuing device 113 to issue the information determined by the system issuing information determining means 1108.

具体的には、システム情報発出指示手段1109は、例えば、表示装置104に、システム発出情報決定手段1108が決定した情報に含まれる非言語情報に応じた表情を表す画像を表示するように指示する。また、システム情報発出指示手段1109は、システム発出情報決定手段1108が決定した情報に含まれる言語情報(文章)をシステム発出情報決定手段1108が決定した情報に含まれる非言語情報に応じた抑揚や声色で音声した音を合成し、合成した音を発音装置105に発音するように指示する。また、システム情報発出指示手段1109は、システム発出情報決定手段1108が決定した情報に含まれる非言語情報に応じた動作(首を傾げる、左右の腕を振る、等)をロボット11が行うように駆動装置106に対し動作を指示する。 Specifically, the system information issuing instruction means 1109 instructs the display device 104, for example, to display an image representing a facial expression corresponding to the non-verbal information included in the information determined by the system issuing information determining means 1108. .. Further, the system information issuing instruction means 1109 inflections the linguistic information (sentence) included in the information determined by the system issuing information determining means 1108 according to the non-linguistic information included in the information determined by the system issuing information determining means 1108. The sound voiced by the voice color is synthesized, and the sounding device 105 is instructed to pronounce the synthesized sound. Further, the system information issuing instruction means 1109 causes the robot 11 to perform an operation (tilting the head, shaking the left and right arms, etc.) according to the non-verbal information included in the information determined by the system issuing information determining means 1108. Instruct the drive device 106 to operate.

システム性格更新指示手段1110は、システム情報発出指示手段1109が情報発出装置113に発出を指示した情報と、ユーザ感情推定手段1105が推定したユーザXの感情とに基づき、サーバ装置12に対し記憶しているシステム性格データの更新を指示する。 The system character update instruction means 1110 stores the information in the server device 12 based on the information instructed by the system information issue instruction means 1109 to issue to the information issue device 113 and the emotion of the user X estimated by the user emotion estimation means 1105. Instruct to update the system personality data.

より具体的には、システム性格更新指示手段1110は、以下の情報に基づき更新後のシステム性格データを決定する。 More specifically, the system character update instruction means 1110 determines the updated system character data based on the following information.

(1)システム情報発出指示手段1109が情報発出装置113に発出を指示した情報
(2)ユーザ感情推定手段1105が推定したユーザXの感情
(3)サーバ装置12が記憶しているユーザ性格データが示すユーザXの性格
(4)ユーザ言語情報特定手段1103が特定した、ユーザXが発出した言語情報
(1) Information instructed by the system information issuing instruction means 1109 to issue to the information issuing device 113 (2) Emotion of user X estimated by the user emotion estimating means 1105 (3) User personality data stored in the server device 12 Characteristic of user X to be shown (4) Language information issued by user X specified by the user language information specifying means 1103.

なお、上記(3)及び(4)の情報は必ずしもロボット11の性格の更新に用いられなくてもよいが、上記(3)又は(4)の情報を用いることで、システム性格更新指示手段1110はロボット11の更新後の性格として、ユーザXとロボット11の関係性がより向上するような性格を決定できる。 The information in (3) and (4) above does not necessarily have to be used for updating the character of the robot 11, but by using the information in (3) or (4) above, the system character update instruction means 1110 Can determine the personality after the update of the robot 11 so that the relationship between the user X and the robot 11 is further improved.

システム性格更新指示手段1110は、例えば所定時間の経過毎に、コミュニケーションログデータが示すユーザXが過去に発出した情報を解析し、ロボット11が発出する非言語情報が直前にユーザXが発出した非言語情報と類似する確率が高まるように、現在のシステム性格データが示すロボット11の性格値を修正する。システム性格更新指示手段1110がロボット11の性格を修正する基準として、例えば、ペーシングと呼ばれる心理学の手法が用いられてもよい。なお、システム性格更新指示手段1110は、1回の修正において不自然にロボット11の性格が変化しないように、ロボット11の性格値の修正幅を所定量以下に制限する。 The system personality update instruction means 1110 analyzes the information issued by the user X in the communication log data in the past, for example, every time a predetermined time elapses, and the non-linguistic information issued by the robot 11 is the non-language information issued by the user X immediately before. The personality value of the robot 11 indicated by the current system personality data is modified so that the probability of being similar to the linguistic information increases. As a criterion for the system character update instruction means 1110 to correct the character of the robot 11, for example, a psychological method called pacing may be used. The system character update instruction means 1110 limits the correction range of the character value of the robot 11 to a predetermined amount or less so that the character of the robot 11 does not change unnaturally in one modification.

システム性格更新指示手段1110は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ロボット11の更新後の性格値を特定する。 The system personality update instruction means 1110 has, for example, one or both of the rule-based type and the machine learning type artificial intelligence, and the artificial intelligence specifies the updated personality value of the robot 11.

システム性格更新指示手段1110は、特定した更新後のロボット11の性格を示すシステム性格データを生成し、生成したシステム性格データを、データ入出力手段1101を介してサーバ装置12に送信する。サーバ装置12は、ロボット11から受信したシステム性格データで、記憶しているシステム性格データを上書きする。 The system personality update instruction means 1110 generates system personality data indicating the personality of the specified updated robot 11, and transmits the generated system personality data to the server device 12 via the data input / output means 1101. The server device 12 overwrites the stored system personality data with the system personality data received from the robot 11.

ユーザ性格更新指示手段1111は、システム情報発出指示手段1109が情報発出装置113に発出を指示した情報と、ユーザ感情推定手段1105が推定したユーザXの感情とに基づき、サーバ装置12に対し、記憶しているユーザ性格データの更新を指示する。 The user personality update instruction means 1111 stores the information in the information issuing device 113 by the system information issuing instruction means 1109 and the emotion of the user X estimated by the user emotion estimating means 1105 in the server device 12. Instruct to update the user personality data.

より具体的には、ユーザ性格更新指示手段1111は、例えば直近の過去の所定時間長の期間に関するコミュニケーションログデータに基づき、ロボット11がどのような言語情報及び非言語情報を発出した場合に、ユーザXがどのような感情となったかを解析し、解析結果に基づき、ユーザXの性格を推定する。 More specifically, the user personality update instruction means 1111 is, for example, when the robot 11 issues what kind of linguistic information and non-verbal information based on the communication log data regarding the latest predetermined time length period, the user. It analyzes what kind of emotion X has, and estimates the personality of user X based on the analysis result.

ユーザ性格更新指示手段1111は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ユーザXの性格値を推定する。 The user personality update instruction means 1111 has, for example, one or both of the rule-based type and the machine learning type artificial intelligence, and the personality value of the user X is estimated by the artificial intelligence.

ユーザ性格更新指示手段1111は、推定したユーザXの性格を示すユーザ性格データを生成し、生成したユーザ性格データを、データ入出力手段1101を介してサーバ装置12に送信する。サーバ装置12は、ロボット11から受信したユーザ性格データで、記憶しているユーザ性格データを上書きする。 The user personality update instruction means 1111 generates user personality data indicating the estimated personality of user X, and transmits the generated user personality data to the server device 12 via the data input / output means 1101. The server device 12 overwrites the stored user personality data with the user personality data received from the robot 11.

上述したコミュニケーションシステム1によれば、ロボット11は、ユーザXとコミュニケーションを繰り返すうちに、ユーザXの性格に寄り添うように、自らの性格を徐々に変更してゆく。その結果、ユーザXとロボット11の間に、より良い関係性が生じる。 According to the above-mentioned communication system 1, the robot 11 gradually changes its own personality so as to be close to the personality of the user X while repeating communication with the user X. As a result, a better relationship arises between the user X and the robot 11.

[変形例]
上述した実施形態は、本発明の技術的思想の範囲内で様々に変形されてよい。以下にそれらの変形の例を示す。なお、以下に示す変形の例の2以上が適宜、組み合わされてもよい。
[Modification example]
The embodiments described above may be variously modified within the scope of the technical idea of the present invention. An example of these variations is shown below. In addition, two or more of the examples of modifications shown below may be combined as appropriate.

(変形例1)
上述した実施形態において、測定装置112は撮影装置102と拾音装置103により実現され、ユーザXから発出される情報のうち、視覚又は聴覚で捉えられる情報を測定する。測定装置112が測定する情報は視覚又は聴覚で捉えられる情報に限られない。例えば、ロボット11が接触検知装置を備え、測定装置112が、ユーザXから発出される情報のうち、触覚で捉えられる情報を測定してもよい。
(Modification 1)
In the above-described embodiment, the measuring device 112 is realized by the photographing device 102 and the sound picking device 103, and measures the information that can be visually or auditorily captured among the information emitted from the user X. The information measured by the measuring device 112 is not limited to the information perceived visually or audibly. For example, the robot 11 may include a contact detection device, and the measuring device 112 may measure information that can be captured by tactile sensation among the information emitted from the user X.

(変形例2)
上述した実施形態において、情報発出装置113は表示装置104、発音装置105、及び、駆動装置106により実現され、ユーザXが視覚又は聴覚で捉えられる情報を発出する。情報発出装置113が発出する情報は視覚又は聴覚で捉えられる情報に限られない。例えば、ロボット11が匂い発生装置を備え、情報発出装置113がユーザXに対し、嗅覚で捉えられる情報を発出してもよい。
(Modification 2)
In the above-described embodiment, the information issuing device 113 is realized by the display device 104, the sounding device 105, and the driving device 106, and outputs information that can be visually or audibly captured by the user X. The information emitted by the information issuing device 113 is not limited to the information that can be visually or auditorily captured. For example, the robot 11 may be provided with an odor generator, and the information emitting device 113 may emit information perceived by the sense of smell to the user X.

(変形例3)
上述した実施形態において、ユーザ性格データ、ユーザ属性データ、システム性格データ、コミュニケーションログデータ等を記憶する記憶装置の役割はサーバ装置12が果たす。これに代えて、もしくは加えて、これらのデータを記憶する記憶装置が、ロボット11に設けられてもよい。
(Modification 3)
In the above-described embodiment, the server device 12 plays the role of a storage device for storing user personality data, user attribute data, system personality data, communication log data, and the like. Alternatively or additionally, a storage device for storing these data may be provided in the robot 11.

(変形例4)
上述した実施形態において、ロボット11のコミュニケーション装置111が備えるものとした機能構成部の少なくとも一部を、サーバ装置12又はサーバ装置12とは異なる他の装置が備えてもよい。
(Modification example 4)
In the above-described embodiment, at least a part of the functional components provided by the communication device 111 of the robot 11 may be provided by the server device 12 or another device different from the server device 12.

(変形例5)
上述した実施形態において、コミュニケーションシステム1はロボット11とサーバ装置12により構成される。コミュニケーションシステム1の構成はこれに限られない。例えば、上述した実施形態においてサーバ装置12が記憶するものとしたデータをロボット11が内臓又は外部に接続された記憶装置に記憶し、コミュニケーションシステム1がロボット11のみで構成されてもよい。また、上述した実施形態においてロボット11が備えるものとした機能構成部の一部を備え、ロボット11とデータ通信を行い連係動作する1以上の外部の装置を備え、コミュニケーションシステム1がロボット11、サーバ装置12、及び、それらの外部の装置により構成されてもよい。
(Modification 5)
In the above-described embodiment, the communication system 1 is composed of a robot 11 and a server device 12. The configuration of the communication system 1 is not limited to this. For example, the data stored in the server device 12 in the above-described embodiment may be stored in the storage device built-in or externally connected to the robot 11, and the communication system 1 may be composed of only the robot 11. Further, it includes a part of the functional components that the robot 11 has in the above-described embodiment, includes one or more external devices that perform data communication with the robot 11 and operate in cooperation with the robot 11, and the communication system 1 is a robot 11 and a server. It may be composed of a device 12 and an external device thereof.

(変形例6)
上述した実施形態において、コミュニケーションシステム1が備えるロボット11は1つであるものとしたが、コミュニケーションシステム1が複数のロボット11を備えてもよい。その場合、複数のロボット11の間で、サーバ装置12に記憶されているデータの一部が共用されてもよい。例えば、ユーザ感情推定手段1105、システム感情決定手段1106等が機械学習型の人工知能を有する場合、それらの人工知能の訓練のために用いる教師データの生成のために、複数のロボット11間でコミュニケーションログデータが共用されてもよい。
(Modification 6)
In the above-described embodiment, the communication system 1 includes one robot 11, but the communication system 1 may include a plurality of robots 11. In that case, a part of the data stored in the server device 12 may be shared among the plurality of robots 11. For example, when the user emotion estimation means 1105, the system emotion determination means 1106, etc. have machine learning type artificial intelligence, communication between a plurality of robots 11 is performed to generate teacher data used for training the artificial intelligence. Log data may be shared.

(変形例7)
上述した実施形態において、ロボット11は胴部107、頭部108、右腕部109、左腕部110を備えるものとしたが、ロボット11が備える部位の種別や数はこの例に限られない。例えば、ロボット11が右脚部及び左脚部を備え、駆動装置106が胴部107に対する右脚部及び左脚部の各々の姿勢(相対位置)を変更可能としてもよい。また、ロボット11が右腕部109及び左腕部110の各々に連結される複数の指部を備え、駆動装置106が右腕部109又は左腕部110に対する指部の各々の姿勢(相対位置)を変更可能としてもよい。
(Modification 7)
In the above-described embodiment, the robot 11 includes a body portion 107, a head portion 108, a right arm portion 109, and a left arm portion 110, but the type and number of parts included in the robot 11 are not limited to this example. For example, the robot 11 may include a right leg portion and a left leg portion, and the drive device 106 may be able to change the postures (relative positions) of the right leg portion and the left leg portion with respect to the body portion 107. Further, the robot 11 includes a plurality of fingers connected to each of the right arm 109 and the left arm 110, and the drive device 106 can change the posture (relative position) of each finger with respect to the right arm 109 or the left arm 110. May be.

(変形例8)
コミュニケーションシステム1が、ユーザXの感情の推定等に、ユーザXが置かれている環境の物理量(以下、単に「環境の物理量」という)の測定結果を用いてもよい。環境の物理量の例としては、温度、湿度、照度、騒音の大小等が挙げられる。
(Modification 8)
The communication system 1 may use the measurement result of the physical quantity of the environment in which the user X is placed (hereinafter, simply referred to as "physical quantity of the environment") for estimating the emotion of the user X or the like. Examples of physical quantities of the environment include temperature, humidity, illuminance, and the magnitude of noise.

この変形例において、測定装置112、又は、測定装置112とは異なる測定装置が、環境の物理量を測定する。例えば、コミュニケーションシステム1が温度を用いる場合、コンピュータ101に温度計が接続される。この場合、温度計は測定装置112とは異なる測定装置を構成するため、測定装置112とは異なる測定装置が環境の物理量を測定することになる。また、コミュニケーションシステム1が騒音の大小を用いる場合、騒音の測定には測定装置112を構成する拾音装置103が行う。この場合、測定装置112が環境の物理量の測定を行うことになる。 In this modification, the measuring device 112 or a measuring device different from the measuring device 112 measures the physical quantity of the environment. For example, when the communication system 1 uses temperature, a thermometer is connected to the computer 101. In this case, since the thermometer constitutes a measuring device different from the measuring device 112, the measuring device different from the measuring device 112 measures the physical quantity of the environment. Further, when the communication system 1 uses the magnitude of noise, the noise picking device 103 constituting the measuring device 112 performs the noise measurement. In this case, the measuring device 112 measures the physical quantity of the environment.

また、この変形例において、コミュニケーション装置111は、機能構成部として、測定装置112又は測定装置112とは異なる測定装置から環境の物理量を測定した結果を示す物理環境データを取得する物理環境取得手段を備える。 Further, in this modification, the communication device 111, as a functional component, provides a physical environment acquisition means for acquiring physical environment data indicating the result of measuring the physical quantity of the environment from the measuring device 112 or a measuring device different from the measuring device 112. Be prepared.

この変形例において、物理環境取得手段により取得された物理環境データは、以下の(1)~(4)の1以上において用いられる。 In this modification, the physical environment data acquired by the physical environment acquisition means is used in one or more of the following (1) to (4).

(1)ユーザ感情推定手段1105によるユーザXの感情の推定
(2)システム感情決定手段1106によるロボット11の感情の決定
(3)システム発出情報決定手段1108によるロボット11が発出する情報の決定
(4)システム性格更新指示手段1110による新たなシステム性格データの生成
(5)ユーザ性格更新指示手段1111による新たなユーザ性格データの生成
(1) Estimation of user X's emotion by user emotion estimation means 1105 (2) Determination of emotion of robot 11 by system emotion determination means 1106 (3) Determination of information emitted by robot 11 by system emission information determination means 1108 (4) ) Generation of new system personality data by system personality update instruction means 1110 (5) Generation of new user personality data by user personality update instruction means 1111

この変形例によれば、例えば、ユーザXの感情の推定において温度等の環境の物理量が考慮されることにより、より精度の高い感情の推定が行われる。 According to this modification, for example, by considering the physical quantity of the environment such as temperature in the estimation of the emotion of the user X, the estimation of the emotion with higher accuracy is performed.

1…コミュニケーションシステム、11…ロボット、12…サーバ装置、101…コンピュータ、102…撮影装置、103…拾音装置、104…表示装置、105…発音装置、106…駆動装置、107…胴部、108…頭部、109…右腕部、110…左腕部、111…コミュニケーション装置、112…測定装置、113…情報発出装置、1011…プロセッサ、1012…メモリ、1013…入出力インタフェース、1014…通信インタフェース、1101…データ入出力手段、1102…ユーザ発出情報取得手段、1103…ユーザ言語情報特定手段、1104…ユーザ非言語情報特定手段、1105…ユーザ感情推定手段、1106…システム感情決定手段、1107…ユーザ属性更新指示手段、1108…システム発出情報決定手段、1109…システム情報発出指示手段、1110…システム性格更新指示手段、1111…ユーザ性格更新指示手段。 1 ... Communication system, 11 ... Robot, 12 ... Server device, 101 ... Computer, 102 ... Shooting device, 103 ... Sound picking device, 104 ... Display device, 105 ... Sounding device, 106 ... Drive device, 107 ... Body, 108 ... Head, 109 ... Right arm, 110 ... Left arm, 111 ... Communication device, 112 ... Measuring device, 113 ... Information issuing device, 1011 ... Processor, 1012 ... Memory, 1013 ... Input / output interface, 1014 ... Communication interface, 1101 ... Data input / output means, 1102 ... User-issued information acquisition means, 1103 ... User language information identification means, 1104 ... User non-language information identification means, 1105 ... User emotion estimation means, 1106 ... System emotion determination means, 1107 ... User attribute update. Instruction means, 1108 ... System issuance information determination means, 1109 ... System information issuance instruction means, 1110 ... System personality update instruction means, 1111 ... User personality update instruction means.

Claims (22)

ユーザとの間でコミュニケーションを行うシステムであって、
コミュニケーションの相手から発出される情報を受け取る毎に変化する状態を感情とし、コミュニケーションの相手から発出される情報を受け取る毎には実質的に変化せずコミュニケーションを繰り返す中で変化する状態を性格とするとき、
記憶装置との間でデータの受け渡しを行うデータ入出力手段と、
測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得するユーザ発出情報取得手段と、
前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザの感情を推定するユーザ感情推定手段と、
前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記システムの感情を決定するシステム感情決定手段と、
前記ユーザ感情推定手段が推定した前記ユーザの感情と、前記システム感情決定手段が決定した前記システムの感情とに基づき、前記システムが発出する情報を決定するシステム発出情報決定手段と、
前記ユーザに対し情報を発出する情報発出装置に、前記システム発出情報決定手段が決定した情報の発出を指示するシステム情報発出指示手段と、
前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示するシステム性格更新指示手段と
を備えるシステム。
A system that communicates with users
The emotion is the state that changes each time the information emitted from the communication partner is received, and the character is the state that does not change substantially each time the information emitted from the communication partner is received and changes as the communication is repeated. When
Data input / output means for exchanging data with and from a storage device,
A user-issued information acquisition means for acquiring user-issued data indicating the result of measuring the information issued by the user from the measuring device.
A user emotion estimation means that estimates the user's emotions based on the user-issued data acquired by the user-issued information acquisition means, and a user emotion estimation means.
A system emotion determining means for determining the emotion of the system based on the personality of the system indicated by the system personality data stored in the storage device and the emotion of the user estimated by the user emotion estimating means.
A system-issued information determining means that determines information emitted by the system based on the user's emotions estimated by the user emotion estimating means and the emotions of the system determined by the system emotion-determining means.
A system information issuing instruction means for instructing an information issuing device that issues information to the user to issue information determined by the system issuing information determining means.
A system instructing the storage device to update the system personality data based on the information instructed by the system information issuing instruction means to issue to the information issuing device and the emotion of the user estimated by the user emotion estimating means. A system equipped with personality update instruction means.
前記ユーザ感情推定手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき前記ユーザの感情を推定する
請求項1に記載のシステム。
The system according to claim 1, wherein the user emotion estimation means estimates the emotion of the user based on the personality of the user indicated by the user personality data stored in the storage device.
前記システム感情決定手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき前記システムの感情を決定する
請求項1又は2に記載のシステム。
The system according to claim 1 or 2, wherein the system emotion determining means determines the emotion of the system based on the personality of the user indicated by the user personality data stored in the storage device.
前記システム発出情報決定手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき前記システムが発出する情報を決定する
請求項1乃至3のいずれか1項に記載のシステム。
The system according to any one of claims 1 to 3, wherein the system issuing information determining means determines information issued by the system based on the personality of the user indicated by the user personality data stored in the storage device. ..
前記システム性格更新指示手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき、前記記憶装置に対し前記システム性格データの更新を指示する
請求項1乃至4のいずれか1項に記載のシステム。
The system personality update instruction means is any one of claims 1 to 4 for instructing the storage device to update the system personality data based on the personality of the user indicated by the user personality data stored in the storage device. The system according to item 1.
前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記ユーザ性格データの更新を指示するユーザ性格更新指示手段
を備える請求項2乃至5のいずれか1項に記載のシステム。
A user who instructs the storage device to update the user personality data based on the information instructed by the system information issuing instruction means to issue to the information issuing device and the emotion of the user estimated by the user emotion estimating means. The system according to any one of claims 2 to 5, further comprising a personality update instruction means.
前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザが発出した言語情報を特定するユーザ言語情報特定手段
を備える請求項1乃至6のいずれか1項に記載のシステム。
The system according to any one of claims 1 to 6, further comprising a user language information specifying means for specifying the language information issued by the user based on the user-issued data acquired by the user-issued information acquisition means.
前記ユーザ感情推定手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき前記ユーザの感情を推定する
請求項7に記載のシステム。
The system according to claim 7, wherein the user emotion estimation means estimates the user's emotion based on the language information issued by the user specified by the user language information specifying means.
前記システム感情決定手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき前記システムの感情を決定する
請求項7又は8に記載のシステム。
The system according to claim 7 or 8, wherein the system emotion determining means determines the emotion of the system based on the language information issued by the user specified by the user language information specifying means.
前記システム発出情報決定手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき前記システムが発出する情報を決定する
請求項7乃至9のいずれか1項に記載のシステム。
The system according to any one of claims 7 to 9, wherein the system issuing information determining means determines information issued by the system based on the language information issued by the user specified by the user language information specifying means.
前記システム性格更新指示手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき、前記記憶装置に対し前記システム性格データの更新を指示する
請求項7乃至10のいずれか1項に記載のシステム。
The system character update instruction means is any one of claims 7 to 10 instructing the storage device to update the system character data based on the language information issued by the user specified by the user language information specifying means. The system described in the section.
前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザが発出した非言語情報を特定するユーザ非言語情報特定手段
を備え、
前記ユーザ感情推定手段は、前記ユーザ非言語情報特定手段が特定した前記ユーザが発出した非言語情報に基づき前記ユーザの感情を推定する
請求項1乃至11のいずれか1項に記載のシステム。
A user non-verbal information specifying means for specifying non-verbal information issued by the user based on the user-issued data acquired by the user-issued information acquisition means is provided.
The system according to any one of claims 1 to 11, wherein the user emotion estimation means estimates the user's emotion based on the non-linguistic information issued by the user specified by the user non-linguistic information specifying means.
前記システム発出情報決定手段は、前記記憶装置が記憶しているユーザ属性データが示す前記ユーザの客観視できる属性に基づき、前記システムが発出する情報を決定する
請求項1乃至12のいずれか1項に記載のシステム。
The system issuing information determining means is any one of claims 1 to 12 for determining the information issued by the system based on the objectively visible attributes of the user indicated by the user attribute data stored in the storage device. The system described in.
前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき、前記記憶装置に対し前記ユーザ属性データの更新を指示するユーザ属性更新指示手段
を備える請求項13に記載のシステム。
The system according to claim 13, further comprising a user attribute update instruction means for instructing the storage device to update the user attribute data based on the user issue data acquired by the user issue information acquisition means.
前記測定装置又は前記測定装置とは異なる測定装置から、前記ユーザが置かれている環境の物理量を測定した結果を示す物理環境データを取得する物理環境取得手段
を備える請求項1乃至14のいずれか1項に記載のシステム。
One of claims 1 to 14, further comprising a physical environment acquisition means for acquiring physical environment data indicating the result of measuring the physical quantity of the environment in which the user is placed from the measuring device or a measuring device different from the measuring device. The system according to item 1.
前記ユーザ感情推定手段は、前記物理環境取得手段が取得した前記物理環境データに基づき前記ユーザの感情を推定する
請求項15に記載のシステム。
The system according to claim 15, wherein the user emotion estimation means estimates the user's emotion based on the physical environment data acquired by the physical environment acquisition means.
前記システム感情決定手段は、前記物理環境取得手段が取得した前記物理環境データに基づき前記システムの感情を決定する
請求項15又は16に記載のシステム。
The system according to claim 15 or 16, wherein the system emotion determination means determines the emotion of the system based on the physical environment data acquired by the physical environment acquisition means.
前記システム発出情報決定手段は、前記物理環境取得手段が取得した前記物理環境データに基づき前記システムが発出する情報を決定する
請求項15乃至17のいずれか1項に記載のシステム。
The system according to any one of claims 15 to 17, wherein the system issuing information determining means determines information issued by the system based on the physical environment data acquired by the physical environment acquiring means.
前記システム性格更新指示手段は、前記物理環境取得手段が取得した前記物理環境データに基づき、前記記憶装置に対し前記システム性格データの更新を指示する
請求項15乃至18のいずれか1項に記載のシステム。
The method according to any one of claims 15 to 18, wherein the system personality update instruction means instructs the storage device to update the system personality data based on the physical environment data acquired by the physical environment acquisition means. system.
前記測定装置又は前記測定装置とは異なる測定装置から、前記ユーザが置かれている環境の物理量を測定した結果を示す物理環境データを取得する物理環境取得手段
を備え、
前記ユーザ性格更新指示手段は、前記物理環境取得手段が取得した前記物理環境データに基づき、前記記憶装置に対し前記ユーザ性格データの更新を指示する
請求項6に記載のシステム。
A physical environment acquisition means for acquiring physical environment data indicating the result of measuring the physical quantity of the environment in which the user is placed from the measuring device or a measuring device different from the measuring device is provided.
The system according to claim 6, wherein the user personality update instruction means instructs the storage device to update the user personality data based on the physical environment data acquired by the physical environment acquisition means.
前記システム発出情報決定手段は、前記記憶装置が記憶している前記システム性格データが示す前記システムの性格に基づき前記システムが発出する情報を決定する
請求項1乃至20のいずれか1項に記載のシステム。
The system according to any one of claims 1 to 20, wherein the system issuing information determining means determines information issued by the system based on the characteristics of the system indicated by the system characteristic data stored in the storage device. system.
ユーザとの間でコミュニケーションを行うシステムをコンピュータに実現させるためのプログラムであって、
コミュニケーションの相手から発出される情報を受け取る毎に変化する状態を感情とし、コミュニケーションの相手から発出される情報を受け取る毎には実質的に変化せずコミュニケーションを繰り返す中で変化する状態を性格とするとき、
前記コンピュータに、
記憶装置との間でデータの受け渡しを行う処理と、
測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得する処理と、
前記ユーザ発出データに基づき前記ユーザの感情を推定する処理と、
前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、推定した前記ユーザの感情とに基づき、前記システムの感情を決定する処理と、
推定した前記ユーザの感情と、決定した前記システムの感情とに基づき、前記システムが発出する情報を決定する処理と、
前記ユーザに対し情報を発出する情報発出装置に、決定した前記システムが発出する情報の発出を指示する処理と、
前記情報発出装置に発出を指示した情報と、推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示する処理と
を実行させるためのプログラム。
It is a program to realize a system that communicates with users on a computer.
The emotion is the state that changes each time the information emitted from the communication partner is received, and the character is the state that does not change substantially each time the information emitted from the communication partner is received and changes as the communication is repeated. When
To the computer
The process of transferring data to and from the storage device,
A process of acquiring user-issued data indicating the result of measuring the information issued by the user from the measuring device, and
The process of estimating the emotion of the user based on the data issued by the user, and
A process of determining the emotion of the system based on the personality of the system indicated by the system personality data stored in the storage device and the estimated emotion of the user.
A process of determining information emitted by the system based on the estimated emotions of the user and the determined emotions of the system.
A process of instructing the information issuing device that outputs information to the user to issue the determined information issued by the system.
A program for causing the storage device to execute a process of instructing the storage device to update the system personality data based on the information instructing the information issuing device to issue the information and the estimated feelings of the user.
JP2021048774A 2021-03-23 2021-03-23 A system for communicating with people and a program for that purpose Active JP6990472B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021048774A JP6990472B1 (en) 2021-03-23 2021-03-23 A system for communicating with people and a program for that purpose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021048774A JP6990472B1 (en) 2021-03-23 2021-03-23 A system for communicating with people and a program for that purpose

Publications (2)

Publication Number Publication Date
JP6990472B1 true JP6990472B1 (en) 2022-01-12
JP2022147506A JP2022147506A (en) 2022-10-06

Family

ID=80185454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021048774A Active JP6990472B1 (en) 2021-03-23 2021-03-23 A system for communicating with people and a program for that purpose

Country Status (1)

Country Link
JP (1) JP6990472B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7205962B1 (en) 2022-10-14 2023-01-17 ユニロボット株式会社 System for automatic dialogue

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017173547A (en) 2016-03-23 2017-09-28 カシオ計算機株式会社 Robot control device, robot, robot control method, robot control system and program
JP2017173546A (en) 2016-03-23 2017-09-28 カシオ計算機株式会社 Learning support device, robot, learning support system, learning support method, and program
JP2018068548A (en) 2016-10-27 2018-05-10 富士ゼロックス株式会社 Interaction control system
JP2019200598A (en) 2018-05-16 2019-11-21 株式会社野村総合研究所 server
JP2020527267A (en) 2017-07-14 2020-09-03 深▲せん▼前海達闥雲端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Robot personality setting method, equipment and robot

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259446A (en) * 1998-03-12 1999-09-24 Aqueous Reserch:Kk Agent device
KR102140740B1 (en) * 2014-01-29 2020-08-03 엘지전자 주식회사 A mobile device, a cradle for mobile device, and a method of managing them

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017173547A (en) 2016-03-23 2017-09-28 カシオ計算機株式会社 Robot control device, robot, robot control method, robot control system and program
JP2017173546A (en) 2016-03-23 2017-09-28 カシオ計算機株式会社 Learning support device, robot, learning support system, learning support method, and program
JP2018068548A (en) 2016-10-27 2018-05-10 富士ゼロックス株式会社 Interaction control system
JP2020527267A (en) 2017-07-14 2020-09-03 深▲せん▼前海達闥雲端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Robot personality setting method, equipment and robot
JP2019200598A (en) 2018-05-16 2019-11-21 株式会社野村総合研究所 server

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7205962B1 (en) 2022-10-14 2023-01-17 ユニロボット株式会社 System for automatic dialogue
JP2024058368A (en) * 2022-10-14 2024-04-25 ユニロボット株式会社 A system for automated dialogue.

Also Published As

Publication number Publication date
JP2022147506A (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US11327556B2 (en) Information processing system, client terminal, information processing method, and recording medium
EP3381175B1 (en) Apparatus and method for operating personal agent
CN108665492B (en) Dance teaching data processing method and system based on virtual human
Picard et al. Toward agents that recognize emotion
JP2021027917A (en) Information processing device, information processing system, and machine learning device
WO2016080553A1 (en) Learning robot, learning robot system, and learning robot program
JP7010000B2 (en) Information processing equipment and programs
JP2019008570A (en) Information processing device, information processing method, and program
WO2005016147A1 (en) Information processing terminal and communication system
US20220398937A1 (en) Information processing device, information processing method, and program
US11960792B2 (en) Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program
US20190149490A1 (en) Information processing apparatus and non-transitory computer readable medium
US20230173683A1 (en) Behavior control device, behavior control method, and program
JP6040745B2 (en) Information processing apparatus, information processing method, information processing program, and content providing system
KR20210024174A (en) Machine interaction
JP6990472B1 (en) A system for communicating with people and a program for that purpose
CN110569352B (en) Design system and method of virtual assistant capable of customizing appearance and character
JP3733075B2 (en) Interaction media system
Pomboza-Junez et al. Toward the gestural interface: comparative analysis between touch user interfaces versus gesture-based user interfaces on mobile devices
JP2021108046A (en) Learning support system
CN112074804A (en) Information processing system, information processing method, and recording medium
WO2019087502A1 (en) Information processing device, information processing method, and program
CN116529750A (en) Method and system for interface for product personalization or recommendation
US20190050881A1 (en) Method and apparatus for rewarding reaction of simulation participant
Zhang et al. A survey on mobile affective computing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210325

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R150 Certificate of patent or registration of utility model

Ref document number: 6990472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150