JP6598227B1 - Cat-type conversation robot - Google Patents
Cat-type conversation robot Download PDFInfo
- Publication number
- JP6598227B1 JP6598227B1 JP2019075152A JP2019075152A JP6598227B1 JP 6598227 B1 JP6598227 B1 JP 6598227B1 JP 2019075152 A JP2019075152 A JP 2019075152A JP 2019075152 A JP2019075152 A JP 2019075152A JP 6598227 B1 JP6598227 B1 JP 6598227B1
- Authority
- JP
- Japan
- Prior art keywords
- dialogue
- character
- cat
- utterance
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 claims abstract description 146
- 241000282326 Felis catus Species 0.000 claims abstract description 89
- 230000008921 facial expression Effects 0.000 claims abstract description 67
- 230000001815 facial effect Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 157
- 230000002269 spontaneous effect Effects 0.000 claims description 131
- 230000005856 abnormality Effects 0.000 claims description 43
- 230000008859 change Effects 0.000 claims description 34
- 230000008451 emotion Effects 0.000 claims description 33
- 230000002159 abnormal effect Effects 0.000 claims description 28
- 230000014509 gene expression Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 20
- 230000001186 cumulative effect Effects 0.000 claims description 15
- 230000006399 behavior Effects 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】疑似的な自我と、発話音声を受信する度に対話態度を変化させる猫の性格を持ち、対話内容に応じて表情を変化させる猫型会話ロボットを提供する。【解決手段】猫型会話ロボット10は、発話音声を受信して受信信号を出力する音声入力手段11と、ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示する表示手段12と、発話者に対して対話音声を発生する音声出力手段13と、受信信号を受けて設定される対話態度に基づく対話音声を形成する音声データを作成して音声出力手段13に入力しながら、キャラクターの顔画像を形成する顔画像合成データ及びキャラクターの対話時の顔表情を変化させる顔表情データをそれぞれ作成し、顔画像合成データと顔表情データを組合せて画像表示データとして表示手段12に入力する制御装置14とを有する。【選択図】図1The present invention provides a cat-type conversation robot that has a pseudo-ego and a cat that changes a dialogue attitude each time an utterance is received, and that changes facial expressions according to the contents of the dialogue. A cat-type conversation robot 10 includes a voice input unit 11 that receives an uttered voice and outputs a received signal, and a display unit 12 that displays a face image of a character set as a robot-side dialoguer. A voice output means 13 for generating a dialog voice for the speaker, and voice data forming a dialog voice based on a dialogue attitude set in response to the received signal and inputting the voice data to the voice output means 13, The facial image composition data for forming the facial image of the character and the facial expression data for changing the facial expression during the dialogue of the character are respectively created, and the combined facial image data and facial expression data are input to the display means 12 as image display data. And a control device 14 for controlling. [Selection] Figure 1
Description
本発明は、猫型会話ロボットに係り、詳細には、猫型会話ロボットがペットのように疑似的に自我を持った対応をすることで、猫型会話ロボットと対話(会話)を行う発話者(猫型会話ロボットのユーザ、以下、単にユーザともいう)が猫型会話ロボットとの会話を楽しむ環境を構築するものである。
すなわちアバウトな生活スケジュール(例えば9時頃まで睡眠、14時頃まで音楽を楽しむ、18時頃まで趣味を実行して睡眠等のスケジュールで、ユーザに合わせて趣味を変えることも可)を持って猫型会話ロボットが生活している状況を構築し、ユーザが猫型会話ロボットの生活に関与して話しかけることや、ユーザに手間をかけさせること、例えば擬似的に食事の要求や排泄物の処理要求等の要求行動をして、その対応に応じて会話内容が変化することも含め、ユーザの興味に応じてお互いの生活の接点を持ち、会話を充実したものにすることを目指している。
加えてユーザからの発話音声を受信する度に対話態度を変化させる猫の性格を持つと共に、猫型会話ロボットがユーザの発話音声に応答する際に、猫型会話ロボット側(以下、単にロボット側ともいう)の対話者として設定されたキャラクターの対話時の顔画像を表示しながら、対話内容に応じてキャラクターの顔の表情を変化させる猫型会話ロボットに関する。
The present invention relates to a cat-type conversation robot, and in particular, a speaker who performs a conversation (conversation) with a cat-type conversation robot by having the cat-type conversation robot respond like a pet with a pseudo ego. An environment in which a user (a user of a cat-type conversation robot, hereinafter also simply referred to as a user) enjoys a conversation with a cat-type conversation robot is constructed.
In other words, with an about life schedule (for example, sleep until 9 o'clock, enjoy music until 14 o'clock, run hobbies until around 18 o'clock, and sleep etc.) Establish a situation where a cat-type conversation robot lives, and let the user talk about the life of the cat-type conversation robot, or make the user troublesome, for example, pseudo food requests and excrement processing The aim is to enhance the conversation by having the user interact with each other according to the user's interests, including changing the content of the conversation in response to the requested action.
In addition, it has the character of a cat that changes the dialogue attitude every time it receives the speech from the user, and when the cat-type conversation robot responds to the user's speech, the cat-type conversation robot side (hereinafter simply referred to as the robot side) It is also related to a cat-type conversation robot that changes the facial expression of a character in accordance with the content of the conversation while displaying a facial image of the character set as a conversation person.
ここで、「猫の性格を持つ」とは、例えば、1)猫がすり寄り甘えるように、ユーザに自発的に話しかけたり何かを要求する発話を行う対話パターン、2)猫が、自立性が高く必ずしも飼い主に従順性を常に示さないように、ユーザが話しかけても無視する対話パターン、3)猫が意外性のある行動を示すように、ユーザが話しかけた話題とは別の話題で対話する対話パターン、及び4)猫が時に飼い主に対して威嚇的な態度を示すことがあるように、ユーザに対して対話を拒絶する対話パターン等の対話態度を有することをいう。 Here, “having the character of a cat” means, for example, 1) a dialogue pattern in which the user speaks spontaneously or makes an utterance requesting something so that the cat can slip and pamper, and 2) the cat is independent. 3) Dialogue patterns that are ignored even if the user speaks so that the owner does not always show obedience, 3) Dialogue on a topic that is different from the topic spoken by the user so that the cat exhibits unexpected behavior 4) Having a dialogue attitude such as a dialogue pattern that rejects dialogue to the user so that the cat sometimes shows a threatening attitude towards the owner.
従来の会話型ロボットとの対話(会話)では、マニュアルに基づく接客対応に代表されるような反復的かつ画一的な対話(いわゆる不自然な対話)が行われ易く、対話に面白味がなく対話の継続が困難で、かつ雑談のような対話ができないといった問題点が指摘されている。このため、会話型ロボットがユーザを識別して予め入手しているユーザのプロファイルに基づいて応答文を作成することにより、あるいは対話を行いながらユーザの新たな情報を入手し、得られた情報を応答文の作成に適宜反映させることにより、対話が不自然になることを回避する提案が行われている(例えば、特許文献1参照)。 In conversations (conversations) with conventional conversational robots, it is easy to perform repetitive and uniform conversations (so-called unnatural conversations) as typified by customer-based customer service, and conversations are not interesting. It has been pointed out that there is a problem that it is difficult to continue and conversation like chat is not possible. For this reason, the conversational robot identifies the user and creates a response sentence based on the user's profile acquired in advance, or obtains the user's new information while interacting, and obtains the obtained information Proposals have been made to avoid unnatural dialogue by appropriately reflecting it in the creation of a response sentence (see, for example, Patent Document 1).
更に、従来の会話型ロボットは表情を変化させながら会話を行うことはできないため、ユーザは会話型ロボットとコミュニケーションが取り難いという問題があった。そこで、ユーザの音声からユーザの感情を怒り、喜び、及びストレス等の各項目別に数値化して感情パラメータを算出し、感情パラメータ毎に予め作成されている発話シナリオ、表情シナリオ、及び動作シナリオに基づいて、所定の音声(発話内容)を出力し、所定の表情を創出し、所定の動作を実現する会話ロボットシステムが提案されている(例えば、特許文献2参照)。 Further, since the conventional conversational robot cannot perform a conversation while changing its facial expression, there is a problem that it is difficult for the user to communicate with the conversational robot. Therefore, the emotion of the user is quantified from the voice of the user, and the emotion parameters are calculated for each item such as joy, stress, etc., and based on the utterance scenario, facial expression scenario, and operation scenario that are created in advance for each emotion parameter Thus, there has been proposed a conversation robot system that outputs a predetermined voice (utterance content), creates a predetermined facial expression, and realizes a predetermined action (see, for example, Patent Document 2).
特許文献1の発明では、ユーザの情報に基づいて応答文が作成されるため対話の話題に変化が生じ難く、会話型ロボットとの対話を続けることがいずれは困難になるという問題がある。また、ユーザが雑談の目的で会話を始めた場合、雑談の話題が思い付きから生じたものであると、会話型ロボットが雑談の話題に関するユーザの情報を入手することは略不可能であるため、対話を無理に継続させようとすると対話が不自然となり易く、会話型ロボットとの対話の継続が困難になるという問題が生じる。
また、特許文献2に開示された会話型ロボットは、会話型ロボットが推定したユーザの感情と予め作成された発話シナリオ、表情シナリオ、及び動作シナリオに基づいて発話内容、表情、動作を決定することができるが、会話型ロボットが会話を行いながら応答内容に基づいて会話型ロボットの表情を適宜変えることはできない。このため、ユーザは会話型ロボットとコミュニケーションが取り難いという問題は解消されない。
In the invention of
Further, the conversational robot disclosed in Patent Document 2 determines the utterance content, facial expression, and action based on the user's emotion estimated by the conversational robot and the utterance scenario, expression scenario, and action scenario created in advance. However, it is not possible to appropriately change the expression of the conversational robot based on the response contents while the conversational robot has a conversation. For this reason, the problem that it is difficult for the user to communicate with the conversational robot cannot be solved.
加えて、従来の会話型ロボットにユーザの異常状態を検出する監視カメラや人感センサ等の見守り用のセンサを取り付けることにより、会話型ロボットに「見守り機能」を付加することが行われている。しかしながら、見守り用のセンサを用いたユーザの異常状態の監視では、明らかな異常が生じないと(例えば、「ユーザが転倒して動けない」、「ユーザが気絶して倒れている」ことが監視カメラの映像として得られないと)異常が認識できない。このため、見守り用のセンサを設けてもユーザが重篤な状態になるまで放置される危険性が高いという問題がある。 In addition, a “watching function” is added to a conversational robot by attaching a monitoring camera such as a monitoring camera or a human sensor to detect an abnormal state of the user to a conventional conversational robot. . However, in monitoring the abnormal state of the user using the monitoring sensor, it is monitored that no obvious abnormality occurs (for example, “the user cannot fall and move”, “the user is fainted and falls”). Abnormality cannot be recognized unless it can be obtained as a camera image. For this reason, there is a problem that even if a monitoring sensor is provided, there is a high risk that the user will be left unattended until a serious condition occurs.
本発明はかかる事情に鑑みてなされたもので、ユーザが猫型会話ロボットの生活に関与することで、自然に相互の会話を促し、加えて発話音声を受信する度に対話態度を変化させる猫の性格を有することにより対話に変化を生じさせることが可能であると共に、ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示しながら対話内容に応じて顔の表情を変化させることによりコミュニケーションを取り易くし、更に発話者の対話中の対話状態の変化や質問に対する回答内容の変化から発話者の異常を早期に発見して関係者に知らせることが可能な猫型会話ロボットを提供することを目的とする。 The present invention has been made in view of such circumstances, and the cats who are involved in the life of a cat-type conversation robot naturally promote mutual conversation, and in addition, the cats that change the conversational attitude each time they receive uttered speech. It is possible to change the dialogue by having the personality of the character, and change the facial expression according to the content of the dialogue while displaying the facial image of the character set as the robot dialogue person A cat-type conversation robot that makes it easier to communicate, and that can quickly detect abnormalities in the speaker and notify relevant parties from changes in the conversation state during the conversation of the speaker and changes in the content of answers to questions. The purpose is to provide.
前記目的に沿う本発明に係る猫型会話ロボットは、疑似的にペットのような自我を持ち、発話者の発話音声を受信する度に対話態度を変化させる猫の性格を持つ猫型会話ロボットであって、
前記発話音声を受信して受信信号を出力する音声入力手段と、
ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示する表示手段と、
前記発話者に対して対話音声を発生する音声出力手段と、
前記受信信号を受けて設定される前記対話態度に基づく前記対話音声を形成する音声データを作成して前記音声出力手段に入力しながら、前記キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成して前記表示手段に入力する制御装置とを有し、
該制御装置は、
(1)前記音声入力手段から出力される前記受信信号を発話音声ファイルに変換し、該発話音声ファイルから発話文字ファイルを作成して出力する音声入力処理部と、
(2)前記発話文字ファイルの入力を受けて前記対話音声の基となる対話文字ファイルを作成して出力する対話管理部と、
(3)前記対話文字ファイルの入力を受けて該対話文字ファイルから前記音声データを形成し音声信号に変換して前記音声出力手段に入力する音声出力処理部と、
(4)前記キャラクターの顔画像を形成する顔画像合成データと、前記対話文字ファイルの入力を受けて該対話文字ファイルから前記キャラクターの感情を推定し、該感情に応じた表情を形成する顔表情データをそれぞれ作成し、該顔画像合成データと該顔表情データを組合せて前記画像表示データとして前記表示手段に入力するキャラクター表情処理部
とを有し、
前記対話管理部は、前記発話文字ファイルが入力される度に、予め設定された複数の対話パターンの中から前記対話態度として対話パターンSを任意に選定し、該対話パターンSに対応する前記対話文字ファイルを出力する応答対話系統と、自発発話系統とを有し、
該自発発話系統には、
(1)前記発話者の趣味、猫独自の行動を織り込んだ生活パターン、及び前記発話者が応答することを意識した該猫型会話ロボットの要求行動のいずれか1以上を含む自発発話条件を予め設定する自発発話条件設定手段と、
(2)該自発発話条件設定手段で設定された前記自発発話条件が成立した際に条件成立信号を出力する条件成立判定手段と、
(3)前記条件成立信号を受けて、該条件成立信号に対応する前記自発発話条件に設定された自発発話文字ファイルを前記対話文字ファイルとして出力する自発発話手段
とが設けられ、
前記自発発話条件設定手段には、前記自発発話条件として前記発話者の見守りを実行する見守り開始条件が更に設けられ、該見守り開始条件は、前記発話者が起床する時間帯に設定する開始時刻から前記発話者が就寝する時間帯に設定する終了時刻までの中で少なくとも1回発生するように設定され、該見守り開始条件に対して設定された前記自発発話文字ファイルは前記発話者の個人情報に基づいた特定質問を構成するものである。
このような構成とすることで、制御装置を構成する各処理部毎にメンテナンスや更新を行うことができる。
発話音声から作成される発話文字ファイルが対話管理部に入力される度に、対話管理部の応答対話系統では対話態度として対話パターンSが選定されるので、猫型会話ロボットは発話音声を受信する度に対話態度を変化させた応答を行うことができる。
自発発話手段を設けることにより、発話者からの発話に猫型会話ロボットが答えるという一方的な会話から双方向(発話者から猫型会話ロボットへの発話、猫型会話ロボットから発話者への発話)の会話が可能になる。また、猫が飼い主に対してすり寄ったり甘えたりするように、猫型会話ロボットから発話者に対して話しかけを行わせることや、猫が一人遊びを行うように、猫型会話ロボットに独り言を言わせることができる。
ここで、猫型会話ロボットから発話者に対する話しかけの頻度や、猫型会話ロボットが独り言を言う頻度は、自発発話条件により決めることができる。また、猫型会話ロボットが発話者に対して話しかける話題や独り言の話題は、自発発話文字ファイルにより設定することができる。
ここで、発話者の個人情報に基づいた特定質問は、例えば、発話者の名前、生年月日、親、兄弟、又は子供の名前、予め確認し合った合言葉等のように、発話者にとっては容易に正答でき、第3者にとっては正答することが困難となる質問である。従って、発話者の正答率は通常では100%であり、誤回答が生じることは発話者に体調の変化(異常)が生じている可能性が高いことを示している。
Cat type conversation robot according to the present invention along the object has a ego like artificially pets, cats type conversation robot with the characteristics of cat to change the conversation attitude each time it receives the speech of a speaker There,
Voice input means for receiving the uttered voice and outputting a received signal;
A display means for displaying a face image at the time of dialogue of the character set as a dialogue person on the robot side;
Voice output means for generating dialogue voice for the speaker;
Image display data for changing the facial expression of the character's facial image during dialogue while creating voice data forming the dialogue voice based on the dialogue attitude set in response to the received signal and inputting the voice data into the voice output means create and have a control device to be input to the display means,
The control device
(1) a voice input processing unit that converts the received signal output from the voice input means into an utterance voice file, creates an utterance character file from the utterance voice file, and outputs the utterance character file;
(2) a dialogue management unit that receives the input of the spoken character file and creates and outputs a dialogue character file that is a basis of the dialogue voice;
(3) a voice output processing unit that receives input of the dialogue character file, forms the voice data from the dialogue character file, converts the voice data into a voice signal, and inputs the voice signal to the voice output means;
(4) Facial facial expression that forms facial expression in accordance with the emotion image synthesis data that forms the facial image of the character and the dialogue character file in response to the input of the dialogue character file. Character expression processing unit that creates data and inputs the combined image of the face image and the facial expression data to the display means as the image display data
And
The dialogue management unit arbitrarily selects a dialogue pattern S as the dialogue attitude from among a plurality of preset dialogue patterns each time the utterance character file is input, and the dialogue corresponding to the dialogue pattern S It has a response dialogue system that outputs a character file and a spontaneous speech system,
In the spontaneous utterance system,
(1) Spontaneous speech conditions including at least one of the hobby of the speaker, a life pattern incorporating a cat's unique behavior, and the requested behavior of the cat-type conversation robot that the speaker is aware of responding in advance. A spontaneous utterance condition setting means to be set;
(2) Condition establishment determining means for outputting a condition satisfaction signal when the spontaneous utterance condition set by the spontaneous utterance condition setting means is established;
(3) Spontaneous utterance means for receiving the condition establishment signal and outputting the spontaneous utterance character file set in the spontaneous utterance condition corresponding to the condition establishment signal as the dialogue character file
And
The spontaneous utterance condition setting means is further provided with a watch start condition for executing the watch of the speaker as the spontaneous utterance condition, and the watch start condition is determined from a start time set in a time zone when the speaker wakes up. The spontaneous utterance character file set for the watch start condition is set to occur at least once before the end time set in the time period when the speaker goes to bed, and the personal information of the speaker is stored in the personal information of the speaker. Ru der what constitutes a specific question based.
By setting it as such a structure, a maintenance and update can be performed for every process part which comprises a control apparatus.
Every time an utterance character file created from the uttered voice is input to the dialogue management unit, the dialogue pattern S is selected as the dialogue attitude in the response dialogue system of the dialogue management unit, so the cat-type conversation robot receives the utterance voice. It is possible to make a response by changing the dialogue attitude every time.
By providing a self-speaking means, the cat-type conversation robot responds to the utterance from the speaker in both directions (utterance from the speaker to the cat-type conversation robot, utterance from the cat-type conversation robot to the speaker) ) Conversation is possible. Also, tell the cat-type conversation robot to talk to the speaker from the cat-type conversation robot and make the cat play alone so that the cat will snag and pamper the owner. Can be made.
Here, the frequency of talking to the speaker from the cat-type conversation robot and the frequency of the cat-type conversation robot speaking to the self can be determined by the spontaneous utterance conditions. Moreover, the topic that the cat-type conversation robot speaks to the speaker and the topic of the self-speaking can be set by the spontaneously uttered character file.
Here, the specific question based on the personal information of the speaker is, for example, for the speaker such as the name of the speaker, the date of birth, the name of the parent, sibling, or child, the password that has been confirmed in advance. This is a question that can be easily answered correctly and is difficult for a third party to answer correctly. Accordingly, the correct answer rate of the speaker is normally 100%, and the occurrence of an incorrect answer indicates that there is a high possibility that the speaker has a change in physical condition (abnormality).
本発明に係る猫型会話ロボットにおいて、更に、前記発話者を撮影する撮像手段を有し、前記制御装置には、前記撮像手段で得られた前記発話者の画像を用いて、前記表示手段の表示面の方向を調節し、該表示面に表示された前記キャラクターの顔画像を前記発話者に対向させる表示位置調整部が設けられていることが好ましい。
これによって、発話者(ユーザ)は、キャラクターの対話時の顔表情の変化を容易に捉えることができる。
In the cat-type conversation robot according to the present invention, the cat-like conversation robot further includes an imaging unit that captures the speaker, and the control device uses the image of the speaker obtained by the imaging unit, It is preferable that a display position adjustment unit is provided that adjusts the direction of the display surface and causes the face image of the character displayed on the display surface to face the speaker.
As a result, the speaker (user) can easily grasp the change in facial expression during the character dialogue.
本発明に係る猫型会話ロボットにおいて、前記キャラクターの顔画像は猫のアニメ顔画像とすることができる。
これによって、発話者は、キャラクターの顔を好みに合わせて設定することができる。なお、キャラクターの顔画像は、発話者の要求に合わせて作成することも、予め準備された複数の顔画像候補の中から発話者に選択させることも可能である。
In the cat-type conversation robot according to the present invention, the character's face image may be a cat's animated face image.
Thus, the speaker can set the character's face according to his / her preference. The face image of the character can be created in accordance with the request of the speaker, or the speaker can be selected from a plurality of face image candidates prepared in advance.
本発明に係る猫型会話ロボットにおいて、前記複数の対話パターンは、
(1)前記発話文字ファイルが有する話題に応答する前記対話態度を示す通常対話パターンと、
(2)前記発話文字ファイルが有する話題とは別の話題で応答する前記対話態度を示す変更話題対話パターンと、
(3)前記発話文字ファイルの入力に対し無応答となる前記対話態度を示す無視対話パターンと、
(4)前記発話文字ファイルの入力に対し対話拒絶となる前記対話態度を示す拒絶対話パターン
とを有することができる。
In the cat-type conversation robot according to the present invention, the plurality of interaction patterns are:
(1) a normal dialogue pattern indicating the dialogue attitude in response to a topic included in the utterance character file;
(2) a changed topic dialogue pattern indicating the dialogue attitude to respond with a topic different from the topic of the utterance character file;
(3) an ignoring dialogue pattern indicating the dialogue attitude that makes no response to the input of the utterance character file;
(4) It may have a rejection dialogue pattern indicating the dialogue attitude that causes dialogue rejection with respect to input of the utterance character file.
対話態度として通常対話パターンが選定されると、発話文字ファイル(発話音声ファイル)が有する話題に応答することになって、猫型会話ロボットに猫の従順な一面を生じさせることができ、対話態度として変更話題対話パターンが選定されると、発話文字ファイルが有する話題とは別の話題に応答することになって、猫型会話ロボットに猫の意外な一面を生じさせることができる。また、対話態度として無視対話パターンが選定されると、話しかけても応答がなく、猫型会話ロボットに猫の自立性が高い一面を生じさせることができ、対話態度として拒絶対話パターンが選定されると、対話が拒絶され、猫型会話ロボットに猫の威嚇的な(非従順な)一面を生じさせることができる。これにより、発話者は、猫型会話ロボットとの間に適度な距離感を有するコミュニケーションを図ることができる。 When a normal dialogue pattern is selected as the dialogue attitude, it responds to the topic of the utterance character file (speech voice file), and can cause the cat-like conversation robot to have a submissive aspect of the cat. When the changed topic dialogue pattern is selected, the cat responds to a topic different from the topic of the utterance character file, and can cause an unexpected aspect of the cat to the cat-type conversation robot. In addition, when the neglected dialogue pattern is selected as the dialogue attitude, there is no response even when talking to the cat-like conversation robot, and a cat-independent robot can be brought to a high level of independence, and the rejection dialogue pattern is selected as the dialogue attitude. The conversation is rejected, and the cat-like conversation robot can cause a cat's intimidating (non-obedient) aspect. As a result, the speaker can communicate with the cat-type conversation robot with an appropriate sense of distance.
「発話文字ファイルが有する話題とは別の話題」とは、発話文字ファイルが有する話題とは異なる話題と、発話文字ファイルが有する話題と関連性が弱い話題をそれぞれ有することを指す。異なる話題で応答させる頻度を高くすると意外性が強い性格の猫を、関連性の弱い話題で応答させる頻度を高くすると意外性が弱い性格の猫を猫型会話ロボットにおいてそれぞれ実現させることができる。
ここで、発話文字ファイルが有する話題と関連性の弱い話題とは、話題の分野は同じであるが対象が異なる場合を指し、例えば、話題が和食である場合に、アジア、アフリカ、欧州等の他国料理を話題にすることを指す。
The “topic different from the topic possessed by the utterance character file” refers to having a topic different from the topic possessed by the utterance character file and a topic that is weakly related to the topic possessed by the utterance character file. If the frequency of responding on different topics is increased, a cat having a strong personality can be realized in a cat-type conversation robot, and if the frequency of responding on a less relevant topic is increased, a cat having a low personality can be realized in a cat-type conversation robot.
Here, the topic that is weakly related to the topic of the utterance character file refers to the case where the subject field is the same but the target is different, for example, when the topic is Japanese food, such as Asia, Africa, Europe, etc. It refers to talking about foreign cuisine.
本発明に係る猫型会話ロボットにおいて、前記通常対話パターン、前記変更話題対話パターン、前記無視対話パターン、及び前記拒絶対話パターンに対してそれぞれ猫の性格に基づいた選定確率が予め設定されていることが好ましい。
各対話パターンを猫の性格に基づいた選定確率で生起させるため、通常対話パターン(猫の従順性)、変更話題対話パターン(猫の意外性)、無視対話パターン(猫の自立性)、拒絶対話パターン(猫の威嚇性)を猫型会話ロボットに違和感なく生じさせることができる。なお、各対話パターンの選定確率を調節することで、従順性、意外性、自立性、及び威嚇性の比率を変えることができ、猫の性格の特徴付け(猫の個性の形成)が可能になる。
In the cat-type conversation robot according to the present invention, selection probabilities based on the character of the cat are set in advance for the normal conversation pattern, the changed topic conversation pattern, the neglected conversation pattern, and the rejection conversation pattern, respectively. Is preferred.
In order to make each dialogue pattern occur with a selection probability based on the character of the cat, normal dialogue pattern (cat obedience), change topic dialogue pattern (cat unexpectedness), neglect dialogue pattern (cat independence), rejection dialogue A pattern (cat's intimidation) can be generated in a cat-type conversation robot without a sense of incongruity. By adjusting the selection probability of each dialogue pattern, the ratio of obedience, unexpectedness, independence, and intimidation can be changed, and the character of the cat can be characterized (formation of the cat's personality). Become.
本発明に係る猫型会話ロボットにおいて、前記発話文字ファイルには予め登録された特定文言が存在し、該特定文言が存在する該発話文字ファイルが入力された際は、前記通常対話パターンの前記選定確率が50%より高く設定されることが好ましい。
これによって、飼い主が猫の相手をしたい場合に飼い主は猫が好むこと(例えば、猫じゃらし)を行うように、発話内に猫じゃらし型特定文言を入れることにより、通常対話パターンの機会が高くなって猫型会話ロボットとの対話を楽しむことができる。
In the cat-type conversation robot according to the present invention, when the utterance character file includes a specific word registered in advance, and when the utterance character file including the specific word is input, the selection of the normal dialogue pattern is performed. The probability is preferably set higher than 50%.
As a result, if the owner wants to be a cat partner, the cat will usually have a chance to interact with the cat by putting a cat-specific specific word into the utterance, just like the cat likes it (for example, cat catering). You can enjoy a conversation with a conversation robot.
本発明に係る猫型会話ロボットにおいて、前記応答対話系統には、
(1)入力された前記発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する文字ファイルデータベースと、
(2)前記発話文字ファイル及び前記別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段と、
(3)前記発話文字ファイルの入力により前記対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルAを選択し前記対話文字ファイルとして出力する通常型対話手段と、
(4)前記文字ファイルデータベースに格納された前記複数の別文字ファイルの中から別文字ファイルWを選択して前記対話応答処理手段に入力し、該対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルBを選択し前記対話文字ファイルとして出力する変更話題型対話手段と、
(5)前記文字ファイルデータベースに格納された前記複数の無視文字ファイルの中から無視文字ファイルCを選択し前記対話文字ファイルとして出力する無視型対話手段と、
(6)前記文字ファイルデータベースに格納された前記複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し前記対話文字ファイルとして出力する拒絶型対話手段
とを設けることができる。
これにより、猫の性格を具体的に発現させた対話態度を猫型会話ロボットに実現させることができる。
In the cat-type conversation robot according to the present invention, the response dialogue system includes:
(1) A plurality of separate character files having a topic different from that of the input speech character file, a plurality of ignored character files corresponding to dialogue ignorance, and a plurality of rejection character files corresponding to dialogue refusal, respectively. Character file database to store and output on demand,
(2) Dialog response processing means for creating and outputting a plurality of response character files by inputting the spoken character file and the separate character file,
(3) a normal dialogue unit that selects a response character file A from the plurality of response character files output from the dialogue response processing unit by inputting the utterance character file and outputs the selected response character file as the dialogue character file;
(4) Selecting the different character file W from the plurality of different character files stored in the character file database, inputting the selected character file W to the dialogue response processing means, and outputting the plurality of responses output from the dialogue response processing means A change topic type dialogue means for selecting a response character file B from a character file and outputting it as the dialogue character file;
(5) Ignore interaction means for selecting an ignore character file C from the plurality of ignore character files stored in the character file database and outputting the selected ignore character file as the dialog character file;
(6) Rejection-type dialogue means for selecting a rejection character file D from the plurality of rejection character files stored in the character file database and outputting it as the dialogue character file can be provided.
As a result, the cat-like conversation robot can realize a dialogue attitude that specifically expresses the character of the cat.
本発明に係る猫型会話ロボットにおいて、前記音声入力処理部は、前記受信信号から前記発話音声ファイルを作成する音声検出手段と、該発話音声ファイルから前記発話文字ファイルを作成し出力する音声認識処理手段とを有し、
前記音声認識処理手段及び前記対話応答処理手段はクラウド上にそれぞれ設けられ、前記発話音声ファイルの前記音声認識処理手段への入力、該音声認識処理手段からの前記発話文字ファイルの出力、該発話文字ファイル及び前記別文字ファイルWの前記対話応答処理手段への入力、該対話応答処理手段から前記通常型対話手段及び前記変更話題型対話手段への前記応答文字ファイルの出力はそれぞれ情報通信回線を介して行ことが好ましい。
In the cat-type conversation robot according to the present invention, the voice input processing unit includes voice detection means for creating the utterance voice file from the received signal, and voice recognition processing for creating and outputting the utterance character file from the utterance voice file. Means,
The speech recognition processing means and the dialogue response processing means are each provided on a cloud, and input the utterance speech file to the speech recognition processing means, output of the utterance character file from the speech recognition processing means, and the utterance character The file and the input of the separate character file W to the dialogue response processing means, and the output of the response character file from the dialogue response processing means to the normal type dialogue means and the changed topic type dialogue means are respectively via information communication lines. Is preferable.
クラウド上に音声認識処理手段及び対話応答処理手段を設けると、大規模なデータベースを接続することができ、ハードウェアの更新と、アプリケーションソフトウェアの更新及び改善を適宜行うことができる。このため、音声認識処理手段では発話音声ファイルから発話文字ファイルへの変換を迅速かつ正確に行うことができ、対話応答処理手段では発話文字ファイルの内容に応答する的確な内容を有する応答文字ファイルを容易に作成することができる。 If the speech recognition processing means and the dialogue response processing means are provided on the cloud, a large-scale database can be connected, and hardware update and application software update and improvement can be appropriately performed. For this reason, the speech recognition processing means can quickly and accurately convert an utterance voice file to an utterance character file, and the dialog response processing means can obtain a response character file having an accurate content in response to the content of the utterance character file. Can be easily created.
本発明に係る猫型会話ロボットにおいて、前記応答文字ファイルAには前記発話文字ファイルの話題に関連する質問が含まれることが好ましい。
これによって、質問に回答する形で対話が続けられるため、ロボット側では話題の絞り込みを行うことが容易となり、対話を継続させ易くなる。
In the cat-type conversation robot according to the present invention, it is preferable that the response character file A includes a question related to the topic of the utterance character file.
As a result, since the dialogue continues in the form of answering the question, it becomes easy for the robot to narrow down the topic, and the dialogue can be continued easily.
本発明に係る猫型会話ロボットにおいて、前記制御装置には、前記特定質問に対する前記発話者の回答の正誤を判定し、誤回答が生じた際に第1の異常信号を出力する第1の警報部が設けられていることが好ましい。 In cats type conversation robot according to the present invention, the prior SL controller, wherein determining the correctness of a speaker of the answer to a specific question, erroneous answers first to output the first abnormal signal when generated in It is preferable that an alarm unit is provided .
本発明に係る猫型会話ロボットにおいて、前記自発発話文字ファイルは、前記自発発話条件毎に予め作成され、前記自発発話系統に設けられた自発発話文字ファイルデータベースに格納されていることが好ましい。
これにより、発話者の好みや趣向に合致した話題に関する話しかけを猫型会話ロボットに行わせたり、猫型会話ロボット(猫)に何かを要求する発言を行わせることができ、猫型会話ロボットとの会話の機会や猫型会話ロボットの世話を行う機会を容易に作ることができる。
In the cat-type conversation robot according to the present invention, it is preferable that the spontaneous utterance character file is created in advance for each spontaneous utterance condition and stored in a spontaneous utterance character file database provided in the spontaneous utterance system.
This allows the cat-type conversation robot to talk on topics that match the speaker's preferences and preferences, or can make the cat-type conversation robot (cat) make a request for something. It is easy to create an opportunity to talk with a cat or take care of a cat-type conversation robot.
本発明に係る猫型会話ロボットにおいて、前記対話文字ファイルに含まれる文は、該文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段を介して前記音声出力処理部に出力されることが好ましい。
これにより、文の語尾に「にゃん」が発話されることになって、猫としてのイメージを向上させることができる。
In the cat-type conversation robot according to the present invention, the sentence included in the dialogue character file is output to the voice output processing unit via ending processing means for performing ending processing that adds “Nyan” to the ending of the sentence. It is preferable.
Thereby, "Nyan" is uttered at the end of the sentence, and the image as a cat can be improved.
本発明に係る猫型会話ロボットにおいて、前記制御装置には、予め設定された時間帯で前記対話音声が発せられる度に該対話音声が発せられてから前記音声入力手段で前記発話音声が受信されるまでの待機時間を測定し、予め求めておいた前記発話者の基準待機時間と該待機時間との偏差が設定した許容値を超える応答状態変化の発生有無を検知し、前記発話者との間で最初の対話が成立して以降の該応答状態変化の発生の累積回数が予め設定した異常応答判定値に到達した際に第2の異常信号を出力する第2の警報部が設けられていることが好ましい。 In the cat-type conversation robot according to the present invention, the control device receives the utterance voice by the voice input means after the conversation voice is uttered every time the conversation voice is uttered in a preset time zone. And detecting whether or not a response state change has occurred in which a deviation between the reference standby time of the speaker and the standby time obtained in advance exceeds a set allowable value. A second alarm unit is provided for outputting a second abnormality signal when the cumulative number of occurrences of the response state change after the first dialogue is established reaches a preset abnormal response determination value. Preferably it is.
ここで、基準待機時間とは、発話者の平常状態の待機時間を複数回測定し統計処理して得られる統計量で、例えば、待機時間分布の平均値、中央値、又は最頻値である。また、偏差は待機時間と基準待機時間との差であり、許容値は、例えば、待機時間分布の標準偏差σを用いて、σ、2σ、又は3σのいずれか1に設定することができる。
猫型会話ロボットの音声出力手段より対話音声が発せられてから猫型会話ロボットの音声入力手段で発話者の発話音声が受信されるまでの待機時間(発話者が話しかけられてから応答するまでの時間)は、発話者の体調に影響される対話処理能力を反映する測定値と考えられる。このため、偏差が許容値を超えることは、発話者の対話時の応答状態が変化していることを示している。そして、応答状態変化の発生の累積回数が異常応答判定値に到達したことは、発話者に新たな(異常な)対話応答状態が生じていることを示しており、発話者に体調の変化(異常)が生じている可能性が高いと判断できる。
Here, the reference waiting time is a statistic obtained by measuring the waiting time in the normal state of the speaker a plurality of times and performing statistical processing, for example, an average value, median value, or mode value of the waiting time distribution. . The deviation is a difference between the standby time and the reference standby time, and the allowable value can be set to any one of σ, 2σ, or 3σ using, for example, the standard deviation σ of the standby time distribution.
Waiting time from when the voice is output by the voice output means of the cat-type conversation robot to when the voice of the speaker is received by the voice input means of the cat-type conversation robot (from the time the speaker is spoken until the response is made) Time) is considered to be a measurement that reflects the dialogue processing ability affected by the physical condition of the speaker. For this reason, the deviation exceeding the allowable value indicates that the response state at the time of dialogue of the speaker is changing. The fact that the cumulative number of occurrences of the response state change has reached the abnormal response determination value indicates that a new (abnormal) dialogue response state has occurred in the speaker, and the physical condition change ( It can be determined that there is a high possibility that an abnormality) has occurred.
本発明に係る猫型会話ロボットにおいて、前記制御装置には、前記音声入力処理部から前記対話管理部に出力される前記発話文字ファイルの前記発話音声ファイルに対する確からしさを定量的に示す確信度を取得し、該確信度が予め設定された異常確信度以下となる低確信度状態の発生有無を検知し、該低確信度状態の発生の累積回数が予め設定した異常累積回数に到達した際に第3の異常信号を出力する第3の警報部が設けられていることが好ましい。 In the cat-type conversation robot according to the present invention, the control device has a certainty factor that quantitatively indicates a probability of the utterance character file output from the voice input processing unit to the dialogue management unit with respect to the utterance voice file. When the occurrence of the low certainty state where the certainty factor is equal to or less than the preset abnormality certainty level is detected and the cumulative number of occurrences of the low certainty state reaches the preset abnormal cumulative number It is preferable that a third alarm unit for outputting a third abnormality signal is provided.
音声入力処理部では、受信信号から作成した発話音声ファイルを発話文字ファイルに変換する際、音声に対して文(文字)が一義的に決定できない場合(変換時の確信度(発話音声ファイル(発話音声)の認識の確からしさを確率的に評価した数値)が100%でない場合)、確信度の高い順に複数の発話文字ファイルが候補として提供され、通常は、第1候補(確信度が最大の)発話文字ファイルが対話管理部に入力される。
ここで、音声入力処理部での発話文字ファイルの作成方法を固定すると、同一の発話音声ファイル(発話音声)に対しては常に同一の確信度で同一の発話文字ファイルが得られる。従って、平常状態の発話者の種々の発話音声ファイル(発話音声)に対して音声入力処理部で評価される確信度を求めると、確信度の分布は平常状態の発話者の対話状態を定量的に評価する尺度の一つとなる。このため、確信度の分布の最小値より小さい値に異常確信度を設定しておくと、発話文字ファイルの作成時の異常度が異常確信度以下となる低確信度状態が発生することは、発話者の対話状態に変化が生じている、即ち、発話者が平常状態でないことを示している。そして、低確信度状態の発生の累積回数が異常累積回数に到達したことは、発話者に対話状態を変化させるほどに体調の変化(異常)が生じている可能性が高いことを示している。
なお、平常状態の発話者の発話音声ファイル(発話音声)に対する確信度は、一般的に90%程度の値となるため、例えば、異常確信度は確信度70%程度の値に設定できる。また、異常累積回数は、例えば、5回程度の値に設定することができる。
When the speech input processing unit converts an utterance speech file created from the received signal into an utterance character file, if the sentence (character) cannot be uniquely determined for the speech (the confidence level at the time of conversion (the utterance speech file (utterance (Speech) (if the probability value of the probability of recognition) is not 100%), a plurality of spoken character files are provided as candidates in descending order of confidence, and usually the first candidate (the confidence is the highest) ) An utterance character file is input to the dialogue management unit.
Here, if the method of creating the utterance character file in the voice input processing unit is fixed, the same utterance character file is always obtained with the same certainty factor for the same utterance voice file (utterance voice). Therefore, when the certainty factor evaluated by the voice input processing unit is obtained for various utterance voice files (uttered voices) of the normal speaker, the distribution of the certainty factor quantitatively determines the conversation state of the normal speaker. It becomes one of the scales evaluated. For this reason, if the abnormality certainty is set to a value smaller than the minimum value of the certainty distribution, the low certainty state in which the abnormality during creation of the utterance character file is equal to or less than the certainty is generated. This indicates that a change has occurred in the conversation state of the speaker, that is, the speaker is not in a normal state. The fact that the cumulative number of occurrences of the low confidence state has reached the abnormal cumulative number indicates that there is a high possibility that a physical condition change (abnormality) has occurred as the conversation state is changed by the speaker. .
In addition, since the certainty degree with respect to the speech voice file (speech voice) of the speaker in a normal state is generally about 90%, for example, the abnormality certainty level can be set to a value of about 70% confidence level. Further, the cumulative number of abnormal times can be set to a value of about 5 times, for example.
本発明に係る猫型会話ロボットにおいては、疑似的な自我を持ち、猫の性格のように発話音声を受信する度に対話態度を変化させるので、意外性のある対話音声が出力されることになって対話に変化が生じ易くなる。
また、猫型会話ロボットとの会話時に、ロボット側の対話者として設定されたキャラクターの顔画像を表示手段に表示し、対話内容に応じてキャラクターの対話時の顔表情を微妙に変化させることができるので、発話者は猫型会話ロボットとのコミュニケーションが取り易くなる。
In the cat-type conversation robot according to the present invention, it has a pseudo ego, and the conversational attitude is changed every time an utterance voice is received like the character of a cat. Therefore, an unexpected dialogue voice is output. It becomes easy to change in the dialogue.
In addition, when talking with a cat-type conversation robot, the face image of the character set as the robot's talker can be displayed on the display means, and the facial expression during the character's dialogue can be changed slightly depending on the content of the dialogue. As a result, the speaker can easily communicate with the cat-type conversation robot.
制御装置の対話管理部に自発発話手段を設けたので、発話者と猫型会話ロボットとの間で双方向の会話(発話者から猫型会話ロボットへの発話から始まる会話、猫型会話ロボットから発話者への発話から始まる会話)を成立させることができ、会話の機会を向上させることが可能になる。その結果、猫型会話ロボットと発話者が永く付き合う状況を形成することができ、例えば、話し相手がいないという孤独感の解消や、猫型会話ロボット(機械)と付き合うというストレスの軽減を図ることが可能になる。
また、制御装置に、第1〜第3の警報部のいずれか1又は2以上を設けた場合、発話者が猫型会話ロボットとの対話の中で、発話者に通常とは違う軽度の異常状態が生じていることを早期に発見することができ、発話者の安心及び安全のレベルを高めることが可能になる。
Is provided with the spontaneous speech it means to the dialogue management unit in the control unit, a conversation starting from speech to cat type communication robots from two-way conversation between the speaker and the cat-type communication robots (utterer, from cat-type communication robots Conversation starting from utterance to the speaker) can be established, and conversation opportunities can be improved. As a result, it is possible to create a situation where a cat-type conversation robot and a speaker are associated with each other for a long time. For example, it is possible to eliminate the feeling of loneliness that there is no talking partner and to reduce the stress of association with a cat-type conversation robot (machine). It becomes possible.
In addition, when any one or more of the first to third alarm units are provided in the control device, a slight abnormality that is not normal to the speaker during the conversation between the speaker and the cat-type conversation robot. It is possible to detect the occurrence of the condition at an early stage, and it becomes possible to increase the level of peace of mind and safety of the speaker.
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図1に示すように、本発明の第1の実施の形態に係る猫型会話ロボット10は、疑似的な自我を持ち、猫型会話ロボット10のユーザ(発話者)の発話音声を受信する度に対話態度を変化させる猫の性格を持つ会話ロボットであって、ユーザの発話音声を受信して受信信号を出力するマイクロフォン11(音声入力手段の一例)と、ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示するディスプレイ12(表示手段の一例)と、ユーザに対して対話音声を発生するスピーカ13(音声出力手段の一例)と、受信信号を受けて設定される対話態度に基づく対話音声を形成する音声データを作成してスピーカ13に入力しながら、キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成してディスプレイ12に入力する制御装置14とを有する。
ここで、キャラクターの顔画像は、予め準備された複数の猫のアニメ顔画像の中から一つを選択して設定する。なお、キャラクターの顔画像は、ユーザの要求に合わせて任意に作製することもできる。
Next, embodiments of the present invention will be described with reference to the accompanying drawings for understanding of the present invention.
As shown in FIG. 1, the cat-
Here, the character face image is set by selecting one of a plurality of cat anime face images prepared in advance. It should be noted that the character face image can be arbitrarily created according to the user's request.
更に、猫型会話ロボット10はユーザを撮影するカメラ15(撮像手段の一例)を有し、制御装置14には、カメラ15で得られたユーザの画像を用いて、ディスプレイ12の表示面の方向を調節し、ディスプレイ12に表示されたキャラクターの顔画像をユーザに対向させる表示位置調整部16が設けられている。ここで、表示位置調整部16は、ユーザの画像からディスプレイ12(例えば、表示面の中心位置)に対するユーザの三次元位置を求めてディスプレイ12の表示面の方向(例えば、表示面の中心位置に立てた法線の方向)を調節する修正データを演算する修正データ演算器17と、ディスプレイ12を載置し、修正データに基づいてディスプレイ12の表示面の方向を変化させる可動保持台18とを有している。
Further, the cat-
図2に示すように、制御装置14は、マイクロフォン11から出力される受信信号を発話音声ファイルに変換する音声検出手段25と、発話音声ファイルから発話文字ファイルを作成して出力する音声認識処理手段19とを備えた音声入力処理部20と、発話文字ファイルの入力を受けて起動し、発話文字ファイルが入力される度に、予め設定された複数の対話パターンの中から対話態度として対話パターンSを任意に選定して、対話パターンSに対応する対話音声の基となる対話文字ファイルを作成して出力する応答対話系統21を備えた対話管理部22とを有する。
As shown in FIG. 2, the
更に、制御装置14は、対話文字ファイルの入力を受けて対話文字ファイルから音声データを作成し音声信号に変換してスピーカ13に入力する音声出力処理部23と、キャラクターの顔画像を形成する顔画像合成データと、対話文字ファイルの入力を受けて対話文字ファイルからキャラクターの感情を推定し、感情に応じた表情を形成する顔表情データをそれぞれ作成し、顔画像合成データと顔表情データを組合せて画像表示データとしてディスプレイ12に入力するキャラクター表情処理部24とを有する。
Further, the
図3に示すように、音声入力処理部20は、マイクロフォン11から出力される受信信号から音声が含まれている時間区間を音声区間として検出して発話音声ファイルとして出力する音声検出手段25と、発話音声ファイルを情報通信回線26(例えば、光回線、ADSL回線、ケーブルテレビ回線等)を介して音声認識処理手段19に入力(送信)する送信手段27と、音声認識処理手段19から情報通信回線26を介して出力(送信)された発話文字ファイルを受信して出力する受信手段28とを有している。
ここで、音声認識処理手段19からは、発話音声ファイル(発話音声)を発話文字ファイルに変換する際、音声に対して文(文字)が一義的に決定できない場合、確信度(発話文字ファイルの発話音声ファイルに対する確からしさを定量的に示したもの)の高い順に複数の発話文字ファイルが候補として提供(出力)される。従って、受信手段28では、出力された複数の発話文字ファイルの中から確信度が最大の発話文字ファイルを発話音声ファイルに対応する発話文字ファイルとして対話管理部22に向けて出力する。
なお、音声認識処理手段19をクラウド(インターネット)上に設けることで、音声認識処理手段19に大規模なデータベースを接続することができ、ハードウェアの更新、アプリケーションソフトウェアの更新や改善を適宜行うことができる。このため、音声認識処理手段19では発話音声ファイルから発話文字ファイルへの正確かつ迅速な変換を行うことができる。
As shown in FIG. 3, the voice
Here, when the speech recognition processing means 19 converts an utterance voice file (utterance voice) into an utterance character file, if the sentence (character) cannot be uniquely determined for the voice, the certainty factor (the utterance character file A plurality of utterance character files are provided (output) as candidates in descending order of the probability of the utterance voice file quantitatively). Therefore, the receiving means 28 outputs the utterance character file having the maximum certainty among the plurality of output utterance character files to the
By providing the speech recognition processing means 19 on the cloud (Internet), a large-scale database can be connected to the speech recognition processing means 19, and hardware updates and application software updates and improvements are appropriately performed. Can do. For this reason, the voice recognition processing means 19 can perform an accurate and quick conversion from the utterance voice file to the utterance character file.
図4に示すように、応答対話系統21には、猫型会話ロボット10の対話態度を選定する上で重要となる特定文言を登録させて格納する特定文言登録手段29と、発話文字ファイル中に特定文言が存在するか否かを判定し、特定文言が存在しない場合は発話文字ファイルの意図が特定文言と一致するか否かを判定する機能、及び特定文言が存在する又は発話文字ファイルの意図が特定文言と一致する際はその特定文言の情報を出力し、特定文言が存在しない又は発話文字ファイルの意図が特定文言と一致しない際は特定文言無しの情報を出力する機能を備えた特定文言判定手段30が設けられている。
なお、発話文字ファイルに特定文言が存在する場合又は発話文字ファイルの意図が特定文言と一致する場合を、以下では単に発話文字ファイルに特定文言が存在する場合と記載する。
As shown in FIG. 4, the
In the following description, a case where a specific word exists in the utterance character file or a case where the intention of the utterance character file matches the specific word will be simply referred to as a case where the specific word exists in the utterance character file.
応答対話系統21には、猫型会話ロボット10が有する猫の性格として、複数の対話パターン、例えば、
(1)猫が従順な性格を示すことに対応して、発話文字ファイルが有する話題に応答する対話態度を示す通常対話パターン、
(2)猫が意外性のある行動を示すことに対応して、発話文字ファイルが有する話題とは別の話題で応答する対話態度を示す変更話題対話パターン、
(3)猫が強い自立性を示すことに対応して、話しかけても(発話文字ファイルの入力に対して)無応答となる対話態度を示す無視対話パターン、
(4)猫が威嚇的な態度を示すことに対応して、話しかけても(発話文字ファイルの入力に対して)対話拒絶となる対話態度を示す拒絶対話パターン
の4つの対話パターンを登録させる猫の特性登録手段31が設けられている。猫の特性登録手段31に登録する対話パターンにより、猫の性格を反映させた猫型会話ロボット10の対話態度を実現できる。
The
(1) A normal dialogue pattern indicating a dialogue attitude in response to a topic included in an utterance character file in response to a cat showing an obedient character,
(2) A changed topic dialogue pattern indicating a dialogue attitude that responds with a topic different from the topic of the utterance character file in response to the cat exhibiting unexpected behavior,
(3) An ignoring dialogue pattern indicating a dialogue attitude in which no response is made to a cat (in response to the input of an utterance character file) in response to the cat showing strong independence,
(4) Corresponding to the cat showing a threatening attitude, the cat that registers the four dialogue patterns of the rejection dialogue pattern indicating the dialogue attitude that causes the dialogue rejection even when talking (to the input of the utterance character file) Characteristic registration means 31 is provided. The dialogue attitude of the cat-
応答対話系統21には、猫の特性登録手段31を介して登録された通常対話パターン、変更話題対話パターン、無視対話パターン、拒絶対話パターンについて猫の性格に基づいた選定確率をそれぞれ登録する選定確率登録手段32が設けられている。
選定確率登録手段32では、発話文字ファイルに特定文言が存在しない場合に、猫型会話ロボット10において想定される猫の性格に応じて各対話パターンの選定確率の比率を決定すると共に、各対話パターンの選定確率の総和が100%となるように各対話パターンの選定確率を調整した猫特性を設定する。更に、選定確率登録手段32では、発話文字ファイルに特定文言が存在する際は、通常対話パターンの選定確率を他の対話パターンの選定確率より大きくし、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンの各選定確率の比率を小さくした特定文言用猫特性を設定する。例えば、猫特性の選定確率では通常対話パターンを50%未満に、特定文言用猫特性の選定確率では通常対話パターンを50%より高く、好ましくは70%以上とする。
なお、特定文言用猫特性は、複数の特定文言に対して一つ設定しても、複数の特定文言を複数のグループ(例えば、猫型会話ロボット10に対話態度の選択権を認めない絶対服従型特定文言のグループと、猫じゃらし型特定文言のグループ)に分けてグループ毎に設定しても、特定文言毎に設定してもよい。
In the
The selection probability registration means 32 determines the ratio of selection probabilities for each dialogue pattern according to the cat's personality assumed in the cat-
In addition, even if one cat characteristic for specific wording is set for a plurality of specific wordings, a plurality of specific wordings are classified into a plurality of groups (for example, the cat-
応答対話系統21には、特定文言無しの情報が出力された際に、選定確率登録手段32に登録された猫特性を取得し、特定文言判定手段30から特定文言の情報が出力された際に、選定確率登録手段32に登録された特定文言用猫特性を取得する選定確率取得手段33と、選定確率取得手段33で取得された猫特性又は特定文言用猫特性が有する各対話パターンの選定確率に基づいて、発話文字ファイルが応答対話系統21に入力された際の対話パターンSを選定する対話パターン選定手段34が設けられている。
なお、対話パターン選定手段34では、例えば、発話文字ファイルが入力された際に発生させた乱数と選定確率取得手段33で取得された各対話パターンの選定確率から対話パターンSを決定することができる。
The
The dialogue pattern selection means 34 can determine the dialogue pattern S from, for example, a random number generated when an utterance character file is input and a selection probability of each dialogue pattern acquired by the selection probability acquisition means 33. .
例えば、猫特性が有する各対話パターンの選定確率として、通常対話パターンの選定確率を40%、変更話題対話パターンの選定確率を25%、無視対話パターンの選定確率を15%、拒絶対話パターンの選定確率を20%に設定する(猫の行動パターンの分析結果による)。
また、特定文言「電話をかけて」を絶対服従型特定文言として、通常対話パターンの選定確率を100%、変更話題対話パターンの選定確率を0%、無視対話パターンの選定確率を0%、及び拒絶対話パターンの選定確率を0%に設定する。
更に、特定文言「遊ぼう」と「話をしよう」を猫じゃらし型特定文言として、通常対話パターンの選定確率を80%、変更話題対話パターンの選定確率を8%、無視対話パターンの選定確率を5%、拒絶対話パターンの選定確率を7%に設定する。
For example, as the selection probability of each dialogue pattern possessed by the cat characteristic, the selection probability of the normal dialogue pattern is 40%, the selection probability of the changed topic dialogue pattern is 25%, the selection probability of the ignore dialogue pattern is 15%, and the rejection dialogue pattern is selected. Probability is set to 20% (according to cat behavior pattern analysis results).
In addition, the specific wording “call me” is an absolute obedience specific wording, the selection probability of the normal dialogue pattern is 100%, the selection probability of the changed topic dialogue pattern is 0%, the selection probability of the ignore dialogue pattern is 0%, and The rejection dialog pattern selection probability is set to 0%.
Furthermore, the specific words “Let's play” and “Let's talk” are set as cat-playing specific words, the selection probability of the normal dialogue pattern is 80%, the selection probability of the changed topic dialogue pattern is 8%, and the selection probability of the neglected dialogue pattern is 5 %, The rejection dialog pattern selection probability is set to 7%.
このように設定することで、発話音声から作成された発話文字ファイル中に「○○さんに電話をかけて」が存在する場合は、対話パターンSとして通常対話パターンが必ず選定されることになって電話をかける対話が成立し、猫型会話ロボット10に電話機能が設けられていると、猫型会話ロボット10を介して○○さんに電話をかけることができる。
また、発話音声から作成された発話文字ファイル中に「遊ぼう」「話をしよう」が存在する場合は、対話パターンSに選ばれる通常対話パターンの選定確率が80%となり、猫型会話ロボット10との対話を楽しむ機会が高くなる。
一方、猫型会話ロボット10の持ち主の発話音声から作成された発話文字ファイル中に「電話をかけて」「遊ぼう」「話をしよう」が存在しない場合は、対話パターンSに選ばれる通常対話パターンの選定確率は40%となり、猫型会話ロボット10との対話が実現できないことがある(意外性を示す、自立性を示す、威嚇的な態度を示す猫の性格が表れる)。
By setting in this way, the normal dialogue pattern is always selected as the dialogue pattern S when there is “Call Mr. XX” in the utterance character file created from the utterance voice. If the conversation for making a telephone call is established and the cat-
Further, when “Let's play” and “Let's talk” exist in the utterance character file created from the utterance voice, the selection probability of the normal dialogue pattern selected as the dialogue pattern S is 80%, and the cat-
On the other hand, when “calling”, “playing”, and “speaking” do not exist in the utterance character file created from the utterance voice of the owner of the cat-
応答対話系統21には、入力された発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する(変更話題対話パターンが選定された際に別文字ファイル、無視対話パターンが選定された際に無視文字ファイル、拒絶対話パターンが選定された際に拒絶文字ファイルをそれぞれ出力する)文字ファイルデータベース35と、発話文字ファイル及び別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段36とが設けられている。
なお、対話応答処理手段36は、情報通信回線26を介してクラウド(インターネット)上に配置されている。対話応答処理手段36をクラウド上に設けることで、対話応答処理手段36に大規模なデータベースを接続することができ、ハードウェアの更新、アプリケーションソフトウェアの更新や改善を適宜行うことができる。このため、対話応答処理手段36では発話文字ファイルの内容に応答する的確な内容を有する対話文字ファイルを作成することができる。
The
The dialog response processing means 36 is arranged on the cloud (Internet) via the
また、応答対話系統21には、対話パターンSに通常対話パターンが選定されたことを受けて起動し、発話文字ファイルをクラウド上の対話応答処理手段36に情報通信回線26を介して入力し、対話応答処理手段36から出力された複数の応答文字ファイルを情報通信回線26を介して取得して、複数の応答文字ファイルの中から応答文字ファイルAを選択し対話文字ファイルとして出力する通常型対話手段37と、対話パターンSに変更話題対話パターンが選定されたことを受けて起動し、文字ファイルデータベース35に格納された複数の別文字ファイルの中から別文字ファイルWを選択して対話応答処理手段36に入力し、対話応答処理手段36から出力された複数の応答文字ファイルの中から応答文字ファイルBを選択し対話文字ファイルとして出力する変更話題型対話手段38が設けられている。
The
ここで、対話応答処理手段36は、発話文字ファイルの入力に対して、発話文字ファイルの話題に関連する質問が含まれる応答文字ファイルを複数出力する特性を有するものが好ましい。これにより、応答文字ファイルAには発話文字ファイルの話題に関連する質問が含まれることになって、質問に回答する形で対話が続けられることになる。その結果、猫型会話ロボット10では話題の絞り込みを行うことが容易となり、対話を継続させ易くなる。
なお、通常型対話手段37に、対話応答処理手段36から出力される応答文字ファイルAに発話文字ファイルの話題に関連する質問が含まれるように、発話文字ファイルを編集して対話応答処理手段36に入力する編集機能を設けてもよい。
Here, it is preferable that the dialogue response processing means 36 has a characteristic of outputting a plurality of response character files including questions related to the topic of the utterance character file in response to the input of the utterance character file. As a result, the response character file A includes a question related to the topic of the utterance character file, and the dialogue is continued in response to the question. As a result, it becomes easy for the cat-
It should be noted that the dialogue response processing means 36 is edited by editing the utterance character file so that the normal dialogue means 37 includes a question related to the topic of the utterance character file in the response character file A output from the dialogue response processing means 36. An editing function may be provided.
更に、応答対話系統21には、対話パターンSに無視対話パターンが選定されたことを受けて起動し、文字ファイルデータベース35に格納された複数の無視文字ファイルの中から無視文字ファイルCを選択し対話文字ファイルとして出力する無視型対話手段39と、対話パターンSに拒絶対話パターンが選定されたことを受けて起動し、文字ファイルデータベース35に格納された複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し対話文字ファイルとして出力する拒絶型対話手段40が設けられている。
そして、通常型対話手段37、変更話題型対話手段38、無視型対話手段39、及び拒絶型対話手段40からそれぞれ出力される対話文字ファイルに含まれる文は、図5に示すように、文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段41を介して音声出力処理部23に出力される。
Further, the
Then, the sentences included in the dialogue character files respectively output from the normal dialogue means 37, the changed topic dialogue means 38, the ignore dialogue means 39 , and the rejection dialogue means 40 are as shown in FIG. The data is output to the voice
図5に示すように、対話管理部22は、更に自発発話系統42を有している。そして、図6に示すように、自発発話系統42には、ユーザが感心の高い趣味、猫独自の行動を織り込んだ生活パターン、及びユーザが応答することを意識した猫型会話ロボット10(猫)の要求行動等の自発発話条件を設定する自発発話条件設定手段43と、自発発話条件が成立したか否かを判定し、条件が成立した際に条件成立信号を出力する条件成立判定手段44が設けられている。
また、自発発話系統42には、条件成立信号を受けて(自発発話条件が成立した際に)、条件成立信号に対応する自発発話条件に設定された自発発話文字ファイルを予め登録させて格納する自発発話文字ファイルデータベース45と、条件成立判定手段44が自発発話条件が成立したと判定した際に、自発発話系統42に設けられた自発発話文字ファイルデータベース45から該当する自発発話文字ファイルを抽出し対話文字ファイルとして出力する自発発話手段46が設けられている。なお、自発発話手段46から出力される対話文字ファイルに含まれる文は、図5に示すように、文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段41を介して音声出力処理部23に出力される。
As shown in FIG. 5, the
Further, the
例えば、自発発話条件として、猫型会話ロボット10の駆動用バッテリの充電残量の下限値を設定し、バッテリの充電残量が下限値に到達した(自発発話条件が成立した)際の自発発話文字ファイルとして「バッテリの残量が残りわずかです」を登録し自発発話文字ファイルデータベース45に格納する。この場合、バッテリに設けられた充電残量検出器(図示せず)によりバッテリの充電残量が下限値に到達したことが条件成立判定手段44に伝えられると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「バッテリの残量が残りわずかです」が抽出され、対話文字ファイルとして語尾加工手段41に入力されて「バッテリの残量が残りわずかですにゃん」に語尾加工されて音声出力処理部23に出力される。
For example, the lower limit value of the remaining charge level of the driving battery for the cat-
自発発話条件として猫型会話ロボット10のメンテナンス項目毎に予定日を設定し、該当日の(自発発話条件が成立した際の)自発発話文字ファイルとしてメンテナンス項目、例えば、「今日は顔を拭いてもらう日です」を自発発話文字ファイルデータベース45に格納する。この場合、猫型会話ロボット10に設けられたカレンダー機能によりメンテナンスの予定の該当日には条件成立判定手段44により条件成立信号が出力され、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「今日は顔を拭いてもらう日です」が抽出され、対話文字ファイルとして語尾加工手段41に入力されて「今日は顔を拭いてもらう日ですにゃん」に語尾加工されて音声出力処理部23に出力される。
A scheduled date is set for each maintenance item of the cat-
自発発話条件として、音声入力処理部20への発話音声(マイクロフォン11からの受信信号)の未入力継続時間の上限値(例えば、8時間)を設定し、未入力継続時間が上限値に到達したことに対応する自発発話文字ファイルとして「今日は8時間話をしていません」を登録し自発発話文字ファイルデータベース45に格納する。この場合、未入力継続時間が上限値に到達したことが猫型会話ロボット10に設けられた時計機能により条件成立判定手段44に伝えられると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「今日は8時間話をしていません」が抽出され、対話文字ファイルとして語尾加工手段41に入力されて「今日は8時間話をしていませんにゃん」に語尾加工されて音声出力処理部23に出力される。
以上のように自発発話条件を設定することによって、猫型会話ロボット10が持ち主に世話を焼かせること(要求行動)に基づいた会話の機会を作ることができる。
The upper limit value (for example, 8 hours) of the non-input duration of the uttered voice (received signal from the microphone 11) to the voice
By setting the spontaneous speech conditions as described above, it is possible to create a conversation opportunity based on the cat-
自発発話条件を猫型会話ロボット10に搭載した電話機から出力される電話の着信信号とし、着信信号の受信時(自発発話条件が成立した際)に対応する自発発話文字ファイルとして「××さんから電話です」を自発発話文字ファイルデータベース45に登録する。また、自発発話手段46に、電話機能を用いて電話番号から相手の氏名○○を検索させ、自発発話文字ファイルデータベース45から抽出した「××さんから電話です」の××に検索結果の氏名○○を代入した自発発話文字ファイルを作成して出力させる。この場合、着信信号の出力が条件成立判定手段44で確認されると、自発発話文字ファイルデータベース45から自発発話文字ファイル「××さんから電話です」が抽出され、自発発話系統42からは対話文字ファイルとして「○○さんから電話です」が出力され、語尾加工手段41で「○○さんから電話ですにゃん」に語尾加工されて音声出力処理部23に出力される。
なお、迷惑電話の着信拒否等の特殊なサービスも猫型会話ロボット10に搭載された電話機能を用いて処理させる。
The spontaneous utterance condition is an incoming call signal output from a telephone mounted on the cat-
Note that special services such as nuisance call rejection are also processed using the telephone function installed in the cat-
自発発話条件として猫型会話ロボット10に搭載したコンピュータへの情報通信回線26を介して送信された電子メールの着信信号の受信を設定し、着信信号の入力時(自発発話条件が成立した際)に対応する自発発話文字ファイルとして「メールが届いています」を自発発話文字ファイルデータベース45に登録する。なお、迷惑メールの着信拒否等の特殊なサービスは、電子メール機能を用いて処理させる。また、自発発話手段46に、自発発話文字ファイルデータベース45から抽出した「メールが届いています」とメール本文を合わせたものを自発発話文字ファイルとして出力させる処理を登録する。
従って、着信信号の受信が条件成立判定手段44で確認されると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「メールが届いています」が抽出され、自発発話系統42からは「メールが届いています」とメール本文を合わせたものが自発発話文字ファイルとして作成され、対話文字ファイルとして出力され、語尾加工手段41で語尾加工されて音声出力処理部23に出力される。
以上のように自発発話条件を設定することによって、猫型会話ロボット10の持ち主の日常生活の利便性が向上されると共に、猫型会話ロボット10との会話の機会を作ることができる。
When receiving an incoming signal of an e-mail transmitted via an
Therefore, when the reception of the incoming signal is confirmed by the condition establishment determining means 44, the spontaneous utterance means 46 extracts the spontaneous utterance character file “mail has arrived” from the spontaneous utterance
By setting the spontaneous utterance conditions as described above, the convenience of daily life of the owner of the cat-
自発発話条件を、例えば、特定日の特定時間に設定し、自発発話条件に対応して行われる各種処理、例えば、本の一節を読み上げる、歌い出す、猫型会話ロボットのスケジュール管理機能を利用して本日のスケジュールを抽出して繰り返し読み上げる、猫型会話ロボット10に独り言を言わせる(猫型会話ロボット10から過去に発話された内容(音声出力処理部23に入力された対話文字ファイルの内容)を任意に抽出して読み上げる)等の発話を行わせることを自発発話手段46に登録する。
従って、猫型会話ロボット10に設けられたカレンダー機能と時計機能により自発発話条件が成立したことが条件成立判定手段44に伝えられると、自発発話系統42からは自発発話に対応する自発発話文字ファイルが作成され、対話文字ファイルとして出力され、語尾加工手段41で語尾加工されて音声出力処理部23に出力される。
これによって、猫型会話ロボット10が一人遊びをしているのを見て楽しむことができると共に、猫型会話ロボット10との会話の機会を作ることができる。
なお、猫型会話ロボット10が一人遊びとして、発話の代わりに、例えば、テレビ受像機のリモートコントロール機能を用いてテレビスイッチを入れる等の行為を設定してもよい。
For example, by setting the spontaneous utterance condition at a specific time on a specific day, various processes performed in response to the spontaneous utterance condition, for example, using the schedule management function of a cat-type conversation robot that reads out a section of a book, sings Extract the schedule of today and read it out repeatedly. Tell the cat-
Accordingly, when the spontaneous utterance condition is established by the calendar function and the clock function provided in the cat-
As a result, it is possible to enjoy watching the cat-
Note that the cat-
対話管理部22には、図6に示すように、応答対話系統21から出力されて語尾加工手段41に入力される対話文字ファイル及び自発発話系統42から出力される対話文字ファイルを記録する対話文字ファイルデータベース47を設ける。更に、猫型会話ロボット10に独り言を言わせる自発発話条件が成立したことを受けて起動し、対話文字ファイルデータベース47に格納された対話文字ファイルを任意に選択して自発発話文字ファイルデータベース45に入力する機能を備えた対話文字ファイル抽出手段48を設ける。これにより、猫型会話ロボット10に独り言を言わせる際の自発発話文字ファイルの作成が容易にできる。
As shown in FIG. 6, the
図7に示すように、音声出力処理部23は、対話文字ファイルを対話音声ファイルに変換する音声合成手段49と、対話音声ファイルから音声データを作成し音声信号に変換してスピーカ13に出力する音声変換手段50とを有している。これにより、猫型会話ロボット10は、ユーザの発話音声を受信して対話音声を発することができると共に、自発発話条件が成立した際に、ユーザに対話音声を発することができる。
As shown in FIG. 7, the voice
図8に示すように、制御装置14に設けられたキャラクター表情処理部24は、予め準備された複数の猫のアニメ顔画像及び各アニメ顔画像を形成する画像要素データ群を格納した顔画像データベース51と、顔画像データベース51から複数の猫のアニメ顔画像(例えば、猫の平常時の顔表情)を取り出してディスプレイ12に表示させ、特定のアニメ顔画像Rを1つユーザに選択させてキャラクターの顔画像として設定させる顔画像選択手段52と、特定のアニメ顔画像Rについての画像要素データ群を顔画像データベース51から抽出して顔画像合成データとして出力する画像合成手段53とを有している。
更に、キャラクター表情処理部24は、対話管理部22から出力された対話文字ファイルからキャラクターの感情を推定し、感情に応じた表情を形成する顔表情データを作成する感情推定手段54と、顔画像合成データと顔表情データを組合せてキャラクターの対話時の顔表情を形成する画像表示データを作成してディスプレイ12に出力する画像表示手段55とを有している。
As shown in FIG. 8, the character
Further, the character facial
感情推定手段54には、複数の文Pに対してそれぞれ心理状態(快、不快、喜び、怒り、悲しみ等の各種気持ちの強弱関係)を対応させた感情データベースが設けられている。また、感情推定手段54には、心理状態と顔表情変化量(平常時の顔表情を形成している各部位の位置を基準位置とし、顔の各部位毎における基準位置からの変化方向と変化距離)の対応関係を求めて作成した表情データベースが設けられている。
このため、感情推定手段54に対話文字ファイルが入力されると、対話文字ファイルに含まれる文Tと同趣旨の文Pをデータベース内で抽出し、抽出された文Pが有する心理状態を文T(対話文字ファイル)の感情と推定する。なお、文Tの趣旨が複数の文Pの組合せから構成される場合は、文Tの趣旨を構成する各文Pを抽出すると共に各文Pの寄与率(重み付け率)を算出し、各文Pの心理状態を寄与率で調整した修正心理状態の総和を文T(対話文字ファイル)の感情と推定する。
The emotion estimation means 54 is provided with an emotion database in which psychological states (relationships of various feelings such as pleasure, discomfort, joy, anger, sadness, etc.) are associated with a plurality of sentences P, respectively. In addition, the emotion estimation means 54 uses the psychological state and facial expression change amount (the position of each part forming a normal facial expression as a reference position, and the change direction and change from the reference position for each part of the face. A facial expression database created by seeking the correspondence relationship of (distance) is provided.
For this reason, when a dialogue character file is input to the emotion estimation means 54, a sentence P having the same meaning as the sentence T included in the dialogue character file is extracted from the database, and the psychological state of the extracted sentence P is expressed as the sentence T. Estimate the emotion of (dialog character file). When the purpose of the sentence T is composed of a combination of a plurality of sentences P, each sentence P constituting the purpose of the sentence T is extracted and the contribution rate (weighting rate) of each sentence P is calculated. The sum of the corrected psychological states obtained by adjusting the psychological state of P by the contribution rate is estimated as the emotion of the sentence T (dialog character file).
そして、対話文字ファイルに含まれる文Tの感情が推定されると、推定された感情の心理状態(修正心理状態の総和)に一致又は最も類似する顔表情変化量を表情データベース内で抽出し、抽出された顔表情変化量を文Tの顔表情データとする。
対話文字ファイルがキャラクター表情処理部24に入力されない場合、即ち、顔表情データが作成されない場合、画像表示データは顔画像合成データに一致するため、ディスプレイ12には特定のアニメ顔画像R(平常時の顔表情)が表示される。
なお、キャラクター表情処理部24に入力された対話文字ファイルから感情が推定できない場合、例えば、擬声語の場合は、擬声語を発する際の表情状態を顔表情データと設定する。
これにより、猫型会話ロボット10は、キャラクターの顔表情を変化させながら対話を行うことができる。
Then, when the emotion of the sentence T included in the dialogue character file is estimated, a facial expression change amount that matches or is most similar to the estimated emotional psychological state (sum of the corrected psychological state) is extracted in the facial expression database, The extracted facial expression change amount is used as facial expression data of the sentence T.
When the dialogue character file is not input to the character facial
When emotion cannot be estimated from the dialogue character file input to the character
As a result, the cat-
図9に示すように、猫型会話ロボット10には、カメラ56(別の撮像手段の一例)で得られた画像の処理及び解析から顔認証を行うカメラ装置57と、カメラ装置57で得られた画像を表示すると共に猫型会話ロボット10の各種設定を行う際のタッチパネルとして使用されるモニタ表示装置58と、ユーザの存在を人感センサ59を介して確認する人感センサ装置60が設けられている。
更に、猫型会話ロボット10には、ユーザやその関係者の情報(例えば、ユーザやその関係者の顔画像、関係者の氏名、電話番号、住所等)を登録する利用者情報データベース61が設けられている。なお、利用者情報データベース61は、必要に応じて情報通信回線26を介して対話応答処理手段36でも利用される。
As shown in FIG. 9, the cat-
Further, the cat-
猫型会話ロボット10にカメラ56とカメラ装置57が設けられていると、ユーザの関係者が、別途離れた場所に設けた表示装置62を用いて持ち主の行動認識や部外者の訪問等の監視を行うことができる。
猫型会話ロボット10に人感センサ装置60が設けられていると、ユーザの関係者が表示装置62を用いてユーザの在室確認や見守りを行うことができる。
更に、猫型会話ロボット10にモニタ表示装置58が設けられていると、ユーザに、例えば、「バッテリの残量が残りわずかです」等の注意や警報情報を、「××さんから電話です」等の連絡情報を音声に加えて表示して知らせることができる。
When the cat-
When the human-
Furthermore, if the cat-
ここで、モニタ表示装置58を制御装置14の対話管理部22に接続させると、対話文字ファイルを必要に応じてモニタ表示装置58に表示させることができ、ユーザは猫型会話ロボット10からの対話音声を文字として確認することができる。また、モニタ表示装置58を制御装置14の音声入力処理部20に接続させると、発話文字ファイルを必要に応じてモニタ表示装置58に表示させることができ、ユーザは猫型会話ロボット10の音声認識を文字として確認することができる。なお、モニタ表示装置58は音声入力処理部20及び対話管理部22にそれぞれ接続することができ、モニタ表示装置58はディスプレイ12と兼用させてもよい。
Here, when the
本発明の第1の実施の形態に係る猫型会話ロボット10の作用について説明する。
猫型会話ロボット10との対話に先立って、ユーザの発話音声が猫型会話ロボット10に受信される度に選定される複数の対話態度(通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターン)の各選定確率を設定すると共に、予め準備された複数の猫のアニメ顔画像の中から特定のアニメ顔画像Rを1つ選択してキャラクターの顔画像として設定する(以上、対話事前ステップ)。
The operation of the cat-
Prior to dialogue with the cat-
図10に示すように、猫型会話ロボット10を起動させて対話を行う場合、キャラクター表情処理部24から特定のアニメ顔画像Rの顔画像合成データがディスプレイ12に出力されディスプレイ12にはキャラクターの顔画像が表示される。そして、ユーザの発話音声が音声入力処理部20で受信されて発話音声ファイルが作成され、発話音声ファイルが音声認識処理手段19に入力され発話文字ファイルに変換されて出力される(対話ステップ1)。
なお、図9に示すように、モニタ表示装置58を制御装置14の音声入力処理部20に接続させると、発話文字ファイルをモニタ表示装置58に表示させることができる。
As shown in FIG. 10, when the cat-
As shown in FIG. 9, when the
出力された発話文字ファイルの入力を受けて、予め設定された複数の対話パターンの中から対話パターンSが選定されて対話態度が決定され(対話ステップ2)、対話パターンSに対応する応答文字ファイルA、B、無視文字ファイルC、及び拒絶文字ファイルDのいずれか1が対話文字ファイルとして出力される(対話ステップ3)。出力された対話文字ファイルは音声出力処理部23とキャラクター表情処理部24にそれぞれ入力され、音声出力処理部23からは対話文字ファイルから形成された音声データを変換した音声信号がスピーカ13に出力され、キャラクター表情処理部24からはキャラクターの感情を推定して感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される(対話ステップ4)。これにより、スピーカ13から発せられる対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔画像は対話時の顔表情を変化させることができる。
なお、図9に示すように、モニタ表示装置58を制御装置14の対話管理部22にも接続させると、対話文字ファイルをモニタ表示装置58に表示させることができる。
In response to the input of the output utterance character file, a dialogue pattern S is selected from a plurality of preset dialogue patterns to determine the dialogue attitude (dialogue step 2), and the response character file corresponding to the dialogue pattern S Any one of A, B, the ignored character file C, and the rejected character file D is output as a dialogue character file (dialogue step 3). The output dialogue character file is input to the voice
As shown in FIG. 9, when the
対話ステップ2における対話パターンSの選定では、予め、複数の対話パターンとして、発話文字ファイルが有する話題に応答する対話態度を示す通常対話パターン(猫が従順性を示す場合)と、発話文字ファイルが有する話題とは別の話題で応答する対話態度を示す変更話題対話パターン(猫が意外性のある行動を示す場合)と、発話文字ファイルの入力により無応答となる対話態度を示す無視対話パターン(猫が強い自立性を示す場合)と、発話文字ファイルの入力により対話拒絶となる対話態度を示す拒絶対話パターン(猫が飼い主に対して威嚇的な態度を示す場合)を設定する。そして、通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンにそれぞれ猫の性格に基づいて選定確率を設定し、対話パターンSを通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンの中から確率的に選定させることにより、猫の性格が自然に現れるようにする。 In the selection of the dialogue pattern S in the dialogue step 2, as a plurality of dialogue patterns, a normal dialogue pattern indicating a dialogue attitude in response to a topic included in the utterance character file (when the cat shows obedience), and an utterance character file include Changed topic dialogue pattern (when cat shows unexpected behavior) that shows dialogue attitude that responds with a topic different from the topic that it has, and ignore dialogue pattern that shows dialogue attitude that becomes unresponsive by input of utterance character file ( And a rejection dialogue pattern (when the cat shows a threatening attitude toward the owner) indicating a dialogue attitude that causes dialogue rejection by inputting the utterance character file. The selection probability is set based on the character of the cat in each of the normal dialogue pattern, the changed topic dialogue pattern, the ignored dialogue pattern, and the rejection dialogue pattern, and the dialogue pattern S is changed to the normal dialogue pattern, the changed topic dialogue pattern, the ignored dialogue pattern, And the character of the cat is made to appear naturally by making the rejection dialogue pattern stochastically selected.
対話ステップ3では、図11に示すように、通常対話パターンが選定された際は、発話文字ファイルが入力された対話応答処理手段36から出力される複数の応答文字ファイルの中から選択した応答文字ファイルAを対話文字ファイルとして出力させる。
変更話題対話パターンが選定された際は、発話文字ファイルが有する話題とは別の話題を有する別文字ファイルWが文字ファイルデータベース35の中から選択され、別文字ファイルWが入力された対話応答処理手段36から出力される複数の文字ファイルの中から選択した応答文字ファイルBを対話文字ファイルとして出力させる。
無視対話パターンが選定された際は、文字ファイルデータベース35の中から選択された対話無視に対応する無視文字ファイルCを対話文字ファイルとして出力させる。
拒絶対話パターンが選定された際は、文字ファイルデータベース35の中から選択された対話拒絶に対応する拒絶文字ファイルDを対話文字ファイルとして出力させる。
これにより、猫の性格を具体的に発現させた対話を実現させることができる。
In
When the changed topic dialogue pattern is selected, another character file W having a topic different from that of the utterance character file is selected from the
When the ignore dialogue pattern is selected, the ignore character file C corresponding to the ignore dialogue selected from the
When the rejection dialogue pattern is selected, the rejection character file D corresponding to the dialogue rejection selected from the
Thereby, the dialogue which expressed the character of the cat concretely is realizable.
例えば、ユーザが「今日の天気を教えて」と発話すると、音声入力処理部20において受信信号から発話音声ファイルが作成され、発話音声ファイルは情報通信回線26を介して音声認識処理手段19に入力される。そして、音声認識処理手段19で作成された発話文字ファイルは情報通信回線26を介して音声入力処理部20に出力される。次いで、発話文字ファイルは音声入力処理部20から対話管理部22に入力される。
For example, when the user utters “tell me today's weather”, an utterance voice file is created from the received signal in the voice
対話管理部22では、発話文字ファイルが入力されたため応答対話系統21が起動する。先ず、発話文字ファイル中に登録された特定文言が存在するか否かが判定される。「今日の天気を教えて」には特定文言が存在しないため、対話パターンの選定確率は、通常対話パターンが40%、変更話題対話パターンが25%、無視対話パターンが15%、拒絶対話パターンが20%となる。
In the
ここで、対話パターンSとして通常対話パターンが選定されると、発話文字ファイルが情報通信回線26を介して対話応答処理手段36に入力され、対話応答処理手段36では発話文字ファイルが有する意図を解釈して、例えば、インターネットで天気検索を行い、天気検索結果を含んだ複数の応答文字ファイルを作成して情報通信回線26を介して対話管理部22に出力する。対話管理部22では、受け取った複数の応答文字ファイルの中から発話文字ファイルの話題に関連する質問が含まれるもの、例えば、「晴れです。どこかにおでかけしませんか」が応答文字ファイルAに選択され対話文字ファイルとなる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは「晴れですにゃん。どこかにおでかけしませんかにゃん」として出力される。
When a normal dialogue pattern is selected as the dialogue pattern S, the utterance character file is input to the dialogue response processing means 36 via the
音声出力処理部23では、「晴れですにゃん。どこかにおでかけしませんかにゃん。」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24で対話文字ファイルから推定したキャラクターの感情が物欲しそうな感情である場合、この感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「晴れですにゃん。どこかにおでかけしませんかにゃん。」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情を物欲しそうな表情にすることができる。
The voice
対話パターンSとして変更話題対話パターンが選定された場合、発話文字ファイル(今日の天気を教えて)が有する話題とは別の話題の別文字ファイルWが文字ファイルデータベース35から選択され、別文字ファイルWが入力された対話応答処理手段36から出力される複数の応答文字ファイルから選択された応答文字ファイルBが、例えば、「おなかが空いた」であると、対話文字ファイルは「おなかが空いた」となる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは対話文字ファイルとして「おなかが空いたにゃん」が出力される。
When the changed topic dialogue pattern is selected as the dialogue pattern S, another character file W of a topic different from the topic of the utterance character file (tell me today's weather) is selected from the
音声出力処理部23では、「おなかが空いたにゃん」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24で対話文字ファイルから推定したキャラクターの感情が不機嫌な感情である場合、この感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「おなかが空いたにゃん」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情を不機嫌な表情にすることができる。
The voice
対話パターンSとして無視対話パターンが選定された場合、文字ファイルデータベース35から選択された対話無視に対応する無視文字ファイルCが、例えば、「知らない」であると、対話文字ファイルは「知らない」となる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは対話文字ファイルとして「知らないにゃん」が出力される。
When the ignore dialogue pattern is selected as the dialogue pattern S, if the ignore character file C corresponding to the ignore dialogue selected from the
音声出力処理部23では、「知らないにゃん」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24で対話文字ファイルから推定したキャラクターの感情がめんどくさい感情である場合、この感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「知らないにゃん」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情をめんどくさい表情にすることができる。
The voice
対話パターンSとして拒絶対話パターンが選定された場合、文字ファイルデータベース35から選択された対話拒絶に対応する拒絶文字ファイルDが、例えば、「シャー、ミャーオ―ッ」であると、対話文字ファイルは「シャー、ミャーオ―ッ」となる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは対話文字ファイルとして「シャー、ミャーオ―ッ」が出力される(「シャー」や「ミャーオ―ッ」は文でないため、語尾加工手段41は作用しない)。
When the rejection dialogue pattern is selected as the dialogue pattern S, if the rejection character file D corresponding to the dialogue rejection selected from the
音声出力処理部23では、「シャー、ミャーオ―ッ」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24に入力される対話文字ファイルからはキャラクターの感情を推定することができない。このため、「シャー、ミャーオ―ッ」を発する際の表情状態がキャラクターの顔表情データとなり、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「シャー、ミャーオ―ッ」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情を変化させることができる。
The voice
図12に示すように、猫型会話ロボット10において、複数の自発発話条件(例えば、生活パターンや要求行動)を自発発話条件設定手段43に設定すると共に、自発発話条件毎に自発発話文字ファイルを予め設定し自発発話文字ファイルデータベース45に格納しておく。
そして、猫型会話ロボット10を起動させると、キャラクター表情処理部24から特定のアニメ顔画像Rの顔画像合成データがディスプレイ12に出力されディスプレイ12にはキャラクターの顔画像が表示される(自発発話ステップ1)。
As shown in FIG. 12, in the cat-
Then, when the cat-
条件成立判定手段44では複数の自発発話条件の中で条件成立の有無の確認が行われ(自発発話ステップ2)、自発発話条件が成立した自発発話条件に対応する自発発話文字ファイルが自発発話手段46により自発発話文字ファイルデータベース45から抽出され、対話文字ファイルとして出力される(自発発話ステップ3)。出力された対話文字ファイルは音声出力処理部23とキャラクター表情処理部24にそれぞれ入力され、音声出力処理部23からは、対話文字ファイルを対話音声ファイルに変換して、対話音声ファイルから形成された音声データを変換した音声信号がスピーカ13に出力され、キャラクター表情処理部24からはキャラクターの感情を推定して感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される(自発発話ステップ3)。
これにより、スピーカ13から発せられる対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔画像は対話時の顔表情を変化させることができる。
The condition establishment determination means 44 confirms whether or not the conditions are established among a plurality of spontaneous utterance conditions (spontaneous utterance step 2), and the spontaneous utterance character file corresponding to the spontaneous utterance conditions for which the spontaneous utterance conditions are established is the spontaneous utterance means. 46 is extracted from the spontaneous utterance
As a result, the facial image of the character displayed on the
自発発話条件を選定することで猫の性格の特徴付けを行うことができ、例えば、猫のすり寄りや甘えに対応するような対話を猫型会話ロボット10に行わせることができる。
また、利用者情報データベース61から種々の情報を取得して、猫型会話ロボット10のユーザの好みや趣向に合致した話題に関する話しかけを猫型会話ロボット10に行わせたり、猫型会話ロボット10に何かを要求させる発言を行わせることができ、猫型会話ロボット10との会話の機会や猫型会話ロボット10の世話を行う機会を作ることができる。
By selecting the spontaneous utterance condition, the character of the cat can be characterized. For example, the cat-
Further, various information is acquired from the
図13に示すように、本発明の第2の実施の形態に係る猫型会話ロボット63は、第1の実施の形態に係る猫型会話ロボット10と比較して、自発発話条件としてユーザの見守りを実行する見守り開始条件が更に設けられ、見守り開始条件に対して設定された自発発話文字ファイルが、ユーザの個人情報に基づいた特定質問を構成するものであって、制御装置64には、音声入力処理部20、対話管理部22、音声出力処理部23、キャラクター表情処理部24に加えて、特定質問に対するユーザの回答の正誤を判定し、誤回答が生じた際に第1の異常信号を予め登録された関係者に出力する第1の警報部65が設けられていることが特徴となっている。
As shown in FIG. 13, the cat-
更に、猫型会話ロボット63は、第1の実施の形態に係る猫型会話ロボット10と比較して、制御装置64に、予め設定された時間帯で対話音声が発せられる度に対話音声が発せられてからマイクロフォン11で発話音声が受信されるまでの待機時間を測定し、予め求めておいたユーザの基準待機時間と待機時間との偏差が設定した許容値を超える応答状態変化の発生有無を検知し、ユーザとの間で最初の対話が成立して以降の応答状態変化の発生の累積回数が予め設定した異常応答判定値に到達した際に第2の異常信号を出力する第2の警報部66と、音声入力処理部20から対話管理部22に出力される発話文字ファイルの発話音声ファイルに対する確からしさを定量的に示す確信度を取得し、確信度が予め設定された異常確信度以下となる低確信度状態の発生有無を検知し、低確信度状態の発生の累積回数が予め設定した異常累積回数に到達した際に第3の異常信号を出力する第3の警報部67が設けられていることが特徴となっている。
このため、猫型会話ロボット63に関しては、猫型会話ロボット10と同一の構成部及び構成手段には同一の符号を付して説明を省略し、第1〜第3の警報部65〜67についてのみ説明する。
Furthermore, the cat-
For this reason, with regard to the cat-
図14に示すように、第1の警報部65は、見守り開始条件毎に設定された自発発話文字ファイル(特定質問)に対する正答情報を格納した回答情報格納手段68と、自発発話系統42に設けられた条件成立判定手段44で成立が確認された見守り開始条件が成立した際に出力される条件成立信号を受けて起動し、成立が確認された見守り開始条件に対して設定された特定質問の正答情報を回答情報格納手段68から取得し、ユーザの発話音声(特定質問に関する回答)の受信信号が音声入力処理部20に入力されて作成された発話文字ファイルの内容と比較して正誤を確認する判定手段69と、判定手段69で誤回答と判定された際に第1の異常信号を関係者に出力する第1の異常出力手段70とを有している。なお、第1の異常信号は、情報通信回線26を介して関係者に出力される。
As shown in FIG. 14, the
ユーザの見守りを実行する見守り開始条件は、例えば、猫型会話ロボット63との対話が開始されてから(例えば、ユーザが起床する時間帯に設定する開始時刻から)対話が終了するまで(例えば、ユーザが就寝する時間帯に設定する終了時刻まで)の中で少なくとも1回発生するように設定する。
ユーザの個人情報に基づいた特定質問とは、例えば、ユーザの名前、生年月日、親、兄弟、又は子供の名前、予め確認し合った合言葉に関する質問であって予め複数準備され、見守り開始条件が成立した際に自発発話手段46を介して任意に一つ抽出される。ユーザにとっては特定質問は容易に正答できる内容であるため、通常は正答率は100%となる。従って、特定質問に対して誤回答が発生すれば、関係者は第1の異常信号を受け取ることになりユーザの体調変化(早期の異常)に気付くことができ、適切な処置をユーザに行うことが可能になる。
The watching start condition for performing the watching of the user is, for example, from the start of the dialog with the cat-shaped conversation robot 63 (for example, from the start time set in the time zone when the user wakes up) until the dialog ends (for example, It is set to occur at least once during the period until the end time set in the time when the user goes to bed.
The specific question based on the user's personal information is, for example, a user's name, date of birth, parent, sibling, or child name, a question related to a password that has been confirmed in advance, and a plurality of questions are prepared in advance, When one is established, one is arbitrarily extracted through the spontaneous utterance means 46 . For the user, the specific question is a content that can be easily answered correctly, so the correct answer rate is usually 100%. Therefore, if an erroneous answer occurs in response to a specific question, the person concerned receives the first abnormality signal, can notice the user's physical condition change (early abnormality), and take appropriate measures to the user. Is possible.
図14に示すように、第2の警報部66は、音声出力処理部23から対話音声の音声信号が出力された際の出力時刻と、対話音声に応答したユーザの発話音声の受信信号が音声入力処理部20に入力された際の入力時刻をそれぞれ検出し、入力時刻と出力時刻の時間差を求めて待機時間とする待機時間検出手段71を有している。更に、第2の警報部66は、平常状態のユーザの待機時間を予め複数回測定して待機時間分布を求め、待機時間の平均値と標準偏差σをそれぞれ算出し、待機時間の平均値を基準待機時間、標準偏差σの3倍の値(3σ)を許容値として格納する基準データ形成手段72と、待機時間検出手段71から得られる待機時間と基準データ形成手段72から取得した基準待機時間との偏差を算出し、得られた偏差が許容値を超える応答状態変化の発生有無を検知して応答状態変化の発生の累積回数を求め、ユーザとの間で最初の対話が成立して以降の累積回数を求め、累積回数が設定した異常応答判定値に到達した際に第2の異常信号を関係者に出力する第2の異常出力手段73とを有している。なお、第2の異常信号は、情報通信回線26を介して関係者に出力される。
As shown in FIG. 14, the
ユーザがロボット側から話しかけられて応答するまでの待機時間は、対話の内容によっても変化するので、平常状態のユーザと種々の内容の対話を行って求めた待機時間分布は、平常状態のユーザの応答状態を定量的に評価する基準になると考えられる。なお、待機時間分布を構成している各待機時間は、基準待機時間−3σを下限値とし、基準待機時間+3σを上限値とする範囲にほぼ存在する。従って、待機時間検出手段71から得られる待機時間から求めた偏差が、基準待機時間−3σ〜基準待機時間+3σの範囲に存在すれば、ユーザに異常は生じていないと判定される。一方、偏差が基準待機時間−3σ〜基準待機時間+3σの範囲外に存在すれば、ユーザに異常が生じていると判定されて第2の異常信号が出力され、関係者は第2の異常信号を受け取ることにより、ユーザに異常な対話応答状態が生じていること、即ち、ユーザに体調の変化(異常)が生じていることに気付くことができ、適切な処置をユーザに行うことが可能になる。
なお、ユーザに異常が生じた場合、ユーザの対話応答状態は低下状態になっているため、待機時間検出手段71から得られる待機時間が長くなって、偏差は基準待機時間+3σを超えることになる。
The waiting time until the user speaks and responds from the robot side also changes depending on the content of the dialogue, so the waiting time distribution obtained by conducting various dialogues with the user in the normal state is the same as that of the user in the normal state. This is considered to be a standard for quantitatively evaluating the response state. Each standby time constituting the standby time distribution is almost in the range where the reference standby time −3σ is the lower limit and the reference standby time + 3σ is the upper limit. Therefore, if the deviation obtained from the standby time obtained from the standby time detection means 71 is in the range of the reference standby time −3σ to the reference standby time + 3σ, it is determined that no abnormality has occurred in the user. On the other hand, if the deviation is outside the range of the reference standby time −3σ to the reference standby time + 3σ, it is determined that an abnormality has occurred in the user, and the second abnormality signal is output. By receiving this, it is possible to realize that an abnormal dialog response state has occurred in the user, that is, that the user has a change in physical condition (abnormality), and it is possible to perform appropriate measures on the user. Become.
When an abnormality occurs in the user, the user's dialogue response state is in a lowered state, so that the standby time obtained from the standby time detection means 71 becomes long, and the deviation exceeds the reference standby time + 3σ. .
図14に示すように、第3の警報部67は、音声入力処理部20より対話管理部22に出力された発話文字ファイルが有する確信度を音声入力処理部20から取得する確信度取得手段74を有している。更に、第3の警報部67は、平常状態のユーザの種々の発話音声ファイル(発話音声)に対して音声入力処理部20(音声認識処理手段19)で評価される確信度を予め求め、得られた確信度から確信度の分布を作成して最小値を求めて、最小値より小さい値を異常確信度として設定し保存する異常確信度設定手段75と、確信度取得手段74を介して得られる確信度と異常確信度設定手段75から取得した異常確信度を比較し、確信度が異常確信度以下となる低確信度状態の発生有無を検知して低確信度状態の発生の累積回数を求め、累積回数が異常累積回数に到達した際に第3の異常信号を関係者に出力する第3の異常出力手段76とを有している。
ここで、最小値より小さい値には、例えば、確信度の分布を複数求めて、各確信度の分布が有する最小値を抽出し、抽出された最小値から構成される最小値分布を求めて、得られた最小値分布から推定される推定最小値を用いることができる。なお、第3の異常信号は、情報通信回線26を介して関係者に出力される。
As shown in FIG. 14, the
Here, for a value smaller than the minimum value, for example, a plurality of certainty distributions are obtained, the minimum value of each certainty distribution is extracted, and a minimum value distribution composed of the extracted minimum values is obtained. The estimated minimum value estimated from the obtained minimum value distribution can be used. Note that the third abnormal signal is output to the person concerned via the
音声入力処理部20での発話文字ファイルの作成方法を固定すると、同一の発話音声ファイル(発話音声)に対しては常に同一の確信度で同一の発話文字ファイルが得られるので、平常状態のユーザが猫型会話ロボット63と対話する場合、ユーザの発話音声から発話文字ファイルが作成される際の確信度は、異常確信度設定手段75で作成された確信度の分布の範囲内に存在し、常に異常確信度を超える値となる。
一方、ユーザに異常が発生するとユーザの対話状態に変化が生じるため、ユーザの発話音声から発話文字ファイルが作成される際の確信度が低下し、異常確信度以下となる低確信度状態が発生することになる。そして、ユーザに生じた低確信度状態の発生の累積回数が異常累積回数に達すると第3の異常出力手段76から第3の異常信号が関係者に出力され、関係者は第3の異常信号を受け取ることによりユーザの体調変化(早期の異常)に気付くことができ、適切な処置をユーザに行うことが可能になる。
If the creation method of the utterance character file in the voice
On the other hand, when an abnormality occurs in the user, the user's dialog state changes, so the confidence level when the utterance character file is created from the user's uttered voice is lowered, and a low confidence level state that is equal to or lower than the abnormal confidence level occurs. Will do. Then, when the cumulative number of occurrences of the low confidence state occurring in the user reaches the abnormal cumulative number, the third abnormal output means 76 outputs a third abnormal signal to the related person, and the related person receives the third abnormal signal. By receiving this, it is possible to notice a change in the physical condition of the user (early abnormality), and it is possible to perform an appropriate treatment on the user.
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合せたものも、本発明に含まれる。
なお、本発明の第2の実施の形態に係る猫型会話ロボットでは、第1〜第3の警報部を設けたが、第1〜第3の警報部のいずれか1、又は任意の2つの組合せを設けてもよい。
As described above, the present invention has been described with reference to the embodiment. However, the present invention is not limited to the configuration described in the above-described embodiment, and the matters described in the scope of claims. Other embodiments and modifications conceivable within the scope are also included.
Furthermore, the present invention includes a combination of components included in the present embodiment and other embodiments and modifications.
In the cat-type conversation robot according to the second embodiment of the present invention, the first to third alarm units are provided, but any one of the first to third alarm units, or any two Combinations may be provided.
10:猫型会話ロボット、11:マイクロフォン、12:ディスプレイ、13:スピーカ、14:制御装置、15:カメラ、16:表示位置調整部、17:修正データ演算器、18:可動保持台、19:音声認識処理手段、20:音声入力処理部、21:応答対話系統、22:対話管理部、23:音声出力処理部、24:キャラクター表情処理部、25:音声検出手段、26:情報通信回線、27:送信手段、28:受信手段、29:特定文言登録手段、30:特定文言判定手段、31:猫の特性登録手段、32:選定確率登録手段、33:選定確率取得手段、34:対話パターン選定手段、35:文字ファイルデータベース、36:対話応答処理手段、37:通常型対話手段、38:変更話題型対話手段、39:無視型対話手段、40:拒絶型対話手段、41:語尾加工手段、42:自発発話系統、43:自発発話条件設定手段、44:条件成立判定手段、45:自発発話文字ファイルデータベース、46:自発発話手段、47:対話文字ファイルデータベース、48:対話文字ファイル抽出手段、49:音声合成手段、50:音声変換手段、51:顔画像データベース、52:顔画像選択手段、53:画像合成手段、54:感情推定手段、55:画像表示手段、56:カメラ、57:カメラ装置、58:モニタ表示装置、59:人感センサ、60:人感センサ装置、61:利用者情報データベース、62:表示装置、63:猫型会話ロボット、64:制御装置、65:第1の警報部、66:第2の警報部、67:第3の警報部、68:回答情報格納手段、69:判定手段、70:第1の異常出力手段、71:待機時間検出手段、72:基準データ形成手段、73:第2の異常出力手段、74:確信度取得手段、75:異常確信度取得手段、76:第3の異常出力手段 10: Cat-shaped conversation robot, 11: Microphone, 12: Display, 13: Speaker, 14: Control device, 15: Camera, 16: Display position adjustment unit, 17: Correction data calculator, 18: Movable holding base, 19: Voice recognition processing means, 20: voice input processing section, 21: response dialogue system, 22: dialogue management section, 23: voice output processing section, 24: character expression processing section, 25: voice detection means, 26: information communication line, 27: Transmission means, 28: Reception means, 29: Specific word registration means, 30: Specific word determination means, 31: Cat characteristic registration means, 32: Selection probability registration means, 33: Selection probability acquisition means, 34: Dialog pattern Selection means, 35: character file database, 36: dialogue response processing means, 37: normal dialogue means, 38: change topic dialogue means, 39: ignore dialogue means, 40: rejection Type dialogue means, 41: ending processing means, 42: spontaneous utterance system, 43: spontaneous utterance condition setting means, 44: condition establishment determination means, 45: spontaneous utterance character file database, 46: spontaneous utterance means, 47: dialogue character file Database: 48: Dialogue character file extraction means, 49: Speech synthesis means, 50: Speech conversion means, 51: Face image database, 52: Face image selection means, 53: Image composition means, 54: Emotion estimation means, 55: Image Display means, 56: camera, 57: camera device, 58: monitor display device, 59: human sensor, 60: human sensor device, 61: user information database, 62: display device, 63: cat-type conversation robot, 64: control device, 65: first alarm unit, 66: second alarm unit, 67: third alarm unit, 68: answer information storage unit, 69: determination unit, 70 1st abnormality output means, 71: Standby time detection means, 72: Reference data formation means, 73: 2nd abnormality output means, 74: Certainty factor acquisition means, 75: Abnormal certainty degree acquisition means, 76: Third Abnormal output means
Claims (14)
前記発話音声を受信して受信信号を出力する音声入力手段と、
ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示する表示手段と、
前記発話者に対して対話音声を発生する音声出力手段と、
前記受信信号を受けて設定される前記対話態度に基づく前記対話音声を形成する音声データを作成して前記音声出力手段に入力しながら、前記キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成して前記表示手段に入力する制御装置とを有し、
該制御装置は、
(1)前記音声入力手段から出力される前記受信信号を発話音声ファイルに変換し、該発話音声ファイルから発話文字ファイルを作成して出力する音声入力処理部と、
(2)前記発話文字ファイルの入力を受けて前記対話音声の基となる対話文字ファイルを作成して出力する対話管理部と、
(3)前記対話文字ファイルの入力を受けて該対話文字ファイルから前記音声データを形成し音声信号に変換して前記音声出力手段に入力する音声出力処理部と、
(4)前記キャラクターの顔画像を形成する顔画像合成データと、前記対話文字ファイルの入力を受けて該対話文字ファイルから前記キャラクターの感情を推定し、該感情に応じた表情を形成する顔表情データをそれぞれ作成し、該顔画像合成データと該顔表情データを組合せて前記画像表示データとして前記表示手段に入力するキャラクター表情処理部
とを有し、
前記対話管理部は、前記発話文字ファイルが入力される度に、予め設定された複数の対話パターンの中から前記対話態度として対話パターンSを任意に選定し、該対話パターンSに対応する前記対話文字ファイルを出力する応答対話系統と、自発発話系統とを有し、
該自発発話系統には、
(1)前記発話者の趣味、猫独自の行動を織り込んだ生活パターン、及び前記発話者が応答することを意識した該猫型会話ロボットの要求行動のいずれか1以上を含む自発発話条件を予め設定する自発発話条件設定手段と、
(2)該自発発話条件設定手段で設定された前記自発発話条件が成立した際に条件成立信号を出力する条件成立判定手段と、
(3)前記条件成立信号を受けて、該条件成立信号に対応する前記自発発話条件に設定された自発発話文字ファイルを前記対話文字ファイルとして出力する自発発話手段
とが設けられ、
前記自発発話条件設定手段には、前記自発発話条件として前記発話者の見守りを実行する見守り開始条件が更に設けられ、該見守り開始条件は、前記発話者が起床する時間帯に設定する開始時刻から前記発話者が就寝する時間帯に設定する終了時刻までの中で少なくとも1回発生するように設定され、該見守り開始条件に対して設定された前記自発発話文字ファイルは前記発話者の個人情報に基づいた特定質問を構成するものであることを特徴とする猫型会話ロボット。 Have the ego, such as the pseudo-pet, a cat-type conversation robot with the personality of the cat to change the dialogue attitude to the time it receives the speech of the speaker,
Voice input means for receiving the uttered voice and outputting a received signal;
A display means for displaying a face image at the time of dialogue of the character set as a dialogue person on the robot side;
Voice output means for generating dialogue voice for the speaker;
Image display data for changing the facial expression of the character's facial image during dialogue while creating voice data forming the dialogue voice based on the dialogue attitude set in response to the received signal and inputting the voice data into the voice output means create and have a control device to be input to the display means,
The control device
(1) a voice input processing unit that converts the received signal output from the voice input means into an utterance voice file, creates an utterance character file from the utterance voice file, and outputs the utterance character file;
(2) a dialogue management unit that receives the input of the spoken character file and creates and outputs a dialogue character file that is a basis of the dialogue voice;
(3) a voice output processing unit that receives input of the dialogue character file, forms the voice data from the dialogue character file, converts the voice data into a voice signal, and inputs the voice signal to the voice output means;
(4) Facial facial expression that forms facial expression in accordance with the emotion image synthesis data that forms the facial image of the character and the dialogue character file in response to the input of the dialogue character file. Character expression processing unit that creates data and inputs the combined image of the face image and the facial expression data to the display means as the image display data
And
The dialogue management unit arbitrarily selects a dialogue pattern S as the dialogue attitude from among a plurality of preset dialogue patterns each time the utterance character file is input, and the dialogue corresponding to the dialogue pattern S It has a response dialogue system that outputs a character file and a spontaneous speech system,
In the spontaneous utterance system,
(1) Spontaneous speech conditions including at least one of the hobby of the speaker, a life pattern incorporating a cat's unique behavior, and the requested behavior of the cat-type conversation robot that the speaker is aware of responding in advance. A spontaneous utterance condition setting means to be set;
(2) Condition establishment determining means for outputting a condition satisfaction signal when the spontaneous utterance condition set by the spontaneous utterance condition setting means is established;
(3) Spontaneous utterance means for receiving the condition establishment signal and outputting the spontaneous utterance character file set in the spontaneous utterance condition corresponding to the condition establishment signal as the dialogue character file
And
The spontaneous utterance condition setting means is further provided with a watch start condition for executing the watch of the speaker as the spontaneous utterance condition, and the watch start condition is determined from a start time set in a time zone when the speaker wakes up. The spontaneous utterance character file set for the watch start condition is set to occur at least once before the end time set in the time period when the speaker goes to bed, and the personal information of the speaker is stored in the personal information of the speaker. cat type conversation robot, characterized in der Rukoto constitutes a specific question based.
(1)前記発話文字ファイルが有する話題に応答する前記対話態度を示す通常対話パターンと、
(2)前記発話文字ファイルが有する話題とは別の話題で応答する前記対話態度を示す変更話題対話パターンと、
(3)前記発話文字ファイルの入力に対し無応答となる前記対話態度を示す無視対話パターンと、
(4)前記発話文字ファイルの入力に対し対話拒絶となる前記対話態度を示す拒絶対話パターン
とを有することを特徴とする猫型会話ロボット。 The cat-type conversation robot according to any one of claims 1 to 3 , wherein the plurality of interaction patterns are:
(1) a normal dialogue pattern indicating the dialogue attitude in response to a topic included in the utterance character file;
(2) a changed topic dialogue pattern indicating the dialogue attitude to respond with a topic different from the topic of the utterance character file;
(3) an ignoring dialogue pattern indicating the dialogue attitude that makes no response to the input of the utterance character file;
(4) A cat-type conversation robot characterized by having a rejection dialogue pattern indicating the dialogue attitude that causes dialogue rejection with respect to input of the utterance character file.
(1)入力された前記発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する文字ファイルデータベースと、
(2)前記発話文字ファイル及び前記別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段と、
(3)前記発話文字ファイルの入力により前記対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルAを選択し前記対話文字ファイルとして出力する通常型対話手段と、
(4)前記文字ファイルデータベースに格納された前記複数の別文字ファイルの中から別文字ファイルWを選択して前記対話応答処理手段に入力し、該対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルBを選択し前記対話文字ファイルとして出力する変更話題型対話手段と、
(5)前記文字ファイルデータベースに格納された前記複数の無視文字ファイルの中から無視文字ファイルCを選択し前記対話文字ファイルとして出力する無視型対話手段と、
(6)前記文字ファイルデータベースに格納された前記複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し前記対話文字ファイルとして出力する拒絶型対話手段
とが設けられていることを特徴とする猫型会話ロボット。 The cat-type conversation robot according to claim 6 , wherein the response dialogue system includes:
(1) A plurality of separate character files having a topic different from that of the input speech character file, a plurality of ignored character files corresponding to dialogue ignorance, and a plurality of rejection character files corresponding to dialogue refusal, respectively. Character file database to store and output on demand,
(2) Dialog response processing means for creating and outputting a plurality of response character files by inputting the spoken character file and the separate character file,
(3) a normal dialogue unit that selects a response character file A from the plurality of response character files output from the dialogue response processing unit by inputting the utterance character file and outputs the selected response character file as the dialogue character file;
(4) Selecting the different character file W from the plurality of different character files stored in the character file database, inputting the selected character file W to the dialogue response processing means, and outputting the plurality of responses output from the dialogue response processing means A change topic type dialogue means for selecting a response character file B from a character file and outputting it as the dialogue character file;
(5) Ignore interaction means for selecting an ignore character file C from the plurality of ignore character files stored in the character file database and outputting the selected ignore character file as the dialog character file;
(6) A cat having rejection type dialogue means for selecting a rejection character file D from the plurality of rejection character files stored in the character file database and outputting it as the dialogue character file. Type conversation robot.
前記音声認識処理手段及び前記対話応答処理手段はクラウド上にそれぞれ設けられ、前記発話音声ファイルの前記音声認識処理手段への入力、該音声認識処理手段からの前記発話文字ファイルの出力、該発話文字ファイル及び前記別文字ファイルWの前記対話応答処理手段への入力、該対話応答処理手段から前記通常型対話手段及び前記変更話題型対話手段への前記応答文字ファイルの出力はそれぞれ情報通信回線を介して行われることを特徴とする猫型会話ロボット。 8. The cat-type conversation robot according to claim 7 , wherein the voice input processing unit includes voice detection means for creating the utterance voice file from the received signal, and voice recognition for creating and outputting the utterance character file from the utterance voice file. Processing means,
The speech recognition processing means and the dialogue response processing means are each provided on a cloud, and input the utterance speech file to the speech recognition processing means, output of the utterance character file from the speech recognition processing means, and the utterance character The file and the input of the separate character file W to the dialogue response processing means, and the output of the response character file from the dialogue response processing means to the normal type dialogue means and the changed topic type dialogue means are respectively via information communication lines. Cat-type conversation robot characterized by
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075152A JP6598227B1 (en) | 2019-04-10 | 2019-04-10 | Cat-type conversation robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075152A JP6598227B1 (en) | 2019-04-10 | 2019-04-10 | Cat-type conversation robot |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6598227B1 true JP6598227B1 (en) | 2019-10-30 |
JP2020173342A JP2020173342A (en) | 2020-10-22 |
Family
ID=68383238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019075152A Active JP6598227B1 (en) | 2019-04-10 | 2019-04-10 | Cat-type conversation robot |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6598227B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021092727A (en) * | 2019-12-12 | 2021-06-17 | 一般社団法人It&診断支援センター・北九州 | Support robot for person living alone |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441142B2 (en) | 2020-08-28 | 2024-02-29 | 株式会社Nttドコモ | Management device and monitoring system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018230562A1 (en) * | 2017-06-14 | 2018-12-20 | 日本電気株式会社 | Notification system, notification method, and non-transitory computer-readable medium with program stored thereon |
JP6682475B2 (en) * | 2017-06-20 | 2020-04-15 | Gatebox株式会社 | Image display device, topic selection method, topic selection program |
JP2019015837A (en) * | 2017-07-06 | 2019-01-31 | 一般社団法人It&診断支援センター・北九州 | Conversation type robot having character of cat and conversation management program for showing character of cat |
JP6420514B1 (en) * | 2018-04-04 | 2018-11-07 | 一般社団法人It&診断支援センター・北九州 | Conversation robot |
-
2019
- 2019-04-10 JP JP2019075152A patent/JP6598227B1/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021092727A (en) * | 2019-12-12 | 2021-06-17 | 一般社団法人It&診断支援センター・北九州 | Support robot for person living alone |
JP7210024B2 (en) | 2019-12-12 | 2023-01-23 | 一般社団法人It&診断支援センター・北九州 | Living alone support robot |
Also Published As
Publication number | Publication date |
---|---|
JP2020173342A (en) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10720175B2 (en) | Conferencing system and method for controlling the conferencing system | |
JP4364251B2 (en) | Apparatus, method and program for detecting dialog | |
US20170169203A1 (en) | Robot-human interactive device, robot, interaction method, and recording medium storing program | |
JP6084654B2 (en) | Speech recognition apparatus, speech recognition system, terminal used in the speech recognition system, and method for generating a speaker identification model | |
JP6420514B1 (en) | Conversation robot | |
JP6585733B2 (en) | Information processing device | |
CN111542814A (en) | Method, computer device and computer readable storage medium for changing responses to provide rich-representation natural language dialog | |
JP6238083B2 (en) | Information processing apparatus, server, information processing method, and information processing system | |
JP6598227B1 (en) | Cat-type conversation robot | |
JP2019158975A (en) | Utterance system | |
JP2019062490A (en) | Control apparatus, control method, program and control system | |
CN114566187A (en) | System, electronic device, and related method with post-session representation | |
CN111557001A (en) | Method, computer device and computer readable storage medium for providing natural language dialog by providing instant responsive language response | |
JP6718623B2 (en) | Cat conversation robot | |
JP2019015837A (en) | Conversation type robot having character of cat and conversation management program for showing character of cat | |
JP6943237B2 (en) | Information processing equipment, information processing methods, and programs | |
JP2021028793A (en) | Watching system and watching program | |
JP7394192B2 (en) | Audio processing device, audio processing method, and program | |
JP2020135394A (en) | Information processing apparatus and information processing program | |
JP7347994B2 (en) | Conference support system | |
Moriya et al. | Estimation of conversational activation level during video chat using turn-taking information. | |
JP7123028B2 (en) | Information processing system, information processing method, and program | |
CN118251883A (en) | Information processing device, information processing method, and information processing program | |
US20230397868A1 (en) | Control Method, Conference System, and Non-Transitory Recording Medium | |
JP2023126724A (en) | Conference support device, conference support method, conference support system, and conference support program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190515 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190515 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6598227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |