JP4370410B2 - Dialog system, dialog robot, program, and recording medium - Google Patents
Dialog system, dialog robot, program, and recording medium Download PDFInfo
- Publication number
- JP4370410B2 JP4370410B2 JP2006510592A JP2006510592A JP4370410B2 JP 4370410 B2 JP4370410 B2 JP 4370410B2 JP 2006510592 A JP2006510592 A JP 2006510592A JP 2006510592 A JP2006510592 A JP 2006510592A JP 4370410 B2 JP4370410 B2 JP 4370410B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- information
- user
- utterance data
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000002452 interceptive effect Effects 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 description 29
- 230000003993 interaction Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 11
- 208000003443 Unconsciousness Diseases 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Manipulator (AREA)
- Machine Translation (AREA)
Description
本発明は、ユーザの生活を支援するためにアプライアンスを自律的に制御する生活支援ロボットシステムと協働して、ユーザと音声による対話を行う対話ロボット、および、前記生活支援ロボットシステムおよび前記対話ロボットを備える対話システムに関する。 The present invention relates to a dialogue robot that performs voice conversation with a user in cooperation with a life support robot system that autonomously controls an appliance to support the life of the user, and the life support robot system and the dialogue robot It is related with the dialogue system provided with.
ユビキタスな環境を背景にして、ユーザの居住空間などに設置されて自律的にユーザの生活を支援する生活支援ロボットシステムが実現されている。ユビキタスな環境を前提にした生活支援ロボットシステムは、ユーザが特に意識して操作する必要がないアンコンシャス型のシステムであることが多い。
アンコンシャス型の生活支援ロボットシステムは、快適な環境の維持やユーザの活動支援のために、各種のセンサ情報にもとづいて環境やユーザの行動を推論し、ネットワークで接続されたアプライアンス(通信機能を備えた家電機器)、情報端末装置などを制御してサービスを提供するものである。
例えば、生活支援ロボットシステムは、センサ情報をもとにユーザの動作・姿勢、部屋の状況を分析してユーザがリラックスした状態であると推論すると、アプライアンスの一つであるオーディオシステムによってユーザの嗜好にあった音楽を流したり、または、エアコンによって室内の温湿度を維持して、ユーザがこれらのアプライアンスを意識的に操作することなく快適な生活環境を実現できるようにする。
アンコンシャス型の生活支援ロボットシステムは、ユーザがアプライアンスを意識的に操作する必要がない点で便利である。しかし、生活支援ロボットシステムが自律的制御によって提供しているサービスが、常に、ユーザに受け入れられるとは限らないという事態が生ずることが予想される。
生活支援ロボットシステムが生活全般の支援を図るようになり、提供するサービスがより高度化・多機能化し、アプライアンスの動作原理も複雑化してくると考えられる。そのため、生活支援ロボットシステムの自律的制御だけでは、ユーザ個々の要求に対応しきれなくなる可能性がある。
また、アンコンシャスであること、すなわちユーザに意識的な操作を要求しないという生活支援ロボットシステムの仕組みは、システムの存在を認識しにくいものにするため、ユーザに気味悪さを感じさせる原因にもなりうる。
例えば、生活支援ロボットシステムが自律的に実行するサービスが、あるユーザにとって快適であっても、別のユーザにとっては不快なものとなるような状況や、実行されたサービスが、ユーザにとってはかえって迷惑であると考えるような状況などが生じることが予想される。このような場合に、ユーザは、違うサービスを実行してもらいたいと考えたり、サービス実行の理由を知りたいという要求があるので、生活支援ロボットシステムは、このような不満や疑問を解消する必要がある。
さらに、生活支援ロボットシステムが蓄積している情報以外の事柄についても、ユーザが知りたい場合がある。例えば、ユーザ自らがアプライアンスを操作したい場合に、アプライアンスそれぞれの高度化した機能を十分に使いこなすように操作できないような状況が生じることも予想される。このような場合に、ユーザは、生活支援ロボットシステムではカバーしていないような詳細な情報を知りたいと考えるので、対話ロボットにおいて、このような情報の提供をする必要がある。
このように、アンコンシャス型の生活支援ロボットシステムは、様々な状況にも柔軟に対応できるような普遍的なユーザインタフェースとして、高度な状況対応処理能力を備え、かつユーザに親近感を抱かせるような対話システムを備える必要がある。
本発明は、かかる必要性に鑑みてなされたものであり、その目的は、生活支援ロボットシステムのユーザインタフェースとして、ユーザの曖昧な要求をより正確に受け取ってシステムの制御に反映させ、またシステムの制御状況をより的確に理解してもらえるように、ユーザにとって有用なサービスや情報を提供できるような対話ロボット、および前記対話ロボットを用いた対話システムを実現することである。With a ubiquitous environment as a background, a life support robot system that is installed in a user's living space or the like and autonomously supports the user's life has been realized. A life support robot system based on a ubiquitous environment is often an unconscious system that does not require a user to be particularly aware of the operation.
The unconscious lifestyle support robot system infers the environment and user behavior based on various sensor information to maintain a comfortable environment and support user activities, and connects the appliances (communication functions with communication functions). It provides services by controlling home appliances), information terminal devices, and the like.
For example, if the life support robot system infers that the user is in a relaxed state by analyzing the motion / posture of the user and the situation of the room based on the sensor information, the audio system that is one of the appliances will make the user's preference. The user can enjoy a comfortable living environment without having to consciously operate these appliances by playing music suitable for music or maintaining indoor temperature and humidity with an air conditioner.
The unconscious life support robot system is convenient in that the user does not need to consciously operate the appliance. However, it is expected that the service provided by the life support robot system by autonomous control may not always be accepted by the user.
The life support robot system is expected to support the whole of life, and the provided service will become more sophisticated and multifunctional, and the operation principle of the appliance will be complicated. Therefore, there is a possibility that it may not be possible to respond to individual user requests only by autonomous control of the life support robot system.
In addition, the mechanism of the life support robot system that is unconscious, that is, does not require a conscious operation from the user, makes it difficult to recognize the existence of the system, which may cause the user to feel weird. sell.
For example, even if the service that the life support robot system autonomously executes is comfortable for one user, the situation in which it becomes uncomfortable for another user, or the service that is executed is annoying for the user. It is expected that a situation will occur. In such a case, the life support robot system needs to resolve such dissatisfaction and questions because there is a request that the user wants to execute a different service or knows the reason for the service execution. There is.
Furthermore, there are cases where the user wants to know about matters other than the information stored in the life support robot system. For example, when the user himself / herself wants to operate the appliance, a situation may occur in which the user cannot operate the appliance so that the advanced functions of the appliance can be fully used. In such a case, since the user wants to know detailed information that is not covered by the life support robot system, it is necessary to provide such information in the dialog robot.
In this way, the unconscious life support robot system has a high level of situation handling capability as a universal user interface that can flexibly deal with various situations, and the user's familiarity. It is necessary to provide a simple dialogue system.
The present invention has been made in view of such a need. The purpose of the present invention is to more accurately receive a user's ambiguous request as a user interface of a life support robot system and reflect it in the control of the system. An interactive robot capable of providing services and information useful to the user and an interactive system using the interactive robot so that the control situation can be understood more accurately.
本発明は、上記の目的を達成するために、生活支援ロボットシステムと対話ロボットとが協働する、高度な状況対応能力を備えた対話システムを実現するものである。また、対話システムのユーザインタフェースを、ユーザが実体として認識できるビジブル型の対話ロボットによって実現することによりユーザフレンドリーなインタフェースを実現するものである。
本発明は、ユーザの生活を支援するためにサービスを実行するアプライアンスを自律的に制御する生活支援ロボットシステムと、前記生活支援ロボットシステムと協働して対話ロボットの音声によりユーザと対話する対話システムである。
対話システムを構成する前記生活支援ロボットシステムは、1)所定の空間内で計測されたセンサ情報をもとに前記空間内の環境とユーザの行動とを推論してアプライアンスを制御する推論システムと、2)前記推論システムによる推論結果である環境情報および行動情報を蓄積する分散環境行動データベースとを備える。
また、前記対話ロボットは、1)概念同士の関連の度合いを記述する連想情報を蓄積する対話戦略データベースと、2)当該対話ロボット内で生成されたロボット発話データを音声データに変換して発話する音声合成手段と、3)ユーザの音声データの内容を認識してユーザ発話データに変換する音声認識手段と、4)前記分散環境行動データベースから前記環境情報および行動情報を取得して状況記憶手段に格納する状況情報取得手段と、5)前記環境情報および行動情報からユーザの状況を解析し、前記状況にもとづいて前記ユーザに提供するサービスを選択し、前記連想情報にもとづいて前記状況と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する処理と、前記ロボット発話データに対するユーザ発話データの文脈を推論し、前記連想情報を参照して前記ユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う対話制御手段と、6)前記対話制御手段により前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定された場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する実行要求手段とを備える。
対話ロボットは、対話ロボットが、ユーザの会話に参加したり問いかけたりして、ユーザを自己の対話に引き込むために、「連想しりとり」行動仮説にもとづいて対話を生成する処理に用いる連想情報を蓄積する対話戦略データベースを備える。また、対話ロボットは、状況情報取得手段により、前記生活支援ロボットシステムの分散環境行動データベースから前記環境情報および行動情報を取得して状況記憶手段に格納する。
対話ロボットの対話制御手段では、前記環境情報および行動情報からユーザの状況を解析し、前記状況にもとづいて前記ユーザに提供するサービスを選択する。また、前記対話戦略データベースの連想情報にもとづいて前記状況と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する。そして、音声合成手段により、生成されたロボット発話データを音声データに変換して発話する。
その後、音声認識手段により、ユーザの音声データの内容を認識してユーザ発話データに変換する。対話制御手段では、前記ロボット発話データに対するユーザ発話データの文脈を推論し、前記連想情報を参照して前記ユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する。そして、前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する。
これにより、対話システムでは、対話ロボットにより、ユーザの状況にもとづいて選択したサービスをユーザに認知させ提供するための音声による問いかけを行い、ユーザの応答がロボットとの対話への引き込みとなっている場合に、サービスの実行要求を生活支援ロボットシステムもしくはアプライアンスに送信することにより、潜在していたサービスをユーザに提供できるようになる。
または、対話ロボットは、音声認識手段により、ユーザの音声データの内容を認識してユーザ発話データに変換する。そして、対話制御手段では、前記ユーザ発話データの文脈を解析し、前記環境情報および行動情報から状況を解析し、前記ユーザ発話データの文脈および状況にもとづいてユーザに提供するサービスを選択し、前記連想情報にもとづいて前記ユーザ発話データの文脈と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する。そして、音声合成手段により、生成されたロボット発話データを音声データに変換して発話する。
その後、音声認識手段により、ロボット発話データに対するユーザの音声データの内容を認識してユーザ発話データに変換する。そして、対話制御手段では、前記ロボット発話データに対する新たなユーザ発話データの文脈を推論し、前記連想情報を参照して前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する。前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連していると判定した場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する。
これにより、対話システムでは、対話ロボットにより、ユーザの会話の文脈やユーザの状況にもとづいて選択したサービスをユーザに提供するために、音声によりユーザの会話へ割り込み、ユーザの応答がロボットとの対話への引き込みとなっている場合に、サービスの実行要求を生活支援ロボットシステムもしくはアプライアンスへ送信することにより、曖昧であったサービスをユーザに提供できるようになる。
さらに、対話システムの対話ロボットは、上記の構成をとる場合に、アプライアンスまたは前記アプライアンスで実行されるサービスに関する知識情報を蓄積する知識データベースを備え、前記対話制御手段は、前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記知識データベースから前記選択されたサービスに関する知識情報を抽出し、前記抽出した知識情報を用いてロボット発話データを生成する。
さらに、対話システムの対話ロボットは、上記の構成をとる場合に、所定の通信プロトコルによりネットワーク上の他の情報提供サーバから前記選択されたサービスに関する知識情報を取得し、前記知識データベースに蓄積する知識情報取得手段を備える。
これにより、サービスの提供に関連して、そのサービスやサービスを実行するアプライアンスに関する知識情報をユーザに提供できるようになる。
また、対話システムの対話ロボットは、対話制御手段で選択されたサービスとして、他の対話ロボットと、所定の通信プロトコルにより、ユーザの状況や選択されたサービスに関する情報を送受信するロボット間通信手段を備える。
これにより、対話ロボット同士が連携して、ユーザにサービスを提供できるようになる。
このように、アンコンシャス型の生活支援ロボットシステムの自律的な制御についてユーザが疑問や不満などを感じるような状況が生じている場合に、ビジブル型の対話ロボットは、ユーザの会話から、そのような疑問・不満を認識してユーザに問いかけることにより、生活支援ロボットシステムから制御の理由を得てユーザに説明することができる。ユーザは、生活支援ロボットシステムの自律動作に特有の不気味さや不満を解消することができる。
また、ユーザが曖昧な要求や潜在的な要求を持っている場合に、対話ロボットは、ユーザとの対話を進めて、潜在的な要求に生活支援ロボットシステムが対応できることをユーザに気がつかせることができる。さらには、ユーザの曖昧な要求を具体化して、生活支援ロボットシステムにサービス実行を依頼することができる。これにより、ユーザ生活支援ロボットシステムは、より柔軟で高度なサービス制御を実現することができる。
特に、本発明によれば、アンコンシャス型の生活支援ロボットシステムとユーザとの対話を、ユーザが実体として認識できるビジブル型の対話ロボットを通じて行うことにより、ユーザが違和感を感じない自然なインタフェースを実現することができる。
さらには、本発明によれば、生活支援ロボットシステムを共有する家族などの複数のユーザが、対話ロボットと同時に対話することが可能である。ビジブル型の対話ロボットを媒介としてユーザ同士が話題を共有することになり、生活支援ロボットシステムに対する個々のユーザの孤立感を解消する一助になる。In order to achieve the above object, the present invention realizes an interactive system having a high situation response capability in which a life support robot system and an interactive robot cooperate. In addition, the user interface of the interactive system is realized by a visible interactive robot that can be recognized as an entity by the user, thereby realizing a user-friendly interface.
The present invention provides a life support robot system that autonomously controls an appliance that executes a service to support a user's life, and a dialog system that interacts with the user by the voice of a dialog robot in cooperation with the life support robot system. It is.
The life support robot system constituting the dialogue system includes: 1) an inference system that controls an appliance by inferring an environment in the space and a user's action based on sensor information measured in a predetermined space; 2) A distributed environment behavior database for accumulating environment information and behavior information as inference results by the inference system.
The dialogue robot 1) dialogue strategy database that stores associative information describing the degree of association between concepts; and 2) the robot utterance data generated in the dialogue robot is converted into voice data and uttered. Speech synthesis means, 3) speech recognition means for recognizing the contents of the user's voice data and converting it into user utterance data, and 4) obtaining the environment information and behavior information from the distributed environment behavior database and storing them in the situation storage means 5) Analyzing a user situation from the environment information and behavior information, selecting a service to be provided to the user based on the situation, and relating to the situation based on the association information A process of identifying a concept and generating robot utterance data using a linguistic expression indicating the concept, and a user for the robot utterance data Dialogue control means for inferring a context of utterance data and performing a process of determining whether or not the context of the user utterance data is conceptually related to the context of the robot utterance data with reference to the association information; 6) Execution requesting means for transmitting an execution request for the service to the life support robot system or the appliance when the dialog control means determines that the context of the user utterance data is related to the context of the robot utterance data. Is provided.
Dialogue robots store associative information used to generate dialogues based on the “associative interaction” behavioral hypothesis, in order for the dialogue robots to participate in and ask questions of users and to draw users into their own dialogues. A dialogue strategy database is provided. Further, the dialogue robot acquires the environment information and the action information from the distributed environment action database of the life support robot system by the situation information acquisition means, and stores it in the situation storage means.
The dialog control means of the dialog robot analyzes the user's situation from the environment information and the behavior information, and selects a service to be provided to the user based on the situation. In addition, a concept related to the situation is specified based on association information in the dialogue strategy database, and robot utterance data is generated using a language expression indicating the concept. Then, the speech synthesizer converts the generated robot utterance data into speech data and utters the speech.
Thereafter, the voice recognition means recognizes the content of the user's voice data and converts it into user utterance data. The dialogue control means infers the context of the user utterance data with respect to the robot utterance data, and refers to the association information to determine whether the context of the user utterance data is conceptually related to the context of the robot utterance data. judge. When it is determined that the context of the user utterance data is related to the context of the robot utterance data, the service execution request is transmitted to the life support robot system or the appliance.
As a result, in the interactive system, the interactive robot makes a voice inquiry to allow the user to recognize and provide the service selected based on the user's situation, and the user's response is drawn into the dialog with the robot. In this case, by transmitting a service execution request to the life support robot system or the appliance, the latent service can be provided to the user.
Alternatively, the interactive robot recognizes the contents of the user's voice data by voice recognition means and converts the contents into user utterance data. The dialog control means analyzes the context of the user utterance data, analyzes the situation from the environment information and behavior information, selects a service to be provided to the user based on the context and situation of the user utterance data, Based on association information, a concept related to the context of the user utterance data is specified, and robot utterance data is generated using a linguistic expression indicating the concept. Then, the speech synthesizer converts the generated robot utterance data into speech data and utters the speech.
Thereafter, the voice recognition means recognizes the contents of the user's voice data with respect to the robot utterance data and converts it into user utterance data. Then, the dialog control means infers the context of the new user utterance data with respect to the robot utterance data, and the context of the new user utterance data is conceptually related to the context of the robot utterance data with reference to the association information. It is determined whether or not. When it is determined that the context of the new user utterance data is conceptually related to the context of the robot utterance data, the service execution request is transmitted to the life support robot system or the appliance.
Thus, in the interactive system, in order to provide the user with a service selected based on the context of the user's conversation and the user's situation, the user's conversation is interrupted by voice, and the user's response is a dialogue with the robot. In the case of being drawn into the service, by sending a service execution request to the life support robot system or the appliance, the ambiguous service can be provided to the user.
Further, the interactive robot of the interactive system includes a knowledge database that accumulates knowledge information about the appliance or a service executed on the appliance when the above configuration is adopted, and the dialog control means has a context of the user utterance data. When it is determined that it is related to the context of the robot utterance data, knowledge information about the selected service is extracted from the knowledge database, and robot utterance data is generated using the extracted knowledge information.
Further, when the dialog robot of the dialog system has the above-described configuration, the knowledge robot acquires knowledge information about the selected service from another information providing server on the network using a predetermined communication protocol, and stores the knowledge information in the knowledge database. Information acquisition means is provided.
Thereby, in relation to the provision of the service, it becomes possible to provide the user with knowledge information about the service and the appliance that executes the service.
In addition, the dialog robot of the dialog system includes an inter-robot communication unit that transmits and receives information on the user's situation and the selected service with a predetermined communication protocol as a service selected by the dialog control unit. .
As a result, the dialogue robots can cooperate to provide a service to the user.
In this way, when there is a situation in which the user feels doubtful or dissatisfied with the autonomous control of the unconscious lifestyle support robot system, the visible interactive robot is By recognizing uncertain questions and dissatisfaction and asking the user, the reason for control can be obtained from the life support robot system and explained to the user. The user can eliminate the eerieness and dissatisfaction specific to the autonomous operation of the life support robot system.
In addition, when the user has an ambiguous request or a potential request, the interactive robot may advance the dialog with the user and notice that the life support robot system can respond to the potential request. it can. Furthermore, the user's ambiguous request can be materialized, and the life support robot system can be requested to execute the service. Thereby, the user life support robot system can realize more flexible and advanced service control.
In particular, according to the present invention, a natural interface that does not give the user a sense of incongruity is realized by conducting a conversation between the user and the unconscious life support robot system through a visible interactive robot that the user can recognize as an entity. can do.
Furthermore, according to the present invention, it is possible for a plurality of users such as family members who share a life support robot system to interact simultaneously with the conversation robot. Users share a topic with a visible interactive robot as a medium, which helps to resolve the individual user's sense of isolation with respect to the life support robot system.
第1図は、本発明の対話システムの実施例における構成を示す図である。
第2図は、生活支援ロボットシステムおよび対話ロボットの構成例を示す図である。
第3図は、分散環境行動データベースの構成例を示す図である。
第4図は、ユーザの会話からサービスを選択する場合の対話ロボットの処理の流れの一例を示す図である。
第5図は、ユーザの状況からサービスを選択する場合の対話ロボットの処理の流れの一例を示す図である。
第6図は、ユーザの会話からサービスに関連する知識情報を提供する場合の対話ロボットの処理の流れの一例を示す図である。FIG. 1 is a diagram showing a configuration in an embodiment of the dialogue system of the present invention.
FIG. 2 is a diagram showing a configuration example of a life support robot system and a dialogue robot.
FIG. 3 is a diagram showing a configuration example of a distributed environment behavior database.
FIG. 4 is a diagram showing an example of the processing flow of the interactive robot when a service is selected from the user's conversation.
FIG. 5 is a diagram showing an example of the processing flow of the interactive robot when a service is selected from the user's situation.
FIG. 6 is a diagram showing an example of the processing flow of the interactive robot when providing knowledge information related to a service from a user's conversation.
以下、本発明の実施例を説明する。
第1図は、本発明の対話システムの構成例を示す図である。本実施例において、対話システムは、複数のユーザ3(3a、3b、3c)で構成される一家族の住宅(居住空間)に適用されたアンコンシャス型の生活支援ロボットシステム(以下、ロボットシステムとする)1と、ビジブル型の対話ロボット2で構成される。
ロボットシステム1は、ユビキタス環境を利用して、居住空間全体をモニタリングして、通信機能を持つ家電機器(アプライアンス)4によるサービスを実行して、自律的にユーザ3の生活を支援する。
対話ロボット2は、ユーザ3の居住空間内に設置される。対話ロボット2は、自律的に移動できる機能を備えて、ユーザ3の居住空間内を自由に移動できるように構成されてもよい。
また、対話ロボット2は、システムとしての実体は一つであるが、同一構成の処理手段を備えた複数の筐体を持つようにしてもよい。筐体は、例えば卓上に設置可能な程度の大きさとする。対話ロボット2が複数の筐体を持つ場合には、居住空間内の各部屋に設置された対話ロボット2のうち音声データを検出した筐体における処理手段が対話ロボット2としての処理動作を開始する。処理が継続している最中に、対話相手となるユーザが移動したり、離れた場所にいるユーザとの対話が必要となった場合には、対話相手と最も近い場所に設定された筐体の処理手段が処理を引き継ぐことにより、一つの処理動作の流れを複数筐体によって連携できるようにする。
本発明の対話システムは、アンコンシャス型の生活支援ロボットシステム1とビジブル型の対話ロボット2との分散協働を図るものである。このような分散協働は、いわば母親と子供との関係のメタファに例えることができる。
アンコンシャス型の生活支援ロボットシステム1が組み込まれたユーザの生活空間全体を「母親メタファ」とする。すなわち、いつも家の中にいて家族を見守り、必要なときにはどこからともなく現れて、さりげなく家族を支援してくれる存在に例える。そして、ユーザ3との対話を受け持つ対話ロボット2を、「子供メタファ」とする。対話ロボット2を、一般的な社会常識を持つには至らないが、家庭のような小さな生活環境を共有する特定のユーザの嗜好やユーザ同士の関係をある程度理解することができ、家族(ユーザ)からかまわれたいと欲し、また興味を持つ事柄については高度な知識を獲得しうるような存在に例える。
子供メタファの対話ロボット2は、母親メタファの生活支援ロボットシステム1と連携して、ユーザ3にとっても母親のような存在である生活支援ロボットシステム1とユーザとの関係を円滑にするために、家族間に積極的に参加して、母親の存在を身近に感じさせるような、いわば「末っ子」の役割を担うと考えられる。
対話ロボット2の音声によるヒューマンインタフェースの自然さは、音声認識における自然言語処理能力にもとづいている。しかし、音声認識能力が、ユーザ3と対話を自然に続けていくのに十分でない場合がある。したがって、ユーザ3が、対話ロボット2の対話能力が劣っていることをしっかりとしたメンタルモデルとして理解できるようにする必要がある。そこで、認知科学、教育心理学、発達心理学での分野での知見をおおいに参考にして、対話ロボット2の対話能力に3歳児程度の能力というアフォーダンスを付与する。そのために、対話制御において「連想しりとり」行動仮説を採用した。
「連想しりとり」とは、対話において、発話文の文脈と概念的に関連する別の概念を示す言語表現を用いて応答し、さらにこの応答文に対する応答文(発話文)の文脈と概念的に関連する別の概念を示す言語表現を用いて応答するという行為を連続していく行動仮説である。
すなわち、大人の会話の中から自分の知識に合致する言葉を捉えて、その会話に割り込もうとする幼児の行動は日常的に観察されるものである。このとき、幼児は、精一杯の連想や推論を働かせつつ、自分の知識の中から話題を提供して、大人を自分の話題に引き込もうとする。そして、大人の反応が自分の提供した話題を受けた内容となっているとき、いわば、連想的な意味でのしりとりとなっているとき、話題の引き込みに成功したと判断して、自分の知識を提供することにより、その話題を継続していく。
本例では、対話ロボット2のアフォーダンスを3歳児程度であると位置づけて対話制御する一方で、ユーザ3に対して提供する情報として、例えばアプライアンス4のマニュアル情報、サービスに関する詳細情報などの専門的な情報を提供できるようにする。対話ロボット2は、ユーザの居住空間の状況に関する状況情報、知識データベースの知識情報、外部の情報サーバなどから取得する情報などを蓄積し、ユーザの対話の主題に応じて、ユーザ3が気がつかなかった状況や、アプライアンス4についての専門的な知識を提供することが可能となる。これにより、対話ロボット2のアフォーダンスとして、いわゆる「おたく」的な存在が形成される。
これらにより、対話ロボット2は、「親しみやすく、役に立つ存在」であるというイメージをユーザ3に与えやすくする。
第2図は、生活支援ロボットシステム1および対話ロボット2の構成例を示す図である。
ロボットシステム1は、推論システム11、センサ12、分散環境行動データベース13、イベント検出装置15、サービス履歴データベース17などによって構成されている。
推論システム11は、知識データベースを備え、イベント検出装置15がイベントを検出すると、分散環境行動データベース13からコンテキストを取得して、居住空間内の環境、ユーザ3の動作、ユーザ3同士の相互作用(インタラクション)、ユーザ3と物との相互作用などを分析し、分析結果からユーザの行動を推論し、結論に従って実行するサービスを決定して、該当するアプライアンス4を制御する処理システムである。推論システム11における分析結果や推論結果は、分散環境行動データベース13に随時蓄積される。
センサ12は、通信機能を備えて、ユーザ3の居住空間内の種々のデータを計測・収集し、収集したセンサ情報を分散環境行動データベース13に送信する処理手段である。センサ12は、例えば、TVカメラ、マイク、床センサ、RFIDタグ用モニタ、アプライアンス4の内部センサなどである。
センサ情報は、例えば、画像データ、音声データ、圧力遷移データ、IDタグデータなどのデータである。ユーザ3が所有する物や居住空間に存在する物には、非接触型電波方式認識用の識別情報が格納されたIDタグ、例えばRFID(Radio Frequency Identification)タグが付与されているとする。
分散環境行動データベース13は、センサ12から取得したセンサ情報、推論システム11で分析もしくは推論された結果を蓄積し管理するデータベースシステムである。
第3図に、分散環境行動データベース13の構成例を示す。
分散環境行動データベース13は、分散センサ情報データベース131、分散環境情報データベース132、分散動作情報データベース133、分散行動情報データベース134、人−物インタラクションデータベース135、人−人インタラクションデータベース136、固有情報データベース137などのデータベースシステムによって構成される。
分散センサ情報データベース131は、所定の時刻や契機ごとにセンサ12から送信された各種のセンサ情報を蓄積するデータベースである。
分散環境情報データベース132は、物の位置、姿勢、居住空間の温湿度、アプライアンス4の内部状態などの環境情報を蓄積するデータベースである。
例えば、ユーザ3xが勉強机に向かって本を読んでいる場合に、センサ12で計測されたセンサ情報(時刻、IDデータ、位置、画像データ、圧力データ、サービス実行部の内部センサ情報など)が推論システム11で分析され、以下のような環境情報が生成されて蓄積される。
「時刻、本のIDデータ、位置、状態(手に持たれている状態)、
時刻、勉強机の電灯のIDデータ、位置、状態(点灯中)、
時刻、勉強机の椅子のIDデータ、位置、状態(使用中)、…。」
分散動作情報データベース133は、ユーザ3の位置、姿勢などを示す動作情報を蓄積するデータベースである。例えば、上記の例の場合に、センサ情報が推論システム11で分析され、以下のような動作情報が蓄積される。
「時刻、ユーザ3xのIDデータ、位置、姿勢(座位)、…」。
人−物インタラクションデータベース135は、人−物インタラクション情報を蓄積するデータベースである。人−物インタラクション情報は、相互作用が生じているユーザと物との組み合わせを示す情報である。例えば、上記の例の場合に、推論システム11で環境情報および動作情報が分析され、以下のような人−物インタラクション情報が蓄積される。
「人−物インタラクション0001:ユーザ3x、本、勉強机、勉強机の椅子、電灯、…。」
人−人インタラクションデータベース136は、人−人インタラクション情報を蓄積するデータベースである。人−人インタラクション情報は、インタラクションが生じているユーザ同士の組み合わせを示す情報である。例えば、ユーザ3a(父親)とユーザ3b(娘)がソファに座って一緒にテレビを見ているとする。推論システム11で二人の動作情報(位置や姿勢など)から相互作用が分析されて、以下のような人−人インタラクション情報が蓄積される。
「人−人インタラクション0011:ユーザ3a、ユーザ3b」。
分散行動情報データベース134は、ユーザ3の行動を示す行動情報を蓄積するデータベースである。例えば、上記のユーザ3xの例の場合に、推論システム11で環境情報、動作情報、人−物インタラクション情報、人−人インタラクション情報などから行動情報が推論され、以下のような行動情報が蓄積される。
「ユーザ3x:読書中、勉強中、…」。
固有情報データベース137は、ユーザ3ごとの属性を示す固有情報を蓄積するデータベースである。固有情報は、ユーザ3の身体的特徴、性別などの他、推論システム11によって推論された特性などの情報を含む。推論システム11では、センサ12で取得された、対話ロボット2とユーザ3との対話の音声データから、ユーザ3の対話の傾向などを推論し、推論結果は固有情報として蓄積される。
イベント検出装置15は、分散環境行動データベース13の情報の更新や、対話ロボット2からのサービス実行要求を検出すると、推論システム11にイベント検出を通知する処理装置である。
アプライアンス4は、データ送受信機能を備えて、推論システム11からの制御により、もしくはユーザ自身の操作により、所定のサービスを実行する家電機器である。
サービス履歴データベース17は、推論システム11によって実行されたサービスの履歴情報を蓄積するデータベースである。推論システム11は、推論処理においてサービス履歴データベース17の情報も参照する。
分散環境行動データベース13、サービス履歴データベース17、状況情報取得部25、および状況記憶部26をまとめて分散環境行動データベース13−1として構成することもできる。
なお、ロボットシステム1の推論システム11、分散環境行動データベース13、イベント検出装置15、サービス履歴データベース17は、既知の処理手段もしくは装置を用いて実施することが可能である。
対話ロボット2は、音声認識部21、音声合成部22、対話制御部23、対話戦略データベース24、状況情報取得部25、状況記憶部26、知識情報取得部27、知識データベース28、実行要求部29、ロボット間通信部210などで構成されている。
音声認識部21は、ユーザ3が発話した音声データを入力し、入力した音声データの内容を認識してユーザ発話データ(発話文データ)に変換する処理手段である。
音声合成部22は、対話制御部23によって生成されたロボット発話データ(ユーザの会話に対する応答文データ、ユーザへの問いかけのための発話文データなど)を音声データに変換して発話する処理手段である。
対話制御部23は、状況記憶部26に格納された情報から環境やユーザ3の状況を解析し、解析した状況にもとづいてユーザ3に提供するサービスを選択し、対話戦略データベース24の連想情報にもとづいてユーザの状況と関連する概念を特定し、その概念を示す言語表現を用いてロボット発話データを生成する処理と、生成したロボット発話データに対してユーザが応答したユーザ発話データ(応答文データ)の文脈を推論し、対話戦略データベース24の連想情報を参照してユーザ発話データの文脈がロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う処理手段である。
また、対話制御部23は、ユーザ発話データの文脈とロボット発話データの文脈とが関連すると判定した場合に、知識データベース28から、選択したサービスに関する知識情報を抽出し、抽出した知識情報を用いてロボット発話データを生成する。
対話戦略データベース24は、対話ロボット2がユーザ3との対話を推論してユーザ3を自己の対話へ引き込むための応答を「連想しりとり」により生成するための連想情報を、蓄積するデータベースである。
連想情報は、対話の文脈から抽出される主題となる概念について、概念同士の関連の度合いを記述する情報である。連想情報は、前記概念同士の同義性、類義性、または共起性の度合いを示す情報を用いている。連想情報は、対話ロボット2に設定されるアフォーダンスを考慮して付与される。例えば、対話ロボット2に、”3歳児”のアフォーダンスを設定する場合には、3歳児の推論や連想の能力に対応させた概念モデルにもとづいて概念および連想情報を定義する。
状況情報取得部25は、分散環境行動データベース13から、環境情報、動作情報、行動情報、固有情報などの情報を取得し、状況記憶部26に格納する処理手段である。
知識情報取得部27は、所定の通信プロトコル、例えばTCP/IPなどによりネットワーク8上の情報サーバ9から選択されたサービスに関する知識情報を取得し、知識データベース28に蓄積する処理手段である。これにより、ロボットシステム1で蓄積された情報以外に、ネットワーク8上に存在する大量かつ多様な情報にアクセスすることが可能となり、ユーザ3に専門的な情報や最新の情報などを提供することができる。知識データベース28には、例えば、アプライアンス4またはアプライアンス4で実行されるサービスに関連する情報が蓄積される。
知識データベース28は、アプライアンス4またはアプライアンス4で実行されるサービスに関する知識情報、例えば、アプライアンスのマニュアル情報などを蓄積するデータベースである。
実行要求部29は、対話制御部23が選択したサービス実行要求をロボットシステム1へ送信する処理手段である。また、実行要求部29は、アプライアンス4へ直接サービス実行要求を送信してもよい。
ロボット間通信部210は、対話制御部23で選択されたサービスとして、ロボットシステム1以外のロボットシステム1’と協働する別の対話ロボット2’と、所定の通信プロトコルにより、ユーザ3の状況や選択されたサービスに関する情報を送受信する処理手段である。
本例では、対話ロボット2の音声認識部21、音声合成部22、対話制御部23は、擬人化音声対話エージェントツールキット(Galatea Toolkit)により実現する(例えば、http://hil.t.u−tokyo.ac.jp/〜galatea/galatea−jp.html、Prendinger,Helmut;Ishizuka,Mitsuru(Eds.);”Life−Like Characters Tools,Affective Functions,and Applications Series:Cognitive Technologies”;pp.187−213;2004;ISBN:3−540−00867−5参照)。
以下、本発明の処理の流れを、いくつかの場合に分けて説明する。
〔ユーザの会話からサービスを提案する場合〕
第4図は、ユーザの会話からサービスを選択する場合の対話ロボットの処理の流れを示す図である。対話ロボット2は、ユーザ3同士の会話を検出し、適切なサービスを提案する場合は、以下のような処理を行う。
ステップS1:音声データ認識処理
対話ロボット2の音声認識部21により、ユーザ3同士の会話を検出してユーザの発話を入力し、その音声データを認識してユーザ発話データに変換する。
ステップS2:状況情報取得処理
並行して、状況情報取得部25では、分散環境行動データベース13から所定の状況情報を取得して状況記憶部26に格納する。
ステップS3:対話・状況推論処理
対話制御部23では、ユーザ発話データ(ユーザの会話)を解析して文脈を推論する。そして、ユーザ発話データの文脈および状況情報をもとにユーザの状況を推論し、実行可能なサービスの中から最適なサービスを選択する。さらに、対話戦略データベース24の連想情報を参照して、ユーザ発話データの文脈から連想される概念を抽出し、この概念を示す言語表現を用いてロボット発話データ(対話ロボットの応答)を作成する。
ステップS4:音声合成処理
そして、音声合成部22により、ロボット発話データを音声合成して、ユーザ3に応答する。
ステップS5:音声データ認識処理
音声認識部21で、ステップS4で発話した応答に対するユーザ3の音声データを入すると、この音声データを音声認識して、新たなユーザ発話データ(ユーザの新たな発話)に変換する。
ステップS6:対話引き込み判定処理
対話制御部23では、新たなユーザ発話データの文脈を推論し、ユーザ3を対話に引き込むことができたか否かを判定する。対話引き込みの判定では、新たなユーザ発話データの文脈が、抽出した概念の連想情報の範囲内である場合、またはロボット発話データ(応答)に対する承諾である場合に、対話引き込みに成功したと判定する。そして、実行するサービスが特定されていれば、ステップS7の処理へ進み、実行するサービスが特定されていなければ、応答文データを作成して(ステップS6−2)、ステップS4の処理へ進む。
また、新たなユーザ発話データの文脈が抽出した概念の連想情報の範囲外である場合、またはロボット発話データ(応答)に対する不承諾である場合に、対話引き込みに失敗したと判定する。この場合、連想情報を参照して別の概念を抽出し、新しい連想によって話題を修正し(ステップS6−1)、修正した話題を示す言語表現を用いて応答文データを生成し(ステップS6−2)、ステップS4の処理へ進む。
なお、対話制御部23では、音声認識部21から、所定時間内に応答文データを受け取らなかった場合に、対話引き込みに失敗したと判定する。
ステップS7:サービス実行処理
実行要求部29では、選択されたサービスの実行要求をロボットシステム1に送信する。または、該当するアプライアンス4へ直接送信する。
〔ユーザの状況からサービスを提案する場合〕
第5図は、ユーザの状況からサービスを選択する場合の対話ロボットの処理の流れを示す図である。対話ロボット2は、ロボットシステム1から取得したユーザ3の状況にもとづいて適切なサービスを選択する場合は、以下のような処理を行う。
ステップS11: 対話ロボット2の状況情報取得部25では、分散環境行動データベース13から所定の状況情報を取得して状況記憶部26に格納する。
ステップS12: 対話制御部23では、状況記憶部26の状況情報からユーザ3の状況を解析し、実行可能なサービスの中から最適なサービスを選択する。さらに、対話戦略データベース24の連想情報を参照して、ユーザ3の状況から連想される概念を抽出し、この概念を示す言語表現を用いてロボット発話データ(対話ロボットの問いかけ)を作成する。
ステップS13: そして、音声合成部22により、ロボット発話データを音声合成して、ユーザ3に発話する。
ステップS14: 音声認識部21では、ロボット発話データに対するユーザ3の応答の音声データを入力し、その音声データを認識してユーザ発話データ(ユーザの応答)に変換する。
ステップS15: 対話制御部23では、ユーザの応答の文脈を推論し、ユーザ3の対話引き込みに成功したかどうかを判定する。対話引き込みに成功したと判定した場合には、実行するサービスが特定されていればステップS16の処理へ進み、実行するサービスが未特定であれば応答文データを作成して(ステップS15−2)、ステップS13の処理へ進む。一方、対話引き込みに失敗した場合には、新しい連想によって話題を修正し(ステップS15−1)、応答文データを作成して(ステップS15−2)、ステップS13の処理へ進む。
ステップS16: そして、対話引き込みに成功した場合には、実行要求部29により、選択されたサービスの実行要求をロボットシステム1または該当するアプライアンス4へ送信する。
〔ユーザの会話から情報を提供する場合〕
第6図は、ユーザの会話からサービスに関連する知識情報を提供する場合の対話ロボットの処理の流れを示す図である。
ステップS21: 対話ロボット2は、音声認識部21により、ユーザ3同士の会話を検出してユーザの発話の音声データを入力し、その音声データを認識してユーザ発話データ(ユーザの会話)に変換する。
ステップS22: 並行して、状況情報取得部25では、分散環境行動データベース13から所定の状況情報を取得して状況記憶部26に格納する。
ステップS23: 対話制御部23では、状況情報からユーザ3の状況およびユーザ3の会話の文脈をそれぞれ解析する。そして、ユーザ3の会話の文脈および状況をもとに実行可能なサービスの中から最適なサービスを選択する。さらに、対話戦略データベース24の連想情報を参照して、ユーザ3の会話の文脈から連想される概念を抽出し、この概念を示す言語表現を用いてロボット発話データ(ロボットの応答)を作成する。
ステップS24: 音声合成部22により、ロボット発話データを音声合成して、ユーザ3に応答する。
ステップS25: 音声認識部21で、ステップS24で発話した応答に対するユーザ3の音声データを入力し、音声データを音声認識して、新たなユーザ発話データ(ユーザの応答)に変換する。
ステップS26: 対話制御部23では、新たなユーザの応答の文脈を推論し、ユーザ3の対話引き込みに成功したかどうかを判定する。対話引き込みに成功したと判定した場合には、実行するサービスが特定されていればステップS27の処理へ進み、実行するサービスが未特定であれば応答文データを作成して(ステップS26−2)、ステップS24の処理へ進む。一方、対話引き込みに失敗した場合には、新しい連想によって話題を修正し(ステップS26−1)、応答文データを作成して(ステップS26−2)、ステップS24の処理へ進む。
ステップS27: そして、対話引き込みに成功した場合には、対話制御部23では、知識データベース28から選択したサービスに関連する知識情報を抽出する。
ステップS28: さらに、対話制御部23は、抽出した知識情報を用いてロボット発話データ(知識情報の提供)を生成する。
ステップS29: 音声合成部22では、ロボット発話データを音声合成して発話する。なお、音声合成部22では、直接、抽出された知識情報を音声データに変換して発話するようにしてもよい。
以上で説明した処理例は、いずれかの処理を組み合わせて処理されてもよい。また、各処理例において、対話制御部23は、実行要求部29によりサービスの実行要求を送信する前に、実行するサービスの許否を問い合わせるロボット発話データを生成し、ユーザに問い合わせるようにしてもよい。
また、サービスの実行や知識情報の提供において、別のロボットシステム1’と協働する対話ロボット2’との連携が必要となった場合には、ロボット間通信部210では、ユーザ3の状況や選択されたサービスに関する情報の送受信を行う。
以下、本発明の具体例を説明する。
第1の具体例では、第1図に示すように、ユーザ3a(父親)とユーザ3b(娘)とが居間(room1)で会話をしているとする。
対話ロボット2の音声認識部21では、居間でユーザ同士(父親と娘)が、以下のような会話している音声を入力し、音声データを音声認識して発話文データに変換する。
父親の発話: 「コトシノハンシンハ、…。」
娘の発話: 「…カツ…。」
また、状況情報取得部25は、分散環境行動データベース13から、固有情報、環境情報、行動情報などの所定の情報を取得して状況記憶部26に格納する。
対話制御部23は、これらの情報により、ユーザ3a(父親)とユーザ3b(娘)が居間(room1)でくつろいで会話している状況、ユーザ3c(母親)が台所(room2)で後片付け中である状況などがわかる。
また、対話制御部23は、音声認識されたユーザの発話文データの文脈を推論する。発話文データに含まれる<ハンシン、カツ>が<阪神、勝つ>であると分析し、会話の主題の概念が<野球>であると推論する。そして、対話戦略データベース24の連想情報を参照して、概念<野球>、関連の度合いが強い概念<プロ野球>を特定する。そして、ユーザ3の会話の文脈や状況から、<電子テレビ番組表から野球中継番組抽出>、<野球中継番組があればテレビをつける>というサービスを選択する。
また、特定した概念を表す言語表現(例えば、野球)を用いて、ロボット発話データ「野球の話?」を生成する。音声合成部22では、このデータを音声合成して発話する。これにより、対話ロボット2は、「野球の話?」と問いかけて、父親と娘の会話に参加する。
音声認識部21は、引き続きロボット発話データに対するユーザの発話があるかどうかを検出する。ユーザが発話していれば、その音声データを認識して新たなユーザ発話データに変換する。対話制御部23は、例えば、新たなユーザの発話が「プロ野球よ。」であれば、その文脈は連想される範囲内であるとして、ユーザ3を対話に引き込むことに成功したと判断する。また、新たなユーザの発話が「そうだよ。」であれば、その文脈が肯定的な返事であるとして、対話の引き込みに成功したと判断する。
一方、新たなユーザの発話が「デパートよ。」であれば、その文脈は連想される範囲内ではなく、肯定的な返事のいずれでもないので、対話への引き込みに失敗したと判断する。そして、対話制御部23は、対話の引き込みに成功したと判断した場合には、選択したサービスを実行する。ここでは、知識データベース28で電子テレビ番組表を検索する。
ここで、知識データベース28に電子テレビ番組表が蓄積されていなければ、知識情報取得部27は、電子テレビ番組表を提供する情報サーバ9のURLを知識データベース28から取得し、ネットワーク8を通じて情報サーバ9から電子テレビ番組表を取得し、知識データベース28に蓄積する。
対話制御部23は、知識データベース28に蓄積されたテレビ番組表から野球中継番組の情報を抽出し、例えば、「阪神−中日戦」試合の中継番組が現在放送中であることがわかるとする。対話制御部23は、この野球中継番組の情報(知識情報)から、新たなロボット発話データ「今、阪神と中日の試合をやっているよ。」を生成する。
また、対話制御部23は、状況記憶部26に格納された情報から、ユーザ3c(母親)が阪神のファンであるという固有情報を抽出する。この固有情報(状況情報)から、新たなロボット発話データ「お母さんも好きだよね。」を生成する。
さらに、実行要求部29では、選択されたサービスの実行要求をロボットシステム1へ送信する。ロボットシステム1のイベント検出装置15では、対話ロボット2からのサービス実行要求を検出して、推論システム11へ通知する。
第2の具体例では、ユーザ3c(母親)が、食事の後片付け中にアプライアンス4の一つである食器洗い機が作動せずに困っている状況であるとする。
台所(room2)の対話ロボット2の状況情報取得部25は、分散環境行動データベース13から所定の情報を取得し、状況記憶部26に格納する。
対話制御部23は、状況記憶部26に格納された情報から、状況を解析し、<故障原因を調べて通知する>というサービスを選択する。
また、対話戦略データベース24を参照して、状況から連想される言語表現を用いてロボット発話データ「食器洗い機が、変なの?」を生成し、音声合成部22により音声合成して問いかける。
その後に、対話ロボット2の音声認識部21で、ロボットとの問いかけに対する応答「どうしてかしら。」を入力すると、対話制御部23では、母親の応答の文脈から、対話引き込みに成功したと判定し、選択したサービスを実行する。
すなわち、対話制御部23は、状況記憶部26の環境情報から食器洗い機の状態を取得する。知識情報取得部27は、知識データベース28から該当するアプライアンス(食器洗い機)4の製造元の情報サーバ9のURLを取得し、その製造元の情報サーバ9から、食器洗い機の状態をキーに故障原因に関する情報を取得する。対話制御部23は、故障原因に関する情報(知識情報)をもとにロボット発話データ「故障の原因がわかったよ。…」を作成し、音声合成部22での音声合成により発話する。
第3の具体例では、別の居住空間で別の生活支援ロボットシステム1’および対話ロボット2’が設定されているとする。
対話ロボット2は、ユーザ3x(結婚して独立した娘)との対話から、娘がユーザ3y(母親)の助言を必要としている状況であると推論し、サービス<母親のテレビ電話を娘へつなぐ>を選択したとする。対話ロボット2の対話制御部23で、対話引き込みが成功したと判定すると、ロボット間通信部210は、対話ロボット2’のロボット間通信部210’へサービス実行要求を送信する。
対話ロボット2’は、ユーザ3y(母親)へ、ロボット発話データ「○○さんが、連絡を待ってるよ。」と発話して、アプライアンス(テレビ電話)4に、ユーザ3xの電話番号と通話指示を送信する。
以上の説明のように、本発明は、対話ロボット2が、ユーザ同士の会話やユーザの状況を「連想しりとり」行動仮説にもとづいて推論してユーザと対話を進めることにより、ロボットシステム1で提供できるサービスであってユーザが気がついていなかったサービスや関連する知識情報を、ユーザの状況に応じて提供することができる。
本発明の対話ロボット2は、コンピュータによって読み取られインストールされて実行されるプログラムとして実現することも可能である。本発明を実現するプログラムは、コンピュータが読み取り可能な記録媒体に格納することができ、これらの記録媒体に記録して提供され、または、通信インタフェースを介して種々の通信網を利用した送受信により提供される。Examples of the present invention will be described below.
FIG. 1 is a diagram showing a configuration example of an interactive system according to the present invention. In this embodiment, the dialogue system is an unconscious life support robot system (hereinafter referred to as a robot system) applied to a family house (residential space) composed of a plurality of users 3 (3a, 3b, 3c). 1) and a visible
The
The
In addition, the
The dialogue system of the present invention is intended to achieve distributed cooperation between the unconscious lifestyle
The entire living space of the user in which the unconscious lifestyle
The child metaphor
The naturalness of the human interface by the voice of the
“Associative Shiritori” means responding by using a linguistic expression indicating another concept conceptually related to the context of the spoken sentence in conversation, and then conceptually with the context of the response sentence (uttered sentence) to this response sentence. It is a behavioral hypothesis that continues the act of responding using a linguistic expression indicating another related concept.
That is, the behavior of an infant who tries to interrupt a conversation by capturing a word that matches his knowledge from the conversation of an adult is routinely observed. At this time, the infant tries to attract adults to his / her topic by providing a topic from his / her knowledge while making full use of association and reasoning. And when the reaction of the adult is the content that received the topic that I provided, in other words, when it is a ritual in an associative sense, it is judged that the topic has been successfully drawn, and my knowledge Will continue to talk about it.
In this example, while the affordance of the
Thus, the
FIG. 2 is a diagram showing a configuration example of the life
The
The
The
The sensor information is data such as image data, sound data, pressure transition data, ID tag data, and the like. Assume that an ID tag, for example, an RFID (Radio Frequency Identification) tag, in which identification information for non-contact radio wave system recognition is stored, is attached to an object owned by the user 3 or an object existing in the living space.
The distributed
FIG. 3 shows a configuration example of the distributed
The distributed
The distributed
The distributed
For example, when the user 3x is reading a book toward the study desk, sensor information (time, ID data, position, image data, pressure data, internal sensor information of the service execution unit, etc.) measured by the
"Time, book ID data, position, state (state held in hand),
Time, study desk lamp ID data, position, status (lit),
Time, study desk chair ID data, position, status (in use), ... "
The distributed
“Time, user 3x ID data, position, posture (sitting),...”.
The person-
"People-things interaction 0001: user 3x, books, study desk, study desk chair, electric light ..."
The person-
“People-person interaction 0011: user 3a, user 3b”.
The distributed
"User 3x: reading, studying ...".
The
The
The
The
The distributed
The
The
The
The
The
Further, when it is determined that the context of the user utterance data and the context of the robot utterance data are related, the
The
The associative information is information describing the degree of association between the concepts as the subject extracted from the context of the dialogue. Associative information uses information indicating the degree of synonymity, synonymity, or co-occurrence between the concepts. The associative information is given in consideration of affordance set in the
The situation
The knowledge
The
The
The robot-to-
In this example, the
Hereinafter, the processing flow of the present invention will be described in several cases.
[When proposing services from user conversations]
FIG. 4 is a diagram illustrating a processing flow of the interactive robot when a service is selected from a user conversation. When the
Step S1: Voice data recognition processing
The
Step S2: Status information acquisition process
In parallel, the situation
Step S3: Dialogue / situation inference processing
The
Step S4: Speech synthesis process
Then, the
Step S5: voice data recognition processing
When the
Step S6: Dialog pull-in determination process
The
In addition, when the context of the new user utterance data is outside the range of the extracted associative information of the concept, or when it is disapproval with respect to the robot utterance data (response), it is determined that the dialog pull-in has failed. In this case, another concept is extracted with reference to the association information, the topic is corrected by the new association (step S6-1), and response sentence data is generated using the language expression indicating the corrected topic (step S6-). 2) The process proceeds to step S4.
The
Step S7: Service execution processing
The
[When proposing services based on user conditions]
FIG. 5 is a diagram showing the flow of processing of the interactive robot when selecting a service from the user's situation. The
Step S <b> 11: The situation
Step S12: The
Step S13: Then, the
Step S14: The
Step S15: The
Step S16: If the dialog pull-in is successful, the
[When providing information from user conversations]
FIG. 6 is a diagram showing a processing flow of the interactive robot when providing knowledge information related to a service from a user's conversation.
Step S21: The
Step S22: In parallel, the situation
Step S23: The
Step S24: The
Step S25: The
Step S26: The
Step S27: If the dialog pull-in is successful, the
Step S28: Furthermore, the
Step S29: The
The processing examples described above may be processed by combining any of the processing. Further, in each processing example, before the
Further, when cooperation with a
Hereinafter, specific examples of the present invention will be described.
In the first specific example, as shown in FIG. 1, it is assumed that the user 3a (father) and the user 3b (daughter) have a conversation in the living room (room 1).
In the
Father's utterance: "Kotoshino Hanshinha ..."
Daughter's utterance: "... Katsu ..."
In addition, the situation
With this information, the
Further, the
Further, the robot utterance data “baseball story?” Is generated using a linguistic expression (for example, baseball) representing the identified concept. The
The
On the other hand, if the utterance of the new user is “Department Store”, the context is not within the reminiscent range and is not a positive reply, so it is determined that the conversation has failed to be drawn. If the
Here, if the electronic television program guide is not stored in the
The
Further, the
Further, the
In the second specific example, it is assumed that the user 3c (mother) is in a situation where the dishwasher that is one of the
The situation
The
Further, referring to the
Thereafter, when the
That is, the
In the third specific example, it is assumed that another life
The
The
As described above, the present invention provides the
The
本発明は、ユビキタス環境を前提として自律的に人間の生活を支援する生活支援ロボットシステムにおける、高度な状況対応能力を備えたユーザインタフェース機能を実現する対話システムに適している。 INDUSTRIAL APPLICABILITY The present invention is suitable for an interactive system that realizes a user interface function having a high level of situation response capability in a life support robot system that autonomously supports human life on the premise of a ubiquitous environment.
Claims (22)
前記生活支援ロボットシステムは、
所定の空間内で計測されたセンサ情報をもとに前記空間内の環境とユーザの行動とを推論してアプライアンスを制御する推論システムと、
前記推論システムによる推論結果である環境情報および行動情報を蓄積する分散環境行動データベースとを備え、
前記対話ロボットは、
概念同士の関連の度合いを記述する連想情報を蓄積する対話戦略データベースと、
当該対話ロボット内で生成されたロボット発話データを音声データに変換して発話する音声合成手段と、
ユーザの音声データの内容を認識してユーザ発話データに変換する音声認識手段と、
前記分散環境行動データベースから前記環境情報および行動情報を取得して状況記憶手段に格納する状況情報取得手段と、
前記環境情報および行動情報からユーザの状況を解析し、前記状況にもとづいて前記ユーザに提供するサービスを選択し、前記連想情報にもとづいて前記状況と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する処理と、前記ロボット発話データに対するユーザ発話データの文脈を推論し、前記連想情報を参照して前記ユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う対話制御手段と、
前記対話制御手段により前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定された場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する実行要求手段とを備える
ことを特徴とする対話システム。A life support robot system that autonomously controls an appliance that performs a service to support a user's life, and a dialog system that interacts with the user by the voice of the dialog robot in cooperation with the life support robot system,
The life support robot system includes:
An inference system that controls the appliance by inferring the environment in the space and user behavior based on sensor information measured in a predetermined space;
A distributed environmental behavior database for accumulating environmental information and behavior information as inference results by the inference system;
The dialogue robot is
A dialogue strategy database that stores associative information describing the degree of association between concepts;
Speech synthesis means for converting the speech data generated in the dialogue robot into speech data and speaking;
Voice recognition means for recognizing the content of the user's voice data and converting it into user utterance data;
Situation information acquisition means for acquiring the environment information and action information from the distributed environment action database and storing them in a situation storage means;
A language indicating the concept by analyzing a situation of the user from the environment information and the behavior information, selecting a service to be provided to the user based on the situation, identifying a concept related to the situation based on the association information A process of generating robot utterance data using an expression, inferring a context of user utterance data with respect to the robot utterance data, and referring to the association information, the context of the user utterance data is conceptually related to the context of the robot utterance data A dialogue control means for performing a process of determining whether or not it is related to,
An execution requesting unit for transmitting an execution request for the service to the life support robot system or the appliance when the dialog control unit determines that the context of the user utterance data is related to the context of the robot utterance data; An interactive system characterized by that.
前記生活支援ロボットシステムと独立した実体的な装置として構成される
ことを特徴とする請求の範囲第1項に記載の対話システム。The dialogue robot is
The dialogue system according to claim 1, wherein the dialogue system is configured as a substantial device independent of the life support robot system.
前記選択されたサービスとして、他の対話ロボットと、所定の通信プロトコルにより、前記ユーザの状況または前記選択されたサービスに関する情報を送受信するロボット間通信手段を備える
ことを特徴とする請求の範囲第1項に記載の対話システム。The dialogue robot is
The inter-robot communication means for transmitting / receiving information on the user's situation or the selected service with a predetermined communication protocol as the selected service with a predetermined communication protocol. Dialog system described in the section.
アプライアンスまたは前記アプライアンスで実行されるサービスに関する知識情報を蓄積する知識データベースを備え、
前記対話制御手段は、前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記知識データベースから前記選択されたサービスに関する知識情報を抽出し、前記抽出した知識情報を用いてロボット発話データを生成する
ことを特徴とする請求の範囲第1項に記載の対話システム。The dialogue robot is
A knowledge database for accumulating knowledge information about the appliance or services performed on the appliance;
When the conversation control means determines that the context of the user utterance data is related to the context of the robot utterance data, it extracts knowledge information about the selected service from the knowledge database, and uses the extracted knowledge information The dialog system according to claim 1, wherein robot utterance data is generated.
所定の通信プロトコルによりネットワーク上の他の情報提供サーバから前記選択されたサービスに関する知識情報を取得し、前記知識データベースに蓄積する知識情報取得手段を備える
ことを特徴とする請求の範囲第4項に記載の対話システム。The dialogue robot is
5. The knowledge information acquisition means for acquiring knowledge information about the selected service from another information providing server on the network by a predetermined communication protocol and storing the knowledge information in the knowledge database. The described dialogue system.
前記生活支援ロボットシステムは、
所定の空間内で計測されたセンサ情報をもとに前記空間内の環境とユーザの行動とを推論してアプライアンスを制御する推論システムと、
前記推論システムによる推論結果である環境情報および行動情報を蓄積する分散環境行動データベースとを備え、
前記対話ロボットは、
概念同士の関連の度合いを記述する連想情報を蓄積する対話戦略データベースと、
当該対話ロボット内で生成されたロボット発話データを音声データに変換して発話する音声合成手段と、
ユーザの音声データの内容を認識してユーザ発話データに変換する音声認識手段と、
前記分散環境行動データベースから前記環境情報および行動情報を取得して状況記憶手段に格納する状況情報取得手段と、
前記ユーザ発話データの文脈を解析し、前記環境情報および行動情報から状況を解析し、前記ユーザ発話データの文脈および状況にもとづいてユーザに提供するサービスを選択し、前記連想情報にもとづいて前記ユーザ発話データの文脈と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する処理と、前記ロボット発話データに対する新たなユーザ発話データの文脈を推論し、前記連想情報を参照して前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う対話制御手段と、
前記対話制御手段により前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定された場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する実行要求手段とを備える
ことを特徴とする対話システム。A life support robot system that autonomously controls an appliance that performs a service to support a user's life, and a dialog system that interacts with the user by the voice of the dialog robot in cooperation with the life support robot system,
The life support robot system includes:
An inference system that controls the appliance by inferring the environment in the space and user behavior based on sensor information measured in a predetermined space;
A distributed environmental behavior database for accumulating environmental information and behavior information as inference results by the inference system;
The dialogue robot is
A dialogue strategy database that stores associative information describing the degree of association between concepts;
Speech synthesis means for converting the speech data generated in the dialogue robot into speech data and speaking;
Voice recognition means for recognizing the content of the user's voice data and converting it into user utterance data;
Situation information acquisition means for acquiring the environment information and action information from the distributed environment action database and storing them in a situation storage means;
Analyzing the context of the user utterance data, analyzing the situation from the environment information and behavior information, selecting a service to be provided to the user based on the context and situation of the user utterance data, and the user based on the association information Identifying a concept related to the context of the utterance data, generating robot utterance data using a linguistic expression indicating the concept, inferring a context of new user utterance data for the robot utterance data, and obtaining the association information Dialogue control means for performing a process of determining whether or not the context of the new user utterance data is conceptually related to the context of the robot utterance data with reference to;
Execution request means for transmitting an execution request for the service to the life support robot system or the appliance when the dialog control means determines that the context of the new user utterance data is related to the context of the robot utterance data; A dialogue system characterized by comprising:
前記生活支援ロボットシステムと独立した実体的な装置として構成される
ことを特徴とする請求の範囲第6項に記載の対話システム。The dialogue robot is
The dialogue system according to claim 6, wherein the dialogue system is configured as a substantial device independent of the life support robot system.
前記選択されたサービスとして、他の対話ロボットと、所定の通信プロトコルにより、前記ユーザの状況または前記選択されたサービスに関する情報を送受信するロボット間通信手段を備える
ことを特徴とする請求の範囲第6項に記載の対話システム。The dialogue robot is
The inter-robot communication means which transmits / receives information on the user's situation or the selected service with a predetermined communication protocol as the selected service with a predetermined communication protocol. Dialog system described in the section.
アプライアンスまたは前記アプライアンスで実行されるサービスに関する情報を蓄積する知識データベースを備え、
前記対話制御手段は、前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記知識データベースから前記選択されたサービスに関する知識情報を抽出し、前記抽出した知識情報を用いてロボット発話データを生成する
ことを特徴とする請求の範囲第6項に記載の対話システム。The dialogue robot is
A knowledge database that stores information about the appliance or services performed on the appliance;
When the conversation control means determines that the context of the new user utterance data is related to the context of the robot utterance data, it extracts knowledge information about the selected service from the knowledge database, and extracts the extracted knowledge information. The dialog system according to claim 6, wherein the robot utterance data is generated by using.
所定の通信プロトコルによりネットワーク上の他の情報提供サーバから前記選択されたサービスに関する知識情報を取得し、前記知識データベースに蓄積する知識情報取得手段を備える
ことを特徴とする請求の範囲第9項に記載の対話システム。The dialogue robot is
10. The knowledge information acquisition means for acquiring knowledge information relating to the selected service from another information providing server on the network by a predetermined communication protocol and storing the knowledge information in the knowledge database. The described dialogue system.
概念同士の関連の度合いを記述する連想情報を蓄積する対話戦略データベースと、
当該対話ロボット内で生成されたロボット発話データを音声データに変換して発話する音声合成手段と、
ユーザの音声データの内容を認識してユーザ発話データに変換する音声認識手段と、
生活支援ロボットシステムにおいて所定の空間内で計測されたセンサ情報から推論された環境情報および行動情報を蓄積する分散環境行動データベースから、前記環境情報および行動情報を取得して状況記憶手段に格納する状況情報取得手段と、
前記環境情報および行動情報からユーザの状況を解析し、前記状況にもとづいて前記ユーザに提供するサービスを選択し、前記連想情報にもとづいて前記状況と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する処理と、前記ロボット発話データに対するユーザ発話データの文脈を推論し、前記連想情報を参照して前記ユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う対話制御手段と、
前記対話制御手段により前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定された場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する実行要求手段とを備える
ことを特徴とする対話ロボット。An interactive robot that interacts with a user by voice in cooperation with a life support robot system that autonomously controls an appliance that performs services to support the user's life,
A dialogue strategy database that stores associative information describing the degree of association between concepts;
Speech synthesis means for converting the speech data generated in the dialogue robot into speech data and speaking;
Voice recognition means for recognizing the content of the user's voice data and converting it into user utterance data;
A situation in which the environment information and action information is acquired from a distributed environment action database that accumulates environment information and action information inferred from sensor information measured in a predetermined space in the life support robot system and stored in the situation storage means Information acquisition means;
A language indicating the concept by analyzing a situation of the user from the environment information and the behavior information, selecting a service to be provided to the user based on the situation, identifying a concept related to the situation based on the association information A process of generating robot utterance data using an expression, inferring a context of user utterance data with respect to the robot utterance data, and referring to the association information, the context of the user utterance data is conceptually related to the context of the robot utterance data A dialogue control means for performing a process of determining whether or not it is related to,
An execution requesting unit for transmitting an execution request for the service to the life support robot system or the appliance when the dialog control unit determines that the context of the user utterance data is related to the context of the robot utterance data; A dialogue robot characterized by that.
ことを特徴とする請求の範囲第11項に記載の対話ロボット。12. The inter-robot communication means for transmitting / receiving information related to the user's situation or the selected service with a predetermined communication protocol as a selected service with another interactive robot. The interactive robot according to the item.
前記対話制御手段は、前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記知識データベースから前記選択されたサービスに関する知識情報を抽出し、前記抽出した知識情報を用いてロボット発話データを生成する
ことを特徴とする請求の範囲第11項に記載の対話ロボット。A knowledge database for accumulating knowledge information about the appliance or services performed on the appliance;
When the conversation control means determines that the context of the user utterance data is related to the context of the robot utterance data, it extracts knowledge information about the selected service from the knowledge database, and uses the extracted knowledge information The interactive robot according to claim 11, wherein the robot utterance data is generated.
ことを特徴とする請求の範囲第13項に記載の対話ロボット。14. The knowledge information acquisition means for acquiring knowledge information related to the selected service from another information providing server on the network by a predetermined communication protocol and storing the knowledge information in the knowledge database. The described interactive robot.
概念同士の関連の度合いを記述する連想情報を蓄積する対話戦略データベースと、
当該対話ロボット内で生成されたロボット発話データを音声データに変換して発話する音声合成手段と、
ユーザの音声データの内容を認識してユーザ発話データに変換する音声認識手段と、
生活支援ロボットシステムにおいて所定の空間内で計測されたセンサ情報から推論された環境情報および行動情報を蓄積する分散環境行動データベースから、前記環境情報および行動情報を取得して状況記憶手段に格納する状況情報取得手段と、
前記ユーザ発話データの文脈を解析し、前記環境情報および行動情報から状況を解析し、前記ユーザ発話データの文脈および状況にもとづいてユーザに提供するサービスを選択し、前記連想情報にもとづいて前記ユーザ発話データの文脈と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する処理と、前記ロボット発話データに対する新たなユーザ発話データの文脈を推論し、前記連想情報を参照して前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う対話制御手段と、
前記対話制御手段により前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定された場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する実行要求手段とを備える
ことを特徴とする対話ロボット。An interactive robot that interacts with a user by voice in cooperation with a life support robot system that autonomously controls an appliance that performs services to support the user's life,
A dialogue strategy database that stores associative information describing the degree of association between concepts;
Speech synthesis means for converting the speech data generated in the dialogue robot into speech data and speaking;
Voice recognition means for recognizing the content of the user's voice data and converting it into user utterance data;
A situation in which the environment information and action information is acquired from a distributed environment action database that accumulates environment information and action information inferred from sensor information measured in a predetermined space in the life support robot system and stored in the situation storage means Information acquisition means;
Analyzing the context of the user utterance data, analyzing the situation from the environment information and behavior information, selecting a service to be provided to the user based on the context and situation of the user utterance data, and the user based on the association information Identifying a concept related to the context of the utterance data, generating robot utterance data using a linguistic expression indicating the concept, inferring a context of new user utterance data for the robot utterance data, and obtaining the association information Dialogue control means for performing a process of determining whether or not the context of the new user utterance data is conceptually related to the context of the robot utterance data with reference to;
Execution request means for transmitting an execution request for the service to the life support robot system or the appliance when the dialog control means determines that the context of the new user utterance data is related to the context of the robot utterance data; A dialogue robot characterized by comprising:
ことを特徴とする請求の範囲第15項に記載の対話ロボット。16. The inter-robot communication means for transmitting / receiving information on the user's situation or the selected service with a predetermined communication protocol as a selected service with another interactive robot. The interactive robot according to the item.
前記対話制御手段は、前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記知識データベースから前記選択されたサービスに関する知識情報を抽出し、前記抽出した知識情報を用いてロボット発話データを生成する
ことを特徴とする請求の範囲第15項に記載の対話ロボット。A knowledge database that stores information about the appliance or services performed on the appliance;
When the conversation control means determines that the context of the new user utterance data is related to the context of the robot utterance data, it extracts knowledge information about the selected service from the knowledge database, and extracts the extracted knowledge information. 16. The dialog robot according to claim 15, wherein the robot utterance data is generated by using the robot.
ことを特徴とする請求の範囲第17項に記載の対話ロボット。18. The knowledge information acquisition means for acquiring knowledge information about the selected service from another information providing server on the network by a predetermined communication protocol and storing the knowledge information in the knowledge database. The described interactive robot.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2004/002942 WO2005086051A1 (en) | 2004-03-08 | 2004-03-08 | Interactive system, interactive robot, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2005086051A1 JPWO2005086051A1 (en) | 2008-01-24 |
JP4370410B2 true JP4370410B2 (en) | 2009-11-25 |
Family
ID=34917844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006510592A Expired - Lifetime JP4370410B2 (en) | 2004-03-08 | 2004-03-08 | Dialog system, dialog robot, program, and recording medium |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4370410B2 (en) |
WO (1) | WO2005086051A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019098573A1 (en) * | 2017-11-20 | 2019-05-23 | Samsung Electronics Co., Ltd. | Electronic device and method for changing chatbot |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007323233A (en) * | 2006-05-31 | 2007-12-13 | National Institute Of Information & Communication Technology | Method, device and program for processing reason explanation service using interactive robot |
JP4787813B2 (en) * | 2007-12-07 | 2011-10-05 | 本田技研工業株式会社 | Detection target detection system |
JP2009269162A (en) * | 2008-04-09 | 2009-11-19 | Yaskawa Electric Corp | Control program construction method for robot and robot system |
CN101973031B (en) | 2010-08-24 | 2013-07-24 | 中国科学院深圳先进技术研究院 | Cloud robot system and implementation method |
JP6125445B2 (en) * | 2014-02-10 | 2017-05-10 | 日本電信電話株式会社 | Life log recording system and program thereof |
JP6305274B2 (en) * | 2014-08-20 | 2018-04-04 | ヤフー株式会社 | Response generation apparatus, response generation method, and response generation program |
CN104898589B (en) * | 2015-03-26 | 2019-04-30 | 天脉聚源(北京)传媒科技有限公司 | A kind of intelligent response method and apparatus for intelligent steward robot |
JP6726388B2 (en) * | 2016-03-16 | 2020-07-22 | 富士ゼロックス株式会社 | Robot control system |
JP6402748B2 (en) * | 2016-07-19 | 2018-10-10 | トヨタ自動車株式会社 | Spoken dialogue apparatus and utterance control method |
JP6555757B2 (en) * | 2016-11-07 | 2019-08-07 | Necプラットフォームズ株式会社 | Reception support device, method, and program |
JP6795387B2 (en) * | 2016-12-14 | 2020-12-02 | パナソニック株式会社 | Voice dialogue device, voice dialogue method, voice dialogue program and robot |
JP2018126810A (en) * | 2017-02-06 | 2018-08-16 | 川崎重工業株式会社 | Robot system and method for interacting with robots |
JP7024282B2 (en) * | 2017-09-25 | 2022-02-24 | 富士フイルムビジネスイノベーション株式会社 | Self-propelled service providing device and service providing system |
WO2019064650A1 (en) * | 2017-09-28 | 2019-04-04 | 三菱自動車工業株式会社 | Information transfer support system for vehicle |
WO2020116993A1 (en) | 2018-12-06 | 2020-06-11 | 삼성전자 주식회사 | Electronic device for providing interactive game and operating method therefor |
CN115461749A (en) * | 2020-02-29 | 2022-12-09 | 具象有限公司 | System and method for short-term and long-term conversation management between a robotic computing device/digital companion and a user |
WO2022049710A1 (en) * | 2020-09-03 | 2022-03-10 | 日本電気株式会社 | Service providing device, service providing system, service providing method, and non-transitory computer readable medium |
US20230298568A1 (en) * | 2022-03-15 | 2023-09-21 | Drift.com, Inc. | Authoring content for a conversational bot |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002199470A (en) * | 2000-12-25 | 2002-07-12 | Yoichi Sakai | Home automation through interactive virtual robot system |
JP2003036091A (en) * | 2001-07-23 | 2003-02-07 | Matsushita Electric Ind Co Ltd | Electronic information equipment |
KR100434545B1 (en) * | 2002-03-15 | 2004-06-05 | 삼성전자주식회사 | Method and apparatus for controlling devices connected with home network |
-
2004
- 2004-03-08 JP JP2006510592A patent/JP4370410B2/en not_active Expired - Lifetime
- 2004-03-08 WO PCT/JP2004/002942 patent/WO2005086051A1/en active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019098573A1 (en) * | 2017-11-20 | 2019-05-23 | Samsung Electronics Co., Ltd. | Electronic device and method for changing chatbot |
US11218429B2 (en) | 2017-11-20 | 2022-01-04 | Samsung Electronics Co., Ltd. | Electronic device and method for changing chatbot |
US11671386B2 (en) | 2017-11-20 | 2023-06-06 | Samsung Electronics Co., Ltd. | Electronic device and method for changing chatbot |
Also Published As
Publication number | Publication date |
---|---|
JPWO2005086051A1 (en) | 2008-01-24 |
WO2005086051A1 (en) | 2005-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4370410B2 (en) | Dialog system, dialog robot, program, and recording medium | |
KR102373905B1 (en) | Shortened voice user interface for assistant applications | |
CN106257355B (en) | Equipment control method and controller | |
CN106297781B (en) | Control method and controller | |
Arisio et al. | Deliverable 1.1 User Study, analysis of requirements and definition of the application task | |
KR102599607B1 (en) | Dynamic and/or context-specific hot words to invoke automated assistant | |
JP7250887B2 (en) | Generating IoT-based Notifications and Providing Commands to Cause Automatic Rendering of IoT-based Notifications by Automation Assistant Clients on Client Devices | |
WO2015146824A1 (en) | Interactive household-electrical-appliance system, server device, interactive household electrical appliance, method whereby household-electrical-appliance system performs interaction, and non-volatile computer-readable data recording medium having, stored thereon, program for executing said method on computer | |
CN112136102B (en) | Information processing apparatus, information processing method, and information processing system | |
JP4710064B2 (en) | Scheduling system | |
JP7491221B2 (en) | Response generation device, response generation method, and response generation program | |
JPWO2018043113A1 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
JP6291303B2 (en) | Communication support robot system | |
WO2017141530A1 (en) | Information processing device, information processing method and program | |
CN109804407B (en) | Care maintenance system and server | |
JP2020528158A (en) | Methods, systems, and media for providing information about detected events | |
JP6559079B2 (en) | Interactive home appliance system and method performed by a computer to output a message based on interaction with a speaker | |
JP2007011674A (en) | Method for executing service for explaining reason by using interactive robot, device and program thereof | |
WO2020116026A1 (en) | Response processing device, response processing method, and response processing program | |
JP2007323233A (en) | Method, device and program for processing reason explanation service using interactive robot | |
JPWO2017175442A1 (en) | Information processing apparatus and information processing method | |
Anbarasan et al. | Speech and gestures for smart-home control and interaction for older adults | |
JP6598369B2 (en) | Voice management server device | |
Goetze et al. | Multimodal human-machine interaction for service robots in home-care environments | |
JP7519869B2 (en) | Information provision system and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090728 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4370410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |