WO2004051499A1 - 対話制御装置及び方法並びにロボット装置 - Google Patents

対話制御装置及び方法並びにロボット装置 Download PDF

Info

Publication number
WO2004051499A1
WO2004051499A1 PCT/JP2003/015375 JP0315375W WO2004051499A1 WO 2004051499 A1 WO2004051499 A1 WO 2004051499A1 JP 0315375 W JP0315375 W JP 0315375W WO 2004051499 A1 WO2004051499 A1 WO 2004051499A1
Authority
WO
WIPO (PCT)
Prior art keywords
conversation
topic
value
item
acquired
Prior art date
Application number
PCT/JP2003/015375
Other languages
English (en)
French (fr)
Inventor
Kazumi Aoyama
Yukiko Yoshiike
Shinya Ohtani
Rika Horinaka
Hideki Shimomura
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US10/536,926 priority Critical patent/US7987091B2/en
Priority to AU2003302558A priority patent/AU2003302558A1/en
Priority to EP03812365.9A priority patent/EP1569129B1/en
Priority to CN200380104758XA priority patent/CN1720520B/zh
Publication of WO2004051499A1 publication Critical patent/WO2004051499A1/ja

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for

Definitions

  • the present invention relates to a dialogue control device and method, and a mouth port device, and is suitable for application to, for example, an entertainment robot.
  • Background art
  • Non-Patent Document 1 Most conventional voice dialogue systems aim to accomplish a certain task, such as, for example, video recording reservations or telephone directory assistance (see Non-Patent Document 1).
  • dialog response generation algorithm there is a simple response sentence generation system typified by an equalizer (Eliza) (for example, see Non-Patent Document 2).
  • Non-Patent Document 1 Report of the Information Processing Society of Japan Research Group, Spoken Language Information Processing 2 2-8 (1980.7.24) p. 4 1-4 2
  • Non-Patent Document 2 Physicality and Computer, Kyoritsu Publishing, p .
  • Robots have a limited memory capacity, and the framework for storing them is also predetermined, so it is not possible to remember anything that comes out during a conversation. do not come. Also, it is difficult with the current technology to appropriately process an arbitrary utterance from the user at an arbitrary timing and store the utterance in a storage device.
  • the problem is that the robot speaks to get the memory like “Tell me the name of my friend!”, And the robot can remember the robot by working on the user.
  • This can be solved by adopting a method in which the information is disclosed to the user and the user is informed of the value.By acquiring the memory by the action of the robot in this way, the user can easily collect information. It will be possible to work o
  • the present invention has been made in view of the above points, and it is an object of the present invention to propose a dialogue control device and method and a robotic device capable of improving the entrainment.
  • a storage means for storing various information associated with an object as a value of a corresponding item of the object, and the item of the object is defined as a topic.
  • a topic that is related to the topic used in the immediately preceding conversation is selected, and an acquisition conversation for acquiring the value of the item in the selected topic or the value of the item in the topic already stored in the storage unit is obtained.
  • a conversation generating means for generating a user conversation using the as a next conversation, and the conversation generating means stores the value acquired by the acquired conversation in the storage means as a value of a corresponding item.
  • the dialogue control device can perform a conversation specialized for the user as the target object with the user.
  • a storage means for storing various information associated with the object as a value of a corresponding item of the object, and a conversation immediately before the item is defined when the item of the object is defined as a topic.
  • (1) Select a topic that is related to the topic used in (2), and obtain an item value in the selected topic
  • (1) Acquisition conversation or (2) Use conversation using the item value in the topic already stored in the storage unit Is provided as a next conversation, and the conversation generation means causes the value acquired by the acquired conversation to be stored as the value of the corresponding item in the storage means.
  • the robot device can have a conversation with the user that is specialized for the target user.
  • FIG. 1 is a block diagram schematically showing a functional configuration of the robot according to the present embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of the control unit.
  • FIG. 3 is a block diagram showing the software configuration of the robot.
  • FIG. 4 is a conceptual diagram explaining the recording format of acquired information.
  • FIG. 5 is a conceptual diagram showing a configuration of a main part relating to a dialogue control function in the behavior control system.
  • FIG. 6 is a conceptual diagram for explaining the conversation generation procedure.
  • FIG. 7 is a flowchart showing the dialogue generation processing procedure.
  • FIG. 8 is a conceptual diagram explaining a specific processing example of the memory acquisition conversation generation unit at the time of the conversation generation processing.
  • FIG. 9 is a conceptual diagram explaining a specific processing example of the memory acquisition conversation generation unit during the conversation generation processing.
  • FIG. 10 is a conceptual diagram serving to explain a first specific processing example of a storage-based conversation generation unit during a conversation generation process.
  • FIG. 11 is a conceptual diagram serving to explain a first specific processing example of the storage-based conversation generation unit during the conversation generation processing.
  • FIG. 12 is a conceptual diagram serving to explain a second specific processing example of the storage-based conversation generation unit during the conversation generation processing.
  • FIG. 13 is a conceptual diagram serving to explain a second specific processing example of the storage-based conversation generation unit during the conversation generation processing.
  • FIG. 14 is a conceptual diagram explaining a third specific processing example of the storage-based conversation generation unit during the conversation generation processing.
  • FIG. 15 is a conceptual diagram explaining a third specific processing example of the memory use conversation generation unit at the time of the conversation generation processing.
  • FIG. 1 schematically shows a functional configuration of a robot 1 according to the present embodiment.
  • the robot 1 includes a control unit 2 that performs overall control of the entire operation and other data processing, an input / output unit 3, a drive unit 4, and a power supply unit 5. .
  • the input / output unit 3 includes a CCD (Charge Coupled Device) camera 10 corresponding to the eyes of the robot 1 as an input unit, a microphone 11 corresponding to the ears, and a user's And other various sensors corresponding to the five senses.
  • the output unit is equipped with a speaker 12 corresponding to the mouth, or an LED indicator (eye lamp) 14 that forms a facial expression based on a combination of blinking and lighting timing.
  • These output units can express the feedback from the robot 1 in a form other than a mechanical movement pattern by a leg or the like, such as voice or blinking of a lamp.
  • the drive unit 4 is a function block that implements the body operation of the robot 1 in accordance with a predetermined movement pattern commanded by the control unit 2, and is a control target by behavior control.
  • the drive unit 4 is a functional module for realizing a degree of freedom at each joint of the robot 1, and includes a plurality of drive units 15i to 15e provided for each axis such as a roll, a pitch, and a unit at each joint. It consists of l 5 n .
  • the robot 1 can be configured as a leg-type moving port pot for bipedal walking or quadrupedal walking, for example.
  • the power supply unit 5 is a functional module that supplies power to each electric circuit and the like in the robot 1, as the name implies.
  • the robot 1 according to the present embodiment is an autonomously driven type using a battery, and the power supply unit 5 includes a charge battery 19 and a charge / discharge control unit 20 that manages a charge / discharge state of the charge battery 19. .
  • the charging battery 19 is configured, for example, in the form of a “battery pack” in which a plurality of lithium ion secondary battery cells are packaged in a cartridge type.
  • the charge / discharge control unit 20 also measures the terminal voltage of the charging battery 19, the amount of charging / discharging current, the ambient temperature of the charging battery 19, and the like, to determine the remaining capacity of the charging battery 19, and to determine when to start charging. And the end time. The start and end timings of charging determined by the charge / discharge control unit 20 are notified to the control unit 2 and serve as a trigger for the robot 1 to start and end charging operations.
  • the control unit 2 corresponds to a “brain” and is mounted on, for example, the head or the body of the robot 1.
  • a CPU (Central Processing Unit) 21 as a main controller is bus-connected to memory, other circuit components, and peripheral devices. It has a configuration.
  • the bus 27 is a common signal transmission path including a data bus, an address bus, and a control bus. Each device on the bus 27 is assigned a unique address (memory address or I / O address).
  • the CPU 21 can communicate with a specific device on the bus 27 by specifying an address.
  • the RAM (Read Acce ss Memory) 22 is a writable memory composed of volatile memory such as: DRAM (Dy—namic RAM), and loads the program code executed by the CPU 21. Or an executable program Used for temporary storage of work data by
  • the ROM (Read On Memory) 23 is a read-only memory that permanently stores programs and data.
  • the program code stored in the ROM 23 includes a self-diagnosis test program executed when the power of the robot 1 is turned on, a control program for defining the operation of the robot 1, and the like.
  • the robot 1 control program includes a sensor input / recognition processing program that processes sensor inputs from the CCD camera 10 and microphone 11 and recognizes them as symbols.
  • An "action control program” that controls the behavior of the robot 1 based on the input and a predetermined behavior control model, and a “drive control program” that controls the driving of each joint motor and the voice output of the speaker 12 according to the behavior control model. And so on.
  • the non-volatile memory 24 is composed of a memory element that can be electrically erased and rewritten, such as an EE PROM (Electrically Erasable and Programmable ROM), for example. Used to hold in place. Examples of data that should be updated sequentially include encryption keys and other security information, and equipment control programs that should be installed after shipment.
  • EE PROM Electrically Erasable and Programmable ROM
  • the interface 25 is a device for interconnecting devices outside the control unit 2 to enable data exchange.
  • the input / output face 25 performs data input / output between the CCD camera 10, the microphone 11, and the speaker 12 in the input / output unit 3, for example.
  • the interface 25 performs input / output of data / command with each of the drivers 18 i to 18 n in the drive unit 4.
  • Interface 25 is RS (Re commended
  • Serial interface such as 232 C, parallel interface such as IEEE (Inst it e ot e r e ct ri cal and El c rot en icsers) 1284, USB (Universal Serial Bus) Nichiichi Festival, iichi Link (I EEE 1394) interface, SCS I (Small Computer S st em Int erf ace) Interface, PC card and memory Equipped with a general-purpose interface for connecting computer peripherals, such as a computer interface (power slot), allowing the transfer of program data to and from external devices that are connected to the computer. It may be possible to do so.
  • IEEE Inst it e ot e r e ct ri cal and El c rot en icsers
  • USB Universal Serial Bus
  • SCS I Small Computer S st em Int erf ace
  • an infrared communication (IrDA) interface may be provided to perform wireless communication with an external device.
  • IrDA infrared communication
  • control unit 2 includes a wireless communication interface 26, a network interface interface card (NIC) 28, and the like, and a wireless communication interface such as Bluetooth. It can communicate with various external host computers via a wireless network such as IEEE802.11b or a high-area network such as an in-net network.
  • a wireless network such as IEEE802.11b or a high-area network such as an in-net network.
  • FIG. 3 schematically shows a functional configuration of the behavior control system 30 of the robot 1 configured by a control program group stored in the ROM 23.
  • the robot 1 can control the action according to the recognition result of the external stimulus and the change of the internal state. Furthermore, by having a long-term memory function and associatively storing changes in the internal state from external stimuli, behavior control can be performed according to the recognition results of the external stimuli and changes in the internal state.
  • This behavior control system 30 is implemented using object-oriented programming.
  • each software is handled in a module unit called “object” that integrates the data processing procedure with the data.
  • each object communicates between objects using message communication and shared memory. Depending on the communication method, overnight delivery and Invoke can be performed.
  • the behavior control system 30 includes a visual recognition function unit 31 for recognizing an external environment based on sensor outputs of the CCD camera 10, the microphone 11, and the sunset sensor 13 in the input / output unit 3.
  • a recognition function section 32 and a contact recognition function section 33 are provided.
  • the visual recognition function unit 31 executes image recognition processing such as face recognition and color recognition and feature extraction based on an image signal formed by the sensor output of the CCD camera 10. Then, the visual recognition function unit 31 stores information such as a face ID (identifier) unique to the person as the face recognition result, the position and size of the face image area, and the position of the color area as the color recognition result. It outputs information such as size and feature value.
  • image recognition processing such as face recognition and color recognition and feature extraction based on an image signal formed by the sensor output of the CCD camera 10. Then, the visual recognition function unit 31 stores information such as a face ID (identifier) unique to the person as the face recognition result, the position and size of the face image area, and the position of the color area as the color recognition result. It outputs information such as size and feature value.
  • the auditory recognition function unit 32 executes recognition processing for various sounds, such as voice recognition and speaker recognition, based on a voice signal formed by the sensor output of the microphone 11. Then, the auditory recognition function unit 32 converts the character string information of the recognized word, which is the result of the voice recognition, and the speaker ID information unique to the speaker, which is the result of the speaker recognition processing based on the acoustic features and the like. Output
  • the contact recognition function unit 33 recognizes an external stimulus such as “patched” or “hit” based on the pressure detection signal that is the sensor output of the evening sensor 13, and outputs a recognition result.
  • the internal state management unit 34 manages several types of emotions, such as instinct and emotion, by modeling them, and is recognized by the visual recognition function unit 31, the auditory recognition function unit 32, and the contact recognition function unit 33. It manages the internal state of robot 1 such as instinct and emotion in response to external stimuli.
  • the behavior control system 30 includes a short-term memory unit 35 that performs short-term memory lost over time in order to perform behavior control according to the recognition result of the external stimulus and changes in the internal state. It has a long-term storage unit 36 for storing information for a relatively long time. The classification of short-term and long-term memory mechanisms depends on neuropsychology.
  • the short-term memory unit 35 is a function module that holds the evening get event recognized by the visual recognition function unit 31, the auditory recognition function unit 32, and the contact recognition function unit 33 for a short period of time. For example, the input image from the CCD camera 10 is stored for a short period of about 15 seconds.
  • the long-term storage unit 36 is used to hold information obtained by learning, such as the name of an object, for a long period of time.
  • the RAM 22 in the control unit 2 (Fig. 2) Memory 24 is used.
  • the behavior of the robot 1 generated by the behavior control system 30 includes “reflex behavior” realized by the reflex behavior section 39 and “situation-dependent behavior” realized by the context-dependent behavior hierarchy 38. It can be broadly divided into “contemplation actions” realized by the action hierarchy 37.
  • the reflex action part 39 is a function module that realizes a reflexive body operation in response to an external stimulus recognized by the visual recognition function part 31, the auditory recognition function part 32, and the contact recognition function part 33. is there.
  • the reflex action is basically the action of directly receiving the recognition result of the external information input from the sensor, classifying it, and directly determining the output action. For example, behaviors such as chasing or nodding a human face are preferably implemented as reflex actions.
  • the situation-dependent behavior hierarchy 38 is based on the storage contents of the short-term storage unit 35 and the long-term storage unit 36 and the internal state managed by the internal state management unit 34. Control responsive actions.
  • the Situation-Dependent Behavior Hierarchy 38 prepares a state machine for each behavior, classifies the recognition result of external information input from the sensor depending on the previous behavior or situation, and describes the behavior on the aircraft. Expressed in The context-dependent behavior hierarchy 38 also implements an action to keep the internal state within a certain range (also called “homeless evening cis action”), and when the internal state exceeds the specified range, Activate the action so that the action to return the internal state to within the range becomes easy to appear (actually, the internal state and the external environment Action is selected in consideration of both). Situation-dependent behavior has a slower response time than reflex behavior.
  • the reflection behavior hierarchy 37 performs a relatively long-term action plan of the robot 1 based on the storage contents of the short-term storage unit 35 and the long-term storage unit 36.
  • Reflection behavior is behavior that is performed in a given situation or under human command, with inference and planning to realize it. For example, searching for a route from the position of a robot and the position of a target is equivalent to deliberate behavior. Such inferences and plans may require more processing time and computational load (that is, more processing time) than the reaction time for the robot 1 to maintain the interaction. Thoughts are returned, and the contemplation behavior makes inferences and plans. ,
  • the reflection behavior hierarchy 37, the situation-dependent behavior hierarchy 38, and the reflex behavior unit 39 can be described as a higher-level application program independent of the hardware configuration of the robot 1.
  • the hardware-dependent behavior control unit 40 outputs sound via the speaker 12 of the input / output unit 3 or blinks the LED 14 at a predetermined time in response to an instruction from the host application. It drives or drives the corresponding drive unit 1 Sil 5 n of the drive unit 4.
  • the internal state management unit 34 manages the instinct and emotion modeled as described above, and stores the state of the instinct and emotion in the visual recognition function unit 31, the auditory recognition function unit 32, and the contact recognition function unit.
  • the instinct elements that constitute such instinct are fatigue (fa-tigue), heat or body temperature (temeratur ⁇ ), Pain, appetite or hunger, hungry, thirst, affection (af— There are nine instinct elements, such as feeti on), curiosity, excretion (e1 imina-tion), and libido (sexual).
  • the state management unit 34 holds these instinct elements and emotional elements as parameters representing the strengths of the elements, and stores the parameter values of these elements over time in the visual recognition function unit 31.
  • the instincts and emotions of the robot 1 are changed every moment by periodically updating based on the recognition results of the auditory recognition
  • the internal state management unit 34 performs a predetermined calculation on each instinct element based on the recognition results of the visual recognition function unit 31, the auditory recognition function unit 32 and the contact recognition function unit 33, the elapsed time, and the like.
  • ⁇ I [k] is the variation of the instinct factor at that time calculated by the equation
  • I [k] is the current parameter value of the instinct element
  • ki is the coefficient representing the sensitivity of the instinct element.
  • the internal state management unit 34 updates the recognition results of the visual recognition function unit 31, the auditory recognition function unit 32, and the contact recognition function unit 33, and the behavior of the robot 1 at that time for each emotion element.
  • ⁇ ⁇ ⁇ (t) is the amount of change of the emotional element at that time calculated by a predetermined arithmetic expression based on the elapsed time from, etc.
  • E (t) is the current parameter value of the emotional element.
  • k e be the coefficient representing the sensitivity of the emotional element.
  • E [t + 1] E [t] + k e x ⁇ E [t] by using « (2) calculates a parameter Isseki value E of the emotional element in the next cycle [t + l] Update the parameter value of the emotional element by replacing it with the current parameter value of the emotional element.
  • the effect of the recognition results of the visual recognition function unit 31, the auditory recognition function unit 32, and the contact recognition function unit 33 on each instinct element and each emotion element is determined in advance.
  • the recognition result of “stroke” by the contact recognition function unit 33 is based on the variation of the parameter value of “love” of the instinct element and the parameter value of “happy” of the emotion element.
  • the value variation ⁇ ⁇ [t] is greatly affected.
  • This robot 1 is provided with the user and other objects (hereinafter referred to as
  • the columns are each a predetermined item (“Name”, “Kind”, “Face ID (Face ID)”, “Speaker ID (
  • Fig. 4 shows the state after the values of all items for each object have already been obtained. Among the items, “Name” and “Speaker ID (
  • Speaker ID "BIRTHDAY”, “Favorite” and “Friend” are all included in the hearing recognition function 32 when talking with the user.
  • the “Face ID” and “Kind” are obtained by voice recognition processing, and are obtained by various image recognition processing of the visual recognition function unit 31 at the time of dialogue with the user. It will be remembered.
  • the numerical value described to the left of each value represents the degree of impression for that value.
  • This impression level is a measure of whether or not the robot 1 may use the topic for conversation in the future. For example, in the example of Fig. 4, the higher the impression level is, the better the impression is. The lower the lower, the worse the impression (not want to talk).
  • the impression degree is a parameter overnight value of “affection” in the internal state management unit 34 immediately before acquiring the value of the item, and the “affection” immediately after acquiring the value of the item. The difference from the parameter overnight value of "is added.
  • An acquired conversation generating unit 50 for generating a conversation (hereinafter referred to as an acquired conversation) and a storage for generating a conversation (hereinafter, referred to as a utilized conversation) using the value of each item of the acquired user or the like. It can be divided into a use conversation generation unit 51 and a situation determination unit 52 that controls the memory acquisition conversation generation unit 50 and the storage use conversation generation unit 51.
  • the situation judging unit 52 determines the dialogue partner based on the recognition result of the visual recognition function unit 31 and the recognition result of the auditory recognition function unit 32 obtained through the short-term memory unit 35 (FIG. 3). After recognizing the existence of a potential user, as shown in Fig. 6, at this time, the user's face ID and speaker ID obtained as recognition results of the visual recognition function unit 31 and the auditory recognition function unit 32 are stored and acquired. It is transmitted to the generation unit 50 and the memory use conversation generation unit 51, and whether or not it is possible to generate an acquisition conversation or a use conversation for each of the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51. (Step SP 1A, Step SP 1B).
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 determine how to generate the topic and how to generate the topic in accordance with a predetermined topic generation rule and topic usage method determination rule.
  • Conversation generation processing is performed to determine how to use the topic, such as whether to generate an acquired conversation or a used conversation by using it (step SP2A, step SP2B).
  • the first topic generation rule is a rule for selecting another arbitrary item of the same object as the topic used in the immediately preceding conversation as the next topic.
  • the item with the highest impression degree is selected. Select in order. For example, in Fig. 4, if the topic of the previous conversation was "Birthday" of "Object ID 1", the impression degree was the highest among other items of the same "Object ID 1". This is the case when the item is the topic of the next conversation.
  • the second topic generation rule is a rule that selects, as the next topic, an item that is related to the same object as the topic used in the immediately preceding conversation. If the conversation topic is “Favorite” in “Object ID 1”, then “Dislike” (Di sl ike) in “Object ID 1” is the subject of the next conversation. Is the case.
  • the third topic generation rule is a rule for selecting another item of the target object that can be identified from the value of the topic item used in the immediately preceding conversation as the next topic, and in this embodiment, ,
  • the next object is in order from the object with the highest stamping strength. For example, in FIG. 4, if the topic of the previous conversation was “Friend (Fri end)” of “Object ID 1”, then “Friend (Fr i end)” of “Object ID 2” This is the case when one of the items is the topic of the next conversation.
  • the fourth topic generation rule is a rule that selects the same item of the same object as the topic used in the previous conversation as the next topic.For example, in FIG. 1 "," Birthday (BIRTHDAY) ", and the same” Object ID 1 “and the same” Birthday (BIRTHDAY) "will be the topic of the next conversation.
  • the fifth topic generation rule is a rule that selects the same item of another object having the same value as the item value in the topic used in the immediately preceding conversation as the next topic. If the topic of "Favorite" in “Object ID 1" is "Favorite”, the value of "Favorite” is the same “tea”. "Object ID 3" This is the case when "Favorite” is the topic of the next conversation.
  • the sixth topic generation rule is a rule that selects an item of another object having a value related to the above value of the item in the topic used in the immediately preceding conversation as the next topic. If the topic of the previous conversation was “Favorite” of “Object ID 1”, it was changed from “Favor—it” to “horse” to “horse racing”. ”Is the value of“ Favorite ”, and“ Object ID 6 ”is selected. This“ Object ID 6 ”of“ Favorite ”is used for the next conversation. This is the case when it is a topic. Note that among these first to sixth topic generation rules, the first to third topic generation rules can be used both when generating the acquired conversation and when generating the use conversation. Topic generation rules cannot be used when generating acquired conversations, but are effective when generating used conversations.
  • the memory acquisition conversation generation unit 50 randomly (arbitrarily) selects one of these first to third topic generation rules, and the memory use conversation generation unit 51 selects one of the first to sixth topic generation rules.
  • One of the generation rules is selected at random, and according to the selected topic generation rule, for example, when the topic of the immediately preceding conversation is “Favorite object ID 1 (Favor it e)”, “Friend of object ID 1 (Fr i end)”, “Dislike of object ID 1 (D is 1 ike)”, “Birthday of object ID 2 (BIRTHDAY)”, “Object ID 1
  • the next conversation topic is generated in the form of “BIRTHDAY”, “Favorite” of object ID 3 or “Favorite” of object ID 6. That would be.
  • the first topic use method determination rule is a rule that generates an utterance using the value of the corresponding item stored in the long-term storage unit 36 as it is. If the thing (Favo rite)] is generated, "Yukiko's favorite thing is tea. And “What is Yukiko's favorite thing?" ] Is generated.
  • the second topic use method determination rule is a rule that searches the database from the value of the corresponding item stored in the long-term storage unit 36, reads out related items, and uses this to generate an utterance. For example, if “Birthday of object ID 1 (BIRTHDAY)” is generated as a topic, then “73/5/2”, which is the value of “Birthday (BIRTHDAY)”, is used as a keyword for anniversary data. Searching for the evening pace and using the obtained "traffic advertisement day”, "May 2 is a traffic advertisement day what is it. ] Is generated.
  • the third topic use method determination rule is that the database is searched with a related value calculated or associated from the value of the corresponding item stored in the long-term storage unit 36 and the related item is further searched.
  • This is a rule that reads out an item and uses this to generate an utterance. For example, if “birthday (BIRTHDAY) of object ID 1” is generated as a topic, the “birthday (BIRTHDAY)” A search for horoscope data using “Taurus”, which is calculated from the value “7 3/5/2”, as a keyword, and using the obtained “Patience” item, She is a patient. This is the case when an utterance is generated.
  • the first topic use method decision rule can be used both when generating the acquired conversation and when generating the use conversation.
  • the topic usage method decision rule 3 cannot be used when generating an acquired conversation, but is effective when generating a used conversation.
  • the memory acquisition conversation generation unit 50 selects the first topic use method determination rule, and the memory use conversation generation unit 51 randomly selects one of the first to third topic use method determination rules. Then, an utterance for acquiring information and an utterance using the acquired information are generated in accordance with the selected topic use method determination rule.
  • the situation determination unit 50 and the memory use conversation generation unit 51 can generate a topic and determine a method of using the topic by the topic generation processing
  • the situation determination unit determines that fact and the topic and the method of use. While notifying to 52, if such a topic cannot be generated, the fact is notified to the situation determination unit 52 (step SP3A, step SP3B).
  • the situation judgment unit 52 The first degree is the degree of the number of items that have not yet obtained a value for the total number of items of the dialogue partner, and the second degree is the degree of the number of items that have already obtained a value for the total number of items of the dialogue partner Conversation generation based on degree (Step SP 4). More specifically, the situation determination section 52 stores the information when the first degree is larger than the second degree. The acquired conversation generation unit 50 is selected. When the first degree is smaller than the second degree, the memory use conversation generation unit 51 is selected.
  • the situation determining unit 52 selects one of them in this way, and then gives the selected memory acquisition conversation generating unit 50 or memory use conversation generating unit 51 based on the topic and the usage method.
  • An instruction is given to start a process of generating an acquired conversation or a use conversation (hereinafter, this is referred to as a conversation generation process) (step SP, 5).
  • the situation determination unit 52 generates the memory acquisition conversation generation.
  • An instruction is given to the unit 50 or the memory use conversation generation unit 51 to start a conversation generation process based on the topic and the method of use (step SP5).
  • the unit 50 or the memory use conversation generation unit 51 starts the conversation generation process, first accesses the internal state management unit 34 to acquire the parameter value of “Ai Chin” among the instinct elements, Thereafter, the utterance for acquiring information generated based on the topic determined as described above and the method of using the topic.
  • the data D1 is sequentially transmitted to the voice synthesizing unit 53 in the hardware-dependent behavior control unit 40.
  • a speech signal S 1 is generated in the speech synthesis section 53 based on the character string data D 1, and is given to the speaker 12 (FIG. 1).
  • Each utterance content that forms a usage conversation consisting of a series of utterances including usage utterances such as Is output from the speaker 12 (step SP 6).
  • the response of the user to the topic is collected by the microphone 11 and given to the auditory recognition function unit 32 of the behavior control system 30 (FIG. 3), and the voice is recognized by the auditory recognition function unit 32.
  • the memory-acquired conversation creator 50 if the memory-acquired conversation generator 50 is selected in step SP4, the memory-acquired conversation creator 50 generates a response to the acquired utterance based on the auditory recognition function 32 voice recognition result.
  • the answer to the question based on the acquired utterance (that is, the value of the item being acquired at that time) is extracted from the user's response and stored in the long-term storage unit 36 in the format described above with reference to FIG. 4, for example. (Step SP 6).
  • the memory acquisition conversation generation unit 50 accesses the internal state management unit 34 to acquire the parameter value of “affection” at this time, and acquires the acquired parameter value and the parameter value immediately before the conversation.
  • the difference from the parameter value of the same “affection” is calculated, and the calculated result is associated with the value as the impression value of the item acquired by the user or the like as described above, and the long-term storage unit is associated with the value. (Step SP 6).
  • the memory acquisition conversation generation unit 50 or the memory use conversation generation unit 51 sends a notification notifying this to the situation determination unit 52 (step SP7). Then, upon receiving such notification, the situation determination unit 52, upon receiving the notification from the memory acquisition conversation generation unit 50 or the memory use conversation generation unit 51 selected in step SP4, notifies the topic notified in step SP3A or step SP3B and uses the topic. The method is notified to the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 (step SP8A, step SP8B).
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 store the notified topic and its usage as a conversation history (step SP9A, step SP9B), and thereafter, perform one-time communication with the same conversation partner.
  • the acquired conversation or the use conversation is sequentially generated in the same manner as described above until the end of the dialogue (Step SP 10 A—Step SP 1 A to Step SP 10 A, Tape SP 1 OB—Step SP 1 B to Step SP 10 B).
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 determine the generation of the topic and the method of using the topic in accordance with the topic generation processing procedure RT1 shown in FIG.
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 have an inquiry from the situation determination unit 52 at step SP 1 As step SP IB in FIG. 6 as to whether it is possible to generate an acquisition conversation or a use conversation.
  • this topic generation processing procedure RT1 is started, and in step SP21, one topic generation rule is randomized from the above-described first to third or first to sixth topic generation rules.
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 proceed to step SP22, and generate a topic according to the topic use rule selected in step SP1.
  • the topic of the previous conversation was “Favorite of the object ID 1”
  • Topics are generated in the form of “Friend)” and “Dislikes of object ID1 (Dis1ike)”.
  • step SP23 the storage area associated with the “Name” column of the object ID in the long-term storage unit 36
  • the data and the data of the storage area associated with the column of the item corresponding to the object ID are read. For example, if the topic selected in step SP 21 is “Friend of Object ID 1 (Fr i end)”, it corresponds to the “Name” column of “Object ID 1” in FIG. Attached length Of the storage area in the period storage unit 36 and the “friend (of the object ID 1)”
  • the value of the “Name (Name)” of the object ID or the value of the corresponding item of the object ID has not been obtained yet, and the data is not stored in the read storage area. It may not be stored.
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 determine whether it is possible to generate the acquisition conversation or the use conversation based on each data read in step SP23. No, that is, determine whether the value of the desired item has been obtained.
  • step SP24 When the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 obtain a negative result in step SP24, they return to step SP21, and thereafter, a positive result in step SP24. Steps SP21 to SP24 are repeated until it is obtained.
  • step SP24 the process proceeds to step SP25, and the memory acquisition conversation generation unit 50 Selects the above-mentioned first topic use method determination rule as the topic use method determination rule, and the memory use conversation generation unit 51 selects one of the above-described first to third topic use method determination rules. Furthermore, the memory use conversation generation unit 50 and the memory use conversation generation unit 51 proceed to step SP26, where the conversation history stored at that time is stored. By checking, in the series of dialogues with the user up to that point, the combination of the topic selected in step SP21 and step SP25 in this step and the method of using it were the same. Did you already have a conversation Or the judges.
  • step SP26 When the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 obtain a negative result in step SP26, the process proceeds to step SP27 and the topic generation unit 50 generates this topic.
  • the processing procedure RT1 is ended, and then the situation judgment unit 52 is notified that the topic has been generated and the method of using the topic has been determined (steps SP3A and SP3 in FIG. 6). If a positive result is obtained in step SP26, the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 return to step SP25, select a new topic use method determination rule, and thereafter, The loop of steps SP25-SP26-SP25 is repeated until all topic use method determination rules are combined, or a positive result is obtained in step SP26.
  • step SP27 the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 complete the combination of all the topic use method determination rules for the topic by this processing, but still a negative result is obtained in step SP27.
  • the process returns to step SP21 to generate a new topic, and thereafter, processes from step SP2 onward are performed in the same manner as described above.
  • step SP 28 the process proceeds to step SP 28 to end this topic generation processing procedure RT 1, and thereafter, the generation and use of the topic to the situation determination unit 52. Notify that the method could not be determined (step SP 3 A, step SP 3B in FIG. 6).
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 are configured to generate topics and determine how to use them.
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 are shown in FIG. As shown in Fig. 8, in correspondence with each of the above items, the acquired utterance for obtaining the value of the item and the template for generating the use utterance using the value of the item are previously defined as shown in Fig. 8. Have.
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 use the “Name” of the object that is the topic at that time in the corresponding part of the template of the corresponding item during the conversation generation processing.
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 are based on the topic determined in step SP2A or step SP2B in FIG.
  • a state transition model that specifies in advance what kind of utterance and processing is performed at which evening is used for each method of use. , That is, on It is provided for each of the first to third topic use method determination rules described above.
  • each state called a node (Node 1 to Node 6) is connected by a path called an arc (Ac 1 to Ac 6), and each path is spoken at that time.
  • the utterance content to be performed and the processing content to be performed at that time are associated with each other.
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 perform the state (node No del to No) according to the corresponding state transition model. de 6), the character string data D 1 of the utterance associated with the path between the passing states (arcs Ar1 to Ar7) is sequentially converted to the speech synthesis unit 53 (Fig. 5), the uttered voice of the predetermined content is sequentially output from the speaker 12 in a predetermined order.
  • the acquired utterance and the use utterance are also associated with one of the paths in each state transition model, and the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51
  • the acquired utterance or the use utterance is generated as described above, and the character string data D1 is transmitted to the speech synthesis unit 53, so that the voice of the obtained utterance or the use utterance is transmitted to the speaker 12.
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 form a series of acquisition utterances or use utterances corresponding to the topic determined in step SP2 As step SP2B in FIG. It is designed to be able to generate acquired conversations and utterance conversations composed of utterances.
  • FIGS. 8 and 9 show specific examples of a conversation (acquired conversation) with a user for acquiring a value of a certain item under the control of the memory acquisition conversation generation unit 50.
  • the topic is “Favorite object ID 1 (Favorite)”, and the first topic use method determination rule is selected as the use method.
  • the memory acquisition conversation generation unit 50 makes a state transition from the node No del to the node No de 2 at the initial stage. Is output to the speech synthesis unit 53 to confirm whether or not the user can acquire the memory, and to the internal state management unit 34 (Fig. 5). Access to get the parameter value of “love” at that time. 'Next, the memory acquisition conversation generation unit 50 determines from the voice recognition result of the auditory recognition function unit 32 (FIG. 5) that the positive response ⁇ Based on the confirmation, the state transitions from node No de 2 to node No de 3. At this time, the acquired utterance associated with arc Ac 2, in this example, "What is Yukiko's favorite thing? Is output to the speech synthesis unit 53.
  • the memory acquisition conversation generation unit 50 confirms that a negative response such as “Yadayo” has been received from the user at the node No de 2 based on the voice recognition result of the auditory recognition function unit 32. Then, the state changes from node No de 2 to node No de 6. At this time, the character string data D 1 of the utterance content “I'm sorry” associated with the arc Ac 6 is output to the speech synthesis unit 53.
  • the memory acquisition conversation generation unit 50 confirms that the user has answered “I like tea” at the node No de 3 based on the speech recognition result of the auditory recognition function unit 32.
  • the memory acquisition conversation generation unit 50 confirms, based on the speech recognition result of the auditory recognition function unit 32, that the user has received a negative response such as “no” from the user at the node No.
  • the state transitions from de 4 to node No de 3.
  • the acquired utterance associated with arc Ac 7 in this example, "What is Yukiko's favorite thing? It outputs the character string data D1 of the utterance content to the speech synthesizer 53.
  • the memory acquisition conversation generation unit 50 confirms that there is a positive response such as “yes” from the user at the node No de 4 based on the speech recognition result of the auditory recognition function unit 32. Then, the state transition from the node No de 4 to the node No de 5 is performed, and at this time, the character string data D 1 of the utterance content “Ok, I learned” associated with the arc Ac 4 is output to the speech synthesis unit 53, By accessing the internal state management unit 34 (FIG. 5), the parameter value of "affection” at that time is acquired, and the acquired parameter value of "affection j is acquired before output of the acquired utterance. Calculate the difference from the parameter value of "love”. .
  • the memory acquisition conversation generation unit 50 thereafter makes a state transition from the node No. 5 to the node No. 6, and at this time, the item "Favorite" of the user acquired as described above. Is stored in the long-term storage unit 36 (FIG. 5), and the difference from the parameter value of “affection” calculated as described above at this time is used as the degree of impression for that value. In the long-term storage unit 36. Then, when the state transition to the node Node 6 is made, the memory acquisition conversation generation unit 50 notifies the status determination unit 52 (FIG. 5) that the series of utterances has ended, and thereafter, the generation processing of the acquisition utterance this time is performed. To end.
  • FIG. 10 and FIG. 11 show a first specific example of a conversation with a user using a value of a certain item under the control of the memory use conversation generation unit 51 (use conversation). Things.
  • the topic is “Birthday of object ID 1 (BIRTHDAY)”, and the first topic usage method determination rule is selected as the usage method.
  • the memory use conversation generation unit 51 makes a state transition from the node Node lO to the node Node 11, and at this time, "Yuki, do you want to talk about this?"
  • the character string data D1 of the utterance content By outputting the character string data D1 of the utterance content to the speech synthesis unit 53, it is checked whether the user is good at talking and the internal state management unit 34 (Fig. 5) is accessed. Then, obtain the parameter value of “affection” at that time.
  • the memory-based conversation generation unit 51 confirms that there is a positive response from the user at node Node 11 based on the speech recognition result of the auditory recognition function unit 32 (FIG. 5). Then, the state transitions from node Node 11 to node Node 12. At this time, the usage utterance associated with arc Ac 11, in this example, "Yukiko's birthday is 73Z5 / 2! Is output to the speech synthesis unit 53. After that, the memory use conversation generation unit 51 further makes a state transition from the node Node 12 to the node No del 3.
  • the memory use conversation generation unit 51 determines that a negative response such as “Yadayo” has been received from the user at the node Node 11 based on the speech recognition result of the auditory recognition function unit 32.
  • a negative response such as “Yadayo”
  • the character string data D 1 of the utterance content “I'm sorry” associated with the arc Ac 13 is output to the speech synthesizer 53.
  • the memory use conversation generation unit 51 notifies the situation determination unit 52 (FIG. 5) that a series of utterances has ended, and thereafter ends the use conversation generation processing of this time. I do.
  • FIG. 12 and FIG. 13 show a second specific example of a conversation (use conversation) with the user using the value of an item performed under the control of the memory use conversation generation unit 51.
  • the topic is “Birthday of object ID 1 (BIRTHDAY)” and the second topic usage method determination rule is selected as the usage method.
  • the memory use conversation generation unit 51 initially makes a state transition from the node Node20 to the node Node21, and at this time, "Yuki, do you want to talk?"
  • the character string data D1 of the utterance content By outputting the character string data D1 of the utterance content to the speech synthesis unit 53, it is confirmed whether or not the user's talk is good, and the internal state management unit 34 (Fig. 5) is accessed. Then, obtain the parameter value of “affection” at that time.
  • the memory-based conversation generation unit 51 determines from the speech recognition result of the auditory recognition function unit 32 (FIG. 5) that a positive response from the user was received at the node N 0 de 21 by the user. Then, the state transitions from Node 21 to Node 22. At this time, the value of “BIRTHDAY” of “Object ID 1” is read from the long-term storage unit 36, and the obtained value is “ Search for the anniversary database with "73/5/2" as the key.
  • the memory utilization conversation generation unit 51 obtains the item “traffic advertisement day” as a result of this search, the utterance using this, for example, “May 2 is a traffic advertisement day! Is output to the speech synthesis unit 53. Further, the memory use conversation generation unit 51 further makes a state transition from the node Node 22 to the node Node 23 thereafter.
  • the memory use conversation generation unit 51 sends the -When it is confirmed that there is a negative response such as "Yadayo" based on the speech recognition result of the auditory recognition function unit 32, the state transitions from Node 21 to Node 2 3 and the arc
  • the character string D 1 of the utterance content “I'm sorry” associated with Ac 23 is output to the speech synthesizer 53.
  • the memory use conversation generation unit 51 notifies the situation judgment unit 52 (FIG. 5) that the series of utterances has ended, and thereafter ends the use conversation generation processing of this time. I do.
  • FIG. 14 and 15 show a third specific example of a conversation (use conversation) with the user using the value of an item performed under the control of the memory use conversation generation unit 51. is there.
  • the topic is “Birthday of object ID 1 (BIRTHDAY)”, and the third topic usage method determination rule is selected as the usage method.
  • the memory use conversation generation unit 51 makes a state transition from the node Node 30 to the node Node 31.
  • the memory use conversation generation unit 51 determines that the user has received a positive response to “yes” at the node N 0 de31, and the speech recognition function of the auditory recognition function unit 32 (FIG. 5). When state is confirmed based on, state transition from node Node31 to node Node32 is performed. At this time, "horoscope" is used as a keyword to search for horoscope data. Then, the memory use conversation generation unit 51, when the result “traffic advertisement ⁇ day” is obtained as a result of this search, the utterance using this, for example, the content of the utterance “Taurus is patient” The character string data D1 is output to the speech synthesis unit 53.
  • the memory use conversation generation unit 51 further makes a state transition from the node Node 32 to the node No de 33.
  • the memory use conversation generation unit 51 recognizes that a negative response such as “Yadayo” has been received from the user at the node Node 31 by the voice recognition function unit 3 2 When confirmed based on the results, the state transitions from node Node 31 to node Node 33, and at this time, the character string data of the utterance “Sorry” associated with the arc Ac 3 3 D 1 is output to the voice synthesizer 53.
  • the memory use conversation generation unit 51 notifies the situation judgment unit 52 (FIG. 5) that the series of utterances has ended, and thereafter, the use conversation of this time The generation processing ends.
  • the robot 1 acquires various information about the user through a conversation with the user (acquired conversation), and stores the acquired information as a value for an item in the long-term storage unit 36 (FIG. 5).
  • the user uses the value of each item stored in the long-term storage unit 36 to have a conversation (use conversation) with the user.
  • the robot 1 can perform a dialogue between the user and the user or a content related to the user, that is, a dialogue specific to the user, and the user can feel the personalization process in this way. Therefore, the affinity of the user to the mouth bot 1 can be improved.
  • the robot 1 generates the topic in the next conversation within a range that can be associated with the topic in the immediately preceding conversation according to the first to sixth topic generation rules described above.
  • the topic does not change extremely, and not only the information about the acquired user etc. is used as it is, but also the horoscope and the anniversary according to the first to third topic use method determination rules described above. Since the conversation is performed while performing a search or the like, the conversation in the conversation with the robot 1 can be made more interesting, and the variation of the conversation can be increased.
  • the memory acquisition conversation generation unit 50 and the memory use conversation generation unit 51 have a conversation history, and based on the conversation history, the same topic and the method of using the same topic in a series of conversations with the same user. Combinations of conversations are not generated Therefore, the utterance related to the user acquired by the robot 1 is not output immediately after the acquisition, so that it is possible to prevent a decrease in interest.
  • the judgment unit 52 Under the control of the judgment unit 52, the acquired conversation and the use conversation are switched according to the acquisition state of the information associated with the user, so that there is no information associated with the user. It is possible to prevent the appearance of unnatural behaviors without the appearance of behaviors that use memory in situations or the behavior of trying to acquire more information in situations where all information has been acquired. Wear.
  • the values of the respective items of the user and the like are stored in the long-term storage unit 36 together with the impression degree, and a topic is selected based on the impression degree.
  • the appearance frequency of the topic related to the item can be changed accordingly, and the robot 1 speaks what he wants to talk, and does not speak what he does not want to talk to.
  • the robot 1 acquires various information about the user through a conversation with the user, and the acquired information is used as a value for the item in the long-term storage unit 36 (FIG. 5).
  • the user can use the value of each item stored in the long-term storage unit 36 to have a conversation with the user.
  • the user can realize the process of personalization in this way, the user's feeling of closeness to the robot 1 can be improved, and thus a robot with higher entertainment can be provided. realizable.
  • the present invention is applied to an entrainment robot configured as shown in FIGS. 1 to 3, but the present invention is not limited to this. Not limited to, entertainment robots having other configurations, The present invention can be widely applied to other robots, various devices other than robots, and various other dialog control devices for performing dialog control with a user. Further, it can be widely applied to various software such as software for video games. Further, in the above-described embodiment, a case has been described in which the impression degree of each item described above with reference to FIG. 4 is determined when acquiring the value of the item, and is not updated thereafter. Not limited to this, the impression degree may be updated. By doing so, the frequency of appearance of various topics can be changed, and at that time, conversation can be performed according to the situation at that time. Can be further improved.
  • the impression degree of each item described above with reference to FIG. 4 is calculated by the difference between the parameter “love” stored in the internal state management unit 34 before and after the item is acquired, and the difference between the values.
  • the present invention is not limited to this, and the calculation is performed based on the parameter values of other instinct elements or emotional elements held in the internal state management unit 34. Alternatively, it may be obtained by another method.
  • the RAM 22 and the non-volatile memory 24 which are internal memories of the control unit 2 are used as storage means for storing the value of each item of the object.
  • the present invention is not limited to this, and another storage medium may be used, or an external storage medium such as an external memory may be used.
  • a topic related to the topic used in the immediately preceding conversation is selected, and the acquired conversation or the long-term storage unit 36 for acquiring the value of the item in the selected topic is already stored.
  • the present invention has been described in connection with the case where it is constituted by three modules, namely, the situation judging section 52 as situation judging means for causing the forming section 50 or the memory use conversation generating section 51 to generate the next conversation.
  • the present invention is not limited to this, and various other configurations can be widely applied as the configuration of the conversation generating means.
  • the present invention is not limited to this, and various other rules can be widely applied to such a topic generation rule.
  • the number may be a number other than 6.
  • the three rules of the above-described first to third topic use method determination rules are prepared as topic use method determination rules that define the use method of the generated topic.
  • the present invention is not limited to this, and various other rules can be widely applied as such topic use method determination rules.
  • the number may be a number other than three.
  • storage means for storing various information associated with an object as a value of a corresponding item of the object, and an item of the object defined as a topic
  • a topic that is related to the topic used in the previous conversation is selected, and the value of the item in the topic that is already stored in the acquired conversation or the storage means for acquiring the value of the item in the selected topic is obtained.
  • the conversation generating means stores the value acquired by the acquired conversation in the storage means as the value of the corresponding item.
  • a conversation specialized for a user as an object can be performed with the user, and thus a dialogue control device capable of improving the entertainment can be realized.
  • storage means for storing various information associated with the object as a value of a corresponding item of the object, and when the item of the object is defined as a topic, A topic that is related to the topic used in the selected conversation, and use the acquired conversation to obtain the value of the item in the selected topic or use the value of the item in the topic already stored in the storage means.
  • a conversation generating means for generating a conversation as a next conversation is provided, and the conversation generating means stores the value obtained by the acquired conversation in the storage means as a value of a corresponding item, thereby becoming an object.
  • a conversation specialized for the user can be performed with the user, and thus a robot device capable of improving the mentality can be realized.
  • the invention of the present application can be applied not only to entertainment robots, but also to various robots other than the above, and also to personal computers and the like other than robots, for example, having an interactive function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Toys (AREA)
  • Manipulator (AREA)

Abstract

ユーザに特化した対話を行い得るロボットがなかった。対象物に付随する各種情報を、当該対象物の対応する項目の値として記憶すると共に、直前の会話で使用した話題と関連のある話題を選択し、当該選択した話題における項目の値を獲得するための獲得会話又は既に記憶している当該話題における項目の値を利用した利用会話を、次の会話として生成するようにし、このとき獲得会話により獲得した値を、対応する項目の値として記憶するようにした。

Description

明 細 書 対話制御装置及び方法並びにロボット装置 技術分野
本発明は、 対話制御装置及び方法並びに口ポッ ト装置に関し、 例えばェン夕一 ティンメントロボヅ 卜に適用して好適なものである。 背景技術
近年、 一般家庭向けのェン夕一ティンメントロボットが数多く商品化されてい る。 このようなエンターテインメントロボットでは、 家庭内でュ一ザと生活を共 にする場面を想定した場合、 ユーザから与えられたタスク、 例えば『ボールを蹴 つて』 という指示があつたときの 『ボールを蹴る』 というタスクを達成するため の行動のほかに、 自発的にバラエティに富んだ行動を起こすことで、 一方的なコ ミュニケ一シヨンを避け、 かつ当該エンターティンメントロボヅ トと毎日イン夕 ラクシヨンしても飽きないようにする必要がある。
従来の音声対話システムは、 例えばビデオの録画予約や、 電話番号案内など、 あるタスクを達成することを目的としたものがほとんどである (例えば非特許文 献 1参照) 。 また、 対話の応答生成のアルゴリズムとしてはこの他に、 ィライザ ( E l i z a ) に代表されるような単純な応答文生成システムがある (例えば非 特許文献 2参照) 。
しかしながら、 自発的にバラエティに富んだ行動を起こさせるためには、 ェン 夕一ティンメントロボヅトに予め各種ィン夕ラクシヨンのためのバラエティに富 んだ数多くの知識や行動パターンに関するデータを与えておく必要があるが、 現 実的な問題として、 エンターティンメントロボッ トにもたせ得るデ一夕量には限 界がある。
またロボヅトを作成する際に、 そのロボットのュ一ザ個人個人に合わせたデ一 夕を作成することは大変な労力を必要とするため、 どのロボッ卜でも予め同じ知 識をもたせることになるが、 それではユーザに 「自分だけのロボット」 といった 親密さを感じさせることが難しい。 しかし、 家庭の中で人間とともに生活する口 ボットには、 そのユーザにとって面白い、 といったパ一ソナライズされた行動が できることが求められる。
そこで、 ユーザの名前や誕生日、 性別、 好きなものあるいは嫌いなもの等の情 報をそのュ一ザとのィン夕ラクシヨンを通して能動的又は受動的に獲得し、 その 情報を用いてそのュ一ザとの会話を行い得るようなロボットを構築できれば、 上 述のような問題を生じさせることなく、 ュ一ザの満足を得られるものと考えられ また、 この際、 ユーザとの会話を通してロボットが覚えるプロセスをユーザに 見せることで、 学習経験を共有でき、 またロボットが教えたことをしゃべること で、 そのロボットに対する親近感を沸かせるといった効果も期待できる。 非特許文献 1 情報処理学会研究会報告、 音声言語情報処理 2 2 - 8 ( 1 9 9 8 . 7 . 2 4 ) p . 4 1 - 4 2 非特許文献 2 身体性とコンピュータ、 共立出版、 p . 2 5 8 - 2 6 8 ところが、 ユーザについての情報を用いてロボヅ卜が会話することの一例とし て、 人や物 (対象物) に付随する情報、 例えばユーザの名前や誕生日、 性別、 好 きなものあるいは嫌いなものなどを能動的又は受動的に獲得し、 それらを記憶と いう形で格納し、 その記憶を利用して対話することを考えたときに、 いくつかの 問題点があげられる。
第 1に、 ュ一ザに特化した記憶をどのように獲得するのか、 という問題が挙げ られる。 ロボットは記憶容量に限界があり、 さらに記憶するための枠組みもあら かじめ決まっているため、 会話中に出てきたことを何でも記憶しておくことは出 来ない。 また、 ユーザからの任意のタイミングでの任意の発話を適切に処理して 記憶装置に記憶することは現状の技術では難しい。
ただし、 この問題は、 ロボットが 「〇〇のお友達の名前を教えて!」 のように 、 ロボットが記憶を獲得するための発話を行い、 ュ一ザに働きかけることでロボ ッ卜が記憶できるものをュ一ザに開示し、 ユーザにその値を教えてもらうという 手法を採用することにより解決でき、 このようにロボットからの働きかけで記憶 を取得することで、 情報が集めやすいようにユーザに働きかけることが可能とな る o
第 2に、 獲得した記憶をどのように発話として利用するのか、 という問題があ げられる。 獲得した記憶をランダムに利用して発話していたのでは、 何の脈絡も ない話題遷移が発生してしまい、 ユーザに戸惑いを与えてしまう。 このため、 口 ボットの獲得した記憶の中で、 関連のあるものを次の発話に利用する仕組み (連 想) が必要になる。 また、 獲得した記憶をそのまま出力しているだけでは、 ひと つの記憶内容について 1対 1でしか発話を対応付けることができないために、 ィ ン夕ラクシヨンのバリエーションには限度がある。
第 3に、 いつ記憶を獲得して、 いつ会話に利用するのか、 という問題が挙げら れる。 まず、 その対象に付随する情報が全くない状況で、 記憶を利用しようとす る行動が出現してしまったり、 情報がすべて獲得されている状況で記憶を獲得し ようとする行動が出現してしまうといった状態を避ける必要があり、 そのための 仕組みが必要である。 また、 ある記憶を獲得した直後にその記憶を利用して行動 していたのでは、 ロボッ卜が記憶装置をもって覚えているようにはユーザには見 えないし、 またロボットの行動としても知的に見えず、 そのために面白みにかけ る問題もある。 発明の開示
本発明は以上の点を考慮してなされたもので、 ェン夕一ティンメント性を向上 させ得る対話制御装置及び方法並びにロボット装置を提案しょうとするものであ る
かかる課題を解決するため本発明においては、 対話制御装置において、 対象物 に付随する各種情報を、 当該対象物の対応する項目の値として記憶する記憶手段 と、 対象物の項目を話題と定義したときに、 直前の会話で使用した話題と関連の ある話題を選択し、 当該選択した話題における項目の値を獲得するための獲得会 話又は記憶手段が既に記憶している当該話題における項目の値を利用した利用会 話を、 次の会話として生成する会話生成手段とを設け、 会話生成手段が、 獲得会 話により獲得した値を、 対応する項目の値として記憶手段に記憶させるようにし た。
この結果、 この対話制御装置は、 対象物となるユーザに特化した会話を当該ュ —ザと行うことができる。
また本発明においては、 対話制御方法において、 対象物に付随する各種情報を
、 当該対象物の対応する項目の値として記憶する第 1のステップと、 対象物の項 目を話題と定義したときに、 直前の会話で使用した話題と関連のある話題を選択 し、 当該選択した話題における項目の値を獲得するための獲得会話又は既に記憶 している当該話題における項目の値を利用した利用会話を、 次の会話として生成 する第 2のステップとを設け、 第 2のステップでは、 獲得会話により獲得した値 を、 対応する項目の値として記憶するようにした。
この結果、 この対話制御方法によれば、 対象物となるユーザに特化した会話を 当該ユーザと行うことができる。
さらに本発明においては、 ロボット装置において、 対象物に付随する各種情報 を、 当該対象物の対応する項目の値として記憶する記憶手段と、 対象物の項目を 話題と定義したときに、 直前の会話で使用した話題と関連のある話題を選択し、 当該選択した話題における項目の値を獲得する'ための獲得会話又は記憶手段が既 に記憶している当該話題における項目の値を利用した利用会話を、 次の会話とし て生成する会話生成手段とを設け、 会話生成手段が、 獲得会話により獲得した値 を、 対応する項目の値として記憶手段 ίこ記憶させるようにした。 この結果、 このロボット装置は、 対象物となるユーザに特化した会話を当該ュ —ザと行うことができる。 図面の簡単な説明
図 1は、 本実施の形態によるロボットの機能構成を模式的に示したプロック図 である。
図 2は、 制御ユニットの構成を示すブロック図である。
図 3は、 ロボットのソフトウエア構成を示すプロック図である。
図 4は、 獲得情報の記録フォーマツトの説明に供する概念図である。
図 5は、 行動制御システムにおける対話制御機能に関する主要部の構成を示す 概念図である。
図 6は、 会話生成手順の説明に供する概念図である。
図 7は、 対話生成処理手順を示すフロ一チャートである。
図 8は、 会話生成処理時における記憶獲得会話生成部の具体的処理例の説明に 供する概念図である。
図 9は、 会話生成処理時における記憶獲得会話生成部の具体的処理例の説明に 供する概念図である。
図 1 0は、 会話生成処理時における記憶利用会話生成部の第 1の具体的処理例 の説明に供する概念図である。
図 1 1は、 会話生成処理時における記憶利用会話生成部の第 1の具体的処理例 の説明に供する概念図である。
図 1 2は、 会話生成処理時における記憶利用会話生成部の第 2の具体的処理例 の説明に供する概念図である。
図 1 3は、 会話生成処理時における記憶利用会話生成部の第 2の具体的処理例 の説明に供する概念図である。
図 1 4は、 会話生成処理時における記憶利用会話生成部の第 3の具体的処理例 の説明に供する概念図である。 図 15は、 会話生成処理時における記憶利用会話生成部の第 3の具体的処理例 の説明に供する概念図である。 発明を実施するための最良の形態
以下図面について、 本発明の一実施の形態を詳述する。
( 1 ) 本実施の形態によるロボット 1の構成
( 1— 1 ) ロボヅ ト 1のハードウェア構成
図 1は、 本実施の形態によるロボット 1の機能構成を模式的に示したものであ る。 この図 1に示すように、 ロボット 1は、 全体の動作の統括的制御やその他の データ処理を行う制御ユニット 2と、 入出力部 3と、 駆動部 4と、 電源部 5とで 構成される。
入出力部 3は、 入力部としてロボヅ ト 1の目に相当する CCD (Charge Coupled Devi ce) カメラ 10や、 耳に相当するマイクロホン 11 、 頭部や背中などの部位に配設されてユーザの接触を感知する夕ツチセンサ 13 、 あるいは五感に相当するその他の各種のセンサを含む。 また、 出力部として、 口に相当するスピーカ 12、 あるいは点滅の組み合わせや点灯のタイミングによ り顔の表情を形成する LEDインジケ一夕 (目ランプ) 14などを装備している 。 これら出力部は、 音声やランプの点滅など、 脚などによる機械運動パターン以 外の形式でもロボヅ ト 1からのュ一 ·フィードバックを表現することができる。 駆動部 4は、 制御ュニット 2が指令する所定の運動パターンに従ってロボット 1の機体動作を実現する機能プロックであり、 行動制御による制御対象物である 。 駆動部 4は、 ロボット 1の各関節における自由度を実現するための機能モジュ —ルであり、 それぞれの関節におけるロール、 ピッチ、 ョ一など各軸毎に設けら れた複数の駆動ュニヅト 15i〜l 5nで構成される。 各駆動ュニヅ ト 15i〜l 5nは、 所定軸回りの回転動作を行うモー夕 16 i〜l 6nと、 モ一夕 16丄〜1 6nの回転位置を検出するエンコーダ 17 i〜 17nと、 エンコーダ 17 〜 17 nの出力に基づいてモー夕 16 i〜l 6 nの回転位置や回転速度を適応的に制御す るドライバ 18 〜 18 nの組み合わせで構成される。
駆動ュニットの組み合わせ方によって、 ロボット 1を例えば 2足歩行又は 4足 歩行などの脚式移動口ポットとして構成することができる。
電源部 5は、 その字義通り、 ロボット 1内に各電気回路などに対して給電を行 う機能モジュールである。 本実施形態に係るロボット 1は、 バヅテリを用いた自 律駆動式であり、 電源部 5は、 充電バッテリ 19と、 充電バッテリ 19の充放電 状態を管理する充放電制御部 20とで構成される。
充電バヅテリ 19は、 例えば、 複数本のリチウムイオン 2次電池セルをカート リッジ式にパッケージ化した 「バッテリ ·パヅク」 の形態で構成される。
また、.充放電制御部 20は、 充電バッテリ 19の端子電圧や充電ノ放電電流量 、 充電バヅテリ 19の周囲温度などを測定することで充電バヅテリ 19の残存容 量を把握し、 充電の開始時期や終了時期などを決定する。 充放電制御部 20が決 定する充電の開始及び終了時期は制御ュニット 2に通知され、 ロボッ卜 1が充電 オペレーションを開始及び終了するためのトリガとなる。
制御ュニヅト 2は、 「頭脳」 に相当し、 例えばロボット 1の機体頭部あるいは 胴体部に搭載されている。
制御ユニット 2に,おいては、 図 2に示すように、 メイン 'コントローラとして の CPU (Cent ral Pro ces s ing Uni t) 21が、 メモリ やその他の各回路コンポーネントや周辺機器とバス接続された構成となっている 。 バス 27は、 デ一夕 'バス、 アドレス 'バス、 コントロール 'バスなどを含む 共通信号伝送路である。 バス 27上の各装置にはそれぞれに固有のアドレス (メ モリ .アドレス又は I/Oアドレス) が割り当てられている。 CPU 21は、 ァ ドレスを指定することによってバス 27上の特定の装置と通信することができる ο
RAM (Read Acce s s M e mo r y) 22は、 : D R AM (D y— nami c RAM) などの揮発性メモリで構成された書き込み可能メモリであ り、 CPU 21が実行するプログラム 'コードをロードしたり、 実行プログラム による作業データの一時的な保存のために使用される。
ROM (Read Onl M e m o r y ) 23は、 プログラムやデータを 恒久的に格 する読み出し専用メモリである。 ROM 23に格納されるプログラ ム -コードには、 ロボヅト 1の電源投入時に実行する自己診断テスト ·プログラ ムゃ、 ロボッ ト 1の動作を規定する制御プログラムなどが挙げられる。
ロボッ ト 1の制御プログラムには、 C C Dカメラ 10やマイクロホン 11など のセンサ入力を処理してシンボルとして認識する 「センサ入力 ·認識処理プログ ラム」 、 短期記憶や長期記憶などの記憶動作を司りながらセンサ入力と所定の行 動制御モデルとに基づいてロボット 1の行動を制御する 「行動制御プログラム」 、 行動制御モデルに従って各関節モー夕の駆動やスピーカ 12の音声出力などを 制御する 「駆動制御プログラム」 などが含まれる。
不揮発性メモリ 24は、 例えば EE PROM (E l ect r i cal ly Eras ab le and Programmabl e ROM) のように電気 的に消去再書き込みが可能なメモリ素子で構成され、 逐次更新すべきデータを不 揮発的に保持するために使用される。 逐次更新すべきデ一夕には、 暗号鍵やその 他のセキュリティ情報、 出荷後にィンストールすべき装置制御プログラムなどが 挙げられる。
イン夕一フェース 25は、 制御ユニッ ト 2外の機器と相互接続し、 デ一夕交換 を可能にするための装置である。 イン夕一フェース 25は、 例えば、 入出力部 3 内の CCDカメラ 10やマイクロホン 11、 スピーカ 12との間でデ一夕入出力 を行う。 また、 ィン夕一フェース 25は、 駆動部 4内の各ドライバ 18 i〜 18 nとの間でデータゃコマンドの入出力を行う。
また、 インターフェース 25は、 RS (Re commended
St andard) — 232 Cなどのシリアル 'インターフェース、 IEEE ( Inst itut e o t E l e ct r i cal and E l e ct roni cs En ineers) 1284などのパラレル ·イン夕一フェース、 USB (Universal Ser i al Bus) ィン夕一フエ一ス、 i一 Link (I EEE 1394) ィン夕一フェース、 SCS I (Smal l Comput er S st em Int erf ace) ィン夕一フ'ェ一ス、 P Cカードやメモリ 'スティックを受容するメモリ '力一ドイン夕一フェース (力 —ドスロット) などのような、 コンピュータの周辺機器接続用の汎用イン夕一フ エースを備え、 口一カル接続された外部機器との間でプログラムゃデ一夕の移動 を行い得るようにしてもよい。
また、 イン夕一フエ一ス 25の他の例として、 赤外線通信 (I rDA) イン夕 —フエースを備え、 外部機器と無線通信を行うようにしてもよい。
さらに、 制御ユニッ ト 2は、 無線通信イン夕一フエ一ス 26やネットワーク ' ィン夕一フェース 'カード (NI C) 28などを含み、 B lue t oo thのよ うな近接無線デ一夕通信や、 IEEE 802. 1 1 bのような無線ネットワーク 、 あるいはイン夕一ネットなどの高域ネットワークを経由して、 外部のさまざな ホスト ·コンピュータとデ一夕通信を行うことができる。
このようなロボヅ ト 1とホスト ·コンピュータ間におけるデ一夕通信により、 遠隔のコンピュータ資源を用いて、 ロボット 1の複雑な動作制御を演算したり、 リモート ·コントロールすることができる。
(1-2) ロボッ ト 1のソフトウエア構成
図 3は、 ROM23に格納された制御プログラム群により構成されるロボヅ ト 1の行動制御システム 30の機能構成を模式的に示したものである。 ロボッ ト 1 は、 外部刺激の認識結果や内部状態の変化に応じて行動制御を行うことができる 。 さらには、 長期記憶機能を備え、 外部刺激から内部状態の変化を連想記憶する ことにより、 外部刺激の認識結果や内部状態の変化に応じて行動制御を行うこと ができる。
この行動制御システム 30は、 オブジェクト指向プログラミングを採り入れて 実装されている。 この場合、 各ソフトウェアは、 デ一夕とそのデータに対する処 理手続きとを一体化させた 「オブジェクト」 というモジュール単位で扱われる。 また、 各オブジェクトは、 メッセージ通信と共有メモリを使ったオブジェクト間 通信方法によりデ一夕の受け渡しと I n v o k eを行うことができる。
行動制御システム 3 0は、 入出力部 3における C C Dカメラ 1 0、 マイクロホ ン 1 1及び夕ツチセンサ 1 3の各センサ出力に基づいて外部環境を認識するため に、 視覚認識機能部 3 1と、 聴覚認識機能部 3 2と、 接触認識機能部 3 3を備え ている。
視覚認識機能部 3 1は、 C C Dカメラ 1 0のセンサ出力でなる画像信号に基づ いて顔認識や色認識などの画像認識処理や特徴抽出を実行する。 そして視覚認識 機能部 3 1は、 かかる顔認識結果であるその人物に固有の顏 I D (識別子) や、 顔画像領域の位置及び大きさなどの情報と、 色認識結果である色領域の位置ゃ大 きさ、 特徴量などの情報とを出力する。
聴覚認識機能部 3 2は、 マイクロホン 1 1のセンサ出力でなる音声信号に基づ いて音声認識や話者認識などの各種音に関する認識処理を実行する。 そして聴覚 認識機能部 3 2は、 かかる音声認識結果である認識した単語の文字列情報と、 音 響的特徴等に基づく話者認識処理結果であるその話者に固有の話者 I D情報とな どを出力する。
接触認識機能部 3 3は、 夕ツチセンサ 1 3のセンサ出力でなる圧力検出信号に 基づいて 「なでられた」 、 「叩かれた」 という外部刺激を認識し、 認識結果を出 力する。
内部状態管理部 3 4は、 本能や感情といった数種類の情動を数式モデル化して 管理しており、 視覚認識機能部 3 1と、 聴覚認識機能部 3 2と、 接触認識機能部 3 3によって認識された外部刺激に応じてロボット 1の本能や情動といった内部 状態を管理する。
一方、 行動制御システム 3 0においては、 外部刺激の認識結果や内部状態の変 化に応じて行動制御を行うために、 時間の経過とともに失われる短期的な記憶を 行う短期記憶部 3 5と、 情報を比較的長期間保持するための長期記憶部 3 6を備 えている。 短期記憶と長期記憶という記憶メカニズムの分類は神経心理学に依拠 する。 短期記憶部 3 5は、 視覚認識機能部 3 1と、 聴覚認識機能部 3 2と、 接触認識 機能部 3 3によって認識された夕一ゲットゃイベントを短期間保持する機能モジ ユールである。 例えば、 C C Dカメラ 1 0からの入力画像を約 1 5秒程度の短い 期間だけ記憶する。
また長期記憶部 3 6は、 物の名前など学習により得られた情報を長期間保持す るために使用されるものであり、 制御ユニット 2 (図 2 ) 内の R AM 2 2ゃ不揮 発性メモリ 2 4が利用される。
さらに行動制御システム 3 0により生成されるロボット 1の行動は、 反射行動 部 3 9によって実現される 「反射行動」 と、 状況依存行動階層 3 8によって実現 される 「状況依存行動」 と,、 熟考行動階層 3 7によって実現される 「熟考行動」 に大別される。
反射行動部 3 9は、 視覚認識機能部 3 1と、 聴覚認識機能部 3 2と、 接触認識 機能部 3 3によって認識された外部刺激に応じて反射的な機体動作を実現する機 能モジュールである。
反射行動とは、 基本的にセンサ入力された外部情報の認識結果を直接受けて、 これを分類して、 出力行動を直接決定する行動のことである。 例えば、 人間の顔 を追いかけたり、 うなずくといった振る舞いは反射行動として実装することが好 ましい。
状況依存行動階層 3 8は、 短期記憶部 3 5並びに長期記憶部 3 6の記憶内容や 、 内部状態管理部 3 4によって管理される内部状態を基に、 ロボット 1が現在置 かれている状況に即応した行動を制御する。
状況依存行動階層 3 8は、 各行動毎にステートマシンを用意しており、 それ以 前の行動や状況に依存して、 センサ入力された外部情報の認識結果を分類して、 行動を機体上で発現する。 また、 状況依存行動階層 3 8は、 内部状態をある範囲 に保っための行動 ( 「ホメォス夕シス行動」 とも呼ぶ) も実現し、 内部状態が指 定した範囲内を超えた場合には、 その内部状態を当該範囲内に戻すための行動が 出現し易くなるようにその行動を活性化させる (実際には、 内部状態と外部環境 の両方を考慮した形で行動が選択される) 。 状況依存行動は、 反射行動に比し、 反応時間が遅い。
熟考行動階層 37は、 短期記憶部 3 5並びに長期記憶部 36の記憶内容に基づ いて、 ロボット 1の比較的長期にわたる行動計画などを行う。
熟考行動とは、 与えられた状況あるいは人間からの命令により、 推論やそれを 実現するための計画を立てて行われる行動のことである。 例えば、 ロボットの位 置と目標の位置から経路を検索することは熟考行動に相当する。 このような推論 や計画は、 ロボット 1がインタラクションを保っための反応時間よりも処理時間 や計算負荷を要する (すなわち処理時間がかかる) 可能性があるので、 かかる反 射行動や状況依存行動がリアルタイムで反応を返しながら、 熟考行動は推論や計 画を行う。 ,
熟考行動階層 37や状況依存行動階層 38、 反射行動部 39は、 ロボット 1の ハードウェア構成に非依存の上位のアプリケーション ·プログラムとして記述す ることができる。 これに対し、 ハードウェア依存行動制御部 40は、 これら上位 アプリケーションからの命令に応じて、 入出力部 3のスピーカ 1 2を介して音声 を出力させたり、 LED 14を所定パ夕一ンで点滅駆動したり、 駆動部 4の対応 する駆動ュニヅト 1 S i l 5 nを駆動させる。
( 1 - 3) 内部状態管理部 34の構成
ここで、 かかる行動制御システム 30の構成要素のうち、 後述する対話制御機 能に直接関連する内部状態管理部 34の構成について説明する。
内部状態管理部 34は、 上述のように数式モデル化された本能及び感情を管理 しており、 これら本能及び感情の状態を視覚認識機能部 3 1、 聴覚認識機能部 3 2及び接触認識機能部 33によつて認識された外部刺激に応じて変化させている この場合、 かかる本能を構成する本能的要素としては、 疲れ (f a— t i gu e ) 、 熱或いは体内温度 ( t em e r a t u r Θ ) 、 痛み (p a i n ) 、 食欲或いは飢え (hunge r) 、 乾き (t h i r s t) 、 愛情 (af — f e e t i on) 、 好奇心 (cur i o s i t y) 、 排泄 ( e 1 imina— t i on) 及び性欲 (s exua l) 等といった 9個の本能的要素があり、 かか る感情を構成する情動的要素として、 幸せ (happ ine s s) 、 悲しみ ( s adne s s) 、 怒り (ange r) 、 驚き (surpr i s e) 、 嫌悪 ( d i s us t) 、 恐れ (f e ar) 、 苛立ち (f rus t r at i on) 、 退 屈 (bo r e d om) 、 睡眠 (s omno l enc e^ 、 社交性 ( r e - gar i ousne s s) 、 根気 ( at i e n c e 、 緊張 (t ens e) 、 リラックス (r e l axe d) 、 警告 (a l e r t ne s s) 、 罪 (gu i l t ) 、 悪意 (sp i t e) 、 誠実さ ( l o ya l t y) 、 服従性 ( s u b m i s— s i on) 及び嫉妬 (j e a l ou s y) 等といった 18個の情動的要素がある そして内部状態管理部 34は、 これら各本能的要素及び各情動的要素をそれぞ れその要素の強さを表すパラメ一夕として保持しており、 これら各要素のパラメ 一夕値を視覚認識機能部 31、 聴覚認識機能部 32及び接触認識機能部 33の認 識結果と、 経過時間となどに基づいて周期的に更新することにより、 ロボット 1 の本能及び感情を時々刻々と変化させている。
具体的に、 内部状態管理部 34は、 各本能的要素について、 視覚認識機能部 3 1、 聴覚認識機能部 32及び接触認識機能部 33の認識結果と、 経過時間となど に基づいて所定の演算式により算出されるそのときのその本能的要素の変動量を Δ I 〔k〕 、 現在のその本能的要素のパラメ一夕値を I 〔k〕 、 その本能的要素 の感度を表す係数を k iとして、 所定周期で次式
I [k+ 1] =1 [k] +] ί,χΑ Ι [k] …… ( 1) を用いて次の周期におけるその本能的要素のパラメ一夕値 I 〔k+ l〕 を算出し 、 この演算結果を現在のその本能的要素のパラメ一夕値 I 〔k〕 と置き換えるよ うにしてその本能的要素のパラメ一夕値を更新する。 また内部状態管理部 34は、 各情動的要素について、 視覚認識機能部 31、 聴 覚認識機能部 32及び接触認識機能部 33の認識結果と、 そのときのロボット 1 の行動と、 前回更新してからの経過時間となどに基づき所定の演算式により算出 されるそのときのその情動的要素の変動量を ΔΕ 〔t〕 、 現在のその情動的要素 のパラメ一夕値を E 〔t〕 、 その情動的要素の感度を表す係数を keとして、 次 式
E [t + 1] =E [t] +kex厶 E [t] …… (2) を用いて次の周期におけるその情動的要素のパラメ一夕値 E 〔t + l〕 を算出し 、 これを現在のその情動的要素のパラメ一夕値と置き換えるようにしてその情動 的要素のパラメ一夕値を更新する。
なお、 視覚認識機能部 31、 聴覚認識機能部 32及び接触認識機能部 33の認 識結果等が各本能的要素や各情動的要素にどのような影響を与えるかは予め定め られており、 例えば接触認識機能部 33による 「撫でられた」 という認識結果は 本能的要素のうちの 「愛情」 のパラメ一夕値の変動量△ I 〔k〕 と、 情動的要素 の 「幸せ」 のパラメ一夕値の変動量 ΔΕ 〔t〕 とに大きな影響を与えるようにな されている。
(2) ロボット 1における対話制御機能
(2-1) ロボット 1における対話制御機能
次に、 このロボツト 1に搭載された対話制御機能について説明する。
このロボット 1には、 ユーザとの対話を通じてそのユーザや他の対象物 (以下
、 これをまと'めてュ一ザ等と呼ぶ) の名前や誕生日、 好きなもの等の予め定めら れた幾つかの項目に関する情報 (以下、 これをその項目の値と呼ぶ) を獲得し、 これを例えば図 4に示す所定フォーマツ卜で記憶すると共に、 これら記憶してい る各項目の値を利用しながらそのユーザと対話を行い得る対話制御機能が搭載さ れている。 なお、 図 4において、 列は、 予め定められた各項目 ( 「名前 (Name) 」 、 「種類 (Kind) 」 、 「顔 ID (Face lD)」 、 「話者 I D (
Speaker ID) 」 、 「誕生日 (B IRTHDAY) 」 、 「好きなもの ( Favor it e) 」 及び「友人 (Fr i end)」 ) に対する値 ( 「ゆきこ」 、 「人間」 、 「0」 、 「1」 、 「73/5/2」 、 「紅茶」、 「かずみ」 等) を 示し、 行は、 1つの対象物について獲得した各項目の値を示す。 また各行の最初 の数字は、 その対象物を最初に登録する際に付与されるその対象物の ID (対象 物 I D) を示す。
この図 4では、 既に各対象物に関する全ての項目の値が獲得された後の状態を 示しているが、 各項目のうち、 「名前 (Name) 」、 「話者 I D (
Speaker ID) 」 「誕生日 ( B I R T H D A Y) 」 、 「好きなもの ( Favor it e) 」 及び「友人 (Fr i end) 」 については、 ュ一ザとの対 話時における聴覚認識機能部 32の各種音声認識処理により獲得され、 「顔 I D (F a c e I D) 」 及び 「種類 (Kind) 」 については、 ュ一ザとの対話時に おける視覚認識機能部 31の各種画像認識処理等により獲得されて、 記憶される こととなる。
またこの図 4において、 各値の左側に記述された数値はその値に対する印象度 を表す。 この印象度はロボット 1がその話題を今後会話に利用しても良いか否か の尺度となるものであり、 例えば図 4の例では、 この印象度が高いほど印象が良 く (次に話したくなる) 、 低いほど印象が悪い (話したがらない) ことを表す。 本実施の形態においては、 印象度は、 その項目の値を獲得する直前の内部状態管 理部 34における 「愛情」 のパラメ一夕値と、 その項目の値を獲得した直後の当 該 「愛情」 のパラメ一夕値との差分をとつて付与する。
ここで、 かかる対話制御機能は、 主として図 3について上述した行動制御シス テム 30における状況依存行動階層 38の処理により行われる。 そして、 この対 話制御機能に関する状況依存行動階層 38の処理内容を機能的に分類すると、 図 5に示すように、 ユーザ等についての各項目の値を獲得するために会話 (以下、 これを獲得会話と呼ぶ) を生成する記憶獲得会話生成部 5 0と、 獲得したそのュ 一ザ等についての各項目の値を利用した会話 (以下、 これを利用会話と呼ぶ) を 生成する記憶利用会話生成部 5 1と、 これら記憶獲得会話生成部 5 0及び記憶利 用会話生成部 5 1の制御を司る状況判断部 5 2とに分けることができる。
この場合、 状況判断部 5 2は、 短期記憶部 3 5 (図 3 ) を介して得られる視覚 認識機能部 3 1の認識結果や聴覚認識機能部 3 2の認識結果に基づいて、 対話相 手となり得るユーザの存在を認識すると、 図 6に示すよ に、 このとき視覚認識 機能部 3 1や聴覚認識機能部 3 2の認識結果として得られるそのユーザの顔 I D や話者 I Dを記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1に送出すると 共に、 これら記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1のそれぞれに 対して獲得会話又は利用会話の生成が可能か否かを問い合わせる (ステップ S P 1 A、 ステップ S P 1 B ) 。
このとき記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1は、 予め定めら れた所定の話題生成ルール及び話題利用方法決定ルールに従って、 話題の生成と 、 生成された話題をどのように利用して獲得会話又は利用会話を生成するかとい う話題の利用方法とを決定する会話生成処理を実行する (ステップ S P 2 A、 ス テツプ S P 2 B ) 。
ここで、 本実施の形態の場合、 かかる話題生成ルールとして、 6つのルールが ある。
第 1の話題生成ルールは、 直前の会話で使用した話題と同じ対象物の別の任意 の項目を次の話題として選択するルールであり、 本実施の形態においては、 印象 度が最も大きい項目から順に選択する。 例えば図 4において直前の会話の話題が 『対象物 I D 1』 の 『誕生日 (B I R T H D A Y ) 』 であった場合に、 同じ 『対 象物 I D 1』 の他の項目の中から印象度が最も大きい項目を次の会話の話題とす る場合が該当する。
また第 2の話題生成ルールは、 直前の会話で使用した話題と同じ対象物の関連 のある項目を次の話題として選択するルールであり、 例えば図 4において直前の 会話の話題が『対象物 ID 1』の 『好きなもの (Favo r i t e) 』 であった 場合に、 『対象物 I D 1』 の 『嫌いなもの (Di s l ike) 』 を次の会話の話 題とする場合が該当する。
さらに第 3の話題生成ルールは、 直前の会話で使用した話題の項目の値から特 定できる対象物の別のいずれかの項目を次の話題として選択するルールであり、 本実施の形態においては、 印拳度が高い対象物から順に次の対象物とする。 例え ば図 4において直前の会話の話題が『対象物 ID 1』 の 『友人 (Fr i end) 』 であった場合に、 その 『友人 (Fr i end) 』 である 『対象物 I D 2』 のい ずれかの項目を次の会話の話題とする場合が該当する。
一方、 第 4の話題生成ルールは、 直前の会話で使用した話題と同じ対象物の同 じ項目を次の話題として選択するルールであり、 例えば図 4において直前の会話 の話題が『対象物 ID 1』 の 『誕生日 (B IRTHDAY) 』 であった場合に、 同じ 『対象物 ID 1』 の同じ 『誕生日 (B IRTHDAY) 』 を次の会話の話題 とする場合が該当する。
また第 5の話題生成ルールは、 直前の会話で使用した話題における項目の値と 同じ値を有する別の対象物の同じ項目を次の話題として選択するルールであり、 例えば図 4において直前の会話の話題が『対象物 ID 1』 の 『好きなもの ( Favor i t e) 』 であった場合に、 『好きなもの (Favo ri t e)』 の 値が同じ 『紅茶』 である 『対象物 I D 3』 の 『好きなもの (Favor it e) 』 を次の会話の話題とする場合が該当する。
さらに第 6の話題生成ルールは、 直前の会話で使用した話題における項目の上 記値と関連のある値を有する別の対象物の項目を次の話題として選択するルール であり、 例えば図 4において直前の会話の話題が『対象物 ID 1』 の 『好きなも の (Favor it e) 』 であった場合に、 その 『好きなもの (Favor— it e) 』 である 『うま』 から 『競馬』 を 『好きなもの (Favor it e) 』 の値とする 『対象物 ID 6』 を選択として、 この 『対象物 ID 6』 の 『好きなも の (Favor it e) 』 を次の会話の話題とする場合が該当する。 なおこれら第 1〜第 6の話題生成ルールのうち、 第 1〜第 3の話題生成ルール は獲得会話の生成時及び利用会話の生成時の双方において利用することができ、 第 3〜第 6の話題生成ルールは獲得会話の生成時には利用できないが、 利用会話 の生成時には有効である。
従って、 記憶獲得会話生成部 50は、 これら第 1〜第 3の話題生成ルールの中 から 1つをランダム (任意) に選択し、 記憶利用会話生成部 51は、 これら第 1 〜第 6の話題生成ルールの中から 1つをランダムに選択して、 当該選択した話題 生成ルールに従って、 例えば直前の会話の話題が 『対象物 ID 1の好きなもの ( Favor it e) 』 であった場合に、 『対象物 I D 1の友人 (Fr i end) 』、 『対象物 I D 1の嫌いなもの (D i s 1 i ke) 』、 『対象物 I D 2の誕生 日 (BIRTHDAY) 』、 『対象物 ID 1の誕生日 (BIRTHDAY) 』 、 『対象物 I D 3の好きなもの (Favor it e) 』又は 『対象物 I D 6の好き なもの (Favor it e) 』 というかたちで次の会話の話題を生成することと なる。
一方、 本実施の形態においては、 話題利用方法決定ルールとして、 3つのル一 レがある。
この場合、 第 1の話題利用方法決定ルールは、 長期記憶部 36が記憶している 対応する項目の値をそのまま利用して発話を生成するルールであり、 例えば話題 として 『対象物 ID 1の好きなもの (Favo r i t e) 』 が生成された場合に 、 『ゆきこの好きなものって紅茶だよね。 』 や、 『ゆきこの好きなものってなに ?』 といった発話を生成する場合が該当する。
また第 2の話題利用方法決定ルールは、 長期記憶部 36が記憶している対応す る項目の値からデータベースを検索して関連する事項を読み出し、 これを利用し て発話を生成するルールであり、 例えば話題として 『対象物 ID 1の誕生日 ( B IRTHDAY) 』 が生成された場合に、 その 『誕生日 (BIRTHDAY) 』 の値である 『73/5/2』 をキーワードとして記念日デ一夕ペースを検索し 、 得られた 『交通広告の日』 という事項を利用して、 『5月 2日は交通広告の日 なんだよ。 』 といった発話を生成する場合が該当する。
さらに第 3の話題利用方法決定ルールは、 長期記憶部 3 6が記憶している対応 する項目の値から計算又は連想等される関連する値でデータべ一スを検索してさ らに関連する事項を読み出し、 これを利用して発話を生成するルールであり、 例 えば話題として 『対象物 I D 1の誕生日 (B I R T H D A Y ) 』 が生成された場 合に、 その 『誕生日 (B I R T H D A Y) 』 の値である 『7 3 / 5 / 2』 から計 算される 『おうし座』 をキーワードとして星占いデ一夕べ一スを検索し、 得られ た 『我慢強い』 という事項を利用して 『おうし座は我慢強い人なんだよ。 』 とい つた発話を生成する場合が該当する。
なおこれら第 1〜第 3の話題利用方法決定ルールのうち、 第 1の話題利用方法 決定ルールは獲得会話の生成時及び利用会話の生成時の双方において利用するこ とができ、 第 2及び第 3の話題利用方法決定ルールは獲得会話の生成時には利用 できないが、 利用会話の生成時には有効である。
従って、 記憶獲得会話生成部 5 0は、 第 1の話題利用方法決定ルールを選択し 、 記憶利用会話生成部 5 1は、 第 1〜第 3の話題利用方法決定ルールの中から 1 つをランダムに選択して、 当該選択した話題利用方法決定ルールに従って情報獲 得のための発話や獲得した情報を利用した発話を生成することとなる。
そしてこれら記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1は、 かかる 話題生成処理により話題の生成及びその利用方法の決定が行えたときには、 その 旨並びにその話題及び利用方法を状況判断部 5 2に通知する一方、 かかる話題の 生成等ができなかったときは、 その旨を状況判断部 5 2に通知する (ステップ S P 3 A、 ステップ S P 3 B ) 。
一方、 状況判断部 5 2は、 記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1の両方から話題の生成及びその利用方法の決定が行えた旨の通知が与えられた ときには、 そのときのその対話相手の全項目数に対する未だ値を獲得していない 項目数の度合いでなる第 1の度合いと、 その対話相手の全項目数に対する既に値 を獲得した項目数の度合いでなる第 2の度合いとに基づいて、 記憶獲得会話生成 部 5 0及び記憶利用会話生成部 5 1のいずれか一方を選択する (ステップ S P 4 より具体的には、 状況判断部 5 2は、 第 1の度合いが第 2の度合いよりも大き いときには記憶獲得会話生成部 5 0を選択し、 第 1の度合いが第 2の度合いより も小さいときには記憶利用会話生成部 5 1を選択する。
そして状況判断部 5 2は、 この後このようにしていずれか一方を選択すると、 その選択した記憶獲得会話生成部 5 0又は記憶利用会話生成部 5 1に対し、 その 話題及び利用方法に基づいて獲得会話又は利用会話を生成する処理 (以下、 これ を会話生成処理と呼ぶ) を開始するよう指示を与える (ステップ S P ,5 ) 。 また状況判断部 5 2は、 記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1 のいずれか一方からのみ話題及びその利用方法の通知が与えられたときにも、 そ の記憶獲得会話生成部 5 0又は記憶利用会話生成部 5 1に対し、 その話題及び利 用方法に基づいて会話生成処理を開始するよう指示を与える (ステップ S P 5 ) かくして、 かかる指示が与えられた記憶獲得会話生成部 5 0又は記憶利用会話 生成部 5 1は、 会話生成処理を開始し、 まず内部状態管理部 3 4にアクセスして 本能的要素のうちの 「愛倩」 のパラメ一夕値を取得し、 この後上述のようにして 決定した話題及びその利用方法に基づき生成される、 情報を獲得するための発話
(以下、 これを獲得発話と呼ぶ) 又は獲得した情報を利用した発話 (以下、 これ を利用発話と呼ぶ) を含む一連の発話からなる獲得会話又は利用会話を行うため の各発話内容の文字列デ一夕 D 1をハードウェア依存行動制御部 4 0内の音声合 成部 5 3に順次送出する。
この結果、 この文字列データ D 1に基づいて音声合成部 5 3において音声信号 S 1が生成され、 これがスピーカ 1 2 (図 1 ) に与えられることにより、 例えば
『ゆきこの好きなものってなに?』 といった獲得発話を含む一連の発話からなる 獲得会話を形成する各発話内容の音声や、 『ゆきこの好きなものって紅茶だよね
!』 といった利用発話を含む一連の発話からなる利用会話を形成する各発話内容 の音声がスピーカ 12から出力されることとなる (ステップ SP 6) o
そしてこのとき、 その話題に対するュ一ザの応答がマイクロホン 11により集 音されて行動制御システム 30 (図 3) の聴覚認識機能部 32に与えられ、 当該 聴覚認識機能部 32により音声認識される。 '
かくして、 ステップ SP4において選択されていたのが記憶獲得会話生成部 5 0であった場合、 当該記憶獲得会話生'成部 50は、 この聴覚認識機能部 32音声 認識結果に基づいて、 獲得発話に対するユーザの応答の中から当該獲得発話に基 づく質問の答え (すなわち、 そのとき獲得しょうとしていた項目の値) を抽出し 、 これを例えば図 4について上述したフォーマツトで長期記憶部 36に記憶させ る (ステップ SP 6) 。
またこれと共に記憶獲得会話生成部 50は、 内部状態管理部 34にアクセスし てこのときの 「愛情」 のパラメ一夕値を取得し、 当該取得したパラメ一夕値と、 会話の直前に取得した同じ 「愛情」 のパラメ一夕値との差分を計算し、 当該計算 結果をかかるユーザ等の上述のようにして獲得した項目の値の印象度として、 当 該値と対応付けて長期記憶部 36に記憶させる (ステップ SP 6) 。
一方、 記憶獲得会話生成部 50又は記憶利用会話生成部 51は、 獲得会話又は 利用会話が終了すると、 これを知らせる通知を状況判断部 52に送出する (ステ ヅプ SP7) 。 そして状況判断部 52は、 かかる通知を受け取ると、 ステップ S P 4において選択した記憶獲得会話生成部 50又は記憶利用会話生成部 51から ステヅプ S P 3 A又はステツプ S P 3 Bにおいて通知された話題及びその利用方 法を記憶獲得会話生成部 50及び記憶利用会話生成部 51にそれぞれ通知する ( ステップ S P 8 A、 ステップ S P 8 B ) 。
かくして記憶獲得会話生成部 50及び記憶利用会話生成部 51は、 この通知さ れた話題及びその利用法を会話履歴として記憶し (ステヅプ SP9A、 ステップ SP9B) 、 この後同じ対話相手との 1回の対話において、 同じ話題を使用しな いように、 当該対話が終了するまで上述と同様にして順次獲得会話又は利用会話 を生成する (ステップ SP 10 A—ステップ SP 1 A〜ステップ SP 10 A、 ス テヅプ SP 1 OB—ステップ SP 1 B〜ステップ SP 10 B) 。
このようにしてこのロボヅ 1トにおいては、 ユーザに関する各種情報を自然な かたちで順次獲得すると共にこれを利用しつつ、 自然な流れで話題を順次遷移さ せながら、 そのユーザに特化した話題の対話を行い得るようになされている。
(2-2)話題生成時における各会話生成部の具体的処理内容
次に、 話題生成時における記憶獲得会話生成部 50及び記憶利用会話生成部 5 1の具体的処理内容について説明する。
記憶獲得会話生成部 50及び記憶利用会話生成部 51は、 図 7に示す話題生成 処理手順 RT 1に従って話題の生成及びその利用方法を決定する。
すなわち記憶獲得会話生成部 50及び記憶利用会話生成部 51は、 図 6のステ ップ SP 1 As ステップ SP IBにおいて状況判断部 52から獲得会話又は利用 会話の生成が可能か否かの問い合わせがあると、 この話題生成処理手順 RT 1を ステップ S P 20において開始し、 続くステヅプ S P 21において、 上述の第 1 〜第 3又は第 1〜第 6の話題生成ルールの中から 1つの話題生成ルールをランダ ムに選択する。
次いで、 記憶獲得会話生成部 50及び記憶利用会話生成部 51は、 ステップ S P 22に進んで、 ステップ SP 1において選択した話題利用ルールに従って話題 を生成する。 これにより、 例えば直前の会話の話題が『対象物 I D 1の好きなも の (Favor it e) 』 であった場合には、 『対象物 I D 1の友人 (
Fr iend)』、 『対象物 I D 1の嫌いなもの (D i s 1 i k e) 』 などのか たちで話題が生成される。
続いて、 記憶獲得会話生成部 50及び記憶利用会話生成部 51は、 ステップ S P 23に進んで、 長期記憶部 36における対象物 IDの 『名前 (Name) 』 の 欄に対応付けられた記憶領域のデー夕と、 当該対象物 I Dの対応する項目の欄に 対応付けられた記憶領域のデータとを読み出す。 例えばステップ SP 21におい て選択した話題が『対象物 ID 1の友人 (Fr i end) 』 であった場合には、 図 4における 『対象物 ID 1』 の 『名前 (Name)』 の欄に対応付けられた長 期記憶部 3 6内の記憶領域のデ一夕と、 当該『対象物 I D 1』 の 『友人 (
F r i e n d ) 』 の欄に対応付けられた長期記憶部 3 6内の記憶領域のデ一夕と が読み出されることとなる。
ただしこの場合、 かかる対象物 I Dの 『名前 (N a m e ) 』 の値や、 当該対象 物 I Dの対応する項目の値が未だ獲得されておらず、 読み出された記憶領域内に デ一夕が格納されていない場合もある。
そこで、 記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1は、 続くステツ プ S P 2 4において、 ステップ S P 2 3において読み出した各データに基づいて 、 獲得会話又は利用会話の生成が可能か否か、 すなわち所望する項目の値が獲得 されているか否かを判断する。
そして、 記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1は、 このステツ プ S P 2 4において否定結果を得るとステヅプ S P 2 1に戻って、 この後ステヅ プ S P 2 4において肯定結果を得るまでステップ S P 2 1〜ステップ S P 2 4を 繰り返す。
, これに対して、 記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1は、 この ステップ S P 2 4において肯定結果を得ると、 ステップ S P 2 5に進んで、 記憶 獲得会話生成部 5 0は、 話題利用方法決定ルールとして上述の第 1の話題利用方 法決定ルールを選択し、 記憶利用会話生成部 5 1は、 上述の第 1〜第 3の話題利 用方法決定ルールの中から 1つの話題利用方法決定ル一ルをランダムに選択する さらに記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1は、 この後ステツ プ S P 2 6に進んで、 そのとき蓄えている会話履歴をチェックすることにより、 それまでのそのュ一ザとの一連の対話の中で、 今回のステップ S P 2 1及びステ ヅプ S P 2 5においてそれぞれ選択した話題及びその利用方法の組み合わせと同 じ組み合わせの会話を既に行ったか否かを判断する。
そして、 記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1は、 このステツ プ S P 2 6において否定結果を得ると、 ステップ S P 2 7に進んでこの話題生成 処理手順 RT 1を終了し、 この後状況判断部 52に対して話題の生成及びその利 用方法の決定が行えた旨を通知する (図 6のステップ SP 3 A、 ステップ SP 3 これに対して、 記憶獲得会話生成部 50及び記憶利用会話生成部 5 1は、 ステ ヅプ S P 26において肯定結果を得ると、 ステップ SP 25に戻って新たな話題 利用方法決定ルールを選択し、 この後その話題に対して全ての話題利用方法決定 ルールを組み合わせ終わるまで、 又はステップ SP 26において肯定結果を得る までステップ SP 25-SP 26-SP 25のループを繰り返す。
そして、 記憶獲得会話生成部 50及び記憶利用会話生成部 5 1は、 この処理に よりその話題に対して全ての話題利用方法決定ルールの組み合わせを終えたが、 それでもなおステップ SP 27において否定結果が得られないことにより、 選択 可能な話題利用方法決定ルールが存在しないことを確認すると、 ステップ SP 2 1に戻って新たな話題を生成し、 この後ステップ SP 2以降を上述と同様に処理 する。
さらに、 記憶獲得会話生成部 50及び記憶利用会話生成部 51は、 ステップ S P 2 1〜ステップ S P 26までの処理を繰り返し行うことにより、 全ての話題及 び全ての利用方法の組み合わせによっても会話を生成できない (ステップ S P 2 7に到達し得ない) ことを確認すると、 ステップ SP 28に進んでこの話題生成 処理手順 RT 1を終了し、 この後状況判断部 52に対して話題の生成及びその利 用方法の決定が行えなかった旨を通知する (図 6のステップ SP 3 A、 ステップ SP 3B) 。
このようにして記憶獲得会話生成部 50及び記憶利用会話生成部 5 1は、 話題 の生成及びその利用方法の決定を行うようになされている。
(2-3) 会話生成処理時における各会話生成部の具体的処理
次に、 会話生成処理時における記憶獲得会話生成部 50及び記憶利用会話生成 部 51の具体的処理内容について説明する。
記憶獲得会話生成部 50及び記憶利用会話生成部 5 1は、 それぞれ図 4につい て上述した各項目にそれぞれ対応させて、 図 8に示すように、 その項目の値を獲 得するための獲得発話や、 その項目の値を利用した利用発話を生成するためのテ ンプレートを予め有している。
そして、 記憶獲得会話生成部 50及び記憶利用会話生成部 51は、 会話生成処 理時、 対応する項目のテンプレートの対応する部分にそのときの話題となってい る対象物の 『名前 (Name) 』 の値や、 『好きなもの (Favor it e) 』 の値を当てはめるようにしてその項目の値を獲得するための獲得発話やその項目 の値を利用するための利用発話の文字列デ一夕 D 1を生成するようになされてい また、 記憶獲得会話生成部 50及び記憶利用会話生成部 51は、 図 6のステツ プ S P 2 A又はステヅプ S P 2 Bにおいて決定した話題及びその利用方法に基づ く獲得発話又は利用発話を含む一連の発話からなる獲得会話又は利用会話を生成 するため、 どのような内容の発話や処理をどの夕ィミングで行うかを予め規定し た状態遷移モデルを利用方法ごと、 つまり上述の第 1〜第 3の話題利用方法決定 ルールごとに有している。
この状態遷移モデルは、 例えば図 9に示すように、 ノード (Node l〜 Node 6) と呼ばれる各状態間をアーク (Ac l〜Ac 6) と呼ばれる経路で 結び、 各経路にそれぞれそのとき発話すべき発話内容や、 そのとき行うべき処理 内容が対応付けられたものである。
そして、 記憶獲得会話生成部 50及 記憶利用会話生成部 51は、 会話生成処 理時、 すなわち獲得会話又は利用会話の生成時には、 対応する状態遷移モデルに 従って、 状態 (ノ一ド No d e l〜No d e 6) を順次遷移させながら、 そのと き通過する状態間の経路 (アーク Ar l〜Ar 7) にそれぞれ対応付けられた発 話の文字列デ一夕 D 1を順次音声合成部 53 (図 5) に送出することにより、 所 定内容の発話音声を所定の順番でスピーカ 12から順次出力させる。
このとき獲得発話や利用発話も各状態遷移モデルにおけるいずれかの経路に対 応付けられており、 記憶獲得会話生成部 50及び記憶利用会話生成部 51は、 そ の経路を通過する際に上述のようにして獲得発話又は利用発話を生成し、 その文 字列データ D 1を音声合成部 53に送出することにより、 その獲得発話又は利用 発話の音声をスピーカ 12から出力させる。
このようにして記憶獲得会話生成部 50及び記憶利用会話生成部 51は、 図 6 のステップ SP 2 As ステップ SP 2 Bにおいて決定した話題及びその利用方法 に応じた獲得発話又は利用発話を含む一連の発話からなる獲得会話や利用会話を 生成し得るようになされている。
ここで図 8及び図 9は、 記憶獲得会話生成部 50の制御の下に行われるある項 目の値を獲得するためのユーザとの会話 (獲得会話) の具体例を示したものであ る。 この具体例では、 話題が『対象物 ID 1の好きなもの (Favo r i t e) 』 であり、 その利用方法として第 1の話題利用方法決定ルールが選択されている ものとする。
この場合、 記憶獲得会話生成部 50は、 初期時、 ノード No d e lからノード No de 2に状態遷移し、 このときアーク Ac 1に対応付けられた 『ゆきこのこ と、 聞いていい?』 という発話内容の文字列デ一夕 D 1を音声合成部 53に出力 することにより、 ユーザに記憶を獲得しても良いかどうかの確認を行うと共に、 内部状態管理部 34 (図 5) にアクセスしてそのときの 「愛情」 のパラメ一夕値 を取得する。 ' 次いで、 記憶獲得会話生成部 50は、 ノード No de 2において、 ユーザから の 『いいよ』 との肯定的な応答^あったことを聴覚認識機能部 32 (図 5) の音 声認識結果に基づき確認すると、 ノード No de 2からノード No de 3に状態 遷移し、 このときアーク Ac 2に対応付けられた獲得発話、 この例では 『ゆきこ の好きなものってなに?』 という発話内容の文字列データ D 1を音声合成部 53 に出力する。
これに対して、 記憶獲得会話生成部 50は、 ノード No d e 2において、 ユー ザからの 『やだよ』 といった否定的な応答があったことを聴覚認識機能部 32の 音声認識結果に基づき確認すると、 ノード No d e 2からノード No d e 6に状 態遷移し、 このときアーク Ac 6に対応付けられた 『ごめんなさい』 という発話 内容の文字列データ D 1を音声合成部 53に出力する。
一方、 記憶獲得会話生成部 50は、 ノード No d e 3において、 ユーザから 『 好きなものは紅茶だよ』 との応答があったことを聴覚認識機能部 32の音声認識 結果に基づき確認すると、 ノード No de 3からノード No de 4に状態遷移し 、 このときアーク Ac 3に対応付けられた 『紅茶なんだね』 という発話内容の文 字列デ一夕 D 1を音声合成部 53に出力する。
続いて、 記憶獲得会話生成部 50は、 ノード No d e 4において、 ユーザから の 『ちがうよ』 といった否定的な応答があったことを聴覚認識機能部 32の音声 認識結果に基づき確認すると、 ノード No de 4からノード No d e 3に状態遷 移し、 このときアーク Ac 7に対応付けられた獲得発話、 この例では 『ゆきこの 好きなものってなに?』 .という発話内容の文字列デ一夕 D 1を音声合成部 53に 出力する。
これに対して、 記憶獲得会話生成部 50は、 ノード No d e 4において、 ユー ザからの 『そうだよ』 といった肯定的な応答があったことを聴覚認識機能部 32 の音声認識結果に基づき確認すると、 ノード No d e 4からノード No de 5に 状態遷移し、 このときアーク Ac 4に対応付けられた 『よし、 覚えたよ』 という 発話内容の文字列データ D 1を音声合成部 53に出力すると共に、 内部状態管理 部 34 (図 5) にアクセスしてそのときの 「愛情」 のパラメ一夕値を取得し、 当 該取得した 「愛情 j のパラメ一夕値と、 獲得発話の出力前に取得した 「愛情」 の パラメ一夕値との差分を計算する。 .
さらに記憶獲得会話生成部 50は、 この後ノード No de 5からノード No d e 6に状態遷移し、 この際上述のようにして獲得したそのュ一ザの 『すきなもの (Favo r i t e) 』 という項目の値として 『紅茶』 を長期記憶部 36 (図 5 ) に記憶させると共に、 このとき上述のようにして計算した 「愛情」 のパラメ一 夕値との差分をその値に対する印象度として、 『紅茶』 と対応付けて長期記憶部 36に記憶させる。 そして、 記憶獲得会話生成部 50は、 ノード Node 6に状態遷移すると、 状 況判断部 52 (図 5) に一連の発話が終了したことを通知し、 この後この回の獲 得発話の生成処理を終了する。
因みに、 上述のような獲得会話に利用できるのは第 1の話題利用方法決定ルー ルだけであるため、 全ての獲得会話がこの 1つの状態遷移モデルに従って同様に 行われることとなる。 - 一方、 図 10及び図 11は、 記憶利用会話生成部 51の制御の下に行われるあ る項目の値を利用したュ一ザとの会話 (利用会話) の第 1の具体例を示したもの である。 この例では、 話題が『対象物 ID 1の誕生日 (B IRTHDAY) 』 で あり、 その利用方法として第 1の話題利用方法決定ルールが選択されているもの とする。
この場合、 記憶利用会話生成部 51は、 初期時、 ノード Node l Oからノ一 ド Node 11に状態遷移し、 このときアーク Ac 10に対応付けられた 『ゆき このこと、 話していい?』 という発話内容の文字列データ D 1を音声合成部 53 に出力することにより、 そのュ一ザに関する話を良いかどうかの確認を行うと共 に、 内部状態管理部 34 (図 5) にアクセスしてそのときの 「愛情」 のパラメ一 夕値を取得する。
次いで、 記憶利用会話生成部 51は、 ノード Node 11において、 ユーザか らの 『いいよ』 との肯定的な応答があったことを聴覚認識機能部 32 (図 5) の 音声認識結果に基づき確認すると、 ノード Node 11からノード Node 12 に状態遷移し、 このときアーク Ac 11に対応付けられた利用発話、 この例では 『ゆきこの誕生日って 73Z5/2だよね!』 という発話内容の文字列デ一夕 D 1を音声合成部 53に出力する。 また記憶利用会話生成部 51は、 この後さらに ノード Node 12からノード No de l 3に状態遷移する。
これに対して、 記憶利用会話生成部 51は、 ノード Node 1 1において、 ュ —ザからの 『やだよ』 といった否定的な応答があったことを聴覚認識機能部 32 の音声認識結果に基づき確認すると、 ノード Node 11からノード Node 1 3に状態遷移し、 このときアーク Ac 13に対応付けられた 『ごめんなさい』 と いう発話内容の文字列デ一夕 D 1を音声合成部 53に出力する。
そして、 記憶利用会話生成部 51は、 ノード Node 13に状態遷移すると、 状況判断部 52 (図 5) に一連の発話が終了したことを通知し、 この後この回の 利用会話の生成処理を終了する。
他方、 図 12及び図 13は、 記憶利用会話生成部 51の制御の下に行われるあ る項目の値を利用したユーザとの会話 (利用会話) の第 2の具体例を示したもの である。 この例では、 話題が『対象物 ID 1の誕生日 (B IRTHDAY) 』 で あり、 その利用方法として第 2の話題利用方法決定ルールが選択されているもの とする。
この場合、 記憶利用会話生成部 51は、 初期時、 ノード Node20からノー ド Node 21に状態遷移し、 このときアーク Ac 20に対応付けられた 『ゆき このこと、 話していい?』 という発話内容の文字列デ一夕 D 1を音声合成部 53 に出力することにより、 そのユーザに関する話を良いかどうかの確認を行うと共 に、 内部状態管理部 34 (図 5) にアクセスしてそのときの 「愛情」 のパラメ一 夕値を取得する。
次いで、 記憶利用会話生成部 51は、 ノード N 0 d e 21において、 ユーザか らの 『いいよ』 との肯定的な応答があったことを聴覚認識機能部 32 (図 5) の 音声認識結果に基づき確認すると、 ノード Node 21からノード Node 22 に状態遷移し、 このとき 『対象物 ID 1』 の 『誕生日 (B IRTHDAY) 』 の 値を長期記憶部 36から読み出し、 得られた値である 『73/5/2』 をキ一ヮ —ドとして、 記念日データべ一スを検索する。 そして記憶利用会話生成部 51は 、 この検索の結果『交通広告の日』 という事項が得られると、 これを利用した発 話、 例えば『5月 2日って交通広告の日なんだよ!』 という発話内容の文字列デ 一夕 D 1を音声合成部 53に出力する。 また記憶利用会話生成部 51は、 この後 さらにノード Node 22からノード Node23に状態遷移する。
これに対して、 記憶利用会話生成部 51は、 ノード Node 21において、 ュ —ザからの 『やだよ』 といった否定的な応答があったことを聴覚認識機能部 32 の音声認識結果に基づき確認すると、 ノード Node 21からノード Node 2 3に状態遷移し、.このときアーク Ac 23に対応付けられた 『ごめんなさい』 と いう発話内容の文字列デ一夕 D 1を音声合成部 53に出力する。
そして、 記憶利用会話生成部 51は、 ノード Node 23に状態遷移すると、 状況判断部 52 (図 5) に一連の発話が終了したことを通知し、 この後この回の 利用会話の生成処理を終了する。
これに対して図 14及び図 15は、 記憶利用会話生成部 51の制御の下に行わ れるある項目の値を利用したユーザとの会話 (利用会話) の第 3の具体例を示し たものである。 この例では、 話題が 『対象物 ID 1の誕生日 (B IRTHDAY ) 』 であり、 その利用方法として第 3の話題利用方法決定ルールが選択されてい るものとする。
この場合、 記憶利用会話生成部 51は、 初期時、 ノード Node 30からノ一 ド Node 31に状態遷移し、 このとき 『対象物 ID 1』 の 『誕生日 (
B I RTHDAY) 』 の値を長期記憶部 36 (図 5) から読み出し、 これをキ一 ワードとして星座を計算し、 得られた 『おうし座』 という事項を用いて 『ゆきこ つておうし座だよね?』 という発話内容の文字列デ一夕 D 1を生成してこれを音 声合成部 53 (図 5) に出力する。
次いで、 記憶利用会話生成部 51は、 ノード N 0 de 31において、 ユーザか らの 『そうだよ』 との肯定的な応答があったことを聴覚認識機能部 32 (図 5) の音声認識結罘に基づき確認すると、 ノード Node31からノード Node 3 2に状態遷移し、 このとき 『おうし座』 をキ一ワードとして、 星占いデ一夕べ一 スを検索する。 そして記憶利用会話生成部 51は、 この検索の結果『交通広告 φ 日』 という事項が得られると、 これを利用した発話、 例えば『おうし座の人って 我慢強いんだつて』 という発話内容の文字列デ 夕 D 1を音声合成部 53に出力 する。 また記憶利用会話生成部 51は、 この後さらにノード Node 32からノ —ド No de 33に状態遷移する。 これに対して、 記憶利用会話生成部 5 1は、 ノード N o d e 3 1において、 ュ —ザからの 『やだよ』 といった否定的な応答があったことを聴覚認識機能部 3 2 の音声認識結果に基づき確認すると、 ノード N o d e 3 1からノード N o d e 3 3に状態遷移し、 このときァ一ク A c 3 3に対応付けられた 『ごめんなさい』 と いう発話内容の文字列デ一夕 D 1を音声合成部 5 3に出力する。
そして、 記憶利用会話生成部 5 1は、 ノード N o d e 3 3に状態遷移すると、 状況判断部 5 2 (図 5 ) に一連の発話が終了したことを通知し、 この後この回の 利用会話の生成処理を終了する。
( 3 ) 本実施の形態の動作及び効果
以上の構成において、 このロボヅト 1では、 ユーザとの会話 (獲得会話) を通 して当該ユーザに関する各種情報を獲得し、 当該獲得した情報を項目に対する値 として長期記憶部 3 6 (図 5 ) に記憶すると共に、 この長期記憶部 3 6に記憶し た各項目の値を利用してそのュ一ザと会話 (利用会話) する。
従って、 このロボット 1は、 ユーザとそのユーザ又はそのユーザに関連する内 容の対話、 すなわちそのユーザに特化した対話を行うことができ、 またこのよう にパ一ソナライズされる過程をユーザが実感することができるため、 ュ一ザの口 ボット 1に対する親近感を向上させることができる。
またこの場合において、 このロボット 1では、 上述した第 1〜第 6の話題生成 ルールに従って、 次の会話における話題を直前の会話の話題から連想可能な範囲 内で生成するようにしているため、 対話の過程において話題が極端に遷移するこ とがなく、 さらには獲得したユーザ等に関する情報をそのまま利用するだけでな く、 上述した第 1〜第 3の話題利用方法決定ルールに従って星占いや記念日検索 等をも行いながら会話を行うため、 ロボット 1との対話の会話の面白みを向上さ せ、 また会話のバリエーションを増やすことができる。
さらにこのロボット 1では、 記憶獲得会話生成部 5 0及び記憶利用会話生成部 5 1が会話履歴をもち、 当該会話履歴に基づいて、 同じユーザとの一連の対話の 中で同じ話題及びその利用方法の組み合わせの会話が生成されないようにしてい るため、 ロボヅト 1によって獲得されたそのュ一ザに付随する情報に関する発話 がその獲得直後に出力されることがなく、 面白みの減退を防止することができる これに加えてこのロボット 1では、 状況判断部 5 2の制御のもとに、 そのュ一 ザに付随する情報の獲得状況に応じて獲得会話と利用会話の切り換えを行うよう になされているため、 そのユーザに付随する情報が全くない状況で記憶を利用と する行動の出現や、 情報が全て獲得されている状況でさらに情報を獲得しょうと する行動が出現することがなく、 不自然な行動の出現を未然に防止することがで きる。
さらにこのロボット 1では、 ュ一ザ等についての各項目の値を印象度と共に長 期記憶部 3 6に記憶し、 当該印象度に基づいて話題の選択を行うようにしている ため、 印象度に応じてその項目に関する話題の出現頻度を変化させることができ 、 ロボット 1が話したいことを話し、 話したくないことは話さないというェン夕 —ティンメント性の高いィン夕ラクシヨンをロボヅト 1に行わせることもできる 以上の構成によれば、 ロボット 1が、 ユーザとの会話を通して当該ユーザに関 する各種情報を獲得し、 当該獲得した情報を項目に対する値として長期記憶部 3 6 (図 5 ) に記憶すると共に、 この長期記憶部 3 6に記憶した各項目の値を利用 してそのユーザと会話するようにしたことにより、 対象物となるュ一ザに特化し た会話を当該ユーザと行うことができ、 またこのようにパーソナライズされる過 程をユーザが実感することができるため、 ュ一ザのロボット 1に対する親近感を 向上させることができ、 かくして一段とエンターティンメント性の高いロボヅト を実現できる。
( 4 ) 他の実施の形態
なお上述の実施の形態においては、 本発明を図 1〜図 3のように構成されたェ ン夕一ティンメントロボヅ卜に適用するようにした場合について述べたが、 本発 明はこれに限らず、 これ以外の構成を有するエンターティンメントロボヅトゃ、 これ以外のロボット、 ロボッ卜以外の各種機器又はユーザとの対話制御を行うこ の他種々の対話制御装置に広く適用することができる。 また例えばテレビゲーム 用のソフトウエア等など各種ソフトウエアにも広く応用することができる。 また上述の実施の形態においては、 図 4について上述した各項目の印象度をそ の項目の値を獲得する際に決定し、 その後は更新しないようにした場合について 述べたが、 本発明はこれに限らず、 印象度を更新するようにしても良い。 このよ うにすることによって、 各種話題の出現頻度をも変更することができ、 その分そ のときそのときの状況に応じた会話を行うことができるため、 ロボット 1のェン 夕一ティンメント性をより一層と向上させることができる。
さらに上述の実施の形態においては、 図 4について上述した各項目の印象度を 、 その項目を獲得する前後の内部状態管理部 3 4に保持された 「愛情」 のパラメ 一夕値の差分により計算するようにした場合について述べたが、 本発明はこれに 限らず、 内部状態管理部 3 4に保持された他の本能的要素又は情動的要素のパラ メ一夕値に基づいて計算するようにしても良く、 これ以外の手法により得られる ようにしても良い。
さらに上述の実施の形態においては、 対象物の各項目の値を記憶する記憶手段 として制御ュニヅト 2の内部メモリである R AM 2 2や不揮発性メモリ 2 4 (図 2 ) を利用するようにした場合について述べたが、 本発明はこれに限らず、 これ 以外の記憶^体を利用するようにしても良く、 また外部メモリ等の外部記憶媒体 を利用するようにしても良い。
さらに上述の実施の形態においては、 直前の会話で使用した話題と関連のある 話題を選択し、 当該選択した話題における項目の値を獲得するための獲得会話又 は長期記憶部 3 6が既に記憶している当該話題における項目の値を利用した利用 会話を、 次の会話として生成する会話生成手段を、 獲得会話を生成する記憶獲得 会話生成手段としての記憶獲得会話生成部 5 0と、 利用会話を生成する記憶利用 会話生成手段としての記憶利用会話生成部 5 1と、 記憶獲得会話生成部 5 0及び 記憶利用会話生成部 5 1のいずれか一方を選択し、 当該選択した記憶獲得会話生 成部 5 0又は記憶利用会話生成部 5 1に次の会話を生成させる状況判断手段とし ての状況判断部 5 2との 3つのモジュールにより構成するようにした場合につい て述べたが、 本発明はこれに限らず、 会話生成手段の構成としてはこの他種々の 構成を広く適用することができる。
さ に上述の実施の形態においては、 次の会話の話題の生成方法を規定した話 題生成ルールとして上述の第 1〜第 6の話題生成ルールの 6つのルールを用意す るようにした場合について述べたが、 本発明はこれに限らず、 かかる話題生成ル —ルとしてはこの他種々のルールを広く適用することができる。 またその数も 6 以外の数であっても良い。
同様に、 上述の実施の形態においては、 生成された話題の利用方法を規定した 話題利用方法決定ルールとして上述の第 1〜第 3の話題利用方法決定ルールの 3 つのルールを用意するようにした場合について述べたが、 本発明はこれに限らず 、 かかる話題利用方法決定ルールとしてはこの他種々のル一ルを広く適用するこ とができる。 またその数も 3以外の数であっても良い。
上述のように本発明によれば、 対話制御装置において、 対象物に付随する各種 情報を、 当該対象物の対応する項目の値として記憶する記憶手段と、 対象物の項 目を話題と定義したときに、 直前の会話で使用した話題と関連のある話題を選択 し、 当該選択した話題における項目の値を獲得するための獲得会話又は記憶手段 が既に記憶している当該話題における項目の値を利用した利用会話を、 次の会話 として生成する会話生成手段とを設け、 会話生成手段が、 獲得会話により獲得し た値を、 対応する項目の値として記憶手段に記憶させるようにしたことにより、 対象物となるュ一ザに特化した会話を当該ュ一ザと行うことができ、 かくしてェ ン夕ーティンメント性を向上させ得る対話制御装置を実現できる。
また本発明によれば、 対話制御方法において、 対象物に付随する各種情報を、 当該対象物の対応する項目の値として記憶する第 1のステップと、 対象物の項目 を話題と定義したときに、 直前の会話で使用した話題と関連のある話題を選択し 、 当該選択した話題における項目の値を獲得するための獲得会話又は既に記憶し ている当該話題における項目の値を利用した利用会話を、 次の会話として生成す る第 2のステップとを設け、 第 2のステップでは、 獲得会話により獲得した値を 、 対応する項目の値として記憶するようにしたことにより、 対象物となるユーザ に特化した会話を当該ユーザと行うことができ、 かくしてエンターティンメント 性を向上させ得る対話制御方法を実現できる。
さらに本発明によれば、 ロボット装置において、 対象物に付随する各種情報を 、 当該対象物の対応する項目の値として記憶する記憶手段と、 対象物の項目を話 題と定義したときに、 直前の会話で使用した話題と関連のある話題を選択し、 当 該選択した話題における項目の値を獲得するための獲得会話又は記憶手段が既に 記憶している当該話題における項目の値を利用した利用会話を、 次の会話として 生成する会話生成手段とを設け、 会話生成手段が、 獲得会話により獲得した値を 、 対応する項目の値として記憶手段に記憶させるようにしたことにより、 対象物 となるユーザに特化した会話を当該ュ一ザと行うことができ、 かくしてェン夕一 ティンメント性を向上させ得るロボット装置を実現できる。 産業上の利用の可能性
本願発明は、 エンターテイメントロボヅトゃこれ以外の各種ロボッ卜のほか、 ロボット以外の例えば対話機能が搭載されたパーソナルコンビュ一夕などにも適 用することができる。

Claims

請 求 の 範 囲
1 . 対象物に付随する各種情報を、 当該対象物の対応する項目の値として記憶す る記憶手段と、
上記対象物の項目を話題と定義したときに、 直前の会話で使用した話題と関連 のある話題を選択し、 当該選択した話題における項目の値を獲得するための獲得 会話又は上記記憶手段が既に記憶している当該話題における項目の値を利用した 利用会話を、 次の会話として生成する会話生成手段と
を具え、
上記会話生成手段は、
上記獲得会話により獲得した値を、 対応する項目の値として上記記憶手段に記 憶させる
ことを特徴とする対話制御装置。
2 . 上記会話生成手段は、
上記直前の会話で使用した話題と同じ対象物の別の任意の項目を次の話題とし て選択し、 上記記憶手段が既に記憶している当該項目の値を利用して上記利用会 話を生成する
ことを特徴とする請求項 1に記載の対話制御装置。
3 . 上記会話生成手段は、 '
上記直前の会話で使用した話題と同じ対象物の関連のある項目を次の話題とし て選択し、 上記記憶手段が既に記憶している当該項目の値を利用して上記利用会 話を生成する
ことを特徴とする請求項 1に記載の対話制御装置。
4 . 上記会話生成手段は、 上記直前の会話で使用した話題の項目の値から特定できる上記対象物のいずれ かの項目を次の話題として選択し、 上記記憶手段が既に記憶している当該いずれ かの項目の値を利用して上記利用会話を生成する
ことを特徴とする請求項 1に記載の対話制御装置。
5 . 上記会話生成手段は、
上記直前の会話で使用した話題と同じ対象物の同じ項目を次の話題として選択 し、 上記記憶手段が既に記憶している当該項目の値を利用して上記利用会話を生 成する
ことを特徴とする請求項 1に記載の対話制御装置。
6 . 上記会話生成手段は、
上記直前の会話で使用した話題における項目の値と同じ値を有する別の対象物 の同じ項目を次の話題として選択し、 上記記憶手段が既に記憶している当該同じ 項目の値を利用して上記利用会話を生成する ' '
ことを特徴とする請求項 1に記載の対話制御装置。
7 . 上記会話生成手段は、
上記直前の会話で使用した話題における項目の値と関連のある値を有する別の 対象物の項目を次の話題として選択し、 上記記憶手段が既に記憶している当該関 連のある値を利用して上記利用会話を生成する
ことを特徴とする請求項 1に記載の対話制御装置。
8 . 上記会話生成手段は、
上記直前の会話で使用した話題と同じ対象物の別の任意の項目を次の話題とし て選択し、 当該別の任意の項目の値を獲得するために上記獲得会話を生成する ことを特徴とする請求項 1に記載の対話制御装置。
9 . 上記会話生成手段は、
上記直前の会話で使用した話題と同じ対象物の関連のある項目を次の話題とし て選択し、 当該関連のある項目の値を獲得するために上記獲得会話を生成する ことを特徴とする請求項 1に記載の対話制御装置。
1 0 . 上記会話生成手段は、
上記直前の会話で使用した話題における項目の値から特定できる上記対象物の いずれかの項目を次の話題として選択し、 当該いずれかの項目の値を獲得するた めに上記獲得会話を生成する
ことを特徴とする請求項 1に記載の対話制御装置。
1 1 . 上記会話生成手段は、
上記選択した話題における項目の値に基づき得られる事項を利用して上記利用会 話を生成する '
ことを特徴とする請求項 1に記載の対話制御装置。
1 2 . 上記会話生成手段は、
上記獲得会話を生成する記憶獲得会話生成手段と、
上記利用会話を生成する記憶利用会話生成手段と、
上記記憶獲得会話生成手段及び上記記憶利用会話生成手段のいずれか一方を選 択し、 当該選択した記憶獲得会話生成手段又は記憶利用会話生成手段に上記次の 会話を生成させる状況判断手段と
を具えることを特徴とする請求項 1に記載の対話制御装置。
1 3 . 上記状況判断手段は、
対話相手における上記項目の数の合計値に対する値を獲得していない項目の数 の度合いでなる第 1の度合いと、 上記対話相手における上記項目の数の合計値に 対する値を獲得した項目の数の度合いでなる第 2の度合いとに基づいて、 上記記 憶獲得会話.生成手段及び上記記憶利用会話生成手段のいずれに上記獲得会話又は 上記利用会話を生成させるかを判断する
ことを特徴とする請求項 1 2に記載の対話制御装置。
1 . 上記状況判断手段は、
上記第 1の度合いが上記第 2の度合いよりも大きいときには、 上記記憶獲得会 話生成手段に上記獲得会話を生成させ、 上記第 1の度合いが上記第 2の度合いよ りも小さいときには、 上記記憶利用会話生成手段に上記利用会話を生成させる ことを特徴とする請求項 1 2に記載の対話制御装置。
1 5 · 上記会話生成手段は、
使用した話題の履歴を保持し、 当該履歴を参照しながら上記獲得会話又は上記 利用会話を生成する
ことを特徴とする請求項 1に記載の対話制御装置。
1 6 . 上記会話生成手段は、
上記履歴を参照しながら、 同じ対話相手との 1回の対話において、 同じ話題を 使用しないように、 上記獲得会話又は上記利用会話を生成する
ことを特徴とする請求項 1 5に記載の対話制御装置。
1 7 . 上記記憶手段は、
上記対象物の項目の値を、 当該値を会話に利用しても良いか否かの尺度となる 印象度と共に記憶し、
上記会話生成手段は、
当該印象度に基づいて上記次の会話に使用する話題を選択する ことを特徴とする請求項 1に記載の対話制御装置。
1 8 . 内部状態を表すパラメ一夕を保持し、 当該パラメ一夕値を外部刺激に応じ て変化させる内部状態管理手段
を具え、
上記印象度は、
対応する値を獲得した前後における上記内部状態管理手段により保持された所 定のパラメ一夕のパラメ一夕値の差分でなる
ことを特徴とする請求項 1 7に記載の対話制御装置。
1 9 . 対象物に付随する各種情報を、 当該対象物の対応する項目の値として記憶 する第 1のステップと、
上記対象物の項目を話題と定義したときに、 直前の会詰で使用した話題と関連 のある話題を選択し、 当該選択した話題における上記項目の値を獲得するための 獲得会話又は既に記憶している当該話題における項目の値を利用した利用会話を 、 次の会話として生成する第 2のステップと
を具え、 '
上記第 2のステップでは、
上記獲得会話により獲得した値を、 対応する上記項目の値として記憶する ことを特徴とする対話制御方法。
2 0 . 上記第 2のステヅプでは、
上記直前の会話で使用した話題と同じ対象物の別の任意の項目を次の話題として 選択し、 上記記憶手段が既に記憶している当該項目の値を利用 'して上記利用会話 を生成する
ことを特徴とする請求項 1 9に記載の対話制御方法。
2 1 . 上記第 2のステツプでは、
上記直前の会話で使用した話題と同じ対象物の関連のある項目を次の話題とし て選択し、 上記記憶手段が既に記憶している当該項目の値を利用して上記利用会 話を生成する
ことを特徴とする請求項 1 9に記載の対話制御方法。
2 2 . 上記第 2のステヅフ。では、
上記直前の会話で使用した話題の項目の値から特定できる上記対象物のいずれ かの項目を次の話題として選択し、 上記記憶手段が既に記憶している当該いずれ かの項目の値を利用して上記利用会話を生成する
ことを特徴とする請求項 1 9に記載の対話制御方法。
2 3 . 上記第 2のステツプでは、
上記直前の会話で使用した話題と同じ上記対象物の同じ項目を次の話題として 選択し、 上記記憶手段が既に記憶している当該項目の値を利用して'上記利用会話 を生成する
ことを特徴とする請求項 1 9に記載の対話制御方法。
2 4 . 上記第 2のステップでは、
上記直前の会話で使用した話題における項目の値と同じ値を有する別の対象物 の同じ項目を次の話題として選択し、 上記記憶手段が既に記憶している当該同じ 項目の値を利用して上記利用会話を生成する
ことを特徴とする請求項 1 9に記載の対話制御方法。
2 5 . 上記第 2のステップでは、
上記直前の会話で使用した話題における項目の値と関連のある値を有する別の 上記対象物の項目を次の話題として選択し、 上記記憶手段が既に記憶している当 該関連のある値を利用して上記利用会話を生成する
ことを特徴とする請求項 1 9に記載の対話制御方法。
2 6 . 上記第 2のステヅプでは、
上記直前の会話で使用した話題と同じ対象物の別の任意の項目を次の話題とレ て選択し、 当該別の任意の項目の値を獲得するために上記獲得会話を生成する ことを特徴とする請求項 1 9に記載の対話制御方法。
2 7 . 上記第 2のステツプでは、
上記直前の会話で使用した話題と同じ対象物の関連のある項目を次の話題とし て選択し、 当該関連のある項目の値を獲得するために上記獲得会話を生成する ことを特徴とする請求項 1 9に記載の対話制御方法。
2 8 . 上記第 2のステップでは、
上記直前の会話で使用した話題における項目の値から特定できる対象物のいず れかの項目を次の話題として選択し、 当該いずれかの項目の値を獲得するための 上記獲得会話を生成する
ことを特徴とする請求項 1 9に記載の対話制御方法。
2 9 . 上記第 2のステップでは、
上記選択した話題における項目の値に基づき得られる事項を利用して上記利用 会話を生成する
ことを特徴とする請求項 1 9に記載の対話制御方法。
3 0 . 上記第 2のステヅプでは、
対話相手における上記項目の数の合計値に対する値を獲得していない項目の数 の度合いでなる第 1の度合いと、 上記対話相手における上記項目の数の合計値に 対する値を獲得した項目の数の度合いでなる第 2の度合いとに基づいて、 上記獲 得会話又は上記利用会話のいずれを上記次の会話として生成するかを判断する ことを特徴とする請求項 1 9に記載の対話制御方法。
3 1 . 上記第 2のステツプでは、
上記第 1の度合いが上記第 2の度合いよりも大きいときには上記獲得会話を生 成し、 上記第 1の度合いが上記第 2の度合いよりも小さいときには上記利用会話 を生成する
ことを特徴とする請求項 3 0に記載の対話制御方法。
3 2 . 上記第 2のステヅプでは、
使用した話題の履歴を保持し、 当該履歴を参照しながら上記獲得会話又は上記 利用会話を生成する
ことを特徴とする請求項 1 9に記載の対話制御方法。
3 3 . 上記第 2のステツプでは、
上記履歴を参照しながら、 同じ対話相手との 1回の対話において、 同じ話題を 使用しないように、 上記獲得会話又は上記利用会話を生成する
ことを特徴とする請求項 3 2に記載の対話制御方法。
3 4 . 上記第 1のステヅプでは、
上記対象物の項目の値を、 当該値を会話に利用しても良いか否かの尺度となる 印象度と共に記憶し、
上記第 2のステップでは、
当該印象度に基づいて上記次の会話に使用する話題を選択する
ことを特徴とする請求項 1 9に記載の対話制御方法。 3 5 , 上記第 1のステップでは、
内部状態を表すパラメ一夕を保持し、 当該パラメ一夕値を外部刺激に応じて変 化させ、
上記印象度は、
対応する値を獲得した前後における上記内部状態管理手段により保持された所 定のパラメ一夕のパラメ一夕値の差分でなる . ことを特徴とする請求項 3 4に記載の対話制御方法。
3 6 . 対象物に付随する各種情報を、 当該対象物の対応する項目の値として記憶 する記憶手段と、
上記対象物の項目を話題と定義したときに、 直前の会話で使用した話題と関連 のある話題を選択し、 当該選択した話題における項目の値を獲得するための獲得 会話又は上 記憶手段が既に記憶している当該話題における項目の値を利用した 利用会話を、 次の会話として生成する会話生成手段と
を具え、
上記会話生成手段は、
上記獲得会話により獲得した値を、 対応する項目の値として上記記憶手段に記 憶させる
ことを特徴とするロボット装置。
PCT/JP2003/015375 2002-12-02 2003-12-02 対話制御装置及び方法並びにロボット装置 WO2004051499A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US10/536,926 US7987091B2 (en) 2002-12-02 2003-12-02 Dialog control device and method, and robot device
AU2003302558A AU2003302558A1 (en) 2002-12-02 2003-12-02 Dialogue control device and method, and robot device
EP03812365.9A EP1569129B1 (en) 2002-12-02 2003-12-02 Dialogue control device and method, and robot device
CN200380104758XA CN1720520B (zh) 2002-12-02 2003-12-02 对话控制设备和方法,以及机器人设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002350137 2002-12-02
JP2002-350137 2002-12-02

Publications (1)

Publication Number Publication Date
WO2004051499A1 true WO2004051499A1 (ja) 2004-06-17

Family

ID=32463066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/015375 WO2004051499A1 (ja) 2002-12-02 2003-12-02 対話制御装置及び方法並びにロボット装置

Country Status (6)

Country Link
US (1) US7987091B2 (ja)
EP (1) EP1569129B1 (ja)
KR (1) KR101032176B1 (ja)
CN (1) CN1720520B (ja)
AU (1) AU2003302558A1 (ja)
WO (1) WO2004051499A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953055B (zh) * 2005-10-21 2012-05-23 环球娱乐株式会社 会话控制器
CN105700682A (zh) * 2016-01-08 2016-06-22 北京乐驾科技有限公司 基于视觉和语音的智能性别、情绪识别检测系统及方法
CN109686146A (zh) * 2019-02-19 2019-04-26 北京儒博科技有限公司 一种学习模块的切换方法、装置、存储介质及电子设备

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188784A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
US8073681B2 (en) * 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
DK2117521T3 (da) * 2006-11-03 2012-09-03 Durect Corp Transdermale indgivelsessystemer omfattende bupivacain
US9368107B2 (en) * 2011-04-20 2016-06-14 Nuance Communications, Inc. Permitting automated speech command discovery via manual event to command mapping
JP2013092911A (ja) * 2011-10-26 2013-05-16 Sony Corp 情報処理装置、情報処理方法、および、プログラム
US10373508B2 (en) * 2012-06-27 2019-08-06 Intel Corporation Devices, systems, and methods for enriching communications
US9223837B2 (en) * 2013-03-14 2015-12-29 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using an automobile or a portable electronic device
FR3011375B1 (fr) * 2013-10-01 2017-01-27 Aldebaran Robotics Procede de dialogue entre une machine, telle qu'un robot humanoide, et un interlocuteur humain, produit programme d'ordinateur et robot humanoide pour la mise en œuvre d'un tel procede
EP3195307B1 (en) * 2014-09-14 2020-01-29 Google LLC Platform for creating customizable dialog system engines
JP2017049471A (ja) * 2015-09-03 2017-03-09 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム
CN106570443A (zh) * 2015-10-09 2017-04-19 芋头科技(杭州)有限公司 一种快速识别方法及家庭智能机器人
CN106656945B (zh) * 2015-11-04 2019-10-01 陈包容 一种向通讯对方发起会话的方法及装置
JP6693111B2 (ja) * 2015-12-14 2020-05-13 カシオ計算機株式会社 対話装置、ロボット、対話方法及びプログラム
CN106886514A (zh) * 2015-12-16 2017-06-23 芋头科技(杭州)有限公司 一种家庭智能机器人的语义检索系统及智能终端
US10964323B2 (en) * 2016-05-20 2021-03-30 Nippon Telegraph And Telephone Corporation Acquisition method, generation method, system therefor and program for enabling a dialog between a computer and a human using natural language
US10872609B2 (en) * 2016-05-20 2020-12-22 Nippon Telegraph And Telephone Corporation Method, apparatus, and program of dialog presentation steps for agents
WO2017200078A1 (ja) * 2016-05-20 2017-11-23 日本電信電話株式会社 対話方法、対話システム、対話装置、およびプログラム
JP6795387B2 (ja) * 2016-12-14 2020-12-02 パナソニック株式会社 音声対話装置、音声対話方法、音声対話プログラム及びロボット
US10268680B2 (en) 2016-12-30 2019-04-23 Google Llc Context-aware human-to-computer dialog
WO2018205224A1 (en) * 2017-05-11 2018-11-15 Microsoft Technology Licensing, Llc Assisting psychological cure in automated chatting
EP3757806A4 (en) * 2018-02-23 2021-03-10 Fujitsu Limited PROGRAM FOR CALL CONTROL, METHOD FOR CALL CONTROL AND DEVICE FOR CALL CONTROL
WO2019183568A1 (en) * 2018-03-23 2019-09-26 Google Llc Controlling a robot based on free-form natural language input
JP7044167B2 (ja) * 2018-09-28 2022-03-30 富士通株式会社 対話装置、対話方法及び対話プログラム
US11971910B2 (en) * 2018-10-22 2024-04-30 International Business Machines Corporation Topic navigation in interactive dialog systems
KR102362717B1 (ko) * 2019-12-27 2022-02-15 주식회사 투블럭에이아이 주제 특화 챗봇 서비스 제공 방법 및 장치
CN113268580B (zh) * 2021-07-15 2021-11-09 中国平安人寿保险股份有限公司 会话主题迁移路径挖掘方法、装置、计算机设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188785A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
JP2001188787A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
JP2001188782A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2001188784A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5340317A (en) * 1991-07-09 1994-08-23 Freeman Michael J Real-time interactive conversational apparatus
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
US5878385A (en) * 1996-09-16 1999-03-02 Ergo Linguistic Technologies Method and apparatus for universal parsing of language
US6363301B1 (en) * 1997-06-04 2002-03-26 Nativeminds, Inc. System and method for automatically focusing the attention of a virtual robot interacting with users
KR100620826B1 (ko) * 1998-10-02 2006-09-13 인터내셔널 비지네스 머신즈 코포레이션 대화형 컴퓨팅 시스템 및 방법, 대화형 가상 머신, 프로그램 저장 장치 및 트랜잭션 수행 방법
US7062073B1 (en) * 1999-01-19 2006-06-13 Tumey David M Animated toy utilizing artificial intelligence and facial image recognition
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
CA2387079C (en) * 1999-10-19 2011-10-18 Sony Electronics Inc. Natural language interface control system
EP1226521A1 (en) * 1999-10-29 2002-07-31 BRITISH TELECOMMUNICATIONS public limited company Method and apparatus for processing queries
US7539656B2 (en) * 2000-03-06 2009-05-26 Consona Crm Inc. System and method for providing an intelligent multi-step dialog with a user
US7177798B2 (en) * 2000-04-07 2007-02-13 Rensselaer Polytechnic Institute Natural language interface using constrained intermediate dictionary of results
US7415537B1 (en) * 2000-04-07 2008-08-19 International Business Machines Corporation Conversational portal for providing conversational browsing and multimedia broadcast on demand
US6947992B1 (en) * 2000-05-01 2005-09-20 International Business Machines Corporation Maintaining HTTP session affinity in a cluster environment
JP2002127059A (ja) * 2000-10-20 2002-05-08 Sony Corp 行動制御装置および方法、ペットロボットおよび制御方法、ロボット制御システム、並びに記録媒体
US6975970B2 (en) * 2000-12-15 2005-12-13 Soliloquy, Inc. Method for designing an interactive system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188785A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
JP2001188787A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
JP2001188782A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2001188784A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1569129A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953055B (zh) * 2005-10-21 2012-05-23 环球娱乐株式会社 会话控制器
CN105700682A (zh) * 2016-01-08 2016-06-22 北京乐驾科技有限公司 基于视觉和语音的智能性别、情绪识别检测系统及方法
CN109686146A (zh) * 2019-02-19 2019-04-26 北京儒博科技有限公司 一种学习模块的切换方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
EP1569129A4 (en) 2006-03-01
EP1569129B1 (en) 2019-01-30
KR101032176B1 (ko) 2011-05-02
EP1569129A1 (en) 2005-08-31
AU2003302558A1 (en) 2004-06-23
CN1720520B (zh) 2010-05-05
US7987091B2 (en) 2011-07-26
KR20050085244A (ko) 2005-08-29
CN1720520A (zh) 2006-01-11
US20060047362A1 (en) 2006-03-02

Similar Documents

Publication Publication Date Title
WO2004051499A1 (ja) 対話制御装置及び方法並びにロボット装置
JP4048492B2 (ja) 音声対話装置及び方法並びにロボット装置
JP4661074B2 (ja) 情報処理システム、情報処理方法、並びにロボット装置
KR102252195B1 (ko) 감성 인식기 및 이를 포함하는 로봇, 서버
JP7260221B2 (ja) ロボット対話方法およびデバイス
CN108326855A (zh) 一种机器人的交互方法、装置、设备以及存储介质
US10239202B1 (en) Robot interaction system and method
EP1256931A1 (en) Method and apparatus for voice synthesis and robot apparatus
CN109789550A (zh) 基于小说或表演中的先前角色描绘的社交机器人的控制
CN108363492A (zh) 一种人机交互方法及交互机器人
WO2016080553A1 (ja) 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム
JP2003111981A (ja) ロボット装置及びその制御方法、ロボットのための情報提供システム及び情報提供方法、並びに記憶媒体
JP2005202076A (ja) 発話制御装置及び方並びにロボット装置
CN101124528A (zh) 交互系统和用于控制交互系统的方法
CN106155293A (zh) 交互方法、交互装置及用户设备
Kirandziska et al. Human-robot interaction based on human emotions extracted from speech
JP2004195636A (ja) 対話制御装置及び方法並びにロボット装置
JP2004295766A (ja) ロボット装置及びロボットを介したユーザの認証方法
JP4147960B2 (ja) ロボット装置、及びロボット装置の動作制御方法
JP2004209599A (ja) ロボット装置、ロボット装置の行動学習方法、ロボット装置の行動生成方法
Brady et al. Teaching Arm and Head Gestures to a Humanoid Robot through Interactive Demonstration and Spoken Instruction
KR20230099936A (ko) Ai 대화 모델 기반의 대화 친구 제공 시스템
WO2023212258A1 (en) Relationship graphs for artificial intelligence character models
KR20210009991A (ko) 액션 로봇 및 그의 동작 방법
JP2002175091A (ja) 音声合成方法及び装置、並びにロボット装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AU BA BB BG BR BW BZ CA CN CO CR CU CZ DM DZ EC EE EG FI GD GE HR HU ID IL IN IS KP KR LC LK LR LT LV MA MG MK MN MX NI NO NZ OM PG PH PL RO SC SG SK SY TN TT UA US UZ VC VN YU ZA

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003812365

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006047362

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10536926

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20038A4758X

Country of ref document: CN

Ref document number: 1020057009855

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020057009855

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003812365

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10536926

Country of ref document: US