WO2016157944A1 - ロボット - Google Patents

ロボット Download PDF

Info

Publication number
WO2016157944A1
WO2016157944A1 PCT/JP2016/051324 JP2016051324W WO2016157944A1 WO 2016157944 A1 WO2016157944 A1 WO 2016157944A1 JP 2016051324 W JP2016051324 W JP 2016051324W WO 2016157944 A1 WO2016157944 A1 WO 2016157944A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
unit
facial expression
user
facial
Prior art date
Application number
PCT/JP2016/051324
Other languages
English (en)
French (fr)
Inventor
高明 勝浦
圭司 坂
実雄 阪本
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2016157944A1 publication Critical patent/WO2016157944A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites

Definitions

  • the present invention relates to a robot that displays a face image and performs voice dialogue.
  • an object of the present invention is to provide a robot that allows a user to be intimately contacted and perform more natural communication with the user.
  • a robot is a robot that displays a face image and performs a voice conversation, and includes a user voice input to the user's own machine or an utterance voice output from the own machine.
  • a facial expression determination unit that determines a facial expression using an emotion parameter associated with the sensor, a sensory parameter associated with a detection result of the sensor unit of the own device, and a state parameter associated with the operation state of the own device;
  • a display control unit for displaying a face image corresponding to the facial expression determined by the facial expression determination unit on the display unit.
  • a robot is a robot that displays a face image and performs a voice conversation, and performs a user action detected by a detection unit included in the own device.
  • the failure notification unit for notifying the failure information that is at least one of the information indicating the content of the estimated failure or the information necessary for the resolution of the failure, It is characterized by having.
  • FIG. 6 is a diagram illustrating a schematic configuration of a robot according to a third embodiment.
  • the robot 1 is a robot that displays a face image and performs a voice dialogue, and its appearance is a snowman type having a head 2 and a torso 3 as shown in FIG.
  • the body 3 is accompanied by an arm 3a.
  • the head 2 is configured to be driven by a motor unit 50 described later.
  • the appearance of the robot 1 is not limited to the illustrated one, and for example, the appearance of FIG. 2 may further include legs. Alternatively, it may be a humanoid type or a pet type.
  • Robot 1 is configured to be able to express facial expressions.
  • the robot 1 displays a face image in the face area of the head 2, and the expression of the expression is performed by displaying the face image of the determined expression. Details of the determination of the expression and the display of the face image of the determined expression will be described later.
  • the facial expression changes as the face image changes.
  • the robot 1 displays, for example, a face image that is embarrassed and embarrassed, sleepy, or feels sick and sweats or trembles. It is possible to project a closer expression.
  • the robot 1 can change the facial expression in various ways by displaying the face image, the robot 1 can appear to have an emotion. Therefore, the user can touch the robot 1 with more familiarity and attachment.
  • the robot 1 has a voice recognition function and an utterance (voice output) function.
  • voice recognition function When a user voice (voice signal) is input, the robot 1 performs voice recognition and utters according to the recognition result. Therefore, the user can interact with the robot 1 by voice using natural language.
  • FIG. 1 is a block diagram showing a functional configuration of the robot 1 according to the present embodiment.
  • the robot 1 includes a control unit 10, a display unit 20, an audio output unit 30, an audio input unit 40, a motor unit 50, a sensor unit 60, a communication unit 70, and a data storage unit 80.
  • the control unit 10 is a block that comprehensively controls each unit of the robot 1.
  • the control unit 10 includes a computer device including an arithmetic processing unit such as a CPU (Central Processing Unit) or a dedicated processor.
  • the control unit 10 comprehensively controls the operation of each unit of the robot 1 by reading and executing a program for performing various controls in the robot 1 stored in the data storage unit 80.
  • the control unit 10 also has functions as a display control unit 11, a dialogue control unit 12, an environment recognition unit 13, and a state control unit 14. Details of these will be described later.
  • the display unit 20 is a block that performs display on the robot 1.
  • the display unit 20 displays facial images in the face area of the head 2 to express facial expressions such as emotions with the robot 1.
  • the display unit 20 projects a face image from the inside of the robot 1 to the face area of the head 1 of the robot 1 by a rear projection projector.
  • the present invention is not limited to this.
  • a configuration in which a face image is displayed on a liquid crystal display device may be used.
  • the voice output unit 30 is an output device for voice (uttered voice) by the robot 1, and here is a speaker.
  • the voice input unit 40 is an input device for voice (user voice) by a user, and here is a microphone.
  • the motor unit 50 is a block that executes various motions of the robot 1. Examples of the motion operation in the robot 1 executed by the motor unit 50 include a motion operation such as rotating the head 2 in the horizontal direction and moving the hand up and down, but are not limited thereto.
  • the movement operation of the robot 1 means that at least a part of the robot 1 moves physically (by mechanical mechanism).
  • the sensor unit 60 is a device for detecting the environment inside or around the robot 1.
  • the sensor unit 60 includes various sensors 60a and a camera 60b.
  • the various sensors 60a include a sensor that detects a failure (error) of the hardware of the robot, a temperature sensor, a humidity sensor, an illuminance sensor, an acceleration sensor, a touch sensor, an acceleration sensor, a human sensor, and a clock.
  • the various sensors 60a may not include some of these, or may include other sensors.
  • the camera 60b is an imaging device that captures still images and / or moving images.
  • the sensor unit 60 may not include the camera 60b.
  • the communication unit 70 is a block that performs communication with the outside through a communication network.
  • a communication network For example, the Internet can be used as the communication network.
  • a telephone line network a mobile communication network, a CATV (Cable Television) communication network, a satellite communication network, and the like can be used.
  • FIG. 2 is a diagram showing a communication system including the robot 1 and the information providing server 100.
  • the information providing server 100 is a device that provides the robot 1 with information necessary for dialogue.
  • One information providing server 100 may be used, or a plurality of information providing servers 100 may be connected via a communication network.
  • the robot 1 may not be connected to the information providing server 100 but may be a stand-alone robot.
  • the information providing server 100 may be a management server that manages the robot 1. When a plurality of robots 1 are connected to the management server, the management server manages the plurality of robots individually.
  • the communication unit 70 when the communication unit 70 is configured to be able to acquire the update data of the face image data and the utterance data from the management server, it is possible to further increase the expression data variation and the utterance variation.
  • some functions of the control unit 10 of the robot 1 may be performed by the management server. With such a configuration, it is possible to display a face image with a complex facial expression without improving the processing capability of the robot 1 or expanding the capacity of the data storage unit 80.
  • the data storage unit 80 includes a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disk Drive), and the like, and is a block for storing various information (data) used in the robot 1.
  • the data storage unit 80 stores a face image DB 81 that is a database of face images to be displayed in the face area of the head 2 of the robot 1. In the face image DB 81b, face image data is registered for each facial expression.
  • the data storage unit 80 stores a dialogue scenario 82 that is a database of utterance data uttered by the robot 1. Details of the dialogue scenario 82 will be described later.
  • the dialogue control unit 12 is a block that performs processing necessary for voice dialogue with the user.
  • the dialogue control unit 12 recognizes the user voice input from the voice input unit 40, reads out the utterance data associated with the voice recognition result from the dialogue scenario 82, performs voice synthesis, and outputs it from the voice output unit 30. .
  • the utterance data associated with the autonomous trigger is read from the dialogue scenario 82 and synthesized, and output from the speech output unit. Note that when speech data is generated as speech data, speech synthesis is not performed.
  • Known techniques can be used for the speech recognition process and the speech synthesis process.
  • the environment recognition unit 13 is a block that acquires information inside or around the robot 1 from the output value from the sensor unit 60.
  • the state control unit 14 is a block that determines an operation state (mode) in the robot 1 and controls each unit of the robot 1 so as to be in the determined operation state.
  • mode an operation state
  • a reception state for waiting for input of a user voice or a user action a speech recognition state for performing speech recognition, an utterance state for performing speech, and a search for searching information necessary for communication with the information providing server 100
  • Examples include a state, a state output state for outputting a detection result by the sensor unit 60 of the own device, a sleep state, a return state from the sleep state to the reception state, and the like, but are not limited thereto.
  • the display control unit 11 is a block that controls the display unit 20 to display a face image on the face area of the head 2 of the robot 1. Further, the display control unit 11 includes a facial expression determination unit 15.
  • the facial expression determination unit 15 includes emotion parameters associated with user speech input to the robot 1 or speech speech output from the robot 1, sensory parameters associated with the detection results of the sensor unit 60, and the operating state of the robot 1. Then, the display control unit 11 causes the display unit to display a face image corresponding to the facial expression determined by the facial expression determination unit 15. Specific examples of facial expression determination and face image display will be described later.
  • Each parameter is information that specifies the facial expression.
  • the emotion parameter is information for designating a facial expression registered in association with a voice trigger (user voice) or utterance data (speech voice) in a dialogue scenario 82 described later.
  • a voice trigger user voice
  • utterance data speech voice
  • the impression (strength, degree) (here, large, medium, small) given to the user of the facial expression is different.
  • the emotion parameter is set to designate an expression that cannot be understood when a user voice that is too long to be processed by the robot 1 or a word or phrase that cannot be recognized by voice is input.
  • the user voice associated with content having abundant types of utterance voices is set to specify an expression that is heard with interest. For example, if a lot of cooking contents are registered, if the name of the menu or the like can be recognized by voice, an interesting facial expression is designated.
  • emotion parameters facial expressions can be changed according to the situation during voice conversation, and a smooth conversation can be realized by intuitively understanding the state.
  • the sensory parameter is information for designating an expression according to a detection result detected by the sensor unit 60, such as an error of the robot 1 or a high ambient temperature (for example, 35 ° C. or more).
  • the sensory parameter is set so that, for example, when an error is detected, an error-specific facial expression is designated so that the user can intuitively know that an error has occurred.
  • the sensory parameters are stored in the data storage unit 80 in correspondence with the detection results of the sensor unit 60.
  • the state parameter is information for designating the facial expression associated with the operation state.
  • the sensory parameter is set to specify a sleeping expression in the sleep state so that the user can intuitively understand the sleep state (response impossible) of the robot 1 from the expression.
  • the voice recognition state the facial expression being listened to is designated.
  • the response processing state is set so as to specify a facial expression to be considered, and in the utterance state, the facial expression is specified according to the user voice or the utterance voice in the dialogue scenario 82 in the same manner as the emotion parameter.
  • the state parameter may be set so as not to change in the same operation state, but may be set so as to change.
  • the facial expression designated in the standby state may be set to change according to the detection result by the sensor unit 60.
  • the state parameter is stored in the data storage unit 80 in correspondence with the operation state.
  • Each parameter may be a numerical value instead of information specifying a facial expression.
  • a numerical value as a sensory parameter is associated with each user voice or each uttered voice
  • a numerical value as an emotion parameter is associated with each detection result of the sensor unit 60
  • a state parameter is associated with each operation state of the robot 1.
  • the expression determination unit 15 may determine the expression using these values.
  • the display control unit 11 also includes a facial expression image determined from user voice or speech voice, a facial expression image determined from detection by the sensor unit 60, and a facial expression image determined from the operation state of the robot 1. In other words, the combined face image is displayed. In this case, each parameter is the face image itself.
  • the facial expression of the robot 1 varies depending on the user voice or speech voice, the detection result of the sensor unit 60, and the operation state of the robot 1. Therefore, the variation of facial expressions can be increased, and it is possible to realize expression of various complex expressions as if they were humans.
  • the facial expression determination unit 15 may determine the facial expression using the emotion parameter, the sensory parameter, and the state parameter equally.
  • the priority indicating the strength of the influence on the facial expression is set according to the operation state of the robot 1, and the facial expression determination unit 15 takes the priority into consideration.
  • the facial expression may be determined using each parameter.
  • the priority may be set to use all three parameters, or may be set to use one or two of the three parameters.
  • FIG. 3 is a diagram illustrating an example of the dialogue scenario 82.
  • the output content from the robot 1 is registered in association with the input content to the robot 1.
  • the output content from the robot 1 is registered in correspondence with the trigger (trigger generated in the robot 1) input to the robot 1 as the input content and the filter.
  • triggers generated in the robot 1 are roughly classified into voice triggers caused by user voices and autonomous triggers caused by information detected by the sensor unit 60. Therefore, in the voice trigger of the dialogue scenario 82, for example, a word or phrase that abstracts the voice recognition result of the user voice is registered. The abstraction will be described later.
  • the autonomous trigger includes user actions other than user voice input (for example, touching and picking up) or actions that the robot 1 performs spontaneously (for example, detecting that the temperature sensor has exceeded 35 ° C. The sensor detects a person in the sleep state, etc.) is registered.
  • the user action is a user action on the robot 1, that is, a user action that can be detected by the sensor unit 60 of the robot 1. That is, information detected by the sensor unit 60 of the robot 1 is registered in the autonomous trigger.
  • the filter is used to perform conditional branching when determining the output from the robot.
  • the filter is the temperature, time, or log when the trigger occurs.
  • the log is a history of interaction with the user. For example, the user's preferences (hobbies, favorite foods, etc.), and actions and words specified in previous dialogues with the user (“go to work”, “eating strawberry yesterday”, etc.) are registered as a log Keep it. A specific example of log usage is shown. When “I'm going to work” is registered as a log, when the user voice is input “I ’m right”, the utterance “Welcome back, I ’m sorry” is made. A trigger for which no filter is set may be registered. Also, the “autonomous” of the filter and the trigger may be the same.
  • the robot 1 roughly classifies the input trigger as a voice trigger or an autonomous trigger, performs detailed conditional branching by a filter, and determines an output such as a voice or a facial expression (see FIG. 4A). ).
  • the robot 1 performs voice recognition and abstracts the trigger (see FIG. 4B).
  • the abstraction to the trigger is to decompose the speech recognition result to a level (trigger) at which the scenario can be selected.
  • the user's intention user feeling
  • this estimation may be registered as a trigger in the dialogue scenario.
  • facial expressions are registered as output contents from the robot 1.
  • sound utterance data uttered by the robot 1 is registered.
  • expression information designating the expression, that is, the emotion parameter described above is registered. Examples of information that specifies facial expressions include “joy is large”, “joy is medium”, “joy is small”, “anger is large”, “anger is medium”, “anger is small”, “flat (expression is No) ". These are merely examples, and more complex facial expressions may be designated, or may be distinguished by numerical values instead of large, medium, and small. Face image data of facial expressions corresponding to these is registered in the face image DB 81.
  • the display control unit 11 reads the facial image data of the corresponding facial expression from the facial image DB 81 based on the information specifying the facial expression associated with the trigger, and displays the facial image on the display unit 20. Display as.
  • the “action” of the output content information designating the action in the robot 1 is registered. Therefore, when a trigger occurs, the state control unit 14 determines an operation state of the robot based on information designating an operation associated with the trigger, and the robot 1 is configured so as to be in the determined operation state. Control each part. As the “others” of the output content, any information may be registered as long as it can be output by the robot 1.
  • the dialogue scenario 82 not only one corresponding to one word but also one corresponding to a combination of a plurality of words may be registered as a voice trigger. Further, a plurality of utterance data may be registered corresponding to a certain word or a certain phrase, and in this case, what is actually outputted as a sound may be selected. Note that the utterance data may be stored as text data. A known technique can be used for constructing such a dialogue scenario 82.
  • a state parameter here, an expression of the standby state
  • the operation state is the standby state (standby state).
  • a flat expression without an expression
  • the face image is displayed.
  • (B) Dialogue (Information Search) Process As shown in FIG. 5B, facial expressions are determined in the same manner as described above in the dialog (information search) process, and a face image corresponding to the determined facial expression is displayed.
  • the information providing server 100 such as a weather forecast
  • (C) Sensor Detection Process As shown in FIG. 5C, in the sensor detection process, a facial expression is determined in the same manner as described above, and a face image corresponding to the determined facial expression is displayed. Here, it can be notified by a facial expression that a predetermined value (for example, 35 ° C.) has been exceeded. By setting the predetermined temperature to a value comfortable for the user, the robot 1 can notify the user's surroundings safely and comfortably with the expression.
  • a predetermined value for example, 35 ° C.
  • the robot 1 can notify the user's surroundings safely and comfortably with the expression.
  • the temperature sensor has been described as an example, but the same applies to other sensors.
  • the robot 1 may be provided so that surrounding home appliances can be operated when the detection target detected by the sensor unit 60 exceeds a predetermined value.
  • the various sensors 60a include a temperature sensor, and the temperature sensor detects an ambient temperature of 35 ° C. or higher, the robot 1 is connected to the user home 4 in which the robot 1 is installed as shown in FIG.
  • the air conditioner (air conditioner) 5-1 may be configured to perform a cooling operation at a preset temperature (for example, 27 ° C.).
  • the various sensors 60a include an illuminance sensor, and the illuminance sensor detects a predetermined value or less
  • the robot 1 illuminates the user home 4 in which the robot 1 is installed as shown in FIG.
  • the apparatus 5-2 may be configured to be turned on.
  • the robot 1 is capable of operating surrounding home appliances, the user may not be able to operate the home appliances because the user's body is inconvenient due to age, illness, etc. Even when it cannot be operated, the home appliance can be operated by the robot 1.
  • the robot 1 when the robot 1 operates the air conditioner 5-1, the user can be prevented from heat stroke, dehydration, or hypothermia.
  • the user can provide a comfortable lighting environment by operating the lighting device 5-2 by the robot.
  • the home appliance is operated by transmitting an operation signal from the robot 1 by infrared communication or wireless LAN communication.
  • the management server is configured to be communicable with a home appliance installed in the user's home 4 where the robot 1 is installed, and the management server is configured to operate the home appliance by notification from the robot 1 to the management server. It may be.
  • the home appliance can be operated from the robot 1 only when the user is detected in the user home 4.
  • the detection of the user may be performed by the camera 60b or when the various sensors 60a include a human sensor.
  • a voice confirming the execution of the operation for example, voice data such as “Can I turn on the air conditioner (or lighting)?” Is output from the robot 1, and the execution is permitted by the user.
  • the operation is executed when a positive voice such as “Turn on”, “Turn on”, “OK” or the like is input.
  • a positive voice such as “Turn on”, “Turn on”, “OK” or the like is input.
  • (D) Defect detection process As shown in FIG. 5D, in the defect detection process, a facial expression is determined in the same manner as described above, and a face image corresponding to the determined expression is displayed. Note that voice recognition is performed during status output, but because of an error, the expression “speech recognition” is not used here.
  • (F) Sleep Return Processing As shown in FIG. 5F, facial expressions are determined in the same manner as described above in the sleep return processing, and face images corresponding to the determined facial expressions are displayed.
  • the sensor input in this case is used as a trigger for a return state such as detecting a person with a human sensor or a camera.
  • the expression of the face image to be displayed is associated with the “emotion parameter” associated with the user voice or the utterance voice and the detection result of the sensor unit. It is determined using the “sensory parameter” and the “state parameter” associated with the operation state of the robot. Therefore, the facial expression of the robot 1 changes variously depending on the user voice or speech voice, the detection result of the sensor unit, and the operation state of the robot. Since facial expressions are represented by images, it is easy to prepare a wide variety of facial expressions, and the facial expressions can be changed in various ways without complicated processing in the robot.
  • the facial expression is determined as follows: Can do. For example, in the utterance state, the priority of the emotion parameter is set to be the highest, and in any operation state, if a fatal error is detected, the priority of the sensory parameter is set to the highest priority.
  • the facial expression can be appropriately determined according to the situation.
  • the display unit 20 may be configured to be capable of color display.
  • the facial expression determination unit 15 determines the facial color as well as the facial expression
  • the display control unit 11 causes the display unit 20 to display a facial image corresponding to the facial expression and facial color determined by the facial expression determination unit 15.
  • a display unit 20 for example, a projector and RGB LED light emitting elements are installed in the robot 1, face images of various facial expressions are projected by the projector, and color mixing is performed using the RGB LED light emitting elements. Display of a face image having a facial expression and a face color can be realized. Or you may comprise the display part 20 with a liquid crystal display device. Alternatively, a face image having an expression and a face color may be displayed with another configuration.
  • facial images with complex colors in addition to facial expressions
  • even facial images with the same facial expression can be displayed as different facial images by varying the facial color. Therefore, the variation of the face image which can be displayed can be increased.
  • various variations of expression can be realized depending on the face color.
  • it may be configured to be able to display more facial images with different facial expressions as the usage time of the robot 1 increases (for example, the number of dialogues and contacts). By being configured in this way, the user can have attachment with the robot 1.
  • the robot 1 may be configured to analyze the user's facial expression and position from the image input from the camera 60b and to interact with the user based on the analysis. For example, when it is recognized that the position of the user is rightward when viewed from the front of the robot 1, the robot head is actually turned to the right, or a state in which the face moves to the right is displayed on the head. Thus, the configuration may be such that the user is facing the user, that is, can respond.
  • the robot 1b according to the present embodiment is a robot that displays a face image and performs a voice conversation, and has an appearance having a head 2 and a torso 3 as shown in FIG. It is a snowman type.
  • the functional configuration of the robot 1a of the present embodiment is the same as that of the robot 1 as shown in FIG. Therefore, the robot 1 a has the same function as the robot 1.
  • the display control unit 11a in the control unit 10a of the robot 1a has the following functions in addition to the functions in the display control unit 11 in the control unit 10 of the robot 1.
  • the display control unit 11a displays the new face image of the expression newly determined by the expression determining unit 15, and then the impression (intensity of the expression) given to the user of the expression was previously displayed as the new face image.
  • the display unit 20 is controlled so that the face image set in the middle between the face image and the new face image is displayed for a predetermined period and then returned to the display of the old face image.
  • the display control unit 11a displays the face image bG of the expression “joy is great” as a new face image of the newly determined expression as follows. 20 is controlled. After displaying the face image aG with a flat expression as the old face image, the face image bG with the expression “joy is great” as the new face image is displayed for a period set according to the expression “joy is great”. Thereafter, the display unit 20 displays the face image cG having “small joy” with the expression strength set between the face image aG and the face image bG for a predetermined period, and then returns to the display of the face image aG. To control.
  • the display control unit 11a displays the face image dG having the expression “angered inside” as the new face image having the newly determined expression as follows.
  • the display unit 20 is controlled. After displaying the face image aG with the flat expression as the old face image, the face image dG with the expression “anger inside” as the new face image is displayed for a period set according to the expression with “in middle anger”. After that, the display unit displays the face image eG having “small anger” with the expression strength set between the face image aG and the face image dG for a predetermined period, and then returns to the display of the face image aG. 20 is controlled.
  • the display period of the facial image bG with the expression “joy is great” is longer than the display period of the facial image dG with the expression “angered inside”.
  • the display control unit 11a performs control such that the face image bG having a joyful expression is displayed for a long period of time, but the face image dG having an angry expression is displayed short, thereby giving the user a sense of security. it can.
  • This control is merely an example. Therefore, the control for displaying the new face image, and then displaying the face image in which the impression given to the user of the expression is set in the middle for a predetermined period and then returning to the display of the old face image is disclosed here.
  • the content is not limited.
  • each face image There is no limitation on the expression of each face image or the setting of the display period (expression holding time) of each face image.
  • the face image with the expression strength set to the middle may be close to (similar to) either the old face image or the new face image. It may be set in any way.
  • the facial image cG or eG with the expression strength set to the middle is displayed for a predetermined period, and then the display of the old facial image is resumed. Easy to live. Therefore, the user can touch the robot 1a more closely.
  • there is one face image with the expression strength set to the middle but there may be a plurality of face images. In this case, each face image may be displayed so that the level of expression strength gradually decreases, and control may be performed to return to the old face image.
  • the display unit 20 is provided so as to be able to display a color image, for example, control is performed so that the face color of the angry face image is changed to red, and the red color gradually fades and returns to the old face image. May be.
  • the individuality of the robot 1a can be determined by changing the display period of the new face image bG or dG or the intermediate face image cG or eG for each robot 1a.
  • the facial expression retention period may be set at the time of shipment, or may be changeable by the user. By giving individuality to the robot 1a, the user can touch the robot 1a more closely.
  • the robot 1b according to the present embodiment is a robot that displays a face image and performs a voice conversation, and has an appearance having a head 2 and a torso 3 as shown in FIG. It is a snowman type.
  • FIG. 7 is a block diagram showing a functional configuration of the robot 1b according to the present embodiment.
  • the robot 1 b is the same as the robot 1 except for the configuration of the display control unit 11 b and the data storage unit 80 in the first embodiment shown in FIG. 1.
  • the robot 1b has a functional defect such as attachment of a dynamic part in addition to a functional defect that is a malfunction of a dynamic part such as a motor unit 50, a sensor unit 60, a fan (not shown), and a display unit 20 (projector). As described below, it is possible to notify the outside.
  • the control unit 10b is a block that performs overall control of each unit of the robot 1b, and functions as a display control unit 11b, a dialogue control unit 12, and a defect estimation unit 16.
  • the display control unit 11 b is a block that controls the display unit 20.
  • the display control unit 11 b controls the display unit 20 to display a face image on the face area of the head 2 of the robot 1.
  • the dialogue control unit 12b is a block that performs processing necessary for voice dialogue with the user.
  • the dialogue control unit 12b recognizes the user voice input from the voice input unit 40, reads out the utterance data associated with the voice recognition result from the dialogue scenario 82b, performs voice synthesis, and outputs it from the voice output unit 30. .
  • the utterance data associated with the autonomous trigger is read from the dialogue scenario 82b, synthesized, and output from the voice output unit. Note that speech synthesis is not performed when the speech data is speech data.
  • the defect estimation unit 16 determines a defect in the robot 1b based on at least one of the user voice (user action) input from the voice input unit (detection unit) 40 or the user action detected by the sensor unit (detection unit) 60. It is a block to guess.
  • the user action detected by the sensor unit 60 is a sensor (for example, a touch sensor, an acceleration sensor, a human sensor, or the like) that can detect user operations included in the various sensors 60a of the sensor unit 60, or Any information relating to the user's action acquired by at least one of the cameras 60b may be used.
  • the sensor unit 60 may include the voice input unit 40, and the user action may include a voice input from the user. In this case, the defect estimation unit 16 estimates a defect in the robot 1b based on the user action detected by the sensor unit 60.
  • the defect information that is at least one of the information indicating the content of the defect estimated by the defect estimation unit 16 or the information necessary for resolving the defect is transmitted from the voice output unit 30 under the control of the dialogue control unit (defect notification unit) 12b.
  • the notification is reflected in the uttered voice. Alternatively, notification is performed by reflecting the expression on the facial image displayed on the display unit 20 under the control of the display control unit (defect notification unit) 11b.
  • the data storage unit 80b is a block that stores various information (data) used in the robot 1b. Further, the data storage unit 80b stores a face image DB 81b that is a database of face images displayed by the display unit 20 of the robot 1b and a dialogue scenario 82b that is a database of speech data uttered by the robot 1b. In the face image DB 81b, face image data is registered for each facial expression. In the dialogue scenario 82b, speech data is registered in association with the voice recognition result and the autonomous trigger. Further, in the dialogue scenario 82b, it is necessary for the robot 1b to utter the defect information which is information necessary for solving the defect or information indicating the content of the defect in association with the defect estimated by the defect estimation unit 16. Utterance data is registered.
  • the display control unit 11b uses the facial image DB 81b based on the information specifying the facial expression associated with the utterance data.
  • the face image data of the corresponding expression is read out and displayed as a face image on the display unit 20. Therefore, the robot 1b can notify the failure information by reflecting it on at least one of the utterance voice and the facial image expression.
  • the robot 1b detects that the user is in the vicinity by the sensor unit 60, but when there is no voice input from the voice input unit 40 (no voice can be picked up), the dialogue control unit 12b says " Etc. "to utter the voice prompting the user to input the voice. If the voice still cannot be picked up, the fault estimation unit 16 estimates that the microphone that is the voice input unit 40 is faulty (a fault has occurred). Then, the dialogue control unit 12b makes an utterance saying “I am weird”. When the display unit 20 is configured to be able to display a color image, a red-colored ear is displayed together with or in place of an utterance such as “I am weird” by the dialogue control unit 12b. . Here, information indicating the content of the defect is notified by displaying an utterance “I am weird” and / or a red ear.
  • Detecting that the user is in the vicinity can be performed using at least one of a touch sensor, an acceleration sensor, a human sensor, and a camera 60b included in various sensors 60a of the sensor unit 60. You may detect that a user is near by sensors other than these. Further, the robot 1b may be configured to perform complicated detection such as detecting that the user is moving his / her mouth with a camera instead of detecting that the user is in the vicinity.
  • the dialogue control unit 12b utters “How is it strange?”
  • the failure estimation unit 16 estimates that a failure has occurred in the installation of the projector that is the display unit 20. Then, the dialogue control unit 12b utters “I am hospitalized because it is in a bad condition”, thereby notifying information necessary for solving the problem.
  • the defect estimation unit 16 estimates that the projector as the display unit 20 is defective. Also in this case, the dialogue control unit 12b utters “I am hospitalized because it is in bad condition”, thereby notifying information necessary for solving the problem.
  • the malfunction estimation unit 16 has a normal microphone as the voice input unit 40 attached normally. However, it is assumed that the motor for rotating the head 2 is poorly attached. In this case, the dialogue control unit 12b notifies the trouble information by saying “It seems that the neck is in a bad state”.
  • the robot 1b detects that the temperature sensor included in the various sensors 60a of the sensor unit 60 has exceeded 35 ° C.
  • the robot 1b speaks “is not hot?”
  • the defect estimation unit 16 determines that the temperature sensor is normal.
  • the failure estimation unit 16 estimates that the temperature sensor is defective.
  • the dialogue control unit 12b notifies the defect information by performing an utterance “I am hospitalized because it is hot”. In this case, a facial image with a sweat color and a red complexion may be displayed.
  • the robot 1b detects that there is a user in the vicinity by acquiring the image from the camera 60b and the user voice from the voice input unit 40, but the human sensor included in the various sensors 60a does not react. Then, the dialogue control unit 12b utters "Someone?" On the other hand, when the user voice can be acquired, it is estimated that the attachment of the human sensor is defective (this estimation is based on the following assumption. Since it is possible to determine whether the sensor is defective or not properly installed, it is determined that the sensor is not defective from the output value. Assume that.) Then, the dialogue control unit 12b notifies the defect information by performing an utterance that “the eye has disappeared”. Further, the defect information may be notified by displaying a face image that speeds up blinking.
  • the display part 20 may display the character explaining a malfunction as a malfunction information, or may display the telephone number and URL of the manufacturer of the robot 1b.
  • the robot 1b may be configured so as to be able to automatically resolve a specific problem, or may be configured to be able to resolve a specific problem by a user operation.
  • the robot 1b it is possible to guess the malfunction of the own device based on at least one of the user voice or the user action, that is, based on more natural communication with the user. Then, the defect information can clearly notify the user of the content of the defect or information necessary for solving the problem. As described above, since communication is emphasized in the estimation of the defect and the notification of the defect information in the robot 1b, the user is easily attached to the robot 1b and is likely to appropriately deal with the defect. Therefore, the failure of the robot 1b is prevented from being left, and the maintenance of the robot 1b is appropriately performed in a timely manner. In this way, the robot 1b allows the user to be intimately contacted and can perform more natural communication with the user.
  • the robot 1b can notify the user of the defect information in an easy-to-understand manner with more emphasis on communication by notifying the defect information by reflecting at least one of the utterance voice and the facial expression of the face image. Since the facial expressions are displayed as images, it is easy to prepare a wide variety of facial expressions. Therefore, it is possible to make the facial expression easy to understand corresponding to the defect information without performing complicated processing in the robot 1b.
  • the conventional robot cannot detect the malfunction of the robot such as how to install each component or each sensor, so it cannot be notified. In order to detect and notify these performance defects, it is necessary to mount many mechanisms on the robot, which is too expensive. However, in the robot 1b, a performance defect can be estimated and notified based on at least one of the user voice and the user action. Therefore, the robot 1b can notify the malfunction of its own machine at a reduced cost.
  • Each of the robots 1, 1a, 1b described in the first to third embodiments may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or a CPU (Central Processing Unit). ) May be implemented by software.
  • a logic circuit hardware
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • each of the robots 1, 1 a, 1 b has a CPU that executes instructions of a program that is software that realizes each function, and a ROM (the above-described program and various data are recorded so as to be readable by a computer (or CPU)).
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the present invention is not limited to the above-described embodiments, and various modifications are possible, and the present invention also relates to embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is included in the technical scope. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.
  • the robot (1) is a robot that displays a face image and performs a voice conversation, and an emotion associated with a user voice input to the own machine or an utterance voice output from the own machine.
  • a facial expression determination unit (15) for determining a facial expression using a parameter, a sensory parameter associated with a detection result of a sensor unit included in the own device, and a state parameter associated with an operation state of the own device;
  • a display control unit (11) for causing the display unit (20) to display a face image corresponding to the facial expression determined by the determination unit.
  • the expression of the facial image displayed by the robot is expressed by the “emotion parameter” associated with the user voice or speech voice, and the “sensory parameter” associated with the detection result of the sensor unit. ”And a“ state parameter ”associated with the operation state of the robot. Therefore, the facial expression of the robot changes variously depending on the user voice or speech voice, the detection result of the sensor unit, and the operation state of the robot. Since facial expressions are represented by images, it is easy to prepare a wide variety of facial expressions, and the facial expressions can be changed in various ways without complicated processing in the robot.
  • the sensor unit is not particularly limited as long as it is a sensor that detects the environment inside or around the robot.
  • it may be a sensor that detects a failure of the robot hardware, a temperature sensor, a humidity sensor, an illuminance sensor, an acceleration sensor, a touch sensor, an acceleration sensor, a human sensor, or a camera.
  • the sensor unit may include a plurality of these.
  • the emotion parameter, the sensory parameter, and the state parameter have a priority indicating the strength of the influence on the expression on the operating state of the own device.
  • the facial expression determination unit determines the facial expression using the emotion parameter, the sensory parameter, and the state parameter based on the priority.
  • the facial expression is determined according to the emotion parameter, the sensory parameter, and the state parameter for which priority is set according to the operation state of the robot. So, for example, in the utterance state, the emotion parameter is set to have the highest priority, and in any operation state, if a fatal error is detected, the sensory parameter has the highest priority. If so, the facial expression can be appropriately determined according to the priority.
  • the priority may be set to use all the three parameters, or may be set to use one or two of the three parameters.
  • the emotion parameter is associated with the user emotion estimated from the user voice or the speech voice.
  • the facial expression of the robot is determined according to the user emotion or utterance voice estimated from the user voice, the detection result of the sensor unit, and the operation state of the robot.
  • user emotion is added to the determination of the facial expression, it is possible to express a facial expression that is sympathetic to the emotion of the user who is the speaker.
  • the display control unit displays the facial image of the facial expression newly determined by the facial expression determination unit. Control the display unit to display for a set period according to the determined facial expression, and then control the display unit to return to the display of the facial image displayed before the newly determined facial image of the facial expression To do.
  • a facial image of a joyful facial expression is displayed for a long time, but a facial image of an angry facial expression is displayed for a short time.
  • the individuality of the robot can also be determined by changing the display period (expression holding time) of the newly determined facial expression for each robot.
  • the new face image of the expression newly determined by the expression determining unit is displayed, and then the impression given to the user of the expression is the new face image.
  • the display unit is controlled to display a face image set in the middle between the old face image displayed before and the new face image for a predetermined period, and then return to the display of the old face image.
  • the display since the face image in which the impression given to the user of the facial expression is set in the middle is displayed for a predetermined period in the robot, the display returns to the display of the old face image, so that the user can easily follow the change in the facial expression of the robot. Therefore, it becomes possible for the user to contact the robot more closely.
  • the display unit is configured to be capable of color display, and the facial expression determination unit determines a facial color as well as a facial expression.
  • the display control unit displays a face image corresponding to the facial expression and facial color determined by the facial expression determination unit on the display unit.
  • the robot (1b) is a robot that displays a face image and performs a voice conversation, and detects a user action detected by a detection unit (speech input unit 40, sensor unit 60) included in the own device. Based on a defect estimation unit (16) for estimating a defect in the own device and a defect notification for notifying externally the defect information that is at least one of information indicating the content of the estimated defect or information necessary for solving the defect (Dialogue control unit 12, display control unit 11b).
  • the robot estimates a failure of its own device based on the user action and notifies the failure information to the outside.
  • the user action is an action to the robot from the user, and is, for example, voice input, contact, or lifting. Therefore, it is possible to infer a malfunction of the own device based on natural communication with the user. Then, the defect information can clearly notify the user of the content of the defect or information necessary for solving the problem. Since communication is emphasized in such inference of defects and notification of defect information, the user is likely to be attached to the robot and is likely to appropriately deal with the defects. Therefore, it is possible to prevent the failure of the robot from being neglected, and the maintenance of the robot is appropriately performed in a timely manner.
  • the detection unit may be any sensor that can detect a user action.
  • the detection unit may include, for example, at least one of a voice input unit (microphone), a touch sensor, an acceleration sensor, a human sensor, and a camera.
  • the robot according to aspect 8 of the present invention is the robot according to aspect 7, wherein the defect notification unit is configured to output at least one of the utterance voice output from the own apparatus or the facial image displayed on the own apparatus. It is reflected in and notified.
  • the failure information is notified by reflecting it on at least one of the speech voice or the facial expression of the face image, so that the user can be notified of the failure information in an easy-to-understand manner with more emphasis on communication. Since the facial expressions are displayed as images, it is easy to prepare a wide variety of facial expressions. Therefore, it is possible to make the facial expression easy to understand corresponding to the defect information without performing complicated processing in the robot.
  • the defect estimation unit further limits the estimated defect based on a user voice input to the own device, and the defect notification unit Notifies the defect information about the limited defect.
  • the estimated malfunction can be narrowed down by the user voice. Therefore, it is possible to notify the defect information in detail. Therefore, an appropriate response can be performed by the user.
  • the robot according to the tenth aspect of the present invention includes the adjustment unit that eliminates the estimated problem in the robot according to any one of the seventh to ninth aspects.
  • the adjustment unit can automatically solve the problem, the problem can be solved without burdening the user. Further, if the user can operate the adjustment unit, the user can operate the adjustment unit to solve the problem.
  • a communication system includes a robot according to any one of the above aspects 1 to 10, and a server device (information providing server 100) that provides the robot with information necessary for user interaction. I have.
  • the robot by providing the robot with information necessary for dialogue with the user from the server device, the robot can perform dialogue with a wide variety of information and perform more natural communication. It becomes possible.
  • the control method is a control method for a robot that displays a face image and performs a voice dialogue, and is an emotion parameter associated with a voice input to the robot or a voice output from the own device.
  • a facial expression determination step for determining a facial expression using a sensory parameter associated with a detection result of a sensor unit included in the robot and a state parameter associated with an operation state of the robot; and the facial expression determination step.
  • the same effects as those of the robot according to aspect 1 can be obtained, the user can be intimately contacted, and the robot can be controlled to perform more natural communication with the user.
  • a control method is a control method for a robot that displays a face image and performs a voice conversation, and a failure estimation step of estimating a failure in the robot based on a user action to the robot;
  • the same effects as those of the robot according to aspect 7 can be obtained, the user can be intimately contacted, and the robot can be controlled to perform more natural communication with the user.
  • the robot according to each aspect of the present invention may be realized by a computer.
  • the computer operates as an expression determination unit and a display control unit, or a defect estimation unit and a defect notification unit included in the robot.
  • a program for realizing the robot on a computer and a computer-readable recording medium on which the program is recorded also fall within the scope of the present invention.
  • the present invention can be used for a communication robot or the like that performs a voice conversation with a user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　ユーザが親しみをもって接することができ、ユーザとのより自然なコミュニケーションを行うことが可能なロボットを提供する。ロボット（１）は、感情パラメータ、感覚パラメータ、及び状態パラメータ、を用いて表情を決定する表情決定部（１５）と、決定した表情に応じた顔画像データを表示部（２０）に顔画像として表示させる表示制御部（１１）とを備える。

Description

ロボット
　本発明は、顔画像を表示し音声対話を行うロボットに関する。
　近年、音声認識や言語処理を行うことでユーザと音声対話によるコミュニケーションが可能なコミュニケーションロボットの開発が盛んに行なわれている。このようなコミュニケーションロボットの中には、自然なコミュニケーション、または深いコミュニケーションを行うために、例えば、特許文献１のように、ユーザの顔画像データや発話音声データから、ユーザの感情を認識し、感情認識結果に応じた行動を実行するロボットも存在する。また、例えば、特許文献２のように、ユーザに視認させる表情の表出を行うロボットも存在する。
日本国公開特許公報「特開２００６－１２３１３６（２００６年５月１８日公開）」 日本国公開特許公報「特開２０１２－１７８０９２（２０１２年９月１３日公開）」
　しかしながら、従来のコミュニケーションロボットは、ユーザの感情を認識できても、ロボット自体は表情の表出ができなかったり、表情の表出ができたとしても、そのバリエーションが少なかったりすると言った制約がある。そのため、従来のコミュニケーションロボットでは、音声対話によるコミュニケーションが主となり、無機質な冷たい印象をユーザに与えてしまいがちである。結果として、自然なコミュニケーションが成立し難く、ユーザは、ロボットへの愛着や親密度が低下したり、場合によっては不快感を覚えたりするといった問題が生じる。
　また一方で、ロボットにおいて機能的な不具合が生じた場合、エラー番号を表示したり、警告音または報知音を出したりすることで通知できるが、このような通知方法は、コミュニケーションとは言い難く、いかにも機械的でありユーザは親しみを持ち難い。また、エラー番号や警告音または報知音が、何のエラーに対応しているのかどう対処すべきなのか等を調べる必要があり、ユーザに負担をかける。
　そこで、本発明は、上記課題に鑑みなされ、その目的は、ユーザが親しみをもって接することができ、ユーザとのより自然なコミュニケーションを行うことが可能なロボットを提供することにある。
　上記の課題を解決するために、本発明の一態様に係るロボットは、顔画像を表示し、音声対話を行うロボットであって、自機へ入力されたユーザ音声または自機から出力する発話音声に対応付けられた感情パラメータ、自機が有するセンサ部の検知結果に対応付けられた感覚パラメータ、及び自機の動作状態に対応付けられた状態パラメータ、を用いて表情を決定する表情決定部と、前記表情決定部が決定した表情に応じた顔画像を表示部に表示させる表示制御部と、を備えたことを特徴としている。
　また、上記の課題を解決するために、本発明の別の一態様に係るロボットは、顔画像を表示し、音声対話を行うロボットであって、自機が有する検知部が検知したユーザアクションに基づき、自機における不具合を推測する不具合推測部と、前記推測された不具合の内容を示す情報または当該不具合の解消に必要な情報の少なくとも一方である不具合情報を外部に通知する不具合通知部と、を備えたことを特徴としている。
　上記構成によると、ユーザが親しみをもって接することができ、ユーザとのより自然なコミュニケーションを行うことが可能なロボットを提供することが可能となる。
実施の形態１及び２に係るロボットの概略構成を示す図である。 実施の形態に１に係るロボットの使用状況を示す図である。 実施の形態１に係るロボットが有する対話シナリオの一例を示す図である。 実施の形態１に係るロボットでの対話処理の流れを示す図である。 実施の形態１に係るロボットの各処理における表情について説明する図である。 実施の形態２に係るロボットの表情の変化を示す図である。 実施の形態３に係るロボットの概略構成を示す図である。
　〔実施の形態１〕
　以下、本発明の一実施形態について図１～５に基づいて説明すれば以下の通りである。
　（ロボットの構成）
　本実施の形態に係るロボット１は、顔画像を表示し、音声対話を行うロボットであり、その外観は、図２に示すように頭部２と胴体部３とを有する雪だるま型である。胴体部３には腕部３ａが付随している。頭部２は、後述のモータ部５０により駆動するように構成されている。なお、ロボット１の外観は、図示したものに限定されず、例えば、図２の外観にさらに脚部を有していてもよい。あるいは、ヒューマノイド型であっても、ペット型であってもよい。
　ロボット１は、顔の表情を表出可能に構成されている。ロボット１は、その頭部２の顔領域に顔画像を表示し、表情の表出は、決定した表情の顔画像を表示することで行う。表情の決定及び決定した表情の顔画像の表示の詳細については後述する。顔画像が変化することで表情も変化する。ロボット１は、本来の喜怒哀楽に加え、例えば、照れて恥ずかしそうであったり、眠そうであったり、気分が悪そうで冷汗をかいたり震えていたりする顔画像を表示することで、人間により近い表情を映すことが可能である。このように、ロボット１は顔画像の表示により顔の表情を多種多様に変化できるため、ロボット１が感情を持っているように見せかけることができる。そのため、ユーザは、より親しみや愛着をもってロボット１に接することができる。
　さらに、ロボット１は、音声認識機能及び発話（音声出力）機能を有しており、ユーザ音声（音声信号）が入力されると音声認識を行い、その認識結果に応じた発話を行う。よって、ユーザは自然言語を用いた音声によってロボット１と対話することが可能である。
　次に、ロボット１の機能的構成の詳細について説明する。図１は、本実施の形態に係るロボット１の機能的構成を示すブロック図である。ロボット１は、制御部１０、表示部２０、音声出力部３０、音声入力部４０、モータ部５０、センサ部６０、通信部７０及びデータ格納部８０を備えている。
　制御部１０は、ロボット１の各部を統括制御するブロックである。制御部１０は、例えば、ＣＰＵ（Central Processing Unit）や専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成る。制御部１０は、データ格納部８０に記憶されているロボット１における各種制御を実施するためのプログラムを読み出して実行することで、ロボット１の各部の動作を統括的に制御する。制御部１０は、また、表示制御部１１、対話制御部１２、環境認識部１３、及び状態制御部１４としての機能を有する。これらの詳細については、後述する。
　表示部２０は、ロボット１での表示を行うブロックである。表示部２０は、頭部２の顔領域に顔画像を表示することで、ロボット１にて喜怒哀楽等の表情を表出する。本実施の形態では、表示部２０は、リアプロジェクション方式でプロジェクタによりロボット１内部から、ロボット１頭部２の顔領域に顔画像を映し出すものとする。しかし、これには限定されず、例えば、液晶表示装置にて顔画像が表示される構成であってもよい。
　音声出力部３０は、ロボット１による音声（発話音声）の出力装置であり、ここではスピーカである。音声入力部４０は、ユーザによる音声（ユーザ音声）の入力装置でありここではマイクである。
　モータ部５０は、ロボット１の各種運動動作を実行するブロックである。モータ部５０が実行するロボット１における運動動作としては、例えば、頭部２を水平方向に回転させたり、手を上下に動かしたりといった運動動作が挙げられるが、これらに限定されない。ロボット１の運動動作とは、ロボット１の少なくとも一部が物理的に（機械仕掛けにて）動くことを指す。
　センサ部６０は、ロボット１内部あるいはロボット１周囲の環境を検知するための装置である。本実施の形態では、センサ部６０は、各種センサ６０ａ及びカメラ６０ｂを備えている。各種センサ６０ａは、ここでは、ロボットのハードウエアの故障（エラー）を検知するセンサ、温度センサ、湿度センサ、照度センサ、加速度センサ、タッチセンサ、加速度センサ、人感センサ、及び時計を含むものとする。各種センサ６０ａは、これらのうちのいくつかを含まなくてもよいし、これら以外のセンサを含んでいてもよい。カメラ６０ｂは、静止画像及び／または動画像を撮影する撮像装置である。センサ部６０は、カメラ６０ｂを備えていなくてもよい。
　通信部７０は、通信ネットワークにより外部との通信を行うブロックである。通信ネットワークとしては、例えば、インターネットが利用できる。また、電話回線網、移動体通信網、ＣＡＴＶ（Cable Television）通信網、衛星通信網などを利用することもできる。
　ロボット１は、図２に示すように、通信ネットワークにて情報提供サーバ１００（サーバ装置）と接続している。つまり、図２は、ロボット１と情報提供サーバ１００とを備えているコミュニケーションシステムを示す図である。情報提供サーバ１００はロボット１に対話に必要な情報を提供する装置である。情報提供サーバ１００は、１台であってもよいし、複数台が通信ネットワークを介して接続した構成であってもよい。なお、ロボット１は情報提供サーバ１００と接続しておらず、スタンドアローン型のロボットであってもよい。情報提供サーバ１００は、ロボット１を管理する管理サーバであってもよい。管理サーバに複数のロボット１が接続されている場合には、管理サーバは複数のロボットを個別に管理する。例えば、通信部７０により管理サーバから顔画像データ及び発話データの更新データを取得できるように構成されていると、表情データのバリエーション及び発話のバリエーションをさらに増やすことができる。また、ロボット１の制御部１０の一部の機能を管理サーバにて行わせてもよい。このような構成であると、ロボット１の処理能力の向上やデータ格納部８０の容量の拡大を図ることなく、複雑な表情の顔画像を表示することが可能になる。
　データ格納部８０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）などを含み、ロボット１にて用いられる各種情報（データ）を記憶するブロックである。また、データ格納部８０は、ロボット１の頭部２の顔領域に表示する顔画像のデータベースである顔画像ＤＢ８１を格納している。顔画像ＤＢ８１ｂには表情毎に顔画像データが登録されている。また、データ格納部８０は、ロボット１が発話する発話データのデータベースである対話シナリオ８２を格納している。対話シナリオ８２についてその詳細を後述する。
　対話制御部１２は、ユーザとの音声対話に必要な処理を行うブロックである。対話制御部１２は、音声入力部４０から入力されたユーザ音声を音声認識し、当該音声認識結果に対応付けられた発話データを対話シナリオ８２から読み出し音声合成を行い、音声出力部３０から出力する。あるいは、自律トリガが発生すると、当該自律トリガに対応付けられた発話データを対話シナリオ８２から読み出し音声合成を行い、音声出力部から出力する。なお、発話データが音声データとして生成されている場合には音声合成は行わない。音声認識の処理及び音声合成の処理については、公知技術を用いることができる。
　環境認識部１３は、センサ部６０による出力値から、ロボット１内部またはロボット１周囲の情報を取得するブロックである。
　状態制御部１４は、ロボット１における動作状態（モード）を決定し、決定した動作状態となるようにロボット１の各部を制御するブロックである。動作状態の例としては、ユーザ音声の入力またはユーザアクションを待つ受付状態、音声認識を行う音声認識状態、発話を行う発話状態、情報提供サーバ１００にと通信を対話に必要な情報を検索する検索状態、自機のセンサ部６０による検知結果を出力する状態出力状態、スリープ状態、スリープ状態から受付状態までの間の復帰状態などが挙げられるが、これらに限定されない。
　表示制御部１１は、表示部２０を制御し、ロボット１の頭部２の顔領域に顔画像を表示させるブロックである。さらに、表示制御部１１は、表情決定部１５を有する。
　表情決定部１５は、ロボット１へ入力されたユーザ音声またはロボット１から出力する発話音声に対応付けられた感情パラメータ、センサ部６０の検知結果に対応付けられた感覚パラメータ、及びロボット１の動作状態に対応付けられた状態パラメータ、を用いて表情を決定するそして、表示制御部１１は、表情決定部１５が決定した表情に応じた顔画像を表示部に表示させる。表情の決定及び顔画像の表示の具体例については後述する。
　各パラメータは、表情を指定する情報である。
　感情パラメータは、後段で説明する対話シナリオ８２にて、音声トリガ（ユーザ音声）または発話データ（発話音声）に対応付けられて登録された表情を指定する情報である。後述のように、例えば、「喜びが大」、「喜びが中」、「喜びが小」と言ったように、同じ感情（ここでは喜び）であっても、ユーザ音声または発話音声に応じて表情のユーザに与える印象（強さ、度合い）（ここでは、大、中、小）が異なる。さらに、感情パラメータは、ロボット１では処理できない程に長いユーザ音声が入力されたり、音声認識できない単語やフレーズが音声入力されたりする場合に、理解できなという表情を指定するよう設定されている。また、発話音声の種類（応答パターン）が豊富にあるコンテンツに対応付けられたユーザ音声には、興味を持って聞くような表情を指定するよう設定されている。例えば、料理コンテンツが豊富に登録されていれば、メニューの名前などを音声認識できた場合は興味を持つ表情を指定する。このように、感情パラメータを用いることで、音声対話中の状況に応じて表情を変えることができ、直感的に状態を理解させてスムーズな対話を実現することができる。
　感覚パラメータは、センサ部６０が検知した、ロボット１のエラーや周囲温度が高温である（例えば、３５℃以上）等の検知結果に応じた表情を指定する情報である。感覚パラメータは、例えば、エラー検知時には、エラーが発生していることを表情によりユーザが直感的にわかるよう、エラー専用の表情を指定するよう設定されている。なお、感覚パラメータはセンサ部６０の検知結果に対応させてデータ格納部８０に格納されている。
　状態パラメータは、動作状態に対応づけられた表情を指定する情報である。感覚パラメータは、例えば、ユーザがロボット１のスリープ状態（応答不可）をその表情から直感的にわかるよう、スリープ状態では、寝ている表情を指定するよう設定されている。また、音声認識状態では、聴いている表情を指定する。また、応答処理状態は、考えている表情を指定し、発話状態では、感情パラメータと同様に対話シナリオ８２でのユーザ音声または発話音声に応じて表情を指定するよう設定されている。状態パラメータは、同じ動作状態においては変化しないように設定されていてもよいが、変化するように設定されていてもよい。例えば、センサ部６０による検知結果に応じて、待機状態において指定する表情が変わるように設定されていてもよい。
　なお、状態パラメータは動作状態に対応させて、データ格納部８０に格納されている。
　各パラメータは、表情を指定する情報ではなく、数値であってもよい。つまり。各ユーザ音声または各発話音声に感覚パラメータとしての数値が対応づけられており、センサ部６０の各検知結果に感情パラメータとしての数値が対応付けられており、及びロボット１の各動作状態に状態パラメータとしての数値が対応付けられており、表情決定部１５はこれらを用いて表情を決定してもよい。
　また、表示制御部１１は、ユーザ音声または発話音声から決定される表情の顔画像、センサ部６０の検知から決定される表情の顔画像、及びロボット１の動作状態から決定される表情の顔画像を、複合した顔画像を表示する、と言い換えることもできる。この場合、各パラメータは、顔画像そのものである。
　以上から分かるように、ロボット１の表情は、ユーザ音声又発話音声、センサ部６０の検知結果、及びロボット１の動作状態に依存して様々に変わる。そのため、表情のバリエーションを増やすことができ、あたかも人間のような多彩で複雑な表情の表出を実現させることが可能となる。
　ここで、表情決定部１５は、感情パラメータ、感覚パラメータ、及び状態パラメータを均等に用いて表情を決定してもよい。あるいは、感情パラメータ、感覚パラメータ、及び状態パラメータには、表情に及ぼす影響の強さを示す優先度がロボット１の動作状態に応じて設定されており、表情決定部１５は、優先度を加味して各パラメータを用いて表情を決定してもよい。優先度は、３つ全てのパラメータを用いるように設定されていても、あるいは上記３つのうち１つまたは２つのパラメータを用いるように設定されていてもよい。
　（対話シナリオ）
　図３は、対話シナリオ８２の一例を示す図である。図３に示す対話シナリオ８２では、ロボット１への入力内容に対応付けてロボット１からの出力内容が登録されている。対話シナリオ８２では、入力内容としてロボット１に入力されたトリガ（ロボット１にて発生したトリガ）、及びフィルタに対応させて、ロボット１からの出力内容が登録されている。
　対話シナリオ８２では、ロボット１にて発生するトリガを、ユーザ音声が要因の音声トリガと、センサ部６０が検知する情報が要因の自律トリガに大別している。よって、対話シナリオ８２の音声トリガには、ユーザ音声の音声認識結果を抽象化した、例えば、単語やフレーズが登録される。抽象化については後述する。また、自律トリガには、ユーザ音声の入力以外のユーザアクション（例えば、触れる、抱き上げる）、あるいは、ロボット１が自発的に行う動作（例えば、温度センサが３５℃を超えたことを検知、人感センサがスリープ状態において人を検知、等）が登録される。ここで、ユーザアクションとは、ロボット１に対するユーザの動作、つまりロボット１のセンサ部６０が検知できるユーザの動作である。つまり、自律トリガにはロボット１のセンサ部６０が検知する情報が登録される。
　フィルタは、ロボットからの出力を決定する際の、条件分岐を行うのに用いられる。図３に示す対話シナリオ８２ではフィルタは、トリガが発生した際の温度、時間、あるいは、ログである。ログとは、ユーザとの対話の履歴である。例えば、ユーザの嗜好（趣味や好きな食べ物など）や、ユーザとの以前の対話にて特定された行動や単語（「仕事に行くよ」、「昨日いちごを食べた」など）をログとして登録しておく。ログの使用の具体例を示す。「仕事に行くよ」をログとして登録している場合に、「ただいま」というユーザ音声の入力があると「おかえり、おつかれさま」という発話を行う。フィルタが設定されていないトリガが登録されていてもよい。また、フィルタとトリガの「自律」が同じものになる場合もある。
　このように、ロボット１では、入力されたトリガを、音声トリガか自律トリガかに大別し、フィルタにより詳細の条件分岐を行い、音声や表情といった出力を決定する（図４の（ａ）参照）。また、ロボット１では、ユーザ音声入力があると、音声認識を行い、トリガへの抽象化を行う（図４の（ｂ）参照）。このトリガへの抽象化とは、音声認識結果をシナリオが選択できるレベル（トリガ）まで分解することである。さらに、トリガへの抽象化において、ユーザの意図（ユーザ感情）を推定し、この推定をトリガとして対話シナリオに登録してもよい。
　また、対話シナリオ８２では、ロボット１からの出力内容として、音声、表情、動作、その他が登録される。出力内容の「音声」としては、ロボット１が発話する発話データが登録される。出力内容の「表情」としては、表情を指定する情報、すなわち上記した感情パラメータが登録される。表情を指定する情報としては、例えば「喜びが大」、「喜びが中」、「喜びが小」、「怒りが大」、「怒りが中」、「怒りが小」、「フラット（表情が無い）」等である。これらは例示であり、より複雑な表情を指定するものであってもよいし、大中小ではなく数値にて区別されていてもよい。これらに対応する表情の顔画像データが顔画像ＤＢ８１に登録されている。よって、表示制御部１１は、トリガが発生した場合に、当該トリガに対応付けられた表情を指定する情報を基に、顔画像ＤＢ８１から該当する表情の顔画像データ読み出し、表示部２０に顔画像として表示させる。また、出力内容の「動作」としては、ロボット１での動作を指定する情報が登録される。よって、状態制御部１４は、トリガが発生した場合に、当該トリガに対応付けられた動作を指定する情報を基に、ロボットにおける動作状態を決定し、決定した動作状態となるようにロボット１の各部を制御する。また、出力内容の「その他」としては、ロボット１にて出力できるものであれば、どのような情報が登録されてもよい。
　対話シナリオ８２では、音声トリガとして、単語１つに対応したものだけでなく、複数の単語の組み合わせに対応したものが登録されていてもよい。また、ある単語やあるフレーズに対応させて複数の発話データが登録されていてもよく、この場合、実際に音声出力されるものを選択すればよい。なお、発話データは、テキストデータとして格納しておけばよい。このような対話シナリオ８２の構築については、公知技術が利用できる。
　（表情の決定及び顔画像の表示の具体例）
　以下にロボット１の各処理における表情の決定及び顔画像の表示について図５を参照に具体例（ａ）～（ｆ）を用いて説明する。
　（ａ）挨拶処理
　ロボット１は、図５の（ａ）に示すように、動作状態が待受状態（待受中）である場合には、状態パラメータ（ここでは、待受状態の表情を指定する情報）に応じて、フラットな表情（表情のない）に決定し、その顔画像を表示する。この場合、各パラメータの優先度は、感情パラメータ：感覚パラメータ：状態パラメータ＝０：０：１となっている。
　その後、「おはよう」のユーザ音声が入力されると、これをトリガとして、音声認識中を示す状態パラメータ、あるいは「おはよう」というユーザ音声の感情パラメータに応じて、「喜びが小」の表情に決定し、その顔画像を表示する。その後、動作状態が発話状態であるため、これに対応する状態パラメータ（ここでは、発話状態の表情を指定する情報）に応じて、「喜びが大」の表情に決定し、その顔画像を表示する。ここでは、「おはよう」などの単純な対話であるため、対話処理の表情の顔画像の表示を挟まず応答する。
　（ｂ）対話（情報検索）処理
　図５の（ｂ）に示すように、対話（情報検索）処理においても上記と同様に表情が決定され、決定した表情に応じた顔画像が表示される。なお、天気予報などの情報提供サーバ１００からの情報の受信が必要な場合は、対話処理中の表情を挟むことで、応答のタイムラグをユーザに感じさせないようにすることができる。なお、音声認識を管理サーバにて行う場合にも応答に時間がかかるため、同様に対話処理の表情を挟むのが好ましい。
　（ｃ）センサ検知処理
　図５の（ｃ）に示すように、センサ検知処理においても上記と同様に表情が決定され、決定した表情に応じた顔画像が表示される。ここでは、所定値（例えば３５℃）を超えたことと、表情により通知できる。所定温度をユーザにとって快適な値に設定しておくことで、ロボット１はその表情により、ユーザの周囲を安全で快適な通知することができる。ここでは、温度センサを例に用いて説明したが、他のセンサであっても同様である。
　さらに、ロボット１は、センサ出力処理において、センサ部６０にて検知した検知対象が所定値を超えている場合には、周囲の家電を操作可能に設けられていてもよい。例えば、各種センサ６０ａに温度センサが含まれており、この温度センサが周囲の温度として３５℃以上を検知した場合、ロボット１は、図２に示すように、自機が設置されたユーザ宅４の、空気調和機（エアコン）５－１を予め設定された温度（例えば２７℃）にて冷房運転するよう構成されていてもよい。あるいは、各種センサ６０ａに照度センサが含まれており、この照度センサがとして所定値以下を検知した場合、ロボット１は、図２に示すように、自機が設置されたユーザ宅４の、照明装置５－２をＯＮにするよう構成されていてもよい。これらは、例示であり、ロボット１によって操作可能な家電は、これらに限定されるものではない。
　このように、ロボット１が周囲の家電を操作可能であると、高齢や病気などでユーザの身体が不自由であったり、例えば、別の作業で手がふさがっていたり等で、ユーザが家電を操作できない場合でも、ロボット１にて家電を操作することができる。例えば、ロボット１がエアコン５－１を操作することで、ユーザを熱射病や脱水症状または低温症等から予防できる。例えば、ロボットが照明装置５－２を操作することで、ユーザに快適な照明環境を提供することができる。
　家電の操作は、ロボット１から操作信号を赤外線通信や無線ＬＡＮ通信などで送信することで行う。あるいは、管理サーバが、ロボット１が設置されたユーザ宅４に設置された家電と通信可能に構成されており、ロボット１から管理サーバへの通知により、管理サーバが家電を操作するように構成されていてもよい。
　なお、ユーザ宅４にユーザを検知した場合にのみロボット１から家電を操作可能に構成されているのが好ましい。ユーザの検知は、カメラ６０ｂにて、あるいは各種センサ６０ａに人感センサが含まれている場合にはこの人感センサにて、実施すればよい。
　また、ロボット１からの家電の操作前には、操作の実行を確認する音声、例えば、「エアコン（または照明）つけていい？」といった音声データをロボット１から出力させて、ユーザから実行を許可する音声、例えば、「つけて」、「ＯＮにして」、「ＯＫ」等といった肯定の音声が入力された場合に操作を実行する。このように、家電の操作を実行する前にはユーザの確認を取るのが安全性を確保する上で好ましい。
　（ｄ）不具合検知処理
　図５の（ｄ）に示すように、不具合検知処理においても上記と同様に表情が決定され、決定した表情に応じた顔画像が表示される。なお、状態出力中に音声認識を行うが、エラー時のため、ここでは「音声認識中」の表情にしない。
　（ｅ）モード切り替え（ミュート）処理
　図５の（ｅ）に示すように、モード切り替え処理においても上記と同様に表情が決定され、決定した表情に応じた顔画像が表示される。
　（ｆ）スリープ復帰処理
　図５の（ｆ）に示すように、スリープ復帰処理においても上記と同様に表情が決定され、決定した表情に応じた顔画像が表示される。この場合のセンサ入力は、人感センサやカメラ等により人を検知する等の復帰状態へのトリガとして用いられる。
　（ロボット１のまとめ）
　以上のように、ロボット１では、表示する顔画像の（ロボットが表出する）表情を、ユーザ音声又発話音声に対応付けられた「感情パラメータ」、センサ部の検知結果に対応付けられた「感覚パラメータ」、及びロボットの動作状態に対応付けられた「状態パラメータ」を用いて決定する。よって、ロボット１の表情は、ユーザ音声又発話音声、センサ部の検知結果、及びロボットの動作状態に依存して様々に変わることになる。なお、表情は画像にて表現するため、表情の種類を豊富に用意することがたやすく行え、ロボットにおいて複雑な処理をすることなく、表情を様々に変化させることが可能である。
　よって、ロボット１において、表情のバリエーションを増やすことができ、あたかも人間のような多彩で複雑な表情の表出を実現させることが可能となる。そして、上記のように決定された表情の顔画像を表示することで、話し手であるユーザの感情に共感したり、ロボット１に感情があるような振る舞いをさせたり、直感的にロボットの状態をユーザに理解させたりすることができる。そのため、ロボット１は、ユーザが親しみをもって接することができ、ユーザとのより自然なコミュニケーションを行うことが可能となる。
　さらに、感情パラメータ、感覚パラメータ、及び状態パラメータには、表情に及ぼす影響の強さを示す優先度が自機の動作状態に応じて設定されている場合には次のように表情を決定することができる。例えば、発話状態では、感情パラメータの優先度を最も高くし設定し、いずれの動作状態でも、致命的なエラーを検知した場合には感覚パラメータの優先度を最も高くすると言ったように、優先度に応じて適切に表情を決定することができる。
　また、表示部２０は、カラー表示可能に構成されていてもよい。この場合、表情決定部１５は、表情と共に顔色も決定し、表示制御部１１は、表情決定部１５が決定した表情及び顔色に応じた顔画像を表示部２０に表示させる。このような表示部２０として、例えば、ロボット１内部にプロジェクタとＲＧＢのＬＥＤ発光素子とを設置し、各種表情の顔画像をプロジェクタにより投影し、ＲＧＢのＬＥＤ発光素子を用いて混色することにより、表情及び顔色を有する顔画像の表示を実現することができる。あるいは、表示部２０を液晶表示装置で構成してもよい。または別の構成にて、表情及び顔色を有する顔画像を表示可能にしてもよい。
　表情に加え顔色のある顔画像を表示することで、同じ表情の顔画像であっても、顔色を異ならせることで別の顔画像として表示できる。よって、表示できる顔画像のバリエーションを増やすことができる。例えば、ロボット１が基本的な表情のみの少ない種類の顔画像のみを有する場合であっても、顔色によって、多彩なバリエーションの表現を実現することができる。
　さらに、ロボット１の使用時間の経過（例えば、対話や接触の回数等）の増大に応じて、より多くの表情の顔画像を表示可能に構成されていてもよい。このように構成されていることで、ユーザはロボット１により愛着を持つことができる。
　また、ロボット１は、カメラ６０ｂから入力された画像からユーザの表情や位置を解析してそれに基づきユーザと対話をするように構成されていていてもよい。例えば、ロボット１の正面から見てユーザの位置が右方向であると認識した場合、ロボットの頭部を実際に右に向ける、あるいは、頭部に顔が右に向いて移動する状態を表示することで、ユーザの方を向いている、つまり応答可能であるという状態を示す構成であってもよい。
　〔実施の形態２〕
　以下では、本発明の別の実施の形態のロボットについて説明する。なお説明の便宜上、実施の形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施の形態に係るロボット１ｂは、顔画像を表示し、音声対話を行うロボットであり、その外観は、ロボット１と同様に、図２に示すように頭部２と胴体部３とを有する雪だるま型である。
　本実施の形態のロボット１ａの機能的構成は、図１に示すように、ロボット１と同様である。よって、ロボット１ａは、ロボット１と同じ機能を備えている。ただし、ロボット１ａの制御部１０ａにおける表示制御部１１ａは、ロボット１の制御部１０における表示制御部１１における機能に加え、以下の機能を有する。表示制御部１１ａは、表情決定部１５が新たに決定した表情の新顔画像を表示し、その後、表情のユーザに与える印象（表情の強さ）が新顔画像と前に表示していた旧顔画像と新顔画像との中間に設定された顔画像を所定期間表示してから、旧顔画像の表示に戻すよう表示部２０を制御する。
　この表示制御部１１ａの制御について、図６を参照に具体例を用いて説明する。表示制御部１１ａは、図６の（ａ）に示すように、新たに決定された表情の新顔画像として「喜びが大」の表情の顔画像ｂＧを表示させる際、次のように表示部２０を制御する。旧顔画像であるフラットな表情の顔画像ａＧの表示の後、新顔画像である「喜びが大」の表情の顔画像ｂＧを「喜びが大」の表情に応じて設定された期間表示し、その後、表情の強さが顔画像ａＧと顔画像ｂＧとの中間に設定された「喜びが小」の顔画像ｃＧを所定期間表示してから、顔画像ａＧの表示に戻すよう表示部２０を制御する。さらに、表示制御部１１ａは、図６の（ｂ）に示すように、新たに決定された表情の新顔画像として「怒りが中」の表情の顔画像ｄＧを表示する際、次のように表示部２０を制御する。旧顔画像であるフラットな表情の顔画像ａＧの表示の後、新顔画像である「怒りが中」の表情の顔画像ｄＧを、「怒りが中」の表情に応じて設定された期間表示し、その後、表情の強さが顔画像ａＧと顔画像ｄＧとの中間に設定された「怒りが小」の顔画像ｅＧを所定期間表示してから、顔画像ａＧの表示に戻すよう表示部２０を制御する。
　図６に示す具体例からは、「喜びが大」の表情の顔画像ｂＧの表示期間が、「怒りが中」の表情の顔画像ｄＧの表示期間よりも長くなっていることがわかる。このように、表示制御部１１ａが、喜びの表情の顔画像ｂＧは長い期間表示するが、怒りの表情の顔画像ｄＧは短く表示するといった制御を行うことで、ユーザに安心感を与えることができる。なお、この制御は単なる例示である。よって、新顔画像を表示し、その後、表情のユーザに与える印象が中間に設定された顔画像を所定期間表示してから、旧顔画像の表示に戻す際の制御は、ここに開示された内容に限定されない。各顔画像の表情についても、各顔画像の表示期間（表情の保持時間）の設定についても、限定はされない。また、表情の強さが中間に設定された顔画像は、旧顔画像と新顔画像との間であれば、どちらかに寄っていても（似ていても）構わなく、「中間」はどのように設定されてもよい。
　上記のように、ロボット１ａでは、表情の強さが中間に設定された顔画像ｃＧまたはｅＧが所定期間表示されてから、旧顔画像の表示に戻るため、ユーザがロボット１ａの表情の変化についていきやすい。そのため、ユーザがより親しみをもってロボット１ａに接することが可能となる。上記具体例では、表情の強さが中間に設定された顔画像は１つであるが、複数あってもよい。この場合、表情の強さの段階が徐々に小さくなるように各顔画像を表示し、旧顔画像に戻るように制御するとよい。このとき、表示部２０がカラー画像を表示可能に設けられていれば、例えば、怒りの顔画像の顔色を赤色にし、この赤色が徐々に薄くなって、旧顔画像に戻るように、制御してもよい。
　さらに、新顔画像ｂＧまたはｄＧや、中間の顔画像ｃＧまたはｅＧの表示期間を、ロボット１ａ毎に変化させることでロボット１ａの個性を決めることもできる。表情の保持期間は、出荷時に設定してもよいし、ユーザが変更可能なっていてもよい。ロボット１ａに個性を与えることで、ユーザはより親しみをもってロボット１ａに接することができる。
　〔実施の形態３〕
　以下では、本発明のさらに別の実施の形態のロボットについて説明する。なお説明の便宜上、実施の形態１または２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施の形態に係るロボット１ｂは、顔画像を表示し、音声対話を行うロボットであり、その外観は、ロボット１と同様に、図２に示すように頭部２と胴体部３とを有する雪だるま型である。
　図７は、本実施の形態に係るロボット１ｂの機能的構成を示すブロック図である。ロボット１ｂは、図７に示すように、表示制御部１１ｂ及びデータ格納部８０の構成が図１に示す実施の形態１のロボット１とは異なるが、これら以外はロボット１と同様である。
　ロボット１ｂは、モータ部５０、センサ部６０、ファン（図示せず）、表示部２０（プロジェクタ）といった動的部分の不具合である機能的不具合に加え、動的部分の取り付けと言った性能的不具合について、以下で説明するように外部に通知することが可能である。
　制御部１０ｂは、ロボット１ｂの各部を統括制御するブロックであり、表示制御部１１ｂ、対話制御部１２、不具合推測部１６として機能する。
　表示制御部１１ｂは、表示部２０を制御するブロックである。表示制御部１１ｂは、表示部２０を制御し、ロボット１の頭部２の顔領域に顔画像を表示させる。
　対話制御部１２ｂは、ユーザとの音声対話に必要な処理を行うブロックである。対話制御部１２ｂは、音声入力部４０から入力されたユーザ音声を音声認識し、当該音声認識結果に対応付けられた発話データを対話シナリオ８２ｂから読み出し音声合成を行い、音声出力部３０から出力する。あるいは、自律トリガが発生すると、当該自律トリガに対応付けられた発話データを対話シナリオ８２ｂから読み出し音声合成を行い、音声出力部から出力する。なお、発話データが音声データである場合には音声合成は行わない。
　不具合推測部１６は、音声入力部（検知部）４０から入力されたユーザ音声（ユーザアクション）、または、センサ部（検知部）６０が検知したユーザアクションの少なくとも一方に基づき、ロボット１ｂにおける不具合を推測するブロックである。ここで、センサ部６０にて検知されるユーザアクションとは、センサ部６０の各種センサ６０ａに含まれるユーザの動作を検知できるセンサ、（例えば、タッチセンサ、加速度センサ、人感センサ等）、あるいはカメラ６０ｂの少なくとも１つにて取得される、ユーザの動作に関する情報であればよい。なお、センサ部６０に音声入力部４０が含まれ、ユーザアクションにユーザからの音声入力が含まれてもよい。この場合、不具合推測部１６は、センサ部６０が検知したユーザアクションに基づき、ロボット１ｂにおける不具合を推測する。
　不具合推測部１６が推測した不具合の内容を示す情報または当該不具合の解消に必要な情報の少なくとも一方である不具合情報は、対話制御部（不具合通知部）１２ｂの制御により、音声出力部３０からの発話音声に反映させて通知する。あるいは、表示制御部（不具合通知部）１１ｂの制御により、表示部２０にて表示する顔画像の表情に反映させて通知する。
　データ格納部８０ｂは、ロボット１ｂにて用いられる各種情報（データ）を記憶するブロックである。また、データ格納部８０ｂは、ロボット１ｂの表示部２０が表示する顔画像のデータベースである顔画像ＤＢ８１ｂと、ロボット１ｂが発話する発話データのデータベースである対話シナリオ８２ｂとを格納している。顔画像ＤＢ８１ｂには表情毎に顔画像データが登録されている。対話シナリオ８２ｂには、音声認識結果及び自律トリガに対応付けて、発話データが登録されている。また、対話シナリオ８２ｂには、不具合推測部１６が推測した不具合に対応付けて、当該不具合の内容を示す情報または当該不具合の解消に必要な情報である不具合情報をロボット１ｂが発話するのに必要な発話データが登録されている。さらに、対話シナリオ８２ｂには、発話データと対応付けて表情を指定する情報が登録されている。よって、ロボット１ｂが対話制御部１２ｂによる制御によってある発話データに基づく発話を行う際に、表示制御部１１ｂは、当該発話データに対応付けられた表情を指定する情報を基に、顔画像ＤＢ８１ｂから該当する表情の顔画像データ読み出し、表示部２０に顔画像として表示させる。よって、ロボット１ｂでは、不具合情報を発話音声または顔画像の表情の少なくとも一方に反映させて通知することができる。
　ロボット１ｂによる不具合の推測及び不具合情報の通知について、具体例（１）～（５）を用いて説明する。
　（１）ロボット１ｂは、センサ部６０によりユーザが付近にいることを検知したが、音声入力部４０からの音声入力が無い（音声を拾えない）場合、対話制御部１２ｂにより「何か言って」等のユーザによる音声入力を即す発話を行う。それでも音声が拾えない場合、不具合推測部１６が、音声入力部４０であるマイクが不良である（不具合が発生している）と推測する。そして、対話制御部１２ｂにより「耳がおかしいよ」という発話を行う。また、表示部２０がカラー画像を表示可能に構成されている場合には、対話制御部１２ｂによる「耳がおかしいよ」等の発話と共に、またはこの発話に代えて、赤い色の耳を表示する。ここでは、「耳がおかしいよ」という発話及び／または赤い色の耳を表示により、不具合の内容を示す情報を通知する。
　ユーザが付近にいることの検知は、センサ部６０の各種センサ６０ａに含まれる、タッチセンサ、加速度センサ、人感センサ、及びカメラ６０ｂの少なくとも１つを用いて行うことができる。これら以外のセンサにてユーザが付近にいることの検知を行ってもよい。また、ロボット１ｂは、ユーザが付近にいることを検知する代わりに、カメラによりユーザが口を動かしていることを検知すると言った複雑な検知が行えるように構成されていてもよい。
　（２）ロボット１ｂは、「顔が変だよ」というユーザ音声を音声入力部４０から取得すると、対話制御部１２ｂにより「どう変なの？」という発話を行う。これに対して、「場所が変」というユーザ音声を取得すると、不具合推測部１６は、表示部２０であるプロジェクタの取り付けに不具合が発生していると推測する。そして、対話制御部１２ｂにより「調子悪いから入院させて」と発話することで、不具合の解消に必要な情報を通知する。
　また、「どう変なの？」という発話に対して、「色が変」というユーザ音声を取得すると、不具合推測部１６は、表示部２０であるプロジェクタが不良であると推測する。この場合も、対話制御部１２ｂにより「調子悪いから入院させて」と発話することで、不具合の解消に必要な情報を通知する。
　（３）ロボット１ｂは、「どっち向いているの？」というユーザ音声を音声入力部４０から取得すると、対話制御部１２ｂにより「右向くよ」と発話し、頭部２を回転させる制御を行う。そして、「向いた？」と発話する。これに対して、「はい」や「うん」と言ったユーザ音声を取得すると、不具合推測部１６は、頭部２を回転させるモータの取り付け正常であるが、音声入力部４０であるマイクが不良であると推測する。そして、対話制御部１２ｂにより「耳の調子が悪いみたい」という発話を行い、不具合情報を通知する。この場合、（１）と同様に赤い色の耳を表示してもよい。
　また、「向いた？」という発話に対して、「向いてないよ」や「ううん」と言ったユーザ音声を取得すると、不具合推測部１６は、音声入力部４０であるマイクの取り付けは正常であるが、頭部２を回転させるモータの取り付けが不良であると推測する。この場合、対話制御部１２ｂにより「首の調子が悪いみたい」と発話することで、不具合情報を通知する。
　（４）ロボット１ｂは、センサ部６０の各種センサ６０ａに含まれる温度センサが３５℃を超えたことを検知すると、対話制御部１２ｂにより「暑くない？」と発話する。これに対して、「そうだね」や「暑いね」と言ったユーザ音声を取得すると、不具合推測部１６は、温度センサは正常であると判断する。一方で、「暑くない？」との発話に対して、「いいや」、「暑くないよ」と言ったユーザ音声を取得すると、不具合推測部１６は、温度センサが不良であると推測する。そして、対話制御部１２ｂにより「熱っぽいから入院させて」という発話を行うことで、不具合情報を通知する。この場合、汗をかいた表情であり赤い顔色の顔画像を表示してもよい。
　（５）ロボット１ｂは、カメラ６０ｂからの画像と音声入力部４０からのユーザ音声との取得により、付近にユーザがいることを検知したが、各種センサ６０ａに含まれる人感センサが反応しない場合、対話制御部１２ｂにより「誰かいるの？」と発話する。これに対して、ユーザ音声を取得できた場合、人感センサの取り付けが不良であると推測する（この推測は、以下の仮定に基づくものである。人感センサの出力値からある程度センサ自体の不良か取り付け不良かを判別できるため、出力値からセンサ自体の不良ではない判別した場合に、ユーザ音声を取得できても人感センサが反応しないのは、人感センサの取り付けが不良であると仮定する。）。そして、対話制御部１２ｂにより「目が見えなくなってきた」という発話を行うことで、不具合情報を通知する。さらに、まばたきを早くする顔画像を表示することで、不具合情報を通知してもよい。
　上記の不具合の推測及び不具合情報の通知はいずれも例示であり、これらに限定はされない。また、ユーザとの対話を重ねることで不具合を絞ることも可能である。また、表示部２０は、不具合情報として、不具合を説明する文字を表示したり、ロボット１ｂのメーカーの電話番号やＵＲＬを表示したりしてもよい。また、ロボット１ｂは、特定の不具合を自動的に解消できるように構成されていたり、ユーザ操作により特定の不具合を解消できるように構成されていたりしてもよい。
　以上のように、ロボット１ｂでは、ユーザ音声またはユーザアクションの少なくとも一方に基づき、つまり、ユーザとのより自然なコミュニケーションに基づき、自機の不具合を推測することができる。そして、不具合情報にて、ユーザに不具合の内容または不具合の解消に必要な情報を明確に通知することができる。このようにロボット１ｂでの不具合の推測及び不具合情報の通知は、コミュニケーションが重視されているので、ユーザは、ロボット１ｂに愛着を湧きやすく、不具合に対して適切に対処する可能性が高い。よって、ロボット１ｂの不具合が放置されるのが抑制され、ロボット１ｂのメンテナンスが適切に適時に行われることに繋がる。このように、ロボット１ｂは、ユーザが親しみをもって接することができ、ユーザとのより自然なコミュニケーションを行うことが可能である。
　また、ロボット１ｂは、不具合情報を発話音声または顔画像の表情の少なくとも一方に反映させて通知することで、ユーザに、コミュニケーションをより重視して、わかり易く、不具合情報を通知することができる。なお、表情は画像で表示するため、表情の種類を豊富に用意することがたやすく行える。よって、ロボット１ｂにおいて複雑な処理をすることなく、表情を不具合情報に対応させたわかり易いものにすることが可能となる。
　なお、従来のロボットでは、各部品や各センサの取り付け方と言ったロボットの性能的不具合については検知ができないため、通知もできない。これら性能的不具合を検知及び通知するには、多くの仕組みをロボットに搭載する必要があり、コストがかかり過ぎる。しかし、ロボット１ｂでは、性能的不具合についてもユーザ音声またはユーザアクションの少なくとも一方に基づき推測でき、通知可能である。よって、ロボット１ｂは、自機の不具合をコストを抑えて通知することができる。
　〔実施の形態４〕
　実施の形態１から３にて説明したロボット１，１ａ，１ｂは、それぞれ、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、ロボット１，１ａ，１ｂは、それぞれ、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。さらに、各実施の形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　〔まとめ〕
　本発明の態様１に係るロボット（１）は、顔画像を表示し、音声対話を行うロボットであって、自機へ入力されたユーザ音声または自機から出力する発話音声に対応付けられた感情パラメータ、自機が有するセンサ部の検知結果に対応付けられた感覚パラメータ、及び自機の動作状態に対応付けられた状態パラメータ、を用いて表情を決定する表情決定部（１５）と、前記表情決定部が決定した表情に応じた顔画像を表示部（２０）に表示させる表示制御部（１１）と、を備えている。
　上記構成によると、ロボットが表示する顔画像の（ロボットが表出する）表情を、ユーザ音声又発話音声に対応付けられた「感情パラメータ」、センサ部の検知結果に対応付けられた「感覚パラメータ」、及びロボットの動作状態に対応付けられた「状態パラメータ」を用いて決定する。よって、ロボットの表情は、ユーザ音声又発話音声、センサ部の検知結果、及びロボットの動作状態に依存して様々に変わることになる。なお、表情は画像にて表現するため、表情の種類を豊富に用意することがたやすく行え、ロボットにおいて複雑な処理をすることなく、表情を様々に変化させることが可能である。
　よって、ロボットにおいて、表情のバリエーションを増やすことができ、あたかも人間のような多彩で複雑な表情の表出を実現させることが可能となる。そして、上記のように決定された表情の顔画像を表示することで、話し手であるユーザの感情に共感したり、ロボットに感情があるような振る舞いをさせたり、直感的にロボットの状態をユーザに理解させたりすることができる。そのため、上記構成によると、ユーザが親しみをもって接することができ、ユーザとのより自然なコミュニケーションを行うロボットを提供することが可能となる。
　ここで、センサ部は、ロボット内部のまたはロボット周囲の環境を検知するセンサであれば特に限定はされない。例えば、ロボットのハードウエアの故障を検知するセンサ、温度センサ、湿度センサ、照度センサ、加速度センサ、タッチセンサ、加速度センサ、人感センサ、またはカメラであってもよい。また、センサ部は、これらのうちの複数を備えていてもよい。
　本発明の態様２に係るロボットは、上記態様１に係るロボットにおいて、前記感情パラメータ、前記感覚パラメータ、及び前記状態パラメータには、表情に及ぼす影響の強さを示す優先度が自機の動作状態に応じて設定されており、前記表情決定部は、前記優先度に基づき前記感情パラメータ、前記感覚パラメータ、及び前記状態パラメータを用いて表情を決定する。
　上記構成によると、ロボットの動作状態に応じて優先度が設定された、感情パラメータ、感覚パラメータ、及び状態パラメータに応じて表情が決定される。よって、例えば、発話状態では、感情パラメータの優先度が最も高くなるよう設定し、いずれの動作状態でも、致命的なエラーを検知した場合には感覚パラメータの優先度が最も高くなるよう設定しておけば、優先度に応じて適切に表情を決定することができる。なお、優先度は、上記３つ全てのパラメータを用いるように設定されていても、あるいは上記３つのうち１つまたは２つのパラメータを用いるように設定されていてもよい。
　本発明の態様３に係るロボットは、上記態様１または２に係るロボットにおいて、前記感情パラメータは、前記ユーザ音声から推定されるユーザ感情または前記発話音声に対応付けられている。
　上記構成によると、ロボットの表情を、ユーザ音声から推定されるユーザ感情または発話音声、センサ部の検知結果、及びロボットの動作状態に応じて決定する。表情の決定にユーザ感情が加味される場合には、話し手であるユーザの感情により共感した表情を表出することが可能となる。
　本発明の態様４に係るロボット（１ａ）は、上記態様１から３のいずれか１つに係るロボットにおいて、前記表示制御部は、前記表情決定部により新たに決定された表情の顔画像を当該決定された表情に応じて設定された期間表示し、その後、前記新たに決定した表情の顔画像の前に表示していた顔画像の表示に戻すよう前記表示部を制御する前記表示部を制御する。
　上記構成によると、例えば、新たに決定した表情の顔画像として、喜びの表情の顔画像は長く表示するが、怒りの表情の顔画像は短く表示するといった制御を行うことで、ユーザに安心感を与えることができる。また、新たに決定した表情の顔画像の表示期間（表情の保持時間）を、ロボット毎に変化させることでロボットの個性を決めることもできる。
　本発明の態様５に係るロボットは、上記態様４に係るロボットにおいて、前記表情決定部が新たに決定した表情の新顔画像を表示し、その後、表情のユーザに与える印象が前記新顔画像の前に表示していた旧顔画像と前記新顔画像との中間に設定された顔画像を所定期間表示してから、前記旧顔画像の表示に戻すよう前記表示部を制御する。
　上記構成によると、ロボットにおいて、表情のユーザに与える印象が中間に設定された顔画像が所定期間表示されてから、旧顔画像の表示に戻るため、ユーザがロボットの表情の変化についていきやすい。そのため、ユーザがより親しみをもってロボットに接することが可能となる。
　本発明の態様６に係るロボットは、上記態様１から５のいずれか１つに係るロボットにおいて、前記表示部は、カラー表示可能に構成されており、前記表情決定部は、表情と共に顔色も決定し、前記表示制御部は、前記表情決定部が決定した表情及び顔色に応じた顔画像を前記表示部に表示させる。
　上記構成によると、表情に加え顔色のある顔画像を表示することができる。よって、例えば、同じ表情の顔画像であっても、顔色を異ならせることで別の顔画像として表示できる。このように、上記構成によると、表示できる顔画像のバリエーションを増やすことができる。
　本発明の態様７に係るロボット（１ｂ）は、顔画像を表示し、音声対話を行うロボットであって、自機が有する検知部（音声入力部４０、センサ部６０）が検知したユーザアクションに基づき、自機における不具合を推測する不具合推測部（１６）と、前記推測された不具合の内容を示す情報または当該不具合の解消に必要な情報の少なくとも一方である不具合情報を外部に通知する不具合通知部（対話制御部１２、表示制御部１１ｂ）と、を備えている。
　上記構成によると、ロボットは、ユーザアクションに基づき自機の不具合を推測し、不具合情報を外部に通知する。ユーザアクションはユーザからのロボットへのアクションであり、例えば、音声入力、接触、抱き上げ等である。よって、ユーザとの自然なコミュニケーションに基づき、自機の不具合を推測することができる。そして、不具合情報にて、ユーザに不具合の内容または不具合の解消に必要な情報を明確に通知することができる。このような不具合の推測及び不具合情報の通知は、コミュニケーションが重視されているので、ユーザは、ロボットに愛着を湧きやすく、不具合に対して適切に対処する可能性が高い。よって、ロボットの不具合が放置されるのが抑制され、ロボットのメンテナンスが適切に適時に行われることに繋がる。
　ここで、検知部は、ユーザアクションを検知できるものであればどのようなセンサであってもよい。検知部は、例えば、音声入力部（マイク）、タッチセンサ、加速度センサ、人感センサ、及びカメラの少なくとも１つを含んでいてもよい。
　以上からわかるように、上記構成によると、ユーザが親しみをもって接することができ、ユーザとのより自然なコミュニケーションを行うことが可能なロボットを提供することができる。
　なお、従来のロボットでは、ハードウエアの故障といったロボットの機能的不具合については、エラー番号を表示したり警告音を出したりすることで通知できるが、各部品や各センサの取り付け方と言ったロボットの性能的不具合については検知ができないため、通知もできない。これら性能的不具合を検知及び通知するには、多くの仕組みをロボットに搭載する必要があり、コストがかかり過ぎる。しかし、本発明の上記構成によると、性能的不具合についてもユーザアクションに基づき推測でき、通知可能である。よって、上記構成によると、ロボットの不具合をコストを抑えて通知することが可能となる。
　本発明の態様８に係るロボットは、上記態様７に係るロボットにおいて、前記不具合通知部は、前記不具合情報を、自機から出力する発話音声または自機にて表示する顔画像の表情の少なくとも一方に反映させて通知する。
　上記構成によると、不具合情報を、発話音声または顔画像の表情の少なくとも一方に反映させて通知することで、ユーザに、コミュニケーションをより重視して、わかり易く、不具合情報を通知することができる。なお、表情は画像で表示するため、表情の種類を豊富に用意することがたやすく行える。よって、ロボットにおいて複雑な処理をすることなく、表情を不具合情報に対応させたわかり易いものにすることが可能となる。
　本発明の態様９に係るロボットは、上記態様７または８に係るロボットにおいて、前記不具合推測部は、前記推測した不具合を、さらに自機に入力されたユーザ音声に基づき限定し、前記不具合通知部は、前記限定された不具合についての前記不具合情報を通知する。
　上記構成によると、推測した不具合をユーザ音声にて絞ることができる。よって、不具合情報を詳細に通知することが可能となる。よって、ユーザにより適切な対応を行わせることができる。
　本発明の態様１０に係るロボットは、上記態様７から９のいずれか１つに係るロボットにおいて、前記推測された不具合を解消する調整部を備えている。
　上記構成によると、調整部が不具合を自動で解消できるものであれば、ユーザに負担をかけることなく不具合を解消できる。また、調整部をユーザが操作できるものであれば、ユーザが調整部を操作して不具合を解消することができる。
　本発明の態様１１に係るコミュニケーションシステムは、上記態様１から１０のいずれか１つに係るロボットと、当該ロボットにユーザとの対話に必要な情報を提供するサーバ装置（情報提供サーバ１００）とを備えている。
　上記コミュニケーションシステムによると、サーバ装置からユーザとの対話に必要な情報をロボットに提供することで、ロボットでは、バリエーションに富んだ情報にて対話を行うことができ、より自然なコミュニケーションを行うことが可能となる。
　本発明の態様１２に係る制御方法は、顔画像を表示し、音声対話を行うロボットの制御方法であって、前記ロボットへ入力された音声または自機から出力する音声に対応付けられた感情パラメータ、前記ロボットが有するセンサ部の検知結果に対応付けられた感覚パラメータ、及び前記ロボットの動作状態に対応付けられた状態パラメータ、を用いて表情を決定する表情決定ステップと、前記表情決定ステップにて決定した表情に応じた顔画像を前記ロボットの表示部に表示させる表示制御ステップとを含む。
　上記制御方法によると、態様１に係るロボットと同様の効果を奏し、ユーザが親しみをもって接することができ、ユーザとのより自然なコミュニケーションを行うようにロボットを制御することができる。
　本発明の態様１３に係る制御方法は、顔画像を表示し、音声対話を行うロボットの制御方法であって、前記ロボットへのユーザのアクションに基づき、前記ロボットにおける不具合を推測する不具合推測ステップと、前記不具合推測ステップにて推測された不具合の内容を示す情報または当該不具合の解消に必要な情報の少なくとも一方である不具合情報を外部に通知する不具合通知ステップと、を含む。
　上記制御方法によると、態様７に係るロボットと同様の効果を奏し、ユーザが親しみをもって接することができ、ユーザとのより自然なコミュニケーションを行うようにロボットを制御することができる。
　また、本発明の各態様に係るロボットは、コンピュータによって実現してもよく、この場合には、コンピュータを、ロボットが備える表情決定部及び表示制御部、または、不具合推測部及び不具合通知部として動作させることにより、ロボットを、コンピュータにて実現させるプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は、ユーザと音声対話を行うコミュニケーションロボット等に利用可能である。
　１，１ａ，１ｂ　　ロボット
　１０，１０ａ，１０ｂ　　制御部
　１１，１１ａ　　表示制御部
　１１ｂ　　表示制御部（不具合通知部）
　１２　　対話制御部（不具合通知部）
　１３　　環境認識部
　１４　　状態制御部
　１５　　表情決定部
　１６　　不具合推測部
　２０　　表示部
　３０　　音声出力部
　４０　　音声入力部（検知部）
　５０　　モータ部
　６０　　センサ部（検知部）
　８０　　データ格納部
　８２，８２ｂ　　対話シナリオ
　１００　情報提供サーバ

Claims (5)

  1. 　顔画像を表示し、音声対話を行うロボットであって、
    　自機へ入力されたユーザ音声または自機から出力する発話音声に対応付けられた感情パラメータ、自機が有するセンサ部の検知結果に対応付けられた感覚パラメータ、及び自機の動作状態に対応付けられた状態パラメータ、を用いて表情を決定する表情決定部と、
    　前記表情決定部が決定した表情に応じた顔画像を表示部に表示させる表示制御部と、を備えたことを特徴とするロボット。
  2. 　前記感情パラメータ、前記感覚パラメータ、及び前記状態パラメータには、表情に及ぼす影響の強さを示す優先度が自機の動作状態に応じて設定されており、
    　前記表情決定部は、前記優先度に基づき、前記感情パラメータ、前記感覚パラメータ、及び前記状態パラメータを用いて表情を決定することを特徴とする請求項１に記載のロボット。
  3. 　前記表示制御部は、前記表情決定部により新たに決定された表情の顔画像を当該決定された表情に応じて設定された期間表示し、その後、前記新たに決定した表情の顔画像の前に表示していた顔画像の表示に戻すよう前記表示部を制御することを特徴とする請求項１または２に記載のロボット。
  4. 　前記表示部は、カラー表示可能に構成されており、
    　前記表情決定部は、表情と共に顔色も決定し、
    　前記表示制御部は、前記表情決定部が決定した表情及び顔色に応じた顔画像を前記表示部に表示させることを特徴とする請求項１から３のいずれか１項に記載のロボット。
  5. 　顔画像を表示し、音声対話を行うロボットであって、
    　自機が有する検知部が検知したユーザアクションに基づき、自機における不具合を推測する不具合推測部と、
    　前記推測された不具合の内容を示す情報または当該不具合の解消に必要な情報の少なくとも一方である不具合情報を外部に通知する不具合通知部と、を備えたことを特徴とするロボット。
PCT/JP2016/051324 2015-03-31 2016-01-18 ロボット WO2016157944A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015074169A JP6359478B2 (ja) 2015-03-31 2015-03-31 ロボット
JP2015-074169 2015-03-31

Publications (1)

Publication Number Publication Date
WO2016157944A1 true WO2016157944A1 (ja) 2016-10-06

Family

ID=57004125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/051324 WO2016157944A1 (ja) 2015-03-31 2016-01-18 ロボット

Country Status (2)

Country Link
JP (1) JP6359478B2 (ja)
WO (1) WO2016157944A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340859A (zh) * 2017-06-14 2017-11-10 北京光年无限科技有限公司 多模态虚拟机器人的多模态交互方法和系统
CN108960403A (zh) * 2018-07-04 2018-12-07 腾讯科技（深圳）有限公司 情感确定方法、计算机可读存储介质及计算机设备
WO2019057019A1 (zh) * 2017-09-20 2019-03-28 阿里巴巴集团控股有限公司 机器人互动方法和设备
JP2020062341A (ja) * 2018-10-19 2020-04-23 東京瓦斯株式会社 情報処理システムおよびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163614A (ja) * 2017-03-27 2018-10-18 カシオ計算機株式会社 自律移動装置、自律移動方法およびプログラム
JP6841167B2 (ja) 2017-06-14 2021-03-10 トヨタ自動車株式会社 コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム
KR102034255B1 (ko) * 2017-06-29 2019-10-18 네이버 주식회사 사람-기계 간 감정 대화를 위한 방법 및 시스템
JP7020159B2 (ja) * 2018-02-07 2022-02-16 トヨタ自動車株式会社 コミュニケーション装置およびその制御プログラム
JP6800183B2 (ja) * 2018-07-13 2020-12-16 本田技研工業株式会社 コミュニケーション装置
WO2022114263A1 (ko) * 2020-11-26 2022-06-02 주식회사 제페토로보틱스 교육용 로봇의 동작보정 시스템 및 동작보정 방법
US20230032760A1 (en) * 2021-08-02 2023-02-02 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265239A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 感情生成装置及び感情生成方法
JP2001150374A (ja) * 1999-11-25 2001-06-05 Sony Corp ロボットの故障診断システム
JP2006102861A (ja) * 2004-10-04 2006-04-20 Advanced Telecommunication Research Institute International ロボットおよびロボットシステム
JP2006212717A (ja) * 2005-02-01 2006-08-17 Advanced Telecommunication Research Institute International ロボット装置
JP2006289508A (ja) * 2005-04-05 2006-10-26 Sony Corp ロボット装置及びその表情制御方法
JP2007152470A (ja) * 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd 自己診断機能付きロボット
JP2008107673A (ja) * 2006-10-27 2008-05-08 Business Design Kenkyusho:Kk 会話ロボット
JP2008186075A (ja) * 2007-01-26 2008-08-14 Advanced Telecommunication Research Institute International インタラクティブ画像表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265239A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 感情生成装置及び感情生成方法
JP2001150374A (ja) * 1999-11-25 2001-06-05 Sony Corp ロボットの故障診断システム
JP2006102861A (ja) * 2004-10-04 2006-04-20 Advanced Telecommunication Research Institute International ロボットおよびロボットシステム
JP2006212717A (ja) * 2005-02-01 2006-08-17 Advanced Telecommunication Research Institute International ロボット装置
JP2006289508A (ja) * 2005-04-05 2006-10-26 Sony Corp ロボット装置及びその表情制御方法
JP2007152470A (ja) * 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd 自己診断機能付きロボット
JP2008107673A (ja) * 2006-10-27 2008-05-08 Business Design Kenkyusho:Kk 会話ロボット
JP2008186075A (ja) * 2007-01-26 2008-08-14 Advanced Telecommunication Research Institute International インタラクティブ画像表示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340859A (zh) * 2017-06-14 2017-11-10 北京光年无限科技有限公司 多模态虚拟机器人的多模态交互方法和系统
CN107340859B (zh) * 2017-06-14 2021-04-06 北京光年无限科技有限公司 多模态虚拟机器人的多模态交互方法和系统
WO2019057019A1 (zh) * 2017-09-20 2019-03-28 阿里巴巴集团控股有限公司 机器人互动方法和设备
CN108960403A (zh) * 2018-07-04 2018-12-07 腾讯科技（深圳）有限公司 情感确定方法、计算机可读存储介质及计算机设备
CN108960403B (zh) * 2018-07-04 2023-07-04 腾讯科技（深圳）有限公司 情感确定方法、计算机可读存储介质及计算机设备
JP2020062341A (ja) * 2018-10-19 2020-04-23 東京瓦斯株式会社 情報処理システムおよびプログラム
JP7169840B2 (ja) 2018-10-19 2022-11-11 東京瓦斯株式会社 情報処理システムおよびプログラム

Also Published As

Publication number Publication date
JP2016193466A (ja) 2016-11-17
JP6359478B2 (ja) 2018-07-18

Similar Documents

Publication Publication Date Title
JP6359478B2 (ja) ロボット
KR102306624B1 (ko) 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
US10357881B2 (en) Multi-segment social robot
AU2014236686B2 (en) Apparatus and methods for providing a persistent companion device
CN111869185B (zh) 生成基于IoT的通知并提供命令以致使客户端设备的自动助手客户端自动呈现基于IoT的通知
US20170206064A1 (en) Persistent companion device configuration and deployment platform
US11302325B2 (en) Automatic dialogue design
US20230305530A1 (en) Information processing apparatus, information processing method and program
WO2016011159A9 (en) Apparatus and methods for providing a persistent companion device
KR102071116B1 (ko) 휴머노이드 로봇의 대기 모드
US20230266767A1 (en) Information processing apparatus, information processing method, and program
KR20230023704A (ko) 전자 장치 및 그의 제어 방법
WO2016206643A1 (zh) 机器人交互行为的控制方法、装置及机器人
US11429339B2 (en) Electronic apparatus and control method thereof
US20220371178A1 (en) Information processing apparatus, information processing method, and program
KR102346158B1 (ko) 감성지능 교육 ai 스피커 시스템
KR20210056220A (ko) 교환 가능한 멀티모달 인간 인터랙션 시스템
US11731262B2 (en) Robot and method for operating the same
JP7202836B2 (ja) コミュニケーションシステム
US20190387061A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16771830

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16771830

Country of ref document: EP

Kind code of ref document: A1