WO2016117514A1 - ロボット制御装置及びロボット - Google Patents

ロボット制御装置及びロボット Download PDF

Info

Publication number
WO2016117514A1
WO2016117514A1 PCT/JP2016/051325 JP2016051325W WO2016117514A1 WO 2016117514 A1 WO2016117514 A1 WO 2016117514A1 JP 2016051325 W JP2016051325 W JP 2016051325W WO 2016117514 A1 WO2016117514 A1 WO 2016117514A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
unit
degree
output value
user
Prior art date
Application number
PCT/JP2016/051325
Other languages
English (en)
French (fr)
Inventor
高明 勝浦
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2016117514A1 publication Critical patent/WO2016117514A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Definitions

  • the present invention relates to a robot control device and a robot.
  • robots such as pet-type robots that heal and entertain users and life support robots that perform housework and nursing care are gradually penetrating into people's lives.
  • Some of these robots have a voice recognition function and can communicate with the user.
  • a robot that has a face, changes its facial expression according to the output voice, and expresses emotions such as emotions.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a robot control device and a robot capable of controlling the robot so as to prompt the user to take spontaneous action.
  • a robot control apparatus that controls a robot including a sensor unit that detects a surrounding environment and a display unit that displays a face image.
  • display control for displaying on the display unit a facial image of an expression that prompts the user to perform an action according to the output value from the sensor unit
  • a degree setting unit configured to set a degree of prompting the user to perform the action based on at least one of the output value and an elapsed time after the output value is out of the predetermined range
  • the display control unit causes the display unit to display a facial image of a facial expression corresponding to the set degree.
  • the display of the facial image of the facial expression according to the degree of prompting can inform the user that the output value of the sensor unit is out of the predetermined range, and the user can behave according to the output value from the sensor unit. Can be urged.
  • the predetermined range to a value that is comfortable or safe for the user, it is possible to prevent an unfavorable environment such as discomfort and danger for the user.
  • the user is prompted by facial expressions, it is not intimidating, and the user can be urged while being softened or healed.
  • the robot 1 is a robot capable of expressing a facial expression, and its appearance is a snowman type having a head and a torso as shown in FIG. An arm part is attached to the body part.
  • the appearance of the robot 1 is not limited to the illustrated one, and for example, the appearance of FIG. 2 may further include legs. Alternatively, it may be a humanoid type or a pet type.
  • the robot 1 displays a face image in the face area of its head, and changes in facial expressions are performed based on output values indicating detection results by the sensor unit 60 described later. Also, the facial expression changes based on the content of the dialogue with the user. In addition to the original emotions, the robot 1 can display facial images that are sweating or trembling, thereby enabling the expression of an expression closer to a human being. Thus, since the robot 1 can change the facial expression in various ways, the robot 1 can appear to have emotions. Therefore, the user can touch the robot 1 with more familiarity and attachment.
  • the robot 1 has a voice recognition function and an utterance function.
  • a voice voice signal
  • the robot 1 performs voice recognition and utters according to the recognition result. Therefore, the user can interact with the robot 1 by voice using natural language.
  • FIG. 1 is a diagram showing a configuration of a robot 1 according to the present embodiment.
  • the robot 1 includes a control unit (robot control device) 10, a display unit 20, a voice output unit 30, a voice input unit 40, an operation unit 50, a sensor unit 60, a camera unit 70, and a data storage unit 80.
  • the control unit 10 is a block that controls each unit of the robot 1.
  • the control unit 10 includes a computer device including an arithmetic processing unit such as a CPU (Central Processing Unit) or a dedicated processor.
  • the control unit 10 comprehensively controls the operation of each unit of the robot 1 by reading and executing a program for performing various controls in the robot 1 stored in the data storage unit 80.
  • the control unit 10 also has functions as a display control unit 11, a degree setting unit 12, an utterance control unit (voice control unit) 13, and a voice recognition unit 14. Details of these will be described later.
  • the display unit 20 is a block that displays facial expressions such as emotions on the robot 1 by displaying various face images using face field image data in the face area of the robot 1.
  • the display unit 20 projects a face image on the face area of the robot 1 by a built-in projector by a rear projection method, but is not limited thereto.
  • the audio output unit 30 is an audio output device such as a speaker
  • the audio input unit 40 is an audio input device such as a microphone.
  • the operation unit 50 is a block that executes various operations of the robot 1. Examples of the operation in the robot 1 executed by the operation unit 50 include an operation of rotating the head or the whole or moving the hand, but is not limited thereto.
  • the operation of the robot 1 means that at least a part of the robot 1 physically moves.
  • the sensor unit 60 is a device for detecting the environment around the robot 1. In the present embodiment, it is assumed that the sensor unit 60 includes a temperature sensor, a humidity sensor, and a degree sensor. Sensors other than these may be included.
  • the camera unit 70 is an imaging device that captures still images and moving images.
  • the data storage unit 80 includes a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disk Drive), and the like, and is a block for storing various information (data) used in the robot 1. Further, the data storage unit 80 stores a database 81 of face image data displayed in the face area of the robot 1 and a database 82 of speech data uttered by the robot 1.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • HDD Hard Disk Drive
  • the display control unit 11 is a block that controls the display unit 20 to display face image data in the face area of the head of the robot 1.
  • the display control unit 11 is a facial image of a facial expression that prompts the user to take an action according to the output value from the sensor unit 60 when the output value indicating the detection result by the sensor unit 60 is out of a predetermined range.
  • a face image having a facial expression corresponding to the degree set in is displayed on the display unit 20.
  • the expression that prompts the user to take an action according to the output value from the sensor unit 60 is, for example, when the output value from the sensor unit 60 is temperature, sweats the user to operate the air conditioner to perform a cooling operation.
  • a painful expression an expression that prompts the user to operate the air conditioner and perform a heating operation
  • a pale and trembling expression Such as a painful expression, an expression that prompts the user to operate the air conditioner and perform a heating operation.
  • the display of facial images of facial expressions according to the degree of prompting will be described later
  • the degree setting unit 12 responds to the output value from the sensor unit 60 based on at least one of the output value from the sensor unit 60 and the elapsed time after the output value from the sensor unit 60 is out of the predetermined range. This is a block for setting the degree of prompting the user to take the action. The setting of the degree of prompting will be described later using a specific example.
  • the utterance control unit 13 reads the utterance data corresponding to the output value from the sensor unit or the information acquired by the camera unit 70 or the utterance data corresponding to the recognition result of the voice recognition unit 14 from the data storage unit 80, This block generates voice data (voice, voice information) (voice synthesis) and outputs the voice data from the voice output unit 30. Note that when the speech data is generated as speech data (recorded speech), the speech control unit 13 does not perform speech synthesis.
  • the voice recognition unit 14 is a block that recognizes an input voice from the user. Specifically, the voice recognition unit 14 converts voice data input from the voice input unit 40 into text data, analyzes the text data, and extracts words and phrases. A known technique can be used for voice recognition processing.
  • the face image data database 81 is a database in which image data of face images with various expressions to be displayed on the display unit 20 is registered for each degree of prompting the user to perform an action according to the output value from the sensor unit 60. .
  • the utterance data database 82 is a database in which utterance data is registered corresponding to the degree of prompting the user to take an action according to the output value from the sensor unit 60.
  • utterance data associated with words and phrases is registered. Not only one corresponding to one word but also one corresponding to a combination of a plurality of words may be registered. Further, a plurality of utterance data may be registered corresponding to a certain word or a certain phrase, and in this case, what is actually outputted as a sound may be selected. Note that the utterance data may be stored as text data. Known techniques can be used for constructing such a database.
  • the degree setting unit 12 sets the degree of prompting the user to perform the cooling operation of the air conditioner according to the output value.
  • the degree setting unit 12 sets the degree to which the predetermined range set for the temperature is less than 28 ° C. and the output value from the sensor unit 60 is 28 ° C. or more and less than 30 ° C. as “small”.
  • the degree of prompting is set as “medium”.
  • the degree setting unit 12 sets the degree of prompting the user to take an action according to the output value from the sensor unit 60 based on the output value from the sensor unit 60.
  • the display control unit 11 when the degree of prompting is small, is slightly a little sweat with a little sweat shown in FIG. A facial image with a facial expression that turns red is displayed. At this time, the utterance control unit 13 outputs sound data associated with the case where the degree is small, for example, “It is hot today”.
  • the display control unit 11 When the degree of prompting is medium, the display control unit 11 has a facial expression that is slightly reddish with a little more sweat as shown in FIG. Display a face image.
  • the utterance control unit 13 is voice data associated when the degree of prompting is medium, and more voice data than the voice data associated when the degree of prompting is small, for example, "I sweat a lot.”
  • the degree setting unit 12 sets the degree of soot to “medium”.
  • the display control unit 11 displays the face image shown in FIG. 3B, and the utterance control unit 13 outputs the voice data associated with the voice data when the degree of prompting is medium. To do.
  • the degree setting unit 12 determines the degree of reduction. Set as “large”, the display control unit 11 displays the facial expression face image that turns red in the face with a lot of sweat shown in FIG. Then, the utterance control unit 13 outputs voice data associated when the degree of prompting is large, for example, “Hot, sweaty and face turned red”. Further, when the output value from the temperature sensor of the sensor unit 60 after the predetermined time has passed is the same as or higher than the previous time, the display of the facial image of the facial expression of (c) of FIG. 3 may be repeated. Further, an expression that encourages a greater degree may be displayed, or the display may be stopped. Such a display is performed to prompt the user to perform the cooling operation of the air conditioner.
  • the degree of prompting the user to perform the heating operation of the air conditioner is set similarly in the case of low temperature, and facial images of facial expressions corresponding to the set degree of prompting are set. Show it. Further, in the above, when starting from the display of the face image of FIG. 3A, the degree is increased in three stages, and when starting from the display of the face image of FIG. 3B, the degree is increased in two stages. Although it is large, it can be changed in any number of steps. In addition, the degree is decreased in accordance with the output value from the sensor unit 60 in the middle of increasing the degree stepwise, and conversely, the degree in accordance with the output value from the sensor unit 60 in the middle of decreasing the degree stepwise. You may enlarge it.
  • the degree setting unit 12 responds to the output value from the sensor unit 60 based on at least one of the output value from the sensor unit 60 and the elapsed time after the output value is out of the predetermined range. Set the degree of prompting the user to take action. Then, when the output value is out of the predetermined range, the display control unit 11 displays a facial image having a facial expression corresponding to the degree of prompting set by the degree setting unit 12. Therefore, the display of the facial image of the facial expression according to the degree of prompting can inform the user that the output value of the sensor unit is out of the predetermined range, and the user can behave according to the output value from the sensor unit 60. Can be encouraged.
  • control unit 10 can control the robot 1 so as to prompt the user to take spontaneous action.
  • a facial expression that prompts the user to take an action according to the output value from the sensor unit 60 is an expression that prompts the user to take an action to return the output value from the sensor unit 60 within a predetermined range (in the above example, to lower the temperature). If the output value from the sensor unit 60 of the robot 1 is out of the predetermined range, the face image having a facial expression corresponding to the degree of prompting is displayed to prompt the user to take an action for returning to the predetermined range. Can do.
  • the user can be urged more effectively by outputting audio data corresponding to the degree of urge.
  • the degree setting unit 12 sets the degree of promotion so as to increase stepwise according to the length of elapsed time until the output value from the sensor unit returns to a predetermined range. By setting to increase in steps, it is possible to prompt the user effectively.
  • the degree setting unit 12 sets the degree to be smaller than the previous value when the output value from the sensor unit changes in a direction approaching the predetermined range, and the output value from the sensor unit 60 is set to the predetermined range.
  • the degree may be set to be greater than the previous time when the distance is changed away from the previous position.
  • Another facial expression image that is displayed when the output value from the sensor unit 60 changes in a direction approaching a predetermined range is, for example, a facial expression with a joyful expression to convey that discomfort is being resolved. May be.
  • the facial image of the expression of joy may change stepwise.
  • the degree setting unit 12 may change the degree of prompting based on the voice recognition result by the voice recognition unit 14.
  • the degree of prompting is changed according to the input voice by the user, and the facial expression is changed accordingly. Therefore, increasing the variation variation makes the facial expression richer and makes the user more loving the robot.
  • the user may be detected by the camera unit 70 or, if the sensor unit 60 is provided with a human sensor, the human sensor.
  • the degree setting unit 12 outputs the output value.
  • the degree of prompting the user to perform the dehumidifying operation of the air conditioner is set according to.
  • the display control unit 11 displays facial images of facial expressions.
  • the degree of prompting is “small”
  • the face image of the slightly sweated expression shown in FIG. 4A associated with the case where the degree of prompting is small is displayed, and the degree of prompting is “medium”
  • a face image with a slightly sweated expression shown in FIG. 4B associated with the case where the degree of prompting is medium is displayed.
  • the display control unit 11 determines that the display control unit 11 of FIG. A face image with a lot of sweating expression is displayed.
  • the utterance control unit 13 performs step-by-step voice data associated with the degree of prompting, for example, “Do not steam”, “Steamed, sticky”, or “Steamed, unpleasant”. Audio output. Such a display is performed to prompt the user to perform a dehumidifying operation of the air conditioner. Similarly, in the case of low humidity, the degree of prompting the user to operate the humidifier may be set, and a facial image of a facial expression corresponding to the set degree of prompting may be displayed.
  • the degree setting unit 12 determines whether the output value is low.
  • the degree of prompting the user to turn on the lighting device is set.
  • the display control unit 11 displays facial images of facial expressions as follows.
  • the degree of prompting is “small”
  • the face image of the facial expression with open eyes shown in FIG. 5A and the face image with closed eyes shown in FIG. 5B are alternately displayed.
  • the face image that blinks is displayed at a low frequency.
  • the degree of prompting is “medium”, the facial image shown in FIG. 5A and the facial image shown in FIG. The face image of is displayed.
  • the degree of prompting is “medium”, the frequency of alternately displaying the face image shown in FIG. 5A and the face image shown in FIG. Display facial images of facial expressions. Also in these cases, the utterance control unit 13 outputs voice data associated with the degree of prompting, for example, “has not darkened”, “has become invisible”, or “cannot be seen” step by step. . Such a display is performed to prompt the user to turn on the lighting device.
  • the sensor unit 60 may be provided with an acceleration sensor.
  • evacuation can be promoted by detecting an earthquake with an acceleration sensor and displaying a face image with a surprising expression as shown in FIG.
  • you may output the audio
  • a contact from the user may be detected by an acceleration sensor, and a facial image of a facial expression corresponding to the detection result may be displayed.
  • a face image with a sad expression as shown in FIG. 6B is displayed.
  • FIG. 6B The face image of the expression of joy as shown in (c) of FIG.
  • the sensor unit 60 may be provided with a barometric pressure sensor.
  • a barometric pressure sensor In this case, when the output value of the atmospheric pressure sensor deviates from a predetermined range provided for the atmospheric pressure (predicting the collapse of the weather), a facial image with a dull expression as shown in FIG. May be displayed to prompt countermeasures against the weather (for example, take in laundry, refrain from unnecessary going out, etc.). Moreover, you may output the audio
  • the sensor unit 60 may be provided with an odor sensor or a dust sensor.
  • an odor sensor or a dust sensor when the output value of the odor sensor or dust sensor deviates from the predetermined range provided for odor (odor) or dust, a frown face image as shown in (b) of FIG. 7 is displayed. You may encourage cleaning. Moreover, you may output the audio
  • the sensor unit 60 includes a sensor that can detect a state close to the human living environment, and by setting the predetermined range to a value comfortable for the user, the robot 1 can The user can be encouraged to take spontaneous action to create a safe and comfortable space around the user.
  • the robot 1 may change the facial expression according to the internal state of the robot 1 such as detection of the remaining battery level or failure, or the time. For example, a full expression may be displayed when the remaining battery level is abundant, and a facial image with a hungry expression may be displayed as the remaining battery level decreases. In addition, when a failure is detected, a facial image with a facial expression indicating bad mood may be displayed. When the robot is activated, or at midnight or early morning, a facial image with a sleepy expression may be displayed. Moreover, you may output the audio
  • the robot 1 may be configured to analyze the user's facial expression and position from the image input from the camera unit 70 and to interact with the user based on the analysis. For example, when it is recognized that the position of the user is rightward when viewed from the front of the robot 1, the robot head is actually turned to the right, or a state in which the face moves to the right is displayed on the head. Thus, the configuration may be such that the user is facing the user, that is, can respond.
  • the robot 1a includes a communication unit 90 that communicates with the outside through a communication network in addition to the configuration of the robot 1.
  • a communication network in addition to the configuration of the robot 1.
  • the Internet can be used as the communication network.
  • a telephone line network, a mobile communication network, a CATV (Cable Television) communication network, a satellite communication network, and the like can be used.
  • the robot 1a is connected to a management server device (not shown) from the communication unit 90. Therefore, the robot 1a can be managed from the external management server device.
  • the communication unit 90 is configured to acquire the update data of the face image data and the utterance data from the management server, the variation of the expression data and the variation of the utterance can be further increased. Further, some functions of the control unit 10 of the robot 1a may be performed by the management server device. With such a configuration, it is possible to express with a complex expression without improving the processing capability of the robot 1 and expanding the capacity of the data storage unit 80. Further, it may be configured such that complex emotions can be expressed by facial expressions as the usage time of the robot 1a increases (for example, the number of times of dialogue or contact).
  • the robot 1a may be configured to communicate with a mobile terminal such as a user's mobile phone, smartphone, or tablet terminal via an external management server device (not shown).
  • a mobile terminal such as a user's mobile phone, smartphone, or tablet terminal
  • an external management server device not shown.
  • a mother who is outside the user's home 4 obtains information on the child at the user's home 4 from the smartphone 1a at any time using a smartphone, and prompts the child to study from the smartphone.
  • the robot 1b includes a home appliance operation unit 95 in addition to the configuration of the robot 1 of the first embodiment.
  • the home appliance operation unit 95 is a block for operating home appliances around the robot 1b, for example, in a space where the robot 1b such as the user's home 4 is located.
  • the home appliance operation unit 95 transmits an operation signal for operating the home appliance by infrared communication or wireless LAN communication.
  • the robot 1b has a home appliance operation mode capable of operating home appliances for each home appliance, determines a home appliance to be operated from an output value from the sensor unit 60, and sets the own device to the home appliance operation mode of the determined home appliance To do.
  • Home appliances that can be operated by the robot 1b are, for example, air conditioners (air conditioners), washing machines, refrigerators, cooking utensils, lighting devices, hot water supply devices, photographing devices, various AV (Audio-Visual) devices, and various households other than the own device.
  • Robots for example, cleaning robots, housework support robots, animal type robots, etc.
  • description will be made using an air conditioner 5-1 and a lighting device 5-2 as examples of home appliances.
  • the data storage unit 80 of the robot 1b stores information for setting the own device so that the home appliance can be operated for each home appliance.
  • the robot 1b is configured to be able to operate home appliances when the user does not act even after a predetermined time has elapsed after displaying a facial image of an expression corresponding to the degree on the display unit 20.
  • the home appliance is operated by itself only when a user is detected in a space where the robot 1b is present.
  • the user may be detected by the camera unit 70 or, if the sensor unit 60 is provided with a human sensor, the human sensor.
  • the robot 1b can respond (operate). For example, by operating the air conditioner 5-1 by the robot 1b, the user can be prevented from heat stroke and dehydration.
  • the robot 1b may be configured to determine a home appliance to be operated from the input voice input from the voice input unit 40, and set the own device in the home appliance operation mode of the determined home appliance. In this case, when it is inferred that the robot 1b wants to operate the air conditioner 5-1 from the dialog with the user, the robot 1b can be operated by setting the robot 1b to the home appliance operation mode for operating the air conditioner 5-1. It becomes.
  • the position of the air conditioner 5-1 or the lighting device 5-2 may be detected using infrared rays, or the camera unit 70 of the robot 1b.
  • the position of the air conditioner 5-1 or the lighting device 5-2 may be detected using information obtained from the company.
  • a sound for confirming the execution of the operation for example, sound data such as “Can you turn on the air conditioner?” Is output from the robot 1b, and the execution is permitted by the user.
  • the operation is executed when a positive voice such as “Turn on”, “Turn on”, “OK” or the like is input.
  • a positive voice such as “Turn on”, “Turn on”, “OK” or the like is input.
  • Each of the robots 1, 1a, 1b described in the first to third embodiments may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or a CPU (Central Processing Unit). ) May be implemented by software.
  • a logic circuit hardware
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • each of the robots 1, 1 a, and 1 b includes a CPU that executes instructions of a program that is software that realizes each function, and a ROM (the above-described program and various data are recorded so as to be readable by a computer (or CPU)).
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the present invention is not limited to the above-described embodiments, and various modifications are possible, and the present invention also relates to embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is included in the technical scope. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.
  • a robot control device (control unit 10) according to an aspect 1 of the present invention includes a robot (1) including a sensor unit (60) that detects a surrounding environment and a display unit (20) that displays a face image.
  • the display unit displays a facial image of a facial expression that prompts the user to perform an action according to the output value from the sensor unit.
  • a degree of setting the degree of prompting the user to perform the action based on at least one of the display control unit (11) to be displayed on the display, the output value, and the elapsed time since the output value is out of the predetermined range A setting unit (12), wherein the display control unit causes the display unit to display a facial image of an expression corresponding to the set degree.
  • a facial image with a facial expression corresponding to the degree of prompting the user to perform an action according to the output value from the sensor unit is displayed.
  • the degree of prompting is set based on at least one of an output value from the sensor unit and an elapsed time after the output value is out of a predetermined range.
  • the display of the facial image of the facial expression according to the degree of prompting can inform the user that the output value of the sensor unit is out of the predetermined range, and the user can behave according to the output value from the sensor unit. Can be urged.
  • the predetermined range By setting the predetermined range to a value that is comfortable or safe for the user, it is possible to prevent an unfavorable environment such as discomfort and danger for the user.
  • the user since the user is prompted by facial expressions, it is not intimidating, and the user can be urged while being softened or healed.
  • facial expressions are displayed as images, it is easy to prepare a wide variety of facial expressions, and it is possible to change facial expressions in various ways without complicated processing in the robot.
  • the action according to the output value from the sensor unit is an action for returning the output value from the sensor unit within the predetermined range.
  • the facial image of the facial expression corresponding to the degree of prompting is displayed to prompt the user to return to the predetermined range. Can do.
  • the robot further includes a sound output unit, and the sound information set according to the degree of prompting is output from the sound output unit.
  • a voice control unit is provided.
  • the robot control device is the above-described aspect 1 or 2, wherein the robot further including a sound output unit is a control target, and the sound information set in accordance with the degree of prompting is output as the sound output.
  • voice control part output from a part may be sufficient.
  • the robot control device is the robot control apparatus according to any one of the aspects 1 to 3, wherein the degree setting unit determines the elapsed time until the output value from the sensor unit returns to the predetermined range.
  • the degree of promotion is set to increase stepwise according to the length.
  • the degree of facial expression in the face image is increased stepwise according to the length of time that has elapsed since the output value from the sensor unit is out of the predetermined range. be able to.
  • the robot control device is the robot control apparatus according to any one of the aspects 1 to 4, wherein the degree setting unit changes the output value from the sensor unit in a direction approaching the predetermined range.
  • the degree is set to be smaller than the previous time, and when the output value from the sensor unit changes in a direction away from the predetermined range, the degree is set to be larger than the previous time.
  • the degree of prompting is weakened or strengthened compared to the previous time according to the change in the output value from the sensor unit. Therefore, it is possible to display a facial image with a greater expression level.
  • another facial expression image that is displayed is, for example, a facial image of a joyful expression to convey that discomfort is being resolved. Also good.
  • the facial image of the expression of joy may change stepwise.
  • the robot control device is the robot control apparatus according to any one of the aspects 1 to 5, wherein the sensor unit includes a temperature sensor, a humidity sensor, an illuminance sensor, an acceleration sensor, an atmospheric pressure sensor, an odor sensor, a dust sensor, At least one of the following.
  • the user when at least one output value of the temperature sensor, the humidity sensor, the illuminance sensor, the acceleration sensor, the atmospheric pressure sensor, the odor sensor, and the dust sensor is out of the predetermined range, the user is prompted to take an action according to the output value.
  • Temperature, humidity, and illuminance, such as earthquakes, atmospheric pressure, odors, and dust that can be detected by an acceleration sensor are closely related to the human living environment. Therefore, by setting the value within a predetermined range to a value comfortable for the user, the user can be encouraged to take a spontaneous action to create a safe and comfortable space around the user.
  • the robot control device is the robot control device according to any one of the aspects 1 to 6, wherein the robot includes a voice input unit, and voice recognition that recognizes voice input from the voice input unit.
  • the degree setting unit changes the degree of prompting based on a voice recognition result by the voice recognition unit.
  • the degree of prompting is changed according to the user's voice, and the facial expression is changed accordingly.
  • the expression becomes richer and the user can be more attached to the robot.
  • a robot includes a sensor unit that detects the surrounding environment, a display unit that displays a face image, and the robot control device according to any one of the first to sixth aspects. It is characterized by that.
  • the robot control device may be realized by a computer, and in this case, a program for realizing the robot control device by the computer by causing the computer to operate as each unit included in the robot control device.
  • a program for realizing the robot control device by the computer by causing the computer to operate as each unit included in the robot control device.
  • computer-readable recording media on which it is recorded also fall within the scope of the present invention.
  • the present invention can be used for a robot control apparatus and a robot that control a robot including a sensor unit that detects the surrounding environment and a display unit that displays a face image.

Abstract

　ユーザに自発的行動を促すようにロボットを制御するロボット制御装置を提供する。ロボット（１）の制御部（１０）は、センサ部（６０）からの出力値が所定の範囲から外れると、出力値に応じた行動をユーザに促す表情の顔画像を表示する表示制御部（１１）と、促す度合いを設定する度合い設定部（１２）とを備え、表示制御部（１１）は、設定された度合いに応じた表情の顔画像を表示する。

Description

ロボット制御装置及びロボット
　本発明は、ロボット制御装置及びロボットに関する。
　近年、ユーザを癒したり楽しませたりするペット型ロボットや家事や介護の代行を行う生活支援ロボットといったロボットが、徐々に人々の生活に浸透してきている。このようなロボットの中には、音声認識機能を有しユーザとコミュニケーションを取れるものも開発されている。例えば、顔を有し、出力する音声に応じて表情を変え、喜怒哀楽等の感情を表現するロボットもある。また、例えば、内蔵するセンサの検知により、例えば、「エアコンつけて」等の音声を出力して、環境を変えるための提案をユーザにするロボットもある。
日本国公開特許公報「特開２０１２－１７８０９２（２０１２年９月１３日公開）」 日本国公開特許公報「特開２００６－４３７８０（２００６年２月１６日公開）」
　しかしながら、従来のロボットでは、ユーザにとって便利であるが、ロボットからの提案があたかもロボットから指示あるいは命令されているように感じ、ユーザは、憤慨したり、ロボットに対する親しみが芽生えず、提案を受け入れ難かったりすることがある。
　そこで、本願発明は、前記課題に鑑みなされ、その目的は、ユーザに自発的行動を促すようにロボットを制御することが可能なロボット制御装置、及びロボットを提供することである。
　上記の課題を解決するために、本発明の一態様に係るロボット制御装置は、周囲の環境を検知するセンサ部と、顔画像を表示する表示部と、を備えたロボットを制御するロボット制御装置であって、前記センサ部による検知結果を示す出力値が所定の範囲から外れると、前記センサ部からの出力値に応じた行動をユーザに促す表情の顔画像を前記表示部に表示させる表示制御部と、前記出力値、及び、前記出力値が前記所定の範囲から外れてからの経過時間の少なくとも一方に基づいて、前記行動をユーザに促す度合いを設定する度合い設定部と、を備え、前記表示制御部は、設定された前記度合いに応じた表情の顔画像を前記表示部に表示させることを特徴とする。
　上記構成によると、ロボットのセンサ部からの出力値が所定の範囲から外れると、センサ部からの出力値に応じた行動をユーザに促す度合いに応じた表情の顔画像を表示する。よって、促す度合いに応じた表情の顔画像の表示により、センサ部の出力値が所定の範囲から外れていることをユーザに伝えることができ、センサ部からの出力値に応じた行動をユーザに促すことができる。所定の範囲をユーザに快適なあるいは安全な環境となる数値に設定しておくことで、ユーザにとって不快や危険といったよくない環境になることを未然に防ぐことができる。さらに、顔の表情によりユーザを促すため、威圧的でなく、ユーザを和ませたり癒したりしながら促すことができるという効果を奏する。このように、上記構成によると、ユーザに自発的行動を促すようにロボットを制御することが可能となる。
本発明の実施の形態１に係るロボットの概略構成を示す図である。 上記ロボットの使用状況を示す図である。 上記ロボットが表示する顔画像の一例であり、（ａ）及び（ｂ）は、エアコンを操作し暖房運転するようユーザを促す表情の顔画像の図ある。 上記ロボットが表示する顔画像の一例であり、（ａ）及び（ｂ）は、エアコンを操作し除湿運転するようユーザを促す表情の顔画像の図ある。 上記ロボットが表示する顔画像の一例であり、（ａ）及び（ｂ）は、照明機器を点灯するようユーザを促す表情の顔画像の図である。 上記ロボットが表示する顔画像の一例であり、（ａ）は驚きの表情、（ｂ）は悲しみの表情、（ｃ）は喜びの表情、の顔画像の図である。 上記ロボットが表示する顔画像の一例であり、（ａ）はだるい表情、（ｂ）はしかめっ面、の顔画像の図である。 本発明の実施の形態２に係るロボットの概略構成を示す図である。 本発明の実施の形態３に係るロボットの概略構成を示す図である。
　〔実施の形態１〕
　以下、本発明の一実施形態について図１～７に基づいて説明すれば以下の通りである。
　（ロボットの構成）
　本実施の形態に係るロボット１は、表情を表出可能なロボットであり、その外観は、図２に示すように頭部と胴体部とを有する雪だるま型である。胴体部には腕部が付随している。なお、ロボット１の外観は、図示したものに限定されず、例えば、図２の外観にさらに脚部を有していてもよい。あるいは、ヒューマノイド型であっても、ペット型であってもよい。
　ロボット１は、その頭部の顔領域に顔画像が表示され、表情の変化は後述のセンサ部６０による検知結果を示す出力値に基づき行われる。また、ユーザとの対話内容に基づき表情が変化する。ロボット１は、本来の喜怒哀楽に加え、汗をかいたり震えていたりする顔画像を表示することで、人間により近い表情を映すことが可能である。このように、ロボット１は顔の表情を様々に変化できるため、ロボット１が感情を持っているように見せかけることができる。そのため、ユーザは、より親しみや愛着をもってロボット１に接することができる。
　さらに、ロボット１は、音声認識機能及び発話機能を有しており、音声（音声信号）が入力されると音声認識を行い、その認識結果に応じた発話を行う。よって、ユーザは自然言語を用いた音声によってロボット１と対話することが可能である。
　次に、ロボット１の構成の詳細について説明する。図１は、本実施の形態に係るロボット１の構成を示す図である。ロボット１は、制御部（ロボット制御装置）１０、表示部２０、音声出力部３０、音声入力部４０、動作部５０、センサ部６０、カメラ部７０、及びデータ格納部８０を備えている。
　制御部１０は、ロボット１の各部を制御するブロックである。制御部１０は、例えば、ＣＰＵ（Central Processing Unit）や専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成る。制御部１０は、データ格納部８０に記憶されているロボット１における各種制御を実施するためのプログラムを読み出して実行することで、ロボット１の各部の動作を統括的に制御する。制御部１０は、また、表示制御部１１、度合い設定部１２、発話制御部（音声制御部）１３、及び音声認識部１４としての機能を有する。これらの詳細については、後述する。
　表示部２０は、ロボット１の顔領域に顔場像データを用いて様々な顔画像を表示することで、ロボット１にて喜怒哀楽等の表情を表出するブロックである。本実施の形態では、表示部２０は、リアプロジェクション方式で内蔵プロジェクタによりロボット１の顔領域に顔画像を映し出すものとするが、これには限定されない。
　音声出力部３０は、スピーカ等の音声出力装置であり、音声入力部４０は、マイク等の音声入力装置である。
　動作部５０は、ロボット１の各種動作を実行するブロックである。動作部５０が実行するロボット１における動作としては、例えば、頭部又は全体を回転させたり、手を動かしたりといった動作が挙げられるが、これらに限定されない。ロボット１の動作とは、ロボット１の少なくとも一部が物理的に移動することを指す。
　センサ部６０は、ロボット１周囲の環境を検知するための装置である。本実施の形態では、センサ部６０は、温度センサ、湿度センサ、及び度センサを備えているものとする。これら以外のセンサが含まれていてもよい。カメラ部７０は、静止画像及び動画像を撮影する撮像装置である。
　データ格納部８０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）などを含み、ロボット１にて用いられる各種情報（データ）を記憶するブロックである。また、データ格納部８０には、ロボット１の顔領域に表示される顔画像データのデータベース８１と、ロボット１が発話する発話データのデータベース８２とが格納されている。
　表示制御部１１は、表示部２０を制御し、ロボット１の頭部の顔領域に顔画像データを表示するブロックである。表示制御部１１は、センサ部６０による検知結果を示す出力値が所定の範囲から外れると、センサ部６０からの出力値に応じた行動をユーザに促す表情の顔画像であり、度合い設定部１２にて設定された度合いに応じた表情の顔画像を、表示部２０に表示させる。センサ部６０からの出力値に応じた行動をユーザに促す表情とは、例えば、センサ部６０からの出力値が温度である場合、エアコンを操作し冷房運転するようユーザを促す、汗をかいて辛そうな表情、エアコンを操作し暖房運転するようユーザを促す、青ざめて震えている表情、等である。促す度合いに応じた表情の顔画像の表示については、後段で具体例を用いて説明する。
　度合い設定部１２は、センサ部６０からの出力値、及び、センサ部６０からの出力値が所定の範囲から外れてからの経過時間の少なくとも一方に基づいて、センサ部６０からの出力値に応じた行動をユーザに促す度合いを設定するブロックである。促す度合いの設定については、後段で具体例を用いて説明する。
　発話制御部１３は、センサ部からの出力値またはカメラ部７０が取得した情報に応じた発話データを、あるいは、音声認識部１４の認識結果に応じた発話データを、データ格納部８０から読み出し、音声データ（音声、音声情報）を生成（音声合成）して、音声出力部３０から出力させるブロックである。なお、発話データが音声データとして生成されている（録音音声）場合には、発話制御部１３は、音声合成は行わない。
　音声認識部１４は、ユーザからの入力音声を認識するブロックである。具体的には、音声認識部１４は、音声入力部４０から入力された音声データをテキストデータに変換して、そのテキストデータを解析して単語やフレーズを抽出する。なお、音声認識の処理について公知技術を用いることができる。
　顔画像データのデータベース８１は、表示部２０に表示させる様々な表情の顔画像の画像データが、センサ部６０からの出力値に応じた行動をユーザに促す度合い毎に登録されているデータベースである。
　発話データのデータベース８２は、センサ部６０からの出力値に応じた行動をユーザに促す度合いに対応させた発話データ登録されているデータベースである。また、発話データのデータベース８２には、単語やフレーズに対応させた発話データが登録されている。単語１つに対応したものだけでなく、複数の単語の組み合わせに対応したものが登録されていてもよい。また、ある単語やあるフレーズに対応させて複数の発話データが登録されていてもよく、この場合、実際に音声出力されるものを選択すればよい。なお、発話データは、テキストデータとして格納しておけばよい。このようなデータベースの構築については、公知技術が利用できる。
　（促す度合いに応じた表情の具体例）
　センサ部６０からの出力値に応じた行動をユーザに促す度合いに応じた表情の表示について、具体例を用いて説明する。
　以下では、センサ部６０が温度を検知する場合について説明する。センサ部６０からの出力値が、温度について設定された所定の範囲を外れて高温である場合、度合い設定部１２は、出力値に応じてエアコンの冷房運転を行うようユーザを促す度合いを設定する。度合い設定部１２は、温度について設定された所定の範囲が２８℃未満であり、センサ部６０からの出力値が、２８℃以上３０℃未満の場合促す度合いを「小」として、３０℃以上の場合促す度合いを「中」として設定する。このように、まず、度合い設定部１２は、センサ部６０からの出力値に基づいて、センサ部６０からの出力値に応じた行動をユーザに促す度合いを設定する。
　度合い設定部１２の設定に応じて、表示制御部１１は、促す度合いが小の場合には、促す度合いが小の場合に対応付けられた図３の（ａ）に示す少し汗でほほが少し赤くなる表情の顔画像を表示する。このとき、発話制御部１３は、度合いが小の場合に対応付けられた音声データ、例えば、「今日は暑いね」を音声出力する。表示制御部１１は、促す度合いが中の場合には、促す度合いが中の場合に対応付けられた図３の（ｂ）に示すように、やや多くの汗でほほがやや大きく赤くなる表情の顔画像を表示する。このとき、発話制御部１３は、促す度合いが中の場合に対応付けられた音声データであり、促す度合いが小の場合に対応付けられた音声データよりも多くの音声データ、例えば、「暑いね、汗がたくさん出てきたよ」を音声出力する。
　図３の（ａ）の顔画像を表示してから所定時間経過後のセンサ部６０の出力値が、前回と同じあるいはさらに高くなっている場合、度合い設定部１２はす度合いを「中」として設定し、表示制御部１１は、表示制御部１１は、図３の（ｂ）の顔画像を表示し、発話制御部１３は、促す度合いが中の場合に対応付けられた音声データを音声出力する。
　図３の（ｂ）の顔画像を表示してから所定時間経過後のセンサ部６０の温度センサからの出力値が、前回と同じあるいはさらに高くなっている場合、度合い設定部１２はす度合いを「大」として設定し、表示制御部１１は、表示制御部１１は、度合いが大の場合に対応付けられた図３の（ｃ）に示す多くの汗で顔中赤くなる表情顔画像を表示し、発話制御部１３は、促す度合いが大の場合に対応付けられた音声データ、例えば、「暑いよ、汗がたくさんで顔も赤くなっちゃった」を音声出力する。さらに所定時間経過後のセンサ部６０の温度センサからの出力値が、前回と同じあるいはさらに高くなっている場合には、図３の（ｃ）の表情の顔画像の表示を繰り返してもよいし、さらに度合いの大きい促す表情を表示してもよいし、表示を停止してもよい。このような表示を行い、エアコンの冷房運転を行うようユーザを促す。
　上記では、高温の場合を例に挙げて説明したが、低温の場合も同様にエアコンの暖房運転を行うようユーザを促す度合いを設定して、設定された促す度合いに応じた表情の顔画像を表示すればよい。また、上記では、図３の（ａ）の顔画像の表示から始まる場合、３段階で度合いを大きくしており、図３の（ｂ）の顔画像の表示から始まる場合、２段階で度合いを大きくしているが、何段階で変化させてもよい。また、度合いを段階的に大きくする途中でセンサ部６０からの出力値に応じて度合いを小さくしたり、反対に度合いを段階的に小さくする途中でセンサ部６０からの出力値に応じて度合いを大きくしたりしてもよい。
　以上のように、度合い設定部１２は、センサ部６０からの出力値及び当該出力値が所定の範囲から外れてからの経過時間の少なくとも一方に基づいて、センサ部６０からの出力値に応じた行動をユーザに促す度合いを設定する。そして、表示制御部１１は、出力値が所定の範囲から外れると、度合い設定部１２により設定された促す度合いに応じた表情の顔画像を表示する。よって、促す度合いに応じた表情の顔画像の表示により、センサ部の出力値が所定の範囲から外れていることをユーザに伝えることができ、センサ部６０からの出力値に応じた行動をユーザに促すことができる。所定の範囲をユーザに快適なあるいは安全な環境となる数値に設定しておくことで、ユーザにとって不快や危険といったよくない環境になることを未然に防ぐことができる。さらに、顔の表情によりユーザを促すため、威圧的でなく、ユーザを和ませたり癒したりしながら促すことができるという効果を奏する。このように、制御部１０は、ユーザに自発的行動を促すようにロボット１を制御することが可能となる。
　センサ部６０からの出力値に応じた行動をユーザに促す表情が、センサ部６０からの出力値を所定の範囲内に戻す（上記の例では温度を下げる）ための行動をユーザに促す表情であると、ロボット１のセンサ部６０からの出力値が所定の範囲から外れると、促す度合いに応じた表情の顔画像を表示することで、所定の範囲内に戻すための行動をユーザに促すことができる。
　また、促す度合いに応じた音声データを出力することにより、さらに効果的にユーザを促すことができる。
　また、度合い設定部１２は、センサ部からの出力値が所定の範囲に戻るまで、経過時間の長さに応じて、前記促す度合いを段階的に大きくなるように設定する。段階的に大きくなるよう設定することで、効果的にユーザを促すことができる。
　度合い設定部１２は、前記センサ部からの出力値が前記所定の範囲に近づく方向に変化すると、前記度合いを前回よりも小さくなるように設定し、センサ部６０からの出力値が前記所定の範囲から遠ざかる方向に変化すると、前記度合いを前回よりも大きくなるように設定してもよい。
　このようにセンサ部６０からの出力値の変化に応じて、促す度合いを前回よりも弱めたり強めたりすることで、促す度合いがさらに大きい表情の顔画像を表示することができる。センサ部６０からの出力値が所定の範囲に近づく方向に変化する場合表示される別の表情の画像として、例えば、不快さが解消されつつあることを伝えるための喜びの表情の顔画像であってもよい。また、この喜びの表情の顔画像が段階的に変化してもよい。
　また、度合い設定部１２は、音声認識部１４による音声認識結果に基づいて、促す度合いを変化させてもよい。このように構成されていると、ユーザによる入力音声に応じて促す度合いを変化させ、それに応じて表情も変化する。よって、変化のバリエーションを増やすことで表情がより豊かになり、ユーザにロボットへの愛着をより湧かせることができる。
　なお、促す度合いに応じた表情の顔画像の表示は、ロボット１がユーザを検知した場合にのみ行うようにしてもよい。ユーザの検知は、カメラ部７０にて、あるいはセンサ部６０に人感センサが設けられている場合にはこの人感センサにて、実施すればよい。
　センサ部６０が湿度を検知する場合も、上記と同様に、センサ部６０からの出力値が、湿度について設定された所定の範囲を外れて高湿である場合、度合い設定部１２は、出力値に応じてエアコンの除湿運転を行うようユーザを促す度合いを設定する。この度合いに応じて、表示制御部１１は表情の顔画像を表示する。促す度合いが「小」の場合には、促す度合いが小の場合に対応付けられた図４の（ａ）に示す少し汗をかいた表情の顔画像を表示し、促す度合いが「中」の場合には、促す度合いが中の場合に対応付けられた図４の（ｂ）に示すやや汗をかいた表情の顔画像を表示する。また、図４の（ａ）の顔画像を表示してから所定時間経過後のセンサ部６０の出力値が、前回と同じあるいはさらに高くなっている場合、表示制御部１１は、図４の（ｂ）の顔画像を表示する。図４の（ｂ）の顔画像を表示してから所定時間経過後のセンサ部６０の出力値が、前回と同じあるいはさらに高くなっている場合、表示制御部１１は、図４の（ｃ）に示す沢山汗をかいた表情の顔画像を表示する。
　これらの場合も発話制御部１３は、促す度合いに対応付けられた音声データ、例えば、「蒸し蒸ししない？」、「蒸し蒸し、べたべたするよ」、「蒸し蒸しして気持ち悪いよ」を段階的に音声出力する。このような表示を行い、エアコンの除湿運転を行うようユーザを促す。また、低湿の場合も同様に加湿器の運転を行うようユーザを促す度合いを設定して、設定された促す度合いに応じた表情の顔画像を表示すればよい。
　センサ部６０が照度を検知する場合も、上記と同様に、センサ部６０からの出力値が、照度について設定された所定の範囲を外れて低い場合、度合い設定部１２は、出力値に応じて照明機器を点灯するようユーザを促す度合いを設定する。この度合いに応じて、表示制御部１１は表情の顔画像を次のように表示する。促す度合いが「小」の場合には、図５の（ａ）に示す目を開けている表情の顔画像と図５の（ｂ）に示す目を閉じている顔画像との表示を交互に行う頻度を小にして、瞬きをし出す顔画像を表示する。促す度合いが「中」の場合には、図５の（ａ）に示す顔画像と図５の（ｂ）に示す顔画像との表示を交互に行う頻度を中にして、瞬きがやや多い表情の顔画像を表示する。また、促す度合いが「中」の場合には、図５の（ａ）に示す顔画像と図５の（ｂ）に示す顔画像との表示を交互に行う頻度を大にして、瞬きが多い表情の顔画像を表示する。これらの場合も発話制御部１３は、促す度合いに対応付けられた音声データ、例えば、「暗くなってきてない？」、「見えなくなってきた」、「見えないよ」を段階的に音声出力する。このような表示を行い、照明機器を点灯するようユーザを促す。
　上記はあくまで例示であり、促す度合いに応じた表情の顔画像の表示は、上記したものに限定されない。また、上記では、温度センサ、湿度センサ、照度センサによる出力値に応じた表情について、それぞれのセンサ単独に用いる場合を説明したが、複数のセンサからの出力値に応じて、複雑な表情を表示するように構成されていてもよい。
　また、センサ部６０に加速度センサが備えられていてもよい。この場合、加速度センサにより地震を検知し、図６の（ａ）に示すようなびっくりした表情の顔画像を表示することで、避難を促すことができる。また、状況に合わせた音声データを出力してもよい。
　さらに、加速度センサによりユーザからの接触を検知し、検知結果に応じた表情の顔画像を表示してもよい。この場合、例えば、叩かれたことを検知すると、図６の（ｂ）に示すような悲しみの表情の顔画像を表示したり、例えば、撫でられたり抱き上げられたりしたことを検知すると、図６の（ｃ）に示すような喜びの表情の顔画像を表示する。また、こられの状況に合わせた音声データを出力してもよい。
　また、センサ部６０に気圧センサが備えられていてもよい。この場合、気圧センサの出力値が気圧に対して設けられた所定の範囲から外れると（天気の崩れを予測して）、図７の（ａ）に示すようなだるそうな表情の顔画像を表示して、天気に対する対策（例えば、洗濯ものを取り込む、不要な外出は控える等）を促してもよい。また、状況に合わせた音声データを出力してもよい。
　また、センサ部６０にニオイセンサ又はホコリセンサが備えられていてもよい。この場合、ニオイセンサ又はホコリセンサの出力値が、ニオイ（臭気）又はホコリに対して設けられた所定の範囲から外れると、図７の（ｂ）に示すようなしかめっ面の顔画像を表示し、掃除を促してもよい。また、状況に合わせた音声データを出力してもよい。
　このように、センサ部６０が人間の生活環境に密接した状態を検知できるセンサを備えており、所定の範囲内をユーザにとって快適な値に設定しておくことで、ロボット１はその表情により、ユーザの周囲を安全で快適な空間するための自発的行動をユーザに促すことができる。
　さらに、ロボット１は、バッテリー残量や故障の検知等のロボット１内部の状態、又は時間によって、表情を変化させてもよい。例えば、バッテリー残量が豊富な状態では満腹な表情、残量が減ってくるに従って、お腹を空かせた表情の顔画像を表示するようにしてもよい。また、故障が検知された場合、気分の悪さを示す表情の顔画像を表示してもよい。ロボットの起動時や、あるいは深夜や早朝などは、眠そうな表情の顔画像を表示させてもよい。また、状況に合わせた音声データを出力してもよい。
　また、ロボット１は、カメラ部７０から入力された画像からユーザの表情や位置を解析してそれに基づきユーザと対話をするように構成されていていてもよい。例えば、ロボット１の正面から見てユーザの位置が右方向であると認識した場合、ロボットの頭部を実際に右に向ける、あるいは、頭部に顔が右に向いて移動する状態を表示することで、ユーザの方を向いている、つまり応答可能であるという状態を示す構成であってもよい。
　〔実施の形態２〕
　以下では、本発明のさらに別の実施の形態のロボットについて説明する。なお説明の便宜上、実施の形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　本実施の形態のロボット１ａは、図８に示すように、ロボット１の構成に加え、通信ネットワークにより外部との通信を行う通信部９０を備えている。通信ネットワークとしては、例えば、インターネットが利用できる。また、電話回線網、移動体通信網、ＣＡＴＶ（Cable Television）通信網、衛星通信網などを利用することもできる。
　ロボット１ａは、通信部９０から管理サーバ装置（図示せず）と接続している。よって、外部の管理サーバ装置からロボット１ａを管理することができる。
　通信部９０により管理サーバから顔画像データ及び発話データの更新データを取得できるように構成されていると、表情データのバリエーション及び発話のバリエーションをさらに増やすこととができる。また、ロボット１ａの制御部１０の一部の機能を管理サーバ装置にて行わせてもよい。このような構成であると、ロボット１の処理能力の向上やデータ格納部８０の容量の拡大を図ることなく、複雑な表情で表現することが可能になる。また、ロボット１ａの使用時間の経過（例えば、対話や接触の回数等）の増大に応じて、複雑な感情を表情で表現することが可能になるように、構成されていてもよい。
　さらに、ロボット１ａは、外部の管理サーバ装置（図示せず）を介して、ユーザの携帯電話、スマートフォン、タブレット端末等の携帯端末と通信するように構成されていてもよい。この場合、例えば、ユーザ宅４の外にいる母親が、スマートフォンにより、ユーザ宅４にいる子供の情報をロボット１ａのカメラ部７０からの映像により随時取得し、スマートフォンから、子供に勉強を促す表情の顔画像を、促す度合いが段階的に大きくなるように表示させるよう、ロボット１ａを遠隔操作するといった使用も可能である。
　〔実施の形態３〕
　以下では、本発明のさらに別の実施の形態のロボットについて説明する。なお説明の便宜上、実施の形態１または２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　ロボット１ｂは、図９に示すように、実施の形態１のロボット１の構成に加え、さらに、家電操作部９５を備えている。家電操作部９５は、ロボット１ｂ周囲の、例えば、ユーザ宅４等のロボット１ｂがいる空間にある家電を操作するためのブロックである。家電操作部９５は、家電を操作する操作信号を赤外線通信や無線ＬＡＮ通信などで送信する。
　ロボット１ｂは、家電を操作可能な家電操作モードを家電毎に有しており、センサ部６０からの出力値から操作対象とする家電を判定し、判定した家電の家電操作モードに自装置を設定する。ロボット１ｂが操作可能な家電は、例えば、空気調和機（エアコン）、洗濯機、冷蔵庫、調理器具、照明装置、給湯機器、撮影機器、各種ＡＶ（Audio-Visual）機器、自装置以外の各種家庭用ロボット（例えば、掃除ロボット、家事支援ロボット、動物型ロボット等）等である。本実施の形態では、家電の例として、エアコン５－１及び照明機器５－２を用いて説明を行う。なお、ロボット１ｂのデータ格納部８０は、家電を操作できるように自装置を設定するための情報が家電毎に格納されている。
　ロボット１ｂは、度合いに応じた表情の顔画像を表示部２０に表示後、所定時間経過しても、ユーザが行動しなかった場合、自ら家電を操作可能に構成されている。この場合、ロボット１ｂがいる空間においてユーザを検知した場合にのみ、自ら家電を操作するように構成されているのが好ましい。ユーザの検知は、カメラ部７０にて、あるいはセンサ部６０に人感センサが設けられている場合にはこの人感センサにて、実施すればよい。
　高齢や病気などで動作が不自由であったり、例えば、別の作業で手がふさがっていたり等で、ユーザが家電を操作できない場合でも、ロボット１ｂにて対応（操作）することができる。例えば、ロボット１ｂがエアコン５－１を操作することで、ユーザを熱射病や脱水症状から予防できる。
　また、ロボット１ｂは、音声入力部４０から入力された入力音声から操作対象とする家電を判定し、判定した家電の家電操作モードに自装置を設定するように構成されていてもよい。この場合、ロボット１ｂは、ユーザとの対話からエアコン５－１を操作したいことを類推した場合には、エアコン５－１を操作する家電操作モードにロボット１ｂを設定し、操作を行うことが可能となる。
　ロボット１ｂからエアコン５－１又は照明機器５－２を操作する際には、赤外線を用いてエアコン５－１又は照明機器５－２の位置を検出してもよいし、ロボット１ｂのカメラ部７０から入手した情報を用いて、エアコン５－１又は照明機器５－２の位置を検出してもよい。
　なお、ロボット１ｂからのエアコン５－１の操作前には、操作の実行を確認する音声、例えば、「エアコンつけていい？」といった音声データをロボット１ｂから出力させて、ユーザから実行を許可する音声、例えば、「つけて」、「ＯＮにして」、「ＯＫ」等といった肯定の音声が入力された場合に操作を実行する。このように、家電の操作を実行する前にはユーザの確認を取るのが安全性を確保する上で好ましい。
　〔実施の形態４〕
　実施の形態１から３にて説明したロボット１，１ａ，１ｂは、それぞれ、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、ロボット１，１ａ，１ｂは、それぞれ、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）又は記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（又はＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。さらに、各実施の形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　〔まとめ〕
　本発明の態様１に係るロボット制御装置（制御部１０）は、周囲の環境を検知するセンサ部（６０）と、顔画像を表示する表示部（２０）と、を備えたロボット（１）を制御するロボット制御装置であって、前記センサ部による検知結果を示す出力値が所定の範囲から外れると、前記センサ部からの出力値に応じた行動をユーザに促す表情の顔画像を前記表示部に表示させる表示制御部（１１）と、前記出力値、及び、前記出力値が前記所定の範囲から外れてからの経過時間の少なくとも一方に基づいて、前記行動をユーザに促す度合いを設定する度合い設定部（１２）と、を備え、前記表示制御部は、設定された前記度合いに応じた表情の顔画像を前記表示部に表示させることを特徴とする。
　上記構成によると、ロボットのセンサ部からの出力値が所定の範囲から外れると、センサ部からの出力値に応じた行動をユーザに促す度合いに応じた表情の顔画像を表示する。促す度合いは、センサ部からの出力値、及び、出力値が所定の範囲から外れてからの経過時間の少なくとも一方に基づいて設定される。
　よって、促す度合いに応じた表情の顔画像の表示により、センサ部の出力値が所定の範囲から外れていることをユーザに伝えることができ、センサ部からの出力値に応じた行動をユーザに促すことができる。所定の範囲をユーザに快適なあるいは安全な環境となる数値に設定しておくことで、ユーザにとって不快や危険といったよくない環境になることを未然に防ぐことができる。さらに、顔の表情によりユーザを促すため、威圧的でなく、ユーザを和ませたり癒したりしながら促すことができるという効果を奏する。このように、上記構成によると、ユーザに自発的行動を促すようにロボットを制御することが可能となる。
　また、顔の表情は画像で表示するため、表情の種類を豊富に用意することがたやすく行え、ロボットにおいて複雑な処理をすることなく、顔の表情を様々に変化させることが可能である。
　本発明の態様２に係るロボット制御装置は、上記態様１において、前記センサ部からの出力値に応じた行動は、前記センサ部からの出力値を前記所定の範囲内に戻すための行動である。
　上記構成によると、ロボットのセンサ部からの出力値が所定の範囲から外れると、促す度合いに応じた表情の顔画像を表示することで、所定の範囲内に戻すための行動をユーザに促すことができる。
　本発明の態様３に係るロボット制御装置は、上記態様１または２において、前記ロボットはさらに音声出力部を備えており、前記促す度合いに応じて設定された音声情報を、前記音声出力部から出力する音声制御部を備えている。
　上記構成によると、促す度合いに応じて表情が変化する顔画像に加え、音声により、さらに効果的にユーザを促すことができる。なお、上記態様３に係るロボット制御装置は、上記態様１または２において、さらに音声出力部を備えた前記ロボットが制御対象であり、前記促す度合いに応じて設定された音声情報を、前記音声出力部から出力する音声制御部を備える構成であってもよい。
　本発明の態様４に係るロボット制御装置は、上記態様１から３のいずれか１つにおいて、前記度合い設定部は、前記センサ部からの出力値が前記所定の範囲に戻るまで、前記経過時間の長さに応じて、前記促す度合いを段階的に大きくなるように設定する。
　上記構成によると、センサ部からの出力値が所定の範囲から外れてからの経過時間の長さに応じて、顔画像の表情の促す度合いが段階的に大きくなるため、効果的にユーザを促すことができる。
　本発明の態様５に係るロボット制御装置は、上記態様１から４のいずれか１つにおいて、前記度合い設定部は、前記センサ部からの出力値が前記所定の範囲に近づく方向に変化すると、前記度合いを前回よりも小さくなるように設定し、前記センサ部からの出力値が前記所定の範囲から遠ざかる方向に変化すると、前記度合いを前回よりも大きくなるように設定する。
　上記構成によると、センサ部からの出力値の変化に応じて、促す度合いを前回よりも弱めたり強めたりする。よって、促す度合いがさらに大きい表情の顔画像を表示することができる。センサ部からの出力値が所定の範囲に近づく方向に変化する場合表示される別の表情の画像として、例えば、不快さが解消されつつあることを伝えるための喜びの表情の顔画像であってもよい。また、この喜びの表情の顔画像が段階的に変化してもよい。
　本発明の態様６に係るロボット制御装置は、上記態様１から５のいずれか１つにおいて、前記センサ部は、温度センサ、湿度センサ、照度センサ、加速度センサ、気圧センサ、ニオイセンサ、ホコリセンサ、の少なくとも１つを含む。
　上記構成によると、温度センサ、湿度センサ、照度センサ、加速度センサ、気圧センサ、ニオイセンサ、ホコリセンサの少なくとも１の出力値が所定の範囲から外れると、出力値に応じた行動をユーザに促すことができる。温度、湿度、照度、例えば加速度センサで検知できる地震、気圧、ニオイ、ホコリ等は、人間の生活環境に密接したものである。そのため、上記構成によって、所定の範囲内をユーザにとって快適な値に設定しておくことで、ユーザの周囲を安全で快適な空間するための自発的行動をユーザに促すことができる。
　本発明の態様７に係るロボット制御装置は、上記態様１から６のいずれか１つにおいて、前記ロボットは音声入力部を備えており、前記音声入力部から入力された音声を音声認識する音声認識部を備え、前記度合い設定部は、上記音声認識部による音声認識結果に基づいて、前記促す度合いを変化させる。
　上記構成によると、ユーザによる音声に応じて促す度合いを変化させ、それに応じて表情も変化する。変化のバリエーションを増やすことで表情がより豊かになり、ユーザにロボットへの愛着をより湧かせることができる。
　本発明の態様８に係るロボットは、周囲の環境を検知するセンサ部と、顔画像を表示する表示部と、上記態様１から６のいずれか１つに記載のロボット制御装置と、を備えたことを特徴とする。
　上記構成によると、上記ロボット制御装置と同様の効果を奏し、自発的に行動するようユーザを促すことが可能なロボットを提供することができる。
　また、本発明の各態様に係るロボット制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータをロボット制御装置が備える各部として動作させることによりロボット制御装置をコンピュータにて実現させるプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
　本発明は、周囲の環境を検知するセンサ部と顔画像を表示する表示部とを備えたロボットを制御するロボット制御装置及びロボットに利用可能である。
　１，１ａ，１ｂ　　ロボット
　４　　　ユーザ宅
　５－１　エアコン（家電）
　５－２　照明機器（家電）
　１０　　制御部（ロボット制御装置）
　１１　　表示制御部
　１２　　度合い設定部
　１３　　発話制御部（音声制御部）
　１４　　音声認識部
　２０　　表示部
　３０　　音声出力部
　４０　　音声入力部
　５０　　動作部
　６０　　センサ部
　９０　　通信部
　９５　　家電操作部

Claims (5)

  1. 　周囲の環境を検知するセンサ部と、顔画像を表示する表示部と、を備えたロボットを制御するロボット制御装置であって、
    　前記センサ部による検知結果を示す出力値が所定の範囲から外れると、前記センサ部からの出力値に応じた行動をユーザに促す表情の顔画像を前記表示部に表示させる表示制御部と、
    　前記出力値、及び、前記出力値が前記所定の範囲から外れてからの経過時間の少なくとも一方に基づいて、前記行動をユーザに促す度合いを設定する度合い設定部と、を備え、
    　前記表示制御部は、設定された前記度合いに応じた表情の顔画像を前記表示部に表示させることを特徴とするロボット制御装置。
  2. 　前記センサ部からの出力値に応じた行動は、前記センサ部からの出力値を前記所定の範囲内に戻すための行動であることを特徴とする請求項１に記載のロボット制御装置。
  3. 　前記ロボットはさらに音声出力部を備えており、
    　前記促す度合いに応じて設定された音声情報を、前記音声出力部から出力する音声制御部を備えたことを特徴とする請求項１または２に記載のロボット制御装置。
  4. 　前記度合い設定部は、前記センサ部からの出力値が前記所定の範囲に戻るまで、前記経過時間の長さに応じて、前記促す度合いを段階的に大きくなるように設定することを特徴とする請求項１から３のいずれか１項に記載のロボット制御装置。
  5. 　周囲の環境を検知するセンサ部と、
    　顔画像を表示する表示部と、
    　請求項１から４のいずれか１項に記載のロボット制御装置と、を備えたことを特徴とするロボット。
PCT/JP2016/051325 2015-01-23 2016-01-18 ロボット制御装置及びロボット WO2016117514A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015011679A JP6317266B2 (ja) 2015-01-23 2015-01-23 ロボット制御装置及びロボット
JP2015-011679 2015-01-23

Publications (1)

Publication Number Publication Date
WO2016117514A1 true WO2016117514A1 (ja) 2016-07-28

Family

ID=56417058

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/051325 WO2016117514A1 (ja) 2015-01-23 2016-01-18 ロボット制御装置及びロボット

Country Status (2)

Country Link
JP (1) JP6317266B2 (ja)
WO (1) WO2016117514A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947008A (zh) * 2017-12-13 2019-06-28 卡西欧计算机株式会社 器件控制装置、器件控制方法及记录介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7152908B2 (ja) * 2018-09-05 2022-10-13 日本放送協会 仕草制御装置及び仕草制御プログラム
JP7189434B2 (ja) * 2019-01-11 2022-12-14 ダイキン工業株式会社 空間制御システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS594423U (ja) * 1982-07-02 1984-01-12 シャープ株式会社 温度表示装置
JPH09154186A (ja) * 1995-11-30 1997-06-10 Nippon Seiki Co Ltd 表示装置
JP2000181500A (ja) * 1998-12-15 2000-06-30 Equos Research Co Ltd 音声認識装置及びエ―ジェント装置
JP2001091035A (ja) * 1999-09-22 2001-04-06 Togami Electric Mfg Co Ltd 温度報知装置
JP2002281567A (ja) * 2001-03-14 2002-09-27 Nec Corp 遠隔操作方法、遠隔操作システム、および遠隔制御システムにおけるプログラム
JP2006102861A (ja) * 2004-10-04 2006-04-20 Advanced Telecommunication Research Institute International ロボットおよびロボットシステム
JP2007147217A (ja) * 2005-11-30 2007-06-14 Advanced Telecommunication Research Institute International ロボット
JP2012060506A (ja) * 2010-09-10 2012-03-22 Hitachi Ltd 外部機器制御装置、その外部機器制御方法及びプログラム
JP2014183491A (ja) * 2013-03-19 2014-09-29 Sharp Corp 電気機器制御装置、電気機器制御システム、プログラム、および電気機器制御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS594423U (ja) * 1982-07-02 1984-01-12 シャープ株式会社 温度表示装置
JPH09154186A (ja) * 1995-11-30 1997-06-10 Nippon Seiki Co Ltd 表示装置
JP2000181500A (ja) * 1998-12-15 2000-06-30 Equos Research Co Ltd 音声認識装置及びエ―ジェント装置
JP2001091035A (ja) * 1999-09-22 2001-04-06 Togami Electric Mfg Co Ltd 温度報知装置
JP2002281567A (ja) * 2001-03-14 2002-09-27 Nec Corp 遠隔操作方法、遠隔操作システム、および遠隔制御システムにおけるプログラム
JP2006102861A (ja) * 2004-10-04 2006-04-20 Advanced Telecommunication Research Institute International ロボットおよびロボットシステム
JP2007147217A (ja) * 2005-11-30 2007-06-14 Advanced Telecommunication Research Institute International ロボット
JP2012060506A (ja) * 2010-09-10 2012-03-22 Hitachi Ltd 外部機器制御装置、その外部機器制御方法及びプログラム
JP2014183491A (ja) * 2013-03-19 2014-09-29 Sharp Corp 電気機器制御装置、電気機器制御システム、プログラム、および電気機器制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947008A (zh) * 2017-12-13 2019-06-28 卡西欧计算机株式会社 器件控制装置、器件控制方法及记录介质

Also Published As

Publication number Publication date
JP2016135530A (ja) 2016-07-28
JP6317266B2 (ja) 2018-04-25

Similar Documents

Publication Publication Date Title
JP6448971B2 (ja) 対話装置
US10224060B2 (en) Interactive home-appliance system, server device, interactive home appliance, method for allowing home-appliance system to interact, and nonvolatile computer-readable data recording medium encoded with program for allowing computer to implement the method
JP4794846B2 (ja) 推定装置、及び推定方法
KR102412523B1 (ko) 음성 인식 서비스 운용 방법, 이를 지원하는 전자 장치 및 서버
CN112051743A (zh) 设备控制方法、冲突处理方法、相应的装置及电子设备
KR102338888B1 (ko) 검출된 이벤트들에 관한 정보를 제공하기 위한 방법들, 시스템들 및 매체들
WO2022262283A1 (zh) 用于空调的控制方法及装置、空调
WO2016117514A1 (ja) ロボット制御装置及びロボット
US20240095143A1 (en) Electronic device and method for controlling same
WO2022262281A1 (zh) 用于空调的控制方法及装置、空调
WO2019215983A1 (ja) 情報処理システム、情報処理方法、および記録媒体
CN113359503A (zh) 设备控制方法及相关装置
JP7296626B2 (ja) 情報処理装置及びプログラム
JP6373709B2 (ja) 対話装置
Basanta et al. Using voice and gesture to control living space for the elderly people
KR102519599B1 (ko) 멀티모달 기반의 인터랙션 로봇, 및 그 제어 방법
WO2019128632A1 (zh) 播放音频的方法、装置和系统
JP7254345B2 (ja) 情報処理装置及びプログラム
KR20230047434A (ko) 어시스턴트 디바이스(들)의 주변 감지에 기초한 어시스턴트 액션(들) 추론하기
JP6698428B2 (ja) ネットワークシステム、情報処理方法、およびサーバ
JP7163103B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN115718433A (zh) 智能设备的控制方法、装置、智能系统和存储介质
CN110427155B (zh) 一种看护方法及装置
TW201740244A (zh) 可自動休眠的電子裝置及其休眠方法
CN115933871A (zh) 智能设备的控制方法、装置、智能系统和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16740121

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16740121

Country of ref document: EP

Kind code of ref document: A1